潘杨两家所谓的“世仇”，起源于潘美与杨业的雍熙三年的北伐。据《宋史·潘美传》中记载，潘美，北宋检校太师，忠武军节度使，字仲询，大名人。宋初，从太祖平定叛臣李重进，只身前往敌营说服悍将袁颜，率军平南汉、南唐、北汉，战功卓著。
     北宋雍熙三年，即公元986年，西路军主帅潘美和号称“杨无敌”的名将副帅杨业，监军王侁、刘文裕等人率军从雁门关北上伐辽。西路军初战，捷报频传，所向披靡，攻无不克，战无不胜，一举攻克寰、应、云、朔四州。但宋军主力东路军却出师不利，遭敌重创、损兵折将、一败涂地，严重影响了整个攻辽战局。为此宋太宗迅速下诏命令中西两路大军火速撤退。然而就在这次生死攸关的战略撤退中，西路军统帅之间意见不一，配合失当，杨业的正确意见竟遭到监军王侁的阻挠和讥笑。
     
     将军刘文裕等人也随声附和，支持王侁的错误行径，监军王侁本是纨绔子弟，无甚能力，他虽不懂兵书战策，却指手画脚，充当内行，对杨业的建议置若罔闻，刚愎自用，极尽讽刺挖苦之能事。“我们统兵数万，竟然如此胆怯，你平素号称‘无敌’，如今遇敌却畏惧不前，是不是另有所图？”
     杨业本是北汉的降将，当王侁以监军的口吻，暗示他有不轨之意时，杨业慷慨激昂地回答：“我何惧一死，只是这样会无谓地葬送士兵的性命而已，既然你如此责备我畏惧不前，那么，我就死在诸将前面吧！”

     王侁为何敢如此狂妄放肆呢？原来宋太宗为了操纵全国的军队，防止新的军事强人的出现，害怕武人再搞“黄袍加身”的政变，给每一位统兵的将帅设置了一个监军，并赋予监军很大的权利，将帅的一举一动，全部由监军直接汇报给皇帝。因此外行的监军在皇帝的纵容和支持下，往往盛气凌人，目空一切，侮辱内行的将帅。所以王侁的意见最终就成为了决策，杨业不得不违心服从，就是主帅潘美也不敢表示异议，做出决断。

     潘美按杨业的请求，布兵于陈家谷口，他们等了很久，不见动静。而监军王侁、刘文裕等人以为杨业部已获胜，为了争功竟擅自行动，潘美又禁止不住，只好违心同行。在往前方行进途中，当王侁、刘文裕等人得知杨业已败时，则置杨业不顾，逃之夭夭。可怜杨业退至陈家谷时，天色已晚，伏兵已撤，空无一人。杨业欲哭无泪，悲痛万分，身陷绝境，只能以死相拼，最终众寡悬殊，全军覆没。
     杨业子杨廷玉、老将王贵等也一同战死沙场。战后潘美受到消秩三等的处罚，而王侁、刘文裕等人皆被除名。此后潘美内心忧愤，很快病逝。宋庭追封其为郑王，配飨太宗庙庭。野史戏剧里皆说潘美陷害杨家将，此为无良小说家杜撰虚构的，经不起历史地考证。