進入隋唐稍後的宋代史家對裴矩的評價發生了變化，宋人視他為反面人物，這種觀點還為後世所繼承，絕大部分時候他都被視為反面形象或者兩面派為世人所議論。於隋朝他成為一個完全的佞臣，其歷史功績被完全否定，於唐朝則是由於唐太宗馭臣有道，才轉變為所謂的“忠臣”，可以說在宋人的評價中裴矩自身幾乎獨立意志可言。值得注意的是，宋人之所以對裴矩有此評價，與北宋國情與評論之人政治思想有很大關係。先觀宋祁、歐陽修和司馬光所處的北宋之國情，可謂是內憂外患。

北宋立國之初

即採取諸多措施加強中央集權，這一系列措施使得北宋中期“冗官、冗兵、冗費”現象更加嚴重。且宋初即實行“田制不立”、“不抑兼併”的土地政策，使得土地兼併的現象異常嚴重，貧富差距日益擴大，階級矛盾不斷激化，而統治者又忽視調和階級矛盾，任其發展，造成國內階級矛盾異常尖銳、從一開始農民戰爭就連綿不斷的局面，從而面臨嚴重的社會危機。在國外，也可謂是危機四伏，其面臨的民族形勢較漢唐時期更為嚴峻，處於民族矛盾集中且突出的時期。就嚴格意義上講，北宋似乎並未有過真正的統一。

在它的北方有強大的遼國，西北方有西夏，另外，雲南有大理，還有吐蕃等政權並立。其中遼和西夏最為強大且時常侵擾北宋，而在北宋正值軍備廢弛，積貧積弱的情況下，兩國於北宋而言顯得更加危險。面對內憂外患的局面，國內對於民族關係的處理意見原本就存在諸多爭議。除是極少數人主戰外，考慮到國內狀況，絕大部分人均為主和派，他們認為在內憂不斷的情況下興邊事的後果不堪設想，因此主張透過妥協綏靖的民族政策避戰自保。

保守主義和投降主義的思想

在宋太宗對遼的兩次北伐均以失敗告終，最終放棄收復燕雲十六州後迅速成為主流思想，朝廷內部面對外族侵略妥協投降的氣氛日益濃厚，“守內虛外”的思想充斥著整個朝廷。以統治者為首，絕大部分士大夫為主體的勢力均秉持“攘外必先安內”的思想，相對於對外經略他們更加重視國內事務的處理。對外族侵略一再妥協，很少進行堅決的抵抗。這一士大夫群體中便包括司馬光和歐陽修等人。

《資治通鑑》和《新唐書》的編撰者均對開邊生事持反對意見。面對來自外族的威脅，司馬光反對主動開邊生事，秉持的是民族和睦、民族平等、不事四夷的主張，寄希望於“以德撫遠”來謀求所謂的和平。他在《言橫山上殿札子》中就曾談到“國家今日內政未修，不可遽謀外事。”面對王安石旨在富國強兵的改革，他也作為主要代表堅定站在了對立面。司馬光反對的理由之一便是認為王安石的改革會促使開邊生事。這一點，考察王安石的民族關係思想便可理解。

“王安石民族關係思想所謀求的‘兼治夷狄’，恢復漢唐舊疆的理想不但是其富國強兵政治理想的一部分，其銳意開拓四夷的精神也與他在政治上不懼祖宗之法，積極進取的變革精神完全一致。”這與司馬光的主張背道而馳，成為遭到反對的原因之一，不僅是裴矩，司馬光對漢武帝、隋煬帝等在經略邊疆的人也有所批判。另外，宋祁也作有《和戎論》並在其中表達了同樣的看法。歐陽修亦不止一次談到“夷狄者面板之患，尚可治；盜賊者腹心之疾，深可憂”等類似的主張。於此，史書的編撰者們對事四夷的否定態度清晰可見。

他們主張的是先內後外

並非完全否定經略邊疆，但是在這一階段，他們對這類行動是持反對態度的。因此，在這種保守和妥協投降的氛圍中，裴矩所提倡的邊疆經略自是不合時宜的，相應的，他在隋朝的民族活動，尤其是經略西域的活動所產生的負面影響也就被司馬光拿來作為反對開邊生事的論據之一。而由持有此態度的史家執筆關於隋煬帝與裴矩君臣經略遠方的活動都是負面評價致使其形象發生轉變便不足為奇。

結束：

另外北宋前中期為士大夫所推崇的“祖宗之法”對裴矩形象的轉變也可能存在間接的影響。宋人本就堅持“道理最大”，“事為之防，曲為之制”作為“祖宗之法”的思想核心直接影響著北宋“守內虛外”的國策的形成。又因推崇“祖宗之法”，宋人十分重視禮儀道德規範，為此“不惜以功利化的手段予以獎懲、刺激。而在詮釋之際，統治集團往往從自主觀的善惡、利益角度出發，甚至直接與現實政治直接聯絡，為‘道德’‘奸邪’、‘君子’‘小人’列隊劃限。”因此間接的影響到了對裴矩的評價也不無可能。