和房玄齡一樣，杜如晦也是李世民的老部下，但他一開始並沒有被李世民重視。當唐高祖李淵為了削弱李世民的勢力，將秦王府的一批人調離時，是房玄齡出來阻止了杜如晦的離去。

他對李世民說：“秦王府雖人才濟濟，但這些人離開都不足惜。只是這杜如晦有王佐之才，秦王若要經營天下，離不開此人。”

因為房玄齡和杜如晦能力出眾，也成了太子李建成的眼中釘。他不斷在高祖李淵面前中傷兩人，房玄齡和杜如晦雙雙被逐出秦王府。

但李建成低估兩人對李世民的忠誠，在“玄武門之變”前夜，兩人冒險潛入秦王府，為第二天的行動出謀劃策。

“玄武門之變”成功後，李世民論功行賞，房玄齡被擢升為宰相，不久以後，又接替長孫無忌任尚書左僕射，總理朝廷政事。

杜如晦先是掌管兵部，後來轉任吏部尚書，貞觀三年升為尚書右僕射，和房玄齡同掌朝政。

有道是“一山不容二虎”，兩人卻能和睦相處，關係融洽，這在中國歷史上是極為少見的。

房玄齡擅長出謀劃策，而杜如晦擅長判斷大勢，做出決斷，後人稱為“房謀杜斷”。正是由於兩人的悉心輔佐，“貞觀之治”才能迅速實現。

貞觀四年三月十九，年僅46歲的杜如晦英年早逝。唐太宗聽到死訊，哭之甚慟，罷朝三日，還為杜如晦親手撰寫了碑文。

唐太宗說：“朕與如晦，君臣義重。”每到杜如晦忌日，都派人到杜家問候。有一次，唐太宗賞賜給房玄齡一條黃金帶，不由得想起了杜如晦。他對房玄齡說：“從前如晦和你一起輔佐我，可謂同心同德，但現在眼前只剩下你了。”說完，好不傷感，隨即流下了眼淚。

後來，房玄齡考慮自己在相位任職太久，而且年老體弱，不能勝任繁重的工作，就向唐太宗辭職。

見皇帝如此挽留，房玄齡只好留任，但兩年後，還是被罷相。

房玄齡晚年多病，唐太宗駕臨玉華宮，下詔令他睡在總留臺。兩人相見時，都老淚縱橫，不能自已。唐太宗下詔派御醫救治，每天對他供應御膳，房玄齡每天的身體狀況都要向他彙報。每當聽到房玄齡病情好轉，唐太宗就喜形於色。

房玄齡在臨終之前，還不忘國事，上疏給唐太宗，勸他不要輕易征討高句麗。

後來房玄齡病情加重，唐太宗就讓人鑿開宮牆開門便於問候。兩人又見了最後一面，握手相別，悲不能忍。

不久，房玄齡就去世了，享年71歲。死後諡號“文昭”，陪葬昭陵，高宗時，配享太宗廟庭。