高後八年（公元前180年），呂后病死。諸呂加緊奪權步驟。呂產、呂祿率南北兩軍，為防意外，一個在內護喪，一個在外巡行，守備甚嚴，甚至呂后下葬時亦是如此。陳平、周勃雖有心發難，看到這種情況，也只有忍而不發。考慮再三，陳平終於策劃出一個較為周全的計劃來。密使人找到朱虛侯劉璋，由他出面串聯劉氏諸王在外起兵發難，自己和周勃在朝中策應。內外結合，不信動搖不了諸呂的堡壘。

陳平又想到酈商父子與呂產、呂祿交情甚好，便以議事為名，將酈商父子騙到相府，以酈商為人質，呂祿本無韜略，以外戚身份掌權，哪裡是陳平等人的對手？酈寄以從陳平那兒學來的一番話，居然說得呂祿昏頭昏腦，不知所終。於是將此言轉告呂氏父老，諸呂也是眾口紛紜，莫衷一是。唯有呂嬃頭腦尚清楚，大叫：“庸奴，汝為上將，不思報國安邦，反而終日浪遊，還要交出兵權。你若交出兵權，呂氏一族，將死無葬身之地。”

陳平聞訊後，知巧奪軍權是不可能的了，決心冒險行事。派人請來掌管符節的衰平侯紀通，曉以大義，讓他與周勃一起，持節入北軍，詐傳詔命，代呂祿統領北軍。怕呂祿不服，再派酈寄帶典客劉揭入見呂祿，說：“主上有詔，命太尉掌管北軍，無非是望將軍就國，無須多慮。宜應馬上交出將印，否則禍在眉間。”陳平怕酈寄也不能說服呂祿，又派兩名高明的刺客，伺機下手誅掉呂祿。不想呂祿被酈寄一番話嚇住了，當真取出將印，交與劉揭，自己匆匆出了軍營，倒省了刺客的事。

文帝即位後，認為太尉周勃親自帶兵誅滅諸呂，功勞最大。陳平聽說後，故意稱病不朝，有意把右丞相的職位讓給周勃。文帝見自己剛即位陳平就有病，其中必有緣故。就親往相府，探視陳平。陳平誠懇地說：“高祖時，周勃的功勞不如臣；誅滅諸呂時，我的功勞不如太尉。論功行賞，太尉應任右丞相，我願為其輔佐。”文帝聽了很感動，說：“古往今來都是爭著作官，搶著升官，今先生主動將右相之職讓給太尉，真是高風亮節，亙古未有。”當下提升周勃為右相，陳平仍為左相。文帝又尋思誅滅諸呂，全憑周勃、陳平二人，今周勃升為右相，不能讓陳平吃了虧，便賜金千斤，加封食邑三千戶。

文帝二年（公元前178年），陳平病逝於長安，諡號獻侯。司馬遷《史記·陳丞相世家》稱之為“賢相”，說他靠智謀，作到善始善終，這個評價還是很公允的。