漢朝建立以後，由於統治階級內部矛盾以及爭鬥日益尖銳，舉止如婦人的張良又體弱多病，再加上張良目睹彭越、韓信等有功之臣的悲慘結局，又聯想范蠡、文種興越之後的或逃或死，深悟“狡兔死，走狗烹，飛鳥盡，良弓藏，敵國破，謀臣亡” 的哲理。

張良索性“等功名於物外，是榮利於不顧”， 杜門謝客，深居簡出，採取明哲保身，功成身退的態度，專心修身養性，崇信黃老之學，靜居行氣，欲輕身成仙。呂后感謝張良建議用“商山四皓”鞏固了太子地位，勸他毋自苦，張良最後還是聽了勸告，仍舊食了人間煙火。

以往史家，多以張良晚年消極引退，加以非議，殊不知，張良至死仍然傾向國事，參與朝政。況且張良引退，不僅有權宜利弊的勝算，還有讓權於後人的遠慮。

公元前197年，皇室發生了戚夫人爭寵奪嫡的事件。高祖本來立了呂后的兒子劉盈為太子，但呂后長留長安，而戚夫人則與高祖形影不離，深受寵愛。戚夫人慫恿高祖改立如意為太子，加上高祖對太子劉盈也不甚喜歡，因此便想廢掉劉盈，改立如意為太子。當時許多大臣竭力諫諍，高祖始終不肯改變主意。

呂后在一籌莫展之下，只得讓他的哥哥去找張良，於是張良就獻計，讓他們去找4位老人，這4位老人很受皇上尊重。但因皇上對人傲慢無禮，所以他們寧願藏匿深山，也不願當朝廷的臣子。皇上很器重這4個人，如果太子劉盈能夠不惜金錢財寶，並且並且用謙恭的言辭，舒適的車子設法帶領他們出入朝廷，有意讓皇上看到，讓皇上知道這4人在服做太子，對鞏固太子地位很有幫助。

呂后按照張良的吩咐，派人將4位老人請來了。

公元前195年，高祖平定黥布叛亂以後，病情越發嚴重，越來越想更換太子，但就在一次酒宴上，高祖改變了主意。

酒宴剛開始的時候，太子劉盈給高祖斟酒，4位老人就跟在太子左右。這4人年齡均在80歲以上，鬚眉皓白，衣冠甚偉。高祖見了相當奇怪，一問才知道他們是東園公、角里先生、綺裡季以及夏黃公。

高祖不解地問：“我請你們，你們卻不來，總是躲著我。現在你們為什麼願意跟我兒子來往呢？”

四人齊聲說：“皇上一向看不起儒生，經常罵不絕口，我們不願受人侮辱，所以才遠遠地躲起來，現在聽說太子仁者，尊敬賢者，善待儒生，天下誰都想為太子效力，所以我們自願前來！”

高祖說：“麻煩你們始終如一地輔佐太子吧！”

這場皇室內部的爭鬥，儘管轟動朝野，反反覆覆，但是由於張良的運籌帷幄，最終使得太子劉盈獲勝，從而避免了一場可能發生的政治動亂。從穩定西漢王朝的統治來說，是有積極意義的，因為久經戰亂的漢初百姓，需要的是休養生息的太平盛世。