劉伯溫取得朱元璋的信任是在陳友諒事件之後，公元1306年，陳友諒向朱元璋的地盤發起進攻，朱元璋寡不敵眾，於是很多部下都建議他投降或者是逃跑，這時候劉伯溫卻建議他便迎戰，將陳友諒斬殺。在劉伯溫的建議下，朱元璋誘敵深入，將陳軍一舉殲破，他離帝王之位也近了一大步。

後來朱元璋建立明朝，劉伯溫可以說是有著汗馬功勞，在功臣中可以排前三位。然而在朱元璋論功行賞的時候，劉伯溫只得了一個伯爵官位，要知道在他之上還有6個公爵，而且這些人的功勞都沒有他大，那麼朱元璋又是怎麼想的呢？他難道真的不知道劉伯溫的功勞嗎？恰恰相反，劉伯溫的才華朱元璋都看在眼裡，但朱元璋出生貧寒，好不容易得到了王位，要將權力死死握在自己手上。劉伯溫比他聰明，比他有才，所以他擔心功高蓋主，也借這個機會來警醒劉伯溫。

劉伯溫自己也知道伴君如伴虎，於是在洪武4年的時候決定辭呈返鄉。劉伯溫曾經得罪過胡惟庸，胡惟庸在朱元璋面前進獻讒言，導致朱元璋和劉伯溫之間有了嫌隙。後來劉伯溫在京城染病，朱元璋派遣胡惟庸去給劉伯溫送藥，然而劉伯溫卻在喝完藥之後身體極速惡化，不久去世了，而究竟是誰想害死他，也就顯而易見了。

劉伯溫死前，做過一件很奇怪的事，曾贈予朱元璋一筐魚。這些魚經過長時間的運輸，送到朱元璋眼前的時候，很多都已經死了，劉伯溫是具有大智慧的人，朱元璋看到這筐魚也搞不懂他的意思，就暫時將這筐魚擱置了起來，直到17年後朱元璋才恍然大悟。

這魚的基本意思是，嚴苛的刑罰就如同外面的框子，百姓就像筐子裡的魚，框子再緊的話魚就會死去，劉伯溫這也是在勸告朱元璋將來要將皇位傳給一個溫和之人。17年後，朱棣發動靖難之役，篡奪皇位，本來朱元璋屬意的人選是朱允炆，但最後卻讓強悍的朱棣奪取，這也辜負了劉伯溫的希望。