自古以來都是一朝天子一朝臣，呂芳跟嘉靖皇帝可謂是一榮俱榮，一損俱損，他在嘉靖掌握權利之時，自然可以呼風喚雨風光無限，但是隨著嘉靖身體的變差，太子勢力的不斷擴張，等到嘉靖逝世之後，太子繼位必然要進行清算，到時候呂方縱然有天大的本事也是在劫難逃，這個呂方知道，陳洪知道，嚴嵩他們知道，清流一黨自然也看得明白，這樣的事情作為執掌大權的嘉靖皇帝自然也是心知肚明的，因此面對忠心耿耿的呂方他自然想要為其尋求出路。

正好這個時候宮裡發生了一些事情，於是嘉靖趁機將他驅逐出漩渦中心，讓陳洪去背鍋，這也雖然短暫地失去了一些榮華富貴，但是卻可以保全自身的健康，呂方對於這樣的局面顯然是很滿意的，因為他懂得明哲保身的道理。