1864年8月，湘軍將領曾國荃率領大軍攻佔了金陵城（南京），折騰了14年之久的太平天國運動終被清廷所滅，曾國荃大喜過望，下令將士們可以在南京城放縱三天，意思是燒殺搶掠都不管，整個湘軍沸騰了，金陵城一片狼藉，無數金銀財寶，值錢的物品被湘軍侵吞。坐鎮安慶的湘軍統帥曾國藩知道後，迅速前往南京，令行禁止，但金陵城已經成為一片廢墟。

天下沒有不透風的牆，“什麼太平天國堆積如山的金銀財寶都入了曾家的腰包”、“湘軍燒殺淫掠焚燬了南京城”、“湘軍將領把財寶都用船運回了老家。。。”，這些傳言被御史們統統上奏給清廷，慈禧太后怒了，頻頻派人去金陵城追查，但來的人大多貪財好色，如大員富明阿來到金陵，曾國荃只稍微給點錢財就打發了這位欽差，事後他還向大哥曾國藩炫耀朝廷派來的人都不過如此，但曾國藩洞如觀火，他深知天下悠悠之口卻難堵住，果不其然，清廷自從湘軍攻佔金陵城後，朝野上下已經物議沸騰，紛紛指責湘軍將領將金陵城洗劫一空，曾國藩經常日夜憂慮。

更讓曾國藩冒汗的是有人誣告他擁兵自重，企圖謀反。嚇得曾國藩連續幾天都睡不好覺，輾轉反側思考對策。直到他聽說恭親王奕訢被罷黜後，更是憂心忡忡，因為他知道自己創立的湘軍之所以有今天，全靠了恭親王的支援，而恭親王作為皇叔，從辛酉政變幫助慈禧奪權開始，這些年來一直外扶諸夷，內平戰亂，無論從親，從貴，從功，都是天下第一臣。就是這樣的重臣都被拿下，那麼關於他和他的弟弟曾國荃，湘軍的非議一浪高於一浪，又怎麼會長久。

於是，輾轉反側的曾國藩經過深思熟慮後，叫來九弟曾國荃，告訴了事態的嚴重，一向我行我素、不畏人言天命的曾國荃聽說恭親王被罷黜後，對這場突如其來的變故也大為震驚，不免直冒冷汗。曾國藩最後決定，讓曾國荃主動向清廷請求激流隱退，開缺回籍養病，自己則上書請求裁撤湘軍，慈禧太后看後，非常高興，立刻下旨安慰了曾國藩和曾國荃幾句客套話後，同意了他們的請求。看來天威難測，連曾國藩這樣的能臣也不得不妥協識時務。