公元384年，苻堅之子苻丕據守鄴城（在現在的河北臨漳）。

苻丕為燕王慕容垂所逼，請降於晉。謝玄派劉牢之率軍二萬救鄴。受命之後，劉牢之引軍先據枋頭（在現在的河南浚縣），隨而進攻黎陽（在現在的河南浮縣）。解了鄴城之圍以後，接受苻丕投降，隨後又大敗慕容垂。

第二年，劉牢之解救泰山郡，生俘秦將張遏，使東晉王朝的勢力在淝水大戰之後，達到河南、山東、河北一帶，劉牢之又為東晉王朝立下了汗馬功勞。

權力這個東西有時真像一條毒蛇。如果耍蛇的技術不過關，反會被蛇咬一口，立刻成為致命傷。在中國歷史上，多少名將名相都被這條蛇咬過，被咬者的結局都非常慘，北府名將劉牢之也不例外。

公元385年，東晉宰相謝安病逝。以此為轉折點，東晉王朝內部的權力鬥爭開始呈現新的形式：接替謝安職務的是司馬氏政權的宗室、會稽王司馬道子。他執掌朝政以後，與宦官王國寶勾結，賣官鬻爵，極力排擠謝氏集團的人。劉牢之被謝安兄弟所賞識，理所當然遭到了司馬道子的打擊，劉牢之為此心不自安。

司馬道子其人十分鄙劣、庸淺。他掌政以後，政事都在家中處理，出入儀仗，形同皇帝。他經常與他兒子司馬元顯在後宮塗脂抹粉，聽宮伶唱戲。有時，他連吃飯也不想動，靠僕人喂。他的家中裝飾得都金碧輝煌，豪華奢侈已極。

見司馬道子氣焰熏天，晉孝武帝司馬曜深感不安，擔心大權旁落於王室不利。為在權力上實行平衡與牽制，司馬曜起用大臣王恭為僕射，與司馬道子共掌朝政。他又命殷仲堪為大將軍，鎮守荊州，以為外藩，牽制司馬道子。司馬曜如此動作，使司馬道子深為不滿，就令人把他毒死。

司馬曜逝世之後，白痴兒子司馬德宗繼位，史稱晉安帝。見皇帝年幼昏愚，司馬道子更加為所欲為。他命王國寶為右僕射，與之分掌朝政。同時，對被司馬曜起用的王恭和殷仲堪，必要去之而後快。雙方之間的矛盾幾乎到了白熱化的程度。

作為僕射的王恭覺得要在朝中站穩腳跟，能與司馬道子抗衡，僅憑他一個人的力量是不夠的，需要有人支援自己。於是，他想到了劉牢之，劉牢之是北府名將，有大功於朝延。主意已定，就與劉牢之熱乎起來，並拜劉牢之為輔國將軍，兼領晉陵太守。

謝安逝世之後，朝中就無人支援劉牢之。司馬道子又極力排擠謝氏集團裡的人，所以劉牢之倍感孤立無援。現見王恭主動接近自己，非常高興。

劉牢之對王恭說：“定為公折此朽。”他家人提醒他：“王恭其人貌恭而內狠，其心不可測。”劉牢之道：“王恭無拳無勇，正求助於我。此正是保富貴之時，何須疑哉？”拒不聽受家人之勸。

公元397年，劉牢之率兵在京口鎮與殷仲堪聯合發難，以討伐王國寶為名向京師建康發動進攻。見劉牢之發難，朝野震動，司馬道子只好派人與劉牢之講和，以誅殺王國寶為條件求得劉牢之息兵。

王國寶逝世之後，司馬道子去了一條臂膀，權力大減。而王恭的權力空前增大，都督兗、青、冀、幽、並、徐、揚諸州軍事，並鎮戍京口。見自己在朝中的威望日隆，王恭對劉牢之的態度也起了變化。

開始，劉牢之每次求見，王恭總是離座相迎，以貴賓待之。王國寶逝世之後，王恭覺得自己的目的達到了，劉牢之也沒有什麼利用價值了，就高高在上，讓劉牢之拜見，頤指氣使，把劉牢之當成一個普通的武夫。為此，劉牢之氣壞了，對王恭深恨之，想尋找機會報復王恭，以出胸中這口怨氣。

後來，司馬道子因人心不服而去職，由其子司馬元顯接替，執掌朝政。朝中大都督王恭原以為司馬道子一死，自己可以執政，沒想到司馬元顯又搶在自己前面，於是又想故伎重演，以兵逼司馬元顯退位。