中平五年（188年）十一月，張純和丘力居率軍遊竄於青、徐、幽、冀四州，到處劫掠，為害四方。

漢靈帝下詔給公孫瓚，命他討伐。

公孫瓚與張純、丘力居等戰於遼東屬國石門。

張純大敗，拋下妻兒逃入鮮卑境內，所搶掠俘虜的男女百姓，都被公孫瓚奪回。

公孫瓚乘勝追擊，過於深入，反被丘力居圍困於遼西管子城（無考，大致在今河北遼寧交界的河北一端），堅持了二百餘日，士卒死傷大半。

丘力居也糧盡疲乏，遠走柳城（今遼寧朝陽縣西南）。

與此同時，幽州牧劉虞到達薊城（今北京市區西南部），廣施恩惠，籠絡各部。

他對叛軍實行懷柔和分化政策，派使者秘密聯絡峭王等人，告知他們只要投降，朝廷將寬大處理，免除他們的罪責。

劉虞在幽州執政多年，很有威信，百姓多受恩惠，很是擁戴。

丘力居等各部聽說劉虞到了，紛紛派遣使者前來，表達歸附之意。

公孫瓚不願劉虞立功，暗中派人在途中截殺使者，阻止雙方聯絡。

但各部落很快搞明白是公孫瓚搞的鬼，變得小心謹慎，使者都繞道而行，輾轉到達劉虞處。

對為首的張舉、張純二人，劉虞則懸賞通緝。

二人走投無路，逃到塞外，部下大都投降，其餘的一鬨而散。

劉虞上奏，將徵集的各部隊全部遣散，只留下公孫瓚率步騎兵一萬人，駐紮在右北平（治今內蒙古寧城縣西南）。

中平六年（189年）三月，張純被部下王政殺死，首級被送到劉虞處。

公孫瓚鎮守邊塞多年，非常仇視遊牧民族，一心想用武力消滅烏桓等部落，而劉虞則採取懷柔政策，想用恩德和信義來招降他們，兩人之間政見不同，產生矛盾。

漢靈帝因功升劉虞為太尉，封容丘侯。

劉虞先後舉薦衛尉趙謨、益州牧劉焉、豫州牧黃琬、南陽太守羊續等人擔任此職，一再推讓，但漢靈帝還是堅持拜劉虞為太尉。

按照漢靈帝定下的規矩，不管是徵辟還是舉薦，官位都是要花錢買的。三公之位，必須在西園繳納鉅額禮錢。

當初崔烈購買司徒一職，漢靈帝看在宦官求情的面子上，收了他五百萬錢，後來還後悔收少了，埋怨了好多次。

但這次因為劉虞一貫有清廉的名聲，加之平定叛亂有功，漢靈帝居然特意免去了他的禮錢，實屬難得。

幽州地處北疆，一向很窮，政務開支、官員俸祿都需要青、冀兩州補貼，才勉強維持。

此時天下動亂，交通斷絕，無法排程金錢，劉虞便採取寬鬆政策，鼓勵自力更生，勸導百姓種田，在漁陽郡（治今北京密雲區十里堡鎮統軍莊村東）開採鹽鐵礦，在上谷郡（治今河北張家口市懷來縣小南辛堡鎮大古城村）開放市場，與外族交易。

劉虞雖為三公級別的高官，但天性節約，穿著破舊的衣服，一頓飯最多隻吃一個葷菜。

一些原本奢靡享受的豪族，在他的帶動下，都變得生活簡樸起來。

幽州的發展與安定，劉虞的親民作風，吸引了周邊青州、徐州百餘萬人流亡至此，安居樂業。

永漢元年（189年），董卓專權，為了籠絡宗室、士族，授予劉虞大司馬，進封襄賁侯。

初平元年（190年），又拜劉虞為太傅，召他入朝任職。但因兵荒馬亂，道路阻塞，派出的使者沒有將任命送達。