大通二年（528年），北魏發生動亂，爾朱榮溺死胡太后和幼帝元釗，大肆屠殺北魏宗室和百官公卿，史稱“河陰之變”。魏北海王元顥因本朝大亂而降梁，並請梁朝出兵幫助他稱帝。出於戰略考量，梁武帝蕭衍給陳慶之加號飆勇將軍，命令他護送元顥北還。之後，元顥在渙水稱帝，授慶之使持節、鎮北將軍、護軍、前軍大都督。

中大通元年（529年）三月，邢杲寇亂三齊，響應元顥，北魏朝廷認為元顥孤弱，不足為慮，於是集中大軍去攻擊邢杲。陳慶之率所部乘虛北上，從銍縣（今安徽濉溪東南）出發，攻克滎城，進至睢陽。魏將丘大千率眾7萬分築九城，以抵禦梁軍，陳慶之率軍進攻，一天之內攻陷三城，丘大千投降。這時北魏濟陰王元暉業率羽林軍2萬來援，屯兵考城（今河南民權東北），陳慶之命令部隊浮水築壘，攻陷其城，全殲2萬，俘虜元暉業。

北伐梁軍直趨大梁，所過之處，魏軍望風而降。五月，魏帝元子攸為保衛首都洛陽，以左僕射楊昱等率羽林軍7萬守滎陽，陳慶之攻之不克。這時，上黨王元天穆大軍將至，先遣驃騎將軍爾朱兆率領胡騎5000、騎將魯安率夏州步騎9000增援楊昱，又讓右僕射爾朱世隆、西荊州刺史王羆率騎兵1萬，進據虎牢。此時魏軍糾集30萬之眾，對梁軍進行合圍，陳慶之的部隊只有7000人。面對數十倍於己的敵軍，陳慶之並沒有慌，他認為不能和敵軍騎兵在平原決戰，應儘快攻佔城壘，於是親自擂鼓激勵部下衝鋒，一舉攻克滎陽，俘虜楊昱。

不久，元天穆率軍來圍城，陳慶之又率領3000精兵背城而戰，擊破元天穆大軍圍攻，敵將魯安陣前投降，元天穆、爾朱兆單騎逃跑。陳慶之旋即進赴虎牢，虎牢守將爾朱世隆棄城而逃。魏帝元子攸為避陳慶之鋒芒，被迫撤到長子（今山西長子西），元顥遂進入北魏首都洛陽，封陳慶之為侍中、車騎大將軍、左光祿大夫，增邑萬戶。

不久，魏上黨王元天穆等又率兵4萬攻克大梁，並分別派遣王老生、費穆進據虎牢，刁宣、刁雙入梁、宋。陳慶之聽說後，率軍掩襲，魏軍皆降，元天穆率十餘騎北渡黃河逃跑，佔據虎牢的費穆向陳慶之投降，陳慶之又乘勝奪回梁、宋。陳慶之率領的北伐軍從銍縣出發到洛陽，前後作戰47次，攻城32座，所向披靡。由於陳慶之和部下都身穿白袍，洛陽童謠說：“名師大將莫自牢，千兵萬馬避白袍”。

雖然此次北伐最終在十餘倍的北魏軍隊圍攻下全軍覆沒，但陳慶之屢次以弱勝強，以少勝多，是繼桓溫北伐佔領洛陽，南朝北伐攻入北方最遠、影響最大的一次。

陳慶之身體文弱，“射不穿札，馬非所便”，但是有勇有謀，善撫軍士，人人都願意為他死戰，儒將之風盡顯。梁武帝曾經下詔稱讚他：“本非將種，又非豪家，觖望風雲，以至於此。可深思奇略，善克令終。開硃門而待賓，揚聲名於竹帛，豈非大丈夫哉！”大同五年（539年）十月，陳慶之去世，時年五十六歲，諡號為“武”。