懷慶之戰後，太平軍跳出包圍，西進山西，又一路快速攻城過鎮，成功甩開了清軍主力圍追堵截，揮師東進，為進兵直隸打下了基礎。
揮兵東進 兵破臨洺關
咸豐三年八月二十三日（1853年9月25日），太平軍攻克黎城，次日（9月26日）黎明，太平軍經東陽關（在黎城縣東北，即壺口故關，古稱吾兒峪），出山西境，再入河南彰德府境（轄區位於今河北、河南兩省境內），出響堂鋪而下，將涉縣（今屬河北邯鄲）團團包圍，縣令李毓珍率清兵及鄉勇近千人據城而守，太平軍破城而入，李毓珍率眾與太平軍混戰於城內。最終，李毓珍及50餘隨從被擒，殺死在城外茄子地裡。
太平軍經涉縣東去，又入武安境，經冶陶、徘徊、午汲等鎮兵臨武安縣城，知縣錢應升潛逃。太平軍由此向東北行進，經大旺村、田村、康宿，沿洺河出境，於八月二十六日（9月28日），夜渡觀音嶺，進入直隸境內。
直隸是京城的南部屏障，而首當其衝的南大門就是臨洺關（今河北永年），其西依太行，北扼洺水，“實為畿輔，北通燕涿，南達鄭衛，東連齊魯，西接秦晉”。太平軍如果得此要塞，可一路由平原北上直至京城。這時的清政府急命府欽差大臣、直隸總督訥爾經額派兵阻止太平軍北上。
在懷慶之戰時，訥爾經額的隊伍一度進駐河南清化鎮（今河南省博愛縣）。但此人是知識分子出身，為人庸懦，面對太平軍的游擊戰術是束手無措。在太平軍入晉以後，他帶兵回防直隸堵截太平軍。但這時直隸境內的清兵數量並不足額，在臨洺關只有駐守的吉林兵750名和從山西截留折回的300名山西兵。
薛福成的《庸庵隨筆》卷一中記載，有人曾經向他獻計山西潞城、黎城之間有關口，可以出太行山東行到達武安，直抵臨洺關，是條近道，但是中間有要隘可以扼守，“若遣兵五六百人守之，雖十萬之眾不能過也”。訥爾經額對這一提醒卻並不主動應對，“以非直隸轄境，諮山西巡撫守禦”。
果不其然，沒等諮文送到山西巡撫手中，八月二十七日（9月29日），訥爾經額得到訊息，太平軍由臨洺關西邊的聰明山（今河北永年明山）襲來。
在得知訊息後，訥爾經額飭令總兵經文岱督兵洋槍隊抵抗，自己坐陣指揮。兩軍先是在石碑口（今河北永年石北口）遭遇。一場激戰後，太平軍退守聰明山後，林鳳祥採取正面佯攻，兩翼包抄的戰術，結果是清軍大敗。期間還有石碑村鄉勇一同進行抵抗，五十餘人被斬殺。《永年縣誌》中記載：“官兵矢藥皆盡，勢不支，時鄉民助戰，勢甚銳，久之無援亦敗”。
根據《永年縣誌》的記載，太平軍差不多中午時分結束了在聰明山的戰鬥，其中，一路太平軍攻克了臨洺關，清軍順德府分防同知周憲曾戰死，身首異處，其妻、妾、幕友、家丁同時遇害。另一路太平軍一路向東追擊逃跑的訥爾經額快到廣平府城的護駕村（原屬永年，今河北省邯鄲市叢臺區南沿村鎮）後，又返回臨洺關，《永年縣誌》記載“是晚，賊趨郡城，至護駕村迂水而止”。而兵敗後的訥爾經額帶數十人逃入廣平府（府治今河北省邯鄲市永年區廣府鎮）城，關防、令箭、軍書、資械委棄皆盡。
根據《瑛蘭坡藏名人尺贖墨跡》中的記載，時任直隸布政使張集馨曾在咸豐三年重陽後三日（也就是1853年10月14日）寫給其好友瑛棨（號蘭坡居士，時任河南督糧道）的一封信中，介紹了這次訥爾經額落敗之況，“懷慶之賊由晉入直，適節相（指欽差大臣、文淵閣大學士、直錄總督訥爾經額）在洺關相值，猝不及備，傷亡兵卒四百餘人，軍火、衣物、餉銀一概失落。同知周憲曾合門遇害。……”
臨洺關一戰並不是一場大規模的攻防戰，但是戰略意義重要，太平軍的突進，導致了清廷極大震動。此役過後第四天，清政府任命兵部尚書桂良擔任直隸總督，將訥爾經額罷職，逮下獄，論斬監候，直到太平軍北伐部隊被全部鎮壓後，才得以赦免出獄。
訥爾經額之所以被免，一是因為他此前身為欽差大臣，前期督戰不利，朝中早有人對其不滿；再者是因為臨洺關的重要性，清軍的落敗，使得太平軍可以長驅北上。還有就是太平軍的獲勝後，“賊焰由此大張”。薛福成的《庸庵隨筆》卷一中對其評價說“故相訥近堂閣部之總制直隸也，酣嬉廢事，吏治日壞。……蓋訥相為承平大吏已數十年，養尊處優，素不知兵，行軍既無偵探，又無營壘，加以拘率文例，故及於敗雲”。
長途跋涉 一日克一城
太平軍北伐隊伍拿下臨洺關後，迅即北上，沿途快速推進：
八月二十八日（9月30日），攻陷沙河縣（今河北邢臺沙河市）。知縣玉衡身受七傷，與其妻妾同死。
旋即，過境順德府（今河北邢臺市），未克，略府城而過。
八月二十九日（10月1日），太平軍攻陷任縣（今河北邢臺任澤區），知縣陳登漢負傷。
八月三十日（10月2日），太平軍過境唐山縣（今河北隆堯縣西部原堯山縣的曾用名）南，攻陷隆平縣（1947年，隆平、堯山二縣合併為隆堯縣），知縣陳瑄逃跑。
而後，太平軍略過寧晉縣。於九月初一（10月3日）攻克柏鄉縣城（今河北邢臺市柏鄉縣），柏縣知縣費懋德連夜開城而逃。
九月初二（10月4日），太平軍進攻趙州（今河北石家莊市趙縣），知州胡允植藏匿不出，太平軍輕取趙州，州署被焚。
九月初三（10月5日），太平軍攻克欒城縣（今河北石家莊市欒城區），知縣唐盛戰死。根據陳錫麟的《唐公殉難傳》中記載，唐盛是朔州人，咸豐元年任欒城知縣。此前，清廷組織各地官軍經過欒城，唐盛曾在南關設定棧營，供應謹嚴，商民不擾。在太平軍來襲前，他又招募組織鄉勇巡城防守。太平軍自南門攻入，勸降唐盛，唐盛說“若啟門縱民出，當降汝”，太平軍同意後，百姓逃出城外，唐盛轉而對太平軍破口大罵“身為朝廷守土之官，不能殺賊，城亡與亡耳，鼠輩何為者？”結果被綁在大堂坊柱之上射死，“斷其首懸諸儀門”。
欒城的陷落，給清政府造成了一種太平軍大有沿正定、保定一路北上，直取北京的態勢。這個時候位於滹沱河北岸的正定府城緊張起來，正定知縣周灝開始嚴密防守。這是清軍防止太平軍繼續北上的又一道防線，但兵力嚴重不足的一道道奏摺讓咸豐皇帝如同熱鍋上的螞蟻急的團團轉，盼勝保、盼援兵。
此時，新任直隸總督桂良坐鎮保定，咸豐皇帝一直所倚仗的勝保還遠在山西平定州，直隸提督保恆八月三十日才從固關出發，直到九月初四才到達正定。
根據九月初三（10月5日）《桂良奏報隆平、柏鄉失守，請催察哈爾兵前來正定防剿折》中的奏報稱：“正定府城現有截留大同兵三百二十五名，並有酌調外汛兵一百名，二一日方可到齊。正定府縣令團練壯勇二百名，均在城上分佈安置。”而當時的直隸省城保定，也是兵員不足，“省城官兵僅有四百餘名，滿營駐防官兵亦止五百餘名，均無可撥”， 桂良奏稱九月初二“將察哈爾兵四千名派培成等帶赴正定迎剿，又派慶祺等管帶盛京兵二千名馳赴保定防守”，
九月初三（10月5日）的《勝保奏報敵股北擾現由正定督兵進剿等情折》中顯示：“奴才與善祿惟有竭盡心力，晝夜兼行，以冀速保正定”，說了一堆感人的話語，並提出了一堆應對之策。對此奏摺，九月六日，咸豐皇帝御批：“知道了，已屢次有寄諭，催汝前進，……正定無兵，焦急之至，專賴汝之趕到也。”
遠水解不了近渴，這些隊伍無法及時到防，讓咸豐皇帝心中十分著急，“保定前路無兵，奈何”。
九月初六（10月8日），勝保又發奏摺《欽差大臣勝保奏報督兵馳抵正定並飛催各路官兵相機追剿折》，這期間他接替訥爾經額升任欽差大臣，還獲賜寶刀一把，可以說是功勞不大，倒是權勢大增，榮譽賺了一身。勝保奏報說“奴才由九月初三日拜折後，在平定州接到由訥爾經額派員齎到欽差大臣關防一顆，奴才當即叩頭祗領，初四日行抵固關途次，遇山西巡撫臣恆春由北入晉……當經恆春口傳諭旨，面授神雀刀一口……奴才即日擬到正定稍齊兵勇，並嚴催各路之兵前進。”
根據勝保的這份奏摺可以得知，勝保是差不多在九月六日（10月8日）才到的正定，開始安排各路清兵佈防。而太平軍先他一步，並沒有直接進攻正定，轉由欒城縣折向東北的藁城縣（今石家莊市藁城區），知縣胡塍逃走。據《續藁城縣誌》卷之四記載，“粵賊林鳳翔由欒城寇藁城，初四日（10月6日），城陷。察哈爾都統西陵阿獲勝”，
在《欒城縣誌》中的記載“初四日（10月6日），察哈爾都統西陵阿追粵逆於藁城，大敗之”，但接著又說“退防欒城。”清軍既然取勝為何又退守欒城呢？可見官方的縣誌記載有粉飾之嫌。其實，西陵阿的獲勝難免有撿漏的可能，畢竟當時太平軍的目標並不是與清軍決戰，而是一心伺機北上。清軍對於這場“勝仗”描述為“都統帶兵追賊於藁城西南徐村，大獲全勝。是日退守欒城，駐紮臺頭寺。”
次日（10月7日），太平軍搭浮橋渡過滹沱河。
九月初六（10月8日），太平軍攻陷晉州。知州楊雲鰲戰死。
九月初七（10月9日），過境束鹿縣（今河北辛集市），攻克深州，斬知州陳希敬。
就這樣，太平軍北伐隊伍自八月二十七日至九月初七，在十一天的時間裡連克十州縣，二百餘公里，幾乎是一日一城。此後，長途奔襲，人困馬乏的太平軍開始再度休整，加之當時秋雨靡集，“各處水潦洶溢”，太平軍北伐隊伍於是短暫屯駐深州。
未成行的熱河避難
在這之前，有一個小小的插曲，就是太平軍到達定州的誤報。根據桂良在九月初八（10月10日）的一份奏報，說他九月初七接到望都縣稟報，發現有太平軍在定州李青果村附近活動，距離省城保定只有百十餘里，他就急命勝保（由山西回防正定）馳赴定州。此時的直隸各縣已呈驚弓之鳥一般，生怕太平軍入境，各種慌報四起。隨後桂良又接到了定州、新樂縣等奏報，說太平軍北伐隊伍在藁城郝莊（現在無極縣郝莊）一帶紮營，距正定五十餘里。於是他趕緊命人在滹沱河沿岸收集船隻，並命提督保恆偵探，太平軍由何處渡河。勝保在得到桂良飛諮太平軍已到定州訊息後，旋即向北急行軍追擊，結果並沒有發現太平軍大部隊，白跑了一趟保定。
這個假訊息也讓京城上下恐慌，甚至一度傳出了太平軍分兵到達安平、蠡縣，前鋒直抵張登鎮（今天河北省保定市清苑區）的謠傳，“京官甚有不待請假即倉皇出城者”。
《馬克思恩格斯全集》第十卷中，馬克思1854年3月3日一篇文章中記載，“中國皇帝預見到北京會失守，曾命令各省總督把皇帝的收入交到熱河——這是皇帝的舊的氏族領土和他現在在滿洲的夏宮，在長城東北約八十英里的地方”，準備逃亡，只不過這次計劃並未成行。在《慈禧傳信錄》捲上中記載，咸豐皇帝曾經對軍機大臣杜翰說：“天啟當亡國而弗亡，崇禎不當亡而亡。今豫南北皆殘破，賊已渡河。明代事行見矣，設有不幸，朕亦如崇禎不當亡而亡耳”。上述的說法真實性值得商榷，但是當時這種末日將臨之感也確實讓咸豐為之慾哭無淚。
《清文宗實錄》第114卷中記載，京城內的官紳如此，民間亦是如此。太平軍將要到來的訊息一度引發各地騷亂，天津以北，“永平府屬一州六縣，無處不有梟匪，數月內官設鹽店被搶者十之八九”，甚至“千百結夥持械，四處搶劫”。
歷史的發展就是這麼有意思，雖然太平軍的到來讓咸豐皇帝經歷第一次初考，熱河之行未能成行，但在七年後的咸豐十年（1860年），英法聯軍真的打到了北京，兵臨城下，咸豐皇帝不得不以“木蘭秋獮”為名帶著一批大臣真的逃到了熱河行宮避難。
面對太平軍的步步緊逼，這時的清廷內部可以說是如同熱鍋上的螞蟻。雖然口頭上說“該逆不敢抗拒，殘喘苟延。畿疆近地，豈容逆匪肆行”，但實際上已經開始再度調集兵馬，調整軍事指揮體系班子了。根據九月初九（10月11日）的咸豐皇帝釋出的《諭內閣著授綿愉為奉命大將軍，僧格林沁為參贊大臣總統諸軍》一份聖旨中顯示，咸豐皇帝在乾清宮舉行授印禮，著手人事調整，此前，他已調培成、多爾濟那木凱、達洪阿等統帶旗營官兵出京進剿。
他命惠親王綿愉為奉命大將軍，御前大臣、科爾沁札薩克多爾郡王僧格林沁為參贊大臣，分別授予二人銳捷刀和訥庫尼素光刀。“即日統領健銳營（五百名）、外火器營（五百名）、兩翼前鋒營及八旗護軍營（二千名）、巡捕五營（五百名）及察哈爾（一千名）各官兵，與哲里木、卓素圖、昭烏達東三盟蒙古諸王等勁旅，由京前往合剿，與欽差大臣勝保等前後夾擊。”
同日，咸豐皇帝還命定郡王載銓、內大臣壁昌會辦京城巡防事宜。設定京城巡防所，以軍機大臣穆蔭、左都御史步軍統領花沙納、右翼總兵達洪阿等專負其責。
另根據咸豐皇帝給勝保的諭旨顯示，北面由慶祺率盛京兵由水路啟程，赴河間扼截，西陵阿由南面兜剿，兼防東竄之路。
九月十一日（10月13日），一直尾隨太平軍大部隊的西陵阿部自束鹿（今河北辛集）繼續追擊，結果在深州城西十里的杜莊被擊敗，撤回了束鹿。而撲空的勝保於九月十四日（10月16日），率兵經張登到達了深州城北十五里的西午村。
太平軍在屯駐深州期間，因為清政府一直覺得太平軍即使在深州，仍會經由“安平、博野小路，直撲保定，並無險可守”。九月九日（10月11日），桂良在一份奏摺中稱“如該逆由深州北竄，則保定勢須嚴守。……若由深州東竄，則河間、天津等處均關緊要。”
時值秋雨浸淫，因城外水深，清軍於是採取三面包轉之勢，副都統佟鑑還用大炮轟擊深州城。期間，太平軍利用城外的密林設伏，夜襲清軍吉林馬隊。隨著包圍的清軍越來越多，九月二十日（10月22日）夜，“賊開東門鳧水夜循”，太平軍自深州東去。
此後太平軍迅速向東進擊，甩開清軍包圍。九月二十一日（10月23日），太平軍先經武強縣的小范村，沿滏陽河北行，過滏焚橋，是夜，攻克獻縣。後於九月二十三日（10月25日）早晨，攻克交河縣城（今河北省泊頭市交河鎮）。九月二十四日（10月26日），太平軍抵達泊頭鎮。在擊敗當地兵勇三千餘人後，九月二十五日（10月27日），太平軍攻陷滄州，知州沈如潮戰死。
九月二十二日（10月24日），欽差大臣勝保到達了河間一線，進至太平軍西北方向。而十幾天前，咸豐皇帝欽封的參贊大臣僧格林沁，還屯兵在他請駐的涿州，縮在二線不動。此時，一位欽差大臣，一位參贊大臣，二人的矛盾由此可見。
因軍情緊急，太平軍並未在滄州久留，九月二十六日（10月28日），太平軍沿運河北上到達青縣（屬河北省滄州市）時。而這時，僧格林沁的部隊才由涿州移防到了固安。
此後，太平軍又繼續沿運河北上，到九月二十七日（10月29日）時，太平軍前鋒已經靜海縣城，在此安營紮寨。由林鳳翔留守大營，李開芳等率餘部急速奪取獨流鎮、良王莊，到達楊柳青。到九月二十八日（10月30日）中午，太平軍前鋒已經開始進攻天津西郊的大小稍直口。由於天津城內守備空虛，守軍只好掘開南運河，放水阻攔太平軍進攻，此役太平軍受挫，“賊大敗，知不可破，即於二十八日奔楊柳青，官兵又敗之，遂竄陷靜海縣並獨流鎮兩處，連營固守”。
勝保的軍隊先是追到了青縣，又於十月初二（11月2日），僧格林沁到達東安縣。
太平軍此時開始在靜海、獨流、楊柳清三處“紮營守候”，顯然有控制南運河的計劃，一方面是等待救援，另一方面控制此處可以利用運河之勢，進退主動。但這時，退據堅守的太平軍也等來了清軍的層層包圍，隨著天氣的轉冷，加上勝保、僧格林沁兩部的推進，形勢對太平軍也越來越不利起來。
（本文原創：史說新傳，部分圖片源自網路）