在天平天國運動期間，太平天軍除了要跟清政府軍隊作戰，還要面對另外一支兇狠的對手——洋槍隊。洋槍隊是由清政府出錢，外國人執掌，招募中國人當兵，一支專門與太平天軍作戰的武裝力量。在剿滅太平天國的過程中，洋槍隊發揮了重要的作用，這支軍隊是怎麼建立起來的？太平天國滅亡後，為什麼再無這支軍隊的訊息？

1860年5月，太平天軍在李秀成的率領下搗毀清軍江南大營，連下經濟重鎮蘇州、常州等地，威脅通商口岸上海，一時間逃難上海的富商人心惶惶。江蘇布政使薛煥即命蘇松太兵備道吳煦，請英、法領事派兵協助防守上海和嘉定、太倉一帶，抵抗太平軍。當時正值第二次鴉片戰爭期間，英法軍隊都集中在北方，分不出兵力南下，只好另行組織武裝。

於是，吳煦就透過買辦出身的蘇松太糧道候選道楊坊，找到了美國人華爾，請他編練軍隊。華爾是一個美國流氓，在國內犯了罪才逃來中國。雙方一拍即合。華爾拿吳煦、楊坊供給的錢，按照軍官月薪六百美元、土兵月薪一百美元的高價，招募了一百名左右的呂宋人（菲律賓人），組成一支軍隊。華爾自任領隊，這支軍隊在6月2日宣佈成立。因他們全部穿洋服、用洋槍，所以就叫做“洋槍隊”。

洋槍隊一經成立，就處處與太平軍為敵，但是卻並沒佔有多少便宜，屢戰屢敗。華爾不得不多次返回上海招募軍隊，擴充規模。華爾曾在同太平天軍的一次作戰中五次負傷，使得他對太平天軍愈加仇恨。

為了徹底剿滅太平天軍，華爾主動向江蘇巡撫薛煥提出加入中國國籍，薛煥轉奏朝廷，清廷便賞給華爾四品翎頂，任命他在松江府招募中國人入洋槍隊編練，名為“華勇”，從此，洋槍隊開始有了中國人。以後各級帶兵官由外國人充當，兵勇便全是中國人了，經費仍全部由清政府供給。到1862年2月，洋槍隊兵員增至1200餘名。

1862年1月，李秀成的太平軍第二次進攻上海。2月初，洋槍隊在松江一帶打了幾個勝仗。江蘇撫薛煥便奏請清廷，將洋槍隊改名“常勝軍”，將華爾升為三品官，華爾的氣焰更囂張。同年5月，常勝軍與一部份英法軍隊合攻青浦。華爾帶頭進攻，攻陷了青浦。清政府為表彰華爾的“功績”，特下諭旨：“副將銜華爾著以副將補用”。

洋槍隊雖然改名為常勝軍，但是敗仗也吃了不少。1862年5月28日，李秀成指揮太平軍再次進攻青浦。常勝軍從松江老巢趕來青浦支援清軍，剛一到達就受到太平軍的迎頭痛擊，其副領隊法爾思德被太平軍活捉，後來被華爾以大批軍火贖回。同年9月，太平軍進軍佔領了浙江的慈溪，直通寧波。華爾急忙帶領常勝軍千餘人奔赴寧波，妄圖奪回慈溪。雙方展開了激烈的戰鬥，在這一仗中，華爾被太平軍擊中，傷重斃命。

華爾死後，常勝軍的統領由副領隊白齊文繼任。這時候常勝軍發展至5600多人，是常勝軍數額最多的時候。1863年3月，常勝軍的管帶由英國人戈登充任。此時常勝軍共約三四千人，其中有外國軍官一百多人，士兵全是中國人。

這一階段，常勝軍積極配合李鴻章的準軍，先後攻佔了蘇南重鎮常熟、太倉、崑山、吳江、蘇州、宜興等地。1864年5月，淮軍和常勝軍攻克了常州以後，英國政府看到太平天國即將失敗，它干涉中國的內政已經達到目的，於是下令英國軍官不許在清軍中服務。這樣，常勝軍就宣宜布解散了。

常勝軍的頭目英國軍官戈登回到英國，英政府授予他爵士頭銜。19世紀70年代，戈登去了非洲埃及，後又轉赴蘇丹，適逢馬赫迪民族大起義，在戰爭被殺。英國首相格萊斯頓因此受到維多利亞女王指責，失去民望，黯然下臺。