漢武帝上臺來第一個要對付的就是北面危險的強敵：匈奴。漢武帝在小的時候就感到匈奴的潛在威脅，暗下決心，長大之後解決這個困擾漢帝國七十餘年的強勁對手。

漢武帝上臺之後，一改以往對匈奴的妥協和親，採取了急風暴雨般的凌厲攻勢，以武力換來了北部邊疆的安寧，成為漢代解決匈奴問題最有成效的帝王。匈奴經過漢武帝的幾次打擊，很快地衰落下去，但他們沒有徹底改變侵略品性。漢與匈奴之間的衝突與和平，是一個長期而又複雜的問題。匈奴是我國北方的一個古老的遊牧民族，大約在戰國中期，匈奴已經遷居到長城以北。

匈奴是一個遊牧部落，擅長騎馬射箭，民風剽悍，在秦朝末年，頭曼單于開始統一各部落，建立政權，進入了奴隸制社會。頭曼單于建立了刑法和監獄。他總是四出掠布，發動戰爭。他下令戰爭俘虜盡歸獲者所有，戰俘變成了自己的奴婢，所以作戰時，匈奴士兵人人爭先，殘酷兇悍，頭曼單于成了一個富有侵略性、掠奪性的、野蠻的奴隸制軍事貴族。

統治集團的頭子頭曼單于把匈奴的國家統治機構按軍事系統進行編制，在手下設定了左右賢王，左右谷王，左右大將，左右大都，左右大當戶，左右骨都候，共二十四個長，大的率數萬騎，小的領數千騎，都是單于的直接臣屬，單于意即偉大的天子，是匈奴的最高統治者的尊號，他的統治中心在陰山下的頭曼城（今內蒙古包頭市附近）。秦朝時與匈奴發生了較大規模的衝突。

頭曼單于率領他的騎兵南下侵擾秦朝的北部邊都，搶劫財物，掠奪人口。秦始皇嬴政對於這個貪落後的北鄰一直懷有戒心，他的帝國是不容外人侵犯的。贏政對於頭曼單于予以堅決的反擊。他派大將蒙括傾全國三十萬將土，兵鋒北指，抗擊匈奴蒙恬率秦軍挾破滅六國餘威，所向披靡，打得奴狼北竄。蒙恬收復了“河南地”，即今內蒙古河套伊盟一帶。幻奴兵狂奔逃命，北退了約七百多里。

受到了這重重一擊的勾奴再也不敢故肆地興兵南掠，從此“胡人不敢南下而牧馬士不敢彎弓而報怨。”為了鞏固北部的邊防，秦始皇在黃河河套一帶建築郭塞、城，作為軍事據點，監視北部貪心不死的匈奴騎兵。新開拓的地區人煙稀少，秦始皇又下令從內地移民三萬戶到河北（今河套鳥加河以北）、中（今河套東北岸），用以充實邊防力量。

第二年，秦始皇又下令把原先燕、趙、秦三國在北方修築的長城連線起來，重新予以修繕，並在長度上東西大規模擴充套件，築成號稱世界七大奇蹟之一的“萬里長城”。