太守的稱謂，首見於秦漢，是對郡守的尊稱，為一郡的最高行政長官。秦漢實行郡縣二級制，郡的長官是太守，縣的長官為縣令。縣令相當於今天的縣長，但若說秦漢太守相當於今天的市長（回答這個問題的網友是這麼說的），則不怎麼準確。因為秦漢時期的太守，秩二千石，與九卿同列。

秦朝建立後，為了避免重蹈商、周被諸侯滅亡的覆轍，秦始皇在全國範圍內實施了郡縣制。在中央朝廷以外，全天下的行政單位分為郡、縣兩級，郡的最高長官叫做郡守，縣的最高長官叫做縣令，他們都由皇帝直接任免。這一舉措大大加強了中央集權。

西漢時期，漢景帝將郡守改名叫做太守，這就是太守一詞的來源了，漢景帝非常重視太守們的治理，因為太守的工資是兩千石，所以漢宣帝曾經說過一句著名的話：與我共理者，其惟兩千石乎？這句話深刻說明了地方長官在漢宣帝心中的地位，也說明地方長官在一地位高權重，負責極大的權力。

由於行政劃分的變化，太守在不同時期的級別也有所不同。魏晉南北朝時期，由於政權更替頻繁，許多州、郡的轄區管理混亂，郡的轄區日益弱小。到了隋朝立國以後，為了統一管理全國，便廢除了郡的建制儲存州的建制，由州直接統縣，不再設定郡的建制，而作為一郡之長的太守職務也淡出了歷史舞臺。