司馬遷對霍去病的評價並非不高，只是沒有當代的“粉”們期待得那麼高。

而這種矛盾的產生，與其說是司馬遷與李廣家族的關係而“褒李貶衛霍”，進而質疑太史公的“史德”，不如說是古今價值觀的差異。事實上，我們看對於衛霍的記載，《史記》和《漢書》其實非常相近，當然，會有不少“傻孩子”在不瞭解歷史文獻學的基礎知識的情況下，會認為《漢書》成書時間晚，是東漢初年的作品，史料沒有司馬遷這個同時代人掌握得多，所以照錄了《史記》，其實不然。

首先，李廣將軍不存在運氣差，他是兩次被衛青當做擋箭牌和替罪羊。衛青還曾經把蘇建當替罪羊，那次衛青也損失了士馬十幾萬，《漢書食貨志》記載，衛青兩次損失士馬30萬左右。在這之前，都是漢武帝制定作戰計劃，多路出擊，衛青只是帶領一路人馬而已，但是功勞都算在他頭上，武帝多麼照顧這位小舅子啊！

但，他也說：“然（霍去病）少而侍中，貴，不省士。其從軍，天子為遣太官齎數十乘，既還，重車餘棄粱肉，而士有飢者。其在塞外，卒乏糧，或不能自振，而驃騎尚穿域蹋鞠。事多此類。”大意就是霍去病不體恤下屬，驕奢浪費，恃才傲物。

這不難理解，霍去病從小養在漢武帝身邊，且武帝對他百般寵愛，他自然不知下層人的疾苦。

太史公如實寫出了霍去病的缺點，畢竟人無完人，這也顯示出司馬遷修史時的“不虛美，不隱惡”的實錄精神。

但是，司馬遷在描寫他們的戰役的時候，永遠都是用一串冷冰冰的數字在描述，某某人，於某某年，某某月打了某某勝仗，殲敵多少人。僅此而已。對於霍去病和衛青打的戰役，永遠是這種很簡略的記錄，司馬遷之所以這樣寫他們，我想大概就是因為他們都是漢武帝的得力干將，都是漢武帝朝的紅的發紫的人。

所以，漢武帝喜歡的，他就討厭。這大致就是司馬遷對霍去病評價不高的大致原因吧。