自從東晉南渡以來，東晉統治者偏安於江南一隅，佔統治地位的是一種士族門閥政治。士族門閥形成於曹魏，在晉時到達到頂峰，從北方遷到南方的大姓門第世家，結合成一個龐大統治集團，他們以家族為單位，佔據了高官顯位和大量的土地，成為貴族統治集團。與王族相對立的，是江南土生土長的地主集團和南遷來的寒門地主，稱之為庶族或寒門。王族的唯一職業就是作官，而且是高官，他們根據門第和世家的高低來決定做官的大小。

當時有這樣一句話來形容土族子弟：“舉車不落為著作，體中如何則秘書。”意思是說：士家子弟，只要是能坐在車上而不掉下來的，就可以當著作郎，只要能寫信問人家：“身體是怎麼樣？”就可以當秘書郎。著作郎和秘書郎在當時都是五品以上的大官，而且幹上一兩個月，就能升職。庶族寒門不同，他們只能擔任一些低階官吏和軍官，社會地位和政治地位遠比不上王族。當時江南的王族大家，有王、謝、元、蕭四大家，而尤以烏衣巷中的王家和謝家門第最高，地位最尊。

晉孝武帝太元十年（公元385年），烏衣巷謝氏家族在浙江會稽始寧（今浙江上虞）的一支，謝玄的老宅予中，少爺謝耜得了一個兒子，因天生聰明，起名靈運，這就是後世鼎鼎大名的謝靈運。

謝靈運的爺爺謝玄，就是當年淝水之戰中的著名將領。那年，謝玄和叔父謝石，族弟謝琰一起，率領自己親手建立的北府兵，以8萬人馬一舉擊潰了前秦皇帝苻堅的25萬人馬，從此名聲大振。因為此次作戰為東晉立下了大功，謝玄被封為康樂縣公，食邑2000戶。

謝玄只有一個兒子，名叫謝耜。謝耜生性愚懦，絲毫沒有老子當年的英武機智。而謝靈運的出生，使謝玄全家上下非常高興：謝家單傳，這樣終於有了後人可以承襲祖宗的基業。小靈運和他父親謝耜不一樣，從小就透一股機靈勁，深得他祖父謝玄的喜愛。謝玄曾不無感慨地對熟悉的人說：“我生了木頭木腦的謝耜，謝耜卻生了個這麼聰明的兒子！”

謝靈運的出生，讓全家人高興，也給這個家庭帶來一絲憂慮：謝家是兩代單傳，萬一養不活他……謝靈運四五歲的時候，祖父便去世了，這使謝家的擔心更重。當時有個風俗，家裡要是怕不能把孩於養活，可以送到寺院裡面，拜有能耐的老和尚為師，這樣就可以獲得神佛的保佑，孩子會平平安安地長大。謝家不信佛教，而信奉道家學說，所以就把謝靈運送到了當時與始寧一江之隔的錢塘杜氏的天師道的道館中寄養。這種寄養也稱客居，所以謝靈運也就有了“客兒”、“阿客”的小名，後人也習慣地稱他為謝客。

在杜氏的道館之中，小靈運受到了非常系統的教育，再加上他天資聰明，又刻苦好學，博覽群書，所以年紀輕輕就能寫詩作賦，而且文采優美，為他一生的文學創作打下了良好的基本功。另一方面，西子湖畔，錢塘江邊的蒼山秀水，陶冶了他的性情，使他自少年時代就對山水之美有著執著的追求。

但是，小小的錢塘風光雖然秀美，卻關不住謝靈運的那顆嚮往自由的心。出身王族，家庭的影響使他期望能夠投身政治，把自己的一腔報國熱忱和才能投之於祖國的統一大業之中，像自己的祖輩那樣，建功立業。懷著這樣的抱負，十五歲的謝靈運告別了會稽始寧的家人，來到當時東晉的首都建康，到烏衣巷投奔同族謝混。

謝混是當時東晉孝武帝的女婿，是當時政界和文壇上的中心人物，文采出眾，氣度非凡，被稱之為江左（江南）第一。他善寫詩，面且開始注意改革詩風，這對謝靈運的影響很深。在政治上，他也很有眼光，為了維護謝氏家族的利益，不致家道中途沒落，他特別重視對本族子弟才識的培養。謝混培養子弟的方法也很特別，他很看重子侄輩的謝靈運、謝瞻。．謝媺和謝弘微等人，時常在一起飲酒宴會，並且在宴會之中行文作賦，相互欣賞，相互品評。