谢灵运,陈郡阳夏人。祖父谢玄,是晋代的车骑将军。父亲谢王奂,从小便不聪明,当过秘书郎,很早就死了。谢灵运很小的时候就聪慧过人,谢玄十分看重他,跟亲近的人说:“我生了谢王奂,谢王奂怎么能生灵运呢!”
谢灵运从小便爱读书,博览经史,他写的文章非常漂亮,江南几乎没人赶得上,堂叔谢混尤其喜欢他。谢灵运继承祖父的爵位,被封为康乐公,享受两千户的税收待遇。援引先例,谢灵运被朝廷授予员外散骑侍郎的职务,谢灵运没有到任,但他却接受了琅王牙王的大司马行参军的官职。
武帝刘裕因事征讨后秦姚氏,骠骑将军刘道怜留守都城,谢灵运被用为谘议参军。再转调当中书侍郎,又当世子中军谘议、黄门侍郎。谢灵运奉命出使彭城,慰劳世祖刘骏,写了《撰征赋》。