謝公在東山，朝命屢降而不動。後出為桓宣武司馬，將發新亭，朝士鹹出瞻送。高靈時為中丞，亦往相祖。先時，多少飲酒，因倚如醉，戲曰：“卿屢違朝旨，高臥東山，諸人每相與言：‘安石不肯出，將如蒼生何？’今亦蒼生將如卿何？”謝笑而不答。
會稽孔沈、魏顗、虞球、虞存、謝奉，並是四族之俊，於時之桀。孫興公目之曰：“沈為孔家金，顗為魏家玉，虞為長、琳宗，謝為弘道伏。”