謝公在東山，朝命屢降而不動。後出為桓宣武司馬，將發新亭，朝士鹹出瞻送。高靈時為中丞，亦往相祖。先時，多少飲酒，因倚如醉，戲曰：“卿屢違朝旨，高臥東山，諸人每相與言：‘安石不肯出，將如蒼生何？’今亦蒼生將如卿何？”謝笑而不答。

　　王脩齡嘗在東山甚貧乏。陶胡奴為烏程令，送壹船米遺之，卻不肯取。直答語“王脩齡若饑，自當就謝仁祖索食，不須陶胡奴米。”

　　謝太傅盤桓東山時，與孫興公諸人泛海戲。風起浪湧，孫、王諸人色並遽，便唱使還。太傅神情方王，吟嘯不言。舟人以公貌閑意說，猶去不止。既風轉急，浪猛，諸人皆諠動不坐。公徐雲：“如此，將無歸！”眾人即承響而回。於是審其量，足以鎮安朝野。