蘇子高事平，王、庾諸公欲用孔廷尉為丹陽。亂離之後，百姓雕弊，孔慨然曰：“昔肅祖臨崩，諸君親升禦床，並蒙眷識，共奉遺詔。孔坦疏賤，不在顧命之列。既有艱難，則以微臣為先，今猶俎上腐肉，任人膾截耳！”於是拂衣而去，諸公亦止。

　　庾太尉在武昌，秋夜氣佳景清，使吏殷浩、王胡之之徒登南樓理詠。音調始遒，聞函道中有屐聲甚厲，定是庾公。俄而率左右十許人步來，諸賢欲起避之。公徐雲：“諸君少住，老子於此處興復不淺！”因便據胡床，與諸人詠謔，竟坐甚得任樂。後王逸少下，與丞相言及此事。丞相曰：“元規爾時風範，不得不小頹。”右軍答曰：“唯丘壑獨存。”

　　簡文目庾赤玉：“省率治除。”謝仁祖雲：“庾赤玉胸中無宿物。”