蘇子高事平，王、庾諸公欲用孔廷尉為丹陽。亂離之後，百姓雕弊，孔慨然曰：“昔肅祖臨崩，諸君親升禦床，並蒙眷識，共奉遺詔。孔坦疏賤，不在顧命之列。既有艱難，則以微臣為先，今猶俎上腐肉，任人膾截耳！”於是拂衣而去，諸公亦止。
樂令善於清言，而不長於手筆。將讓河南尹，請潘嶽為表。潘雲：“可作耳。要當得君意。”樂為述己所以為讓，標位二百許語。潘直取錯綜，便成名筆。時人鹹雲：“若樂不假潘之文，潘不取樂之旨，則無以成斯矣。”
桓大司馬病。謝公往省病，從東門入。桓公遙望，嘆曰：“吾門中久不見如此人！”