劉遵祖少為殷中軍所知，稱之於庾公。庾公甚忻然，便取為佐。既見，坐之獨榻上與語。劉爾日殊不稱，庾小失望，遂名之為“羊公鶴”。昔羊叔子有鶴善舞，嘗向客稱之。客試使驅來，氃氋而不肯舞。故稱比之。
孫長樂作王長史誄雲：“余與夫子，交非勢利，心猶澄水，同此玄味。”王孝伯見曰：“才士不遜，亡祖何至與此人周旋！”