殷仲文既素有名望，自謂必當阿衡朝政。忽作東陽太守，意甚不平。及之郡，至富陽，慨然嘆曰：“看此山川形勢，當復出壹孫伯符！”
簡文作撫軍時，嘗與桓宣武俱入朝，更相讓在前。宣武不得已而先之，因曰：“伯也執殳，為王前驅。”簡文曰：“所謂‘無小無大，從公於邁’。”