謝公聞羊綏佳，致意令來，終不肯詣。後綏為太學博士，因事見謝公，公即取以為主簿。

　　桓南郡好獵，每田狩，車騎甚盛。五六十裏中，旌旗蔽隰。騁良馬，馳擊若飛，雙甄所指，不避陵壑。或行陳不整，(上鹿下君)兔騰逸，參佐無不被系束。桓道恭，玄之族也，時為賊曹參軍，頗敢直言。常自帶絳綿繩箸腰中，玄問“此何為？”答曰：“公獵，好縛人士，會當被縛，手不能堪芒也。”玄自此小差。

　　桓玄敗後，殷仲文還為大司馬咨議，意似二三，非復往日。大司馬府聽前，有壹老槐，甚扶疏。殷因月朔，與眾在聽，視槐良久，嘆曰：“槐樹婆娑，無復生意！”