桓玄敗後，殷仲文還為大司馬咨議，意似二三，非復往日。大司馬府聽前，有壹老槐，甚扶疏。殷因月朔，與眾在聽，視槐良久，嘆曰：“槐樹婆娑，無復生意！”

　　桓宣武作徐州，時謝奕為晉陵。先粗經虛懷，而乃無異常。及桓還荊州，將西之間，意氣甚篤，奕弗之疑。唯謝虎子婦王悟其旨。每曰：“桓荊州用意殊異，必與晉陵俱西矣！”俄而引奕為司馬。奕既上，猶推布衣交。在溫坐，岸幘嘯詠，無異常日。宣武每曰：“我方外司馬。”遂因酒，轉無朝夕禮。桓舍入內，奕輒復隨去。後至奕醉，溫往主許避之。主曰：“君無狂司馬，我何由得相見？”

　　殷中軍為庾公長史，下都，王丞相為之集，桓公、王長史、王藍田、謝鎮西並在。丞相自起解帳帶麈尾，語殷曰：“身今日當與君共談析理。”既共清言，遂達三更。丞相與殷共相往反，其余諸賢，略無所關。既彼我相盡，丞相乃嘆曰：“向來語，乃竟未知理源所歸，至於辭喻不相負。正始之音，正當爾耳！”明旦，桓宣武語人曰：“昨夜聽殷、王清言甚佳，仁祖亦不寂寞，我亦時復造心，顧看兩王掾，輒翣如生母狗馨。”