甫送他到了绵州方始作别。杜甫道：“我依人作嫁，全靠老弟相助照应才得安居，季鹰一走，我又飘泊无依了。”

严武见他说时面有泪容，神情凄苦，心中老大不忍，便拉着杜甫的手笑道：“我真舍不得离开这天府之国，我今此去还要设法回来，不久当可重逢，何必难受呢？至于子美兄的今后生活，我已为你想好主意，给梓州刺史章彝写了一信，托他照应。我走之后，你可到梓州去见他谈谈，看是如何，自作打算。我想是不会有错的。”随命人把信取来，交与杜甫。

杜甫见那信写得十分诚恳，忙即谢了。回到成都住了几天，便到梓州去见章彝。初意严武的信写得十分有力，章彝不会不管，哪知章彝武人粗野，双方气味本不相投，又因严武御下严厉，以前叱骂过他，心中不快，对于杜甫并不怎优待。杜甫不久又把家眷接去，因为互不投机，全家又迁往间州，住了半年，穷愁抑郁，苦不得意。正在难受，忽然得报，严武再镇西蜀，不久就要回任。当时高兴已极，忙又迁回成都等候。到了广德二年三月，严武果然回到成都，并且上表保奏杜甫为节度参谋、检校工部员外郎。良友重逢，又得了新的官职，彼此都很欣慰。杜甫由此每日便在严武幕府里任职，只把家眷迁回浣花溪草堂，自己有时也回家去住上些日，栽花种竹，料理耕稼，生活重又安定下来。

严武本就量小性暴，不能容物。先以为章彝有自己亲笔的信，必能爱屋及乌，优待杜甫。回到成都，第一件事就是查问章彝对待杜甫如何。因听人言章彝对杜甫很冷淡，一点没照顾，不由有气，恨在心里。本来就有杀之之心，杜甫偏又心直计快，严武问时照实说出。当年天又大旱，杜甫写了一篇文章，名为《说旱》。大意是，蜀中近年各州府县囚人大多，难免没有冤屈，应把轻罪的人释放回家等语。

这篇文章语太切直，严武看了已不大高兴。再把杜甫请去一谈，竟是梓州囚人大多，内中有好些无辜，越发激怒，当时要杀章彝。杜甫劝他不听。又道：“蜀中年年荒乱，徐知道刚刚平息，如何又杀部将？”

严武大怒，双方对吵了一阵。杜甫恐怕惹出事来，便走上严武的床，瞪目怒道：“严挺之一生忠厚，从不轻易伤人，竟会有你这样儿子！”

严武也气道：“你这杜审言的孙子知道什么？惹翻了我，连你也一齐杀！”当时朋友相交，如提到对方祖父名讳最是无礼。这一来二人全部有气。杜甫又说了几句负气的话，拂袖而去。