六月十一，赵子良派八百里加急给在长安的郑三和岑参分别送去了一封书信，信中把情况进行了详细的说明，让他们留下来继续为北庭军筹措粮草军饷和军械物资，北庭军还要指望他们过日子，同时他还写了几封信让王灿以情报网的渠道分别给北庭留守刘眺、高适、独孤峻等人各送去一封信，说明了大致的情况，让他们看好家，防止屑小趁虚而入。

赵子良也给远在北庭的两位夫人去了信，说明自己现在已经遭到朝廷的猜忌，不能返回北庭，目前局势复杂，他只能返回江陵老家静观其变，让两位夫人带着儿女在北庭不要轻举妄动，他会随时派人送信过去。

处理全部事务之后，六月十一日上午，赵子良携孟夫人在三百亲兵护卫的护送出洛阳城开始南下，赵霆、楚歌、白孝德、李晟等军中大小将校率四万北庭军将士夹道相送，后来除了北庭军之外，其他各军将士也都纷纷前来送别，甚至洛阳周边的百姓们也携家带口前来，送行的人群站在道路两侧，延伸至三十里外。

送行的将校们、兵士们和百姓们一个个都忍不住泪流满面，竭力嘶喊着请求赵子良留下来。在这些送行的人心里认为，如果说当今天下还有谁有能力能够快速靖难平定叛乱，唯赵子良一人而已，这样一个人屡次受到猜忌、陷害、屡次被贬，依然无怨无悔地尽心尽力、尽忠职守，到头来却是这样的下场，这天下还有公道可言吗？难道大唐真的已经到了亡国的边缘，连这样的忠臣良将都容不下，只能容纳那些奸佞小人，这个朝廷还有什么前途可言？

赵子良头顶束冠，身穿常服、腰间佩刀，骑马走在队伍的最前面，三百护卫护送着孟夫人乘坐的马车和一些行李、细软和粮食。

道路两侧的百姓们和兵将们不断的挥手叫喊着请求赵子良留下，赵子良只能不停地挥着手示意，这时一个老汉冲开维持秩序的兵丁跑到道路中间跪下哭泣道：“大帅留下来吧，中原百姓不能没有您啊，您这一走，叛军再杀过来，我等又将遭到屠戮！”

赵子良连忙翻身下马，快步走过去把老者搀扶起来，叹道：“老人家，我倒是想留下，但我不能留下来，如今我已无职权，只能回乡种地喽！接替我的新大帅很快就到任了，有他在，必定保百姓们平安，大家都回去吧，不要再送了！”说完对路边两个兵士示意，把这老汉搀扶到路边去了。

赵子良转身上马继续前进，路旁不断有人嚎啕大哭，为赵子良可惜、为自己今后悲惨的命运哭泣，听见这些哭声，赵子良心如刀割，却什么都做不了。

临近中午，总算远离了送别的百姓和兵将们，赵子良也松了一口气，此时一匹快马从后面跑过来，赵子良扭头一看，看见骑马的人竟然是杜甫，于是勒马停下来。

等杜甫起来跑过来，赵子良问道：“杜子美，我从城里出来的时候还以为你至少会作一首送别诗的，却始终不见你来，现在你追上来，是不是已经有所得了？快吟来听听！”

杜甫停下来苦笑道：“赵郡王就不要取笑了，我倒是想作诗一首给郡王送别来着，只不过我想来想去，还是决定跟郡王一起南下算了，送别诗就免了吧！”

赵子良一愣，说道：“你跟我一起南下？我虽然有郡王爵位，但已经无官无职，又不能开府建衙，我可给不了你官做了！”

杜甫毫不在意道：“郡王一家总得吃喝拉撒，这些亲兵护卫也要吃穿用度，郡王应该需要一个人来管管账房什么的吧？这个我做得来！”

赵子良看了看杜甫，问道：“你不是在说笑？”

杜甫道：“郡王认为我是一个喜欢说笑的人吗？”

赵子良叹道：“我也不知道杜先生是怎么想的，既然杜先生决意要跟我一起南下，我能被先生不弃，也算是荣幸了，好吧，我以每月一百贯的酬劳聘请先生为我处理身边琐碎事务，日后先生要另谋高就，随时都可以离开！”

杜甫笑道：“每月一百贯比一个太守的薪俸都要高，看来我杜子美还是值点钱的，哈哈哈······”。

不久，杜甫的家眷坐着一辆马车追了上来，队伍继续南下。

杜甫早就看出来了，这平叛大业没有赵子良根本就玩不转，从荥阳到颍川一线的叛军就多达四十多万，相州及周边地区还有十几万叛军，河北的史思明、蔡希德等人手里还有二十多万人马，这么算起来叛军总兵力还有七八十万，叛军的势力还有如此庞大，而唐军虽然在战略上处于优势，但是兵力却不到叛军的一半，而且没有了赵子良这种在军中拥有崇高威望的人统帅，各处唐军根本无法凝成一股绳，换了其他人来主持平叛大业，只怕连下面的将校都调动不了，军中尽是一些骄兵悍将，没有一定的能力和本事，这些人根本就不会俯首听命。

杜甫已经想得很清楚了，这年头到处都是战乱，与其带着家眷到处流浪，时时都有危险，还不如跟在赵子良身边安全，日后等平叛的局势越来越恶劣，朝廷迟早还是要重新启用赵子良的，那时依然跟跟在赵子良身边施展自己的才华。

两人骑马在走在最前面，赵子良对李白竟然不给他送行颇为不满，他对杜甫说道：“这个李白也太没人情味了，他这个洛阳县令好歹也是我保举的，如今我辞官不做了，他竟然不来送行，不当人子，真是不当人子啊！”