玄宗的决定让李林甫心里凉了半截，他身兼中书令和尚书左仆射，这两个官职只要还当任其中任何一个，他都还是宰相，但现在他两个官职都被免除了，就算他还有着晋国公的爵位，但已经不能过问政事，好在玄宗没有直接让他回乡养老，只是让他暂留京师候命，这就让他看到了起复的希望。
在李府大堂里，李林甫砸烂了十几个茶盅，气哼哼地坐在椅子上，一个官员快步走进来递上一张名单道：“大人，下官拿到了所有上书弹劾大人的官员名单，大人过目！”
“哼，老夫倒要看看，究竟有哪些牛鬼蛇神想要跟老夫过不去！”李林甫说着接过名单看起来，看了一半就大骂：“好你个王忠嗣、还要皇甫惟明、赵子良，你们这三个匹夫这么为难老夫，想要把老夫往死里整，等老夫官复原职，一定不与你们干休！”
站在旁边的官员小心问道：“大人，现在咱们该怎么办？接下来太子一系只怕要对我们下手了啊！”
李林甫摆手道：“这个你放心，你刚才没看见陛下是被他们给逼得吗？此时陛下心里正不高兴呢，太子没那么傻这个时候还去给陛下添堵，而且老夫虽然没有了官职，但还是晋国公，还在京师没走，他就是想对你们动手也得等到老夫离京之后再动手！陛下没让老夫直接回乡，说明事情还有圜转的余地，你去通知其他人，今夜来老夫府上议事！”
该官员迟疑道：“这·······大人，您已经没有了官职，那些人是否还会······”。
话虽然没有说全，但意思却很清楚，无非就是说你李林甫现在无官无职了，从前依附您的那些官员是不是还听你的话，你这棵大树马上就要倒了，那些猢狲会不会作鸟兽散？
李林甫瞟了他一眼，摆手道：“哼，老夫还没倒呢，他们敢不来？就算老夫倒了，他们以为他们不来就会没事？事到如今，他们身上已经打上了老夫的烙印，生是老夫的人，死是老夫的鬼，想做墙头草都不行！你去吧！”
“诺！”
李林甫猜得不错，玄宗根本就没有打算让他回乡养老的意思，免了他的职务也只是做做样子，做给朝臣们和各地方大员们看的，不过尽管如此，朝中事务却是不能停下来。
过了几天，玄宗在紫宸殿召集心腹大臣们商议政事，而这次唯独李林甫不在，这让玄宗心里有些空落落的。
玄宗看了看几人，问道：“河西、西海之事，诸位卿家以为当如何？”
王琚行礼道：“陛下，老臣以为陛下既然已经命王忠嗣和皇甫惟明处理，就不应该再过多干涉，王将军和皇甫将军久在边关，对边疆事务熟悉，应该有处置的办法！反倒是王忠嗣将军按照陛下的旨意把主要精力都从北方转移到了河西，那北方的回纥、拔悉蜜和葛逻禄三族就无人能制了，时间长了只怕又多生事端啊！”
王琚是老臣了，在玄宗还没有当太子的时候就是他的坚定支持者，因此王琚在玄宗心中的份量不轻，他说的话对玄宗很有影响力。
玄宗一想，也觉得有道理，王忠嗣在北方对草原上的各部族制定的战略执行了一半，现在突然把他从北方调到河西，丢下一个大摊子却是不能不管，怎么办呢？
玄宗想了想，问道：“卿家以为如何处置？”
王琚心里琢磨了片刻，便对玄宗道：“其实在北方有一个现成的人选，赵子良将军！前几天他不是派了八百里加急送来捷报了吗？如今他率军打到了独乐河畔，奚人和契丹人已经不足为虑了，老臣以为，不如让赵将军全权负责处理回纥、拔悉蜜和葛逻禄三族事务！”
玄宗有些担心，他道：“赵子良虽然战功赫赫，武力无双，难逢敌手，可朕还是担心他太年轻，毕竟突厥、回纥、拔悉蜜和葛逻禄这几个大部族可不是奚人和契丹人，这些大部族其中以突厥、回纥和拔悉蜜势力最大，每一个人口都有十几万以上，人口多就意味着控弦之士多，势力强大，弄不好不但威慑不了他们，还可能把事情搞砸啊！”
王琚还想再劝劝，不过他转念一想，一味地进言只怕会适得其反，还不如以退为进，于是说道：“陛下之虑确实很有道理，现在赵将军屯兵独乐河畔，既然仗已经打完了，不如下诏让赵子良率军撤回河东，毕竟他屯兵在外没有名目和由头啊，而且如果突厥、回纥、拔悉蜜和葛逻禄如果真有什么事情，他是出兵还是不出兵？出兵的话，他没有名义，不出兵的话，恐延误战机，现如今在我朝北方也只有赵将军对北方部族还有些威慑力！”
听说让赵子良带兵返回河东，玄宗马上不干了，他是好大喜功之人，这几年尤其在边事上极为上心，开疆拓土是他最喜欢的，只有这样他才觉得自己的功绩不输于祖先，当即摇头道：“那不行，好不容打到了独乐河，向异域宣扬我大唐天威，怎么能说撤就撤呢？嗯······你刚才说得也不是没有道理，那就传朕旨意，任命赵子良为单于都护府都护，其他职务照旧，主理漠北各族事务！”