李隆基在退朝后去了花萼相辉楼，他觉得在花萼相辉楼三楼的大厅里坐着用午膳，比较清净，用完午膳后，他可以再到北面阳台上俯视兴庆宫、太极宫、皇城，平视大明宫。
这是一处寻求清净，但又将皇城和皇宫看在眼中的绝佳居所。李隆基刚才在退早朝时，出了大明宫宣政殿后，听到李林甫在后面小声和别人说话，他回头望了一眼，发现李林甫和高力士在大明宫前的回廊窃窃私语。当时李隆基心情不好，就没有走回去问他们说的什么。
李隆基了解高力士，在他心情不好时，高力士会来问他有什么吩咐，或者有什么需求。李隆基想，等高力士过来后，他就问问李林甫和他聊得什么。
李隆基跟在右手边站立着衫子说：“衫子你去兴庆殿和武惠妃说一下，朕中午不回兴庆殿用午膳了，到时候让她独自用午餐即可。然后你再去御膳房和御厨们说一下，朕中午吃的饭菜要送到花萼相辉楼三楼，武惠妃在兴庆殿吃的午餐菜品数量不变。朕的晚饭要送到兴庆殿，到时候朕要和武惠妃共进晚餐。”
衫子躬身行拱手礼道：“奴才遵命。”
衫子离开后，高力士来了，高力士从南面的楼梯口走过来，在离着李隆基六米远的地方躬身行拱手礼道：“奴才拜见陛下。”
高力士昨天傍晚来向李隆基汇报事情的时候，由于汇报的事情比较重大，因此自称微臣，现在来并不是为了汇报什么，而是处于对李隆基的关心，相当于来问安，因此他又自称奴才了。
李隆基转过身，仍然坐在椅子上，面对高力士说：“你来面见朕，没有什么重要的事吧？”
高力士说：“陛下，您这几天心情不太舒畅，您如果需要在饮食方面，娱乐方面，有什么调整或需要，可以让老奴为您安排。”
李隆基说：“不用了，朕此时心里的烦闷，并不是靠吃几道珍馐菜品，或者观赏几个音乐舞蹈节目就能缓解的。朕看到今天早晨退朝时，李林甫在宣政殿门外的回廊，向你耳语了几句，他说的什么话啊？”
回禀陛下：“李林甫说废太子和皇子为庶人，是皇上的家事，是可以不必问外人的。他的意思是，对废立太子这样的事，为人臣者，应该尊重皇上的意思，这毕竟是君主的家事。”
“你觉得李林甫说得对吗？”
“老奴只是您家的奴才，废立太子这样重大的事情，实在是不敢表达观点啊，李林甫作为宰相，都没有发表观点呢。望陛下海涵。”
“嗯，你们都很聪明。不过话又说回来，你和李林甫这样不表态，完全尊重朕的观点，正是对朕的理解与支持。张九龄一番慷慨激昂的话，让朕对是否将李瑛、李瑶、李琚废为庶人，而犹豫不决了。朕老了，五十一岁了，虽然身体上还可以，但是考虑问题方面，也出现了犹豫不决的情况。”