先生被贬的原因，说来其实有迹可循。
那时仁宗皇帝健在，有一日特意召先生入宫：“张卿啊，你瞧万疆那孩子如何？”
“陛下问的是哪一方面？”
仁宗问先生：“那张卿觉得，他哪些方面好啊？”
“乐，书，画，诗，词，思王殿下可堪一流。”
仁宗听后，问先生：“那，若让他主政……”
“陛下，万万不可。”先生闻言大惊，拜地不起：“思王轻挑，不可以君天下呀。”
仁宗愣了片刻：“朕当年也不会，人总是要慢慢学的，只是朕身子不利索，时常感觉困乏，兴许哪天就……”
“陛下不召见其他同僚，却独独问臣，难道不是陛下早有定夺！”先生抬头：“既如此，陛下为何又要问臣呢？”
当时仁宗在位已十有八载，虽膝下有不少子嗣，却多坎坷，不是早夭便是早逝。
“朕……”仁宗有些低落：“朕膝下虽有不少子嗣，却多是无福，不是早夭，便是早逝，如今留下的，就他们几个了，朕觉的，万疆甚好。”
“陛下三思。”见仁宗不语，先生又言：“望陛下莫因儿女情长，耽误大事。”
“罢了。”
仁宗话是这么说，也在朝堂上与许多大臣论过几次，可还是犹豫不决，次年突然病逝，在位十九年。
皇太后本就重病，曾与仁宗开玩笑说应当会走在他前头，却未料会听到如此噩耗，当即晕厥过去，最后是被太医扎醒，才勉强被人左右搀扶着上朝主持大局。
“国家不幸，大行皇帝崩逝，常言道，国不可一日无君。”皇太后问众人：“天下事须早定，诸臣可有言？”
先生当即便说： “依臣所见，当立岳王万广。”
“张相公所言有理。”
皇太后道：“岳王非长，吴王目有疾，次则思王。”
“皇太后英明。”
“皇太后……”
先生话刚出口，便有同僚出口劝他：“子远，你先前也未曾与我们商量啊，此事关系国本，应当顺应天意，不可有私，且思王与岳王差不多。”
“对对对。”
“是啊，是啊。”
在一声声附和中，先生终归是没有忍住：“万万不可，思王轻佻，不可以君天下。”
“张步，你好大的胆子！”
“岂可如此胡言！”
如此大逆不道之语，皇太后却并未动怒，只是对着一帮唯令是从的大臣们说：“张相公言过了，先帝尝言，思王有福寿，且仁孝，不同诸王。”
“臣附议，立思王为太子，即皇帝位。”
“臣附议！”
“臣附议！”
在一声声附议里，先生无话可说，思王即皇帝位，群臣上奏给大行皇帝上庙号仁宗。