而皇上的结发妻子王皇后被废，而吕氏受宠，吕氏被封贵妃，吕贵妃华色动人，又精通音律。皇上打算立她为皇后，遭到群臣反对，因为她出身不好。
吕贵妃的父亲是吕太后的亲侄子，皇上的父亲因吕太后而死，群臣坚决反对再立吕氏为皇后，皇上迫于无奈，只好让她总理宫中事务，有皇后的实权，但是没有皇后的职位。
吕贵妃为皇上生下十八皇子唐一，现如今皇子盛王唐琦，还有女儿咸宜公主。历朝历代的宠妃没有人不想为自己的儿子谋取太子之位，吕贵妃也不例外。
皇上的长子庆王唐琮打猎被破了相，所以次子唐瑛被册立为太子，当然最主要的原因还是当年他的母亲赵丽妃受宠，子以母贵，但随着赵丽妃犯了事和华色渐衰被废。吕贵妃得以专宠，唐一得到了格外的关爱，这让太子唐瑛和唐瑶，刘才人生的第八子光王唐琚三人极度不满。
兄弟三人年龄相仿，没事经常聚在一起对父皇偏心专宠吕贵妃，冷落他们的母亲互相倾诉心声，怨愤父皇，连同弟弟唐一也是他们咒骂的对象，隔墙有耳，他们的私房话早已被人探听而去，这个人就是驸马都尉杨洄，他的夫人就是吕贵妃的女儿咸宜公主，公主又将此话告诉吕贵妃。
王皇后被废后，吕贵妃就一直盯着太子之位，一直在寻找机会打倒太子，这次得到了机会，她立即报告了皇上。
“三位皇子结党咒骂皇帝，恐怕陛下千秋之后，我们母子成为人彘了。”吕贵妃添油加醋。
此时的皇帝已经不是初登大位那个励精图治的明皇天子，在位二十四年天下太平，已经让他志得意满，太子和他早已形同陌路，听到吕贵妃的报告，他勃然大怒地说：“孽子，他们竟然敢辱骂于我，他们不想活了。”
皇上召集宰相要废立太子，最后一位贤相张纪龄听完当即表示反对，说:“陛下即位将近三十年，太子及诸王不离深宫、日受圣训，天下人都庆幸陛下享国久长、子孙蕃昌。今三子皆已成人，没有听说有大的过错，陛下怎么能够凭借一面之词，在你的盛怒之下把他们都废了。太子还是天下的根本，不能轻易动摇。”
张纪龄继续说道：“从前，晋献公听了骊姬的谗言，把申生杀害了，三世大乱;汉武帝听信江充的巫蛊之言问罪太子，京城流血;晋惠帝偏听贾后的一面之词废黜慰怀太子，中原涂炭;隋文帝采纳独孤后之言废杨勇，立杨广，最终丧失天下。由此观之，不可不小心!陛下必须要这样的话，臣绝对不敢奉诏!“
张纪龄说完后皇上脸色很难看，也让他冷静了下来，废立太子终究是一件大事，副宰相李甫则一言不发，作为副相的他平时为张纪龄之命适从。
李甫在背地里使绊子，他早想扳倒太子，结好吕贵妃，退朝后他悄悄和皇上贴身侍卫力士说：“这是陛下家中的事，为什么必须问外人呢？”
吕贵妃看废立之事被张纪龄所阻，派太监牛贵儿联络张纪龄，说:“有废必有兴，如果您帮助我，您宰相的位子可以长久。”
这句话让张纪龄抓住了把柄，他立即进宫将太监的话告诉了皇上，本来正在犹豫的皇上明白了这次自己被吕贵妃利用了，他没有责备她，但废立太子的这件事不再提起，太子算是躲过了一劫。
太子唐瑛暂时没事，他的保护伞张纪龄却倒霉了，他直言敢谏早就不被皇上喜欢。在废立风波过去没有几日，皇上突然下旨罢免张纪龄和裴耀卿宰相之位，担任没有实权的左右氶相。
李甫升任正宰相，他对张纪龄还在朝很不满意，必须挤走张纪龄才能废掉太子。
监察御史周子谅引用图谶弹劾副宰相牛仙客，说他有篡位之心，不应当任宰相，说牛仙客昏庸无能还有情可原。但弹劾他篡位完全是胡说八道，皇上大怒，命人抓住周子谅一顿暴打，发配充军瀼州。