唐玄宗说道：“卢绚不是才到兴德郡吗？不到考核的时间吧，又出什么事啦？”李林甫跪下说道：“启奏皇上，对郡县的官员，随时都可以考查，这是朝廷规定的。御史台到兴德郡考查郡里的官员，完全符合程序。皇上三个多月前就下了圣旨，卢绚三个多月来，一件事都没做，文案堆积如山，考查结果不称职，按规定应该降级。”
唐玄宗说道：“卢绚是个人才，一时有抵触情绪也是难免的，降职处理重了些，还是观察一段时间再说。”将奏折退给李林甫。李林甫立即跪下上奏：“启奏皇上，考核结果实事具在，按朝廷的法典，应该降职。臣奏请皇上下旨。”
唐玄宗见李林甫这样较真，对他说道：“这件事事出有因，而且程序也没有到堂。让门下省核查一次，意见一致再行上奏。”李林甫不敢反对，当即说道：“臣尊旨。”退出皇宫。
王鉷的草拟奏折，传到了门下省，陈希烈拿着进了李适之的房间。“卢绚又出事了，御史台上奏他渎职，中书省已经审定，让门下省拿反驳意见。”李适之急忙拿过草拟奏折，看完之后说道：“欲加之罪，何患无辞。卢绚刚到任上，哪来的渎职行为？门下省不同意。”签了否决意见。
天子寻思怀旧功，贵妃声言面色彤。
取舍不定心神乱，治世享乐烟雾中。
唐玄宗和杨贵妃下棋，连出错着，杨贵妃笑着说道：“皇上心神不定啊。”“卢绚很有能力，让他去兴德郡，是想让他熟悉一下州郡的情况。可是林甫不放过他，上了奏折，又要降他的职，朕不忍心啊。”
杨贵妃说道：“林甫能干，为皇上分忧，如果事事都让皇上亲躬，皇上的身体吃不消啊。”唐玄宗右手撵着一枚棋子，正准备落下。李林甫到来，立即上奏：“启奏皇上，适之与卢绚有私，没有进行核查，便否决了吏部的意见。臣启奏，严肃追究责任。”
听到李林甫的上奏，唐玄宗停顿一下，手捏棋子悬在半空。李林甫向杨贵妃使眼色，请他帮忙说话。杨贵妃已经知道他的用意，对唐玄宗说道：“朝中办事一定要按规矩来，不能随意偏坦任何人。此事不用皇上操心，就让林甫去办好了。”
拍的一声，唐玄宗落下棋子说道：“让门下省按程序再议一次，提出反驳的理由来，单独向朕上奏。”李林甫不敢抗旨，亲自到门下省，对陈希烈说道：“皇上要你们门下省按规矩再议一次，适之与卢绚交往很深，应该回避。就由你主持，作出结论后，单独上奏折。我在这里等着，马上要结果。”
陈希烈战战兢兢的去见李适之，对他说道：“卢绚的案子，皇上要门下省再议、再议一次，而且要你回避，林甫宰相等着要结果。你说怎么办？”
李适之不知唐玄宗的用意，对陈希烈说道：“门下省已经正式否决了，难道皇上还不满意，你就去一趟兴德郡，亲自考核一下，实事求是的写成奏折，再上报皇上。”“可是、可是林甫宰相现在就要结果，他在我房间里等着，你亲自去对他说说。”陈希烈急得有些语无伦次了。
“唉，”李适之叹息一声说道：“林甫为什么和卢绚过不去呢？使人费解。我和卢绚在一起共事，虽然比较投缘，但并没有深交，为他的事得罪林甫，划不来，你就看着办吧。”“有你这句话，我就好办了。”陈希烈立即将给事中等人招集到一起，草草了事，同意了吏部的草拟奏折。
唐玄宗接到三省议定的奏折之后，他也知道卢绚刚刚到任，许多事务还没来得及处理。考核官上奏他懈怠，身体不好，不称职。事出有因，希望门下省反驳回去，没想到是这个结果。他对李适之的能力开始怀疑，内心之中打算更换了。
但他还是将卢绚降职的诏书拖了一段时间未发，希望李适之上奏保他。然而李适之一直没有进宫。他对李适之已经彻底失望了，甚至于有些讨厌，更换副相只是时间的问题了。
撤销卢绚兴德郡太守，任命他为兴德郡司马的诏书下了。李林甫终于松了一口气，一个五品地方官，再要起来就难了。何况他李林甫把持吏部，随时掌握他的动向，如果唐玄宗还眷顾他，就再一次降职，将卢绚的形象从唐玄宗的大脑中抹掉，彻底打消再次启用他的念头。
李适之自从上奏开采金矿之事被唐玄宗否定之后，再也没有上奏折了。经过卢绚事件之后，唐玄宗对他更加冷漠，两个月没有进宫汇报。更使他不能接受的是，李林甫传达唐玄宗旨意，要他遇事征求首席宰相的意见。同为宰相，历来都是各负其责，在皇帝面前各舒已见。现在倒好，他成了李林甫的属下，这对他的打击太大。但他不知道这是李林甫有意假传口谕，用以阻挡他与唐玄宗直接接触。他果然上当，与唐玄宗赌气，这正是李林甫想要的结果，
李适之很想与李林甫一争高下，但他太实在，太相信别人说的话。一句假话就使他与唐玄宗之间产生了隔阂，互不信任。如果说办事，他肯定比李林甫做得规矩。但论到争权夺利、权力争斗，他就不是李林甫的对手了。但他仍不死心，希望唐玄宗能改变态度。因此采用软抗的办法，用消极的态度对待朝廷事务。然而他不去衙门里更好，李林甫就直接处理了，让门下省的陈希烈画押，送到唐玄宗那里，也能算数。他成了多余的人了，知道唐玄宗心中已经没有他了