在弄权上，唐朝一向重内轻外，虽然到了这时已经藩镇林立，中央朝廷的权力已大不如前，但一个宰相的份量还是相当重的。有一次，元载的一个长辈找到他希望能够通过他的关系谋求个一官半职。元载认为他没有什么才能（还好，还没到有求必应的地步），又不好驳他的面子，只好写了一封信让他带走捎给河北节度使。其实从信封到信纸元载只签了个名，其他什么都没写。这位”丈人”（史书原话）这个气啊，可是也没办法，又不能白走一趟，就打算拿着信试一试，不想仅凭一封空信就受到了河北节度使的热情款待，临了还带走一千匹绢。只怕元载自己都不知道他的权势已到这个地步了。

代宗对于元载的所作所为，十分清楚，但是他的优柔又发挥了作用，他觉得好歹君臣了一场，”以其任政日久，欲全始终”，因此找元载单独谈话，让他收敛一下，元载却怙恶不悛–长恶不悛，从自及也。虽欲救之，其将能乎？代宗此时已经有些厌恶元载了。元载后来又赶走了李泌，害死了揭露他奸伪贪赃密事的李少良。不过严格来讲，这都是由代宗出面做的。之所以赶走李泌，是因为元载伙同他的同党常常在代宗面前说李泌的坏话，代宗没办法，只好让李泌去做江西判官，临别之际和李泌说：”元载容不下你，你先去魏少游那里呆些时日，等我下决心把元载干掉，再给你送信让你回来。”李泌没多说什么，但心中肯定有所不满，倒不是因为自己被贬不满，而是对于代宗，又同情又可怜又可气，八年后李泌终于才又回来，那时他说了一句话，算是不怎么客气了：”陛下知群臣有不善，则去之；含容太过，故至于此。”可你说代宗真的那么仁慈吗？当然不是，看他杀李少良就可以知道了。李少良向代宗揭发元载贪赃枉法，后来又把代宗的话告诉了别人，辗转传到了元载的耳朵里，元载和代宗”当面对质”。当然，元载不可能气势汹汹的冲代宗大嚷大叫”你居然＊＆＾%￥”云云，但当面把代宗的话说出来，也很让代宗下不来台。于是代宗迁怒于李少良，把泄露了他的话的人全都下到御史台。几天后御史给他们定罪”凶险比周，离间君臣”，最后这些人就是顶着离间代宗与元载伟大友谊的罪名被乱杖打死的，代宗对他们没有丝毫同情，他往日的”仁慈”哪里去了呢？真真岂有此理……

但代宗是真的不满于元载了，在答应元载”别敕除文武六品以下官，乞令吏部、兵部无得检勘”的上奏之后，在没有通知宰相的情况下，任命李栖筠为御史大夫。后来就是在这位御史大夫的弹劾下，元载的一些同党被代宗从朝中踢了出去。”载由是稍绌”。但元载似乎从来没把这位李栖筠怎么样，不是像某些小说里写的那样，李栖筠被元载残害致死，事实上元载有时也并没有这么大权力做到让所有人都听话，比如京兆尹黎干就让元载十分头疼，而又对这个人无可奈何，还是王缙一番奚落替他解了气。和李林甫、杨国忠比起来，元载这个宰相做的可要”窝囊”多了。

相安无事了几年，代宗忽然间下决心要铲除元载了，正如剑桥隋唐史中所说，元载的最后倒台是一桩突然发生的大阴谋所引起的后果，其直接导火线尚不清楚。到底是什么促成代宗的决心，史书中没有记，我们只知道代宗一直对他不满，但一直忍容。在没有其他证据的情况下，我们只能说，代宗再也忍不下去了，正如他忍不下去李辅国、程元振、鱼朝恩那样，他要让元载永远从这个世上消失。

　　大历十二年三月庚辰，”上御延英殿，命凑（吴凑，金左吾大将军）收载、缙于政事堂，又收仲武及卓英倩等系狱”。逮捕元载的过程很简单，连抵抗都没有，或者说，连有效的抵抗都没遇到。自然，代宗事前做的充分准备功不可没，但是元载、王缙不像前三个人一样手握兵权，也是其中一个因素。一切都进行得很顺利，整个事件看起来的确十分简单。可是这么简单，为什么代宗直到大历十二年才决心干掉元载呢？不得而知，奇也怪哉。

代宗决定这次要通过正常途径杀掉元载，于是审理之后光明正大的赐元载自尽。据说”辩罪问端，皆出自禁中，仍遣中使诘以阴事，载、缙皆伏罪”，既然伏罪，为什么不把他们的阴谋写出来呢？史官当然不用为他们两人讳言什么，所以没记下来的原因多半是根本不存在什么阴谋。但这并不影响给他们定罪，由于元载、王缙贪污腐化非常严重，所以代宗只要收集一下”材料”，就很轻易的给他们定下罪名。代宗在赐死元载的诏书中是这样评价元载的：

性颇奸回，迹非正直。宠待逾分，早践钧衡。亮弼之功，未能经邦成务；挟邪之志，常以罔上面欺。阴托妖巫，夜行解祷，用图非望，庶逭典章。纳受赃私，贸鬻官秩。凶妻忍害，暴子侵牟，曾不提防，恣其凌虐。行僻辞矫，心狠貌恭，使沉抑之流，无因自达，赏罚差谬，罔不由兹。顷以君臣之间，重于去就，冀其迁善，掩而不言。曾无悔非，弥益凶戾，年序滋远，衅恶贯盈。

代宗差不多把凡是能用上的贬义词全用上了，元载几乎成了一个集世间一切奸邪于一身的大坏人，而代宗对王缙则要宽容一些，主要的罪名就是附会奸邪、阿谀谗佞。本来代宗是想把王缙一起赐死的，但在刘晏求情之下，总算饶过了这位年近八十的老人。

其实名义上是自尽，但这种情况下经常不是真正的”自尽”，大概是没时间等囚犯反省，所以为了节约时间，就得需要别人”帮忙”了。元载对主管的人说：”愿得快死!”而行刑的人则拿着臭袜子塞到了他的嘴里，说了句”相公您受点委屈”，然后就动手把他杀了。元载的死法我们不知道，但行刑的时候口中要塞东西，想来是为了不让他大声叫出来，那一定非常疼的了，首先可以排除喝毒酒，最有可能的是缢死，或者一棍子棒杀，反正不管怎么死，都不会好受。至于那个臭袜子，想来元载临死之时也顾不上尝它的味道了。

元载死后，他的家人也都跟着被杀了，连元载的祖父的坟以及元氏家庙也都被毁。没收财产更是不可缺少的一项。搜家的时候，有关部门居然搜出来八百石胡椒和五百两钟乳。虽非金银，但这两样赃物必是有独到之处才会被记下来–大概是因为人们没见过这么多的胡椒和钟乳吧。有人算出当时的五百石相当于现在的六十吨。我们可以想象官员们看着一筐筐或者一麻袋一麻袋的胡椒张口结舌的样子。元载收下这么多的胡椒和钟乳也确实让人匪夷所思，不知道有什么用处–什么，吃？套用西游记中老君的一句话”当饭吃哩”(注，老君指的是仙丹，只要他不心疼，当饭吃是没问题的，而我们说的可是胡椒啊)……元载的贪污也许比不上和珅的有名，但从功力上来讲，元载也并不逊色，大可以做做文章。