天宝十一年，公元752年，十一月，李林甫去世。

临终前，李林甫拉着杨国忠的手说：”将来代替我当宰相的人一定是你，后事就拜托你了。”杨国忠不知道李林甫这么说究竟是什么意思，吓了一跳，以为是李林甫试探他，汗流浃面，连说不敢当。其实李林甫这么说倒的确出于真心，因为他眼见就撒手人寰了，而杨国忠又很得玄宗青睐，下一任宰相非他莫属。李林甫是想要杨国忠好好善待他的家人。但杨国忠并不因李林甫之将死其言也善而放过他，就在第二年的春天，杨国忠联合安禄山一起诬告李林甫与阿布思谋反，这导致了横行数载的李林甫集团彻底覆灭，就连未下葬的李林甫本人，都受到了削官的处分，并且由一个大棺材躺到了一个小棺材中，嘴里的玉含及身上的金紫衣服也都不准许再用，只以一个普通百姓的礼节安葬了他。

我们当然对李皇叔不会有太多的同情，毕竟这属于官场上的倾轧而无谁对谁错的问题，或者说，天下乌鸦一般黑，想当初他本人制造的冤案比这惨的有的是，而今也轮到他来品尝这个滋味了。但这却是杨国忠与安禄山仅有的一次大合作，不久后两人即开始闹矛盾。原因是，安禄山瞧不起杨国忠，对他非常轻蔑。轻蔑到什么程度呢？反正是惹得杨国忠从此就一直说安禄山要谋反。古时谋反乃是十恶之首，因此杨国忠这么说无疑是想置安禄山于死地，可见积怨甚深。

天宝十三年，公元754年，正月，杨国忠向玄宗进言安禄山必定会谋反，让玄宗试着召安禄山入朝，说他肯定不会来。玄宗照办，结果出乎杨国忠的意料，安禄山竟然闻命即至。安禄山很可能是得知了杨国忠的话，另外此时时机尚不成熟，他还没有完全做好准备，加之他本人的阴谋并没有暴露，他也的确没理由害怕，只要乖乖入朝大表一番忠心就可以了。见到玄宗，安禄山十分委屈的说：”臣本胡人，陛下宠擢至此，为国忠所疾，臣死无日矣！”这等于是给玄宗打了一针预防针，使他以后不至于轻信别人对他的”诬陷”。果然以后杨国忠再说安禄山的什么话，玄宗全都不听，即使太子李亨也报告说安禄山要谋反，玄宗也仍然无动于衷。这一次进京，安禄山又要求兼任很多官职，玄宗一一满足，临别时还解御衣给安禄山穿上。安禄山怕杨国忠奏请把他留下，所以赶忙回去，一溜烟回到了范阳。

从这以后，朝中凡是有说安禄山要谋反的人，玄宗都把他们绑起来交给安禄山，以示信任。但不能不说这样做是个失策，一来，连与皇帝最亲最近的太子和杨国忠的话皇帝都不听，又何况别人呢？所以大家即使知道安禄山要反叛，也不敢再说出来；二来，当一个一个说自己要谋反的人被捆到眼前，随着数量的增加，安禄山只有更加害怕，绝不会因为玄宗把他们交出来就会放心。皇帝面前有这么多人说自己要谋反，如果不担心害怕才怪。而后，安禄山的行动越来越可疑，可是我们的明皇帝仍然一百个不相信安禄山真会谋反，把用人不疑的劲头发挥到了极致。

但渐渐的也有转变。转变就发生在第二年，即天宝十四年，公元755年。安禄山奏请用蕃将三十二人代替汉将，遭到杨国忠和韦见素的联合反对。本来两人约好前赴后继轮番劝阻玄宗，但韦见素说完之后，玄宗发起火来，杨国忠便不敢再多说什么了，就这样玄宗又答应了安禄山的过分要求。可两人还不甘心，合计好之后，第二天又和玄宗提起此事，建议任命安禄山为平章事并且要他入朝，将他的三个节度使的职位分别交给现在的三个副节度使。这次玄宗没有反对，但仍心存疑惑，虽然诏书写好了，但在发出去之前，派宦官辅璆琳去安禄山那里打探情况。辅璆琳接受了安禄山的贿赂，回来说安禄山根本没有反心，于是玄宗又一次错过了机会。杨国忠、韦见素二人的用意，是想以朝廷的力量来牵制安禄山，让他脱离自己的势力。但由于朝廷实力并不强于安禄山，所以玄宗即使真的发下去诏书，只怕也未必达到目的。安禄山自然明白入朝是很危险的，所以很可能就此提前反叛。