唐玄宗从蜀中回到长安，希望自己的儿子能够让自己平安的度过晚年。本来前两年还好，肃宗基本满足了玄宗的要求。他让很多人陪在太上皇身边，天天娱乐，玄宗倒也悠哉优哉，而且父子二人经常相互去探望，有时还能在路上相遇。但随着时间推移，事情慢慢的发生了变化。这就要提起一个人了，即肃宗朝有名的宦官李辅国。
李辅国在玄宗朝地位很卑微，以至于到了他的主子肃宗当皇帝时，即使他突然间显赫了起来，但仍然很多人都瞧不起他，其中包括高力士等人。若说高力士瞧不起李辅国，倒也有情可原，毕竟他曾有四十年是李辅国的上级，而此时大概也要叹一声”后来者居上”了，毕竟一朝天子一朝臣。被人轻视，李辅国当然很不高兴，就打算”立奇功以自固”。但李辅国当然不会上战场去厮杀立功了，他想到的立功办法是向肃宗进谗言，说太上皇每天见外人太多了，而且高力士、陈玄礼等人也有所图谋，这样会对肃宗不利，请求肃宗把太上皇从兴庆宫迁到大明宫中（玄宗回长安后住在兴庆宫，而肃宗则住在大明宫，原文李辅国说的是”禁中”，当指皇帝所在的皇宫，即大明宫）。肃宗当时就”泣曰：’圣皇慈仁，岂容有此'”，李辅国当然又得劝一番，但肃宗仍然没有答应。这当然是表面现象，而内心中肃宗定对太上皇起了防范之心，因为从此他的态度就有了转变。
这之后不久，李辅国假借皇帝的名义，把兴庆宫中原有的三百匹马调走了二百九十匹，就留下十来匹马。这件事在史书上的记法是”矫诏”。不错，当时李辅国确实是”随意区分，皆称制敕，无敢异议者”，随便矫个诏似乎不是什么难事，而且也没什么大不了的，因为没有人告诉肃宗，即使有，肃宗的反应也不过是”上颇不悦，而无如之何”。但太上皇的事情绝不是一般政事那样简单，李辅国也绝不敢轻易行事，他此前对肃宗说的那番话其实有些”投石问路”的意思，起码是和肃宗打了个招呼。肃宗纵然没有答应，但也没有批评李辅国。于是李辅国又在行动上投石问路，这一次调的是马，下一次调的就是人了。
当发现调马行动没有什么严重结果之后，李辅国的胆子越发的大了起来，在这年七月，又趁肃宗生病的时机，硬是把玄宗迁到了太极宫（西内）。这一次的事情比较大，也比较严重，从中可以明显看出李辅国是有意要害死玄宗。本来李辅国是矫诏说要玄宗游赏太极宫，当一行人走到睿武门时，他率领着射生五百骑，”露刃遮道奏曰：’皇帝以兴庆宫湫隘，迎上皇迁居大内。'”即使是我们，都能闻出露出的刀剑上带有一股血腥味，何况自李亨马嵬告别以来一直小心翼翼的玄宗呢？玄宗当时吓的差点掉下马来–也许和年纪大了有关。如果单是玄宗自己的话，不知后面会发生什么事情，也许就被杀了，可是值得玄宗庆幸的是，高力士发挥了作用。只听高力士厉声喝道：”李辅国安得无礼？快下马来！”虽然李辅国很不情愿的下马了，但情势并未好转。高力士很聪明的对众将士说：”太上皇问将士各好在否！”玄宗终究是大唐五十年太平天子，其余威还是镇住了这群将士。事后玄宗拉着高力士的手说：”如果没有你，我早就死了。”可是迁居还是得照办，玄宗很聪明很听话也很无奈的没有反抗。想想也是，命都差点没了，迁居又算的了什么？说的乐观一点，就是搬个家而已，而且对外还得声称”今日之徙，亦吾志也。”肃宗对此当时多半并不知晓，但对李辅国几次行动不加干预，说明他实际上默认了的，至少可说是纵容。如上所说，将玄宗迁到太极宫中管起来，对肃宗来讲安全了很多，只有好处没有坏处，他就算当时知道，又何必阻挠？只怕这也是他的本心。
在大唐开国十二年后的一天，同样是一位太上皇，却是从太极宫中迁出，而且对外也是宣称”此吾志也”。不用说，这位是高祖李渊。李渊从太极宫迁到大安宫（大明宫建造是在几年之后，虽然说是给高祖养老之用，但高祖却在宫殿建成之前就死了），虽然没有记载有人来逼宫，但相信也并非全出于自愿。当时太宗把高祖朝最重要的朝臣裴寂罢免了，然后又为李渊杀掉的刘文静平反（后一任皇帝一般不会推翻前任皇帝对案件的处理结果），也许正是这几件事使高祖感觉有些不妙，于是主动提出迁居。也许这并非太宗本意，但无疑这种温柔的手段实施起来效果更好。如果肃宗哪怕是示个意，相信以玄宗比之高祖有过之而无不及的小心，是绝对可以主动提出来迁居的。那么说句开玩笑的话，肃宗根本没法和太宗相比，就连”逼宫”的手段都这么拙劣。
迁居之后，李辅国带着那些将士去找肃宗请罪，肃宗仍然没有怪罪，一方面如前面所讲是他没有反对的理由，另外，他也怕这些将士，所以非但没怪罪，还慰劳了几句话，真真岂有此理。
玄宗身边的人就是此时开始大规模清洗，首当其冲的自然是有重要意义的高力士。对于高力士的流放，玄宗很难过。他们两人虽然是皇帝与臣仆的关系，但玄宗一直呼高力士为”将军”，可见不是当成一般仆奴来看待，而是拿他当成心腹，当成朋友，几十年下来，积累了相当深厚的感情。可是连自己的命运都掌握不了的玄宗，此时又能如何呢？除了看着身边的人一个个远离自己而去，他这回连”此吾志也”的心情也没了。”日以不怿，因不茹荤，辟谷，浸以成疾”，我敢说，玄宗是最可怜的太上皇了。
不过群臣的眼睛是雪亮的–由于当时百姓就算知道这些情况也于事无补，起作用的毕竟还是那些朝臣，颜真卿率领着很多人到太极宫参拜太上皇，随后自己也被李辅国找个借口贬谪了；而山人李唐（肃宗见过的山人还真不少，对这些山人这般平易，似乎还得夸赞肃宗两句），则是借肃过抱着幼女的机会说”太上皇想念陛下和陛下想念幼女的道理是一致的”。这些都没起什么作用，肃宗有时想去看看太上皇，却又怕着张皇后。此外，肃宗也确实在病着，这点上，还是原谅他吧。
但渐渐的，肃宗对李辅国似乎也心生厌倦了，甚至想杀了他，但却畏惧李辅国手中握有兵权。
真是可悲啊，这边怕着张皇后，这边怕着李辅国，肃宗这个皇帝做的真有些郁闷。肃宗此时多半想不到，在他临死之际，就是这两个人令他死也不得安生。