高力士又觅得老伶工贺怀智进见。太上皇问：“可有妃子旧事足使回忆？”贺怀智奏称：“臣忆得上皇夏日，与亲王在勤政楼下棋，传臣至座前独弹琵琶；此时杨娘娘手抱康国煱立案旁观局，上皇数枰子将输，娘娘即放煱子落棋盘上乱之，使不分胜败。上皇拍手笑乐。风吹娘娘围巾，落于臣头颈上，缠绕久之，始落地。臣归家，觉满屋香气，发于头巾，臣即藏巾于锦囊，此香味至今不散。”太上皇问：“锦囊何在？”贺怀智即从腰间卸上锦囊，呈与上皇。上皇发囊，便觉奇香扑鼻。便叹道：“此妃子生前爱用之瑞龙脑香。妃子每入华清池浴时，必以此香洒于玉莲朵上而坐之，一再洗濯，香气不散。况此丝织润腻之物，宜其经久不散也。”
太上皇在宫中所遇皆伤心事，所说皆伤心话，从此神情郁郁，常绕室闲步，口中微吟道：“刻木牵丝作老翁，雉皮鹤发与真同；须臾舞罢寂无事，还似人生一世中！”
高力士见太上皇哀伤入骨，怕有大患。那勤政楼有一飞桥，桥下横跨市街，只因宫禁森严，帝后亲贵，从不至飞桥上观览的。此日天气晴和，高力士欲使太上皇解愁散闷，便扶至桥上，推窗闲眺。那街市上的人民，从楼下走过，抬头忽见飞桥上站着一位太上皇，大家不觉喜形于色，依恋桥下；人数愈聚愈多，竟把一条大街壅塞住了。那太上皇见人民如此爱戴，便也含笑向众人点头示意。人民不禁跳跃着欢呼道：“今日再得见我太平天子！”齐呼万岁，欢声动地。太上皇得人民如此拥戴，却不觉把满腹忧愁忘去了。
这时肃宗皇帝卧病在南内，朝廷大事，都有丞相李辅国专权。肃宗宠爱张皇后，李辅国诸事便禀承张皇后，内外通成一气。这张皇后因太上皇在位之时，溺爱王皇后，至今怀恨在心，便时时在肃宗皇帝跟前说上皇如何偏心，又说如仙嫒、高力士、陈元礼一班勾通上皇，密谋变乱。如今肃宗既已卧病，李辅国又大权在握，见太上皇深得民心，怕与自己有不利；便乘肃宗病势昏迷的时候，假造皇上旨意，奉太上皇迁居西内，使与人民隔绝，只选老弱内监三十余人，随太上皇迁居。移宫之日，李辅国全身披挂，率御林军士一千人，个个提刀跃马，在太上皇前后围绕着；上皇马蹄略缓了一些，那军士们便大声呼叱起来，慌得太上皇把手上缰绳失落，几乎撞下马来。亏得左右常侍上去扶住。高力士见此情形，不觉义愤填膺，急拍马抢上前去，扶住上皇的辔头，大声喝道：“上皇为五十年太平天子，李辅国旧时家臣，何得无礼”几句话说得李辅国满面羞惭，不觉失落手中辔头，忙滚身下了马鞍，躬身站在一旁。高力士又代上皇传谕问众将土：“各得好在否？”一时千余兵士，个个把刀纳入鞘中，跳下马来，拜舞在上皇马前。口称：“太上皇万岁！”高力士又喝令李辅国拉马，李辅国便诺诺连声，抢步上前，替太上皇拉住马缰，直送到西内安息。太上皇俟李辅国退后，便握着高力士的手，流泪说道：“今日非将军在侧，朕早死于李贼刀下矣！”
这李辅国，本名静忠，原是宫中小太监；玄宗时候，当了一名闲厩，专一调养马匹，面貌甚是丑陋，稍解得书算，事高力士二十余年，荐与皇太子，得随侍东宫。陈元礼杀杨国忠，李辅国原也是同谋的；待太子在灵武即位，愈得亲信，拜为行军司马。得肃宗皇帝信任，凡有四方章奏军符禁宝，统交与辅国管理。辅国在肃宗前，能伪作小心，迎合意旨；胸中满藏奸险，使人莫测。生平不食荤。时时赴佛寺礼拜，貌为慈善，使人不疑。肃宗还京，愈见宠任，拜殿中监闲厩，五坊宫苑营田栽接总监使，兼陇右群牧，京畿铸钱长春宫等使，少府殿中二监，封成国公，实封五百户。凡朝中宰相百官欲见天子的，须先谒李辅国，才得无阻碍。肃宗每下诏书，须得李辅国署名，方能通行。在宫中出入，有三百武士，披甲保卫，满朝亲贵，不敢呼名，只呼为五郎。李揆为丞相，拜辅国为义父，称做五父。
此时太上皇初回大内，住兴庆宫中；肃宗每日从夹道中来候上皇起居，太上皇有时念及肃宗，亦至大明宫，父子笑谈甚乐。有时帝与太上皇在中途相逢，肃宗命陈元礼、高力士、王承恩、魏悦、玉真公主一班先朝旧臣，常侍太上皇左右；又令梨园弟子，日奏声乐。宫廷之内，常得享天伦之乐。李辅国虽说骄贵，但因自幼在高力士手下，高力士十分瞧他不起。在宫中相遇，高力士也不与之为礼。因之李辅国含恨在心，每欲立一奇功，自立威望。因人民爱戴太上皇，他便乘机诬告，说陈元礼、高力士、如仙嫒、王承恩一班旧人，谋举太上皇复位，矫旨迁太上皇入西内。当日李辅国受了高力士的羞辱，欲杀高力士的心更甚；第二日，又矫旨流王承恩至播州，流魏悦至溱州，流如仙嫒至归州，又欲流高力士至岭南。高力士奉诏，便向太上皇痛哭叩别；太上皇大愤，即下手谕与肃宗，请留高力士在左右听给使。张皇后又怕太上皇见肃宗时有私心语言，便令万安公主、咸宜公主住上皇宫中视服膳，暗地里却监察着太上皇与高力士二人的言语举动。因之太上皇心中郁郁不乐。肃宗虽病愈，却听信了张皇后和李辅国二人的言语，久不往朝上皇；父子之间，恩义隔绝。文武大臣，俱上表请皇