耶？则帝王大器，敢妨圣贤，其听天下所往。如此而兵不至，人不感，天下不服，请赤臣族以谢！”
肃宗读疏，便下诏，尽夺元振官爵，放归田里，四方兵皆至，杀退吐蕃兵，奉肃宗回京师，重整宫殿，再立社稷。此时元振从三原乔装作妇女模样，浑入京师，投司农卿陈景诠家谋反；被御史省探得踪迹，捕元振与景诠二人，交刑部审服，长流元振至溱州，降景诠为新兴尉。元振行至江陵地方病死。
又有鱼朝恩，亦为宫中最有权力的宦官，史思明攻打洛阳时，鱼朝恩统领神策兵，屯陕中；洛阳陷落，思明长驱至硖石，使子朝义为游军。肃宗集勇武军士十万，沿渭河而东，朝恩按兵陕东，使神策将卫伯玉与贼将康文景等战，败之。京师平复，加开府仪同三司，封冯翊郡公，专领神策军，赏赐不绝；朝恩恃功而骄，在朝无所忌惮。时郭子仪功盖天下，朝恩心怀妒忌，因相州之败，便力为诋谮。肃宗虽不听其语，但因此罢子仪兵柄。吐蕃攻破京师，朝恩有勤皇之功，便欲挟天子迁都洛阳，藉避戎狄；文武百官，正排列满朝的时候，鱼朝恩率领武士十余人，各执兵器，当殿高声道：“虏数犯京师，夫子欲避兵洛阳，诸文武云何？”宰相未对，有夫子近臣抗声对道：“中官反耶？今屯兵足以捍贼，何遽胁天子弃宗庙为？”朝恩低头无语，而郭子仪亦出班奏称不可。自此肃宗渐有不信朝恩之意，而宦官李辅国的威势，更甚于朝恩。
李辅国矫旨迁上皇于西内，并流陈元礼、高力士诸人，而权势愈大；又能结好张皇后，肃宗畏惧张后，便也畏惧辅国。
肃宗有子十四人，章敬皇后生代宗皇帝，孙宫人生皇子係，张贵妃生皇子倓，王妃生皇子佖，陈婕妤生皇子仅，韦妃生皇子僩，张美人生皇子侹，后宫生皇子荣，裴昭仪生皇子僙，段婕妤生皇子倕，崔妃生皇子偲，张皇后生皇子佋、皇子侗，后宫人生皇子僖。在玄宗末年，所有肃宗之子，俱封王爵。当时係封南阳郡王，至德二年，进封赵王，与彭王、兖王、泾王、郓王、襄王、杞王、召王、兴王、定王九王同封。乾元二年，九节度兵在河北大败，朝廷震动，便用李光弼代郭子仪统兵。光弼求贤王为军中主帅，肃宗下诏，以赵王係充天下兵马元帅，而以光弼副之。事定回京，皇帝有疾，皇太子监国；张皇后与宦官李辅国有仇怨，密召太子入内，对太子道：“辅国执掌禁兵，用事已久，四方诏旨，皆出其口；矫天子旨，逼迁圣皇，天下侧目。平日心常怏怏，忌我与汝。又程元振阴结黄门，图谋不轨；若弃而不诛，祸在眉睫矣！”太子闻之，泣曰：“此二人者，皆陛下勋旧，今上体不裕，重以此事，得无震惊乎？
请出外徐议之。”张后叹曰：“此子难与共事！”便召皇子係入内，问：“汝能行杀元振之事乎？”係允诺。係退，即选勇士二百人，披甲执刀，伏于长生殿，竟矫帝命，召太子入宫。
元振已探得张后计谋，走告辅国，使勒兵在凌霄门迎接太子以难告。太子道：“皇上病危，吾岂可畏死不入乎？”元振谏道：“入则及祸。”乃以兵护送太子入飞龙厩，勒兵，夜入三殿，捕皇子係，及恒俊等百余人下狱，又囚张后于别殿；辅国暗遣刺客，夜入宫禁，杀张后及皇子係。后肃宗病愈，而张良娣之宠愈甚，外与辅国结纳，欺压皇帝。
肃宗为太子时，与章敬皇后吴氏恩情甚深，生代宗皇帝；后玄宗亦重视之。肃宗未及登位，而吴氏已短命死，年仅十八岁；惟张良娣随侍肃宗最久，张氏之祖母，原为窦昭成皇后之妹。玄宗幼年丧母，在姨家抚养，视张氏祖母，有如己母；窦氏亦鞠爱倍至，玄宗即位，封窦氏为邓国夫人，甚得玄宗亲信。
生五子：长子去惑，次子去疑，三子去奢，四子去逸，五子去盈，皆为大官。去盈尚常芬公主，为驸马；去逸生张良娣。肃宗为忠王时，娶韦元娃女为孺人，后立为太子，即以孺人为妃，张氏为良娣。韦妃之兄，名坚，被李林甫陷害死；太子大惧，请与韦妃绝义，韦妃毁去衣裳，贬入冷宫。
安禄山反，韦妃落于贼手，此时惟张良娣得专侍太子。张氏性聪慧，而口能辩，又机警能迎合意旨。玄宗避兵西去，良娣随肃宗渡渭河，百姓拦跪道旁，请留太子守长安。太子不听，张良娣再三劝谏太子，以天下为重；肃宗没奈何，便折向北行，止于灵武。良娣日侍左右，每夜寝，良娣必居前室。肃宗与语道：“前室非妇人所宜，且暮夜可虞，汝宜在后。”张良娣对道：“天下方多事，倘有不测，妾愿以一身当贼，殿下可从容从帐后避难；宁可祸妾，不可及殿下。”因此肃宗宠爱良娣愈深。住灵武不久，便产一子，才阅三月，即起为战士缝衣；肃宗戒以产后须节劳，良娣奏答道：“今日不应自养，殿下当为国家计，毋专为爱妾忧。”如张良娣这般灵心慧舌，那得不动人怜爱；更以良娣姿色，美丽绝世，肃宗此时与良娣患难相依，倍觉恩爱。后玄宗传位与肃宗，闻良娣之贤，便赐以七宝雕鞍；良娣以上皇所赐，不觉大喜。
满朝中只一李泌，是真正忠臣。一日，入见肃宗，见良娣七宝雕鞍，即进奏道：“今四海分崩，当以俭约示人，良娣不应乘此，请撤除鞍上珠玉，付库吏收