谏官，以论事不合去。吕好问在政府，首言时之贤于上，复召还朝，未至而又召定。是时给事中许景衡、左司员外郎吴给、殿中侍御史马伸皆号得颐之学，已而传之浸广，好名之士多从之，亦有托以自售于时，而识真者寡矣。诏真州守臣以礼敦遣长芦隐士张自牧赴行在，既至，授从事郎，充御营使司准备差使。癸酉，耿南仲责授单州团练副使、南雄州安置。乙亥，尚书左仆射兼门下侍郎兼御营使李纲罢。先是，河北招抚使张所才至京师，河北转运副使张益谦附黄潜善意，奏所置司北京不当，又言：『自置招抚司，河北盗贼愈炽，不若罢之，专以其事付帅司。』同知枢密院事张悫素善益谦，每与之相表里。纲言：『所今留京师以招集将佐，故尚未行，不知益谦何以知其搔扰?朝廷以河北民无所归,聚而为盗，故置司招抚，因其力而用之，岂由置司，乃有盗贼?今京东西盗贼公行，亦岂招抚司过耶?益谦小臣，非理沮抑，此必有使之者。』上乃令益谦分析。所方招来豪杰，以忠翊郎王彦为都统制，效用人岳飞为准备将。彦，河内人，后徒居覃怀。读韬略，习骑射，其父奇之，使诣京师，隶弓马子弟所，稍迁清河尉，能与敌角，所奇其才,故擢为都统制。飞，安阳人,尝为人佣耕，去为市游徼，使酒不检。上之在相州也，飞以效用从军至北京，坐论事罪废，至是投所军中。时河东经制副使傅亮军行才十余日，伯彦等以为逗遛,使即日渡河。亮言：『今河外皆属金人,而遽使亮以乌合之众渡河，不知何地可为家计，何处可以得根?』纲为之请，且言：『潜善、伯彦力沮二人，乃所以沮臣,使不安职。臣每念靖康大臣不和之失，凡事未尝不与潜善、伯彦熟议而后行。不谓二人设心乃如此。如亮事理明白，愿陛下虚心观之。』即而潜善有密启。明日，上批：『亮兵少，不可渡河，可罢经制司赴行在。』纲留御批再上，上曰：『如亮人材，今岂难得?』纲曰：『亮谋略智勇可为大将，今未尝用而遽罢之，古人之用将恐不如此。』因求去。上不语。纲以御批纳上前，曰：『圣意必欲罢亮，乞以御批付潜善施行，臣得乞身归田里。』纲退，闻亮竟罢，乃再章求去。于是殿中侍御史张俊亦论纲，以为纲虽负才气，有时望，然以私意杀侍从典刑不当，有伤新政，不可居相位。又论纲杜绝言路，独擅朝政，士夫侧立不敢仰视，事之大小，随意必行，买马之扰，招军之暴，劝纳之虐，优立赏格,任吏为奸，擅易诏令，窃庇姻亲等十数事。俊素与宋齐愈厚，且潜善客也。上召纲入对，谕曰：『卿所争，细事耳，何为乃尔?』纲曰：「人主之职，在论一相；宰相之职，在荐进人才。方今人才以将帅为急，恐不可以为细事。若以为细，臣以去就争之而圣意不回,臣亦安敢不必去?』因再拜曰：『潜善、伯彦自谓有攀附之功，方虚位以召臣，盖已切齿。及臣至而议论伪楚、建请料理河东北两路、谓车驾宜留中原，皆不与之同，宜其妒嫉，无所不至。臣东南人，岂不愿陛下顺流东下，为安便哉?顾一去中原，后患有不可胜言者，故不敢雷同众说，以误大事。望陛下勿以臣去而其议遂改也。』因泣辞而退，遂上第三表札。客或谓纲曰：『公决于进退，于义得矣，顾谗者不止，将有患祸不测，奈何?』纲曰：『大臣以道事君，不可则止。吾知全吾进退之节而已。畏祸患而不去，彼独不能讽言者诋訾而逐之哉?天下自有公议，此不足虑。』翌日，遂罢纲提举杭州洞霄宫。纲在相位凡七十五日。右正言邓肃言：『人主之职，在论一相。陛下初登九五之位，召李纲于贬所，而任以台衡，待之非不专也。然纲学虽正而术疏，谋虽深而机浅。陛下尝顾臣曰：「李纲真以身徇国者。」且两河百姓虽愿效死，而数月间茫然无所适从，及纲措置，不一月而兵民稍集。又伪楚之臣纷纷，皆官于朝，纲先逐邦昌，而叛党稍正其罪。今纲去，则二事将何如哉?两河无兵则夷狄骄，叛臣在朝则政事乖。纲于此，不可谓无一日之长也。』肃寻与郡，而言者极论其罪。上曰：『肃亦何罪?但党耳。』吏部尚书右丞许翰亦言：『纲忠义英发，舍之无以佐中兴。今纲罢而留臣无益。』因力求去。上未许，然潜善等皆怒，有逐之之意矣。初，纲尝请减上供之数以宽州县，修盐茶之法以通商贾，划东南官田募民给佃，仿陕西弓箭刀弩手法养兵于农籍，陕西保甲、京东西弓箭社免支移折变而官为教阅。上命中书省条具，会纲去位，皆不果行，黄潜善、汪伯彦共议，悉奏罢纲所施行者。是日，罢诸路买马，惟陕西诸州各买百匹，其劝民出财助国指挥勿行。已而傅亮以母病归同州，张所亦以罪贬，招抚经制司皆废矣。
《龟鉴》曰：纲之言虽忠，纲之谤愈多。颜岐，邦昌党人也，于公未至而沮之。宗尹，尝仕邦昌者也。于公已至而沮之。宋齐愈，又尝豫立邦昌议也,及与公议国事，又从而沮之。君子之难进易退也如此!加之藩邸旧人公肆排毁,并相之命下而纲之权已分，经制之司罢而纲之去已决，中山之功未成而谤书盈箧。纲之秉政凡七十五日，而所与共治者，它有人矣。当时挽而留之者，不投之散地，则置之极典。公之去就甚轻，而关于天下之安危者甚重。纲在位则措置两河，民兵相集：纲去则两河无兵而夷狄横矣。纲在位则叛臣伪