淑、林源恩等由平江追剿崇、通者为东路。先后进剿，合计兵勇数近二万。贼闻官军大至，遂退出常德、澧州各城，将所掠船尽集岳州踞守。公以新墙兵力稍单，调派罗泽南等以勇二千继进，又调周凤山等兵勇齐赴岳州。二十二日，塔齐布破贼于新墙，进逼岳州，晦日，水师破贼于南津港，贼乃宵遁。
七月初一日，官军收复岳州。初三日，贼船数百来犯，水师力战破之。初六日，公督水师后帮，由长沙起行，陈辉龙、李孟群率师继进。十一日，公会骆公衔驰奏水师克复岳州、越日大股续至，复被水师痛剿，全数歼灭，南省已无贼踪一摺，随摺奏保褚汝航、夏銮、彭玉麟、杨栽福、何南青等五员。附片奏调浙江候补知县龚振麟来楚铸造炮位，接济舟师之用。又附片奏称：水师以造船置炮为最要，出征船舰，不无漂损。臣设衡州、长沙两处船厂，仍不停工，酌留水勇在长沙操演，预备接济，请旨饬催两广督臣赶紧解运夷炮数百尊来楚，以资攻剿。
又附片奏报水师前后起行日期，并雇船载陆勇二千，以资护卫。奉朱批：“览奏稍尉朕怀。汝能迅速东下，借此声威，或可扫除武汉之贼。朕日夜焦盼，忧思弥增，护船陆勇终恐未可深靠。”钦此。又奉上谕：“此次克复岳州，大获胜仗，湖南逆踪业就肃清，江路已通，重湖无阻。即著塔齐布、曾国藩会督水陆兵勇，乘此声威，迅速东下，力捣武汉贼巢，以冀荡平群丑。”钦此。水师既克岳州，进破贼船于道林矶。十四日，贼船上犯，水师复破之于城陵矶。十五日，公抵岳州。十六日，驰奏水师迭获胜仗、将犯岳之贼船全数歼灭一摺。随摺仍奏保褚汝航等五员，阵亡哨官秦国长请恤。是日公专差赍摺，奏请旨饬部颁发部监执照，以速捐务而济要需。现在臣与提臣塔齐布一军，水陆共计一万三千馀人，月需饷银六七万两，万分焦灼。是以专差赴部，守领执照。水师乘风击贼船于城陵矶下，南风大作，官军失利，总兵陈壮勇公辉龙、游击沙公镇邦战殁，褚公汝航、夏公銮等驰救，亦阵亡。战船陷失者数十号，兵勇死伤甚多。十八日，塔齐布公陆军破贼于擂鼓台，阵斩贼目曾天养。二十一日，驰奏水师失利陆军获胜一摺。阵亡总兵陈辉龙、道员褚汝航、同知夏銮、游击沙镇邦、千总何若、澧府经历唐嵘，均奏请恤。随摺奏保陆营将弁童添云、周岐山、黄明魁三人，并自请交部严加议处。其时水师营官道员李孟群之父李愍肃公卿谷在湖北署臬司任内殉难。公附片奏报李卿谷殉难情形，请照臬司例赐恤；并称其子孟群忠勇奋发，思报仇殄逆，请留营剿贼；并请从权统领水师前营，以专责成。奉上谕“览奏曷胜愤懑！曾国藩系在水路督战，视陈辉龙出队时，不能详慎调度。可见水上一军毫无节制，即治以贻误之罪，亦复何辞！惟曾国藩前经革职，此时亦不必交部严议，仍责令督饬水师将弁奋力攻剿，断不可因一挫之后，遂观望不前”等因。钦此。又奉上谕：“李孟群现在丁忧，著准其有留军营带勇剿贼。”钦此。贼屯聚城陵矶者，为数尚众，诸公殿元等击贼阵亡。二十六日，贼党大至，罗公泽南奋击破之。二十八日，湘勇由陆路进攻贼垒。二十九日，水师毁贼船于城陵矶，贼大溃。
闰七月初三日，驰奏岳州水陆官军四获胜仗一摺。随摺奏保知府罗泽南、守备杨名声、千总唐得升、李荣华四员，阵亡都司诸殿元、千总刘士宜请恤。奉上谕：“塔齐布、曾国藩自带兵以来，既未尝遇败而怯，定不致乘胜而骄，总宜于妥速之中，持以慎重，则楚省贼踪，渐可扫荡。”钦此。塔齐布公陆军初二日，攻破贼营十三座，杀贼二千馀人。李公孟群、杨公载福等率水师以火焚贼船，乘胜攻击，尽平沿江两岸贼垒，穷追二百馀里至嘉鱼县境，贼溃下窜。公督水军出江，进驻螺山。初九日，驰奏水陆两军大胜、贼垒尽平、大股歼贼一摺。随摺奏保周凤山、李续宾、何越廷、佘星元、滕国献、萧捷三六员。附片奏调湖北藩司夏廷樾总理行营粮台，暂驻岳州，以资转运。又附片奏称：新授四川臬司胡林翼，才大心细，为军中必不可少之员，请旨饬令该臬司管带黔勇，酌拨他路兵勇，自成一队，随同东征。知府罗泽南经江西抚臣咨调赴援，该员现带湘勇，屡次大捷，独当要隘，以寡胜众，亦请随同出境东征，免其赴援江省。贼之上犯也，濒江城市村镇，悉被残掠，岳州城陵矶以下，筑垒江岸，以图抗拒。至是水陆屡捷，乘势扫荡，贼垒悉平，难民焚香跪道以迎。公约束严明，秋毫不犯，解散胁从，抚恤疮痍。军抵湖北境，与将军官文公、总督杨公霈之军声息渐通。奉上谕：“塔齐布、曾国藩奏水陆官军大获胜仗一摺，办理甚合机宜。塔齐布着交部从优议叙，曾国藩著赏给三品顶戴，仍著统领水陆官军，直捣武汉，与杨霈所统官军会合，迅扫妖氛。”钦此。骆公秉章具摺奏称：东南形势，利用舟楫。自逆贼掠取江湖舟舰以数万计，以致糜烂数省，凶焰日张，军官坐受其困。自奉明诏，筹备舟师，始有湘潭、岳州诸大捷。疆圉危而复安，此舟师协剿之明效也。曾国藩所统水师船炮，本不为多；接仗失利，所失不少。现在曾国藩整军东下，通筹防剿大局，以船炮为最要。现饬绅民设局捐办船炮，