烧之；贼死无算，城中贼皆走。公还，大军恂恂如未尝战，辎重一无所取。叙功，以知县赐蓝翎；公固辞不获，然公牍犹自署「衡阳学附生」。其后诏补金华府知府，乃始署官云。
其年秋，公与杨公旁湘东下；公从君山、阳公从雷公湖，张雨翼。先以小舟诱贼，贼舟出，抄其后，烧百余舟。贼退保雷鼓台，攻之不克；公与杨公乘三版船冲入贼中，公中鎗子伤指，血渍襟袖皆赤，进益猛，烧其坐船，贼遂溃退：军中慑服，号为「彭、杨」。时罗公泽南等所统陆军连战皆捷，遂至沌口谋攻武昌；公曰：『是宜渡江，先烧其屯』。自塘角至青山，贼炮环列，丸发如雨；诸将皆露立，三版棹船徐进，无俯首避炮者。贼大惊，于是沿江贼悉溃；汉口、汉阳皆复。陆师不血刃复两名城、一巨镇，水师之力为多。群寇乃聚于田镇，依半壁山，夹江为五屯；连舟断江，缆以铁索大锁，布木为筏，置大炮焉；又护以炮船，望之峨然。水师下攻之，则为蕲州江岸之贼所挠。公麾师船掠蕲直下，分水军为四队，头队悉令具炉■〈革葡〉、椎斧之属；哨官孙昌凯，故铁工也，方鼓橐吹埵，有小船视筏下劣容■〈舟刃〉试入之，竟度二船，呼曰：『铁锁开矣』！贼愕亦呼，惊走堕水。掷炬烧筏，筏舟俱烬；山下贼亦颠越，坑谷尸相藉。此一役也，湘军水师名闻天下。公与杨公旋至武穴养伤，而别将萧捷三率水师由湖口驶入姑塘，为所扼，不得出；公乃于新塘镇设厂造船，别立新军，而水师始有内湖、外江之分矣。
五年，湖北巡抚胡公林翼攻武昌，贼闭城不出。水军无所事，自沙口还沌口；道经武昌、汉阳，寇炮雷鸣，万声同发。公所乘船桅折船覆，公坠于水；或以三版船拯之，力挽不起，则水中有抱持公足者。舟人呼曰：『速释手，此统领也』！公在水中，闯然曰：『此时岂顾统领耶』！已而并出水中，则抱足者即本船司舵者也。公笑骂曰：『若知是尔，我提掷数丈外矣』！公当生死之际，犹从容谈笑如此。
曾文正自江西召公自助，公时适在衡，将趣南昌；而袁、瑞并陷，道不通。公易衣操皖音，伪为贾客，摩寇垒而行，径达南昌；巡抚以下皆大惊。湘军闻之，气势十倍。六年正月，公破贼樟树镇，又破临江贼垒。三月，营于吴城镇，以遏贼锋。又会黄虎臣之师克建昌县，转战吉、临、瑞、建、南、饶、广间无虚日。
七年，以惠潮嘉道协理水师。曾文正疏言公任事勇敢，励志清苦，有国士风，堪胜总统水师之任。而公在江西，饷不时得、乞火药亦不与；曾文正每叹曰：『吾负雪琴』！既而湖北陆军再克武汉，水陆俱下围九江，攻湖口；贼扼石钟山，遏内湖之军，不使得合于外江。公率全军分三队出战，贼于石钟山置巨炮，适当我船之冲，伤十余船矣；或谏公曰：『今驱士卒与飞火争命，徒死无益』！公泣曰：『不度此险，终无生理。今日，我死日也；义不令将士独死』！鼓棹赴之，贼炮裂，炮者毙。我舟遂衔尾直下，俄顷之间与外江合，欢声如雷；陆军应之，进夺小姑山，复彭泽，连破枞阳、大通、铜陵、峡口寇垒而还，遂攻克九江府城。
十年，贼复围湖口；公赴援，舍舟登陆，雨立数日夜，力战却之。
十一年，授广东按察使。时文正弟忠襄公国荃攻围安庆，贼陈玉成率悍贼三万来援营于，菱湖；公创立飞划营，抬划船入湖，合陆军大战，毁其垒，遂克安庆：是为肃清东南之始。俄授公安徽巡抚；公上疏三辞，于是改公提督。又以武职望轻，改以兵部侍郎候补；旋补右侍郎。
贼自据金陵，以芜湖为屏障，以东、西梁山为关键；同治元年，公与曾忠襄水陆会攻铜城闸，水师攻其东石垒、陆军攻其西土垒，破之。于是收复巢县、含山、和州三城，又袭破雍家镇、玉溪口诸要隘，而克西梁山。又由鲇鱼觜，进攻采石矶。时忠襄之师已由西梁山南渡，逼金柱关而营。公分水军为三，一队守险、一队冲入内河；一队辇炮登岸，环城而轰之。夜半，射火箭，焚其西门轈楼，贼从火焰中逸出，积骸满渠；遂复金柱关，而东梁山亦一鼓而下。东、西梁山既复，芜湖贼孤；循江而进，复芜湖。而忠襄之师已进攻秣陵关，公率水军由烈山赴之，会陆军拔头关，进攻江心洲。洲有二石垒，屹若坚城；公选壮士登岸，蛇行芦苇间，逼垒纵火，焱焱烛天，洲遂破。又破蒲包洲，进泊金陵之护城河口；而忠襄之师遂进而营于雨花台，以规复金陵。二年五月，攻复江浦、浦口两城，乃议攻九洑洲。九洑洲在惊湍急浪中，贼筑垒数十，列舟环之，为金陵掎角；又有拦江矶、草鞋峡、七里洲、燕子矶、中关、下关诸隘，相倚以为固。前督师向公、和公皆以攻洲不克故，无成功。公议先破其南岸诸隘，命丁泗滨等循南岸而下，预以枯荻获灌油焚其舟，乘势薄其垒，猱而升；草鞋峡、燕子矶、下关诸隘悉平。次日昧爽，两岸并举，人皆死战；贼在中关者竟不为动，自朝至暮。公令夜战，且曰：『洲不破，不收队矣』！是夜选精队四十人，人持短兵、怀火蛋，令巴里坤总兵成发翔率之登岸，于黑雾中潜烧贼垒；诸将蚁附而上，前者殪、后者继，践尸复登