清廷接到唐训方求援，令时署理两江总督的李鸿章即刻抽调兵力援救唐训方。李鸿章见太平军势大，也觉得应当认真对待魏宣武这支太平军了，于是派记名提督韩进春领淮军四十营二万余人，前去救援唐训方。正巧僧格林沁阵亡后左宝贵逃出来见李鸿章，李鸿章就给了他一个都司的头衔，令他带江苏地方团勇一万人，又调镇江参将周良才良字营二十营一万人，安徽按察使冯志沂部一万人都听韩进春调遣。1865年10月7日，韩进春在滁州汇齐各部，各路人马浩浩荡荡直奔庐州府城而来。
桐城黄鸣择赖各地主接济，尚有粮吃。这晚，黄鸣择正在屋外纳凉，突闻城外枪炮声，黄鸣择忙登城守御，不想城内喊起，原来当地天道教徒混在运粮民夫里把手榴弹藏在粮食中入了城，待城外二营太平军对城放炮鸣枪就摸到军械库。守军械库的是地主团练兵，警惕性差，这时城外喧闹，守兵注意力都被吸引过去，天道教徒得以绕过守兵，从火药库通风孔偷偷把火把和几颗手榴弹扔进去，引发火药爆炸，整个军械库被夷为平地。黄鸣择正不知城外来了多少太平军，城内爆炸声起，军械库处火光冲天，正惶急间，粮库又着火了，黄鸣择知城不可守，忙开城投唐训方大营去了。太平军二旅副旅帅宁三省就带二营兵及五千多天道教义军入了桐城。
唐训方见黄鸣择又丢了桐城，愈加烦闷，军中缺粮，日杀战马充饥，只望清军来援。关保命周边章为庐江县统领，带一万天道教义军守庐江，罗大欧带一万天道教义军守舒城，郑伦带安徽省制守庐州府城，卫雨亭带本部一卒人马守北岭关，蓝义和农六行带二千天道教义军与水军陆战营守三河镇，龙怒涛让冲浪舰带五十艘木制小炮艇泊于三河镇旁巢湖中，随时配合陆军作战。关保让副师帅武进在挂车河训练三千天道教义军已有半月，这日关保令武进带三千天道教义军接替野战军守壕垒，留下一个二十磅野炮营配合。安排好后，关保告诫武进不可出战，凭火器坚守壕垒。安排妥当，关保自带师部和第三旅密往安庆府城，留下总教李太春率第二旅一个卒（缺一营）守安庆府城，自与鲁能达的第二旅其余部队从高河埠上船，直入巢湖，于三河镇登陆。又令赖文鸿的骑兵卒从潜山回霍山，与董宇的六安州辖一起密入舒城，魏宣武所派任柱的骑兵旅也已到了寿州。
1865年10月21日，韩进春指挥大军对庐州府城合肥外各壕垒发起攻击，郑伦指挥本部各军抗击，双方在庐州城下打得难解难分。韩进春见庐州府城急切难下，便令镇江参将周良才带本部人马一万人偷袭舒城，不意碰上赖文鸿与董宇的部队。当下董宇在前，赖文鸿绕出其后，一顿猛攻，周良才部死伤过半，狼狈逃回大营。韩进春见状也只得日日催督各部猛攻庐州府城。关保与任柱、赖文鸿取得联络，三人约期对韩部发起攻击。1865年11月16日，关保派第二旅鲁能达部袭取了全椒县，江苏震动，任柱又带骑兵旅袭取了定远县，韩进春粮道被断，已入太平军包围。太平军水师运到三河镇大批武器、粮草，关保武装了天道教发动的义军二万多人，以蓝义为统领，就在三河训练。李鸿章大急，忙令江苏按察使潘鼎新、副将卫汝贵组织五十营二万五千人淮军夺回全椒县。1865年12月13日，潘鼎新、卫汝贵部攻击全椒县，韩进春也派左宝贵带五千团勇回攻全椒，与潘鼎新、卫汝贵部成夹击之势。太平军水师从巢湖入滁河，开炮轰击潘鼎新、卫汝贵的部队。关保派方虎的第三旅包抄左宝贵部，全歼左宝贵军，左宝贵负伤被俘。接着，第二旅、第三旅在水师炮艇掩护下奋力攻击潘鼎新、卫汝贵部，潘鼎新、卫汝贵部被击溃。1866年1月7日，韩进春留周良才部断后，自与冯志沂带大队人马向全椒突围，鲁能达、方虎第二、第三旅依托壕垒抵抗、反击，任柱又派一卒骑兵侧击韩进春部。李鸿章醉心于洋枪洋炮，韩进春部几乎全员装备洋枪，既有老式滑膛步枪，也有新式线膛米尼步枪，使用的洋炮虽然还是前装炮，却能发射开花炮弹，并且打的还挺准。但韩进春的部队后路被断，这一段时间消耗大，此时携带弹、药皆尽，又得不到补充，淮军不比湘军，在严明的纪律约束下，湘军极少出现不战而逃的现象，淮军就差远了，虽然淮军武器装备比较精良，但他们没有严明的纪律，战斗意志不及湘军，淮军在战场形势顺风顺水时还好说，一旦出现劣势，就容易出现“兵败如山倒”的情形。现在韩进春部队就是如此，受到太平军猛烈地攻击，弹药又不足，淮军很快溃散，扔下武器四处奔逃，韩、冯两人化妆为长夫潜逃，淮军被俘二万多人。周良才所部原系湘军，军纪较严，战斗意志较强，当受到太平军三面攻击时，尚自苦撑，很快弹药消耗殆尽，凭刀矛难以抵挡太平军枪炮攻击，粮营被占，粮草也全落入太平军之手，最后，周良才部仅余二千多人，半数带伤，周良才只得降了太平军，成为了湘淮军中投降的第一个中级将领。
时李鸿章新败，虽飞调刘铭传等各路淮军来聚，一时却难成聚齐，粮饷器械各项也不齐。唐训方被困已历三月，战马已被吃光，士兵仅以草根树皮充饥。关保并不进攻，只是紧守各处关隘，使用水师运到器械粮草自在三河训练二万多天道教义军，编成独立旅和独立辎重旅。1866年2月，唐训方全军回攻桐城，想突出重围，但为时已晚，太平军在桐城西山等处均筑坚固壕垒，清军兵饥疲，弹药缺少，无法突破。关保亲率师部及蓝义的独立旅攻入清军大营，唐训方自杀未成被生俘，黄鸣择被击毙，陈国瑞化成小兵潜逃，张曜化为乞丐、宋庆化为长夫皆逃。关保带兵攻入池州府，连下徽州府、宁国府、广德州，均依靠当地天道教组织地方政权和部队，郑伦领安徽省制从庐州出发攻占凤阳府全境，方虎的第三旅攻取和州、太平府，鲁能达的第二旅攻取滁州、来安，至1866年5月，安徽省全境皆克，魏宣武已有河南、陕西、四川、安徽四省全省。