林士弘退往宜春郡后，立即从各地依附郡县调集人马，准备再同高不二大战，但是各郡本就是名义上依附，如今见他大败，听令的人并不多，最后东拼西凑，再加上就地招募、收拢散兵，弄出来六万来人。
世代盘踞西南的冯盎，向来以地方豪族自居，从来看不上林士弘这泥腿子出身。之前因为手中兵马不足以对抗林士弘，便不得不去信请求依附，而今看他大军溃散，又有朝廷大军收拾，于是直接无视林士弘调兵命令，虽然手中有精兵强将三四万人，但并未派出一兵一卒。
在宜春的林士弘见冯盎不听调令，心中自然恼怒。
林药师道：“冯盎那狗贼，以往纳贡称臣，面面俱到，而今竟敢无视陛下圣谕，不派一兵一卒前来助战，我要派兵灭其满门，夷其宗庙，请陛下拨我一支人马。”
林士弘还没气昏头道：“墙头草又不只他冯盎一家，你激动个什么？冯盎所依的是当地寮人的支持，他们冯家在那里经营了三四代人，哪能那么轻松让你拿下，而今我们的大敌是高不二，等击退高不二再回过头来和他计较不迟。”
林药师怒气难平道：“他高不二也是欺人太甚，杨广那昏君都知道那是秋后的蚂蚱蹦跶不了几天了，居然还那么死忠，猛搞我们，不若我们派人携厚礼过江前往瓦岗，与李密结盟，请他南下攻江都，吸引高不二去救杨广，减轻我们的压力，你看如何？”
林士弘满意的点点头，自己这弟弟也不是一味就知道蛮干，他很欣慰，道：“如此也好，宜早不宜迟，现在就赶紧派人出发，我怕高不二等不及派兵攻来。另外也不能全寄希望于外人，我们也要抓紧时间练兵，既然城战、水战我们都不占优势，我们就练山林战，如果高不二敢来，我们拖死他。”
林药师领命便下去准备。
另一边，高不二在豫章整顿兵马两个多月后，听说林士弘又在宜春郡纠结了六万多人，为了不给他过多时间，便命令李靖、红拂女二人带领五万大军南下，继续向南征讨。
但因南方山多路少，地广人稀，后勤补给耗费时日比较多，等李靖带着兵马赶到宜春时候，已经是三个月之后了，林士弘因为练兵未完，只得放弃宜春，退到南康郡，李靖请示高不二后，继续率军南下。
而高不二却不得不返回了杭州，因为永嘉郡太守沈法兴联合东阳、建安、义安、龙川四郡起兵反隋，拥兵十余万，正在猛攻会稽，会稽郡告急，高不二给王戎留下一万守军，负责督促向李靖转运粮草，自己带领三万骑兵星夜赶往会稽支援。
沈法兴虽然号称拥兵十万，但是派来进攻会稽的只不过三万来人，高不二在会稽留有五千精兵，见贼军来攻，便派骑兵出城，主动迎战，沈法兴军骑兵较少，根本奈何不得重骑兵，但是会稽这边吃亏在兵少，也不敢离城太远追击敌军，双方僵持十多天。
沈法兴军营，属下谋士、大将陈果仁、孙士汗、蒋元超、李百药都在。
陈果仁道：“大王，而今我们久攻会稽不下，敌军援军不日就到，我方不宜过早与对方决战，而东阳郡、永嘉郡距离杭州、江都又太过近，我建议咱们退到建安去，在那里改弦易帜，建国称制，这样就可以广招天下有识之士来投，只要人才兵马多了，那么我们就可以与隋廷分庭抗礼。”
李百药道：“臣同意司徒的意见，只要我们远离余杭，高不二又在和林士弘厮杀，一时半会儿还顾不上我们，我们可借此机会发展自己。”
“我等附议。”沈法兴听从属下建议，带兵撤到建安，两处兵马合二为一，可战之兵一下子达到了六万多人，声威大振，引来不少岭南能人义士来投。
高不二领军赶到会稽后，见沈法兴已经带兵退往了建安，于是略做准备后，带领大军进驻永嘉郡，暂时无暇南下。
而在南康郡林士弘与李靖大战一场，又大败而归，最后不得已带领不足两万人的残兵西去投奔萧铣。高不二让李靖放弃追击林士弘残兵，继续带领大军南下。由于林士弘已西撤，李靖很轻松攻下了海南郡，至此，林士弘建的楚政权就此瓦解。
在巴陵的萧铣听闻林士弘带兵来投，大喜过望，派在衡山郡的大将董景珍领兵前去接应，已示隆重，有了林士弘来投，西南观望的各郡县纷纷上书萧铣，请求依附，短短半年时间，萧铣军队就发展到了不下四十余万，成了与北方瓦岗军、河北窦建德一样的最有实力的义军首领。