隆武六年‘春’，隆武帝被楚军劫持到长沙，随即被秘密送往武昌，乘船顺江东下，前往南京。
与此同时，驻守湖广的文武大员比如章旷、李过、滕双林、袁宗第等人各自‘抽’调‘精’兵强将，赶到长沙迎驾，并且组成了一支超过五万人的大军，由谭啸统一指挥，准备迎头痛击侵入湖广的刘文秀，以及刘芳亮、党守素和贺珍。
刘芳亮和贺珍向南急退，和党守素汇合后，撤到湖南、广西和广东‘交’界的三不管地带观望形势，这一带属于后世的江华瑶*族自治县和连山壮*族自治县，都是少数民族聚居的山区，穷山恶水，道路难行，楚军和西军一时顾不上理会他们，何吾驺和陈子壮等人又协调广东方面，送来了一批虽然数量不多，但是暂解燃眉之急的粮食，暂时安顿下来。
在闯营众将里，刘芳亮、党守素和贺珍都是可以独当一面的大将，心气也是最高，否则当初也不会离开湖广扯旗单干，比如党守素当年就是闯王老八队的元老宿将，大顺时期镇守兰州，在西北一带威名远扬，有他们三个驻扎在此，广东就多了一道稳固的屏障，所以两广总督苏观生得知情况后，又派人送来一批钱粮以示拉拢，暗中却严令自己的部队严守南岭各个关口，不放这些流寇进入广东一步。
何吾驺、陈子壮等隆武朝廷的流亡官员，大部分都在刘芳亮军中，这些往日里位高权重的朝廷要员，此刻却寄人篱下，凄凄惨惨戚戚，其中意志消沉的终日买醉，信念坚定的还想东山再起，陈子壮和何吾驺等人联名给苏观生写了几封亲笔信，请他前来连山共商国事，或者他们去广州也行，但是苏观生一再找借口推诿，今天军务繁忙，明天突染急病，既不肯来连山，也不让何吾驺他们去广州。
除了苏观生，还有万元吉，万元吉这个赣闽总督拥有江西南部和福建西部，比苏观生的地盘只大不小，又是铁杆的帝党大臣，陈子壮和何吾驺都对万元吉寄予厚望，可是他比苏观生还过分，连续几次派人前去赣州求助，只换回一封不疼不痒的回信，万元吉自称正在调兵遣将，只要得知隆武帝的下落，就亲自率军勤王，到时再请元辅和阁老大力襄助云云。
人心散了！
何吾驺和陈子壮既痛心又无奈，隆武帝这面大旗一倒，再没有一个可以服众的领袖，南党和帝党的联盟也到了分裂的边缘，万元吉、苏观生这些封疆大吏各打各的小算盘。何吾驺和陈子壮都是南党领袖，苏观生多少还给几分面子，帝党领袖汤来贺被楚军抓走，万元吉就一兵一卒甚至一个铜板都不给