楚军凭借那八门缴获的红衣大炮，再加上恭义营和通城营的优势兵力。轻易击退了金砺的进攻。
第二天，撤到南岸的八旗兵和天佑兵相继赶到，清军的攻势异常猛烈，恭义营和通城营却咬紧牙关不退，一直坚守在石鼓山周围。
天佑兵随即架起大炮，猛烈轰击楚军的阵地，楚军也利用红衣大炮还击，两军展开了一场激烈的炮战。
清军的水师赶来支援。
楚军的炮兵也赶来支援。
有草桥连接蒸水两岸，楚军的炮兵源源不断地来到石鼓山，几乎把这座小山占满，后来的只能在山下建起炮兵阵地，他们在前几天的战斗里一直当观众，早就憋足了斗志，大炮打得又狠又准。
清军的战船越来越多，石鼓山的大炮变得越来越多，石头山终归比木头船结实多了，清军的战船不断被击毁，石鼓山却几乎还是老样子。
陆路方面，天佑兵的炮兵集中了所有火炮，几门神威大将军炮昼夜不停的连续射击，但楚军的炮兵占据地利优势，在对射中也完全支撑得住。这其中，刚刚投降的杜成表现尤为出色，面对过去的老东家毫不手软，硬生生打坏了两门大将军炮，天佑兵只好把炮兵阵地向后退了一千步，虽然自己变得安全，对石鼓山的威胁也小了很多。
连续三天的激战，石鼓山一直牢牢掌握在楚军手里，耿仲明坚持不住，对勒克德浑提议撤兵。
“南贼一只虎已经进了衡阳，前锋距离赵家湾不足二十里，一天一夜就能赶到战场，衡阳战局已经难以挽回，不如趁着南贼尚未合围，尽快把兵马撤往长沙”耿仲明越说声音越小，生怕心高气傲的勒克德浑发怒，低下头不敢看他的眼睛。
出乎意料，勒克德浑并没有暴跳如雷，好半天才听他喃喃说道：“长沙，长沙，撤往长沙就能扭转战局吗？”
耿仲明抬头一看，只见勒克德浑满眼血丝，昔日英气逼人的面庞上满是灰败之色，嘴唇上布满燎泡，不禁叫道：“哎呦，你怎么病得这么重！”
“我没病，只是心力交瘁罢了。”勒克德浑苦笑着摇了摇头：“将帅无能，累死三军，我和那纸上谈兵的赵括一样，本来就是个庸才，见了汪克凡屡战屡败，根本不配做三军统帅。”
刚则易折，勒克德浑少年得志，一帆风顺，几乎没有受过挫折，如今面对必败之局，心智一下子乱了。
“胜败乃兵家常事，今日虽败，明日卷土重来，再和汪贼决一高低就是，贝勒何必在意，当下还是该尽快撤离衡阳”见