10师于当晚从得胜口潜渡运河北进，准备于次日进攻獐山附近之敌。
4月6日晨，日军濑谷支队长发现第110师的部队已进至泥沟、獐山以西附近，第20军团第52军的部队已逼近至支队部所在地杨庙东北约7公里的张楼地，而坂本支队主力已被第58军及第75军从北、东、南三面包围于邢家楼、大顾珊地区，且又准备于今晚撤走。这样，“濑谷支队长认为独立维持台儿庄战局困难”，决定退却，于15时30分电告矶谷廉介：“暂撤离台儿庄地区，部队向后方集结”；同时部署撤退，下令：“支队于本日日没后以全力向北转进”，令步兵第10联队第1大队及步兵第39联队第1大队提前于日没时即占领白山西村及獐山，令步兵第63联队主力(不包括台儿庄部队)于日没时向朱庄进攻，以掩护支队主力撤退，第10联队、台儿庄内第63联队第2大队及顿河闸、插花沟、黄林庄的各中队均于20时撤出第一线，向泥沟地区集结。在兖州的矶谷廉介接到濑谷启的电报后，立即命令参谋长电告濑谷启，令其终止后退。但濑谷启身陷险境，深知如果今夜不能迅速脱离台儿庄地区，等明日中国军队合围后就有被全歼的危险，因而抗命不从，继续指挥支队退却。由于仓促退逃，又是在中国军队的进攻下进行的，所以许多军需物资，如粮秣、弹药、被服以及日军尸体等均来不及带走，全部放火焚烧；有些重型机械化武器也因弹尽油竭、无法开动，不得不自行破坏，遗弃于战场。仅就台儿庄附近战场而言，该支队仅有的2门155毫米重炮及4辆履带牵引车以及8辆坦克均遗弃于战场(后被第200师运至湖南湘潭修理)，可见其溃逃时的狼狈之状。
台儿庄内的日军与第31师的部队隔墙相接、邻屋而战。日军想安全撤走，但守军以密集火力及手榴弹封锁，相当一部分日军在撤退的最后一刻被歼灭。至7日凌晨4时左右，台儿庄内的日军全被肃清。
4月7日，日军濑谷支队主力退至官庄地区，后方掩护部队在獐山一带。坂本支队得悉濑谷支队北逃后，当夜亦在火力追击下加速撤逃。本欲向东北、经向城返回临沂，由于第20军团主力均在东北方向，根本无力突出重围，于是改向西北方向败退，向第10师团部队靠拢。
第五战区司令长官李宗仁得知日军北逃的情况后，于13时下达了追击命令：“(1)台儿庄附近经我孙、汤两军击溃之敌，现向峄县方向逃窜中。(2)汤军以一部肃清战场，以主力由台、枣支路(不含)以东，沿夏庄、马山、九山、潭山以南地