1938年3月23日，台儿庄大战开始。
藤县失守后，20日，矶谷师团自藤县循津浦路临枣支线大举南下，直扑台儿庄。
为了确保台儿庄，第五战区制订作战计划： （1）以孙连仲第二集团军的3个师沿运河布防， 扼守台儿庄正面阵地， （2）以汤恩伯第二十军团的两个军让开津浦路正面，诱敌深入，拊敌之背，协同孙连仲集团军将敌围歼。蒋介石亲自赴徐州视察，与李宗仁筹划作战计划。战线全长约100公里。中国军队参战20多个师约12万人，其中台儿庄方面约6万人。日军7个联队3万余人，由矶谷率领布守在台儿庄一线。
24日至28日，第二集团军在台儿庄外围各村落与日军展开了坚韧的拉锯战。日军每天发射炮弹少则一二千发，多则六七千发。炮轰之后，日军乃以坦克为前导猛冲，将台儿庄外围阵地工事摧毁后，步兵乃跃入据守，步步向前推进。日军猛攻3昼夜， 冲人台儿庄城内，与守军展开激烈巷战。敌我胶着于城厢弹丸之地，彼此一墙之隔，互相凿洞射击，往往为争占一间屋子而相持二三日；为争夺一小巷而牺牲一二个连或一二个营的兵力。巷战持续了5昼夜之久。
守城的第三十一师师长池峰城，因部队伤亡过大，向孙连仲请求将部队撤至运河南岸喘喘气。孙连仲认为，第三十一师即使全部牺牲，也不能退出台儿庄，下令：任何人都不准退，要用血肉来填敌人的炮火，士兵打完了将官填，将官打完了，我总司令来，填完为止。池峰城遂下令全师将士虽剩至一兵一卒，也要死守不退。