從一九三八年的三月二十五日，日軍第十師團進攻到台兒莊陣地，進行到四月七日，日軍整個潰敗退出台兒莊為止，總共是十三天十二夜的血戰。中、日兩軍在台兒莊及附近的陣地之中，進行多重包圍與反包圍的廝殺，在台兒莊内，更是到了逐街、逐房、逐門、逐窗的戰鬥，日軍幾度增援，曾經控制了台兒莊四分之三的地區，並且一度準備渡過運河，衝向徐州，但是華軍拼死不退，孫連仲將軍親自下令守城的部隊，即使全員戰死，也絕對不能撤退。同時他也將司令部移往前線，表示必要時自己與司令部也將投入戰場作戰。

徐州，是中國歷史上，一個地緣戰略位置極其重要的兵家必爭之地，它位於華北與華中之間的交通樞紐，也是從黃海進入中原地區的孔道。當時的津浦鐵路與隴海鐵路在此交會，大運河也在附近穿過。戰前，蔣介石在德國顧問建議之下，曾在徐州附近構築國防工事，但是在中日全面大戰開始後，日本卻猶豫著，是否要進攻徐州。因爲日軍在攻佔中國首都南京，以及華北的各個重鎮之後，在戰場上失利的中國政府，不但沒有屈服或是發生內訌，反而決心繼續抗戰到底。日本經過半年的征戰，付出重大傷亡的代價，但仍然不能結束中國事變，因此日政府本身已面臨嚴重的政治動盪，根本無法做出重大之軍政決策。

一九三八年年初，日本軍部並沒有進攻徐州的具體計畫，並不是日本認爲徐州的戰略地位不夠重要，而是日軍大本營當時還不想陷入中國寬闊戰略空間的泥淖中。可是日本的華北方面軍，卻有進一步深入作戰的強烈企圖心，希望軍部能夠批准它全力出擊的願望。華北方面軍希望大本營能增加其兵力，讓它出動大軍，沿平漢線從北而南一直攻到武漢，以切斷中國東西兩部的聯繫。否則至少要攻佔徐州，打通津浦線，以聯絡華北與華中的日軍佔領區。因此華北方面軍，對於中日全面大戰之後的戰局發展，曾經有著極強的企圖心與極大的失落感。

原先華北方面軍以爲，中日的決戰，將在河北爆發，方面軍有充足的準備，可以徹底地圍殲華軍，一舉迫使中國屈服。但是蔣介石卻把決戰地點，移到華東，讓華中方面軍揀到決戰的機會，並且攻佔中國首都南京。而華北方面軍不但連助攻的機會都沒有，還要抽調兩個半師團去支援華中方面軍作戰。本來華北方面軍還想有些戰場的表現，不料一個防蘇作戰的待命指令，更讓華北方面軍毫無發揮的餘地。寺內壽一大將眼睜睁看著華中方面軍，獲得重大勝利與榮譽，因此是越發按捺不住，於是向大本營力陳華北方面軍準備深入中國的作戰構想。