1926年1月蔣介石辭去國民革命軍第1軍軍長職務后，由何應欽接任軍長。1926年7月，國民革命軍1軍1師、2師先期參加北伐，其余部隊留駐廣東。兩個月后，何應欽率第1軍所余各部北伐攻閩，此后又參加了江西、江浙的戰(zhàn)斗，在占領(lǐng)南京后，向山東挺進。1927年7月下旬，北洋軍反攻，占領(lǐng)徐州，蔣介石組織抵抗失敗，北伐軍撤回蘇南。

徐州戰(zhàn)敗后，武漢國民政府準備派兵討伐蔣介石的消息傳來，而和蔣介石同在南京的李宗仁、白崇禧貌合神離，使蔣介石受到很大打擊。此時“忠誠”的何應欽也出了問題。何應欽雖然一直聽命于蔣介石，但也不滿蔣介石日益增長的專橫跋扈，在“四一二政變”后，蔣介石曾密令何應欽伺機將白崇禧部繳械，何應欽猶豫再三，竟沒有執(zhí)行密令。蔣介石于是懷疑何應欽受到李宗仁、白崇禧的拉攏。

在此形勢下，8月11日，蔣介石以退為進，在南京的國民黨中央執(zhí)監(jiān)委員會議上提出辭職下野。李宗仁、白崇禧表示贊同，蔣介石本來希望何應欽能帶頭挽留，但何應欽卻說他同意李、白的意見。蔣介石深感失望，于是辭去國民革命軍總司令等職務。

蔣介石下野后，李宗仁、何應欽、白崇禧坐鎮(zhèn)南京。李、白提出用蔣介石命令黃埔同學會招募的七個新兵團補充部隊，何應欽立刻答應，但被蔣介石派人阻止。何應欽率領(lǐng)第1軍取得龍?zhí)洞蠼?、擊潰北洋軍主力后，將龐大的?軍所部編為第1、第9、第32三個軍，由劉峙、顧祝同、錢大鈞分任各軍軍長，由何自任總指揮，繼續(xù)北伐。

正當何應欽躊躇滿志之時，蔣介石準備復職了。

蔣介石于1928年1月4日復任北伐軍總司令。在事先未告知何應欽的情況下，蔣介石于2月9日到達徐州，在何應欽出城打獵時，宣布調(diào)何應欽為總司令部參謀長，還讓人告訴何應欽說：“沒有我蔣中正，決不會有何應欽?！?/p>

在何應欽請辭第一路軍總指揮后，蔣介石馬上接受了何應欽的辭呈，將原第一路軍改編為第一集團軍，自己任北伐軍總司令兼第一集團軍總司令，命何應欽“養(yǎng)病”休假兩個月，并說“待我將部隊整理就緒，仍然請你回來統(tǒng)率”，但蔣介石后來也沒有履行諾言。