1918年5月4日，国会非常会议开会，出席议员80余人，由汤漪提出《修正军政府组织法案》，赞成改组军政府者40余人，超过4票通过。孙中山当日命居正将大元帅辞职咨文送交国会，并通电辞职。
通电悲愤地说：民国六年八月三十一日公布《军政府组织大纲》，文不才，被举为大元帅。虽自知弗能胜此重任，然国家多难，匹夫有责，文忝在手造民国之列，不能视大法之沦亡而不救，用是不避险艰，不辞劳瘁，以为护法讨逆倡，使吾国及友邦之人咸晓然于军政府之职志。
他又说：顾吾国之大患，莫大于武人之争雄，南与北如一丘之貉，虽号称护法之省，亦莫肯俯首法律及民意之下。故军政府虽成立，而被举之人多不就职，即对于非常会议，犹莫肯明示其尊重之意。内既不能谋各省统一，外何以得友邦之承认。文已力竭声嘶，而莫由取信。“知我者谓我心忧，不知我者谓我何求”，斯之谓矣。然个人之去就其义小，国家之存亡其义大，文之所以忍辱负重以迄于今者，良以责任无人，非得已也。文本匹夫，无拳无勇。兹仍愿以匹夫有责之身，立于个人地位，以尽其扶助民国之天职。谨略述颠末，向国会非常会议辞大元帅之职。
7日，留沪国会议员林森、田桐等27人，通电要求挽留大元帅孙中山，“不许其辞职”，并要求延期改组军政府。但留粤国会非常会议于18日通过军政府组织法12条，其名称仍用军政府，变大元帅制为政务总裁制，向主席总裁则由政务会议选出。20日下午，国会非常会议举行总裁选举会，出席议员120余人，选举结果，孙中山及唐绍仪、伍廷芳、唐继尧、林葆怿、陆荣廷、岑春煊7人当眩随后，陆、唐又推岑春煊为主席总裁。
孙中山虽被选为政务总裁，们已无实际权力。21日，孙中山乘船离开广州，踏上赴上海的旅程。