“三起三落，屡经风浪”。大凡政治家都有特强的心理承受力，甚至把“落”作为一种谋略。
1931年11月12日至23日，蒋介石在南京召开了国民党第四次全国代表大会。而此月18日，汪精卫在广州也召开了国民党“四大”。24日，广州大会又分裂成在上海仍由汪精卫主持的“四大”和自28日起胡汉民主持的“四大”。国民党“四大”一分为三，成为中国现代史的史无前例的奇观。也被在井冈山下的毛泽东嘲笑为：宁、沪、粤三个“中央”，四分五裂。
沪、粤方提出了蒋介石必须下野。
蒋介石在中央各部、厅，以及一些省份，安插了他的亲信之后，宣布下野。12月22日，蒋偕夫人回到故乡溪口。
不出三个月，蒋介石再次取得了“以退为进”的胜利。新的头衔是军事委员会委员长兼军事参谋部参谋长，并特派为豫鄂皖“剿共”总司令。依然军权在握。
这次蒋介石离南京，溯江西上，本是去武汉坐镇，围剿中共的豫鄂皖根据地的。6月10日他上庐山，原拟在庐山游览、休息二三日，即下山赴汉。
可是，湘赣闽边区又频频传来紧急战况。方志敏、邵式平的红十军歼灭了国民党第六师的两个团，壮大了赣东北革命根据地。红一方面军在朱德、毛泽东、彭德怀等指挥下迫近崇义、安远、南康等地，令国民党第一军余汉谋部惊恐。
形势如此严重，蒋介石决定在庐山召开赣粤闽三省“围剿”中共的中央根据地的军事会议。会议决定在集中主要力量先“围剿”豫鄂皖苏区的同时，赣粤闽三省将领配合阻止中央苏区转战粤北湘东等地，待后集中更优势的兵力“围剿”。于是，蒋介石拉开了第四次“围剿”中共革命根据地的序幕。
蒋介石又电召“国联”“李顿调查团”中国顾问顾维钧来山。因为“李顿调查团”已由东北回到北京，将赴日本。在此之前，蒋介石必须就对日问题，面旨顾维钧。
1931年9月18日，日本侵华军对中国军队的沈阳北大营发动了突然袭击。此日，蒋介石已乘军舰由南京抵九江，准备发动对红军的第三次“围剿”。他闻讯后立即返回南京。19日，他密电张学良：“沈阳日军行动，可作为地方事件，望力避冲突，以免事态扩大，一切对日交涉，听候中央处理。”由于蒋介石的不抵抗政策，东北三省迅速沦陷。“李顿调查团”是国际联盟派出调查中日冲突的，于1932年3月中旬来华。
6月14日，国民党中央常委、行政院长汪精卫，国民党中央执行委员、国民政府赈灾委员会委员李文范，国民党中央监察委员、国民政府委员李烈钧，国民党中央监察委员、国民政府委员、训练总监李济深，外交部长罗文干，国民党中央监察委员张静江，驻法公使、“李顿调查团”中国顾问顾维钧等，由南京乘飞机抵九江，转乘轿上庐山。国民党中央执行委员、湖北省主席何成浚，第十军军长徐源泉等，也在此日上了庐山，列席会议。
这些人里，张静江这位“长衫佬”是顶着个虚衔来的。他已在1930年12月4日，被免去了浙江省主席之职。
这位鼎力支持蒋的元老，这两年却牢骚满腹。这或许是他“左迁”的原因。张在浙江省主席位上，一日邀来蔡元培、李石曾、吴稚晖诸元老，以及李济深、李宗仁到他的寓所喝茶。
“从前，介石和宋美龄没有结婚之前，我凡向介石有所建议，他莫不静心倾听，且表示考虑采纳。今则态度完全两样了，大约已为宋美龄及其兄妹包围。”张静江坐在轮椅上慨叹：“昨日，他对我忽然大发脾气，十分冲动……”他又说：“介石每拿共产党吓人，很是奇怪。”张静江任广州国民党中央主席时，是极力支持蒋反共的。今日却出此言。
吴稚晖一口无锡土腔，喷着口沫道：“说句粗话，蒋是个流氓痞子出身，今已黄袍加身，一跃为国府主席，自然目空一切。和昔日流浪上海，为静江先生送信跪腿时，自不可同日而语。最好大家信任他，由他放手去干，不必对国事滥作主张。”……吴稚晖曾助蒋反胡汉民十分卖力。
今日，张静江又来庐山，自然是蒋介石作出的恭谦姿态。也可能，他身在庐山，不由得又想起了1927年初春，张静江对他“迁都驱鲍”的死硬支持。
不过，张静江所言蒋宋婚后蒋为宋氏兄妹所包围的情势，已经出现了第一次大裂缝。
蒋介石开此庐山会议，其中一个议题是为“剿共”作支持的财政问题。然而，国民党中央执行委员、全国经济委员会副委员长、财政部长宋子文却没有来山。他于6月4日提出辞职，退居上海。
宋子文辞职的针对性是很明确的，反对蒋介石“攘外必先安内”的政策。起因是“一二·八”事件。
1931年12月8日，日军在上海发动侵略战争。中国十九路军奋起抗战。宋子文将他为保护监税而组织的一支3万人的军队，与十九路军并肩作战。
战火烧到蒋介石的腾龙之地——上海，他曾通电全国，说：“我十九路军将士，既起为忠勇之自卫”，“皆为国家争人格，为民族求生存”，“中正与诸同志久共患难，今身虽在野，独愿与诸将士誓同生死，尽我天职。”
然而，蒋介石再度出山了，却态度大变。2月23日，蒋介石要宋子文转告十九路军，不再援助该军。此事已引起宋子文的内心不满。3月，宋子文很冲动地向一位外国人卡尔·冯·维某德说：“一二·八”日本侵犯上海，使中国——“造成1万2千多人死伤，毁掉的财产价值共达数亿元以上，使上海的巨额贸易停顿达数周之久。国联和那些大国袖手旁观。它们甚至允许日本人把公共租界作为作战基地。”
“中国宁肯转向共产主义和苏维埃主义——如果那会使中国统一的话——而不愿向外国军事统治屈服。如果出现这种情况，你会感到惊讶吗？”“大国舅”居然也被“赤化”，老蒋怎不怒发三千丈？
6月初，蒋介石欲去汉口“剿共”司令部。行前，他要求宋子文增加军费开支，从每月1300万元，增至1800万元。宋子文很恼火，上海战事停止了，军费反而增涨。他反对花费大量人力财力去“围剿”共产党，而应该积极努力准备收复东三省。蒋的要求，还使宋的紧缩财政开支的计划破产，而且必然大量发行新公债，这将遭到由于日本“一二·八”侵略而困难重重的上海银行界的反对。他们记得，宋子文在2月曾作过4年内不再发行新公债的保证。
冲突终于爆发了。6月3日，当蒋介石命令十九路军从上海调往福建时，他和宋子文的争吵到了从来没有过的激烈程度。宋认为蒋是借“剿共”大大削弱这支抗日英雄部队，反对调动该军。
于是，4日，宋子文和十九路军总指挥陈铭枢双双辞职，以示抗议。在11日，汪精卫亲往上海挽留宋子文时，宋再度提出辞职。同日，陈铭枢辞去所兼的交通部长职，同步地表示了对蒋介石的不合作。
汪精卫讨了个没趣上了庐山。他住在他的私人别墅——原牛津路89号，今中五路303号。一层石构，为德国人爱斯沃尔顿1897年所建。1929年，在庐山英租界管理房产的德国人李博德，购得此别墅。1932年春，他将此房售于汪精卫。它的建筑面积约240余平方米。可能汪精卫觉得此别墅小了些，他还在河南路原1168号另置别墅一栋。
蒋介石在中路的“牯岭饭店”召集会议。他说会议的议题是：（一）“剿共”，（二）外交，（三）财政。他宣布了“攘外必先安内”的基本国策。这就是对日本侵略者，继续采取不抵抗主义，倾尽全力“围剿”中共领导的红军和革命根据地。
14日，讨论至深夜，才散会。
在13日上午，汪精卫曾召顾维钧、罗文干、陈铭枢、顾孟余、李文范等来他南京的家议政。顾维钧报告了随“李顿调查团”赴东北调查的经过，还沉痛地叙述了日方警察对他——中国代表监视尤严，百般侮辱，阻拦他和东三省人民接触，东北两千万同胞沦于日寇铁蹄下等实情。鉴于莫斯科多次提出恢复中苏外交关系，他们研究认为，中苏应该复交，还应加强对美、英、意、德、法的联络，以牵制日本。晚上，还讨论了对国联提出的中国国防、在东北驻兵、行政统治、治安、铁道等问题的答复。
14日庐山会议上，先由顾维钧报告。汪精卫等13日在南京的研究意见，得到了蒋介石的赞成。蒋表示，一方面要运用外交方略，对日交涉，一方面准备抵抗。
会议决定，对日外交方略是建立在面对日本侵占东三省的既成事实的基础上，依靠“国联”来“解决东三省之僵局”。向“国联”提出三项办法，内容主要是：（一）不承认“满洲国”，但自愿建立属于中国的东北自治政府；（二）中国委一大员于东北自治政府；（三）概括三月汪精卫在南京会晤“李顿调查团”提出的十项基本原则，与日本谈判新条约。中国将向李顿爵士提出：中国士卒不驻东三省，而由大批警察保护东三省。
关于军事抵抗，会议决定，加强热河省的军事布防，防止日军侵入山海关内。
会议还决定，汪精卫、罗文干、顾维钧在会议结束后，即与财政部长宋子文同赴北平，与“国联”“李顿调查团”会晤，谋求东北问题的“合理”解决；同时，与国民政府委员、军事委员会委员、北平绥靖公署主任与张学良商讨对日方针、部署，提议加强热河的军事力量。
次日，罗文平、顾维钧下山，返南京。
蒋介石在庐山继续召开会议，研究“剿共”问题。与会者讨论了蒋介石等在五月间所拟定的第四次“围剿”计划，将各个局部计划统一起来，制定了“治标治本”同时进行，对红军采取大包围方式的全盘计划。蒋介石、汪精卫等还专门研究了“进剿方略”，归纳为九项：①扩张“人民自卫团”；②筹组“剿赤义勇军”；③统一“民众”武力。这三项，都是如何纠集地方的地主、土匪武装来参加“围剿”红军。“进剿方略”还有；④清理共产党占领区土地；⑤复兴农村；⑥抚绥流亡；⑦整饬地方政治；⑧厉行县长考绩；⑨建设豫鄂皖及赣湘粤边区公路，作两大包围形势。会上还对新近发生的湖北农民武装暴动问题寻求对策。
6月初，蒋介石曾要求军费开支增到1800万元，宋子文提出辞呈，拒不到会，蒋介石便更自由自在地大肆增加军费预算。会议决定，调拨3500万元巨款作“剿共”经费。不到半个月，军费开支猛增将近两倍。
17日，汪精卫带着蒋介石致张学良的亲笔信下了庐山。他当日抵上海，劝宋子文、陈铭枢打消辞职的念头。他必定隐瞒蒋在庐山要拨军费达3500万元之事。不然，宋子文怎么也不肯接受这个超负荷的巨数。宋子文说，蒋介石以前劝我要是我不管理财政，财政大权必为汪精卫所拿去。这话真令汪精卫尴尬十分。宋子文又说，最近江苏省政府出现的事件，幕后策划必定是蒋介石。不然兴风作浪者没有那么大的胆子。汪精卫绕过这些很为敏感的话题，仍是苦口婆心劝宋复职。
蒋介石在庐山为对日外交问题所忧虑。18日，他打电报至南京，召国民党中央监察委员、驻日公使蒋作宾赴庐山或汉口一叙。
江西省政府主席熊式辉参加了这次庐山会议，知决议中有涉及建设赣及邻省公路的事。15日，会毕，他就打电报，召江西省政府建设厅长龚学遂来山。16日在熊式辉的引荐下，龚学遂被蒋接见。龚请示修建赣粤、赣闽、赣湘边区数条公路和经费的解决办法。蒋介石立即嘱侍从室秘书打电报给南京财政部：“速为拨借。”
北京大学文学院院长、且在这年1月12日被国民政府聘为全国财政委员会委员的胡适，对于如此大修公路，很是疑惑，写了篇《再论无为的政治》，抨击此事。
汪精卫主动来给蒋介石帮腔了。他在1934年春致函胡适，耐心解释：“目前筑路，盖从国际及剿匪两理由为尤重大。江西剿匪之得以进步，一由筑路，一由碉堡，先生想有所闻。”“此等情节不能宣之于报纸，而只能以密函达之。”汪还嘱他“严守秘密”。
庐山会议不久，宋子文还是了解了蒋介石大增军费拨款和“剿共”抢修公路需要巨款等事。他在上海喋喋不休地指责庐山会议没有让“全国财政委员会”去监督财政预算，没有防止拨款去打内战。蒋介石设这个机构，本属装饰之举，其37名委员中，26名是军事将领政府官员，是起支配作用的。宋子文寄希望于“财委会”，被天津《益世报》嘲笑：“那岂不是成了他们自己监察自己的了！”