1927年9月底，叶剑英又回到了广州。
此时的广州，到处是一片凄凉景象。自广东“四一五”反革命政变之后，大批共产党员被捕杀，进步组织被破坏，革命形势同全国一样处于低潮。叶剑英忆起几年前热火朝天的大革命盛况和东征北伐中壮烈牺牲的战友，不禁满怀激愤。
到广州后，叶剑英把情况向当时党的负责人黄锦辉作了汇报。
黄锦辉是当时中共广东省委与叶剑英保持单线联系的负责人。他也是黄埔军校毕业生，参加过东征战役。1926年年底周恩来调离广州后，他负责广东省委军委工作。叶剑英到达广州不久，即与他秘密接上了头，向他汇报了教导团随军南下和此次单独来穗的工作情况，以及准备在广州暴动的设想。黄锦辉听完以后，首先肯定了叶的工作，并向他详细介绍了广州的革命形势，传达了中央和广东省委最近一个时期以来的指示和工作部署，其要点是：中央已于九月明确指示要发动广州起义；广东党组织的任务是利用李济深和张发奎两派军阀之间的矛盾，积极作起义的准备；要纠正消极等待叶、贺军配合起义的思想；省委正着手组织总同盟军罢工，扩大工人赤卫队，发动市郊农民暴动，并分化敌军使之一部分能站到工农方面来。在这次谈话中，黄锦辉还交给了叶剑英这样几项任务：（一）要在张发奎的第四军中站住脚跟，掌握敌军动态；（二）加强对教导团控制，掌握好这支暴动的基本武装；（三）利用敌人的矛盾，分化削弱敌人力量，壮大革命力量。最后黄锦辉叮嘱：对张发奎不能抱幻想，要提高警惕，处处小心，不能露出蛛丝马迹。
叶剑英与党组织取得了联系，了解了党组织的意图，更加谨慎行事，在极其复杂险恶的环境中秘密地进行起义的准备工作。
9月底，南昌起义军在国民党军的重兵围攻下，被迫撤出了汕头。10月上旬，周恩来、贺龙、叶挺、张太雷、恽代英、聂荣臻等相继转往香港。这时，叶剑英受党组织委托秘密前往香港，会见了广东省委委员恽代英，交换情况，进一步商讨了广州起义的问题。返回广州后，他把与恽代英交谈的情况向黄锦辉作了汇报。
叶剑英在广州立稳脚跟后，昼夜思虑着如何把他苦心培育的教导团调进广州。张发奎、黄琪翔本来是拒绝教导团来穗的。他们听到许多关于教导团“赤化了”的传言，此时正把教导团看做是“一颗拉了弦的手榴弹”，既想丢出去炸别人，又怕留在手里炸自己。叶剑英看透了他们的心思，几次找他们陈述利害：要想驱逐异己势力，扩大自己实力，非起用这支颇有作战能力的年轻武装不可。并且一再担保，只要使用得当，调度有方，不会发生任何意外。费尽唇舌，张、黄终于被他说通，同意把教导团调入广州。10月中旬，教导团从广东花县新街出发，抵达广州北郊四标营。稍事休整，便获准重新发还武器，并补发了新的灰布军装。
教导团进驻广州后，叶剑英便设法与团内的中共地下党负责人唐维等取得联系。为了避嫌，他先向张发奎辞去教导团团长的职务，同时建议由杨澍松代理团长，李云鹏（中共地下党员）等人接任营长和连长。叶剑英部署停当，即来到教导团视察。这一天，他身着笔挺的军服，佩带短剑，英姿勃勃，出现在全体官兵面前。他首先问候大家，随即庄重地宣布杨澍松等人的任命，接着，讲革命的形势和任务，最后语意双关地说：当前，在我们面前展现着一条曲折的革命道路，希望大家不要低估自己的作用。要用高度的革命精神来接受紧张的训练。要养成服从军纪的良好习惯，为巩固革命策源地广东作出贡献！同学们听了老团长寓意深刻的讲话，对革命斗争的复杂性有了进一步的理解。
叶剑英根据中共广东省委军委的指示，在教导团内加紧部署起义前的准备工作。9、10月间，党组织又发展了一批新党员。全团1300名学员和教官中，有200多名共产党员和革命积极分子，3个营长有2个是共产党员，其他各级干部也大部分是共产党员。叶剑英还与团内党组织负责人一起迅速扩大“工农兵革命同志会”这一进步组织，并指导“同志会”开展小组活动，进行个别谈心，团结和教育广大士兵群众，使全团绝大多数官兵同情革命。通过这个革命组织，党的指导精神和“老团长”对起义准备的具体要求，得以在全团贯彻实施。由于党的领导加强，“孙文主义学会”的影响受到削弱，广州起义的武装准备工作有了迅速的进展。
按照中共广东省委和“老团长”的布置，教导团经常派出一些有战斗经验的学员深入到市区、工厂和工人住宅区，向群众宣传革命道理，指导工人纠察队使用武器。一些女生队的学员也穿起工人服，外出宣传，和女工一起讨论革命大事，受到工友们的欢迎。教导团的革命士兵与广大工人打成一片，阶级觉悟迅速提高。教导团党组织在叶剑英提议下，还以加强训练为名，成立了一个“士兵训练委员会”，根据城市起义的特点，对各个连队各有侧重地进行巷战中的攻击、射击、投弹、爆破、刺杀和夜战训练教育，并对全团的勤务、司号、炊事、饲养、看护等300多人，按时进行军事政治训练。每天，在晨光熹微中，一队队的教导团战士便开始了长跑锻炼。他们向着沙河方向，一直跑到黄花岗。在巍然肃穆的七十二烈士墓碑前，列队集合，高唱革命歌曲，抒发战斗激情。教导团战斗力日益增强，政治影响日益扩大。
正当教导团厉兵秣马、待机而动之际，粤系张发奎与桂系李济深、黄绍竑争夺广东地盘的斗争愈演愈烈。
自从南昌起义军在潮汕失败之后，黄绍竑得胜回归广州，代任第八路军总指挥。李济深自恃实力壮大，遂成立临时军事委员会，自任军委主席，并企图取消第二方面军的番号，直接指挥第四军。张发奎也不示弱，表面上声称要出洋，暗地里却召集军官会议签名倒李。这时，遭到国民党政府排斥的汪精卫，想利用张发奎的实力，赶走李济深，插足广州。而被桂系军阀李宗仁、白崇禧以及唐生智排挤暂时下野的蒋介石，也施展其两面派手法，拉张反李，妄图坐收渔利。汪精卫迫不及待地跑到广州，到处发表演讲，宣扬他的“护党运动”和“在夹攻中奋斗”的陈词滥调，遭到广州工人群众的怒骂和讥讽。
叶剑英为了麻痹敌人，掩护自己，陪同张发奎、黄琪翔等举行所谓“迎汪”大会。通过与汪、张的多次接触，进一步摸清了汪精卫的真实意图和汪、张之间的微妙关系。当时，汪精卫正与张发奎密谋，要将李济深调开，并乘机解除其部队的武装。叶剑英认为，两霸相争，必有一败，张、李矛盾，大可利用。于是等张发奎找他商量倒李之策时，他完全支持张的主张。不久，汪精卫以解决党内纠纷、出席国民党第四次中央执监委全体会议为名，于11月16日骗李乘军舰同赴香港并转道去上海。随后，黄琪翔即以“护党”名义发动了倒李的事变。一场争夺广东政权的军阀战争终于开场。
“事变”前夕，黄琪翔与叶剑英商量，决定以第四军教导团为主力，进行逐桂之战。17日凌晨，叶剑英向教导团下达了战斗命令。全团官兵按照预定部署，一举攻克了黄绍竑的第八路军总指挥部，接着占领黄埔军校、虎门要塞等地，夺取了兵工厂，捣毁了国民党广州政治分会清党委员会等据点。桂系部队节节败退，很快被逐出广州。黄绍竑早已预感到这场角逐的败局，非常痛恨背后出谋划策的叶剑英，曾两次派人暗杀他，均未得逞。这次“政变”本来要捉获黄绍竑，因他化装出走，没有找到。后来，黄从香港逃到广西去了。
在这场驱逐桂系军阀的战斗中，教导团不但为“四一五”反革命政变中死难的烈士们报了仇、雪了恨，增强了战斗意志和信心，还攻占了迫击炮制造厂，缴获了大批武装弹药，进一步武装了自己，并秘密地装备了部分工人赤卫队。从而分化和削弱了反革命力量，为起义积蓄了力量，锻炼了队伍。
张发奎、黄琪翔通过这场被南京政府称为“急煞人的广东事变”，夺得广州政权后，马上在东校场召开所谓“护党”祝捷大会。张、黄首先得意地发表演说，但未引起多大反响。随后，叶剑英登台发表支持工人革命斗争的讲话，受到了与会群众的热烈拥护。会场上成千上万的工人群众高举红旗，高呼“打倒新军阀！”“士兵弟兄们站到工人方面来！”等口号。他们还当场散发革命传单。教导团和一些同情革命的士兵被深深感染，公开表示支持工人的革命行动。
“护党”祝捷大会上显示出来的工人和士兵的革命情绪，使张发奎大为惊恐。他进一步撕下“左”的假面具，采取了加紧镇压工人运动的步骤。同时，他对教导团越来越不放心。为了控制教导团，他将自己的表弟朱勉芳派往团里当参谋长，又安插一批亲信到教导团，严密监视革命师生的活动。但是，由于教导团的中共组织基础雄厚，叶剑英的影响较深，实际的领导权仍然掌握在“老团长”的手里。
就在张发奎把注意力转向对付日益高涨的工人运动的时候，他们的对手李济深、黄绍竑却在暗中调兵遣将，组成东西两路军，准备打回广州。其东路军指挥为陈铭枢，辖第十一军约两个师的兵力，从汕头向惠州方向进击。西路军指挥为黄绍竑，辖桂军第十五军、徐景唐的第十三师等约4个师的兵力，集结于广西梧州等地，企图配合东路军夹击广州。
面对如此紧迫的形势，张发奎赶紧召集军事会议，商讨对策。会上，有的主张全面出击，有的主张先打东路之敌，有的主张先打西路之敌。各种意见，争执不下。叶剑英在发言中，首先分析了东西两路的敌情：东路陈铭枢由福州进入潮汕，实力较强，比较难打；而西路黄绍竑从广州败退广西，刚刚纠集起残兵败将，队伍虽多，多属杂牌，且立足未稳，比较好打。因此，他主张捏紧拳头，集中兵力打击广西一路来敌，先拿黄绍竑开刀。
张发奎采纳了叶剑英的意见。叶剑英见时机成熟，使出“调虎离山”之计，以参谋长的身份建议速战速决，说：“要打梧州，一定要全力以赴！”
张发奎任命黄琪翔为前敌总指挥，将广州防务交由叶剑英负责。黄琪翔根据叶剑英提出的作战方案，率第四军主力缪培南第十二师、许志锐第二十六师开赴肇庆、梧州一带，进击黄绍竑；派政变后新编的教导第二师黄镇球部增防西江；派薛岳师和李福林军的两个团去江门、四邑，以钳制态势向徐景唐的十三师逼进。其余部队也大都调至广州外围防守。这样，广州城内只剩下教导团和警卫团一个营及其他少数部队。广州一时成了一座“不设防的城市”，这就给革命武装起义造成了极好的时机。
为了不失时机地变军阀战争为革命战争，党加快了起义的步伐。10月至11月上旬，中共广东省委在香港连续召开会议，研究在广州起义的问题。正在香港养病的周恩来抱病参加会议，提出了许多中肯意见。11月17日，就在张、黄发动政变，赶走李、黄的同一天，中共中央常委会议及时作出《广东工作计划决议案》，要求中共广东省委在城市和农村中发动和扩大武装起义，夺取广东全省政权，建立工农兵代表会议的政权。
起义急需加强武装力量。为此黄锦辉特意交代叶剑英想方设法扩充和组建第四军警卫团。当时，新编的警卫团，共有两个营：第一营由第四军军部特务营改编，第二营由原李济深第八路军特务营改编。军官成份复杂，只有少数中共地下党员和进步人士。叶剑英受命后，即去面晤张发奎，向他提出广州城防空虚，亟待扩编警卫团。这时，张发奎正为工人闹事，驻守广州兵力薄弱，无力维持秩序而伤脑筋，于是听从了叶剑英的建议。叶剑英顺势推荐了中共地下党员梁秉枢担任警卫团团长。
团长问题解决了，其他的事，张发奎交给叶剑英全权办理。叶剑英想方设法安排了张诗教、陶剑寒（即陶铸）、蔡申熙等一批共产党员担任警卫团内的主要领导职务，并将300多名曾参加省港大罢工的工人招进该团，编成第三营，由共产党员施恕之任营长。各连的排长和班长也大都由教导团调来的进步学员担任。叶剑英将警卫团的组建情况及时报告中共广东省委军委，得到了批准。
叶剑英根据党的指示，在广州起义前，拟订了初步的起义行动计划。他不仅秘密地准备了教导团、警卫团两支武装力量，还与其他国民党军中有革命倾向的老熟人李明和李洁之等保持联系，以便到时让他们策应起义。当时，驻扎在石龙的七十五团团长李明是叶剑英信得过的老部下，对共产党有好感。起义前几天，叶剑英要他在广州的堂弟李新俊（少校军官）特意到石龙告诉李明作应急的战斗准备，并约定了行动方向及联络暗号。叶剑英的机智果敢和周密策划，使敌人无法预料，连连中计。当时国民党广东省政府要员陈公博后来知道实情，叫苦不迭地说：“军队有了异动分子已经很可虑，而高级将领就是共产党，尤其无法预防……原来我们的参谋长兼教导团长就是共产党，警卫团的团长梁先生也是共产党！”
但是，这个汪精卫在广州的代理人知道的并不完全，当时中国共产党除了掌握这两个团之外，还组织了3000余人的工作赤卫队和其他武装力量。
面对如火如荼的革命形势，张发奎使出了反革命两手：一方面指使公安局长朱晖日加紧镇压工人运动；另一方面，多次表示要与共产党谈判，协商所谓“共同保卫广州，不让桂系卷土重来”的问题。
当时，共产国际派来中国南方指导武装斗争的诺伊曼（德国人），对张发奎的本质认识不清，认为张发奎与李济深的矛盾是小资产阶级与地主阶级的冲突，发动广州起义，就会帮助地主阶级，主张与张、黄举行谈判。党内也有人同意他的观点，遭到叶剑英、周文雍等主张起义的同志的坚决反对。
11月20日，中共广东省委书记张太雷从上海来到省委所在地香港，否定了与张发奎谈判的意见，并向中央做了报告。26日，他到达广州，当晚召开省委会议，根据中央的训令，决定在广州举行暴动，并组成了以张太雷为书记的革命军事委员会。
起义的步伐大大加快了。
11月28日，中共广东省委秘密散发了号召举行暴动的宣言。工农群众进一步行动起来。
张太雷多次召集教导团党员骨干唐维、王侃予、李云鹏等人举行秘密会议，具体商议起义的部署问题。事后，他们将会议内容转告叶剑英，听取他的意见。
12月4日，张太雷代表省委于黄花岗召集教导团和黄埔军校特务营等单位的200多名党团员积极分子开会，动员大家做好暴动准备。
12月7日，张太雷秘密主持召开了工农兵代表大会，正式决定12日起义。在这次大会上，张太雷发表演说，高度评价了教导团和警卫团这两支武装力量，他说：“苏联十月革命，首先有列宁格勒的两团士兵同情工人，后来影响了帝俄在前方作战的部队，终于取得革命成功。今天我们起义，也有两团士兵同情我们，如果打响之后，能够影响军阀们在梧州混战的部队，我们也有可能完成革命任务……”
不料，共产党秘密准备暴动走漏了风声，教导团内也有反动分子告密。汪精卫得知后，连夜派其妻子陈璧君从上海回广州，面告张发奎要立即镇压暴动。12月9日，汪精卫连发三电给他在广州的代理人陈公博以及张发奎、朱晖日，要他们火速解散教导团，查封工人赤卫队总部，“认真清肃共党”，并严厉指出：“所部凡有纵容共党者，立即严加惩办，决勿稍存宽恕”，“如苏俄领事有包庇情事，应即勒令出境”。
就在这时，中共设在小北直街的大安米店的武装转运站被敌人侦破，更增加了敌人镇压起义的决心。
本来，教导团参与广州暴动一事，张发奎已有耳闻，并准备加以镇压，只因没有抓到可靠的把柄，加上叶剑英在旁多次劝阻，极力保护，张才未及下手。此事中共东江特委在事后给省委的报告中曾经提到：“这次广州的暴动，完全是以军官教导团做主力的。在我们未暴动以前，反动派对于军官教导团有一种风气，就是说军官教导团自官长以至兵士通通都赤化了，亟（就）要暴动了。所以张发奎、黄琪翔、朱晖日等的第一次军事会议时，朱晖日就主张要向他们大施屠杀。时叶剑英同志极力担保，黄琪翔亦表示不赞成此种主张（黄已向我们妥协），故他们第一次欲向我们屠杀的主张已经没有实现。”
叶剑英不但担保教导团，还利用其特殊身份营救被捕的地下党员（包括省军委秘书麻植）和革命分子。随着时间的推移，张发奎看到共产党准备暴动的迹象愈来愈多，感到危险似乎正一天天临近，于是召开第二次军事会议，作出了屠杀全广州的革命分子的决议，并于12月10日密调黄琪翔所部从西江前线赶回广州，策划以武力进行镇压。
在此千钧一发之际，叶剑英挺身而出，面见张发奎：“总指挥，根据我的侦察，所谓共产党暴动的情报并不可靠！”他分析形势说，共产党发动南昌起义业已失败，贺龙、叶挺败走汕头，绝对没有力量在广州暴动，不可轻信谣言。但是，张发奎的口袋里正揣着几封汪精卫发来的电报，内心还是疑多信少。叶剑英又向他说明自己是教导团的老团长，更了解教导团的所作所为，并一再担保：“共产党暴动不成，即使暴动了，光凭警卫团也对付得了。”
这样，他一方面稳住敌人，另一方面，将所获敌人有关镇压起义的部署，随时报告党组织，暗地里通知教导团作好准备，警惕敌人袭击。起义前夕，叶剑英还特意到教导团，向全体师生严正指出：“很遗憾，张总指挥听到坏人告密，诬指我们教导团要举行武装暴动，并且准备从外面调动队伍来缴你们的枪，为此，我已向总指挥当面辟谣，大家可以放心操练，不要听信坏人的谣言！”他联系国内形势，告诉大家：“国民党内部斗争十分激烈。新旧军阀仍在津浦路混战，叶、贺队伍退到海陆丰，还要‘聚众闹事’”……
为了麻痹敌人，教导团不动声色，按时作息，一切照常。只有少数党员在夜幕的掩护下，悄悄地进行着起义的准备工作。广州起义迫在眉睫。12月8日，中共广东省委在《关于暴动工作的准备情形给中央的报告》中特意提出：“我们指导力量薄弱，希望恩来兄能即来。”但周恩来因工作离不开，未能来粤。
革命军事委员会根据叶剑英和其他方面提供的情报，决定于11日提前起义。中共广东省委派叶挺前来广州担任军事总指挥。他12月10日从香港仓促起程，当晚到达广州，立即投入了紧张的起义前的战斗部署工作。
10日晚，起义总指挥成员及有关人员举行了秘密会议。参加会议的有叶挺、张太雷、周文雍、黄平、聂荣臻、杨殷和徐光英；还有新任命的教导团团长李云鹏和各营营长叶锒、赵希杰、饶寿柏，警卫团团长梁秉枢，以及工人赤卫队、市郊农军的领导骨干多人。会议确定了起义的时间和各路起义队伍的战斗任务、行动路线、联络信号等等，同时要求大家严守纪律，听从指挥，坚决完成任务。
午夜，在教导团的营房里，几名革命战士按照计划悄悄摸进参谋长朱勉芳的卧室，将其处决。与此同时，各连的反动分子也被一网打尽。紧接着，全团革命师生臂带红布条，鸦雀无声地集合在操场上。起义领导人张太雷、叶挺、恽代英等到达操场，简短地进行了战斗动员。
“夜半枪声连角起，广州工农兵起义。”
11日凌晨3时30分，教导团打响了第一枪。震惊中外的广州起义开始了！
英勇的教导团全体革命官兵，高举带有镰刀斧头的大红旗，分三路出发，投入了市内的战斗。随后，梁秉枢等率领的警卫团、王侃予等率领的黄埔军校特务营，以及市内各地的工人赤卫队，犹如万箭齐发，向着各个指定目标发起勇猛的攻击。
东路，教导团主力直指沙河，那里驻有张发奎留下的一个步兵团。经过战斗，步兵团被打垮，600余人被俘。接着，教导团主力又消灭了驻燕塘的炮兵团，尔后，回师市区，协助工人赤卫队攻占了反动堡垒公安局。
中路，教导团一部和工人赤卫队攻占了省政府及其以北的制高点观音山。
南路，警卫团第三营及工人赤卫队一部向第四军军部等地发起进攻，遇到顽强抵抗，未能攻克。
起义的枪声迎来了羊城的黎明。
城内的敌军猝不及防，溃不成军。可笑的是，张发奎和陈公博在梦中被枪声惊醒，还打电话找叶剑英，命令他派兵镇压。及至得到教导团、警卫团相继“叛变”的消息，连衣服、鞋子都顾不得穿，狼狈逃窜到珠江南岸，找第五军军长李福林“保驾”！
12月11日上午，广州市苏维埃政府和临时工农红军总指挥部在公安局宣告成立。苏兆征任苏维埃政府主席（未到职），叶挺任工农红军总指挥，叶剑英任副总指挥，后被补选为中共广东省军委委员。
“夺得政权声势众”。广州城内满街奔走着“红带友”。总指挥部门前，工人们排着队领取武器。在总指挥部里，叶剑英协助总指挥叶挺紧张地指挥着各支起义队伍向纵深推进，扩大战果。到11日中午，起义军占领了无线电局、邮政局、各区警察署，以及其他国民党的党政机关，控制了广州市的大部地区，但第四军军部等据点的敌人仍在负隅顽抗。叶剑英离开总指挥部，冲到第一线指挥战斗。他先到维新路，指挥教导团士兵布防，又到文德路城隍庙门口，教不熟练的炮手架炮，亲自指挥炮兵向敌人射击。
敌人不甘心失败。他们在英、美、日、法等帝国主义支持下，加紧勾结，调兵遣将。陈公博、张发奎、黄琪翔等逃到珠江南岸以后，匆匆忙忙登上一艘军舰，到肇庆和江门等地调遣部队，大肆反扑，逐渐对广州形成合围之势，妄图把新生的革命政权一举扼杀在摇篮中。
叶剑英利用战斗间隙，返回总指挥部，同叶挺等冷静地分析了敌情，然后找到军事顾问诺伊曼和斯库托夫，提议迅速抽调兵力迎击来自北面的许志锐部和来自西南的李汉魂部敌军，还提出将起义队伍迅速转入农村的建议，但均未被采纳。叶剑英眼看第四军军部据点久攻不下，又得到警卫团第二连叛变的消息，心急如焚。他命令教导团炮兵连连长田时彦到指挥部，当面交代两项任务：第一，迅速率部队前往观音山解决叛变的警卫团第二连；第二，解决叛军后，即在山上架炮，居高临下，炮击第四军军部。田时彦率炮兵连到达阵地后，架好山炮，即派人与叛变的二连连长谈判。对方看到全市大部地区已被起义军占领，便无可奈何地带领全连交枪归顺。接着，炮兵连将炮拉上山顶，炮口对准长堤方向，由炮兵指挥官杨达夫（朝鲜籍）亲自操炮，朝着第四军军部驻地肇庆会馆连连开炮。目标被击中，顿时浓烟四起，守敌乱了阵脚。
这时，停泊在珠江上的几艘英国军舰，对准天字码头一带的起义军阵地猛烈轰击。防守这一地带的工人赤卫队和警卫团士兵急报指挥部。叶挺、叶剑英立即下令教导团的炮兵连狠狠还击。敌舰连中数弹，见势不妙，急速向白鹅潭方向退去。但是，敌舰仅退至起义军炮火射程之外，又继续向岸上射击。反动军队也向市区步步进逼。
在这种紧迫的形势下，起义军总指挥部召集紧急会议，分析形势，讨论下一步行动方案。会上，叶挺、叶剑英、聂荣臻等认为起义虽然成功了，但敌众我寡，孤立无援，不宜坚守广州，建议将革命队伍拉出去，转向农村，与农军汇合。但是，诺伊曼等人激烈反对这种意见，并大声训斥叶挺等“动摇”，想当“土匪”。诺伊曼主张“进攻，进攻，再进攻”。经过反复争论，最后决定以教导团为基础，迅速扩建军队，把工人赤卫队和教导团编成三个师；打通与海陆丰的联络道路，组织农民队伍前来增援，打击敌人援兵；对尚未攻下的残余据点，采取军事打击与政治攻势相结合的办法，迅速予以解决等等。可惜，由于敌人来势凶猛，这些决定和措施，没有来得及贯彻实施。
12月12日晨，各国驻粤领事举行联席会议，决定派陆战队登岸，驻守沙面。原来欲图保存实力、按兵不动的李福林部，向江北市区发起进攻。起义军在叶挺、叶剑英、聂荣臻、杨殷等分头指挥下，在长堤一带四次击退了强行渡江的敌军。战斗中，叶剑英冒着枪林弹雨，拿着驳壳枪，在长堤第一线巡视布防，指挥战斗，还利用战斗空隙去探视伤员，巡查俘虏。
12日中午，敌军攻占了广州制高点观音山的一些山头，有小股敌兵冲下山向吉祥路前进，使苏维埃政府所在地受到威胁。叶挺和叶剑英命令教导团团长李云鹏带领队伍夺回了被敌军占领的一部分观音山阵地。不久敌人后续部队上来，又重新向观音山阵地反扑，观音山再度告急！这时，叶剑英立即派红军指挥部副官陈赓，率领部队前去增援。适逢徐向前率工人赤卫队亦奉命去增援，起义军经过猛烈冲杀，粉碎了敌人多次反扑，守住了观音山阵地。
陈赓在起义后的报告中写道：“当时负指挥之责者叶挺为红军总指挥，叶剑英为副总指挥……12日午12时，李福林军约一团由观音山来攻我军，赓奉叶剑英命率队前往观音山与敌抗战。赓亲督队与敌奋战，约数小时将敌纷纷击溃，并缴得军械甚多。”
敌军又一批援兵到来，向观音山阵地发起了新的反扑。
12日午后4时，教导团第三营第十连连长邱维达奉命来到总指挥部。叶剑英指着广州市地图问邱：“你知道观音山这个据点的重要性吗？”
邱维达回答说：“这是控制全城的制高点，决不能丢失。”
叶剑英当即命令：“你火速带全连跑步前往观音山，支持陈赓部的战斗，坚持守住观音山！”
观音山虽然一时守住了，但从其他方向进攻的敌人又猛压过来。珠江南岸敌人在帝国主义军舰的掩护下，再次强渡珠江，进犯江北市区。叶剑英即调教导团第一、三营在永汉路布防，迎头痛击来犯之敌。但是由于敌众我寡，起义军兵力不济，部分阵地被敌占领。
这时，刚刚从西瓜园广场返回总指挥部的张太雷，听到一股敌军正向起义总指挥部扑来的报告，急忙乘车赴大北门指挥部队阻击，他走到大北街附近，遭敌伏击，中弹牺牲。叶剑英得知这一不幸消息，不胜悲痛。
形势越来越严重。傍晚，起义总指挥部决定撤出广州，并分头向起义队伍下达了撤退命令。
当时仍在阵地上指挥战斗的叶剑英，未接到这一命令。黄昏后，他几经周折，找到司机罗炳等，要他们开汽车去东江联络彭湃的农军前来广州增援，罗炳等驾车冲出市区后，因在途中病倒，没有达到目的。
对于当晚最后撤离的情景，叶剑英回忆说：“那天晚间，当我从长堤巡视回来到苏维埃政府所在地时，一个人影都没有了。我上楼一看，财务部长的办公桌上放满了五十元、一百元的票子。我看了一下，又到楼上、楼下都找了一遍，见不到一个人。我当时没有想到把那些钱拿起来，将来交给党，白白丢在那里了。”
这一天夜里，起义军主力从市区撤出，在黄花岗集中后，经太和圩向花县撤退。敌军以比起义军多十数倍的兵力向广州围攻。13日上午，来不及撤退的部分起义队伍和工人赤卫队，坚守街垒，与敌人展开肉搏战。由于敌我力量悬殊，敌军陆续抢占了市内主要据点。13日下午，广州全城被敌军占领。被喻为“广州巴黎公社”的这次起义失败了。