是年夏，徐立行奉调太岳军区，在陈赓司令员麾下担任参谋，并负责与国民党93军联络。这是他自抗大时结识陈赓后第一次成为陈赓的部下。
当时386旅旅直机关、决死一纵队部和区党委同住一个中心村，徐立行在帮助旅政保卫科工作时，发现该村村长有可疑行为，他机智地假扮国民党93军派来联络的交际科长，引村长上钩，一举破获村长从事特务活动，保卫了太岳军区党政军机关的安全，受到陈赓等首长的表扬。
是年秋，百团大战打响，徐立行随旅政委王新亭在白晋线作战。这是到延安后第一次参加八路军大规模的实战，他不禁回想起当年淞沪抗战时的情景，故血脉贲张，夜以继日完成各种军务工作。
不久，组织上派他去豫西洛阳八路军办事处任秘书主任。
时值皖南事变的前夜，局势极为紧张，洛办奉命与河南省委分开，单独成立一个工作委员会。徐立行是工委委员，其任务是组织战区内受我党影响的武装力量，准备在国内事变或日寇西进时进行游击战争。皖南事变后，洛办为敌特环伺，在险恶的形势下，工委的组织和情报工作仍很活跃。
1941年1月至2月，日军发动豫南战役。党中央指示洛办，敌大举进攻河南，洛阳、南阳可能失守，如豫西沦陷，应同新四军彭雪枫部一起建立豫西山区抗日根据地，并为新四军进入河南作准备。洛办当即派徐立行以彭雪枫代表的名义去南阳一带，通过地下党组织的关系，同地方势力王金声等人联络，为迎接新四军做好准备。
在繁忙的工作中，徐立行始终保持警惕的目光，洛办工作常遭破坏，更让他忧心如焚，他在悄悄寻找原因。很快他发现洛办处长袁晓轩形迹可疑，其人经常背着党组织与国民党上层人物勾勾搭搭，甚至私自会见叛党分子张国焘。为了保护党的组织免遭破坏，他与另一位工委薛滔紧急密谈，决定采取断然措施，一面将一些重要的地方党的关系与洛办的联系切断，一面派人到西安办事处向中央军委发电报。
不久，前总来电，调徐立行回延安汇报。此时，狡猾的袁晓轩已经察觉到徐立行的企图，多方威胁留难，甚至要暗中加害之。处于险境的徐立行置生死于度外，他趁日机轰炸洛阳、全城断电的那天晚上，只身脱离洛办，隐入夜色，向陕西疾进。他怕乘火车会遭拦截，就化装成商人，改坐人力车，找到抗演三队，在这些演员的掩护下搭火车到了潼关，又爬上一列货车，在晚上冲过敌人炮火封锁地段，再越过国民党的检查站，跋涉多日，才千辛万苦到达延安。随即向军委汇报洛办和袁晓轩的问题，并写出详细的书面报告。之后又向中央统战部做了汇报。
再说洛办的袁晓轩发现徐立行失踪了，马上恶人先告状，向八路军野战政治部保卫部长杨奇清发电报，诬告徐立行是内奸，竟罗织了“十大罪状”。
直到1949年，叛徒袁晓轩被逮捕归案，洛办这一徐立行失踪事件才真相大白。应该说，由于袁晓轩的诬陷，徐立行长时间背着黑锅干革命。
十八集团军驻洛办事处自1938年10月建立至1942年2月撤离，历时三年多，是全国坚持时间较长的几个八路军办事处之一。徐立行作为洛办的领导人之一，忠实地执行了党中央的各项指示，开展了卓有成效的统战、情报工作，特别是及时向中央报告混在革命队伍里的叛徒。在执行抗日民族统一战线政策，打退国民党反共军事摩擦方面，做出了自己的积极贡献。
回到延安后，徐立行要求学习，深秋时在文化沟的八路军军政学院学习了一段时间，后又转入军事学院高干队学习，同时兼任第一区队区队长。1942年夏提前结业，调入中共中央统战部工作。其间参加整风运动，在审干中他对党忠诚坦白，经受了“抢救失足者”等“左”倾错误的考验，终于弄清了历史，洗刷了不白。
1945年夏，在中央直属部委劳模竞赛运动中，徐立行当选为模范工作者。
当凉爽的秋风吹到黄土高原的时候，日寇举手投降了。走过艰苦卓绝的八年抗战，34岁的徐立行面带胜利的微笑，奉调晋冀鲁豫野战军第四纵队任参谋处长，他又在老首长陈赓的领导下工作了。
陈赓很关心徐立行的个人生活问题，知道他有过一次失败的恋爱，宽慰道：“好饭不怕晚，一定能找到个可心的爱人！”
四、从战场走向军校
解放战争初期，徐立行又奉调晋冀鲁豫第三纵队参谋处任处长。晋冀鲁豫野战军逐鹿中原，作战频繁紧张，在重要的战役里徐立行都身临前沿侦察敌情和组织火力，成为纵队首长的得力助手。
第二野战军千里跃进大别山后，敌我展开殊死的争夺战。1947年冬成立皖西军区，以坚持我军的战略突破。刘、邓首长把徐立行调任皖西军区副参谋长，主持军区的武装力量、军工生产、后勤医疗等多方面的建设。二野主力北移后，皖西处于敌后，被敌几个军包围。徐立行组织部队以游击战与敌周旋，他特别重视情报与侦察工作。
当时敌军以报话机通话，用粤桂方言作密语，同时也使用密码编组。徐立行亲自研究敌人的通话密语与密码规律，最后破译，从而对敌营以上部队的行动了如指掌。我军只要是配备了电话，就能避开敌人的奔袭和合围。
1949年初，徐立行调任二野特种兵纵队参谋长，这是新组建的部队，他的任务繁重。一是训练干部，二是做好渡江作战的准备。渡江战役打响后，他亲临前线，组织所部勇猛迅速地跨过天堑，直取南京。1949年4月23日南京解放后，他参加了南京军事接管委员会的工作。
5月4日，在二野中原军政大学的基础上，在南京成立二野军政大学，刘伯承司令员任校长兼政委。刘、邓首长任命刘华清为校党委书记和政治部副主任，徐立行为教育长。深知“治军必先治校”的徐立行欣然受命，从此他与军校结下了不解之缘。
二野军大成立后，沪宁杭地区知识青年摩肩接踵，踊跃报名，在短时间内，学员扩大到一万三千余人。刘伯承司令员军务倥偬，不能经常在学校主持工作，他就委托徐立行分管教学与日常行政领导工作。徐立行不负重托，全力以赴，废寝忘食，与刘华清、张衍等校领导团结合作，圆满完成“招兵买马、扩大队伍”后的教学任务，为部队和西南各省输送了大批干部。
7月16日，中央军委下达向西南进军的指示，9月12日，邓小平政委到军大作《过关问题》的报告，他告诉学员：“学习以后，要背上背包到西南去。”校党委组成以徐立行为首的行军指挥班子，根据二野进军西南的整个战略部署，制定了周密的行军计划。从10月中旬开始，二野军大分多个梯队穿越8个省，挺进大西南，成为新中国军校历史一幕可歌可泣的壮举。1950年3月，二野军大全部迁到四川重庆，总校部设在原国民政府主席林森墓的所在地——林园。
4月，二野军大更名西南军大，面对大西南90万国民党起义和投诚的军队，学校的主要任务转为对八百多国民党起义将校高级军官的教育改造任务，对象复杂、斗争尖锐、政策性极强。徐立行与军大其他领导一起，经过一年的艰苦工作，顺利完成这项特殊的任务。
1951年3月，西南军大改为第二高级步兵学校，刘伯承司令员去南京办学，二高步校由“独臂将军”余秋里主持工作，徐立行由教育长晋升副校长。二高步校也由培训知识青年与改造旧军官的短期训练班性质转变为系统培养我军中层军政干部的正规化军事学校，并请苏联派来的顾问帮助办学。
徐立行认为，办好军校的关键是师资水平问题。学校下工夫从全军选拔一些身经百战的优秀指挥员担任教学领导骨干，徐立行还亲自组织选拔了三百余名改造好了的旧军官作军事教员，发挥他们的一技之长。经过一年五个月的努力，二高步校办学业绩突出，为我军培养了一千七百余名优秀的营连级干部，徐立行也积累了丰富的办学经验。
五、辅佐陈赓创办哈军工
1952年3月26日，毛泽东主席批准中央军委聂荣臻代总参谋长、粟裕副总参谋长3月18日呈送的筹建“军事工程（技术）学院”报告。不久，军委内定陈赓负责筹建，以第二高级步兵学校为基础，院址初选哈尔滨。
6月23日，中央授命陈赓创建军事工程学院（史称哈军工），但北京一时还没有办公地点，陈赓的家——灵境胡同10号就成为筹办军事工程学院的第一个指挥部。那天陈赓要通哈尔滨的长途，他一手抓着电话机，一手摇着大蒲扇，大喊大叫：“徐立行吗？我是陈赓呀，你还在哈尔滨吗？”
电话那边是陈赓熟悉的上海腔：“报告陈司令员，我是徐立行啊。”
陈赓说：“你们二高步校的几个头头分分工吧，让张文峰带先遣人员快去哈尔滨，让张衍在重庆督阵，你就跟着我组建筹委会吧，明天就动身来北京！”
陈赓为什么急调徐立行？这是因为他很了解这位“书生干部”。陈赓很欣赏徐立行的内秀，这位戴着眼镜、满身书卷气的干部有学问，能力强，认真执着，是个办学校的好材料。
通过电话的第二天，徐立行带着军务参谋沈清波，风风火火赶到灵境胡同。
多年不见，徐立行见老了，他脱下军帽，露出过早谢顶的宽大前额。陈赓注视了好一阵，等徐立行擦完汗，就凑近小声问道：“听说你结婚了？找了个好看的小媳妇？嗯？”
徐立行脸一红，嘿嘿笑了两声，吞吞吐吐地说：“五○年秋天在重庆，和刘华清一起举行的婚礼。她是二野军大第一期学员，叫王雅琴。”
陈赓乐了：“你这个老处男，快四十岁才讨老婆，听说挺漂亮？干什么工作？”
徐立行说：“在校部当打字员。”
“赶快调过来！我们这正缺打字员呢。”陈赓对坐在一旁的沈清波说，“老弟呀，你记着，明天上街找个打字机行，挑选个合适的打字机，缺那玩意儿咱们没法子办公呀！”
原来，徐立行副校长带着助手肖连山科长等人，持中央军委的介绍信于5月中旬抵达哈尔滨，松江省军事部负责接待，并陪同徐立行一行选择建院地址。先看柞树林，后去沙曼屯，徐立行都认为不合适，最后来到文庙街，这里虽然有哈医大的五六栋小楼，但基本上是一片空旷荒野，离火车站也不算远，徐立行相中了这片有发展前途的地方。
侧面打听一下，哈医大领导不愿意离开文庙街。
徐立行刚汇报到这里，沈清波插话说：“东北卫生部卢副部长已来北京，住在天坛那边。”
陈赓拧着眉头，用大蒲扇点点沈清波：“老弟，你等一会儿要个电话，告诉卢副部长，请他不要走，明天我同他一起到政务院打官司去！”
原来陈赓认识这位卢副部长。既然政务院已把哈医大搬迁新址的指示下达到东北人民政府，卢副部长不会不知道，为什么不做工作？
陈赓的火气开始上升，他喘着粗气，问徐立行：“你们在哈尔滨待了一个多月？干什么待那么长时间？”
徐立行说：“选好校址，又起草报告，送东北人民政府和东北军区，他们让我们等候批复，可等了一个月也没有回话，我去沈阳催过两次，就是迟迟不答复。”
陈赓站起来，踱了几步，又转过身朝着沈清波说：“老弟，再去给我要个长途电话，我要找东北军区贺晋年副司令员讲话。”
沈清波到外屋要通了长途电话，请陈赓来接。
陈赓抓起电话，嗓门挺高：“老贺啊，中央决定，我们军队要办一所技术院校，在你们的地盘内要块地皮就不给呀！再不给要闹出个国际问题啦！苏联专家很快要来看，你跟你们的高主席说，就说是我陈赓讲的！”
电话那头的贺晋年很是客气，陈赓听完电话时，气已消了大半，脸色平和了。
听完徐立行的汇报，陈赓把中央军委有关指示和“三边并举”的办学方针又简要讲了一遍，他要徐立行先做两件事，一是落实筹备处办公地点，二是准备接待苏联顾问。“就这么分工吧，你在北京给我管全面工作，等李懋之来了，让他跟我跑腿，张文峰去哈尔滨打前站，张衍在重庆断后，调工作人员，要越快越好！”
7月底，以奥列霍夫中将为首的苏联专家组一行五人抵达北京，一连几天，徐立行陪同陈赓与苏联专家组一起讨论，建立起互相信任和尊重的关系，虽然军委已经初步选择哈尔滨作为军事工程学院的校址，但陈赓认为必须尊重苏联专家的意见，让他们去各地具体考察一下，再最后确定校址。
8月5日，陈赓和徐立行带领几位工作人员，陪同奥列霍夫专家组先飞往南京和上海，数天后再北飞旅大市，然后经沈阳、长春，一路北上到达哈尔滨。
已先期来哈尔滨作过各项筹备工作的徐立行，详细向陈赓和苏联专家介绍哈尔滨市的各方面情况，老解放区良好的政治基础和群众基础，生机勃勃的工农业生产，特别以哈尔滨工业大学为代表的高水平的工科大学教育体系等等，令苏联专家十分满意。
最根本的一条，哈尔滨距离苏联最近，四周是苏联广阔的远东地区，在安全和保密方面将是最理想的地方。
8月30日，考察组从哈尔滨飞回北京之前，苏联专家和陈赓、徐立行等中方同志充分交换了意见，在陈赓的指示下，徐立行几易其稿，起草了一个具体的建院方案。
奥列霍夫和另三位苏联专家认真听取了徐立行的方案介绍，经过短时间的讨论和个别处的修改，方案获得一致通过。
送走了苏联专家组后，哈军工筹委会于9月1日在地安门恭俭胡同正式成立。陈赓宣布筹委会领导成员：主任委员陈赓，副主任委员徐立行、李懋之、张述祖。