当时，由于南口战役和淞沪会战的失利，国内一些人产生了悲观情绪，甚至散布“日本所向无敌”的谎言。国民党第二战区司令长官阎锡山看到日本军队向平型关、茹越口内长城疯狂进攻的嚣张势头，心里直打鼓。为了有效地抗击日军，鼓舞信心，中国共产党和八路军的领导人周恩来、朱德、彭德怀先后多次同第二战区的指挥官阎锡山、黄绍疣、卫立煌等人进行会谈，对保卫山西的作战计划和兵力部署问题，提出重要建议，并希望成立战地动员委员会，发动和组织群众抗击日军。
阎锡山是山西省五台县人，1901年入山西武备学堂学习。1904年赴日本，在日本陆军士官学校就读，回国后曾加入在军人中成立的铁血丈夫团，任山西新军标统。辛亥革命爆发不久，阎锡山参加太原新军起义，被推为山西都督。军阀混战，阎锡山以山西为根据地，不断扩展自己的实力，曾任国民革命军陆海空军副总司令兼山西省政府主席，人称山西的“土皇帝”。阎锡山日夜关注日军进攻山西，他认为，要保卫山西腹地，就必须凭借长城一线山地的有利地形，这些地形上的既设阵地，能阻止日本军队的进攻。为此，阎锡山决定调整部署，把第6集团军的3个军和第7集团军的4个军分别部署到平型关、茹越口、雁门关一线，并要求八路军先头部队迅速前进至晋东北地区，协同第6军和第7军的部队坚守长城防线。
日本军队果真所向无敌吗？八路军将如何顶住国民党几十万军队的溃败的压力，给日本军以重击呢？
这些天，林彪和聂荣臻时刻都在关注着战局的变化，都在分析日军的动态。他们看到，日本军队虽然来势凶猛，但官兵骄横，疏于戒备，这是致命的弱点。平型关周围的地形是伏击战的好战场。他们决心，以伏击手段，出其不意地歼灭由灵丘向平型关进犯的日军。
打一个漂亮的伏击战，这是对友军的有力配合。伏击战，是预先把兵力兵器隐蔽地配置在敌必经之路附近，待敌或诱敌进入伏击区域，突然予以打击。伏击战常常能收到出奇制胜的效果，是弱军战胜强军的有效战法。中国古代兵家重视伏击战，八路军将领受中国传统军事思想的熏陶，谋略高超，指挥精湛，伏击胜敌的把握大。
9月14日，第115师的先头部队进抵大营镇，部队顾不上宿营，立即派出侦察分队，开始侦察平型关周围的地形。
为了抓住有利战机，林彪和聂荣臻命令第343旅从大营镇出发，前往平型关东南的上寨地域隐蔽集结；命令第344旅向上寨地域机动。
9月22日，日军第5师团第21旅团的部分兵力开始从灵丘向平型关方向进犯。
9月23日，聂荣臻率领第115师司令部和第344旅插到平型关东南的上寨镇。进寨不久，一群国民党军队的溃兵也拥进村寨，到处抢东西、砸店铺。聂荣臻见状后，叫一名营长出面制止。看到那名营长咬牙切齿的样子，聂荣臻又吩咐说：注意，不可动手，更不可动枪，把他们轰跑就行。正说着，林彪同两位参谋来了。
聂荣臻迎上前去，问：“林彪同志，前面情况怎么样？”
林彪显得很有信心，说：“日军前锋已经逼近东跑池，阎锡山的平型关防线岌岌可危。我在这里转了几天，地形不错，可以打一仗。”
林彪的判断是有根据的。第115师向晋东北抗日前线挺进时，日本第5师团已侵占阳原、蔚县、广灵，并向浑源、灵丘进攻，企图突破平型关、茹越口要隘。9月16日，第5师团、第21旅团以及第21联队主力由广灵西进，占领深源县城。20日，第21旅团以2个大队的兵力南下。占领灵丘县城，向平型关逼近。关东军察哈尔派遣兵团也由大同南下向国民党内长城防线进攻。接着，林彪摊开地图，把平型关周围的地形和自己对第115师的作战设想向聂荣臻作了具体介绍。
平型关，是古长城的一处关隘。关北为恒山余脉，南接五台山，附近山势险峻，峰峦比肩联袂，溪谷浑邃，阴森幽静，一条狭谷山路，东通冀北，西抵雁门，地势极为险要，历来为兵家所必争。平型关口至灵丘县东河南镇长约13公里的地段，崖高数丈，陡峭如削，崖顶平缓，杂草丛生，两侧高地便于隐蔽部署兵力，便于发扬火力与展开突击，是伏击歼敌的好战场。聂荣臻看着地图，说：“这里当然可以打一仗。居高临下伏击敌人，这是很便宜的事。”
林彪说：“战场是一个好战场，现在还难以判定日军是否上钩！”
聂荣臻说：“这是我们八路军同日本侵略军的第一次较量，全国人民都在看着我们，不论怎么说，我们都必须打好，必须打出八路军的威风来。”
一会儿，聂荣臻又说：“适当时候，可以请在太原的恩来同志向阎锡山转达我们的作战行动。”
聂荣臻建议召开全师干部会议，早作临战动员。
动员大会上，林彪首先发表了讲话，他说：“日军进展很快，但骄横，疏于戒备。如果我师能利用平型关东北的有利地形出其不意，伏击歼敌，就可以杀杀日本军队的威风，长八路军的志气，长115师的志气。”
聂荣臻见大家情绪激昂，就简单介绍了日本军队从灵丘西进的情况，特别强调说：“现在国内国外都有一种恐日病，认为日本军队所向无敌，不可战胜，我就不信，我们红军将士过去能突破反动军队的重重围困，今天也一定能打败日本侵略军，这一仗也可以说是政治仗，我们不仅要歼灭日本鬼子，还要打出中国人民抗日的信心。共产党员就是要在这种时候发挥先锋作用。”
会议一结束。八路军第115师主力连夜赶往距平型关15余公里的冉庄、东长城村地域。师首长同时命令独立团和骑兵营向灵丘、涞源方向活动，主要任务是扰乱日本军队的后方，一旦发现日军向平型关增援，立即进行牵制和打击，保障平型关战斗的胜利。
部队宿营时，聂荣臻前往预定战场察看地形。聂荣臻看到，这条由东北向西南伸展的狭窄沟道，地势最险要的是中段，这一地段沟深数十丈不等，沟底只能通过一辆汽车，几乎没有错车的地方。南北沟岸又是比较平坦的山地，便于部队埋伏。聂荣臻看后，心里踏实多了。
9月24日，前方传来断断续续的炮声，敌人渐渐临近了。中午，前沿部队向师部报告，日本军队可能会在翌日大举进攻。这天，林彪、聂荣臻抓紧时间，组织各级指挥员到预定伏击地域进行现地察看。指战员们看到，平型关东北关沟至东河南镇道路两侧的高地，既便于部队隐蔽，又有利于突击，是打伏击战的好战场，当即确定了拦截日军先头、切断日军退路、中间突击分割，共同歼灭来犯日军的部署。具体配置方案是：
第343旅所属第686团占领小寨村至老爷庙以东的高地，主要任务是中间突击；第685团占领老爷庙西南至关沟的高地，主要任务是截击日军的先头部队，协同第686团歼灭伏击圈里的日军，并阻止东跑池方面来援的日军。
第344旅所属第378团占领西沟村、蔡家峪、东河南镇以南的高地，主要任务是切断日军的退路，阻止从灵丘、浑源方面赶来支援的日军；第688团为师预备队。
4个团4支英雄的部队像一张无形的网，任务明确，协同周密，等待日军就范。
傍晚，聂荣臻和林彪收到阎锡山以第二战区第6集团军的名义送给第115师的“平型关出击计划”，这个计划拟定以第71师附新编第2师及独立第8旅1部，配合第115师向平型关以东之日军出击。
聂荣臻和林彪围在一盏马灯旁，摊开军用地图，又研究了一遍作战方案。
深夜，林彪拿起电话，下达了第343旅进入白崖台一线伏击阵地、第344旅随后跟进的命令，要求部队必须在25日拂晓前完成各项战斗准备。
林彪预感到，平型关的伏击战一定能打胜。战场上要抓一批俘虏，把日本俘虏带到太原去游街，扩大影响。
林彪曾对徐海东说：“不能大意，不要轻敌，豆腐要当铁打，要留好预备队，要通过这次战斗摸摸日本鬼子的特点。”
天黑以后，天公不做美，下起了大雨，聂荣臻和林彪随同陈光的第343旅向伏击阵地出发。没有雨衣，又缺少御寒的服装，指战员们任凭秋雨浇洒，沿着崎岖的山沟向前行进。
雨越下越大，似乎要把行军队伍冲断。指战员们把枪和子弹挂在脖子上，手拉着手，结成“缆索”，穿过湍急咆哮的山洪，有的不得不拽着马尾巴，从激流中跟过去。
大雨滂沱，水势越来越凶猛。第344旅闯过了1个团，其他部队被越来越险恶的山洪拦住了，好些急于涉过山洪的战士纷纷被冲倒了，淹没了。见此情形，聂荣臻对林彪说：“山洪越来越大，部队不能再强渡了。这个旅过来的部队就作为预备队吧，把作战任务交给杨得志和李天佑。”
林彪同意了。
一场大雨，把杨得志、李天佑推到了抗战第一大胜仗的最前沿。
8月25日，这是一个晴朗清新的早晨，聂荣臻和林彪率领部队赶到了那条十里多长的沟道通路的东南山地上。战士们经过一夜风雨侵袭，忍受着饥饿和寒冷，趴在冰凉的阵地上，等待着打击侵略者的战斗号角。师指挥所设在沟东南的一个小山头上。这里，举起望远镜就可以纵观全沟。
拂晓，山沟里传来了汽车的马达声。日军第5师团21旅团2个联队的2000人和大批辎重车辆，沿灵丘至平型关的公路西进。前面是100余辆汽车，后面是200多辆大车，车上坐满了戴着钢盔的日本兵，最后还有少数骑兵，行军纵队虽然前后衔接，但由于道路狭窄，雨后泥泞，车辆、人员拥挤堵塞，行动缓慢。
日军进入平型关乔沟，就等于进入了一条“死胡同”。
但是，日本兵根本没有意识到他们所处的不利地形，依旧骄横得意，大摇大摆，如入无人之地，似乎不是在侵略异国的领土，不会遇到抵抗。他们南下以来，也基本上没有遇到抵抗。
不一会儿，日军全部进入伏击圈。第115师首长抓住有利战机，下达了攻击命令。聂荣臻看了看表，7时整。
一声令下，第一场战斗打响了。
顿时，机枪、步枪一齐开火，子弹、手榴弹雨点般地落在敌群中。日军车撞车，人挤人，成了一团乱麻。聂荣臻对林彪说：“我们应该把沟里的敌人分成几段，分段吃掉它。”
杨得志指挥的第685团迎头打击，封闭了日军南窜的道路。战前，战士们早上好了刺刀，枪膛里压满了子弹，焦急地等着日本鬼子出现。团长杨得志那双眼睛紧盯着公路的拐弯处，当日军的头几辆汽车开到山脚下时，杨得志立即命令：“打！”
最前面的汽车遭到八路军指战员暴风雨般的打击，开不动了，起火了。后面的汽车、马车听到枪声，不顾一切地往前冲，企图逃避八路军的打击。然而，八路军指战员早已瞄准了前面这些汽车，一阵猛烈的手榴弹，把车全炸毁了，也把道路堵住了。后面的汽车互相撞击，日军乱成一团。
杨得志高声命令：“全体冲锋！”
日军第21旅团并不是群乌合之众。当鬼子意识到自己已经遭到八路军的伏击以后，纷纷从汽车上跳下来，在路旁选择一处有利位置，进行顽抗。一名指挥官挥舞着指挥刀，命令日军冲上山去，占领制高点。
杨得志见此情形，立即命令身边的通信员：“你到各营传达我的命令，这里的制高点一个也不准鬼子占领。”通信员答应一声，飞快地跑了。
第685团是一支战斗力很强的部队。这个团的1营曾跟随朱德参加过南昌起义，2营曾经跟随毛泽东参加了秋收起义，3营是跟随黄公略将军征战多年的部队，3个营都有辉煌的历史，都有光荣的传统，都特具战斗力。1营营长接到杨得志团长的命令后，立即指挥2个连的指战员向公路旁的两个小山头冲过去，把正从山沟里爬上来的鬼子打下去了。4连用两面夹击的战法把已经登上一处制高点的鬼子逼回沟底，干净利索地消灭掉。
一股日军抢占了一个山包，凭借凶猛的火力顽强固守。八路军指战员数次冲击，都没有攻下山包。这时候，一名连长上前观察，看到远处的小山包上有2个鬼子的人影在晃动，只见一名鬼子手持望远镜，一名鬼子挥舞着指挥刀，连长判断，这两名鬼子可能是指挥官，即扬起套筒枪，“叭！叭！”两枪，两名鬼子应声倒下了。连里的指战员见势，一拥而上，把日军击溃。这名连长就是龙书金，枪法特别好，平时练就了百发百中的硬功夫，红军时期，他是连里的射击标兵，到陕北以后，红军在三原开运动会，龙书金是射击代表。1955年，龙书金被授予少将军衔。
在2营和3营的作战地段上，指战员们同日本鬼子展开了肉搏战，杀声震天。
乔沟那边激战正酣，日军出动了2架飞机来增援，八路军战士机智地与敌人“靠得”更近了，日军飞机受地形限制，想扫射又不敢扫射，想投弹也无法投弹，在平型关上空盘旋了几周，无可奈何地飞回去了。八路军指战员用自己的勇敢精神遏制了敌机的作用。
李天佑指挥的第686团勇猛地冲向公路，与日本鬼子短兵相接。巨大的冲杀声响彻山谷，战士们勇猛地向敌人冲击。