他陷入了两种磨难之间：一方面，他看到资源贫乏的日本不仅要与美国，而且还要和中、英、荷，也许还和苏联同时作战的暗淡前景；另一方面，他要承担作为联合舰队司令长官必须执行的职责的压力。为了取得印尼的石油，向南方作战，必须避免美国太平洋舰队从夏威夷出发打击日本的侧腹，还需要把美国太平洋舰队阻挡在南方水域之外，至少在头几个关键月份中应做到这一点。如何才能办得到呢？自山本登上“长门”号之后，他就在苦苦思索这个问题。
山本认为，依靠海军历来对美作战的正统的战略思想，是不可能完成上述任务的。长期以来，日本海军奉行的是以日俄对马海战为依据的大炮巨舰主义的舰队决战战略，坚持以战列舰为核心的传统作战方式。自从1905年日本海军大将东乡平八郎在日本海大海战中大胜沙俄舰队以来，日本海军就充满着海上争霸思想，并把美国视为其在西太平洋争夺海上霸权的主要敌人。日俄战争以后，日本在1907年制订的《帝国国防方针》和《帝国用兵纲要》就提出了建设“八八舰队”、确定对美采取截击作战的战略方针。所谓截击作战，就是基本原封不动地采用在对马海战中截击歼灭沙俄波罗的海舰队的东乡战略，即以战列舰为主力的联合舰队利用地理条件以逸待劳，伺机同美国海军主力进行决战并加以歼灭。以后虽几经修改，但其基本方针未变。在1936年修订的《帝国用兵纲要》中规定：一旦日美开战，陆海军首先协同攻占菲律宾和关岛，迫使美舰队远渡重洋进至西太平洋实施进攻作战，“我则把前卫线推移到马绍尔群岛一线，使主力舰队在小笠原群岛和马里亚纳群岛一带求笛决战。”
日本的海军将领们把未来事件的进程看成是这样：一支强大的美国舰队向西挺进，长途跋涉远道而来。这时，日本以南洋各群岛为基地，用潜艇和陆基飞机不断削弱美国舰队的力量，待其实力削弱到大体和日本舰队的实力相匹敌或弱于日本舰队时，以战列舰为核心的日本舰队进入有利的战略位置，寻机与之决战；双方都横过空阔的洋面，把各自的舰只排成战斗序列，打出所有的炮弹，当硝烟和火光散去之后，日本的胜利将自然浮现出来，美国的钢铁巨兽将一只跟一只地凄凉地瘸着脚朝家逃窜，或者舰首向上，如同向大海行死亡前的敬礼，然后永远消失。在山本看来，这种战略思想是一厢情愿的，不过是军令部的那些年轻参谋脱离实际的纸上谈兵而已。战争一旦爆发，除侥幸外，谁也不会相信战争会按着这个模式发展下去。山本的好友掘涕吉在战后整理的《五峰录》中总结山本的看法时说：不论是海军大学所进行的沙盘演习，还是军令部所提出的对美作战的战略计划，实际上都是脱离实际的主观臆断，是主观主义的产物。以军令部的作战计划而论，如前所述，概括起来包括这样四点内容：一、日本主动攻下菲律宾；二、迫使或诱惑美国舰队前来救援；三、在马里亚纳群岛一带逐步削弱敌舰队的力量；四、进行舰队决战，一举全歼前来之敌。这纯属用想当然代替现实的概念游戏。是把敌人的行动规范在自己想象之中的脱离实际的主观臆断，不过是一厢情愿而已。既然如此，那么对于保证日本侧翼不受美舰队干扰，同时又要把主力用于南方战役的课题，山本就必须找到有效的答案。
1940年3月，联合舰队举行演习。山本站在当作靶舰的战列舰上观看航空部队在统一指挥下进行白天鱼雷攻击演习。长机率领着成群飞机，越过战舰的密集炮火，向下俯冲，鱼雷从战舰的桅杆掠过，划出一道白光，接连向舰腹冲去。演习用的鱼雷是不会爆炸的，当撞上舰体后，鱼雷即浮上水面冒出白烟，演习完毕后可再收回。山本看到这一情景，心里十分高兴，他情不自禁地向站在身旁的参谋长福留繁少将问道：“参谋长，能不能用飞机攻进夏威夷？”福留中等身材，结实，有着肥厚的胸膛和健壮的肩膀。这位海军大学的优等生，是一名不折不扣的舰炮专家。美作家高尔登·普朗格在他的名着《我们沉睡在黎明》中这样描写他：“他的头脑不像山本那样突然爆出主意，许多主意在他头脑中像植物生长那样慢慢地成熟。”“他支持向南扩张，但他缺乏山本那种先知先觉的睿智、个性和训练。”
此刻，他正疑惑不解地看着山本，像在听天书。
的确，夏威夷距离日本有3000海里之遥，若要击溃夏威夷的美国太平洋舰队，就得牺牲大量的机动舰队，在袭击之前，如被对方巡逻机发现，反有被歼灭的危险。把仅有的航空母舰投入具有赌博性的战争，值得吗？两个月后，5月7日，在东太平洋举行大规模演习的美国太平洋舰队，没有像往年那样演习后返回西海岸，而是接到了就地停泊于珍珠港的命令。美国总统罗斯福想利用太平洋舰队进驻夏威夷对日本施加压力，以遏制日本的南进。
可是，罗斯福自己却没有想到，恰恰是他的这一行动激发了在大洋另一端的山本五十六袭击珍珠港的决心。1940年11月，山本和他的同届同学吉田善吾、岛田繁太郎同时晋升为海军大将。海军军阶达到顶点的山本更加卖命。同月，为响应政府南进的号召，他率联合舰队进行进攻荷属东印度的图上演习。在演习过程中，山本更加明确地认识到，如果对荷属东印度动手，英、美是不会袖手旁观的。他在写给朋友的一封信中说道：我们发动针对荷属东印度群岛的军事行动，有很大可能会导致与美国过早交战，并因为英国和荷兰将和美国站在一边，我们对荷属东印度群岛的军事行动在完成一半之前，将几乎确定无疑地发展成与美国、英国和荷兰作战，因此山本主张，从制定战略方针的角度来看，不管对哪个国家动手，必须从一开始就制定一个对三国作战的切实可行的方案。而在执行这一方案时，日本海军的大部分兵力一旦投入资源丰富的南方地区，其侧腹就暴露给了强大的美国海军。只要美国舰队主力向日本进攻，日本海军届时就不得不匆忙从南方作战中调回决战兵力。如果到了这个地步，日本海军的命运就惨了。
演习结束后，山本迫于这样一种严峻的形势，以一个赌徒特有的心理，终于下决心采取在胸中构思已久的攻击珍珠港的方案：在开战之初，抓住绝妙良机，不惜投下相当大的赌注，断然对夏威夷瓦胡岛的美国太平洋舰队发动突然袭击，并给以沉重打击。山本五十六终于找到了出奇制胜的办法。11月下旬，山本亲至东京向海军大臣及川古志郎谈了自己的这一想法。转年到了1941年，成熟的方案在山本的心中再也隐藏不住了，他想到的不是让这一方案只变成电光一闪的火花，而是付诸实施的炸雷。1月7日，元旦刚过去才几天，山本坐在停泊在广岛湾柱岛的“长门”号上的座舱里，用了整整9页海军格纸。给及川古志郎写了一封《关于战备的意见》的长信。山本在这封信中，第一次正式提出了自己内心酝酿已久的关于夏威夷战役的设想。
山本的意见书在一开头写道：“任何人对紧张的国际形势的发展都无法正确预测，但是，海军，特别是联合舰队，应该以对美、英必战的决心，进入认真备战并制定作战计划的时期，这是毋庸置疑的。”在作战方针上，山本写道：“关于历来作战方针的研究，总是把堂堂正正的以迎击为主的作战方式作为对象。然而从过去多次举行的图上演习的结果来看，采取迎击战法，使用主舰队决战，帝国海军尚未取得一次大胜，而且，每次总因为这样下去会削弱日本海军的实力而不得不中止演习。如果是为了决定战争如何发展，这样做尚称可以，但一旦开战，为了战则必胜，这样的作战断断不可。”
山本在意见书中鉴于对美作战的特殊形势，完全摈弃了在西太平洋迎击美国舰队的进攻，以舰队决战歼灭美国舰队的这一日本海军传统的战略思想，转而主张“开战之初，就猛攻并击沉敌人主力舰队，挫伤美国海军及美国国民的士气，使之达到无可挽救的程度。”山本认为“只有这样，才能确保日本立于不败，维持大东亚共荣圈的建设”。军国主义的疯狂性，使本来对美国的物质力量作出准确判断的山本，却完全错误地估计了美国人民的精神力量，使他犯了一个战略家不应犯的致命错误。山本在信中接着强调，“在战争爆发之际，我们应该竭尽全力，要有决胜败于第一天的决心”。山本具体设想了执行这一方案的几种情况：第一，在敌主力舰大部分泊于珍珠港内时，“以飞机队彻底击溃之，并封锁该港”；第二，在敌主力舰艇泊于珍珠港外的情况下，“按照第一种情况处理”；第三，在敌主力舰艇首先从夏威夷出击并发动进攻的情况下，“派决战部队迎击，并一举歼灭之。”
在兵力的使用上，一、使用第1航空战队（航空母舰“赤城”号、“加贺”号）和第2航空战队（航空母舰“苍龙”号、“飞龙”号）待月夜或黎明，以全部航空兵力对敌人发动强袭，以期全歼。二、一个水雷战队，负责搭救因不能避免敌机反击而沉没的航空母舰上的官兵。三、一个潜水战队，逼近珍珠港，迎击狼狈出动之敌。如可能，于珍珠港入口处断然击沉敌舰，利用敌舰封锁港口。四、补给部队，为补给燃料，以数艘加油船充实该部队。
当然，山本也没有忽视日本的主要目标。“夏威夷作战要和菲律宾、新加坡方面的作战同一天实施。但只要击灭了美主力舰队，菲律宾以南的杂牌部队就会丧失士气，不敢逞能。”
“尽管夏威夷作战损失可能很大，但如果我们对其采取守势，等待敌人来攻，那么敌人就有可能一举袭击我本土，烧毁帝国首都及其他大城市。如果发生这样的事态，国内舆论哗然，我们海军将受到舆论的谴责，国民的士气也将跌落。”他坚信，“虽然此次作战之成功并非容易，但有关将士若能上下一体，坚定以死奉公之决心，可期天佑以获成功。”
最后山本在意见书中提出他个人的请求：“卑职真心希望自身担任攻击珍珠港的航空舰队司令长官，亲自指挥夏威夷作战。”
从１９４１年１月开始，山本五十六全力组织力量论证和制订具体作战方案。他首先把制订基础方案的任务交给了密友，第１１航空队参谋长大西沈次郎少将。
大西是日本航空界的优秀人才，性格和思维与山本极其相似。接到任务后，大西找来第１航空队参谋“王牌战斗机飞行员”源田实中佐，协助他一起制订基础方案。
经过近两个月的苦苦思索计算，３月份拿出第一草案，即：以全部航空母舰尽可能靠近珍珠港，以飞机进行多次反复轰炸，使敌人失去反击能力；轰炸的主要目标是美国航空母舰（山本原计划主要攻击战列舰），以及瓦胡岛上的陆基飞机。这份草案融合了空军、海军将领的创造性思想，山本十分满意。
随后，山本召集第二航空舰队有关人员进行讨论。面对争执不休的两派将领，山本宣布：“诸位，请你们了解，只要我还担任联合舰队司令长官这个职务，这一仗就非打不可。希望你们研究万全之策。”会后，联合舰队设置４个预备研究小组，由首席参谋黑岛龟人主要负责。
４月末，黑岛赴东京军令部解释袭击珍珠港的计划。然而，军令部并不同意山本的作战方案，理由是这一作战计划成功的两个前提条件即保证大型航空母舰远渡重洋而不被发现，以及美国太平洋舰队一定停泊在珍珠港内是靠不住的。在这种情况下发动战争，无疑具有很大的风险。而战争不同于赌博，不能抱有侥幸心理。最后，军令部只答应海军大学的年度图上演习提前到９月，在图上演习中论证黑岛的作战方案。
正当日本海军内部为夏威夷之战争论不休的时候，国际局势又发生了戏剧性变化。１９４１年６月２２日，德国撕碎条约，悍然发兵入侵苏联，苏德战争爆发。
７月２日，天皇召开御前会议，确立了针对英美国家的南进扩张政策。
７月２８日，４万日军在东南亚登陆，不久便占领了西贡和金兰湾。
日本的南下政策直接危害英国和美国的利益，英国宣布废除《日英通商航海条约》，美国下令实行对日禁运，冻结在美国的日本资产，加拿大、新西兰等国也相继采取了报复措施。国际局势的这一系列变化使日美战争成了必然趋势。
９月６日，天皇再次召开御前会议，审议《帝国国策施行要领》。近卫文麿、永野修身、丰田贞次郎、及川古志郎、铃木贞一等相继发言，都对外交谈判不抱希望，主张以战争为主，外交为辅。这时，从未在御前会议上发过言的天皇，突然拿出一张写有明治天皇在日俄战争前夕而作的一首短诗的纸条，并朗读道：“四海本来皆兄弟，缘何世上起风波。”他告诉大家：“我很早以前就拜读过大帝的这首诗，我正奋力以继承先大帝爱好和平之精神。”然后起身退出了会议。实际上，裕仁天皇以日本的“腹艺”方式表明了开战的抉择。
御前会议结束不久，海军大学的图上演习也开始了。夏威夷海战演习结果表明，日军重创了美海军，自己也受到很大损失。基于此，军令部仍然对山本的计划迟疑不决。
山本再也按捺不住了，他大发雷霆，声称作为联合舰队的司令长官，他将对计划负全责，否则宁愿辞职。
消息传到军令部，总长永野修身大将深为感动，当即表示：既然山本长官那样有信心，作为总长，我有责任批准他的要求，实行这一计划。