俄日关系的发展可谓一波三折。从历史上看，仅在20世纪，俄日之间就发生了两次大规模战争：1904年的日俄战争和第二次世界大战。战争遗留的历史问题——领土之争，成为两国交往中挥之不去的阴影。“二战”后，苏日分属不同的敌对阵营，相互隔绝。冷战的终结为俄日两国关系的改善提供了机遇：日本在外交上拥有更大的活动空间和自主性，而独立之后的俄罗斯则迅速接受了西方的制度和价值观。但在经过短暂的接近后，双方都没有达到预定目标：俄罗斯没能获得日本的大规模投资和经济援助；而日本在领土问题上也仅得到俄方的一些许诺，并没有实质进展。当然，一般地说，叶利钦时期的俄日关系，较之苏联时期还是有所推进。以务实色彩登台的普京，极力想把两国关系的重心调整到经贸合作领域，但普京同时也不可能无视俄罗斯国内在领土问题上的民意。总的看来，“领土问题”始终是两国关系正常化难以逾越的鸿沟。长期以来，受其困扰，日俄关系未见突破性进展，以致在第二次世界大战已经结束50多年后的今天，两国仍未签订和平条约，从而实现双边关系完全正常化。
一、敌对状况下的苏日关系
第二次世界大战对俄日关系产生重大影响。战争造成的领土、战俘和渔业问题，长期制约着两国关系的发展，战后的冷战格局又限制了双方妥协的余地。美国对日本的单独占领，以及与日本签订的《日美安全条约》、《日美行政协定》，使日本在外交上基本丧失了自主性。苏联则长期把驻日美军和日本看成是在远东地区对自己的最大威胁。直到冷战结束前，双方大体上处于敌对状态。
（一）“领土问题”：俄日关系难解的结
俄日领土问题源自1945年。当年，美英为了请苏联加入对日作战，同意苏联获得当时日本所占的千岛群岛和库页岛的南半部。第二次世界大战结束后的1945年8月底9月初，苏联据此出兵占领了择捉、国后、色丹和齿舞四岛（即北方四岛），并于次年2月把这四个岛屿编入俄罗斯苏维埃联邦版图，称之为“南千岛群岛”。1946年1月，在驻日盟军最高统帅部对“日本领土包括的地域”和“日本领土除外地域”进行详细定义的命令中，把“千岛列岛（包括择捉岛和国后岛）、齿舞群岛（包括水晶、勇留、秋勇留、志发、多乐岛）、色丹岛”
均列为“日本领土范围之外地域”。可见，当时苏联对该领土的占领实际上是得到美英认同的；而且，至少从战后到1955年，日本也认同了这种事实，因为当时日本出版的不少地图都把北方四岛划为苏联领土。
但随着战后国际形势的迅速变化，美国对苏、日的战略由“联苏反日”转为“扶日反苏”。美国想借助北方领土问题挑起日苏对立，从而把日本拉入反苏阵营，不顾苏联及其他许多国家的反对，遂于1951年9月4日联合50多个国家举行了旧金山和会，并于8日签订了《旧金山和约》。但苏联没有在和约上签字。
旧金山《对日和约》第二条（c）规定：“日本放弃对千岛列岛及日本于1905年9月5日在（俄日）《朴茨茅斯条约》中所获的桦太（即库页岛）之一部分及其邻接各岛的一切权利、权原和请求权。”
就是这条看似很明确的表述，却引发了日后长期的争论，其中关键是如何定义“千岛列岛”？它是否包括北方四岛？苏、美、日三方对此有不同的理解。
苏联对该款的立场是：千岛列岛包括北方四岛；而且，苏联坚持认为，《雅尔塔协定》已经明确解决了南萨哈林岛和千岛群岛的归属问题，这些领土业已无条件和无保留地转交给苏联，日本政府也完全接受了《波茨坦公告》，因此日本在任何情况下都不能再对千岛群岛有所要求。而1951年9月5日，杜勒斯代表美国政府在旧金山和会上发言，指出《旧金山和约》记载的“千岛群岛”这一地理名称不包括齿舞诸岛。美国政府此时的立场显然与前述1946年1月29日驻日盟军最高统帅部的命令不符，美国转而支持日本对“北方四岛”
中的齿舞岛提出主权要求。日本政府对千岛列岛则作了如下解释：第一，从历史和地理看，色丹和齿舞从来就属于日本北海道；第二，色丹和齿舞不属于千岛群岛（即不属于“日本在和约中放弃权力的部分”）；第三，千岛列岛范围应包括北千岛和南千岛。可见，直至旧金山和会，日本政府认定苏联非法占领的日本领土只是齿舞和色丹两岛，而不是现在所说的“北方四岛”。美国的立场则与日本又有不同，在《旧金山和约》时期，美国认为只有齿舞岛属于日本。
20世纪50年代中期，日本国内在政治上要求独立的声音越来越大，1954年上台的鸠山在外交上提出了与苏联复交、加入联合国的任务。鸠山内阁顶着巨大的内外压力，于1955年6月3日在伦敦与苏联正式开始谈判，中心议题就是领土问题。1955年9月，赫鲁晓夫在会见日本国会议员访苏团时表示：“苏联可以考虑在一定条件下把齿舞和色丹移交给日本。”鸠山为实现加入联合国的目标，在领土问题上采取灵活态度，基本上接受了苏方的提案。
1956年的《苏日联合宣言》第九条规定：“日本和苏维埃社会主义共和国联盟同意，两国恢复正常的外交关系后，就缔结和平条约继续谈判。苏维埃社会主义共和国联盟鉴于日本国之希望，并考虑日本国之利益，同意将齿舞群岛及色丹岛移交给日本国。但这些岛屿应在日本与苏维埃社会主义共和国联盟缔结和平条约之后方能实现移交。”尽管1956年底苏日两国均完成了对《苏日联合宣言》的批准手续，但根据《苏日联合宣言》的规定，两岛的“现实移交”有一个前提条件，即必须在苏日缔结和平条约之后。
此外，鸠山开展的“自主外交”实际上还受到了美国的极大限制。在冷战对峙时代，苏日建交、缔结和平条约的进展无疑是对美国阵营的一种分化与打击，美国非常不愿看到苏日和解。就在苏日谈判的次年，即1957年，美国一架飞机被苏联击落。美国为了在外交上反击苏联，刺激日本对苏采取强硬政策，趁机大幅修改了之前对北方领土的立场。同年5月23日，美国国务院对苏联发出抗议备忘录，声明“齿舞、色丹和南千岛都是日本领土”，即由“一岛归日论”转为“四岛归日论”；9月7日，美国国务院对日本政府发出备忘录，表述了这一立场。
美国的立场给苏日关系带来了消极影响。1960年，日美缔结了新的《日美安保条约》，使苏日关系更加复杂化。1月7日，苏联外长葛罗米柯向日本驻苏大使门协递交了备忘录，对移交齿舞岛和色丹岛提出了两个前提条件：（1）“必须从日本领土上撤出所有外国军队”；（2）“苏日缔结和平条约之后”。2月5日，日本政府回函苏联政府，拒绝接受苏联提出的新条件，并表示：“我国不仅对齿舞群岛、色丹岛，而且对日本其他固有领土将一直要求归还。”显然，如果没有美国的默许和支持，日本是不会在领土问题上进一步对苏联提出要求的。
正是在此种背景下，1966年1月19日，日本外相椎名在与葛罗米柯外长会谈时正式提出“国后、择捉是日本固有领土”的主张。日本政府由“两岛主权论”转为“四岛主权论”无疑激怒了苏联，使其立场也因此变得更加强硬了，此后多次表示：苏日之间不存在任何领土问题。这样，半个多世纪过去了，日本对北方领土还是一无所获。
直到1991年4月18日，戈尔巴乔夫和海部首相在东京发表《苏日共同声明》，苏联方面才重新承认领土问题的存在。声明中指出：“将考虑双方对齿舞群岛、色丹岛、国后岛及择捉岛的归属之立场，苏联与日本对包括领土划定、缔结和约在内的各种问题进行了详细而彻底的会谈。”但此后不久，苏联剧变、戈尔巴乔夫下台，使得日本与苏联的纷争延续到了与新俄罗斯的关系之中。
（二）俄日“战争”的继续
即便是在冷战中两大阵营对立时期，一些有远见的日本政治家仍然意识到稳定与莫斯科关系对日本的重大意义。当鸠山1955年当选为自民党总裁后，其最初的外交举措之一，就是试图恢复与苏联的关系，并与之签订和平条约。从稳定远东和分化美日同盟出发，苏联也希望与日本改善关系。
1956年10月，鸠山访问莫斯科，两国签署了《苏日联合宣言》。规定自《宣言》生效之日起，结束两国之间的战争状态，重新建立和平友好的善邻关系；互派大使级外交使节；苏联支持日本加入联合国；苏联释放并遣返仍被拘留在苏联境内的全部日本战俘。此外，宣言中的第九条在提到领土问题时指出，苏联为满足日本的愿望……同意将齿舞群岛和色丹岛移交给日本，但移交只能在缔结苏日和平条约以后进行。与此同时，两国还签署了《苏日贸易议定书》，规定在正式签订和平条约之前，努力发展两国经贸关系，相互给予对方最惠国待遇，对捕鱼船只提供方便条件等。尽管两国关系有所缓和，但由于种种原因，苏日没能在鸠山的这次访问中签署和约。首先是日本政府不愿在没解决领土问题的情况下与苏联签署和约，日本国内的保守派也不接受对领土问题的部分解决；其次是莫斯科不愿意归还所有的岛屿；最后是美国因素。
美方对日本改善与苏联的关系持反对态度。1955年8月，美国国务卿杜勒斯警告日本外相重光：“对苏不能过于让步，如果日本承认国后、择捉两岛属于苏联，美国将依据《对日和约》第26条，永远占有冲绳。”接任鸠山的岸信介任首相期间，苏日之间的关系一直处于较低交往水平，特别是1958年开启的修改《日美安保条约》的东京谈判，引起赫鲁晓夫的强烈不满，进一步恶化了苏日关系。赫鲁晓夫在会见日本参议员时直接指出：“在目前的日美关系下，是不可能从根本上改善苏日两国关系的。”就在1960年1月新《日美安保条约》签署后，苏联在几个月内连发三份对日《备忘录》，抨击日美军事同盟条约。苏联强调，《日美安保条约》对亚太地区构成了严重威胁，为了防止日本扩大外国军队所利用的领土，苏联政府不可能履行关于把齿舞和色丹岛移交给日本的诺言，两岛移交的前提是外国军队撤出日本领土并签订苏日和约。
进入20世纪60年代，以精通经济著称的池田内阁提出了“经济第一主义”
方针，在密切与西方国家关系的同时，注意发展与苏联、中国等社会主义邻邦的经贸往来。这一时期，苏联也开始关注西伯利亚的开发，对日本资金和技术的兴趣很浓。此时有利于苏日接近的另一个因素是，中苏之间矛盾不断升级，使苏日之间有了“共同敌人”。因此，池田时期苏日交往的水平要远胜于岸信介内阁时期。此后的佐藤内阁继续了这一对苏的发展趋势，双方高层往来频繁。
田中上台后，对佐藤时期在与中苏外交中偏重苏方的倾向进行了调整，他强调日本外交的优先方向是实现与中国关系的正常化。1972年9月田中访华，两国发表了中日《联合声明》。苏联对日中接近原本就不舒服，中日《联合声明》中又特别提到“反对任何国家和国家集团在亚太地区谋取霸权”，这直接触动了苏联的神经。苏联认为，中日关系的改善是建立在共同反苏的基础之上的。在意识到有与苏联关系疏远的可能后，田中转而推行对中苏“等距离外交”。当然，田中发展与苏联关系还有其他考虑。
20世纪70年代，由于尼克松主义的提出、美国对中国政策的调整以及美苏“缓和”的实现，使得日美关系进入了不确定期。日本想通过改善与苏联的关系来提升自己的战略地位，并扭转在美、中、日、苏四角关系中的不利地位；而且，日本通产省和商业公司在这一时期有意在萨哈林和伊尔库茨克建立自己的立足点。此时的苏联为了加紧遏制中国，正在积极兜售“亚洲集体安全体系”，而日本是其中的关键一环。为了密切与日本的关系，苏联方面也积极推动与日本关系的改善，有意在开发秋明油田、南库叶岛等方面与日本合作。
1973年，田中实现了对莫斯科的访问，虽然仍没能与苏联签署和约，但是莫斯科在双方的联合声明中承认，“双边和平条约签订的前提是，解决两国之间悬而未决的问题”。这表明苏联在领土问题上的立场开始松动。然而，1975年勃列日涅夫否认苏日之间存在领土问题。此后，日本政府抛出了“政经不可分”的对苏政策作为日本长期对苏（俄）关系的指导方针，直到1992年11月，这一政策才被“扩大均衡”原则所取代。
“政经不可分”的主要内涵是：苏（俄）必须归还四岛，或首先明确日本对四岛的主权，至少应表示承认日方主权的意向，否则有关日、苏（俄）之间订立合约、经济合作、全面交流等都无从谈起。日本此举的战略意图和指导思想是以领土主权问题的解决作为经济合作的先决条件。美国著名国际问题专家拉扬·梅农认为，日本如此强硬的对苏（俄）政策只会使自己陷入困境，因为一旦领土问题无法前进，则整个日（苏）俄关系都将陷入僵局……日本把经济援助与领土问题联系起来可以理解，但不能成功。今天看来，事情的确如此。
1979年对阿富汗的入侵进一步恶化了苏联在日本民众中的形象，加之苏联在远东部署轰炸机，在鄂霍茨克海部署导弹潜艇，以及在北方领土上装备新的米格战机和派驻陆军力量，使日本把苏联看成是自己在远东的一个更加明确和现实的威胁。随着来自苏联方面威胁的不断加大，日本的防务预算水平在20世纪80年代平均提高了6%，日美防务联系也得以加深。在整个80年代，积极鼓吹苏联威胁、在北方领土上煽动民族情绪的政治势力在日本国内取得了很大胜利。