利用河道，行舟驶船，往来运输，远比在陆路上用车装轮载，人拉畜驮，甚至肩挑背负要省时省力，而且劳动效率高，经济效益好。但是，我国的主要江河都是由西向东流。在河道的原始状态下，人们利用舟船在河道运输，不管是顺水下驶还是逆水上行，因受河道两岸的约束，舟船行驶的地域空间总是有限的，只能在同一条河道里上下往返，而不能从这条河道驶入另一条河道中，例如不能从黄河驶入淮河，也不能从淮河驶入长江等。如果要将两条河道运输的货物进行交易，便只能在两河间较为方便或重要的地方，相互通过一段陆路转运才行。陆路转运的艰辛人们早有体会，那么，能不能在两条河流之间人工开凿一条河道，使本来不相连通的两条河沟通起来，这条河里的舟船不就可以通过一段人工开凿的河道而直接驶入另一条河里去了吗？人们的智慧和经验，便转化成了运河。
运河是人们为了使不同的水系、河道或湖泊之间相互沟通起来而着意开凿的人工河道。运河的开凿是人们有目的有计划地对自然水道施行的一种改造，借以建立和加强自然水道之间的联系，弥补了自然水道天成的不足，是人类交通史上值得大书特书的一大进步。例如位处中美洲、连通太平洋与大西洋的巴拿马运河；位处中东、连通地中海（属大西洋）与红海（属印度洋）的苏伊士运河；位处德国北部、连通大西洋北海与波罗的海的基尔运河；位处意大利北部、沟通意大利东西海岸的威尼斯运河，等等，都是世界上著名的运河。但是，这些运河的开凿多是17—18世纪资本主义发展起来的结果，只是近几百年的事儿。据说在西南亚美索不达米亚平原（在今伊拉克境内）上的运河开凿，已有近六千年的历史了。这一点也不奇怪，因为美索不达米亚平原即两河（幼发拉底河与底格里斯河）平原，是世界四大文明古国之一——巴比伦（其余三国是中国、印度、埃及）的所在地。
在我国，运河开凿的历史也相当悠久。西汉大史学家司马迁在《史记·河渠书》中说：“自是之后，荥阳下引河东南为鸿沟，以通宋、郑、陈、蔡、曹、卫，与济、汝、淮、泗会。于楚，西方则通渠汉水、云梦之野，东方则通鸿沟江淮之间。于吴，则通渠三江、五湖。于齐，通菑、济之间。于蜀，蜀守（李）冰凿离碓，辟沫水之害，穿二江成都之中。此渠皆可行舟，有余则用溉浸，百姓享其利。”意思是说，自从大禹治水之后，在中原大地，由荥阳（在今河南郑州西）这地方引黄河水向东南流，为鸿沟，可以通宋（今河南商丘）、郑（今河南新郑）、陈（今河南淮阳）、蔡（今河南上蔡）、曹（今山东定陶）、卫（今河南濮阳、滑县一带）等诸侯国之地，并与济水（在山东西北部，由西南而东北流，大致即今黄河河道）、汝水（在河南西南部，由西北而东南流）、淮水（今淮河）、泗水（在山东西南部，由东而西转而南流）等河流交汇。在楚国，向西则开渠通联汉水、云梦泽，向东也有渠通鸿沟和江淮之间。在吴国，则开渠通三江（指松江、钱塘江、浦阳江）、五湖（当指太湖及附近四湖）。在齐国，开渠沟通菑水（从淄博向东北流的一条河）与济水之间。在蜀国，秦蜀郡太守李冰劈凿离碓（亦作离堆），以避沫水（大渡河）之害，分引岷江水穿过成都之中。上述各地这些渠道都可以行舟驶船，当水多有余时就引以灌溉田地，老百姓也赖以获得其利。
司马迁的说法，可以说是对我国先秦时期运河的高度概括，既对我国早期运河出现的时代、地域、方向、位置、名称等都有所涉及，又对它们与其他河湖间的关系以及功能有明确的交代，因此，是完全可信的。可是，司马迁没有明确地指出我国最早的运河是哪一条。
过去，一说到我国最早开凿的运河，一般都说是吴王夫差在鲁哀公九年（前486）开凿的沟通长江与淮河的邗沟。但是，已故当代著名的历史地理学家、原中国古都学会会长、陕西师范大学教授史念海先生，在20世纪30年代撰著的《中国的运河》一书（修订后于1988年再版）中说：我国最初开凿运河的是楚国，而不是吴国。楚庄王（前613—前591）时，“孙叔敖曾经在云梦泽畔激沮水作云梦大泽之池”。史先生认为，这就是《史记·河渠书》中司马迁所说的“通渠汉水、云梦之野”。到楚灵王（前540—前529）时，“也曾在郢都附近开渠通漕”（按郢都即今湖北江陵）。史先生还说：“司马迁所说的‘通鸿沟江淮之间’，据说这条‘鸿沟’也是楚相孙叔敖所开凿的。”楚昭王（前515—前489）时，伍子胥率吴师伐楚，也曾开凿运河，史先生列举了在湖北境内的“子胥渎”和在江苏境内的“胥溪，俗称胥河”为例。总之，这些运河的开凿都在吴王夫差开凿邗沟之前。至于各条渠道的具体情况，目前知道得很少，有待史学家或历史地理学家进行深入的研究，以明其详。
但是，如上数例早期开凿的运河，都与元、明、清期间的京杭大运河没有多大关系。真正与京杭大运河有直接关系的，还是吴王夫差开凿的邗沟。下面就从邗沟说起，以进一步弄清京杭大运河形成的历史过程。
邗沟又称邗江，是连接长江北岸扬州与淮河岸边淮安的一段运河。《春秋左传正义》卷五十八记载：鲁哀公九年（前486），“秋，吴城邗，沟通江淮。”其下注释说：“于邗江筑城穿沟，东北通射阳湖，西北至末口入淮，通粮道也。今广陵韩江是。”按广陵即今江苏省扬州，韩江就是邗沟，音同字异而已；而末口在今江苏淮安县北。《太平寰宇记》卷一百二十三于江都县下记载：“合渎渠在（江都）县东二里，本吴掘邗沟以通江淮之水路也。昔吴王夫差将伐齐，北霸中国，自广陵城（今扬州）东南筑邗城，城下掘深沟，谓之邗江，亦曰邗沟，自江东北通射阳湖。”吴王夫差于公元前489至公元前485年间，曾大举北伐齐、鲁，为此而开凿邗沟以通漕运。可以说，邗沟是我国最早开凿的用以军事目的的漕运河道。它是京杭大运河全程中开凿得最早的一段。但是，吴王夫差所开凿的邗沟，自今江苏扬州市南引江水北过高邮湖西，折东北入射阳湖，即绕道较远，而且因年岁已久，局部河段难免淤塞，行船不畅。据《资治通鉴·隋纪四》记载：隋炀帝大业元年（605）三月，前后调集河南、淮北诸郡民夫百余万人开凿通济渠，又征发淮南民夫十余万人开邗沟，自山阳至扬子江。所开渠道宽40步（一步五尺），渠旁都修筑御道，栽上柳树。
隋炀帝所开的邗沟，从总体上看，较吴王夫差所开的邗沟位置偏西了点儿，渠道顺直了些。唐朝人李翱在《李文公集·来南录》一文中记载：邗沟这条水道顺流自淮阴（今江苏淮安市）至邵伯（在今扬州市北）有350里，逆流自邵伯至长江90里。
现在，江苏扬州市东北郊还保留一段邗沟的故道，长约五里，宽10—20米不等。20世纪50年代初，曾在该段河岸发现春秋时期的有几何印纹的硬陶残片，并在河床中发现唐代木船桅杆，在岸边发现唐代楠木驳岸，说明这段邗沟在唐代仍有航运价值。