上面分别简要介绍了连通长江与淮河的邗沟，连通淮河与黄河的通济渠，连通黄河与海河的永济渠（御河），连通长江与钱塘江的江南运河，连通天津与通州的北运河（白河），连通通州与中都城的闸河。这样，南起杭州、北到北京的京杭大运河就基本成形了。
因为中国早期的国都多在长安或洛阳，所以这条南北大运河在今安徽、河南省境先从东南斜向西北奔洛阳而去，而后又从洛阳东边折向东北奔幽燕而来，也就是说，在中原大地上向西绕了一个锐角形的大弯儿。但是，自金海陵王贞元元年（1153）迁都燕京、改名中都之后，后来兴起的元、明、清三朝相继定都幽燕之地，元号大都，明、清称北京或京师。金代只拥有中国东部淮河以北的半壁河山，中原的粮食利用通济渠、永济渠（御河）运往中都尚没有路途遥远之嫌。但元、明、清三代就不同了。特别是元朝统一中国并建成大都城后，对江南的米粮和财富的需求急剧增加，大力发展漕运以供京都与国家的需要，是刻不容缓的国家大政。元初曾试行过海运，但因海运路途遥远，风浪险恶，还是不如河运安全，能有保障。
《元史·河渠志·御河》记载：至元三年（1266）七月六日，都水监建言：运河二千余里，漕运公私货物，于国于民为利甚大。自从兵兴以来，未得修治，清州（今河北青县）之南，景州（今河北景县）以北，坍塌的堤岸30多处，河道淤塞有15里。癸巳年（元太宗五年，1233），朝廷征调民夫4000人，修筑塌堤，疏浚淤河，就又重新行驶漕船。到今天又过去30多年了，但没有官员主管这个事。
另有史籍记载：当伯颜率领蒙古军攻陷南宋都城临安（杭州）的时候，亲眼见到江南美好的风物民俗，所以在至元十三年（1276）五月，他押送南宋恭宗皇帝赵到元上都（开平）去见元世祖时，当面对元世祖说：江南城郭郊野，街市与市场连属，都有河渠相通，凡是货物都用舟船运载，比用车载车拉，运的货多而且省力。现在南北统一，应该开凿河渠，让四海之水相通，远方向京师朝贡的，都通过河道到达，这真是国家永久的好处。
由此可见，当时的人们是重视运河漕运的。但发展运河漕运的关键是改造已有的运河，开凿某些地段的新运河，并对旧有的运河河道加以疏浚整修。于是，元代新开凿了济州河、会通河。又在金代闸河的基础上，新辟水源，增建水闸，改造河道，变成新的通惠河。
《元史·河渠志》记载：“济州河者，新开以通漕运也。”《元史·世祖纪》也记载：至元十三年（1276）正月，“穿济州漕渠”。所谓济州河（漕渠），是指南与徐州黄河相接，北与大清河（古济水，今山东境内黄河河道）相通（连接点在安山），中间流经济州的一条河渠。济州就是今山东西南部的济宁市。在济州南北有微山湖、昭阳湖、南阳湖、独山湖、蜀山湖、安山湖等一系列自然形成的湖泊。此外，发源于鲁中丘陵西南部的汶水（大汶河、小汶河）、泗水（河）、洸河、小沂河等由东向西、转而向北或向南流经鲁西平原东部，成为济州河（漕渠）的主要水源。看来，元初开凿的济州漕渠就利用了已有的这些河湖的有利条件。
至元二十年（1283）八月，新开凿的济州河竣工，遂于济州设立漕运司。二十二年（1285）二月，增加济州漕舟3000艘，为此征用船夫12000人，平均每只船上有4人。这些人都按军队编制，称为运军，属漕运司管理。
起初，每年从江淮地区向大都漕运米粮数以百万石，其中，由海道运10万石，由胶莱河运60万石，由济州河运30万石。因为济州河水浅舟大，常常不能顺利通达。而且装载百石的船，每船用四人，所以用的运军人数增加很多，《元史》中“增济州漕运司军万二千人”的记载就是明证。
至元二十五年（1288）二月，“改济州漕运司为都漕运司”，主管济州南、北的漕运事务。济州漕运司升格为都漕运司，反映了济州河（漕渠）的重要。当每年有数十万石的漕粮通过济州渠向北运到大清河南岸的东阿县的时候，有一部分漕船由大清河顺流而下，东北至山东利津河口处，转入渤海海道至直沽（天津），再转河运至通州和大都。所以，元代曾在山东利津（在今山东省滨州市东北、黄河北岸）置有“海道运粮万户府”。另有一部分漕粮则改由陆路向西北转运到临清，再装漕船由御河运到通州和大都。显然，只开凿济州河还是不行的。
《元史·世祖纪》记载：至元二十四年（1287）三月，“命都水监开汶（水）、泗水，以达京师”。什么意思呢？就是元世祖皇帝下令，让郭守敬主管的都水监通过实地踏勘、周密规划，进一步开发山东汶河、泗河等河流的水利，使漕渠直接通到京师大都。这年十月，颇得元世祖赏识的桑哥建议：安山（在今山东东平县西北、黄河南岸）北至临清有265里。如果开凿河渠，估计可用300万个工，需耗用3万锭银子、4万石米、5万斤盐。河渠开成后，在其间陆路转运漕粮的运军1.3万户都可遣回老家为民。这些人种地缴纳的赋税及粮草等，估计能有2.8万锭银子，与他们陆路转运漕粮时所耗费的银两差不多。但是，当河渠开成之后，那可是万世之利。请朝廷在今年冬天准备粮食经费，明年春天开工。
这一建议得到元世祖的批准。至元二十六年七月，“开安山渠成”。河渠官礼部尚书张孔孙、兵部郎中李处选、员外郎马之贞等评论说：开魏博（借指中原地区）之渠，通江淮之运，古所未有。元世祖颁布诏令，对新开漕运渠道赐名会通河，设置提举司加以管理。会通河是南起山东须城县（治所在今东平县东须城镇，元属东昌路）安山（在东平县西）的西南，向西北经寿张（安山西有寿张集）到东昌路（今聊城），又西北至于临清接御河，长250余里，主要水源来自汶河。根据地形高低和远近，中建31座闸（《元史·河渠志·会通河》下所列会通河的闸为30座），用以蓄泄调节水量，以便漕船顺利通过。会通河开凿成功后，经济州渠南来的漕船可通过该河渠继续北上，直接驶入临清御河，无须再顺大清河经利津转走海道，也无须再由东阿向临清陆路转运。所以，于至元二十七年（1290）四月，原设在山东利津的“海道运粮万户府”撤销，于临清改置“临清御河运粮上万户府”。运粮万户府的改名与移治，反映了临清在大运河沿途及漕运事业中的地位大大提升，功能凸显出来。
因为会通河与济州河南北相接，斜贯鲁西大地，总长922里多，其水源主要来自源出鲁中丘陵西部的汶河、泗水等，所以后来就把从徐州到临清间的原济州河与会通河统称为会通河。《元史·河渠志·会通河》下所记会通河上的闸，北从临清的会通镇闸南至徐州的三汊口闸共30座，就囊括了会通河与原济州河上所有的闸。至治三年（1323）四月十日，都水分监的奏折称“会通河沛县（在徐州西北、微山湖西侧）东金沟、沽头诸处，地形高峻”云云，都说明会通河已将济州河吞并，济州河的名称消失了。但是，南北大运河进一步统一了。
元代南北大运河的进一步完善、贯通是因为通惠河的开凿。上文已经说过，金代曾从中都到通州开凿一条闸河，引高梁河、白莲潭之水以济漕运。但正如《金史·河渠志》所说，自通州向西，因为地形高差较大，水的流速快，河中留不住水而变得水浅，漕船难以通行。所以，金代闸河的效益很不理想，以致金世宗时曾开金口河，想借用卢沟河水以济漕，但也失败了。
《元史·郭守敬传》说：至元二十八年（1291），郭守敬向元世祖陈述与水利有关的十一件事。其一是大都运粮河不用一亩泉（在今海淀区西北部）旧源，别引北山白浮泉（在昌平东南）水，西折而南，经瓮山泊（今颐和园昆明湖的前身），自西水门（在西直门北）入城，环汇于积水潭（今什刹海、北海、中海等），然后再东出，折而向南，流出南水门（在今正义路北口），合于旧运粮河（指金代闸河）。每隔十里地建一座水闸，从大都到通州，共建水闸七座。在每座水闸上游约一里地处，再设置斗门，漕船来了，斗门打开，放水过船；漕船过去后，关闭斗门以蓄水。《元史·河渠志》也说：世祖至元二十八年，都水监郭守敬奉命兴举水利，因而建议疏凿通州到大都的河道。将含泥沙很多的浑河（卢沟河）水改引灌溉田地，不让它流入行船的河道，而在旧日行船的闸河里导引清水，从昌平县南的白浮村引神山泉水，使水先往西流，然后转而向南，通过双塔河、榆河、一亩泉河、玉泉等水，至大都西水门流进都城，汇入积水潭。然后从积水潭东出南转，流出文明门（大都南三门最东边的一门，大致在今东单十字路口南侧）西的水门，再向东流至通州南的高丽庄，注入白河。总长164里104步。可堵塞清水口12处，共长310步。修坝闸11处，共24座，赖以节水通漕。这对漕运来说，实在是大为方便、大有好处的。
对郭守敬的这个建议，元世祖忽必烈十分赞同，高兴地说：“当速行之”，即应当尽快施工。结果，于至元二十九年（1292）八月开工，于三十年秋竣工。主持该工程的是昭文阁大学士、中奉大夫、知太史院、领都水监的郭守敬。参加施工的军卒有19129名，工匠542名，水手319名，囚徒172名，总计用了285万个工，花费钱152万锭，吃了粮食3870石，所需用的木材、石材等物料尽管用，充足供应。施工期间，元世祖要求丞相以下的官员都亲自手操铁锸、畚筐，带头参加劳动，按照郭守敬的指挥干活儿。工程完成之后，正如《元史·郭守敬传》所说，原来由通州至大都是陆路转运官粮，每年若干万石。遇到夏秋雨大雨多时，拉车驮粮的牛、驴牲畜，死的很多，不可胜计。通州至大都的运粮河修好后，再也不用陆路转运官粮了。至元三十年（1293），元世祖忽必烈从上都回来，路过积水潭时，看到积水潭里舳舻蔽水，十分高兴，便将郭守敬主持新开通的运粮河命名为通惠河，并对郭守敬大加奖赏，除让他仍任旧职外，又新增一职，即兼任提调通惠河漕运事。同时，赏赐郭守敬钱12500贯（古时铜钱中间有孔，可用绳子穿成串，一串千枚为一贯）。
通惠河的开凿在我国大运河发展史上具有重要意义。它使京杭大运河从通州延伸到大都城内，漕船可从通州经由通惠河而顺利驶入大都城内积水潭，积水潭成为“舳舻蔽水”的漕运码头。这是空前绝后的盛事，是京杭大运河南北全线贯通的根本性标志。此外，它为北京地区的水利开发创造了经验，奠定了基础。如果说现在的密云水库好比元代昌平县白浮村的神山泉，是丰沛的上好的水源，而现在的京密引水渠实际上就是当年通惠河自白浮村向前的进一步伸延。从这个意义上说，元代郭守敬开凿的通惠河真正是利于当时，惠及后世。
以往谈论通惠河的开凿之功，人们的目光大都集中在郭守敬身上。当然，这是不错的，因为开凿通惠河的“倡端建言、图上方略者”是郭守敬。应当说，通惠河的成功开凿及其所发挥的巨大效益，郭守敬居头功。但是，以往人们大多忽略了对郭守敬的建言及方略付诸实践并具体实现者。关于这方面，至少有两个人物是不能不提到的。
一是高源。高源，字仲渊，晋州（今河北晋州市）人。元世祖至元二十四年（1287），官“江东道劝农营田使”。据《元史·地理志》知，元江东建康道肃政廉访司管辖宁国路、徽州路、饶州路三路（大致为今安徽省南部的宣城地区、徽州地区及江西省东北部的上饶地区）。高源在江东道劝农营田使任上干了四年后，于至元二十八年，调他到都水监任职。大概是因为他在江东道劝农营田使任上干得很出色，很有成绩，积累了一些开发水利的经验，所以，正当酝酿和准备开通惠河的时候，调他到都水监。《元史·高源传》记载：至元二十八年，高源调任都水监，主管开通惠河，由文明门东到通州高丽庄70里，与会通河相接。其间修建7座闸，72座桥，人们都得以享其利。看来，自大都文明门至通州高丽庄间的通惠河河道的疏浚及闸桥的修建，主要是由高源负责的。这段通惠河工程显然占整个通惠河工程的大部分。因此，高源在元代开凿通惠河工程中的付出与贡献是不可磨灭的。
二是月赤察儿。《元史·博尔忽附月赤察儿传》说：月赤察儿是蒙古开国元勋博尔忽的曾孙，是从征云南六诏等城而阵亡的名臣名将失里门的儿子。据《元史·月赤察儿传》说，这人的特点是性格宽厚勤俭，以孝顺母亲闻名。他的相貌英俊雄伟，看起来像个神一样。至元二十八年（1291），都水监官员（郭守敬）请求开凿渠道，从西北导引白浮泉等水，流经大都城中，然后东入潞河。这样一来，来自江淮的运粮舟船既能到达通济渠（指临清至直沽的漕运水道），就能直接驶入大都城，停泊于积水潭。元世祖皇帝很想将这样的河渠尽快开成，但又不想劳累很多的平民百姓，于是命令四怯薛人（蒙古国初期，成吉思汗所编设的宿卫军称为怯薛。全部宿卫军分为四番，轮流值班，每番三昼夜，故有四怯薛。四怯薛人就是四番宿卫军人）以及各府的人去开挖河道，根据度量的开挖河道的深浅，划地分工，限期完成。月赤察儿带领部属，都穿着劳动的服装，背着筐头，扛着铁锸，踊跃参加挖河劳动，所以按期就把河渠挖成了，皇帝赐名通惠河，于公于私都很便利。元世祖曾对贴身的大臣说：“是渠（指通惠河），非月赤察儿身率众手，成不速也。”可见，在开凿通惠河的过程中，月赤察儿是一位发挥模范带头作用，做出突出贡献的人物。像这样的人物，在追述评论通惠河开凿之功时，也是不能忽略的。