《史记》记载，秦始皇结束在碣石的活动后，“巡北边，从上郡入”。秦始皇“巡北边”，经过辽东、右北平、渔阳、上谷、雁门、云中、九原等郡后，从上郡返回咸阳。上郡，秦初三十六郡之一。治所肤施，今陕西榆林东南。位于北方地区。秦始皇命令公子扶苏、将军蒙恬在此屯兵三十万，以防御边境北部的匈奴。
匈奴，早在周朝时就不断侵扰中原地区。因此抗击匈奴，是中原人民长期的愿望。如《诗经》中“戎狄是应”，“薄伐猃狁，至于大原”，“出舆彭彭，城彼朔方”等诗句，就表达了周襄王时期人民抗击匈奴，战车出动，北方筑城的情景。
秦统一六国后，这种威胁和侵扰日益严重。
秦始皇回到咸阳后，“燕人卢生使入海还，以鬼神事，因奏录图书，曰‘亡秦者胡也。’”卢生所说的“胡”就是指的匈奴。秦始皇听到“亡秦者胡也”的谶语后，决心抗击匈奴。对此，李斯却提出劝阻。他认为匈奴迁徙不定，很难制伏。如轻兵深入，粮饷不继，若辎重相随，则行军缓慢。即使得到得匈奴土地，也没有什么好处。而切还回使中国消耗。李斯的劝阻，不但没有动摇秦始皇的决心，反而他先后发动了两次对匈奴的战争，并都取得了胜利。
前215年，“乃使将军蒙恬发兵三十万人北击胡，略取河南地。”
前214年，在“西北斥逐匈奴。自榆中并河以东，属之阴山，以为四十四县，城河上为塞。又使蒙恬渡河取高阙、阳山、北假中，筑亭障以逐戎人”。
涉及这两次战争的历史地名分别是：
河南地：约当今宁夏自治区灵武以北直至内蒙古自治区的杭锦后旗以南地区。
榆中：要塞名，即榆林塞，或称榆溪旧塞，故址在今内蒙准格尔旗，陕西榆林东北。
高阙，阴山山脉至此中断，成一缺口，故名。
阳山：阴山最西一段为阳山，即狼山，因位于当时黄河正流之北，所以称阳山。
北假：指今内蒙古五原西、河套以北、阴山以南地区。
两次战争胜利后。秦始皇经营河套地区。河套，是今内蒙古和宁夏贺兰山以东，狼山和大青山以南，黄河沿岸地区。因黄河由此流成一个大弯，统称河套。一是在河套地区设置四十四县，并将中原人民几万户迁到这里，与本地共同开发边疆。二是命令蒙恬北渡黄河，利用地势修缮、增补旧秦、赵、燕长城，连接起来达万余里，用来保护北方农业区域，免遭匈奴的袭击。
秦始皇掀起中国修筑长城的第一次高潮，其修筑的长城分东、中和西三段。
秦始皇长城东段，自今内蒙古化德县境往东，经河北康保县南，内蒙古太仆寺旗、多伦旗南境，河北丰宁、围场县北，内蒙古赤峰市北境及奈曼、库伦旗南境，进入辽宁阜新市北。这段长城基本上是沿着今内蒙古和河北交接处蜿蜒东行的。进入辽宁后，折向东南，一直延伸到朝鲜境内的平壤大同江北岸。根据文献记载，秦始皇东段长城是利用战国燕国长城旧址修缮而成的，当时并没有单独修建新的长城。在张家口至承德一线，有三道古长城遗迹。最北边的一道，称康保三道边。据《承德府志》记载，1752年，乾隆皇帝在河北木兰围场打猎，发现这段长城，东西走向，长约200公里。乾隆就此于围场立《古长城说》石碑一通。全文284字，分别用汉、满、藏、蒙四种文字书写。第二道长城是战国燕长城遗迹，在第一道长城南大约20公里处。第三道长城遗迹在内蒙古赤峰市地区。赤北长城，今残长30余公里，残高不足1米。当地群众用“土龙”、“沙龙”、“赶牛道”来称呼这段长城。赤南长城与赤北长城相隔约50公里，是战国燕长城遗迹。还有一道长城被称为“老虎山长城”，可能是秦长城内要塞之一。长城东段沿线修筑很多城池、亭障和烽火台等防御建筑设施。采用因地制宜、就地取材、“用险制塞”和“累石为城”的方法。在山岭上多采用自然石块垒砌，平地多用黄土夯筑；在穿越河谷的地方，或以沟堑代替墙壁，或在河谷一侧增筑一段平行的墙壁，水地一段多为石筑；两山之间则用天然石块砌成石墙，形成“石门”。
秦始皇长城中段。从东至西由今内蒙古兴和县经黄旗海北岸，绕过集宁市北境，顺大青山而西，经察右中旗，武川县南部的南乌不浪，固阳县北部的大庙、银号、西斗铺，然后北依阴山，南障黄河后套，经五原、杭锦后旗北境，西抵乌兰布和沙漠北缘。是利用战国赵长城的基础，加以重新修缮而成的。阴山至贺兰山之间的广阔缺口为秦以后新筑。另外，在山巅上用石块垒成供传递军事情报的烽火台，使得秦长城中段形成纵深的防御体系。
秦始皇长城西段。《史记》记载前214年秦始皇“西北斥逐匈奴，自榆中并河以东，属之阴山，以为三十县，城河上为塞。”这里所说的榆中，应是今甘肃兰州、永靖一带。由于蒙恬收复河南地之后，横贯甘肃、宁夏南部，陕北、内蒙古的秦昭襄王长城已失去防御作用，西北边地已推进到黄河和贺兰山之间。秦始皇长城西段是凭借黄河天险而成的，其中多修有障塞和城堡。西起甘肃岷县、循洮河东岸向北至临洮县、兰州，再东折至榆中。向北沿黄河东岸修筑了不少城寨，直到内蒙古河套地区，与历史文献记载相吻合。自榆中向东经宁夏固原、甘肃环县、庆阳，再经陕北直达黄河岸边的长城，基本上是战国时期秦所修长城，秦朝只是利用而已。