嵩山具有悠久的历史，经历了各朝各代的发展。
嵩山具有悠久的文化宗教底蕴，从古至今，许多朝代对嵩山都特别重视。
（一）中华文明的圣山
人类文明大都是以大河流域为自己孕育的母体，寻到高山便去构架自己的骨骼，最终形成灿烂的文化。
嵩山雄踞黄河中下游，是中华文明发源的核心地区其历史地位可以和埃及文明的发源地尼罗河流域，印度文明的发源地印度河流域，古希腊文明的发源地爱琴海苏美尔文明、巴比伦文明和亚述文明的源头两河流域相媲美。
嵩山北依黄河，南绕颖水，重峦叠嶂，东西绵延百里，如果说黄河是中华民族的母亲河，那么嵩山便是峻极于天的父亲山。
远在旧石器时代，古人类就在嵩山一带繁衍生息位于嵩山腹地的织机洞遗址，有大量的旧石器时代遗存和人类用火遗迹。新石器时代，这里是我国史前文化最为灿烂的地区之一，孕育了著名的裴李岗文化和大河村文化。
20世纪70年代以来，嵩山地区又先后发现了新密古城寨、登封王城岗等龙山文化城址，成为中华文明起源的重要标志。
夏建立前，禹是帝舜臣下的一个部落酋长，居住在嵩山与箕山之间。《史记·封禅书》称：“昔三代之君皆在河、洛之间。”
因此，关于大禹治水的神话传说是以嵩山为基础的据《史记》记载：“禹之父名鲧，鲧之父名曰颛项，颛项之父名曰昌意，昌意之父名曰黄帝。”
从黄帝到大禹都生活在嵩山一带，他们常游于嵩山之巅。
据传说，上古时炎帝部落从西北迁入黄河中游后曾长期居住在嵩山附近的伊水和洛水流域。其中一支以伯益为部落首领，以崇拜山岳为特征，号称四岳。
《庄子》写道：“尧让天下，许由遂逃箕山，洗耳于颍水。”现在还有“挂瓢崖”“洗耳泉”。
据说许由在山泉之下正在喂牛饮水之际，大尧与之商谈禅天下，许由听说此事，马上把饮牛喝水的瓢挂在山崖上，把自己的耳朵用此水洗了洗，以示去其污秽之言，后来逃入深山林去了。这个事情，嵩山脚下童叟皆知。
据古书《竹书纪年》和《世本》记载舜十五年命禹主祭嵩山，舜禅位禹后，禹居阳城。历代历史学家都认为阳城就是嵩山附近的阳城。夏代自禹至桀，共传1王、14世，历432年，王都自阳城数迁，但均在嵩山周围。
殷周时，崇拜嵩山的有申、吕诸国，即四岳的后裔齐、吕、申、许四个姜姓国。
据《史记·周本纪》和《逸周书·作雒篇》中记载：周武王初灭商，曾计划建城邑于伊、洛，以近“天室”，定保天命。天室即古人认为能够沟通人与天神的嵩山太室。后来周公在嵩山附近建造了洛邑，作为周朝的统治中心，西周灭亡后，洛邑遂成为东周都城。当时嵩山如同关中终南山一样，是人们心目中的神山。
嵩山地区是夏、商、周三代的建都之地，立国中心《史记·封禅书》中记载：“昔三代之居，皆在河洛之间故以嵩山为中岳。”
司马迁的这一记述，得到了我国现代考古学成果的证实。嵩山脚下的登封王城岗遗址和偃师二里头遗址是古代第一个国家夏的建都之地。
位于嵩山东麓的郑州商城遗址是商代的开国之都嵩山北麓的偃师商城遗址也是商前期的重要王都。位于嵩山西麓的洛阳成周遗址、东周王城遗址分别是西周的东都洛邑和东周国都。
《周礼·地官司徒》中记载，周公为了寻找天地之中营建东都，在嵩山脚下的阳城“以土圭之法，测土深正日影，以求地中”。现存登封观星台的周公测景台，即从侧面反映了嵩山地区为“天地之中”的历史传承。
自古以来，嵩山被认为是万山之祖和神仙居住之地在“君权神授”的古代，嵩山就成为历代帝王接天通地永固江山、昌盛国运的祭祀、封禅对象。
《史记·封禅书》中记载，黄帝就常到嵩山“与神会”。帝尧、虞舜、大禹都曾到此巡狩。
最迟在西周初年，嵩山已经成为人们祭祀的对象武王在嵩山举行的封天祭地大典，开创了我国古代最盛大、最高等级的封禅礼制的先河。秦、汉之后，帝王祭祀嵩山连续不断。
据统计，从周武王开始至清末，历史上有史可查的巡狩、祭祀、封禅嵩山的帝王就有68位。
嵩山以其地处京畿的优势位置，自然景观和人文景观的完美结合，成为中华文明最早、最重要的圣山之一。
（二）各朝时期的嵩山
古时，嵩山名为“外方”，夏商时称“崇高”，据东汉班固的《白虎通》中记载：“中央之岳，加嵩高宗者何？中岳居四方之中而高，故曰嵩高也。”西周时称“岳山”，周平王迁都洛阳后，定嵩山为“中岳”，五代以后称“中岳嵩山”。
秦汉以后，嵩山中岳大帝的雏形逐渐形成，并不断趋向人格化，虽然其在宗教方面的特殊地位让于五岳之首的岱宗，但仍是国家祀典的五岳之一。
据史称，秦始皇笃信神仙，曾在嵩山上立祠祭祀岳神。公元前116年，方士公孙卿利用大鼎的被发现，向武帝授成仙之道，遂被拜为印官，去嵩山太室事供神仙三年后，汉武帝亲临太室山，礼祭太室神祠，封太室山为嵩高山。公元前110年，汉武帝再至中岳太室山，亲率群臣，礼登嵩顶。
据传，当武帝登山时，随从官员听到山间有呼“万岁”之声，又在山上建万岁亭，山下建万岁观，命名山峰为万岁峰，以应山呼之奇。
汉代有方士进入嵩山寻仙采药，或存思诵神以治病驱邪。《后汉书·刘根传》写道：“刘根者，颍川人也隐居嵩山中。诸好事者自远而至，就根学道。”
因此随着神仙家和方士在嵩山的开拓，中岳大帝的人格化更为明显了。
嵩山的圣山地位，是嵩山历史建筑群形成和发展的直接动力。东汉安帝元初、延光年间，阳城长吕常和颍川太守朱宠分别主持建造太室阙和少室阙、启母阙，这是我国现存仅有的三座庙阙和最早的礼制建筑实物。
佛教传入我国的最初数百年里，随着禅宗初祖达摩在少林寺传法故事的渲染及禅宗的广传，嵩山成为了佛教的繁荣圣地。
北魏定都洛阳后，皇帝多次巡幸游狩，在嵩山腹地建造了少林寺、会善寺、嵩岳寺、嵩阳寺四座重要寺院。
北魏孝明帝正光年间，为纪念佛祖释迦牟尼而建造了嵩岳寺塔，是嵩山地区历史上建造的第一座塔，也是我国历史上出现的第一座砖塔和我国现存最早的塔。
嵩山地区在道教发展史上同样扮演过重要角色，北魏时，著名道士寇谦之便在嵩山修行数十年，创立了北天师道。
唐朝时，社会经济繁荣，因受到历代皇帝的重视宗教建筑在嵩山地区呈现繁盛局面，延至宋、金时期在帝王的扶持下，少林寺僧人创建了初祖庵，并在少林寺塔院修建了释迦塔和弥勒塔。中岳庙增修了具有皇家建筑风格的峻极殿。
另外，嵩阳书院因得到皇家的重视，也极为兴盛所以嵩山历史建筑群中又出现了书院教育建筑。
元代，嵩山历史建筑群规模不断扩大，涌现出了天文科技建筑观星台、会善寺大殿、少林寺鼓楼等独具特色的重要建筑。
明代，宗教建筑在嵩山也呈鼎盛局面。其间，对很多历史建筑进行了修缮。少林寺常住院兴建了山门前东西牌坊、立雪亭、千佛殿、紧那罗王殿、六祖殿等，塔林也建造了大量砖石墓塔，是嵩山历史建筑群建塔数量最多的时代。
宋乾德元年，宋太祖赵匡胤下令为中岳大帝制作衣冠剑履，以与道经之称相吻合。从此，中岳大帝衣着冠戴一直沿袭至今。
据《宋史》记载，宋太宗太平兴国八年，赠五岳封号，中岳大帝为“中天崇圣帝”，帝后号“正明”，并命翰林、礼官详定仪注及冕服制度，祟饰神像之礼，到时派遣礼官祭之。
大中祥符六年，增修殿宇，并创造碑楼150间，塑神像及装修新旧功德画壁等，这可谓中岳庙史的鼎盛时期。
靖康年间，庙观殿宇多为塌废，经重修，逐渐恢复了庙院状貌。元初尚存殿宇七百五十余间，元末多毁于兵火，仅余殿宇百余间。
清朝时期经过翻修，基本上保留了当时的宏伟规模具有明清官式建筑规模格局和风格特点。