子思在《中庸》中说孔子：“仲尼祖述尧舜，宪章文武。”可见孔子的中庸之道，一定程度上是他总结前人的思想和历史经验的结果。尧舜、周文王、周武王、周公等历史人物的事迹，多出于《尚书》。
《尚书》为上古之书，是上古相传之史料，主要是政治思想方面的文献，由孔子编纂。上古人的中庸思想记录在《尚书》中，《尚书》中有丰富的中庸思想。
“天人合一”是中庸的哲学背景
据《尚书·尧典》载：我国夏历之发明，远在至今五千多年前的尧世。人们开始有意识地注意到气候变化与物事变化之关系，并开始形成“天人合一”的思想。《洪范·庶徽》根据季节气候与人事的关系，提出“有序有备”，并以天时喻人事，形成了天人感应思想。夏代开始崇奉金木水火土“五行”说。
夏商战争之前誓词，如《牧誓》、《汤誓》，有“恭明天罚”、“致天之罚”，《牧誓》有“行天之罚”。“天”成了有意志的存在。但这种“天帝”思想没有进一步朝宗教方面发展，而是转向“人本”、“民本”。
中国上古时代就有“天意即民意”的思想。《尚书·无逸》举了一系列正反事例：说禹“哲而惠”；说皋陶“身修思远，知人安民”；说盘庚施法于民；说“文王卑服”、“惟正之供”，“正”就是“民本”、“人本”。反面的例子是商纣王。说商纣王虽然信天命，但奉行一种消极苟且的天命观，纣王说：“我生不，有命在天。”“不”即“否”，“我生否，只有天能决定”，所以他为所欲为，全无忌惮，所以后来周文王“鉴于夏殷，祈天永命”“惟正之供”，诫子弟知稼穑之艰难，孝敬父母。
《洪范》提出了“五福”：寿、富、康宁、攸好德、考终命。攸好德者，永乐其道也，考终命者，顺受其德也。这是一种悠久无疆、慎终追远的中庸价值思想，在《中庸》中直接表达为“博厚、高明、悠久”。
《洪范》还提出了“六极”——应当警惕和避免的六种“极端”（病）：“一曰凶短折，二曰疾，三曰忧，四曰贫，五曰恶，六曰弱”。凶，指遭凶暴，不得其死；短折，即横夭暴死；疾，指身体有病；忧，指心理忧伤；贫，指物质生活匮乏；恶，指刚太过，所谓强梁，暴戾；弱，指柔之过，所谓懦弱无能。“五福”、“六极”是上古中国人全生保命的中庸思想。
《虞书·大禹谟》将道德提到很高的位置，说：“惟德动天，无远不届”。在德方面，尤其主张谦虚，反对自满，说：“满招损，谦受益”。在听言谋事方面，《虞书·大禹谟》既反对听信无根据的话，又反对独断专行，说：“无稽之言勿听，无询之谋勿庸。”无稽之言就是没有根据的话，查无实据的话，无询之谋，指主观武断，不咨询众人的决策计谋，勿庸，就是不用，不去实行。这与《中庸》中“舜好问好察迩言，执其两端而用其中于民”的意思是一致的。
特别是《虞书·大禹谟》中记有尧舜禹代代相传的16字心经：“人心惟危，道心惟危，惟精惟一，允执厥中。”宋儒程颐认为它是儒家道学渊源，是中庸的纲领。朱熹的弟子、号九峰先生的蔡沈注释说：心者，人之知觉，主于中而应于外者也。其发于形气者谓之人心，发于义理者谓之道心。人心易私而难公，故危；道心难明而易昧，故微。惟能精以察之，而不杂形气之私，一以守之，而纯乎义理之正。道心常为之主，而人心听命焉，则危者安，微者著。动静之为自无过不及之善，而信能执其中矣。尧之告舜，但云允执其中，舜命禹又推其所以而详言之。盖古之圣人将以天下与人，未尝不以其治之法而传之。
16字心经的主要部分，荀子在《解蔽篇》中也引用过。其言曰：“人心之危，道心之微，危微之机，惟明君子而后能之。”荀子说他引自《道经》，可见，“人心危，道心微”在春秋战国时已经是经典的文化思想。
《虞书·皋陶谟》还具体分析了中庸的九种德行，说：“亦行有九德，曰：宽而栗，柔而立，愿而恭，乱而敬，忧而毅，直而温，简而廉，刚而塞，强而义，彰厥有常，吉哉！”
以上是皋陶对大禹说的，意思是：德之见于行为者有九个重要方面，一是宽弘而庄栗，二是柔顺而植立，三是谨愿而恭恪，四是有治才而心存敬畏，五是驯扰而果毅。六是正直而温和，七是简易而廉隅，八是刚健而笃实，九是强勇而好义。这九条都正言而反应，以此明德之不偏，无过无不及，而成德之自然，很合中庸之旨。
关于道德修养的重要性，《尚书·多方》认为：“惟圣罔念作狂，惟狂克念作圣。”原来“圣”与“狂”只在一念之间，因此提出修身的思想。《洪范》提出“敬用五事”：“貌、言、视、听、思”，与孔子在《论语》中的说法近似，并且提出了“正直”、“刚克”、“柔克”的“三德”，使“刚”和“柔”进入了德性范畴。《洪范·皇极》中还特别提出了“无偏无陂，无反无侧”的中庸治道。“皇极”是皇帝治天下之准则。
《盘庚》中记载了盘庚迁都劝告臣民的话：“各设中于乃心”。这个话告诉臣民考虑问题不要片面、偏颇，要通过“设中”相互理解。在这里，“用中”已作为思想方法。
《尧典》所总述的帝尧时德政与《大学》的“三纲八目”基本相同，说明儒家一些主要主张是历史成功经验的总结。