《史记·魏世家》载，晋献公十六年（前661），献公灭亡了霍、耿、魏三个部落，因毕万有战功，便把魏邑（在今山西芮城县东北）封给毕万。毕万受封后的第十一年，献公逝世，晋乱，但“毕万之世弥大，从其国名为魏氏”。毕万之儿子魏武子，随从晋公子重耳逃亡国外十九年。后来重耳归国登位，称晋文公。他“令魏武子袭魏氏之后封，列为大夫，治于魏”。从此，魏氏有了封地，有了权位，后代便越衍越昌盛了。到战国时期初年，魏斯（？—前396）在前445年正式建立了魏国，自称文侯。后来，魏被秦灭，魏氏的后代，便逐渐分居各地。宋代，曾任福建布政使司参政的魏良佐致仕后，因兵乱而定居石城（今宁都）龙上里塘台乡赖家庄。魏良佐的儿子魏财禄有四子：元、亨、利、贞。宋末大乱时，魏利徙居江西安达。其后代魏万一又徙居湖南。
魏氏的后代出了许多名人，如战国中期的秦将魏章，汉初的诸侯王魏豹（？—前204），三国时期的名将魏延，北齐着《魏书》的史学家魏收（505-572），唐296初的名臣魏征（580-643），南宋时期着《九经要义》、《鹤山集》的大学者魏了翁（1178-1237），明代的戏曲音乐家魏良辅，清初的理学家魏裔介（1616-1686）和魏彖枢（1617-1687）等等，他们都被魏家人视为魏氏的旗手与荣耀。今天写魏源传，重提这些古代的人事，本是无谓的。但，也有一个小小的原因，这就是，魏家人也把19世纪中叶的大思想家魏源看作魏氏的旗手和荣耀。
至于湖南的魏氏，则有四大派系：一是宁乡魏氏，据清光绪三十年（1904）宁乡《魏氏五修族谱》称，是江淮尉魏必兴于明代洪武年间由南京迁至宁乡高田后繁衍的；二是湘乡魏氏，据1941年湘乡《魏氏五修族谱》称，是魏林于明代隆庆年间由南京迁至湘乡永丰后繁衍的；三是邵阳魏氏；四是常宁魏氏，据1913年常宁《魏氏三修宗谱》称，是魏贵辅于元代至正末年参湖广军事，洪武元年定居常宁丫江后繁衍的。
1939年邵阳《魏氏三修族谱·序》说，邵阳魏氏的始祖为魏万一。元末，因避战火，他偕弟弟万二从江西吉安府太和县早禾冲鹅颈丘迁至长沙府善化县。明永乐年间，再迁至邵阳魏家桥（今名），旋西迁至金滩。万二无后。万一生三子，依次为文广、文彬、文隆。文广裔居塘边湾；文彬裔居学堂湾；文隆裔居碰塘湾。魏源属文隆房，为万一的第十五世孙。
邵阳魏氏子孙的班次为：
万文必再兴 宗祖添元朝
永大志邦达 纲纪守荣华
先人绵世德 积厚有馀光
诗典承庭训 芳名愈炽昌
魏源为达字辈，本名远达，字良图；后改名为源，字默深。
“默深”二字取自《汉书·扬雄传》“默而好深湛之思”句，青年魏源正有此七字的印章一枚。后来，他在一首自述景况的诗中也写道：“默好深思还自守，动皆得咎岂是穷！”“默深”中用一“默”字，大概也与他青年时代“寡嬉笑，常独坐”的性格有关。
综其一生，魏源深思的内容，是经学，是经世，是制夷，其中是否也有占很少比例的内容是远绍祖德呢？有的。这可以他写的《题万一公祠》对联为证：
源溯豫章，祖功宗德流芳远；
羁留吴会，春礿秋尝祀典疏。
上联歌颂自魏万一及以下的列祖列宗的“功”与“德”均“流芳远”；下联写自己很少参加祭拜祖宗的“春礿秋尝礼典”，颇有愧悔。按：《礼记·王制》曰：“天子、诸侯宗庙之祭，春曰礿，夏曰禘，秋曰尝，冬曰蒸。”魏源联中的“春礿”、“秋尝”虽是借用，却也可见祭祀祖先的典礼在他心目中的隆重与肃敬了。
他还具体地写道：“金滩山水环绕，原隰广平，加以前人德泽之所以掇一科、利一邑之荣已也，将必有忠信材德奇伟之士出乎其间，以亢宗而起家。”他不但歌颂自己的祖先“掇一科、利一邑”的功德，而且坚信，祖先德泽必惠及后代，魏氏家族将出息一批“忠信材德奇伟之士”。
最直接感受祖先“德泽”的，莫过于族学的兴办。族学是动用族产或族人集资而兴办的塾馆，是族中儿童发蒙和初读诗书的场所。邵阳金滩魏氏自魏万一起，传到魏源这一班辈，已是第十五代，活着的族人约达两千，又拥有大批田产，可说是隆回地面上一大望族。可是，当官的却极少。据乾隆五十年（1785）的《金潭魏氏族谱》统计，仅知县一人，教谕一人；据魏源于道光二十二年倡导纂修的《邵阳金滩魏氏二修族谱》统计，有进士一人、举人二人，太学生、庠生、廪生及业儒者近百人，读书人是多了，可大都是些“在读生”，还很少有登上科举考试的各个台阶而步入官场的人。魏源的族伯魏都（1710-1801）于乾隆年间中举，曾任祁阳教谕、广西武缘县令，算是例外。因此，不满足现状，培养更多的儒生通过科举考试而坐上官位，已成为金滩魏氏家族或隐或显的共同愿望和价值取向。
在这样的背景下，魏氏的族学是比较兴旺的，其中一个标志，便是不惜用重金聘请有德有学的塾师。魏源的二伯父魏辅邦自岳麓书院学成归乡之后，就一心投入对子侄的教育。据李伯荣记载：“隆回居万山间，风俗闭塞，素少励学者，辅邦首为之倡……课子侄及孙辈甚严，必延访名师，不惜重聘，礼貌特隆。每日除塾师功课以外，口讲指画，彻夜不休。故子孙书馨世继，甲第不绝。尤子默深，联捷南宫，官江苏，文章经济，有声名重华夷，多辅邦有以教之也。”魏源的“文章经济”，是否系“辅邦有以教之”，很难说。但，幼年魏源却确实是从“祖先德泽”——族学的熏李伯荣。
陶中成长的；他对二伯父的严格教育，也没齿不忘。
邵阳魏氏世系表（魏源祖先的旁系，未列）