王安石说：“国以任使能而兴，弃贤专己而衰。此二者必然之势，古今之通义，流俗所共知耳。”这充分地阐述了“隙”的重要与“弃贤”的危害。朱元璋实行政体改革，对朝廷贤士进行筛选，意味着政权的巩固，国家的兴旺发达。他大刀阔斧在人才上下功夫：不唯亲、不唯上、不唯朋、只唯贤。
胡惟庸，定远人。在和州投奔朱元璋，是渡江前的淮西旧人。占领集庆，由元帅府宣使转宁国县主簿，升知县，迁吉安府通判，擢湖广按察司佥事。这时，他利用同乡关系，攀结上了李善长，遂于吴元年（1367）被推荐为太常寺少卿，进太常寺卿。洪武三年（1370）人中书省任参知政事，为李善长心腹。洪武四年（1371）正月，李善长罢相，汪广洋提升右丞相，胡惟庸接替汪广洋右丞职务，成为中书省二号人物。洪武六年（1373），汪广洋左迁广东参政，胡惟庸递补右丞相，很快升任左丞相，坐上了中书省第一把金交椅。
胡惟庸的才干和效率让朱元璋省去了不少精力，朱元璋想到的事情，吩咐下去，咄嗟立办。因而博得朱元璋的倚重和宠信，然而胡惟庸是有相才无相气，又足以坏人大事的那种人。他热衷权势，“宁可少活十年，休得一日无权”是他坚守的信条。他曲意奉上，千方百计讨得皇帝的恩宠。从洪武六年到十年，五年之间独任首相。大小政务，朱元璋都交他去处理。他在相当程度上掌握着生杀黜陟之权。许多想求官想升官的，落职后想复职的朝野文武，都奔走在他的门下，各种金帛、名马、玩好的贿赂不计其数。胡惟庸还是一个心胸狭窄的人，小小恩怨都记在心上。他有两个死对头。
一个是刘基，另一个是徐达。
洪武七年（1374年），刘基在家听说胡惟庸被任命为首相，感到十分忧虑，他预言国家百姓难逃一场灾难，忧愤地说道：“使我言不验，苍生之福也。”这话辗转传到胡惟庸耳朵里。五年前他与刘基的那场旧公案又在心中翻腾，他在寻找时机报复。恰在这时，又有一件事激怒了他。原来在青田县南170里处有一个叫淡洋的地方，地势险要，又与瑞安县交界，常常是私盐贩子、逃军、躲避赋役的人们的藏身之所。方国珍当初就以此为根据地，构成地方治安的一个隐患。早在洪武三年，刘基的长子刘琏去京城看望父亲的时候，就奏请在这里设立巡检司，盘查来往行人。经朱元璋亲自批准，第二年正式设立。洪武六年，这里发生周党山所领导的山民暴动。地方官害怕获罪，隐瞒不报，刘基就派刘琏去京城。刘基的儿子刘琏、刘憬和宋濂的儿子宋燧等人同太子朱标等自幼一起长大，很受朱元璋的喜爱，与朱元璋有一种家人父子的关系，因此可随时面见皇帝或者也因为刘基与胡惟庸的芥蒂。刘琏竟至越过了胡惟庸，直接向皇帝作了汇报。这就使胡惟庸更为疑心，更为恼火，便决计借这个题目进行报复。他唆使地方官上了一个奏章，说刘基看准了淡洋这个地方有王气，一心想得到它作为墓地。百姓不愿意给，他就请求设立巡检司，驱逐了百姓。胡惟庸也真够聪明，择的这个题目果真说到了朱元璋的心痛处。刘基就是这样一个学贯天人智慧而神秘的人物。他既能以种种神妙的术数辅佐我朱元璋，那为什么不可以为自己的子孙着想？不管所奏的事真也罢，假也罢，总得设法开销了这个老头子。于是下诏降罚，先剥夺了刘基的俸禄。
刘基对这种飞来之灾不曾料到，杀头灭门之祸就在眼前。考虑再三，他带领儿子刘琏赶往京师。没有一句辩白，一句埋怨，只是向皇帝谢罪，只是说因为罪臣冒犯，惹皇上生气，实在是罪该万死。这样以来，反倒使朱皇帝无从下手了。他原本设想刘基一旦申冤辩诬，就治他个洁己诬人，已是国非之罪。现在却无所借口。后来朱元璋在洪武八年给刘基的《赐归老青田诏书》中说过这样一段话：“朕闻古人有云：君子绝交，恶言不出，忠臣去国，不洁其名……卿善为忠者，所以不辨而趋朝。一则释他人之余论，况亲君之心甚切。此可谓不洁其名者欤？恶言不出者欤！”正是这种“皇帝圣明，罪臣当诛”的忠悃的以退为守的策略，唤起了朱元璋爱虚荣做明君的一半心理，而把那要威风、滥杀人的一半搁起。
刘基度过险关。皇帝的猜忌没有解除。胡惟庸势炎薰灼，迫害随时可至。他留京无益，回乡不敢，只有掩门独坐，形影相吊。但生性的刚毅和倔强，又使他充满信心，对自己堂堂正正的一生，始终不悔。他哪里知道，朱元璋正在通过他的政敌的手致他以死地。
刘基这时候已是64岁高龄，他头发半白，齿摇窦露，耳聋眼花，脚下迟重，左手麻痹蜷挛，呈现龙钟老态。经过此次事变更加百病缠身。就这样，胡惟庸仍不放过他。他故意对刘基表示亲近，时常去床前探问。大概朱元璋看出了胡惟庸的心迹，就命胡惟庸携带医生前往治疗。吃了这个御医的药，刘基觉得腹中慢慢涨大，心下疑惑，就把情况告诉了朱元璋，说：“上位，臣如今肚内一块硬结，担谅着不好。”
朱元璋却是心不在焉。三个月后，朱元璋特地派人去探问，回说没有好转的希望，心下一块石头才落了地。遂颁一道诏书，命他回家安养去吧。刘基于洪武八年（1375）三月抵家，四月十六日就因慢性药物中毒而死亡，享年65岁。临终前，他嘱咐把尸骨焚化，不要安葬，这显然是要解除朱元璋的疑忌，保全他的家庭。同时把自己保藏的《观象》、《玩占》等天文书交给长子刘琏，说：“我死后，赶紧送给皇上，万勿泄漏。”又将遗表交给次子刘壕说：为政宽猛如循环。
当今之务，在修德省刑，祈天永命。诸形胜要害之地，宜与京师声势联络。我欲为表上之，惟庸在，无益也。惟庸败后，上必思我。有所问，以此密奏之。这位伯温先生对皇上，对大明王朝献出了他的全部智慧和忠心。
尽管朱元璋对刘基曾经是死而后安，但听到刘琏报告刘基至死不渝的忠诚，也不免有些动容。为了安慰刘基的在天之灵，也是为了慰平自己的心里创伤，他希望刘琏能留在京城做官，刘琏请求为父亲守三年孝，朱元璋允许了。到洪武十年七月，元璋命刘琏作考功监丞，很快擢为监察御史，第二年升为江西参政。洪武十二年六月，被胡惟庸党羽逼迫而死，年仅32岁。
除掉刘基，胡惟庸更加肆无忌惮。有个不怕死的御史韩宜可上章弹劾胡惟庸和他的同党御史大夫陈宁、中丞涂节“险恶似忠，奸佞似直，恃功怙宠，内怀反侧，擢置台端，擅作威福。请斩其苜以谢天下。”朱元璋大怒，以排陷大臣的罪名逮进锦衣卫监狱。朝臣们更加凛凛不敢言。他们有的找到徐达，希望他能在皇帝面前反映些真实情况。徐达知道胡惟庸也正在打他的主意。本不想惹事，但静观皇帝的意思，看来对胡惟庸也未必就是那么宠信不疑。于是在与皇帝的一次寻常谈论中顺便提起提防大臣专擅的问题。朱元璋未置可否。可这话很快传到胡惟庸那里。胡惟庸知道朱元璋对这班勋臣武将怀有戒心，利用这个缝隙，徐达这棵大树也不是不能搬倒的。关键是抓住把柄，搞到证据。他因而买通了徐达的看门老仆福寿；让他提供情报，或干脆乘机干掉他。
福寿表面答应，暗中却向徐达通报了消息，徐达处处提防，静观时局变化。
对胡惟庸的专擅，朱元璋早有所警觉，他不仅要观察胡惟庸，还要观察他的党羽，观察满朝文武。他自信任凭胡惟庸兴风作浪，也不会逃出他的掌握之中。洪武十年（1377年），他“令天下臣民凡言事者实封直达朕前”；就是说，可以绕过中书省，直接向皇帝上书。有一个儒士提出异议，认为考之历朝典故，还是由中书省上达为好，受到朱元璋斥责。洪武四年，朱元璋取的明朝第一个状元吴伯宗，因为不依附于胡惟庸被贬到风阳屯种，靠着上书直达御前之命，密奏胡惟庸专恣不法，提出他独任首相，终为国家之患。朱元璋遂把他从风阳召回。十年（1377）九月，升胡惟庸为中书左丞相，同时任命御史大夫汪广洋为右丞相，以图牵制。洪武十一年（1378）三月，他又明确告诫：“胡元之世，中书专政，凡事必先关报，然后奏闻，其君又多昏蔽，致民情不通，以至大乱，深可为戒。”因命礼部规定奏章格式，禁止天下奏呈关白（以副本通报）中书省。显然这是在向胡惟庸等人敲起警钟。
洪武十一年的钱苏事件更是朱元璋有意放出的一个信号。洪武九年，皇帝因星变求直言，常熟儒士钱苏持一封密奏人京，丞相胡惟庸首先接见了他，这位钱学士见了胡丞相竟不下拜，旁边的人斥责他，“我是来向天子上书的，岂有未拜天子先拜宰相的道理？”惟庸一笑置之，道：“说的是。”
朱元璋看过他的奏章，很赞赏他的才学，命令在中书省安排职务。钱苏再见胡惟庸，礼数很周到，胡惟庸却正眼不顾，打发他到南京后湖荒僻之地看守档案去了。洪武十一年五月，旧元幼主爱猷识理达腊病卒，翰林院所撰祭文朱元璋都不满意，便出榜悬构。钱苏应诏撰进，内有云：“朕之得，复我中国之故有，汝之失，充其沙漠之本元。”使朱元璋拍案叫绝，立即召见。问他一向在那里供职。答云：“在后湖架阁库校对簿书。”朱元璋想，这不是连实习监生都不愿意去的地方吗？于是说道：“是不是丞相对你不大满意啊！那这样吧，我直接安排你个职位。”钱苏表示，近来身体有病，恐怕不能为皇上效力，朱元璋说：“那也好，你就回家去养病吧。不过，这一路也要为朕做些事情。在经过沿途所在州县时，你可以直人大堂，南向而坐，向所在官员传朕的旨意：皇帝敕尔，善辟田里。养老恤孤，无忌军旅。简在帝心，钦哉勿替。”钱苏拜谢而出，一路风光地回到家乡，出了郁闷心中几年的窝囊气。据说，句容县令很好地招待了钱苏却没有向皇帝汇报，丹阳县令一方面给予礼敬，一方面密报此事，以防有诈。朱元璋想来没有给钱苏符验是个疏忽，便命补给信符。同时，表扬丹阳县令的小心慎密，而训斥了句容县不予奏报。
洪武十二年（1379年），种种迹像表明，朱元璋在中书省问题上将有重大行动。这年六月，他将吉安侯陆中亨、江夏侯周德兴、宜春侯黄彬从集中练兵地临清逮回南京。其中陆仲亨与胡惟庸关系密切。七月，将李文忠从平息吐藩叛乱的西北前线调回京城，提督大都督府，八月，颁布一项优待官吏的条令：自今内外官致仕（退休）还乡者，复其家（免除全家徭役），终身无所与。其居乡里，惟与宗族序尊卑如家人礼，其与外祖及妻家，亦叙尊卑。如筵宴，则设别席，不许坐于无官者之下。如与同致仕官会，则序爵（官位），爵同序齿（年岁）。其与异姓无官者相见，不必答礼。
庶民则以官礼谒见，敢有凌侮者，论如律、著为令。读书士人一日为官终身为尊，这样的优待是古来所没有的。
这显然是拉拢和收买的政策。十一月借褒奖征西功劳的名义，又进封了一批将领的爵位，使前方将士情绪稳定而鼓舞。正在这时，一件小事引发了朱元璋和胡惟庸的冲突。原来，胡惟庸的儿子是个恶少。这一天他喝得醉醺醺的，在街中打马飞奔，前面突然受阻，马立而起，将这位胡衙内掀了下来。恰巧这时，面前有辆车驶过，胡衙内就作了轮下之鬼。胡惟庸闻讯，不由分说将车夫打死，消息传到朱元璋那里，使他对胡家专横跋扈欺压百姓有了更深的认识，这就更激起了朱元璋怒火，除掉胡惟庸的决心已不可动摇。
洪武十二年（1379年）九月，又发生了占城国使臣人贡事件。这月，占城国使臣阳须文旦向明王朝进表彰并象马等贡品，中书省没有按时奏报，宦官将见到占城使臣的消息报给元璋，朱元璋大怒，责问道：“朕居中国，抚四夷，以礼待之。今占城来贡方物，尔等泛然若罔闻。为宰相辅天子，出纳帝命，怀柔四夷，就应当如此吗？”胡惟庸、汪广洋叩头谢罪，而言语之间又把责任推给了礼部胡惟庸、汪广洋及礼部堂官都下了狱。
两丞相同时下狱，朝中气氛相当紧张，御史们这才一拥而上，攻击胡惟庸擅权植党，祸乱朝廷。御史中丞徐节为自保计，在洪武十二年十二月，提出了胡惟庸毒死刘基的事，并且说：“这件事当时的御史大夫汪广洋应该知情。”朱元璋对这事很敏感，于是提问汪广洋，汪广洋说没有此事，朱元璋正要借这个机会清洗他，便问了汪广洋一个朋党包庇之罪，将汪广洋贬谪海南。汪广洋离京之后，朱元璋又改变主意，派遣使臣宣布敕旨将他处死。杀汪广洋的时候，他的一个随行小妾陈氏走投无路，也自刎殉夫而死，朱元璋问起这个小妾的身世，却原来是官奴婢罪犯陈知县之女。元璋闻言大怒，说道：“没官妇女只赏给功臣之家，文臣何以得给，他们把朝廷法度置于何地？”乃令刑部等衙门推问，胡惟庸及六部衙门官员都牵连坐罪。御史中丞徐节在狱中被诱逼揭发胡惟庸。洪武十三年（1380年）正月初二，徐节突然决定死中求生，编织了一个胡惟庸结党造反的口供。这正是朱元璋所需要的。于是按名逮捕，辗转审问，指供诱供。举朝上下，人人自危。凡是一个人被咬出来，他的家属、仆从、亲属一概下狱刑讯。为防止变生意外，久拖不决，正月初六日即将左丞相胡惟庸、御史大夫陈宁、御史中丞徐节等一大批官员及其族党处决，家中祖坟撒骨扬尘。徐节原指望以迎合旨意保住脑袋，岂知把自己编进死网，如何还能抽得身去。所以当举朝文武同仇敌忾，齐声喊打的时候，皇上也就顺势把他送进鬼门关。
朱元璋有了胡惟庸这根打人的棒子，凡是他认为暂时可以不杀的，都可以施以浩荡圣恩，凡是认为有必要重新处置的，都可以加以胡党罪名，让你死有余辜。这个案子从洪武十二年起，不断延长。它大体经过了洪武十三年，十九年，二十三年几个阶段。二十六年（1393年）蓝玉案也可以看作是胡案的延伸。一般把蓝玉案独立看待。
到洪武十三四年，已杀了一万五千多人。中书省及有关官吏几乎无不牵连，各地有仇怨的人，往往互相告发是胡党，而一经告发攀染，便立即抄没家产，收监刑讯。江南不少富室也再次被罗织进来。一些横行不法，为害地方的豪强遭到了报复，也有一部分夹着尾巴做人的富家大户被推人陷阱。如以孝义闻名的浙江浦江郑氏六兄弟也被攀为胡党。这件事惊动了朱元璋。他把郑氏兄弟从狱中放出来，亲自召见慰问，对身边大臣说：“像郑氏兄弟这样的忠义之家，怎么可能跟着别人造反作乱呢？”接着任命郑浞为福建布政参司参议。作为忠义的榜样，义门郑氏被朱元璋特赦释放了，不消说，其他富室凡被牵连的，无一幸免。
遭遇这次灾难的还有著名人物朱元璋的文学顾问宋濂。
洪武十年正月，宋濂68岁，以年老致仕，元璋赏赐他一部《御制文集》，还有许多漂亮丝绸，说道：“三十二年后，把这绮帛做百岁衣吧！”宋濂感动得老泪纵横。宋濂回乡后，不置田产，不谈朝政，唯以纂述授徒为乐。每年九月，他都长途跋涉去南京为朱元璋祝寿。洪武十二年九月，宋濂在南京陪元璋登文楼，一个步子踉跄，摔倒在地。朱元璋看他实在是太老了，就命他明年不要再来了。洪武十三年万寿节，因为胡惟庸的案子搞得满朝紧张，朱元璋就想起往年与宋濂一起谈天叙旧、饮酒赋诗的快活来。他把去年同宋濂说过的“不必再来”的茬口给忘掉了。于是命人潜往金华暗访。事有凑巧，来人正见宋濂与乡间朋友饮酒赋诗。这个情形一奏上去，朱元璋立时感到受了宋濂几十年的欺骗与捉弄，恨不能立即剥了他的皮。于是问刑部，宋氏叔侄与胡党有没有关系。刑部心领神会，洪武十三年十二月，宋慎罗列胡党，被逮捕处死。宋慎的叔叔中书舍人宋濂也将连坐被杀。紧接着，派人抄了宋濂家，将宋濂连同他的妻小仆妇一绳子拴到南京。命令将宋濂立即处死。马皇后和太子朱标听到消息都赶紧说情。马皇后说：“民间为孩子请一个先生，还始终不忘恭敬，宋先生教太子诸王，怎忍心杀他。况且，宋先生致仕家居，哪里知道朝廷里边的事？”朱元璋自然不肯听。这天，马皇后陪朱元璋吃饭，不用酒，也不吃肉，朱元璋问是怎么回事，皇后说：“妾为宋先生作福事。”元璋听了，也有些动情，便放下筷子，起身离去。看在老妻的分上，朱元璋饶了这个71岁的老头，把他流放到四川茂州。洪武十四年（1381）五月二十日，宋濂枷锁锒铛勉强挨到夔州，忧病成疾。他走进一座寺庙里用擅抖的手打一个绳结，了却了自己的残生。
然而朱元璋在胡惟庸的案子中，是文武有别的。在审问的胡党口供中，凡是牵涉到中书省及各部院衙门的，都被元璋一概杀戮，而凡是涉及到武将谋反的，他不管信与不信，却一概宽宥了。就像陆仲亨、费聚这样的“首犯”、“要犯”都赦免了。当朝大臣为了表示同叛逆的不共戴天、同仇敌忾，纷纷要求处死陆仲亨等人。朱元璋说：“当年陆仲亨17岁，父母兄弟都死了，怕被乱兵掠去，揣着一升麦子藏在乱草中间，我率队伍经过，喊他：跟我来吧，便跟了我。而后南征北战，拜将封侯。这些都是最早跟了我的手足心腹。我不忍治他们的罪，就不要再追究了。”很明显，这个时候，朱元璋不想牵连功臣宿将。果然，攀咬武人的口供越来越少了，武将们紧张的心绪渐渐平定下来。朱元璋此时所要解决的首要问题是中书省和中书丞相的问题。
洪武十二年九月，胡惟庸、汪广洋等人下狱，十二月杀死汪广洋。十三年正月初二，御史中丞徐节告胡惟庸谋反，正月初六处死胡惟庸等人。第二天，正月初七，他向群臣宣布：革去中书省，改大都督府为前、后、左、右、中五军都督府。从此废止了代皇帝行使权力的丞相制度，提高了吏、户、礼、兵、刑、工六部的地位，它由对中书省和丞相负责，改为直接对皇帝负责。作为最高军事机关的大都督府，一分为五，使权力分散，避免了军权在武人手中过于集中，便利了皇帝的控制。加上都察院（由御史台改）的监督就构成了中央府、部、院三个互相制衡又分别对皇帝负责的权力支柱。