无论在哪个时代，仅仅依靠思想教育，都无法澄清吏治，对于这一点，朱元璋自然很明白。他认为元朝吏治如此腐败，与法律的宽纵松驰是分不开的，为了纠治业已根深蒂固的官吏贪暴之风，必须“刑用重典”，推行严行峻法。建国前夕，他多次与刘基讨论治道，在赐给刘基的一封手书中，他坚定地指出：“朕收平天下，非猛不可！”即位之初，他又召见群臣，宣布自己要实行“严法禁”的政策：“只要发现贪污纳贿、蠹害百姓的官吏，定严加治罪，绝不宽恕，你们要记住我说的话。如果处身廉洁、奉公守法，就像人走在乎坦的大道上，从容自迫；如果贪污纳贿，触犯法律，则像走在荆棘丛中，寸步难行，就是勉强走过来，也要体无完肤了！”
尽管朱元璋明确表明了自己要以猛治国的态度，但官场风气并未像他预期的那样顿然改观。洪武四年（1371年），朱元璋在一个手诏中指出：“近来习俗没有变化，贪官污吏如蝼蚁蝇蚋，不知悔改。”他宣布：自今犯赃罪者，严惩不贷。后来，他又指出，吏治之弊，莫甚于贪污，犯了公务污之风屡禁不绝，使他心浮气躁，越来越不耐烦，于是法外施刑越来越多，越来越重。据说，他曾下令，所有案犯，不论贪赃数目多少，一律处死。朱元璋还几乎把中国历史上曾经使用过的酷刑都搬用过来，并自创了一些酷刑，用以惩治贪官。有人记载说，朱元璋使用的酷刑，有凌迟，即把人绑在柱子上，千刀万剐；有洗刷，即把人脱光衣服，放到铁床上用开水浇；有铁刷，即用铁帚扫去人的皮肉；有枭令，即用铁钩钩住人的后背，挂在架子上；有游锡蛇，即把熔化的锡水从人的嘴里灌下去；有称竿，即把人绑在竿稍上；有抽肠，即把人挂在架子上，用铁钩从肛门把肠子钩出来；有剥皮，即把人的皮完整剥下来，填上草，放在官府正堂的公座旁边。这些刑罚，真是骇人听闻，在他亲自编写的《大诰》中，就有使用族诛、凌迟、挑筋、刖足、剁指、断手、挑膝盖、斩趾、黥刺、阉割、非、劓等酷刑的记录。
朱元璋除随时处治贪官污吏外，一生还数次寻找借口对官僚队伍进行集中清洗：洪武四年（1371年）甄录天下官吏，八年，兴起空印案，十三年；连坐胡惟庸党，十八年（1385年）穷治郭桓案，十九年，逮捕积年害民官吏，二十三年严惩妄言者。每次集中清洗，都会使大批官员丧命，少者十人，多者万人。其中以空印案、郭桓案规模最大，牵连被杀者共有数万人。
所谓“空印”，就是在空白表册上加盖印章。按当时规定，各布政使以及府、州、县，每年都要派计吏到户部报告地方财政收支账目，经户部审核，各项数字完全相符，才准性错误，还可以原谅，“若贪虐之徒，虽小罪，亦不赦也可惜，言者谆谆，听者藐藐，不断有贪污官吏被揭露出来这使朱元璋失去了耐心。他觉得，用正常的法律手段已不能解决问题，于是就开始法外施刑，不断加强惩罚力度。洪武八年（1375年），朱元璋下令：凡是犯有赃罪的官吏，一律贬到风阳开荒屯田，到第二年，在凤阳屯种的官吏就达到近万人。由于被逮治的官员很多，到处出现缺官现象，吏部只好不停地选补。洪武十年（1377年），朱元璋曾对一批即将赴任的官员说。”近来各处官府奏称缺官，朝廷按时选补，可选补未久，又奏称缺官，为何犯罪罢黜者如此之多？如果收起作奸之心，改而向善，那该多好。国家的俸禄，就像泉水一样，汲取不尽，可惜那些人都不想守法以自保，欺人欺天，追求赃利，就是积钱满屋，一旦事发，都不是自己的了。你们要以那些人为借鉴，努力为善，这样就可以永保禄位了！
在这样严密的法禁下，竟然还有不少官吏作奸犯科。说起来，官吏们大都是读圣贤书出身，对于志当高远的人来说，读书作官是为了经世致用，施展才学报负，而对大多数人来说，读书的目的在于“书中自有黄金屋，书中自有颜如玉”，他们知道，只有读书才能做官，而作官的目的是为了发家致富，吃喝玩乐。既然抱着这样的目的做官，他们岂能甘于清贫，明知法网严密，亦难自我约束，真是“明知山有虎，偏向虎山行”，以致朱元璋哀叹说：“朕竭语言，尽心力，终岁不能化矣，呜呼艰哉！”朱元璋性格本就偏急，贪许结账。如有不符，即使数额很小，户部也要驳回，需要重新填造表册。布政使司和府、州、县距离京师，远的六七千里，近的也在千里上下，回到原衙门重新造册盖印，近的来回要花费十天半月时间，远的则需在路途上奔波数月，十分不便。为了减少麻烦，节省时间，及时结账，逐渐形成了一项惯例，就是各地计吏都带上盖好印章的空白表册，遇到户部驳回，便可就地重造。这种空白表册上盖的是骑缝章，除了向户部报账外，无法移作别用，所以谁也不认为这么做有什么不妥。不料在洪武八年（1375年），朱元璋偶然了解到这种情况，认为其中一定大有跷蹊，龙颜大怒，下令将户部尚书和各地衙门的长官全部处死，副职以下的官员杖一百，发配远方充军。数十名官员，就这样成了刀下之鬼。
郭桓案发生在洪武十八年（1385年）三月。当时，御史余敏等举告北平布政使司、按察使司的官员李或、赵全德等，与户部侍郭桓、胡益、王道亨等相互勾结，营私舞弊，侵盗官粮。朱元璋命令将有关人员逮捕，严加追查。据朱元璋后来公布的材料说，经过审讯查明：郭桓等收受浙西秋粮时，有一百九十万石白米私自卖掉，没有上仓入库；又接受浙西四府钞五十万贯；又串通承运库官范朝宗偷盗金银，串通广惠库官张裕擅自支取钞六百万贯；除去盗取库中宝钞、金银以外，盗卖库存和未入库的税粮，以及鱼、盐等各项税收，共折米二千四百多万石。于是，朱元璋下令将牵连人内的礼部尚书赵瑁、刑部尚书王惠迪、兵部侍郎王志、工部侍郎麦至德等斩首示众，六部左右侍郎以下全部处死，涉及到的各布政使司官吏也均被诛杀。此案株连被杀者，多达数万人。由于株连太广，闹得举国惊慌，许多人抱怨，将郭桓等人的罪状公开宣示天下，又斥责原审法官吴庸等生奸害民者，并用磔刑残酷处死。
即使是皇亲国戚犯了法，朱元璋也毫不留情。朱元璋在西北边境地区实行茶马贸易，即用内地的茶叶换取少数民族的马匹。这种贸易都是由官方进行，贩运私茶悬为厉禁。可是驸马都慰欧阳伦却不顾禁令，派家人周保去贩茶牟利。周保等依仗权势，所到之处，横行霸道，骚扰百姓，并强迫地方官府派车运茶，到达兰县（今甘肃兰州）河桥巡检司时，周保肆意殴打小吏，小吏不堪忍受，向朝廷告发。朱元璋大怒，将欧阳伦和知情不报的布政司官全部处死，周保等被诛杀。
在“刑用重典”原则指导下，明初对贪官污吏的清洗打击，带有浓重的血腥气味，许多刑罚残酷异常，令人毛骨悚然。可是，这种严酷政策确实带来了吏治的改观。《明史·循吏传》对明初吏治状况给予极高评价，说：“一时守令畏法，洁己爱民，以当上指，吏治涣然丕变矣。”也许，正如朱元璋所说，仁政“推之于君子则可，小人则不可”，在贪官横行的非常时期，只能采取非常手段。