执政二十四年（1364年），平定陈友谅，朱元璋称吴王。这时，江西行省把陈友谅的一个镂金床送到应天。朱元璋看罢，对左右官员们说：“你们知道五代十国时候后蜀孟昶有一个镶满宝石的尿壶吧，这镂金床与宝石尿壶有什么区别呢？一个床尚且如此，其它可想而知。陈氏父子穷奢极欲，哪能不亡。”当即将它毁了。侍臣们就此各有一番议论。
其中一位应声说道：“未富而骄，未贵而侈。这就是败亡的原因。”朱元璋对这话颇不以为然。说道：既富就可以骄吗？既贵就可以奢吗？有骄侈之心，虽富贵，也难得保住。
处在富贵地位，就是抑制奢侈，注意节约，戒慎嗜欲，还恐怕不能服众心，慰民望，何况穷天下财富技巧以满足个人欲望呢？他的败亡是很自然的。这倒是给我们敲敲警钟。前车的覆辙不可重蹈啊！就朱元璋一生来看，这段话倒是谨慎遵守了的。朱元璋称得上中国历史上少见的节俭皇帝。
洪武元年，开国伊始，全国许多地方遭受旱灾。第二年春末，旱情仍在发展。这使朱元璋想起至正四年前后，家乡连年大旱，瘟疫流行的可怕情景。一元更始，百废待兴，这可不是好兆头。朱元璋祭告父母之灵，请他们保佑，求他们在上天面前说情。祭文说：儿虽然有过错，但当年二老父母吃草根粗米的艰难并不敢忘记。今天，儿臣愿意率领妻妾在半月内吃草根野菜粗饭，与百姓共甘苦，以反省上天的谴责，并为百姓祈福。
朱元璋生于阴历九月十八，这一天被称作万寿节，照常理，百官要在正殿举行朝贺的礼仪。朱元璋却一直不同意。
他说：每到这一天，总想起父母的艰辛，心情十分痛苦，是断然无法接受庆贺之礼的。后经百官多次请求，一直拖到洪武十三年才允许朝贺。正是这艰难的经历，使朱元璋对“成由节俭败由奢”和“节俭则昌，淫逸则亡”这样的古训有着切身的体会。
朱元璋把节俭看作一种美德，看作一种治国之策，看作抚恤百姓、安定民生的重要措施。他从宫廷内部作起。他曾经说：“珠玉非宝，节俭是宝。”他的宫室起居吃用都不太侈华。打下集庆路一直到称吴王，他都住在元代南台御史衙门。执政二十六年修建皇宫，他把那些雕琢奇丽的设计都去掉了。宫殿不多施彩绘。在宫妃的住处，墙壁和屏风上，画的都是耕织图。在太子东宫画的是朱元璋的出身经历事迹图。在处理国事的殿堂内，则书写修身养性治国平天下的典谟格言。宫廷内空闲之地不建亭台楼阁，而是用来种菜，自春及秋，油绿红黄，如处处园圃。朱元璋在政事的空暇，也时常来到这里看小太监汲水灌园，捉虫除草，领略田野风光。
据说，朱元璋的饭桌上，每每多用蔬菜。他的睡床，除去金龙装饰之外，也与百姓家的床榻无大区别。祭天用的拜褥，褥心用的是一块红色棉布，车舆该用金银的，都改用铜。南京是孙吴、东晋、宋、齐、梁、陈六朝都城。都是短命王朝，朱元璋尤其注意它们的亡国教训。唐朝人李山甫写的一首《上元怀古》诗引起他很大兴趣，诗曰：“南朝天子爱风流，尽守江山不到头。总为战争收拾得，却因歌舞破除休。尧将道德终无敌，秦把金汤可自由？试问繁华何处在，雨花烟草石城秋。”这是说六朝天子奢侈腐化，歌舞风流，导致了国家的忽起忽灭。朱元璋觉得很有警省的意义，就让人书写在住处的屏风上，供自己朝夕观览。
朱元璋知道“上有所好，下必甚焉”的道理，所谓“楚王爱细腰，宫人多饿死”，所以对地方名优特产的贡奉常予申斥与抵制。建国之初，湖广进竹席，朱元璋怕开了进奉之风，下令退回。后来金华供香来，朱元璋觉得好吃，但怕因此会扰民，也制止了；便在皇家苑林中辟地种了几十亩，每当耕耘收获季节，朱元璋亲往观看，吃用起来觉得心里很踏实。朱元璋不大喜欢饮酒，能喝一点葡萄酒，量也不大。起初太原进贡一种葡萄酒，后来觉得够用，也下令不要再进了。洪武六年（1373年），山西潞州进贡人参。朱元璋说：
“听说采到人参挺困难，这样做岂不劳民。”并说：“国家的任务在养民，哪有以个人的口腹之欲去累民的道理。”洪武七年（1374年），西番酋长以所造葡萄酒上供。朱元璋命令退回去，并赏赐给绸缎衣物，让他们不要再供。他对中书省官员说：“饮食衣服贵乎有常，常情之外的逐求会带来无穷祸害。如西域葡萄酒，在元代供求的使者络绎于道路，使沿途百姓饱受痛苦，朕岂能再以此殃民。”回商人进贡一种番香叫阿刺吉，华语称蔷薇露。说是能够治疗心病，还可以调粉作妇女的化妆品。朱元璋也予以拒绝。说：“中国药物可以治心病的很多。这种东西不过是修饰容颜，只能引诱人的奢靡之心。”
朱元璋一生谨言饬行。他一般不近女乐歌舞，不看戏曲，更没有酣歌夜饮的习惯。他一心扑在国事上。在公事的闲暇之余，多是读读书，与文人学士谈论经史文学。据说朱元璋喜欢下棋，宫中有一个姓潘的棋手经常与朱元璋对奕。
这位潘氏老婢高不足四尺，朱元璋呼之曰潘长。每当棋下到中局，朱元璋便命姬妾们猜一猜谁能获胜。如果朱元璋局势有利，众姬妾一时拍手说：“陛下必胜。”倘是潘长占上风，则众人抿口不敢作声。朱元璋赢了，常常把赏赐散给大家，要是潘长赢了，则众宫人把她按在地上来一个四周旋转鬼推磨，大家取乐。
朱元璋对他的嫔妃太监要求也很严格。包表笺的包裹绣有金龙，朱元璋命宫人清洗出来，将金粉积少成多，铸成金块。还命宫人将做衣服剩下的绸缎片缝成百衲被面。一天，他回到后宫，见到地上散乱着一些零碎丝绸，便把嫔妃们全部召来，给他们算了一笔百姓养蚕丝织应役纳赋账目；然后下令，再有这样泼洒浪费的，严加惩处。洪武三年十月的一天，大雨如注，遍地积水，朱元璋见两个小内监穿着新靴子在雨水中行走，便把他们召到面前，训斥道：“一双靴子虽然不值多少，却是出自百姓之力，要费好多功夫才能做成，尔等为何不爱惜，甘心如此糟践！”遂命拖出去打板子，并对左右大臣说：“大抵人经历过艰苦，则自然节俭，如果整天生活在富贵中，则往往侈靡。”同时下令：自今为始，百官上朝遇着雨雪，允许穿雨衣雨靴。
在约束宫廷方面，马皇后也能出榜样，与朱元璋互相勉励。他在平时都穿浆洗过的衣服，有时色全褪了，衣服破了，都舍不得丢掉。她命人将杂丝织绸做成被子赐给老弱孤独的人，剩下的丝织布头缝成衣服，赐给王妃公主，让她们知道蚕桑的艰难。打下元大都之后，大批珠宝运回南京。马皇后说：“元朝有这么多宝物也难免于灭亡，是不是帝王家有更贵重的宝物啊！”朱元璋笑道：“我知道你说的宝物，这就是治国贤才吧！”马皇后拜谢道：皇上说得是。妾与皇上起于贫贱，至有今天。常怕骄纵生于奢侈，危亡起于细微。
愿皇上珍重。愿皇上得天下贤才共同治理。又说：奢侈必致扰民。民数扰必困，民困则乱生。朱元璋连连称叹。马皇后的贤德，给了朱元璋勤俭治家的很大帮助和鼓励。
朱元璋认为，他的儿孙们在接受这份产业之后，所缺少的正是那种痛苦经验的事实，他们很可能处于富贵而生骄奢之心，导致倾家荡产。因而他除了自身做出榜样，还利用各种机会对几个孩子自幼进行各种磨练、训练和教育。吴元年（1367年）十月，张士城平定，登基大典在紧锣密鼓地筹备之中。朱元璋派十三岁的大儿子朱标和十二岁的二儿子朱校到老家濠州扫墓，一来让两个人告慰于祖先之灵，二来也是让他们了解沿途风土民情和家乡的艰难情况。临行，朱元璋告诉他们：“你们兄弟自幼生长于富贵，不知人生艰难，百姓疾苦，很容易产生骄惰。今后，你们要承担很重的责任，不可不谨慎。”要求他们一路不要光骑马，要有一段时间步行，体会一下跋涉的艰苦。一个月之后，元璋又带着大儿子朱标到南郊去，让人带领着这位预备皇帝深入到农家茅草小屋，看他们住的如何，吃的什么，用的什么。参观完毕，朱元璋循循教导道：“你现在应该了解农家的劳苦了吧！农民起早贪黑，不得休息，所住的不过是茅草屋，穿的不过是布衣粗裙，所吃的不过是菜粥粗米饭。而国家的经费都要靠他们供给。所以我想让你明白：一居一处，吃穿用度，一定要想到农民的辛苦。取之要有章法，用之要注意节省，使他们不至于饥寒，才算尽到做君主的责任。如果横征暴敛，则民不胜其苦，你又于心何忍呢。”
洪武元年十二月的一天，紫禁城里面的蔬菜已经收割完毕，眼前呈现一片空阔，朱标和他的兄弟在这里玩耍。朱元璋退朝回来，见到这几个天真活泼的孩子，一天的疲劳都消失了。疼爱之极，他就想，帝王之家的孩子是否应该有更标志的玩乐场所呢？但随即就打消了这个念头。孩子们围拢过来请安的时候，朱元璋对他们说：“我现在让内使们种上蔬菜，是因为不忍伤民财，劳民力。你们知道，那个商纣王建了好多歌舞楼台，饮酒作乐，不怜恤百姓，搞得人人怨愤，最后身死国亡。那个汉文帝就不同了，他想做一个露台，让人一计算，要花一百两银子，啊，这就是十家人家一年的过活呀，就取消了这个主意，所以当时是民安国富。你们看，一个奢侈，一个节俭，就引出一个亡国，一个富足，悬殊有多么大啊。你们明白我说的意思吗？”孩子们齐声说道：“明白。”朱元璋从心里感到高兴。
当朱元璋衣裳褴褛，持钵乞讨的时候，大概不会为那个乞食袋的得失过多操心。月落乌啼之时，已在轻鼾熟睡之中。经过十几年的生死拼博，挣得诺大一份产业，却使他坐卧不安。黑甜一觉已是千金难买。他必须精心看护，不让他出一点纰漏。他要给子孙们定出章法，做出榜样，以便世代永守。总之，他要事必躬亲，臻密思索，要夜以继日的工作。他可以称得上是勤政的典范。
朱元璋在位三十一年来，除非生病，总坚持每天两次上朝办公。吃过早饭稍稍休息，或读书，或批阅奏章。午后，再到殿内召见臣民，或披阅奏章，直到日暮才回后宫。晚上，再把白天做过的事细细考虑，有不妥之处，及时改正，非到诸事妥贴，才能安稳入睡。有时已经睡下了，想起一件事，便马上披衣而起，着手办理。他有一个原则，今天当办的事决不拖到明天，就是在吃饭的时候，倘想起某件事，也放下筷子，把要处理的事笔录下来，常常是一顿饭做几次这样的停顿。吃饭时候所写的字条，就别在衣服上。他的衣服上常会别着很多字条。他戏称之为“鹑衣”（破烂衣裳），待上朝时便一一发落。在殿堂或后宫，他便将这类字条贴在墙壁上，办理过后，立即换掉，有时一天更换几次。
洪武十三年以前，虽然设有中书省协助皇帝，但朱元璋怕大权旁落，凡事都想过问。洪武九年（1376年），因天降灾祸，诏求直言。一份份奏折送到他的面前。这天，朱元璋已经很累了，见到刑部主事茹太素一份上书足有一寸多厚，便让中书省郎中王敏读给他听。足足读了两个多小时，还不知道他要做何建议，让人数一数，已有16300多字，便不由火从心中烧。急命人把茹太素找来，打了一顿板子。第二天深夜，他躺在床上，又想起茹太素的奏章，便命人重新读给他听。到了16500字以后，才露出要说的五件事。这五件事总共用了500多字。这五件事的内容倒还不错，其中四件事是可以马上办理的。朱元璋叹了一口气：“这些酸秀才，真像块臭豆腐，又香又臭。”第二天早朝，他在朝臣面前承认了：“厌听繁文而驳问忠臣，是朕之过”，但对这些繁文也实在是烦透了。明令：“宫民有言事的，只允许说事实，不许繁文。”即不许说套话、空话。并亲自规定了建言格式。自此，朱元璋的负担方减轻了些。就是这样，每天所批阅的奏章也相当可观。据洪武十年一个统计，从九月十四到二十一，8天之中，内外各衙门共上奏章1160封，涉及到3391件事。每个奏章以1000字计算，也要有1660000字，平均每天要批阅20多万字，处理423件事。这么繁重的公务，要想不偷懒，又逐事妥贴，也只有加班加点了。
为了真正了解下情，朱元璋广泛召见社会各阶层的人物。洪武三年以前，朝廷大小官员不分品级，都可以参加早朝，都可以上殿言事。全国各地大小吏任期届满进京考核，憾粮长按时缴粮入仓，各乡村五十岁以上耆民（有文化的老头，即士绅）进京朝见，朱元璋无不逐一接见。朱元璋于洪武元年在午门外（后移至长安右门外）设有登闻鼓，民间有冤抑重情许击鼓向皇帝直接申诉。洪武十年，又许百姓密封奏事。所有这些，都加重了朱元璋的工作负荷。他说：“朕自即位以来，常以勤励自勉。未旦即临朝，晡时（申时下午5点）而后还宫，夜卧不能安席，披衣而起。或仰观天象，见一星失落，即为忧惕，或量度民事有当速行者，即次第笔记，待旦发遣。”又说：“吾自有天下以来未尝暇逸，于诸事务惟恐毫发失当，戴星而朝，夜分而寝。一事未善，寝亦不安。”“难道是好劳而恶安吗？当然不是。战争年代，饥不暇食、倦不暇寝自不必说。四方平定之后，也不敢高枕无忧，自享安乐。因为自古以来未有不以勤而兴以怠而衰者。”“人君日理万机，怠心一生则庶务壅滞，民无所赖，贻患不可胜言。”像俭与奢关系国家兴亡一样，勤与怠同样关联着他所创立的明王朝国运的长短。这是决不可以稍有疏忽、稍有懈怠的，而应当是拚出性命来治理它，呵护它的。