怎样与乡亲邻里相处，对于治家来说也是一个很重要的问题。与乡亲邻里关系处理得好，则可以使家庭免去一些不必要的麻烦，还可以在有困难的时候得到帮助，而处理得不好，则有可能造成仇隙，制造一些事端，这样的事情在日常生活中比比皆是。那么，曾国藩是怎样来处理这些矛盾的呢？在这方面他奉行的原则就是：让他三尺又何妨！
这个话含有一个典故，据《桐城县志》记载，康熙时期文华殿大学士兼礼部尚书张英的老家人与邻居吴家在宅基地问题上发生了争执，家人飞书京城，让张英打招呼“摆平”吴家。而张英回馈给老家人的是一首诗：“一纸书来只为墙，让他三尺又何妨。长城万里今犹在，不见当年秦始皇。”家人见书，主动在争执线上退让了三尺，下垒建墙，而邻居吴氏也深受感动，退地三尺，建宅置院，闻名中外的六尺之巷也就因此而成。
咸丰初年，曾国藩父与几个兄弟还未分居的时候，家中为建新宅黄金堂，与邻居为一墙之隔的地界发生争执，几至要打官司到湘乡县府。曾国潢在家将这一情况写信告诉了在京师做官的兄长曾国藩。曾国藩收到此信后，联想起古人的这首诗便写了一封长信，并将这首诗附上。曾家父子兄弟读过曾国藩的信和此诗后，胸襟豁然开朗，“让他三尺又何妨！”于是将地退缩了三尺。曾家的这一举动，深深地感动了邻居，邻居不仅未与曾家争执，见自家的地很方便曾家，也秉着“让他三尺又何妨”的态度，转让给了曾家扩建黄金堂新宅。
这件趣事代代相传，简直成了曾族的“传家宝”。1988年，曾国藩的后人，年过“古媳的曾德培老人还在台湾著文说，记得1939年我走上抗战前线时，慈祥和蔼的妈妈坐在美孚煤油灯下，拉着我的双手说了曾国藩“让他三尺又何妨”这首七绝诗。现在虽然已时隔半个世纪，我还不忘当年慈母赐儿的曾国藩教弟的这首诗。终身受用，乐趣无穷。
与邻里、乡亲相处，以宽忍为怀，凡事让人三尺是曾国藩以退为进、处世不败的一个秘法。
曾国藩家风传乡里，人们至今还在传颂。尽管曾国藩家教极严，但其四弟曾国潢违教者多、听从者少，在乡最为跋扈，颇为人们所怨恨。
就说同治年间，湖南哥老会起，特别是湘乡地方，原来参加湘军的人多，遣散返乡后，参与哥老会的甚多。曾国潢在乡，不仅剿杀哥老会卖力，而且地方有什么“憎恶”的人，他就捆送县府，请求杀掉。凡是他有所请，县府不敢不服从。有时捆送五六十人，也很难有几个生还的。当时的湘乡县令熊某，是个佛教徒，秉性慈善，接到曾国潢的请求，不答应抗不过他的权势，答应了又良心折磨太甚。所以每接到要他杀人的手令，总要躺着哭几天。友人问他哭什么，他回答说：“曾四爷又要借我的手杀人了！”有一年，湘乡县城新建一个码头，按惯例是杀猪宰羊，用“三牲”来祭祀，后在曾国潢的主持下，杀了十六个人举祭。
曾国潢在乡间为人所恨，曾国藩是略有所知的。他常在家信中告诫诸弟：“吾兄弟当于极盛之时作衰时设想，总以不干预公事为第一义。”在倡导“八字”家风中，对其弟特别强调“宝”字，即“人待人为无价之宝也”，居乡勿做恶事。1857年曾国藩奔父丧在籍，听得曾国潢在乡间杀人太多，为人所怨，想要惩教其弟。一天，趁弟弟在床上睡午觉，曾国藩计上心来，向夫人要了一个锥子，猛刺其弟的大腿，顿时鲜血直流，染红了被褥。曾国潢对哥哥的这一举动，高声直呼：“残暴！残暴！痛死我了！”曾国藩又问：“吾只用锥刺了你一下，你就痛死了，你杀人家，人家痛不痛耶？”
经过曾国藩这一训诫，其弟不仅居乡杀人有所收敛，待百姓的态度亦有所好转。