本来，清朝的军事体制吸取了历朝历代的教训，主旨在于防止武官造反。为此，国家每有战事发生，临时派遣亲王、郡王为大将军，这就是统帅；兵则一般东省五百、西省八百，临时凑成几军。有大战事，则派京师劲锐八旗，也是从各旗抽调。这样，兵与兵不相知，将与将不相识，兵、将之间更难有“私属”关系发生。这种立意防范的体制到了嘉庆年间已经越来越不适应。因此，当白莲教五省起事后，清廷在利用国家传统的正规军打仗的同时，也让地方官员举办团练，以自保乡里。这后一种不起大作用的新办法到了咸丰初年却派上了大用处，唱起了主角。原因除了军政腐败外，更重要的是清朝的财政十分枯竭，正规军一年的兵饷两个月都开不出。而且，国库空虚，再拿不出打仗的钱来驱使绿营兵。在这种情况下，清廷突破了“变通”的政策界限，让地方大员自筹兵饷，自办团练，也就是朝廷给了个最大的战时政策：八仙过海，各显其能。
这一体制的转变造就了曾国藩一生事业的转机。否则，天下无论如何大乱，也轮不到他这个汉人进士去指挥千军万马。
曾国藩是一个善于抓住机会为我所用的人。他用咸丰帝的“练”字招牌，开始了驰骋疆场建功立业的人生历程。
团练是保甲法的遗意，用于防守地方小股盗寇还勉强称职，如果用来防御强敌就变得无能为力。多少年后，曾国藩的幕僚薛福成在总结曾大帅成功时还颇有感触地说：“有得力之劲军以剿强寇，而以团练辅之，为坚壁清野计则可，专恃团练以剿强寇则不可”。他还指出：无论从决策层还是言官们，都认为团练可以成功，因为没有筹饷之难，没有募兵之劳，反而能坐享其成，“其说非不美也”。但作为思想家的薛福成却一针见血地指出：“天下事没有实际意义的很少收到成效，而务虚名的多留后患。”他举出三个例证：一个是罗绕典，当时在籍“丁忧”，闻诏后即赴长沙与本省巡抚会办军务；另一个是前刑部尚书陈孚思，在南昌与江西巡抚办军务。这也是清廷最早任命的团练大臣。由于二人与巡抚同在城中，又时间非常短，因此虽然没有收到成效，但也不至于互相倾轧。后来者就不同了。像安徽的吕贤基，以工部侍郎在籍办团练，但当皖北危急时，无兵无饷，赤手空拳，最后殉难舒城。
与这些人相比，曾国藩走出一条新路：这条新路即打“练”字招牌，将勇改练成军。所以薛福成说：“文正以团练始，不以团练终，且幸其改图之速，所以能成殄寇之奇功，扩勇营之规制也”（《薛福成选集》，《叙团练大臣》）。
曾国藩属于帮办团练，咸丰帝在接连发下的办团练谕旨中，一再申明办兵原则，即不能取代正规军：“著各该抚分饬所属，各就地方情形妥筹办理，并出示剀切晓谕，或筑寨浚濠，联村为堡；或严守险隘，密拿奸宄。无事则各安生业，有事则互卫身家。一切经费均归绅耆掌管，不假吏胥之手。所有团练壮丁，亦不得远行征调。”这是镇压白莲教起义故技的重演，妄图以此遏制太平军扩大兵力，“驱民为寇”，由于团练不脱离生产，不拿政府军饷，不离本土本乡；同时，团练还要接受地方大吏的督促和管辖，因此团练大臣则只是帮同办理。
但曾国藩对这样办团练不感兴趣。他要另立新军。
曾国藩认为，对付集中而强大的太平军，必须有一支强悍敢战的军队。有了它，太平军返回湖南，可以据城抵抗，守卫桑梓；太平军不来湖南，则可以出省作战，主动进攻。而这支军队的来源，就是自己募勇训练。
曾国藩带领湘乡练勇赶到长沙后，就向湖南巡抚张亮基表示了他的以上想法。所谓“英雄所见略同”，张亮基也早有此意，二人遂一拍即合。因此，曾国藩到达省城的第二天就发出了他早已拟好的奏折。
曾国藩通达政务，对清廷政治的运作过程十分清楚。因此，对于回乡之后的第一份奏折，他写得很委婉，第一层讲了自己遵照皇帝谕旨，前往长沙办团练，是“勉竭愚忠，稍分君父之忧”。第二层讲团练虽然好，但今昔不同，因为嘉庆年间是官给发饷，现在需要乡绅自己出钱，弄不好会走向反面。第三层讲长沙现今空虚，必须练兵才能缓急可恃。最后则抛出自己的练兵计划，他说：自军兴以来二年有余，时日不为不久，糜饷不为不多，调集大兵不为不众，而往往见贼逃溃，未闻有与之鏖战一场者；往往从后尾追，未闻有与之拦头一战者；其所用兵器，皆以大炮、鸟枪远远轰击，未闻有短兵相接以枪靶与之交锋者。其故何哉？皆由所用之兵未经训练，无胆无艺，故所向退怯也。今欲改弦更张，总宜以练兵为务。臣拟现在训练章程，宜参访前明戚继光、近人傅鼐成法，但求其精，不求其多；但求有济，不求速效。诚能实力操练，于土匪足资剿捕，即于省城防守，亦不无裨益。臣与抚臣熟商，意见相同。
清廷急于平定太平天国，因而只要对此有利，就都开了绿灯。因此咸丰帝令其“悉心办理，以资防剿。”曾国藩的练兵计划获准通过。
曾国藩的政治眼光确实比清政府及同时代的官僚们高出许多。他看到了问题所在他的计划通过后，给朱孙诒的信中说，“去冬之出，奉命以团练为名，近来不谈此二字，每告人曰乡村宜团不宜练，城厢宜练不宜团。如此立说，明知有日就解散之弊，然解散之弊尚少，若一意操切行之，则新进生事者持札四出，讹索逼勒，无所不至，功无尺寸而弊重邱山，亦良可深虑也。”在给张亮基的信中更直截了当地说：“惟团练终成虚语，毫无实裨，万一土匪窃发，乡里小民仍如鱼听鸣榔，鸟惊虚弦……难可遽镇也。”他还在批给手下人的批牍中，将本来并无二致的“团练”一词，“谬加区别”，一分为二。他说：“团练”二字须分看。团，团即保甲之法，清查户口，不许容留匪人，一言尽之矣；练，则简兵请师，制械造旗，花费颇多，故乡民不肯举行。本部堂每与各州县道及，宜乡间团而不练，城厢练而不团，庶几有益而易行。”
曾国藩是文章高手，更是通达时变的人。他改造“团练”，使他与当时的四五十位团练大臣分道扬镳。而且，由于“改图之速”，所以“立竿见影”。当然，艰辛的过程又非三言二语可以道破。
北宋刘书在《刘子·兵术》中说：“万人离心，不如百人同力。”宋人许洞也说：“和于国，然后可以出军；和于军，然后可以出阵；和于阵，然后可以出战。”曾国藩不仅是从理论上，而且从以往的经验和教训中，认识到一个群体团结的重要性。
他在给林源思的信中说道：现在大营所调之兵，东抽一百，西拨五十；卒与卒不和，将与将不和；彼营败走，此营不救；此营败走，彼营不救；此营欲行，彼营顾止。离心离德，断不足以灭剧贼而成大功。
曾国藩深恶痛绝的还是八旗绿营彼此“败不相救”，他在给江忠源的信中说：“国藩每念今日之兵，极可伤恨者，在‘败不相救’四字。彼营出队，此营张目而旁观，哆口而微笑。见其胜，则深妒之，恐其得赏银，恐其获保奏；见其败，则袖手不顾，虽全军覆没，亦无一人出而援手拯救于生死呼吸之顷者。”关于这一点，早在衡阳练军的时候他就已经充分认识到了，他说：今欲扫除更张，非万众一心不可。
因此，他认为绿营军的种种恶习、积习、陋习必须一扫而光，他制定了“别开生面，斩断日月”，“改弦更张，赤地立新”的方针，立誓要创建一支崭新的军队。为了他新建团体的“纯”，曾国藩招募湘勇、组建湘军时，决定一个绿营兵也不要，他怕“一根鱼腥一锅汤”，怕勇丁染上官兵习气。这是一支“士卒精强”，“制械精致”的武装，一支可“破釜沉舟，出而图事”的劲旅，一支“诸将一心，万众一气”的队伍。
为此，他为自己所要编练的湘军确定了最基本的建军标准。用他的话说，这支军队必须要能够做到：呼吸相顾，痛痒相关，赴火同行，蹈汤同往，胜则举杯酒以让功，败则出死力以相救。太平军有誓不相弃之死党，吾官兵亦当有誓不相弃之死党。只有这样，才可以血战数次，渐新吾民之耳目而夺逆贼之魂魄。
这是一个相当高的建军标准。为了达到这个标准，他从招募勇丁、挑选军官以及军官对勇丁的控制等各个方面提出了具体的要求。同时，还创制了《要齐心》的歌谣：
我境本是安乐乡，只要齐心不可当。
一人不破二人帮，一家不及十家强。
你家有事我助你，我家有事你来帮。
若是人人来帮助，扶起篱笆便是墙。
……
纵然平日有仇隙，此时也要解开结。
纵然平日打官方，此时也要和一场。
大家吃杯团圆酒，都是亲戚与朋友。
百家合成一条心，千人合做手一双。
8
礼法结合，以法为主
曾国藩认为，如果执法者“心不公明，则虽有良法百条，行之全失本意。心诚公明，则法所未备者，临时可增新法，以期便民。”曾国藩重视执法中强调人的作用，认为法执行得如何，完全在于人是否熟悉法以及能否公允地运用法。
曾国藩熟读春秋诸子百家学说，他特别推崇法家思想，在为官的生涯中，他主张严刑、峻法，对官吏要清除腐败之风，对民众则要用严刑、惩治奸猾之徒。曾国藩在湖南时，处理在乡间为非作歹的恶霸奸猾之人，轻则立毙杖下，重则处以斩首，决不手软。对于罪不致死的刁民，关押起来之后少不了一顿鞭子。也正由于此，曾国藩有了一个绰号“曾剃头”。
曾国藩一方面提倡严刑峻法，同时，他也重视传统思想教化的一面，主张礼法结合，礼治在先，施用严法是为了保证礼治的实际。
曾国藩重视执法人才的品格、才识，要求执法者既公又明，为民便民，否则立法再好，也会“全失本意”。他强调“任法不如任人”，这既是历史经验的总结，又对后来产生了深刻的启示和影响。如光绪年间刑部尚书薛允升说：“有法治而无治人，法亦系虚设耳，有法治尤贵有治人。”请求修订法律大臣沈家本认为，执法人才之重要，不仅在立法，更在执法，并说：“有其法者，尤贵有其人矣。”
曾国藩主张认真执法，重视执法人才，而执法人才主要是中央和地方的各级官吏。官吏有维护政权、保证实行国家所定法律的责任。官吏掌握着执法权，有可能利用法律谋取私利、毁坏法制，破坏法律的执行；军队是国家机器，可能用武器破坏法律的执行，甚至违法乱纪。因此，曾国藩要求以法整顿约束官吏和军队，保证法律的真正实行。
曾国藩提出以法治吏之论，首先明确为官任职是为民，并将管理钱粮、狱讼视作为民的主要标尺。曾国藩采取培养、甄别、选举、考察等方法选拔官吏。对于官吏的要求是平等待人，不贪污不受贿，用人唯公唯贤，不唯私唯亲。对于谋私、受贿、害民之吏，惩治严厉，立即斩首，就地正法。中国历史上，《汉律》、《唐律》及以后立代法律，对贪污受贿、谋私害民的官吏均有惩治规定。如《唐律》将“枉法”、“不枉法”、“受所监临财物”列入“六赃”。有公允的执法者是实现“赏一人而天下劝，刑一人而天下惩”的良好的执法局面的前提。曾国藩认为，如果执法者“心不公明，则虽有良法百条，行之全失本意。心诚公明，则法所未备者，临时可增新法，以期便民。”曾国藩重视执法中强调人的作用，认为法执行得如何，完全在于人是否熟悉法以及能否公允地运用法。他强调：“任法不如任人。”只有“公民”、“便民”的执法者，才能认真执法，公平断案，维护法律的严肃性。
曾国藩十分痛恨冤狱累讼。他说，冤狱太多，民气难申。冤狱的严重和普遍，必然导致反复拖拉，牵连无辜，百姓的冤枉、痛苦也就不能避免。正如曾国藩所说：“一家久讼，十家破产；一人沉冤，百人含痛。往往有纤小之案，累不结，颠倒黑白，老死囹圄，令人闻之发指者。”为了防止冤狱累讼的发生，曾国藩严禁私自关押。他曾出榜晓示官吏和百姓，凡关押人犯、证人，本州县必须及时立牌晓示，包括姓名、日期、理由，使众人周知。如有私押者，“准该家属人等喊禀，以示严究”。这是杜绝执法者以权谋私和乘机违法乱纪所采取的有力措施。
对于符合条件的关押人犯，曾国藩认为必须依法从速处理。他明确规定，全省大小衙门传达司法公文从速处理不准拖拉，保证发审局应加以整顿；州县长官要亲自处理狱讼六事；禁止文书差役敲诈勒索；四种四柱册按月呈报、悬榜，讼案久悬不结者，核明注销；严办诬告讼棍；奖励公明便民的执法者；改变陈旧保守的风俗习惯等。
由此可见，曾国藩关于清讼的思想中已注意到机构的整顿改革、管理的手续和制度，执法人员的奖励、以及影响决狱断案的风俗习惯的改变等。
在清讼事宜中，曾国藩把“州县须躬亲六事”置于最重要的地位。州县长官必须亲自收状、拟定和审定有关文告，承审期限亲自计算，能断案件，立即断结，对命盗案件“以初供为重”，“常往看视”关押之犯等。无论对案件的慎重处理，对犯人的关心爱护，还是在总结执法的经验教训方面，都是曾国藩的创见。
治军是曾国藩的重要事务，他重视孔孟“仁、礼”对治军的重要作用。他认为，用恩莫如用仁，用威莫如用礼。他的“仁”，就是“欲立立人，欲达达人”，他的“礼”，是无众寡、无大小。