同时，益州（巴蜀一带）的二十四个地区的少数民族还发生了叛乱，兵力足足三万人。朝廷只好派水衡都尉吕辟胡招募士兵，在犍为郡（四川贵州交界一带），蜀郡（成都一带）发动应急预备役，才将叛乱平息。
刚刚执政没多久，霍光就感觉到了不容易，最要命的是，这年金日磾还去世了。上官桀还在塞外，桑弘羊只管财政，田千秋一大把年纪就知道和稀泥……霍光都想改名叫压力山大了。
不过这三个人真义气，武帝遗诏，说要让霍光、金日磾、上官桀他们三个封侯。金日磾认为皇帝还年轻，就是不愿意接受，霍光他们也不好意思。知道金日磾病重了，才愿意接受封侯，第二天就病逝了。
金日磾的儿子，我说过了武帝的干儿子，从小和小皇帝在一起。金日磾去世了，小皇帝问霍光：“大将军叔叔，金家两兄弟为什么只有一个封王呢？”
“因为金家大哥哥是长子，继承了他父亲的爵位，就像你继承你爸爸的皇位一样啊。”
小皇帝笑了，问：“大将军，封不封侯，不还是我们两个一句话么？给金家二哥哥也封侯吧。”
霍光说：“陛下，按照祖宗的制度，没有功劳是不能封侯的。”
我们现在常说，中国古代都是封建君主专制体制。首先对于“封建”，我就有看法，暂且不论；说是君主专制，我承认，但是不得不正视这其中朦胧的“立宪”意识。中国古代的政治，从汉代开始，应该就是一种朴素的二元制君主“立宪”国家，这个“宪”，一来是法律，二来就是祖制。
国家慢慢走上正轨，霍光也渐渐驾熟就轻，处理政事那是得心应手，底下人也都服服帖帖。为了避嫌，霍光还在汉朝皇室成员中挑选了一些有能力的进入中央，和当年的吕氏家族反着来。
与汉朝的团结和蒸蒸日上相比，匈奴则陷入了困顿。多年的战争也让匈奴人口锐减，马匹牲畜的数量也大不如前。匈奴在武帝后期就几次想要和亲，但是都没能成功。这次汉朝新皇登基，匈奴也想和亲，但是——狐鹿姑单于死了。
这简直是天意，狐鹿姑单于的儿子也还是个孩子。临死前，狐鹿姑单于下了遗诏：“我儿子岁数太小，还不能治国，立我弟弟右谷蠡王为单于。”
这时，狐鹿姑单于的母亲早就把他的异母弟弟左大都尉杀了。这会儿狐鹿姑死了，颛渠阏氏（正妃、皇后的意思）和卫律又在瞎鼓捣，秘不发丧，假传圣旨。最后和贵族们一起商议，签订盟约，将单于的儿子左谷蠡王立为单于，称之为壶衍鞮单于。
这下好了，匈奴乱套了。左贤王和右谷蠡王都不服，秘密谋划着投奔汉朝——不行，我们双手沾满了汉人的血，投降了凶多吉少。
于是他们找来单于身边的卢屠王，胁迫他一起投降乌孙。卢屠王不吃这套，硬是把这事汇报给了壶衍鞮单于。单于派人去调查，结果左贤王和右谷蠡王反咬一口，说是卢屠王想投降，他是恶人先告状……
从此以后，左贤王和右谷蠡王再也没参加过每年五月的龙城祭祀。
匈奴陷入困境，对霍光来说当然是好事，正好这时候西南、南方不是很稳。果然，两年后（前83），西南的姑缯族、叶榆族又发生暴动，水衡都尉吕辟胡再次出兵镇压。
为什么派他呢？因为他有经验，但是……那些叛军也有经验啊。叛军一路杀把益州的一个太守给杀了，等吕辟胡到了那里，叛军士气正盛，汉军战死的、淹死的多达四千人。
没办法，这年底吕辟胡被撤职，据说吕辟胡是吕布的祖先，也不知是真是假。接替吕辟胡的是大鸿胪（管外交和少数民族）田广明。
趁着汉朝处理南方的事情，匈奴大举入侵代郡，说起来匈奴都好久没到这儿抢劫了，代郡的一个都尉战死。田广明接手吕辟胡后，事态出现好转，匈奴又急了。此时壶衍鞮单于还是个孩子，母阏氏（太后）生活作风也不正，国内离心离德。匈奴此时对汉朝有种惧怕心理，老是担心汉军来袭击。
卫律又给出了馊主意：“我们也像汉人一样，打井、修筑城墙，设置仓库管理粮食。这样，我们坚守城池和汉人对抗，汉军来了也要攻城。”
没想到匈奴单于和母阏氏还真信了，当真打井筑城。眼看都打了好几百个井，砍了好些个木材了，匈奴又有人说：你们开什么玩笑，我们匈奴军队从来没有接受过守城战的训练，这么搞，难道要给汉人当后勤官，白白地把储存的粮食给汉朝？
于是这项工程又停止了，翻来覆去，匈奴日子越来越不好过，越发想要和亲。
但是，汉朝都对匈奴和亲的意图理都不理——你们早干吗去了？
第二年，也就是始元五年（前82），田广明和军正王平在益州取得大捷，杀敌五万人，获得牲畜十多万。此后今天甘肃一带的氐族人也时常闹独立，田广明和韩增等人一直坐镇西部，保卫国家的领土完整。
但是，时间久了，这几个顾命大臣之间也起了猜疑。首要原因就是政见不合，桑弘羊、上官桀等人希望继续加大政府对经济、市场的控制，继续当初武帝的战时经济政策；霍光、田千秋则希望放宽对市场的掌控，不要让国有资产体制僵化，秉承武帝最后几年的主导思想，以发展经济为主要目的。
开始，霍光和上官桀还是一对亲家，霍光的外孙女是上官桀的孙女儿。后来靠着皇上姐姐的关系，上官桀的孙女儿正好和小皇帝差不多大，还进宫当上了皇后。
两人关系本来非常好，有时候霍光请几天假，上官桀就帮他处理下政事。后来上官桀的儿子也成了将军，位高权重，加上政见不合，慢慢开始和霍光争权。
霍光觉得自己有责任搞好这个国家，武帝晚年的做法是正确的。现在国家满目疮痍，国库空虚，为了躲避徭役和赋税，很多百姓甘愿成为黑户，国家户口减少了将近一半。为了显示国家重建经济的决心，八岁的昭帝即位之初，霍光就带着他体验耕田，始元二年（前85）还曾经减免过当年的农业税。
无论如何，他不能让上官桀他们胡闹下去，民间尤其是学术界对桑弘羊等人的意见也越来越大，普遍存在着将武帝时期桑弘羊的所有改革全部废除的呼声。而身为既得利益者的官员们，普遍不愿意接受经济体制的改革，尤其是那些官营企业的老总。
此时的霍光面临可能里外不是人的尴尬局面——如果全面否决桑弘羊，那么国家经济会倒退到文帝时期，一切又要从头开始，底下官员和公务员把他骂个半死倒是不怕，要是最后因为财政崩盘而亡国，那就是千古罪人；但是如果继续让桑弘羊主持经济，推行战时经济政策，深化和巩固国有制，民间的反对呼声越来越大，且不说以后历史怎么看他，单单是民意支持率就够他喝一壶，水能载舟，亦能覆舟。再从自私的角度说，真要让桑弘羊这样下去，他的位置很快就会被上官桀取代。
但是，霍光不愧是霍光，身为武帝一手栽培的对象，他自有一个好主意。
正好，一个叫杜延年的官员向霍光提议：“今年年成不好，很多外出流亡的农民还没有回到户籍所在地。现在国家赋税还是有点重，物价也被那些官营企业抬得老高，怎么都压不下去。农民们在外面工作也好，回家种田也好，都赚不到钱，国家经济表面出现恢复，实际上还是不行。应该恢复一部分文帝时期的政策，提倡节约、宽大、和谐，顺应天意，提高民意支持率。最好，明年开年就拿这个事情讨论讨论。”
“这个事情，还是大家一起商量的好。”霍光知道，改革的时机已经成熟了。
始元六年（前81），那是一个春天。有一个小孩，在一道诏书上盖了一个章，命令有关部门让各个郡国选举出代表，称之为贤良、文学，让他们去中央开会。贤良就是道德模范，文学就是知识分子，除了这两种人之外，还有就是“天下豪富民”，用现在的话说叫民营企业家。好吧，隐隐约约确实有一种熟悉的味道。
这些地方代表进了会议厅，代表的代表走来就是一句：“现在最需要改革的，就是解除盐铁专营，废除酒精饮料专卖和均输制度。”
而此次会议的政府代表，正是桑弘羊，而丞相田千秋则负责打圆场。至此，中国历史上赫赫有名的盐铁会议，隆重召开。
但是，由于地方代表来路复杂，既有知识分子、道德模范，又有企业老板，甚至还有被请出山的隐士。他们或者为了自身的政治理想，或者为了自己的政治抱负，或者是为民请命，或者是为了所在阶级的利益。
因此，会议的内容不断扩大，从盐铁国营这一个点出发，就未来国家经济政策、政治政策、主流思想意识形态、外交政策、刑法政策展开了充分的、空前的、甚至在中国古代史上绝后的一场大讨论。