这耻辱感由来已久。为了向上爬，严嵩主动讨好这位同乡，但夏言一度对他不冷不热，难以巴结。夏言对严嵩自有定见，肯定他的文才，又认定此人非治国能臣，因谈起政事的处置，严嵩并无主见，即有也见解不高。严嵩可不管这些，坚持不懈地巴结，宁用热脸贴冷屁股。一次，严嵩求见夏言，瞧见夏言中堂壁橱里有一玉质底座的古董，便留了心，后经打听，才知夏言性爱古董，这玉质底座乃一对玉马的底座，而那对玉马却踏破铁鞋无觅处。严嵩回府就打发人寻觅，可惜多方寻觅而不得。夏言这人，送金银是使不得的，投其所好而送古董也许会收。事关自己前程，严嵩全力以赴。一天，严嵩正在房内为觅不到玉马发愁，严世蕃风风火火走进房来，走近严嵩垂手侍立一旁，对严嵩说：“父亲不必为玉马发愁，孩儿打探得有件至宝，价值胜于玉马数十倍，弄来送给夏言，岂不更好？”严嵩忙问：“是何稀罕物？如此金贵！”严世蕃不慌不忙，把那至宝的详细情况禀明父亲。
原来，那宝物是一幅北宋徽宗收藏的风俗画长卷，系徽宗时翰林图画院画师张择端所作《清明上河图》长卷。一听是《清明上河图》，严嵩兴奋得差点跳起来。他知道此图描绘清明时节开封汴河沿岸店铺林立、各色人等熙熙攘攘的场面，反映漕船在汴河驶过的紧张繁忙景象，价值不菲。严嵩便问：“此画而今在谁手中？”严世蕃说：“王忬。”“莫非就是太仓进士，现任行人司行人的那个？”“是也。”
严嵩立马将王忬找来。见吏部侍郎接见，王忬还以为有好事天降，不料却是求购《清明上河图》。此图王忬好不容易重金购得，本就爱不释手，如何肯转让？王忬当即露出了尴尬的神色。见王忬面露难色，严嵩笑说：“君子不夺人所爱，此事老夫也羞于开口，只是受人所托，不得已也。如你不愿忍痛割爱，老夫……”王忬打断了严嵩的话头问道：“不知哪路神仙看中此画？”严嵩神秘地摇了摇头：“说不得，说不得！”
严嵩越是不愿说出是谁委托求购，王忬越是摸不着头脑。怏怏返回之后，王忬沉思默想了三天，慢藏诲盗，冶容诲淫，自己藏有《清明上河图》之事既被发觉，绝非好事，更不知严嵩背后那人是谁，倘是高官贵戚，如果坚拒，恐怕于己不利。于是在严嵩召见的第四天，王忬卷起长卷，亲自送入严府，直把严嵩乐得合不拢嘴。至于价钱，王忬也不敢多要，自己六百两黄金购来，只开口三百两黄金，自然亏大了。
严嵩拿到《清明上河图》，便和严世蕃一起先赏为快。原来长卷分两部分，一部分是农村景象，一部分是市集景象。全卷人物八百余，身份、神态各异；牲畜八十余匹，形象毕肖；房屋楼宇三十余栋，车十余辆，轿十余顶，桥十七座，树近两百棵，可算是皇皇巨制。
不看犹可，欣赏之余，严嵩竟爱不释手，他叹了口气：“这稀世之宝，馈赠夏老儿，太可惜了！”谁知儿子严世蕃却说：“父亲不必惋惜，此物送与夏老儿，只不过让他代为保管罢了，待其倒台，父亲位高权重，还怕收不回来？”
严嵩一想也是，自古舍不得孩子打不得狼，有舍才有得，先舍后得，舍小得大，这笔账还是划算。
于是，挑一个黄道吉日的傍晚，严嵩携画亲赴夏府，寒暄之后坐定，严嵩说：“前见辅相橱中玉马底座，下官有意寻觅玉马归槽，谁知遍寻京师古玩市场不得……”夏言笑道：“此事严大人怎么知道的？”严嵩不答，继续说：“谁知无心插柳柳成荫，玉马未寻得，却觅得一稀世奇珍。”夏言一听，乐了：“何为稀世奇珍？”严嵩笑说：“张择端的《清明上河图》。”夏言闻言，一拍太师椅的靠手说：“果真？”“下官岂敢胡诌。”接着便走近桌子，取出长卷，缓缓展开。
夏言俯身细算，然后转身入书房，手中拿一块镜片，照着那画细看，口中连说：“果然是稀世之珍，不假，不假。”
见夏言乐不可支，严嵩说：“此画得自意外，但福薄之人，藏之有祸，故下官意欲奉呈辅相，望辅相笑纳。”夏言闻言顿时变脸，严肃地说：“不可，不可，严大人勿陷老夫于不义！”见夏言拒绝，严嵩慌神，好说歹说，最后，夏言收下长卷，吩咐管家，称五百金硬塞给严嵩了事。事后，严嵩得知此画没有徽宗收藏时的印章，也无徽宗亲书于画上的瘦金体“清明上河图”五字，是个赝品，就此深恨王忬，最后借机要了王忬的命。
王忬浑然不觉，而夏言也分不出真假，与严嵩的关系却比前融洽多了。可是严嵩心里是憋屈的。
又一次，严嵩与老妻欧阳氏生日，因夫妇俩同岁，这寿宴就同日举办。前来恭贺的都是朝中贵官，夏言受到邀请，便勉强前往。本想给严嵩个面子，略坐便走，但六部百司皆到，推杯换盏，场面十分热闹，一时脱身不了。突然，心情愉快的严嵩与老妻欧阳氏联袂走近夏言说：“夏阁老能光临寒舍，真是蓬荜生辉，下官敬阁老三杯。”在场的贺客目光都聚焦过来。夏言倒也不想推辞，免得扫了严嵩的雅兴。但他傲气依然，在这私下场合也不忘摆谱，说：“好啊！不过这三杯酒，寿星总得有个说法。”严嵩不免心头一紧，敬酒确实要讲点理由的，只怪自己大意，毫无思想准备。这场面，说错话问题就大了去了。不可得罪夏言，这三杯酒也不能被拒，不然太没面子了！他感觉到老妻急促的呼吸，两眼余光又看到众官员都盯着自己，一着急，两腿不听使唤，竟已跪下，说：“嵩闻人生受三恩：生而为人，受天地之恩；哺育成长，受父母之恩；慧眼知人，受伯乐知遇之恩。嵩受夏公知遇之恩，胜似天地父母，今三恩并作一恩，聊敬三杯，请夏公赏脸。”严嵩这番话，太肉麻了。未及跪下，也许不愿跪下的欧阳氏满脸羞愧，悄悄拉了拉老伴，而夏言也不好意思，迅速满饮了三大杯。看到年纪长于夏言，须发皆白的严嵩跪倒尘埃，并把夏言比作父母，徐阶的心里不是滋味，这是演的哪一出？徐阶不禁为夏言的傲气担忧，作为首辅，这傲气是致命的；又为严嵩的怯懦、谄谀难受，这样做实在有失大臣的体统。至于严嵩，则又一次感到屈辱，他和泪连饮三杯，把屈辱埋在心底。“狗窦欲钻，龙门欲跳，牙齿舌头谁长久，且看来日，谁能坚持到最后。”严嵩想。
机会很快就来了，夏言与郭勋交恶，斗争愈趋白热化。这郭勋委实不是什么好货，但权势很大。他是郭英的六世孙，而郭英却是追随太祖皇帝逐鹿天下的功臣，在江南作战时，一箭射死陈友谅，爵拜武定侯，传到六世，这武定侯的爵位，自然由郭勋承袭，且封进翊国公。在武宗、嘉靖时，郭勋历任提督三千营、两广总督、京师左军都督，主管京师四郊兴建之事，常代替嘉靖祭天地、祖宗。后世小说家称郭勋不学无术，其实不然。他雅好文艺，编辑《皇明开运辑略武功名世英烈传》（简称《皇明英烈传》），刻印过《水浒传》、《三国演义》。不仅如此，郭家与皇家还世代联姻，是地道的皇亲国戚。皇亲国戚而又手握重兵，郭勋就日益的骄横起来，负责京师四郊的工程就是掌控钱袋子。郭勋因肆无忌惮地贪污受贿兼目空一切，又欺凌大臣，口碑很差。严嵩就找准了郭勋，只要达到向上爬的目的，魔鬼也可成暂时的盟友！
嘉靖十八年（公元1539年），嘉靖帝驾幸承天府。这承天，就是原安陆州（今湖北钟祥），嘉靖十年（公元1531年）改为承天府。这里既是嘉靖父亲当兴献王的封地，又是嘉靖父亲显皇帝的陵墓所在地，更是嘉靖的诞生圣地。嘉靖亲临承天府，一是为祭扫显陵，踏勘皇陵的状态，打算将母后的灵柩移来合葬；二则纯粹是为了衣锦还乡。嘉靖在这一点上，颇似当年西楚霸王项羽。富贵不还乡，就如衣锦夜行。当年的兴献王世子，而今贵为天子，显摆一番，也是人之常情。
但是，夏言很有腹诽。这一年，三卫入侵，鞑靼犯大同，继犯宣府，宁夏大灾，辽东大饥，国家处多事之秋，夏言日理万机，忧心忡忡。此时嘉靖出巡，年仅四岁的皇太子监国，一旦国有大事，未免手足无措。但是夏言不敢明言，他深知皇帝的个性，越反对越僵。严嵩却私下高兴，驾幸承天，正是礼部大显身手之时，他夜以继日拟定出行的各种事项，祭陵的有关礼仪。锦衣卫都督陆炳则忙于挑选骁勇的卫士，护卫圣驾。
对此次巡幸，多疑的嘉靖命身边的心腹太监，观察大臣的反应，谁踊跃，谁反对。当他得知唯独夏言对此漠然，心中就老大的不快。
嘉靖巡幸承天，徐阶还在洗马任上，对夏言、严嵩交恶的内情一无所知。只知车驾二月从京师出发，四月回京，紧接着便是夏言罢官。这期间究竟发生了何事，只有嘉靖、夏言和严嵩知道。
原来巡幸承天之前，嘉靖命宣城伯卫针、遂安伯陈鏸、大学士顾鼎臣辅皇太子监国，夏言、严嵩随行，武定侯郭勋领兵扈从。这一路上，严嵩与郭勋比较热络，围在嘉靖身边，话挑嘉靖喜欢的说，事挑嘉靖乐意的做，马屁挑嘉靖舒服的拍，非常默契，把夏言撂在一边。夏言自然也围在嘉靖身边，但一脑门子的朝廷事务，边陲军事，显得漫不经心，更兼不习惯郭、严的面谀，又不善于掩饰，经常把脸拉得老长。难道要皇帝看你夏言的脸色吗？嘉靖心中益发不满，这是自然。
三月，车驾渡黄河，祭了黄河之神。到承天府，谒拜嘉靖生父显皇帝陵墓，然后在承天府龙飞殿上祭了上帝，设了睿宗神位。这睿宗即嘉靖之父显皇帝的庙号，同时祭祀社稷、境内山川、河渎诸神。礼成，嘉靖在龙飞殿上接受了群臣的朝贺，并颁诏书于天下。整个进程嘉靖都兴致勃勃。在自己诞生的地方，在父亲皇陵的所在，祭拜父皇、上天、山川，这本是旷古未有的大礼，府称承天，说明自己登帝位乃上承天意，殿名龙飞，象征自己这条龙在此地一飞冲天，位居九五之尊。这嘉靖怎么不高兴？但那夏言，扫了嘉靖的雅兴。嘉靖在龙飞殿受群臣朝贺之事，颇费周折。这原本是礼部拟定的仪程，夏言竟然反对，说群臣贺表皆由京师送到承天太费周章，按成规应待圣驾回京再受朝贺，可省不少周折。此言犹如在嘉靖的兴头上浇了一瓢冷水，嘉靖脸色立即阴沉下来，考虑到夏言的建言不无道理，嘉靖不得不同意回京之后接受朝贺，但心中不免怏怏。偏在此时，严嵩、郭勋再次敦请皇上在承天接受朝贺。严嵩振振有词说了几条理由：其中一条是承天府春意正浓，云气中弥漫着瑞气，因为这里是皇上龙体降生之地，更受天下百姓爱戴，才有此瑞气。所以皇上在此举行庆典，接受朝中大臣致贺奏表，才能上承天意，下符民心。这马屁拍得非常到位。嘉靖龙心大悦，便说：夏爱卿的建言，符合礼的规范，不错的。严爱卿的话，也很有道“理。古人说‘礼乐自上出’，只须天子做出决定，又有何妨？”于是决定在承天府接受朝贺。但对夏言这位首辅，已经有了恨意。
严嵩并非有意与夏言作对，他的本意是取悦皇帝，但无意中得罪了夏言。偏偏此时夏言又接到了边事紧急的飞报，便跪请皇帝从速回京。嘉靖正与郭勋、严嵩商量去大峪山游赏之事，夏言的跪请，再次拂了嘉靖的雅兴。嘉靖不禁勃然大怒，斥责道：“边塞之事，暂不劳卿费心，朕自有安排。再说了，朝中关心边塞安危的岂止你夏言一人？”当即下旨：“着夏言拟妥大峪山游赏事项和安排。”
也许夏言流年不利，此行连碰嘉靖的钉子，一面是边塞紧急，千头万绪，一面是直言劝谏，屡屡碰壁。夏言茫无头绪，又要安排游赏大峪山的事项。夏言心神恍惚，不知如何是好，自然迁怒郭勋、严嵩撺掇出巡承天，主张接受朝贺，怂恿皇帝游赏大峪山，只为献媚取宠，不顾国家安危。夏、严的梁子越结越深了。
也是夏言合该倒霉，心绪不宁的他起草游赏的安排才毕，嘉靖又召夏言、严嵩、郭勋议事，偏巧夏言不至。嘉靖即刻大怒，命人传夏言。待夏言赶到，嘉靖兜头就是一阵斥责。他慌忙伸手摸袖筒，却找不到起草好的奏本。一时慌忙，他将奏本忘记在驿馆里了。嘉靖怒不可遏，斥他“慢君”，吓得夏言扑通跪倒。待回到京城，夏言即被罢官。
夏言被罢，内阁就只剩翟銮一人。郭勋跑到严府眉飞色舞，毕竟多年的对头倒了。他欣喜地对严嵩说：“而今内阁乏人，分宜机会来也。”严嵩喜中有忧，据自己对形势的判断，夏言处理国事确有一手，内阁乏人，嘉靖一时恐离不开这个夏言，便说：“郭公且莫高兴，要不了多久，夏言必然官复原职。”
严嵩的判断没错，没过几天，夏言果然复职。其实，这是嘉靖驾驭臣下的手腕，朝中大臣的对立、争斗，他认为是好事，便于从中调慑。拍马抬轿之臣，他喜欢，但治国能臣，也不可少。信任的同时也须不时敲打一下，提醒他们不可忘乎所以。
惊魂未定，夏言重返内阁值班室，细思此番罢黜的前因后果，隐隐感到郭勋、严嵩联手对付自己的危机，与其束手待毙，不如先下手为强，扳倒郭勋，严嵩独木难支就成不了气候。夏言虽说才学兼优、精明强干，但他太缺乏自省了，平时对嘉靖恭敬不够，对自己刚有余柔不足的弱点毫无觉察，同时又小觑了严嵩。与郭勋相较，严嵩才是危险的对手。这为他以后的败局埋下了伏笔。