李显正在一步步的接近死亡，恐怕他做梦也没有想到要他命的人，并不是让他畏之如虎的母亲，也不是自己的政敌，而是整天睡在自己旁边的女人，还有一个是自己视若掌上明珠的女儿。这两个女人，都是因为跟自己共患难过的，受到无限度宠爱，没想到可以共患难，却不能共享福。在皇权利益面前，自己的女儿和妻子，都成了要自己命的魔鬼。这样的皇帝当了又能怎么样。所以对于身背三让皇帝之名的李旦，早已经深刻领悟到皇帝并不是那么好做的。
尽管李显上台的当天，就封弟弟李旦为安国相王、太尉、宰相，妹妹太平公主成了镇国太平公主，摆出了一副兄妹治国的架势。然而，李旦和太平公主经历过，武皇当政的血雨腥风，对于这种欲情故纵，做做官样文章的行为，早已经有了免疫力。
所以，过了不到一个月，李旦找到哥哥，死活要辞去太尉和宰相的职务。李显想了又想，劝了又劝，最后同意，但提出了一个条件，要李旦出任“皇太弟”。他的意思是说，老弟，哥哥现在是皇帝，百年之后俺不把皇位传给儿子，传给你，你看如何？李旦当场冒汗，捣头如蒜，打死也不干。他人虽老实，心却并不糊涂：噢，你有儿子，还不只一个，不传他们，传我，鬼才信呐！再者说，哥哥你又说了不算，嫂嫂还在呢，她能答应吗？俺可不能犯傻！
事实上，李家兄弟都不是治国安邦的材料，大主意没有，小算盘不会。李显贵为天子，却听命于妻子；李旦醉心于艺术，不愿过问世事，不愿趟浑水；太平公主倒有两下子，但碍于嫂子兼皇后的韦氏，展布不开手脚，暗中生闷气，实在没办法。兄妹同治，成了虚话。
韦皇后控制了老公李显，勾搭上了亲家武三思，有了自己的小圈子，渐成气候，在国事和家事上说一不二，大有成为武则天第二的势头。
李显见弟弟如此坚决，不愿再逼他，随他去了。李显要立李旦为“皇太弟”，可能有三个原因：其一，心血来潮。弟弟不想干了，李显心中过意不去，极力挽留，见弟弟仍然不肯回头，情急之下，就开出了大价码；其二，兄弟情深。他俩的六位老兄都已经不再人世了，李显心中黯然，对这个唯一活着的弟弟格外珍惜，真心要将皇位传给他；其三，可能是受韦氏忽悠，想以此试探一下弟弟，看他是否真无野心。
假如真是第三个原因，李旦要是喜滋滋地答应了，那麻烦就大了。好在李旦是个实诚人，心里怎么样，就怎么说，怎么做，根本没有别的想法。对弟弟的表现，李显又是感动又是愧疚，暗暗发誓，一定好生护着弟弟。
李旦不爱管闲事，哥哥说了算也罢，嫂子拿主意也罢，他一概不思、不闻、不问，只顾练习他的书法，研究他的文字。你说他是明哲保身也好，说他韬光养晦也罢，李旦就是凭借着遇到事情，就装孙子的本事，保全了自己全家人的姓名和安全，包括自己胸有大志的三儿子李隆基。
辞去了官职，摆脱了令人生厌的繁琐事物，李旦兴奋地一溜烟跑回了相王府，召来几位饱学之士，关起门来切磋书法，研究金石，谈论艺术，外面就是刮起八级狂风，他也不顾。别忘了，他还是个王爷，又是当今圣上唯一在世的亲兄弟，爵高位尊，有的是银子，养几个闲汉当然不在话下。这样逍遥的日子，一晃就是两年。
李旦忘了外面的世界，外面的世界却没有忘记他，有人时刻惦记着他，看着他碍眼，一心要拾掇他。
景龙元年（707）七月，李显的儿子、时为太子的李重俊，发动政变，兵败被杀。
李重俊此举，完全是被逼无奈，逼他的是皇后韦氏和安乐公主。
韦氏想做武则天第二，安乐公主想做则天三世，娘俩都琢磨着当个女皇玩玩。李重俊不是韦氏生的，是李显和其他婆娘捣咕出来的，韦氏原本就有气。他当了太子，皇位早晚是他的，坏了韦氏的好事，断了安乐公主的好梦，娘俩当然放不过他，百般凌辱欺压，终于惹毛了毛头小伙子李重俊，自投罗网，身败名裂。
韦氏计谋得逞，放下了心，只等时机成熟，取李显而代之。安乐公主虽然年轻，想得却比母亲要远。在她看来，母亲和自己要当女皇，阻力和障碍不是父亲李显，李显好对付；也不是小弟弟李重茂，他还是孩子，收拾起来容易得紧。只有叔父李旦和姑母太平公主，是个大大的麻烦。
他们的势力不可小视，而且父亲曾有过要传位于李旦的想法，虽然他不干，但只要他活着，这种可能性就存在。假如父亲李显死了，母亲韦氏掌权，他们还有可能让嫂嫂三分；要是母亲也过世了，叔父和姑母能买自己这个侄女的账吗？能让大唐接二连三的出产女皇吗？因此，安乐公主处心积虑地想搬掉李旦这块前进道路上的大石头。然而，现在的李旦已经没有必要再装孙子了，因为自己的三儿子李隆基正在悄悄的崛起。