刘安坐在东宫，把伍被召来一起商议起兵造反的事，说：“将军请上前。”伍被听后，略带哀伤地说：“皇上已经宽容赦免了大王，大王怎么还说这种亡国的话！臣听说当年伍子胥劝告吴王夫差，吴王不听他的话，伍子胥便说：‘臣现在看到麋鹿野兽在姑苏之台游荡。’现在臣也看见大王的宫中长满荆棘，上面的露水都可以沾湿衣裳。”刘安听了大怒，下令把伍被的父母抓起来，关了三个月。然后，又召伍被来说：“将军答应我吗？”伍被回答说：“不，只是来为大王谋划一下。臣听说听力特别好的人在声音没发出之前就能听到，视力好的人在事物尚未出现就可以看见，所以圣人做一万件事，就成一万件事。在过去，周文王行动一次便在世上显现自己的成功，被列为三代名王，他是顺着上天的心意而行动，所以天下人不用相约便都追随他。这是近千年来可以看到的事实。一百年前的秦朝，近代的吴国和楚国，也足以用来比喻国家的存亡。臣不敢躲避像伍子胥一样被杀戮的命运，但愿大王不要像吴王一样不听劝阻。过去秦朝断绝圣人之道，杀害方术之士，焚烧《诗》《尚书》，抛弃礼仪仁义，崇尚欺诈强力，任意施用刑罚，从遥远的海边转运粮食到西河。在那个时代，男子奋力耕田，却连糟糠都吃不上；女子日夜纺线织布，仍衣不蔽体。派蒙恬率人修筑长城，东西长达数千里，在外行军作战的军队经常有几十万人，死的人数都数不过来，千里大地上到处是死尸，流的血把大地都浇透了，百姓们的力量被用尽了，十家之中就有五家人想造反。秦始皇又派徐福到海中去寻求神异的物品，徐福回来后撒谎说：‘臣见到了海中的大神，大神说：“你是西边皇帝的使者吗？”臣回答说：“是的。”“你来寻找什么？”臣说：“想请神仙赐给延年益寿的药。”大神说：“你们秦王送的礼物太少，仙药只能看而不能拿走。”大神随即把臣等送到东南的蓬莱山上，看见了用灵芝搭成的宫阙，有一个神仙的使者长着龙的形状，浑身紫铜色，发出的光照亮天空。于是臣拜了两拜，问道：“我们应该把什么礼物献给神仙呢？”海神说：“要选一些童男童女和技艺高超的工匠送来，就可以得到仙药。”，秦始皇听后非常高兴，派童男童女三千人，带上稻、谷、菽、麦等五谷杂粮和各种工匠，由徐福率领去寻仙。徐福出海后，在海外找到一块陆地，上面有广泛的平原和山林川泽，徐福便留在那里，自己当了王而不再回来。于是，老百姓万分悲痛，思念自己的亲人儿女，十家就有六家人想造反了。秦始皇又派尉赵佗率军翻越五岭，去进攻百越。赵佗知道中国的百姓疲劳之极，也留在本地当起了王，不回来，又派人上书，请求派没有丈夫的女子三万去为出征的士兵补衣做饭，秦始皇派出了一万五千人。于是，天下百姓离心瓦解。想造反的人十家就有七家了。有宾客对高祖皇帝说：‘时候已经到了。’高祖皇帝说：‘再等等，应当有圣人在东南方起事。’不到一年，陈胜和吴广便发动了起义。高祖皇帝从丰沛（今江苏省沛县）起兵，振臂一呼，天下响应的人数都数不过来。这是所谓的乘机而起，顺着秦朝的必然灭亡而起事。百姓盼望这样做，就象天气干旱时盼望下雨一样，所以高祖皇帝能在行军打仗中奋起而当上天子，功绩高过前代的圣王，而德传万世。如今，大王只看见高祖皇帝得天下的容易，却怎么不看看近代的吴、楚七国之乱呢？吴王刘濞被赐号为刘氏祭酒，以示他的尊贵，又不让朝见皇帝，把四个郡分封给他。地方有数千里，封地内有铜矿，采铜用来铸钱，又在东边海边煮海水为盐。长江上流可取来江陵（今湖北江陵）的大木做船，一条船的运载量抵得上中原几十辆车，国家富裕，人民众多。吴王又用珍珠、美玉、金银丝绸贿赂诸侯王和宗室大臣，惟独景帝的外婆家窦氏不贿赂。计划确定，谋略妥当，然后起兵向西进攻，却在大梁（今河南省开封市）城下大败，又在狐父（今安徽砀山北）战败，只好向东逃跑，到达丹徒（今江苏省镇江市东）时，被越人抓获，人被处死，国家也绝了后代，成为天下人的笑话。吴王率领那么多吴越地区的士兵造反，却为什么不能成功呢？是因为他逆天道而行，不识时务。如今，大王的士兵不到吴楚七国的十分之一，天下的安宁稳固却超过秦朝十万倍。所以，愿大王听从臣的意见。大王不听从臣的意见，如今便只能看到大王起事不成而计谋先泄露了出去。臣听说，商朝的微子经过故国时感到悲伤，于是做了一首《麦秀之歌》，哀痛殷纣王不听王子比干之言。所以《孟子》说：‘纣王贵为天子，死的时候连匹夫都不如’。这是因为纣王先自绝于天下，并不是他死的时候天下抛弃了他。现在，臣也暗自为大王抛弃千乘之王位不做而悲伤。大王若一定这样，请赐给臣一纸绝命书，让臣在群臣之前死在东宫之中。”伍被这番话，说得淮南王刘安哀伤无比，气郁胸中，难以自持，泪流满面，随即起身踏着台阶离开了。
淮南王刘安有一个庶妻生的儿子叫刘不害，在刘安的儿子中年令最长，刘安却不喜欢他，并且，刘安、王后荼、太子刘迁等都不把刘不害当儿子或兄长。刘不害有个儿子叫刘建，人很有才能，也很有志气。经常怨恨太子刘迁不把自己的父亲当哥哥看待；又怨恨当时各诸侯都可以封自己的儿子为侯，淮南王刘安只有两个儿子，一个是太子，而自己的父亲却独独不得封侯。于是，刘建便暗中结交宾客，准备告发击败太子，而让自己的父亲取而代之。太子刘迁知道后，几次把刘建抓来，用板子抽打。刘建详细地弄清了太子刘迁想杀害汉朝中尉的阴谋后，便派自己的心腹寿春人庄芷在元朔六年（公元前123）上书于汉武帝说：“药力强的药品虽然吃着苦，却有利于治病，忠诚的言语虽然听着不舒服却有利于办事情。现在，淮南王刘安的孙子刘建，才能杰出，淮南王的王后荼、荼的儿子太子刘迁经常迫害刘建。刘建的父亲刘不害没犯什么罪。他们却擅自把他抓起来，想杀害他。现在有刘建在，陛下可以进行查问，刘建知道所有淮南国在暗地里干的事情。”书呈上去以后，汉武帝交给廷尉办理。廷尉又交给河南郡审理。当时，原辟阳侯审食其的孙子审卿和丞相公孙弘关系很好，他怨恨刘安的父亲淮南厉王刘长杀害了自己的祖父，便在公孙弘那里说了许多淮南王刘安的坏话。公孙弘听后，疑心淮南王有反叛的阴谋，便下令彻底调查审理这桩案子。河南郡审问了刘建，刘建所提供的情况牵涉到了淮南王太子刘迁及其党羽。淮南王刘安知道后，感到事情难办，便想发动叛乱，问伍被说：“汉朝廷是治呢还是乱呢？”伍被说：“天下很安定。”刘安听了，很不高兴，对伍被说：“你凭什么说天下是安定的呢？”伍被说：“我暗中观察朝廷的政治，君臣之间的忠义，父子之间的亲情，夫妇之间的分别，长幼之间的秩序，都井然有序，皇上的作为都遵守古法，风俗纲纪没有什么缺失。满载着货物的富商大贾，周流天下，没有不通的道路，所以经商交易之道畅通无阻。南越向朝廷宾服，羌人和人都入朝纳贡，东瓯向汉朝投降。汉朝的军队拓地长榆塞，打开朔方之地，匈奴象折了翅膀伤了羽翼，失去援助，再也振作不起来。虽然赶不上古代的太平盛世，但仍然是治世。”刘安听了，不禁大怒，伍被赶紧谢罪，请求免于死罪。刘安又对伍被说：“山东如果发生战争，汉朝廷必然派大将军卫青率军来镇压山东地区，您认为大将军卫青这个人怎么样呢？”伍被说：“臣有一个好友叫黄义，曾跟随大将军出征攻伐匈奴，回来以后，告诉我说：‘大将军对海内的士大夫彬彬有礼，对普通士卒很有恩惠，部下都乐意听从大将军的指挥。而且，大将军骑马上下山坡如飞一般，材力过人，骁勇无敌。’臣认为，大将军有如此才能，又多次率军出征，熟悉行军作战，实在是不好对付。等竭者曹明从长安出使回来，说大将军号令严明，和敌人作战勇猛过人，常身先士卒，冲锋杀敌。行军休息时，井还没有打好，必定要等士卒们都喝上了水，大将军自己才去喝水。撤军时，士卒们都已全部渡过大河，大将军才最后一个渡河。皇太后赐给大将军的金银绸缎，大将军都分给将士们。这样的将军，就是古代的名将也不过如此。”刘安听了之后，一句话也说不出来。
刘安看到刘建已经被带走审问，害怕国中的丑事就要因此暴露，便想发动叛乱，伍被又认为这样做不行。刘安便又问伍被说：“您以为吴王刘濞发兵选择是对呢还是错呢？”伍被说：“我以为是错误的。吴王本来已富贵荣华到了极点，却举事不当，被杀死在丹徒，脑袋和身子被扔到两地，子孙没有一个活下来的。臣听说吴王后来后悔之极。愿大王深思熟虑，以免将来像吴王那样后悔。”刘安说：“男子汉举事不成就死，不过抬手之间而已。而且，吴王哪里懂得造反？让汉朝将领在一天之内就有四十多个率军经过成皋之险（在今河南省荥阳县东北）。现在，我令楼缓先率军堵塞成皋关之口，让周被率军由颍川郡（治今河南禹州市）而下，堵塞轩辕关（在今河南省登封县西北）和伊阙（今河南省洛阳市南）关的道路，陈定调发南阳郡（治今河南省南阳市）的军队把守武关（在今陕西省商洛地区东南），河南郡太守所剩下的便只有雒阳（今河南省洛阳市）了，有什么可担忧的呢？然而这些地方的北面尚且还有临晋关（在今山西省临晋县南）、河东郡（治今山西省临汾市）、上党郡（治今山西省长治市）和河内郡（治今河南省武陟县）、赵国（今河北省邯郸市）。人们常说：‘堵塞成皋关口，天下的道路就不通了。’占据三川之险（即成皋关，秦代置三川郡，成皋关在三川郡境内），招抚山东地区的军队，象这样行动，您认为怎么样？”伍被说：“臣只看到其中的祸害，没看到其中的幸福。”刘安说：“左吴、赵贤、朱骄如等人都认为这样做会有福，十有九成把握，只有你认为有祸无福，这是为什么？”伍被说：“大王的群臣和亲近的人当中平素能得部下拥载、能指挥部下的人都已在以前的案子中被抓被关押进朝廷的监狱之中，剩下的人没有一个可用的。”刘安说：“秦朝时，陈胜和吴广没有立锥之地，聚在一起的只有不到千人，却从大泽之中起兵，奋臂一呼，天下响应，等向西进兵到戏（今陕西省临潼县东），士卒就已达120万。如今，我的封国虽然很小，然而能当兵打仗的人可以有十多万，不象当年陈胜、吴广那样只有一些被谪戍的疲劳之众，手中的武器只有镰刀、凿子和棍棒，您凭什么说要我举事有祸无福呢？”伍被说：“过去，秦朝施行无道的政治，残害天下的百姓。动辄率上万辆车队巡视天下，又营建阿房宫，收取百姓收入的大半为赋税，还调发住在闾里左边的以前不服役的人去戍边服役，父子不能相恤，兄弟不能相救，政治苛暴，刑罚严峻，天下的百姓受尽了煎熬。百姓都伸着脖子张望，侧起耳朵倾听，悲痛地哭号，仰望苍天，拍着胸怨恨秦王朝，所以陈胜一呼，天下便群起响应。如今，皇上临制天下，海内一统，爱护天下的百姓，布德施惠。口虽然没有说话，声音却比雷霆还要响亮；命令虽未发布，德化却迅速有如神助；心中有所思虑，声威震动万里，臣下的应君上，就象人的影子和声响一般。而大将军卫青的才能又远超过章邯和杨熊。大王以陈胜、吴广来作比喻，臣认为是不对的。”刘安说：“就算您说的有道理，难道不能侥幸一试吗？”伍被说：“臣有一条愚蠢的计策。”刘安说：“怎么办？”伍被说：“现在，天下的诸侯没有异心，百姓也没有怨恨之气。汉朝新建的朔方郡田地广阔，水草丰美，迁徙到那里的人民仍不足以充实这块地方。臣的愚蠢计策是，可以伪造汉朝丞相和御史的奏书，声称要迁徒地方郡国的豪杰、侠士以及犯了耐罪以上的人，赦令免除他们的罪过，还有家财值五十万钱以上的人，都要把他们和家属迁到朔方郡去，再调发士兵，将他们限期到达朔方的日期说得急迫一些。再伪造朝廷左右都司空上林中都官诏狱的文书，宣称要逮捕地方诸侯的太子和宠幸的大臣。这样，则百姓怨愤，地方诸侯感到恐惧，然后大王派能说会道的辨士跟着去劝他们造反，这样或许还有十分之一的希望。”刘安听了说：“可以这样做。虽然您这样说，但我觉得还不至于到这一步。”于是，刘安便下令调官府奴隶入宫，制作皇帝的御玺，以及丞相、御史、大将军、军官、中二千石、都官令，都官丞等各级官吏的大印，以及旁边各郡的郡太守和郡都尉大印，汉朝使者用的法冠等，准备按伍被的计策行事。又派人假装犯了罪而向西逃到京都，去潜入大将军府和丞相府，一旦发兵，让他们立刻刺杀大将军卫青，劝说丞相投降，觉得干这些事很容易，像揭去人蒙在脸上的布一样轻松。