后来朝廷逮捕刘安的孙子刘建，收监审讯。刘安害怕事情败露，对伍被说：“事已至此，我不得不起兵。天下百姓受朝廷的苦很久了，诸侯多有过失，都心中不安，我率先起兵，一定会有人响应。即使没人响应，我还可以回头攻取衡山国，我已经箭在弦上，不得不发。”
伍被说：“攻取衡山国，占领庐江国，用战船隔断浔阳江，在九江郡驻扎重兵，断绝豫章郡通道，强弓劲弩，守住南郡，再向东保住会稽郡，南下与越国联合，在江淮间与朝廷对抗，这也只是苟延残喘罢了，不会有好结果。”刘安说：“左吴、赵贤、朱骄如都认为十有八九会成功，唯独您认为不会有好结果，为什么？”伍被说：“您能用来指挥打仗的大臣，都已经被关押在朝廷的监狱里，剩下来的，成事不足，败事有余。”
刘安说：“当初陈胜、吴广身无立锥之地，率领数百人，兴起于大泽乡，振臂一呼，天下响应。西进攻入秦地的戏水，已有一百二十万人。淮南国虽然狭小，可以征集的士兵也有二十万，你凭什么说有祸无福？”
伍被说：“我不害怕像伍子胥因尽忠而受到诛杀，希望您不要像吴王那样听信谗言。从前秦朝暴虐无道，坑杀儒生，焚烧《诗》《书》，废弃礼义，滥用刑法，征发傜役。那时，男子一年辛勤耕种，不够缴纳粮饷；女子日夜纺织，不足以遮蔽身体。秦始皇派蒙恬修筑长城，东西长达几千里。几十万士兵在外风餐露宿，死者难以计数，骸骨遍野，血流成河。百姓精疲力竭，十人中有五人想要作乱。始皇又派徐福入海求仙药，带着大量珍宝，三千童男童女，还有粮食种子和各种工匠。徐福找到有平原河湖的地方，在那里称王，不再返回。百姓失去亲人，哀痛愁怨，十人中有六人想要作乱。始皇又派尉佗翻越南岭，征伐百越，尉佗知道中原疲惫不堪，便在南越称王。走的人杳无音讯，百姓悲痛欲绝，十人中有七人想做乱。始皇带领成千上万的车马巡游天下，修建阿房宫，征收沉重的赋税，征发贫苦的百姓去戍边。父亲不能保护儿子，哥哥不能保护弟弟，苛政压迫，刑罚残酷，百姓都仰天悲叹，捶胸而怨恨君主，十人中有八人想做乱。有人对高祖说‘时机到了’高祖说：‘再等一下，会有圣人出现得东南方。’果然一年不到，陈胜、吴广振臂一呼，高祖、项羽随即响应，天下风起云涌，正可谓时机到来，借秦末动乱，群雄并起，好似久旱逢甘霖，高祖崛起于军旅，终于成就帝王伟业。现在您只看到高祖取得天下，却看不到近世吴楚的前车之鉴，当今皇帝君临天下，海内一統，广施恩惠。皇帝声音未发出，声威已如惊雷；号令未颁布，教化却如闪电般迅速；皇帝心有所思，则威动千里；百姓响应朝廷，就像影之随形，响之应声。朝廷的大将军，岂是当年章邯、杨雄可以比拟？您举陈胜、吴广的例子，我认为错了，况且您的军队还不到吴楚军队的十分之一，天下又比秦朝末年安宁万倍，希望您认真思考我的建议。我听说箕子经过殷商的旧都，哀痛不已，写下了《麦秀》诗，哀悼纣王不听比干的谏言。孟子讲，纣王贵为天子，死时连个匹夫都不如。因为他已经自绝于天下，并非到死的那天才被天下人抛弃。现在，我也哀痛大王，将要抛弃千乘之君，得到亡命之书，在群臣面前，死于东宫！”伍被这番话，层层递进，博征类引，感情真切，说完他自己痛哭失声，可惜他的一片苦心，还是错付了。
后来刘安又召见伍被问道：“如果像您所说的那样，我就不能侥幸成功吗？”之前伍被一直是劝谏刘安的，但这一次他不仅没能坚持自己的原则，还给刘安出了个计策：让刘安伪造诏书，将民众迁往朔方郡以抵御匈奴，再逮捕诸侯王的太子和宠臣，这样就会民怨沸腾，诸侯王恐惧，再派善于摇唇鼓舌的辩士去煽动诸侯王，或许可以侥幸成功。刘安说：“这个方法可以考虑，但是我也不能仅靠造谣生事获得成功，还是要用兵。”
后来谋反的事情败露，伍被投案自首，向朝廷揭发刘安要谋反的前后经过。汉武帝认为，伍被在劝谏刘安时，一再夸耀朝廷的美德，不想杀伍被。但张汤说：“伍被首先为淮南王策划谋反，罪大恶极，不能赦免。”伍被最终被杀。
班固评论：伍被身处淮南危国，充当淮南王的谋士，心怀忠奸两端，最终被杀，也是罪有应得。正如孟子说的“君子不立危墙之下，焉可等闲视之。”君子要远离危险的地方，不能将其视作平常而无视，就是这个道理。