给事中，并与张安世秘密计议废立大事，其外并无一人得知此谋。又过几日，贺梦见蝇矢满阶，多至五六石，有瓦覆着，醒来又问袭遂，主何吉凶。袭遂道：“陛下尝读过《诗经》，诗云：‘营营青蝇，止于樊。恺悌君子，毋信谗言！’今陛下嬖倖甚多，正似蝇矢丛集，因此有这梦兆。臣愿陛下摈绝昌邑故臣，臣应首先告退！”贺听了，似信不信地道：“从前在昌邑时候，种种梦兆，君谓不佳，朕何以已为天子？大家既是赞成你的为人，朕也不便放你回家！立于朕身边的臣众，他们又不谈及国事，何必去理睬他们呢？”说完之后，就把此事丢开。
次日，太仆张敞，也来进谏。贺以嬉笑出之。言尚未已，光禄大夫夏侯胜因来奏事，奏毕也谏道：“臣见久阴不雨，臣下必有异谋，陛下不可不防。”贺听了大怒，斥为妖言惑众，立命发交有司究办。有司告知霍光，霍光不禁暗暗起疑道：“夏侯胜语似有因，或由张安世泄谋，也未可知。”即把张安世召至，面加诘责。张安世道：“此是何事，我怎么与他言及秘密？可以面质！”霍光亲提夏侯胜研讯。夏侯胜从容答道：“《洪范传》有言：‘皇极不守，现象常阴。下人且谋代上位。
’我不便明言，故仅云臣下有谋。”霍光当下听了，不觉大惊；一面将夏侯胜官还原职，一面与张安世密议道：“此事不能缓了！”即命延年往商丞相杨敞。杨敞听了，顿时吓得面如土色，汗下似雨，不敢允诺。倒是杨敞妻子，为司马廷之女，颇有才干，搴帘而出，语延年道：“大将军遣君来商此事，乃是不弃我们，请即复报将军，我们准奉教令。”延年返告霍光。
霍光即令延年、安世二人，缮定奏牍，妥为安排。翌日，至未央宫，传召丞相、御史、列侯，及中二千石，大夫博士，一同入议，连那位不肯抗节重归故国的苏武，亦令与会。群僚不知何故，只得静听大将军发言。
霍光一见大众均已到齐，便大声道：“昌邑王行迹昏庸，恐危社稷。诸君都是食禄的臣子，可有甚么高见？”大家听了，方知是这个大问题，个个人把眼睛望看霍光的那一张嘴，想听下文。心里呢，莫不存着“但凭吩咐”四字罢了。霍光一见众人不肯首先发言，又对众人道：“这是国家大事，应该取个公论。”当下田延年奋然起座，按剑上前道：“先帝以社稷托付将军，授以全权，无非深知将军忠心为国，能安刘氏，今群下鼎沸，譬诸大厦将倾，将军若不设法维持，试问有何面目见先帝于地下？”霍光正要答语，陡见由宫内奔出一个赤体光身的宫女，向他扑的跪下道：“奴名苏馥，曾为先帝幸过。今皇帝不顾奴的节操，强行奸污。奴因一个弱女子，力不可抗，此刻乘隙逃出，禀知将军。奴死之后，没有脸去见先帝，乞将奴面蒙上一布，奴心方安。”说完，就用手中所藏的一把绣花小剪，向她喉中一刺，顷刻之间，飞出一股鲜红，死于殿上。霍光一面急命左右，把苏馥的尸身拖下，好好安葬；一面对大众道：“即此一端，废之已有余。”
大众一见延年按剑而走，声势汹汹。又见贺的行为果也不对。大家若不相从，必遭杀害，何苦要替贺来做死忠臣呢？于是个个离座向霍光叩首说道：“社稷人民，全系将军。大将军苟有主张，臣等无不遵从。”霍光乃将大众请起，袖中拿出奏牍，先请丞相杨敞署名，其余次第署毕，便引大众至长乐宫，入白太后，陈明昌邑王贺无道，不应嗣位的情形。可怜这位太后，年才十五，懂得甚事，自然是以霍光之言，惟命是从的了。
霍光又请太后驾临未央宫，御承明殿，传诏昌邑故臣，不准擅入。那时贺闻太后驾到，不得不入殿朝谒。但因酒醉过甚，由宫娥搀扶而行，朝毕趋出，退至殿北温室中。霍光走来指挥门吏，速将室门关闭。贺张目问霍光道：“关门何为？”霍光跪答道：“太后有命，不准昌邑群臣入内。”贺摇头道：“这也不必如此急急，让朕慢慢地打发他们回去便了。”霍光也不与他多言，返身趋出。此时已由张安世率领羽林兵，把昌邑群臣拿下，约有四五百人，连袭遂、王吉也在其数。霍光又将昭帝旧日群臣召入，责令把贺监守，毋令自尽，致负弑主恶名。贺真昏愤，到了此时，还没有知道废立情事。一见新来侍臣，尚问道：“昌邑群臣，究犯何罪，却被大将军全行驱逐？”侍臣不便明言，只推不知。稍间，就有太后诏至，立传贺去问话。
贺至此方才有些惶恐起来，问诏使道：“朕有何罪，乃烦太后召我？”诏使也含糊答应。贺只得随之来见太后。只见太后身服珠襦，端坐武帐之中，侍卫森立，武士盈阶，犹不知有何变故，战战兢兢地跪下，偷视太后之面。这时已有尚书令捧着奏牍朗声宣读道：丞相臣杨敞、大司马大将军臣霍光、车骑将军臣张安世、度辽将军臣明友、前将军臣韩增、后将军臣赵充国、御史大夫臣蔡义、宜春侯臣王谭、当涂侯臣魏圣、随桃侯臣赵昌乐、杜侯臣屠耆堂、太仆臣杜延年、太常臣门昌、大司农臣田延年、宗正臣刘德、少府臣史乐成、廷尉臣李光、执金吾臣李延寿、大鸿胪臣韦贤、左冯翊臣田广明、右扶风臣周德、故典属国臣苏武等，昧死言皇太后陛下：自孝昭皇帝弃世无嗣，遣使征昌邑王典丧，身服斩衰，独无哀