恼了，他满脸怒容。说道：‘燕雀安知鸿鹄志？这两个小鱼，不足辱王者之纶，待老臣试展钓鳌手段，钓一尾金色大鲤鱼为陛下称万寿之觞。’炀帝听杨素说话无礼，心中十分不乐，便把竿儿放下，只推净手，遂起身直进内宫去。杨素竟装作不曾看见一般，只把手支着头坐着钓鱼。
“那炀帝走回内宫，萧皇后见他脸有怒色，忙问时，炀帝道：‘杨素这老贼！骄傲无礼，在朕面前，十分放肆。朕意欲传旨出去，就宫中杀劫，以泄胸中之气。’萧皇后忙劝道：‘这却使不得。杨素是先朝老臣，又有功于陛下；今宣他进宫来，无故杀了，外官必然不服。况他又是个猛将，几个宫人，如何敌得他住？一时弄巧成拙，他兵权在手，猖狂起来，社稷不可保矣！’炀帝被皇后说得怒气和缓了下去，更了衣服，依旧来到太液池边；见杨素一个鱼也不曾钓得，却故意问道：‘丞相可钓得了几个鱼？’杨素却冷冷地说道：‘化龙的鱼，原能有几个！’一句话不曾说完，他把手一提，一尾金色大鲤鱼，却随钓丝提了上来。看时，足有一尺二三寸长，杨素大笑着，把钓竿丢在地上，说道：‘有志者，事竟成！陛下以老臣为何如？
’炀帝只得忍着气说道：‘有臣如此，朕复何忧？’说着，便传旨看宴。
“君臣二人，回上便殿，宴席早已预备下了。他二人坐定，饮过数巡，左右便把方才钓得的鲤鱼做成美羹，献上桌来。炀帝便吩咐宫女斟了一巨觥，赐杨素饮。说道：‘钓鱼有约，朕幸先得，丞相请满饮此杯，庶不负嘉鱼美味。’杨素接着酒慢慢地饮干了，也吩咐他近侍，斟上一杯酒，奉与炀帝道：‘老臣得鱼虽迟，那鱼却比陛下的大。陛下也该饮一杯赏臣之功。
’君臣二人，你一杯，我一杯，吃得都有些醉醺醺的。炀帝吩咐宫女再斟上一巨觥赐丞相相饮道：‘朕钓得的鱼，却有二尾，丞相也该补饮一杯罚酒。’“杨素酒已足了，见了这大杯，却不肯饮。又见那捧酒杯的宫女，正是在池旁捧茶盘紫色袖口的那个绝色的宫女；他依着酒醉，带推带让的，隔着袖子去捏那宫女的手。那宫女虽说在皇帝跟前伺候酒饭的，却也是好人家的女儿，见杨素摸她的手，忙把手一缩，不提防噗噹的一声响，金杯儿打翻，沾了杨素满身满脸，把一件淡青暗蟒纱袍都湿透了。杨素见那宫女不肯依从，他便老羞成怒，大声道：‘这些蠢婢子如此无状，怎敢在天子面前戏侮大臣，要朝廷的法度何用！’喝叫左右：‘揪下去重责！’炀帝见宫女泼翻了酒，正要发作；不想杨素全不顾君臣面子，竟自高声喝打。炀帝转不好发作，又不好拦阻，只得默默不语。那左右见炀帝不言不语，杨素又一迭连声地喝打，没奈何把那泼翻酒的宫女揪下殿去，打了几棍。杨素转过身来，对炀帝说道：‘这些女子小人，最是可恶。古来帝王稍加姑息，便每每被他们坏事。今日不是老臣粗鲁惩治她们一番，使她们知道陛下虽是仁爱，却还有老臣执法，以后自然不敢放肆了。’炀帝虽是昏愦，他却是极爱惜女子的；他在宫中，只有和宫女玩笑的事，却没有责打宫女的事。如今见杨素擅自责打宫女，又剥了天子的脸面，又怜惜那个宫女，心中便万分不乐。杨素找炀帝说话，炀帝只是默默无言。停了半晌，冷笑着说道：‘丞相为朕外治天下，内清官禁，真功臣也！’杨素听了，也知道炀帝有些不乐，起来谢了宴，由他的跟人扶掖着出去。他一边走一边嘴里还呐呐地骂着宫女，直骂出朝门，才上轿回去。
“从此以后，他君臣二人，各自在宫中府中寻欢作乐；那炀帝也永不宣召杨素进宫，杨素也永不入朝。他自从调戏宫女以后，回府去，便也广备姬妾，托人在扬州、荆襄一带地方选购小女进府去，教她歌舞。内中有绝色的，他便自己取做姬妾。
行动坐卧，都有十多个姬人围随着他。有捧巾的，有托盘的，有执拂的，有掌扇的，有拿吐壶的，有拿坐褥的，真是粉白黛绿，鬓影钗光，耀得人眼花，看得人心醉。杨素是一个六七十岁的老头儿，在众姬妾里边，好似一丛红杏林子围着一株梨花，怎不叫他颠倒痴迷呢？
“有一天，他在内院，正和姬妾快乐饮酒的时候，忽然外面传进来说：‘有一个少年求见。’杨素便问：‘那少年有什么事须见老夫？’左右报说有机密话，要面见丞相才肯说。杨素一听说有机密话，便吩咐把那少年传进内院来相见。停了一会，果然见家丁领进一个清秀的少年来。杨素盘腿儿坐在大椅子上，见了那少年，也不起身，也不招呼。便问道：‘你这个小娃娃有什么机密话对老夫讲？’那少年见杨素这一副骄傲的样子，便转过脸去，向庭心里看着，冷冷地说道：‘我常听人说，丞相礼贤下士，上比周公；然周公一饭三吐哺，一沐三握发，决没有如此居傲能得天下贤士的。’杨素被他这几句话说得酒也醒了，心也清了，忙站起来，离了坐椅，吩咐给来客看座。那少年才转过身来，下了一个长揖，坐了下来。杨素又问：‘有什么机密话？’那少年劈头一句便问道：‘丞相愿做乱世的奸雄，还是做救世的仁人？’杨素问：‘奸雄怎么样？
仁人又是怎么样？’少年道：‘奸雄如西汉的王莽，后汉的曹操，一味篡夺，受后世