州。监国得疏，大骇。知不可留，降旨令往海上同藩臣黄斌卿、镇臣张名振共取道崇明以复三吴，加吏部尚书兼理户部事；辞之。是为丙戌（一六四六）五月；不三旬而江上破。
初，肃乐之解兵也，闽使召之，以嫌不赴。及江上破，由海道入闽，请急提兵出关；不可。退入广东，疏陈越中十弊为戒；隆武帝优诏答之，以右副都御史召。未几，闽中亦破，与诸弟避至福清，展转文石、海坛之间。米不可得，食麦；麦不可得，食薯；薯亦不可得，则采其枯者屑之。拾青茆作薪；尝夜涉绝谷，足尽裂。无已，则祝发为僧；渐有从之问学者，赖其修脯以给。
明年丁亥（一六四七），郑彩扈监国至鹭门，来往诸岛，禡牙举事。六月，驻琅江；肃乐入觐，监国大喜。时从亡诸臣在侧者，熊汝霖、马思理、孙延龄。思理位汝霖上，同直阁；延龄即嘉绩子，年尚少。彩自署兵部；及肃乐至，推以自代。肃乐泣陈无功，请以侍郎行部事；不许。因疏言：『兵部之设，所以统理群帅，归其权于朝廷。今虽未能尽复旧制，然当申明约束，使臣得行其法，不相凌辱，可乎？国家多难，大帅往往揜败为功；江干王之仁报捷诸书，其余习也。臣愿海上诸臣持「勿欺」二字以事主上，可乎？臣在化南，有感臣忠义愿携赀来投者、有愿夺降臣家财以充饷者，聚之可数百人；臣亦不敢私以自卫。藩臣入关，当驱臣兵为先锋。但愿诸将稍存部臣体统，一切争兵并船不相加遗以为朝廷羞，可乎？叙功之举，往往及官而不及兵，谁肯致死！臣请凡兵有能获级夺马者，竟授守、把等官，可乎』？又言：『近奉明旨，江上之师病在不归于一。今宜以建国公彩为元戎，登坛锡命。平夷、闽安、荡湖诸镇，此建国之左右手；令其选择偏裨，或为先锋、或为殿后，合而为一，弗令异同。其次则编定什伍，弗令杂然而进、杂然而退，孟浪以战』。并得旨允行。又疏言：『主上允臣前疏，委任建国，则兵出于一矣。复命建国合挑各营之兵，选其健者。请自今以往，停止一切封拜；悬一印，令于众曰：「有能为建国所挑之兵为先锋立功者，不论守、把等官，竟与挂印」。如此，则奇杰之人至矣。或谓各藩私兵安肯令挑；即令各藩自挑敢死善战之士各为一营，各悬一印，令曰：「有能将本营所挑之兵立功者，竟与挂印」。可邪否邪』？监国以为然。于是兵威顿振，连下兴化、福清、连江、长乐、罗源三十余城。侍郎林汝翥、御史林垐皆起兵以应，金声桓部将郭天才以所部援闽亦来降；遂围福州。故太仆卿刘沂春、广东粮道吴锺峦时皆隐遯，疏乞召用；得旨：『以沂春为右副都御史、锺峦通政使』。二人犹不起，肃乐贻以书曰：『时平则高洗耳、世乱则美搴裳；司徒女子犹知君父，东海妇人尚切报雠。嗟乎！公等忍负斯言』！二人始翻然就道。由是，闽中遗臣无不出矣。福州之败，请恤宗臣统璇、诸将叶仪等。监国之初至闽也，招讨朱成功修浙中颁诏之怨，待以寓公礼而不称臣，仍称隆武三年；肃乐奏颁明年「戊子监国三年历」，海上遂有二朔。肃乐尝与成功书，奖其忠义、勉以恢复，故成功不为忤；监国始愧叹，知前此江上之谤非有贰也。
戊子（一六四八），监国次闽安；肃乐请立史官纪事。寻晋东阁大学士兼吏部尚书，四疏力辞，不许；乃与马思理、林正亨同入直。时郑彩恣横，连害熊汝霖、郑遵谦，逆节大着。肃乐每日系艍于驾舟之次，票拟章奏，即其中接见宾客；封进后，则牵船别去。彩初与肃乐颇相睦，自汝霖死，并疑之。先是，隆武帝殂，其将总兵官涂登华尚守福宁，督辅刘中藻移兵攻之。登华欲降未决，谓人曰：『岂有海上天子、舟中国公』？肃乐晓之以书曰：『将单独不闻南宋之末二帝并在海上，文、陆并在舟中，后世卒以正统归之；而况不为宋末者乎！今将军死守孤城，以言乎守义，力已尽也；以言乎保身，策未善也。据沸鼎以称安、巢危林而自得，何计之左邪』！登华遂诣郑彩降。彩使私人守之；中藻愠不可，彩翻掠其地。肃乐与中藻书，不直彩。彩使人刺得之，恨甚，以为树外援图己；朝见之次，辄故诵书中语。肃乐向有血疾，至是忧愤交至。而彩自知为同列所恶，不复协力，逍遥海上；连江失守。肃乐闻之，以头触枕祈死，血疾大动，因绝粒；监国赐药，亦不肯进。六月五日，卒于琅江；年四十三。讣闻，监国震悼，辍朝三日；亲制文，赐祭九坛。赠太保、吏部尚书，谥「忠介」。我朝赐通谥，曰「忠节」。
肃乐少时，尝梦日堕其手，扶之稍稍上，终不支，渐小渐晦，心异之；竟以尽瘁卒。遗命以部郎章服殓。子兆恭，荫尚宝丞；弟御史肃图、检讨肃范挈之依刘中藻于福安。城陷，肃范死之，肃图以兆恭走舟山。庚寅（一六五○）六月，兆恭亦卒。又七年，弟推官肃典死。又一年，弟职方肃遴死。外舅董光远尝参幕府事，肃乐家被籍，自破其家为输饷；既闻入海，自经死。鄞多忠义士，而钱氏父子、兄弟、翁婿并死海上，旅榇飘泊尢可感。肃乐殁后六年，故相叶向高孙进晟、海宁职方姚翼明为乞地黄蘗山僧隆琦而葬焉。着有「正气堂集」、「越中集」、「南征集」；乱后多不存。诸弟惟肃范、肃遴、肃