r> 尽管方以智这年春天回桐城，秋后重来南京应试，未曾在揭贴上署名。而阮大铖联系江社往事，仍认为公揭出于方以智主谋，因此怨毒更深。清顺治二年（公元一六四五年），弘光在南京即位，阮大铖夤缘通过关系成为兵部尚书，对大批东林后人以及复社成员进行了报复。
崇祯十七年（公元一六四四年）李自成入北京，方以智被起义军郭营所得，不久乘机逃到南京。这时阮大铖当权，修复旧怨，借口方以智在李自成入京后没有"殉节"，而把方列入"从逆六等"中的第五等，处理方法是"宜徒拟赎"。方以智在南都不能久留，由陈子龙介绍，经过浙江，福建辗转到达广州避难，结束了早年时代生活。
这一时期中，由于方以智对经、史、百家知识基础坚实，"凡天人，礼乐，律数，声音，文字，书画，医药，下逮琴剑技勇，无不析其旨趣"（《桐城耆旧传》卷六）。崇祯十四、十六年已分别开始写作《通雅》与《物理小识》。
方以智早年没有更多的研究哲学，而主要是写作诗、词和政治论文。他主张"公"和"明"。《通雅》卷首中说："治在君、相，人在师教，学在实讲，公、明而已。"《浮山文集》中的《中涓（指宦官）议》中又引证了朱熹的"惟公惟明，相道毕矣"。他认为"公"就是没有偏见，"明"就是"能好能恶"。这与一百年后戴震所强调的"去私"与"去蔽"的政治主张有相通之处。
（二）从明崇祯十七年（公元一六四四年）至清顺治九年（公元一六五二年）
在广州期间，方以智改名吴石公，后被南海令姚奇胤（字有仆）所发现。姚是方的故人和庚辰（公元1640年）考试的同年，他请方为其儿子姚端的老师。
在南海令官署，方以智重新整理《通雅》旧稿。又曾写《锦缠玉》剧本，亲教伶人排唱。这时他写作的诗集取名为《瞻旻》。
方到粤不久，其夫人潘氏携第三子方中履经福建来广州团聚。顺治三年（公元一六四六年）桂王朱由榔在肇庆即位监国，任方以智为少詹事，翰林院侍讲学士。由于党派斗争，太监专权，他看到事无可为，坚决退隐在湖南广西交界的苗峒中。永历多次召他为东阁大学士，他十次上疏辞退。这些辞疏现在尚都保存，可以看出他当日对时局的观感。他的诗句"西南更望层云黑，谁把新亭泪眼看"！说明了他对永历朝廷的失望。
顺治七年（公元1650年）清兵入广西桂林，瞿式耜与张居正的曾孙张同敞共同守城殉难。方以智去昭平仙回山"披缁为僧"。方中履随方以智入山"父析子荷，父汲子炊"，过着饥寒交迫的生活，终于被清兵搜出。清帅马蛟驎反复逼降无效，最后听任方为僧。方以智于是去梧州，在梧州云盖寺居住两年。至顺治九年（公元一六五二年）八月，偕同施闰章（宣城人，号愚山）至庐山，同年年底回桐城省亲。他的哲学著作《东西均》的开章即写于到达庐山之时。
这一阶段是方以智一生的转折点，从轻衣肥马的贵公子到流离转侧的苦行僧，从红灯绿酒到黄卷青灯，从入世到出世。《桐城耆旧传》的作者马其昶论方以智说。"躬豪杰之才，遭逢季运，以占毕称，岂其志哉。"就在这一阶段，对政治和社会的理想与抱负无从实现，于是全部精力转入著书立说的学术生活中。
在流离中缺乏图书资料，他自己说"作挂一漏万之小说家言，岂不悲哉。愚道人今年三十六矣，读书亦有命"（见《通雅》卷三附记）。然而在这一时期终于写成《物理小识》，《切韵声原》，《医学会通》，《删补本草》等书。
（三）从清顺治十年（公元一六五三年）至康熙十年（公元一六七一年）
方以智晚年，从顺治十年（公元一六五三年）算起，这年元旦，回到桐城浮山白鹿湖见到父亲方孔炤。他在《象环寤记》中说："以祗支（袈裟，表示为僧）为退路，即为归路。"说明他在梧州为僧，其实际目的是为了回乡。安徽地方官要奏用他时，他说："匹夫不可夺志，出世人安往（往何处），不得涅槃也？""祗支"和"涅槃"成为他的遁词和借口。
就在这年，他重去离别十年的金陵，皈依天界寺的觉浪道盛法师。觉浪是当时佛教曹洞宗的前辈，曾因文字中称朱元璋为"太祖高皇帝"被清政府逮捕下狱，后查明系明亡以前所作而释放。觉浪的另一门徒啸峰大然也就是崇祯末年与方孔炤同系诒狱的御史倪嘉庆。
方以智"闭关"于金陵高座寺的看竹轩，潜心写哲学著作。作为曹洞宗的一个法门弟子，佛教对他有一定影响。另一方面，出家又只是与环境作斗争的一种手段。
陈贞慧的儿子，清初著名词人陈其年（名维崧）在方中德（方以智长子）的诗序中，对方以智早年豪华与此时的枯寂，作了描述：
"当时秣陵全盛时......密之先生衣纨縠，饰驺骑，鸣笳叠吹，闲雅甚都，蓄怒马桀黠之奴带刀剑自卫者，出人常数十百人，俯仰顾盼甚豪也。
"曾几何时，而先生已僧服矣。崧再过竹关（指金陵高座寺）而先生念故人子，必强饭之。饭皆粗粝，半杂以糠秕，蔬菜尤俭恶，为贫沙门所不堪者，而先生