坐啖自若，饭辄尽七、八器。回思金陵时，时移物换，忽忽如隔世。"（《湖海楼文集?方田伯诗序》）
这段文字主要写崇祯末年方以智少年时在南京是一个家门鼎盛，仆从喧阗的乌衣子弟，而从两广北归在天界寺皈依觉浪以后成为一个自甘淡泊，特立独行的面壁头陀。方以智对夹有糠秕的粗饭和俭恶的蔬菜，不但自己能"尽七，八器"，而且强要"故人之子"（指陈维崧）与他共同享用。生动逼真的情景被陈维崧纪录下来。
《浮山此藏轩别集》中有方以智《自题游山小影》两则，当也作于这一时期，并录如下：
"自来自往，一叶指掌，浑身苍苍，日出眉上。踏碎青天，众山自响，何不归欤？问臃肿杖。"
"奇不奇，痴不痴，大地无寸土，曳杖何所之......游戏还登临，老病路险巇。不如一笔扫落五岳十洲之烟云。"
这些自我写照，深刻地表达了他当时的思想情况。"大地无寸土"一句反映出明亡后普遍存在于土大夫思想中的一种民族意识。"老病路险巇"是料及此后道路的不平坦。"踏碎青天""一笔扫落五岳十洲之烟云"等句，以恣肆放纵的笔调写出壮怀不已的心情。
综合这些记述，我们看到一个倔强坚毅，不为环境所左右的生气勃勃的有志之士，同时也看到一个泰然自若，追求理想的思想家。境遇是艰苦困难的，然而心情是踊跃活泼的。李世熊在方中通《数度衔》序中说："密之先生遭变出世，忍人所不能忍，行人所不能行，乃集三世大成，仔肩圣学，继往开来，俾益方世，岂偶然哉。"正说明这一情况。
而他的老友古文家和诗人宣城施闰章则记录下他当时的思想变化过程，以及三教合一的主张：
"无可大师，儒者也，尝官翰林，显名公卿间。去而学佛，始自粤西，遭乱弃官，白刃交颈，有托而逃者也。后归事天界浪公（即天界寺觉浪道盛）闭关高座（指高座寺）数年。刳心濯骨，涣然冰释于性命之旨，叹曰'吾不罹九死，几负一生，古之闻道者，或由恶疾，或以患难，类如此矣'。盖其先父廷尉公（方大镇）湛深周易之学，父中丞公（方孔炤）继之，与吴观我太史（方以智外祖吴应宾）上下羲、文，讨究折衷，师少闻而好之。至是研求，遂废眠食，忘死生。以为易理通乎佛氏，又通乎老庄。每语人曰：'教无所谓三也。一而三，三而一者也。譬之大宅然，虽有堂奥楼阁之分，其实一也，门径相殊，而通相为用者也。'"（《愚山先生学余文集?无可大师六十序》）
这说明方以智的学佛是由于遭遇九死一生的患难。在逃禅以后，又把早年家传的周易象数之学与佛、道思想综合起来，"通相为用"。这是一段如实的论述。方以智晚年杂揉《周易》，《中庸》，京，关，邵，蔡的象数学以及佛教和老、庄的思想资料，形成所谓方氏独创的"中五说"和"公因反因说"。
顺治十二年（公元一六五五年）方孔炤在桐城去世，方以智破关奔丧，按照儒家礼节，"衰绖成服，受吊如仪"，而且结庐墓侧，称为栾庐。说明他虽穿上和尚的大布衲，在思想上还是一个"儒者"。
这时方以智编定了方孔炤的《周易时论》十五卷，方以智同时自著《周易图象几表》八卷。两书合称《周易时论合编》共二十三卷，著录于《四库提要?易类存目二》。《周易时论》一书对方以智思想体系的形成起了主要作用。
方以智北归后，生活比较安定。从顺治十年至十七年（公元1653年到1660年），写成《药地炮庄》。
从一六六四年，方以智五十四岁起，由于吉安人士和庐陵县令于藻的邀请，成为吉安青原山净居寺主持，一直到康熙十年（公元一六七一年）因粤难去世，在青原山度过了最后的七年。这时期曾著《禅乐府》，并有《愚者智语录》，而主要的成就是继续啸峰大然编成《青原志略》。这儿应指出，在江西西部，赣江东岸的这个青原山，除了是佛教胜地相传是所谓七祖道场（七祖指唐开元时的弘济禅师）外，又是明代王学江右学派理学家讲学的中心。山中有"五贤祠"，所祀就是王守仁、邹守益（东廓）、聂豹、欧阳德、罗洪先（念庵）等五人。
这一时期，除了潜心著作以外，与各方面往还也很密切。魏禧对方以智晚年交游太广，社会关系较复杂，提出了婉转的讽喻。在方以智遭难去世前四年，康熙六年（公元一六六七年）魏僖在《与木大师（方以智借名墨历，又名木立）书》中所提出的一些问题，比较真实地反映出方当时的活动，是探索方以智晚年思想行动的史料，摘引如下：
"迩者道誉日盛，内怀忧谗畏讥之心，外遭士大夫（指官吏），群衲（指僧众）之推举，于是接纳不得不广，干谒不得不与，辞受不得不宽。形迹所居，志气渐移。"
与魏禧所记稍有出入，可以互相参证的是王夫之的记录：
"乃披缁以后，密翁虽住青原，而所延接者皆清孤不屈之士。且复兴书院，修邹、聂诸先生之遗绪。门无兜鍪之客。其谈说借庄、释，而欲檠之以正，又不屑遣徒众四出觅财。"（《船山遗书?搔首问》）
肖伯升在《研邻偶存》