乎？周公监二代所制之'郁郁'，孔子所谓'在兹'，颜子所谓'博我'者，是何物事？后儒全然误了"。（《言行录?学须篇》）又说"汉宋儒满眼只看得几册文字是'文'，然则虞夏以前大圣贤皆鄙陋无学矣。"（《四书正误》卷三）又说："后儒以文墨为文，将博学改为博读博讲博著，不又天渊之分耶？"（《习斋年谱》卷下）可谓一针见血语了。
"读书即学问"这个观念从那里发生呢？习斋以为："汉宋诸儒，但见孔子叙《书》、传《礼》、删《诗》、正《乐》、系《易》、作《春秋》．误认纂修文字是圣人，则我传达注解便是贤人，读之熟、讲之明而会作书文者，皆圣人之徒矣、遂合二千年成一虚花无用之局。......"（《四书正误》卷三）孔子曾否删《书》、《诗》、定《礼》、系《易》等等，本来还属历史上一个疑问。就令有之、也断不能说孔子之所以为孔子者专在此，这是显而易见之理。据习斋的意思，以为"孔于是在强壮时已学成内圣外王之德，教成一班治世之才，不得用乃周游，又不得用乃删述，皆大不得已而为之者，其所删述，不过编出一部'习行经济谱'，望后人照样去做、战国说客，置学教而学周游，是不知周游为孔子之不得已也；宋儒又置学教及行道当时，而自幼即学删述，教弟于亦不过如是，是不知删述为孔子之尤不得已也；如效富翁者，不学其经营治家之实，而徒效其凶岁转移及遭乱记产籍以遗子孙者乎！"（《存学编》卷三《年谱》卷下）这些话说孔子说得对不对，另一问题。对于后儒误认读书即学问之心理，可谓洞中症结了。
习斋为什么恨读书恨到这步田地呢？他以为专读书能令人愚。能令人弱。他有一位门生，把《中庸》"好学近乎知"这句话问他。他先问那人道，"你心中必先有多读书可以破愚之见，是不是呢？"那人道："是。"他说："不然，试观今天下秀才晓事否？读书人便愚。多读更愚，但书生必自智，其愚却益深。......"（《四书正误》卷二）又说："读书愈多愈惑，审事机愈无识，办经济愈无力。"（《朱子语羹评》）朱子曾说："求文字之工，用许多工夫，费许多精神，甚可惜。"习斋进一步说道："文家把许多精神费在文墨上诚可惜矣，先生辈舍生尽死，在思、读、讲、著四字上做工夫，全忘却尧舜三事六府，周礼六德六行六艺，不肯去学，不肯去习，又算什么？千余年来率天下入故纸堆中，耗尽身心气力，作弱人病人无用人者，皆晦庵为之也。"（《朱手语类评》）恕谷说："读阅久则喜静恶烦，而心板滞迂腐矣。......故予人以口实，曰'白面书生'，曰'书生无用'，曰'林间咳嗽病猕猴'。世人犹谓诵读可以养身心，误哉！......颜先生所谓，读书人率习如妇人女于，以识则户隙窥人，以力则不能胜一匹雏也。'（《恕谷后集?与冯枢天论读书》）这些话不能说他太过火，因为这些"读书人"实在把全个社会弄得糟透了。
但我们须要牢牢紧记，习斋反对读书，并非反对学问。他因为他认定读书与学问截然而事，而且认读书妨碍学问，所以反对它。他说：
人之岁月精神有限，诵说中度一日，便习行中错一日；纸墨上多一分，便身世上少一分。（《存学编》卷一）
恕谷亦说：
纸上之阅历多，则世事之阅历少；笔墨之精神多，则经济之精神少。宋明之亡以此。（《恕谷年谱》）
观此，可知他反对读书，纯为积极的，而非消极的。他只是叫人把读书的岁月精神腾出来去做学问。至于他所谓学问是什么，下文再说。
习斋不惟反对读书，而且反对著书，看上文所引的话多以读著并举，便可见。恕谷比较的好著书。习斋曾告诫他，说道："今即著述尽是、不过宋儒为误解之书生，我为不误解之书生耳，何与儒者本业哉！"（《年谱》卷下）总而言之，凡纸上学问，习斋无一件不反对。
反对读书不自颜李始。陆王学派便已反对，禅宗尤其反对。颜李这种话，不是助他们张目吗？其实不然，颜李所反对不仅在读书，尤在宋明儒之谈玄式的讲学。习斋说：
近世圣道之亡，多因心内惺觉、口中讲说、纸上议论三者之间见道，而身世乃不见道。学堂辄称书院，或曰讲堂，皆倚《论语》"学之不讲"一句为遂非之柄。殊不思孔门为学而讲，后人以讲为学，千里矣。（《年谱》卷下）
总之，习斋学风，只是教人多做事，少讲话，多务实际，少谈原理。他说："宋儒如得一路程本，观一处又观一处，自喜为通天下路程，人人亦以晓路称之，其实一步未行，一处未到，周行芜榛矣。"（《年谱》卷下）又说："有圣贤之言可以引路。今乃不走路，只效圣贤言以当走路。每代引路之言增而愈多，卒之荡荡周道上鲜见人也。"（《存学篇》卷三）又说："专说话的人，便说许多尧舜话，终无用。即如说糟粕无救于饥渴，说稻梁鱼肉亦无救于饥渴也。"（《朱子语类评》）他反对讲学之理由，大略如此。
宋明儒所讲个人修养方法，最普通的为主静、主敬、穷理格物......等等。颜李学派对于这些法门，或根本反对，或名同实异