谢应芳到了老年,牙齿尽落,常为咀嚼而发愁。有一次,他到寺院拜访一名高僧。高僧知他齿牙不利,特意精心制作了几款豆腐菜肴,既好吃又不需要费力咀嚼。食毕,谢应芳言道:“凡人年老者,以肉养之,古今一致。然老而无齿,则肉林之盛,禁脔之供,其如朵颐何?求其甘软若豆腐者,真可谓养老之善物也。”并欣然提笔作《豆腐诗》:“谁授淮南玉食方,南山种玉选青黄,工夫磨转天机熟,粗渣囊倾雪汁香。软比牛酥便老齿,甜于蜂蜜润枯肠。当年柱史如知味,饮乳何须窈窕娘。”此后,他家中常精心烹制豆腐菜肴,以供食用。渐渐地越觉豆腐软嫩味美,最能养老,不是醍醐,却又胜似醍醐,於是便将豆腐美称为“素醍醐”,并作诗《素醍醐》加以称赞。
谢应芳生逢乱世,世衰道丧,以斯文为己任,崇正辟邪。从元至正初年起便隐居于武进白鹤溪(今邹区鹤溪河),构筑小室名叫龟巢。遂自号“龟巢老人”,乡里子弟尊称龟巢先生。常州府曾聘为教授。他对学生循循善诱,总结出一套教学法。浙江行省闻名欲聘为三衢清献书院山长,辞不就。后各地义军起,谢应芳便去苏州一带避难,几次遇危险,一年中搬了五次家,经常揭不开锅。后来苏州人对这位年高德助的饱学之人逐渐有所了解,争聘为子女的老师,他靠束修钱以维生。朱元璋削平群雄,建立明王朝后,江南渐渐安定,谢应芳已是70多岁的老人,返回故乡,在武进芳茂山(横山)隐居,勤读写作,老而不倦。当时,朝中高官与在野缙绅们路过常州,必定要去芳茂山上“龟巢”拜访龟巢老人。
谢应芳著有《辨惑编》、《思贤录》、《龟巢稿》、《怀古录》、《毗陵续志》、《龟巢诗文钞》、《龟巢词》等。最能反映他学养与思想倾向的是《武阳志馀》卷十儒林类中记载他的一些轶事。他在苏州一带避难时请求官府黜退吴江三高祠(纪念战国时期越国范蠡、晋代张翰、唐代陆龟蒙)中的范蠡;而要求修葺三国时东吴名相顾雍的墓莹。在故乡则显扬武进林庄邹忠公浩墓,去掉学官中的土地祠。他主张禁止民间办丧事时做佛事等迷信活动、还向周郎中(正五品官)上书陈述开荒等五件事并向何太守请求减少水脚之征,事事都有利民生民风。谢应芳最著名的著作是《辨惑编》。《辨惑编》的主要内容是反佛、道,这也是理学理论的精华所在。这既是他个人思想体系的体现,也是理学的合理内核在常州地区的传承。谢应芳认为,生、死为自然之理。