宋亡，终身不仕、不娶，及壮，自号(儒、佛、道)三教外人，又号九鉴山人，人称文行先生，淡泊名利，遍游名山。常在寺院闭门静坐，每日用饭一次。德祐元年(1275)至余杭洞霄宫，友人住山沈介石为建白鹿山房石室居住，匾曰空屋，旁植梅竹，和五松相间。平时不着布衣，以楮纸作服，常去超然馆静坐，有时竟数月不出，与里人叶林为至交。元元贞二年，王修竹延至山阴陶山书院。大德三年，入余杭洞霄，四方名胜多求其文。元大德九年(1305)，朝廷派玄教大师吴全节请牧出山，断然拒绝。与南宋遗民谢翱、周密等友善，来往甚密，为翱作传，为密作《蜡屐集序》。十年卒，年六十。