光绪十七年(1891年)在广州设“万木草堂”,宣传西方政治文化,又多聚书,多为普通之书及西学书籍。与梁启超倡导维新变法。戊戌之变,其家被抄,其藏书移广雅书院。《广雅书院藏书目》对其所藏书均有著录。变法失败后,逃往日本。在日本亦搜集图书,撰《日本书目志》15卷,分15门,每门各分子目,数项至数十项不等。自海外回国后,政治上趋于保守,反对孙中山民主革命。曾与张勋一道策划复辟帝制。其学术成就颇高。所藏书初贮于“云衢书屋”,后移至“万木草堂”、“万木楼”中。民国后,在上海又建有“天游阁”藏书楼。据《南海珍藏宋元明书目》所载,计有宋刊14种,428册;元刊9种;明刊232种,共5万余册。又收有南海孔氏“三十三万卷楼”旧藏及新购新学、西学之书,数逾万册。藏书印有“御赐天游阁”、“南海康氏万木草堂珍藏”等。去世后,所藏书大部分分别归于广西大学图书馆、镇江图书馆、香港中文大学图书馆等。