《越缦堂日记》是清代很有名的日记,与《翁同龢日记》、王闿运《湘绮楼日记》、叶昌炽《缘督庐日记》齐名,并称晚清四大日记。早在李慈铭在世时,《越缦堂日记》就被“士友多传抄之”,同治、光绪间文人圈内甚至有“生不愿做执金吾,惟愿尽读李公书”之语。李慈铭的日记之所以倍受学界青睐,一方面固然在于李慈铭本人的名望,另一方面则是由于日记本身的内容和价值。日记文字达数百万言,对清咸丰到光绪近四十年间的朝野见闻、人物评述、名物考据、书画鉴赏、山川游历以及北京等地的社会风貌等内容均有翔实记述,足资后代学者参考借鉴;日记中记录了大量的读书札记,仿《四库全书总目》之例,撰写书籍介绍及评论,内容涉及经史百家;日记中还录有李慈铭本人的诗词、骈文作品,对于研究作者本人的文学创作颇具参考价值。
喜藏书,有藏书室名“越缦堂”、“困学楼”、“苟学斋”、“白桦绛树阁”、“知服楼”等,卧床左右,罗列书柜,并排盆花,自称“书可以读,花可以赏,二者兼得,其乐无穷”。与大学士周祖培、尚书潘祖荫来往书信密切。其藏书不足万卷,但以精见称。自称“于经史子集以及稗官、梵夹、诗余、传奇,无不涉猎而模放之”。仅手校、手跋、手批之书有200余种。编纂有《越缦堂书目》,著录书籍800余种;又有《会稽李氏越缦堂书目录》,由云龙辑有《越缦堂读书记》,记其阅读书籍990余种。藏书印颇多,自称“书籍不可无印记,自须色、篆并臻妍妙,故选不调朱,收藏家争相矜尚,亦惜书之一事也”。
考场败将李慈铭禀赋优异,又肯刻苦用功,十几岁时便能与大人们赋诗酬唱,文名享誉乡里,名列“越中三少”之一。(其余两人为王星诚、陈珊士)。但考运不佳,屡试屡挫,先是经落榜四次后,才于二十二岁时考中秀才。后来历经二十年,十一次落榜,于四十二岁时始中举人。最后又经过十年,三次落榜,终于在五十二岁考中进士。悲喜同日李慈铭十四岁时,祖母病重,乃奉双亲之命迎娶大他五岁的表姐马淑人为妻。本意是要“冲喜”,无奈,婚礼刚完成,祖母便于当天去世。这件憾事始终是李慈铭心中难以排除的阴影,使得他与妻子一直维持着如姐弟一般的感情,更影响了李慈铭日后的感情生活。憾无子嗣李慈铭婚后无子,在传宗接代的压力下,曾于三十七岁、四十岁、五十九岁时,先后纳妾三名,但还是未能生下一子半息。为此,他一直耿耿于怀。
李慈铭虽有“漆室坐忧时事非”(《赠吕定子编修》)的感情,任官期间也曾对时政有所批评和建议,但思想比较迂阔保守,持儒家“内圣外王”(《复陈昼卿观察书》)的观念,以求索不倦的学者 李慈铭《越缦堂诗文集》和矜尚名节的名士,终其一生。他承袭乾嘉汉学余风,治经学、史学,都有一定成就。又博览群书,时有所评。其治学读书所得,大都载入《越缦堂日记》,颇为世人所重。李慈铭自言在创作方面“所得意者莫如诗”(《白华绛跗阁诗甲集至己集初定本自序》)。今传已刻之诗起道光二十四年(1844)至同治十三年(1874),共850首,主要反映了贫窘的学者与困顿的名士的生活与心境,山水风物、交游唱和的“登监闲适之篇”较多,至于“感愤切挚之作”(《越缦堂诗话》),也多是抒写落拓不遇之感。