家中藏书充栋,人送他外号“书城”。其父李承休就十分仰慕南朝
沈约、任昉等藏书家,遇到图书必购藏于家。他除了继承遗书外,又有收藏并系统地整理了藏书,经部书用红色牙签,史部用绿色牙签,子部用青色牙签,集部用白色牙签。所有藏书均加盖了“邺候图书刻章”藏书印章。著名文学家
韩愈,曾仰慕他藏书之富,曾作《送诸葛觉往随州读书》诗,赠诗云:“邺候家多书,插架三万轴。一一皆牙签,新若手未触。”子李繁,在德宗时,携其藏书3万卷,迁居随州(今属湖北随州),并继续购藏图书。李繁撰有《邺候家传》。后李繁因犯事被赐死,李氏三代藏书散佚。