家藏书甚富。自称:平生所购《周易》、《礼经》、《毛诗》、《左传》、《史记》、《三国志》、《唐书》之类,过3 000卷,均为宋本精椠。前后班、范二书,尤为诸本之冠。家有别墅“弇山园”,自称“吾弇山园之中,为楼者五,为堂者三,为室者四”。于园后建“小酉馆”,贮书达3万余卷。明学者胡应麟记其“小酉馆藏书凡三万卷,二典不与”。另将经学之书专藏于“藏经阁”中。对宋椠元刊之书,另作“尔雅楼”贮之,又于“九友斋”中,藏宋本两汉书,为斋中第一宝。此书后归于“天禄琳琅”。收藏名迹有《哀册》、《汝南志》、《季直表》等;收藏名画有《清明上河图》、《烟江叠嶂》等;与
唐顺之为莫逆之交,两人皆以文学、藏书而知名。又与范钦、项元汴等藏书家有藏书互抄之约。家设有专人管理书楼,非常熟悉藏书布局,史称“能解公意,公欲取某书、某卷、某页,一脱声即检出待用”。藏书印有“贞元”、“抚治郧阳等处关防”、“天弢居士”、“伯雅”、“仲雅”、“季雅”、“五湖长”、“乾坤清赏”、“默然守吾口”、“太仆寺印”、“王氏元美”、“有明王氏图书之印”、“汉晋唐斋”、“元美氏”等。