68岁返回鲁国,开始整理图书典籍。尤其是在晚年,主要精力是用在校勘、整理典籍方面,是我国最早的图书整理者,相传他整理《诗》、《书》等文献,并把鲁史官所记《春秋》加以删修,成为我国第一部编年体的历史著作。他在整理文献中,创立了揭示文献“为之作序”、“言其作意”的目录学方法。为《诗》、《书》作序,或附于书后,或临于书首,或另出单行,这在揭示文献的内容上起重要作用。他整理图书所定的《六艺》,对汉代刘向、刘歆父子在《别录》、《七略》书目分类上产生了极大的影响。他的学生子路曾向他建议,“由闻周之征藏史有老聃者,免而归居。夫子欲藏书,则试往因矣”《隋书·经籍志》记载“孔子观书周室,得虞、夏、商、周四代之典。”说明其通过国家的藏书,了解了前四代的典章制度和历史。他所收藏的图书主要以《诗》、《书》、《礼》、《乐》、《春秋》等。《公羊解诂》载孔子“使子夏等十四人救周史记,得百二十国宝书,”说明在编定六经时,广泛搜集各国典籍。故后,“所居堂弟子内,后世因庙藏孔子衣冠、琴、车、书。”又《庄子》记载:“孔子西藏书于周室”,“藏其所著书也”。《汉书·艺文志》载:“武帝末,鲁共(恭)王坏孔子宅,欲以广其宫,而得《古文尚书》及《礼记》、《论语》、《孝经》凡数十篇,皆古字也。”其主要言行由弟子记载下来,成《论语》一书,影响深远。
孔子为中国儒家学派的创始人。自汉朝“罢黜百家,独尊儒术”以来,儒学一直被历代统治者视作正统学科,以至作为任贤用能的标准,影响延绵数千年至今。