家族历史可追溯到春秋时期孔子的学生颜回,历史祖父颜之推为南北朝时的著名学者,先后仕于梁、北齐、北周,终于隋,于是家居关中,遂为京兆万年(今陕西长安)人。颜之推学识渊博,尤善《周官》、《左传》,著有文集30 卷、《颜氏家训》20 篇,并行于世。颜之推从山东辗转跋涉到关中,跨越了南北阻隔,在读书治学的实践中,发现了不少典籍在流传中产生的问题,以及语言因古今、地域的不同而出现的差异,他对这些问题作了开创性的探讨,把这些心得与其他内容一并写入《家训》以备子孙遵循。颜师古的父亲颜思鲁,以儒学显名,撰有《汉书决疑》。武德初年他为秦王府记室参军事。师古受家学熏陶,博览群书,精训诂之学,善作文章。隋仁寿年间,经人举荐,授安养尉之职。后因失职罢归长安,此后长达十年未能调任新职,迫于生计,以授徒为生。
颜师古是名儒颜之推的孙子、颜思鲁的儿子。少传家业,遵循祖训,博览群书,学问通博,擅长于文字训诂、声韵、校勘之学;他还是研究《汉书》的专家,对两汉以来的经学史也十分熟悉。隋文帝仁寿年间,由尚书左丞李纲举荐,任安养县(今湖北襄樊)尉。尚书左仆射杨素见其年少,问他:“安养剧县,子何以治之?”颜师古回答:“割鸡焉用牛刀。”杨素惊其夸口。后来果然以政绩突出闻名。后因坐事免职居长安,十年不得官,家贫,以教授为业。隋大业十三年(公元617年),太原留守李渊起兵入关,颜师古从父至同州朝邑长春宫谒见,被授予朝散大夫之职。唐武德元年(公元618年),李渊称帝建立唐王朝,拜颜师古为敦煌公府文学,转起居舍人,再迁中书舍人,掌机密,专典皇帝诏敕。