家族历史可追溯到春秋时期孔子的学生颜回,历史祖父颜之推为南北朝时的著名学者,先后仕于梁、北齐、北周,终于隋,于是家居关中,遂为京兆万年(今陕西长安)人。颜之推学识渊博,尤善《周官》、《左传》,著有文集30 卷、《颜氏家训》20 篇,并行于世。颜之推从山东辗转跋涉到关中,跨越了南北阻隔,在读书治学的实践中,发现了不少典籍在流传中产生的问题,以及语言因古今、地域的不同而出现的差异,他对这些问题作了开创性的探讨,把这些心得与其他内容一并写入《家训》以备子孙遵循。
颜师古的父亲颜思鲁,以儒学显名,撰有《汉书决疑》。武德初年他为秦王府记室参军事。师古受家学熏陶,博览群书,精训诂之学,善作文章。隋仁寿年间,经人举荐,授安养尉之职。后因失职罢归长安,此后长达十年未能调任新职,迫于生计,以授徒为生。
颜师古兄弟四人。二弟颜相时,三弟颜勤礼,字敬之,颜真卿曾祖,幼而朗悟,识量宏远,工于篆籀,尤精训诂,与两兄师古、颜相时同为弘文、崇贤两馆学士,校定经史。四弟颜育德,任太子通事舍人,于司经校定经史。