颜师古是名儒颜之推的孙子、颜思鲁的儿子。少传家业,遵循祖训,博览群书,学问通博,擅长于文字训诂、声韵、校勘之学;他还是研究《汉书》的专家,对两汉以来的经学史也十分熟悉。
隋文帝仁寿年间,由尚书左丞李纲举荐,任安养县(今湖北襄樊)尉。尚书左仆射杨素见其年少,问他:“安养剧县,子何以治之?”颜师古回答:“割鸡焉用牛刀。”杨素惊其夸口。后来果然以政绩突出闻名。后因坐事免职居长安,十年不得官,家贫,以教授为业。
隋大业十三年(公元617年),太原留守李渊起兵入关,颜师古从父至同州朝邑长春宫谒见,被授予朝散大夫之职。
唐武德元年(公元618年),李渊称帝建立唐王朝,拜颜师古为敦煌公府文学,转起居舍人,再迁中书舍人,掌机密,专典皇帝诏敕。军国政务等重大诏令皆出于颜师古之手,其文才当时未有敢于与其相比者。颜师古勤于政事,又擅长文辞,其所拟制诰册奏之工整美好,名冠当时。
唐武德九年(公元626年),秦王李世民即皇帝位,颜师古被擢为中书侍郎,封琅琊县男。后坐事两次被贬。颜师古聪敏好学,精于训诂。
唐贞观七年(公元633年),颜师古被任命为秘书少监,专管校定古书的工作,每遇疑惑不解的奇文难字,他都能一一辨析,并说明其本源。贞观十一年(公元637年),颜师古奉诏与博士撰写成《五礼》,进爵为子。后又奉太子承乾之命注《汉书》。贞观十五年(公元641年)书成,进秘书监,以文学入选崇贤、弘文两馆学士。《汉书注》是颜师古晚年力作,在审定音读、诠释字义方面用功最多,成绩最大,解释详明,深为学者所重。当时即有“杜征南(杜预)、颜秘书(颜师古)为左丘明、班孟坚忠臣”之称誉。
贞观十九年(公元645年),颜师古随从太宗征辽东,途中病故,终年65岁,谥曰“戴”。墓地位于今山东省兰陵县芦柞镇前芦柞村东南。