曾祖父道衡(540—609),字玄卿,隋内史侍郎,为当时名士,不仅以诗著名,有“才杰”之誉,书法也见称于史,《宣和书谱》记其《和南》正书,“非泯泯众人之笔也”,参其书有《尔朱敞碑》(开皇五年十月),当也是一位善书人。
祖父薛收(592--624),字伯褒,隋名儒王通的及门弟子,为“河东三凤”之一,史称薛收为长离,其族兄德音为鸑鷟,侄元敬最年少,为鹓雏。入唐,以文学受知于秦王李世民,官至天策府记室,兼任弘文馆学士。
父薛振(622—683),字元超,以字行,袭爵汾阴男,尚和静县主,官至中书令。以荐引寒士、奖掖后进为一代文宗,唐初文士大都出自他的门下,诸如文坛四杰之一杨炯、文章四友之一崔融,都是由于他的引荐而声名天下的。