先祖
五世祖徐文整，梁云骑将军，阳平太守，慈源候。
高祖徐综，陈稜威将军，始安太守，袭慈源候。驸马都尉，尚陈永嘉公主。
曾祖徐方贵，陈奉朝请，江夏王侍郎，伏波将军，早卒。
祖父徐孝德，隋唐两朝大臣，隋末任谒者台奉员外郎，唐朝时官至果州刺史。
祖母姜氏，依唐制，因长女徐惠为太宗贤妃，封正四品金城郡君。
父亲徐齐聃，“善制诰，为时所称” 唐高宗时累迁兰台舍人、蕲州司马。
叔父徐齐庄，玄宗朝恩封长城县子。
长姑徐惠，唐太宗徐贤妃，工于诗文。
次姑徐氏，唐高宗徐婕妤，有文藻。
妻室
嫡妻岑氏，是岑羲之妹。
儿子
徐峤，字巨山。开元中为驾部员外郎、集贤院直学士，迁中书舍人、内供奉、河南尹。封慈源县公。父子相次为学士，三世为中书舍人。