先世会稽(今浙江绍兴)人,后迁居广陵。父延休,官江都少尹。徐铉十岁能属文,宅居栖霞寺侧。
初事南唐,历官御史大夫、率更令、右散骑常侍,官至吏部尚书。宋开宝七年(974年),赵匡胤令大将曹彬伐南唐。徐铉曾二度奉李煜之命使宋,谋求和平,告太祖曰:“煜事陛下,如子事父,未有过失,奈何见伐?”太祖道:“汝以为父子分两家,可乎?”铉不能对。十一月,徐铉、周惟简再次入奏,徐铉道:“李煜因病未任朝谒,非敢拒诏也,乞缓兵以全一邦之命。”其言极恳切,与太祖辩,反复再三,声气愈厉。赵匡胤辩不过,拔剑而起,怒斥徐铉:“不须多言!江南国主何罪之有?只是一姓天下,卧榻之侧,不容他人酣睡!”徐铉不敢再言。
南唐亡后,随李煜入观宋太祖,命为率更令。累官至散骑常侍。博学多才,有一只象毙命,取胆不获。铉曰:“于前左足求之。”果得。召问铉,对曰:“象胆随四时在足,今方二月,故知之。”徐铉曾奉旨与句中正、葛湍、王惟恭等同校《说文解字》,于宋太宗雍熙三年(986年)完成并雕版流布,世称“大徐本”,又曾编纂《文苑英华》、《太平广记》等。太平兴国三年(978年),徐铉奉宋太宗之命探视李煜,李煜叹息:“当初我错杀潘佑、李平,悔之不已!”徐铉退而告之,宋太宗闻之大怒,赐李煜自尽。淳化二年(991年),遭庐州女僧道安诬,被贬谪为静难行军司马(属邠州)。邠州苦寒,终不御毛褐,致冷疾(风寒),八月二十六日“晨起,方冠带,遽索笔手疏,约束后事,又别署曰:‘道者,天地之母。’书讫而卒,年七十六。”