徐玑其父徐定，福建泉州晋江安海徐厝徐状元人，官居潮州太守，举家由晋江迁居永嘉，住松台里。与徐玑同列“永嘉四灵”的翁卷有一首《晚秋送徐玑赴龙溪丞因过泉南旧里》诗曰：“卷中风雅句，名匠亦难如。远邑亲微禄，他乡过旧庐。程途多见菊，行李半担书。未信文明代，无人荐子虚。”诗题中的“泉南旧里”和诗中的“旧庐”，点明徐玑的故里就在泉州（泉南），而徐玑在赴任龙溪县丞时曾回过晋江徐状元巷旧居。徐玑还著有《泉山集》，泉山即泉州郡北之清源山，可见徐玑虽身寄于外，仍不忘祖籍。生平徐玑因父亲“致仕恩”而得职。他沉浮于州县，为官清正，守法不阿，为百姓办过不少有益之事。在建安（今福建建瓯）主簿任内，安抚麻溪峒民，“罪止三人”；监造贡茶，拒绝额外之取。
徐玑和他的三位同乡好友——字灵晖的徐照，字灵舒的翁卷，号灵秀的赵师秀——并称“四灵”，开创了所谓“江湖派”。“四灵”学贾岛、姚合，标榜野逸清瘦的作风，题材窄，诗境浅，甚至流于琐屑，徐玑自不例外。五律可诵者如《黄碧》：“黄碧平沙岸，陂塘柳色春。水清知酒好，山瘦识民贫。鸡犬田家静。桑麻岁事新。相逢行路客。半是永嘉人。”七绝可诵者如《新凉》：“水满田畴稻叶齐，日光穿树晓烟低。黄莺也爱新凉好，飞过青山影里啼。”徐玑著有《泉山集》，已佚。其《二薇亭诗》1卷,有《敬乡楼丛书》本，亦收入读画斋刊本《南宋群贤小集》中。
南宋诗坛上，徐照（字灵晖）、徐玑（号灵渊）、翁卷（字灵舒）和赵师秀（号灵秀），合称“永嘉四灵”。其中翁卷是温州乐清县人，其他三人是温州永嘉县人。温州古称永嘉郡，宋代永嘉县又是温州州治，四位诗人的字号中都带有“灵”字，而且彼此旨趣相投，创作主张一致，诗风相近，自成一派，故世称“永嘉四灵”。“四灵”之说，《礼记》曰：“麟、凤、龟、龙，谓之四灵。”《三辅黄图》曰：“苍龙、白虎、朱雀、玄武，天之四灵，以正四主。”四位诗人合称“四灵”，盖巧借其名而美其事也。