徐陵幼小的时候,就被高人赞誉为“天上石麒麟”、“当世颜回”,他家族成员都非常刚正严肃、又诚恳谦逊。当时朝廷文书制度,多由徐陵写成,徐陵在朝廷上弹劾陈文帝(世祖)陈蒨的弟弟安成王陈顼(后来的陈宣帝)手下的权臣鲍僧叡以及侍中、中书监等人,慷慨陈词,正气凛然,连陈世祖自己都整理衣冠、严肃正座,安成王大汗淋漓、惊慌失色,徐陵让人扶着安成王回去。他以一身浩气扳倒了国蠹,从此以后朝廷为之肃然。公元569年,他参与罢黜了废帝陈伯宗,扶立了陈宣帝(高宗),被封为建昌县侯,皇帝让他担任尚书左仆射、吏部尚书等,他多次进行推辞,皇帝为之动容。后来朝廷决定北伐军统帅人选,也是他一言九鼎,否定了许多人推举的淳于量,独力推荐更合适的名将吴明彻担纲,事实证明他的正确。皇帝曾多次赞扬他独具慧眼、知人善任。
梁太清二年,42岁的徐陵以常侍官的身份奉命出使北朝东魏。魏国特地设宴为他洗尘接风。魏国的礼仪官魏收对他颇为轻视,刚巧那天天气很热,便有意对他说:“今天的热,是徐常侍带来的。”徐陵知道魏收有意取笑自己,便回答道:“从前王肃到了这里,为贵国制定礼仪;现在我来,再使你们知道寒热。”魏收听了,大为惭愧,从此佩服他的才能,不敢有所轻视了。