虞集,祖籍仁寿(今属四川省眉山市仁寿县),为南宋丞相虞允文五世孙,其父虞汲曾任黄冈尉,宋亡后,徙临川崇仁(今属江西省)。其母亲是国子祭酒杨文仲之女。祖辈皆以文学知名。虞集1272年二月二十日(3月21日)生于湖南衡阳,正当宋末,兵戈扰攘,为避战乱,随父迁居江西崇仁二都(今石庄乡)。虞集自幼聪颖,3岁即知读书,4岁时由母杨氏口授《论语》、《孟子》、《左传》及欧阳修、苏轼名家文章,听毕即能成诵。9岁时已通晓儒家经典之大旨。14岁时师从著名理学家吴澄,对儒学世界观有了进一步认识。元朝统一全国后,虞集先在江西南行台中丞董士选府中教书。元成宗大德元年(1297),虞集至大都(今北京市),大德六年(1302),被荐入京为大都路儒学教授。不久,为国子助教。他以师道自任,声誉日显,求学者甚多。
虞集素负文名,宋濂在《柳待制文集》序言中说:“天历以来,海内之所宗者,唯雍虞公伯生、豫章揭公曼硕、乌伤黄公晋卿及公(柳贯)四人而已。识者以为名言”。宋荦《漫堂说诗》云:“元初袭金源派,以好问为大宗,其后则称虞、杨、范、揭”。又如沈德潜《说诗晬语》云:“虞、杨、范、揭四家诗品相敌。中又以汉廷老吏为最。”虞集说:“仲宏(杨载)诗如百战健儿,德机(范梈)诗如唐临晋帖,曼硕(揭傒斯)诗如美女簪花(一作“三日新妇”),而他自己的诗如“汉廷老吏”。据说揭傒斯听到这种评论,颇不高兴,因为揭的诗写得是相当典重的。虞集诗歌内容表现出较强的民族意识。他在《挽文丞相》一诗中,对宁死不屈的南宋忠臣文天祥充满了哀悼,以至有人这样说:“读此诗而不泣下者几希!”文字亦流畅宛转。