葛胜仲，葛书思的四子，字鲁卿，北宋神宗熙宁五年(1072)生。他年幼时聪明过人，每天能诵书数千言，9岁能写文章，文章中常常妙语惊人。父亲葛书思为儿子葛胜仲随意选了一个老师。隔了一段时间，葛胜仲对父亲说，这位先生不适合当我的老师。父亲感到奇怪，便问缘故。葛胜仲便从袖中取出自己所写文稿，被老师改的面目全非。葛书思看了微微点头，便为葛胜仲换了老师。葛书思常同上门来客谈论诗文，偶有遗忘之处，就叫来儿子葛胜仲，葛胜仲对答如流，满座赞叹少年胜仲的才学不凡。从此以后，葛府有宾客云集的机会，葛书思总让儿子胜仲到场，陪侍左右。
葛胜仲15岁已精通经史，16岁参加开封府解试，中选。19岁时，父亲任楚州涟水（今属江苏）县丞，葛胜仲随父亲住涟水。在涟水，同张氏成婚，生下长子葛立方。葛胜仲22岁，再试开封府，他写的《封建策》获主考欧阳叔弼（欧阳修三子）的赞扬，获第4名。哲宗绍圣三年(1096)，第三次参加开封府考试，获“优选”。第二年，试礼部。此时恢复经义取士之制，制举官林希评定葛胜仲的试卷为“邃于经旨”，乃“擢置高等”，于是，与其长兄葛次仲同登此年进士第。朝廷提倡律学，葛胜仲参试获第一，便被任命杭州右司理参军。司理参军，“掌讼狱勘鞫之事”（《宋史》卷一六七《职官志》）。在任上司理参军，葛胜仲明法善断，秉公办理，数月间，将积案审理办结。
此后，葛胜仲在有关官署考试《诗》、《书》、《礼》三经，又试博学宏词科，两科俱为第一，特迁河中府知录参军，改登仕郎。徽宗建中靖国元年（1101）任兖州州学教授。在兖州任上，葛胜仲勤于讲学,督诲学子。致力改善诸生学习条件，提高教育水平。葛胜仲《丹阳集》卷六收入《策问》17篇，标题为《治德》、《治功》、《治效》、《官制》、《官方》、《选举》、《考察》、《取士》、《士习》、《劝学》、《试士》、《富强》、《食货》、《藩镇》、《远识》、《靖民》、《律令》，多是在兖州期间，为诸生所作的教学蓝本。
崇宁二年（1103），葛胜仲被召入京，晋升太学正。此后，又迁文林郎。大观元年（1107）五月，又迁承直郎，充提议历所检讨官，后任检讨。后又任通直郎，兼知大宗正丞事。此后，又转奉议郎、承议郎、秘书省校书郎，升任礼部员外郎。
大观三年（1109）八月，因议论庙制，与时论不合，被降为歙州休宁知县。在休宁，葛胜仲勤于吏事，善断讼狱，为民辨别是非曲直，平息纷争。
葛胜仲在休宁的4年间，诗词（特别是词）创作进入高峰期公之余，登山览水，填词自遣。《全宋词》收录葛胜仲词82首，按内容可分为游宴、赏花、节令、咏怀词等几类，其中，以在休宁吟咏的最多。颇有特点的如《江神子·初至休宁冬夜作》：
昏昏雪意惨云容，猎霜风，岁将穷。流落天涯，憔悴一衰翁。清夜小窗围兽火，倾酒绿，借颜红。 官梅疏艳小壶中，暗香浓，玉玲珑。对景忽惊，身在大江东。上国故人谁念我，晴嶂远，暮云重。
词写岁暮冬夜“憔悴一衰翁”，有着“流落天涯”的凄苦心境，有着“木落沧州”的悲怆感受，他不奈羁旅愁思的折磨，独自在冬夜的小窗下火盆旁，借酒浇愁。词中借梅花自喻，她虽在官衙内小壶中，身有羁绊，但仍玲珑剔透，暗香浮动，傲霜斗雪。自己虽被贬休宁，然而仍然身在江南。在关山阻碍，暮霭重重的意象中，既有对自己被贬官后，友人疏远，人情淡薄的感叹，也有知己虽念旧，但关山重重，路途遥远，难相慰安的怀念。
另如《点绛唇·县斋愁坐作》：
秋晚寒斋，藜床香篆横轻雾。闲愁几许，梦逐芭蕉雨。 云外哀鸿，似替幽人语。归不去，乱山无数，斜日荒城鼓。
此篇写词人在县衙愁坐的情思。主人公坐在简陋的藜木床上愁思闷想，看如篆字的熏香袅袅，似轻雾横飘，那萦回的篆香如愁绪徘徊，那横飞的轻雾像悲思几缕。词人在梦幻之中听到雨打芭蕉的淅沥之声。他仰望室外，只见天高云淡。孤鸿远去，听见那雁声凄厉，如泣如诉，好象替幽人低语，倾诉衷肠。大雁秋去春来，还有归乡之时，而自己呢？身处一片荒城之中，听暮鼓声声，那迁客羁臣凄凉孤寂的感受何处诉说？晚秋寒斋、芭蕉夜雨、云外哀鸿、乱山无数、斜日荒城、暮鼓声声，勾出了一个典型环境，有力地烘托出一位寒斋愁坐的人物形象。
政和三年( 1113)，葛胜仲回到京师，复召为礼部员外郎，继又擢国子司业。次年七月，转为朝奉大夫、朝散大夫（从六品）。九月，迁太常少卿，受命续修欧阳修《太常因革礼》，从治平年间(1064~1067)迄政和四年(1114)，共300卷。
政和七年（1117），葛胜仲在京师任国子祭酒、大司成，总管国子监和内外学事。次年正月，因言论不慎，被罢免大司成一职，离开京师，寓居涟水。在涟水期间，葛胜仲作有《西江月》词二首。两年多后，朝廷为葛胜仲平反，恢复右文殿修撰身份，任汝州（今河南临汝）知州。此间，他作有《汝州劝农文》云：
今节届春莫，农事急矣。惟尔有众，念稼穑之艰难，深其耕，易其耨，毋卤莽灭裂以自啬，其报则年谷登熟，粒米狼戾，仰以供赋舆，次以养父母，俯以蓄妻子，无不足者。及收其赢余以为凶荒之备，生理足矣。与夫偷顷刻之安，以贻终岁饿殍沟壑之忧者，盖相万也。古者田不耕者，出屋粟垂緌五寸，以罚惰游之士。境内有惰农，不敏刺史将酌古意而罚之。
此间，葛胜仲的诗歌创作也很活跃，在这里形成的汝州诗人群成员有葛胜仲、陈与义、陈与能、富直柔、宋唐年、陈恬、段拂等。葛胜仲与陈与义、陈与能兄弟关系密切，相互交游，诗词会友，声气相通，缘情放言，酬唱之作为数不少。
宣和三年（1121），葛胜仲50岁，被任显谟阁侍制（从四品）。次年五月，调任湖州(今属浙江)知州。湖州是南渡以后江浙诗人的酬唱中心之一，葛胜仲在湖州任上，与闲居卞山的叶梦得常有往来，两人同游法华山、西余山，登高临远，互有唱和。还多次月下泛舟，吟赏烟霞。《临江仙》、《定风波》、《浣溪沙》等词作唱和尽显文士的风流儒雅。
两年后，葛胜仲又调任邓州（今河南邓县）知州。
靖康元年（1126），葛胜仲在江阴居住，被朝廷封为正四品的通议大夫。次年，徽、钦二帝被俘北去，高宗即位，改元建炎，葛胜仲被封为通奉大夫，居住平江。不久，便携家移居湖州。当时葛胜仲57岁，一直到73岁去世，一直居住在湖州。担任过湖州知州。官至从三品的正议大夫。绍兴元年（1131）退隐以后，相继加封丹阳郡开国伯、开国侯、开国公。绍兴十四年（1144）九月，葛胜仲在湖州无疾而终，终年73岁。次年九月，其子葛立方奉父亲灵柩归葬江阴花山。
葛胜仲一生任官达46年，其中在京师20年。由于长期在太学任职，并多年担任太学的正副长官，还临时兼任礼部试的考官，加上兼任太子府的学官，在士大夫中颇有名望。去世后，谥“文康”。著有文集80卷，外集20卷。他的《丹阳集》24卷，《丹阳词》1卷被收入《四库全书》。