出身名门隋开皇十六年(公元596年),褚遂良出身于名门贵族,阳翟人。父亲褚亮时任散骑常侍一职,与虞世南、欧阳询等人为好友。唐武德元年(公元618年)李渊建立了唐王朝。褚遂良父亲褚亮时任仕隋朝东宫学士。因与杨玄感有旧,被贬为西海郡司户。薛举在兰州称帝,褚亮被任命为黄门侍郎,褚遂良则做了薛举的通事舍人,掌管诏命及呈奏案章。薛举占据了甘肃的大部分地区,企图夺取京城长安,进军途中病死,薛举儿子薛仁杲继承了他的事业。唐武德元年(公元618年)阴历十一月,李世民包围了薛仁杲驻扎在泾州的营寨。薛仁杲投降,被押往长安处决,而他手下的人被收服在李世民的麾下,褚遂良就这样进入了李家王朝,开始了他的政治生涯。铠曹参军最初,褚遂良在秦王李世民那里做铠曹参军。
太宗死后,传位高宗李治,在李治册封武曌皇后之前,大臣们有很多是坚决反对的,其中就以河南公兼大书法家褚遂良、赵公长孙无忌、英公徐世勣等反应最为强烈。他们想力谏高宗,长孙无忌想第一个进去劝谏,因为李治决心已下,这个时候谁去阻挡他,无异于去送死。褚遂良拦住了他道:长孙太尉是国舅,如果事情不顺利,就会让皇上背上一个向舅舅发怒的名声,这不好!徐世勣说:请让我李勣先进去吧!褚遂良说:李司空,你是国家的重臣,一旦事情难办,就会让皇上背上一个治罪大臣的坏名声,这样不好。