德棻才华出众,博涉文史,早年就有文名。
隋炀帝末年,德棻授官为药城(今安徽亳县东南)长。当时天下纷乱,炀帝已是穷途末路,德棻很明智地没有远程跋涉去就职。待李渊起兵反隋后,李渊从父弟李神通在今陕西鄠县起兵响应,德棻就加入了这支反隋军队,在总管府任记室。李渊入据长安后,先为丞相,奉代王杨侑为傀儡,德棻即任大丞相府记室。李渊称帝后,德棻随即转为起居舍人,“甚见亲密”,又迁秘书丞。在贞观年间德棻历任礼部侍郎,兼修国史,太子右庶子,雅州刺史,秘书少监;在唐高宗时,任过礼部侍郎、兼弘文馆学士,监修国史,太常卿,国子祭酒,兼授崇贤馆学士。