他出身的荥阳郑氏家族,史称“累数世而屡显,终唐之世而不绝”,“簪缨门第,诗礼传家”。少时即聪颖好学,资质超众,弱冠时,举进士不第,困居长安慈恩寺,学书无钱买纸,见寺内有柿叶数屋,逐借住僧房,日取红叶肄书,天长日久,竟将数屋柿叶练完,终成一代名家,成为士林佳话。开元始(约714),初仕通直郎行率更寺主薄,为东宫椽属,专掌薄书事务,位任轻,却因才学出众,见赏于宰相苏颋,“临以忘年之契”。后仕左监门录事参军。开元中,任协律郎,正八品上,掌“调和律吕,监试乐人典课”,为宫廷文艺总管,公务之余集缀当朝异闻,初成草稿八十余卷,不幸遭人诬告“私撰国史”,仓惶焚稿,因罪外贬十年。少时郑虔出身的荥阳郑氏家族,史称“累数世而屡显,终唐之世而不绝”,“簪缨门第,诗礼传家”。