家世高祖陈翔五代时,曾任蜀王王建掌书记,后弃官定居阆州西水。曾祖陈翊追赠开府仪同三司、太师、尚书令兼中书令、齐国公。祖父陈昭汶追赠开府仪同三司、太师、尚书令兼中书令、楚国公。父亲陈省华官至左谏议大夫,后赠开府仪同三司、太师、尚书令兼中书令、秦国公。母亲冯氏封燕国太夫人。平辈长兄 陈尧叟端拱二年(989年)状元,官至枢密使、同中书门下平章事,卒赠侍中,谥文忠。三弟陈尧咨咸平三年(1000年)状元,官至知天雄军,卒赠太尉,谥康肃。——原配宋氏封杞国夫人。继室王氏封沂国夫人。子辈长子陈述古生平不详。次子陈求古曾任比部员外郎。三子陈学古曾任主客员外郎。四子陈道古曾任虞部员外郎。五子陈博古曾任大理评事、馆阁校勘。六子陈修古曾任殿中丞。
早年经历宋太祖乾德元年(963年),陈尧佐出生。他的先祖是河朔人,至高祖陈翔时,因任蜀州新井县令,便定居于此,为阆州阆中人。宋太宗端拱元年(988年),陈尧佐登进士第。历任魏县、中牟县尉,曾撰《海喻》一篇,人们惊奇于他的志向。后以试秘书省校书郎身份知朝邑县,恰逢其兄陈尧叟出使陕西,揭发宦官方保吉的罪行,方保吉怨恨陈尧叟,便以事诬陷陈尧佐,被降职为朝邑县主簿。其后移任下邽县主簿,升任秘书郎、真源知县,任开封府司录参军。通判潮州宋真宗咸平二年(999年),升任开封府推官。他上书指摘时弊,言他人所不敢言,因触怒真宗,被贬为潮州通判。到潮州后,新修孔庙,并“选潮民秀者劝以学”,发展潮州教育事业。还倡议在孔庙正室东厢建韩吏部祠,并写了《招韩文公文》,极力称赞韩愈“专以孔子之道教民。
水利陈尧佐在水利上的成就也是父兄中最大的。为防钱塘潮,他提出了“下薪实土法”。为堵黄河在滑州缺口,他发明了“木尤杀水法”。他在汾水两岸筑堤植柳防洪,成为长期造福人民的柳溪。北宋真宗大中祥符八年(1015),也就是黄河第三次徙流的前33年,经过千余年黄沙沉积与浊浪冲刷,黄河堤岸已是岌岌可危,滑州(今河南滑县)一带尤为严重。时任京西转运使的陈尧佐于是上奏朝廷“议开滑州小河分水势,遣使视利害以闻”,勘察详确后“请规度自三迎杨村北治之。复开汶河于上游,以泄臃塞”。(《宋史·河渠·黄河》)他的建议得到了整个朝廷的认可。至宋真宗“天禧三年(1019)六月乙未夜,滑州河溢”。真宗将陈尧佐调任河北转运使,兼知滑州督理河务。
陈尧佐性情勤俭节约,看见动物必定告诫左右侍人不要杀害。器物衣服坏了,随时就缝补,说:“无非是使之不全部被丢弃。”自号“知余子”。临终前一日,自撰墓志说:“年寿八十二不为夭折,官一品不为低贱,使相接受俸禄不为耻辱,这三者大略可以归息于父亲栖神之地了。”陈抟曾对他的父亲说:“您三个儿子都当为将相,惟有中子显贵而且年寿高。”后来果像陈抟所说的那样。