儿子魏哲,官至延安太守。魏毖,官至阳安太守。魏林,官至朔州刺史。魏珏,官至鸿胪少卿。魏曜,官至赞善大夫
早年经历魏知古为人正直,二十岁便考中进士,历任著作郎、凤阁舍人、卫尉少卿,参与编修国史,又兼任检校相王府司马。神龙元年(705年),魏知古担任吏部侍郎,进位银青光禄大夫,因母丧离职,后被起复为晋州刺史。[2] 疏谏时政景云元年(710年),相王李旦继位,是为唐睿宗。魏知古因曾任相王府属官,被拜为黄门侍郎,兼修国史。景云二年(711年),魏知古又改任右散骑常侍。当时,唐睿宗为女儿金仙公主、玉真公主修建道观。魏知古上疏进谏道:“安养百姓是治政之本。为公主修建道观,是要树功德来祈求福佑,但却占用民宅,使百姓无处安身,这既背人事,也有违天时,陛下为人父母,怎能安心。君主言行都要记载在史书中,因此非礼勿言,非礼勿动。
780年(建中元年),魏知古与房玄龄、杜如晦等三十七位宰臣被唐德宗定为上等。848年(大中二年),魏知古与李岘、王珪等三十七位功臣被唐宣宗图像于凌烟阁。