冯云山出生在一个“家道殷实”的家庭。父亲冯绍衔,早故;母亲胡氏。家距官禄布五里,是洪秀全的表亲和同学,关系极为密切。他自幼诵读经史,博览群书,虽屡试不第,但学得一套中国旧文化的知识。他不愿过剥削阶级的生活,就去当了一名穷苦的农村蒙馆塾师。道光二十三年(1843年)洪秀全在家乡创立拜上帝会,冯云山是他的忠实信徒。为了宣传“拜上帝会”,他把家中所供奉的佛像神像和儒书以及孔丘、孟轲的牌位全部捣碎烧掉。由于他的大胆行为以及所传播的新信仰,遭到乡中一些人的反对,因而失去了教席。道光二十四年五月,冯云山跟随洪秀全离开花县,先去珠江三角洲,然后辗转到广西的贵县赐谷村,宣传拜上帝教,他们在贵县几个月里,吸收了一百多个农民为信徒。同年十月,洪秀全回花县。
发展经历冯云山和洪秀全居同里,年相近,从小同学,后来又同做蒙馆塾师,他们志气十分相投。清道光二十三年,洪秀全创立上帝教,云山和他共同密图革命。云山一向与贫苦农民接触,使他同情广大农民的困苦,并产生对现实社会的不满和憎恨,到鸦片战争后,又看到清朝的腐朽和民众普遍反清,于是离开原来的阶级,走上起义的道路。当时随洪秀全去的还有冯瑞嵩、冯瑞珍两人。他们到了粤北连山厅白虎墟,洪秀全打算自己深入八排瑶山地区,分发云山、冯瑞嵩、冯瑞珍三人回家。冯瑞嵩、冯瑞珍怕跋涉辛苦,愿意回家。云山却坚持要紧跟着洪秀全,不怕艰苦。这年四月,冯云山和洪秀全在八排瑶山向瑶人进行宣传之后,到广西浔州府贵县赐谷村洪秀全的表兄黄盛均家。