史载,耶律倍自幼聪敏好学,是文武全才,不但善于骑射和谋略,而且文化修养很高,尤其推崇中原汉族的儒家文化。他曾经从中原买了万卷书,收藏在他隐居的医巫闾山绝顶之上的望海堂。他通晓阴阳、音律,精于医药、砭焫之术,工于契丹文和汉文的文章,曾经翻译《阴符经》。他还擅长画本国人物,后来都被收入宋朝的秘府。所以说,他集藏书家、阴阳学家、医学家、音乐家、文学家、翻译家、汉学家和画家等于一身,是一位博学多才的儒者。
作为北方草原民族的画家,他擅画水草放牧或游骑射猎的情景,特别擅长于画鞍马,其画作被宋代的黄复休评为“骨法劲快,不良不驽,自得穷荒之态”。据《宣和画谱》一书记载,宋朝大内皇宫的秘府中共收藏有耶律倍的15幅画作。其他传世名作还有藏于美国纽约大都会博物馆的《射鹿图》、波士顿美术博物馆的《番骑图》、台北故宫博物院的《骑射图》等。
耶律倍入后唐前所作的《海上诗》是现存最早的一首完整的辽代诗歌,耶律倍也善写契丹文诗歌,金代元好问曾经读过他的契丹小字诗,并作《东丹骑射》题画诗云:“意气曾看小字诗,图画今又识雄姿。”据阎凤梧主编的《全辽金诗》统计:耶律倍曾有《乐田园》等诗集,均已散佚。现仅存《海上诗》一首。
受父皇影响,耶律倍对汉文化尤其是儒学相当尊崇,是当时汉化程度最高的契丹皇室成员。据史书记载,一次,阿保机就契丹国应该推崇哪种思想与群臣进行了讨论,他问大臣:“受命之君,应该侍奉上天,敬仰神灵。朕想祭祀立了大功、拥有崇高道德的人,谁应该排在第一位?”大家都说应该让佛排在最前面,这时,在一旁的耶律倍说:“孔子是万世所尊崇的大圣人,应该排在最先。”阿保机闻言大喜,立即下诏建孔庙,让耶律倍在每年春、秋两季率领百官祭奠孔子。
年幼聪敏好学,热爱中原先进的封建文化,阅读了大量汉文典籍,既善于用契丹文、汉文写作,还善于写诗、绘画,“集中原文化于一身”。
耶律倍酷爱中原先进的封建文化,曾命人购买万卷书籍,在东北名山医巫闾山顶建望海堂珍藏,故有“万卷藏书楼”之称,使之成为当时东北地区最早、最大的私人图书馆。据当时人记载,望海堂里的某些医学藏书,后来在中原也很难找到,因此,耶律倍对保存中国古代民族的文化遗产作出了重大贡献。