唐德宗贞元末(805年),白行简考中进士,授秘书省校书郎。
元和中,卢坦出任东川节度使,召他为掌书记。
元和十二年(817年),卢坦死,他便离开东川幕府,于次年春取三峡水路归浔阳,与他任江州司马的哥哥白居易团聚。白居埸曾写了《得行简书闻欲下峡先以此寄》和《对酒示行简》两首诗以记其事并庆贺他兄弟俩的重逢。
元和十四年春,白行简随其兄白居易前往忠州,第二年(820年)又随兄回到京城长安,授职左拾遗,累迁司门员外郎,主客郎中。长庆末年,振武水运营田使贺拔志岁终结课失实,朝廷诏命白行简复核,他把情况查实后,揭露了贺的舞弊行为,贺畏罪自杀。
宝历二年(826年)冬,白行简病卒,时年52岁。