此诗作于公元805年（永贞元年）。公元803年（贞元十九年），关中大旱，饿殍遍地。韩愈上书皇帝，请宽民徭，触犯唐德宗及权贵，被贬为阳山令。公元805年（贞元二十一年）顺宗即位（八月改年号为永贞），遇大赦，离阳山，到郴州等候命令。同年，宪宗登基，又议大赦，韩愈由郴州赴江陵府任法曹参军，途中游衡山时写下这首诗。
诗人本不信佛，这次主要是游山，但在庙令的怂恿下随俗占卜，因为卦吉而高兴。诗人迭遭不幸，对现实已经感到灰心，便借机自我解嘲。