作为文学体裁之一的诗歌，是客观的现实生活在诗人头脑中反映的产物。由于客观现实和诗人境遇的不同，诗歌的艺术风格也有变化。《衡岳》和《山石》虽是出自同一手笔，且是同类题材的作品，但两者风格明显有别。《山石》写得清丽飘逸，而此诗则写得凝炼典重。
诗人通过仰望衡岳诸峰、谒祭衡岳庙神、占卜仕途吉凶和投宿庙寺高阁等情况的叙写，抒发个人的深沉感慨，一方面为自己投身蛮荒之地终于活着北归而庆幸，一方面对仕途坎坷表示愤懑不平，实际上也是对最高统治者的一种抗议。
开篇六句写望岳。起笔超拔，用语不凡，突出南岳在当时众山中的崇高地位，引出远道来访的原因。“我来”以下八句写登山。来到山里，秋雨连绵，阴晦迷蒙；等到上山时，突然云开雨霁，群峰毕现。整段以秋空阴晴多变为背景，衬托出远近诸峰突兀环立，雄奇壮观，景象阔大，气势雄伟。“潜心默祷若有应”句，借衡岳有灵，引起下段祭神问天的心愿。“森然”以下十四句写谒庙，乃全诗的核心。韩愈游南岳，虽不离赏玩名山景色，但更主要的还是想通过祭神问天，申诉无人理解、无处倾吐的悒郁情怀。在叙写所见、所感时，肃穆之中含诙谐之语，涉笔成趣。最后四句写夜宿佛寺。身遭贬谪，却一觉酣睡到天明，以旷达写郁闷，笔力遒劲。末句“寒日”，呼应“秋雨”、“阴气”。全篇章法井然。
这首诗的思想价值虽不高，艺术表现上却有特色。全篇写景、叙事、抒情，融为一体，境界开阔，色彩浓重，语言古朴苍劲，叙述自由灵活。篇幅不短，而能一韵到底，一气呵成。双句末尾多用三平调，少数收尾用“平仄平”，音节铿锵有力，重而不浮，颇具声势。