第一句写友人乘舟离去。古代有唱歌送行的习俗。“劳歌”，原本指在劳劳亭（旧址在今南京市南面，也是一个著名的送别之地）送客时唱的歌，后来遂成为送别歌的代称。劳歌一曲，缆解舟行，从送别者眼中写出一种匆遽而无奈的情景气氛。
第二句写友人乘舟出发后所见江上景色。时值深秋，两岸青山，霜林尽染，满目红叶丹枫，映衬着一江碧绿的秋水，显得色彩格外鲜艳。这明丽之景乍看似与别离之情不大协调，实际上前者恰恰是对后者的有力反衬。景色越美，越显出欢聚的可恋，别离的难堪，大好秋光反倒成为添愁增恨的因素了。江淹《别赋》说：“春草碧色，春水绿波，送君南浦，伤如之何！”借美好的春色反衬别离之悲，与此同一机杼。这也正是王夫之所揭示的：“以乐景写哀，以哀景写乐，一倍增其哀乐”（《姜斋诗话》）的艺术辩证法。
这一句并没有直接写到友人的行舟。但通过“水急流”的刻画，舟行的迅疾读者可以想见，诗人目送行舟穿行于夹岸青山红叶的江面上的情景也生动地表现了出来。“急”字暗透出送行者“流水何太急”的心理状态，也使整个诗句所表现的意境带有一点逼仄忧伤、骚屑不宁的意味。这和诗人当时那种并不和谐安闲的心境是相一致的。
诗的前后联之间有一个较长的时间间隔。朋友乘舟走远后，诗人并没有离开送别的谢亭，而是在原地小憩了一会。别前喝了点酒，微有醉意，朋友走后，心绪不佳，竟不胜酒力睡着了。一觉醒来，已是薄暮时分。天色变了，下起了雨，四望一片迷蒙。眼前的江面，两岸的青山红叶都已经笼罩在蒙蒙雨雾和沉沉暮色之中。而朋友的船，此刻更不知道随着急流驶到云山雾嶂之外的什么地方去了。暮色的苍茫黯淡，风雨的迷蒙凄清，酒醒后的朦胧，追忆别时情景所感到的怅惘空虚，使诗人此刻的情怀特别凄黯孤寂，感到无法承受这种环境气氛的包围，于是默默无言地独自从风雨笼罩的西楼上走了下来。（西楼即指送别的谢亭，古代诗词中“南浦”、“西楼”都常指送别之处。）
第三句极写别后酒醒的怅惘空寂，第四句却并不接着直抒离愁，而是宕开写景。但由于这景物所特具的凄黯迷茫色彩与诗人当时的心境正相契合，因此读者完全可以从中感受到诗人的萧瑟凄清情怀。这样借景寓情，以景结情，比起直抒别情的难堪来，不但更富含蕴，更有感染力，而且使结尾别具一种不言而神伤的情韵。
这首诗前后两联分别由两个不同时间和色调的场景组成。前联以青山红叶的明丽景色反衬别绪，后联以风雨凄其的黯淡景色正衬离情，笔法富于变化。而一、三两句分别点出舟发与人远，二、四两句纯用景物烘托渲染，则又异中有同，使全篇在变化中显出统一。