“兰舟”两句。“兰”通“栏”。言围着栏干的客船从岸边绿荫下荡开，离之而去。客船渐去渐远，词人的心也随之渐生愁意，更可恨的是，眺望客船的视线却被一座矮桥无端隔断，使他更增一分愁意。乘舟离去的是其爱人，所以依依不舍之情跃然纸上。“暮烟”两句。西园，为吴文英曾居处，即词人在苏州的居所旁花园。在《梦窗词集》中，词人多次提到“西园”，如：《水龙吟》“西园已负，林亭移酒，松泉荐茗。”《莺啼序》“残蝉度曲，唱彻西园。”《浪淘沙》“往事一潸然，莫过西园。”可见“西园”并非泛指。据《莺啼序》词有“横塘棹穿艳锦”，“念省惯吴宫忧愁”等句可知其地在苏州。此处是说：如今我经过西园路上，只见那里弥漫着一片潇潇烟雨，此景此情，合而为一，更生愁思。想起从前因为离别依依，担误了爱人梳洗打扮的时候，所以匆匆离别而去。“约黄”，六朝妇女多妆黄色在额角上为饰，称为约黄。梁简文帝《美女篇》诗就有“散诞披红帔，生情新约黄”句可证之。“还怕”两句，一“还”字点明重来。两句有“人面桃花”之感。此言词人重来这里两人的离别之处，见到“邮亭”、“夕阳”景物依旧，却不见“人面”，因为离人已如夕阳西坠般不顾而去，所以词人只有“唤酒”浇愁。上片最后两句点出乃是词人忆旧之作，“还怕”、“旧曾”字样都可证之。
“蝉声”两句。换头以蝉栖别枝，长声歌鸣，暗喻苏姬离他而去。所以，词人触景生情，对曼声而鸣的蝉声，总感到难以卒听，而且感到还不成曲调，更生出厌恶之心。“御罗”两句，为倒装句，一“忆”字，透露出词人由苏之去妾而联想起杭之亡妾。想起两个人在西湖边临水而居。夫唱妇随曾度过多少个销魂日子，其中就有杭妾舞袖翩翩，歌扇半遮的歌舞镜头的回忆。“和醉”两句，复归眼前。言词人独饮孤酒，不单单是为了销愁，而且还为了能够醉入梦乡，去追觅寻找仙侣。可惜鸳鸯衾虽在，只剩己身独卧，而且爱人（指苏姬）特有的熏香气息，在衾中也已消失殆尽。下片亦全是忆旧、思恋之作。
统观全词内容，似与题目“桂”，毫无联系之处，而与《风入松·春晚感怀》，则尚可以互为表里参之。

此为吴文英西园赏桂忆姬之作。作者于苏州爱姬去之后，再到吴地。未寓西园，寓盘门外。此游当是舟行，即在姬去之年，与《满江红·甲辰岁盘门外寓居过重午》作于同年，即公元1244年（宋理宗嘉熙四年）。