全诗以议论开始，以议论结束，中间夹以桃花源中的故实，既突出了议论的意义，又不显得空泛。
前十句“神仙有无何渺茫”至“异境恍惚移于斯”，韩愈借桃源图画为题材，力辟神仙之说，指出“神仙有无何眇芒，桃源之说诚荒唐。韩愈本来没有到过桃花源，又反对有关的荒唐之说取材、立意就更要有独特的角度。如果直接否定已经传说化、神仙化的故事揭穿美丽的幻想会大煞风景；又假如就事实进行议论，则无诗意可言。
接下来八句“架岩凿谷开宫室”至“岁久此地还成家”，诗人设想了一下“避秦人”是如何开辟这片乐土的。开创之初，也是万分艰难，历经千万日，才有了这样安逸的生活，山川田野，远近高低，处处栽桃种树，每到春来，桃花盛开，如云蒸霞蔚，开始他们还思念家乡，时间一长就把此地当新家了。
中间十八句“渔舟之子来何所”至“万里苍苍烟水暮”，按照《桃花源记并诗》的线索展开，渔人突然造访、和桃花源人对话、受到款待、夜宿玉堂，毕竟尘心未泯依依不舍地离开，但见烟水茫茫，不知所向了。
最后两句“世俗宁知伪与真，至今传者武陵人。”这两句和首两句呼应，这个传说不知是真是假，大概只有武陵人才能弄清楚了。
韩愈的这首诗，有一个与众不同的特点，就是他不仅要欣赏这幅图，还要隐括《桃花源记并诗》，因而他的叙事线索是两条，在“常图”这个初级叙事的框架里，再嵌入桃花源这个次级叙事。这首《桃源图》起句便“横空盘硬语”，雄健壮丽，音调高朗，首尾呼应，惊警挺拔，中间肆意铺张，夹叙夹议，疏密相间，意脉贯通，句法颇有“韩文”的特征。