这首诗首联起笔疑问，设置悬念，然后用脑海中的想象做答，并点题，表明对张丞相的思念。“所思竟何在”，诗人“思”那名动一时的名相在哪里，接着“怅望深荆门”，既表达了对张九龄的深深怀念，又写出了对当时黑暗政治的不满。
颔联则是加深了这种不满的感情，在抒情上更进一层。“举世无相识，终身思旧恩”，追忆往事，诉说自己仕途的坎坷及对张九龄赏识、提拔自己的感激。“无相识”略显夸张，有明显的奉承之意；或有双关意，指别的丞“相”不“识”己的意思。
颈联表明自己的立场：“方将与农圃，艺植老丘园”，说明自己不会与昏暗的官僚门同流合污，将隐居于山川田园之中。那山水田园就是诗人在红尘中一直所沉吟向往的地方，表达了诗人归隐的决心。
尾联讲寄言，“目尽南飞雁，何由寄一言？”眼睛望着南飞雁，一直看它们飞到天边的尽头，消失为止，与“怅望”首尾呼应。此处用了“雁”“言”谐音，似乎也是在说或许那南飞雁能帮诗人捎带去吧。诗人寄思念之情于南飞大雁中，更以鸿雁过尽，无从寄书，抒发自己难言的隐痛，意在言外。
全诗以景结束，苏轼赞王维“诗中有画”，“目尽南飞雁”有这个意思。以此收束全文，低吟婉转，更觉深沉。