楊萬里力爭主戰(zhàn)名相張浚當(dāng)配饗，指斥洪邁不俟集議、專輒獨(dú)斷，無異“指鹿為馬”，因此惹惱孝宗。孝宗說：“萬里以朕為何如主？”因而削去直秘閣，出知絹州（今江西高安）。淳熙十六年（1189年）二月，孝宗禪位于太子趙惇（即宋光宗）。楊萬里于五月復(fù)直秘閣，八月被召，九月入京。他連上三札，要求光宗愛護(hù)人才，防止奸佞做到“一日勤，二日儉，三日斷，四日親君子，五日獎(jiǎng)直言”（《第三札子》）。十月，除任秘書監(jiān)。

紹熙元年（1190年），以煥章閣學(xué)士職充任接伴金國賀正旦使，兼實(shí)錄院檢討。八月，《孝宗日歷》修成，照例應(yīng)由楊萬里為《日歷》作序，而宰臣卻另命禮部郎官傅伯壽作序，楊萬里于是自劾失職，請求去職，光宗挽留。接著又因要進(jìn)《孝宗圣政》書，本應(yīng)由楊萬里奉進(jìn)，但孝宗猶念舊惡，大不痛快，于是外調(diào)楊萬里為江東轉(zhuǎn)運(yùn)副使，暫時(shí)代理總管淮西和江東軍馬錢糧。

紹熙二年（1192年），朝廷下令于江南諸郡行使鐵錢會(huì)子，楊萬里上書諫阻，不奉詔，得罪宰臣，因而改任贛州知州，楊萬里未就職，并請求任祠祿官，獲授秘閣修撰、提舉萬壽宮，于八月謝病自免，回歸吉水。自此幽屏，便與世絕。紹熙五年（1194年），光宗禪位于宋寧宗趙擴(kuò)。寧宗即位后，召楊萬里赴京，楊萬里辭謝不往。次年九月，升煥章閣待制，提舉興國宮。