二人先后回到鹿兒島，不料卻被勒令離開薩摩藩。他們感到勤王大勢已去，絕望之下，當船行至錦江灣，相抱投海自盡。被救起時，月照已溘然長逝，西鄉(xiāng)亦奄奄一息。島津久光把他流放到奄美大島。

1862年（文久2年）西鄉(xiāng)隆盛在已握藩中大權(quán)的大久保利通幫助下返回薩摩藩。解除處分后作為尊攘派開始活動。久光本想借助西鄉(xiāng)的聲望，以便實現(xiàn)自己入京勤王，繼續(xù)搞“公武合體”的計劃。

不料，西鄉(xiāng)反對，表面上是認為久光威望和身分不夠。實際上其新的政治主張“尊王攘夷”與藩主的“公武合體”有矛盾，而且西鄉(xiāng)又與激進的藩士們聯(lián)絡(luò)。久光一怒之下，將他流放到德之島，兩個月后再轉(zhuǎn)送到流放死刑犯人的沖永良部島的牢獄中。

然而再次被流放到小島。在獄中兩年，西鄉(xiāng)受盡磨難，卻閱讀了大量儒家著作，不時吟詩抒懷。

他的一首詩寫道:“朝蒙恩遇夕焚坑，人生浮沉似晦明?？v不回光葵向日，若無開運意推誠。洛陽知己皆為鬼，南嶼俘囚獨竊生。生死何疑天賦與，愿留魂魄護皇城?！边@表達了他對死于安政大獄的志士們的追念之情，也闡明了他的生死觀和忠君勤王的志向。

三、參與維新

1864年，因倒幕派勢力增大和藩士們的要求，久光下令召回西鄉(xiāng)，并委以掌握薩摩藩陸海軍實權(quán)的重任。 此后五、六年間，是西鄉(xiāng)思想趨于成熟的時期。