然而事實上，這只是霍光等大臣的托詞。真實的原因恐怕是劉賀即位之后，急于提拔自己從昌邑帶來的僚屬，忽視了朝中重臣，得罪了以霍光為首的西漢上層統(tǒng)治階級中的官僚集團(tuán)。憑借羅列上述所謂的罪行托詞，霍光以其不堪重任，突然發(fā)動政變，與大臣奏請15歲的皇太后(即孝昭皇后上官鳳兒，大將軍霍光的外孫女)下詔，于8月14日廢黜了劉賀，并親自送他回到封地昌邑(今山東省巨野縣昌邑鎮(zhèn))，保留王號(昌邑王)，令其食邑二千戶。同年，霍光尊立衛(wèi)皇后(衛(wèi)子夫)唯一曾孫、戾太子劉據(jù)唯一的遺孫、18歲的劉詢?yōu)榈郏菫闈h宣帝。