但是這不妨礙他另找年輕貌美的女人尋歡取樂(lè)，可能也是因?yàn)橥孢@些女人，要比奉侍太皇更能隨意吧。他這樣做也怕惹起女皇的憤怒，會(huì)招來(lái)殺身之禍。所以他在白馬寺挑選了上千名身強(qiáng)力壯的和尚，作自己的近衛(wèi)軍，這些和尚近衛(wèi)軍仗著薛懷義胡作非為，無(wú)所不作。

這事很快就被周矩知道了，周矩為人剛正，他上奏女皇武則天要彈劾薛懷義。

武則天心想，薛懷義如果落入周矩手里，這個(gè)野和尚會(huì)什么也不顧地把宮里的秘事泄露出去，她這女皇的臉面也無(wú)光。于是，女皇下令，至于薛懷義以觀后效。其余的和尚，交周矩全權(quán)處理。周矩把這些和尚全部流放到嶺南。

薛懷義雖然對(duì)周矩的上奏很氣憤，但也很害怕。可是，薛懷義卻聽(tīng)說(shuō)女皇已經(jīng)有了另外的情人御醫(yī)沈南騀，這位沈南騀確是武則天為女皇后的第二位情人，但是，時(shí)間不太長(zhǎng)，至于什么原因不太清楚。

此時(shí)的薛懷義滿腔的怒火，縱火把天堂和萬(wàn)象神宮都化為一片灰燼，損失之大，可想而知。

朝臣們都以為女皇會(huì)因?yàn)檫@兩座耗資巨大，而她又十分喜歡的殿堂被燒毀而感到震怒，嚴(yán)查失火原因和縱火者?？膳饰鋭t天卻輕描淡寫地說(shuō)是工人不慎引起的火災(zāi)。這種態(tài)度，朝臣們感到很奇怪，但也琢磨出縱火者一定是薛懷義。

對(duì)于女皇武則天的不追究，反而仍然命令薛懷義重建明堂、天堂，還要造成代表天下九州的“九州大鼎”。可是，薛懷義卻害怕了，他覺(jué)得這平靜的背后不定隱藏著什么殺機(jī)。為此，他經(jīng)常酗酒，脾氣越來(lái)越暴躁，隨便打人罵人，幾乎和一個(gè)精神病患者沒(méi)什么區(qū)別，從朝臣到和尚，沒(méi)有一個(gè)不討厭他的。女皇武則天再也不能忍受了，不然，說(shuō)不定他又會(huì)鬧出什么亂子。于是，她終于下決心秘密處死薛懷義。