更有甚者他和新任宰相蘇良嗣在散朝后相遇。薛懷義既不施禮，也不讓路。蘇良嗣對(duì)他這種無(wú)禮的行為十分不滿。內(nèi)心里蘊(yùn)藏已久的怒火，登時(shí)升起。大聲呼吁朝臣：“把這個(gè)下賤的東西趕出宮去。”

朝臣們?cè)缇土x憤填膺，齊聲呼應(yīng)，一起動(dòng)起手來(lái)，把薛懷義暴打了一頓。邊打邊罵：“不許你這種人在宮殿里橫行。”“這里不是你這種人呆的地方，你要再敢進(jìn)來(lái)，非打斷你的狗腿!”

薛懷義本來(lái)有點(diǎn)武藝，但二三十個(gè)朝臣，他也寡不敵眾，被打得鼻青臉腫，狼狽不堪。

薛懷義本以為太后會(huì)為他做主，可是太后在這件事上很有度量，她認(rèn)為這畢竟是私事。宰相蘇良嗣素以直言敢諫而著名，很服眾望。如果為了私寵薛懷義的無(wú)禮降罪于宰相，并不明智。為此，薛懷義氣得要命，索性放起賴來(lái)，借口有病，住在寺內(nèi)，不去侍奉太后了。

上官婉兒一看太后不高興了，后果會(huì)很嚴(yán)重，急令宦官傳話給他：“你要知道違抗圣命會(huì)帶來(lái)什么后果!”薛懷義可沒(méi)這么大的膽量，他深知太后翻臉無(wú)情，所以，盡管很委屈也只好服從。

為了安撫薛懷義的那點(diǎn)怨氣，太后讓他負(fù)責(zé)修建明堂。明堂在垂拱四年(688年)如期完成。太后十分滿意，提升他為左武衛(wèi)大將軍，正三品，封梁國(guó)公。從此男寵薛懷義也成了高官。

太后又命他繼續(xù)建造天堂和大佛。這項(xiàng)公程費(fèi)時(shí)六年，在太后即位為皇帝后才完成。這中間，薛懷義還為太后登基大造輿論說(shuō)：“太后是彌勒菩薩降世”，應(yīng)成為女王。他把《大云經(jīng)》里講的凈光天女降世與彌勒菩薩混為一談，迎合了人們信仰佛教的心理。

這幾年，他仍然對(duì)被宰相蘇良嗣暴打而糾結(jié)著，蘇良嗣沒(méi)被太后處理感到很不愉快，所以他心理有了障礙，越來(lái)越難滿足太后熾烈的愿望。他吃了許多春藥，也無(wú)濟(jì)于事。