更有甚者他和新任宰相蘇良嗣在散朝后相遇。薛懷義既不施禮，也不讓路。蘇良嗣對他這種無禮的行為十分不滿。內(nèi)心里蘊藏已久的怒火，登時升起。大聲呼吁朝臣：“把這個下賤的東西趕出宮去。”

朝臣們早就義憤填膺，齊聲呼應(yīng)，一起動起手來，把薛懷義暴打了一頓。邊打邊罵：“不許你這種人在宮殿里橫行。”“這里不是你這種人呆的地方，你要再敢進來，非打斷你的狗腿!”

薛懷義本來有點武藝，但二三十個朝臣，他也寡不敵眾，被打得鼻青臉腫，狼狽不堪。

薛懷義本以為太后會為他做主，可是太后在這件事上很有度量，她認為這畢竟是私事。宰相蘇良嗣素以直言敢諫而著名，很服眾望。如果為了私寵薛懷義的無禮降罪于宰相，并不明智。為此，薛懷義氣得要命，索性放起賴來，借口有病，住在寺內(nèi)，不去侍奉太后了。

上官婉兒一看太后不高興了，后果會很嚴重，急令宦官傳話給他：“你要知道違抗圣命會帶來什么后果!”薛懷義可沒這么大的膽量，他深知太后翻臉無情，所以，盡管很委屈也只好服從。

為了安撫薛懷義的那點怨氣，太后讓他負責(zé)修建明堂。明堂在垂拱四年(688年)如期完成。太后十分滿意，提升他為左武衛(wèi)大將軍，正三品，封梁國公。從此男寵薛懷義也成了高官。

太后又命他繼續(xù)建造天堂和大佛。這項公程費時六年，在太后即位為皇帝后才完成。這中間，薛懷義還為太后登基大造輿論說：“太后是彌勒菩薩降世”，應(yīng)成為女王。他把《大云經(jīng)》里講的凈光天女降世與彌勒菩薩混為一談，迎合了人們信仰佛教的心理。

這幾年，他仍然對被宰相蘇良嗣暴打而糾結(jié)著，蘇良嗣沒被太后處理感到很不愉快，所以他心理有了障礙，越來越難滿足太后熾烈的愿望。他吃了許多春藥，也無濟于事。