作為報(bào)復(fù)，教皇把亨利四世逐出教會(huì)，并要求德意志的王公貴族遠(yuǎn)離這位不稱職的國(guó)王。德意志的王公們正巴不得除掉亨利四世，于是他們邀請(qǐng)教皇來(lái)到奧格斯堡，幫他們選出一位新皇帝。

于是，格里高利離開(kāi)了羅馬，動(dòng)身前往北方。亨利四世也不是傻瓜，他清楚地知道自己的處境非常危險(xiǎn)。他必須不惜一切代價(jià)，換取與教皇的和平相處。時(shí)值嚴(yán)冬，亨利顧不得天氣寒冷，匆匆翻過(guò)阿爾卑斯山，來(lái)到教皇臨時(shí)歇腳的卡諾薩城堡。

從公元1077年1月25日～28日整整三天的時(shí)間里，亨利都打扮得像個(gè)虔誠(chéng)的教徒一樣（他破舊的僧服下面其實(shí)穿著保暖的毛衣），一直等候在卡諾薩城堡的大門(mén)外。最終教皇允許他進(jìn)入城堡，并赦免了他的罪責(zé)。但他的懺悔并沒(méi)有持續(xù)多久。亨利一回到德國(guó)，就和以前一樣，我行我素。于是教皇再次把他逐出教會(huì)，而亨利也再次召開(kāi)了德意志主教會(huì)議，廢黜了格里高利。

這次亨利帶著一支軍隊(duì)，翻越了阿爾卑斯山。他們包圍了羅馬，逼格里高利退位，并把他流放到薩勒諾，格里高利最終死在那里。但這次流血沖突并沒(méi)能解決任何問(wèn)題。亨利一回到德意志，教皇和皇帝之間的戰(zhàn)爭(zhēng)就又展開(kāi)了。

不久之后，霍亨施陶芬家族取得了德意志帝國(guó)的皇位，他們變得比前任更加獨(dú)立。格里高利曾經(jīng)聲稱，教皇凌駕于所有君主之上，因?yàn)榻袒室谀┤諏徟心翘鞛樗乒艿乃懈嵫蜇?fù)責(zé)；而在上帝看來(lái)，一個(gè)國(guó)王不過(guò)是牧羊人中的一分子而已。