不久，牛僧孺再度拜相，李德裕更慘了，被調(diào)到成都任西川節(jié)度使，甚至連推薦過李德裕的裴度也被貶到漢中任山南西道節(jié)度使。

這一時期，牛黨兩大黨魁都拜相，掌控唐王朝權(quán)力核心，而李黨則遭到毀滅性打擊。

本來，李宗閔調(diào)李德裕前往成都，就是想借吐蕃之力干掉李的，誰知這個李德裕確實有能力，不但將西川治理得井井有條，還將吐蕃打得連連求饒。

不久，吐蕃維州守將悉怛謀請降，李德裕派兵入據(jù)其城。牛僧孺卻害怕李搶頭功，就將悉怛謀及隨從遣返吐蕃，不料卻被吐蕃官吏殺死在維州城下。

唐文宗見牛僧孺為一己之力而將朝廷安危不顧，感到很害怕，就將李德裕調(diào)回京任兵部尚書。京兆尹杜悰向李宗閔提出建議，通過推薦李德裕任御史大夫的方法，與李德裕修好。得到李宗閔的同意后，杜悰造訪李德裕，提出這一方案。李德裕十分高興。

誰知，李宗閔在與楊虞卿商議后，卻對上述方案不了了之，錯過了雙方和解的最好時機。

833年 (文宗太和七年)，李德裕拜相，將楊虞卿、張仲方、張元夫、蕭浣等牛黨人物降職，出為地方官。不久，李宗閔出為山南西節(jié)度使。

可僅僅一年，掌控大權(quán)的李訓(xùn)、鄭注等人為排擠李德裕，又一次引薦李宗閔入相。李德裕只好調(diào)任鎮(zhèn)海節(jié)度使。

此后，唐穆宗、敬宗、文宗三朝，牛李兩黨都被當時掌權(quán)的反宦官的李訓(xùn)﹑鄭注排斥朝外。

840年 (開成五年)，文宗去世，牛黨和他們依靠的宦官所支持的繼承人未能繼位，另一派宦官擁立唐武宗即位﹐牛黨失勢。李德裕自淮南節(jié)度使入為宰相，開始了李黨獨掌朝政的時期。