1923年春，不滿北洋政府教育總長(zhǎng)彭允彝破壞法制的行為，提出辭職，離京南下。秋間轉(zhuǎn)赴歐洲，從事研究和著述，并參與要求英、法等國(guó)退還庚子賠款興辦教育事項(xiàng)。

1924年1月在國(guó)民黨第一次全國(guó)代表大會(huì)上，經(jīng)孫中山提名，當(dāng)選為候補(bǔ)中央監(jiān)察委員。1926年初回國(guó)。在上海參加蘇浙皖三省聯(lián)合會(huì)，配合北伐戰(zhàn)爭(zhēng)，策劃三省自治運(yùn)動(dòng)，遭孫傳芳通緝。

1927年起，在南京國(guó)民政府任大學(xué)院院長(zhǎng)、司法部長(zhǎng)和監(jiān)察院長(zhǎng)等職。1927年3月28日，蔡元培任國(guó)民黨中央監(jiān)察委員會(huì)會(huì)議主席，對(duì)吳稚暉提出的彈劾共產(chǎn)黨表示附議，主張“取消共產(chǎn)黨人在國(guó)民黨之黨籍”。

4月2日，蔡元培再次擔(dān)任主席，蔡元培再次附和吳稚暉關(guān)于彈劾共產(chǎn)黨的文告，并拿出了《共產(chǎn)黨禍黨證據(jù)及共產(chǎn)黨在浙禍黨之報(bào)告》。國(guó)民黨南京政府成立后最初兩年內(nèi)，蔡元培在政治上仍然站在蔣介石一邊，支持“清共”。

但與其他人不同的是，在清黨的實(shí)施過(guò)程中，他不支持濫殺，而是希望將這種政治上的彈壓行動(dòng)納入比較規(guī)范的法治范圍，即同意清黨但反對(duì)殺人。

在清黨的初期，蔡元培就曾對(duì)浙江清黨委員會(huì)的草菅人命提出了嚴(yán)厲的批評(píng)，并要求在清黨中必須執(zhí)行三條原則，而且出面營(yíng)救過(guò)可能遭國(guó)民黨逮捕的共產(chǎn)黨人和革命青年。

為勸阻南京國(guó)民黨當(dāng)局濫殺行為，蔡元培曾專(zhuān)門(mén)撰文勸告國(guó)民黨當(dāng)局繼承孫中山的高尚人格，以德服人，停止濫殺。