慧遠所處的時代，正是“城頭變幻大王旗”的時代，但他仍然追隨道安到處宣傳佛教理念。4世紀中葉，前秦苻堅統(tǒng)一了北方，準備向南進軍，消滅東晉，實現(xiàn)全國的統(tǒng)一，時局正處于風云變幻時期，慧遠跟隨道安法師到當時屬于東晉管轄的襄陽宣揚佛法。

后襄陽被前秦軍隊攻陷，信奉佛教的苻堅命令前秦軍隊扣留道安法師，道安便遣散徒眾到各地去傳教。臨行前，道安對弟子們一一給以誨勉，唯獨對慧遠不發(fā)一言?；圻h跪在師前問道：“唯獨不給我什么教誨，是認為我不值得教導嗎？”道安說：“像你這樣的人，難道還有什么可以擔憂的嗎？”于是，慧遠等一行十余人告別了道安，南下荊州。從此，慧遠終生再也未得與道安師傅相見。

慧遠告別恩師，率領(lǐng)弟子數(shù)十人往廣東羅浮山。途中經(jīng)過江西潯陽時，慧遠愛惜廬山幽靜秀麗而閑曠，于是在此落腳弘揚佛法，后來在他人幫助下建立了東林寺。

慧遠隱居廬山從事佛教事業(yè)長達年，這是他一生中最重要、最輝煌的時期。一方面慧遠幾乎是足不出戶，潛心研究，形成了自己的理論基礎。在研讀經(jīng)典過程中，他感到當時南方佛經(jīng)很不齊備，禪法無聞，律藏殘缺，就派遣弟子法凈、法領(lǐng)等人遠度蔥嶺，尋求佛經(jīng)。

這些弟子跋山涉水，歷盡艱辛，從西域帶回《方等》新經(jīng)二百余部，得以傳譯。另一方面，他虛心求學，能夠注意兼容并蓄，僧伽提婆南游廬山，慧遠請譯《阿毗曇心經(jīng)》和《三法度論》，并作序提倡，由此開南方毗曇學的端緒。他致書曇摩流支請求補譯《十誦律》，使佛典律類著作有較完備的譯本。他還派人去邀請覺賢禪師到廬山，此舉推動了南方禪法的流行。