后通過校尉袁雄出來自首，袁雄為呂蒙從中說情，并將他推薦給孫策。孫策見呂蒙確有過人之處，便把他安排在身邊作事。幾年后，鄧當去世。張昭推薦呂蒙接替鄧當職務(wù)，任別部司馬。

建安五年（200年），孫策遇刺身亡，享年26歲。孫權(quán)接掌了江東的大權(quán)，想把那些統(tǒng)兵較少又發(fā)揮不了多少作用的年輕將領(lǐng)檢選出來，把他們的部下加以調(diào)整合并。

呂蒙聽說后，知道部隊合并后，自己想有所作為，就更困難了。于是，他想辦法賒來物品，為部下趕制了絳色的服裝和綁腿，并加緊操練。

孫權(quán)檢閱時，呂蒙兵馬“陳列赫然，兵人練習”，孫權(quán)見后大悅，認為他治軍有方。不但沒有削減其部，反而增加了他的兵員。

二、屢建戰(zhàn)功

建安九年（204年），孫權(quán)討伐黃祖，擊破黃祖水軍，獲悉丹陽、豫章、廬陵三郡的山越起事。孫權(quán)引軍返回，呂蒙隨軍征討。

至豫章郡（治今江西南昌），孫權(quán)命征虜將軍呂范平鄱陽（今江西波陽東北），蕩寇將軍程普進擊樂安（今江西德興東北），建昌都尉太史慈撫治?；瑁ń窠饔佬迻|），同時，令呂蒙與別部司馬黃蓋、韓當、周泰等率兵鎮(zhèn)守險要，擔任山越最為活躍地區(qū)的縣令或縣長。

呂蒙與諸將遵照孫權(quán)的部署，各自以武力平定了本地區(qū)起事的山越族人。呂蒙因功被任命為平北都尉，兼任廣德長。

建安十三年（208年），孫權(quán)采納將軍甘寧建議，發(fā)兵進攻夏口（今湖北武漢境），呂蒙隨軍出征。江夏郡太守黃祖下令用蒙沖戰(zhàn)艦封鎖沔口（漢水入長江口），用大棕繩系巨石為錐以固定艦位，上有千余人用弓弩交射，封鎖江面，吳軍進攻受阻。