后通過(guò)校尉袁雄出來(lái)自首，袁雄為呂蒙從中說(shuō)情，并將他推薦給孫策。孫策見(jiàn)呂蒙確有過(guò)人之處，便把他安排在身邊作事。幾年后，鄧當(dāng)去世。張昭推薦呂蒙接替鄧當(dāng)職務(wù)，任別部司馬。

建安五年（200年），孫策遇刺身亡，享年26歲。孫權(quán)接掌了江東的大權(quán)，想把那些統(tǒng)兵較少又發(fā)揮不了多少作用的年輕將領(lǐng)檢選出來(lái)，把他們的部下加以調(diào)整合并。

呂蒙聽(tīng)說(shuō)后，知道部隊(duì)合并后，自己想有所作為，就更困難了。于是，他想辦法賒來(lái)物品，為部下趕制了絳色的服裝和綁腿，并加緊操練。

孫權(quán)檢閱時(shí)，呂蒙兵馬“陳列赫然，兵人練習(xí)”，孫權(quán)見(jiàn)后大悅，認(rèn)為他治軍有方。不但沒(méi)有削減其部，反而增加了他的兵員。

二、屢建戰(zhàn)功

建安九年（204年），孫權(quán)討伐黃祖，擊破黃祖水軍，獲悉丹陽(yáng)、豫章、廬陵三郡的山越起事。孫權(quán)引軍返回，呂蒙隨軍征討。

至豫章郡（治今江西南昌），孫權(quán)命征虜將軍呂范平鄱陽(yáng)（今江西波陽(yáng)東北），蕩寇將軍程普進(jìn)擊樂(lè)安（今江西德興東北），建昌都尉太史慈撫治海昏（今江西永修東），同時(shí)，令呂蒙與別部司馬黃蓋、韓當(dāng)、周泰等率兵鎮(zhèn)守險(xiǎn)要，擔(dān)任山越最為活躍地區(qū)的縣令或縣長(zhǎng)。

呂蒙與諸將遵照孫權(quán)的部署，各自以武力平定了本地區(qū)起事的山越族人。呂蒙因功被任命為平北都尉，兼任廣德長(zhǎng)。

建安十三年（208年），孫權(quán)采納將軍甘寧建議，發(fā)兵進(jìn)攻夏口（今湖北武漢境），呂蒙隨軍出征。江夏郡太守黃祖下令用蒙沖戰(zhàn)艦封鎖沔口（漢水入長(zhǎng)江口），用大棕繩系巨石為錐以固定艦位，上有千余人用弓弩交射，封鎖江面，吳軍進(jìn)攻受阻。