不久之后，梁山好漢江州劫法場救宋江，宋江上山了。宋江可不是一個人上山的，他是帶著龐大的勢力，白龍廟聚義的二十多個頭領(lǐng)上山的。

所以這時候梁山上出現(xiàn)了一個矛盾的情況：宋江無論手腕、能力、江湖聲望、還是自身的實力遠遠都超過了晁蓋，但是晁蓋系還擁有不小的實力，而且晁蓋本人為人大度，是沒法像之前火拼王倫那樣直接搶老大位置的。

所以，最后晁蓋是老大，宋江是老二。因為宋江勢力的加入，原先那十一個頭領(lǐng)就不再有什么分別了，都變成了“舊頭領(lǐng)”。林沖也跟著融入了這個小群體。

接著，吳用投靠宋江、公孫勝離開山寨，林沖成為了舊頭領(lǐng)中僅次于晁蓋的二號。宋江上山后，梁山進入了迅速壯大的正規(guī)化發(fā)展路線，宋江多次帶領(lǐng)部下征戰(zhàn)，立下了很多戰(zhàn)功，勢力越來越強。

晁蓋終于坐不住了，自己帶兵出征，攻打曾頭市。結(jié)果，就這一次出征，晁蓋死了。晁蓋死后，林沖就自動成為舊頭領(lǐng)的一號。

晁蓋一死，梁山大權(quán)落入了宋江、吳用手中，他們也把梁山勢力推向了巔峰，并最終接受朝廷招安，成功洗白了自己。

在此期間，又有兩個人上山，排到了林沖前面。一個是盧俊義，一個是關(guān)勝。

林沖確實繼承晁蓋的位置領(lǐng)導了老梁山派的一干人等，但他也知道自己做不了大頭領(lǐng)，于是向宋江臣服了。可是，宋江和吳用仍不放心。因為林沖資歷很深、威望很高，要是林沖真的遵循晁蓋遺命，捉到了史文恭，恐怕真的能跟宋江爭奪一下頭領(lǐng)位置。而林沖和三山系領(lǐng)袖魯智深關(guān)系極好，又和降將派有天然親切，真實勢力恐怕不弱于宋江。