清乾隆末年，封建統(tǒng)治日趨沒落，課稅、捐輸日益加重，徽商處境愈來愈困難。1831年，兩江總督兼管兩淮鹽政陶澍革除淮鹽積弊，改行“票法”，靠鹽業(yè)專利發(fā)跡的徽商開始衰敗典當業(yè)也因左宗棠壟斷及外國銀行的侵入而中落。

茶、木兩商則由于鴉片戰(zhàn)爭和太平天國運動的影響，連年虧損。曾國番與太平軍在皖南與徽州的拉鋸戰(zhàn)，徽州十村九毀，生靈涂炭。加之隨著帝國主義入侵，外資滲入，國外商品傾銷，徽商經(jīng)營的行業(yè)大多被其所替代。同時與帝國主義、軍閥官僚聯(lián)系密切的廣東、江浙財閥開始興起，只掌握傳統(tǒng)商業(yè)知識、技能的徽商，在商業(yè)領(lǐng)域逐漸失去其操縱、壟斷和獨占的地位，開始走下坡路。

清末和民國時期，雖有個別徽商人物如黟縣鹽商李宗媚、歙縣房地產(chǎn)商人程霖生等嶄露頭角，但整體上挽救不了徽商的頹勢。

徽商的主要特點有哪些？

一、遍布全國，與晉商齊名，到處有徽商足跡。

二、經(jīng)營品種廣泛，鹽、棉（布）、糧食、典當、文具筆墨（文房四寶）。

三、吃苦耐勞、勤儉節(jié)約、小本經(jīng)營、由小到大。

四、資本雄厚。如休寧人汪福光在江淮從事販鹽，擁有船只千艘，所銷之鹽占淮鹽的1/2以上。

清乾隆末年，關(guān)稅盈余每年85萬兩銀子，而出口商品中徽商的茶葉為第一位。