在残酷的战争扫荡和接踵而至的瘟疫、灾荒侵袭下，作为徽商大本营的徽州也受到了毁灭性打击，以至于曾国藩都在上奏清廷的奏折中写道：“皖南及江宁各属，市人肉以相食，或数十里野无耕种，村无炊烟。”
在二十多年的战争扫荡下，徽商商帮从南到北一片哀鸿遍野，继盐业之外，茶业、典当业、木材业等徽商传统主营项目也都受到了致命性的摧残，而在先后平定太平军和捻军之乱后，徽商们也猛然发现，即使战争停歇，他们所面对的外部环境也发生了剧变。
当时，作为中国传统的“出口创汇三宝”（茶叶、陶瓷、丝绸），茶叶贸易随着英国人在印度和斯里兰卡等地的大规模引种茶叶，出口已经日渐衰落；而欧洲人自产的陶瓷质量也越来越优越，逐步取消了对中国瓷器的进口；在生丝和丝绸方面，日本和欧洲的养蚕业和丝绸业也不断崛起，中国的市场份额不断萎缩。
