1865年9月20日（清同治四年八月初一日）李鸿章奏请设立江南制造总局于上海。
早在1865年6月李鸿章已购进了上海虹口美商旗记铁工厂，并将原设立在苏州由丁日昌、韩殿甲主持的两个洋炮局并入，再加上由曾国藩派容闳从美国购买的机器，建成“江南机器制造总局”。委派丁日昌、冯焕光、沈葆靖办理，洋员马加尼为总理。每月拨经费1．4万两。
1867年由上海虹口迁往高昌庙。主要制造枪炮，修造兵轮。局内设汽炉厂、机器厂、熟铁厂、洋枪接、木工厂、铸钢铁厂、火箭（炮弹）厂，是一所清政府官办的最大的军事企业。江南机器制造总局还附设翻译馆，选“聪颖子弟”人馆学习，培养机械工程师。