一个济南企业本地部署大模型的真实经历：从踩坑到跑通的90天

去年11月，我们公司接了一个让整个技术部都失眠的活儿——给济南高新区一家做精密制造的客户，完整落地一套本地化大模型系统。说实话，签合同的时候老板拍着胸脯说”三个月搞定”，我心里已经在打鼓了。三个月？本地部署大模型？真当买台服务器插上电就能跑啊？

但客户那边的需求是真实且迫切的：他们的质检部门每天要处理上万张产品图，以前靠人工肉眼挑缺陷，漏检率常年维持在5%左右。上了大模型后，目标是把漏检率压到1%以内，数据还不能出厂区——这是硬性要求，涉及到商业机密，必须济南本地部署。

今天这篇文章，我想把这90天里我们趟过的雷、踩过的坑，毫无保留地分享出来。如果你们公司也在济南有类似的需求，希望我的经历能帮你少走点弯路。

第一阶段（第1-15天）：别急着买硬件，先把场景想清楚

我们犯的第一个错误，就是在签完合同的第一周就下单了4张A100显卡。当时觉得”大模型嘛，显卡必须顶配”，结果等硬件到位之后才发现，客户的实际场景根本用不着那么大的参数量。

后来重新梳理了他们的需求：输入是工业相机拍的金属件表面图，输出是”合格/不合格”加缺陷位置标注。这是个典型的视觉分类任务，用不上千亿参数的大语言模型，一个基于Qwen-VL微调的视觉模型就够了。

所以第一个教训送给你们：在济南本地部署大模型之前，先问自己三个问题——数据是什么形态？推理延迟容忍度多少？数据能不能出厂？如果答案分别是”图片””200ms以内””不能”，那恭喜你，你的需求其实比想象中小得多，硬件成本也能砍掉一大半。

第二阶段（第16-45天）：数据准备才是真正的生死线

硬件到位只是开始，数据才是让所有AI项目经理头秃的部分。我们花了将近一个月的时间，就干了一件事——和客户一起整理他们过去三年积累的质检图片。

这里有个细节我想专门说说。客户原本以为”我给你两万张图，你直接训练就行了”。但实际情况是，这两万张图里有30%是无效的（光线不对、角度偏了、标签打错了），还有一部分是”灰色地带”——两个工程师对同一张图会有不同判断，这种数据最麻烦。

我的建议是，在济南做本地化大模型部署的企业，一定要预留至少30%的时间给数据清洗。别相信什么”我们的数据很干净”这种话，工业现场的数据就没有干净的。你需要一个懂业务的标注团队，需要一个懂AI的数据团队，还需要一套版本管理工具——我们用的是Label Studio加上自研的审核流程，勉强把这块啃下来了。

还有一个反常识的点：数据量不是越多越好。在我们的案例里，最终训练集是8000张高质量标注图，效果反而比1.5万张混合数据好得多。质量比数量重要，这一点在工业场景里尤其明显。

第三阶段（第46-75天）：部署选型，私有化vs本地化你分得清吗？

很多济南企业一上来就说”我要私有化部署”，但你真的理解私有化和本地化的区别吗？

我们给客户做的是”本地化部署”——模型权重、客户数据、推理服务全部跑在客户机房里的GPU服务器上，连网都不连。这和”私有化部署”还不完全一样，私有化通常指的是部署在企业自己的云账户下（比如阿里云专有云），数据虽然在逻辑上隔离，但物理上还是在公有云机房里。

对济南本地的制造企业来说，我强烈建议直接选本地化。除非你的机房条件真的不行——电力、散热、网络、动环监控，这些工业级要求不是随便找个办公室就能搞定的。客户那边还好，他们本身就有标准化机房，我们只是加了两台机柜和UPS。

推理框架我们用的是vLLM，起初试过Triton，但vLLM在视觉模型上的吞吐表现更稳定，P99延迟稳定在180ms左右，完全满足产线节拍。

第四阶段（第76-90天）：上线不是终点，是起点

第90天模型正式上线的那天，我记得特别清楚——质检车间主任盯着大屏上的实时统计数字看了十分钟，然后转过头来跟我说：”漏检率从5.2%降到0.8%了。”那一刻我承认，眼眶有点湿。

但这绝对不是终点。模型上线后我们才发现，工业现场的”数据漂移”比想象中严重得多——换了一批原材料，产线微调了一下参数，模型的准确率就开始往下掉。所以现在我们每周都会做一次增量训练，每个月做一次全量微调，这部分工作已经移交给了客户自己的AI团队。

回想这90天，我最大的感悟是：济南本地部署大模型这件事，技术本身只占30%，剩下70%是数据治理、流程改造、跨部门协作。技术方案可以照搬，但每个企业的数据底子不一样，业务流程不一样，最后跑出来的效果也不一样。

如果你也在济南，正在考虑给自己的企业上一套本地化大模型，我的建议只有一句：别迷信参数，别迷信算力，把你那堆”脏数据”先收拾干净——这比买什么型号的显卡重要十倍。