一个济南企业济南大模型部署的真实经历

2026年3月，济南高新区一家做工业质检设备的公司——济智精工的CTO老周给我打来电话，语气里带着焦虑：”兄弟，模型跑不起来，GPU利用率上不去，老板天天催，我快扛不住了。”

这就是我接下来要讲的故事。一个典型的济南制造业企业，如何在六周内完成大模型从概念到生产环境的全流程部署。

一、从”试一试”到”必须上”的转折

济智精工做的是汽车零部件的视觉检测，以前一直用传统机器视觉算法。但客户越来越挑剔——零部件表面那零点几毫米的细微划痕，传统算法漏检率在3%以上。他们想试试大模型的多模态识别能力。

老周最初的想法很简单：租个云端API，调一调接口不就完了？结果发现两个硬伤：第一，工厂的检测产线要求实时响应，云端往返延迟根本撑不住；第二，他们处理的图片里有大量客户保密的产线数据，上传第三方平台，法务部门直接否决。

这逼着他们走上了济南大模型部署的本地化之路。

二、硬件选型踩过的坑

4月初，老周的团队开始选硬件。他们的预算是80万，原本想买4张A100。结果一打听，2026年国产算力市场已经卷得不行，华为昇腾、寒武纪、壁仞的卡性能都不错，价格只有A100的一半。

最后他们选了一套混合方案：2张国产卡做主力推理，1张英伟达H20做模型微调。据老周说，跑了两个月，国产卡的推理速度比预期快了40%，这个有点出乎他意料。

我问他怎么敢押注国产卡？他苦笑：”不是敢，是预算逼的。但跑下来发现，2026年的国产算力已经不是两三年前那个水平了，济南这边几家做智能制造的同行都用上了，反馈都不错。”

三、模型选型的实战经验

硬件定了，模型选型又是另一道坎。

市面上开源大模型一大堆，通义千问、智谱GLM、DeepSeek、百川，还有各种垂直领域的工业模型。老周团队一开始想直接用通用大模型，结果发现两个问题：一是通用模型对工业缺陷的语义理解不够精准，二是模型太大，14B的模型推理一张卡根本跑不动。

最后他们的解决方案是：在Qwen2.5-VL的基础上，用自己积累的20万张标注好的缺陷图片做了行业微调，模型压缩到7B，推理速度上去了，准确率也从基线的87%提升到了96.5%。

“坦白说，济南大模型部署这事儿，模型选型比硬件选型更考验人。”老周后来总结时说，”你得懂业务，知道哪些参数该动哪些不该动。”

四、部署过程中的三个关键决策

进入正式部署阶段后，老周团队做了三个我觉得很有参考价值的决策：

第一，推理框架选了vLLM而不是TGI。原因很简单——vLLM对国产卡的适配更好，社区里济南做AI的朋友也都在用这个。

第二，数据闭环放在本地。检测过程中遇到的新缺陷类型，会自动归入训练数据集，每周迭代一次模型。这种”边用边学”的机制让模型的适应能力越来越强。

第三，没有一步到位追求大模型。他们先在小产线试运行了一个月，跑通了再逐步推广到全部12条产线。这种节奏感，很多企业都做不到。

五、六周后的结果

5月中旬，整个项目正式上线。我上周去济智精工的工厂实地看了一次，检测产线上大屏跳动着实时数据——漏检率从3.2%降到了0.8%，过检率从8%降到了2.5%。

更让老周兴奋的是，因为检测精度提升，他们拿到了一个原本拿不到的新客户——济南本地一家新能源汽车整车厂的单子，一签就是三年。

“济南大模型部署这条路走对了。”老周在车间里跟我说这话的时候，背后是轰鸣的机器和闪烁的检测灯光。那个画面我到现在都记得。

六、给同行的几点建议

故事讲完了，我结合老周的经历和最近接触的几家济南企业，说几点掏心窝子的话：

别迷信”一步到位”。很多企业一上来就想搞千亿参数，结果连数据都没准备好。济智精工的聪明之处在于，他们先用7B模型把业务跑通，再根据实际需求慢慢迭代。

算力选择要务实。2026年的国产卡已经不是”备选方案”，而是很多场景下的最优解。尤其是济南周边有完整的国产算力供应链，售后和调优服务都很及时。

本地化部署不只是技术问题，更是数据合规问题。济南的制造业很多涉及客户机密，本地部署既能保证响应速度，又能守住数据底线，这笔账怎么算都划算。

如果你也在济南，正在考虑济南大模型部署，不妨先问自己三个问题：业务场景是否明确？数据是否就绪？团队是否有能力做持续迭代？这三个问题想清楚了，后面的路会顺很多。

制造业的智能化转型，从来不是一场百米冲刺，而是一场马拉松。济智精工的故事，只是这条赛道上无数个奔跑者中的一个。但他们的经验告诉我们：方向对了，慢一点也没关系。