运营总监问了一个问题：我们要不要买台机器，把AI放到公司里跑？
问这个问题的背景是，上个月的API账单比预算多了四成，而且法务那边一直在念叨客户名单能不能别往外传。
八月十号，Meta 开源了一个叫 Muse Glimmer 的模型，让这个问题从“要不要”变成了“什么时候”。
先说清楚发生了什么
Meta Superintelligence Labs 在8月10日放出 Muse Glimmer，300亿参数的稠密模型，Apache 2.0 协议，权重直接挂在 Hugging Face 上，支持 Ollama、LM Studio、llama.cpp、MLX、vLLM 这一整套工具链。
关键的不是参数量，是它对硬件的要求。全精度跑需要55GB以上内存，但4-bit量化之后模型不到20GB，24GB或32GB显存的机器就能带得动——一张 RTX 5090 或 4090，或者一台 M4/M5 Max 的 Mac。NVIDIA 那边给的数字是单卡2万token每秒。上下文12万以上。
Meta 官方那句话说得很直接：不需要 API key，没有配额，没有一个请求离开你的机器。
但我建议先别激动。Meta 自己给的对比数据里，Muse Glimmer 在八项通用智能体基准里赢了五项，对手是 Gemma4-31B 和 Qwen3.6-27B——都是同量级的本地模型，不是云端旗舰。而且不是全赢，GPQA Diamond 那项就输给了 Gemma4，85.7对83.5。
所以准确的说法是：本地跑的模型现在能干活了，但它干的是那部分活，不是全部。
一台能跑的机器，不等于一套能用的方案
这一节容易被跳过，但它是最贵的部分。
硬件是显性成本，一张卡加整机几万块，这个所有人都算得清。算不清的是后面的：谁来做量化、谁来部署推理服务、模型更新了谁来跟、显存不够了谁来调、多个人同时用怎么排队。
还有一个更现实的问题：一台机器同时能服务几个人？稠密模型每个 token 都激活全部参数，好处是延迟可预测，代价是并发能力有限。三五个人偶尔用没问题，二十个人天天用，那就不是一台机器的事。
我的判断是，二十人以下、没有硬性数据合规约束的团队，现在自建本地推理大概率不划算——买卡加运维投进去的钱，够买两三年的API调用。这个结论我不敢说得太死，因为各家的调用量差别实在太大，你自己拿账单除一下就知道。
三种情况，答案完全不同
第一种：数据不能出内网的，别犹豫，本地。
客户名单、供应商报价、未公开的产品资料、财务明细。这类内容跑本地不是为了省钱，是为了它压根不能出去。这时候上面算的那笔账不成立，因为合规不是成本项，是约束条件。
第二种：高频、低复杂度、量特别大的，本地更划算。
批量翻译Listing、生成商品描述、给素材打标、日志分类。这类任务的特点是单次很简单但次数极多，一天几万次调用，云端按token计费会很难看，而本地跑的边际成本基本就是电费。
第三种：要最强能力、但频次不高的，留在云端。
复杂推理、长文档分析、代码工程、多步骤的业务判断。这类一天可能就几十次，为了这几十次去堆硬件不值得，买最好的模型反而最省。
绝大多数公司最后会落在混合状态：本地扛住常规量，云端接复杂任务。这时候网络的角色就变了。
混合之后，网络要解决的是三件事
一、接云端的那条链路，瓶颈从来不是带宽。
这一点我在别的文章里说过，这里再强调一次：纯文本的API调用带宽消耗极低，几乎可以忽略。真正让人体感崩溃的是握手超时、延迟抖动、长连接中断。一个多步骤的智能体任务跑到一半断了，前面的token全白花。
所以为AI访问买粗管子是没用的，要买的是稳定和低延迟。判断方法也不是测速，是在业务高峰时段看延迟波动区间和丢包率。
二、本地部署反而会制造新的内网需求。
一台推理服务器放在公司机房，五个人用没事。但如果你有两个办公室，或者有人在家办公，或者海外有分公司要访问同一台机器——这就从“AI选型”变成了“组网”。多地访问同一个内网资源，需要的是站点互通，不是给每个地方各买一条出境线路。
这个转变很多人没意识到。本地部署省掉的是出境流量，但换来的是内网互通的需求。
三、模型放本地了，你的业务系统还在境外。
这是最容易被忽略的一条。就算模型完全跑在本机，你的ERP在境外、素材库在境外、平台后台在境外、报表要从海外系统里拉。智能体要干活就得访问这些东西，跨境链路一条都少不了。
换句话说：本地化模型解决的是模型这一层，不解决数据这一层。
那这笔钱该怎么花
先说观点：AI这件事上，钱应该花在“确定性”上，不是花在“峰值能力”上。模型跑得快一点慢一点，业务感知有限；但任务跑到一半断掉、后台打不开、素材传不上去，这些是直接损失。
所以预算的分配顺序应该是：先保证那条通往境外系统的链路是稳的，再考虑要不要把模型搬回来。反过来做的团队，往往是硬件买了、链路照旧、问题一个没解决。
跨境传输部分由中国电信等合规运营商提供，万联持有《增值电信业务许可证》，可以签合同、开发票、走电信直签。这一条在你要向法务解释“数据是怎么出去的”时比性能参数有用得多。
快速判断清单
- 数据涉及客户信息、财务、未公开资料：优先本地，网络需求转向内网互通
- 调用量大但任务简单：本地划算，但先算清运维人力
- 调用量小但要最强能力：留云端，重点保障链路稳定
- 团队20人以下、无合规硬约束：暂时别自建，把钱花在稳定的出境链路上
- 已经在跑智能体、任务经常中途失败：先测延迟和丢包，多半不是模型的问题
- 多地办公且要共用一台推理机：这是组网需求，不是加带宽
五个常见问题
Q：本地模型能力够用吗？
看任务。Meta 给的对比是 Muse Glimmer 在八项智能体基准里赢五项，对手是同量级的开源本地模型。跟云端旗舰比仍有差距，而且它自己也不是全赢。结论是：常规、重复、结构化的任务够用，复杂推理还是云端强。
Q：本地跑就完全不用网络了吗？
模型这一层不用。但你的ERP、素材库、平台后台、海外报表系统还在境外，智能体要拿数据就得走跨境链路。省掉的是模型调用的流量，省不掉业务数据的流量。
Q：接AI要不要加带宽？
纯文本调用几乎不占带宽，加粗管子解决不了问题。如果你现在遇到的是任务跑一半失败、响应忽快忽慢，那是延迟和链路稳定性的问题，先测再说。
Q：跨境访问AI服务合规吗，需要什么资质？
跨境传输部分由中国电信等合规运营商提供，万联持有《增值电信业务许可证》，可签合同、可开发票、可电信直签。客户侧需要提供公司资质和使用地址。
Q：能不能先小规模试，跑通了再扩？
可以，也建议这样。带宽档位一般能调整，签之前把调整周期和条款问清楚。先按现有调用量落地，跑一个月看监控里的延迟曲线和失败率，再决定加不加。
这周可以做的两件事
第一件，把过去三个月的API账单拉出来，按任务类型分个组：哪些是重复的批量活，哪些是真正需要最强模型的。前者的占比如果超过七成，本地方案值得认真算一算；如果不到三成，先别折腾硬件。
第二件，如果你已经在跑智能体任务，去看一下失败记录——是模型给了错答案，还是任务根本没跑完。这两种失败的解法完全不同，前者换模型，后者是链路问题。很多人把后者当成前者，换了三个模型也没好。
这两个数字拿到之后，本地还是云端这个问题基本自己就有答案了。
可以按你算出来的调用量和链路要求先开一段试用，在真实业务时段跑一遍再决定签多久。