蚂蚁把560B大模型开源了:MXFP4一刀切掉一半显存、4卡就能跑,但"百万上下文"先打个问号?
9月30日产品亮相时,外界的不满情绪相当直接:免费体验仅提供25.6万token的上下文长度,百万token窗口需付费后才能使用,而开源更是被列为“计划”——先吸引用户、再放出模型权重,这种顺序让不少人感到不满。
10月15日,蚂蚁集团兑现了承诺:Ling-3.1-flash模型权重正式开源,FP8检查点以MIT许可协议上传至Hugging Face和ModelScope,同时提供了基于SGLang和vLLM的部署路径。
先看规格:560B的规模,25B的成本
Ling-3.1-flash是一款典型的“大参数量、小激活量”MoE模型:共72层、512个路由专家,每token仅激活8个专家,激活参数约25B——仅为总参数量的二十二分之一。采用混合线性架构,最高标称支持100万token上下文。
这种比例的设计意图很明确:推理成本随激活参数走,能力上限随总参数走。用25B的成本,借助560B的“大脑”。上一代Ling-3.0-flash为124B/5B,这一代两个数字均翻了四五倍,并加入了混合推理模式。
部署策略:为何敢将专家压缩至4-bit
此次开源最具技术含量的部分,是一套混合量化方案:
策略逻辑清晰:512个路由专家占据了参数的绝大部分,而MoE专家本身稀疏激活、对量化的敏感度相对较低,压缩至MXFP4后损失可控;dense层每个token都必须经过,是模型的“主干道”,因此保守地保留在block-FP8。两者结合后,权重占用减少45%,官方测试配置下的服务部署从8张GPU降至4张。
需要提醒的是,官方也明确指出:实际所需GPU数量会随上下文长度、并发量和服务配置变化,4张GPU是在特定测试条件下的结果,不能直接作为采购依据。另一个社区已发现的细节是:仓库中发布的配置max_position_embeddings为262,144,“百万上下文”目前仅写在模型卡的目标栏中——今天可验证的实际支持为256K这一档。
性能表现:官方榜单之外,听听用户怎么说
第三方数据方面,Artificial Analysis给出的智能指数为41,输出速度约每秒210 token,评价为“高频业务场景中智能与效率兼具”。Kilo Code的定价为输入$0.30、输出$0.90/百万token,缓存读取$0.06——属于典型的执行层定价。
厂商自报的分数需特别注意:Terminal-Bench 4、SWE-bench Pro等成绩均是在百灵自家的LingCode框架上跑出的——该框架基于开源编码智能体Pi改造,而LingCode本身尚未开源。使用未开源的工具得出的分数,他人暂时无法复现。
独立用户的反馈更为立体。MindStudio的实测显示,它在SQL调优中能单点命中最高影响的修复方案,单次SVG生成质量不错,模拟急救医疗问答结构完整;但在需要长链条工具调用的复杂Agent任务中——例如从Blender到Godot搭建一个完整游戏管线——结果是“能跑完,但游戏是坏的”。低资源语言同样是其短板。
信号:开源战场同一天撞车
10月15日这天格外拥挤:英伟达开源了主打“始终在线”Agent的Nemotron 3.5 Super VL,阶跃星辰放出了600B的Step 5 Preview权重,蚂蚁集团开源了Ling-3.1-flash。三家在同一天出手,指向同一块阵地——能在自有基础设施中部署的Agent执行层。
合理推测是,竞争的衡量标准正从“跑分”转向“每张GPU每天能完成多少任务”。蚂蚁这张牌的差异化优势在于:医疗沟通、办公、研发等蚂蚁自身业务所训练出的场景能力,加上一套从量化到长上下文并行的完整部署方案。能否胜出,取决于LingCode何时开源,以及4张GPU配置在实际业务并发下能否稳定运行。
公开资料的边界需说明:百万上下文是目标值而非当前配置,官方跑分无第三方复现,量化方案的精度损耗数据尚未随仓库公布。
权重已经就绪。剩下的问题,将由开发者自己的任务给出答案。
本文来自微信公众号“AI唱反调”,36氪经授权发布。