MiniMax 发布开源权重模型 M3: 引入 MSA 架构支持 1M 上下文与原生多模态

MiniMax 发布开源权重模型 MiniMax M3, 该模型首次在单一开源权重模型中集成了前沿编程、智能体能力与原生多模态支持, 并引入全新的 MSA 注意力机制实现 1M tokens 上下文窗口。据 MiniMax 官方 X 账号公布,M3 在 SWE-Bench Pro 等多项编程与智能体评测中达到前沿水平, 部分指标超越 GPT-5.5 与 Gemini 3.1 Pro。

MSA 架构实现 1M tokens 上下文扩展

为了解决复杂智能体任务中的上下文扩展难题,MiniMax 团队提出了 MiniMax Sparse Attention (MSA) 稀疏注意力架构。MSA 通过更精确的 KV 分块划分, 有效避免了全注意力机制中计算复杂度随长度平方增长的缺陷, 使 M3 支持最高 1M tokens 的上下文窗口。

在算子层面,MSA 采用了 “KV outer gather Q” 方案, 确保内存访问连续。据官方测试, 该方案在 M3 配置下比开源的 Flash-Sparse-Attention 和 flash-moba 快 4 倍 以上。在 100 万 token 长度下,M3 的单 token 计算量仅为前代模型的 1/20, 预填充阶段提速超过 9 倍, 解码阶段提速超过 15 倍。

前沿编程与智能体能力

MiniMax M3 在软件工程与终端执行等专业任务上表现强劲。在衡量编程能力的 SWE-Bench Pro 上,M3 达到 59.0%, 超越了 GPT-5.5 和 Gemini 3.1 Pro, 接近 Opus 4.7。其他关键 benchmark 数据如下：

Terminal-Bench 2.1: 66.0%
MCP Atlas: 74.2%
SWE-fficiency: 34.8%
KernelBench Hard: 28.8%

为了缩小 benchmark 与现实体验的差距,MiniMax 构建了一个交互式用户模拟器框架。该框架通过模拟开发者的协作模式 (如需求细化、方案讨论和反馈修正), 让模型在训练与评估阶段接触更接近生产环境的场景, 使 M3 能从被动执行指令转变为主动协作。

原生多模态训练与 100 兆 token 数据集

M3 从 Step 0 开始采用混合模态训练, 实现了文本、图像和视频语义空间的深度融合。MiniMax 发现交织数据 (Interleaved Data) 对性能提升至关重要, 为此重新构建了数据流水线, 将训练数据规模扩展至 100 兆 (100 Trillion) tokens 级别。

依托原生多模态能力,M3 支持图像与视频输入, 并具备操作桌面电脑的能力。在多模态评测集 OmniDocBench 中,M3 的得分高于 Gemini 3.1 Pro; 在端到端智能体评估框架 Claw-Eval 中则获得了最高分。

复杂现实任务验证

MiniMax 通过三个极高难度的实操任务验证了 M3 的综合能力：

独立论文复现: M3 在 12 小时内自主运行, 独立完成 18 次 commit 和 23 张实验图, 成功复现 ICLR 2025 优秀论文的 core 实验。该过程同时调用了 1M 上下文、原生多模态 (解析图表) 与编程能力。
CUDA Kernel 优化: 在没有任何参考实现的情况下,M3 在 24 小时内经历了 147 次提交和 1,959 次工具调用, 将 NVIDIA Hopper 架构下 FP8 GEMM kernel 的硬件峰值利用率从 7.6% 提升至 71.3%, 实现 9.4 倍 提速。
自主训练模型: 在 PostTrainBench 测试中,M3 在无人类干预的情况下自主完成数据合成、训练与迭代。其在数学推理、工具调用等 5 项能力上的综合得分 0.37, 领先于除 Opus 4.7 和 GPT-5.5 之外的其他模型。