minimax-m3 · 【云厂官转】MiniMax

MiniMax-M3 是 MiniMax 推出的多模态基础模型。它支持文本、图像和视频输入，并输出文本，拥有 100 万个词元的上下文窗口，适用于长时间的智能体工作、编码和工具使用。它基于 MiniMax 稀疏注意力机制 (MSA) 构建，该机制用键值块选择取代了完整的注意力机制，从而在长时间上下文中大幅降低每个词元的计算量——在 100 万个词元的情况下，其计算成本约为上一代的 1/20，同时显著提升了预填充和解码速度，并在大多数任务中保持了质量。 该模型以交错数据为基础进行原生多模态模型训练，并通过交互式用户模拟器框架针对多轮、类似生产环境的协作进行调整，其目标是持续的多步骤任务，而不是单轮执行。