一、AI Agent元年与模型需求
在2024年年底，众多AI领域领军人物大胆预测2025年将是AI Agent的元年。随着Agent进入更多应用场景，无论是单个Agent工作时的记忆，还是多个Agent协作产生的上下文，都对模型的上下文长度提出了更高要求。
二、MiniMax开源模型发布
1月15日，MiniMax开源了最新的基础语言模型MiniMax-Text-01和视觉多模态模型MiniMax-VL-01。这在业内首次大规模实现了线性注意力机制，大大增加了上下文窗口长度，一次可处理400万的token，是其他模型的20到32倍。MiniMax相信这些模型能为Agent应用爆发做出贡献，并断言传统Transformer架构不再是唯一选择。
三、模型技术解析
（一）Transformer架构与自注意力机制
目前大多数领先的大语言模型基于Transformer架构，其核心是自注意力机制。自注意力机制允许模型在处理文本时关注不同位置信息，捕捉复杂语义关系。但它存在计算成本高昂的缺点，计算复杂度与输入序列长度呈平方关系（O(n²)），这会导致处理长文本时速度缓慢，训练时消耗大量计算资源和电力。
（二）线性注意力机制
为解决上述问题，研究人员提出多种优化方案，MiniMax引入了Lightning Attention线性注意力机制。线性注意力机制将计算降低到线性复杂度，更高效处理长序列数据。此前主要用于学术研究和小规模试验，MiniMax首次实现大规模训练。
（三）Lightning Attention原理
Lightning Attention基于TransNormer架构改进。TransNormer将传统自注意力机制转换为线性变体，通过“右侧矩阵乘法”将计算复杂度从O(n²)降低到O(n)。Lightning Attention在TransNormer基础上进行I/O感知优化，处理长序列时训练速度稳定，在多数下游任务中与softmax注意力机制性能相当，检索任务上表现更好。
（四）Hybrid-lightning策略
为提升模型性能，MiniMax提出Hybrid-lightning策略。每七个使用Lightning Attention的transnormer块后，跟随一个使用softmax注意力的transformer块。这样既提升了计算速度，又利用softmax注意力捕捉复杂语义关系，保证整体性能。
（五）混合专家MoE架构
MiniMax还采用混合专家MoE架构，从2023年夏天开始研发，投入大量算力与资源，经历两次失败。MoE架构将模型划分为多个“专家”，每个专家擅长特定任务，推理时动态选择合适专家。与传统密集模型相比，MoE架构效率更高，性能更优。
四、模型训练挑战与解决方案
（一）长上下文训练挑战
- MoE架构通信负载：对于采用all-to-all（a2a）通信的MoE模型，MiniMax采用基于token分组的重叠方案，设计专家张量并行(ETP)和专家数据并行(EDP)进程组，实现存储和计算平衡。
- 样本标准化：传统填充方法浪费计算，MiniMax进行数据格式化，将不同样本沿序列维度首尾相连，命名为data-packing，降低计算浪费。
- 专家容量限制：采用token-drop策略，给每个专家分配容量限制，达到容量后丢弃额外token。
（二）大规模Lightning Attention训练优化
为实现大规模Lightning Attention训练，MiniMax采用四项优化策略： 1. 分批内核融合：融合多个内存密集型内核，扩展支持所有批量输入，减少中间结果存储和内存访问。 2. 分离式预填充与解码执行：将长度为1的token与长度大于1的token分开处理，使用不同CUDA流调度，提高计算效率。 3. 多级填充：根据输入序列长度动态选择计算规模，最小化填充开销。 4. 跨步分批矩阵乘法扩展：利用NVIDIA cuBLAS库优化函数，集成张量内存加速器TMA异步操作，提高计算效率。
这些优化策略使模型在GPU集群上高效运行，在英伟达H20上达到超过75%的MFU，同时保持性能和推理效率。
五、模型参数与性能
（一）MiniMax-Text-01模型
MiniMax打造出拥有4560亿参数的MiniMax-Text-01模型，共32个专家，每个token激活459亿个参数。通过三阶段训练方法，训练上下文窗口达100万token，推理时上下文长度最高可外推到400万token。
（二）性能测试结果
在常见学术测试集上，MiniMax-Text-01表现与顶尖闭源和开源模型相媲美，甚至在某些方面更优。在GPQA Diamond数据集上成绩超过多数开源指令微调大模型和最新版本的GPT-4o。在MMLU、IFEval和Arena-Hard测试中取得前三名，展示强大知识应用和人类偏好理解能力。在长上下文理解和长文本学习任务上达到SOTA水平，在MTOB基准上表现出色。实际应用中，翻译小众语言Kalamang时能给出与标准答案基本一致的结果，长对话记忆任务中能准确记住细节并回应。
六、MiniMax-VL-01多模态模型
基于MiniMax-Text-01，MiniMax开发了多模态版本MiniMax-VL-01。思路是在文本模型基础上整合图像编码器和图像适配器，将图像转换为大语言模型能理解的token形式。整体架构符合ViT-MLP-LLM范式，使用303M参数的ViT模型和随机初始化的两层MLP projector。通过设计专有数据集和多阶段训练策略，MiniMax-VL-01在各基准上表现与SOTA模型媲美，某些指标达到最佳。
七、模型局限性与未来探索
（一）局限性
- 长上下文评估：当前评估数据集主要为人工或简化场景设计，实际应用中对文档分析等长文本推理能力评估有限。
- 模型架构：模型仍保留1/8组件使用传统softmax注意力。
- 复杂编程任务：预训练阶段编码数据集有限，高级编程任务性能需改进。
（二）未来探索
MiniMax计划在更现实场景中增强长上下文检索，扩展长上下文推理评估；研究更高效架构，消除softmax注意力；探索将长上下文能力应用到多模态任务中。
八、总结与展望
MiniMax-01系列的两个模型展示了处理长上下文的卓越性能和潜力。MiniMax创始人闫俊杰表示下一代人工智能将是无限接近通过图灵测试的Agent。虽然MiniMax在推理模型方面尚未发布相关模型，但此次开源模型为AI Agent的未来发展提供了新的方向。
{# 
{# 
{# 
{# 
{#