中国大模型公司提出新架构，解决Context无限长问题，开启Agent时代
日月开新元，万象启新篇。
1月15日，MiniMax发布并开源新一代01系列模型，包含基础语言大模型 MiniMax-Text-01 和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新，以大规模应用线性注意力机制打破Transformer传统架构记忆瓶颈，在综合性能比肩GPT-4o、Claude-3.5等海外领军模型的基础上，能够高效处理高达400万token的输入，可输入长度是GPT-4o的32倍，Claude-3.5-Sonnet的20倍。
目前，MiniMax-01系列开源模型已应用于MiniMax旗下产品海螺AI并在全球上线，企业与个人开发者可前往MiniMax开放平台使用API。
以架构创新实现高效超长文本输入
2017年，具有里程碑意义的论文《Attention Is All You Need》正式发表，Transformer架构问世并逐步发展成为该领域的主流技术范式。自2023年起，自然语言处理领域迎来了一股创新浪潮，对模型架构的创新需求日益增加。
MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别，并使其综合能力达到全球第一梯队。而受益于此次架构创新，该系列模型在处理长输入的时候具有非常高的效率，接近线性复杂度。从Scaling Law、与MoE的结合、结构设计、训练优化和推理优化等层面综合考虑，MiniMax选择模型参数量为4560亿，其中每次激活459亿，能够高效处理高达400万token的上下文，将有效替代Transformer传统架构并开启超长文本输入时代。
MiniMax-01模型发布后，在国内外迅速掀起了热议浪潮。海外媒体与AI从业者聚焦该模型，深入探讨其技术内涵与潜在价值，对其所展现出的创新性给予了高度肯定。
性能比肩国际领军模型
在应用创新架构之外，MiniMax大规模重构了01系列模型的训练和推理系统，包括更高效的MoE All-to-all通讯优化、更长的序列的优化，以及推线性注意力层的高效Kernel实现，使得模型能力可与全球顶级闭源模型相媲美。
在业界主流的文本和多模态理解任务处理表现上，MiniMax-01系列模型大多情况下可以追平海外公认最先进的两个模型，GPT-4o-1120以及Claude-3.5-sonnet-1022。过往的模型能力评测中，Google的自研模型Gemini有着显著的长文优势。而在01系列模型参评的长文任务下，相较于Gemini等一众全球顶级模型，MiniMax-01随着输入长度变长，性能衰减最慢，效果及其出众。
▲ 多项任务评测结果显示，MiniMax-01系列模型核心性能稳居全球第一梯队。（图源MiniMax-01系列模型技术报告）
▲ MiniMax-01系列模型长上下文处理能力全球领先。（图源MiniMax-01系列模型技术报告）
加速AI Agent时代到来
2025年，AI将迎来至关重要的发展节点，AI Agent有望成为新一年最重要的产品形态，引领AI从传统的“工具”角色向更具互动性与协作性的“伙伴”角色转变。AI Agent时代，由于智能体处理的任务变得越来越复杂，涉及的数据量也越来越大，单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此，长上下文能力与多模态处理能力的提升，是AI Agent为各行业带来更为丰富、高效、智能的解决方案的必要条件。
MiniMax在Github上开源了Text-01模型、VL-01模型的完整权重，以便于更多开发者做有价值、突破性的研究。MiniMax表示，“我们认为这有可能启发更多长上下文的研究和应用，从而更快促进Agent时代的到来，二是开源也能促使我们努力做更多创新，更高质量地开展后续的模型研发工作。”
凭借开放、共享、协作的特点，开源模型激发AI产业的创新活力，正在成为赋能新质生产力发展的关键引擎。受益于Linear Attention层面的架构创新、算力层面的优化，以及集群上的训推一体的设计，MiniMax以业内极具性价比的价格提供文本模型和多模态理解模型的API服务，标准定价是输入token 1元/百万token，输出token 8元/百万token。
论文链接：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf
免责声明
本文转载自网络平台，发布此文仅为传递信息，本文观点不代表本站立场，版权归原作者所有；不代表赞同其观点，不对内容真实性负责，仅供用户参考之用，不构成任何投资、使用等行为的建议。请读者使用之前核实真实性，以及可能存在的风险，任何后果均由读者自行承担。
本网站提供的草稿箱预览链接仅用于内容创作者内部测试及协作沟通，不构成正式发布内容。预览链接包含的图文、数据等内容均为未定稿版本，可能存在错误、遗漏或临时性修改，用户不得将其作为决策依据或对外传播。
因预览链接内容不准确、失效或第三方不当使用导致的直接或间接损失（包括但不限于数据错误、商业风险、法律纠纷等），本网站不承担赔偿责任。用户通过预览链接访问第三方资源（如嵌入的图片、外链等），需自行承担相关风险，本网站不对其安全性、合法性负责。
禁止将预览链接用于商业推广、侵权传播或违反公序良俗的行为，违者需自行承担法律责任。如发现预览链接内容涉及侵权或违规，用户应立即停止使用并通过网站指定渠道提交删除请求。
本声明受中华人民共和国法律管辖，争议解决以本网站所在地法院为管辖法院。本网站保留修改免责声明的权利，修改后的声明将同步更新至预览链接页面，用户继续使用即视为接受新条款。
