近日，国家超算互联网平台宣布上线MiniMax国产AI大模型，包括基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01现已入驻超算互联网AI开源社区。此外，超算互联网ChatBot对话服务也已同步接入，以便让用户体验智能、自然的AI对话。
MiniMax作为国产大模型的创新先锋，专注于多模态通用大模型的研发与应用，其核心技术覆盖文本、语音、图像及视频领域。MiniMax自主研发的模型架构在长文本处理、多模态融合等方面表现优异。此次入驻的MiniMax-Text-01与VL-01进一步突破技术边界，通过创新算法优化，实现了更高效率的长文本处理能力。
作为国家级算力服务平台，超算互联网今年2月启动了“AI生态伙伴加速计划”，通过技术赋能、资源扶持和市场协同，让创新链和产业链无缝对接。此次MiniMax入驻国家超算平台，双方将携手推动国产大模型加速发展，有望促进更多应用开发者做有价值、突破性的研究。
超长文本 国产自研新架构解决大模型“卡脖子”问题
今年年初，MiniMax发布并开源新一代系列模型MiniMax-01，首次将线性注意力机制扩展到商用模型的级别，并使其综合能力达到全球第一梯队。模型上下文长度直接达到了顶尖模型的20—32倍水平，推理时的上下文窗口能达到400万token，在海外引起了关注。
在MiniMax看来，国内外的大模型大脑虽大，但“记忆力”还不够用。假如让AI理解一本1000页的法律合同、一本科幻小说，或者一个几十万行的源代码项目。人们希望它能给出准确的摘要、发现潜在风险、给出结构化建议。听起来像是AI的优势？但实际上，大多数模型连“读完整本书”都做不到，更不用说音视频等多模态信息处理。而对MiniMax-01而言，上下文窗口能达到400万 token，约等于700万字的上下文窗口，相当于秒速读完四大名著和哈利·波特全集。
构架创新 全球首个大规模应用线性注意力机制开源模型
据悉，在架构上，MiniMax的Text-01几乎重构了训练和推理系统，模型的参数量高达4560亿，每次激活459亿。在注意力机制层面，MiniMax-01做了大胆的创新，在业内首次实现了新的线性注意力机制，它的80层注意力层里，每一层softmax attention层前放置了7层线性注意力lightning attention层。受益于架构创新，模型在处理长输入的时候在保持优异处理效果的同时做到了低延迟。
同时，基于MiniMax-Text-01，MiniMax还开发了一个多模态版本：MiniMax-VL-01。思路很简单，就是在文本模型的基础上整合一个图像编码器和一个图像适配器，将图像变成LLM能够理解的token形式。因此，VL-01不仅继承了文本处理的高效性，还具备强大的视觉理解能力，在多种视觉语言任务基准测试中展现出与顶尖模型相媲美的性能。
开放协作 助推创新链产业链相融
随着Agent进入应用场景，无论是单个Agent工作时产生的记忆，还是多个Agent协作所产生的context，都会对模型的长上下文窗口提出更多需求。因此，长上下文能力与多模态处理能力的提升，是AI Agent为各行业带来更为丰富、高效、智能的解决方案的必要条件。
作为国家级算力服务平台，国家超算互联网由科技部指导发起，于2024年4月正式上线。通过链接我国算力产业上下游及供需双方资源，平台集算力、应用、数据、生态、社区等于一体，让创新链和产业链无缝对接。今年2月，国家超算互联网平台启动了“AI生态伙伴加速计划”，通过技术赋能、资源扶持和市场协同，加速AI生态全面发展。
此次MiniMax入驻国家级算力服务平台超算互联网，凭借其强大的算力资源、开放协作的AI生态系统和广泛的开发者网络，双方将携手推动国产大模型技术加速发展，促进更多应用开发者做有价值、突破性的研究。
MiniMax方面表示：“我们认为这有可能启发更多长上下文的研究和应用，从而更快促进Agent时代的到来，开源也能促使我们努力做更多创新，更高质量地开展后续的模型研发工作。MiniMax将持续开源新版的旗舰模型，未来双方将进一步探索更多合作。”
（编辑：吴清 校对：翟军）
