4 月 17 日消息,MiniMax 宣布正式推出 abab 6.5 系列模型。是继今年 1 月推出国内首个基于 MoE 架构的 abab 6 之后的又一力作。该系列模型在 MoE(Mixture of Experts)架构上进行了深度优化,是 MiniMax 加速 Scaling Laws 过程的阶段性成果。

  abab 6.5 系列包括 abab 6.5 和 abab 6.5s 两个模型,均支持 200k tokens 的上下文长度,其中 abab 6.5 拥有万亿参数,而 abab 6.5s 在保持相同训练技术和数据的基础上实现了更高的效率,能够在 1 秒内处理近 3 万字的文本。

  该万亿 MoE 模型 abab 6.5, 在各类核心能力测试中,abab 6.5 开始接近 GPT-4, Claude 3 Opus, Gemini 1.5 Pro 等世界上最领先的大语言模型。在业界标准的开源测试集的测试中,将 abab 6.5 在知识、推理、数学、编程、指令遵从等多个维度上与行业领先模型进行了比较,并在 200k token 的“大海捞针”的 891 次测试中,均准确回答。

  MiniMax 计划将 abab 6.5 和 abab 6.5s 滚动更新到旗下产品,包括生产力产品海螺 AI 和 MiniMax 开放平台。(王晓捷)