新智元报道

　　编辑：桃子好困

　　马斯克「搞笑」模型刚刚升级到 Grok-1.5，推理性能暴涨，支持 128k 长上下文。最重要的是，Grok-1.5 的数学和代码能力大幅提升。

　　Grok-1 官宣开源不过半月，新升级的 Grok-1.5 出炉了。

　　刚刚，马斯克 xAI 官宣，128K 上下文 Grok-1.5，推理能力大幅提升。

　　并且，很快就会上线。

　　11 天前，Grok-1 模型的权重和架构开源，展示了 Xai 在去年 11 月之前取得的进展。

　　Grok-1 有 3140 亿参数，是 Llama 2 的 4 倍大，而且采用的是 MoE 架构，8 个专家中 2 个是活跃专家。

　　Xai 介绍，也就是从那时起，团队改进了最新模型 Grok-1.5 的推理和解决问题的能力。

　　OpenAI 前开发者关系负责人表示，从 xAI 重大发布的时间可以看出他们前进的步伐和紧迫感。令人振奋！

　　128K 上下文，Grok-1.5 数学推理能力暴涨

　　根据官方介绍，Grok-1.5 改进了推理能力，上下文长度为 128K。

　　Grok-1.5 最显著的改进之一是，它在编码和数学相关任务中的表现。

　　在测试中，Grok-1.5 在数学基准上取得 50.6% 的得分，在 GSM8K 基准上获得了 90%，这两个数学基准涵盖了从小学到高中的各种竞赛问题。

　　此外，在评估代码生成和解决问题能力的 HumanEval 基准测试中，Grok-1.5 获得了 74.1% 的高分。

　　从下图中，与 Grok-1 相比，可以看出 Grok-1.5 在数学方面的能力得到大幅提升，GSM8K 上从 62.9% 改进到 90，MATH 上从 23.9% 提升到 50.6%。

　　128K 长语境理解，扩增 16 倍

　　Grok-1.5 另一全新特点是，能够在其上下文窗口内处理高达 128K token 的文本。

　　这使 Grok 的内存容量，增加到以前上下文长度的 16 倍，从而使它能够利用更长的文档中的信息。

　　此外，新模型还可以处理更长和更复杂的提示，同时在其上下文窗口扩展时仍保持其指令跟随能力。

　　在 Needle In A Haystack（NIAH）评估中，Grok-1.5 展示了强大的检索能力，可检索长度达 128K 字节的上下文中的嵌入文本，并取得了完美的检索结果。

　　Grok-1.5 基础设施

　　Grok-1.5 构建在基于 JAX、Rust 和 Kubernetes 的定制分布式训练框架之上。

　　这个训练堆栈可以让 xAI 团队能够以最少的投入，大规模构建创意，以及训练新的架构。

　　在大型计算群集上进行训练 LLM 的一个主要挑战是，最大限度地提高训练任务的可靠性和正常运行时间。

　　xAI 定制的训练编排器，可确保自动检测有问题的节点，并将其从训练任务剔除。

　　与此同时，他们还优化了检查点、数据加载和训练任务的重启，以最大限度地减少发生故障时的停机时间。

　　xAI 表示，Grok-1.5 将很快提供给早期测试者，以帮助改进模型。

　　博客还预告了 Grok-1.5 将在未来几天里推出几个新功能。

　　最后，xAI 还是一如既往地 po 出了招募信息。

　　参考资料：

　　https://x.ai/blog/grok-1.5