马斯克开源Grok：参数量近Llama 四倍，成全球最大开源模型

3 月 17 日，马斯克创办的 xAI 公开发布了 Grok-1 模型的代码和模型权重 [GitHub]，均采用 Apache 2 开源许可证。权重文件体积为 318.24GB，采用磁力链接的形式提供下载。

根据随附的博客文章，Grok-1 是在 2023 年 10 月使用 JAX 和 Rust 编写的自制训练工具从头开始训练的，参数量为 314B，为混合专家（Mixture-of-Experts）模型；对于每个正在处理的 token，实际调用的参数是总量的 25%。根据自述信息，该模型可能需要很大的显存才能运行（根据规律大约为 320GB）。文章没有给出关于训练数据集的信息，仅说明通过大量文本数据训练，没有针对任何特定任务执行微调。

马斯克于 2023 年 7 月 12 日正式宣布成立 xAI，意图是使年份尾数和月日相加为 42，以呼应所谓「理解宇宙」的公司目标。11 月 4 日，xAI 推出了聊天 AI 机器人 Grok，作为 X 的付费订阅功能，以其「直言不讳」为主要特色。2024 年 3 月 11 日，在起诉其参与创办的 OpenAI、要求其「回归开放」后不久，马斯克在 X 上发帖称 Grok 所基于的模型将在一周内开源。马斯克曾在一月声称 Grok-1.5 将有全面的实质性改进，拟在二月推出，但实际尚未发布。

开源 Grok 可以帮助马斯克激发人们对其公司人工智能的兴趣。将 Grok 限制为仅 X（推特）的付费订阅者的访问，意味着它尚未具有 OpenAI 的 ChatGPT 或 Google 的 Gemini 的吸引力。发布 Grok 可以吸引开发人员使用该模型并在此基础上进行构建，并最终可能帮助它接触到更多的终端用户。这可以为 xAI 提供可用于改进其技术的数据。

马斯克开源 Grok 的举动表明他与 Meta 的生成人工智能方法保持一致。Meta 的开源模型，如 Llama 2，已经在开发人员中流行起来，因为它们可以完全定制并适应不同的用途。但采用类似的策略可能会让马斯克进一步陷入一场日益激烈的争论，争论的焦点是让任何人都能使用最强大的人工智能模型的好处和风险。

许多人工智能专家认为，开源人工智能模型具有显著的好处，例如提高透明度和扩大访问范围。Stability AI 的创始人 Emad Mostaque 表示：“开源模型更安全、更稳健，很高兴看到该领域领先公司提供更多选择。” Stability AI 是一家构建各种开源 AI 模型的公司。

康奈尔大学博士后研究员戴维·格雷·维德 (David Gray Widder) 表示，马斯克决定开源 Grok，表明科技巨头们正在开始试图利用开放性在生成式人工智能竞赛中取得领先。

尽管 xAI 是一个比 OpenAI 年轻得多、规模较小的人工智能项目，但鉴于马斯克拥有大量资源，Grok 有潜力成为未来非常强大的人工智能模型。此次 Grok 向全世界开源后，外部人工智能专家都将能够测试它的能力。

Eric Hartford 是一名致力于开源 AI 模式的开发人员，他表示很高兴能够接触到 Grok。“我会在发布时对其进行微调，”他说，指的是用于使人工智能模型适应特定用例的过程。他可能不是唯一一个急于要研究 Grok 的人。

不过，开源版 Grok 目前还有些事情做不到，比如「通过 X 平台实时了解世界」，实现这一功能目前仍需要订阅部署在 X 平台上的付费版本。

鉴于马斯克对开源的积极态度，有些技术人员已经在期待后续版本的开源了。