马斯克硬刚OpenAI,开源 Grok:3140 亿为目前最大规模
via 掘金 人工智能 (author: IT咖啡馆)
Telegraph
马斯克硬刚OpenAI,开源 Grok:3140 亿为目前最大规模
马斯克之前公开控诉OpenAI并宣布要开源自己的大模型,现在马斯克来兑现承诺了,由X.AI推出的大模型Grok来了。 3月17日凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型「Grok-1」,以及该模型的权重和网络架构。马斯克也在X上和OpenAI进行了亲切地互动。 Grok-1的一些详细情况: 基础模型基于大量文本数据进行训练,没有针对任何具体任务进行微调; 3140 亿参数的 MoE 模型,在给定 token 上的激活权重为 25%; 2023 年 10 月,xAI…
via AI 中文社区 - Telegram Channel