发布日期:2025-03-05 08:39 点击次数:195
倾盆新闻记者 吴遇利
Grok 3标明依靠算力堆积的“鼎力出遗迹”旅途现在依旧可行。
2月18日,特斯拉创举东谈主埃隆·马斯克旗下xAI推出最新大模子Grok 3。据先容,固然Grok起步较晚,但MMLU(大边界多任务谈话融会基准测试)得分已追上ChatGPT,Grok 3和轻量化的Grok 3 mini在多个性能上齐卓越或比好意思Gemini、DeepSeek和GPT-4o等敌手。
Grok 3在xAI位于孟菲斯的Colossus超算中心进行西宾。xAI显现,这一超算中心的算力依然翻倍,领有的英伟达GPU数目已达到20万颗。
本以为是马斯克又在虚张阵容,但此次Grok 3实在莫得令东谈主失望。
基于Grok 3的优秀发达,不少业内东谈主士再度披露了对算力堆积这种“鼎力出遗迹”旅途的招供。更有分析东谈主士指出,Grok 3阐发注解了缩放规则(scaling law)在达到上限之前仍有发展空间——这对统共这个词行业来说是一个令东谈主饱读吹的信号。
AI大牛、前OpenAI 研究员、前特斯拉AI珍重东谈主Andrej Karpathy在成为Grok 3首批用户后,在支吾媒体上发布了一份详备的测评回首。他惊奇了Grok 3 的逻辑推理才调,并指出其性能可与OpenAI的o1-pro模子相比好意思,后者的月度用度为200好意思元。他还觉得,Grok 3的推理才调略优于DeepSeek-R1、谷歌的Gemini 2.0 Flash Thinking。
不外,他也指出了Grok 3的一些局限性,包括搜索功能DeepSearch中偶尔出现的幻觉和事实乖张。
“接洽到该团队约略1年前才从零运行,这果真令东谈主难以置信,他们夙昔所未有的速率达到了简直业内最高水平。”Karpathy默示。
不少科技领域的分析东谈主士标明,Grok 3的得手,在很猛经过上便是依靠算力堆积。
东谈主工智能作事网站Maginative创举东谈主兼主编Chris McKay觉得,xAI自建树以来,仅用了一年多的时间就赶快设备出了具有竞争力的AI技巧,其得手很猛经过上收成于变嫌的臆度打算基础花式和对纷乱臆度打算资源的看望。跟着更多超算集群的筹划,xAI似乎有望链接擢升模子才调。
沃顿商学院东谈主工智能拔擢Ethan Mollick觉得Grok 3统统合乎预期。他指出,东谈主工智能仍在加快发展,速率和算力齐是护城河,“东谈主才和芯片便是打造前沿模子的公开诀要”。
“护城河可能不深,但足以淹死初创企业。”雪城大学环球传播学院拔擢、揣度公司The Palmer Group首席引申官Shelly Palmer评呈文。在他看来,Grok 3的护城河“依然被财富填满”。英伟达H100 GPU的价钱在3万至4万好意思元之间,即使马斯克拿到了扣头,这仍然是一项30亿到50亿好意思元的弘大投资。
公开信息自大,OpenAI西宾GPT-4用了约略2.5万张A100 GPU,而H100的西宾浑沌量远高于A100;据DeepSeek公布的信息,DeepSeek-V3模子预西宾用度仅为557.6万好意思元,在2048块英伟达H800 GPU(针对中国市集的低配版GPU)集群上耗时55天完成。
跟着DeepSeek的横空出世,不少东谈主冷漠缩放规则(scaling law)可能会失效或者不再统统适用。缩放规则是AI研究中的一个用功指令原则,它觉得,在大多数情况下,加多边界(模子参数、数据量、算力)齐能提高模子的发达,但效益递减。
科技领域博主Zain Kahn默示,近几个月来,有不雅点觉得,向大模子插足更多数据和算力将不再成效,但Grok 3阐发注解了这种怀疑并不正确。xAI才进入这个领域两年,就依然与顶尖公司伸开了浓烈竞争,甚而打败了顶尖公司。
Kahn强调说,xAI弘大的Colossus超算集群将大模子推向了新的高度,“预西宾缩放规则在达到上限之前仍有发展空间——这对统共这个词行业来说是一个令东谈主饱读吹的信号。”
机构也对算力的作用给出了确定,指出算力堆积仍是模子卓越的要津变量。
华泰证券在2月20日发布的研报中冷漠,Grok 3阐发注解预西宾在算力擢升下仍能突破。固然现在在预西宾数据上存在瓶颈,然则合成数据、RL(强化学习)数据、工程才调优化,甚而Transformer架构迭代,或能迟缓冲破瓶颈,Grok 3依然阐发注解预西宾依然有突破空间。
国泰君安也提到,xAI算力资源储备与开源计谋的均衡,突显算力与算法的同等用功性。昂贵的算力插足依然变成了权贵的技巧门槛。
中信证券指出,Grok 3算作全球首个在十万卡集群上西宾的大模子,抽象才调较前代模子Grok 2擢升权贵九游会J9·(china)官方网站-真人游戏第一品牌,意味着算力堆积仍是模子卓越的要津变量之一。