开云Kaiyun体育全站大限度模子教训需要无数GPU集群-kaiyun体育全站云开app入口IOS/安卓全站最新版下载

智东西开云Kaiyun体育全站

编译 |  茄子

裁剪 |  程茜

智东西7月21日音书，昨日，The Information征引知情东谈主士音书报谈，谷歌正在研发一款面向Gemini模子的新式AI劳动器芯片Frozen v2。该芯片谋略将Gemini模子部分架构平直集成到芯片中，通过减少运行经过中的计较决策和数据搬运，擢升AI推理后果。

知情东谈主士走漏，谷歌工程师预估，按照单元功耗大要输出的Token数目计较，Frozen v2的后果可能达到谷歌最新自研AI芯片的6至10倍。

这款芯片在谷歌里面被非谨慎地称为“Frozen v2”。知情东谈主士称，谷歌但愿借此缓解严重的AI算力枯竭问题。算力病笃还是在谷歌里面激励矛盾，还迫使谷歌云拒却部分外部客户的订单。

知情东谈主士还走漏，谷歌最快可能于2028年部署这款芯片，但该公司当今仍在细目Frozen v2的主邀功能、各部分的协同容貌，以及究竟要将几许模子信息固化在芯片中。

The Information还提到，Frozen v2并非谷歌初次探索模子专用芯片。此前，谷歌DeepMind首席科学家杰夫·迪恩（Jeff Dean）曾谋略将模子权重平直固化到芯片中，但由于该决议的芯片只可适配特定版块模子、人命周期过短，最终被摈弃。

一、把Gemini部分逻辑写入芯片，减少芯片数据搬运

现时主流AI芯片大多强调通用性和可编程智力，如英伟达GPU大要援手多种AI模子和计较任务。这类芯片需要援手多种不同AI模子，因此在运行经过中需要凭据模子需求完成无数计较转机和决策。谷歌TPU也近似，天然它针对AI进行了优化，但也需要兼顾不同模子运行需求。

而Frozen v2罗致了不同念念路。据爆料，谷歌谋略将Gemini模子部分信息平直“固化”到芯片中，让硬件提前了解模子运行容貌，从而减少引申经过中的决策圭臬，以及芯片里面的数据挪动。

圣洁来说，传统GPU更像一台大要运行多样软件的通用计较开发，而Frozen v2则更接近针对Gemini优化的专用硬件。这种想象可能带来更快的反应速率，并匡助谷歌缩短Gemini模子运行本钱。

不外，模子专用化也意味着更强绑定。如若将来Gemini模子罗致新的底层架构，那么Frozen v2可能无法平直适配。谷歌因此仍需要在芯片后果和模子生动性之间寻找均衡。

据知情东谈主士走漏，谷歌当今仍在决定Frozen v2中应该固定几许模子信息，以均衡性能擢升和将来兼容智力。谷歌发言东谈主在一份声明中称，磋议团队一直在磋议和考试新的技艺，以提高面向用户和客户的系统性能与后果，并非悉数磋议表情王人会干与分娩，但这些探索是谷歌全栈技艺阶梯的遑急构成部分。

二、推理芯片竞赛升温，初代Frozen决议曾被摈弃

畴昔几年，AI基础秩序竞争围绕教训张开。大限度模子教训需要无数GPU集群，英伟达凭借GPU生态占据主导地位。The Information昨年12月报谈，英伟达昨年12月通过一笔价值200亿好意思元（约合东谈主民币1353亿元）的交游，取得了AI推理芯片创企Groq的磋议技艺授权。

包括SambaNova、d-Matrix、OpenAI和微软在内，多家公司王人在开发AI推理芯片。这些公司的共同蓄意，所以比英伟达GPU更高的后果运行AI模子，缓解算力枯竭并缩短本钱。

与此同期，加拿大芯片创企Taalas也采取了谷歌近似念念路，将特定AI模子平直硬编码进芯片。Taalas当今还是取得跨越2亿好意思元（约合东谈主民币13.5亿元）融资，投资方包括Quiet Capital和富达投资。

据The Information走漏，Frozen v2此前还有一个更激进的版块。由谷歌DeepMind首席科学家杰夫·迪恩主导的初代Frozen决议，曾谋略平直将模子权重固化到芯片中。

但这种想象会让芯片只可运行某个特定版块的Gemini。一朝模子更新，芯片便可能连忙失去使用价值。由于预期人命周期过短，谷歌最终摈弃了初代决议。

据知情东谈主士走漏，Frozen v2不再固化完好模子权重。但谷歌当今仍在评估应该锁定几许模子信息，以均衡生动性与运行后果。

三、Frozen v2并非取代TPU，谷歌先将其四肢技艺考试

天然Frozen v2受到柔柔，但知情东谈主士走漏，谷歌并莫得谋略用它替代TPU。据报谈，Frozen表情旨在开发一条隔离于TPU的新式自研芯片阶梯。

本年，谷歌发布了第八代TPU，并初始平直向谷歌云客户倾销这款芯片，挑战英伟达在AI芯片商场的主导地位。此外，谷歌还与Meta签署了价值数十亿好意思元的TPU租出公约，并在尝试向其他云劳动商销售TPU。

▲第八代TPU什物，左手为推理芯片TPU 8i、右手为教训芯片TPU 8t（图源：谷歌）

The Information称，比拟单纯依赖英伟达GPU，谷歌自研TPU还是匡助其缩短Gemini模子运行本钱。因为，谷歌在开发TPU时也磋商了Gemini的需求，仅仅TPU集成的模子信息远少于Frozen v2。Frozen v2面向Gemini进行更深度的定制，但适用领域也比TPU更窄。

据知情东谈主士走漏，谷歌当今莫得谋略让Frozen v2的产量达到TPU的限度。因为，较小的分娩限度不错使谷歌在推出大型产物之前，更晚地引入外部芯片想象和制造互助伙伴。该知情东谈主士还称，谷歌将这一代产物部分视为技艺考试，并但愿从中积贮开发专用AI芯片的提醒。

结语：用部分通用性调换更高推理后果

Frozen v2并不是TPU的替代品，而是谷歌针对Gemini开辟的一条专用芯片阶梯。谷歌但愿通过将部分模子架构和计较决策固化到硬件中，以减少推理经过中的计较圭臬和数据搬运，从而以更低功耗处置更多用户恳求。

不外，更高的专用化进程也意味着芯片与模子架构绑定得更紧。Frozen v2最将近到2028年才能部署，届时Gemini底层架构能否保握端庄，以及6至10倍的预期能效擢升能否在执行利用中完了，将成为决定这一表情价值的关节。

开首：The Information开云Kaiyun体育全站