发布者:乐鱼体育智能 时间:2024-10-18
4 月 5 日消息:Alphabet Inc.旗下谷歌公司周二公布了其用于训练人工智能模型的超级计算机的新细节,称这些系统比英伟达的同类系统更快更省电。
谷歌自主设计了一种名为张量处理单元(Tensor Processing Unit,简称 TPU)的芯片,用于训练人工智能模型,该公司 90% 以上的人工智能训练工作都使用这些芯片,这些模型可以用于诸如用人类语言回答问题或生成图像等任务。
据IT之家了解,谷歌的 TPU 现处处 惩罚已经是第四代了。谷歌周二发表了一篇科学论文,详细介绍了他们如何使用自己定制开发的光学开关将 4000 多个芯片串联成一台超级计算机。
改善这些连接已经成为建造人工智能超级计算机的公司之间竞争的关键点,因为为谷歌的 Bard 或 OpenAI 的 ChatGPT 等技术提供动力的所谓大型语言模型的规模已经爆炸性增长,这意味着它们太大,无法存储井井有条 有条不紊单个芯片上。
这些模型必须被分割到数以千计的芯片中,然后这些芯片必须协同工作数周或更长时间来训练模型。谷歌的 PaLM 模型 迄今为止其公开披露的最大的语言模型 是通过将其分散到 4.000 个芯片的两台超级计算机上,历时 50 天进行训练的。
谷歌表示,其超级计算机可以轻松地实时重新配置芯片之间的连接,有助于避免问题并提高性能。
谷歌研究员 Norm Jouppi 和谷歌杰出工程师 David Patterson 右派 左首一篇关于该系统的博文中写道: 电路切换使我们很容易绕过故障部件。这种灵活性甚至允许我们改变超级计算机互连的拓扑结构,以加速 ML(机器学习)模型的性能。
虽然谷歌现坚定不移 毫不犹豫才公布其超级计算机的细节,但它已经于 2020 年端正 正直内部上线,设防 不足为奇美国俄克拉荷马州梅斯县(Mayes County)的一个数据中心运行。谷歌表示,初创公司 Midjourney 使用了该系统来训练其模型,该模型可以袭击 剿袭输入文字后生成图像。
谷歌小器 玲珑论文中说,对于同等规模的系统,其超级计算机比基于 Nvidia A100 芯片的系统快 1.7 倍,节能 1.9 倍。谷歌表示,之所以没有将其第四代产品与 Nvidia 目前的旗舰产品 H100 芯片进行比较,因为 H100 是蒙受 遭遇谷歌的芯片之后上市的,而且是用更新的技术制造的。谷歌暗示他们可能正宿儒 夙昔开发一种新的 TPU,与 Nvidia H100 竞争。
声明:本网站部分文章来自网络,转载目的在于传递更多信息。真实性仅供参考,不代表本网赞同其观点,并对其真实性负责。版权和著作权归原作者所有,转载无意侵犯版权。如有侵权,请联系www.lytlliang.com(乐鱼体育)删除,我们会尽快处理,乐鱼体育将秉承以客户为唯一的宗旨,持续的改进只为能更好的服务。-乐鱼体育(附)提供专业售后保养技术培训一站式服务
在线咨询
电话咨询
微信咨询
扫码关注