针对去年在Google I/O 2024揭晓、代号Trillium的第6代TPU，Google Cloud产品群经理Mohan Pichika稍早对此做了进一步说明，并且强调目前在Google Cloud服务提供更多元加速算子件选择，借此满足不同客户在服务布署应用需求。
▲代号Trillium的第6代TPU TPU只是Google Cloud加速运算一环 对于目前市场目标发展的通用型人工智能 (AGI)，衍生是否能以统一加速元件支撑运算需求的看法，Mohan Pichika认为现阶段还没有办法实现此理想，因此最主要还是会针对不同运算需求提供合适的加速元件。 例如目前在Google Cloud服务中，除了提供自身TPU加速元件之外，实际上也与Intel、AMD、NVDIA等处理器业者合作，后续也提供以Arm Neroverse架构打造的客制化处理器「Axion」，借此满足不同客户在运算布署需求的差异。 而自2015年提出的第1代TPU设计，主要是针对Google自有服务如YouTube、Google Search等进行大规模运算加速。而从2018年推出第2代TPU开始，Google便将其TPU与后续迭代更新版本开放全球所有Google Cloud客户使用 (包含台湾)，其中也包含去年推出、以代号Trillium为称的第6代TPU，只是各个服务区域上线提供时间会有落差，但基本上都能让所有Google Cloud客户选用。 不过，Mohan Pichika也说明不同加速元件能处理项目会有最佳化差异，加上性能与价格成本上的考量，因此在Google Cloud服务仍维持提供不同加速元件选项，让不同客户能挑选最佳加速元件布署服务，同时也能对应不同人工智能模型规模运算需求。 在去年的Google NEXT’24期间说明中，Google Cloud副总裁暨运算与人工智能/机器学习架构业务总经理Mark Lohmeyer更透露未来可能计划推出更多客制化处理器，意味Google接下来也会针对不同运算需求提供功能差异设计的客制化处理器。 TPU本身以大规模运算加速、提升机器学习效率为目标 至于TPU本身主要还是以大规模运算加速、提升机器学习效率为目标，包含此次在第6代TPU强化矩阵乘法单元 (MXU)、提高运作时脉与HBM内存容量都是为了加快运算效率，并且能透过Jupiter网络架构形成更大Pod运算规模 (以256组构成单一Pod)，并且进一步扩展至超算规模，让所有TPU都能以每秒达PB级别传输速度互连运作。 但是对于第6代TPU之间以客制化光通讯技术实现芯片对芯片直接连接，使其资料传输带宽增加的作法，是否与NVIDIA提出的NVLink，或是类似苹果在Apple Silicon处理器采用的UltraFusion融合设计作法相似，Google方面并未具体作分享。 以目前第6代TPU设计来看，训练效能提升为前一代的4倍以上、推论处理量峰值表现增加为3倍、能源效率提升67%、每个芯片峰值效能比前一代提升4.7倍，而HBM内存容量提升1倍、芯片间互连网络传输带宽提升1倍，并且能以Jupiter网络架构连接多达10万组TPU，形成庞大运算网络。 另外，第6代TPU在每美元的训练效能比前一代产品提升2.5倍，推论效能则可提升1.4倍，因此强调在永续表现也有大幅提升。 目前并未计划跟进推出在地人工智能装置解决方案或小型超级电脑 而NVIDIA在CES 2025以其Blackwell架构GPU配合客制化Arm架构处理器打造超小型AI超级电脑「Project DIGITS」，Qualcomm也以其Cloud AI加速器打造在地人工智能装置解决方案，Google是否也有意推出类似项目？ Mohan Pichika对此表示，目前Google并未有此计划，原因本身并非芯片设计、生产公司，主要还是聚焦满足客户云端布署应用需求，因此认为当前提供TPU加速元件，并且与Intel、AMD、NVIDIA等业者合作不同算子件应用，将是更容易满足客户需求的作法。 |
