英伟达推出最强AI芯片！

英伟达（NVIDIA）宣布推出NVIDIA HGX™ H200，旨为世界领先的AI计算平台提供强大动力，将于2024年第二季度开始在全球系统制造商和云服务提供商处提供。

据介绍，NVIDIA H200是基于NVIDIA Hopper™架构，配备具有高级内存的NVIDIA H200 Tensor Core GPU，可处理海量数据，用于生成式AI和高性能计算工作负载。

与H100相比，NVIDIA H200对Llama2模型的推理速度几乎翻倍。据悉，基于Meta的Llama 2大模型的测试表明，H200的输出速度大约是H100的两倍。

英伟达表示，H200还能与已支援H100的系统相容。也就是说，已经使用先前模型进行训练的AI公司将无需更改其服务器系统或软件即可使用新版本。英伟达服务器制造伙伴包括永擎、华硕、戴尔、Eviden、技嘉、HPE、鸿佰、联想、云达、美超微、纬创资通以及纬颖科技，均可以使用H200更新现有系统，而亚马逊、Google、微软、甲骨文等将成为首批采用H200的云端服务商。

具体来看，全新的H200提供了总共高达141GB 的 HBM3e 内存，有效运行速度约为 6.25 Gbps，六个 HBM3e 堆栈中每个 GPU 的总带宽为 4.8 TB/s。与上一代的H100（具有 80GB HBM3 和 3.35 TB/s 带宽）相比，这是一个巨大的改进，HBM容量提升了超过76%。官方提供的数据显示，在运行大模型时，H200相比H100将带来60%（GPT3 175B）到90%（Llama 2 70B）的提升。

虽然H100 的某些配置确实提供了更多内存，例如 H100 NVL 将两块板配对，并提供总计 188GB 内存（每个 GPU 94GB），但即便是与 H100 SXM 变体相比，新的 H200 SXM 也提供了 76% 以上的内存容量和 43 % 更多带宽。

需要指出的是，H200原始计算性能似乎没有太大变化。英伟达展示的唯一体现计算性能的幻灯片是基于使用了 8 个 GPU的HGX 200 配置，总性能为“32 PFLOPS FP8”。而最初的H100提供了3,958 teraflops 的 FP8算力，因此八个这样的 GPU 也提供了大约32 PFLOPS 的 FP8算力。

那么更多的高带宽内存究竟带来了哪些提升呢？这将取决于工作量。对于像 GPT-3 这样的大模型（LLM）来说，将会大大受益于HBM内存容量增加。英伟达表示，H200在运行GPT-3时的性能，将比原始 A100 高出 18 倍，同时也比H100快11倍左右。还有即将推出的 Blackwell B100 的预告片，不过目前它只包含一个逐渐变黑的更高条，大约达到了H200的两倍最右。

不过，英伟达暂时并未透露该产品价格。据国外媒体《CNBC》报道，英伟达上一代H100价格估计为每个2.5万美元至4万美元。英伟达发言人Kristin Uchiyama透露称，最终定价将由NVIDIA制造伙伴制定。