AWS、次世代AIチップ「Graviton4」と「Trainium2」を発表、NVIDIAとの提携も拡大

Amazon Web Service (AWS)は、ラスベガスで開催されたRe:Inventカンファレンスにおいて、次世代CPU「Graviton4」とAIアクセラレータ「Trainium2」を発表した。

Gravition4

Graviton4は、Arm互換のAmazonによる最新のカスタムメイドCPUとなる。2018年に第1世代のGraviton CPUを発表して以来、これの堅調な需要に支えられ、これまでに200万個のCPUを生産してきた。

「Graviton4は、私たちがわずか5年で提供した第4世代を意味し、幅広いワークロードのために私たちがこれまでに構築した中で最も強力でエネルギー効率の高いチップです」とAWSのコンピュート＆ネットワーキング担当副社長であるDavid Brown氏は述べている。

ついに4代目となったGraviton CPUは、前モデルのGraviton3と比較して、コンピュート性能が30％向上し、コア密度が50％向上し、メモリ帯域幅が75％増加したとのことだ。

このチップは、最大96個のArm設計Neoverse V2コア（各コアは2MBのL2キャッシュを搭載）を搭載し、12チャンネルのDDR5 5600MT/sメモリでサポートされる。Graviton4はまた、すべての物理ハードウェア・インターフェースで暗号化トラフィックをサポートしている。

当初Graviton4は、高性能データベース、インメモリキャッシュ、ビッグデータ分析などのワークロード向けに調整された、AWSのメモリ最適化R8gインスタンスで利用できるようになる。これらのインスタンスは、64のvCPUと512GB RAMを上限とする古いRg7インスタンスと比較して、最大3倍のvCPUと3倍のメモリを持つ大規模な構成をサポートする。

Trainium2

Graviton4と並んで、AWSはTrainium AIアクセラレータにも新世代を投入する。2020年12月に発表された第1世代のTrainiumと比較して、パフォーマンスが最大4倍、エネルギー効率が最大2倍向上するように設計されているとAmazonは述べている。Trainium2は96GBのHBMを提供することになる。

このことからも、Amazonの焦点は明らかに大規模言語モデル（LLM）と、チャットボットのコンテンツ生成のような生成的AIアプリケーションのための基礎モデルにあることが分かる。

Trainium2は、AWSクラウド上の16チップのクラスタからなるEC Trn2インスタンスで利用可能で、AWSのEC2 UltraCluster製品では最大10万チップまで拡張できる。

Amazonによれば、10 万個のTrainium2チップは65エクサフロップスの計算能力を実現しているとのことだが、これは1つのチップあたり650テラフロップスに相当する。単一の Tranium2チップが実際に約200テラフロップスのパフォーマンスを実現できると仮定すると、これは2017年頃のGoogle のカスタムAIトレーニングチップの能力をはるかに上回る性能だ。

Amazonによれば、100,000個のTrainium2チップのクラスタは、3,000億パラメータを持つAIの大規模言語モデルを数週間から数ヶ月で訓練できるという。(「パラメータ」とは、学習データから学習されるモデルの部分であり、基本的にはテキストやコードの生成のような問題に対するモデルのスキルを定義するものである)これは、テキストを生成するGPT-4の前身であるOpenAIのGPT-3の約1.75倍に相当する。

Brown氏はプレスリリースで、「シリコンは顧客のあらゆるワークロードを支えており、AWSにとってイノベーションの重要な分野となっています。生成AIへの関心が高まる中、Tranium2は、お客様がMLモデルをより速く、より低コストで、より優れたエネルギー効率でトレーニングできるよう支援します」と、述べている。

なお、Amazonは、Trainium2インスタンスがいつAWSの顧客に提供されるようになるかは明言していない。

NVIDIAとの協力も強力に

また、Amazonは全てを自社製品に賭けている訳ではない。

AWSでは、NVIDIAとの関係を拡大し、Grace-Hopper Superchipsを最大32個のクラスタに展開することを発表した。この構成は、NVIDIAがGH200-NVL32と呼んでいる新しい製品の最初のものである。

AWSはまた、GH200、H200、L40S、L4アクセラレータを含む、NVIDIAの最新世代のシリコンをベースにした新しいインスタンスを提供し、AWSにDGX Cloudプラットフォームを導入する予定だ。

AWSとNVIDIAは、16,384基のGH200を使用し、AIワークロード向けに65エクサフロップスのFP8性能を実現するAIスーパーコンピューターの開発に取り組んでいることを明らかにした。Project Ceibaと名付けられたこのシステムは、Microsoft Azureでの大規模なデプロイメントで見られるようなInfinibandに依存するのではなく、AmazonのElastic Fabric Adapterインターコネクトを使用するという点でユニークだ。

これらすべてはNVIDIAのAIソフトウェア・スイートによってサポートされるとのことだ。

Sources