AIスタートアップのCentMLは、AI特需による世界的なGPU不足に対抗するため、マシンラーニングモデルを最適化し、より高速に動作させ、計算コストを削減することを目指している。

CentMLによれば、AI開発の最大の障害の一つは計算リソースへのアクセスだ。実際、推論ワークロードが加速するにつれてそのリソース不足は増加する一方なのはよく知られた所だろう。CentMLのアプローチは、現在のAIチップ供給と既存の在庫を拡大し、精度に影響を与えることがないとのことだ。

小規模企業がGPUにアクセスするのは困難

CentMLは、AIに特化したRadical Venturesが主導する2022年のシードラウンドで350万ドルを調達した。共同創設者でCEOのGennady Pekhimenko氏は、大規模言語モデルのサイズの軌道を見たとき、「ハードウェアとその上のソフトウェアスタックを所有している者が優位に立つことが明らかだった」と述べている。

しかし、NVIDIAは常に最も高価なチップ、例えば最新のA100やH100 GPUを販売したがっており、最低でも1万ドルもする高価なこれらは、小規模企業がアクセスするのを困難にしている。だが、実はNVIDIAにはあまりクローズアップされないが、安価なチップも存在する。Pekhimenko氏は、「私たちは、クラウドで利用可能な最も高価なものだけでなく、すべてのGPUで効率的にモデルを最適化するソフトウェアを開発しています」と述べている。つまり、AI処理に最適化された様なGPU以外によって、既存のパフォーマンスと同等のものを実現しようとしているのだ。

より効率的なAIチップへのアクセス

推論のコストが「指数関数的に」増加する中（ChatGPTのようなモデルは運用に何百万ドルもの費用がかかる）、CentMLは強力なオープンソースコンパイラを使用して、企業の特定の推論パイプラインとハードウェアに最適に動作するように最適化を自動的に調整する。

競合するOctoMLも、モデルのパフォーマンスを自動的に最大化するためのコンパイラ技術を基盤にしているが、これは古い技術です。「彼らのソリューションはクラウドでは競争力がありません。私たちはその欠点を知っていて、それらの欠点がない新しい技術を構築しました」とPekhimenko氏はVentureBeatに対して述べている。

Radical VenturesのパートナーであるDavid Katz氏は、AIチップへのアクセスを得るための競争がGame of Thronesのようになっていると述べている。彼は、「これらのモデル、そして大規模なモデルを動かすために必要な計算力に対する飽くなき欲求があります」とVentureBeatに語り、昨年RadicalがCentMLに投資したことを付け加えた。

CentMLの提供するものは、市場に「少しの効率性」をもたらす。さらに、複雑で10億以上のパラメータを持つモデルも既存のハードウェアで動作することを示している。「だから、同じ量のGPUが必要ないし、必ずしもA100が必要なわけではない」と彼は述べている。結果的に彼らのアプローチは、“市場のGPUを増やしている”と言えるだろう。

Source

• VentureBeat: To combat GPU shortage for generative AI, startup works to optimize hardware