昨年、大いに話題になった「Stable Diffusion」などのジェネレーティブAIによる画像生成は、スマートフォンアプリでも展開されていたが、これはクラウド上の強力なサーバーで動作していた。その処理は複雑な物で、通常はサーバーや強力なデスクトップマシンによる処理が必要な物だが、Qualcommが今回発表した物は、スマートフォンによるAI処理の新たな可能性を提示する物だ。同社は「Stable Diffusion」をスマートフォン上で動作するように改良し、強力なデスクトップマシンと同等の速度で動作させることが出来たと報告している。

Qualcommによると、Snapdragon 8 Gen 2によって、Stable Diffusionで512 x 512の猫画像の生成をわずか14.4秒で行う事に成功したとのことだ。2022年末、AppleはStable Diffusionを同社のCore MLフレームワーク上で動作させるための最適化をリリースしたが、現世代のiPhoneでは、画像の生成に1分程度かかっている。

この記録的な結果を実現したのは、最近の世代でAIに特化した強化が行われたHexagonデジタルシグナルプロセッサのおかげだ。

Qualcommのエンジニアは、量子化という手法でStable Diffusionのモデルを縮小し、スマートフォンでの実行に適したものにした。これは、FP32形式でリリースされたStable Diffusionのv1.5を元に、最新のAI研究を駆使してモデルをINT8（8ビットデータ空間）に圧縮するものである。これにより、Stable Diffusionモデルはモバイルハードウェア上でより効率的かつ高速に動作し、QualcommのAdaptive Roundingなどのテクノロジーにより、再トレーニングの必要なくモデルの精度を維持することができるようになった。

Qualcommは、これは「エッジAI」の始まりであり、私たちのパーソナルデバイスがクラウドに頼らずローカルでAIモデルを実行するのに十分なパワーを持つ時代の始まりであると述べている。Stable Diffusionのような大規模で高度なAIモデルを携帯電話で実行出来るようになることは、VR/ARヘッドセット、タブレット、ラップトップなど、同様のハードウェアを持つデバイスでも実行できることを意味する。

ただし、Qualcommは内部テスト用に今回のバージョンのStable Diffusionを作成し、公にリリースすることについては言及していない。

Source

• Qualcomm: World’s first on-device demonstration of Stable Diffusion on an Android phone