NVIDIA DLSS(Deep Learning Super Sampling)がGamescom 2018で発表されてから今日で5年になるが、その間この技術は、AIと共に成長し、その恩恵を受けてきたNVIDIAによって常に進化が続けられてきた。当初の“Super Sampling”のみならず、それ以外にも多くの技術を搭載し進化を果たしてきたDLSSは、Gamescom 2023において、その最新版である「DLSS 3.5」となって、また我々に新たな姿を見せてくれている。DLSS 3.5では、NVIDIAのニューラルネットワークを使用してレイトレーシング画像の品質を向上させる新機能「Ray Reconstruction」が追加された。これは、RTX40XXシリーズGPUでしか対応してこなかった DLSS 3のFrame Generation（フレーム補間）とは異なり、すべてのRTX GPUで利用可能となっている。

DLSS 3.5で、NVIDIAはAIモデルを使って、レイトレーシングを特に強化している。しかし、DLSS 3.5が何をするのかを理解するためには、そもそもレイトレーシングが従来どのように機能していたかを見てみる必要があるだろう。

そもそもレイトレーシングとは？

レイトレーシングは、最も要求の厳しいグラフィックスレンダリング技術の1つだ。反射、屈折、およびさまざまなマテリアルの物理的特性に基づいて最終的なピクセルカラーを計算するには、多くの計算能力を必要とする。

一般的なレイトレーシングのライティングパイプラインでは、まずマテリアルとジオメトリを使用してシーンを生成する。この時点では、ライティングエフェクトは適用されない。次に、この画像に反射やグローバルイルミネーションなどの様々なライティングエフェクトをサンプリングする。

下の画像の例では、シーンが完全にカバーされていないため、照明情報のギャップである黒いピクセルが残っているのが分かる。このような空のスペースが残っているのは、すべてのピクセルを埋めるのに十分な量の光線を照射できないか、光線が跳ね返ったときに均等に分散されていないためだ。その結果、どれだけ多くの光線をシーンに照射しても、常に欠落したピクセルが存在することになる。

そこで、サンプリングされた光線を分析し、空間的および時間的なテクニックを使って欠損ピクセルを埋めるノイズ除去器が登場する。ゲームエンジンは、各エフェクトに対して複数のノイズ除去器を含むことができる。ノイズ除去が完了すると、レイトレーシング画像が合成され、ネイティブ解像度にアップスケールされる。ノイズ除去には以下の方法がある：

• 時間的蓄積：複数のフレームに渡って光線をサンプリングする（ゴーストやRTの低下を招く可能性がある）
• 空間補間：黒いギャップを埋め、隣のピクセルとブレンドする（ぼやけた画像や不均一な画像になる可能性がある）

これらのノイズ除去器は、ある特定のタイトル用に手作業で調整することができるが、不正確な照明効果、低品質のグローバルイルミネーション、低品質の反射につながる可能性がある。さらに、ノイズ除去器は、アップスケーリングに必要な高周波のカラーデータも除去してしまうため、RT適用後の最終画像はディテールに欠けるものとなってしまうのだ。

「DLSS3.5」とは？

そこでNVIDIAは、これらの問題に対処するための新しいソリューションを考案した。DLSS 3.5では、画面上のすべてのピクセルでレイトレーシング計算を行うのではなく（ピクセルごとに複数のレイを使用）、AIを使用してそのギャップを埋めている。NVIDIAはこれを 「Ray Reconstruction（光線再構成）」と呼んでいる。

レイトレースされたピクセルの間を補間するように設計されたアルゴリズムであるノイズ除去機能によって、他の方法でも同じ処理を行うことができる。これは、時間的累積（複数のフレームにわたるピクセル）または空間的補間（隣接するピクセル間のブレンド）の両方が可能だ。プロフェッショナルの3Dレンダリングアプリケーションでは、最初の結果は高速で近似的なレンダリングであり、その後、より多くのレイがキャストされ、結果が改善されるにつれて、結果のビューの斑点性が改善されるような複数のパスをよく見かける。DLSS 3.5は、ゲームでもアプリケーションでも、同様の効果を得ることが可能だ。

レイトレーシング効果を持つほとんどのゲームは、全体的な品質を向上させるためにすでにノイズ除去器を使用しているが、画像のアップスケーリングがディープラーニングの恩恵を受けているように、ノイズ除去も同様に恩恵を受けることができる。NVIDIAによると、Ray Reconstructionは、さまざまなレイトレーシング効果を認識するように訓練されており、また、時間的ピクセルと空間的ピクセルの両方を活用して最良の結果をもたらすという。

従来のノイズ除去装置とDLSS 3.5をクローズアップして比較すると、新しいスーパーサンプリングテクノロジーは、良いピクセルを残し、悪いピクセルを破棄するため、単純にサンプリングされた光線をブレンドし、不正確なライティングを引き起こすノイズ除去器に比べ、レイトレーシングの品質がはるかに向上していることが分かる。この大きな違いは、オフラインで学習され、リアルタイムで利用可能なものよりもはるかに計算集約的な巨大なデータセットのおかげで達成されている。

DLSS 3.5の可能性を示すために、NVIDIAはDLSS 3.5のRay Reconstructionと比較した現在のレンダリングを示すいくつかのサンプル画像を提供している。

品質のみならず、DLSS 3.5のRay Reconstructionを有効にすると、標準のDLSS 3よりもパフォーマンスが向上する。 Cyberpunk 2077の例では、DLSSをオフにした場合と、さまざまなAI技術を使用した場合のパフォーマンスの違いを見ることが出来る。

さらに、DLSS 3.5はゲームだけにとどまらず、コンテンツ制作やProにも大きなメリットをもたらすという。D5レンダラーもDLSS 3.5のアップデートを受ける予定で、RTで画像を華麗にレンダリングできるようになるようだ。

統合に関してNVIDIAは、超解像を実装するのと同じように、Ray Reconstructionをプラグインで簡単に実装できるようにすると述べている。DLSSのAIモデルに情報を渡す必要があるため、開発者は内部のノイズ除去機能をオフにするだけでいい。

NVIDIAは、RTX 20シリーズからRTX 30およびRTX 40 GPUまで、すべてのRTX GPUでDLSS 3.5 Ray Reconstructionサポートを提供する予定だ。DLSS 3.5フレームワークには、それぞれのGPU世代でサポートされている既存の超解像技術、DLAA技術、フレーム生成技術も含まれる。これらの技術は、NVIDIA Tensor Core技術を活用し、比類のないパフォーマンスと驚異的なビジュアル品質を実現する。

NVIDIA DLSS 3.5は、Cyberpunk 2077 (with the Phantom Liberty update)、Portal with RTX、そしてAlan Wake 2を含む3つの主要タイトルにこの秋搭載される予定だ。

加えて、NVIDIAはHalf-Life 2のトップモッダーチームが協力し、Portal RTXのようなRTX Remixのフルモデルチェンジを行うことも発表した。

DLSS 3（3.5ではない）は、Call of Duty: Modern Warfare III、Payday 3、そしてこれまたFortniteにも搭載される予定だ。DLSS 3のAI生成フレームが、ペースの速い対戦型シューティングゲームにどの程度対応できるのか、まもなくそれがわかるだろう。

Sources

• NVIDIA:
  • NVIDIA DLSS 3.5: Enhancing Ray Tracing With AI; Coming This Fall To Alan Wake 2, Cyberpunk 2077: Phantom Liberty, Portal with RTX & More
  • NVIDIA DLSS Accelerates This Fall’s Biggest Games, Including Alan Wake 2, Cyberpunk 2077: Phantom Liberty, Call of Duty: Modern Warfare III & PAYDAY 3
  • Announcing Half-Life 2 RTX, An RTX Remix Project Being Built By The Community