JP2024079778A - 任意ビューの生成 - Google Patents

Abstract

【課題】機械学習ベースの画像処理方法及び生成フレームワークを提供する。【解決手段】方法は、オブジェクト又はアセットの入力画像が受信することと、入力画像の被写体、すなわち、オブジェクト又はアセットのみが残るように、受信した入力画像の背景を除去することと、入力画像内のオブジェクト又はアセットの深度値をピクセル毎に決定することと、入力画像のパースペクティブとは異なるオブジェクト又はアセットの所定の任意パースペクティブを含む出力画像を、決定した深度値に基づいてパースペクティブ変換を実行することによって生成することと、を含む。【選択図】図１０

Description

他の出願への相互参照
本願は、「ＡＲＢＩＴＲＡＲＹ ＶＩＥＷ ＧＥＮＥＲＡＴＩＯＮ」と題する２０１９年７月２６日出願の米国特許出願第１６／５２３，８８８号の一部継続出願であり、当該一部継続出願は、「ＡＲＢＩＴＲＡＲＹ ＶＩＥＷ ＧＥＮＥＲＡＴＩＯＮ」と題する２０１８年１１月６日出願の米国特許出願第１６／１８１，６０７号の一部継続出願であり、当該一部継続出願は、「ＡＲＢＩＴＲＡＲＹ ＶＩＥＷ ＧＥＮＥＲＡＴＩＯＮ」と題する２０１７年９月２９日出願の米国特許出願第１５／７２１，４２６号（現在の米国特許第１０，１６３，２５０号）の継続出願であり、当該継続出願は、「ＦＡＳＴ ＲＥＮＤＥＲＩＮＧ ＯＦ ＡＳＳＥＭＢＬＥＤ ＳＣＥＮＥＳ」と題する２０１７年８月４日出願の米国仮特許出願第６２／５４１，６０７号に基づく優先権を主張し、「ＡＲＢＩＴＲＡＲＹ ＶＩＥＷ ＧＥＮＥＲＡＴＩＯＮ」と題する２０１６年３月２５日出願の米国特許出願第１５／０８１，５５３号（現在の米国特許第９，９９６，９１４号）の一部継続出願であり、これらはすべて、すべての目的のために参照によって本明細書に組み込まれる。

本願は、「ＦＡＳＴ ＲＥＮＤＥＲＩＮＧ ＯＦ ＩＭＡＧＥ ＳＥＱＵＥＮＣＥＳ ＦＯＲ ＰＲＯＤＵＣＴ ＶＩＳＵＡＬＩＺＡＴＩＯＮ」と題する２０１９年１１月８日出願の米国仮特許出願第６２／９３３，２５８号、および、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＣＱＵＩＲＩＮＧ ＩＭＡＧＥＳ ＦＯＲ ＳＰＡＣＥ ＰＬＡＮＮＩＮＧ ＡＰＰＬＩＣＡＴＩＯＮＳ」と題する２０１９年１１月８日出願の米国仮特許出願第６２／９３３，２６１号に基づく優先権を主張し、これら双方は、すべての目的のために参照によって本明細書に組み込まれる。

既存のレンダリング技術は、品質および速度という相反する目標の間のトレードオフに直面している。高品質なレンダリングは、かなりの処理リソースおよび時間を必要とする。しかしながら、遅いレンダリング技術は、インタラクティブなリアルタイムアプリケーションなど、多くのアプリケーションで許容できない。一般的には、低品質だが高速なレンダリング技術が、かかるアプリケーションでは好まれる。例えば、比較的高速なレンダリングのために品質を犠牲にして、ラスタ化が、リアルタイムグラフィックスアプリケーションによって一般に利用される。したがって、品質も速度も大きく損なうことのない改良技術が求められている。

以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。

シーンの任意ビューを生成するためのシステムの一実施形態を示すハイレベルブロック図。

データベースアセットの一例を示す図。

任意パースペクティブを生成するための処理の一実施形態を示すフローチャート。

アセットの任意ビューが生成されうる元となるアセットの参照画像またはビューを生成するための処理の一実施形態を示すフローチャート。

アセットの任意ビューが生成されうる元となるアセットの参照画像またはビューを生成するための処理の一実施形態を示すフローチャート。

シーンの要求されたビューを提供するための処理の一実施形態を示すフローチャート。

画像データセットに関連付けられている属性を学習するための機械学習ベース画像処理フレームワークの一実施形態を示すハイレベルブロック図。

アセットの他の任意ビューを生成するために利用できるアセットに関連付けられている画像をデータベースに入力するための処理の一実施形態を示すフローチャート。

画像またはフレームを生成するための処理の一実施形態を示すフローチャート。

オブジェクトまたはアセットの任意または新規のビューまたはパースペクティブを生成するための処理の一実施形態を示すハイレベルフローチャート。

本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実装されうる。本明細書では、これらの実施例または本発明が取りうる任意の他の形態が、技術と呼ばれうる。一般に、開示されている処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、或る時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。

以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。

シーンの任意ビューを生成するための技術が開示されている。本明細書に記載の実例は、非常に低い処理オーバヘッドまたは計算オーバヘッドを伴いつつ、高精細度出力も提供し、レンダリング速度と品質との間の困難なトレードオフを効果的に排除する。開示されている技術は、インタラクティブなリアルタイムグラフィックスアプリケーションに関して、高品質出力を非常に高速に生成するために特に有効である。かかるアプリケーションは、提示されたインタラクティブなビューまたはシーンのユーザ操作に応答してそれに従って、好ましい高品質出力を実質的に即時に提示することに依存する。

図１は、シーンの任意ビューを生成するためのシステム１００の一実施形態を示すハイレベルブロック図である。図に示すように、任意ビュー生成器１０２が、任意ビューの要求を入力１０４として受信し、既存のデータベースアセット１０６に基づいて、要求されたビューを生成し、入力された要求に応答して、生成されたビューを出力１０８として提供する。様々な実施形態において、任意ビュー生成器１０２は、中央処理装置（ＣＰＵ）またはグラフィックス処置装置（ＧＰＵ）などのプロセッサを備えてよい。図１に示すシステム１００の構成は、説明のために提示されている。一般に、システム１００は、記載した機能を提供する任意の他の適切な数および／または構成の相互接続された構成要素を備えてもよい。例えば、別の実施形態において、任意ビュー生成器１０２は、異なる構成の内部構成要素１１０～１１６を備えてもよく、任意ビュー生成器１０２は、複数の並列物理および／または仮想プロセッサを備えてもよく、データベース１０６は、複数のネットワークデータベースまたはアセットのクラウドを備えてもよい、などである。

任意ビュー要求１０４は、シーンの任意パースペクティブの要求を含む。いくつかの実施形態において、シーンの他のパースペクティブすなわち視点を含むシーンの要求パースペクティブは、アセットデータベース１０６内にまだ存在してはいない。様々な実施形態において、任意ビュー要求１０４は、プロセスまたはユーザから受信されてよい。例えば、入力１０４は、提示されたシーンまたはその一部のユーザ操作（提示されたシーンのカメラ視点のユーザ操作など）に応答して、ユーザインターフェスから受信されうる。別の例において、任意ビュー要求１０４は、シーンのフライスルーなど、仮想環境内での運動または移動の経路の指定に応答して受信されてもよい。いくつかの実施形態において、要求できるシーンの可能な任意ビューは、少なくとも部分的に制約されている。例えば、ユーザは、提示されたインタラクティブシーンのカメラ視点を任意のランダムな位置に操作することができない場合があり、シーンの特定の位置またはパースペクティブに制約される。

データベース１０６は、格納された各アセットの複数のビューを格納している。所与の文脈において、アセットとは、仕様が複数のビューとしてデータベース１０６に格納されている個々のシーンのことである。様々な実施形態において、シーンは、単一のオブジェクト、複数のオブジェクト、または、リッチな仮想環境を含みうる。具体的には、データベース１０６は、各アセットの異なるパースペクティブすなわち視点に対応する複数の画像を格納する。データベース１０６に格納されている画像は、高品質の写真または写実的レンダリングを含む。データベース１０６に入力されるかかる高精細度すなわち高解像度の画像は、オフライン処理中にキャプチャまたはレンダリングされ、もしくは、外部ソースから取得されてよい。いくつかの実施形態において、対応するカメラ特性が、データベース１０６に格納された各画像と共に格納される。すなわち、相対的な位置または場所、向き、回転、奥行情報、焦点距離、絞り、ズームレベルなどのカメラ属性が、各画像と共に格納される。さらに、シャッター速度および露出などのカメラの光学情報が、データベース１０６に格納された各画像と共に格納されてもよい。

様々な実施形態において、アセットの任意の数の異なるパースペクティブがデータベース１０６に格納されてよい。図２は、データベースアセットの一例を示す。与えられた例では、椅子オブジェクトの周りの異なる角度に対応する７３のビューがキャプチャまたはレンダリングされ、データベース１０６に格納される。ビューは、例えば、椅子の周りでカメラを回転させるかまたはカメラの前で椅子を回転させることによってキャプチャされてよい。相対的なオブジェクトおよびカメラの位置および向きの情報が、生成された各画像と共に格納される。図２は、１つのオブジェクトを含むシーンのビューを具体的に示している。データベース１０６は、複数のオブジェクトまたはリッチな仮想環境を含むシーンの仕様も格納してよい。かかるケースにおいては、シーンまたは三次元空間の中の異なる位置または場所に対応する複数のビューがキャプチャまたはレンダリングされ、対応するカメラ情報と共にデータベース１０６に格納される。一般に、データベース１０６に格納された画像は、二次元または三次元を含んでよく、アニメーションまたはビデオシーケンスのスチールまたはフレームを含んでよい。

データベース１０６にまだ存在しないシーンの任意ビューの要求１０４に応答して、任意ビュー生成器１０２は、データベース１０６に格納されたシーンの複数の他の既存ビューから、要求された任意ビューを生成する。図１の構成例では、任意ビュー生成器１０２のアセット管理エンジン１１０が、データベース１０６を管理する。例えば、アセット管理エンジン１１０は、データベース１０６におけるデータの格納およびリトリーブを容易にしうる。シーン１０４の任意ビューの要求に応答して、アセット管理エンジン１１０は、データベース１０６からシーンの複数の他の既存ビューを特定して取得する。いくつかの実施形態において、アセット管理エンジン１１０は、データベース１０６からシーンのすべての既存ビューをリトリーブする。あるいは、アセット管理エンジン１１０は、既存ビューの一部（例えば、要求された任意ビューに最も近いビュー）を選択してリトリーブしてもよい。かかるケースにおいて、アセット管理エンジン１１０は、要求された任意ビューを生成するためのピクセルの収集元になりうる一部の既存ビューをインテリジェントに選択するよう構成される。様々な実施形態において、複数の既存ビューが、アセット管理エンジン１１０によって一緒にリトリーブされてもよいし、任意ビュー生成器１０２のその他の構成要素によって必要になり次第リトリーブされてもよい。

アセット管理エンジン１１０によってリトリーブされた各既存ビューのパースペクティブは、任意ビュー生成器１０２のパースペクティブ変換エンジン１１２によって、要求された任意ビューのパースペクティブに変換される。上述のように、正確なカメラ情報が既知であり、データベース１０６に格納された各画像と共に格納されている。したがって、既存ビューから要求任意ビューへのパースペクティブ変更は、単純な幾何マッピングまたは幾何変換を含む。様々な実施形態において、パースペクティブ変換エンジン１１２は、既存ビューのパースペクティブを任意ビューのパースペクティブに変換するために、任意の１または複数の適切な数学的手法を用いてよい。要求されたビューがどの既存ビューとも同一ではない任意ビューを含む場合、任意ビューのパースペクティブへの既存ビューの変換は、少なくともいくつかのマッピングされていないピクセルまたは失われたピクセル、すなわち、既存ビューに存在しない任意ビューに導入された角度または位置にあるピクセルを含むことになる。

単一のパースペクティブ変換された既存ビューからのピクセル情報では、別のビューのすべてのピクセルを埋めることができない。しかしながら、多くの場合、すべてではないが、要求された任意ビューのほとんどのピクセルが、複数のパースペクティブ変換された既存ビューから収集されうる。任意ビュー生成器１０２のマージエンジン１１４が、複数のパースペクティブ変換された既存ビューからのピクセルを組み合わせて、要求された任意ビューを生成する。理想的には、任意ビューを構成するすべてのピクセルが既存ビューから収集される。これは、例えば、考慮対象となるアセットについて十分に多様なセットの既存ビューまたはパースペクティブが利用可能である場合、および／または、要求されたパースペクティブが既存のパースペクティブとはそれほど異なっていない場合に、可能でありうる。

複数のパースペクティブ変換された既存ビューからのピクセルを組み合わせまたはマージして、要求された任意ビューを生成するために、任意の適切な技術が用いられてよい。一実施形態において、要求された任意ビューに最も近い第１既存ビューが、データベース１０６から選択されてリトリーブされ、要求された任意ビューのパースペクティブに変換される。次いで、ピクセルが、このパースペクティブ変換された第１既存ビューから収集され、要求された任意ビュー内の対応するピクセルを埋めるために用いられる。第１既存ビューから取得できなかった要求任意ビューのピクセルを埋めるために、これらの残りのピクセルの少なくとも一部を含む第２既存ビューが、データベース１０６から選択されてリトリーブされ、要求任意ビューのパースペクティブへ変換される。次いで、第１既存ビューから取得できなかったピクセルは、このパースペクティブ変換された第２既存ビューから収集され、要求任意ビュー内の対応するピクセルを埋めるために用いられる。この処理は、要求任意ビューのすべてのピクセルが埋められるまで、および／または、すべての既存ビューが使い果たされるかまたは所定の閾値数の既存ビューが利用されるまで、任意の数のさらなる既存ビューについて繰り返されてよい。

いくつかの実施形態において、要求任意ビューは、どの既存ビューからも取得できなかったいくつかのピクセルを含みうる。かかる場合、補間エンジン１１６が、要求任意ビューのすべての残りのピクセルを埋めるよう構成されている。様々な実施形態において、要求任意ビュー内のこれらの埋められていないピクセルを生成するために、任意の１または複数の適切な補間技術が補間エンジン１１６によって用いられてよい。利用可能な補間技術の例は、例えば、線形補間、最近隣補間などを含む。ピクセルの補間は、平均法または平滑化を導入する。全体の画像品質は、ある程度の補間によって大きい影響を受けることはないが、過剰な補間は、許容できない不鮮明さを導入しうる。したがって、補間は、控えめに用いることが望ましい場合がある。上述のように、要求任意ビューのすべてのピクセルを既存ビューから取得できる場合には、補間は完全に回避される。しかしながら、要求任意ビューが、どのビューからも取得できないいくつかのピクセルを含む場合には、補間が導入される。一般に、必要な補間の量は、利用可能な既存ビューの数、既存ビューのパースペクティブの多様性、および／または、任意ビューのパースペクティブが既存ビューのパースペクティブに関してどれだけ異なるか、に依存する。

図２に示した例に関して、椅子オブジェクトの周りの７３のビューが、椅子の既存ビューとして格納される。格納されたビューとのいずれとも異なるすなわち特有の椅子オブジェクトの周りの任意ビューが、もしあったとしても好ましくは最小限の補間で、複数のこれらの既存ビューを用いて生成されうる。しかしながら、既存ビューのかかる包括的なセットを生成して格納することが、効率的でなかったり望ましくなかったりする場合がある。いくつかの場合、その代わりに、十分に多様なセットのパースペクティブを網羅する大幅に少ない数の既存ビューが生成および格納されてもよい。例えば、椅子オブジェクトの７３のビューが、椅子オブジェクトの周りの少数のビューの小さいセットに縮小されてもよい。

上述のように、いくつかの実施形態において、要求できる可能な任意ビューが、少なくとも部分的に制約される場合がある。例えば、ユーザは、インタラクティブなシーンに関連付けられている仮想カメラを特定の位置に動かすことを制限されうる。図２で与えられた例に関しては、要求できる可能な任意ビューは、椅子オブジェクトの周りの任意の位置に制限され、例えば、椅子オブジェクトの底部のために存在するピクセルデータが不十分であるので、椅子オブジェクトの下の任意の位置を含みえない。許容される任意ビューについてのかかる制約は、要求任意ビューを任意ビュー生成器１０２によって既存データから生成できることを保証する。

任意ビュー生成器１０２は、入力された任意ビュー要求１０４に応答して、要求任意ビュー１０８を生成して出力する。生成された任意ビュー１０８の解像度または品質は、既存ビューからのピクセルが任意ビューを生成するために用いられているので、それを生成するために用いられた既存ビューの品質と同じであるかまたは同等である。したがって、ほとんどの場合に高精細度の既存ビューを用いると、高精細度の出力が得られる。いくつかの実施形態において、生成された任意ビュー１０８は、関連シーンの他の既存ビューと共にデータベース１０６に格納され、後に、任意ビューに対する将来の要求に応答して、そのシーンの他の任意ビューを生成するために用いられてよい。入力１０４がデータベース１０６内の既存ビューの要求を含む場合、要求ビューは、上述のように、他のビューから生成される必要がなく、その代わり、要求ビューは、簡単なデータベースルックアップを用いてリトリーブされ、出力１０８として直接提示される。

任意ビュー生成器１０２は、さらに、記載した技術を用いて任意アンサンブルビューを生成するよう構成されてもよい。すなわち、入力１０４は、複数のオブジェクトを組み合わせて単一のカスタムビューにするための要求を含んでよい。かかる場合、上述の技術は、複数のオブジェクトの各々に対して実行され、複数のオブジェクトを含む単一の統合されたビューすなわちアンサンブルビューを生成するように組み合わせられる。具体的には、複数のオブジェクトの各々の既存ビューが、アセット管理エンジン１１０によってデータベース１０６から選択されてリトリーブされ、それらの既存ビューは、パースペクティブ変換エンジン１１２によって、要求されたビューのパースペクティブに変換され、パースペクティブ変換された既存ビューからのピクセルが、マージエンジン１１４によって、要求されたアンサンブルビューの対応するピクセルを埋めるために用いられ、アンサンブルビュー内の任意の残りの埋められていないピクセルが、補間エンジン１１６によって補間される。いくつかの実施形態において、要求されたアンサンブルビューは、アンサンブルを構成する１または複数のオブジェクトのためにすでに存在するパースペクティブを含みうる。かかる場合、要求されたパースペクティブに対応するオブジェクトアセットの既存ビューは、オブジェクトの他の既存ビューから、要求されたパースペクティブを最初に生成する代わりに、アンサンブルビュー内のオブジェクトに対応するピクセルを直接埋めるために用いられる。

複数のオブジェクトを含む任意アンサンブルビューの一例として、図２の椅子オブジェクトおよび別個に撮影またはレンダリングされたテーブルオブジェクトを考える。椅子オブジェクトおよびテーブルオブジェクトは、両方のオブジェクトの単一のアンサンブルビューを生成するために、開示されている技術を用いて組み合わせられてよい。したがって、開示された技術を用いて、複数のオブジェクトの各々の別個にキャプチャまたはレンダリングされた画像またはビューが、複数のオブジェクトを含み所望のパースペクティブを有するシーンを生成するために、矛盾なく組み合わせられうる。上述のように、各既存ビューの奥行情報は既知である。各既存ビューのパースペクティブ変換は、奥行変換を含んでおり、複数のオブジェクトが、アンサンブルビュー内で互いに対して適切に配置されることを可能にする。

任意アンサンブルビューの生成は、複数の単一オブジェクトを組み合わせてカスタムビューにすることに限定されない。むしろ、複数のオブジェクトまたは複数のリッチな仮想環境を有する複数のシーンが、同様に組み合わせられてカスタムアンサンブルビューにされてもよい。例えば、複数の別個に独立して生成された仮想環境（おそらくは異なるコンテンツ生成源に由来し、おそらくは異なる既存の個々のパースペクティブを有する）が、所望のパースペクティブを有するアンサンブルビューになるように組み合わせられてよい。したがって、一般に、任意ビュー生成器１０２は、おそらくは異なる既存ビューを含む複数の独立したアセットを、所望のおそらくは任意パースペクティブを有するアンサンブルビューに矛盾なく組み合わせまたは調和させるよう構成されてよい。すべての組み合わせられたアセットが同じパースペクティブに正規化されるので、完璧に調和した結果としてのアンサンブルビューが生成される。アンサンブルビューの可能な任意パースペクティブは、アンサンブルビューを生成するために利用可能な個々のアセットの既存ビューに基づいて制約されうる。

図３は、任意パースペクティブを生成するための処理の一実施形態を示すフローチャートである。処理３００は、例えば、図１の任意ビュー生成器１０２によって用いられてよい。様々な実施形態において、処理３００は、所定のアセットの任意ビューまたは任意アンサンブルビューを生成するために用いられてよい。

処理３００は、任意パースペクティブの要求が受信される工程３０２において始まる。いくつかの実施形態において、工程３０２において受信された要求は、シーンのどの既存の利用可能なパースペクティブとも異なる所定のシーンの任意パースペクティブの要求を含みうる。かかる場合、例えば、任意パースペクティブ要求は、そのシーンの提示されたビューのパースペクティブの変更を要求されたことに応じて受信されてよい。パースペクティブのかかる変更は、カメラのパン、焦点距離の変更、ズームレベルの変更など、シーンに関連付けられている仮想カメラの変更または操作によって促されてよい。あるいは、いくつかの実施形態において、工程３０２において受信された要求は、任意アンサンブルビューの要求を含んでもよい。一例として、かかる任意アンサンブルビュー要求は、複数の独立したオブジェクトの選択を可能にして、選択されたオブジェクトの統合されたパースペクティブ修正済みのアンサンブルビューを提供するアプリケーションに関して受信されうる。

工程３０４では、要求された任意パースペクティブの少なくとも一部を生成する元となる複数の既存画像が、１または複数の関連アセットデータベースからリトリーブされる。複数のリトリーブされた画像は、工程３０２において受信された要求が所定のアセットの任意パースペクティブの要求を含む場合には、所定のアセットに関連してよく、また、工程３０２において受信された要求が任意アンサンブルビューの要求を含む場合には、複数のアセットに関連してよい。

工程３０６では、異なるパースペクティブを有する工程３０４でリトリーブされた複数の既存画像の各々が、工程３０２において要求された任意パースペクティブに変換される。工程３０４においてリトリーブされた既存画像の各々は、関連付けられているパースペクティブ情報を含む。各画像のパースペクティブは、相対位置、向き、回転、角度、奥行、焦点距離、絞り、ズームレベル、照明情報など、その画像の生成に関連付けられているカメラ特性によって規定される。完全なカメラ情報が各画像について既知であるので、工程３０６のパースペクティブ変換は、単純な数学演算を含む。いくつかの実施形態において、工程３０６は、任意選択的に、すべての画像が同じ所望の照明条件に一貫して正規化されるような光学変換をさらに含む。

工程３０８では、工程３０２において要求された任意パースペクティブを有する画像の少なくとも一部が、パースペクティブ変換済みの既存画像から収集されたピクセルで埋められる。すなわち、複数のパースペクティブ補正済みの既存画像からのピクセルが、要求された任意パースペクティブを有する画像を生成するために用いられる。

工程３１０では、要求された任意パースペクティブを有する生成された画像が完成したか否かが判定される。要求された任意パースペクティブを有する生成された画像が完成していないと工程３１０において判定された場合、生成された画像の任意の残りの埋められていないピクセルを取得するためのさらなる既存画像が利用可能であるか否かが工程３１２において判定される。さらなる既存画像が利用可能であると工程３１２で判定された場合、１または複数のさらなる既存画像が工程３１４においてリトリーブされ、処理３００は工程３０６に進む。

要求された任意パースペクティブを有する生成された画像が完成していないと工程３１０においてで判定され、かつ、もはや既存画像が利用できないと工程３１２において判定された場合、生成された画像のすべての残りの埋められていないピクセルが工程３１６において補間される。任意の１または複数の適切な補間技術が、工程３１６において用いられてよい。

要求された任意パースペクティブを有する生成された画像が完成したと工程３１０において判定された場合、または、工程３１６においてすべての残りの埋められていないピクセルを補間した後、要求された任意パースペクティブを有する生成済みの画像が工程３１８において出力される。その後、処理３００は終了する。

上述のように、開示されている技術は、他の既存のパースペクティブに基づいて任意パースペクティブを生成するために用いられてよい。カメラ情報が各既存パースペクティブと共に保存されているので、異なる既存のパースペクティブを共通の所望のパースペクティブに正規化することが可能である。所望のパースペクティブを有する結果としての画像は、パースペクティブ変換された既存画像からピクセルを取得することで構築できる。開示されている技術を用いた任意パースペクティブの生成に関連付けられている処理は、高速でほぼ即時であるだけでなく、高品質の出力も生み出すため、開示されている技術は、インタラクティブなリアルタイムグラフィックスアプリケーションに対して特に強力な技術となっている。

上述の技術は、所望のパースペクティブとは異なるパースペクティブを有する既存参照ビューまたは画像を用いてシーンの所望の任意ビューまたはパースペクティブを生成するための比類なく効率的なパラダイムを含む。より具体的には、開示されている技術は、所望の任意パースペクティブの全部ではないとしてもほとんどのピクセルが収集される１または複数の既存参照画像から、所望の任意パースペクティブを有する高精細度の画像を迅速に生成することを容易にする。上述のように、既存参照画像は、高品質の写真または写実的レンダリングを含み、オフライン処理中にキャプチャまたはレンダリングされ、もしくは、外部ソースから取得されてよい。さらに、（仮想）カメラ特性が、各参照画像と共にメタデータとして格納され、画像のパースペクティブ変換を容易にするために後で用いられてよい。図１のアセットデータベース１０６に格納されている画像またはビューなどの参照画像と、それらに関連付けられているメタデータに関するさらなる詳細とを生成するための様々な技術について、次に説明する。

図４は、アセットの任意ビューまたは任意パースペクティブが生成されうる元となるアセットの参照画像またはビューを生成するための処理の一実施形態を示すフローチャートである。いくつかの実施形態において、処理４００は、図１のデータベース１０６に格納されるアセットの参照画像またはビューを生成するために用いられる。処理４００は、オフライン処理を含んでよい。

処理４００は、アセットが撮像および／またはスキャンされる工程４０２において始まる。アセットの複数のビューまたはパースペクティブが、例えば、アセットの周りで撮像装置またはスキャン装置を回転させ、もしくは、かかる装置の前でアセットを回転させることによって、工程４０２においてキャプチャされる。いくつかの場合において、カメラなどの撮像装置が、工程４０２においてアセットの高品質な写真をキャプチャするために用いられてよい。いくつかの場合において、３Ｄスキャナなどのスキャン装置が、工程４０２においてアセットに関連付けられている点群データを収集するために用いられてもよい。工程４０２では、さらに、画像データおよび／またはスキャンデータと共に適用可能なメタデータ（カメラ属性、相対的な場所または位置、深度情報、照明情報、面法線ベクトル、など）を収集する工程を含む。これらのメタデータパラメータの一部は推定されてよい。例えば、法線データが、深度データから推定されてよい。いくつかの実施形態において、アセットの対象領域または対象表面の全部ではないとしてもほとんどを網羅するアセットの少なくとも所定のセットのパースペクティブが、工程４０２においてキャプチャされる。さらに、異なる特性または属性を有する異なる撮像装置またはスキャン装置が、所与のアセットの異なるパースペクティブに対して、および／または、データベース１０６に格納された異なるアセットに対して、工程４０２において用いられてよい。

工程４０４では、アセットの三次元ポリゴンメッシュモデルが、工程４０２においてキャプチャされた画像データおよび／またはスキャンデータから生成される。すなわち、完全に調整された三次元メッシュモデルが、工程４０２においてキャプチャされた写真および／または点群データならびに関連メタデータに基づいて生成される。いくつかの実施形態において、完全なメッシュモデルが工程４０４において構築されうることを保証するのに足りるだけのアセットデータが、工程４０２においてキャプチャされる。工程４０２において十分にキャプチャされなかった生成済みメッシュモデルの部分は補間されてよい。いくつかの場合に、工程４０４では、完全には自動化されず、生成された三次元メッシュモデルが秩序正しいことを保証するために、少なくとも何らかの人的介入を伴う。

工程４０６では、アセットの複数の参照画像またはビューが、工程４０４において生成された三次元メッシュモデルからレンダリングされる。任意の適切なレンダリング技術が、利用可能なリソースに応じて工程４０６において用いられてよい。例えば、レンダリング品質を犠牲にすることになるが、計算リソースおよび／またはレンダリング時間に関して制約が存在する時に、より簡単なレンダリング技術（スキャンラインレンダリングまたはラスタ化など）が用いられてよい。いくつかの場合に、より多くのリソースを消費するが高品質の写実的な画像を生成するより複雑なレンダリング技術（レイトレーシングなど）が用いられてもよい。工程４０６においてレンダリングされた各参照画像は、三次元メッシュモデルから決定される関連メタデータを備え、（仮想）カメラ属性、相対的な場所または位置、深度情報、照明情報、面法線ベクトル、などのパラメータを含んでよい。

いくつかの実施形態において、ステップ４０２でキャプチャされた任意のソース画像は、データベース１０６に格納されたアセットの参照画像またはビューの非常に小さい一部を含む。むしろ、データベース１０６に格納されたアセットの画像またはビューのほとんどは、工程４０４で生成されたアセットの三次元メッシュモデルを用いてレンダリングされる。いくつかの実施形態において、アセットの参照画像またはビューは、アセットの１または複数の正投影ビューを含む。複数の異なるアセットのかかる正投影ビューは、複数の別個にキャプチャまたはレンダリングされた個々のアセットからまたはそれらを組み合わせることによって構築された合成アセットの正投影ビューを生成するために、組み合わせられてよく（例えば、積木のように、一緒にスタックされ、または、隣り合わせに配置される、など）、その後、合成アセットの正投影ビューは、個々のアセットの各々の正投影ビューを所望の任意パースペクティブに変換することによって集合的に任意の任意カメラビューに変換されうる。

図４の処理４００の三次元メッシュモデルベースのレンダリングは、計算集約的で時間がかかる。したがって、ほとんどの場合、処理４００は、オフライン処理を含む。さらに、アセットの三次元メッシュモデルが存在しうるが、かかるモデルから直接的に高品質な任意パースペクティブをレンダリングすることは、ほとんどのリアルタイムまたはオンデマンドのアプリケーションを含む多くのアプリケーションで効率的に達成することができない。むしろ、アセットの任意の所望の任意パースペクティブをレンダリングできる基礎となる三次元メッシュモデルの存在にもかかわらず、速度制約を満たすために、より効率的な技術を用いる必要がある。例えば、図１～図３の記載に関して上述した任意ビュー生成技術は、アセットの既存参照ビューまたは画像に基づいて所望の任意ビューまたはパースペクティブを非常に高速で生成しつつも参照ビューの品質に匹敵する品質を維持するために用いられてよい。しかしながら、いくつかの実施形態において、三次元メッシュモデルを構築する工程およびモデルから参照ビューをレンダリングする工程に関連付けられている非効率性は、これらの工程をオフラインで実行する選択肢を有するにもかかわらず、望ましくないまたは許容できない場合がある。いくつかのかかる場合に、次でさらに記載するように、メッシュモデルを構築する工程および参照ビューを生成するために複雑なレンダリング技術を利用する工程が省略されてもよい。

図５は、アセットの任意ビューまたは任意パースペクティブが生成されうる元となるアセットの参照画像またはビューを生成するための処理の一実施形態を示すフローチャートである。いくつかの実施形態において、処理５００は、図１のデータベース１０６に格納されるアセットの参照画像またはビューを生成するために用いられる。処理５００は、オフライン処理を含んでよい。

処理５００は、アセットが撮像および／またはスキャンされる工程５０２において始まる。アセットの複数のビューまたはパースペクティブが、例えば、アセットの周りで撮像装置またはスキャン装置を回転させ、もしくは、かかる装置の前でアセットを回転させることによって、工程５０２においてキャプチャされる。工程５０２においてキャプチャされたビューは、少なくとも一部は、アセットの正投影ビューを含んでよい。いくつかの実施形態において、工程５０２においてキャプチャされた画像／スキャンは、工程５０２においてキャプチャされた少なくとも１つの他の画像／スキャンと重複する視野を有し、両者の間の相対的な（カメラ／スキャナ）姿勢は既知であり、格納されている。いくつかの場合において、ＤＳＬＲ（デジタル一眼レフ）カメラなどの撮像装置が、工程５０２においてアセットの高品質な写真をキャプチャするために用いられてよい。例えば、長焦点レンズを備えたカメラが、正投影ビューをシミュレートするために用いられてよい。いくつかの場合において、３Ｄスキャナなどのスキャン装置が、工程５０２においてアセットに関連付けられている点群データを収集するために用いられてもよい。工程５０２では、さらに、カメラ属性、相対的な場所または位置、照明情報、面法線ベクトル、重複する視野を有する画像／スキャン間の相対的な姿勢など、適用可能なメタデータを画像および／またはスキャンデータと共に格納する工程を含む。これらのメタデータパラメータの一部は推定されてよい。例えば、法線データが、深度データから推定されてよい。いくつかの実施形態において、アセットの対象領域または対象表面の全部ではないとしてもほとんどを十分に網羅するアセットの少なくとも所定のセットのパースペクティブが、工程５０２でキャプチャされる。さらに、異なる特性または属性を有する異なる撮像装置またはスキャン装置が、所与のアセットの異なるパースペクティブに対して、および／または、データベース１０６に格納された異なるアセットに対して、工程５０２において用いられてよい。

工程５０４では、アセットの複数の参照画像またはビューが、工程５０２においてキャプチャされたデータに基づいて生成される。参照ビューは、単に、工程５０２においてキャプチャされた画像／スキャンおよび関連メタデータだけから、工程５０４において生成される。すなわち、工程５０２においてキャプチャされた適切なメタデータおよび重複するパースペクティブを用いて、アセットの任意の任意ビューまたはパースペクティブが生成されてよい。いくつかの実施形態において、データベース１０６に格納されるアセットの参照ビューの包括的なセットが、工程５０２においてキャプチャされた画像／スキャンおよびそれらの関連メタデータから生成される。工程５０２においてキャプチャされたデータは、メッシュモデルのフラグメントを形成するのに十分でありうるが、統合的な完全に調整されたメッシュモデルが生成される必要はない。したがって、アセットの完全な三次元メッシュモデルは生成されず、メッシュモデルから参照画像をレンダリングするためにレイトレーシングなどの複雑なレンダリング技術が用いられることもない。処理５００は、最も多くの処理リソースおよび時間を消費する処理４００の工程を排除することによって効率を改善する。

工程５０４において生成された参照画像は、図１～図３の記載に関して上述した技術を用いて、任意ビューまたはパースペクティブのより高速な生成を容易にしうる。しかしながら、いくつかの実施形態において、参照画像のリポジトリが、工程５０４において生成される必要はない。むしろ、工程５０２においてキャプチャされたビューおよびそれらの関連メタデータは、図１～図３の記載に関して上述された技術を用いて、アセットの任意の所望の任意ビューを生成するのに十分である。すなわち、単に、アセットの領域や表面の全部ではないとしてもほとんどをキャプチャし、関連メタデータと共に登録された、重複した視野を持つ少数の高品質の画像／スキャンから、任意の所望の任意ビューまたはパースペクティブが生成されうる。工程５０２でキャプチャされたソース画像のみから所望の任意ビューを生成する工程に関連付けられている処理は、多くのオンデマンドのリアルタイムアプリケーションにとって十分に高速である。しかしながら、速度のさらなる効率性が望まれる場合、参照ビューのリポジトリが、処理５００の工程５０４などで生成されてもよい。

上述のように、データベース１０６内のアセットの各画像またはビューは、対応するメタデータと共に格納されてよい。メタデータは、モデルからビューをレンダリングする時、アセットを撮像またはスキャンする時（この場合、深度および／または面法線のデータが推定されてよい）、または、それら両方を組み合わせた時に、三次元メッシュモデルから生成されてよい。

アセットの所定のビューまたは画像が、画像を含む各ピクセルのピクセル強度値（例えば、ＲＧＢ値）と、各ピクセルに関連付けられている様々なメタデータパラメータとを含む。いくつかの実施形態において、ピクセルの赤、緑、および、青（ＲＧＢ）のチャネルまたは値の内の１または複数が、ピクセルメタデータを符号化するために用いられてよい。ピクセルメタデータは、例えば、そのピクセルに投影される三次元空間内の点の相対的な場所または位置（例えば、ｘ、ｙ、および、ｚ座標値）に関する情報を含んでよい。さらに、ピクセルメタデータは、その位置における面法線ベクトルに関する情報（例えば、ｘ、ｙ、および、ｚ軸となす角度）を含んでもよい。また、ピクセルメタデータは、テクスチャマッピング座標（例えば、ｕおよびｖ座標値）を含んでもよい。かかる場合、点における実際のピクセル値は、テクスチャ画像における対応する座標のＲＧＢ値を読み取ることによって決定される。

面法線ベクトルは、生成された任意ビューまたはシーンの照明の修正または変更を容易にする。より具体的には、シーンの照明変更は、ピクセルの面法線ベクトルが、新たに追加、削除、または、その他の方法で変更された光源の方向にどれだけうまく一致するか（例えば、光源方向とピクセルの法線ベクトルとのドット積によって、少なくとも部分的に定量化されうる）に基づいて、ピクセル値をスケーリングすることを含む。テクスチャマッピング座標を用いてピクセル値を規定すると、生成された任意ビューまたはシーンもしくはその一部のテクスチャの修正または変更が容易になる。より具体的には、テクスチャは、参照されたテクスチャ画像を、同じ寸法を有する別のテクスチャ画像と単に交換または置換することによって変更されることができる。

上述のように、アセットの参照画像またはビューは、アセットの基礎となるメッシュモデルを用いてまたはモデルなしで生成されてよい。最も効率的な実施形態において、単に、アセットの周りの様々な（重複した）ビューをキャプチャする小さいセットのソース画像／スキャン、および、それらに関連付けられている関連メタデータのみが、図１～図３の記載に関して上述した技術を用いて、アセットの任意の所望の任意ビュー、および／または、所望の任意ビューが生成されうる元となる１セットの参照ビューを生成するために必要とされる。かかる実施形態において、モデリングおよびレンダリングに基づいたパストレーシングという最もリソース集約的な工程が排除される。開示されている任意ビュー生成技術を用いて生成された画像またはビューは、静的シーンまたは動的シーンを含んでよく、静止画、または、アニメーションまたはビデオシーケンスのフレームを含んでよい。モーションキャプチャの場合、１または複数のアセットの画像またはビューのセットが、各タイムスライスに対して生成されてよい。開示されている技術は、ゲームアプリケーション、仮想／代替現実アプリケーション、ＣＧＩ（コンピュータ生成画像）アプリケーションなど、高品質な任意ビューの高速な生成を要求するアプリケーションで特に有用である。

三次元モデルからのレンダリングに基づいた既存の三次元コンテンツフレームワークは、典型的には、特定の用途向けに開発および最適化され、異なるプラットフォームおよびアプリケーションに対する拡張性を欠く。結果として、実質的な努力およびリソースが、異なる利用例に対して同じ三次元コンテンツを生成する際に投入され反復される必要がある。さらに、三次元コンテンツの要件は、経時的に対象物を移動させることに直面する。したがって、三次元コンテンツは、要件の変化に伴って手動で再生成される必要がある。そのため、異なるプラットフォーム、デバイス、アプリケーション、利用例、および、一般に様々な品質条件にわたって、三次元コンテンツフォーマットを標準化することが困難である結果として、三次元コンテンツの普及が阻まれてきた。したがって、本明細書に開示されているように任意の所望の品質レベルを実現するために利用できる三次元コンテンツを表現するためのより拡張可能なフォーマットが必要とされている。

開示されている技術は、三次元コンテンツを二次元コンテンツとして表現するための基本的に新規なフレームワークを備えつつも、従来の三次元フレームワークの属性、ならびに、様々なその他の特徴および利点の全てを提供する。上述のように、三次元コンテンツおよび対応する情報は、関連付けられているアセットの基礎となる三次元モデルを必要とすることなしに任意の所望の任意ビューが生成されうる元となる複数の画像に符号化される。すなわち、上述の技術は、三次元ソースコンテンツの二次元コンテンツ（すなわち、画像）への変換を効果的に含む。より具体的には、三次元モデルを含む従来の三次元プラットフォームと効果的に置き換わる、アセットに関連付けられている１セットの画像を含む二次元プラットフォームをもたらす。上述のように、二次元プラットフォームを構成する画像は、三次元モデルから、および／または、ソース画像またはスキャンの小さいセットから生成されてよい。関連メタデータは、アセットの各ビューに関して格納され、いくつかの場合、ピクセル値として符号化される。所与の二次元アーキテクチャの画像ベースビューおよびメタデータは、二次元コンテンツを三次元ソースとして用いることを容易にする。したがって、開示されている技術は、基礎となる三次元ポリゴンメッシュモデルを用いたレンダリングに依存する従来の三次元アーキテクチャと完全に置き換わる。三次元ソースコンテンツ（物理的なアセットまたはアセットの三次元メッシュモデルなど）は、アセットの複数の異なるビューまたはパースペクティブを生成する機能など、従来的には三次元フレームワークを用いてのみ利用可能であった特徴を表現し提供するために代わりに用いられる、１セットのビューおよびメタデータを含む二次元フォーマットにエンコードまたは変換される。従来の三次元フレームワークの特徴すべてを提供することに加えて、開示されている二次元表現は、従来の画像処理技術に適していることなど、様々なさらなる固有の特徴を提供する。

三次元コンテンツを表現するための開示されている二次元フレームワークにおいて、アセットに関する情報が、画像データとして符号化される。画像は、ピクセル値を含む高さ、幅、および、第３寸法を有するアレイを備える。アセットに関連付けられている画像は、アセットの様々な参照ビューまたはパースペクティブ、および／または、ピクセル値（例えば、ＲＧＢチャネル値）として符号化された対応するメタデータを備えてよい。かかるメタデータは、例えば、カメラ特性、テクスチャ、ｕｖ座標値、ｘｙｚ座標値、面法線ベクトル、照明情報（グローバルイルミネーション値、または、所定の照明モデルに関連付けられている値、など）、などを含んでよい。様々な実施形態において、アセットの参照ビューまたはパースペクティブを含む画像は、（高品質の）写真または（写実的な）レンダリングであってよい。

例えば、任意のカメラ特性（カメラ位置およびレンズタイプなど）、任意のアセットアンサンブルまたは組み合わせ、任意の照明、任意のテクスチャバリエーション、などを有するアセットの所望の任意ビューまたはパースペクティブをレンダリングする機能など、様々な特徴が、開示されている二次元フレームワークによってサポートされる。完全なカメラ情報が、アセットの参照ビューについて既知であり、参照ビューと共に格納されるので、任意のカメラ特性を含むアセットの他の新規ビューが、アセットの複数のパースペクティブ変換された参照ビューから生成されてよい。より具体的には、単一のオブジェクトまたはシーンの所定の任意ビューまたはパースペクティブが、オブジェクトまたはシーンに関連付けられている複数の既存参照画像から生成されてよく、一方、所定の任意アンサンブルビューが、オブジェクトまたはシーンに関連付けられている参照画像のセットからの複数のオブジェクトまたはシーンを正規化して統合ビューに矛盾なく組み合わせることによって生成されてよい。アセットの参照ビューは、１または複数の照明モデル（グローバルイルミネーションモデルなど）によってモデル化された照明を有してよい。参照ビューについて既知の面法線ベクトルは、任意の所望の照明モデルに従って画像またはシーンの照明を変更する機能など、任意照明制御を容易にする。アセットの参照ビューは、テクスチャマッピング（ｕｖ）座標で指定されたテクスチャを有し、これは、参照されたテクスチャ画像を変更するだけで任意の所望のテクスチャを置き換えることを可能にすることによって、任意テクスチャ制御を容易にする。

上述のように、開示されている二次元フレームワークは、画像データセットに基づいており、そのため、画像処理技術に適している。したがって、三次元コンテンツを表現するための開示されている画像ベースの二次元フレームワークは、本質的に、計算および帯域幅スペクトルの上下両方でシームレスに拡張可能かつリソース適応型である。画像を拡大縮小するための既存の技術（画像圧縮技術など）が、開示されているフレームワークの画像ベースの三次元コンテンツをスケーリングするために有利に用いられてよい。開示されている二次元フレームワークを含む画像は、異なるチャネル、プラットフォーム、デバイス、アプリケーション、および／または、利用例の要件に適切に従うように、品質または解像度の観点で、容易にスケーリングされうる。画像品質または解像度の要件は、異なるプラットフォーム（モバイル対デスクトップなど）、所与のプラットフォームのデバイスの異なるモデル、異なるアプリケーション（オンラインビューワ対マシン上でローカルに動作するネイティブアプリケーションなど）、時間の経過、異なるネットワーク帯域幅、などに対して大幅に変化しうる。したがって、異なる利用例の要件を包括的に満たし、経時的な要件の変化に影響されないアーキテクチャ（開示されている二次元フレームワークのなど）の必要性が存在する。

一般に、開示されている二次元フレームワークは、リソース適応型のレンダリングをサポートする。さらに、時間に変化する品質／解像度の適合が、計算リソースおよび／またはネットワーク帯域幅の現在またはリアルタイムの利用可能性に基づいて提供されてよい。スケーリング（すなわち、画像品質レベルを円滑かつシームレスに上下させる機能は、ほとんどの場合、完全に自動化される。例えば、開示されている二次元フレームワークは、手動介入を必要とすることなしに、参照ビューまたはパースペクティブ、ならびに、メタデータ（例えば、テクスチャ、面法線ベクトル、ｘｙｚ座標、ｕｖ座標、照明値、など）を符号化する画像など、１または複数の特徴にわたって、アセット（すなわち、アセットを含む１または複数の画像）を自動的にダウンサンプリングする機能を提供する。いくつかのかかる場合に、アセットのスケーリングは、アセットのすべての特徴にわたって一様でなくてもよく、アセットに関連付けられている画像を含む情報またはその画像内に符号化された情報のタイプに応じて変化してよい。例えば、アセットの参照ビューまたはパースペクティブの実際の画像ピクセル値は、不可逆的に圧縮されてよいが、特定のメタデータ（深度（すなわち、ｘｙｚ値）および法線値など）を符号化した画像は、同じ方法で圧縮されなくてよく、または、いくつかの場合においては、かかる情報の損失がレンダリング時に容認されえないために、全く圧縮されなくてもよい。

いくつかの実施形態において、最も高い利用可能な品質または解像度を有するマスタアセット（すなわち、マスタアセットを含む１セットの画像）が生成され、例えば、図１のデータベース１０６に、格納される。いくつかのかかる場合に、アセットの１または複数のより低い品質／解像度のバージョンがマスタアセットから自動的に生成され、要求されたパースペクティブを生成するサーバ、要求側のクライアント、および／または、１以上の関連通信ネットワークの（現在の）能力に基づいて、要求されたパースペクティブまたはビューを生成するために適切なバージョンを選択できるように、格納される。あるいは、いくつかの場合に、アセットの単一のバージョン（すなわち、マスタアセット）が格納され、開示されているフレームワークは、要求されたパースペクティブを生成するサーバ、要求側のクライアント、および／または、１以上の関連通信ネットワークの（現在の）能力に基づいて、マスタアセットの品質または解像度までの品質または解像度のストリーミング配信またはプログレッシブ配信をサポートする。

図６は、シーンの要求されたビューを提供するための処理の一実施形態を示すフローチャートである。処理６００は、例えば、図１の任意ビュー生成器１０２によって用いられてよい。いくつかの実施形態において、図３の処理３００は、処理６００の一部である。様々な実施形態において、処理６００は、１または複数のアセット（すなわち、所定のアセットまたはアセットの任意アンサンブル）を含むシーンの任意ビューを生成するために用いられてよい。

処理６００は、シーンの任意の他の既存の利用可能なビューとは異なっているまだ存在しないシーンの所望の任意ビューの要求が受信される工程６０２において始まる。一般に、任意ビューは、要求される前に仕様が予め知られていないシーンまたはアセットの任意の所望のビューを含んでよい。工程６０２の任意ビュー要求は、クライアントから受信され、所定のカメラ特性（例えば、レンズタイプおよび姿勢／パースペクティブ）、照明、テクスチャ、アセットアンサンブルなどの仕様を含んでよい。

工程６０４では、工程６０２において要求されたシーンの任意ビューが、利用可能なリソースに基づいて生成またはレンダリングされる。例えば、工程６０４において生成された要求任意ビューは、任意ビューを要求するクライアント、要求された任意ビューを生成するサーバの計算または処理能力、および／または、クライアントとサーバとの間の１以上の関連通信ネットワークの帯域幅利用可能性に基づいて、適切にスケーリングされうる。より具体的には、工程６０４では、次に説明する１または複数の関連付けられた軸に沿ってスケーリングまたは調整することによって、反応性に対して画像品質をトレードオフすることにより、リソース適応レンダリングを容易にする。

開示されている技術を用いて工程６０４において生成またはレンダリングされる要求ビューを含む画像の品質は、少なくとも部分的には、要求ビューを生成するために用いられる既存のパースペクティブ変換された参照画像の数に基づいてよい。多くの場合、より多くの参照画像を用いると、より高い品質につながり、より少ない参照画像を用いると、より低い品質につながる。したがって、要求ビューを生成するために用いられる異なるパースペクティブを有する参照画像の数は、様々なプラットフォーム、デバイス、アプリケーション、または、利用例に対して適合または最適化されてよく、さらに、リアルタイムのリソースの利用可能性および制約に基づいて適合されてよい。いくつかの例として、静止画像を含む要求ビューまたは高速インターネット接続を有するデスクトップ上のネイティブアプリケーションのための要求ビューを生成するために、比較的多い数の参照画像（例えば、６０画像）が用いられてよく、一方、ビデオまたは拡張現実シーケンスのフレームを含む要求ビューもしくはモバイルデバイス用のウェブアプリケーションのための要求ビューを生成するために、比較的少ない数の参照画像（例えば、１２画像）が用いられてよい。

開示されている技術を用いて工程６０４において生成またはレンダリングされる要求ビューを含む画像の品質は、少なくとも部分的には、要求ビューを生成するために用いられる１または複数のアセットを含む画像（すなわち、１または複数のアセットの参照パースペクティブおよび関連メタデータを含む画像）の解像度（すなわち、ピクセル密度）に基づいてよい。アセットを含む画像のより高解像度のバージョンは、より高い品質につながり、一方、アセットを含む画像のより低解像度のバージョンは、より低い品質につながる。したがって、要求ビューを生成するために用いられる異なるパースペクティブおよび関連メタデータを含む画像の解像度またはピクセル密度は、様々なプラットフォーム、デバイス、アプリケーション、または、利用例に対して適合または最適化されてよく、さらに、リアルタイムのリソースの利用可能性および制約に基づいて適合されてよい。いくつかの例として、高速インターネット接続を有するデスクトップ上のネイティブアプリケーションのための要求ビューを生成するために、１または複数のアセットに関連付けられている画像の比較的高い解像度（例えば、２Ｋ×２Ｋ）のバージョンが用いられてよく、一方、モバイルデバイス用のウェブベースアプリケーションのための要求ビューを生成するために、１または複数のアセットに関連付けられている画像の比較的低い解像度（例えば、５１２×５１２）のバージョンが用いられてよい。

開示されている技術を用いて工程６０４において生成またはレンダリングされる要求ビューを含む画像の品質は、少なくとも部分的には、要求ビューを生成するために用いられる１または複数のアセットを含む画像（すなわち、１または複数のアセットの参照パースペクティブおよび関連メタデータを含む画像）のビット深度（すなわちピクセルあたりのビット）に基づいてよい。アセットを含む画像のより高ビット深度のバージョンは、より高い品質につながり、一方、アセットを含む画像のより低ビット深度のバージョンは、より低い品質につながる。したがって、要求ビューを生成するために用いられる異なるパースペクティブおよび関連メタデータを含む画像のピクセルの精度は、様々なプラットフォーム、デバイス、アプリケーション、または、利用例に対して適合または最適化されてよく、さらに、リアルタイムのリソースの利用可能性および制約に基づいて適合されてよい。いくつかの例として、より高品質の要求ビューを生成するために、１または複数のアセットに関連付けられている画像のより高精度のバージョン（例えば、テクスチャ値については６４ｂｐｐ、ｘｙｚ座標および法線ベクトルについてはフロート）が用いられてよく、一方、より低品質の要求ビューを生成するために、１または複数のアセットに関連付けられている画像のより低精度のバージョン（例えば、テクスチャ値については２４ｂｐｐ、ｘｙｚ座標および法線ベクトルについては４８ｂｐｐ）が用いられてよい。

開示されているリソース適応レンダリングのための技術は、シーンの要求任意ビューを生成またはレンダリングするために用いられる画像の３つの軸（数、解像度、および、ビット深度）の内の任意の１または複数に沿った離散的および／または連続的なスケーリングをサポートする。要求ビューの画像品質は、要求ビューを生成またはレンダリングするために用いられる参照ビューおよびメタデータを含む画像の異なる組みあわせまたはバージョンを適切にスケーリングおよび／または選択することによって、変更されてよい。要求ビューの出力画像品質は、１または複数の（リアルタイムの）考慮事項および／または制約に基づいて、工程６０４で選択されてよい。例えば、要求ビューに対して選択される画像品質は、要求側クライアントのプラットフォームまたはデバイスタイプ（例えば、モバイル対デスクトップおよび／またはそれらのモデル）、所定のビューポートサイズおよび／またはフィルファクタ（例えば、５１２×５１２ウィンドウ対４Ｋウィンドウ）を有するウェブページなどでの利用例、アプリケーションタイプ（例えば、静止画像対ビデオ、ゲーム、または、仮想／拡張現実シーケンスのフレーム）、ネットワーク接続タイプ（例えば、モバイル対ブロードバンド）などに基づいてよい。したがって、品質は、所定の利用例と、所定の利用例に関するクライアントの能力とに基づいて選択されてよい。

いくつかの実施形態において、開示されている技術は、さらに、低い品質から、クライアントデバイスで利用可能または実現可能な最高品質以下の高い品質までの、ストリーミングまたはプログレッシブ配信をサポートする。多くの場合、要求ビューを生成するために用いられる参照画像のスケーリングまたは数の選択は、関連アプリケーションの待ち時間要件に少なくとも部分的に依存する。例えば、静止画像を生成するためには、比較的多数の参照画像が用いられてよいが、ビューが高速で変化するアプリケーションのためのフレームを生成するためには、比較的少数の参照画像が用いられてよい。様々な実施形態において、スケーリングは、スケーリングに利用可能な上述の軸の内の１または複数にわたって、および／または、様々な画像によって符号化されている情報のタイプに応じて、同じであっても異なっていてもよい。例えば、要求ビューを生成するために用いられる画像の解像度およびビット深度は、正比例して一様に、または、独立的に、スケーリングされてよい。一例として、解像度は、ダウンサンプリングされてよいが、ビット深度は、色調品質（照明、色、コントラスト）の維持が重要なアプリケーションにおいて高いダイナミックレンジおよび色深度を保持するために全くスケールダウンされなくてよい。さらに、要求ビューを生成するために用いられる画像の解像度およびビット深度は、参照ビューの実際のピクセル値など、一部のタイプのデータについては損失が許容されうるが、深度（ｘｙｚ座標）および面法線ベクトルなど、メタデータを含む他のタイプのデータについては許容されえないので、画像内に符号化された情報のタイプに応じて、異なってスケーリングされてよい。

工程６０６では、工程６０４において生成またはレンダリングされた要求ビューが、工程６０２の受信要求を満たすために、例えば、要求側クライアントに、提供される。その後、処理６００は終了する。

上述のように、アセットまたはアセットアンサンブルを含むシーンの所望の任意ビューを生成またはレンダリングするための上述の二次元フレームワークは、異なるパースペクティブを有する参照ビューと、各参照ビューまたはパースペクティブに関連付けられているメタデータとを含む画像に基づいている。いくつかの例として、各参照ビューまたはパースペクティブに関連付けられているメタデータは、参照ビューまたはパースペクティブの各ピクセルを三次元空間におけるその位置（ｘｙｚ座標値）およびその位置における面法線ベクトルに関連付けてよい。三次元モデルを用いた物理ベースレンダリング技術で生成された画像について、関連メタデータが、対応する三次元モデルからキャプチャまたは生成され、画像と関連付けられてよい。１または複数のタイプのメタデータが未知である画像（例えば、写真／スキャンまたはその他のレンダリング）については、かかるメタデータ値が、機械学習ベースの技術を用いて決定されてよい。例えば、次でさらに記載するように、ニューラルネットワークが、画像空間からメタデータ空間へのマッピングを決定するために用いられてよい。

図７は、画像データセットに関連付けられている属性を学習するための機械学習ベース画像処理フレームワーク７００の一実施形態を示すハイレベルブロック図である。アセットの利用可能な三次元（ポリゴンメッシュ）モデルおよび所定のモデル化された環境７０２が、例えば、物理ベースレンダリング技術を用いて、幅広い画像データセット７０４をレンダリングするために用いられる。いくつかの実施形態において、モデル化された環境は、物理的なアセットが撮像または撮影される実際の物理環境と厳密に一致し、または、実際の物理環境を実質的にシミュレートする。レンダリングされた画像データセット７０４は、写実的レンダリングを含んでよく、アセットの複数のビューまたはパースペクティブと、テクスチャとを含んでよい。さらに、レンダリングされた画像データセット７０４は、適切にラベル付けまたはタグ付けされ、もしくは、レンダリング中に決定および／またはキャプチャされた関連メタデータと他の方法で関連付けられる。

幅広いタグ付けされたデータセット７０４は、人工知能ベースの学習に完全に適している。例えば、１または複数の適切な機械学習技術（ディープニューラルネットワークおよび畳み込みニューラルネットワークなど）の任意の組み合わせを用いて、データセット７０４に対するトレーニング７０６を行った結果として、関連メタデータ値など、データセット７０４に関連付けられている１セットの１または複数の特性または属性７０８が学習される。かかる学習された属性は、データセット７０４に関連付けられたラベル、タグ、または、メタデータから導出または推定されてよい。画像処理フレームワーク７００は、様々なアセットおよびアセットの組みあわせに関連付けられている複数の異なるトレーニングデータセットに対してトレーニングされてよい。しかしながら、いくつかの実施形態において、トレーニングデータセットの少なくとも一部が、所定のモデル化された環境に制約される。様々な属性または属性タイプを学習するために多数のデータセットで学習した後、画像処理フレームワーク７００は、その後、トレーニングデータと同じまたは同様のモデル環境に関してレンダリングされたアセットの他のレンダリング、ならびに、トレーニングデータのモデル環境によってモデル化された環境と一致または類似する実際の物理環境でキャプチャされた写真など、かかる属性が未知である他の画像において同様の属性またはその組み合わせを検出または導出するために用いられてよい。一例として、物理的なｘｙｚ位置座標に画像ピクセルでタグ付けされ、面法線ベクトルに画像ピクセルでタグ付けされたデータセットでトレーニングされた機械学習ベースのフレームワークが、かかるメタデータ値が知られていない画像の位置（つまり、深度すなわちカメラからのｘｙｚ距離）および面法線ベクトルを予測するために用いられてよい。

開示されているフレームワークは、シミュレートまたはモデル化できる既知の制御または制約された物理環境が、個々のアセットまたはそれらの組み合わせを撮像または撮影するために用いられる場合に、特に有用である。一応用例において、例えば、オブジェクトまたはアイテムを撮像または撮影するための上述の装置（例えば、カメラリグ）が、小売業者の製品倉庫で用いられうる。かかる応用例において、オブジェクトが撮像または撮影される実際の物理環境に関する正確な情報が、例えば、いくつかの場合には、撮像装置内からの撮像オブジェクトの視点またはパースペクティブからわかる。実際の物理環境に関する既知の情報は、例えば、撮像装置の構造および形状と、利用されるカメラの数、タイプ、および、姿勢と、光源および周囲照明の位置および強度、などを含みうる。実際の物理環境に関するかかる既知の情報は、モデル化された環境が、実際の物理環境と同一であり、もしくは、実際の物理環境を少なくとも実質的に再現またはシミュレートするように、機械学習ベースの画像処理フレームワークのトレーニングデータセットのレンダリングのモデル化された環境を規定するために用いられる。いくつかの実施形態において、例えば、モデル化された環境は、撮像装置の三次元モデルと、実際の物理環境と同じカメラ構成および照明とを含む。メタデータ値が知られていない画像（実際の物理環境でキャプチャされた写真など）のかかるメタデータ値を検出または予測するために、開示されている機械学習ベースのフレームワークを利用できるように、メタデータ値が、既知のメタデータ値でタグ付けされたトレーニングデータセットから学習される。環境の特定の属性（例えば、形状、カメラ、照明）を既知の値に制約することで、円滑に、学習を行い、その他の属性（例えば、深度／位置、面法線ベクトル）を予測できるようになる。

上述のように、機械学習ベースの画像処理フレームワークは、メタデータ値が既知であり、利用可能な三次元モデルおよび所定のモデル化された環境から生成されたレンダからメタデータを学習するために用いられてよく、機械学習ベースの画像処理フレームワークは、その後、かかるメタデータ値が未知の画像においてメタデータ値を特定するために用いられてよい。与えられた例のいくつかにおいて、所定の物理環境および対応するモデル化された環境に関して記載したが、開示されている技術は、一般に、異なるタイプのアセット、モデル環境、および／または、それらの組み合わせについて、異なるタイプの画像メタデータを学習および予測するために利用および適応されてもよい。例えば、記載されている機械学習ベースのフレームワークは、トレーニングデータセットが十分に包括的かつ多様なアセットおよび環境に及ぶと仮定すると、任意の環境においてレンダリングまたはキャプチャされた任意のアセットの画像についての未知のメタデータ値を決定するようトレーニングされてよい。

図８は、アセットまたはシーンの他の任意ビューを生成するために利用できるアセットまたはシーンに関連付けられている画像をデータベースに入力するための処理の一実施形態を示すフローチャートである。例えば、図８の処理８００は、図１のアセットデータベース１０６に入力するために用いられてよい。処理８００は、機械学習ベースのフレームワーク（図７のフレームワーク７００など）を利用する。いくつかの実施形態において、処理８００の画像は、所定の物理的環境および対応するモデル化された環境に制約される。しかしながら、より一般的には、処理８００は、任意の物理的環境またはモデル化された環境に関して用いられてよい。

処理８００は、トレーニングデータセットに関連付けられているメタデータが機械学習ベースの技術を用いて学習される工程８０２において始まる。いくつかの実施形態において、トレーニングに用いられる画像データセットは、例えば、形状、カメラ、照明などの所定の仕様によって規定されたシミュレートまたはモデル化された環境におけるアセットまたはシーンの既知の三次元モデルからレンダリングされたアセットまたはシーンの画像の広範なコレクションを含む。学習されるメタデータは、異なるタイプの画像メタデータ値を含んでよい。工程８０２のトレーニングデータセットは、所定のモデル環境内の異なるアセットを網羅してよく、または、より一般的には、異なる環境内の異なるアセットを包括的に網羅してよい。

工程８０４では、１または複数の我僧メタデータ値が未知または不完全である画像が受信される。受信された画像は、レンダリングまたは写真またはスキャンを含んでよい。いくつかの実施形態において、受信された画像は、工程８０２のトレーニング画像データセットの少なくとも一部に用いられたレンダリング環境と同じまたは同様のモデル化された環境または物理環境に関して生成またはキャプチャされたものである。

工程８０６では、受信された画像の未知または不完全なメタデータ値は、処理８００の機械学習ベースのフレームワークを用いて決定または予測される。工程８０８では、受信された画像および関連メタデータは、例えば、図１のアセットデータベース１０６内に格納される。その後、処理８００は終了する。

関連メタデータを決定して、画像（すなわち、工程８０４において受信され、工程８０８において格納される画像）と関連付けることにより、処理８００は、その画像を、関連アセットまたはシーンの他の任意ビューを生成するために後で利用できる関連アセットまたはシーンの参照画像またはビューに変換することを効果的に容易にする。様々な実施形態において、参照画像として画像を格納する時に、画像は、対応するメタデータで適切にタグ付けされ、および／または、関連メタデータ値を符号化する１または複数の画像と関連付けられてよい。処理８００は、一般に、機械学習ベースの技術を用いて、画像が、例えば、任意のカメラ特性、テクスチャ、照明などを有する関連アセットまたはシーンの他のビューが生成されうる元となる基準画像になるために必要な未知の画像メタデータ値を決定することによって、任意の画像を基準画像に変換するために用いられてよい。さらに、処理８００は、精度が重要であるタイプのメタデータ（深度値および面法線ベクトル値など）を決定または予測するために特に有用である。

上述のように、開示されている技術のほとんどは、既存参照画像またはビューならびに対応するメタデータの広範なデータセットを利用可能にして、それらを利用することに基づいている。したがって、多くの場合に、１または複数のオブジェクトまたはアセットの周りの異なるカメラパースペクティブを有する画像またはビューのシーケンスが、レンダリングまたは生成され、データベースまたはリポジトリに格納される。例えば、オブジェクトまたはアセットの周りの３６０°に及びまたは網羅する角度を含む３６０度回転がレンダリングまたは生成されてよい。かかるデータセットはオフラインで構築されてよいが、厳密な物理ベースレンダリング技術は、リソース消費の観点でコストの掛かる動作であり、かなりの処理能力および時間を必要とする。より効率的にオブジェクトまたはアセットの画像またはビューを生成またはレンダリングするためのいくつかの技術について、すでに説明した。より効率的にオブジェクトまたはアセットの画像またはビューをレンダリングまたは生成するためのさらなる技術について、次で詳細に説明する。

実質的な冗長性が、特定のタイプのデータまたはデータセットに関して存在する。例えば、オブジェクトまたはアセットの周りの一回転を含むセットの画像またはビューの中、特に、小さいカメラアングルまたは回転だけ異なる近くの画像またはビューの間に、多くの冗長性が存在する。同様に、アニメーションまたはビデオシーケンスのフレームの中、特に、隣接または近くのフレームの間に、冗長性が存在する。別の例として、同じテクスチャを含む画像またはビューの中に、多くの冗長性が存在する。したがって、より一般的には、特定の特徴空間において、多くの画像が、同じまたは非常に類似した特徴を示し、有意な特徴空間相関を共有する。例えば、上述の例において、実質的に同様のテクスチャ特徴が、多くの画像またはビューによって共有されてよい。大量の既存のオブジェクトまたはアセットのデータセットの利用可能性を前提とすると、新しい画像またはビュー（例えば、異なるパースペクティブ、もしくは、異なるオブジェクトまたはアセットのタイプまたは形状のもの）をレンダリングまたは生成する際に、かかる既存の画像に関する冗長性を利用できる。さらに、ゆっくりと変化する画像またはフレームのシーケンスにおける固有の冗長性が、同様に利用されてよい。機械学習は、比較的明確に定義され制約されている特徴空間を含む大きいデータセットにおいて特徴を学習および検出するのに特に適切である。したがって、いくつかの実施形態において、機械学習フレームワーク（ニューラルネットワークなど）が、他の（既存の）画像またはビューに関する特徴の冗長性を利用することに基づいて、新しい画像またはビューをより効率的にレンダリングまたは生成するために用いられる。一般に、任意の適切なニューラルネットワーク構成が、開示されている技術に関して利用されてよい。

図９は、画像またはフレームを生成するための処理の一実施形態を示すハイレベルフローチャートである。いくつかの実施形態において、処理９００は、入力画像をアップスケーリングするための超解像処理を含む。以下にさらに説明するように、処理９００は、特に写実的な高品質または高精細度（ＨＤ）画像を生成する場合に、厳密な物理ベースレンダリングおよびその他の既存の技術と比較して実質的に少ないリソース消費をもたらすように、出力画像をより効率的に生成するために用いられてよい。

処理９００は、特徴空間が識別または規定される工程９０２において始まる。工程９０２において識別された特徴空間は、１または複数の特徴（所定のテクスチャの特徴など）を含んでよい。いくつかの実施形態において、特徴空間は、ニューラルネットワークベースの機械学習フレームワークを用いて、工程９０２において識別される。いくつかのかかる場合に、例えば、ニューラルネットワークが、所定の画像のセットに関して知られ明確に定義されている制約された特徴空間を含むその画像のセットに固有の１または複数の特徴を決定または検出するために用いられる。すなわち、画像のセットは、特徴空間を規定するための事前分布として振る舞う。画像のセットは、例えば、厳密にレンダリングまたは生成された画像（例えば、高またはフル解像度または精細度の画像）、ならびに／もしくは、以前にレンダリングまたは生成された既存の画像またはその一部（例えば、既存の画像のパッチ）を含んでよい。

工程９０４では、フィーチャが入力画像内で検出される。より具体的には、入力画像は、入力画像の特徴空間データ値を決定するために、ニューラルネットワークによって処理される。工程９０４の入力画像は、工程９０２の画像セットと比較して計算の複雑性またはコストの低い技術を用いてレンダリングまたは生成された低品質または低解像度または小さいサイズの画像を含む。すなわち、工程９０４の入力画像は、工程９０２の画像セットを構成する画像と比較して、ノイズが多く（例えば、収束に十分なサンプルを用いないことに起因する）、および／または、品質の劣る（例えば、より低い解像度および／またはサイズの）画像を含む。

工程９０６では、工程９０４において入力画像内で検出された特徴を、工程９０２において識別された特徴空間内の対応する（例えば、最も近くまたは最も類似した一致の）特徴で置き換えることによって、出力画像が生成される。より具体的には、工程９０２において識別された特徴空間に関して、工程９０４において入力画像内で検出された特徴について、最近傍探索が実行され、工程９０４において入力画像から検出された特徴が、工程９０２において識別された特徴空間からの対応する最も近い一致の特徴で置き換えられる。上述した特徴の検出、最近傍探索、および、特徴の置き換えは、特徴空間内で行われる。したがって、いくつかの実施形態において、工程９０６では、結果としての出力画像を生成するために、特徴空間から画像空間に戻すように復号または変換する工程を含む。特徴空間の操作は、画像空間における一貫した対応するピクセルレベル変換につながる。

一般に、処理９００は、他の既存画像から利用可能な冗長性および情報を利用することによって、画像復元またはアップスケーリングまたは修正のための効率的なフレームワークを提供する。例えば、処理９００は、入力画像をクリーンにするために（すなわち、ノイズの多い入力画像を比較的ノイズのない出力画像に変換するために）用いられてよい。同様に、処理９００は、入力画像の品質を改善するために（すなわち、例えば、解像度、サイズ、ビット深度などの点で、比較的低品質の入力画像を高品質の出力画像に変換するために）用いられてよい。より具体的には、処理９００は、画像セットの特徴を、画像セットと特徴空間における冗長性を共有する劣ったまたは劣化した入力画像に付与することを容易にする。処理９００は、本質的に、最近傍探索など何らかの他の比較的単純な距離計算と併用される低計算コストのルックアップ動作を含むので、特に厳密な物理ベースレンダリング技術と比較して、画像レンダリング空間において実質的な効率性を提供する。したがって、処理９００は、より高速および高効率で画像またはフレームを生成するための画像レンダリングまたは生成パイプラインにおいて特に有用である。例えば、計算の複雑性の低い物理ベースレンダリングまたは他の技術が、低品質または低解像度または小さいサイズの画像をレンダリングまたは生成するために用いられてよく、その後、処理９００が、その画像を高品質またはフル解像度または大きいサイズのバージョンに変換するために用いられてよい。さらに、処理９００は、同様に、所定の物理環境のシミュレートまたはモデル化されたバージョンに制約されたトレーニングデータセットに基づいて、所定の物理環境でキャプチャされた写真を含む入力画像を復元またはアップスケールまたはその他の方法で修正するために用いられてよい。すなわち、処理９００は、図７および図８に関して詳細に上述した機械学習ベースのアーキテクチャに関して用いられてよい。

処理９００は、多くの具体的な利用例に関して利用され、利用例に適合されてよい。いくつかの実施形態において、処理９００は、ビデオまたはアニメーションシーケンスのオブジェクトまたはアセットまたはフレームの周りの（３６０°）回転を含む参照ビューなど、一連の画像を生成するために用いられる。かかる場合に、実質的な冗長性が、シーケンスの近隣の画像またはフレームの間に存在し、冗長性は、処理９００によって利用されうる。一例において、シーケンスのいくつかの画像は、独立フレーム（Ｉフレーム）として分類され、高またはフル精細度または解像度またはサイズでレンダリングされる。Ｉフレームに分類されないシーケンスのすべての画像は、アップスケーリングのために他のフレーム（すなわち、Ｉフレーム）に依存するため、低品質または解像度もしくは小さいサイズでレンダリングされ、従属フレーム（Ｄフレーム）として分類される。処理９００に関して、Ｉフレームは、工程９０２の画像のセットに対応し、各Ｄフレームは、工程９０４の入力画像に対応する。この例において、シーケンスのために選択されるＩフレームの数は、速度と品質との間の所望のトレードオフに依存してよく、より良い画質を得るためには、より多くのＩフレームが選択される。いくつかの場合に、所定の間隔を規定する一定のルールが、Ｉフレームを指定するために用いられてよく（例えば、シーケンス内の１つ置きまたは３つ置きの画像がＩフレームになる）、または、特定の閾値が、シーケンス内のＩフレームを識別して選択するために設定されてよい。あるいは、適応的な技術が、Ｄフレームと既存のＩフレームとの間の相関が弱くなるに伴って、新しいＩフレームを選択するために用いられてもよい。いくつかの実施形態において、処理９００は、所定のテクスチャを含む画像を生成するために用いられる。処理９００に関して、画像の低品質または低解像度または小さいサイズのバージョンは、工程９０４の入力画像を含み、所定のテクスチャの画像またはパッチのセットは、工程９０２の画像のセットを含む。より具体的には、この場合、所定のテクスチャは、同じテクスチャを含む既存の画像から、既知であり、明確に定義されている。この実施形態において、テクスチャパッチは、所定のテクスチャを有する１または複数の既存のレンダまたはアセットから生成され、生成されたパッチは、適切な方法で（例えば、より多様な特徴コンテンツを有するパッチを見つけて選択するために特徴空間内でクラスタリングを行うことで）サブサンプリングされ、次いで、格納されたパッチのセットが事前分布（すなわち、工程９０２の画像のセット）として利用されうるように格納される。２つの上述の例のいずれかに由来する工程９０６の出力画像は、工程９０４の入力画像の高品質または高解像度または大きいサイズまたはノイズ除去されたバージョンを含む。いくつかの具体例が記載されているが、処理９００は、一般に、十分な冗長性が存在する任意の適用可能なアプリケーションに適合されてよい。

いくつかの実施形態において、１または複数の機械学習ベースの技術が、オブジェクトまたはアセットの任意または新規のビューまたはパースペクティブの生成に用いられてよい。いくつかのかかる場合に、関連付けられている機械学習ベースのフレームワークは、既知かつ明確に定義された特徴空間に制約される。例えば、かかる機械学習ベースのフレームワークによって処理された画像は、所定の環境および／または１以上の既知のテクスチャに制約されてよい。図７および図８に関して詳述したように、例えば、トレーニングデータセットは、物理的アセットの入力画像（すなわち、写真）がキャプチャされる実際の物理環境をシミュレートする所定のモデル環境に制約されてよい。かかる場合に、入力画像自体は、任意の画像メタデータ値または少なくとも非常に正確な画像メタデータ値と関連付けられていなくてよい。しかしながら、１または複数のニューラルネットワークが、正確なメタデータ値を含む合成トレーニングデータセットからシミュレーションでメタデータ値を学習するために利用され、その後、関連メタデータ値を予測または決定するため、および／または、開示されている任意ビュー生成フレームワークに記載されているように他のビューまたは画像を生成するために後で利用できる対応する参照画像またはビューを生成するために、実際のカメラでキャプチャされた入力画像（すなわち、写真）に適用されてよい。

図１０は、オブジェクトまたはアセットの任意または新規のビューまたはパースペクティブを生成するための処理の一実施形態を示すハイレベルフローチャートである。以下でさらに詳述するように、処理１０００は、既知の物理環境でキャプチャされたオブジェクトまたはアセットの画像または写真を、そのオブジェクトまたはアセットの任意ビューまたはパースペクティブに変換するために用いられてよい。処理１０００の工程の多くは、機械学習ベースのフレームワーク（例えば、物理環境をシミュレートする所定のモデル環境に制約されているトレーニングデータセットから学習する１または複数の関連ニューラルネットワーク）によって容易にされる。特徴空間は、さらに、広範なトレーニングデータセットが存在する既知のテクスチャに制約されてよい。

処理１０００は、オブジェクトまたはアセットの入力画像が受信される工程１００２において始まる。いくつかの実施形態において、入力画像は、オブジェクトまたはアセットを撮影するための所定の撮像装置（例えば、カメラリグ）など、既知の物理環境でキャプチャされたオブジェクトまたはアセットの写真を含む。いくつかの実施形態において、入力画像は、複数の画像（例えば、異なるカメラまたはカメラアングルからの画像）を含む。例えば、入力画像は、所定の撮像装置またはカメラリグを備える左右のカメラで撮影された左右の画像を含むステレオペアを含んでよい。

工程１００４では、入力画像の被写体（すなわち、オブジェクトまたはアセット）のみが残るように、工程１００２において受信された入力画像の背景が除去される。一般に、背景除去のための任意の１または複数の適切な画像処理技術が、工程１００４において用いられてよい。いくつかの実施形態において、背景除去は、画像分割によって容易にされる。いくつかのかかる場合に、ニューラルネットワークが、画像分割を容易にするために用いられてよい。例えば、トレーニング中に、畳み込みニューラルネットワークまたはその他の適切なニューラルネットワークが、例えば、より低い解像度（１２８×１２８または２５６×２５６で、画像の特徴（エッジ、コーナー、形状、サイズなど）を学習し、それらの学習された特徴は、アップスケールされた分割マスクを作成するために組み合わせられてよい。

工程１００６では、入力画像内のオブジェクトまたはアセットの深度値が決定される。深度値は、ピクセルごとに工程１００６において決定される。工程１００６は、深度推定値を決定する工程、および／または、決定された深度推定値を微調整する工程を含んでよい。例えば、深度推定値は、入力画像を構成する左右のステレオペアから決定され、および／または、ニューラルネットワークを用いて予測されてよい。決定された深度推定値は、例えば、ニューラルネットワークおよび／またはその他の技術を用いて、後にクリーニングまたは微調整されてよい。

工程１００８では、入力画像のパースペクティブとは異なるオブジェクトまたはアセットの所定の任意パースペクティブを含む出力画像が、工程１００６において決定された深度値に基づいてパースペクティブ変換を実行することによって生成される。一般に、所定の任意パースペクティブは、オブジェクトまたはアセットの任意の所望または要求されたカメラビューを含んでよい。例えば、所定の任意パースペクティブは、オブジェクトまたはアセットの（例えば、トップダウンまたは鳥瞰の）正投影ビューを含んでよい。工程１００８では、パースペクティブ変換推定値を決定する工程、および／または、決定されたパースペクティブ変換推定値を微調整する工程を含んでよい。例えば、パースペクティブ変換推定値は、数学的変換から直接的に決定されてもよく、および／または、ニューラルネットワーク（敵対的生成ネットワーク（ＧＡＮ）など）を用いて間接的に予測されてよい。決定されたパースペクティブ変換推定値は、その後、例えば、ニューラルネットワーク（図９に関して説明したような復元ネットワーク、または、ＧＡＮなど）を用いて、クリーニングまたは微調整されてよい。いくつかの場合に、決定されたパースペクティブ変換推定値は、ノイズ除去、修復などの伝統的な技術を用いて、代替的または追加的に微調整されてよい。

その後、処理１０００は終了する。処理１０００に関して記載したように、ニューラルネットワークベース技術の複数のステージおよび／または層が、オブジェクトまたはアセットの任意ビューまたはパースペクティブを生成するために用いられてよい。

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示されている実施形態は、例示であり、限定するものではない。

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示されている実施形態は、例示であり、限定するものではない。
［適用例１］方法であって、
オブジェクトまたはアセットの入力画像の背景を除去し、
前記入力画像内の前記オブジェクトまたはアセットの深度値を決定し、
決定された深度値に基づいてパースペクティブ変換を実行することによって、前記入力画像のパースペクティブとは異なる前記オブジェクトまたはアセットの所定のパースペクティブを含む出力画像を生成することと、
を備え、
機械学習ベースのフレームワークが、前記方法の１または複数の工程に利用され、前記機械学習ベースのフレームワークは、既知の所定の環境に制約されている、方法。
［適用例２］適用例１に記載の方法であって、前記既知の所定の環境は、前記入力画像が撮影された物理環境と、前記機械学習ベースのフレームワークのトレーニングデータセットのために前記物理環境をシミュレートするモデル環境と、を含む、方法。
［適用例３］適用例１に記載の方法であって、前記機械学習ベースのフレームワークは、１または複数の既知のテクスチャに制約されている、方法。
［適用例４］適用例１に記載の方法であって、前記入力画像は、前記オブジェクトまたはアセットのカメラによってキャプチャされた写真を含む、方法。
［適用例５］適用例１に記載の方法であって、前記入力画像は、異なるカメラまたはカメラアングルからの複数の画像を含む、方法。
［適用例６］適用例１に記載の方法であって、前記背景を除去することは、ニューラルネットワークベースの画像分割に少なくとも部分的に基づいている、方法。
［適用例７］適用例１に記載の方法であって、深度値が、ピクセルごとに決定される、方法。
［適用例８］適用例１に記載の方法であって、前記深度値を決定することは、深度推定値を決定することおよび前記決定された深度推定値を微調整することの一方または両方を含む、方法。
［適用例９］適用例８に記載の方法であって、前記深度推定値は、前記入力画像を構成する左右のステレオペアから決定される、方法。
［適用例１０］適用例８に記載の方法であって、前記深度推定値は、ニューラルネットワークを用いて予測される、方法。
［適用例１１］適用例８に記載の方法であって、前記決定された深度推定値は、ニューラルネットワークを用いて微調整される、方法。
［適用例１２］適用例１に記載の方法であって、前記所定のパースペクティブは、正投影ビューを含む、方法。
［適用例１３］適用例１に記載の方法であって、前記パースペクティブ変換を実行することは、パースペクティブ変換推定値を決定すること、および、前記決定されたパースペクティブ変換推定値を微調整すること、の一方または両方を含む、方法。
［適用例１４］適用例１３に記載の方法であって、前記パースペクティブ変換推定値は、数学的変換から決定される、方法。
［適用例１５］適用例１３に記載の方法であって、前記パースペクティブ変換推定値は、ニューラルネットワークを用いて予測される、方法。
［適用例１６］適用例１３に記載の方法であって、前記パースペクティブ変換推定値は、ニューラルネットワークを用いて微調整される、方法。
［適用例１７］適用例１に記載の方法であって、前記機械学習ベースのフレームワークは、１または複数のニューラルネットワークを備える、方法。
［適用例１８］適用例１に記載の方法であって、前記機械学習ベースのフレームワークは、敵対的生成ネットワーク（ＧＡＮ）を備える、方法。
［適用例１９］システムであって、
プロセッサであって、
オブジェクトまたはアセットの入力画像の背景を除去し、
前記入力画像内の前記オブジェクトまたはアセットの深度値を決定し、
決定された深度値に基づいてパースペクティブ変換を実行することによって、前記入力画像のパースペクティブとは異なる前記オブジェクトまたはアセットの所定のパースペクティブを含む出力画像を生成するよう構成されている、プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されているメモリと、
を備え、
機械学習ベースのフレームワークが、前記プロセッサの１または複数の工程に利用され、前記機械学習ベースのフレームワークは、既知の所定の環境に制約されている、システム。
［適用例２０］コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、
オブジェクトまたはアセットの入力画像の背景を除去するためのコンピュータ命令と、
前記入力画像内の前記オブジェクトまたはアセットの深度値を決定するためのコンピュータ命令と、
決定された深度値に基づいてパースペクティブ変換を実行することによって、前記入力画像のパースペクティブとは異なる前記オブジェクトまたはアセットの所定のパースペクティブを含む出力画像を生成するためのコンピュータ命令と、
を備え、
機械学習ベースのフレームワークが、前記コンピュータプログラム製品の１または複数の工程に利用され、前記機械学習ベースのフレームワークは、既知の所定の環境に制約されている、コンピュータプログラム製品。

Claims (20)

1. 方法であって、
   オブジェクトまたはアセットの入力画像の背景を除去し、
   前記入力画像内の前記オブジェクトまたはアセットの深度値を決定し、
   決定された深度値に基づいてパースペクティブ変換を実行することによって、前記入力画像のパースペクティブとは異なる前記オブジェクトまたはアセットの所定のパースペクティブを含む出力画像を生成することと、
   を備え、
   機械学習ベースのフレームワークが、前記方法の１または複数の工程に利用され、前記機械学習ベースのフレームワークは、既知の所定の環境に制約されている、方法。
2. 請求項１に記載の方法であって、前記既知の所定の環境は、前記入力画像が撮影された物理環境と、前記機械学習ベースのフレームワークのトレーニングデータセットのために前記物理環境をシミュレートするモデル環境と、を含む、方法。
3. 請求項１に記載の方法であって、前記機械学習ベースのフレームワークは、１または複数の既知のテクスチャに制約されている、方法。
4. 請求項１に記載の方法であって、前記入力画像は、前記オブジェクトまたはアセットのカメラによってキャプチャされた写真を含む、方法。
5. 請求項１に記載の方法であって、前記入力画像は、異なるカメラまたはカメラアングルからの複数の画像を含む、方法。
6. 請求項１に記載の方法であって、前記背景を除去することは、ニューラルネットワークベースの画像分割に少なくとも部分的に基づいている、方法。
7. 請求項１に記載の方法であって、深度値が、ピクセルごとに決定される、方法。
8. 請求項１に記載の方法であって、前記深度値を決定することは、深度推定値を決定することおよび前記決定された深度推定値を微調整することの一方または両方を含む、方法。
9. 請求項８に記載の方法であって、前記深度推定値は、前記入力画像を構成する左右のステレオペアから決定される、方法。
10. 請求項８に記載の方法であって、前記深度推定値は、ニューラルネットワークを用いて予測される、方法。
11. 請求項８に記載の方法であって、前記決定された深度推定値は、ニューラルネットワークを用いて微調整される、方法。
12. 請求項１に記載の方法であって、前記所定のパースペクティブは、正投影ビューを含む、方法。
13. 請求項１に記載の方法であって、前記パースペクティブ変換を実行することは、パースペクティブ変換推定値を決定すること、および、前記決定されたパースペクティブ変換推定値を微調整すること、の一方または両方を含む、方法。
14. 請求項１３に記載の方法であって、前記パースペクティブ変換推定値は、数学的変換から決定される、方法。
15. 請求項１３に記載の方法であって、前記パースペクティブ変換推定値は、ニューラルネットワークを用いて予測される、方法。
16. 請求項１３に記載の方法であって、前記パースペクティブ変換推定値は、ニューラルネットワークを用いて微調整される、方法。
17. 請求項１に記載の方法であって、前記機械学習ベースのフレームワークは、１または複数のニューラルネットワークを備える、方法。
18. 請求項１に記載の方法であって、前記機械学習ベースのフレームワークは、敵対的生成ネットワーク（ＧＡＮ）を備える、方法。
19. システムであって、
    プロセッサであって、
    オブジェクトまたはアセットの入力画像の背景を除去し、
    前記入力画像内の前記オブジェクトまたはアセットの深度値を決定し、
    決定された深度値に基づいてパースペクティブ変換を実行することによって、前記入力画像のパースペクティブとは異なる前記オブジェクトまたはアセットの所定のパースペクティブを含む出力画像を生成するよう構成されている、プロセッサと、
    前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されているメモリと、
    を備え、
    機械学習ベースのフレームワークが、前記プロセッサの１または複数の工程に利用され、前記機械学習ベースのフレームワークは、既知の所定の環境に制約されている、システム。
20. コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、
    オブジェクトまたはアセットの入力画像の背景を除去するためのコンピュータ命令と、
    前記入力画像内の前記オブジェクトまたはアセットの深度値を決定するためのコンピュータ命令と、
    決定された深度値に基づいてパースペクティブ変換を実行することによって、前記入力画像のパースペクティブとは異なる前記オブジェクトまたはアセットの所定のパースペクティブを含む出力画像を生成するためのコンピュータ命令と、
    を備え、
    機械学習ベースのフレームワークが、前記コンピュータプログラム製品の１または複数の工程に利用され、前記機械学習ベースのフレームワークは、既知の所定の環境に制約されている、コンピュータプログラム製品。

Images