JP2024026023A - オプティカル・フローを使用したフレーム・レート・アップコンバージョン - Google Patents

Abstract

【課題】オプティカル・フローを使用したフレーム・レート・アップコンバージョンを提供する。【解決手段】実例で、２つの隣接するフレームの運動ベクトルに基づくフレームの内挿又は外挿を試みるとき、フレーム内の所与の位置にマップされた複数の画素値が存在し得る。所与の位置の矛盾する画素値から選択するために、矛盾及びグローバル・フローを引き起こすソース画素の運動ベクトル間の類似性が、評価され得る。たとえば、運動ベクトルの類似性のレベルは、グローバル運動ベクトルの角度と運動ベクトルの角度との差に少なくとも基づく類似性メトリックを使用して計算され得る。類似性メトリックはまた、グローバル運動ベクトルの大きさと運動ベクトルの大きさとの差に少なくとも基づき得る。類似性メトリックは、グローバル運動ベクトルの大きさに比例して角度の差を量り得る。【選択図】図１

Description

フレーム・レート・アップコンバージョン（ＦＲＵＣ：Ｆｒａｍｅ Ｒａｔｅ Ｕｐ－Ｃｏｎｖｅｒｓｉｏｎ）は、同じ存続期間に表示するために使用可能なフレームの数を増やすことによってビデオのフレーム・レートを増やすための技法を指す。いくつかの一般的なＦＲＵＣ技法は、完全レンダリング・パイプラインを使用する代わりに、既にレンダリングされたフレームを参考として使用して１つ又は複数の新しいフレームの画素データを生成することによって、利用可能なフレームの数を増やす。これらの新しいフレームは、ビデオ内のフレームの総数を増やすために、ビデオに追加フレームとして挿入され得る。これらのＦＲＵＣ技法は、オプティカル・フローを使用して場面内の運動に基づいて参照レンダリング済みフレーム間の画素の挙動のパターンを認識し得る。これらのパターンは、参照フレームからのソース画素をワープして中間フレームの画素の画素データを生成することによって新しいフレームの画素における画素データを予測するために使用され得る。画素ワープを実行するとき、同じ又は異なる参照フレームからの複数のソース画素が中間フレームの同じ位置にマップされる場合、たとえば、ソース画素が、フレームにおいて描写された環境内の異なる深度に位置する特徴（たとえば、物体及び物体表面）に対応する場合などに、コリジョンが生じ得る。よりリアルな中間フレームを製作するために、これらのコリジョンは、中間フレームにおけるソース画素の相対深度を反映するために、解消されるべきである。

参照フレームのソース画素間のコリジョンを解消するための従来の手法は、画素の深度値を使用して中間フレーム内の位置の前景画素を選択し得る。いくつかの実例では、深度値は、フレームをレンダリングするために使用されたゲーム・エンジンによって、提供される。しかしながら、ゲーム・エンジンからの深度値にアクセスするには、常に実現可能又は入手可能でないことがある、ゲーム・エンジンとの緊密な統合が必要である。他の実例において、深度値は、フレーム自体に対応するデータを使用して、生成され得る。しかしながら、フレームから深度値を生成することは、計算コストが高く、非常に時間がかかることがあり、リアルタイムの又はほぼリアルタイムのレートでＦＲＵＣを実行する能力を妨げ得る。

本開示の実施例は、フレーム・レート・アップコンバージョン・アプリケーションにおけるコリジョン解消のためのオプティカル・フローの使用に関する。特に、本開示は、オプティカル・フローを使用して計算されたグローバル運動ベクトルに画素の運動ベクトルがいかに類似しているかに少なくとも基づいて、別のフレームからの画素を使用して、フレーム内の位置の画素データを生成するかどうかを決定するための手法に関する。開示される手法は、グローバル運動ベクトルにより類似していない運動ベクトルを有する画素を選択すること－たとえば、コリジョンと関連する画素から－に少なくとも基づいて、中間フレームを生成するときに、異なるソース又は参照フレームの画素間のコリジョンを解消するために使用され得る。

前述のものなどの従来の手法とは対照的に、開示される手法は、１つ又は複数のグローバル運動ベクトルとその他のフレームの部分の１つ又は複数の運動ベクトルとの間の類似性のレベルに少なくとも基づいて、１つ又は複数の他のフレームの１つ又は複数の部分を使用して、１つ又は複数のフレーム内の少なくとも１つの位置の画素データを生成することができる。フレームのグローバル運動ベクトルは、フレーム全体の運動を表し得る。類似性のレベルは、たとえば、フレーム内の位置の画素及び／又は画素の重み付けを使用して、画像内の位置の画素データを生成するかどうかを決定するために、使用され得る。類似性のレベルは、グローバル運動ベクトルの１つ又は複数の角度と１つ又は複数の部分に対応する運動ベクトルの１つ又は複数の角度との差に少なくとも基づく類似性メトリックを使用して、類似性スコアとして計算され得る（１つ又は複数の実施例において）。加えて、又は別法として、類似性メトリックは、グローバル運動ベクトルの１つ又は複数の大きさと１つ又は複数の部分に対応する運動ベクトルの１つ又は複数の大きさとの差に少なくとも基づき得る。類似性メトリックは、グローバル運動ベクトルの大きさに比例して１つ又は複数の角度の差を量り得る。

フレーム・レート・アップコンバージョンにおけるコリジョン解消のためにグローバル運動を使用する本システム及び方法について、以下のような添付の図面を参照して、詳しく後述する。

本開示のいくつかの実施例による、フレーム生成システムの一実例を描いた図である。 本開示のいくつかの実施例による、画像部分間のコリジョンの一実例を示す図である。 本開示のいくつかの実施例による、フレーム及びフレームから生成され得る外挿されたフレームの画像コンテンツの実例を示す図である。 本開示のいくつかの実施例による、グローバル運動ベクトル及びグローバル運動ベクトルと比較され得る運動ベクトルの実例を示すグラフである。 本開示のいくつかの実施例による、複数の画像部分の位置を決定することに少なくとも基づいて画像内の位置の画素データを決定するための方法を示す流れ図である。 本開示のいくつかの実施例による、複数の画像部分間の位置の矛盾を識別することに少なくとも基づいて画像内の位置の画素データを決定するための方法を示す流れ図である。 本開示のいくつかの実施例による、グローバル運動と１つ又は複数の画像部分に対応する運動との類似性のレベルに少なくとも基づいて画像内の位置の画素データを決定するための方法を示す流れ図である。 本開示のいくつかの実施例を実装する際に使用するのに適した例示的コンテンツ・ストリーミング・システムのブロック図である。 本開示のいくつかの実施例を実装する際に使用するのに適した例示的コンピューティング・デバイスのブロック図である。 本開示のいくつかの実施例を実装する際に使用するのに適した例示的データ・センタのブロック図である。

本開示は、フレーム・レート・アップコンバージョンにおけるコリジョン解消のためのグローバル運動の使用に関する。特に、本開示は、画素の運動ベクトルがグローバル運動ベクトルにいかに類似しているかに少なくとも基づいて別のフレームからの画素を使用してフレーム内の位置の画素データを生成するかどうかを決定するための手法に関する。開示される手法は、グローバル運動ベクトルにより類似していない運動ベクトルを有する画素を選択することに少なくとも基づいて異なるフレームの画素間のコリジョンを解消するために使用され得る。

開示される手法は、１つ又は複数のグローバル運動ベクトルと１つ又は複数の他のフレームの１つ又は複数の部分の１つ又は複数の運動ベクトルとの類似性のレベルに少なくとも基づいて、１つ又は複数の他のフレームの１つ又は複数の部分を使用して、１つ又は複数のフレーム内の少なくとも１つの位置の画素データを生成することができる。画素の運動ベクトルが、フレームのグローバル運動ベクトルに類似しているとき、それは、その画素がフレームの背景内の物体又は表面を描写していることを示し得る。同様に、画素の運動ベクトルが、フレームのグローバル運動ベクトルと有意に異なるとき、それは、その画素がフレームの前景内の物体又は表面を描写していることを示し得る。したがって、類似性のレベルは、たとえば、位置の画素及び／又は画素の重み付けを使用して画像内の位置の画素データを生成するかどうかを決定するために、使用され得る。たとえば、画素は、その画素の運動ベクトルは他の画素の運動ベクトルよりもグローバル運動ベクトルに類似していないと決定することに少なくとも基づいて、その少なくとも１つの他の画素よりもその位置について選択され得る。

フレームのグローバル運動ベクトルは、フレーム全体の運動を表し得る。少なくとも１つの実施例において、グローバル運動ベクトルは、フレームの運動ベクトルを使用して、計算され得る。たとえば、グローバル運動ベクトルは、運動ベクトルの統計的組合せに少なくとも基づいて計算され得る。統計的組合せの実例には、平均値、モード、中央値、及び／又は１つ又は複数の他の統計的に導出された値が含まれる。

少なくとも１つの実施例において、１つ又は複数のフレームの１つ又は複数の部分の類似性のレベルは、類似性メトリックを使用して類似性スコアとして計算され得る。類似性メトリックは、１つ又は複数のグローバル運動ベクトルの１つ又は複数の角度と１つ又は複数の部分の１つ又は複数の運動ベクトルの１つ又は複数の角度との差に少なくとも基づき得る。加えて、又は別法として、類似性メトリックは、１つ又は複数のグローバル運動ベクトルの１つ又は複数の大きさと１つ又は複数の部分の１つ又は複数の運動ベクトル（たとえば、ローカル運動ベクトル）の１つ又は複数の大きさとの差に少なくとも基づき得る。少なくとも１つの実施例において、類似性メトリックは、１つ又は複数のグローバル運動ベクトルの１つ又は複数の大きさに比例して１つ又は複数の角度の差を量り得る。たとえば、角度差は、グローバル運動ベクトルの大きさが増えるにつれて、より大きい重みを与えられ得、その大きさが減るにつれて、より少ない重みを与えられ得る。

開示される手法は、フレーム・レート・アップコンバージョン（ＦＲＵＣ）のために使用されているものとして主として説明されているが、これは限定を意図していない。たとえば、開示される手法は、一般に、１つ又は複数の画像位置の（たとえば、同じ又は異なる画像内の、画像内挿のための、画像生成のための、画像修正のための、などの）画素データを決定する際に使用するための１つ又は複数の画像の１つ又は複数の部分を評価するために使用され得る。加えて、運動ベクトルは、運動推定値の実例として主として説明されているが、運動推定値の任意の適切な表現が、使用され得る。

本明細書に記載のシステム及び方法は、様々な目的で使用することができ、例として及び制限せずに、これらの目的には、機械制御、機械移動、機械運転、合成データ生成、モデル・トレーニング、認知、拡張現実、仮想現実、複合現実、ロボット工学、セキュリティ及び監視、自律又は半自律機械アプリケーション、深層学習、環境シミュレーション、データ・センタ処理、会話型ＡＩ、光輸送シミュレーション（たとえば、レイ・トレーシング、進路トレーシングなど）、３Ｄ資産の共同コンテンツ作成、デジタル・ツイン・システム、クラウド計算のためのシステム又はアプリケーション、及び／又は任意の他の適切なアプリケーションが含まれ得る。

開示される実施例は、自動車システム（たとえば、自律又は半自律機械のための制御システム、自律又は半自律機械のための認知システム）、ロボットを使用して実装されるシステム、航空システム、中間システム、船舶システム、スマート・エリア・モニタリング・システム、深層学習動作を実行するためのシステム、シミュレーション動作を実行するためのシステム、エッジ・デバイスを使用して実装されるシステム、１つ又は複数の仮想機械（ＶＭ：ｖｉｒｔｕａｌ ｍａｃｈｉｎｅ）を組み込むシステム、合成データ生成動作を実行するためのシステム、データ・センタにおいて少なくとも部分的に実装されるシステム、会話型ＡＩ動作を実行するためのシステム、光輸送シミュレーションを実行するためのシステム、３Ｄ資産の共同コンテンツ作成を実行するためのシステム、物理物体のデジタル・ツイン表現を生成又は保守するためのシステム、クラウド計算資源を使用して少なくとも部分的に実装されるシステム、及び／又は他のタイプのシステムなどの様々な異なるシステムに含まれ得る。

図１は、本開示のいくつかの実施例による、フレーム生成システム１００（本明細書で「システム１００」とも称される）の一実例を示す。本明細書に記載のこの及び他の配列は単に実例として説明されていることを理解されたい。他の配列及び要素（たとえば、機械、インターフェイス、機能、順番、機能のグループなど）が、示されているものに加えて又はその代わりに使用され得、いくつかの要素は、ともに省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、及び任意の適した組合せ及び場所で実装され得る機能エンティティである。エンティティによって実行されているものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって、実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。

システム１００は、追加又は代替構成要素の中でも、運動推定器１０４、グローバル運動決定器１０６、類似性評価器１０８、及び／又は画素データ決定器１１０を使用して、実装され得る。

概要として、運動推定器１０４は、ビデオ１０２のフレーム１０２Ａ及びフレーム１０２Ｂなどの１つ又は複数のフレームの間の運動を推定するように構成され得る。運動推定値（たとえば、運動ベクトル）は、１つ又は複数のフレームの１つ又は複数の特定の画素及び／又は画像部分（たとえば、ブロック）の１つ又は複数の運動推定値を含み得る。グローバル運動決定器１０６は、運動推定器１０４を使用して決定された１つ又は複数の運動推定値に対応する１つ又は複数のグローバル運動推定値（たとえば、グローバル運動ベクトル）を決定するように構成され得る。類似性評価器１０８は、運動推定器１０４を使用して決定された画素及び／又は画像部分の（たとえば、フレーム１０２Ａ及び／又はフレーム１０２Ｂの）１つ又は複数の運動推定値とグローバル運動決定器１０６を使用して決定された１つ又は複数のグローバル運動推定値との類似性のレベルを評価するように構成され得る。画素データ決定器１１０は、類似性評価器１０８を使用して実行された１つ又は複数の類似性のレベルの評価に少なくとも基づいて、フレーム、たとえば、フレーム１１２、内の１つ又は複数の位置の画素データを決定するように構成され得る。

少なくとも１つの実施例において、システム１００は、フレーム・レート・アップコンバージョン（ＦＲＵＣ）のために使用され得る。１つ又は複数の実施例によれば、ＦＲＵＣのシステム又はアプリケーションは、その実例にはフレーム１１２が含まれる、ビデオ１０２の１つ又は複数の中間又は外挿フレームを生成するために、ビデオ１０２からのフレーム、たとえば、フレーム１０２Ａ及び１０２Ｂ、を使用することができる。たとえば、画素データ決定器１１０は、フレーム１１２内の少なくとも１つの位置の画素データを決定するために、フレーム１０２Ａ及び／又はフレーム１０２Ｂの１つ又は複数の画像部分と、フレーム１１２内の少なくとも１つの位置との間のマッピングの決定に少なくとも基づいて、ＦＲＵＣを実行し得る。一実例として、画素データ決定器１１０は、位置にマップされた画素データ（たとえば、１つ又は複数の画素の）の１つ又は複数の部分を、少なくとも部分的に、使用して、その位置の画素データ（たとえば、１つ又は複数の画素の）を生成し得る。１つ又は複数の実施例において、システム１００は、目標フレーム・レートに少なくとも基づいてビデオ１０２の１つ又は複数の中間又は外挿フレームを生成し得る。たとえば、ビデオ１０２が、３０フレーム／秒（ＦＰＳ）のフレーム・レートを有する場合、６０ＦＰＳの目標フレーム・レートに達するために、システムは、ビデオ１０２の一連のフレーム内のフレームのペアごとに中間フレームを生成し得る。少なくとも１つの実施例において、目標フレーム・レートは、ユーザ設定可能であり得る。

ここで図２を参照すると、図２は、本開示のいくつかの実施例による、画像部分２３０と画像部分２３４との間のコリジョン２００の一実例を示す。少なくとも１つの実施例において、画素データ決定器１１０は、コリジョン（たとえば、画素コリジョン）をもたらす、フレーム１０２Ｂからの画像部分について画素データ決定器１１０が決定する位置と少なくとも部分的に重なるフレーム１０２Ａからの画像部分の位置を決定し得る。たとえば、画素データ決定器１１０は、画像部分２３０（たとえば、画素）のフレーム１１２内の位置２３２（たとえば、画素位置）を決定し得、画像部分２３４（たとえば、画素）のフレーム１１２内の位置２３２を決定し得る。画像部分について決定された位置が、少なくとも部分的に重なるとき、これは矛盾をもたらし得る。たとえば、環境を正確に表すフレーム１１２の画素データを生成するために、画素データ決定器１１０は、画素データ及び／又は画素データを生成するために使用される画像部分の重み付けのためにどの画像部分を使用するかを決定する必要があり得る。少なくとも１つの実施例において、それを行うために、画素データ決定器１１０は、位置にマップされた画像部分のうちの１つ又は複数の１つ又は複数の評価－類似性評価器１０８を使用して実行される－を使用し得る。評価は、１つ又は複数の対応する運動推定値と１つ又は複数のグローバル運動推定値との類似性のレベルについてでもよい。画像部分２３４及び２３０は、異なるフレームに属するものとして示されているが、少なくとも１つの実施例において、画像部分２３４及び２３０は、同じフレームに対応し得る。

ここで図３を参照すると、図３は、本開示のいくつかの実施例による、フレーム１０２Ａ及び１０２Ｂの画像コンテンツとフレーム１０２Ａ及び１０２Ｂから生成され得る外挿フレーム１１０Ａ及び１１０Ｂとの実例を示す。図３の各ブロックは、画像の１つ又は複数の画像部分（たとえば、画素）を表し得る。

図３は、フレーム１０２Ａ及び１０２Ｂの画像コンテンツが背景３３０の前（カメラ視点又はビューポートに関して）に物体３１０（又は表面）及び物体３２０（又は表面）を含む、実例を示す。少なくとも１つの実施例において、フレーム１０２Ｂは、ビデオ１０２内のフレーム１０２Ａの後である（たとえば、すぐに又は他の方法で続く）。たとえば、フレーム１０２Ｂは、フレーム１０２Ａよりも後の時間における環境の状態を表し得る。図３に示すように、物体３１０及び３２０（又は表面）のうちの１つ又は複数は、背景３３０に関して移動してあることがある。この移動は、画素データ決定器１１０が画像部分間の１つ又は複数のコリジョン、たとえば、図２のコリジョン２００、を検出する結果をもたらし得る。グローバル運動推定値は、フレームの運動（たとえば、５０％以上）を表し得るので、フレームの画像コンテンツが、主として背景３３０である場合、グローバル運動推定値は、背景３３０の運動に対応し得る。物体が、背景３３０又はその近くにある場合、ビデオ１０２をキャプチャするカメラがパンしているとき、物体（又は表面）に対応する運動推定値は、背景３３０に対応するグローバル運動推定値と類似し得る。運動推定値は、物体が背景３３０から遠くに移動するにつれて、似なくなり得る。同様に、フレームの画像コンテンツが、主として前景である場合、グローバル運動推定値は、前景の運動に対応し得る。画素データ決定器１１０は、フレームの画素データを決定するとき、運動推定値におけるこれらの関係を使用して、どの画像部分が背景又は前景からより近い又は遠いかを決定することができる。したがって、たとえば、画像部分のコリジョンは、これらの関係に少なくとも基づいて、解消され得る。

フレーム３１０Ａは、画素データ決定器１１０が、画像部分２３４の上の位置２３２における画素データについて使用するための画像部分２３０を選択する、フレーム１１２に対応し得る。加えて、又は別法として、フレーム３１０Ａは、画素データ決定器１１０が画像部分２３４よりも位置２３２における画素データについてより高く画像部分２３０を量る、フレーム１１２に対応し得る。たとえば、類似性評価器１０８を使用して実行される評価が、物体３１０の１つ又は複数の運動推定値は物体３２０の１つ又は複数の運動推定値よりも１つ又は複数のグローバル運動推定値に類似していることを示す場合、フレーム３１０Ａが、生じ得る。たとえば、フレーム１０２Ａ及び１０２Ｂの画像コンテンツは、主として、背景３３０を含むので、フレームのグローバル運動は、背景３３０の運動と同じ又はそれに類似し得る。したがって、物体３２０が、物体３１０に関して前景にある場合、物体３１０の運動推定値は、物体３２０よりもグローバル運動推定値に類似し得る。そのようなものとして、より高い類似性に基づいて、画素データ決定器１１０は、物体３１０の画像部分よりも物体３２０の画像部分を選択してフレーム３１０Ａを生成し得る。

同様に、画素データ決定器１１０が、画像部分２３０よりも位置２３２における画素データについて使用するために画像部分２３４を選択する場合、フレーム３１０Ｂは、フレーム１１２に対応し得る。加えて、又は別法として、画素データ決定器１１０が、画像部分２３０よりも位置２３２における画素データについてより高く画像部分２３４を量る場合、フレーム３１０Ｂは、フレーム１１２に対応し得る。たとえば、類似性評価器１０８を使用して実行される評価が、物体３２０の１つ又は複数の運動推定値は物体３１０の１つ又は複数の運動推定値よりも１つ又は複数のグローバル運動推定値に類似していると示す場合、フレーム３１０Ｂが、生じ得る。たとえば、本明細書に記載のように、フレーム１０２Ａ及び１０２Ｂの画像コンテンツは、主として、背景３３０を含むので、フレームのグローバル運動は、背景３３０の運動と同じ又は類似し得る。したがって、物体３１０が、物体３２０に関して前景にある場合、物体３２０の運動推定値は、物体３１０よりもグローバル運動推定値に類似し得る。そのようなものとして、より高い類似性に基づいて、画素データ決定器１１０は、物体３２０の画像部分よりも物体３１０の画像部分を選択してフレーム３１０Ｂを生成し得る。

本明細書に記載のように、運動推定器１０４は、１つ又は複数のフレーム、たとえば、ビデオ１０２のフレーム１０２Ａ及びフレーム１０２Ｂ（又はより一般的には一連のフレーム又は画像）、の間の運動を推定するように構成され得る。運動推定値（たとえば、運動ベクトル）は、１つ又は複数のフレームの１つ又は複数の特定の画素及び／又は画像部分（たとえば、ブロック）の１つ又は複数の運動推定値を含み得る。フレームの運動推定値は、１つの画像から別の参照画像への変形の少なくとも一部分を集合的に記述し得る。少なくとも１つの実施例において、運動推定値は、運動ベクトルを含み得る。運動ベクトルは、たとえば、１つのフレームにおける座標から別のフレームにおける座標へのオフセットを提供するベクトル（たとえば、２Ｄベクトル）を含み得る。１つ又は複数の実施例において、運動ベクトルは、画素のＸ構成要素へのＸオフセット及び画素のＹ構成要素へのＹオフセットを含み得る。少なくとも１つの実施例において、運動推定器１０４は、フレーム内の各画素及び／又はブロックの１つ又は複数の運動推定値を決定し得る。

運動推定器１０４は、任意の適切な手法を使用して、たとえば、ブロック・マッチング・アルゴリズム、フェーズ相関関係アルゴリズム、画素再帰アルゴリズム、及び／又はオプティカル・フロー・アルゴリズムのうちの１つ又は複数を使用して、運動推定値を決定し得る。様々な実施例において、運動推定器１０４は、順方向及び／又は逆方向運動の運動推定値を計算し得る。順方向運動の運動推定値は、入力画像としてのフレーム１０２Ａ及び参考画像としてのフレーム１０２Ｂを使用し得る。逆方向運動の運動推定値は、入力画像としてのフレーム１０２Ｂ及び参考画像としてのフレーム１０２Ａを使用し得る。

運動推定器１０４は、密運動推定及び／又は疎運動推定を実行し得る。密運動推定は、個々の画素の運動推定値を計算し得る。疎運動推定は、画素のグループ、たとえば、ブロック（たとえば、２ｘ２、４ｘ４、６ｘ６、８ｘ８など）、の運動推定値を計算し得る。開示される手法は、任意の組合せの密及び／又は疎運動推定値を使用し得る。少なくとも１つの実施例において、運動推定器１０４は、疎運動推定値を決定し得る。運動推定器１０４は、次いで、開示される実施例において使用され得る、密な及び／又はより疎でない運動推定値に疎な運動推定値の１つ又は複数の部分をアップコンバート又はアップスケールし得る。少なくとも１つの実施例において、アップスケールは、画像強度及びエッジ位置などのファクタに少なくとも基づき得る。

少なくとも１つの実施例において、運動推定器１０４は、１つ又は複数の運動推定値を分析し、分析に少なくとも基づいて少なくとも１つの運動推定値を破棄し得る。たとえば、運動推定器１０４は、分析を使用して、運動推定値は不正確であると決定し、その運動推定値を破棄し得る。実例として、及び限定ではなく、分析は、順方向運動推定値を使用して第１の画像位置を第１の参照画像位置に投影する順方向、及び逆方向運動推定値を使用して第２の画像位置を第２の参照画像位置に投影する逆方向を含み得る。逆方向投影に由来する第２の参照画像位置が、第１の画像位置から閾値距離内にない（たとえば、同じ画素位置に又はその閾値画素距離内マップされない）場合、運動推定値は、破棄され得る。少なくとも１つの実施例において、運動推定器１０４は、あらゆる矛盾する運動推定値を破棄した後、アップスケールを実行し得る。

少なくとも１つの実施例において、画素データ決定器１１０は、画像部分の運動推定値を使用して外挿フレーム内の画像部分の位置を決定する。たとえば、画素データ決定器１１０は、運動推定値２４０を使用して画像部分２３０を位置２３２にマップすることができ、運動推定値２４２を使用して画像部分２３４を位置２３２にマップすることができる。少なくとも１つの実施例において、マッピングは、ソース画素をフレーム１０２Ａ及び／又は１０２Ｂからワープしてフレーム１１２を生成することを含み得る。しかしながら、画像部分を位置にマップするための任意の適切な手法が、使用され得る。図２のコリジョン２００は、フレーム１０２Ａとフレーム１０２Ｂとの途中に時間的にあるようにフレーム１１２を画素データ決定器１１０が生成しようと試みているときに、生じ得るが、そうである必要はない。たとえば、複数のフレーム１１２が、フレーム１０２Ａ及び１０２Ｂに対する任意の適切な時間的関係を有して生成され得る。図示された実例では、画像部分２３０及び２３４は、フレーム１１２に関する対応する運動ベクトルに沿って画像部分２３０及び２３４を仮想的に移動又は投影することと、フレーム１０２Ａとフレーム１０２Ｂとの途中に位置する、フレーム１１２と画像部分２３０及び２３４がどこで交差するかを決定することとに少なくとも基づいて、位置２３２にマップされ得る。このプロセスは、コリジョン２００に類似の複数のコリジョンをもたらし得る、フレーム１０２Ａ及び／又はフレーム１０２Ｂの任意の数の画像部分について実行され得る。画素データ決定器１１０は、類似性評価器１０８を使用して実行される類似性のレベルの対応する評価に基づいてこれらのコリジョンのうちの１つ又は複数を解消するように構成され得る。

本明細書に記載のように、グローバル運動決定器１０６は、運動推定器１０４を使用して決定された１つ又は複数の運動推定値（たとえば、ローカル運動推定値又はベクトル）に対応する１つ又は複数のグローバル運動推定値（たとえば、グローバル運動ベクトル）を決定するように構成され得る。フレーム、たとえば、フレーム１０２Ａ、のグローバル運動推定値は、フレーム全体の運動を表し得る。少なくとも１つの実施例において、グローバル運動推定値は、運動推定器１０４を使用してフレームについて決定された運動推定値のうちの１つ又は複数を使用して、計算され得る。たとえば、グローバル運動決定器１０６は、フレーム１０２Ａの運動推定値（たとえば、密運動推定値）の統計的組合せに少なくとも基づいてフレーム１０２Ａのグローバル運動推定値（たとえば、グローバル運動ベクトル）を計算し得る。統計的組合せの実例には、平均値、モード、中央値、及び／又は１つ又は複数の他の統計的に導出された値が含まれる。少なくとも１つの実施例において、グローバル運動決定器１０６は、フレームごとのグローバル運動推定値を計算し得る。加えて、又は別法として、グローバル運動決定器１０６は、複数のフレームに対応するグローバル運動推定値を計算し得る。たとえば、グローバル運動決定器１０６は、複数のフレーム（たとえば、フレームのウインドウ）にわたるグローバル運動推定の移動平均又は他の統計的組合せに対応するマルチフレーム・グローバル運動推定値を計算し得る。

実例として及び制限なしに、少なくとも１つの実施例において、グローバル運動決定器１０６は、１つ又は複数の画像処理技法を実行する、或いはグローバル運動推定値が背景又は前景に対応するかどうか及び／又はどの程度対応するかを他の方法で決定することができる。画素データ決定器１１０は、類似性のレベルの評価を解釈するとき、この決定を使用することができる。たとえば、本明細書に記載のように、グローバル運動推定値が、背景に対応する場合、画像部分の高い類似性は、画像部分が背景に又はその近くにあるということを示し得る。グローバル運動推定値が、前景に対応する場合、画像部分の高い類似性は、画像部分が背景から遠くにある－したがって、前景内に又は前景の近くにある－ということを示し得る。したがって、画素データ決定器１１０は、それに応じて画像コンテンツに類似性のレベルの解釈を適合させ得る。他の実例において、画素データ決定器１１０は、類似性のレベルの解釈を画像コンテンツに適合させなくてもよく、たとえば、グローバル運動推定値が背景に対応するという又は、別法として、グローバル運動推定値が前景に対応するという想定の下で動作し得る。

少なくとも１つの実施例において、グローバル運動決定器１０６は、グローバル運動推定値（たとえば、マルチフレーム・グローバル推定値）と揃えた画像の画素の数量に少なくとも基づいて、画像が背景又は前景に対応するかどうか及び／又はどの程度対応するか（たとえば、パーセンテージ）を決定し得る。たとえば、グローバル運動決定器１０６は、グローバル運動推定値と揃えた画像の画素の数量を決定し得る。画素の数量が、閾値未満である場合、グローバル運動決定器１０６は、画像は主として前景に対応すると決定し得る。画素の数量が閾値を超えた場合、グローバル運動決定器１０６は、画像は主として背景に対応すると決定し得る。画素データ決定器１１０は、それに応じて画像コンテンツに類似性のレベルの解釈を適合させ得る。

ここで図４を参照すると、図４は、本開示のいくつかの実施例による、グローバル運動ベクトル４０２並びにグローバル運動ベクトル４０２と比較され得る運動ベクトル４０６及び４０８（たとえば、ローカル運動ベクトル）の実例を示すグラフ４００を示す。図４は、類似性評価器１０８が、運動推定器１０４を使用して決定された画素及び／又は画像部分の（たとえば、フレーム１０２Ａ及び／又はフレーム１０２Ｂの）１つ又は複数の運動推定値とグローバル運動決定器１０６を使用して決定された１つ又は複数のグローバル運動推定値との類似性のレベルを評価するとき、考慮し得る、様々なファクタを説明するために使用され得る。

類似性評価器１０８は、様々な潜在的ファクタに基づいて類似性のレベルを評価し得る。少なくとも１つの実施例において、１つ又は複数の画像部分の類似性のレベルは、１つ又は複数のグローバル運動ベクトルの１つ又は複数の角度と１つ又は複数の画像部分の１つ又は複数の運動ベクトルの１つ又は複数の角度との差に少なくとも基づき得る。たとえば、類似性評価器１０８は、運動ベクトル４０４の角度４１４とグローバル運動ベクトル４０２の角度４１２との差に少なくとも基づいて、グローバル運動ベクトル４０２と画像部分の運動ベクトル４０４との類似性のレベルを評価し得る。同様に、類似性評価器１０８は、運動ベクトル４０６の角度４１６とグローバル運動ベクトル４０２の角度４１２との差に少なくとも基づいて、グローバル運動ベクトル４０２と画像部分の運動ベクトル４０６との類似性のレベルを評価し得る。類似性のレベルは、差が減少するにつれて、増加し得る。

加えて、又は別法として、１つ又は複数の画像部分の類似性のレベルは、１つ又は複数のグローバル運動ベクトルの１つ又は複数の大きさと１つ又は複数の画像部分の１つ又は複数の運動ベクトルの１つ又は複数の大きさとの差に少なくとも基づき得る。たとえば、類似性評価器１０８は、運動ベクトル４０４の大きさとグローバル運動ベクトル４０２の大きさとの差に少なくとも基づいて、グローバル運動ベクトル４０２と画像部分の運動ベクトル４０４との類似性のレベルを評価し得る。同様に、類似性評価器１０８は、運動ベクトル４０６の大きさとグローバル運動ベクトル４０２の大きさとの差に少なくとも基づいて、グローバル運動ベクトル４０２と画像部分の運動ベクトル４０６との類似性のレベルを評価し得る。類似性のレベルは、差が減少するにつれて、増加し得る。

少なくとも１つの実施例において、類似性評価器１０８は、１つ又は複数のグローバル運動ベクトルの１つ又は複数の大きさに比例して１つ又は複数の角度の差を量り得る。たとえば、運動ベクトル４０４が、より大きくなるにつれて、運動ベクトル４０４の角度差は、運動ベクトル４０６の角度差よりもより多い重みを与えられ得る。

少なくとも１つの実施例において、類似性評価器１０８は、１つ又は複数の類似性メトリックを使用して、１つ又は複数の画像部分の類似性の１つ又は複数のレベルを表す又はそれに対応する１つ又は複数の値（たとえば、類似性スコア）を計算し得る。類似性メトリックは、画像部分及び／又は運動推定値の１つ又は複数の態様又は特徴を表す１つ又は複数のパラメータを含み得る。態様の実例には、運動推定値の大きさ、運動ベクトル角度などが含まれる。

類似性メトリックの少なくとも一部分を計算するためのアルゴリズムの一実例が、提供される。しかしながら、アルゴリズム及び類似性メトリックへの多数の変更形態が可能である。Ｇｌｏｂａｌ＿Ｆｘは、グローバル運動ベクトル（たとえば、フレーム１０２Ａのグローバル運動ベクトル４０２）のＸ構成要素を指し得、Ｇｌｏｂａｌ＿Ｆｙは、グローバル運動ベクトルのＹ構成要素を指し得る。Ｆｘは、画像部分の運動ベクトル（たとえば、フレーム１０２Ａ内の画素の運動ベクトル４０４）のＸ構成要素を指し得、Ｆｙは、運動ベクトルのＹ構成要素を指し得る。

類似性評価器１０８は、たとえば、方程式（１）を使用して、グローバル運動ベクトルの大きさｒＧｌｏｂａｌを計算し得る：

類似性評価器１０８は、たとえば、方程式（２）を使用して、グローバル運動ベクトルの角度ｔｈｅｔａＧｌｏｂａｌを計算し得る：
ｔｈｅｔａＧｌｏｂａｌ＝ａｔａｎ２（Ｇｌｏｂａｌ＿Ｆｙ，Ｇｌｏｂａｌ＿Ｆｘ） （２）

類似性評価器１０８はまた、たとえば、方程式（３）を使用して、運動ベクトルの大きさｒＰｉｘｅｌを計算し得る：

さらに、類似性評価器１０８は、たとえば、方程式（４）を使用して、運動ベクトルの角度ｔｈｅｔａＰｉｘｅｌを計算し得る：
ｔｈｅｔａＰｉｘｅｌ＝ａｔａｎ２（Ｆｙ，Ｆｘ） （４）

ｔｈｅｔａＧｌｏｂａｌが、ゼロ未満である場合、類似性評価器１０８は、たとえば、方程式（５）を使用して、角度を正の角度に変換し得る：
ｔｈｅｔａＧｌｏｂａｌ＝２＊π＋ｔｈｅｔａＧｌｏｂａｌ （５）

同様に、ｔｈｅｔａＰｉｘｅｌが、ゼロ未満である場合、類似性評価器１０８は、たとえば、方程式（６）を使用して、角度を正の角度に変換し得る：
ｔｈｅｔａＰｉｘｅｌ＝２＊π＋ｔｈｅｔａＰｉｘｅｌ （６）

類似性評価器１０８は、次いで、たとえば、方程式（７）を使用して、ｔｈｅｔａＧｌｏｂａｌとｔｈｅｔａＰｉｘｅｌとの差ｔｈｅｔａＤｉｆｆを計算し得る：
ｔｈｅｔａＤｉｆｆ＝｜ｔｈｅｔａＰｉｘｅｌ－ｔｈｅｔａＧｌｏｂａｌ｜ （７）

ｔｈｅｔａＤｉｆｆが、πより大きい場合、類似性評価器１０８は、たとえば、方程式（８）を使用して、ｔｈｅｔａＤｉｆｆを調整し得る：
ｔｈｅｔａＤｉｆｆ＝２＊π－ｔｈｅｔａＤｉｆｆ （８）

類似性評価器１０８は、たとえば、方程式（９）を使用して、角度ベースの類似性メトリックＷａｒｐＣｏｓｔＡｎｇｌｅを計算し得る：
ＣｏｓｔＡｎｇｌｅ＝α＊ｒＧｌｏｂａｌ＊（β＊ｔｈｅｔａＤｉｆｆ＋ｔｈｅｔａＤｉｆｆ＊ｔｈｅｔａＤｉｆｆ） （９）
ここで、α及びβは定数であり、ヒューリスティックで導出され得る。方程式（９）を使用して、ｔｈｅｔａＤｉｆｆの貢献度は、ｒＧｌｏｂａｌに比例し得る。

類似性評価器１０８は、たとえば、方程式（１０）を使用して、ユークリッドの差ベースの類似性メトリックＥｕｃｌｉｄＤｉｓｔを計算し得る：

ここで、ｄｅｌｔａ＿ｆｘ＝Ｆｘ－Ｇｌｏｂａｌ＿Ｆｘ、そして、ｄｅｌｔａ＿ｆｙ＝Ｆｙ－Ｇｌｏｂａｌ＿Ｆｙ。

類似性評価器１０８は、次いで、たとえば、方程式（１１）を使用して、類似性メトリックＷａｒｐＣｏｓｔを計算し得る：
ＷａｒｐＣｏｓｔ＝ＥｕｃｌｉｄＤｉｓｔ＋ＷａｒｐＣｏｓｔＡｎｇｌｅ （１１）

画素データ決定器１１０は、これらの類似性メトリックの任意の組合せを使用してフレーム、たとえば、フレーム１１２、内の位置の画素データを決定し得る。少なくとも１つの実施例において、複数のソース画素の間のコリジョンが存在するとき、画素データ決定器１１０は、内挿及び／又は外挿フレームの画素データを提供する画素として最も高いＷａｒｐＣｏｓｔを有するソース画素を選択し得る。

画素データ決定器１１０は、フレーム１１２内の位置のフレーム１０２Ａ内の画像部分の類似性メトリックの順方向運動値を決定し得る（たとえば、順方向運動推定値及び順方向グローバル運動推定値を使用）。加えて、又は別法として、画素データ決定器１１０は、フレーム１１２内の位置のフレーム１０２Ｂ内の画像部分の類似性メトリックの逆方向運動値を決定し得る（たとえば、逆方向運動推定値及び逆方向グローバル運動推定値を使用）。少なくとも１つの実施例において、画素データ決定器１１０は、対応する順方向運動値及び逆方向運動値に少なくとも基づいて、フレーム１１２内の位置について使用する（及び／又は画像部分を量る）ための画像部分から選択し得る。たとえば、順方向運動値及び逆方向運動値は、画像部分を選択する及び／又は画像部分重み付けを決定するために使用される合成値を計算するために、結合（たとえば、平均化）され得る。さらなる実例として、順方向運動値が、デフォルトとして使用され得、そして、順方向運動値が、入手不可能な場合、逆方向運動値が、使用され得る。１つ又は複数の実施例において、類似性評価器１０８は、順方向運動値のみ、又は逆方向運動値のみを使用し得る。少なくとも１つの実施例において、順方向運動推定値及び順方向グローバル運動推定値は、逆方向運動推定値及び逆方向グローバル運動推定値と結合され得、類似性評価器１０８は、集められた運動推定値を使用して類似性メトリックの値を計算し得る。

ここで図５～７を参照すると、方法５００、６００、及び７００、並びに本明細書に記載の他の方法の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含み得る。たとえば、様々な機能は、メモリに記憶されたプロセッサ実行命令によって実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、スタンドアロン・アプリケーション、サービス若しくはホスト型サービス（スタンドアロンの若しくは別のホスト型サービスと組み合わせた）、又は別の製品へのプラグインによって提供され得る。加えて、方法は、例として、特定の図に関して説明される。しかしながら、方法は、本明細書に記載のものを含むがこれらに限定されない、任意の１つのシステム、又は任意の組合せのシステムによって、加えて又は別法として、実行され得る。

少なくとも１つの実施例において、システム１００は、図８のコンテンツ・ストリーミング・システム８００の１つ又は複数の構成要素を含み得る。たとえば、システム１００は、アプリケーション・サーバ８０２に含まれ得る。加えて、又は別法として、図８のコンテンツ・ストリーミング・システム８００の１つ又は複数の構成要素は、本明細書に記載の様々な方法のうちのいずれかの１つ又は複数の部分を実行し得る。

図５は、本開示のいくつかの実施例による、複数の画像部分の位置を決定することに少なくとも基づいて画像内の位置の画素データを決定するための方法５００を示す流れ図である。方法５００は、ブロックＢ５０２において、１つ又は複数の第１の画像部分の少なくとも１つの位置を決定することを含む。たとえば、画素データ決定器１１０は、画像部分２３０の位置２３２を決定し得る。

ブロックＢ５０４において、方法５００は、１つ又は複数の第２の画像部分の少なくとも１つの位置を決定することを含む。たとえば、画素データ決定器１１０は、画像部分２３４の位置２３２を決定し得る。

ブロックＢ５０６において、方法５００は、グローバル運動と１つ又は複数の第１の画像部分に対応する運動との類似性のレベルを評価することを含む。たとえば、類似性評価器１０８は、フレーム１０２Ａに対応するグローバル運動ベクトル４０２と画像部分２３０に対応する運動ベクトル４０４との類似性のレベルを評価し得る（たとえば、運動ベクトル４０４が、図２の運動ベクトル２４０に対応する場合）。少なくとも１つの実施例において、方法５００はさらに、グローバル運動と１つ又は複数の第２の画像部分に対応する運動との類似性のレベルを評価することを含み得る。たとえば、類似性評価器１０８は、フレーム１０２Ａに対応するグローバル運動ベクトル４０２と画像部分２３４に対応する運動ベクトル４０６との類似性のレベルを評価し得る（たとえば、運動ベクトル４０６が、図２の運動ベクトル２４２に対応する場合）。

ブロックＢ５０８において、方法５００は、類似性のレベルに少なくとも基づいて少なくとも１つの位置の画素データを決定することを含む。たとえば、画素データ決定器１１０は、運動ベクトル４０４に対応する類似性のレベルに少なくとも基づいて画像部分２３０を使用して位置２３２の画素データを生成し得る。少なくとも１つの実施例において、画素データ決定器１１０はさらに、運動ベクトル４０６に対応する類似性のレベルに少なくとも基づいて画像部分２３０を使用して位置２３２の画素データを生成し得る。

ここで図６を参照すると、図６は、本開示のいくつかの実施例による、複数の画像部分間の位置の矛盾を識別することに少なくとも基づいて画像内の位置の画素データを決定するため方法を示す流れ図である。方法６００は、ブロックＢ６０２において、１つ又は複数の第１の画像部分及び１つ又は複数の第２の画像部分の少なくとも１つの位置における少なくとも１つの矛盾を識別することを含む。たとえば、画素データ決定器１１０は、ビデオ１０２内のフレーム１０２Ａの画像部分２３０とビデオ１０２内のフレーム１０２Ｂの画像部分２３０との位置２３２における少なくとも１つの矛盾を識別し得る。

ブロックＢ６０４において、方法６００は、グローバル運動と１つ又は複数の第１の画像部分に対応する運動との類似性のレベルを評価することを含む。たとえば、類似性評価器１０８は、フレーム１０２Ａに対応するグローバル運動ベクトル４０２と画像部分２３０に対応する運動ベクトル４０４との類似性のレベルを評価し得る。少なくとも１つの実施例において、類似性評価器１０８はまた、フレーム１０２Ａに対応するグローバル運動ベクトル４０２と画像部分２３４に対応する運動ベクトル４０６との類似性のレベルを評価し得る。

ブロックＢ６０８において、方法６００は、類似性のレベルに少なくとも基づいて少なくとも１つの位置の画素データを決定することを含む。たとえば、画素データ決定器１１０は、運動ベクトル４０４の類似性のレベルに少なくとも基づいて画像部分２３０を使用して位置２３２の画素データを生成し得る。少なくとも１つの実施例において、画素データ決定器１１０はさらに、運動ベクトル４０６の類似性のレベルに少なくとも基づいて画像部分２３０を使用して位置２３２の画素データを生成し得る。

ここで図７を参照すると、図７は、本開示のいくつかの実施例による、グローバル運動と１つ又は複数の画像部分に対応する運動との類似性のレベルに少なくとも基づいて画像内の位置の画素データを決定するため方法７００を示す流れ図である。方法７００は、ブロックＢ７０２において、グローバル運動と１つ又は複数の画像部分に対応する運動との類似性のレベルを評価することを含む。たとえば、類似性評価器１０８は、フレーム１０２Ａに対応するグローバル運動ベクトル４０２と画像部分２３０に対応する運動ベクトル４０４との類似性のレベルを評価し得る。

ブロックＢ７０４において、方法７００は、類似性のレベルに少なくとも基づいて少なくとも１つの位置の画素データを決定することを含む。たとえば、画素データ決定器１１０は、類似性のレベルに少なくとも基づいて画像部分２３０を使用して位置２３２の画素データを生成し得る。

例示的コンテンツ・ストリーミング・システム
ここで図８を参照すると、図８は、本開示のいくつかの実施例による、コンテンツ・ストリーミング・システム８００の例示的システム図である。図８は、アプリケーション・サーバ８０２（図９の例示的コンピューティング・デバイス９００に類似の構成要素、特徴、及び／又は機能性を含み得る）、クライアント・デバイス８０４（図９の例示的コンピューティング・デバイス９００に類似の構成要素、特徴、及び／又は機能性を含み得る）、及びネットワーク８０６（本明細書に記載のネットワークに類似し得る）を含む。本開示のいくつかの実施例において、システム８００が、実装され得る。アプリケーション・セッションは、ゲーム・ストリーミング・アプリケーション（たとえば、ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＮＯＷ）、リモート・デスクトップ・アプリケーション、シミュレーション・アプリケーション（たとえば、自律又は半自律車両シミュレーション）、コンピュータ支援設計（ＣＡＤ：ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ）アプリケーション、仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）、及び／又は複合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）ストリーミング・アプリケーション、深層学習アプリケーション、及び／又は他のアプリケーション・タイプに対応し得る。

システム８００において、アプリケーション・セッションについて、クライアント・デバイス８０４は、単に、入力デバイスへの入力に応答して入力データを受信し、入力データをアプリケーション・サーバ８０２に送信し、エンコードされたディスプレイ・データをアプリケーション・サーバ８０２から受信し、ディスプレイ・データをディスプレイ８２４に表示することができる。そのようなものとして、よりコンピュータ負荷の重い計算及び処理は、アプリケーション・サーバ８０２にオフロードされる（たとえば、アプリケーション・セッションのグラフィック出力のレンダリング－ 特に光線又はパス・トレース－ は、ゲーム・サーバ８０２のＧＰＵによって実行される）。言い換えれば、アプリケーション・セッションは、アプリケーション・サーバ８０２からクライアント・デバイス８０４にストリーミングされ、それによって、グラフィックス処理及びレンダリングのためのクライアント・デバイス８０４の要件を減らす。

たとえば、アプリケーション・セッションのインスタンス化に関して、クライアント・デバイス８０４は、ディスプレイ・データをアプリケーション・サーバ８０２から受信することに基づいてディスプレイ８２４にアプリケーション・セッションのフレームを表示し得る。クライアント・デバイス８０４は、入力デバイスのうちの１つへの入力を受信し、応答して入力データを生成することができる。クライアント・デバイス８０４は、通信インターフェイス８２０を介して及びネットワーク８０６（たとえば、インターネット）を介してアプリケーション・サーバ８０２に入力データを送信することができ、アプリケーション・サーバ８０２は、通信インターフェイス８１８を介して入力データを受信することができる。ＣＰＵは、入力データを受信し、入力データを処理し、アプリケーション・セッションのレンダリングをＧＰＵに生成させるデータをＧＰＵへ送信することができる。たとえば、入力データは、ゲーム・アプリケーションのゲーム・セッションにおけるユーザのキャラクタの移動、武器を発砲すること、リローディング、ボールをパスすること、車両を回転させることなどを表し得る。レンダリング構成要素８１２は、アプリケーション・セッション（たとえば、入力データの結果を表す）をレンダリングすることができ、レンダリング・キャプチャ構成要素８１４は、アプリケーション・セッションのレンダリングをディスプレイ・データとして（たとえば、アプリケーション・セッションのレンダリングされたフレームをキャプチャする画像データとして）キャプチャすることができる。アプリケーション・セッションのレンダリングは、アプリケーション・サーバ８０２の１つ又は複数の並列処理装置－ たとえば、１つ又は複数の専用ハードウェア・アクセラレータ又は処理コアの使用をさらに用いて光線又はパス・トレース技法を実行し得る、ＧＰＵ－ を使用して計算される、光線又はパス・トレース照明及び／又は陰効果を含み得る。いくつかの実施例において、１つ又は複数の仮想機械（ＶＭ：ｖｉｒｔｕａｌ ｍａｃｈｉｎｅ）－ たとえば、１つ又は複数の仮想構成要素、たとえば、ｖＧＰＵ、ｖＣＰＵなど、を含む－ は、アプリケーション・セッションをサポートするために、アプリケーション・サーバ８０２によって使用され得る。エンコーダ８１６は、次いで、ディスプレイ・データをエンコードして、エンコードされたディスプレイ・データを生成することができ、エンコードされたディスプレイ・データは、通信インターフェイス８１８を介してネットワーク８０６を介してクライアント・デバイス８０４に送信され得る。クライアント・デバイス８０４は、エンコードされたディスプレイ・データを通信インターフェイス８２０を介して受信することができ、デコーダ８２２は、エンコードされたディスプレイ・データを復号してディスプレイ・データを生成することができる。クライアント・デバイス８０４は、次いで、ディスプレイ８２４を介してディスプレイ・データを表示することができる。

本明細書に記載のシステム及び方法は、様々な目的のために、例として及び制限せずに、機械制御、機械移動、機械運転、合成データ生成、モデル・トレーニング、認知、拡張現実、仮想現実、複合現実、ロボット工学、セキュリティ及び監視、シミュレーション及びデジタル・ツイニング、自律又は半自律機械アプリケーション、深層学習、環境シミュレーション、データ・センタ処理、会話型ＡＩ、光輸送シミュレーション（たとえば、レイ・トレーシング、進路トレーシングなど）、３Ｄ資産の共同コンテンツ作成、クラウド計算及び／又は任意の他の適切なアプリケーションのために、使用され得る。

開示される実施例は、自動車システム（たとえば、自律又は半自律機械のための制御システム、自律又は半自律機械のための認知システム）、ロボットを使用して実装されるシステム、航空システム、中間システム、船舶システム、スマート・エリア・モニタリング・システム、深層学習動作を実行するためのシステム、シミュレーション動作を実行するためのシステム、デジタル・ツイン動作を実行するためのシステム、エッジ・デバイスを使用して実装されるシステム、１つ又は複数の仮想機械（ＶＭ）を組み込むシステム、合成データ生成動作を実行するためのシステム、データ・センタにおいて少なくとも部分的に実装されるシステム、会話型ＡＩ動作を実行するためのシステム、光輸送シミュレーションを実行するためのシステム、３Ｄ資産の共同コンテンツ作成を実行するためのシステム、クラウド計算資源を使用して少なくとも部分的に実装されるシステム、及び／又は他のタイプのシステムなどの様々な異なるシステムに含まれ得る。

例示的コンピューティング・デバイス
図９は、本開示のいくつかの実施例の実装において使用するのに適した例示的コンピューティング・デバイス９００のブロック図である。コンピューティング・デバイス９００は、以下のデバイスを直接に又は間接に結合する相互接続システム９０２を含み得る：メモリ９０４、１つ又は複数の中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０６、１つ又は複数のグラフィックス・プロセッシング・ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０８、通信インターフェイス９１０、入力／出力（Ｉ／Ｏ：ｉｎｐｕｔ／ｏｕｐｕｔ）ポート９１２、入力／出力構成要素９１４、電力供給装置９１６、１つ又は複数のプレゼンテーション構成要素９１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット９２０。少なくとも１つの実施例において、コンピューティング・デバイス９００は、１つ又は複数の仮想機械（ＶＭ）を含み得る、及び／又は、その構成要素のいずれかは、仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例として、ＧＰＵ９０８のうちの１つ又は複数は、１つ又は複数のｖＧＰＵを含み得、ＣＰＵ９０６のうちの１つ又は複数は、１つ又は複数のｖＣＰＵを含み得、及び／又は論理ユニット９２０のうちの１つ又は複数は、１つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、コンピューティング・デバイス９００は、個別の構成要素（たとえば、コンピューティング・デバイス９００専用の完全なＧＰＵ）、仮想構成要素（たとえば、コンピューティング・デバイス９００専用のＧＰＵの一部分）、又はその組合せを含み得る。

図９の様々なブロックは、線を有する相互接続システム９０２を介して接続されるものとして示されているが、これは限定を意図しておらず、単に明確にすることを目的としている。たとえば、いくつかの実施例において、プレゼンテーション構成要素９１８、たとえば、ディスプレイ・デバイス、は、Ｉ／Ｏ構成要素９１４と考えられ得る（たとえば、ディスプレイがタッチスクリーンである場合）。別の実例として、ＣＰＵ９０６及び／又はＧＰＵ９０８は、メモリを含み得る（たとえば、メモリ９０４は、ＧＰＵ９０８、ＣＰＵ９０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図９のコンピューティング・デバイスは、単に、例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ）」、「仮想現実システム」、及び／又は他のデバイス又はシステムタイプのようなカテゴリは、すべて、図９のコンピューティング・デバイスの範囲内にあることが企図されているので、区別されない。

相互接続システム９０２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム９０２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（ＶＥＳＡ：ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄｓ ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。いくつかの実施例において、構成要素間の直接接続が存在する。一実例として、ＣＰＵ９０６は、メモリ９０４に直接接続され得る。さらに、ＣＰＵ９０６は、ＧＰＵ９０８に直接接続され得る。構成要素間に直接、又は２地点間接続があるとき、相互接続システム９０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例において、ＰＣＩバスは、コンピューティング・デバイス９００に含まれる必要はない。

メモリ９０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、コンピューティング・デバイス９００によってアクセスされ得る任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性媒体及び不揮発性媒体の両方、並びに取り外し可能な媒体及び取り外し不可能な媒体を含み得る。実例として、そして限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含み得る。

コンピュータ記憶媒体は、情報、たとえば、コンピュータ可読命令、データ構造、プログラム・モジュール、及び／又は他のデータ・タイプ、を記憶するための任意の方法又は技術において実装される揮発性媒体及び不揮発性媒体の両方及び／又は取り外し可能な媒体及び取り外し不可能な媒体を含み得る。たとえば、メモリ９０４は、コンピュータ可読命令（たとえば、プログラム及び／又はプログラム要素、たとえば、オペレーティング・システム、を表すを記憶し得る。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用され得る及びコンピューティング・デバイス９００によってアクセスされ得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号それ自体を含まない。

コンピュータ記憶媒体は、変調されたデータ信号、たとえば、搬送波又は他のトランスポート機構、においてコンピュータ可読命令、データ構造、プログラム・モジュール、及び／又は他のデータ・タイプを実施し得、任意の情報配信媒体を含む。「変調されたデータ信号」という用語は、信号において情報をエンコードするための方式などで設定又は変更されたそれの特徴のうちの１つ又は複数を有する信号を指し得る。実例として、及び限定ではなく、コンピュータ記憶媒体は、有線媒体、たとえば、有線ネットワーク又は直接有線接続、とワイヤレス媒体、たとえば、音響、ＲＦ、赤外線及び他のワイヤレス媒体、とを含み得る。前述のうちのいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。

ＣＰＵ９０６は、コンピューティング・デバイス９００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するためのコンピュータ可読命令のうちの少なくともいくつかを実行するように構成され得る。ＣＰＵ９０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数のコア（たとえば、１、２、４、８、２８、７２など）をそれぞれ含み得る。ＣＰＵ９０６は、任意のタイプのプロセッサを含み得、実装されるコンピューティング・デバイス９００のタイプ（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ及びサーバのためのより多数のコアを有するプロセッサ）に応じて、異なるタイプのプロセッサを含み得る。たとえば、コンピューティング・デバイス９００のタイプに応じて、プロセッサは、縮小命令セット・コンピューティング（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されるアドバンストＲＩＳＣ機械（ＡＲＭ：Ａｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅ）プロセッサ又は複合命令セット・コンピュータ（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されるｘ８６プロセッサでもよい。コンピューティング・デバイス９００は、１つ又は複数のマイクロプロセッサ又は補足のコプロセッサ、たとえば、数値演算コプロセッサ、に加えて、１つ又は複数のＣＰＵ９０６を含み得る。

ＣＰＵ９０６に加えて、又はその代わりに、ＧＰＵ９０８は、コンピューティング・デバイス９００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するためのコンピュータ可読命令のうちの少なくともいくつかを実行するように構成され得る。ＧＰＵ９０８のうちの１つ又は複数は、統合型ＧＰＵでもよく（たとえば、ＣＰＵ９０６のうちの１つ又は複数を有する、及び／或いは、ＧＰＵ９０８のうちの１つ又は複数は、個別のＧＰＵでもよい。実施例において、ＧＰＵ９０８のうちの１つ又は複数は、ＣＰＵ９０６のうちの１つ又は複数のＣＰＵのコプロセッサでもよい。ＧＰＵ９０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、コンピューティング・デバイス９００によって使用され得る。たとえば、ＧＰＵ９０８は、ＧＰＵでの汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵ）のために使用され得る。ＧＰＵ９０８は、数百又は数千のソフトウェア・スレッドを同時に処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ９０８は、レンダリング・コマンド（たとえば、ホスト・インターフェイスを介して受信されるＣＰＵ９０６からのレンダリング・コマンド）に応答して出力画像の画素データを生成し得る。ＧＰＵ９０８は、画素データ又は任意の他の適したデータ、たとえば、ＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば、ディスプレイ・メモリ、を含み得る。ディスプレイ・メモリは、メモリ９０４の一部として含まれ得る。ＧＰＵ９０８は、並行して（たとえば、リンクを介して）動作する２つ以上のＧＰＵを含み得る。リンクは、ＧＰＵを直接接続する（たとえば、ＮＶＬＩＮＫを使用して）ことができる、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ９０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、それ自体のメモリを含むことができる、又は他のＧＰＵとメモリを共用することができる。

ＣＰＵ９０６及び／又はＧＰＵ９０８に加えて又はその代わりに、論理ユニット９２０は、コンピューティング・デバイス９００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するためのコンピュータ可読命令のうちの少なくともいくつかを実行するように構成され得る。実施例において、ＣＰＵ９０６、ＧＰＵ９０８、及び／又は論理ユニット９２０は、方法、プロセス及び／又はそれの部分の任意の組合せを別個に又はともに実行することができる。論理ユニット９２０のうちの１つ又は複数は、ＣＰＵ９０６及び／又はＧＰＵ９０８のうちの１つ又は複数の部分でもよい及び／又はそれに統合することができ、及び／又は、論理ユニット９２０のうちの１つ又は複数は、個別の構成要素でもよい又は他の方法でＣＰＵ９０６及び／又はＧＰＵ９０８の外部でもよい。実施例において、論理ユニット９２０のうちの１つ又は複数は、ＣＰＵ９０６のうちの１つ又は複数及び／又はＧＰＵ９０８のうちの１つ又は複数のコプロセッサでもよい。

論理ユニット９２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、データ処理ユニット（ＤＰＵ：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ Ｃｏｒｅ）、テンソル・プロセッシング・ユニット（ＴＰＵ：Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ Ｖｉｓｕａｌ Ｃｏｒｅ）、ビジョン・プロセッシング・ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス・プロセッシング・クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、テクスチャ・プロセッシング・クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：Ｔｒｅｅ Ｔｒａｖｅｒｓａｌ Ｕｎｉｔ）、人工知能アクセラレータ（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｃｃｅｌｅｒａｔｏｒ）、深層学習アクセラレータ（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）、演算論理ユニット（ＡＬＵ：Ａｒｉｔｈｍｅｔｉｃ－Ｌｏｇｉｃ Ｕｎｉｔ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、浮動小数点ユニット（ＦＰＵ：Ｆｌｏａｔｉｎｇ Ｐｏｉｎｔ Ｕｎｉｔ）、入力／出力（Ｉ／Ｏ）要素、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）要素、及び／又は同類のものを含む。

通信インターフェイス９１０は、有線及び／又はワイヤレス通信を含む、電子通信ネットワークを介してコンピューティング・デバイス９００が他のコンピューティング・デバイスと通信することを可能にする１つ又は複数の受信器、送信器、及び／又は送受信器を含み得る。通信インターフェイス９１０は、いくつかの異なるネットワーク、たとえば、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、ＺｉｇＢｅｅ（登録商標）など）、有線ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信する）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネット、のいずれかを介する通信を可能にするための構成要素及び機能性を含み得る。１つ又は複数の実施例において、論理ユニット９２０及び／又は通信インターフェイス９１０は、１つ又は複数のＧＰＵ９０８（たとえば、そのメモリ）に直接にネットワークを介して及び／又は相互接続システム９０２を介して受信されたデータを送信するための１つ又は複数のデータ処理ユニット（ＤＰＵ）を含み得る。

Ｉ／Ｏポート９１２は、それらのうちのいくつかはコンピューティング・デバイス９００に組み込む（たとえば、統合する）ことができる、Ｉ／Ｏ構成要素９１４、プレゼンテーション構成要素９１８、及び／又は他の構成要素を含む他のデバイスに、コンピューティング・デバイス９００が論理的に結合されることを可能にし得る。例示的Ｉ／Ｏ構成要素９１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素９１４は、ユーザによって生成されるエア・ジェスチャ、音声、又は他の生理的入力を処理するナチュラル・ユーザ・インターフェイス（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃ）を提供し得る。いくつかの事例において、入力は、さらに処理するために適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上の及び画面付近両方でのジェスチャの認識、エア・ジェスチャ、頭部及び視標追跡、及びコンピューティング・デバイス９００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。コンピューティング・デバイス９００は、ジェスチャ検出及び認識のための深度カメラ、たとえば、ステレオ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチスクリーン技術、及びこれらの組合せを含み得る。加えて、コンピューティング・デバイス９００は、動きの検出を可能にする加速度計又はジャイロスコープ（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部としての）を含み得る。いくつかの実例において、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするためにコンピューティング・デバイス９００によって使用され得る。

電力供給装置９１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置９１６は、コンピューティング・デバイス９００の構成要素が動作することを可能にするために、コンピューティング・デバイス９００に電力を提供することができる。

プレゼンテーション構成要素９１８は、ディスプレイ（たとえば、モニタ、タッチスクリーン、テレビジョン画面、ヘッドアップディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ－ｄｉｓｐｌａｙ）、他のディスプレイ・タイプ、又はその組合せ）、スピーカ、及び／又は他のプレゼンテーション構成要素を含み得る。プレゼンテーション構成要素９１８は、他の構成要素（たとえば、ＧＰＵ９０８、ＣＰＵ９０６、ＤＰＵなど）からデータを受信し、データを出力する（たとえば、画像、ビデオ、サウンドなどとして）ことができる。

例示的データ・センタ
図１０は、本開示の少なくとも１つの実施例において使用され得る例示的データ・センタ１０００を示す。データ・センタ１０００は、データ・センタ・インフラストラクチャ層１０１０、フレームワーク層１０２０、ソフトウェア層１０３０、及び／又はアプリケーション層１０４０を含み得る。

図１０に示すように、データ・センタ・インフラストラクチャ層１０１０は、資源オーケストレータ１０１２、グループ化された計算資源１０１４、及びノード計算資源（「ノードＣ．Ｒ．」）１０１６（１）～１０１６（Ｎ）を含むことができ、そこで、「Ｎ」は、任意の完全な、正の整数を表す。少なくとも１つの実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）は、任意の数の中央処理装置（ＣＰＵ）又は他のプロセッサ（ＤＰＵ、アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、グラフィックス・プロセッサ又はグラフィックス・プロセッシング・ユニット（ＧＰＵ）などを含む）、メモリ・デバイス（たとえば、ダイナミック・リードオンリ・メモリ）、記憶デバイス（たとえば、ソリッド・ステート又はディスク・ドライブ）、ネットワーク入力／出力（ＮＷ Ｉ／Ｏ：ｎｅｔｗｏｒｋ ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（ＶＭ）、電力モジュール、及び／又は冷却モジュールなどを含み得るが、これらに限定されない。いくつかの実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）のうちの１つ又は複数のノードＣ．Ｒ．は、前述の計算資源のうちの１つ又は複数を有するサーバに対応し得る。加えて、いくつかの実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６１（Ｎ）は、１つ又は複数の仮想構成要素、たとえば、ｖＧＰＵ、ｖＣＰＵ、及び／又は同類のもの、を含み得る、及び／又は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）のうちの１つ又は複数は、仮想機械（ＶＭ）に対応し得る。

少なくとも１つの実施例において、グループ化された計算資源１０１４は、１つ又は複数のラック（図示せず）に格納された別個のグループのノードＣ．Ｒ．１０１６、或いは様々な地理的場所にあるデータ・センタに格納された多数のラック（やはり図示せず）を含み得る。グループ化された計算資源１０１４内のノードＣ．Ｒ．１０１６の別個のグループは、１つ又は複数のワークロードをサポートするために構成され得る又は割り当てられ得るグループ化された計算、ネットワーク、メモリ又はストレージ資源を含み得る。少なくとも１つの実施例において、ＣＰＵ、ＧＰＵ、ＤＰＵ、及び／又は他のプロセッサを含むいくつかのノードＣ．Ｒ．１０１６は、１つ又は複数のワークロードをサポートするための計算資源を提供するために、１つ又は複数のラック内にグループ化され得る。１つ又は複数のラックはまた、任意の数の電力モジュール、冷却モジュール、及び／又はネットワーク・スイッチを、任意の組合せで、含み得る。

資源オーケストレータ１０１２は、１つ又は複数のノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）及び／又はグループ化された計算資源１０１４を構成又は他の方法で制御することができる。少なくとも１つの実施例において、資源オーケストレータ１０１２は、データ・センタ１０００のためのソフトウェア設計インフラストラクチャ（ＳＤＩ：ｓｏｆｔｗａｒｅ ｄｅｓｉｇｎ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含み得る。資源オーケストレータ１０１２は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。

少なくとも１つの実施例において、図１０に示すように、フレームワーク層１０２０は、ジョブ・スケジューラ１０２８、構成マネージャ１０３４、資源マネージャ１０３６、及び／又は分散型ファイル・システム１０３８を含み得る。フレームワーク層１０２０は、ソフトウェア層１０３０のソフトウェア１０３２及び／又はアプリケーション層１０４０の１つ若しくは複数のアプリケーション１０４２をサポートするために、フレームワークを含み得る。ソフトウェア１０３２又はアプリケーション１０４２は、ウェブベースのサービス・ソフトウェア又はアプリケーション、たとえば、アマゾン・ウェブ・サービス、グーグル・クラウド及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるもの、をそれぞれ含み得る。フレームワーク層１０２０は、大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システム１０３８を使用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）などのフリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。少なくとも１つの実施例において、ジョブ・スケジューラ１０２８は、データ・センタ１０００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。構成マネージャ１０３４は、異なる層、たとえば、ソフトウェア層１０３０と、大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム１０３８を含むフレームワーク層１０２０、を構成する能力を有し得る。資源マネージャ１０３６は、分散型ファイル・システム１０３８及びジョブ・スケジューラ１０２８のサポートのためにマップされた又は割り当てられたクラスタ化された又はグループ化された計算資源を管理する能力を有し得る。少なくとも１つの実施例において、クラスタ化された又はグループ化された計算資源は、データ・センタ・インフラストラクチャ層１０１０にグループ化された計算資源１０１４を含み得る。資源マネージャ１０３６は、資源オーケストレータ１０１２と調整してこれらのマップされた又は割り当てられた計算資源を管理することができる。

少なくとも１つの実施例において、ソフトウェア層１０３０に含まれるソフトウェア１０３２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）の少なくとも部分、グループ化された計算資源１０１４、及び／又はフレームワーク層１０２０の分散型ファイル・システム１０３８によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これらに限定されない。

少なくとも１つの実施例において、アプリケーション層１０４０に含まれるアプリケーション１０４２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）の少なくとも部分、グループ化された計算資源１０１４、及び／又はフレームワーク層１０２０の分散型ファイル・システム１０３８によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、認知計算、並びに、トレーニング若しくは推論ソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）、及び／又は１つ又は複数の実施例と併せて使用される他の機械学習アプリケーションを含む、機械学習アプリケーションを含み得るが、これらに限定されない。

少なくとも１つの実施例において、構成マネージャ１０３４、資源マネージャ１０３６、及び資源オーケストレータ１０１２のうちのいずれかは、任意の技術的に可能な方式で取得される任意の量及びタイプのデータに基づいて任意の数及びタイプの自己書換え型アクションを実装することができる。自己書換え型アクションは、よくない可能性のある構成決定を行うこと及びデータ・センタの十分に活用されていない及び／又は実行の不十分な部分をおそらく回避することからデータ・センタ１０００のデータ・センタ・オペレータを解放し得る。

データ・センタ１０００は、１つ又は複数の機械学習モデルをトレーニングする或いは本明細書に記載の１つ又は複数の実施例による１つ又は複数の機械学習モデルを使用して情報を予測する又は推論するために、ツール、サービス、ソフトウェア或いは他の資源を含み得る。たとえば、機械学習モデルは、データ・センタ１０００に関して前述されたソフトウェア及び／又は計算資源を使用するニューラル・ネットワーク・アーキテクチャによる重量パラメータの計算によって、トレーニングされ得る。少なくとも１つの実施例において、１つ又は複数のニューラル・ネットワークに対応するトレーニングされた又は配備された機械学習モデルは、たとえば、本明細書に記載のものに限定されない、１つ又は複数のトレーニング技法を介して計算された重量パラメータを使用することによって、データ・センタ１０００に関して前述された資源を使用する情報の推論又は予測のために使用され得る。

少なくとも１つの実施例において、データ・センタ１０００は、前述の資源を使用するトレーニング及び／又は推論の実行のために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、及び／又は他のハードウェア（若しくはそれに対応する仮想計算資源）を使用することができる。さらに、前述の１つ又は複数のソフトウェア及び／又はハードウェア資源は、情報の推論をユーザがトレーニング又は実行することを可能にするためのサービス、たとえば、画像認識、音声認識、又は他の人工知能サービス、として構成され得る。

例示的ネットワーク環境
本開示の実施例の実装において使用するのに適したネットワーク環境は、１つ又は複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図９のコンピューティング・デバイス９００の１つ又は複数のインスタンスで実装され得る－ たとえば、各デバイスは、コンピューティング・デバイス９００の類似の構成要素、特徴、及び／又は機能性を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が、実装される場合、バックエンド・デバイスは、データ・センタ１０００の一部として含まれ得、その実例は、図１０に関して本明細書でさらに詳述される。

ネットワーク環境の構成要素は、有線、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又はネットワークのネットワークを含み得る。実例として、ネットワークは、１つ又は複数のワイド・エリア・ネットワーク（ＷＡＮ）、１つ又は複数のローカル・エリア・ネットワーク（ＬＡＮ）、１つ又は複数のパブリック・ネットワーク、たとえば、インターネット及び／又は公衆交換電話網（ＰＳＴＮ）、及び／又は１つ又は複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、又はアクセス・ポイントなどさえも（他の構成要素と同様に）、ワイヤレス接続を提供し得る。

互換性のあるネットワーク環境は、１つ又は複数のピア・ツー・ピア・ネットワーク環境－ サーバがネットワーク環境に含まれないことがある場合－ と、１つ又は複数のクライアント・サーバ・ネットワーク環境－ １つ又は複数のサーバがネットワーク環境に含まれ得る場合－ とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスに実装され得る。

少なくとも１つの実施例において、ネットワーク環境は、１つ又は複数のクラウドベースのネットワーク環境、分散された計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、１つ又は複数のコア・ネットワーク・サーバ及び／又はエッジ・サーバを含み得る、サーバのうちの１つ又は複数に実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び／又はアプリケーション層の１つ又は複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施例において、クライアント・デバイスのうちの１つ又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る（たとえば、１つ又は複数のアプリケーション・プログラミング・インターフェイス（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）を介してサービス・ソフトウェア及び／又はアプリケーションにアクセスすることによって）。フレームワーク層は、たとえば大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。

クラウドベースのネットワーク環境は、本明細書に記載の計算及び／又はデータ・ストレージ機能（又は１つ若しくは複数のその部分）の任意の組合せを実施するクラウド計算及び／又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、セントラル又はコア・サーバ（たとえば、州、領域、国、世界に分散され得る１つ又は複数のデータ・センタなどの）から複数の場所に分散され得る。ユーザ（たとえば、クライアント・デバイス）への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部分をエッジ・サーバに任じ得る。クラウドベースのネットワーク環境は、プライベート（たとえば、単一の組織に限定される）でもよく、パブリック（たとえば、多数の組織に利用可能）、及び／又はその組合せ（たとえば、ハイブリッド・クラウド環境）でもよい。

クライアント・デバイスは、図９に関して本明細書に記載の例示的コンピューティング・デバイス９００の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。実例として、及び限定ではなく、クライアント・デバイスは、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＭＰ３プレーヤ、仮想現実ヘッドセット、全地球測位システム（ＧＰＳ）又はデバイス、ビデオプレーヤ、ビデオカメラ、監視デバイス又はシステム、車両、船、飛行船、仮想機械、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス又はシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、或いは任意の他の適切なデバイスとして実施され得る。

本開示は、コンピュータ又は他の機械、たとえば、パーソナル・データ・アシスタント又は他のハンドヘルド・デバイス、によって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又は機械使用可能命令との一般的関連において説明され得る。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造などを含む、プログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、民生用電子機器、汎用コンピュータ、より専門的コンピューティング・デバイスなどを含む、様々なシステム構成において実施され得る。本開示はまた、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される、分散型計算環境において実施され得る。

本明細書では、２つ以上の要素に関する「及び／又は」の記述は、１つのみの要素、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。

本開示の主題は、法的要件を満たすために、本明細書に記載の特異性を有して説明されている。しかしながら、その説明自体は、本開示の範囲を限定することを意図していない。そうではなくて、本発明者により、他の現在又は未来の技術と併せて、本文書に記載されているものと類似の異なるステップ又はステップの組合せを含むために、本請求の主題は他のやり方でも実施され得ることが企図されている。さらに、「ステップ」及び／又は「ブロック」という用語が、用いられる方法の異なる要素を含意するために、本明細書で使用され得るが、それらの用語は、個々のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて、本明細書に記載の様々なステップの間の任意の特定の順番を暗示するものとして解釈されるべきではない。

Claims (20)

1. 一連のフレームの第１の参照フレームと前記一連のフレームの第２の参照フレームとの間のオプティカル・フローを計算するステップと、
   前記オプティカル・フローに少なくとも基づいて、第１のセットの１つ又は複数のローカル運動ベクトル及び第２のセットの１つ又は複数のローカル運動ベクトルを生成するステップであって、前記第１のセットの１つ又は複数のローカル運動ベクトルが、前記第１の参照フレーム内の１つ又は複数の第１の画素位置に表示された第１の視覚的コンテンツを、前記第１の参照フレームの前記第１の視覚的コンテンツに対応する中間フレーム内の１つ又は複数の画素位置にマップし、前記第２のセットの１つ又は複数のローカル運動ベクトルが、前記第２の参照フレーム内の１つ又は複数の第２の画素位置に表示された第２の視覚的コンテンツを、前記第２の参照フレームの前記第２の視覚的コンテンツに対応する前記中間フレーム内の１つ又は複数の画素位置にマップする、ステップと、
   前記中間フレーム内の前記１つ又は複数の画素位置のうちの少なくとも１つの画素位置における前記第１の視覚的コンテンツと前記第２の視覚的コンテンツとの間の矛盾を検出するステップと、
   前記検出するステップに応答して、前記中間フレーム内の前記少なくとも１つの画素位置について、前記第１のセットの１つ若しくは複数のローカル運動ベクトル又は前記第２のセットの１つ若しくは複数のローカル運動ベクトルのうちのどちらがグローバル運動ベクトルに対してより高い類似性スコアを有するかを決定するステップと、
   前記より高い類似性スコアに対応する１つ又は複数のローカル運動ベクトルを使用して、前記中間フレーム内の前記少なくとも１つの画素位置の画素データを生成するステップと
   を含む方法。
2. 前記画素データを前記生成するステップが、前記第１の参照フレームと前記第２の参照フレームとの間に前記画素データを内挿すること、又は前記第１の参照フレーム若しくは前記第２の参照フレームのうちの１つ若しくは複数から前記画素データを外挿することのうちの１つ又は複数に少なくとも基づく、請求項１に記載の方法。
3. 前記矛盾を前記検出するステップが、第１の表面の少なくとも一部分が前記第１の表面とは異なる第２の表面の前にあることを示す前記第１のセットの１つ又は複数のローカル運動ベクトル、及び前記第１の表面の前記少なくとも一部分が前記第２の表面の後ろにあることを示す前記第２のセットの１つ又は複数のローカル運動ベクトルに少なくとも基づく、請求項１に記載の方法。
4. 前記グローバル運動ベクトルの角度と前記第１のセットの１つ若しくは複数のローカル運動ベクトルの１つ若しくは複数の角度との間の差、又は、
   前記グローバル運動ベクトルの大きさと前記第１のセットの１つ若しくは複数のローカル運動ベクトルの１つ若しくは複数の大きさとの間の差
   のうちの１つ又は複数に少なくとも基づいて、前記より高い類似性スコアを計算するステップをさらに含む、請求項１に記載の方法。
5. 前記画素データを前記生成するステップが、１つ又は複数の期間にわたってディスプレイ・デバイスを使用して表示される場合に目標フレーム・レートを達成するために、前記一連のフレームの１つ又は複数の追加のフレームを生成することである、請求項１に記載の方法。
6. 前記第１のセットの１つ若しくは複数のローカル運動ベクトル又は前記第２のセットの１つ若しくは複数のローカル運動ベクトルのうちのどちらが前記グローバル運動ベクトルに対してより高い類似性スコアを有するかを前記決定するステップが、前記グローバル運動ベクトルの大きさに比例して前記グローバル運動ベクトルの角度と前記第１のセットの１つ又は複数の運動ベクトルの１つ又は複数の角度との間の差に重み付けする類似性メトリックを計算することに少なくとも基づく、請求項１に記載の方法。
7. 前記第１のセットの１つ若しくは複数のローカル運動ベクトル又は前記第２のセットの１つ若しくは複数のローカル運動ベクトルのうちのどちらが前記より高い類似性スコアを有するかを前記決定するステップが、
   前記第１のセットの１つ又は複数のローカル運動ベクトルの第１の類似性スコアを計算するステップと、
   前記第２のセットの１つ又は複数のローカル運動ベクトルの第２の類似性スコアを計算するステップと、
   前記第１の類似性スコアを前記第２の類似性スコアと比較するステップと
   を含む、請求項１に記載の方法。
8. 前記グローバル運動ベクトルが、前記第１の参照フレームと前記第２の参照フレームとの間の運動ベクトルの統計的組合せを使用して計算される、請求項１に記載の方法。
9. 前記少なくとも１つの画素位置の前記画素データを前記生成するステップが、前記第１のセットの１つ又は複数のローカル運動ベクトルに対応する前記より高い類似性スコアに少なくとも基づく前記第２の視覚的コンテンツに対応しない、請求項１に記載の方法。
10. 動作を実行するための１つ又は複数の処理ユニットを備えるシステムであって、前記動作が、
    第１の参照フレームと第２の参照フレームとの間のオプティカル・フローに少なくとも基づいて、前記第１の参照フレームの第１の視覚的コンテンツを中間フレーム内の画素位置にマップする第１の運動ベクトル、及び前記第２の参照フレームの第２の視覚的コンテンツを前記中間フレーム内の前記画素位置にマップする第２の運動ベクトルを生成するステップと、
    前記第１の視覚的コンテンツ及び前記第２の視覚的コンテンツに少なくとも基づいて、前記画素位置における前記第１の運動ベクトルと前記第２の運動ベクトルとの間の矛盾を決定するステップと、
    前記第１の運動ベクトルが前記第２の運動ベクトルよりもグローバル運動ベクトルへのより高い類似性を有することに少なくとも基づいて、前記第１の運動ベクトルを使用して前記画素位置に対応する画素データを生成するステップと
    を含む、システム。
11. 前記画素データを前記生成するステップが、前記第１の参照フレームと前記第２の参照フレームとの間に前記画素データを内挿すること、又は前記第１の参照フレーム若しくは前記第２の参照フレームのうちの１つ若しくは複数から前記画素データを外挿することのうちの１つ又は複数に少なくとも基づく、請求項１０に記載のシステム。
12. 前記矛盾を前記決定するステップが、第１の表面の少なくとも一部分が前記画素位置において前記第１の表面とは異なる第２の表面の前にあることを示す前記第１の運動ベクトル、及び前記第１の表面の前記少なくとも一部分が前記画素位置において前記第２の表面の後ろにあることを示す前記第２の運動ベクトルに少なくとも基づく、請求項１０に記載のシステム。
13. 前記グローバル運動ベクトルの第１の角度と前記第１の運動ベクトルの第２の角度との間の差、又は
    前記グローバル運動ベクトルの第１の大きさと前記第１の運動ベクトルの第２の大きさとの間の差
    のうちの１つ又は複数を計算することに少なくとも基づいて、前記第１の運動ベクトルが前記第２の運動ベクトルよりも前記グローバル運動ベクトルへのより高い類似性を有すると決定するステップをさらに含む、請求項１０に記載のシステム。
14. 前記システムが、
    自律機械若しくは半自律機械のための制御システム、
    自律機械若しくは半自律機械のための認知システム、
    シミュレーション動作を実行するためのシステム、
    デジタル・ツイン動作を実行するためのシステム、
    光輸送シミュレーションを実行するためのシステム、
    ３Ｄ資産の共同コンテンツ作成を実行するためのシステム、
    深層学習動作を実行するためのシステム、
    エッジ・デバイスを使用して実装されるシステム、
    ロボットを使用して実装されるシステム、
    会話型ＡＩ動作を実行するためのシステム、
    合成データを生成するためのシステム、
    仮想現実コンテンツ、拡張現実コンテンツ、若しくは複合現実コンテンツのうちの少なくとも１つを提示するためのシステム、
    １つ若しくは複数の仮想機械（ＶＭ）を組み込むシステム、
    データ・センタにおいて少なくとも部分的に実装されるシステム、又は
    クラウド計算資源を使用して少なくとも部分的に実装されるシステム
    のうちの少なくとも１つに含まれる、請求項１０に記載のシステム。
15. 内挿されたフレームの画素位置の画素データを、１つ又は複数のグローバル運動ベクトルと前記内挿されたフレームを生成するために使用される１つ又は複数のフレームの１つ又は複数の矛盾する部分の１つ又は複数のローカル運動ベクトルとの間の類似性に少なくとも基づいて決定する１つ又は複数の回路
    を備えるプロセッサ。
16. 前記画素位置の前記画素データが、前記１つ又は複数の矛盾する部分の第１の部分を使用して、前記１つ又は複数の矛盾する部分の第２の部分に対応するローカル運動ベクトルが前記第１の部分に対応する少なくとももう１つのローカル運動ベクトルよりも前記１つ又は複数のグローバル運動ベクトルに類似していないと少なくとも決定することに少なくとも基づいて決定される、請求項１５に記載のプロセッサ。
17. 前記内挿されたフレームが、少なくとも、前記１つ又は複数のフレームのうちの第１のフレームと前記１つ又は複数のフレームのうちの第２のフレームとの間に前記画素データを内挿することによって生成される、請求項１５に記載のプロセッサ。
18. 前記１つ又は複数の矛盾する部分が、前記１つ又は複数のフレームの１つ又は複数の第１のフレームと前記１つ又は複数のフレームの１つ又は複数の第２のフレームとの間の画素コリジョンを識別することに少なくとも基づいて決定される、請求項１５に記載のプロセッサ。
19. 前記類似性が、
    前記１つ若しくは複数のグローバル運動ベクトルの１つ若しくは複数の第１の角度と前記１つ若しくは複数のローカル運動ベクトルの１つ若しくは複数の第２の角度との間の差、又は
    前記１つ若しくは複数のグローバル運動ベクトルの１つ若しくは複数の第１の大きさと前記１つ若しくは複数のローカル運動ベクトルの１つ若しくは複数の第２の大きさとの間の差
    のうちの１つ又は複数に少なくとも基づいて計算される、請求項１５に記載のプロセッサ。
20. 前記プロセッサが、
    自律機械若しくは半自律機械のための制御システム、
    自律機械若しくは半自律機械のための認知システム、
    シミュレーション動作を実行するためのシステム、
    デジタル・ツイン動作を実行するためのシステム、
    光輸送シミュレーションを実行するためのシステム、
    ３Ｄ資産の共同コンテンツ作成を実行するためのシステム、
    深層学習動作を実行するためのシステム、
    エッジ・デバイスを使用して実装されるシステム、
    ロボットを使用して実装されるシステム、
    会話型ＡＩ動作を実行するためのシステム、
    合成データを生成するためのシステム、
    仮想現実コンテンツ、拡張現実コンテンツ、若しくは複合現実コンテンツのうちの少なくとも１つを提示するためのシステム、
    １つ若しくは複数の仮想機械（ＶＭ）を組み込むシステム、
    データ・センタにおいて少なくとも部分的に実装されるシステム、又は
    クラウド計算資源を使用して少なくとも部分的に実装されるシステム
    のうちの少なくとも１つに含まれる、請求項１５に記載のプロセッサ。