JP2024502772A - 合成イメージの生成 - Google Patents

Abstract

一実施形態では、方法は、複数のイメージソースの各々からソースイメージおよびソースイメージに関連付けられたパラメータを受信することと、ソースイメージに関連付けられたパラメータに基づいて複数の層の範囲内の層にソースイメージの各々を関連付けることであって、複数の層の範囲はソースイメージの合成層順序を指定する、ソースイメージの各々を関連付けることと、特定のソースイメージに関連付けられたパラメータおよび特定のソースイメージに関連付けられた層に先行する層があればそれに関連付けられたソースイメージの各々に関連付けられたパラメータの少なくとも一部に基づいて、ソースイメージ内の各特定のソースイメージについて対応するカスタマイズされた歪みメッシュを生成することと、対応するカスタマイズされた歪みメッシュを使用してソースイメージの各々を修正することと、修正されたソースイメージを使用して合成イメージを生成することと、合成イメージをビデオ内のフレームとして表示することと、を含む。【選択図】図５

Description

本開示は、一般に、人工現実システムに関し、特に、ビデオストリームのフレームの合成イメージを生成することに関する。

人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（たとえば、現実世界の写真）と組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。人工現実感は、たとえば人工現実感におけるコンテンツの生成および／または人工現実感における使用（たとえば、人工現実感における活動の実行）がなされるアプリケーション、製品、付属品、サービス、またはこれらの何らかの組合せと関連付けられている場合がある。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

したがって、本発明は、添付の特許請求の範囲による方法、システム、コンピュータ可読記憶媒体、およびコンピュータプログラムを対象とする。

一態様において、本発明は、コンピューティングデバイスの合成器モジュールによって、
ｎ個のイメージソースの各々から、ソースイメージおよびソースイメージに関連付けられたパラメータを受信することであって、ｎ個のイメージソースは少なくとも２つのイメージソースを含む、受信することと、
ソースイメージに関連付けられたパラメータに基づいて、ソースイメージの各々を複数の層の範囲内の層に関連付けることであって、複数の層の範囲は、ソースイメージの合成層順序を指定する、関連付けることと、
ソースイメージ内の各特定のソースイメージについて、特定のソースイメージに関連付けられたパラメータ、および特定のソースイメージに関連付けられた層に先行する層があればそれに関連付けられたソースイメージの各々に関連付けられたパラメータの少なくとも一部に基づいて、対応するカスタマイズされた歪みメッシュを生成することと、
対応するカスタマイズされた歪みメッシュを使用してソースイメージの各々を修正することと、
修正されたソースイメージを使用して合成イメージを生成することと、
合成イメージをビデオ内のフレームとして表示することと、を含む方法を対象とする。

本発明による方法の実施形態では、ソースイメージの各々に関連付けられたパラメータは、層パラメータを含んでもよく、層は、ソースイメージに関連付けられた層パラメータに基づいてソースイメージに関連付けられる。

本発明による方法の実施形態では、ソースイメージの各々に関連付けられたパラメータは、ソースイメージの境界領域、ソースイメージによって埋められる出力イメージ内の領域を示すクリッピングパラメータを含んでもよい。これに加えて、複数の層の範囲内の最後の層に関連付けられたソースイメージに関連付けられたクリッピングパラメータは、出力イメージの全領域がソースイメージの境界領域であることを示し得る。

本発明による方法の実施形態では、ソースイメージの各々に関連付けられたパラメータは、ソースイメージの境界領域、ソースイメージによって埋められる出力イメージ内の領域を示すクリッピングパラメータを含んでもよい。これに加えて、ソースイメージに関連付けられたパラメータは、ソースイメージに対して実行される１つまたは複数のワーピング動作に関連付けられた情報を含む再投影パラメータを含んでもよい。さらに、ソースイメージの境界領域は、１つまたは複数のワーピング動作の予想される影響に基づいて更新され得る。

本発明による方法の実施形態では、ソースイメージの各々に関連付けられたパラメータは、ソースイメージの境界領域、ソースイメージによって埋められる出力イメージ内の領域を示すクリッピングパラメータを含んでもよい。ソースイメージに関連付けられたパラメータは、ソースイメージに対して実行される１つまたは複数のワーピング動作に関連付けられた情報を含む再投影パラメータを含んでもよく、ソースイメージの境界領域は、１つまたは複数のワーピング動作の予想される影響に基づいて更新され得る。これに加えて、ソースイメージの第１のソースイメージの更新された境界領域は、第１のソースイメージに関連付けられた層に先行する層があればそれに関連付けられたソースイメージの各第２のイメージについて、第１のソースイメージの更新された境界領域から第１のソースイメージの更新された境界領域と第２のソースイメージの更新された境界領域との間の交差部分を減算することによってさらに更新され得る。

本発明による方法の実施形態では、ソースイメージの各々に関連付けられたパラメータは、ソースイメージの境界領域、ソースイメージによって埋められる出力イメージ内の領域を示すクリッピングパラメータを含んでもよい。ソースイメージに関連付けられたパラメータは、ソースイメージに対して実行される１つまたは複数のワーピング動作に関連付けられた情報を含む再投影パラメータを含んでもよく、ソースイメージの境界領域は、１つまたは複数のワーピング動作の予想される影響に基づいて更新され得る。ソースイメージの第１のソースイメージの更新された境界領域は、第１のソースイメージに関連付けられた層に先行する層があればそれに関連付けられたソースイメージの各第２のイメージについて、第１のソースイメージの更新された境界領域から第１のソースイメージの更新された境界領域と第２のソースイメージの更新された境界領域との間の交差部分を減算することによってさらに更新され得る。これに加えて、ソースイメージに関連付けられたパラメータは、ソースイメージの遷移領域に関連付けられた情報を含む混合パラメータを含んでもよく、遷移領域はアルファブレンディングの対象である。

本発明による方法の実施形態では、ソースイメージの各々に関連付けられたパラメータは、ソースイメージの境界領域、ソースイメージによって埋められる出力イメージ内の領域を示すクリッピングパラメータを含んでもよい。ソースイメージに関連付けられたパラメータは、ソースイメージに対して実行される１つまたは複数のワーピング動作に関連付けられた情報を含む再投影パラメータを含んでもよく、ソースイメージの境界領域は、１つまたは複数のワーピング動作の予想される影響に基づいて更新され得る。ソースイメージの第１のソースイメージの更新された境界領域は、第１のソースイメージに関連付けられた層に先行する層があればそれに関連付けられたソースイメージの各第２のイメージについて、第１のソースイメージの更新された境界領域から第１のソースイメージの更新された境界領域と第２のソースイメージの更新された境界領域との間の交差部分を減算することによってさらに更新され得る。ソースイメージに関連付けられたパラメータは、ソースイメージの遷移領域に関連付けられた情報を含む混合パラメータを含んでもよく、遷移領域はアルファブレンディングの対象である。これに加えて、ソースイメージの遷移領域は、ソースイメージの更新された境界領域のサブセットであってもよく、混合パラメータはカットオフ距離を含み、ソースイメージの更新された境界領域の境界からカットオフ距離内の点は、ソースイメージの遷移領域に属する。

本発明による方法の実施形態では、ソースイメージの各々に関連付けられたパラメータは、ソースイメージの境界領域、ソースイメージによって埋められる出力イメージ内の領域を示すクリッピングパラメータを含んでもよい。ソースイメージに関連付けられたパラメータは、ソースイメージに対して実行される１つまたは複数のワーピング動作に関連付けられた情報を含む再投影パラメータを含んでもよく、ソースイメージの境界領域は、１つまたは複数のワーピング動作の予想される影響に基づいて更新され得る。ソースイメージの第１のソースイメージの更新された境界領域は、第１のソースイメージに関連付けられた層に先行する層があればそれに関連付けられたソースイメージの各第２のイメージについて、第１のソースイメージの更新された境界領域から第１のソースイメージの更新された境界領域と第２のソースイメージの更新された境界領域との間の交差部分を減算することによってさらに更新され得る。ソースイメージに関連付けられたパラメータは、ソースイメージの遷移領域に関連付けられた情報を含む混合パラメータを含んでもよく、遷移領域はアルファブレンディングの対象である。これに加えて、ソースイメージに関連付けられた混合パラメータは、ソースイメージの遷移領域に適用される透明度のレベルを含んでもよい。代替的または追加的に、ソースイメージの各々に対応するカスタマイズされた歪みメッシュを生成することは、ソースイメージの更新された境界領域に一致する歪みメッシュを生成することを含んでもよく、任意選択的に、ソースイメージの各々を修正することは、
関連付けられた再投影パラメータに基づいてソースイメージに対して１つまたは複数のワーピング動作を実行することと、
ワーピングされたソースイメージを対応するカスタマイズされた歪みメッシュ上にマッピングすることと、
ソースイメージの遷移領域に対してアルファブレンディングを実行することと、をさらに含んでもよい。

本発明による方法の実施形態では、ソースイメージの各々に関連付けられたパラメータは、ソースイメージの境界領域を示すクリッピングパラメータを含んでもよく、ソースイメージによって埋められる出力イメージ内の領域およびソースイメージに関連付けられたパラメータは、再投影パラメータを含み、ソースイメージに対して実行される１つまたは複数のワーピング動作に関連付けられた情報を含んでもよい。これに加えて、１つまたは複数のワーピング動作は空間ワーピング動作を含んでもよく、再投影パラメータはソースイメージ内の動きベクトルを含む。

本発明による方法の実施形態では、ソースイメージの各々に関連付けられたパラメータは、ソースイメージの境界領域を示すクリッピングパラメータを含んでもよく、ソースイメージによって埋められる出力イメージ内の領域およびソースイメージに関連付けられたパラメータは、再投影パラメータを含み、ソースイメージに対して実行される１つまたは複数のワーピング動作に関連付けられた情報を含んでもよい。これに加えて、１つまたは複数のワーピング動作はタイムワーピング動作を含み、再投影パラメータは頭部の位置を含む。

本発明による方法の実施形態では、ソースイメージの各々に関連付けられたパラメータは、ソースイメージの境界領域、ソースイメージによって埋められる出力イメージ内の領域を示すクリッピングパラメータを含んでもよい。これに加えて、方法は、ｎ個のイメージソースの各々に、パラメータ提案を含む合成結果を送信することをさらに含んでもよく、イメージソースは、パラメータ提案に基づいて次のフレームに対応するソースイメージに関連付けられたパラメータを調整する。

本発明による方法の実施形態では、ソースイメージの各々に関連付けられたパラメータは、ソースイメージの境界領域、ソースイメージによって埋められる出力イメージ内の領域を示すクリッピングパラメータを含んでもよく、方法は、パラメータ提案を含む合成結果をｎ個のイメージソースの各々に送信することをさらに含んでもよく、イメージソースは、パラメータ提案に基づいて次のフレームに対応するソースイメージに関連付けられたパラメータを調整する。これに加えて、合成結果は、ソースイメージの境界領域がソースイメージのうちの他のソースイメージの境界領域によって完全に遮蔽されているか、部分的に遮蔽されているか、または全く遮蔽されていないかを示す結果コードを含んでもよく、任意選択的に、パラメータ提案は、結果コードに基づいて決定される新しい層提案をさらに含んでもよい。

本発明による方法の実施形態では、表示された合成イメージは、レンズシステムを介してユーザによって見られる可能性があり、ソースイメージの各々に対応するカスタマイズされた歪みメッシュは、レンズシステムによって引き起こされるレンズ歪みを補償するために使用される可能性がある。

一態様では、本発明は、上記の方法のいずれかを実行するときに、または、
ｎ個のイメージソースの各々から、ソースイメージおよびソースイメージに関連付けられたパラメータを受信することであって、ｎ個のイメージソースは、少なくとも２つのイメージソースを含む、受信することと、
ソースイメージに関連付けられたパラメータに基づいて、ソースイメージの各々を複数の層の範囲内の層に関連付けることであって、複数の層の範囲が、ソースイメージの合成層順序を指定する、関連付けることと、
ソースイメージ内の各特定のソースイメージについて、特定のソースイメージに関連付けられたパラメータ、および特定のソースイメージに関連付けられた層に先行する層があればそれに関連付けられたソースイメージの各々に関連付けられたパラメータの少なくとも一部に基づいて、対応するカスタマイズされた歪みメッシュを生成することと、
対応するカスタマイズされた歪みメッシュを使用してソースイメージの各々を修正することと、
修正されたソースイメージを使用して合成イメージを生成することと、
合成イメージをビデオ内のフレームとして表示することと、を実行するときに動作可能であるソフトウェアを具体化する、１つまたは複数のコンピュータ可読記憶媒体、好ましくは非一時的記憶媒体をさらに対象とする。

一態様において、本発明は、１つまたは複数のプロセッサと、プロセッサによって実行可能な命令を含むプロセッサに結合された非一時的メモリと、を備えるシステムを対象とし、プロセッサは、上記の方法のいずれかを実行するときに、または、
ｎ個のイメージソースの各々から、ソースイメージおよびソースイメージに関連付けられたパラメータを受信することであって、ｎ個のイメージソースは、少なくとも２つのイメージソースを含む、受信することと、
ソースイメージに関連付けられたパラメータに基づいて、ソースイメージの各々を複数の層の範囲内の層に関連付けることであって、複数の層の範囲は、ソースイメージの合成層順序を指定する、関連付けることと、
ソースイメージ内の各特定のソースイメージについて、特定のソースイメージに関連付けられたパラメータ、および特定のソースイメージに関連付けられた層に先行する層があればそれに関連付けられたソースイメージの各々に関連付けられたパラメータの少なくとも一部に基づいて、対応するカスタマイズされた歪みメッシュを生成することと、
対応するカスタマイズされた歪みメッシュを使用してソースイメージの各々を修正することと、
修正されたソースイメージを使用して合成イメージを生成することと、
合成イメージをビデオ内のフレームとして表示することと、を実行する命令を実行するときに動作可能である。

一態様では、本発明は、プログラムがコンピュータによって実行されるときに、コンピュータに上記の方法のいずれかを実行させる命令を含むコンピュータプログラムをさらに対象とする。

本明細書に記載の特定の実施形態は、複数のソースからのイメージに基づいてビデオストリームのフレームの合成イメージを生成するためのシステムおよび方法に関する。現代のメディアデバイスは、高解像度、低レイテンシのディスプレイを有することが予想される。しかしながら、メディアデバイス上のグラフィックス処理ユニット（ＧＰＵ）は、ディスプレイのフレームレートで解像度を有するイメージをレンダリングするのに十分な計算能力を有していない可能性がある。計算能力とレンダリングされたイメージの所望の解像度との間のこのような不一致を緩和するために、コンピューティングデバイスは、画面の一部に優先順位を付け、画面の優先部分のみを高解像度でレンダリングする可能性がある。あるアプリケーションでは、コンピューティングデバイスは、インセット領域（たとえば、中心／中心窩領域）をフルフレームレートでレンダリングし、コンピューティングデバイスは、アウトセット領域（イメージの残りの領域）をハーフフレームレートでレンダリングする可能性がある。別のアプリケーションでは、コンピューティングデバイスは、低解像度でレンダリングされたイメージにアクセスする可能性がある。コンピューティングデバイスは、イメージの領域に計算集約的なアップスケーリングアルゴリズムを適用してもよく、コンピューティングデバイスは、イメージの残りの部分に安価なアルゴリズムを適用する可能性がある。さらに別のアプリケーションでは、コンピューティングデバイスは、イメージの一部に対して計算集約型色収差補正（ＣＡＣ）を実行し得るが、コンピューティングデバイスは、イメージの残りの部分に対してＣＡＣを実行しない。

レンズシステムを介して見られるディスプレイ上のイメージは、「レンズ歪み」と呼ばれる歪みを受ける可能性がある。このレンズ歪みに対抗するために、「バレル歪み」と呼ばれる補完的な歪みを加える必要があり得る。合成器モジュールと呼ばれるコンピューティングデバイスの論理コンポーネントは、歪みメッシュを使用してバレル歪みを長方形イメージに加えるプロセスを処理する可能性がある。歪みメッシュ内の頂点の位置は、本質的に必要なバレル歪みを符号化する可能性がある。次いで、イメージを歪みメッシュにマッピングすることによって、歪みをイメージに加える可能性がある。本明細書に開示される本発明は、いくつかのイメージソースからのイメージの効率的なマッピングを可能にする可能性がある。本発明は、合成イメージ上のイメージソースの数からイメージ間の位置ずれおよび鮮明な遷移を排除する可能性がある。

コンピューティングデバイスの合成器モジュールは、ｎ個のイメージソースの各々からソースイメージおよびソースイメージに関連付けられたパラメータを受信する可能性がある。ｎ個のイメージソースは、少なくとも２つのイメージソースを含んでもよい。ソースイメージの各々に関連付けられたパラメータは、層パラメータ、クリッピングパラメータ、再投影パラメータ、または混合パラメータを含んでもよい。合成器モジュールは、ソースイメージの各々を、ソースイメージに関連付けられた層パラメータに基づいて複数の層の範囲内の層に関連付けてもよい。複数の層の範囲は、ソースイメージの合成層順序を指定する可能性がある。ソースイメージに関連付けられたクリッピングパラメータは、ソースイメージの境界領域を示し得る。ソースイメージの境界領域は、ソースイメージによって埋められる出力イメージ内の領域であってもよい。ソースイメージに関連付けられた再投影パラメータは、ソースイメージに対して実行される１つまたは複数のワーピング動作に関連付けられた情報を含んでもよい。特定の実施形態では、１つまたは複数のワーピング動作は、空間ワーピング動作を含んでもよい。再投影パラメータは、ソースイメージ内の動きベクトルを含んでもよい。特定の実施形態では、１つまたは複数のワーピング動作は、タイムワーピング動作を含んでもよい。再投影パラメータは、頭部の位置を含んでもよい。合成器モジュールは、１つまたは複数のワーピング動作の予想される影響に基づいて、ソースイメージの各々の境界領域を更新し得る。合成器モジュールは、ソースイメージのうちの第２のソースイメージの更新された境界領域に基づいて、ソースイメージの第１のソースイメージの更新された境界領域をさらに更新し得る。第２のソースイメージの各々は、第１のソースイメージに関連付けられた層に先行する層があればそれに関連付けられる。第２のソースイメージの各々について、合成器モジュールは、第１のソースイメージの更新された境界領域と第２のソースイメージの更新された境界領域との間の交差部分を減算する可能性がある。

合成器モジュールは、第１のソースイメージに関連付けられたパラメータおよび第２のソースイメージの各々に関連付けられたパラメータの少なくとも一部に基づいて、第１のソースイメージに対応するカスタマイズされた歪みメッシュを生成する可能性がある。合成器モジュールは、第１のソースイメージの更新された境界領域に一致する歪みメッシュを生成する可能性がある。第１のソースイメージの更新された境界領域は、第１のソースイメージに関連付けられたクリッピングパラメータおよび再投影パラメータと、第２のソースイメージの各々に関連付けられたクリッピングパラメータおよび再投影パラメータとに基づいて決定され得る。合成器モジュールは、対応するカスタマイズされた歪みメッシュを使用してソースイメージの各々を修正する可能性がある。ソースイメージを修正するために、合成器モジュールは、関連付けられた再投影パラメータに基づいてソースイメージに対して１つまたは複数のワーピング動作を実行する可能性がある。合成器モジュールは、ワーピングされたソースイメージを対応するカスタマイズされた歪みメッシュにマッピングする可能性がある。合成器モジュールは、ソースイメージのための遷移領域に対するアルファブレンディングを実行する可能性がある。ソースイメージに関連付けられた混合パラメータは、ソースイメージの遷移領域に関連付けられた情報を含んでもよい。遷移領域は、アルファブレンディングの対象であってもよい。ソースイメージの遷移領域は、ソースイメージの更新された境界領域のサブセットであってもよい。混合パラメータは、カットオフ距離を含む。ソースイメージの更新された境界領域の境界からカットオフ距離内の点は、ソースイメージの遷移領域に属する可能性がある。ソースイメージに関連付けられた混合パラメータは、ソースイメージの遷移領域に適用される透明度のレベルを含んでもよい。合成器モジュールは、透明度のレベルをソースイメージの遷移領域に適用する可能性がある。合成器モジュールは、修正されたソースイメージを使用して合成イメージを生成する可能性がある。合成器モジュールは、合成イメージをビデオ内のフレームとして表示する可能性がある。表示された合成イメージは、レンズシステムを介してユーザによって見られる可能性がある。ソースイメージの各々に対応するカスタマイズされた歪みメッシュは、レンズシステムによって引き起こされるレンズ歪みを補償するために使用され得る。合成器モジュールは、合成結果をｎ個のイメージソースの各々に送信する可能性がある。合成結果は、パラメータ提案を含んでもよい。合成結果は、ソースイメージの境界領域が他のソースイメージの境界領域によって完全に遮蔽されているか、部分的に遮蔽されているか、または全く遮蔽されていないかを示す結果コードを含んでもよい。パラメータ提案は、結果コードに基づいて決定される新しい層提案を含んでもよい。イメージソースは、パラメータ提案に基づいて、次のフレームに対応するソースイメージに関連付けられたパラメータを調整する可能性がある。

本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、上記で開示された実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システムおよびコンピュータプログラム製品を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システムにおいても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式的理由で選定されるにすぎない。ただし、任意の先行請求項に対する意図的な前方参照（特に、マルチ従属）の結果としての如何なる主題も、同様に請求可能であるため、請求項およびその特徴の任意の組合せが開示され、添付の特許請求の範囲において選定した従属にかかわらず請求可能である。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれも、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。

例示的な人工現実システムを示す。 例示的な拡張現実システムを示す。 複数のイメージソースからイメージを合成するための例示的なシステムアーキテクチャを示す。 歪みメッシュを使用したイメージへのバレル歪みの例示的なアプリケーションを示す。 ソースイメージの例示的な境界領域を示す。 ソースイメージの例示的な更新された境界領域を示す。 ソースイメージに基づいて合成イメージを生成する例示的なプロセスを示す。 カットオフ距離によって画定された例示的な遷移領域を示す。 複数のソースイメージに基づいて合成イメージを生成するための例示的な方法を示す。 例示的なコンピュータシステムを示す。

図１Ａは、例示的な人工現実システム１００Ａを示す。特定の実施形態では、人工現実システム１００Ａは、ヘッドセット１０４と、コントローラ１０６と、コンピューティングデバイス１０８とを備えてもよい。ユーザ１０２は、視覚的人工現実コンテンツをユーザ１０２に表示する可能性があるヘッドセット１０４を装着する可能性がある。ヘッドセット１０４は、オーディオ人工現実コンテンツをユーザ１０２に提供する可能性があるオーディオ機器を含んでもよい。ヘッドセット１０４は、環境のイメージおよびビデオを取り込み可能な１つまたは複数のカメラを具備していてもよい。ヘッドセット１０４は、ユーザ１０２の輻輳距離を決定する視線追跡システムを具備していてもよい。ヘッドセット１０４は、ユーザ１０２からの音声入力を取り込むためのマイクロフォンを含んでもよい。ヘッドセット１０４は、ヘッドマウントディスプレイ（ＨＭＤ）と呼んでもよい。コントローラ１０６は、トラックパッドならびに１つもしくは複数のボタンを備えていてもよい。コントローラ１０６は、ユーザ１０２からの入力を受信し、入力をコンピューティングデバイス１０８に中継する可能性がある。また、コントローラ１０６は、触覚フィードバックをユーザ１０２に与えるようにしてもよい。コンピューティングデバイス１０８は、ケーブルまたはワイヤレス接続を介してヘッドセット１０４およびコントローラ１０６に接続する可能性がある。コンピューティングデバイス１０８は、ヘッドセット１０４およびコントローラ１０６を制御して、人工現実コンテンツをユーザ１０２に提供し、ユーザから入力を受信する可能性がある。コンピューティングデバイス１０８は、スタンドアロンのホストコンピューティングデバイス、ヘッドセット１０４と統合されたオンボードコンピューティングデバイス、モバイルデバイス、または人工現実コンテンツをユーザ１０２に提供し、ユーザからの入力を受信する可能性がある任意の他のハードウェアプラットフォームであってもよい。

図１Ｂは、例示的な拡張現実システム１００Ｂを示す。拡張現実システム１００Ｂは、フレーム１１２と、１つまたは複数のディスプレイ１１４と、コンピューティングデバイス１０８とを備えるヘッドマウントディスプレイ（ＨＭＤ）１１０（たとえば、眼鏡）を含んでもよい。ディスプレイ１１４は、ＨＭＤ１１０を装着したユーザが当該ディスプレイ１１４を通して現実世界を見られるようにすると同時に、視覚的な人工現実感コンテンツをユーザに表示できるように、透明であってもよいし、半透明であってもよい。ＨＭＤ１１０は、オーディオ人工現実感コンテンツをユーザに提供し得るオーディオ機器を具備していてもよい。ＨＭＤ１１０は、環境のイメージおよびビデオを取り込み可能な１つまたは複数のカメラを具備していてもよい。ＨＭＤ１１０は、当該ＨＭＤ１１０を装着したユーザの輻輳運動を追跡する視線追跡システムを具備していてもよい。ＨＭＤ １１０は、ユーザからの音声入力を取り込むためのマイクロフォンを含んでもよい。拡張現実感システム１００Ｂは、トラックパッドならびに１つもしくは複数のボタンを備えたコントローラをさらに具備していてもよい。コントローラは、ユーザからの入力を受信し、入力をコンピューティングデバイス１０８に中継する可能性がある。また、コントローラは、触覚フィードバックをユーザに与えるようにしてもよい。コンピューティングデバイス１０８は、ケーブルまたはワイヤレス接続を介してＨＭＤ １１０およびコントローラに接続する可能性がある。コンピューティングデバイス１０８は、拡張現実コンテンツをユーザに提供し、ユーザからの入力を受信するようにＨＭＤ １１０およびコントローラを制御する可能性がある。コンピューティングデバイス１０８は、スタンドアロンのホストコンピュータデバイス、ＨＭＤ １１０と統合されたオンボードコンピュータデバイス、モバイルデバイス、または人工現実コンテンツをユーザに提供し、ユーザからの入力を受信する可能性がある任意の他のハードウェアプラットフォームであってもよい。

特定の実施形態では、コンピューティングデバイス１０８の合成器モジュールは、複数のイメージソースからのイメージに基づいてビデオストリームのフレームの合成イメージを生成する可能性がある。人工現実システム１００Ａまたは拡張現実システム１００Ｂは、高解像度、低レイテンシディスプレイを有することが予想され得る。しかしながら、コンピューティングデバイス１０８上のグラフィックス処理ユニット（ＧＰＵ）は、ディスプレイのフレームレートで解像度を有するイメージをレンダリングするのに十分な計算能力を有していない可能性がある。計算能力とレンダリングされたイメージの所望の解像度との間のこのような不一致を緩和するために、コンピューティングデバイス１０８は、画面の一部に優先順位を付け、画面の優先部分のみを高解像度でレンダリングする可能性がある。コンピューティングデバイス１０８の合成器モジュールは、優先部分および他の部分を、ビデオストリームのフレームに対応する単一の出力イメージに合成する可能性がある。

図２は、複数のイメージソースからイメージを合成するための例示的なシステムアーキテクチャを示す。合成器モジュール２１０は、コンピューティングデバイス１０８の論理コンポーネントであってもよい。合成器モジュール２１０は、オーケストレーションコンポーネント２１１、歪みメッシュ生成コンポーネント２１３、ソースイメージ修正コンポーネント２１５、および合成イメージ生成コンポーネント２１７を含んでもよい。オーケストレーションコンポーネント２１１は、ソースイメージの各々を複数の層の範囲内の層に関連付けてもよい。オーケストレーションコンポーネント２１１はまた、ソースイメージに関連付けられたパラメータに基づいて、ソースイメージの各々について更新された境界領域を決定する可能性がある。歪みメッシュ生成コンポーネント２１３は、ソースイメージの各々に対応するカスタマイズされた歪みメッシュを生成する可能性がある。ソースイメージ修正コンポーネント２１５は、対応するカスタマイズされた歪みメッシュを使用してソースイメージの各々を修正する可能性がある。合成イメージ生成コンポーネント２１７は、修正されたソースイメージを使用して合成イメージを生成する可能性がある。合成器モジュール２１０は、複数のイメージソース２２０Ａ、２２０Ｂ、および２２０Ｘと通信する可能性がある。ビデオストリームの各フレームについて、複数のイメージソース２２０Ａ、２２０Ｂ、および２２０Ｘの各々は、ソースイメージおよびソースイメージに関連付けられたパラメータを提供する可能性がある。合成器モジュール２１０は、受信したソースイメージを処理することによってビデオストリームのフレームに対応する出力イメージを合成した後、合成結果を複数のイメージソース２２０Ａ、２２０Ｂ、および２２０Ｘの各々に送信する可能性がある。特定の実施形態では、合成結果は、次のフレームのソースイメージに関連付けられたパラメータを調整するときにイメージソースによって考慮され得る１つまたは複数の提案を含んでもよい。特定の実施形態では、複数のイメージソース２２０Ａ、２２０Ｂ、および２２０Ｘは、コンピューティングデバイス１０８の構成要素であってもよい。特定の実施形態では、複数のイメージソース２２０Ａ、２２０Ｂ、および２２０Ｘの少なくとも一部は、コンピューティングデバイス１０８の外部のエンティティであってもよい。本開示は、複数のイメージソースからイメージを合成するための特定のシステムアーキテクチャを記載しているが、本開示は、複数のイメージソースからイメージを合成するための任意の適切なシステムアーキテクチャを企図している。

特定の実施形態では、複数のイメージソースからの複数のイメージを使用して合成イメージを生成することは、時間的フォービエイテッドレンダリングに使用する可能性がある。コンピューティングデバイス１０８は、ビデオシーケンスのすべてのフレームのインセット領域（たとえば、中心／中心窩領域）をレンダリングする可能性がある。コンピューティングデバイス１０８は、フレームの半分のアウトセット領域（イメージの残りの領域）をレンダリングし、フレームの残りの半分で前のフレームのためにレンダリングされたアウトセット領域を使用する可能性がある。

特定の実施形態では、複数のイメージソースからの複数のイメージを使用して合成イメージを生成することは、超解像ソリューションに使用され得る。コンピューティングデバイス１０８は、低解像度でレンダリングされたイメージにアクセスする可能性がある。コンピューティングデバイス１０８は、計算集約的な機械学習ベースのアップスケーリングアルゴリズムをイメージの領域に適用してもよく、コンピューティングデバイス１０８は、より安価なアルゴリズムをイメージの残りの部分に適用する可能性がある。

特定の実施形態では、複数のイメージソースからの複数のイメージを使用して合成イメージを生成することは、伝送エラーを回復するために使用され得る。コンピューティングデバイス１０８は、サーバなどの第２のコンピューティングデバイスから複数のデータユニットに分割されたイメージを受信する可能性がある。複数のデータユニットのうちの１つまたは複数が欠落している場合、コンピューティングデバイス１０８は、欠落したデータユニットに対応する前のフレームの１つまたは複数の部分を現在のフレームに再投影する可能性がある。

特定の実施形態では、合成器２１０は、レンズ歪みに対抗するために歪みメッシュを使用してバレル歪みをイメージに適用する可能性がある。レンズシステムを介して見られるディスプレイ上のイメージは、レンズ歪みを受ける可能性がある。歪みメッシュ内の頂点の位置は、本質的に必要なバレル歪みを符号化する可能性がある。合成器２１０は、イメージにバレル歪みを加えるために、イメージを歪みメッシュにマッピングする可能性がある。図３は、歪みメッシュを使用したイメージへのバレル歪みの例示的なアプリケーションを示す。限定ではなく、例として、図３に示すように、アプリケーションは、図３の（ａ）に示すようにＨＭＤ １０４に表示されるイメージを生成する。ＨＭＤ １０４のディスプレイはレンズシステムを介してユーザによって見られるため、レンズ歪みに対抗するためにバレル歪みをイメージに加える必要があり得る。合成器モジュール２１０は、図３の（ｂ）に示すような歪みメッシュを準備する可能性がある。合成器モジュール２１０は、イメージを歪みメッシュ上にマッピングすることによってバレル歪みをイメージに適用する可能性がある。コンピューティングデバイス１０８は、図３の（ｃ）に示すように、歪んだイメージをＨＭＤ １０４に表示する可能性がある。特定の実施形態では、イメージが表示される前に、イメージに対して１つまたは複数のワーピング動作を実行し得る。

特定の実施形態では、コンピューティングデバイスの合成器モジュール２１０は、ｎ個のイメージソースの各々からソースイメージおよびソースイメージに関連付けられたパラメータを受信する可能性がある。ｎ個のイメージソースは、少なくとも２つのイメージソースを含んでもよい。ソースイメージに関連付けられたパラメータは、層パラメータ、クリッピングパラメータ、再投影パラメータ、または混合パラメータを含んでもよい。特定の実施形態では、ｎ個のイメージソースの各々は、適用可能なパラメータのみを関連付けられたソースイメージに送信する可能性がある。特定の実施形態では、ｎ個のイメージソースは、合成器モジュール２１０が属するコンピューティングデバイス１０８の一部であってもよい。特定の実施形態では、ｎ個のイメージソースの少なくとも一部は、合成器モジュール２１０が属するコンピューティングデバイス１０８の外部の構成要素であってもよい。本開示は、特定の方法でソースイメージおよびソースイメージに関連付けられたパラメータを受信することについて説明しているが、本開示は、任意の適切な方法でソースイメージおよびソースイメージに関連付けられたパラメータを企図している。

特定の実施形態では、ソースイメージの各々に関連付けられたパラメータは、層パラメータを含んでもよい。合成器モジュール２１０のオーケストレーションコンポーネント２１１は、ソースイメージに関連付けられた層パラメータに基づいて、ソースイメージの各々を複数の層の範囲内の層に関連付けてもよい。複数の層の範囲は、ソースイメージの合成層順序を指定する可能性がある。限定ではなく、例として、合成器モジュール２１０のオーケストレーションコンポーネント２１１は、ｎ個のイメージソースからｎ個のソースイメージの各々に範囲［０，ｎ－１］内の層を割り当て得る。ｊがｉよりも大きい数である場合、層ｉのソースイメージは、層ｊのソースイメージよりも高い優先度を有する可能性がある。特定の実施形態では、合成器モジュール２１０のオーケストレーションコンポーネント２１１は、ソースイメージに割り当てられた層がソースイメージの積層順序を指定する可能性があるように、ｎ個のソースイメージの各々に任意の範囲の層を割り当て得る。本開示は、特定の方法で層をソースイメージの各々に関連付けることを記載しているが、本開示は、任意の適切な方法で層をソースイメージの各々に関連付けることを企図している。

特定の実施形態では、ソースイメージの各々に関連付けられたパラメータは、ソースイメージの境界領域を示すクリッピングパラメータを含んでもよい。ソースイメージの境界領域は、ソースイメージによって埋められる出力イメージ内の領域であってもよい。合成器モジュール２１０のオーケストレーションコンポーネント２１１は、ソースイメージに関連付けられたクリッピングパラメータに基づいて、ソースイメージの境界領域を特定する可能性がある。特定の実施形態では、複数の層の範囲内の最後の層に関連付けられたソースイメージに関連付けられたクリッピングパラメータは、出力イメージの全領域がソースイメージの境界領域であることを示し得る。特定の実施形態では、イメージソースは、イメージソースがソースイメージを合成器モジュール２１０に送信するときに、クリッピングパラメータを合成器モジュール２１０に提供しなくてもよい。そのような場合、合成器モジュール２１０は、出力イメージの全領域がソースイメージの境界領域であると考慮され得る。図４Ａは、ソースイメージの例示的な境界領域を示す。限定ではなく、例として、図４Ａに示されているように、合成器モジュール２１０は、２つのソースイメージ、すなわち、ソースイメージ４１０およびソースイメージ４２０を受信する。合成器モジュール２１０のオーケストレーションコンポーネント２１１は、それらの関連付けられた層パラメータに基づいて、層０をソースイメージ４１０に割り当て、層１をソースイメージ４２０に割り当て得る。ソースイメージ４１０に関連付けられたクリッピングパラメータは、領域４１２がソースイメージ４１０の境界領域であることを示し得る。ソースイメージ４２０に関連付けられたクリッピングパラメータは、イメージの全領域である領域４２２がソースイメージ４２０の境界領域であることを示し得る。特定の実施形態では、ソースイメージ４２０に関連付けられたイメージソースは、クリッピングパラメータを合成器モジュール２１０に提供しなくてもよい。合成器モジュール２１０のオーケストレーションコンポーネント２１１は、イメージの全領域がソースイメージ４２０の境界領域４２２であると決定する可能性がある。本開示は、特定の方法でソースイメージの境界領域を特定することについて説明しているが、本開示は、任意の適切な方法でソースイメージの境界領域を特定することを企図している。

特定の実施形態では、ソースイメージに関連付けられたパラメータは、再投影パラメータを含んでもよい。ソースイメージに関連付けられた再投影パラメータは、ソースイメージに対して実行される１つまたは複数のワーピング動作に関連付けられた情報を含んでもよい。特定の実施形態では、１つまたは複数のワーピング動作は、空間ワーピング動作を含んでもよい。空間ワーピング動作は、イメージがレンダリングされる時間インスタンスとイメージが表示される時間インスタンスとの間の期間中にイメージ内の物体の動きを補償する可能性がある。再投影パラメータは、ソースイメージ内の動きベクトルを含んでもよい。合成器モジュール２１０は、ソースイメージの境界領域に対して空間ワーピング動作を実行する必要があるときに、イメージソースから空間ワーピング動作に関連付けられた再投影パラメータを受信する可能性がある。動きベクトルは、前のフレームに対応するイメージに基づいて決定する可能性がある。特定の実施形態では、動きベクトルを決定することは、オプティカルフローに基づいてもよい。空間ワーピング動作を実行するために、合成器モジュール２１０は、再投影パラメータ内の動きベクトルを使用して、境界領域内で動いている物体が再配置されるように、ソースイメージの境界領域を歪め得る。本開示は、空間ワーピング動作に関連付けられた再投影パラメータを特定の方法で受信することについて説明しているが、本開示は、空間ワーピング動作に関連付けられた再投影パラメータを任意の適切な方法で受信することを企図している。

特定の実施形態では、１つまたは複数のワーピング動作は、タイムワーピング動作を含んでもよい。ユーザは、イメージがレンダリングされる時間インスタンスとイメージがユーザに表示される時間インスタンスとの間の期間中に頭部を動かす可能性がある。このような頭部の動きを補償することができないと、没入感を損なう可能性がある。ユーザの頭部の位置の変化を補償するために、観察された頭部の位置の変化に基づいてタイムワーピングパラメータを計算する可能性がある。合成器モジュール２１０がソースイメージの境界領域に対してタイムワーピング動作を実行するとき、合成器モジュール２１０は、頭部の位置の変化を調整するためにソースイメージの境界領域をシフトする可能性がある。再投影パラメータは、頭部の位置を含んでもよい。合成器モジュール２１０は、ソースイメージの境界領域に対してタイムワーピング動作を実行する必要があるときに、タイムワーピング動作に関連付けられた再投影パラメータをイメージソースから受信する可能性がある。本開示は、特定の方法でタイムワーピング動作に関連付けられた再投影パラメータを受信することを説明しているが、本開示は、任意の適切な方法でタイムワーピング動作に関連付けられた再投影パラメータを受信することを企図している。

特定の実施形態では、合成器モジュール２１０のオーケストレーションコンポーネント２１１は、ソースイメージの各々のための境界領域を、１つまたは複数のワーピング動作の予想される影響に基づいて更新することによって、ソースイメージの各々のための第１の更新された境界領域を決定する可能性がある。特定の実施形態では、合成器モジュール２１０のオーケストレーションコンポーネント２１１は、ソースイメージのうちの第２のソースイメージの第１の更新された境界領域に基づいて、ソースイメージの第１のソースイメージの第２の更新された境界領域を決定する可能性がある。第２のソースイメージの各々は、第１のソースイメージに関連付けられた層に先行する層があればそれに関連付けられる。第２のソースイメージの各々について、合成器モジュール２１０のオーケストレーションコンポーネント２１１は、第１のソースイメージの第２更新された境界領域から、第１のソースイメージの第２の更新された境界領域と第２のソースイメージの第１の更新された境界領域との交差部分を減算してもよい。特定の実施形態では、合成器モジュール２１０のオーケストレーションコンポーネント２１１は、第１のソースイメージの第２の更新された境界領域から、第１のソースイメージの第２の更新された境界領域と第２のソースイメージの各々の第２の更新された境界領域との間の交差部分を減算する可能性がある。以下は、ソースイメージの境界領域を更新するための擬似コードであり、ここで、ｂａ［ｉ］は、層ｉのソースイメージの境界領域であり、ｆｂａ［ｉ］は、層ｉのソースイメージの第１の更新された境界領域であり、ｓｂａ［ｉ］は、層ｉのソースイメージの第２の更新された境界領域であり、ｒｐ＿ｐａｒａｍ［ｉ］は、層ｉのソースイメージに関連付けられた再投影パラメータであり、ｆｎ＿ｕｐｄａｔｅ＿ｂａ＿ｂａｓｅｄ＿ｏｎ＿ｒｅ＿ｐａｒａｍ（ｂａ，ｒｐ＿ｐａｒａｍ）は、再投影パラメータに基づいて境界領域を更新する関数であり、ｂａ、ｒｐ＿ｐａｒａｍに基づいて、ｆｎ＿ｉｎｔｅｒｓｅｃｔｉｏｎ（ａ，ｂ）は、領域ａとｂとの交差部分を計算する関数であり、
範囲（０，ｎ－１）のｉについて、
ｆｂａ［ｉ］＝ｆｎ＿ｕｐｄａｔｅ＿ｂａ＿ｂａｓｅｄ＿ｏｎ＿ｒｅ＿ｐａｒａｍ（ｂａ［ｉ］，ｒｐ＿ｐａｒａｍ［ｉ］）であり、
範囲（０，ｎ－１）のｉについて、
ｓｂａ［ｉ］＝ｆｂａ［ｉ］であり、
範囲（０，ｉ－１）のｊについて、
ｓｂａ［ｉ］＝ｓｂａ［ｉ］－ｆｎ＿ｉｎｔｅｒｓｅｃｔｉｏｎ（ｓｂａ［ｉ］，ｆｂａ［ｊ］）である。
本開示の残りの部分では、更新された境界領域は、第２の更新された境界領域を指してもよい。図４Ｂは、ソースイメージの例示的な更新された境界領域を示す。限定ではなく、例として、図４Ａに示す前の例を続けると、図４Ｂに示すように、ソースイメージ４１０に関連付けられた投影パラメータは、タイムワーピング動作に関連付けられたパラメータを含んでもよい。合成器モジュール２１０のオーケストレーションコンポーネント２１１は、タイムワーピング動作の予想される影響に基づいて、ソースイメージ４１０の第１の更新された境界領域４１４を決定する可能性がある。ソースイメージ４１０は層０に関連付けられているので、ソースイメージ４１０の第２の更新された境界領域は、ソースイメージ４１０の第１の更新された境界領域４１４と同一であり得る。ソースイメージ４２０に関連付けられた投影パラメータは、空間ワーピング動作に関連付けられたパラメータを含んでもよい。合成器モジュール２１０のオーケストレーションコンポーネント２１１は、空間ワーピング動作の予想される影響に基づいて、ソースイメージ４２０の第１の更新された境界領域を決定する可能性がある。合成器モジュール２１０のオーケストレーションコンポーネント２１１は、ソースイメージ４２０の第１の更新された境界領域を、ソースイメージ４２０の第２の更新された境界領域の初期値として設定する可能性がある。次に、合成器モジュール２１０のオーケストレーションコンポーネント２１１は、ソースイメージ４２０の第２の更新された境界領域からソースイメージ４１０の更新された境界領域４２４を減算することによって、ソースイメージ４２０の第２の更新された境界領域４１４を決定する可能性がある。ソースイメージ４１０の更新された境界領域４１４は、第２のイメージ４２０の第１の更新された境界領域のサブセットであるため、第２のイメージ４２０の第１の更新された境界領域とソースイメージ４１０の更新された境界領域４１４との間の交差部分は、ソースイメージ４１０の更新された境界領域４１４となる。本開示は、特定の方法で再投影パラメータに基づいてソースイメージの境界領域を更新することについて説明しているが、本開示は、任意の適切な方法で再投影パラメータに基づいてソースイメージの境界領域を更新することを企図している。

特定の実施形態では、合成器モジュール２１０の歪みメッシュ生成コンポーネント２１３は、第１のソースイメージに関連付けられたパラメータおよび第２のソースイメージの各々に関連付けられたパラメータの少なくとも一部に基づいて、第１のソースイメージに対応するカスタマイズされた歪みメッシュを生成してもよく、第２のソースイメージの各々は、第１のソースイメージに関連付けられた層に先行する層に関連付けられる。合成器モジュール２１０の歪みメッシュ生成コンポーネント２１３は、第１のソースイメージの第２の更新された境界領域に一致するカスタマイズされた歪みメッシュを生成してもよい。特定の実施形態では、合成器モジュール２１０の歪みメッシュ生成コンポーネント２１３は、カスタマイズされた歪みメッシュを第１のソースイメージの第２の更新された境界領域に一致させるために、出力イメージ全体の歪みメッシュをクリッピングすることによって、カスタマイズされた歪みメッシュを生成する可能性がある。第１のソースイメージの第１の更新された境界領域は、第１のソースイメージに関連付けられたクリッピングパラメータおよび再投影パラメータに基づいて決定され得る。第１のソースイメージの第２の更新された境界領域は、第１のソースイメージの第１の更新された境界領域および第２のソースイメージの各々の第１の更新された境界領域に基づいて決定され得る。第２のソースイメージの第１の更新された境界領域は、第２のソースイメージに関連付けられたクリッピングパラメータおよび再投影パラメータに基づいて決定され得る。したがって、第１のソースイメージに対応するカスタマイズされた歪みメッシュは、第１のソースイメージに関連付けられたパラメータおよび第２のソースイメージの各々に関連付けられたパラメータに基づいて生成され得る。図５は、ソースイメージに基づいて合成イメージを生成する例示的なプロセスを示す。限定ではなく、例として、図５に示されるように、合成器モジュール２１０のオーケストレーションコンポーネント２１１は、ソースイメージ５１０および５２０の更新された境界領域を既に決定している。歪みメッシュ生成コンポーネント２１３は、カスタマイズされた歪みメッシュ５１５をソースイメージ５１０の更新された境界領域に一致させるために歪みメッシュ５０５全体をクリッピングすることによって、ソースイメージ５１０の更新された境界領域に一致するカスタマイズされた歪みメッシュ５１５を生成する可能性がある。歪みメッシュ生成コンポーネント２１３は、カスタマイズされた歪みメッシュ５２５をソースイメージ５２０の更新された境界領域に一致させるために歪みメッシュ５０５全体をクリッピングすることによって、ソースイメージ５２０の更新された境界領域に一致するカスタマイズされた歪みメッシュ５２５を生成する可能性がある。本開示は、特定の方法でソースイメージの更新された境界領域に一致するカスタマイズされた歪みメッシュを生成することについて説明しているが、本開示は、任意の適切な方法でソースイメージの更新された境界領域に一致するカスタマイズされた歪みメッシュを生成することを企図している。

特定の実施形態では、合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、対応するカスタマイズされた歪みメッシュを使用してソースイメージの各々を修正する可能性がある。合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、ソースイメージに関連付けられた再投影パラメータが対応するイメージソースから提供される場合、関連付けられた再投影パラメータに基づいてソースイメージに対して１つまたは複数のワーピング動作を実行する可能性がある。合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、ワーピングされたソースイメージを対応するカスタマイズされた歪みメッシュにマッピングする可能性がある。合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、ソースイメージに関連付けられる混合パラメータが対応するイメージソースから提供される場合、ソースイメージのための遷移領域へのアルファブレンディングを実行してもよい。特定の実施形態では、合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、ソースイメージに対して１つまたは複数のワーピング動作を実行し、ソースイメージを対応するカスタマイズされた歪みメッシュ上にマッピングし、同時にソースイメージの遷移領域に対するアルファブレンディングを実行する可能性がある。特定の実施形態では、合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、任意の適切な順序でソースイメージに対して３つの動作を実行する可能性がある。本開示は、特定の方法で対応するカスタマイズされた歪みメッシュを使用してソースイメージを修正することを説明しているが、本開示は、任意の適切な方法で対応するカスタマイズされた歪みメッシュを使用してソースイメージを修正することを企図している。

特定の実施形態では、ソースイメージを修正するために、合成器モジュール２１０のソースイメージ修正コンポーネント２１５が、関連付けられた再投影パラメータに基づいてソースイメージに対して１つまたは複数のワーピング動作を実行する可能性がある。限定ではなく、例として、図４Ｂに示される以前の例を続けると、合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、ソースイメージ４１０に対してタイムワーピング動作を実行する可能性がある。タイムワーピング動作の後、元の境界領域４１２上のイメージを更新された境界領域４１４にシフトする可能性がある。合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、ソースイメージ４２０に対して空間ワーピング動作を実行する可能性がある。空間ワーピング動作は、ソースイメージ４２０の更新された境界領域４２４に対して実行されてもよい。本開示は、特定の方法でソースイメージに対して１つまたは複数のワーピング動作を実行することについて説明しているが、本開示は、任意の適切な方法でソースイメージに対して１つまたは複数のワーピング動作を実行することを企図している。

特定の実施形態では、合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、ワーピングされたソースイメージを対応するカスタマイズされた歪みメッシュにマッピングする可能性がある。カスタマイズされた歪みメッシュは、ソースイメージの更新された境界領域と一致する可能性がある。限定ではなく、例として、図５に示す前の例を続けると、合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、カスタマイズされた歪みメッシュ５１５上にワーピングされたソースイメージ５１０をマッピングする可能性がある。カスタマイズされた歪みメッシュ５１５はソースイメージ５１０の更新された境界領域と一致するように生成されたので、ソースイメージ５１０の更新された境界領域のみがカスタマイズされた歪みメッシュ５１５にマッピングされ得る。合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、カスタマイズされた歪みメッシュ５２５上にワーピングされたソースイメージ５２０をマッピングする可能性がある。カスタマイズされた歪みメッシュ５２５はソースイメージ５２０の更新された境界領域と一致するように生成されたので、ソースイメージ５２０の更新された境界領域のみがカスタマイズされた歪みメッシュ５２５にマッピングされ得る。本開示は、特定の方法でソースイメージを対応するカスタマイズされた歪みメッシュにマッピングすることを説明しているが、本開示は、任意の適切な方法でソースイメージを対応するカスタマイズされた歪みメッシュにマッピングすることを企図している。

特定の実施形態では、合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、ソースイメージの遷移領域に対するアルファブレンディングを実行する可能性がある。ソースイメージに関連付けられたパラメータは、混合パラメータを含んでもよい。ソースイメージに関連付けられた混合パラメータは、ソースイメージの遷移領域に関連付けられた情報を含んでもよい。遷移領域は、アルファブレンディングの対象であってもよい。ソースイメージの遷移領域は、ソースイメージの更新された境界領域のサブセットであってもよい。混合パラメータは、カットオフ距離を含む。ソースイメージの更新された境界領域の境界からカットオフ距離内の点は、ソースイメージの遷移領域に属する可能性がある。ソースイメージに関連付けられた混合パラメータは、ソースイメージの遷移領域に適用される透明度のレベルを含んでもよい。合成器モジュール２１０は、ソースイメージのための遷移領域に透明度のレベルを適用する可能性がある。図６は、カットオフ距離によって画定された例示的な遷移領域を示す。限定ではなく、例として、図６に示されるように、合成器モジュール２１０は、ソースイメージ６１０のための更新された境界領域６２０を決定している可能性がある。ソースイメージ６１０に関連付けられた混合パラメータは、カットオフ距離を含んでもよい。合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、更新された境界領域６２０の境界からカットオフ距離内の領域を遷移領域６３０として決定する可能性がある。合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、更新された境界領域の境界からの点６３１の短縮距離Ｄ１がカットオフ距離よりも短いため、混合パラメータ内で提供される透明度のレベルを点６３１に適用する可能性がある。合成器モジュール２１０のソースイメージ修正コンポーネント２１５は、更新された境界領域の境界からの点６４１の短縮距離Ｄ２がカットオフ距離よりも大きいため、点６４１に透明度のレベルを適用しない可能性がある。更新された境界領域６２０の境界からカットオフ距離を超える領域は、非遷移領域６４０と呼んでもよい。本開示は、特定の方法で混合パラメータに基づいてソースイメージの遷移領域に対してアルファブレンディングを実行することを記載しているが、本開示は、任意の適切な方法で混合パラメータに基づいてソースイメージの遷移領域に対してアルファブレンディングを実行することを企図している。

特定の実施形態では、合成器モジュール２１０の合成イメージ生成コンポーネント２１７は、修正されたソースイメージを使用して合成イメージを生成する可能性がある。特定の実施形態では、合成器モジュール２１０の合成イメージ生成コンポーネント２１７は、合成イメージを生成するために、歪みメッシュマッピングされたソースイメージを、対応する層によって決定された積層順序で合成する可能性がある。限定ではなく、例として、図５に示す前の例を続けると、合成器モジュール２１０の合成イメージ生成コンポーネント２１７は、カスタマイズされた歪みメッシュ５１５でマッピングされたソースイメージ５１０と、カスタマイズされた歪みメッシュ５２５でマッピングされたソースイメージ５２０とを合成して、合成イメージ５３０を生成する可能性がある。ソースイメージ５１０および５２０の各々に対して１つまたは複数のワーピング動作が実行されていてもよい。ソースイメージ５１０および５２０の各々の遷移領域に対してアルファブレンディング動作が実行されていてもよい。本開示は、特定の方法でソースイメージに基づいて合成イメージを生成することを説明しているが、本開示は、任意の適切な方法でソースイメージに基づいて合成イメージを生成することを企図している。

特定の実施形態では、合成器モジュール２１０は、合成イメージをビデオ内のフレームとして表示する可能性がある。表示された合成イメージは、レンズシステムを介してユーザによって見られる可能性がある。ソースイメージの各々に対応するカスタマイズされた歪みメッシュは、レンズシステムによって引き起こされるレンズ歪みを補償するために使用され得る。限定ではなく、例として、合成イメージは、ＨＭＤ １０４に表示されてもよい。ユーザ１０２は、レンズ歪みを引き起こすレンズシステムを通してイメージを見られる可能性がある。バレル歪み合成イメージは、レンズ歪みを補償する可能性がある。本開示は、特定の方法で合成イメージを表示することについて説明しているが、本開示は、任意の適切な方法で合成イメージを表示することを企図している。

特定の実施形態では、合成器モジュール２１０は、合成結果をｎ個のイメージソースの各々に送信する可能性がある。合成結果は、パラメータ提案を含んでもよい。合成結果は、ソースイメージの境界領域が他のソースイメージの境界領域によって完全に遮蔽されているか、部分的に遮蔽されているか、または全く遮蔽されていないかを示す結果コードを含んでもよい。パラメータ提案は、結果コードに基づいて決定される新しい層提案を含んでもよい。イメージソースは、パラメータ提案に基づいて、次のフレームに対応するソースイメージに関連付けられたパラメータを調整する可能性がある。限定ではなく、例として、図２に示すように、合成器モジュール２１０は、合成結果をイメージソース２２０Ａ、２２０Ｂ、および２２０Ｘの各々に送信する可能性がある。合成結果は、成功、部分的に成功、または失敗を示す結果コードを含んでもよい。結果コードの値は、対応するソースイメージの更新された境界領域が他のソースイメージによってどれだけ遮蔽されているかに基づいて決定され得る。特定の実施形態では、合成器モジュール２１０は、イメージソースに１つまたは複数のパラメータ提案を提供してもよい。イメージソースは、合成器モジュール２１０からのパラメータ提案に基づいて、将来のフレームに対応するイメージのパラメータを調整する可能性がある。本開示は、特定の方法でイメージソースの各々に合成結果を提供することを記載しているが、本開示は、任意の適切な方法でイメージソースの各々に合成結果を提供することを企図している。

図７は、複数のソースイメージに基づいて合成イメージを生成するための例示的な方法７００を示す。本方法は、ステップ７１０で開始する可能性があり、合成器モジュール２１０は、ｎ個のイメージソースの各々からソースイメージおよびソースイメージに関連付けられたパラメータを受信する可能性がある。ｎ個のイメージソースは、少なくとも２つのイメージソースを含んでもよい。ステップ７２０において、合成器モジュール２１０は、ソースイメージの各々を、ソースイメージに関連付けられたパラメータに基づいて複数の層の範囲内の層に関連付けてもよい。複数の層の範囲は、ソースイメージの合成層順序を指定する可能性がある。ステップ７３０において、合成器モジュール２１０は、特定のソースイメージに関連付けられたパラメータと、特定のソースイメージに関連付けられた層に先行する層があればそれに関連付けられたソースイメージの各々に関連付けられたパラメータの少なくとも一部とに基づいて、ソースイメージ内の各特定のソースイメージについて対応するカスタマイズされた歪みメッシュを生成する可能性がある。ステップ７４０において、合成器モジュール２１０は、対応するカスタマイズされた歪みメッシュを使用してソースイメージの各々を修正する可能性がある。ステップ７５０において、合成器モジュール２１０は、修正されたソースイメージを使用して合成イメージを生成する可能性がある。ステップ７６０において、合成器モジュール２１０は、合成イメージをビデオ内のフレームとして表示する可能性がある。特定の実施形態は、適切な場合、図７の方法の１つまたは複数のステップを繰り返してもよい。本開示は、図７の方法の特定のステップを特定の順序で発生するものとして説明および図示しているが、本開示は、任意の適切な順序で発生する図７の方法の任意の適切なステップを企図している。その上、本開示は、図７の方法の特定のステップを含む複数のソースイメージに基づいて合成イメージを生成するための例示的な方法を説明および図示しているが、本開示は、適切な場合、図７の方法のステップのすべて、一部を含んでもよい、またはいずれも含まない任意の適切なステップを含む複数のソースイメージに基づいて合成イメージを生成するための任意の適切な方法を企図している。さらに、本開示は、図７の方法の特定のステップを実行する特定の構成要素、デバイス、またはシステムを説明および図示しているが、本開示は、図７の方法の任意の適切なステップを実行する任意の適切な構成要素、デバイス、またはシステムの任意の適切な組合せを企図している。

システムおよび方法
図８は、例示的なコンピュータシステム８００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップを実行する。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書で説明または図示される機能を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム８００上で実行されるソフトウェアは、本明細書に記載または図示される１つまたは複数の方法の１つまたは複数のステップを実行するか、または本明細書に記載または図示される機能を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム８００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、１つまたは複数のコンピュータシステムを包含し得る。

本開示は、任意の適切な数のコンピュータシステム８００を企図している。本開示は、任意の適切な物理的形態をとるコンピュータシステム８００を企図している。限定ではなく、例として、コンピュータシステム８００は、組み込みコンピュータシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）など）、デスクトップコンピュータシステム、ラップトップもしくはノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、またはこれらのうちの２つまたはそれ以上の組合せとする可能性がある。適切な場合、コンピュータシステム８００は、単一または分散されている、複数の場所にまたがる、複数の機械にまたがる、複数のデータセンタにまたがる、または、１つまたは複数のネットワーク内の１つまたは複数のクラウドコンポーネントを含んでもよいクラウド内に存在する、１つまたは複数のコンピュータシステム８００を含んでもよい。適切な場合、１つまたは複数のコンピュータシステム８００は、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップを実質的な空間的または時間的制限なしに実行する可能性がある。限定ではなく、例として、１つまたは複数のコンピュータシステム８００は、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップをリアルタイムまたはバッチモードで実行する可能性がある。１つまたは複数のコンピュータシステム８００は、適切な場合、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップを異なる時間または異なる場所で実行する可能性がある。

特定の実施形態では、コンピュータシステム８００は、プロセッサ８０２、メモリ８０４、ストレージ８０６、入力／出力（Ｉ／Ｏ）インターフェース８０８、通信インターフェース８１０、およびバス８１２を含む。本開示は、特定の配置において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な配置において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。

特定の実施形態では、プロセッサ８０２は、コンピュータプログラムを構成するものなどの命令を実行するためのハードウェアを含む。限定ではなく、例として、命令を実行するために、プロセッサ８０２は、内部レジスタ、内部キャッシュ、メモリ８０４、またはストレージ８０６から命令を取り出し（またはフェッチ）、復号して実行し、次いで、内部レジスタ、内部キャッシュ、メモリ８０４、またはストレージ８０６に１つまたは複数の結果を書き込んでもよい。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含んでもよい。本開示は、適切な場合、任意の適切な数の任意の適切な内部キャッシュを含むプロセッサ８０２を企図している。限定ではなく、例として、プロセッサ８０２は、１つまたは複数の命令キャッシュ、１つまたは複数のデータキャッシュ、および１つまたは複数のトランスレーションルックアサイドバッファー（ＴＬＢ）を含んでもよい。命令キャッシュ内の命令は、メモリ８０４またはストレージ８０６内の命令のコピーであってもよく、命令キャッシュは、プロセッサ８０２によるそれらの命令の取り出しを高速化する可能性がある。データキャッシュ内のデータは、プロセッサ８０２において実行して動作する命令のためのメモリ８０４またはストレージ８０６内のデータのコピー、プロセッサ８０２で実行される後続の命令によるアクセスのため、またはメモリ８０４もしくはストレージ８０６への書き込みのためにプロセッサ８０２で実行される先行する命令の結果、または他の適切なデータであってもよい。データキャッシュは、プロセッサ８０２による読み出し動作または書き込み動作を高速化し得る。ＴＬＢは、プロセッサ８０２の仮想アドレス変換を高速化する可能性がある。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含んでもよい。本開示は、適切な場合、任意の適切な数の任意の適切な内部レジスタを含むプロセッサ８０２を企図している。適切な場合、プロセッサ８０２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含んでもよく、マルチコアプロセッサであってもよく、または、１つまたは複数のプロセッサ８０２を含んでもよい。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。

特定の実施形態では、メモリ８０４は、プロセッサ８０２が実行するための命令またはプロセッサ８０２が動作するためのデータを格納するためのメインメモリを含む。限定ではなく、例として、コンピュータシステム８００は、ストレージ８０６または別のソース（たとえば、別のコンピュータシステム８００など）からメモリ８０４に命令をロードし得る。次いで、プロセッサ８０２は、メモリ８０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ８０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらを復号し得る。命令の実行中または実行後に、プロセッサ８０２は、（中間結果または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。次いで、プロセッサ８０２は、それらの結果のうちの１つまたは複数をメモリ８０４に書き込み得る。特定の実施形態では、プロセッサ８０２は、（ストレージ８０６または他の場所とは対照的に）１つまたは複数の内部レジスタもしくは内部キャッシュまたはメモリ８０４内の命令のみを実行し、（ストレージ８０６または他の場所とは対照的に）１つまたは複数の内部レジスタもしくは内部キャッシュまたはメモリ８０４内のデータのみに対して動作する。（各々がアドレスバスおよびデータバスを含んでもよい）１つまたは複数のメモリバスは、プロセッサ８０２をメモリ８０４に結合し得る。バス８１２は、後述するように、１つまたは複数のメモリバスを含んでもよい。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ８０２とメモリ８０４との間に存在し、プロセッサ８０２によって要求されるメモリ８０４へのアクセスを容易にする。特定の実施形態では、メモリ８０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであり得る。適切な場合、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であり得る。その上、適切な場合、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであり得る。本開示は、任意の好適なＲＡＭを企図する。メモリ８０４は、適切な場合、１つまたは複数のメモリ８０４を含んでもよい。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。

特定の実施形態では、ストレージ８０６は、データまたは命令のための大容量ストレージを含む。限定ではなく、例として、ストレージ８０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、もしくはユニバーサルシリアルバス（ＵＳＢ）ドライブ、またはこれらのうちの２つまたはそれ以上の組合せを含んでもよい。ストレージ８０６は、適切な場合、取り外し可能または取り外し不可能な（すなわち固定された）媒体を含んでもよい。ストレージ８０６は、適切な場合、コンピュータシステム８００の内部または外部にあってもよい。特定の実施形態では、ストレージ８０６は、不揮発性ソリッドステートメモリである。特定の実施形態では、ストレージ８０６は、読み出し専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。本開示は、任意の適切な物理的形態をとる大容量ストレージ８０６を企図している。ストレージ８０６は、適切な場合、プロセッサ８０２とストレージ８０６との間の通信を容易にする１つまたは複数の記憶制御ユニットを含んでもよい。適切な場合、ストレージ８０６は、１つまたは複数のストレージ８０６を含んでもよい。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。

特定の実施形態では、Ｉ／Ｏインターフェース８０８は、コンピュータシステム８００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供するハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム８００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含んでもよい。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム８００との間の通信を可能にする可能性がある。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサーを含み得る。本開示は、任意の適切なＩ／Ｏデバイスおよびそれらのための任意の適切なＩ／Ｏインターフェース８０８を企図している。適切な場合、Ｉ／Ｏインターフェース８０８は、プロセッサ８０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含んでもよい。Ｉ／Ｏインターフェース８０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース８０８を含んでもよい。本開示は、特定のＩ／Ｏインターフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインターフェースを企図する。

特定の実施形態では、通信インターフェース８１０は、コンピュータシステム８００と、１つまたは複数の他のコンピュータシステム８００または１つまたは複数のネットワークとの間の通信（たとえば、パケットベースの通信など）のための１つまたは複数のインターフェースを提供するハードウェア、ソフトウェア、またはその両方を含む。限定ではなく、例として、通信インターフェース８１０は、イーサネット（登録商標）もしくは他の有線ベースのネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）もしくはネットワークアダプタ、またはＷＩ－ＦＩネットワークなどのワイヤレスネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）もしくはワイヤレスアダプタを含んでもよい。本開示は、任意の適切なネットワークおよびそのための任意の適切な通信インターフェース８１０を企図している。限定ではなく、例として、コンピュータシステム８００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、またはこれらのうちの２つまたはそれ以上の組合せと通信する可能性がある。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。一例として、コンピュータシステム８００は、ワイヤレスＰＡＮ（ＷＰＡＮ）（たとえばＢＬＵＥＴＯＯＴＨ ＷＰＡＮなど）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、携帯電話ネットワーク（たとえば、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）ネットワーク）、またはその他の適切なワイヤレスネットワーク、またはこれらのうちの２つまたはそれ以上の組合せと通信し得る。コンピュータシステム８００は、適切な場合、これらのネットワークのいずれかのための任意の適切な通信インターフェース８１０を含んでもよい。通信インターフェース８１０は、適切な場合、１つまたは複数の通信インターフェース８１０を含んでもよい。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。

特定の実施形態では、バス８１２は、コンピュータシステム８００の構成要素を互いに結合するハードウェア、ソフトウェア、またはその両方を含む。限定ではなく、例として、バス８１２は、アクセラレーテッドグラフィクスポート（ＡＧＰ）もしくは他のグラフィックスバス、エンハンストインダストリースタンダードアーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）相互接続、インダストリースタンダードアーキテクチャ（ＩＳＡ）バス、インフィニバンド相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、ペリフェラルコンポーネント相互接続（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（ＶＬＢ）バス、または別の適切なバス、またはこれらのうちの２つまたはそれ以上の組合せを含んでもよい。バス８１２は、適切な場合、１つまたは複数のバス８１２を含んでもよい。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。

本明細書では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つまたはそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。

その他
本明細書では、「または」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「Ａ、Ｂ、またはその両方」を意味する。その上、「および」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、共同と個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「共同でまたは個別に、ＡおよびＢ」を意味する。

本開示の範囲は、当業者が理解するであろう、本明細書で説明または示される例示的な実施形態に対するすべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書で説明または示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明または示される構成要素、要素、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは置換を含み得る。さらに、特定の機能を実施するように適応されるか、配置されるか、実施することが可能であるか、実施するように構成されるか、実施することが可能にされるか、実施するように動作可能であるか、または実施するように動作する、装置またはシステムあるいは装置またはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、または構成要素が、そのように適応されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、または動作する限り、その装置、システム、構成要素またはその特定の機能が、アクティブにされるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するかまたは示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。

Claims (20)

1. コンピューティングデバイスの合成器モジュールによって、
   少なくとも２つのイメージソースを含むｎ個のイメージソースの各々から、ソースイメージおよび前記ソースイメージに関連付けられたパラメータを受信することと、
   前記ソースイメージに関連付けられた前記パラメータに基づいて、複数の層の範囲内の層に前記ソースイメージの各々を関連付けることであって、前記複数の層の範囲が、前記ソースイメージの合成層順序を指定する、前記ソースイメージの各々を関連付けることと、
   前記ソースイメージ内の各特定のソースイメージについて、前記特定のソースイメージに関連付けられた前記パラメータ、および前記特定のソースイメージに関連付けられた層に先行する層があればその層に関連付けられた前記ソースイメージの各々に関連付けられた前記パラメータの少なくとも一部に基づいて、対応するカスタマイズされた歪みメッシュを生成することと、
   前記対応するカスタマイズされた歪みメッシュを使用して前記ソースイメージの各々を修正することと、
   修正された前記ソースイメージを使用して合成イメージを生成することと、
   前記合成イメージをビデオ内のフレームとして表示することと、を含む方法。
2. 前記ソースイメージの各々に関連付けられた前記パラメータが、層パラメータを含み、層が、前記ソースイメージに関連付けられた前記層パラメータに基づいて前記ソースイメージに関連付けられる、請求項１に記載の方法。
3. 前記ソースイメージの各々に関連付けられた前記パラメータが、前記ソースイメージの境界領域、前記ソースイメージによって埋められる出力イメージ内の領域を示すクリッピングパラメータを含む、請求項１に記載の方法。
4. 前記複数の層の範囲内の最後の層に関連付けられたソースイメージに関連付けられた前記クリッピングパラメータが、前記出力イメージの全領域が前記ソースイメージの前記境界領域であることを示す、請求項３に記載の方法。
5. 前記ソースイメージに関連付けられた前記パラメータが、前記ソースイメージに対して実行される１つまたは複数のワーピング動作に関連付けられた情報を含む再投影パラメータを含む、請求項３に記載の方法。
6. 前記ソースイメージの前記境界領域が、前記１つまたは複数のワーピング動作の予想される影響に基づいて更新される、請求項５に記載の方法。
7. 前記ソースイメージの第１のソースイメージの更新された境界領域が、前記第１のソースイメージに関連付けられた層に先行する層があればその層に関連付けられた前記ソースイメージの各第２のイメージについて、前記第１のソースイメージの前記更新された境界領域から前記第１のソースイメージの前記更新された境界領域と前記第２のソースイメージの更新された境界領域との間の交差部分を減算することによってさらに更新される、請求項６に記載の方法。
8. 前記ソースイメージに関連付けられた前記パラメータが、前記ソースイメージの遷移領域に関連付けられた情報を含む混合パラメータを含み、前記遷移領域が、アルファブレンディングの対象である、請求項７に記載の方法。
9. 前記ソースイメージの前記遷移領域が、前記ソースイメージの前記更新された境界領域のサブセットであり、前記混合パラメータが、カットオフ距離を含み、前記ソースイメージの前記更新された境界領域の境界から前記カットオフ距離内の点が、前記ソースイメージの前記遷移領域に属する、請求項８に記載の方法。
10. 前記ソースイメージに関連付けられた前記混合パラメータが、前記ソースイメージの前記遷移領域に適用される透明度のレベルを含む、請求項８に記載の方法。
11. 前記ソースイメージの各々に対応する前記カスタマイズされた歪みメッシュを生成することが、前記ソースイメージの前記更新された境界領域に一致する歪みメッシュを生成することを含む、請求項８に記載の方法。
12. 前記ソースイメージの各々を修正することが、
    関連付けられた前記再投影パラメータに基づいて前記ソースイメージに対して前記１つまたは複数のワーピング動作を実行することと、
    ワーピングされた前記ソースイメージを前記対応するカスタマイズされた歪みメッシュ上にマッピングすることと、
    前記ソースイメージの前記遷移領域に対してアルファブレンディングを実行することと、を含む、請求項１１に記載の方法。
13. 前記１つまたは複数のワーピング動作が空間ワーピング動作を含み、前記再投影パラメータが前記ソースイメージ内の動きベクトルを含む、請求項５に記載の方法。
14. 前記１つまたは複数のワーピング動作がタイムワーピング動作を含み、前記再投影パラメータが頭部の位置を含む、請求項５に記載の方法。
15. 前記ｎ個のイメージソースの各々にパラメータ提案を含む合成結果を送信することであって、前記イメージソースが、前記パラメータ提案に基づいて次のフレームに対応するソースイメージに関連付けられたパラメータを調整する、合成結果を送信することをさらに含む、請求項３に記載の方法。
16. 前記合成結果が、前記ソースイメージの前記境界領域が前記ソースイメージのうちの他のソースイメージの前記境界領域によって完全に遮蔽されているか、部分的に遮蔽されているか、または全く遮蔽されていないかを示す結果コードを含み、場合によっては、前記パラメータ提案が、前記結果コードに基づいて決定される新しい層提案を含む、請求項１５に記載の方法。
17. 表示された前記合成イメージが、レンズシステムを介してユーザによって見られ、前記ソースイメージの各々に対応する前記カスタマイズされた歪みメッシュが、前記レンズシステムによって引き起こされるレンズ歪みを補償するために使用される、請求項１に記載の方法。
18. ソフトウェアを具体化する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアは、実行されるときに、
    請求項１から１７のいずれか一項に記載の方法を実行するように、または、
    少なくとも２つのイメージソースを含むｎ個のイメージソースの各々から、ソースイメージおよび前記ソースイメージに関連付けられたパラメータを受信することと、
    前記ソースイメージに関連付けられた前記パラメータに基づいて、複数の層の範囲内の層に前記ソースイメージの各々を関連付けることであって、前記複数の層の範囲が、前記ソースイメージの合成層順序を指定する、前記ソースイメージの各々を関連付けることと、
    前記ソースイメージ内の各特定のソースイメージについて、前記特定のソースイメージに関連付けられた前記パラメータ、および前記特定のソースイメージに関連付けられた層に先行する層があればその層に関連付けられた前記ソースイメージの各々に関連付けられた前記パラメータの少なくとも一部に基づいて、対応するカスタマイズされた歪みメッシュを生成することと、
    前記対応するカスタマイズされた歪みメッシュを使用して前記ソースイメージの各々を修正することと、
    修正された前記ソースイメージを使用して合成イメージを生成することと、
    前記合成イメージをビデオ内のフレームとして表示することと、を実行するように、動作可能である、１つまたは複数のコンピュータ可読非一時的記憶媒体。
19. １つまたは複数のプロセッサと、前記プロセッサによって実行可能な命令を含む、前記プロセッサに結合された非一時的メモリと、を備えるシステムであって、前記プロセッサが、前記命令を実行するときに、請求項１から１７のいずれか一項に記載の方法を実行するように、または、
    少なくとも２つのイメージソースを含むｎ個のイメージソースの各々から、ソースイメージおよび前記ソースイメージに関連付けられたパラメータを受信することと、
    前記ソースイメージに関連付けられた前記パラメータに基づいて、複数の層の範囲内の層に前記ソースイメージの各々を関連付けることであって、前記複数の層の範囲が、前記ソースイメージの合成層順序を指定する、前記ソースイメージの各々を関連付けることと、
    前記ソースイメージ内の各特定のソースイメージについて、前記特定のソースイメージに関連付けられた前記パラメータ、および前記特定のソースイメージに関連付けられた層に先行する層があればその層に関連付けられた前記ソースイメージの各々に関連付けられた前記パラメータの少なくとも一部に基づいて、対応するカスタマイズされた歪みメッシュを生成することと、
    前記対応するカスタマイズされた歪みメッシュを使用して前記ソースイメージの各々を修正することと、
    修正された前記ソースイメージを使用して合成イメージを生成することと、
    前記合成イメージをビデオ内のフレームとして表示することと、を実行するように、動作可能である、システム。
20. 命令を含むコンピュータプログラムであって、前記命令は、前記プログラムがコンピュータによって実行されるときに、請求項１から１７のいずれか一項に記載の方法を前記コンピュータに実行させる、コンピュータプログラム。

Images