JP7415931B2 - 画像周辺領域内のリアルタイム圧縮による画像表示制御 - Google Patents

Description

以下の開示は概して、表示パネル上の画像データの表示を制御する技術に関し、より具体的には、画像の周辺領域内に圧縮を利用することによって表示パネルへの画像データ送信の帯域幅を低減する技術に関する。

画像表示能力を高める要求により、それに伴って画像データサイズおよび関連する送信帯域幅使用量への需要が大幅に高まることになった。例えば、ゲーム装置、映像表示装置、モバイルコンピューティング、汎用コンピューティングなどの画像表示解像度が高まったことで、非常に大きい画素あたり帯域幅を用いて向上した画像内の臨場感を示すハイダイナミックレンジ（「ＨＤＲ」）データが有するような高送信帯域幅がもたらされた。さらに、バーチャルリアリティ（「ＶＲ」）システムおよび拡張現実（「ＡＲ」）システムの人気の高まり、特にヘッドマウントディスプレイ（「ＨＭＤ」）デバイスを使用したこれらのＶＲおよびＡＲにより、その需要がさらに大きくなった。バーチャルリアリティシステムは通常、装着者の両目を完全に包囲し、装着者の前方で実際の視野（または現実）の代わりに「バーチャル」リアリティを使い、一方、拡張現実システムは一般的に、実際の視野が追加情報と共に拡張するように、１または複数のスクリーンの半透明または透明なオーバーレイを装着者の両目の前方に設ける。

しかしながら、視聴者の目とヘッドマウントディスプレイとの間の距離が短く、しばしば視野が完全に塞がれるそのヘッドマウントディスプレイは、従来の表示能力および送信能力では満たすことができない方法で表示システムの性能要件を高め、ヘッドマウントディスプレイ全体にわたる最適な解像度密度をしばしば変えてきた。

本開示内に記載される少なくともいくつかの技術を実行するのに適した１または複数のシステムを含むネットワーク環境の概略図であり、画像データ送信マネージャ（「ＩＤＴＭ」）システムおよび画像表示マネージャ（「ＩＤＭ」）システムの実施形態を含む。

記載される技術の少なくともいくつかは、映像レンダリングコンピューティングシステムにテザリングされ、バーチャルリアリティ表示をユーザに提供する例示的なヘッドマウントディスプレイデバイスと共に使用される例示的な環境を示す図である。

記載される技術の少なくともいくつかと共に利用できる例示的なヘッドマウントディスプレイデバイスを示す図である。

本明細書に記載される技術の少なくともいくつかに係る、表示用の画像データを符号化および復号する例を示す。 本明細書に記載される技術の少なくともいくつかに係る、表示用の画像データを符号化および復号する例を示す。 本明細書に記載される技術の少なくともいくつかに係る、表示用の画像データを符号化および復号する例を示す。

画像データ送信マネージャルーチンの例示的実施形態のフロー図である。

画像表示マネージャルーチンの例示的実施形態のフロー図である。

本開示は概して、例えば、画像の周辺領域内にある画像データの表色圧縮を利用することによって表示パネルへの画像データ送信の帯域幅を低減するべく、表示パネル上への画像データの表示を制御する技術に関する。その技術は、例えば、映像データフレームおよび／または他の画像フレームと共に利用でき、いくつかの実施形態では、ＶＲおよび／またはＡＲ表示技術用に使用されるヘッドマウントディスプレイ（「ＨＭＤ」）デバイスの一部である１または複数の表示パネルと共に使用される。表色圧縮を実行する画像の周辺領域は、例えば、画像の端、または、ユーザが目を向けない、または着目を期待しない１または複数の他の画像部分の端を含み得る。本明細書に記載される技術の一部または全ては、以下でより詳細に考察されるように、画像データを映像レンダリングシステムに符号化して、その符号化されたデータを１または複数の表示パネルに送信する画像データ送信マネージャシステム（「ＩＤＴＭ」）、および／または表示パネルを収容する装置上または装置近傍にその画像データを復号し、その復号された画像データを表示パネル上に表示する画像表示マネージャ（「ＩＤＭ」）システムの実施形態の自動化動作を介して実行され得る。

少なくともこのようないくつかの実施形態では、当該技術は、（例えば、フル解像度を提供するために、またはそうでなければ、１または複数の他の二次領域よりも高解像度で提供するために、あらゆる圧縮またはあらゆる不可逆的圧縮をせずに）データを第１の解像度レベルで符号化または表示する画像の少なくとも１つの一次領域を決定することを含む。例えば、ユーザの実際視線または予想視線の追跡に基づくことを含み、画像の対応する領域を一次領域として利用し、視聴者（例えば、画像生成ソフトウェアプログラムが特定する）に最大の関心を引く可能性がある画像の１または複数の第１のコンテンツ部に対応する画像の領域を決定し、エンドユーザが特定する画像またはその他の情報を視聴するエンドユーザの１または複数の嗜好に少なくとも部分的に基づいて、予め定められた方法で一部または全ての画像の一次領域として画像の対応する領域を利用する（例えば、画像の中央部分および周囲部分を一次領域として利用する）などして、様々な実施形態における様々な方法で、一次領域を決定できる。例えば、一次領域が決定の時間にまたは決定の時間に近づく現状に基づいて動的に決定されるとき、（例えば、ユーザの視線が、決定された一次領域の位置のあるコーナーから別のコーナーまで動くことでその後視線の焦点が変わるとき）、異なる画像がその一次領域である異なる位置または領域を有してよいことが理解されよう。一次領域を決定すること、およびその一次領域のデータを符号化および表示することに関するさらなる詳細を以下に含む。

その画像の追加の二次領域は、１または複数の一次領域を囲むことができる、またはそうでなければ、１または複数の一次領域の外側（例えば、一次領域が画像の中心近傍または画像の中心の中央に置かれる場合、画像の両側および／またはコーナーなど）にあってよく、したがって（例えば、ユーザの周辺視野を介してユーザが全体的または部分的に知覚する）ユーザの実際焦点または予想焦点の周辺の外側またはその周辺であってよい。さらに、少なくともいくつかの実施形態では、例えば、一次領域の第１の解像度レベルよりも低い第１の解像度レベルを提供する緑色の色チャネルの画像データを第１の圧縮レベルで符号化および表示する、および、緑色の色チャネルの第１の解像度レベルよりも低い１または複数の第２の解像度レベルを提供する赤色および／または青色の色チャネルの画像データを１または複数の第２の圧縮レベルで符号化および表示する周辺の二次領域内の画像データの表色圧縮を実行することによって、二次領域内に表示されるデータの低解像度が少なくとも部分的に得られる。いくつかの実施形態では、（例えば、１または複数の一次領域を囲む、またはそうでなければ１または複数の一次領域の外側にある）二次領域は、１または複数の一次領域に対して全体的または部分的に基づいて決定され得るが、他の実施形態では、二次領域は、二次領域の１または複数の肯定的属性または特性に基づくなど（例えば、コンテンツの種類、画像内の特定位置に基づくなど）他の方法で全体的または部分的に決定され得る。例えば、二次領域が決定の時間にまたは決定の時間に近づく現状に基づいて動的に決定されるとき、異なる画像がその二次領域である異なる位置または領域を有することができることがさらに理解されよう。二次領域を決定すること、およびその二次領域のデータを符号化および表示することに関するさらなる詳細を以下に含む。

少なくともいくつかの実施形態では、画像データが表示されない画像の１または複数の三次領域を同様に決定することができ、したがって、１または複数の三次領域は少なくともこのようないくつかの実施形態では符号化することができず、または他の実施形態では実行可能な最小解像度レベルで符号化することができる。一例として、画像は矩形状で構築してよいが、例えば、ＨＭＤデバイス内にある円形または半球形のレンズを介して視聴されるＨＭＤデバイスの表示パネル用に、その矩形が円形または楕円形のサブセットを使用して表示してよい。その場合、その円形または楕円形のサブセットの外側（例えば、コーナーおよび／または端）にある画像部分を三次領域として選択することができる。他の実施形態では、例えば、画像（例えば、３６０度画像だが、この３６０度画像において視聴者は一方向だけを見ている画像）の特定部分が見られないという決定を視線追跡または他の機能が可能にする場合、三次領域を他の方法で選択することができる。例えば、三次領域が決定の時間にまたは決定の時間に近づく現状に基づいて動的に決定されるとき、異なる画像がその三次領域である異なる位置または領域を有することができるが、他の画像および／または他の実施形態はそのあらゆる三次領域を含まなくてよいことが理解されよう。三次領域を決定すること、およびその三次領域のデータを符号化および表示することに関するさらなる詳細を以下に含む。

上記のように、本明細書に記載される技術の一部または全ては、（例えば、映像レンダリングシステムおよび／または１または複数の表示パネルを含むＨＭＤデバイスまたはその他の装置の）１または複数の構成ハードウェアプロセッサおよび／またはその他の構成ハードウェア回路などによって実装されるＩＤＴＭシステムおよび／またはＩＤＭシステムの実施形態の自動化動作を介して実行され得る。そのシステムまたは装置の１または複数のハードウェアプロセッサまたはその他の構成ハードウェア回路は、以下でさらに考察するように、例えば、１または複数のＧＰＵ（「グラフィカル処理部」）および／またはＣＰＵ（「中央処理部」）および／またはその他のマイクロコントローラ（「ＭＣＵ」）および／またはその他の集積回路を含んでよく、例えば、ハードウェアプロセッサは、画像データが表示されることになる１または複数の表示パネルを搭載したＨＭＤデバイスまたはその他のデバイスの一部であり、および／またはハードウェアプロセッサは、表示用の表示パネルに送信される画像データを生成するまたはそうでなければ用意するコンピューティングシステムの一部である。より一般的には、そのハードウェアプロセッサまたはその他の構成ハードウェア回路は、１または複数の特定用途向け集積回路（ＡＳＩＣ）、標準集積回路、（例えば、適切な命令を実行することによる、およびマイクロコントローラおよび／または埋め込みコントローラを含むことによる）コントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、結合プログラマブルロジックデバイス（ＣＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルロジックコントローラ（ＰＬＣ）、などを含んでよいが、これらに限定されない。以下の図１Ａに関連して含むさらなる詳細が本明細書の他の箇所に含まれる。

少なくともいくつかの実施形態では、送信される符号化されたデータのサイズ（または符号化によるサイズ規模の縮小度）は、使用される圧縮度または圧縮レベルの修正、および／または画像の一次領域および／または二次領域のサイズまたは形状の修正に基づくことを含む様々な方法で動的に修正できる。符号化されたデータサイズまたはサイズ規模の縮小を決定するのに用いられる要因の非限定的な例は、例えば、処理要求レベルを反映するグラフィック計算能力の限界または目的と、データ送信帯域幅および／または信号強度の限界または目的と、メディアコンテンツ（例えば、画像生成ソフトウェアプログラムおよび／または画像分析ＩＤＴＭシステムなどによって指定される複雑なシーンまたはその他のコンテンツ特性に基づく、さらに、予想されるまたはそうでなければ期待される視聴者であるユーザの焦点に対応する画像の部分に基づくなど）と、メディアの種類（例えば、符号化されるコンテンツが以前、送信帯域幅に影響を与える可能性がある別の方法で可逆的圧縮または不可逆的圧縮などによって符号化されてきたか否か）と、送り先の表示装置の表示種類と、グラフィック（例えば、ターゲット画像解像度またはターゲットフレームレート）の限界または目的と、視覚追跡情報（ユーザの目またはユーザの視線位置および焦点の１または複数の表示などに基づく）と、１または複数の所定のユーザ嗜好と、などを含み得る。

記載される技術の少なくともいくつかの実施形態における利点は、画像データサイズを縮小する、（例えば、対応する縮小した画像データサイズに少なくとも部分的に基づいて）表示パネル画素を制御する速度を上げる、窩画像システム、および表示パネルのサブセットおよび／または特定の関心を引く画像を反映するその他の技術を向上するなどをすることによって、符号化した画像用の増えたメディア送信帯域幅に対処するおよびその送信帯域幅を軽減することを含む。窩画像符号化システムは、人間の視覚系（焦点および焦点周囲にだけ詳細情報を提供できる）の特定の態様を利用するが、周辺視野が非常に影響を受ける視覚的アーティファクト（例えば、映像データおよび画像データの動きならびにコントラストに関連するアーティファクト）を回避すべく、特殊な計算処理を利用することが多い。特定のＶＲおよびＡＲ表示の場合、特定の表示装置が、別々にアドレス可能である２つの画素配列を備え、各画素配列が適切な解像度を含む２つの別々の表示パネル（すなわち、それぞれの目に１つの表示パネル）を含むので、高解像度メディアを処理するための帯域幅使用および計算量は両方とも増幅する。したがって、記載される技術は、例えば、映像フレームまたは他の画像のローカル表示および／またはリモート表示の送信帯域幅を小さくし、画像内の解像度、および視聴者の「関心領域」の詳細を保つ一方でその画像データを処理するための計算量を最小化するのに使用できる。さらに、ヘッドマウントディスプレイデバイスおよび他の表示装置のレンズを使用することで、表示パネルのサブセットにより焦点を合わせることが可能になり、より高い解像度を表示パネルのサブセットにもたらすことができ、結果こうした技術を利用して表示パネルの他の部分内にある低解像度の情報を表示することは、このような実施形態のその技術を利用する場合にさらなる利点をもたらし得る。

説明のために、特定の種類の情報が、特定の種類の装置を使用することで特定の種類の構造体用に特定の方法で取得および利用されるいくつかの実施形態を以下に記載する。ただし、その記載される技術は他の実施形態における他の方法で利用してよく、したがって本発明は提供される例示的な詳細に限定されないことが理解されよう。非排他的な一例として、本明細書で考察される様々な実施形態は、映像フレームである画像の使用を含む。ただし、本明細書に記載される多くの例は便宜上「映像フレーム」と言及しているが、その例に関連して記載される技術は１または複数の様々な種類の画像に対して採用でき、１または複数の様々な種類の画像は、連続する複数の映像フレーム（例えば、フレームの１秒当たり３０または６０または９０または１８０、またはフレームの１秒当たりの他のフレーム数量）、他の映像コンテンツ、写真、コンピュータ生成グラフィックコンテンツ、他の映像メディア記事、またはそれらのいくつかの組み合わせの非排他的な例を含むことが理解されよう。別の非排他的な例として、いくつかの例示の実施形態は、様々な圧縮レベル、および様々な特定の色チャネル用の技術を特定の方法で利用する記載される技術の一実施形態の実装を考察するが、他の実施形態は他の方法で圧縮を実装してよい。さらに、説明のために図面およびテキスト内に様々な詳細を提供するが、様々な詳細は本発明の範囲を限定することを意図しない。さらに、本明細書で使用される「画素（ｐｉｘｅｌ）」は、全ての色の可能値をその表示装置に提供するのに動作され得る表示装置のアドレス可能な最小の画像要素を指す。多くの場合、画素は、人間の視聴者が知覚する赤色、緑色、および青色の光を別々に生成する個別の各サブ要素（場合によっては別々の「サブ画素」）を含み、別々の色チャネルが異なる色のサブ画素の画素値を符号化するのに使用される。本明細書で使用される画素「値」は、単一の画素のこうした各ＲＧＢ要素の１または複数の各刺激レベルに対応したデータ値を指す。

図１Ａは、ローカルメディアレンダリング（ＬＭＲ）システム１１０（例えば、ゲームシステム）を含むネットワーク環境１００ａの概略図であり、ＬＭＲシステム１１０は、本明細書に記載される少なくともいくつかの技術を実行するに適したローカルコンピューティングシステム１２０および表示装置１８０（例えば、２つの表示パネルを有するＨＭＤ）を備える。図１Ａで示される実施形態では、ローカルコンピューティングシステム１２０は送信リンク１１５を介して表示装置１８０に通信可能に接続される（図１Ｂで示されるように１または複数のケーブルなどを介して有線で接続またはテザリングしてよく、または代わりに無線であってよい）。他の実施形態では、ローカルコンピューティングシステム１２０は、ＨＭＤデバイス１８０に加えて、あるいはその代わりにするかに関わらず、リンク１１６を介して、表示用の符号化された画像データをパネル表示装置１８２（例えば、テレビ、コンソールまたはモニタ）に供給することができ、表示装置１８０および／または１８２のそれぞれが、大きさ（典型的な画素ベース表示の各画素が、例えば通常マイクロメートルで測定される）の正確さではなく分かりやすさを意図するように図１Ａ内で図表を用いて示される１または複数のアドレス可能な画素配列を含む。様々な実施形態では、ローカルコンピューティングシステム１２０は、（非限定的な例として）汎用コンピューティングシステム、ゲーム機、映像ストリーム処理装置、モバイルコンピューティング装置（例えば、携帯電話、ＰＤＡ、またはその他のモバイル装置）、ＶＲまたはＡＲ処理装置、またはその他のコンピューティングシステムを含んでよい。

例示の実施形態では、ローカルコンピューティングシステム１２０は、１または複数の汎用ハードウェアプロセッサ（例えば、中央処理部、すなわち「ＣＰＵ」）１２５と、メモリ１３０と、様々なＩ／Ｏ（「入力／出力」）ハードウェア構成要素１２７（例えばキーボード、マウス、１または複数のゲームコントローラ、スピーカ、マイクロフォン、ＩＲトランスミッタおよび／またはレシーバ、など）と、１または複数の専用ハードウェアプロセッサ（例えばグラフィック処理ユニット、すなわち「ＧＰＵ」）１４４および映像メモリ（ＶＲＡＭ）１４８を備える映像サブシステム１４０と、コンピュータ可読ストレージ１５０と、ネットワーク接続１６０と、を含む構成要素を有する。さらに例示の実施形態では、ＩＤＴＭ（画像データ送信マネージャ）システム１３５の一実施形態は、ＣＰＵ１２５および／またはＧＰＵ１４４を使用して、これらの記載される技術を実装する自動化動作を実行するなどして、記載される技術の少なくともいくつかを実行するべくメモリ１３０内で実行し、メモリ１３０は、（例えば、ゲームプログラムなど、表示される映像または他の画像を生成するために）１または複数の他のプログラム１３３を任意でさらに実行してよい。本明細書に記載される少なくともいくつかの技術を実装する自動化動作の一環として、メモリ１３０内で実行するＩＤＴＭシステム１３５および／または他の画像生成プログラム１３３は、ストレージ１５０の例示的なデータベース内におけるデータ構造を含む様々な種類のデータを記憶および／または検索することができる。この例では、使用されるデータは、データベース（「ＤＢ」）内の様々な種類の画像データ情報１５４と、ＤＢ内の様々な種類のアプリケーションデータ１５２と、ＤＢ内の様々な種類の構成データ１５７とを含むことができ、システムデータまたは他の情報など、追加情報を含んでよい。図示される実施形態内のＬＭＲシステム１１０はさらに、画像生成プログラム１３３に加えて、あるいはその代わりにするかに関わらず、１または複数のコンピュータネットワーク１０１およびネットワークリンク１０２を介して、表示用にＬＭＲシステム１１０にコンテンツをさらに提供することができる例示的なネットワークアクセス可能メディアコンテンツプロバイダ１９０に通信可能に接続される。つまり、メディアコンテンツプロバイダ１９０は、それぞれが１または複数のハードウェアプロセッサ、Ｉ／Ｏ構成要素、ローカルストレージデバイスおよびメモリを含むローカルコンピューティングシステム１２０の構成要素に類似する構成要素を含むことができる１または複数のコンピューティングシステム（図示なし）を含んでよいが、サーバコンピューティングシステムのいくつかの詳細は分かりやすくするために図示しない。

例えば、ローカルコンピューティングシステム１２０から接続１１５を介して符号化された形態で受信される画像データを受信および復号するために、表示装置１８０（または表示装置１８２）上で実装される、または表示装置１８０（または表示装置１８２）と同時に実装されるものとしてＩＤＭシステム１８４をさらに図示する。図１Ｃは、以下でさらに考察するように、こうした画像復号技術を実行するハードウェア回路を備えるヘッドマウントディスプレイデバイス１８０の一例を図示する。図１Ａの例示の実施形態におけるローカルコンピューティングシステム１２０とは異なるようにおよび別々になるように表示装置１８０および／または表示装置１８２が図示されるが、特定の実施形態では、ローカルメディアレンダリングシステム１１０の一部または全ての構成要素が、例えば、モバイルゲーム装置、携帯用のＶＲエンターテインメントシステムなどの単一装置内に統合および／または収容され得ることが理解されよう。このような実施形態では、送信リンク１１５および／または１１６は、例えば、１または複数のシステムバスおよび／または映像バスアーキテクチャを含んでよい。

ローカルメディアレンダリングシステムによってローカルに実行される動作を含む一例として、ローカルコンピューティングシステム１２０は、アプリケーションデータ１５２が、ＣＰＵ１２５を介してメモリ１３０を使用して実行される１または複数のゲームアプリケーションを含むような、および様々な映像フレームの表示データが、ＩＤＴＭシステム１３５によって、例えば映像サブシステム１４０のＧＰＵ１４４と連動して生成および／または処理されるようなゲームコンピューティングシステムであることを想定している。質の高いゲーム体験を提供するために、大量の映像フレームデータ（各映像フレームの高い画像解像度、ならびに、その映像フレームの１秒当たりおよそ６０から１８０という高「フレームレート」に対応する）が、ローカルコンピューティングシステムによって生成され、送信リンク１１５を介して表示装置１８０に供給される。

コンピューティングシステム１２０および表示装置１８０は、単に例示したものに過ぎず、本発明の範囲を限定することを意図しないことがさらに理解されよう。コンピューティングシステムは代わりに、複数の対話型コンピューティングシステムまたは装置を含んでよく、例えばインターネットなどの１または複数のネットワークを介して、ウェブを介して、または非公開ネットワーク（例えば、モバイル通信ネットワークなど）を介して、図示されない他の装置に接続してよい。より一般的には、コンピューティングシステムまたはその他のコンピューティングノードは、記載される種の機能と対話する、およびその機能を実行することができるハードウェアまたはソフトウェアのあらゆる組み合わせを含んでよく、その記載される種の機能は、デスクトップまたはその他のコンピュータ、ゲームシステム、データベースサーバ、ネットワークストレージデバイスおよびその他のネットワークデバイス、ＰＤＡ、携帯電話、無線電話、ページャ、電子手帳、インターネット家電、テレビを利用したシステム（例えば、セットトップボックスおよび／またはパーソナルビデオレコーダ／デジタルビデオレコーダを使用）、および適切な通信能力を備えるその他の様々な消費者製品を含むが、これらに限定されない。当該表示装置１８０は同様に、様々な種類および形態の１または複数の表示パネルを備える１または複数の装置を含んでよく、任意でその他の様々なハードウェアおよび／またはソフトウェア構成要素を含んでよい。さらに、ＩＤＴＭシステム１３５および／またはＩＤＭシステム１８４が備える機能は、いくつかの実施形態では、１または複数の構成要素内に供給することができ、いくつかの実施形態では、システム１３５および／またはシステム１８４の機能の一部は備わっていなくてよく、および／または他の追加機能を利用できる可能性がある。様々なアイテムが、使用されながらメモリ内またはストレージに記憶されるように図示されるが、これらのアイテムまたはアイテムの一部は、メモリ管理およびデータの完全性のためにメモリとその他のストレージデバイスとの間で移動してよいことがさらに理解されよう。したがって、いくつかの実施形態では、記載される技術の一部または全ては、例えば、（例えば、システム１３５および／またはそのシステムの構成要素を介する）１または複数のソフトウェアプログラム、および／または（例えば、１または複数のソフトウェアプログラムのソフトウェア命令を実行することによる、および／または、そのソフトウェア命令および／またはデータ構造を記憶することによる）データ構造によって構成される場合に、１または複数のプロセッサまたはその他の構成ハードウェア回路、および／またはメモリ、および／またはストレージを備えるハードウェア手段によって実行してよい。構成要素、システム、およびデータ構造の一部または全てはさらに、ハードディスクまたはフラッシュドライブまたはその他の不揮発性ストレージデバイス、揮発性または不揮発性メモリ（例えば、ＲＡＭ）、ネットワークストレージデバイス、または、適切なドライブ（例えば、ＤＶＤディスク、ＣＤディスク、光学ディスクなど）によって、または適切な接続を介して読み込まれる携帯用のメディア記事、などの非一時的コンピュータ可読記憶媒体に（例えば、ソフトウェア命令または構造化データとして）記憶することができる。システム、構成要素、およびデータ構造はさらに、いくつかの実施形態において、生成されるデータ信号として（例えば、搬送波、またはその他のアナログまたはデジタル伝搬信号の一部として）無線を利用した媒体および有線／ケーブルを利用した媒体を含む様々なコンピュータ可読送信媒体で送信することができ、（例えば、単一または多重化アナログ信号の一部として、または、別々の複数のデジタルパケットまたはフレームとして）様々な形態を取ってよい。このようなコンピュータプログラム製品はさらに、他の実施形態では他の形態を取り得る。したがって、本発明は、その他のコンピュータシステム構成で実施可能である。

図１Ｂは、記載される技術の少なくともいくつかが、有線式のテザー１４５を介して映像レンダリングコンピューティングシステム１４２にテザリングされてバーチャルリアリティ表示を人のユーザ１１３に送る例示的なＨＭＤデバイス１１２と共に使用される例示的な環境１００ｂを図示するが、他の実施形態では、ＨＭＤデバイスは、コンピューティングシステム１４２との対話の一部または全てを無線接続（図示なし）を介して実行してよい。ユーザは、ＨＭＤデバイスを装着し、実際の物理的環境とは異なるシミュレート環境のコンピューティングシステムからＨＭＤデバイスを介して表示される情報を受信し、コンピューティングシステムは、ユーザに表示するためにシミュレート環境の画像、例えば、コンピューティングシステム上で実行するゲームプログラム（図示なし）および／またはその他のソフトウェアプログラム（図示なし）によって生成される画像をＨＭＤデバイスに供給する画像レンダリングシステムとして機能する。ユーザはさらに、この例では、実際の物理的環境で動き回ることができ、ユーザがさらにシミュレート環境と対話することを可能にする１または複数のＩ／Ｏ（「入力／出力」）装置をさらに有してよく、Ｉ／Ｏ装置は、この例では、ハンドヘルドコントローラ１１１を含む。コンピューティングシステム上のＩＤＴＭシステム（図示なし）の一実施形態は、ＨＭＤデバイスに送信されるデータ量を少なくすることに少なくとも部分的に基づいて、テザーケーブルを介して、ＨＭＤデバイスに送信される画像データを符号化することができ、ＨＭＤデバイス上のＩＤＭシステム（図示なし）の一実施形態は、受信したデータを復号し、その復号データを用いてＨＭＤデバイスの１または複数の表示パネル上の情報の表示を制御することができる。

ユーザはＨＭＤデバイスの位置を移動させる、および／またはＨＭＤデバイスの向きを変えるとき、例えば、シミュレート環境の対応する部分を、ＨＭＤデバイスでユーザに表示することが可能になるようにＨＭＤデバイスの位置を追跡し、コントローラ１１１はさらに、これらのコントローラの位置を追跡する際に利用する（および、ＨＭＤデバイスの位置を決定および／または確認する一助となるように任意でその情報を利用する）ための類似の技術を採用することができる。ＨＭＤデバイスの追跡位置が分かった後、対応する情報がケーブル１４５を介してコンピューティングシステム１４２に送信される。コンピューティングシステムは、追跡位置情報を利用して、ユーザに表示するためにシミュレート環境の１または複数の次の画像を生成する。さらに、ここでは図示されていないが、ＨＭＤデバイスはさらにユーザの視線の方向を決定する眼球および／または瞳孔追跡センサを含んでよく、その情報が同様にケーブル１４５を介してコンピューティングシステム１４２に送信され得る。結果、コンピューティングシステム上のＩＤＴＭシステムの一実施形態は、例えば画像の一次領域および／または二次領域を決定するために、ＨＭＤデバイスに送信される画像を符号化する一環としてその情報を利用することができる。本明細書の他の箇所でより詳細に考察されるように、画像のどの部分を一次領域および／または二次領域として使用するかを含め、どのようにデータを符号化するかを決定する一環として、一次領域その他の要因を用いてよい。

図１Ｃは、目に近い一対の表示システム１０３および１０４を含むＨＭＤデバイス１００ｃの簡略化された上面図であり、ＨＭＤデバイス１００ｃは、例えば、図１Ａおよび図１Ｂの例で使用され得る、またはそうでなければ記載される技術と共に使用され得る。目に近い表示システム１０３および１０４は、表示パネル１０６および１０８（例えば、ＯＬＥＤまたはＬＣＤの超小型表示装置）をそれぞれ含み、それぞれの対応する光学レンズシステム１１０および１１２を含み、各光学レンズシステムはそれぞれ１または複数の光学レンズを有する。表示システム１０３および１０４は、前部１１６と、左つる１１８と、右つる１２３と、装着者であるユーザ１２４がＨＭＤデバイスを装着するときにユーザの顔に触れるまたは顔に隣接する内面１２１とを含むフレーム１１４に取り付けることができる。２つの表示システム１０３および１０４は、装着者であるユーザ１２４の頭１２２に装着できる眼鏡装置内のフレーム１１４に固定することができる。左つる１１８および右つる１２３は、ユーザの耳１２６および１２８にそれぞれ載ることができ、内面１２１の鼻アセンブリ（図示なし）はユーザの鼻１２９に載ることができる。フレーム１１４は、２つの光学システム１１０および１１２のそれぞれをユーザの目１３２および１３４のうちの１つの前部にそれぞれ位置決めするような形状およびサイズであってよい。眼鏡に類似するフレーム１１４を説明のために簡略化して示すが、他の構造体（例えば、ゴーグル、一体化したヘッドバンド、ヘルメット、ストラップなど）を使用してユーザ１２４の頭１２２上で表示システム１０３および１０４を支持し、ユーザ１２４の頭１２２上に表示システム１０３および１０４を位置決めすることができることを理解されたい。図１ＣのＨＭＤデバイス１００ｃは、例えば、表示速度（例えば、１秒当たりのフレーム数または１秒当たりの画像数が３０、６０、９０、１８０など）で示される対応する映像を介してバーチャルリアリティ表示をユーザ１２４に示す能力があり、類似のシステムのその他の実施形態は、同じように拡張現実表示をユーザ１２４に示すことができる。各表示装置１０６および１０８は、それぞれの対応する光学システム１１０および１１２を通って伝達される、およびそれぞれの対応する光学システム１１０および１１２によって集光される光をユーザ１２４の目１３２および１３４上にそれぞれ生成することができる。ここでは図示しないが、各目は一般的に瞳孔開口を含み、その瞳孔開口を通って光が目に入り、ユーザ１２４はユーザの瞳孔に入る光を画像および／または映像として見なす。

例示の実施形態では、ＨＭＤデバイス１００はさらに、記載される技術の一部として、開示される実施形態によって使用され得るハードウェアセンサおよび追加の構成要素を含む。この例におけるハードウェアセンサは、１または複数の加速度計および／またはジャイロスコープ１９８（例えば、１または複数のＩＭＵユニットの一部として）を含む。本明細書の他の箇所でより詳細に考察されるように、加速度計および／またはジャイロスコープからの値を使用してＨＭＤデバイスの向きをローカルに決定することができる。さらに、ＨＭＤデバイス１００ｃは、前部１１６の外側のカメラ１８５など、１または複数の前向きカメラを含んでよく、そのカメラの情報を利用してＨＭＤデバイス前部の実際の物理的環境画像を撮像する（例えば、ＡＲ機能を提供するため）ことができる。例示の実施形態におけるハードウェアセンサはさらに、例えば光学レンズシステム１１０および１１２の近傍の内面１２１に位置する、ユーザの瞳孔／視線を追跡するための１または複数のセンサまたは他の構成要素１９５を含むが、他の実施形態では、そのセンサは、表示パネル１０６および／または１０８上にまたはその近傍にあることで、光学システム１１０および／または１１２をそれぞれ介して瞳孔／視線を追跡することができる。本明細書の他の箇所でより詳細に考察されるように、例えば、ユーザの視線の方向に基づき、ＨＭＤデバイスの位置（例えば、位置および向き）に関するその他の情報と組み合わせて構成要素１９５からの情報を利用して、ユーザに表示するシミュレート環境の特定の視野を特定する、ならびに（例えば、画像の一次領域を選択する際に使用する）ユーザの現焦点である画像部分を決定することができる。さらに、ＨＭＤデバイス１００は、本明細書の他の箇所でより詳細に考察されるように、本明細書の他の箇所で考察される次にあげるＩＤＭシステムの一実施形態を実装する構成ハードウェア回路（図示なし）と、ケーブルで接続するテザーおよび／または無線接続を介して、表示する画像データを例えば、映像レンダリングシステム（図示なし）またはその他のソースから受信する有線および／または無線入力ポートと、内部ストレージと、１または複数のバッテリと、外部の基地局と連動する位置追跡デバイスなどのうちの１または複数といった他の構成要素１７５を含んでよい。他の実施形態は、構成要素１７５、１８５、１９８および／または１９５のうちの１または複数を含まなくてよい。ここでは図示しないが、そのＨＭＤのいくつかの実施形態は、例えば、ユーザの身体の様々な他の種類の動きおよび位置などを追跡する様々な追加の内側センサおよび／または外側センサを含んでよい。

記載される技術は、いくつかの実施形態において、図１Ｃで示される表示システムに類似する表示システムと共に使用してよく、他の実施形態では、単一の光学レンズおよび表示装置、または複数のこうした光学レンズおよび表示装置と共に使用することを含め、他の種類の表示システムを使用してよい。他のその装置の非排他的な例は、カメラ、望遠鏡、顕微鏡、双眼鏡、スポッティングスコープ、測量器、などを含む。さらに、記載される技術は、１または複数のユーザが１または複数の光学レンズを通して見る画像を形成するために発光する様々な表示パネルまたはその他の表示装置と共に使用してよい。他の実施形態では、ユーザは、１または複数の光学レンズを介して１または複数の画像を見ることができ、その画像は、表示パネルを介するのとは異なる方法で、例えば、部分的または全体的に、別の光源からの光を反射する表面に生成される。

図２Ａは、本明細書に記載される技術の一実施形態に係る、画像を表示する際に使用する表示パネルの部分を示す。詳細には、図２Ａは、ヘッドマウントディスプレイデバイス２９５の１つの表示パネルと共に記載される技術の使用を示す。この例では、表示パネルは、一次領域２５０、二次領域２５４（領域２５４ａおよび２５４ｂを含む）および２５６（領域２５６ａおよび２５６ｂを含む）、ならびに三次領域２６６（領域２６６ａ、２６６ｂ、２６６ｃおよび２６６ｄを含む）に符号化された画像画素値を表示するために使用される画素配列（図示なし）を含む。二次領域２５６ａおよび２５６ｂは、一次領域と、画素配列の上端および下端との間にそれぞれ配置され、二次領域２５４ａおよび２５４ｂは、一次領域と、画素配列の右端および左端との間にそれぞれ配置され、三次領域２６６ａから２６６ｄは、画素配列のコーナーにそれぞれ配置され、二次領域２５４および２５６の４つの境界を示す。他の実施形態では、領域２６６ａから２６６ｄの一部または全ては、本明細書の他の箇所で考察されるように、同様に二次領域としても扱ってよい。

図２Ｂは図２Ａの例に続いており、以下でさらに考察するように、一次領域２５０内の画像データは、その画像データを最高である第１の解像度（例えば、フル解像度）で表示することができるように符号化および送信することができ、二次領域内の画像データは、その画像データを１または複数の低解像度で表示することができる（例えば、二次領域内の緑色の色データが第１の解像度よりも低い第２の解像度で表示され、二次領域内の赤色および青色の色データが第２の解像度よりも低い１または複数の第３の解像度で表示される）ように符号化および送信することができ、三次領域内の画像データは、その画像データを最低解像度（すなわち、全く表示されない）で表示することができるように符号化および送信することができる。画像は、ＨＤＲ輝度値（例えば、各値が、赤色、緑色および青色のサブ画素を備える関連付けられる画素の明度または輝度を制御する）を含むＨＤＲ画像であり、さらに場合によってはＨＤＲ指数データとも呼ばれる実施形態および状況において、ＨＤＲ輝度値（例えば、二次領域内の画素と関連付けられる輝度値）の少なくともいくつかは、（例えば、１または複数の第３の解像度よりも低い第４の解像度に対応する圧縮レベルで復号した後に表示されるように）色データの一部または全ての圧縮レベルよりも高い圧縮レベルで符号化および送信することができる。

詳細には、図２Ｂは、二次領域２５４ｂ内の２つの画素配列２１０および２１１を示し、ならびにＩＤＴＭシステムがデータを符号化する前の対応する画像データ、および符号化後の結果として生じる情報、ならびに三次領域２６６ｃ内の追加の画素配列２１２を示す。画素配列２１１は、緑色の色チャネルの画像データを示し、画素配列２１０は、赤色または青色の色チャネルの画像データを示す。２つの画素配列２１０および２１１は、二次領域２５４ｂ内の別々の画像部分に対応するものとして示されるが、２つの画素配列２１０および２１１は、代わりに画像の同じ部分を表示できるだけでなく、画像の単一部分の様々な各色チャネルの画像データを使用することができる。

赤色または青色の色チャネルの画像データを示す画素配列２１０に関連して、例示２１０ｂは、二次領域内の赤色または青色の色チャネルに特有の解像度で符号化される８×８の画素配列２１０の拡大表示、ならびに、別々に符号化（図示なし）される少数の追加の周囲画素を提供する。画素配列２１０の右上４×２（４列および２行）部分を考察してみると、これは、各画素の例示的な値を示すために拡大形態２２５で示される。例えば、画素配列２１０は赤色の色チャネルに対応しており、この赤色の色チャネルにおいて、各画素が、その画素を表示する赤色の明度を示す０から２５５の値を有する場合、４×２配列２２５内の例示的な赤色の画素値は０４０から２００までさまざまであり、さらに拡大した画素配列２１０内のその他の画素値（図示なし）は０から２５５の範囲の他の値を有する。

４の因数で符号化される画素値の数量を減らすべく、ならびに、４つの可能画素値を選択し、０から３の対応するマップ値を備える符号化された画素配列２１５内に各画素値を示すことによって符号化される色データ量を減らすべく、符号化された４×４の画素配列２１５は、圧縮および符号化された８×８の画素配列のバージョン２１０を示す。符号化の一環として、最初に、８×８の画素配列２１０内の２×２の各画素サブ配列を、４つの可能画素値の１つである単一の画素値に減らし、次いで、対応するマップ値を使用して、そのマップ値を符号化された画素配列２１５内に示す。例えば、例示的な値「０４２」、「０７４」、「０４０」、「０５６」を有する２×２の画素サブ配列２２５ａを考察してみる。たたみ込み、またはその他の画像処理技術などを利用して、４つの値の単一の１つの値をダウンサンプリング、平均化、サブサンプリング、選び出しなど、様々な方法で画素サブ配列２２５ａの単一の画素代表値を選択することができる。この例では、２×２の画素サブ配列２２５ａの画素代表値を２２５ａ内の実際の画素値を平均化して選び出すことで、５３の画素値が達成され、例示的な画素値である「２００」、「１５０」、「２４５」、および「１４１」を備える第２の２×２の画素サブ配列２２５ｂの平均的な画素代表値は、同様に１８４に決定される。符号化される画像データのサイズをさらに小さくするために、予め定められた複数の可能画素値を決定し、各２×２の画素サブ配列の平均的な画素代表値はさらに、最も近い可能画素値に四捨五入される。この例では、可能画素値の数が４つになるように選択され、この４つの数字は、８×８の画素配列２１０内の実際の最小画素値と、８×８の画素配列２１０内の実際の最大画素値と、を得ることによって、および、最小画素値と最大画素値との間に２つの中間画素値を補間することによって、決定される。情報２２０内で示されるように、この例における８×８の画素配列２１０の符号化マトリックスは、（例えば、２×２の画素サブ配列２２５ａから）最小値として「０４０」を、（例えば、サブ配列２２５ａおよび２２５ｂとは異なる８×８の画素配列２１０の一部から）最大値として「２５０」を、補間される２つの中間値として「１１０」および「１８０」をもたらす。次いで、これらの４つの可能値はそれぞれ最小可能画素値から最大可能画素値までの０、１、２および３の値に割り当てられ、結果、符号化された画素配列２１５の全画素値が３２ビットで記憶できるように、各平均的な画素代表値がわずか２ビットの符号化された４×４の画素配列２１５内に示される。この具体的な例では、第１の２×２の画素サブ配列２２５ａの平均的な画素代表値である５３は、最小値４０に四捨五入され、符号化された画素配列２１５内で「０」で符号化され（第１行の第３列で示されるように）、第２の２×２の画素サブ配列２２５ｂの平均的な画素代表値である１８４は、補間値１８０に四捨五入され、符号化された画素配列２１５内で「２」で符号化される（第１行の第４列で示されるように）。符号化された４×４の画素配列２１５内のその他の各画素値を同様に決定し、これらの画素値は、（例えば、実際の最小値および最大値を記憶することによって）復号する折に、符号化された値に対応する４つの可能画素値を再構成する際に使用する情報共に、結果として生じる修正された符号化画像データ内に記憶される。次いで、このプロセスは、二次領域内の各８×８の画素配列に対して繰り返し行われ、さらに、この例における各赤色および青色の色チャネルに対して別々に行われる。

対応する符号化された画像ファイルを後に復号および表示する場合、８×８の画素配列２１０の赤色または青色の色チャネルの符号化された４×４の画素配列２１５を使用して、例えば、各マップ値０から３を変換して４つの可能画素値０４０、１１０、１８０または２５０のうちの１つに戻し、次いで復号される画像内の２×２の画素ブロックをその可能画素値に設定することによって、表示される新しい８×８の画素配列を生成する。類似の処理が、二次領域内にある赤色および青色の色チャネルの符号化された圧縮画像ファイル内の他の各４×４の符号化された画素配列に対して実行される。したがって、符号化された４×４の画素配列２１５は、復号および表示された場合に元の８×８の画素配列２１０よりも低解像度をもたらす赤色または青色の色チャネルの例示的な符号化された８×８の画素配列のバージョン２１０を図示する。

８×８の画素配列２１０、および符号化された４×４の画素配列２１５と同様に、符号化された４×４の画素配列２１６は、緑色チャネルの８×８の画素配列２１１を使用して生成される例示的な符号化バージョンを示す。ただし、画素配列２１０および２１５とは対照的に、８×８の画素配列２１１の全体がその４つの符号化された４×４の画素配列で示される（８×８の画素配列２１１のその３つの他の符号化された４×４の画素配列はこの例では示されない）ように、符号化された４×４の画素配列２１６は、８×８の画素配列２１１の対応する４×４の画素サブ配列だけを示す。このように、８×８の画素配列２１１のその４つの符号化された４×４の画素配列は、符号化された圧縮画像ファイル内の画素値の総数を減らすだけでなく、符号化された４×４の画素配列内の対応する値０から３にマッピングされる４つの可能画素値だけを使用して同様に符号化された色データ量を減らす。この例では、情報２２１は８×８の画素配列２１１の符号化マトリックスを示し、符号化マトリックスは、値「０」にマッピングされる最小値として「００５」、値「３」にマッピングされる最大値として「２４５」、およびそれぞれ値「１」および「２」にマッピングされる補間される２つの中間値として「０８５」および「１６５」を備える。８×８の画素配列２１１の４つの符号化された４×４の画素配列の１つだけを示すが、８×８の画素配列２１１のその他３つの対応する各４×４の画素サブ配列に対してこのプロセスを繰り返し行い、次いで、緑色チャネルの二次領域内の各８×８の画素配列に対してさらに繰り返す。

対応する符号化された画像ファイルを後に復号および表示する場合、緑色の色チャネルの８×８の画素配列２１１の対応する４×４の画素サブ配列の符号化された４×４の画素配列２１６を使用して、例えば、各マップ値０から３を変換して４つの可能画素値００５、０８５、１６５または２４５のうちの１つに戻し、次いで復号される画像内の単一の画素をその可能画素値に設定することによって、表示される新しい４×４の画素配列を生成する。類似の処理が、二次領域内にある緑色の色チャネルの符号化された圧縮画像ファイル内の他の各４×４の符号化された画素配列に対して実行される。したがって、符号化された４×４の画素配列２１６は、復号および表示された場合に８×８の画素配列２１１の対応する元の４×４の画素サブ配列よりも低解像度をもたらすが、（符号化された画素値の数量が元の画素値の数量と比べて減っていないので）二次領域の赤色および青色の色チャネルの解像度レベルよりも高解像度レベルにある緑色の色チャネルの８×８の画素配列２１１の対応する４×４の画素サブ配列の例示的な符号化バージョンを示す。

符号化された４×４の画素配列２１７はさらに、三次領域内の画素値を符号化してデータサイズを小さくできる方法の一例をさらに示すが、他の実施形態では、その三次領域からのデータを全廃棄してよいし、符号化された圧縮画像内に含めなくてよい。この例では、「Ｎ」、「Ｌ」、「Ｊ」および「Ｋ」として抽象的に示される様々な実際の画素値を備え、三次領域２６６ｃの画素配列２１２からの代表的な４×４の画素配列２２７を示すが、各実際の画素値は赤色、青色または緑色のあらゆる色チャネルの０から２５５の範囲内の値を示す。追加の色データを符号化された圧縮画像内に記憶する必要がなくなるように、実際の画素値が廃棄され、それぞれが符号化された４×４の画素配列２１７内で「０」に変わる。三次領域の符号化された４×４の画素配列の１つだけを示すが、このプロセスを三次領域の全体にわたって、および各赤色、青色、および緑色の色チャネルに対して繰り返すことができる。対応する符号化された画像ファイルを後に復号および表示する場合、符号化された４×４の画素配列２１７からのデータを廃棄することができ、対応する画素を表示パネル内に設定する際に使用しなくてよく、または代わりにこれらの対応する画素の全てを０値に設定してよい。

図２Ｂの例は、様々な符号化の実行、および二次領域内など少なくともいくつかの領域内の異なる色の解像度、および赤色または青色の色データよりも高解像度で使用するために符号化される緑色の色データの解像度を考察するが、他の実施形態は様々な種類の符号化および／または解像度を使用してよいことが理解されよう。いくつかの実施形態では、赤色、緑色および青色の色データのそれぞれは同じ符号化および解像度を有してよく、他の実施形態では、赤色、緑色および青色の色データのそれぞれは様々な符号化および解像度を有してよい。さらに、緑色の色データは、この例では高解像度で符号化されるが、他の実施形態では、赤色および／または青色の色データは緑色の色データよりも高解像度で符号化してよい。したがって、本明細書の他の箇所でさらに考察されるように、その他の種類の符号化および解像度が企図される。

図２Ｂでは示されないが、符号化される画像は、ＨＤＲ輝度値をさらに含むＨＤＲ画像、例えば、ＲＧＢＥ形式の画像などであってよく、ＲＧＢＥ形式の画像において、各画素は、赤色、緑色および青色のサブ画素のそれぞれに対して１バイトを使用して、および共有ＨＤＲ指数に対して１バイト（トータル４バイトの）を使用して示される。各ＨＤＲ輝度指数値は、例えば、０と１００との間の値を有し、配列内に記憶することができ、各ＨＤＲ輝度指数値は、関連付けられた画素の対応するＲＧＢサブ画素値と関連付けられる。そのＨＤＲ輝度指数値を符号化する一例として、画素配列２１０と関連付けられた８×８の配列を考察してみるが、この配列は代わりに６４のＨＤＲ輝度指数値を含み、各ＨＤＲ輝度指数値は配列２１０内の画素値の（および２つの他の色チャネルの２つの他のその８×８の画素配列内にある対応する画素の）１つに対応する。ただし、８×８の画素配列２１０は、この例では、符号化された４×４の画素配列２１５に圧縮される（したがって、画素値の数量を４の因数まで減らす）が、ＨＤＲ輝度指数値の例示的な８×８の配列は、少なくともいくつかの実施形態では、符号化された２×２のＨＤＲ輝度値の配列に圧縮することができる（したがって、ＨＤＲ輝度値の数量を１６の因数まで減らす）。圧縮は様々な実施形態において様々な方法で実行できるが、少なくともいくつかの実施形態では、圧縮は配列２１０の色画素値に対して記載される方法と類似の方法で実行される。例えば、ＨＤＲ輝度指数値の例示的な８×８の配列に関連して、符号化された２×２のＨＤＲ輝度指数値の配列の初期値（符号化された４×４の画素配列２１５に類似する）は、例示的な８×８のＨＤＲ輝度指数値の配列の４つの各４×４のサブ配列を単一のＨＤＲ輝度指数値に変換することによって、例えば上記の様々な他の技術の１つに平均化することによって決定してよい。このようないくつかの実施形態では、情報２２０の情報に類似する符号化マトリックスはさらに、（例えば、例示的な８×８のＨＤＲ輝度指数値の配列内のＨＤＲ輝度指数値の最小値および最大値を決定し、ＨＤＲ輝度指数値の最小値と最大値との間に２つのＨＤＲ輝度指数中間値を任意で補間し、２つまたは４つのＨＤＲ輝度指数可能値を０および１、または０から３などの符号化値に割り当て、符号化された２×２のＨＤＲ輝度指数値の配列の各初期値を２つまたは４つのＨＤＲ輝度指数可能値のうち対応する最近値の符号化値と交換することによって）符号化された２×２のＨＤＲ輝度指数値の配列の初期値を１または複数のＨＤＲ輝度指数可能値のサブセットからの値と交換するために生成および使用することができる。次いで、このプロセスは、少なくとも二次領域内（および、いくつかの実施形態では同様に一次領域内）の各８×８のＨＤＲ輝度指数値の配列に対して繰り返し行われる。したがって、結果として生じる符号化された２×２のＨＤＲ輝度指数配列は、符号化された４×４の画素配列２１５および２１６の圧縮よりも大きい圧縮を利用して符号化され、結果、復号および表示された場合に低解像度になる。

図２Ｃは、図２Ａから図２Ｂの例に続いており、詳細には、例えば、図２Ａで示されるのとは異なる画像の一次領域、二次領域および三次領域の代替的符号化を示す。詳細には、図２Ｃの一次領域２７０は、例えば、装着者であるユーザの実際視線または予想視線を反映するためにもはや中央に置かれておらず、二次領域および三次領域はそれに応じて中心からずれており、ならびに異なるサイズおよび形状になっている。さらに、図２Ｃの円２５４ｂは表示パネルのサブセットを示し、この表示パネルのサブセットは、例えば、使用中光学システムであるので、視聴者であるユーザが可視できる。この例では、円２５４ｂは、あらゆる領域２８８ａ、２８８ｃまたは２５４ａを何ら含まず、これらの領域はこの画像の三次領域として動的に選択され、（図２Ａの２６６ａから２６６ｄのあらゆる領域と同じように）符号化されるあらゆるデータを有さなくてよい。他の領域２８６ａから２８６ｃ、２７６ａから２７６ｂおよび２５４ｂは一次領域２７０の外側にあるが、少なくとも部分的に円２５４ｂ内で可視するので、この画像の二次領域として動的に選択される。一次領域、二次領域および三次領域が決定すると、それら領域内の画素値は図２Ｂに関連して考察された方法と同じ方法で符号化および復号され得る、または代わりに異なる方法で符号化され得る。

図２Ａから図２Ｃの詳細は例示の目的のみのために提供され、様々な他の種類の符号化および復号方法を利用してよく、ならびに元の画素配列から符号化された画素配列までの減少量、および可能画素値の数を変えることで、様々なデータ量のサイズを小さくでき、対応する解像度を低減できることが理解されよう。一例として、ＲＧＢの色チャネルの一部または全ての減少量とは異なる減少量でＨＤＲ指数データを含めてよい。さらに、図２Ａから図２Ｃの図示された例は、代表的な映像フレームの分割が矩形状から成る画像分割装置を利用する。ただし、本技術の意図される範囲から逸脱することなく様々な代替的分割形状を使用してよいことが理解されよう。例えば、特定の実施形態では、円または楕円である一次領域を使用してよく、表示の画素配列の残りの部分は、一次領域からの、表示される画素配列の１または複数の両端からの相対距離に従って、または他の方法に従って、１または複数の二次領域に分割される。

図３は、画像データ送信マネージャルーチン３００の例示的実施形態のフロー図である。図２Ａから図２Ｃに関連して、および本明細書の他の箇所で考察されるように、当該ルーチン３００は、例えば、図１Ａの画像データ送信マネージャシステム１３５、および／または、画像データを符号化する、例えば、画像の周辺領域内にある表色圧縮を利用することによって表示パネルへの画像データ送信の帯域幅を低減するべく画像データを符号化する動作を実行するシステムによって実行することができる。ルーチン３００の例示の実施形態は、単一画像の動作を一度に実行することを考察するが、ルーチン３００の動作は、一連の複数の画像（例えば、連続する複数の映像フレーム）に適用してよいことが理解されよう。ルーチンの例示の実施形態はソフトウェアおよび／またはハードウェアで適切に実装してよく、例えば、コンピューティングシステムで動作して画像データを関連付けられたＨＭＤデバイスに変換するシステムによって実行してよいことがさらに理解されよう。

ルーチン３００の例示の実施形態はブロック３０５で始まり、ここでルーチンは、画像データ、および画像データを表示する表示パネルに関する情報を得る。ブロック３１０で、ルーチンは、例えば、ブロック３０５で利用する配置（例えば、全画像用に定まった構造）に関する情報を受信することによって、または代わりに現行コンテキスト（例えば、視聴者の視線追跡などから画像の強調部分に関する受信した情報、生成またはそうでなければ画像供給するプログラムからの情報など）に基づいて利用する構造を動的に決定することによって、その画像データを符号化するために使用する領域を特定する。詳細には、ブロック３１０のルーチンは、画像の少なくとも１つの一次領域と、一次領域の外側にある少なくとも１つの二次領域とを特定する、ならびに１または複数の三次領域を任意で特定する。ブロック３１５で、ルーチンは次いで、元の画像コピーの符号化された圧縮バージョンである修正された画像コピーの生成を開始し、符号化される元の画像の生成、またはその元の画像の部分の受信と同時に、符号化された圧縮バージョンの生成を任意で行う。

ブロック３１５の後、ルーチンはブロック３２０から３８５のループを実行するために進み、符号化された圧縮画像ファイルの生成を完了する。ブロック３２０で、ルーチンは、図２Ｂに関連して考察されるように、色チャネルの画像画素値のブロック、例えば、８×８の画像画素値のブロックを受信する。ブロック３２５で、ルーチンは次いで、ブロックが属する領域タイプを決定し、それぞれ一次、二次または三次の領域タイプに対するブロック３３０、３４０または３３５に進む。一次領域ブロックのブロック３３０で、ルーチンは、生成される符号化された圧縮コピー内の全画像画素値を保持するが、他の実施形態では、可逆的圧縮法を利用して画素値を圧縮してよい。三次領域ブロックのブロック３３５で、ルーチンは、図２Ｂで図示される方法と同じ方法で全色データを削除する、または代わりに、他の実施形態では、生成される符号化された圧縮コピーの領域画素値を全て廃棄するなど、生成される符号化された圧縮コピーから、対応する画像画素値情報の一部または全てを削除する。

二次領域ブロックのブロック３４０で、ルーチンは、画素ブロックが属する色チャネルをルーチンブロック３４０で決定し、ルーチンは、緑色の色チャネルのブロック３４５に、または赤色または青色の色チャネルのブロック３５０に進む。緑色の色チャネルのブロック３４５で、このブロックは複数のサブブロックに分離され、各サブブロック、例えば、その４つの４×４の画素サブ配列は図２Ｂで図示される方法と同じ方法で別々に符号化される。逆に、赤色または青色の色チャネルのブロック３５０で、このブロックは、図２Ｂで図示されるように、平均リサンプリングを介して単一のより小さいサブブロック、例えば４×４の画素サブブロックの４分の１に変わる。少なくともいくつかの実施形態では、ルーチンブロック３４５で生成される複数の画素サブブロック、およびルーチンブロック３５０で生成される単一の画素サブブロックは同サイズである。ブロック３４５または３５０の後、ルーチンはブロック３６０に進み、ここでは、ルーチンブロック３４５または３５０で生成される各画素サブブロックに関して、ルーチンは、ルーチンブロック３２０で受信した画素ブロックの最小画素値および最大画素値を決定し、補間によって最小画素値と最大画素値との間の２つの中間画素値をさらに決定し、決定した４つの可能画素値を対応する識別子（例えば、値０から３）にマッピングし、次いで各サブブロックの画素値を、決定した４つの可能画素値のうち近い１つの可能画素値の対応する識別子と交換し、ならびに、その識別子の色データを記憶する（例えば、最小可能画素値および最大可能画素値を記憶する）ことによって生成される符号化された圧縮コピーの画素値を符号化する。

ブロック３４５、３５０または３６０の後、ルーチンはルーチンブロック３８５に進み、符号化する元の画像内により多くの画素ブロックが存在するかどうかを決定し、そうであれば、ルーチンブロック３２０に戻って隣のその画素ブロックを受信する。その他の場合は、ルーチンはブロック３９０に進み、生成され符号化された圧縮画像ファイルを全体的に任意でさらに圧縮する、および、結果として生じる符号化された圧縮画像ファイルを、画像が表示される表示パネルを備える装置に記憶および／または送信する。

ブロック３９０の後、ルーチンはブロック３９５に進み、例えば、終了への明示的な指示を受信するまで続けるかどうかを決定する。続けることを決定する場合、ルーチンはブロック３０５に戻って、符号化する次の画像の画像データを得る、そうでなければ、ルーチンはブロック３９９に進み、終了する。

図４は、画像表示マネージャルーチン４００の例示的実施形態のフロー図である。図２Ａから図２Ｃに関連して、および本明細書の他の箇所で考察されるように、当該ルーチン４００は、例えば、図１Ａの画像表示マネージャ構成要素１８４、および／または、符号化および圧縮される画像データを受信、復号および表示する動作を実行するシステム、によって実行することができる。ルーチン４００の例示の実施形態は、単一画像の動作を一度に実行することを考察するが、ルーチン４００の動作は、一連の複数の画像（例えば、連続する複数の映像フレーム）に適用してよいことが理解されよう。ルーチンの例示の実施形態はソフトウェアおよび／またはハードウェアで適切に実装してよく、例えば、ＨＭＤまたは個別の別のコンピューティング装置の１または複数のプロセッサまたはその他の構成ハードウェア回路によって実行してよいことがさらに理解されよう。

ルーチン４００の例示の実施形態はブロック４０５で始まり、ここで、図３に関連して考察されるように、画像データ送信マネージャシステムが生成および送信する符号化された圧縮画像データなどの符号化された圧縮画像データ情報が、表示パネルで表示するために得られる。ブロック４１０では、予め定められた変わらない領域情報を使用することによって、またはそうでなければ領域情報を決定することによって、（例えば、領域構造が異なる画像に対して動的に変わり得るような状況の場合に）画像内で符号化されたその領域情報を受信することなどに基づいて、画像の一次領域およびその他の領域を決定することができる。例えば図３のブロック３９０に関連して、符号化された圧縮ファイルが全体的に加えられた圧縮を有した場合、その対応する全復元が、画像の二次領域のさらなる表色復元を実行する前にさらに実行される。

ブロック４１０の後、ルーチンはブロック４２０から４７０のループを実行するために進み、受信した画像データを復号し、画像の周辺領域内の異なる表色解像度を備えた結果として生じる表示用の新しい画像を準備する。詳細には、ルーチンは、図２Ｂおよび図３で考察されるように、符号化された圧縮画像から色チャネルの画像画素値のサブブロック、例えば４×４の画像画素配列を抽出する。ブロック４２５で、ルーチンは次いで、サブブロックが属する領域タイプを決定し、各一次、二次または三次の領域タイプに対するブロック４３０、４４０または４３５に進む。一次領域ブロックのブロック４３０では、ルーチンは、各画像画素値を表示パネル内の対応する一次領域の画素へロードすることによってサブブロック内の全画像画素値を使用する。三次領域サブブロックのブロック４３５では、ルーチンは、サブブロックからあらゆる対応する画素情報を廃棄する。

二次領域サブブロックのブロック４４０では、ルーチンは、サブブロックが属する色チャネルを決定し、緑色の色チャネルのブロック４４５、または赤色または青色の色チャネルのブロック４５０に進む。緑色の色チャネルのブロック４４５では、サブブロックの各画素値は、記憶したマップ値から限られた数（例えば、４つ）の可能画素値のうち対応する１つに変わり、その可能画素値は表示パネル内の対応する二次領域の画素にロードされる。逆に、赤色または青色の色チャネルのブロック４５０および４６０では、サブブロックの各画素値は、記憶したマップ値から限られた数（例えば、４つ）の可能画素値のうち対応する１つに変わり、次いで４倍の大きさの画素値のブロックが、その可能画素値を表示パネル内の４つの対応する二次領域の画素にロードすることによって作成される。ブロック４３０、４４５または４６０の後、ルーチンはルーチンブロック４７０に進み、復号および表示するより多くのサブブロックが存在するかどうかを決定し、そうであれば、ルーチンブロック４２０に戻って隣のそのサブブロックを得る。

代わりにルーチンブロック４７０内でこれ以上復号するサブブロックが存在しないことが決定された場合、ルーチンはブロック４８０に進み、一次領域のフル解像度から二次領域の低解像度に円滑に移行するために、一次領域および二次領域の境界に沿って表示パネル画素内にロードされる画素値を任意で調整する。ブロック４８０の後、ルーチンはブロック４９０に進み、ロードされた画素値の表示を表示パネル上で開始する。

ブロック４９０の後、ルーチンはブロック４９５に進み、例えば、終了への明示的な指示を受信するまで続けるかどうかを決定する。続けることを決定する場合、ルーチンはブロック４０５に戻って、符号化する次の画像の画像データを得る、そうでなければ、ルーチンはブロック４９９に進み、終了する。

上記のように、記載される技術は、いくつかの実施形態において、光学レンズを使用してユーザの目と表示装置との間の距離を短くし、比較的高いリフレッシュレート、およびユーザが動揺病にならないようにする短待ち時間を任意で有することができるＨＭＤデバイスの性能に対処するために使用することができる。ＨＭＤのレンズを介して見る場合、サイズおよび形態が均一である画素は、画像データがユーザの視野全体にわたって絶えず高密度ではないように周辺で空間的に歪んでおり、結果、従来の表示装置用に意図される方法を利用して画像データを送信する場合に効率が悪くなってしまう。

追加の圧縮／復元技術の様々な形態は、いくつかの実施形態において、例えば、上記の圧縮および符号化の利用に加えて（例えば、この利用の後に）、１または複数のその追加の圧縮技術を行うことによって効率的なデータ送信を行うために利用できるが、他の実施形態では、上記の圧縮および符号化の用途は、その追加の圧縮／復元技術の一部または全ての潜在的用途に取って代わる。その追加の圧縮技術は、例えば、ＹＵＶ色空間内で色のサブサンプリングを利用することができ、これによって、色の変化よりも光度の変化に対してより影響を受けやすい人間の両目、ならびに、赤色、緑色および青色の色チャネルの色の一般的に高い相関関係に基づき画像データが輝度および色信号に分離され、色データの密度が低下する。ただし、この方法はＨＭＤデバイス内で不適当な結果を生み出す場合があり、この表示装置は光学レンズによって生成される色収差を補償する画像をもたらす。結果、その色収差を補償した画像は通常ＲＧＢの色チャネル間で高い空間的隔離を示し、この高い空間的隔離により、ＹＵＶ法が利用するＲＧＢの色チャネルの相関の多くが効率的になくなり、表示装置の周辺に対してこの高い空間的隔離がさらに拡大し、帯域幅の効率を上げる要求が高まる。その追加の圧縮技術はさらに、例えば、人の周辺視野がとても影響を受けやすいバンディングアーティファクトおよびフリッカリングアーティファクトを起こしやすい（例えば、ハードウェア内で、およびリアルタイムで実行する）ブロック圧縮法を含んでよい。その追加の圧縮技術は一般的に、周辺視野の態様に対処しておらず、代わりに、結果が非周辺領域内で直接見られることを見込んで設計される。

したがって、少なくともいくつかの実施形態において、記載される技術は、全体的または部分的に人の周辺視野を利用して知覚されることになる画像データに関し、中心視覚に対して以下の特性の１つ、または一部または全てを示すことに関し、以下の特性は、詳細に対して低感度（高周波数領域内の情報、別称詳細部分が知覚可能ではない）であり、特に低光量の高コントラスト感度（例えば、知覚コントラストが維持される）であり、均等の時間感度（例えば、画像周辺表示は、リアルタイムでスキャンアウトと調和して圧縮／復元を処理することによって、代わりにそれらを行うことによって遅延しない）であり、幾何学的空間アーティファクトに対して高感度（例えば、符号化および復号する前に画像データに対して光学的に同じ精度または高精度であるなど、病気を回避するのに光学的に十分に正確になる）であり、一次運動（例えば、目立つバンディングアーティファクト、スパークルアーティファクトまたはフリッカリングアーティファクト）に対して高感度であり、色変調に対して低感度である（例えば、画像が中心視覚に対して小さい色収差を示すことができる）などである。上記のように、ＹＵＶを利用した方法は、色収差補償を維持しないので、いくつかの状況下で不適当になり得る。修正ブロック圧縮法は、高速（例えば、かなりの待ち時間を導くフレーム差分がない、または他の計算をしない、任意でハードウェアで実装される、など）、および安定（例えば、幾何学的シフトがほとんどもしくは全くない）である利点を提供することができ、これらの利点は、上記の記載される技術内に示されるように、以下の特徴的な機能の１つ、または一部または全てを提供することを含み、以下の特徴的な機能は、ＲＧＢチャネル分離、および関連する色収差補償を維持すること、バンディングを回避すること（例えば、いくつかの圧縮技術で行われるように、２４ビットカラーから１６ビットカラーに変わることによって色値を限定しない）、いくつかのチャネルではより多くの詳細部分を、他のチャネルではより少ない詳細部分を（例えば、緑色の色チャネルではより多くの詳細部分を、青色の色チャネルではより少ない詳細部分を）維持すること、色チャネルの一部または全て（例えば、二次領域）と比べて、ＨＤＲ指数データ内ではより少ない詳細部分を維持すること、非圧縮の全データまたは空の全データとの動的な混合を可能にすること、過度なちらつきまたは輝きが周辺視野近傍で知覚可能になるように追加されないよう、ぼやけた画像と共に使用すること、などである。これにより、例えば周辺領域内のいくつかの詳細部分を犠牲にする一方でコントラストを維持することに優れるように、周辺領域内の高圧縮と、多くの色縁アーティファクトとの間にバランスをもたらすこと（および任意で調整されること）が可能になり、画像データが大幅に小さくなる（例えば、２０パーセント）。

いくつかの実施形態では、上記で考察されるルーチンによって提供される機能性を、より多くのルーチン間で分けられる、またはより少ないルーチンに統合されるなどの代替的方法でもたらすことができることが理解されよう。同様に、いくつかの実施形態では、図示されるルーチンは、例えば、図示される他のルーチンが代わりにその機能性をそれぞれ欠く、または含む場合に、または提供される機能性量が変わる場合に、記載されているより多くの機能性、またはより少ない機能性をもたらすことができる。さらに、様々な動作が、特定の方法で（例えば、連続的にまたは同時に）および／または特定の順序で実行されるように図示することができるが、当業者は、他の実施形態では、その動作は他の順序でおよび他の方法で実行することができることを理解するであろう。上記で考察されるデータ構造は、例えば、複数のデータ構造に分けられる単一のデータ構造を有することによって、または単一のデータ構造に統合される複数のデータ構造を有することによって、異なる方法で構成してよく、データベース、またはユーザのインタフェーススクリーン／インタフェースページ、または他のデータ構造を含むことを同様に理解されたい。同様に、いくつかの実施形態では、図示されるデータ構造は、例えば、図示される他のデータ構造が代わりにその情報をそれぞれ欠く、または含む場合に、または記憶される情報量または情報の種類が変わる場合に、記載されているよりも多くの情報または少ない情報を記憶することができる。

さらに、図面内の要素のサイズおよび相対位置は、必ずしも正確な比率ではなく、様々な要素の形状および角度を含み、これらの要素の実際の形状および尺度に関する情報を伝えずに、図面の視認性を高めるために拡大および位置決めされる要素もあり、少なくともいくつかの要素の特定の形状は認識しやすいように選択される。さらに、いくつかの要素は、分かりやすくするためにおよび強調するために省いてよい。さらに、様々な図面内の繰り返される参照番号は、同一または類似の要素を示してよい。

先述から、特定の実施形態が説明のために本明細書で記載されるが、本発明の趣旨および範囲から逸脱することなく様々な修正を行ってよいことが理解されよう。さらに、本発明の特定の態様が場合によっては特定の請求項の様式で示される、または、場合によってはあらゆる請求項で具現化しなくてよいが、本発明者らは利用可能なあらゆる請求項の様式で本発明の様々な態様を企図する。例えば、本発明のいくつかの態様だけを、コンピュータ可読媒体で具現化されるように特定の時間に列挙してよいが、他の態様も同様にそうして具現化してよい。

本出願が利益を主張する２０１８年３月５日に出願された米国特許出願第１５／９１２３２３号の内容は、全体を参照によって本明細書に引用するものとする。
［項目１］
１または複数のハードウェアプロセッサが、表示パネルに表示するための複数の画素値を有する画像用のデータを受信する段階であって、前記複数の画素値は、複数の色チャネルに属する前記画像の一次領域内のターゲット画素値と、前記複数の色チャネルの第１の色チャネルに属する前記画像の１または複数の二次領域内の第１の画素値と、前記複数の色チャネルの第２の色チャネルに属する前記１または複数の二次領域内の第２の画素値と、を含む段階と、
前記１または複数のハードウェアプロセッサが前記画像の圧縮されたコピーを生成して、前記一次領域の前記ターゲット画素値を保持し、かつ、表色方法で前記第１の画素値および前記第２の画素値の少なくともいくつかを削除することによって前記１または複数の二次領域内の解像度を低減する、前記表示パネルに送信する段階であって、
第１の圧縮レベルを使用して、前記第１の色チャネルの前記第１の画素値を示す前記圧縮されたコピー内の第１の情報を低減する段階であって、前記第１の圧縮レベルが前記第１の情報内の画素値の数量を低減し、前記第１の画素値よりも少ない固有値を有する低減された組の第１の可能画素値から前記第１の情報内の各画素値を選択する、段階と、
第２の圧縮レベルを使用して、前記第２の色チャネルの前記第２の画素値を示す前記圧縮されたコピー内の第２の情報を低減する段階であって、前記第２の圧縮レベルが前記第１の圧縮レベルより小さい圧縮を有し、前記第２の情報内の画素値の数量を低減することなく、前記第２の画素値よりも少ない固有値を有する低減された組の第２の可能画素値から前記第２の情報内の各画素値を選択する、段階と、
を有する段階と、
前記１または複数のハードウェアプロセッサが、前記画像の前記圧縮されたコピーを前記表示パネルに送信して、前記画像を前記表示パネルに表示させる段階と、
を備える方法。
［項目２］
前記圧縮されたコピー内の前記第１の情報および前記第２の情報を低減する前記段階が、
前記画像内の前記第１の画素値の複数のブロックのそれぞれについて、より小さいサイズの単一の第１のサブブロックを有する前記圧縮されたコピー内の前記ブロックを示す段階であって、前記単一の第１のサブブロックの画素値が、前記低減された組の第１の可能画素値から選択され、前記単一の第１のサブブロックの画素値のそれぞれが、前記ブロックからの前記第１の画素値のうちの複数を示す、段階と、
前記画像内の前記第２の画素値の複数のブロックのそれぞれについて、複数の第２のサブブロックを有する前記圧縮されたコピー内の前記ブロックを示す段階であって、前記複数の第２のサブブロックが全体として前記ブロックと同サイズであり、前記複数の第２のサブブロックの画素値が、前記低減された組の第２の可能画素値から選択される、段階と、
を含む、項目１に記載の方法。
［項目３］
前記圧縮されたコピーを使用して前記画像を前記表示パネルに表示する段階であって、前記複数の第２のサブブロック内の各画素値を使用して、前記低減された組の第２の可能画素値のうちの１つになるように前記第２の色チャネルの第２の表示パネル画素のうちの１つの表示を制御することによって、および、前記単一の第１のサブブロック内の前記画素値を使用して、より多くの数量のさらなる画素値を生成することであって、前記さらなる画素値のそれぞれが、前記低減された組の第１の可能画素値のうちの１つになるように前記第１の色チャネルの前記第２の表示パネル画素のうちの１つの表示を制御する、生成することによって、前記保持されたターゲット画素値のそれぞれを使用して、前記一次領域に対応する領域内の前記複数の色チャネルの第１の表示パネル画素のうちの１つの表示を制御し、かつ、前記１または複数の二次領域に対応する１または複数の領域内の前記第２の表示パネル画素の表示を制御する段階を有する、段階をさらに備える、項目２に記載の方法。
［項目４］
前記１または複数のハードウェアプロセッサがレンダリングシステムの一部であり、前記表示パネルが、少なくとも前記低減された第１の情報を含む前記圧縮されたコピー内の情報を復元し、かつ、前記画像を前記表示パネルに表示することを制御する一環として前記復元された情報を使用するように構成される１または複数のハードウェア回路を含むヘッドマウントディスプレイ（ＨＭＤ）デバイスの一部であり、前記圧縮されたコピーを生成する前記段階が、前記圧縮されたコピーのサイズを低減して、前記圧縮されたコピーを前記レンダリングシステムから前記ＨＭＤデバイスに送信するために使用される帯域幅を低減する段階を有する、項目１から３のいずれか一項に記載の方法。
［項目５］
前記ＨＭＤデバイスが、前記送信する段階が行われる無線接続を介して前記レンダリングシステムに接続され、前記第１の圧縮レベルまたは前記第２の圧縮レベルのうちの少なくとも１つが前記無線接続の１または複数の特性に少なくとも部分的に基づいて使用される、項目４に記載の方法。
［項目６］
前記レンダリングシステムおよび前記ＨＭＤデバイスがゲームシステムの一部であり、前記ＨＭＤデバイスが、前記送信する段階が行われるテザーを介して前記レンダリングシステムに接続されるバーチャルリアリティ装置であり、前記画像が実行中のゲームプログラムによって生成される一連の複数の映像フレームのうちの１つであり、前記受信する段階、および前記生成する段階、および前記送信する段階が前記複数の映像フレームのそれぞれについて連続して実行される、項目４または５に記載の方法。
［項目７］
第１の解像度で前記一次領域内に情報を表示することと、前記第１の解像度よりも低い第２の解像度で前記第２の色チャネルの前記１または複数の二次領域内に情報を表示することと、前記第２の解像度よりも低い第３の解像度で前記第１の色チャネルの前記１または複数の二次領域内に情報を表示することと、を含む、前記１または複数のハードウェア回路の制御下で前記画像を前記表示パネルに表示することを制御する段階をさらに備える、項目４から６のいずれか一項に記載の方法。
［項目８］
前記１または複数のハードウェア回路の制御下で、追加情報を生成して前記第１の解像度よりも低く、前記第２の解像度よりも高い第４の解像度で表示する段階と、前記一次領域の少なくとも一部と前記１または複数の二次領域の少なくとも一部との間の中間領域内に前記第４の解像度で前記追加情報を表示する段階と、をさらに備える、項目７に記載の方法。
［項目９］
前記第１の色チャネルが赤色の色チャネルまたは青色の色チャネルの少なくとも１つを含み、前記第２の色チャネルが緑色の色チャネルを含む、項目１から８のいずれか一項に記載の方法。
［項目１０］
前記画像の前記圧縮されたコピーを生成する前記段階の前に、前記表示パネルを見るユーザの視線の方向に対応するために前記画像の前記一次領域を決定する段階をさらに備える、項目１から９のいずれか一項に記載の方法。
［項目１１］
前記画像の前記圧縮されたコピーを生成する前記段階の前に、特定されたコンテンツを前記画像内に表示する位置に少なくとも部分的に基づいて前記画像の前記一次領域を決定する段階をさらに備える、項目１から１０のいずれか一項に記載の方法。
［項目１２］
１または複数の現状に基づいて前記画像の前記圧縮されたコピーに使用する圧縮量を決定する段階と、前記決定された圧縮量を含めるように前記圧縮されたコピーを生成する前記段階を実行する段階と、をさらに備え、前記１または複数の現状が、前記画像内の情報の複雑さ、前記１または複数のプロセッサへのロード、前記送信する段階に使用される接続の属性、または、前記表示パネルを見るユーザの１または複数の嗜好のうちの少なくとも１つを含む、項目１から１１のいずれか一項に記載の方法。
［項目１３］
前記画像が矩形状で構築され、前記表示パネルに表示され、前記画像の１または複数の三次領域を含まない前記画像の非矩形状のサブセットだけが可視であり、前記圧縮されたコピーを生成する前記段階が、前記１または複数の三次領域の少なくとも何らかの画素値情報が前記圧縮されたコピー内に含まれないようにする段階を有する、項目１から１２のいずれか一項に記載の方法。
［項目１４］
前記画像用の前記データを受信する前記段階が、前記画像を生成する段階を有し、前記画像の前記圧縮されたコピーを生成する前記段階がリアルタイムで前記画像を生成する前記段階と同時に実行される、項目１から１３のいずれか一項に記載の方法。
［項目１５］
前記画像用の前記データがさらに、前記ターゲット画素値と関連付けられるターゲットＨＤＲ輝度値と、前記第１の画素値と関連付けられる第１のＨＤＲ輝度値と、前記第２の画素値と関連付けられる第２のＨＤＲ輝度値と、を含む複数のハイダイナミックレンジ（ＨＤＲ）輝度値を指定し、前記画像の前記圧縮されたコピーを生成する前記段階がさらに、前記第１の圧縮レベルおよび前記第２の圧縮レベルより小さい圧縮を有する第３の圧縮レベルを使用して、少なくとも前記第１のＨＤＲ輝度値および前記第２のＨＤＲ輝度値を示す前記圧縮されたコピー内の第３の情報を低減する段階を有する、項目１から１４のいずれか一項に記載の方法。
［項目１６］
前記第３の情報を低減する前記段階が、前記第３の情報内の各ＨＤＲ輝度値を使用して前記第１のＨＤＲ輝度値および前記第２のＨＤＲ輝度値内の多様なＨＤＲ輝度値を示すことによって、前記第３の情報内のＨＤＲ輝度値の数量を低減する段階を含み、さらに、前記第１のＨＤＲ輝度値および前記第２のＨＤＲ輝度値よりも少ない固有値を有する低減された組のＨＤＲ可能輝度値から前記第３の情報内の各ＨＤＲ輝度値を選択する段階を含む、項目１５に記載の方法。
［項目１７］
前記画像の前記圧縮されたコピーを生成する前記段階がさらに、前記ターゲット画素値と関連付けられる前記ターゲットＨＤＲ輝度値の全てを保持して、前記画像の表示の際、前記一次領域の前記ターゲット画素値、および前記ターゲット画素値と関連付けられる前記ターゲットＨＤＲ輝度値の解像度を低減させない段階を有する、項目１５または１６に記載の方法。
［項目１８］
システムであって、
複数の画素を有するヘッドマウントディスプレイ（ＨＭＤ）デバイスの表示パネルと、
自動化動作を前記システムに実行させるように構成される１または複数のハードウェア回路と、
を備え、前記自動化動作が、
画像の複数の画素値を有する符号化されたコピーを受信する動作と、
前記符号化されたコピー内の前記複数の画素値から前記画像の一次領域の前記複数の画素値のうちの多様な画素値を特定する動作であって、前記特定された多様な画素値が、複数の色チャネルに属し、前記一次領域に対応する前記表示パネルの画素を制御する際に使用するためのものである、特定する動作と、
前記画像の１または複数の二次領域用であり、かつ、前記複数の色チャネルのうち少なくとも１つの第１の色チャネルに属する、前記符号化されたコピーから前記複数の画素値の追加の第１の画素値を特定する動作であって、前記追加の第１の画素値が、前記多様な画素値よりも少ない固有値を有する低減された組の第１の可能画素値の各１つである、特定する動作と、
前記複数の色チャネルの少なくとも１つの第２の色チャネルに属する前記画像の前記１または複数の二次領域の他の画素値を生成する動作であって、生成する前記動作が、前記１または複数の二次領域用であり、かつ、前記少なくとも１つの第２の色チャネルに属する、前記符号化されたコピーから前記複数の画素値の追加の第２の画素値を特定する動作と、特定されたそれぞれの追加の第２の画素値を使用して前記他の画素値のうちの複数を生成する動作と、を含み、前記他の画素値が、前記多様な画素値よりも少ない固有値を有する低減された組の第２の可能画素値の各１つである、生成する動作と、
前記画像を前記表示パネルに表示する動作であって、前記特定された追加の第１の画素値、および前記生成された他の画素値のそれぞれを使用して、前記１または複数の二次領域に対応する前記表示パネルの画素の表示を制御する動作と、前記特定された多様な画素値のそれぞれを使用して、前記一次領域に対応する前記表示パネルの前記画素のうちの１つを制御する動作と、を含む、表示する動作と、
を少なくとも含む、
システム。
［項目１９］
命令が記憶されたレンダリングシステムのメモリをさらに備え、前記命令は、前記レンダリングシステムの１または複数のハードウェアプロセッサによって実行されると、さらなる自動化動作を実行することによって、前記レンダリングシステムに前記符号化されたコピーを生成させ、前記符号化されたコピーを前記ＨＭＤデバイスに送信させ、前記さらなる自動化動作が、
前記レンダリングシステムが、前記複数の色チャネルに属する複数の画素値を含む前記画像用のデータを受信する動作と、
前記レンダリングシステムが、前記１または複数の二次領域内の表色圧縮を利用して前記画像の前記符号化されたコピーを生成する動作であって、
前記符号化されたコピー内で、前記一次領域内の前記受信したデータの画素値を保持し、前記保持した画素値の色データのサイズを保持する動作と、
追加の第１の画素値の複数のブロックのそれぞれについて、前記符号化されたコピー内で、前記ブロックをより小さいサイズの単一の第１のサブブロックと交換することであって、前記単一の第１のサブブロックの画素値のそれぞれが、第１の低減された組の可能画素値から選択され、前記単一の第１のサブブロックの画素値のそれぞれが、前記ブロックからの前記追加の第１の画素値のうちの複数を示す、交換することによって、前記符号化されたコピー内で、前記１または複数の二次領域の前記受信したデータ内にあり、かつ、前記第１の色チャネルに属する、前記追加の第１の画素値について、色データの画素数量およびサイズを低減する動作と、
追加の第２の画素値の複数のブロックのそれぞれについて、前記符号化されたコピー内で、前記ブロックを複数の第２のサブブロックと交換することであって、前記複数の第２のサブブロックの画素値のそれぞれが、第２の低減された組の可能画素値から選択される、交換することによって、前記符号化されたコピー内で、前記１または複数の二次領域の前記受信したデータ内にあり、かつ、前記第２の色チャネルに属する、前記追加の第２の画素値に対して、色データのサイズを低減する動作と、
を含む、生成する動作と、
前記レンダリングシステムが、前記画像の前記符号化されたコピーを前記ＨＭＤデバイスに送信する動作と、
を少なくとも含む、項目１８に記載のシステム。
［項目２０］
前記記憶された命令がさらに、前記レンダリングシステムに、前記表示パネルに表示するために一連の複数の映像フレームを生成するソフトウェアアプリケーションを実行させ、少なくとも１つの接続を介して前記ＨＭＤデバイスに送信する前に前記複数の映像フレームのそれぞれを符号化させ、前記画像が複数の映像フレームのうちの１つであり、前記多様な画素値を前記受信および特定する前記動作と、前記追加の第１の画素値を特定する前記動作と、前記他の画素値を生成する前記動作と、表示する前記動作とが、前記複数の映像フレームのそれぞれについて実行される、項目１９に記載のシステム。
［項目２１］
前記ＨＭＤデバイスの第２の表示パネルをさらに備え、前記ＨＭＤデバイスが、前記ＨＭＤデバイスの装着者の１つの目で見ることができる位置に前記表示パネルを収容し、前記装着者のもう１つの目で見ることができる位置に前記第２の表示パネルを収容し、前記自動化動作がさらに、前記画像を前記表示パネルに表示する前記動作と同時に第２の画像を前記第２の表示パネルに表示して、バーチャルリアリティ表示を前記装着者に提供する動作を含む、項目１８から２０のいずれか一項に記載のシステム。
［項目２２］
前記画像を前記表示パネルに表示する前記動作が、前記一次領域内の情報を第１の解像度で表示する動作と、前記第１の色チャネルの前記１または複数の二次領域内の情報を前記第１の解像度よりも低い第２の解像度で表示する動作と、前記第２の色チャネルの前記１または複数の二次領域内の情報を前記第２の解像度よりも低い第３の解像度で表示する動作と、さらなる情報を、前記第１の解像度よりも低く、前記第２の解像度よりも高い第４の解像度で生成および表示する動作と、を含み、前記さらなる情報を表示する前記動作が、前記一次領域の一部と前記１または複数の二次領域の一部との間で実行される、項目１８から２１のいずれか一項に記載のシステム。
［項目２３］
前記画像が矩形状で構築され、前記表示パネルに表示され、前記画像の１または複数の三次領域を含まない前記画像の非矩形状のサブセットだけが可視であり、前記画像を前記表示パネルに表示する前記動作が、前記１または複数の三次領域に対応する前記符号化されたコピーからのあらゆる画素値を表示しない動作を含む、項目１８から２２のいずれか一項に記載のシステム。
［項目２４］
前記符号化されたコピーがさらに、前記複数の画素値と関連付けられる複数のハイダイナミックレンジ（ＨＤＲ）輝度値を符号化する追加情報を含み、前記自動化動作がさらに、
前記画像の前記一次領域の前記多様な画素値と関連付けられる複数のＨＤＲ輝度値のうちの多様なＨＤＲ輝度値を特定する動作と、
前記追加情報内の複数の符号化されたＨＤＲ輝度値のそれぞれについて、前記符号化されたＨＤＲ輝度値を使用して、他のＨＤＲ輝度値のうちの多様なＨＤＲ輝度値を生成することによって、前記追加情報から前記複数のＨＤＲ輝度値のうちの前記他のＨＤＲ輝度値を生成する動作であって、前記他のＨＤＲ輝度値のうちの多様なＨＤＲ輝度値が、前記特定された多様なＨＤＲ輝度値よりも少ない固有値を有する低減された組のＨＤＲ可能輝度値の各１つである、生成する動作と、
を含み、
前記画像を表示する前記動作がさらに、前記１または複数の二次領域に対応する前記表示パネルの画素の表示を制御する一環として前記生成された他のＨＤＲ輝度値を使用する動作と、前記特定された多様なＨＤＲ輝度値を使用して、前記一次領域に対応する前記表示パネルの画素の表示を制御する動作と、を含む、
項目１８から２３のいずれか一項に記載のシステム。
［項目２５］
映像レンダリングコンピューティングシステムの１または複数のハードウェアプロセッサが、ヘッドマウントディスプレイ（ＨＭＤ）デバイスに表示するために複数の色チャネル内の複数の画素値を有する画像の映像フレームデータを受信する段階と、
前記１または複数のハードウェアプロセッサが、フル解像度で表示される前記画像の一次領域と、フル解像度よりも低い解像度で表示される前記画像の１または複数の二次領域と、を決定する段階と、
前記１または複数のハードウェアプロセッサが前記画像を符号化して、表色方法で前記１または複数の二次領域内で圧縮される前記ＨＭＤデバイスに送信するための前記画像の修正されたコピーを生成する段階であって、
前記一次領域内の前記受信した映像フレームデータの第１の画素値に対して、前記修正されたコピー内の前記第１の画素値の全てを保持する段階と、
前記１または複数の二次領域内の前記受信した映像フレームデータの第２の画素値に対して、および前記複数の色チャネルの１または複数の第２の色チャネルに対してとは異なる前記複数の色チャネルの１または複数の第１の色チャネルに対して、前記修正されたコピー内の前記第２の画素値の少なくともいくつかを交換する段階であって、
前記第２の画素値を、それぞれが単一の色チャネルの多様な画素値の定められた第１の数を有する複数のブロックに分割することと、
前記複数のブロックを示し、かつ、それぞれが前記定められた第１の数よりも少ない多様な画素値の第２の数を有する、より小さいサブブロックを作成することであって、前記１または複数の第１の色チャネルのうちの１つの画素値を有する各ブロックについて、各画素値が前記ブロック内に２つ以上の画素値を示す単一のサブブロックを作成することを含み、さらには、前記１または複数の第２の色チャネルのうちの１つの画素値を有する各ブロックについて、画素値が全体として前記ブロックを複製する複数のサブブロックを作成することを含む、作成することと、
各サブブロックについて、前記サブブロック内の各画素値を、前記サブブロックの複数の許容画素値のうちの１つに変えることであって、前記サブブロックからの最小画素値および最大画素値を含めるように、および前記最小画素値と前記最大画素値との間の１または複数の中間画素値を含めるように、前記サブブロックの前記複数の許容画素値を決定することを含む、変えることと、
によって行われる段階と、
を有する段階と、
前記修正されたコピーを前記ＨＭＤデバイスに送信する段階と、
前記ＨＭＤデバイスの少なくとも１つのコントローラの制御下で、前記修正されたコピーから前記ＨＭＤデバイスに前記画像を表示する段階であって、前記保持された第１の画素値を使用して前記一次領域内の表示を制御する段階と、前記作成されたサブブロックおよび前記変えられた画素値から新しいブロックを生成することによって、前記交換した少なくともいくつかの画素値を使用して前記１または複数の二次領域内の表示を制御する段階と、を有する段階と、
を備える方法。
［項目２６］
前記１または複数の第１のチャネルが赤色および青色であり、赤色または青色の画素値を有する各ブロックの前記単一のサブブロックを前記作成することを実行して、前記１または複数の二次領域内の前記赤色の色チャネルおよび前記青色の色チャネルの色データの画素数量およびサイズの両方を低減し、前記１または複数の第２のチャネルが緑色であり、緑色の画素値を有する各ブロックの前記複数のサブブロックを前記作成することを実行して、前記１または複数の二次領域内の前記緑色の色チャネルの色データのサイズを低減する一方で、前記１または複数の二次領域内の前記赤色の色チャネルおよび前記青色の色チャネルに対してよりも前記１または複数の二次領域内の前記緑色の色チャネルに対してより高い解像度を提供する、項目２５に記載の方法。
［項目２７］
前記映像フレームデータが矩形状で受信され、前記画像が前記ＨＭＤデバイスに表示され、前記画像の１または複数の三次領域を含まない前記画像の非矩形状のサブセットだけが可視であり、前記画像を符号化して前記修正されたコピーを生成する前記段階が、画素値を一定値に変えることによって前記１または複数の三次領域の色データのサイズを低減する段階を有する、項目２６に記載の方法。
［項目２８］
前記受信する段階と、前記符号化する段階と、前記送信する段階と、前記表示する段階とを、一連の複数の映像フレームのそれぞれについて実行し、前記決定する段階を、前記ＨＭＤデバイスのユーザの視線を追跡することに基づいて各映像フレームについて動的に実行して、前記視線が向く領域として前記一次領域を特定する、項目２５から２７のいずれか一項に記載の方法。
［項目２９］
前記ＨＭＤデバイスが、前記送信する段階が行われる無線接続を介して前記映像レンダリングコンピューティングシステムに接続され、前記画像を符号化して前記修正されたコピーを生成する前記段階が、前記無線接続の信号の強度または帯域幅の少なくとも１つに基づいて、ある圧縮レベルで実行される、項目２５から２８のいずれか一項に記載の方法。

Claims (21)

1. １または複数のハードウェアプロセッサが、表示パネルに表示するための複数の画素値を有する画像用のデータを受信する段階であって、前記複数の画素値は、複数の色チャネルに属する前記画像の一次領域内のターゲット画素値と、前記複数の色チャネルの第１の色チャネルに属する前記画像の１または複数の二次領域内の第１の画素値と、前記複数の色チャネルの第２の色チャネルに属する前記１または複数の二次領域内の第２の画素値と、を含む段階と、
   前記１または複数のハードウェアプロセッサが、前記表示パネルに送信するための前記画像の圧縮されたコピーを生成する段階であって、前記圧縮されたコピーは、前記一次領域の前記ターゲット画素値を保持し、かつ、前記１または複数の二次領域内の解像度を低減する、段階であって、
   第１の圧縮レベルを使用して、前記第１の色チャネルの前記第１の画素値を示す前記圧縮されたコピー内の第１の情報を低減する段階であって、前記第１の圧縮レベルは、前記第１の情報内の画素値の数量を低減し、前記第１の色チャネルの画素値から決定された複数の第１の可能画素値から前記第１の情報内の各画素値を選択する、段階と、
   第２の圧縮レベルを使用して、前記第２の色チャネルの前記第２の画素値を示す前記圧縮されたコピー内の第２の情報を低減する段階であって、前記第２の圧縮レベルは、前記第１の圧縮レベルより低圧縮を有し、前記第２の情報内の画素値の数量を低減することなく、前記第２の色チャネルの画素値から決定された複数の第２の可能画素値から前記第２の情報内の各画素値を選択する、段階と、
   を有する段階と、
   前記１または複数のハードウェアプロセッサが、前記画像の前記圧縮されたコピーを前記表示パネルに送信して、前記画像を前記表示パネルに表示させる段階と、
   を備える方法。
2. 前記圧縮されたコピー内の前記第１の情報および前記第２の情報を低減する前記段階が、
   前記画像内の前記第１の画素値の複数のブロックのそれぞれについて、より小さいサイズの単一の第１のサブブロックを有する前記圧縮されたコピー内の前記ブロックを示す段階であって、前記単一の第１のサブブロックの画素値は、前記複数の第１の可能画素値から選択され、前記単一の第１のサブブロックの画素値のそれぞれは、前記ブロック内の複数の前記第１の画素値の画素代表値である、段階と、
   前記画像内の前記第２の画素値の複数のブロックのそれぞれについて、複数の第２のサブブロックを有する前記圧縮されたコピー内の前記ブロックを示す段階であって、前記複数の第２のサブブロックが全体として前記ブロックと同サイズであり、前記複数の第２のサブブロックの画素値は、前記複数の第２の可能画素値から選択される、段階と、
   を含む、請求項１に記載の方法。
3. 前記圧縮されたコピーを使用して前記画像を前記表示パネルに表示する段階であって、前記複数の第２のサブブロック内の各画素値を使用して、前記複数の第２の可能画素値のうちの１つになるように前記第２の色チャネルの第２の表示パネル画素のうちの１つの表示を制御することによって、および、前記単一の第１のサブブロック内の前記画素値を使用して、より多くの数量のさらなる画素値を生成することであって、前記さらなる画素値のそれぞれが、前記複数の第１の可能画素値のうちの１つになるように前記第１の色チャネルの前記第２の表示パネル画素のうちの１つの表示を制御する、生成することによって、前記保持されたターゲット画素値のそれぞれを使用して、前記一次領域に対応する領域内の前記複数の色チャネルの第１の表示パネル画素のうちの１つの表示を制御し、かつ、前記１または複数の二次領域に対応する１または複数の領域内の前記第２の表示パネル画素の表示を制御する段階を有する、段階をさらに備える、請求項２に記載の方法。
4. 前記１または複数のハードウェアプロセッサがレンダリングシステムの一部であり、前記表示パネルが、少なくとも前記低減された第１の情報を含む前記圧縮されたコピー内の情報を復元し、かつ、前記画像を前記表示パネルに表示することを制御する一環として前記復元された情報を使用するように構成される１または複数のハードウェア回路を含むヘッドマウントディスプレイ（ＨＭＤ）デバイスの一部であり、前記圧縮されたコピーを生成する前記段階が、前記圧縮されたコピーのサイズを低減して、前記圧縮されたコピーを前記レンダリングシステムから前記ＨＭＤデバイスに送信するために使用される帯域幅を低減する段階を有する、請求項１から３のいずれか一項に記載の方法。
5. 前記レンダリングシステムおよび前記ＨＭＤデバイスがゲームシステムの一部であり、前記ＨＭＤデバイスが、前記送信する段階が行われるテザーを介して前記レンダリングシステムに接続されるバーチャルリアリティ装置であり、前記画像が実行中のゲームプログラムによって生成される一連の複数の映像フレームのうちの１つであり、前記受信する段階、および前記生成する段階、および前記送信する段階が前記複数の映像フレームのそれぞれについて連続して実行される、請求項４に記載の方法。
6. 第１の解像度で前記一次領域内に情報を表示することと、前記第１の解像度よりも低い第２の解像度で前記第２の色チャネルの前記１または複数の二次領域内に情報を表示することと、前記第２の解像度よりも低い第３の解像度で前記第１の色チャネルの前記１または複数の二次領域内に情報を表示することと、を含む、前記１または複数のハードウェア回路の制御下で前記画像を前記表示パネルに表示することを制御する段階をさらに備える、請求項４または５に記載の方法。
7. 前記第１の色チャネルが赤色の色チャネルまたは青色の色チャネルの少なくとも１つを含み、前記第２の色チャネルが緑色の色チャネルを含む、請求項１から６のいずれか一項に記載の方法。
8. 前記画像の前記圧縮されたコピーを生成する前記段階の前に、前記表示パネルを見るユーザの視線の方向に対応するために前記画像の前記一次領域を決定する段階をさらに備える、請求項１から７のいずれか一項に記載の方法。
9. 前記画像の前記圧縮されたコピーを生成する前記段階の前に、特定されたコンテンツを前記画像内に表示する位置に少なくとも部分的に基づいて前記画像の前記一次領域を決定する段階をさらに備える、請求項１から８のいずれか一項に記載の方法。
10. 前記画像が矩形状で構築され、前記表示パネルに表示され、前記画像の１または複数の三次領域を含まない前記画像の非矩形状のサブセットだけが可視であり、前記圧縮されたコピーを生成する前記段階が、前記１または複数の三次領域の少なくとも何らかの画素値情報が前記圧縮されたコピー内に含まれないようにする段階を有する、請求項１から９のいずれか一項に記載の方法。
11. 前記画像用の前記データを受信する前記段階が、前記画像を生成する段階を有し、前記画像の前記圧縮されたコピーを生成する前記段階がリアルタイムで前記画像を生成する前記段階と同時に実行される、請求項１から１０のいずれか一項に記載の方法。
12. システムであって、
    複数の画素を有するヘッドマウントディスプレイ（ＨＭＤ）デバイスの表示パネルと、
    自動化動作を前記システムに実行させるように構成される１または複数のハードウェア回路と、
    を備え、前記自動化動作が、
    画像の複数の画素値を有する符号化されたコピーを受信する動作と、
    前記符号化されたコピー内の前記複数の画素値から、前記画像の一次領域内のターゲット画素値を特定する動作であって、前記ターゲット画素値は、複数の色チャネルに属し、前記一次領域に対応する前記表示パネルの画素を制御する際に使用するためのものである、特定する動作と、
    前記符号化されたコピー内の前記複数の画素値から、前記複数の色チャネルのうち少なくとも１つの第１の色チャネルに属する、前記画像の１または複数の二次領域内の第１の画素値を特定する動作であって、前記特定された第１の画素値のそれぞれは、前記第１の色チャネルの画素値から決定された複数の第１の可能画素値のうちの１つである、特定する動作と、
    前記複数の色チャネルの少なくとも１つの第２の色チャネルに属する前記画像の前記１または複数の二次領域内の第２の画素値を生成する動作であって、生成する前記動作が、前記符号化されたコピー内の前記複数の画素値から、前記少なくとも１つの第２の色チャネルに属する、前記画像の前記１または複数の二次領域内の第２の画素値を特定する動作と、前記特定された第２の画素値を含むブロック内の他の画素値を、前記特定された第２の画素値に設定することによって、前記第２の画素値を生成する動作と、を含み、前記特定された第２の画素値のそれぞれは、前記第２の色チャネルの画素値から決定された複数の第２の可能画素値のうちの１つである、生成する動作と、
    前記画像を前記表示パネルに表示する動作であって、前記第１の画素値、および前記第２の画素値のそれぞれを使用して、前記１または複数の二次領域に対応する前記表示パネルの画素の表示を制御する動作と、前記ターゲット画素値のそれぞれを使用して、前記一次領域に対応する前記表示パネルの前記画素のうちの１つを制御する動作と、を含む、表示する動作と、
    を少なくとも含む、
    システム。
13. 命令が記憶されたレンダリングシステムのメモリをさらに備え、前記命令は、前記レンダリングシステムの１または複数のハードウェアプロセッサによって実行されると、さらなる自動化動作を実行することによって、前記レンダリングシステムに前記符号化されたコピーを生成させ、前記符号化されたコピーを前記ＨＭＤデバイスに送信させ、前記さらなる自動化動作が、
    前記レンダリングシステムが、前記複数の色チャネルに属する複数の画素値を含む前記画像用のデータを受信する動作と、
    前記レンダリングシステムが、前記１または複数の二次領域内の表色圧縮を利用して前記画像の前記符号化されたコピーを生成する動作であって、
    前記符号化されたコピー内で、前記一次領域内の前記受信したデータのターゲット画素値を保持し、前記保持したターゲット画素値の色データのサイズを保持する動作と、
    第２の画素値の複数のブロックのそれぞれについて、前記符号化されたコピー内で、前記ブロックをより小さいサイズの単一の第１のサブブロックと交換することであって、前記単一の第１のサブブロックの画素値のそれぞれは、前記複数の第２の可能画素値から選択され、前記単一の第１のサブブロックの画素値のそれぞれは、前記ブロック内の複数の前記第２の画素値の画素代表値である、交換することによって、前記符号化されたコピー内で、前記１または複数の二次領域の前記受信したデータ内にあり、かつ、前記第２の色チャネルに属する、前記第２の画素値について、色データの画素数量およびサイズを低減する動作と、
    第１の画素値の複数のブロックのそれぞれについて、前記符号化されたコピー内で、前記ブロックを複数の第２のサブブロックと交換することであって、前記複数の第２のサブブロックの画素値のそれぞれは、前記複数の第１の可能画素値から選択される、交換することによって、前記符号化されたコピー内で、前記１または複数の二次領域の前記受信したデータ内にあり、かつ、前記第１の色チャネルに属する、前記第１の画素値に対して、色データのサイズを低減する動作と、
    を含む、生成する動作と、
    前記レンダリングシステムが、前記画像の前記符号化されたコピーを前記ＨＭＤデバイスに送信する動作と、
    を少なくとも含む、請求項１２に記載のシステム。
14. 前記記憶された命令がさらに、前記レンダリングシステムに、前記表示パネルに表示するために一連の複数の映像フレームを生成するソフトウェアアプリケーションを実行させ、少なくとも１つの接続を介して前記ＨＭＤデバイスに送信する前に前記複数の映像フレームのそれぞれを符号化させ、前記画像が複数の映像フレームのうちの１つであり、前記符号化されたコピーを受信する前記動作と、前記ターゲット画素値を特定する前記動作と、前記第１の画素値を特定する前記動作と、前記第２の画素値を生成する前記動作と、表示する前記動作とが、前記複数の映像フレームのそれぞれについて実行される、請求項１３に記載のシステム。
15. 前記ＨＭＤデバイスの第２の表示パネルをさらに備え、前記ＨＭＤデバイスが、前記ＨＭＤデバイスの装着者の１つの目で見ることができる位置に前記表示パネルを収容し、前記装着者のもう１つの目で見ることができる位置に前記第２の表示パネルを収容し、前記自動化動作がさらに、前記画像を前記表示パネルに表示する前記動作と同時に第２の画像を前記第２の表示パネルに表示して、バーチャルリアリティ表示を前記装着者に提供する動作を含む、請求項１２から１４のいずれか一項に記載のシステム。
16. 前記画像を前記表示パネルに表示する前記動作が、前記一次領域内の情報を第１の解像度で表示する動作と、前記第１の色チャネルの前記１または複数の二次領域内の情報を前記第１の解像度よりも低い第２の解像度で表示する動作と、前記第２の色チャネルの前記１または複数の二次領域内の情報を前記第２の解像度よりも低い第３の解像度で表示する動作と、を含む、請求項１２から１５のいずれか一項に記載のシステム。
17. 前記画像が矩形状で構築され、前記表示パネルに表示され、前記画像の１または複数の三次領域を含まない前記画像の非矩形状のサブセットだけが可視であり、前記画像を前記表示パネルに表示する前記動作が、前記１または複数の三次領域に対応する前記符号化されたコピーからのあらゆる画素値を表示しない動作を含む、請求項１２から１６のいずれか一項に記載のシステム。
18. 映像レンダリングコンピューティングシステムの１または複数のハードウェアプロセッサが、ヘッドマウントディスプレイ（ＨＭＤ）デバイスに表示するために複数の色チャネル内の複数の画素値を有する画像の映像フレームデータを受信する段階と、
    前記１または複数のハードウェアプロセッサが、フル解像度で表示される前記画像の一次領域と、フル解像度よりも低い解像度で表示される前記画像の１または複数の二次領域と、を決定する段階と、
    前記１または複数のハードウェアプロセッサが、前記画像を符号化して、前記１または複数の二次領域内で圧縮される、前記ＨＭＤデバイスに送信するための前記画像の修正されたコピーを生成する段階であって、
    前記一次領域内の前記受信した映像フレームデータのターゲット画素値に対して、前記修正されたコピー内の前記ターゲット画素値の全てを保持する段階と、
    前記複数の色チャネルの１または複数の第１の色チャネルに属する前記１または複数の二次領域内の前記受信した映像フレームデータの第１の画素値について、前記修正されたコピー内の前記第１の画素値の少なくともいくつかを交換し、および、前記１または複数の第１の色チャネルとは異なる前記複数の色チャネルの１または複数の第２の色チャネルに属する前記１または複数の二次領域内の前記受信した映像フレームデータの第２の画素値について、前記修正されたコピー内の前記第２の画素値の少なくともいくつかを交換する段階であって、
    前記第１の画素値および前記第２の画素値を、それぞれが単一の色チャネルの多様な画素値の定められた第１の数を有する複数のブロックに分割することと、
    前記複数のブロックを示し、かつ、それぞれが前記定められた第１の数よりも少ない多様な画素値の第２の数を有する、より小さいサブブロックを作成することであって、前記１または複数の第１の色チャネルのうちの１つの第１の色チャネルの複数の第１の画素値を有する各ブロックについて、各画素値が前記ブロック内の２つ以上の第１の画素値を示す単一のサブブロックを作成することを含み、さらには、前記１または複数の第２の色チャネルのうちの１つの第２の色チャネルの複数の第２の画素値を有する各ブロックについて、画素値が全体として前記ブロックを複製する複数のサブブロックを作成することを含む、作成することと、
    各サブブロックについて、前記サブブロック内の各画素値を、前記サブブロックの複数の許容画素値のうちの１つに変えることであって、前記サブブロックからの最小画素値および最大画素値を含めるように、および前記最小画素値と前記最大画素値との間の１または複数の中間画素値を含めるように、前記サブブロックの前記複数の許容画素値を決定することを含む、変えることと、
    によって行われる段階と、
    を有する段階と、
    前記修正されたコピーを前記ＨＭＤデバイスに送信する段階と、
    前記ＨＭＤデバイスの少なくとも１つのコントローラの制御下で、前記修正されたコピーから前記ＨＭＤデバイスに前記画像を表示する段階であって、前記保持されたターゲット画素値を使用して前記一次領域内の表示を制御する段階と、前記作成されたサブブロックおよび前記変えられた画素値から新しいブロックを生成することによって、前記交換した少なくともいくつかの画素値を使用して前記１または複数の二次領域内の表示を制御する段階と、を有する段階と、
    を備える方法。
19. 前記１または複数の第１の色チャネルが赤色および青色であり、赤色または青色の画素値を有する各ブロックの前記単一のサブブロックを前記作成することを実行して、前記１または複数の二次領域内の前記赤色の色チャネルおよび前記青色の色チャネルの色データの画素数量およびサイズの両方を低減し、前記１または複数の第２の色チャネルが緑色であり、緑色の画素値を有する各ブロックの前記複数のサブブロックを前記作成することを実行して、前記１または複数の二次領域内の前記緑色の色チャネルの色データのサイズを低減する一方で、前記１または複数の二次領域内の前記赤色の色チャネルおよび前記青色の色チャネルに対してよりも前記１または複数の二次領域内の前記緑色の色チャネルに対してより高い解像度を提供する、請求項１８に記載の方法。
20. 前記映像フレームデータが矩形状で受信され、前記画像が前記ＨＭＤデバイスに表示され、前記画像の１または複数の三次領域を含まない前記画像の非矩形状のサブセットだけが可視であり、前記画像を符号化して前記修正されたコピーを生成する前記段階が、画素値を一定値に変えることによって前記１または複数の三次領域の色データのサイズを低減する段階を有する、請求項１９に記載の方法。
21. 前記受信する段階と、前記符号化する段階と、前記送信する段階と、前記表示する段階とを、一連の複数の映像フレームのそれぞれについて実行し、前記決定する段階を、前記ＨＭＤデバイスのユーザの視線を追跡することに基づいて各映像フレームについて動的に実行して、前記視線が向く領域として前記一次領域を特定する、請求項１８から２０のいずれか一項に記載の方法。

Images