JP7177213B2 - 視線追跡情報に基づく画像領域内の適応パラメータ - Google Patents

Description

本発明は、一般に視線追跡に関し、より詳細には視線追跡情報に基づく画像領域内の適
応パラメータの使用に関する。

画像はレンダリングされ、符号化され、そして様々な個々のコンテキストでユーザに表
示される。特に、画像が１０８０ｐや４Ｋなどの比較的高い解像度を有する場合、または
画像がゲームアプリケーションによって生成されたビデオファイルまたはシーンなどのビ
デオを構成する一連のフレームの一部である場合は、多くの場合、ユーザへの表示用の画
像をレンダリングし、符号化し、および送信するプロセスは、大量のコンピューティング
リソースを消費する可能性がある。これは、より大きな電力消費およびより長い処理時間
などの望ましくない副作用をもたらし得る。

ディスプレイシステムは、異なる組のパラメータを画像の異なる領域に適用する。シス
テムは、ディスプレイスクリーンのスクリーンを見ているユーザの片眼または両眼の視線
追跡情報を受け取る。システムは、視線追跡情報に基づいて、第１のスクリーン領域と第
２のスクリーン領域とを決定する。一実施形態では、第１のスクリーン領域は、ユーザの
眼の中心窩から見たスクリーン一部であり、第２のスクリーン領域は、中心窩の外側の網
膜の部分から見たスクリーンの一部である。システムは、第１の組のパラメータを第１の
画像領域に適用し、第２の組のパラメータをスクリーンの第２の画像領域に適用すること
によって、スクリーンに表示するための画像を処理する。第１の画像領域は、第１のスク
リーン領域に表示される画像の一部であり、第２の画像領域は、第２の画像領域に表示さ
れる画像の一部である。第２の組のパラメータは第１の組のパラメータよりも低い画質を
生じさせるが、中心窩の外側の網膜の部分は中心窩よりも感度が低いため、ユーザは低い
画質を知覚する可能性は低い。その結果、より少ないコンピューティング能力とより小さ
い帯域幅で画像を処理することができる。

ディスプレイシステムは、ヘッドマウントディスプレイ（ＨＭＤ）の一部とすることが
できる。ＨＭＤは、仮想現実（ＶＲ）システム、拡張現実（ＡＲ）システム、複合現実（
ＭＲ）システム、またはそれらの組み合わせの一部であり得る。

本発明による実施形態は、特に、システム、記憶媒体、および方法を対象とする添付の
特許請求の範囲に開示されており、１つの請求項のカテゴリー、例えばシステムで言及さ
れる任意の特徴は別の特許請求の範囲の請求項のカテゴリー、例えば、方法、記憶媒体、
またはコンピュータプログラムで請求することができる。添付の特許請求の範囲に記載さ
れている従属関係または参照は、形式的な理由からのみ選択されている。しかしながら、
添付の特許請求の範囲で選択された従属関係にかかわらず、請求項およびその特徴の任意
の組み合わせが、開示され、かつ請求することができるように、任意の前の請求項（特に
、多数項従属）への意図的な参照から生じる任意の主題も請求することができる。特許請
求することができる主題は、添付の特許請求の範囲に記載の特徴の組み合わせのみならず
、特許請求の範囲における他のあらゆる特徴の組み合わせも含み、特許請求の範囲に記載
の各特徴は他のあらゆる特徴または特許請求の範囲における他の特徴の組み合わせと組み
合わせることができる。さらに、本明細書に記載または描写されている実施形態および特
徴のいずれかは、別々の請求項において、および／または本明細書に記載もしくは描写さ
れている任意の実施形態もしくは特徴と、または添付の請求項の特徴のいずれかとの任意
の組み合わせで請求することができる。

一実施形態において、方法は、
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも１つの画像を含む
視線追跡情報を受信するステップと、
視線追跡情報に基づいてスクリーンの領域に対応する第１のスクリーン領域を決定するス
テップと、第１のスクリーン領域は、ユーザの注視点を含み、注視点は、視線追跡情報が
捕捉された時点でユーザが見ているスクリーン上の点を表し、
視線追跡情報に基づいて第１のスクリーン領域とは別のスクリーンの領域に対応する第２
のスクリーン領域を決定するステップと、
スクリーン上に表示するための画像を符号化するステップと、符号化は、
第１の組の符号化パラメータに基づいて画像の第１の画像領域を符号化すること、第１の
画像領域は、第１のスクリーン領域に表示され、
第２の組の符号化パラメータに基づいて画像の第２の画像領域を復号化することを含み、
第２の画像領域は、第２のスクリーン領域に表示され、第２の組の符号化パラメータは、
第１の組の符号化パラメータよりも低い品質をもたらし、
符号化された画像をスクリーンに表示されるようにディスプレイデバイスに送信するステ
ップとを含み得る。

一実施形態において、第１のスクリーン領域は、眼の中心窩によって見られるスクリー
ンの領域に対応し得る。
第２のスクリーン領域は、中心窩の外側の眼の網膜の一部によって見られるスクリーン
の領域に対応し得る。

第１の組の符号化パラメータは第１の画像解像度を含み得、第２の組の符号化パラメー
タは第２の画像解像度を含み得、第２の画像解像度は第１の画像解像度よりも低い。
第１の画像領域を符号化することは、第１の符号化画像領域を生成することを含み得、
第２の画像領域を符号化することは、第２の符号化画像領域を生成することを含み得、方
法はさらに、
第１の符号化画像領域および第２の符号化画像領域を含むパッキングされた画像を生成す
るステップを含み得る。

第１の組の符号化パラメータは第１のフレームレートを含み得、第２の組の符号化パラ
メータは第２のフレームレートを含み得、第２のフレームレートは第１のフレームレート
よりも低くてもよい。

方法は、視線追跡情報に基づいて第１のスクリーン領域および第２のスクリーン領域と
は別のスクリーンの領域に対応する第３のスクリーン領域を決定するステップをさらに含
み得、
スクリーン上に表示するための画像を符号化することは、
第３の組の符号化パラメータに基づいて画像の第３の画像領域を符号化することをさらに
含み、第３の画像領域は、第３のスクリーン領域に表示され、第３の組の符号化パラメー
タは、第１の組の符号化パラメータよりも低い品質をもたらし、第２の組の符号化パラメ
ータよりも高い品質をもたらす。

第３のスクリーン領域は、眼の傍中心窩によって見られるスクリーンの領域に対応し得
る。
ディスプレイデバイスはバーチャルリアリティヘッドセットであり得る。

本発明の一実施形態において、非一時的コンピュータ可読記憶媒体は、命令を格納し得
、命令は、１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプ
ロセッサに、
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも１つの画像を含む
視線追跡情報を受信すること、
視線追跡情報に基づいてスクリーンの領域に対応する第１のスクリーン領域を決定するこ
と、第１のスクリーン領域は、ユーザの注視点を含み、注視点は、視線追跡情報が捕捉さ
れた時点でユーザが見ているスクリーン上の点を表し、
視線追跡情報に基づいて第１のスクリーン領域とは別のスクリーンの領域に対応する第２
のスクリーン領域を決定すること、
スクリーン上に表示するための画像を符号化すること、符号化は、
第１の組の符号化パラメータに基づいて画像の第１の画像領域を符号化すること、第１の
画像領域は、第１のスクリーン領域に表示され、
第２の組の符号化パラメータに基づいて画像の第２の画像領域を復号化すること、第２の
画像領域は、第２のスクリーン領域に表示され、第２の組の符号化パラメータは、第１の
組の符号化パラメータよりも低い品質をもたらし、
符号化された画像をスクリーンに表示されるようにディスプレイデバイスに送信すること
を含む処理を実行させ得る。

第１のスクリーン領域は、眼の中心窩によって見られるスクリーンの領域に対応し得る
。
第２のスクリーン領域は、中心窩の外側の眼の網膜の一部によって見られるスクリーン
の領域に対応し得る。

第１の組の符号化パラメータは第１の画像解像度を含み得、第２の組の符号化パラメー
タは第２の画像解像度を含み得、第２の画像解像度は第１の画像解像度よりも低い。
第１の画像領域を符号化することは、第１の符号化画像領域を生成することを含み得、
第２の画像領域を符号化することは、第２の符号化画像領域を生成することを含み得、
第１の符号化画像領域および第２の符号化画像領域を含むパッキングされた画像を生成す
ることをさらに含み得る。

第１の組の符号化パラメータは第１のフレームレートを含み得、第２の組の符号化パラ
メータは第２のフレームレートを含み得、第２のフレームレートは第１のフレームレート
よりも低くてもよい。

処理は、
視線追跡情報に基づいて第１のスクリーン領域および第２のスクリーン領域とは別のスク
リーンの領域に対応する第３のスクリーン領域を決定することをさらに含み得、
スクリーン上に表示するために画像を符号化することは、
第３の組の符号化パラメータに基づいて画像の第３の画像領域を符号化することをさらに
含み得、第３の組の符号化パラメータは、第１の組の符号化パラメータよりも低い品質を
もたらし、第２の組の符号化パラメータよりも高い品質をもたらす。

第３のスクリーン領域は、眼の傍中心窩によって見られるスクリーンの領域に対応し得
る。
ディスプレイデバイスはバーチャルリアリティヘッドセットであり得る。

一実施形態において、システムは、
１つまたは複数のプロセッサと、
命令を格納する非一時的コンピュータ可読記憶媒体であって、命令は、１つまたは複数の
プロセッサによって実行されたときに、１つまたは複数のプロセッサに、
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも１つの画像を含む
視線追跡情報を受信すること、
視線追跡情報に基づいてスクリーンの領域に対応する第１のスクリーン領域を決定するこ
と、第１のスクリーン領域は、ユーザの注視点を含み、注視点は、視線追跡情報が捕捉さ
れた時点でユーザが見ているスクリーン上の点を表し、
視線追跡情報に基づいて第１のスクリーン領域とは別のスクリーンの領域に対応する第２
のスクリーン領域を決定すること、
スクリーン上に表示するための画像を符号化すること、符号化は、
第１の組の符号化パラメータに基づいて画像の第１の画像領域を符号化すること、第１の
画像領域は、第１のスクリーン領域に表示され、
第２の組の符号化パラメータに基づいて画像の第２の画像領域を復号化することを含み、
第２の画像領域は、第２のスクリーン領域に表示され、第２の組の符号化パラメータは、
第１の組の符号化パラメータよりも低い品質をもたらし、
符号化された画像をスクリーンに表示されるようにディスプレイデバイスに送信すること
を含む処理を実行させる、非一時的コンピュータ可読記憶媒体と
を備え得る。

処理は、
視線追跡情報に基づいて第１のスクリーン領域および第２のスクリーン領域とは別のスク
リーンの領域に対応する第３のスクリーン領域を決定することをさらに含み得、
スクリーン上の表示するために画像を符号化することは、
第３の組の符号化パラメータに基づいて画像の第３の画像領域を符号化することをさらに
含み、第３の画像領域は、第３のスクリーン領域に表示され、第３の組の符号化パラメー
タは第１の組の符号化パラメータよりも低い品質をもたらし、第２の組の符号化パラメー
タよりも高い品質をもたらす。

一実施形態によるディスプレイデバイスが動作するシステムのブロック図である。 一実施形態による、レンダリング／符号化エンジンのブロック図である。 一実施形態によるヘッドマウントディスプレイの図である。 図３Ａおよび図３Ｂは、一実施形態によるスクリーンを注視している眼を示し、かつ中心窩領域および傍中心窩領域、ならびに中心窩円錐および傍中心窩円錐を示す図である。 一実施形態による、スクリーン上の中心窩領域、傍中心窩領域、および外側領域を示す図である。 一実施形態による、視線追跡情報に基づいて画像領域に適応パラメータを適用するためのプロセスを示すブロック図である。 図５Ａは、一実施形態による、異なる組のレンダリングパラメータを用いて画像の異なる部分をレンダリングするためのプロセスを示すブロック図であり、図５Ｂは、一実施形態による、異なる組の符号化パラメータを用いて画像の異なる部分を符号化するためのプロセスを示すブロック図である。 一実施形態による、異なる組のパラメータを用いて画像の異なる部分をレンダリングおよび符号化するためのプロセスを示すブロック図である。 一実施形態による、異なる組の符号化パラメータを用いて画像の異なる領域を符号化し、次いで画像の符号化画像領域をパッキングされた画像にパッキングする例を示す図である。 一実施形態による、一連の画像を符号化してパッキングする一例を示す。

図面は、本開示の様々な実施形態を例示のみを目的として示している。当業者であれば
、本明細書で提供される開示の原理から逸脱することなく、本明細書に例示される構造お
よび方法の代替的な実施形態を使用し得ることを、以下の説明から容易に理解するであろ
う。

概要
ユーザが連続してスクリーンの異なる領域を注視するユーザおよび画像を含む多くの応
用がある。例としては、ビデオゲーム、バーチャルリアリティシーン、ビデオストリーム
、拡張現実感投影などが含まれる。

スクリーンを見るとき、ユーザの眼は注視点の周りのスクリーン領域においてより高い
解像度に敏感である。注視点は、最も高い視力を提供し、かつ錐体細胞の濃度が最も高い
網膜の領域である中心窩と整列している。中心窩を超える網膜の領域では、解像度に対す
る感度が低下し、中心窩から離れるにつれて視力が低下する。傍中心窩（中心窩を囲む輪
状の眼の領域）では、眼は依然として解像度に敏感であるが、中心窩よりも程度は低い。
傍中心窩の外側の領域では、眼は解像度の違いにそれほど敏感ではない。

スクリーンに表示されている画像がより高い解像度を有する状況では、画像全体をより
高い解像度でレンダリングし、画像全体をより高い解像度で符号化し、適切な高帯域幅の
手段を使用して符号化画像を送信することが一般的である。しかし、眼は中心窩および傍
中心窩の外側の領域では画像解像度に比較的鈍感であるため、画像全体をより高い解像度
でレンダリング、符号化、および送信するプロセスは、コンピューティング能力および帯
域幅の不必要な使用をもたらす。

画像全体に対してより高い解像度を使用する代わりに、ディスプレイシステムはディス
プレイデバイスのスクリーンを複数の領域に分割し、各領域に異なる組のレンダリング／
符号化パラメータを適用する。例えば、ディスプレイシステムは、ユーザの眼の中心窩に
よって見られるスクリーンの第１の領域（以下、中心窩領域と称する）を識別し、第１の
組のパラメータを第１の領域に適用する。第１の組のパラメータは比較的高い画質が生じ
るように選択される。例えば、第１の組のパラメータは、比較的高いフレームレートおよ
び解像度を指定し得る。同様に、ディスプレイシステムは、ユーザの眼の傍中心窩によっ
て見られるスクリーンの第２の領域（以下、傍中心窩領域と称する）を識別し、第２の組
のパラメータを第２の領域に適用し得る。ディスプレイシステムは、中心窩および傍中心
窩の外側のユーザの眼の領域によって見られるスクリーンの第３の領域（以下、外側領域
と称する）をさらに識別し、第３の組のパラメータを第３の領域に適用し得る。第２の組
のパラメータは、中間画質（例えば、中間フレームレートおよび中間解像度）となるよう
に選択され、第３の組のパラメータは、より低い画質（例えば、より低いフレームレート
およびより低い解像度）となるように選択される。その結果、より少ないコンピューティ
ング能力およびより小さい帯域幅で第２領域および第３の領域をレンダリング、符号化、
および送信することができ、それによって、画像のレンダリング、符号化、および送信に
使用されるコンピューティング能力および帯域幅の全体量が減少する。

ディスプレイシステムは、視線追跡ユニットから受信した視線追跡情報に基づいて、第
１の領域と第２の領域とを識別する。ディスプレイシステムは、視線追跡情報を使用して
、ユーザが見ているスクリーン上の点（以下、注視点と称する）を決定する。次に、ディ
スプレイシステムは、注視点に基づいて中心窩領域、傍中心窩領域、および外側領域の境
界を決定することができる。一実施形態では、中心窩領域は、注視点を中心とする、２．
５度の視角の半径を有する円であり、傍中心窩領域は、注視点を中心とする、２．５度の
視角の内半径および５度の視角の外半径を有する環である。外側領域は、傍中心窩領域の
外側半径を超えるスクリーンの部分である。

スクリーン領域の境界を決定した後、ディスプレイシステムは適応的に画像をレンダリ
ングして符号化することができる。さらに、ディスプレイシステムは、ユーザの眼がスク
リーンの異なる位置間を移動するときに定期的に更新された視線追跡情報を受信すること
ができ、ディスプレイシステムは更新された視線追跡情報に基づいて注視点およびスクリ
ーン領域の境界を再計算することができる。従って、ユーザにとって、注視点周辺のスク
リーンの領域（すなわち中心窩領域）はより高い画質を有するように見え、この領域は眼
が画質に対して最も敏感な領域である。傍中心窩領域では、目立った画質劣化なしに中間
のパラメータを適用することができ、外側領域では、目立った画質劣化なしに、より低い
パラメータを適用することができる。

ユーザの眼がスクリーンを横切って急速に動いているときであっても、視線追跡情報は
注視位置の変化に追従することができ、更新された視線追跡情報は、適応パラメータが異
なる画像の中心窩および傍中心窩領域に適用されることが可能となるように十分早く伝達
される。従って、ユーザがどこを見ているかにかかわらず、画像は高解像度を有するよう
に見える。しかしながら、ディスプレイシステムは、画像の一部をより高品質のパラメー
タでレンダリングして符号化し、画像の残りの部分は中間品質またはより低品質のパラメ
ータでレンダリングおよび符号化する。

視線追跡情報に基づいて適応パラメータを適用することの正味の効果は、画像データを
レンダリングおよび符号化するために使用される全体のコンピューティング能力を低減し
、ユーザのディスプレイデバイスによる表示のために画像データを送信するために使用さ
れる帯域幅の量を低減することである。

システム概要
図１Ａは、ディスプレイシステム１１０が動作するシステム１００のブロック図である
。システム１００は、ＶＲシステム環境、ＡＲシステム環境、ＭＲシステム環境、または
これらの組み合わせで動作し得る。図１Ａに示すシステム１００は、ディスプレイデバイ
ス１０５（例えば、ヘッドマウントディスプレイ）、撮像装置１３５、および入力インタ
フェース１４０を含み、これらはそれぞれ、ディスプレイシステム１１０に接続されてい
る。

図１Ａは、１つのディスプレイデバイス１０５、１つの撮像装置１３５、および１つの
入力インタフェース１４０を含む例示的なシステム１００を示すが、他の実施形態におい
ては、これらのコンポーネントの任意数がシステム１００内に含まれてもよい。例えば、
複数のディスプレイデバイス１０５が存在し、各ディスプレイデバイス１０５が関連する
入力インタフェース１４０を有し、かつ１つまたは複数の撮像装置１３５によってモリタ
リングされ、各ディスプレイデバイス１０５、入力インタフェース１４０、及び撮像装置
１３５は、ディスプレイシステム１１０と通信する。代替的な構成では、異なるコンポー
ネントおよび／または追加のコンポーネントが、システム１００に含まれてもよい。同様
に、１つまたは複数のコンポーネントの機能は、本明細書に記載されているものとは異な
る方法でコンポーネント間に分散させることができる。例えば、ディスプレイシステム１
１０の機能の一部または全部をディスプレイデバイス１０５内に含めることができる。

ディスプレイデバイス１０５は、コンピュータ加工された要素（例えば、２次元または
３次元の画像、２次元または３次元の映像、サウンドなど）を有する物理的、現実的な環
境の仮想ビューおよび／または拡張されたビューを含むコンテンツをユーザに提示するヘ
ッドマウント型ディスプレイ（ＨＭＤ）である。いくつかの実施形態では、オーディオは
、ディスプレイデバイス１０５、ディスプレイシステム１１０、またはその両方から音声
情報を受信して、音声情報に基づいて音声データを提示する外部機器（例えば、スピーカ
および／またはヘッドホン）を介して提供される。ディスプレイデバイス１０５のいくつ
かの実施形態は、図２に関連して以下にさらに説明される。ディスプレイデバイス１０５
は、１つまたは複数の硬質本体を含み得、これは互いに剛体的にまたは非剛体的に結合さ
れ得る。硬質本体間の剛体的結合によって、結合された硬質本体が単一の硬質物体として
機能することができる。これとは対照的に、硬質本体間の非剛体的結合によって、硬質本
体が互いに相対的に移動することができる。ディスプレイデバイス１０５は、電子ディス
プレイ１１５と、光学系ブロック１１８と、１つまたは複数のロケータ１２０と、１つま
たは複数の位置センサ１２５と、慣性測定ユニット（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａ
ｓｕｒｅｍｅｎｔ Ｕｎｉｔ）１３０と、視線追跡ユニット１６０とを含む。ディスプレ
イデバイス１０５のいくつかの実施形態は、本明細書に記載されたものとは異なるコンポ
ーネントを有する。同様に、様々なコンポーネントの機能は、様々な実施形態で本明細書
に記載されたものとは異なる方法で、システム１００内の他のコンポーネントの間に分散
され得る。例えば、視線追跡ユニット１６０のいくつかの機能は、ディスプレイシステム
１１０によって実行されてもよい。

電子ディスプレイ１１５（本明細書ではスクリーンとも称される）は、ディスプレイシ
ステム１１０から受信したデータに従って、ユーザに対して画像を表示する。様々な実施
形態では、電子ディスプレイ１１５は、単一の電子ディスプレイまたは複数の電子ディス
プレイ（例えば、ユーザの各眼用のディスプレイ）を含み得る。電子ディスプレイ１１５
の例としては、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプ
レイ、アクティブマトリクス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、その他
のディスプレイ、或いはこれらの組み合わせが含まれる。

光学系ブロック１１８は、電子ディスプレイ１１５から受信した画像光を拡大し、画像
光に関連する光学的エラーを補正し、その補正された画像光が、ディスプレイデバイス１
０５のユーザに提示される。様々な実施形態では、光学系ブロック１１８は、１つまたは
複数の光学素子を含む。例示的な光学素子は、アパーチャレンズ、フレネルレンズ、凸レ
ンズ、凹レンズ、フィルタ、または電子ディスプレイ１１５から放出された画像光に影響
を与える任意の他の適切な光学素子を含む。さらに、光学系ブロック１１８は、異なる光
学素子の組み合わせを含み得る。いくつかの実施形態において、光学系ブロック１１８内
の１つまたは複数の光学素子は、部分反射リフレクタ又は反射防止コーティング等の１つ
または複数のコーティングを有し得る。

光学系ブロック１１８による画像光の拡大により、電子ディスプレイ１１５を物理的に
小型化、軽量化し、より大型のディスプレイよりも消費電力を小さくすることができる。
さらに、拡大によって、表示されるコンテンツの視野を増加させ得る。例えば、表示され
るコンテンツの視野は、表示されるコンテンツがユーザの視野のほとんどすべて（例えば
、対角１１０°）および場合によってはすべてを使用して提示されるというものである。
いくつかの実施形態では、光学系ブロック１１８は、その有効焦点距離が電子ディスプレ
イ１１５までの間隔よりも大きいように構成され、それによって電子ディスプレイ１１５
によって投影される画像光が拡大される。さらに、いくつかの実施形態では、光学素子を
追加するか、または光学系ブロック１１８から光学素子を除去することによって、拡大量
を調整することができる。

光学系ブロック１１８は、１つまたは複数の種類の光学エラーを補正するように構成さ
れ得る。光学エラーの例としては、２次元光学エラー、３次元光学エラー、またはこれら
のいくつかの組み合せが含まれる。２次元エラーは２次元で発生する光学収差である。２
次元エラーの種類の例としては、樽型歪曲、糸巻型歪曲、縦色収差、横色収差、又は任意
の他の種類の２次元光学エラーが含まれる。３次元エラーは、３次元で発生する光学エラ
ーである。３次元エラーの例としては、球面収差、色収差、像面歪曲、非点収差、または
任意の他の種類の３次元光学エラーが含まれる。いくつかの実施形態では、表示のために
電子ディスプレイ１１５に提供されるコンテンツは予め歪曲され、光学系ブロック１１８
は、コンテンツに基づいて生成された電子ディスプレイ１１５からの画像光を受信すると
きに歪曲を補正する。

ロケータ１２０は、ディスプレイデバイス１０５上の特定の位置に互いに対して、かつ
ディスプレイデバイス１０５上の特定の基準点に対して相対的に配置されたオブジェクト
である。ロケータ１２０は、発光ダイオード（ＬＥＤ）、コーナーキューブリフレクタ、
反射マーカ、ディスプレイデバイス１０５が動作する環境と対照的なタイプの光源、また
はこれらの組み合わせであってもよい。ロケータ１２０がアクティブ（即ち、ＬＥＤまた
は他のタイプの発光デバイス）である実施形態では、ロケータ１２０は、可視帯域（３８
０ｎｍ～５７０ｎｍ）、赤外（ＩＲ）帯域（７５０ｎｍ～１７００ｎｍ）、紫外帯域（１
０ｎｍ～３８０ｎｍ）、電磁スペクトルの他の帯域、またはこれらの任意の組み合わせに
おいて光を放出することができる。

いくつかの実施形態では、ロケータ１２０は、ロケータ１２０によって放出されるかま
たは反射される光の波長に対して透過的であるか、又はロケータ１２０によって放出され
るかまたは反射される光の波長を実質的に減衰させないように十分薄い、ディスプレイデ
バイス１０５の外面の下に配置される。さらに、いくつかの実施形態において、ディスプ
レイデバイス１０５の外面または他の部分は、光の可視波長帯域において不透過的である
。したがって、ロケータ１２０は、ＩＲ帯域内では透過的であるが、可視帯域においては
不透過的である外面の下でＩＲ帯域の光を放出することができる。

ＩＭＵ１３０は、１つまたは複数の位置センサ１２５から受信した測定信号に基づいて
高速較正データを生成する電子デバイスである。位置センサ１２５は、ディスプレイデバ
イス１０５の動きに応答して１つまたは複数の測定信号を生成する。位置センサ１２５の
例としては、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまた
は複数の磁力計、動きを検出する別の適当なタイプのセンサ、ＩＭＵ１３０のエラー訂正
に使用されるあるタイプのセンサ、またはそれらの組み合わせが含まれる。位置センサ１
２５は、ＩＭＵ１３０の外部に配置されてもよく、ＩＭＵ１３０の内部に配置されてもよ
く、或いはこれらの組み合わせで配置されてもよい。

１つまたは複数の位置センサ１２５からの１つまたは複数の測定信号に基づいて、ＩＭ
Ｕ１３０は、ディスプレイデバイス１０５の初期位置に対するディスプレイデバイス１０
５の推定位置を示す高速較正データを生成する。例えば、位置センサ１２５は、並進運動
（前方／後方、上方／下方、左側／右側）を測定する複数の加速度計と、回転運動（例え
ば、ピッチ、ヨー、ロール）を測定する複数のジャイロスコープと含む。いくつかの実施
形態では、ＩＭＵ１３０は、測定信号を高速サンプリングし、サンプリングされたデータ
からディスプレイデバイス１０５の推定位置を算出する。例えば、ＩＭＵ１３０は、加速
度計から受け取った測定信号を経時的に積分して、速度ベクトルを推定し、速度ベクトル
を経時的に積分して、ディスプレイデバイス１０５上の基準点の推定位置を決定する。あ
るいは、ＩＭＵ１３０は、サンプリングされた測定信号をディスプレイシステム１１０に
供給し、ディスプレイシステム１１０は、高速較正データを決定する。基準点は、ディス
プレイデバイス１０５の位置を説明するために使用され得る点である。基準点は、一般的
に、空間内のある点として定義されてもよいが、実際には、基準点は、ディスプレイデバ
イス１０５内のある点（例えば、ＩＭＵ１３０の中心）として定義されることが多い。

ＩＭＵ１３０は、ディスプレイシステム１１０から１つまたは複数の較正パラメータを
受信する。以下でさらに説明するように、１つまたは複数の較正パラメータは、ディスプ
レイデバイス１０５の追跡を維持するために使用される。ＩＭＵ１３０は、受信した較正
パラメータに基づいて、１つまたは複数のＩＭＵパラメータ（例えば、サンプルレート）
を調整し得る。いくつかの実施形態では、特定の較正パラメータにより、ＩＭＵ１３０は
基準点の初期位置を更新し、更新された初期位置が、基準点の次の較正位置に対応するよ
うにする。基準点の初期位置を基準点の次の較正位置として更新することにより、決定さ
れた推定位置に関連する累積エラーを減少させるのに役立つ。累積エラーは、ドリフトエ
ラーとも呼ばれ、基準点の推定位置を、経時的に基準点の実際の位置から「ドリフト」さ
せる原因となる。

視線追跡ユニット１６０は、ユーザの眼の動きを追跡する。一般的に、追跡される眼球
運動は、眼球の角回転だけでなく、眼球の並進運動、眼球の回旋の変化、または眼球の形
状の変化を含むことができる。眼球の角回転は、眼球の角度方向の変化である。眼球の角
度方向は、ディスプレイデバイス１０５内でのユーザの凝視の方向に対応しており、ここ
では、眼の中心窩（網膜上のくぼみ）と眼の瞳孔の中心との間の軸である中心窩軸の方向
と定義される。一般的に、ユーザの眼がある点に固定されると、ユーザの眼の中心窩軸は
その点と交差する。眼はまた、瞳孔の中心を通過する軸である瞳孔軸を含み、この軸は角
膜表面に垂直である。一般的に、瞳孔軸は中心窩軸と直接的に整列することはない。瞳孔
軸と中心窩軸の両方は瞳孔の中心で交差するが、中心窩軸の方向は、瞳孔軸から横方向に
約－１°～８°、縦方向に±４°だけずれる。中心窩軸は、眼球後方に位置する中心窩に
対して定義されるため、特定の視線追跡法を用いて中心窩軸を検出することは困難である
かまたは不可能である。従って、いくつかの実施形態において、視線追跡ユニット１６０
は、瞳孔軸の方向を検出し、検出された瞳孔軸に基づいて中心窩軸を推定する。あるいは
、視線追跡ユニット１６０は、中心窩の位置を直接検出することによって、または眼球の
網膜の他の特徴の位置を直接的に検出することによって、中心窩軸を推定する。

眼球の並進運動は、眼の眼窩に対する眼の位置の変化である。いくつかの実施形態では
、眼球の並進運動は直接的には検出されないが、検出された角度方向からのマッピングに
基づいて近似される。視線追跡ユニット１６０の１つまたは複数のコンポーネントに対す
る眼球の位置の変化に対応する眼球の並進運動も検出されてもよい。視線追跡ユニット１
６０の１つまたは複数のコンポーネントに対する眼球の並進運動は、ユーザの頭部のディ
スプレイデバイス１０５の位置がシフトしたときに発生し得る。視線追跡ユニット１６０
は、瞳孔軸を中心とした眼球の回転である眼球回旋をも検出し得る。視線追跡ユニット１
６０は、検出された眼球回旋を使用して、検出された瞳孔軸に基づいて中心窩軸の方向を
推定し得る。視線追跡ユニット１６０は、また、スキュー、スケーリング線形変換、また
は捻り変形（例えば、ねじれ変形による）として近似され得る眼球の形状の変化を追跡し
得る。視線追跡ユニット１６０は、瞳孔軸の角度方向、眼球の並進運動、眼球の回旋、お
よび眼球の現在の形状の組み合わせに基づいて中心窩軸を推定し得る。

視線追跡ユニット１６０は、追跡された眼球運動を用いて視線追跡情報を決定する。視
線追跡情報は、ユーザの眼の位置および／または向きを記述する。視線追跡ユニット１６
０は、決定された視線追跡情報を使用して、注視方向（中心窩の中心と眼の瞳孔の中心と
を横断する軸である中心窩軸の方向とも呼ばれる）、注視位置（ユーザが見ている凝視点
とも呼ばれる）、注視時間（ユーザが特定の方向を見ている時間）、輻輳角（ユーザの視
距離および注視方向が変化したときの２つの眼の間の角度）、ユーザの瞳孔間距離（ＩＰ
Ｄ、２つの眼の瞳孔の中心間の距離として定義される）、ユーザの識別、眼の回旋状態、
眼の形状、片方または両方の眼の位置に基づくいくつかの他の機能、あるいはそれらの組
み合わせなどの視線追跡値をさらに推定し得る。例えば、視線追跡ユニット１６０は、ユ
ーザが無限遠に焦点を合わせているとき、又は例えばユーザから遠く離れた別の物体に焦
点を合わせているときに、眼の位置を推定することによってＩＰＤを決定することができ
る。別の例では、視線追跡ユニット１６０は、ユーザの視距離および注視方向の変化を推
定することによって輻輳角を決定する。視線追跡ユニット１６０はまた、瞳孔軸を中心と
した眼球の回転を推定することによって眼球の回旋状態を決定することができる。いくつ
かの実施形態では、視線追跡ユニット１６０は、中心窩軸、瞳孔軸からの中心窩軸の向き
、および眼の形状の変化を決定することができる。

視線追跡ユニット１６０は、１つまたは複数の照明源、１つまたは複数の撮像装置、お
よび視線追跡コントローラを含み得る。照明源（照明器とも呼ばれる）は、ユーザの眼の
一部を光で照明する。所定の照明パワーは、眼に損傷を与える閾値未満である。照明源は
赤外線光源であり得る。赤外線光源の例には、レーザー（例えば、波長可変レーザー、連
続発振レーザー、パルスレーザー、赤外線を放射する他の適切なレーザー）、発光ダイオ
ード（ＬＥＤ）、ファイバー光源、赤外線および／または可視光を放射する他の適切な光
源、あるいはそれらの組み合わせが含まれる。様々な実施形態において、照明源は可視光
または近赤外光を放射し得る。いくつかの実施形態では、１つまたは複数の照明源から放
射される光は構造化光パターンである。いくつかの実施形態では、眼球運動中に照明され
た部分からの信号と照明された部分を囲む他の信号との間の明らかな変化に起因して、照
明源によって照明される眼球の一部が、検出を容易にするために選択される。例えば、照
明される部分は、最大のコントラスト（例えば、ユーザの強膜または角膜表面の端部から
の最強の後方反射または後方散乱を伴う位置）を有し得る。照明される部分は、例えば、
強膜の端部、角膜の表面、縁部（ｌｉｍｂｕｓ）（例えば、角膜と強膜の接合部、虹彩と
強膜の接合部、虹彩と瞳孔の接合部、または眼の任意の他の適切な接合部）に位置し得る
。

撮像装置は、眼の照明された部分からの反射光および／または散乱光を検出する。撮像
素子は、検出した光に比例する検出信号を出力する。検出信号は、眼の照明される部分の
反射率に対応し、反射率は、ユーザの眼１７０の照明される部分全体の明確なコントラス
ト変化（例えば、角膜反射のコントラスト変化）と相互に関連がある。一実施形態では、
撮像装置は、眼の照明された部分の画像を捕捉するように構成されたカメラを備える。い
くつかの実施形態では、検出器は、一点検出（例えば、フォトダイオード、平衡型／整合
型フォトダイオード、またはアバランシェフォトダイオード、または光電子増倍管）に基
づくか、または一次元検出器アレイもしくは二次元検出器アレイ（例えば、カメラ、線形
フォトダイオードアレイ、ＣＣＤアレイ、またはＣＭＯＳアレイ）に基づくものとするこ
とができる。いくつかの実施形態では、視線追跡ユニット１６０は、眼の１つまたは複数
の照明された部分から反射された光を捕捉するための複数の検出器を含み得る。

視線追跡ユニット１６０は、１つまたは複数の撮像装置からの捕捉光（例えば、捕捉画
像）に基づいて視線追跡情報を決定する。いくつかの実施形態では、視線追跡ユニット１
６０は、捕捉された光情報（例えば、眼の反射、眼に投影される構造化光パターンの歪み
）を所定のルックアップテーブルまたは所定の眼モデルと比較して視線追跡情報を推定し
得る。所定のルックアップテーブルまたは所定の眼モデルは、捕捉された光情報と視線追
跡情報との間の関係を記述する。例えば、いくつかの実施形態では、視線追跡ユニット１
６０は、ユーザの眼の捕捉画像内で１つまたは複数の照明源からの光の反射の位置を識別
し、識別された反射の形状および／または位置と所定のルックアップテーブル（または所
定の眼モデル）との比較に基づいて視線追跡情報を決定する。あるいは、眼が構造化光パ
ターンで照明されている場合、視線追跡ユニット１６０は、眼に投影された構造化光パタ
ーンの歪みを検出し、検出された歪みと所定のルックアップテーブル（または所定の眼モ
デル）との比較に基づいて視線追跡情報を推定することができる。視線追跡ユニット１６
０は、視線追跡情報を使用して、瞳孔軸、（例えば、中心窩軸に対応する）注視角、眼球
の並進運動、眼球の回旋、眼の現在の形状などの他の視線追跡値をさらに推定し得る。別
の実施形態では、視線追跡情報を決定するために片方または両方の眼から反射された光を
使用する代わりに、視線追跡ユニット１６０は、超音波またはレーダなどの他の眼の位置
を決定する方法を使用してもよい。

いくつかの実施形態では、視線追跡ユニット１６０は、ユーザの眼のモデルを記憶し、
眼の１つまたは複数の走査と共にモデルを使用して眼の現在の向きを推定する。モデルは
、眼の表面の３Ｄモデルまたは眼の一部の３Ｄ体積であり得る。モデルは、例えば、中心
窩、傍中心窩、および周中心窩を含む、眼の網膜の異なる部分に対する境界をさらに含む
。眼のこれらの部分の境界は、例えば、以下に記載される較正シーケンスにより決定され
得る。ユーザの両眼が走査される実施形態では、ディスプレイシステム１１０またはディ
スプレイデバイス１０５は各眼に対する別々のモデルを記憶し得る。

スクリーン領域を決定する前に、視線追跡ユニット１６０は、眼のモデルを生成または
訓練するための較正シーケンスを実行し得る。一実施形態では、視線追跡ユニット１６０
は、較正シーケンス中に１つまたは複数の送受信器を用いて眼を繰り返し走査する。例え
ば、ユーザは、ディスプレイデバイス１０５の電子ディスプレイ１１５に表示された特定
の仮想オブジェクトまたは視覚的インジケータを注視するように指示される。ユーザが視
覚的インジケータを注視している間に眼の一部が走査され、視線追跡ユニット１６０は、
眼の既知の向きにおける眼の走査サンプルを捕捉することが可能となる。これらの走査サ
ンプルを合成してモデルにすることができる。視線追跡ユニット１６０がモデルを生成し
た後、視線追跡ユニット１６０は続いてユーザの視線を追跡し得る。いくつかの実施形態
において、視線追跡ユニット１６０は、視線追跡中にモデルを更新する。

撮像装置１３５は、ディスプレイシステム１１０から受信した較正パラメータに従って
低速較正データを生成する。低速較正データは、撮像装置１３５によって検出可能なロケ
ータ１２０の観察位置を示す１つまたは複数の画像を含む。撮像装置１３５は、１つまた
は複数のカメラ、１つまたは複数のビデオカメラ、１つまたは複数のロケータ１２０を含
む画像を撮像可能な任意の他の機器、またはこれらの組み合わせを含み得る。さらに、撮
像装置１３５は、１つまたは複数のフィルタ（例えば、信号対雑音比を高めるために使用
される）を含み得る。撮像装置１３５は、撮像装置１３５の視野内でロケータ１２０から
出射された、または反射された光を検出するように構成されている。ロケータ１２０が受
動的素子（例えば、再帰反射器）を含む実施形態では、撮像装置１３５は、光源を含み得
、この光源は、撮像装置１３５内の光源に向けて光を再帰反射するロケータ１２０の一部
または全部を照明する。低速較正データは、撮像装置１３５からディスプレイシステム１
１０に伝達され、撮像装置１３５は、１つまたは複数の較正パラメータをディスプレイシ
ステム１１０から受信して、１つまたは複数の撮像パラメータ（例えば焦点距離、焦点、
フレームレート、ＩＳＯ、センサ温度、シャッタ速度、開口等）を調整する。

入力インタフェース１４０は、ユーザが動作要求をディスプレイシステム１１０に送信
することを可能にするためのデバイスである。動作要求は、特定の動作を実行するための
要求である。例えば、動作要求は、アプリケーションを開始し、アプリケーションを終了
するか、またはアプリケーション内で特定の動作を実行するためのものであり得る。入力
インタフェース１４０は、１つまたは複数の入力デバイスを含み得る。入力デバイスの例
としては、キーボード、マウス、ゲームコントローラ、または動作要求を受信して、受信
した動作要求をディスプレイシステム１１０に伝達するための任意のその他の適切なデバ
イスが含まれる。入力インタフェース１４０によって受信された動作要求はディスプレイ
システム１１０に伝達され、ディスプレイシステム１１０は、動作要求に対応する動作を
実行する。いくつかの実施形態では、入力インタフェース１４０は、ディスプレイシステ
ム１１０から受信した命令に従って、ユーザに触覚フィードバックを提供する。例えば、
触覚フィードバックは、動作要求が受信されたときに提供されるか、または入力インタフ
ェース１４０が、ディスプレイシステム１１０が動作を実行したときに入力インタフェー
ス１４０に触覚フィードバックを生成させる命令をディスプレイシステム１１０から受信
したときに提供される。

ディスプレイシステム１１０は、撮像装置１３５、ディスプレイデバイス１０５、およ
び入力インタフェース１４０のうちの１つまたは複数から受信した情報に従って、ユーザ
に提示するためのコンテンツをディスプレイデバイス１０５に提供する。図１Ａに示す例
では、ディスプレイシステム１１０は、アプリケーションストア１４５、追跡モジュール
１５０、エンジン１５５、および画像処理エンジン１６５を含む。ディスプレイシステム
１１０のいくつかの実施形態は、図１Ａに関連して説明されたものとは異なるモジュール
を有する。同様に、以下にさらに説明する機能は、ディスプレイシステム１１０のモジュ
ール間で、上記のものとは異なる方法で分散され得る。

アプリケーションストア１４５は、ディスプレイシステム１１０による実行のための１
つまたは複数のアプリケーションを格納する。アプリケーションは、プロセッサの実行時
にユーザに提示するためのコンテンツを生成する命令群である。アプリケーションによっ
て生成されたコンテンツは、ディスプレイデバイス１０５または入力インタフェース１４
０の動きを介してユーザから受信した入力に応答的なものであり得る。アプリケーション
の例としては、ゲーム用アプリケーション、会議用アプリケーション、ビデオ再生用アプ
リケーション、またはその他の適切なアプリケーションが含まれる。

追跡モジュール１５０は、１つまたは複数の較正パラメータを用いてシステム１００を
較正し、１つまたは複数の較正パラメータを調整して、ディスプレイデバイス１０５の位
置または入力インタフェース１４０の位置を決定する際のエラーを低減し得る。例えば、
追跡モジュール１５０は、撮像装置１３５の焦点を調整して、ディスプレイデバイス１０
５上の観察されたロケータのより正確な位置を得る。さらに、追跡モジュール１５０によ
って行われる較正は、ＩＭＵ１３０から受信した情報も考慮する。さらに、ディスプレイ
デバイス１０５の追跡が失われた場合（例えば、撮像装置１３５がディスプレイデバイス
１０５上の少なくとも閾値の数のロケータ１２０の視線を喪失した場合）、追跡モジュー
ル１５０は、システム１００の一部または全部を再較正する。

追跡モジュール１５０は、撮像装置１３５からの低速較正情報を用いてディスプレイデ
バイス１０５の動きを追跡する。例えば、追跡モジュール１５０は、低速較正情報から観
察されたロケータとディスプレイデバイス１０５のモデルとを用いてディスプレイデバイ
ス１０５の基準点の位置を決定する。追跡モジュール１５０はまた、高速較正情報からの
位置情報を用いて、ディスプレイデバイス１０５の基準点の位置を決定する。さらに、い
くつかの実施形態において、追跡モジュール１５０は、高速較正情報、低速較正情報、ま
たはそれらの組み合わせの一部を使用して、ディスプレイデバイス１０５の将来の位置を
予測し得る。追跡モジュール１５０は、ディスプレイデバイス１０５の推定されたまたは
予測された将来の位置をエンジン１５５に提供する。

エンジン１５５は、システム１００内でアプリケーションを実行し、追跡モジュール１
５０からディスプレイデバイス１０５の位置情報、加速度情報、速度情報、予測される将
来位置、或いはこれらの組み合わせを受信する。エンジン１５５は、受信した情報に基づ
いて、ユーザに提供するためにディスプレイデバイス１０５に提供するためのコンテンツ
を決定する。例えば、受信された情報が、ユーザが左を見たことを示している場合、エン
ジン１５５は、仮想環境内でユーザの動きをミラーリングした、ディスプレイデバイス１
０５のためのコンテンツを生成する。さらに、エンジン１５５は、入力インタフェース１
４０から受信した動作要求に応答してディスプレイシステム１１０上で実行されるアプリ
ケーション中のある動作を実行し、その動作が実行されたことをユーザにフィードバック
する。提供されたフィードバックは、ディスプレイデバイス１０５を介した視覚的または
聴覚的なフィードバックか、又は入力インタフェース１４０を介した触覚フィードバック
であり得る。

画像処理エンジン１６５は、（例えば、視線追跡ユニット１６０から）視線追跡情報を
受信し、スクリーンをユーザの網膜の異なる部分で見たスクリーンの部分を表す２つ以上
のスクリーン領域に分割し、各スクリーン領域に表示されるべき画像の部分に異なる組の
パラメータを適用することによってスクリーン上への表示用の画像を処理する。本明細書
で言及されるように、スクリーン上への表示用の画像を処理することは、画像をレンダリ
ングすること（例えば、ゲーム内のシーンをレンダリングすること）、画像を符号化する
こと、または画像をレンダリングして符号化することの組み合わせを含み得る。画像処理
エンジン１６５のコンポーネントは、図１Ｂを参照して以下に詳細に説明される。

図１Ａに示す実施形態では、画像処理エンジン１６５は、ＶＲシステム環境、ＡＲシス
テム環境、ＭＲシステム環境、またはそれらの組み合せで動作し得るシステム１００内で
実施される。しかしながら、本明細書に記載されているような画像処理エンジン１６５は
また、視線追跡コンポーネントも含む他の種類のシステムにおいても実施され得る。例え
ば、他の実施形態では、エンジン１６５は携帯電子機器（例えば、スマートフォンまたは
タブレットコンピュータ）上で実施される。この実施形態では、エンジン１６５は、視線
追跡情報（例えば、携帯電子機器の前面カメラから捕捉された画像）を受信し、携帯電子
機器のスクリーンに表示される画像に適応パラメータを適用する。さらに別の実施形態で
は、エンジン１６５は、視線追跡を実行することができるコンポーネント（例えば、ラッ
プトップディスプレイのベゼルに組み込まれるか、またはモニタの最上部に取り付けられ
たカメラなどのユーザと対面するカメラ）を有するラップトップコンピュータまたはデス
クトップコンピュータで実施され、かつコンピュータのスクリーン上に表示される画像に
適応パラメータを適用する。

図１Ｂは、一実施形態による画像処理エンジン１６５のブロック図である。図１Ｂに示
すレンダリング／符号化エンジンは、スクリーン領域モジュール１６２、レンダリングモ
ジュール１６４、および符号化モジュール１６６を含む。代替の構成では、異なるおよび
／または追加のコンポーネントがレンダリング／符号化エンジンに含まれてもよい。同様
に、コンポーネントのうちの１つまたは複数の機能は、本明細書で説明したものとは異な
るやり方でコンポーネント間で分散させてもよい。

スクリーン領域モジュール１６２は、（例えば、視線追跡ユニット１６０から）視線追
跡情報を受け取り、中心窩、傍中心窩、および傍中心窩を超える網膜の部分などのユーザ
の網膜の異なる部分に対応するスクリーン領域を決定する。本明細書で言及されるように
、スクリーン領域は、ユーザの網膜の特定の部分で見られるスクリーンの一部である。例
えば、スクリーン領域モジュール１６２は、中心窩で見られるスクリーンの一部に対応す
る第１のスクリーン領域（中心窩領域）、傍中心窩で見られるスクリーンの一部に対応す
る第２のスクリーン領域（傍中心窩領域）、および、傍中心窩の外側の網膜の部分によっ
て見られるスクリーンの一部に対応する第３のスクリーン領域（外側領域）を決定し得る
。

スクリーン領域モジュール１６２は、視線追跡ユニット１６０などの視線追跡コンポー
ネントから視線追跡情報を受け取る。一実施形態では、視線追跡情報は、視線追跡ユニッ
ト１６０によって決定されるようなユーザの眼の角度方向を含む。別の実施形態では、視
線追跡情報は、ユーザの眼の１つまたは複数の画像などの追加のまたは異なる情報を含む
。スクリーン領域モジュール１６２が視線追跡情報に基づいてスクリーン領域を決定する
方法は、図３Ａ～３Ｃを参照して以下に詳細に説明される。

レンダリングモジュール１６４は、ディスプレイシステム１１０上で実行されているア
プリケーションによって生成された情報に基づいて画像をレンダリングする。アプリケー
ションは、アプリケーションストア１４５に格納されるか、または入力インタフェース１
４０を介して他のシステムから受信されてもよい。例えば、ディスプレイシステム１１０
は、シーン内の様々な位置に１つまたは複数の仮想オブジェクト（プレーヤキャラクタ、
ノンプレーヤキャラクタ、環境オブジェクト、および背景など）を含むシーンを生成する
ゲームアプリケーションを実行する。モジュール１６４は、画像を２つ以上の画像領域に
分割し、対応する一組のレンダリングパラメータを各領域に適用することによって画像を
レンダリングする。例えば、上述の例では、レンダリングモジュール１６４は、各画像領
域内の仮想オブジェクトを対応する一組のレンダリングパラメータでレンダリングするこ
とによってシーンの画像をレンダリングする。本明細書で言及されるように、画像は、静
止画または一連のフレームのうちの１つのフレーム（例えば、ビデオまたはゲームアプリ
ケーションのフレーム）であり得る。

符号化モジュール１６６は、（例えば、レンダリングモジュール１６４または入力イン
タフェース１４０から）画像を受け取り、送信用に画像を符号化する。モジュール１６６
は、画像を２つ以上の画像領域に分割し、対応する一組の符号化パラメータを各領域に適
用することによって画像を符号化する。一実施形態では、符号化モジュール１６６は、図
６Ａおよび図６Ｂを参照して説明したプロセスに従って画像を符号化する。それらが符号
化された後、ディスプレイシステム１１０は、画像をユーザに対して表示させるべくディ
スプレイデバイス１０５に送信し得る。

本明細書で言及されるように、画像領域は、ディスプレイデバイス１０５のスクリーン
上に表示されたときに、ユーザの網膜の特定の部分によって見られる画像の一部である。
例えば、モジュール１６４、１６６は、中心窩によって見られる第１の画像領域、傍中心
窩によって見られる第２の画像領域、および傍中心窩の外側の網膜の一部によって見られ
る第３の画像領域に異なる組のパラメータを適用する。いくつかの実施形態では、レンダ
リングモジュール１６４によってレンダリングされ、かつ／または符号化モジュール１６
６によって符号化された画像は、スクリーン全体を網羅するように表示される（すなわち
、画像は全画面モードで表示される）。これらの実施形態では、レンダリングモジュール
１６４および符号化モジュール１６６を参照して説明された画像領域は、スクリーン領域
モジュール１６２を参照して説明されたスクリーン領域と同じ形状および画像内の同じ位
置を有する。他の実施形態では、画像はスクリーンの一部に（例えば、スクリーン全体を
占有しないウィンドウ内に）表示される。これらの実施形態では、モジュール１６４、１
６６は、画像が表示されるべきスクリーンの一部を含み、スクリーンの他の部分を除外す
るようにスクリーン領域を切り取ることによって画像領域の境界を決定する。

図２は、一実施形態によるヘッドマウントディスプレイ（ＨＭＤ）２００の図である。
ＨＭＤ２００は、ディスプレイデバイス１０５の一実施形態であり、かつ前側硬質本体２
０５とバンド２１０とを含む。前側硬質本体２０５は、電子ディスプレイ１１５（図２で
は図示せず）の電子ディスプレイ素子と、光学系ブロック１１８（図２では図示せず）と
、ＩＭＵ１３０と、１つまたは複数の位置センサ１２５と、視線追跡ユニット１６０と、
ロケータ１２０とを含む。図２に示される実施形態では、位置センサ１２５はＩＭＵ１３
０内に配置され、ＩＭＵ１３０および位置センサ１２５はユーザには視認されない。

ロケータ１２０は、前側硬質本体２０５上の固定位置に互いに対して相対的にかつ基準
点２１５に対して相対的に配置されている。図２の例では、基準点２１５は、ＩＭＵ１３
０の中心に配置されている。ロケータ１２０の各々は、撮像装置１３５によって検出可能
な光を放出する。ロケータ１２０またはロケータ１２０の一部は、図２の例では、前側硬
質本体２０５の前面２２０Ａ、上面２２０Ｂ、下面２２０Ｃ、右面２２０Ｄ、左面２２０
Ｅ上に配置されている。

画像領域における適応パラメータ
図３Ａおよび図３Ｂは、一実施形態による、注視ベクトル３０６によって示される方向
にスクリーン３０４を注視しているユーザの眼３０２を示す。最初に図３Ａを参照すると
、ユーザの眼３０２、注視ベクトル３０６、およびスクリーン３０４が示されている。図
３Ａは、さらに、例えば、視線追跡ユニット１６０によって捕捉された眼の画像に基づい
てスクリーン領域モジュール１６２によって生成されたスクリーン上の中心窩領域３０８
、傍中心窩領域３１０、および外側領域３１２を示す。

スクリーン領域モジュール１６２は、眼が見ている方向を表す注視ベクトルを決定する
。いくつかの実施形態では、スクリーン領域モジュール１６２は、眼球中心（Ａ）、角膜
中心（Ｃ）、瞳孔（Ｅ）、および角膜中心と瞳孔中心（ｈ）との間の距離を含む、眼に関
連する複数の眼球特性に基づいて注視ベクトルを決定する。一実施形態では、視線追跡ユ
ニット１６０はこれらの眼球特性の推定値を計算し、その推定値を視線追跡情報の一部と
してスクリーン領域モジュール１６２に送信する。別の実施形態では、スクリーン領域モ
ジュール１６２は、視線追跡ユニット１６０から眼球の角度方向を受け取り、角回転に基
づいて眼モデルに回転を適用することによってこれらの眼球特性を生成する。他の実施形
態では、スクリーン領域モジュール１６２は、視線追跡ユニット１６０から眼の中心窩軸
を受け取り、中心窩軸の方向を注視ベクトル３０６として使用する。注視ベクトル３０６
を決定した後、モジュール１６２は、注視ベクトル３０６とスクリーン３０４との間の交
点を計算することによって注視点３１４を決定する。他の実施形態では、注視点３１４は
他の手段によって計算される。

３０２として示されるスクリーンの領域は、眼が解像度の差に最も敏感である中心窩領
域である。３０４として示される領域は、３０２に最も近い傍中心窩領域であり、傍中心
窩領域では眼は解像度の差に対する感度が低い。領域３０２および３０４の外側の領域は
、外側画像領域３０６であり、外側画像領域３０６では眼は解像度の差に対する感度が最
も低い。

図３Ａに示される実施形態では、スクリーン領域モジュール１６２は、注視点を中心と
する所定の半径の円を描くことによって中心窩領域３０８を決定する。同様に、スクリー
ン領域モジュール１６２は、注視点を中心とする第２の所定の半径の第２の円を描き、中
心窩領域を減算して環帯（リング形状）を生成することによって傍中心窩領域３１０を決
定する。スクリーン領域モジュール１６２はさらに、中心窩領域３０８および傍中心窩領
域３１０によって覆われていないスクリーンの領域として外側領域３１２を決定し得る。

所定の半径を有するスクリーン領域３０８、３１０、３１２を決定するためのこのプロ
セスは、処理中にスクリーン３０４がユーザの眼３０２から既知の距離を維持する実施形
態（例えば、ディスプレイデバイス１０５が図２に示されているＨＭＤ２００のようなヘ
ッドマウントディスプレイである実施形態）において特に有利である。その理由は、例え
ば、所定の半径は、特定の数値の視角の度数に対応するように選択され、かつ中心窩領域
３０８および傍中心窩領域３１０に関する視角の度数は、ユーザの中心窩および傍中心窩
の解剖学的境界の推定値を表すように選択することができるからである。例えば、上述の
ように、所定の半径は、中心窩領域３０８が２．５度の視角の半径に対応し、傍中心窩領
域３１０が５．０度の視角の半径に対応するように選択することができる。いくつかの実
施形態では、所定の半径は、視線追跡ユニット１６０を参照して上述したユーザの眼モデ
ルに基づいて選択される。

図３Ｂは、図３Ａの眼を示し、さらに一実施形態による中心窩円錐３１６および傍中心
窩円錐３１８を示す。図３Ｂに示す実施形態では、中心窩領域および傍中心窩領域は３Ｄ
円錐によって画定される。３１６として描かれている円錐形状は中心窩円錐であり、３１
８として描かれている円錐形状は傍中心窩円錐である。

図３Ｂに示す実施形態では、スクリーン領域モジュール１６２は、円錐３１６、３１８
に基づいてスクリーン領域３０８、３１０を決定する。より具体的には、スクリーン領域
モジュール１６２は、図３Ａを参照して上述した方法で眼球特性に基づいて注視ベクトル
を決定する。注視ベクトル３０６を決定した後、スクリーン領域モジュール１６２は、注
視ベクトル３０６と一致する軸と、角膜中心（Ｃ）の頂点と、軸に対して所定の角度（例
えば、２．５度）だけオフセットした円錐面とを有する円錐として中心窩円錐３１６を形
成する。同様に、スクリーン領域モジュール１６２は、注視ベクトル３０６と一致する軸
と、角膜中心の頂点（Ｃ）と、軸に対して異なる所定の角度（例えば、５度）だけオフセ
ットした円錐面とを有する傍中心窩円錐３１８を形成する。図３Ａを参照して上述した所
定の半径と同様に、円錐３１６、３１８を画定する所定の角度は、典型的な人間のユーザ
の中心窩および傍中心窩の解剖学的境界の推定値を表すように選択することができ、かつ
眼モデルに基づくものとすることができる。円錐３１６、３１８を形成した後、スクリー
ン領域モジュール１６２は、対応する円錐３１６、３１８とスクリーン３０４との間の交
点を計算することによって中心窩領域３０８および傍中心窩領域３１０を決定する。スク
リーン領域モジュール１６２はさらに、中心窩領域３０８および傍中心窩領域３１０によ
って覆われていないスクリーンの領域として外側領域３１２を決定し得る。

図３Ｃは、一実施形態によるスクリーン３０４上に現れる中心窩領域３０８、傍中心窩
領域３１０、および外側領域３１２を示す。中心窩領域３０８および傍中心窩領域３１０
は図３Ａ～図３Ｃに円として示されているが、他の実施形態では、これらの領域は異なる
形状を有することができる。一実施形態では、中心窩領域および傍中心窩領域は、注視点
３１４を中心とし、その一辺が図３Ａ～図３Ｃに示す円形中心窩および傍中心窩領域３０
８、３１０と同じ長さの正方形である。別の実施形態では、中心窩領域および傍中心窩領
域は長方形である。正方形または長方形の中心窩および傍中心窩領域を使用することは、
例えば、画素が直交座標系でインデックス付けされているスクリーン上で正方形領域また
は長方形領域を形成することがより容易であるという理由から有利である。

いくつかの実施形態では、スクリーン領域モジュール１６２は、層間のより滑らかな移
行を提供するために追加の領域を生成する。いくつかの実施形態では、各領域のサイズは
、適応的であり、かつ眼の特性におけるノイズ、眼球特性の推定精度、注視ベクトルの方
向、またはそれらの任意の組み合わせに基づいて更新され得る。いくつかの実施形態では
、各スクリーン領域のサイズは、衝動性運動（ｓａｃｃａｄｅ）（凝視点間の急速な眼球
運動）が検出されたときに拡大され、一旦凝視が安定すると再び縮小される。

図４は、一実施形態による、視線追跡情報に基づいて画像領域に適応パラメータを適用
するためのプロセスを示すブロック図である。ディスプレイシステム１１０は、視線追跡
情報を受信する（４０２）。例えば、システム１１０は、ディスプレイデバイス１０５の
視線追跡ユニット１６０からユーザの眼の角度方向を受け取る。システム１１０は、追加
的または代替的に、図３Ａを参照して説明したユーザの眼の画像または１つまたは複数の
眼球特徴などの他の種類の視線追跡情報を受信する。

視線追跡情報を受信した（４０２）後、システム１１０は視線追跡情報に基づいて２以
上のスクリーン領域を決定する（４０４）。例えば、システム１１０は、図３Ａおよび図
３Ｂを参照して説明したプロセスの一方または両方を実行して、中心窩領域、傍中心窩領
域、および外側領域を決定する（４０４）。他の実施形態では、システム１１０は、異な
る数の領域を決定してもよい（４０４）。例えば、システム１１０は、２つの領域（例え
ば、傍中心窩領域ではなく、中心窩領域および外側領域）を決定し得る。別の例として、
システムは、上述のように中心窩領域、傍中心窩領域、および外側領域を決定し、追加的
に、ユーザの眼の周中心窩に対応する周中心窩領域（傍中心窩を囲む網膜の一部）を決定
し得る。

システム１１０は、画像内の異なる画像領域に異なる組のパラメータを適用することに
よって画像をレンダリングおよび／または符号化する（４０６）。画像がスクリーン全体
に表示される実施形態では、画像領域はスクリーン領域と同一の広がりを持つ。画像がス
クリーンの一部に表示される実施形態では、システム１１０は、画像が表示されるスクリ
ーンの一部にスクリーン領域をトリミングすることによって画像領域の境界を決定する。
ディスプレイシステム１１０は、画像をスクリーン上に表示されるようにディスプレイデ
バイス１０５に送信する（４０８）。

図５Ａ～図５Ｃは、異なる画像領域に異なる組のパラメータを適用することによって画
像をレンダリングして符号化するためのプロセスの様々な実施形態を示す。例えば、図４
を参照して説明したレンダリング／符号化ステップ４０６として、図５Ａ～図５Ｃに示す
１つまたは複数のプロセスを実行することができる。一実施形態では、図５Ａ～図５Ｃに
示す各プロセスは、画像処理エンジン１６５によって実行される。

最初に図５Ａを参照すると、一実施形態による、異なる組のレンダリングパラメータを
用いて画像の異なる部分をレンダリングするためのプロセスを示すブロック図が示されて
いる。ディスプレイシステム１１０は、第１の組のレンダリングパラメータに基づいて第
１の画像領域をレンダリングする（５０２）。ディスプレイシステム１１０はまた、第２
の組のレンダリングパラメータに基づいて第２の画像領域をレンダリングする。例えば、
第１の画像領域は、中心窩によって見られる画像の一部に対応する中心窩領域であり得、
第２の画像領域は、中心窩の外側の網膜の部分によって見られる画像の一部に対応する外
側領域であり得る。

本明細書で言及されるように、一組のレンダリングパラメータは、画像をレンダリング
するためにディスプレイシステム１１０上で実行されるレンダリングプロセスの処理に影
響を与える１つまたは複数の係数を指定する。レンダリングパラメータの例は、画像解像
度、フレームレート、アンチエイリアシング設定、またはテクスチャ品質を含み得る。レ
ンダリングパラメータの一部またはすべては、レンダリングプロセスがより多くのコンピ
ューティングリソースを消費することを犠牲にしてより高い画質を達成するか、またはよ
り少ないコンピューティングリソースでレンダリングプロセスを実行することを許容して
低品質を達成するように調整され得る。一実施形態では、第２の組のレンダリングパラメ
ータは、第１の組のレンダリングパラメータよりも低い画質をもたらす。

画像がレンダリングされた後、ディスプレイシステム１１０はレンダリングされた画像
を符号化する（５０６）。図５Ａに示す実施形態では、画像全体が単一の組の符号化パラ
メータに基づいて符号化される（５０６）。しかしながら、図５Ｂ～図５Ｃに示す実施形
態などの他の実施形態では、ディスプレイシステム１１０は、異なる組の符号化パラメー
タに基づいて異なる領域のレンダリングされた画像を符号化する（５０６）。

図５Ａには示されていないが、ディスプレイシステム１１０はまた、第３の組のレンダ
リングパラメータに基づいて第３の画像領域をレンダリングし得る。一実施形態では、第
３の画像領域は、傍中心窩によって見られる画像の一部に対応する傍中心窩領域であり得
る（この場合、外側領域は、中心窩および傍中心窩の両方の外側の網膜の部分によって見
られる画像の一部に対応し得る）。この実施形態では、第３の組のレンダリングパラメー
タは、中間レベルの画質（すなわち、第１の組のレンダリングパラメータよりも低い画質
、および第２の組のレンダリングパラメータよりも高い画質）をもたらす。

より広くは、ディスプレイシステム１１０は、画質レベルを低下させるために提供する
異なる組のレンダリングパラメータで中心窩領域、傍中心窩領域、および外側領域（上記
の説明では、それぞれ第１の領域、第３の領域、および第２の領域と呼ばれる）をレンダ
リングすることができる。画像の質に対する眼の感度は、中心窩からの距離と共に減少す
るので、傍中心窩領域における中間の画像品質および外側領域におけるより低い画像品質
は、多くのユーザには感知できない。しかしながら、傍中心窩および外側領域に対する低
品質のレンダリングパラメータの使用により、より少ないコンピューティングリソースで
画像のレンダリング処理を実行することが可能となり、それはレンダリング処理がより少
ない時間で完了し、かつ／またはより少ない電力を消費することを有利に可能にする。従
って、異なる組のレンダリングパラメータを用いて異なる画像領域をレンダリングするこ
のプロセスによって、ディスプレイシステム１１０が、十分に高い画像品質とコンピュー
ティングリソースのより少ない使用との間のバランスをとるレンダリングプロセスを実行
することが可能となる。

いくつかの実施形態では、レンダリングされている画像は、アプリケーション（例えば
、ゲーム）によって生成されたシーンを描写し、かつシーン内の様々な位置における複数
のオブジェクトを含む。一実施形態では、オブジェクトの一部が対応する領域内に現れる
かどうかに基づいて、一組のレンダリングパラメータをシーン内のオブジェクトに適用す
ることができる。例えば、ユーザがオブジェクトを見ており、そのオブジェクトの一部が
中心窩領域の外側に広がっている場合、ディスプレイシステム１１０は、ユーザがオブジ
ェクトのいくつかの部分における品質の変化を知覚しないように、第１の組のレンダリン
グパラメータでオブジェクト全体をレンダリングすることができる。

いくつかの実施形態では、シーン内の１つまたは複数のオブジェクトは、オブジェクト
とユーザとの間の距離を表す深度値を有する。シーン内の各オブジェクトの深度値は、シ
ーンを生成するアプリケーションによって決定され得る。例えば、ゲームアプリケーショ
ンによって生成されたシーン内のオブジェクトの深度値は、シーン内のゲームオブジェク
トの位置とプレーヤの視点の位置との間の距離を表し得る。

これらの実施形態では、ディスプレイシステム１１０は、オブジェクトの深度に少なく
とも部分的に基づいて、オブジェクトに適用するための一組のレンダリングパラメータを
選択し得る。一実施形態では、ユーザが近距離に位置するオブジェクトを見ている場合（
例えば、注視点が第１の閾値より低い深度値を有するオブジェクト上に位置している場合
）、ディスプレイシステム１１０は、背景オブジェクトが中心窩領域または傍中心窩領域
内に存在する場合であっても、背景内に位置するオブジェクト（例えば、第２の閾値より
高い深度値を有するオブジェクト）に対してより低品質の組のレンダリングパラメータを
適用する。

別の実施形態では、２つの注視ベクトルがユーザの２つの眼に対して別々に決定され、
ディスプレイシステム１１０は２つの注視ベクトルの輻輳に基づいてユーザの焦点深度を
決定する。この実施形態では、ディスプレイシステム１１０は、焦点深度とシーン内のオ
ブジェクトの深度値との間の深度の差（以下、深度差と呼ぶ）を決定し、システム１１０
は、それらのオブジェクトが中心窩領域または傍中心窩領域に存在する場合であっても、
深度の差が閾値を超えるオブジェクトに対してより低品質の組のレンダリングパラメータ
を適用する。

いくつかの実施形態では、ディスプレイシステム１１０は、共に一連のフレームを構成
する複数の画像についてレンダリングプロセスを実行する。例えば、画像は、ビデオのフ
レームまたはゲームアプリケーションのフレームであり得る。これらの実施形態では、デ
ィスプレイシステム１１０は、異なるフレームレートで画像の異なる領域をレンダリング
する。一実施形態では、ディスプレイシステム１１０は、１フレームごとに中心窩領域を
レンダリングし、１フレームおきに外側領域をレンダリングする。いくつかの実施形態で
は、ディスプレイシステム１１０は、所与のフレームについてレンダリングされていない
領域を補正するために時間的アンチエイリアシングを適用する。

別の実施形態では、ディスプレイシステム１１０は、シーンの内容に基づいてフレーム
内の画像領域がレンダリングされる頻度を決定する。例えば、画像領域が連続フレーム間
である程度静的に維持しているオブジェクトを含む場合（例えば、背景における雲）、そ
の画像領域は、移動するオブジェクトを含む画像領域よりも低い頻度でレンダリングされ
得る。

図５Ｂは、一実施形態による、異なる組の符号化パラメータを用いて画像の異なる部分
を符号化するためのプロセスを示すブロック図である。レンダリングされた画像がディス
プレイシステム１１０に提供される（５１２）。様々な実施形態において、ディスプレイ
システム１１０の記憶媒体に記憶されたレンダリングされた画像（例えば、画像ファイル
またはビデオファイル）、または、入力インタフェース１４０を介してディスプレイシス
テム１１０で受信されたレンダリングされた画像（例えば、ＹＯＵＴＵＢＥ（登録商標）
などのストリーミングサービスからのビデオストリーム）は、ディスプレイシステム１１
０上でレンダリングされ得る（例えば、ディスプレイシステム上で実行されるゲームアプ
リケーションまたは他のアプリケーションの一部として）。

レンダリングされた画像が提供された（５１２）後、ディスプレイシステム１１０は、
第１の組の符号化パラメータに基づいて第１の画像領域を符号化する（５１４）。ディス
プレイシステム１１０はまた、第２の組の符号化パラメータに基づいて第２の画像領域を
符号化する（５１６）。例えば、第１の画像領域は、中心窩によって見られる画像の一部
に対応する中心窩領域であり得、第２の画像領域は、中心窩の外側の網膜の部分によって
見られる画像の一部に対応する外側領域であり得る。

本明細書で言及されるように、一組の符号化パラメータは、画像をレンダリングするた
めにディスプレイシステム１１０上で実行される符号化プロセスの処理に影響を与える１
つまたは複数の係数を指定する。符号化パラメータの例には、画像解像度、フレームレー
ト、および変換符号化用に使用される変換の種類などの圧縮係数、量子化レベルの数およ
び範囲、クロマサブサンプリング、および色域圧縮が含まれ得る。上述したレンダリング
パラメータと同様に、符号化パラメータの一部またはすべては、符号化プロセスがより多
くのコンピューティングリソースを消費することを犠牲にしてより高い画質を達成するか
、またはより少ないコンピューティングリソースで符号化プロセスを実行することを許容
して低品質を達成するように調整され得る。さらに、より高品質の組の符号化パラメータ
はより大きなファイルサイズを有する符号化画像ファイルをもたらし、より低品質の組の
符号化パラメータはより小さいファイルサイズを有する符号化画像ファイルをもたらし得
る。一実施形態では、第２の組のレンダリングパラメータは、第１の組のレンダリングパ
ラメータよりも低い画質および小さいファイルサイズをもたらす。

図５Ｂには示されていないが、ディスプレイシステム１１０はまた、第３の組の符号化
パラメータに基づいて第３の画像領域を符号化し得る。一実施形態では、第３の画像領域
は、傍中心窩によって見られる画像の一部に対応する傍中心窩領域であり得る（この場合
、外側領域は、中心窩および傍中心窩の両方の外側の網膜の部分によって見られる画像の
一部に対応し得る）。この実施形態では、第３の組のレンダリングパラメータは、中間レ
ベルの画質（すなわち、第１の組の符号化パラメータよりも低い画質、および第２の組の
符号化パラメータよりも高い画質）をもたらす。

要するに、画像を符号化するためのこのプロセスを実行するディスプレイシステム１１
０は、中心窩領域にはより高品質の符号化パラメータを適用し、傍中心窩領域には中間品
質の符号化パラメータを適用し、外側領域にはより低品質の符号化パラメータを適用する
ことができる。上記のように、画像の質に対する眼の感度は、中心窩からの距離と共に減
少する。従って、傍中心窩領域における中間品質および外側領域におけるより低い品質は
、画像の全体的な画像品質に対するユーザの知覚に悪影響を与える可能性が低い。しかし
ながら、傍中心窩および外側領域における中間品質および低品質の符号化パラメータの使
用により、より少ないコンピューティングリソースで符号化プロセスを実行することが可
能となり、したがって、符号化プロセスをより短い時間で完了することができ、かつ／ま
たはより少ない電力を消費することができる。さらに、傍中心窩および外側領域における
中間品質および低品質の符号化パラメータの使用により、より小さいファイルサイズを有
する符号化画像をもたらし、これは、画像をディスプレイデバイス１０５に送信するとき
に使用される帯域幅の量を有利に低減する。

図５Ｃは、一実施形態による、異なる組のパラメータを用いて画像の異なる部分をレン
ダリングおよび符号化するためのプロセスを示すブロック図である。ディスプレイシステ
ム１１０は、第１の組のレンダリングパラメータに基づいて第１の画像領域をレンダリン
グし（５２２）、第２の組のレンダリングパラメータに基づいて第２の画像領域をレンダ
リングする（５２４）。画像をレンダリングした後、ディスプレイシステム１１０は、第
１の組の符号化パラメータに基づいて第１の画像領域を符号化し（５２６）、第２の組の
符号化パラメータに基づいて第２の画像領域を符号化する（５２８）。

一実施形態では、レンダリングステップ５２２、５２４に使用される画像領域は、符号
化ステップ５２６、５２８に使用される画像領域と同じである。換言すれば、第１の組の
符号化パラメータは、第１の組のレンダリングパラメータでレンダリングされた画像領域
に適用され、第２の組の符号化パラメータは、第２の組のレンダリングパラメータでレン
ダリングされた画像領域に適用される。他の実施形態では、レンダリングステップ５２２
、５２４に使用される画像領域は、符号化ステップ５２６、５２８に使用される画像領域
とは異なる。例えば、レンダリングステップ５２２、５２４に使用される画像領域は円形
であり、（図６Ａおよび図６Ｂを参照して以下に説明される例に示されるように）符号化
ステップ５２６、５２８に使用される画像領域は正方形である。

図６Ａは、一実施形態による、異なる組の符号化パラメータを用いて画像の異なる領域
を符号化し、次いで画像の画像領域を単一のフレームにパッキングするためのプロセスの
一例を示す。ディスプレイシステム１１０は、中心窩領域６０２、傍中心窩領域６０４、
および外側領域６０６に分割された画像６０１を符号化する。ディスプレイシステム１１
０は、第１の組の符号化パラメータに基づいて中心窩領域６０２を符号化し、第２の組の
レンダリングパラメータに基づいて傍中心窩領域６０４を符号化し、第３の組のレンダリ
ングパラメータに基づいて外側領域を符号化する。図６Ａに示される例では、３つの組の
符号化パラメータは異なる解像度を指定する。特に、第１の組の符号化パラメータは第１
の比較的高い解像度を指定し、第２の組の符号化パラメータはより低い解像度（例えば、
第１の解像度の半分）を指定し、第３の組の符号化パラメータはさらに低い解像度（例え
ば、第１の解像度の４分の１）を指定する。

この符号化プロセスは、３つの符号化画像領域、すなわち符号化中心窩領域６１２、符
号化傍中心窩領域６１４、および符号化外側領域６１６を生成する。ディスプレイシステ
ム１１０は、符号化画像領域をまとめて１つのパッキングされた画像６２２にパッキング
するパッキング処理を行い、パッキングされた画像６２２をディスプレイデバイス１０５
に送信する。パッキングされた画像６２２を受信した後、ディスプレイデバイス１０５は
、画像をスクリーン上に表示するために各符号化画像領域をアップスケーリングし合成す
ることによって画像６０１をアンパッキングして再構成する。このようにして符号化画像
領域をパッキングすることは、例えば、結果として生じるパッキングされた画像６２２が
特定の解像度の画像よりもかなり少ない画素を含むので有利である。例えば、画像６０１
が１９２０×１０８０画素の解像度を有する場合、パッキングされた画像６２２は、元の
１９２０×１０８０の画像の２００万画素に対して３８万画素を含み、これは各画像を送
信するために使用される帯域幅および時間を著しく減少させる。

図６Ｂは、一実施形態による一連の画像を符号化してパッキングする一例を示す。図６
Ｂに示す例では、一連の画像は一連のフレームを構成し（例えば、ビデオまたはゲームア
プリケーションにおいて）、各組の符号化パラメータは異なる周波数（即ち、異なるフレ
ームレート）を指定する。より具体的には、中心窩領域６５２は、第１の周波数（例えば
、１２０Ｈｚ）で符号化され送信され、傍中心窩領域６５４は、第１の周波数より低い第
２の周波数（例えば、８０Ｈｚ）で符号化され送信され、外側領域６５６は、第１および
第２の周波数より低い第３の周波数（例えば、４０Ｈｚ）で符号化され送信される。

各フレームについて、ディスプレイシステム１１０は画像領域を符号化してパッキング
されたフレームにパッキングし、パッキングされたフレームは次にディスプレイデバイス
１０５に送信される。フレームにすべての領域が含まれていない場合（例えば、フレーム
ｎ＋１ ６６０Ｂ、フレームｎ＋２ ６６０Ｃ、およびフレームｎ＋４ ６６０Ｅ）、デ
ィスプレイシステム１１０は、各画像領域に関して利用可能な最新のフレームを使用する
ことによって次のフレームを生成する。いくつかの実施形態では、ミスアライメントを補
正するために後処理技術が適用される。

図６Ｂは、フレームｎ ６６０Ａからフレームｎ＋４ ６６０Ｅまでの５個のフレーム
のシーケンスを示す。フレームｎは、中心窩領域６５２Ａ、傍中心窩領域６５４Ａ、およ
び外側領域６５６Ａを含む。フレームｎ＋１ ６６０Ｂでは、中心窩領域６５２Ｂおよび
傍中心窩領域６５４Ｂは含まれているが、外側領域は含まれていないので、ディスプレイ
デバイス１０５に送信されるデータ量は減少する。フレームｎ＋２は、新たに符号化され
た中心窩領域６５２Ｃを含んでいるが、傍中心窩領域および外側領域を含まないため、デ
ータ量はさらに減少する。次に、シーケンスはフレームｎ＋３ ６６０Ｄおよびフレーム
ｎ＋４ ６６０Ｅで同じように繰り返される。そうすることで、ユーザの眼が最も敏感で
ある画像領域（即ち、中心窩領域６５２）が符号化され、各連続するフレームと共に新た
に送信される。ユーザの眼がそれほど敏感ではない画像領域（即ち、傍中心窩領域６５４
）は、符号化され、３個のフレームのうちの２個のフレームごとに新たに送信される。そ
して、ユーザの眼の感度がさらに低い画像領域（即ち、外側領域）は、３個のフレームご
とに１回符号化されて新たに送信される。これにより、伝達されるデータ量、ひいては各
フレームの送信に必要な帯域幅と時間が大幅に削減される。

いくつかの実施形態において、ディスプレイシステム１１０は、所与のフレームについ
て符号化されずにディスプレイデバイス１０５に送信される領域をレンダリングしない。
いくつかの実施形態では、ディスプレイシステム１１０は、シーン内のアクティビティに
基づいてどの領域をレンダリングすべきかを決定する。例えば、オブジェクトが画像領域
内で静止を維持している場合、その画像領域のレンダリング頻度は、動いているオブジェ
クトが存在するときよりも低くなり得る。

追加の構成情報
本開示の実施形態の上述の説明は、例示を目的として提示されており、これは網羅的で
あることを意図するか、または開示された正確な形態への開示を制限することを意図した
ものではない。当業者であれば、上記の開示を参照して多くの改良及び変形が可能である
ことを理解することができる。

この説明の一部は、開示の実施形態が情報に対する演算のアルゴリズムおよび記号表現
によって記載されている。これらのアルゴリズムの説明や表現は、データ処理技術の当業
者によって、作業の内容を他の当業者に効果的に伝達するために一般的に用いられている
。これらの演算は、機能的、計算的、または論理的に説明されているが、コンピュータプ
ログラムまたはこれと同等の電気回路、マイクロコードなどによって実施されることが理
解される。さらに、これらの演算の配置をモジュールとして参照することは、一般性を失
うことなく、時には便利であることも証明されている。説明されている演算およびそれら
の関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれら
の任意の組合せにより具現化され得る。

本明細書に記載されているステップ、演算又はプロセスのいずれかは、１つまたは複数
のハードウェアモジュール又はソフトウェアモジュールで、単独又は他のデバイスと組み
合わせて実行又は実施され得る。一実施形態では、ソフトウェアモジュールは、本明細書
に記載されているステップ、演算、又はプロセスのいずれか又は全てを実行するためにコ
ンピュータプロセッサによって実行可能なコンピュータプログラムコードを含むコンピュ
ータ可読媒体を含むコンピュータプログラム製品を用いて実施される。

開示の実施形態は、本明細書における演算を実行するための装置にも関連し得る。この
装置は、必要な目的のために特別に構成され得、かつ／またはコンピュータに格納された
コンピュータプログラムによって選択的に活性化または再構成される汎用コンピューティ
ングデバイスを含み得る。そのようなコンピュータプログラムは、コンピュータシステム
バスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を格
納するのに好適な任意のタイプの媒体に格納され得る。さらに、本明細書中で言及される
任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピュ
ーティング能力を高めるために複数のプロセッサ設計を使用したアーキテクチャであり得
る。

本開示の実施形態は、本明細書に記載されるコンピューティングプロセスによって生成
される製品にも関連し得る。そのような製品は、コンピュータプロセスによって生成され
る情報を含み得、ここで、情報は、非一時的な有形のコンピュータ可読媒体上に格納され
、コンピュータプログラム製品、または本明細書に記載されている他のデータの組み合せ
の任意の実施形態を含み得る。

最後に、本明細書で使用されている文言は、原則として読みやすさ及び教示の目的のた
めに主に選択されており、本発明の主題を限定し、または制限するために選択されていな
い。したがって、本開示の範囲は、この詳細な説明によって制限されるものではなく、本
明細書に基づいて出願に関して発行される任意の請求項によって限定されるものであるこ
とが意図される。従って、実施形態の開示は、以下の特許請求の範囲に記載されている本
開示の範囲を限定するものではなく、例示することが意図されている。

Claims (20)

1. 方法であって、
   ディスプレイデバイスのスクリーンについて複数のスクリーン領域を決定すること、ここで前記複数のスクリーン領域は、第２のスクリーン領域とは別個の第１のスクリーン領域を含み、前記第１のスクリーン領域は、ユーザの注視点を含み、前記第２のスクリーン領域は、前記第１のスクリーン領域を取り囲むものであり、
   前記スクリーンに表示すべき前記第１のスクリーン領域に対応する画像の一部を、第１の組の符号化パラメータにより符号化すること、ここで前記画像の一部は、オブジェクトを含むものであり、
   前記第２のスクリーン領域に対応する画像の別の一部を、第２の組の符号化パラメータにより符号化すること、ここで前記第２の組の符号化パラメータは、前記第１の組の符号化パラメータよりも低い品質をもたらすものであり、
   ２つの注視ベクトル（ユーザの各目に対応する１つの注視ベクトル）の輻輳に部分的に基づいて、ユーザの視線の輻輳位置を決定すること、
   前記画像における前記オブジェクトの深度を決定すること、
   前記ユーザの視線の輻輳位置と前記オブジェクトの深度との間の差を決定すること、
   当該オブジェクトについて前記深度の差が閾値を超える場合、前記オブジェクトに対してより低品質の組のレンダリングパラメータを適応することにより、前記差に部分的に基づいて、前記第２の組の符号化パラメータにより、前記オブジェクトを符号化すること、及び
   符号化された画像を前記スクリーンに表示されるように前記ディスプレイデバイスに送信すること
   を含む、方法。
2. 前記第１のスクリーン領域は、前記注視点を中心とする円であり、前記第２のスクリーン領域は、前記注視点を中心とする環帯である、請求項１に記載の方法。
3. 前記第１のスクリーン領域のサイズ及び前記第２のスクリーン領域のサイズは、前記第１のスクリーン領域の半径及び前記環帯の外周の半径を含む１つ又は複数のパラメータに基づいており、前記外周は、前記第２のスクリーン領域の外縁に対応する、請求項２に記載の方法。
4. 前記第１のスクリーン領域は、第１の円錐と前記ディスプレイデバイスのスクリーンとの交点に基づいて決定され、前記第２のスクリーン領域は、第２の円錐と前記ディスプレイデバイスのスクリーンとの交点に基づいて決定される、請求項１に記載の方法。
5. 前記第１のスクリーン領域のサイズ及び前記第２のスクリーン領域のサイズは、
   前記第１の円錐の第１の角度、ここで前記第１の円錐の錐面は、前記第１の角度だけ軸からずれており、及び
   前記第２の円錐の第２の角度、ここで前記第２の円錐の錐面は、前記第２の角度だけ軸からずれており、
   を含む１つ又は複数のパラメータに基づいている、請求項４に記載の方法。
6. 前記ユーザの眼球特性に基づき、前記ユーザの各目に対応する注視ベクトルを決定することをさらに含み、前記第１の円錐の軸は、前記ユーザの片方の目について決定された注視ベクトルにより規定され、前記第２の円錐の軸は、前記ユーザのもう片方の目について決定された注視ベクトルにより規定される、請求項４に記載の方法。
7. 前記第１のスクリーン領域は、前記注視点を中心とした矩形であり、前記第２のスクリーン領域の形状は、前記注視点を中心とした外部矩形により規定され、前記第１のスクリーン領域のサイズ及び前記第２のスクリーン領域のサイズは、前記第１のスクリーン領域の長さ、及び前記第２のスクリーン領域の形状を規定する前記外部矩形の側部長さを含む１つ又は複数のパラメータに基づいている、請求項１に記載の方法。
8. 前記第１のスクリーン領域の側部はそれぞれ、長さが同じであり、前記外部矩形の側部はそれぞれ、長さが同じである、請求項７に記載の方法。
9. １つ又は複数の追加スクリーン領域を決定すること、ここで前記１つ又は複数の追加スクリーン領域は、前記第１のスクリーン領域と前記第２のスクリーン領域との間でよりスムーズな移行をもたらすように構成されている、及び
   眼球特性におけるノイズ及び眼球特性の推定精度のうち少なくとも１つに基づき、前記第１のスクリーン領域、前記第２のスクリーン領域、及び前記１つ又は複数の追加スクリーン領域のサイズを更新すること、
   をさらに含む、請求項１に記載の方法。
10. 凝視点間の急速眼球運動を検知したことに応答して、前記第１のスクリーン領域、前記第２のスクリーン領域、及び前記１つ又は複数の追加スクリーン領域のサイズをそれぞれ、増大させること、及び
    前記急速眼球運動の検知後、凝視が安定していることを検知したことに応答して、前記第１のスクリーン領域、前記第２のスクリーン領域、及び前記１つ又は複数の追加スクリーン領域のサイズをそれぞれ、減少させること
    をさらに含む、請求項９に記載の方法。
11. 前記第１のスクリーン領域は、前記ユーザの眼の中心窩によって見られる前記スクリーンの領域に対応し、前記第２のスクリーン領域は、前記ユーザの眼の傍中心窩によって見られる前記スクリーンの領域に対応する、請求項１に記載の方法。
12. 前記第１の組の符号化パラメータは、第１の画像解像度を含み、前記第２の組の符号化パラメータは、第２の画像解像度を含み、前記第１の画像解像度は、前記第２の画像解像度よりも高い、請求項１に記載の方法。
13. 前記第１の組の符号化パラメータは、第１のフレームレートを含み、前記第２の組の符号化パラメータは、第２のフレームレートを含み、前記第１のフレームレートは、前記第２のフレームレートよりも高い、請求項１に記載の方法。
14. 命令を格納する非一時的コンピュータ可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されたときに、前記１つまたは複数のプロセッサに、
    ディスプレイデバイスのスクリーンについて複数のスクリーン領域を決定すること、ここで前記複数のスクリーン領域は、第２のスクリーン領域とは別個の第１のスクリーン領域を含み、前記第１のスクリーン領域は、ユーザの注視点を含み、前記第２のスクリーン領域は、前記第１のスクリーン領域を取り囲むものであり、
    前記スクリーンに表示すべき前記第１のスクリーン領域に対応する画像の一部を、第１の組の符号化パラメータにより符号化すること、ここで前記画像の一部は、オブジェクトを含むものであり、
    前記第２のスクリーン領域に対応する画像の別の一部を、第２の組の符号化パラメータにより符号化すること、ここで前記第２の組の符号化パラメータは、前記第１の組の符号化パラメータよりも低い品質をもたらすものであり、
    ２つの注視ベクトル（ユーザの各目に対応する１つの注視ベクトル）の輻輳に部分的に基づいて、ユーザの視線の輻輳位置を決定すること、
    前記画像における前記オブジェクトの深度を決定すること、
    前記ユーザの視線の輻輳位置と前記オブジェクトの深度との間の差を決定すること、
    当該オブジェクトについて前記深度の差が閾値を超える場合、前記オブジェクトに対してより低品質の組のレンダリングパラメータを適応することにより、前記差に部分的に基づいて、前記第２の組の符号化パラメータにより、前記オブジェクトを符号化すること、及び
    符号化された画像を前記スクリーンに表示されるように前記ディスプレイデバイスに送信すること
    を含む処理を実行させる、非一時的コンピュータ可読記憶媒体。
15. 前記第１のスクリーン領域は、前記ユーザの眼の中心窩によって見られる前記スクリーンの領域に対応し、前記第２のスクリーン領域は、前記ユーザの眼の傍中心窩によって見られる前記スクリーンの領域に対応する、請求項１４に記載の非一時的コンピュータ可読記憶媒体。
16. 前記第１の組の符号化パラメータは、第１の画像解像度を含み、前記第２の組の符号化パラメータは、第２の画像解像度を含み、前記第１の画像解像度は、前記第２の画像解像度よりも高い、請求項１４に記載の非一時的コンピュータ可読記憶媒体。
17. 前記第１の組の符号化パラメータは、第１のフレームレートを含み、前記第２の組の符号化パラメータは、第２のフレームレートを含み、前記第１のフレームレートは、前記第２のフレームレートよりも高い、請求項１４に記載の非一時的コンピュータ可読記憶媒体。
18. 前記第１のスクリーン領域は、前記注視点を中心とする円であり、前記第２のスクリーン領域は、前記注視点を中心とする環帯である、請求項１４に記載のコンピュータ可読記憶媒体。
19. 前記第１のスクリーン領域は、第１の円錐と前記ディスプレイデバイスのスクリーンとの交点に基づいて決定され、前記第２のスクリーン領域は、第２の円錐と前記ディスプレイデバイスのスクリーンとの交点に基づいて決定される、請求項１４に記載のコンピュータ可読記憶媒体。
20. システムであって、
    １つまたは複数のプロセッサと、
    命令を格納する非一時的コンピュータ可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されたときに、前記１つまたは複数のプロセッサに、
    ディスプレイデバイスのスクリーンについて複数のスクリーン領域を決定すること、ここで前記複数のスクリーン領域は、第２のスクリーン領域とは別個の第１のスクリーン領域を含み、前記第１のスクリーン領域は、ユーザの注視点を含み、前記第２のスクリーン領域は、前記第１のスクリーン領域を取り囲むものであり、
    前記スクリーンに表示すべき前記第１のスクリーン領域に対応する画像の一部を、第１の組の符号化パラメータにより符号化すること、ここで前記画像の一部は、オブジェクトを含むものであり、
    前記第２のスクリーン領域に対応する画像の別の一部を、第２の組の符号化パラメータにより符号化すること、ここで前記第２の組の符号化パラメータは、前記第１の組の符号化パラメータよりも低い品質をもたらすものであり、
    ２つの注視ベクトル（ユーザの各目に対応する１つの注視ベクトル）の輻輳に部分的に基づいて、ユーザの視線の輻輳位置を決定すること、
    前記画像における前記オブジェクトの深度を決定すること、
    前記ユーザの視線の輻輳位置と前記オブジェクトの深度との間の差を決定すること、
    当該オブジェクトについて前記深度の差が閾値を超える場合、前記オブジェクトに対してより低品質の組のレンダリングパラメータを適応することにより、前記差に部分的に基づいて、前記第２の組の符号化パラメータにより、前記オブジェクトを符号化すること、及び
    符号化された画像を前記スクリーンに表示されるように前記ディスプレイデバイスに送信すること
    を含む処理を実行させる、前記非一時的コンピュータ可読記憶媒体と
    を備えるシステム。

Images