JP7454627B2 - 仮想および拡張現実システムならびに方法 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１５年８月１８日に出願され、“ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ”と題された米国仮出願第６２／２０６，７６５号の３５ ＵＳＣ §１１９（ｅ）のもとでの優先権の利益を主張するものであり、該米国仮出願は、その全体が参照により本明細書中に援用される。

本開示は、仮想および拡張現実イメージングおよび可視化システムに関する。

現代のコンピューティングおよびディスプレイ技術は、仮想現実および拡張現実システムの開発を促進している。仮想現実または「ＶＲ」システムは、ユーザが体験するためのシミュレーションされた環境を作成する。これは、ディスプレイを通してコンピュータ生成画像をユーザに提示することによって、行われることができる。本画像は、シミュレーションされた環境にユーザを没頭させる感覚的体験を生成する。仮想現実シナリオは、典型的には、コンピュータ生成画像の提示だけではなく、実世界画像を含むことも伴う。

拡張現実システムは、概して、実世界環境をシミュレーションされた要素で補完する。例えば、拡張現実または「ＡＲ」システムは、ディスプレイを介して、周辺の実世界環境の光景をユーザに提供し得る。しかしながら、コンピュータ生成画像はまた、実世界環境を強化するようにディスプレイ上に提示されることもできる。本コンピュータ生成画像は、実世界環境に状況的に関連する要素を含むことができる。そのような要素は、シミュレーションされたテキスト、画像、オブジェクト等を含むことができる。シミュレーションされた要素は、多くの場合、リアルタイムで双方向性であり得る。図１は、ＡＲ技術のユーザが、背景における人々、木々、建物を特徴とする実世界公園状設定６と、コンクリートプラットフォーム１１２０とを見る、例示的拡張現実場面１を描写する。これらのアイテムに加えて、コンピュータ生成画像もユーザに提示される。コンピュータ生成画像は、例えば、実世界プラットフォーム１１２０上に立っているロボット像１１１０、およびマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ２が、実際には実世界環境に存在していなくても、これらの要素２、１１１０を含むことができる。

ヒトの視知覚系は、複雑であって、仮想または実世界画像要素の中でもとりわけ仮想画像要素の快適、自然な感覚、かつ豊かな提示を促進する、ＶＲまたはＡＲ技術を生成することは困難である。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムは、複数の深度平面の画像を表示するように構成される、ディスプレイと、グラフィックスプロセッサからレンダリングされた仮想または拡張現実画像データを受信するように、かつレンダリングされた画像に埋め込まれた制御情報に少なくとも部分的に基づいてディスプレイを制御するように構成される、ディスプレイコントローラとを備え、埋め込まれた制御情報は、画像を表示するときに、レンダリングされた画像の少なくとも一部に適用する偏移を示す。

いくつかの実施形態では、偏移は、レンダリングされた画像内の１つまたはそれを上回るオブジェクトの位置と比較して、１つまたはそれを上回る仮想または拡張現実オブジェクトの表示された位置を変更する。

いくつかの実施形態では、偏移は、同一深度平面内の規定数のピクセルによる、画像の少なくとも一部の横方向偏移を備える。

いくつかの実施形態では、偏移は、１つの深度平面から別の深度平面への画像の少なくとも一部の縦方向偏移を備える。

いくつかの実施形態では、ディスプレイコントローラはさらに、１つの深度平面から別の深度平面への縦方向偏移と併せて、画像の少なくとも一部を拡大縮小するように構成される。

いくつかの実施形態では、偏移は、１つの深度平面から仮想深度平面への画像の少なくとも一部の縦方向偏移を備え、仮想深度平面は、少なくとも２つの深度平面の加重組み合わせを備える。

いくつかの実施形態では、偏移は、ユーザの頭部姿勢に関する情報に基づく。

いくつかの実施形態では、偏移は、画像を再レンダリングすることなくディスプレイコントローラによって行われる。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムにおける方法は、グラフィックスプロセッサからレンダリングされた仮想または拡張現実画像データを受信するステップと、レンダリングされた画像に埋め込まれた制御情報に少なくとも部分的に基づいて、複数の深度平面の画像を表示するステップとを含み、埋め込まれた制御情報は、画像を表示するときに、レンダリングされた画像の少なくとも一部に適用する偏移を示す。

いくつかの実施形態では、本方法はさらに、レンダリングされた画像内の１つまたはそれを上回るオブジェクトの位置と比較して、１つまたはそれを上回る仮想または拡張現実オブジェクトの表示された位置を偏移させるステップを含む。

いくつかの実施形態では、本方法はさらに、制御情報に基づいて、同一深度平面内の規定数のピクセルによって画像の少なくとも一部を横方向に偏移させるステップを含む。

いくつかの実施形態では、本方法はさらに、制御情報に基づいて、１つの深度平面から別の深度平面へ画像の少なくとも一部を縦方向に偏移させるステップを含む。

いくつかの実施形態では、本方法はさらに、１つの深度平面から別の深度平面へ画像を縦方向に偏移させるステップと併せて、画像の少なくとも一部を拡大縮小するステップを含む。

いくつかの実施形態では、本方法はさらに、１つの深度平面から仮想深度平面へ画像の少なくとも一部を縦方向に偏移させるステップを含み、仮想深度平面は、少なくとも２つの深度平面の加重組み合わせを備える。

いくつかの実施形態では、偏移は、ユーザの頭部姿勢に関する情報に基づく。

いくつかの実施形態では、本方法はさらに、画像を再レンダリングすることなく画像を偏移させるステップを含む。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムは、複数の深度平面のための仮想または拡張現実画像を表示するように構成されたディスプレイであって、該画像は、ピクセルデータの行および列で構成される一連の画像を備える、ディスプレイと、グラフィックスプロセッサから画像を受信するように、かつ画像に埋め込まれた制御情報に少なくとも部分的に基づいてディスプレイを制御するように構成される、ディスプレイコントローラとを備え、埋め込まれた制御情報は、複数の深度平面のうちのいずれにおいて画像の少なくとも一部を表示するかを示す、深度平面インジケータデータを備える。

いくつかの実施形態では、制御情報は、一連の画像内のピクセルデータの行および列の数を変更しない。

いくつかの実施形態では、制御情報は、一連の画像のうちの１つまたはそれを上回るものの中のピクセルデータの行または列に代用される、情報の行または列を備える。

いくつかの実施形態では、制御情報は、一連の画像のうちの１つまたはそれを上回るもののピクセルデータに添付される情報の行または列を備える。

いくつかの実施形態では、ピクセルデータは、複数の色値を備え、深度平面インジケータデータは、色値のうちの少なくとも１つのものの１つまたはそれを上回るビットに代用される。

いくつかの実施形態では、深度平面インジケータデータは、色値のうちの少なくとも１つのものの１つまたはそれを上回る最下位ビットに代用される。

いくつかの実施形態では、深度平面インジケータデータは、青色値の１つまたはそれを上回るビットに代用される。

いくつかの実施形態では、各ピクセルは、深度平面インジケータデータを備える。

いくつかの実施形態では、ディスプレイコントローラは、少なくとも部分的に深度平面インジケータデータに基づいて、一連の画像を順序付けるように構成される。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムにおける方法は、グラフィックスプロセッサから、仮想または拡張現実画像を受信するステップであって、該画像は、複数の深度平面のピクセルデータの行および列で構成される一連の画像を備える、ステップと、画像に埋め込まれた制御情報に少なくとも部分的に基づいて画像を表示するステップとを含み、埋め込まれた制御情報は、複数の深度平面のうちのいずれにおいて画像の少なくとも一部を表示するかを示す、深度平面インジケータデータを備える。

いくつかの実施形態では、制御情報は、一連の画像内のピクセルデータの行および列の数を変更しない。

いくつかの実施形態では、制御情報は、一連の画像のうちの１つまたはそれを上回るものの中のピクセルデータの行または列に代用される、情報の行または列を備える。

いくつかの実施形態では、制御情報は、一連の画像のうちの１つまたはそれを上回るもののピクセルデータに添付される情報の行または列を備える。

いくつかの実施形態では、ピクセルデータは、複数の色値を備え、深度平面インジケータデータは、色値のうちの少なくとも１つのものの１つまたはそれを上回るビットに代用される。

いくつかの実施形態では、深度平面インジケータデータは、色値のうちの少なくとも１つのものの１つまたはそれを上回る最下位ビットに代用される。

いくつかの実施形態では、深度平面インジケータデータは、青色値の１つまたはそれを上回るビットに代用される。

いくつかの実施形態では、各ピクセルは、深度平面インジケータデータを備える。

いくつかの実施形態では、本方法はさらに、少なくとも部分的に深度平面インジケータデータに基づいて、一連の画像を順序付けるステップを含む。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムは、経時的にユーザの頭部姿勢の測定を提供するように構成される、第１のセンサと、少なくとも１つの頭部姿勢測定に基づいて、かつ少なくとも１つの計算された予測頭部姿勢に基づいて、ユーザの頭部姿勢を推定するように構成される、プロセッサとを備え、プロセッサは、１つまたはそれを上回る利得係数を使用して、頭部姿勢測定および予測頭部姿勢を組み合わせるように構成され、１つまたはそれを上回る利得係数は、生理学的可動域内のユーザの頭部姿勢位置に基づいて変動する。

いくつかの実施形態では、第１のセンサは、頭部搭載型であるように構成される。

いくつかの実施形態では、第１のセンサは、慣性測定ユニットを備える。

いくつかの実施形態では、１つまたはそれを上回る利得係数は、ユーザの頭部姿勢が生理学的可動域の中心部分にあるときに、頭部姿勢測定よりも予測頭部姿勢を強調する。

いくつかの実施形態では、１つまたはそれを上回る利得係数は、ユーザの頭部姿勢が、ユーザの生理学的可動域の限界よりも生理学的可動域の中央に近いときに、頭部姿勢測定よりも予測頭部姿勢を強調する。

いくつかの実施形態では、１つまたはそれを上回る利得係数は、ユーザの頭部姿勢が生理学的可動域の限界に接近するときに、予測頭部姿勢よりも頭部姿勢測定を強調する。

いくつかの実施形態では、１つまたはそれを上回る利得係数は、ユーザの頭部姿勢が、生理学的可動域の中央よりも生理学的可動域の限界に近いときに、予測頭部姿勢よりも頭部姿勢測定を強調する。

いくつかの実施形態では、第１のセンサは、頭部搭載型であるように構成され、身体搭載型であるように構成される第２のセンサをさらに備え、少なくとも１つの頭部姿勢測定は、第１のセンサおよび第２のセンサの両方からの測定に基づいて判定される。

いくつかの実施形態では、頭部姿勢測定は、第１のセンサおよび第２のセンサからの測定の間の差に基づいて判定される。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムにおいて頭部姿勢を推定する方法は、第１のセンサから経時的にユーザの頭部姿勢の測定を受信するステップと、プロセッサを使用して、少なくとも１つの頭部姿勢測定に基づいて、かつ少なくとも１つの計算された予測頭部姿勢に基づいて、ユーザの頭部姿勢を推定するステップとを含み、ユーザの頭部姿勢を推定するステップは、１つまたはそれを上回る利得係数を使用して、頭部姿勢測定および予測頭部姿勢を組み合わせるステップを含み、１つまたはそれを上回る利得係数は、生理学的可動域内のユーザの頭部姿勢位置に基づいて変動する。

いくつかの実施形態では、第１のセンサは、頭部搭載型であるように構成され、本方法はさらに、身体搭載型であるように構成される第２のセンサから身体配向測定を受信するステップと、少なくとも１つの頭部姿勢測定に基づいて、かつ少なくとも１つの計算された予測頭部姿勢に基づいて、ユーザの頭部姿勢を推定するステップとを含み、少なくとも１つの頭部姿勢測定は、第１のセンサおよび第２のセンサの両方からの測定に基づいて判定される。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムは、周囲照明の１つまたはそれを上回る特性を判定するように構成される、センサと、周囲照明の１つまたはそれを上回る特性に基づいて、仮想オブジェクトの１つまたはそれを上回る特性を調節するように構成される、プロセッサと、仮想オブジェクトをユーザに表示するように構成される、ディスプレイとを備える。

いくつかの実施形態では、周囲照明の１つまたはそれを上回る特性は、周囲照明の明度を備える。

いくつかの実施形態では、周囲照明の１つまたはそれを上回る特性は、周囲照明の色相を備える。

いくつかの実施形態では、仮想オブジェクトの１つまたはそれを上回る特性は、仮想オブジェクトの明度を備える。

いくつかの実施形態では、仮想オブジェクトの１つまたはそれを上回る特性は、仮想オブジェクトの色相を備える。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムにおける方法は、センサから周囲照明の１つまたはそれを上回る特性を受信するステップと、プロセッサを使用して、周囲照明の１つまたはそれを上回る特性に基づいて、仮想オブジェクトの１つまたはそれを上回る特性を調節するステップと、仮想オブジェクトをユーザに表示するステップとを含む。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムは、仮想または拡張現実画像データを圧縮するように構成される、プロセッサであって、画像は、複数の深度平面の画像を備え、該プロセッサは、画像の深度平面の間の冗長情報を削減することによって、画像データを圧縮するように構成される、プロセッサと、複数の深度平面の画像を表示するように構成される、ディスプレイとを備える。

いくつかの実施形態では、深度平面の画像は、隣接する深度平面に対する差に関して表される。

いくつかの実施形態では、プロセッサは、深度平面の間のオブジェクトの運動を符号化する。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムにおける方法は、プロセッサを用いて、仮想または拡張現実画像データを圧縮するステップであって、画像は、複数の深度平面の画像を備え、プロセッサは、画像の深度平面の間の冗長情報を削減することによって、画像データを圧縮するように構成される、ステップと、複数の深度平面の画像を表示するステップとを含む。

いくつかの実施形態では、深度平面の画像は、隣接する深度平面に対する差に関して表される。

いくつかの実施形態では、本方法はさらに、深度平面の間のオブジェクトの運動を符号化するステップを含む。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムは、複数の深度平面の仮想または拡張現実画像を表示するように構成される、ディスプレイと、ディスプレイを制御するように構成される、ディスプレイコントローラとを備え、ディスプレイコントローラは、表示サイクル毎にリフレッシュするようにディスプレイの下位部分を動的に構成する。

いくつかの実施形態では、ディスプレイは、走査ディスプレイを備え、ディスプレイコントローラは、画像がリフレッシュされる必要がない、ディスプレイのエリアを省略するように走査パターンを動的に構成する。

いくつかの実施形態では、表示サイクルは、ビデオ画像のフレームを備える。

いくつかの実施形態では、ディスプレイコントローラは、リフレッシュされるディスプレイの下位部分がサイズを縮小させる場合にビデオフレームレートを増加させる。

いくつかの実施形態では、ディスプレイコントローラは、リフレッシュされるディスプレイの下位部分がサイズを増大させる場合にビデオフレームレートを減少させる。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムにおける方法は、ディスプレイを用いて、複数の深度平面の仮想または拡張現実画像を表示するステップと、表示サイクル毎にリフレッシュするようにディスプレイの下位部分を動的に構成するステップとを含む。

いくつかの実施形態では、ディスプレイは、走査ディスプレイを備え、本方法はさらに、画像がリフレッシュされる必要がない、ディスプレイのエリアを省略するように走査パターンを動的に構成するステップを含む。

いくつかの実施形態では、表示サイクルは、ビデオ画像のフレームを備える。

いくつかの実施形態では、本方法はさらに、リフレッシュされるディスプレイの下位部分がサイズを縮小させる場合にビデオフレームレートを増加させるステップを含む。

いくつかの実施形態では、本方法はさらに、リフレッシュされるディスプレイの下位部分がサイズを増大させる場合にビデオフレームレートを減少させるステップを含む。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムは、空間内で変動する電場または磁場を伝送するトランスミッタと、ユーザが仮想オブジェクトまたは場面と相互作用することを可能にする、有形オブジェクトであって、トランスミッタから電場または磁場を検出するセンサを備える、有形オブジェクトとを備え、センサからの測定は、トランスミッタに対する有形オブジェクトの位置または配向を判定するために使用される。

いくつかの実施形態では、トランスミッタは、仮想または拡張現実ディスプレイシステムの頭部搭載型部分と統合される。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムにおける方法は、トランスミッタを使用して、空間内で変動する電場または磁場を伝送するステップと、センサを使用して、電場または磁場を検出するステップと、センサからの測定を使用し、トランスミッタに対するセンサの位置または配向を判定するステップとを含む。

いくつかの実施形態では、トランスミッタは、仮想または拡張現実ディスプレイシステムの頭部搭載型部分と統合される。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムは、複数の深度平面の画像を表示するように構成される、ディスプレイと、レンダリングされた仮想または拡張現実画像データを受信するように、かつレンダリングされた画像に埋め込まれた制御情報に少なくとも部分的に基づいてディスプレイを制御するように構成される、ディスプレイコントローラとを備え、埋め込まれた制御情報は、画像を表示するときに、レンダリングされた画像の少なくとも一部に適用する所望の明度または色を示す。所望の明度または色は、レンダリングされた画像内の１つまたはそれを上回るオブジェクトの位置と比較して、１つまたはそれを上回る仮想または拡張現実オブジェクトの表示された位置を変更することができる。所望の明度または色は、１つの深度平面から仮想深度平面への画像の少なくとも一部の縦方向偏移を備えることができ、仮想深度平面は、少なくとも２つの深度平面の加重組み合わせを備える。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムは、複数の深度平面の画像を表示するように構成される、ディスプレイと、レンダリングされた仮想または拡張現実画像データを受信するように、かつ少なくとも部分的に制御情報に基づいてディスプレイを制御するように構成される、ディスプレイコントローラとを備え、制御情報は、少なくとも１つの深度平面が非アクティブであることを示し、ディスプレイコントローラは、少なくとも１つの深度平面が非アクティブであるというインジケーションに基づいて、ディスプレイを制御し、それによって、電力消費量を削減するように構成される。

いくつかの実施形態では、少なくとも１つの深度平面が非アクティブであるというインジケーションは、画像を表示する複数のアクティブな深度平面を規定する、深度平面インジケータデータを備える、制御情報を備える。

いくつかの実施形態では、少なくとも１つの深度平面が非アクティブであるというインジケーションは、少なくとも１つの深度平面が非アクティブであることを規定する、深度平面インジケータデータを備える、制御情報を備える。

いくつかの実施形態では、制御情報は、レンダリングされた画像に埋め込まれる。

いくつかの実施形態では、ディスプレイコントローラは、少なくとも１つの深度平面が非アクティブであることを示す該制御情報の結果として、１つまたはそれを上回る光源の電力を削減させ、それによって、電力消費量を削減する。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムにおける方法は、複数の深度平面上で画像を表示するためのレンダリングされた仮想または拡張現実画像データを受信するステップと、少なくとも１つの深度平面が非アクティブであることを示す、制御情報を受信するステップと、少なくとも１つの深度平面が非アクティブであることを示す該制御情報に少なくとも部分的に基づいて、複数の深度平面の画像を表示し、それによって、電力消費量を削減するステップとを含む。

いくつかの実施形態では、制御情報は、画像を表示する複数のアクティブな深度平面を規定する、深度平面インジケータデータを備える。

いくつかの実施形態では、制御情報は、非アクティブである少なくとも１つの深度平面を規定する、深度平面インジケータデータを備える。

いくつかの実施形態では、制御情報は、レンダリングされた画像に埋め込まれる。

いくつかの実施形態では、少なくとも１つの深度平面が非アクティブであることを示す該制御情報の結果として、１つまたはそれを上回る光源は、電力が削減され、それによって、電力消費量を削減する。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムは、複数の色視野を有する複数の深度平面の画像を表示するように構成される、ディスプレイと、レンダリングされた仮想または拡張現実画像データを受信するように、かつ少なくとも部分的に制御情報に基づいてディスプレイを制御するように構成される、ディスプレイコントローラとを備え、制御情報は、少なくとも１つの色視野が非アクティブであることを示し、ディスプレイコントローラは、少なくとも１つの色視野が非アクティブであるというインジケーションに基づいて、ディスプレイを制御し、それによって、電力消費量を削減するように構成される。

いくつかの実施形態では、少なくとも１つの色視野が非アクティブであるというインジケーションは、画像を表示する複数のアクティブな色視野を規定する、色視野インジケータデータを備える、制御情報を備える。

いくつかの実施形態では、少なくとも１つの色視野が非アクティブであるというインジケーションは、少なくとも１つの色視野が非アクティブであることを規定する、色視野インジケータデータを備える、制御情報を備える。

いくつかの実施形態では、制御情報は、レンダリングされた画像に埋め込まれる。

いくつかの実施形態では、ディスプレイコントローラは、少なくとも１つの色視野が非アクティブであることを示す該制御情報の結果として、１つまたはそれを上回る光源の電力を削減させ、それによって、電力消費量を削減する。

いくつかの実施形態では、仮想または拡張現実ディスプレイシステムにおける方法は、複数の色視野を有する複数の深度平面上で画像を表示するためのレンダリングされた仮想または拡張現実画像データを受信するステップと、少なくとも１つの色視野が非アクティブであることを示す制御情報を受信するステップと、少なくとも１つの色視野が非アクティブであることを示す該制御情報に少なくとも部分的に基づいて、複数の深度平面内で複数の色視野の画像を表示し、それによって、電力消費量を削減するステップとを含む。

いくつかの実施形態では、制御情報は、画像を表示する複数のアクティブな色視野を規定する、色視野インジケータデータを備える。

いくつかの実施形態では、制御情報は、非アクティブである少なくとも１つの色視野を規定する、色視野インジケータデータを備える。

いくつかの実施形態では、制御情報は、レンダリングされた画像に埋め込まれる。

いくつかの実施形態では、少なくとも１つの色視野が非アクティブであることを示す該制御情報の結果として、１つまたはそれを上回る光源は、電力が削減され、それによって、電力消費量を削減する。本発明は、例えば、以下を提供する。
（項目１）
複数の深度平面の画像を表示するように構成される、ディスプレイと、
グラフィックスプロセッサからレンダリングされた仮想または拡張現実画像データを受信するように、かつ前記レンダリングされた画像に埋め込まれた制御情報に少なくとも部分的に基づいて前記ディスプレイを制御するように構成される、ディスプレイコントローラと、
を備え、
前記埋め込まれた制御情報は、前記画像を表示するときに、前記レンダリングされた画像の少なくとも一部に適用する偏移を示す、仮想または拡張現実ディスプレイシステム。（項目２）
前記偏移は、前記レンダリングされた画像内の１つまたはそれを上回るオブジェクトの位置と比較して、１つまたはそれを上回る仮想または拡張現実オブジェクトの表示された位置を変更する、項目１に記載の仮想または拡張現実ディスプレイシステム。
（項目３）
前記偏移は、同一深度平面内の規定数のピクセルによる、前記画像の少なくとも一部の横方向偏移を備える、項目１に記載の仮想または拡張現実ディスプレイシステム。
（項目４）
前記偏移は、１つの深度平面から別の深度平面への前記画像の少なくとも一部の縦方向偏移を備える、項目１に記載の仮想または拡張現実ディスプレイシステム。
（項目５）
前記ディスプレイコントローラはさらに、１つの深度平面から別の深度平面への縦方向偏移と併せて、前記画像の少なくとも一部を拡大縮小するように構成される、項目４に記載の仮想または拡張現実ディスプレイシステム。
（項目６）
前記偏移は、１つの深度平面から仮想深度平面への前記画像の少なくとも一部の縦方向偏移を備え、前記仮想深度平面は、少なくとも２つの深度平面の加重組み合わせを備える、項目１に記載の仮想または拡張現実ディスプレイシステム。
（項目７）
前記偏移は、ユーザの頭部姿勢に関する情報に基づく、項目１に記載の仮想または拡張現実ディスプレイシステム。
（項目８）
前記偏移は、前記画像を再レンダリングすることなく前記ディスプレイコントローラによって行われる、項目１に記載の仮想または拡張現実ディスプレイシステム。
（項目９）
仮想または拡張現実ディスプレイシステムにおける方法であって、
グラフィックスプロセッサからレンダリングされた仮想または拡張現実画像データを受信するステップと、
前記レンダリングされた画像に埋め込まれた制御情報に少なくとも部分的に基づいて、複数の深度平面の画像を表示するステップと、
を含み、
前記埋め込まれた制御情報は、前記画像を表示するときに、前記レンダリングされた画像の少なくとも一部に適用する偏移を示す、方法。
（項目１０）
前記画像を表示するステップは、前記レンダリングされた画像内の１つまたはそれを上回るオブジェクトの位置と比較して、１つまたはそれを上回る仮想または拡張現実オブジェクトの表示された位置を偏移させるステップを含む、項目９に記載の方法。
（項目１１）
前記表示された位置を偏移させるステップは、前記制御情報に基づいて、同一深度平面内の規定数のピクセルによって前記画像の少なくとも一部を横方向に偏移させるステップを含む、項目９に記載の方法。
（項目１２）
前記表示された位置を偏移させるステップは、前記制御情報に基づいて、１つの深度平面から別の深度平面へ前記画像の少なくとも一部を縦方向に偏移させるステップを含む、項目９に記載の方法。
（項目１３）
１つの深度平面から別の深度平面へ前記画像を縦方向に偏移させるステップと併せて、前記画像の少なくとも一部を拡大縮小するステップをさらに含む、項目１２に記載の方法。
（項目１４）
前記表示された位置を偏移させるステップは、１つの深度平面から仮想深度平面へ前記画像の少なくとも一部を縦方向に偏移させるステップを含み、前記仮想深度平面は、少なくとも２つの深度平面の加重組み合わせを備える、項目９に記載の方法。
（項目１５）
前記偏移は、ユーザの頭部姿勢に関する情報に基づく、項目９に記載の方法。
（項目１６）
前記画像を再レンダリングすることなく前記画像を偏移させるステップをさらに含む、項目９に記載の方法。
（項目１７）
周囲照明の１つまたはそれを上回る特性を判定するように構成される、センサと、
前記周囲照明の前記１つまたはそれを上回る特性に基づいて、仮想オブジェクトの１つまたはそれを上回る特性を調節するように構成される、プロセッサと、
前記仮想オブジェクトをユーザに表示するように構成される、ディスプレイと、
を備える、仮想または拡張現実ディスプレイシステム。
（項目１８）
前記周囲照明の前記１つまたはそれを上回る特性は、前記周囲照明の明度を備える、項目１７に記載の仮想または拡張現実ディスプレイシステム。
（項目１９）
前記周囲照明の前記１つまたはそれを上回る特性は、前記周囲照明の色相を備える、項目１７に記載の仮想または拡張現実ディスプレイシステム。
（項目２０）
前記仮想オブジェクトの前記１つまたはそれを上回る特性は、前記仮想オブジェクトの明度を備える、項目１７に記載の仮想または拡張現実ディスプレイシステム。
（項目２１）
前記仮想オブジェクトの前記１つまたはそれを上回る特性は、前記仮想オブジェクトの色相を備える、項目１７に記載の仮想または拡張現実ディスプレイシステム。
（項目２２）
仮想または拡張現実ディスプレイシステムにおける方法であって、
センサから周囲照明の１つまたはそれを上回る特性を受信するステップと、
プロセッサを使用して、前記周囲照明の前記１つまたはそれを上回る特性に基づいて、仮想オブジェクトの１つまたはそれを上回る特性を調節するステップと、
前記仮想オブジェクトをユーザに表示するステップと、
を含む、方法。

図１は、例示的ＡＲシステムを使用した拡張現実（ＡＲ）場面のユーザの視界を図示する。

図２は、装着可能ディスプレイシステムの実施例を図示する。

図３は、ユーザのための３次元画像をシミュレーションするための従来のディスプレイシステムを図示する。

図４は、複数の深度平面を使用して３次元画像をシミュレーションするためのアプローチの側面を図示する。

図５Ａ－５Ｃは、曲率半径と焦点半径との間の関係を図示する。

図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。

図７は、導波管によって出力された出射ビームの実施例を示す。

図８は、各深度平面が、異なる色の光をそれぞれ出力する、３つの関連付けられる導波管を有する、導波管スタックの例示的設計を図示する。

図９は、ライトフィールド画像を表示する仮想または拡張現実システムのための例示的タイミング方式を図示する。

図１０は、添付制御データを含む、ビデオデータのフレームの例示的フォーマットを図示する。

図１１は、制御データを含む、ビデオデータのフレームの別の例示的フォーマットを図示する。

図１２は、埋め込まれた制御データを含む、ビデオデータのピクセルの例示的フォーマットを図示する。

図１３は、どのようにしてビデオのフレームが、連続的に表示され得る色成分に分離されることができるかを図示する。

図１４は、どのようにしてライトフィールドビデオデータのフレームが、深度平面インジケータデータを使用して、ディスプレイのための色成分サブフレームにそれぞれ分割され得る複数の深度平面に分離されることができるかを図示する。

図１５は、図１２の深度平面インジケータデータが、ライトフィールドビデオデータのフレームの１つまたはそれを上回る深度平面が非アクティブであることを示す、実施例を図示する。

図１６は、拡張現実システムにおけるコンピュータ生成画像のフレームのための例示的描画エリアを図示する。

図１７は、２つの回転軸を中心としたユーザの頭部の可能性として考えられる運動を概略的に図示する。

図１８は、どのようにしてユーザの頭部姿勢が３次元表面上にマップされることができるかを図示する。

図１９は、頭部姿勢追跡を向上させるための利得係数を定義するために使用され得る、種々の頭部姿勢領域を概略的に図示する。

本明細書に開示される仮想および拡張現実システムは、コンピュータ生成画像をユーザに提示する、ディスプレイを含むことができる。いくつかの実施形態では、ディスプレイシステムは、装着可能であって、これは、有利なこととして、より没入型のＶＲまたはＡＲ体験を提供し得る。図２は、装着可能ディスプレイシステム８０の実施例を図示する。ディスプレイシステム８０は、ディスプレイ６２と、そのディスプレイ６２の機能をサポートする種々の機械モジュールおよびシステムならびに電子モジュールおよびシステムとを含む。ディスプレイ６２は、ディスプレイシステムユーザまたは視認者６０によって装着可能であって、ディスプレイ６２をユーザ６０の眼の正面に位置付けるように構成される、フレーム６４に結合されてもよい。いくつかの実施形態では、スピーカ６６が、フレーム６４に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されていない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ６２は、有線または無線接続６８によって等、フレーム６４に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホン内に埋設される、または別様にユーザ６０に除去可能に取り付けられる（例えば、リュック式構成、ベルト結合式構成において等）等、種々の構成で搭載され得る、ローカルデータ処理モジュール７０に動作可能に結合される。

ローカル処理およびデータモジュール７０は、両方ともデータの処理および記憶を支援するために利用され得る、プロセッサと、不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリとを含んでもよい。これは、画像捕捉デバイス（例えば、カメラ）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等のセンサから捕捉されるデータを含む。センサは、例えば、フレーム６４に動作可能に結合されてもよい、または別様にユーザ６０に取り付けられてもよい。代替として、または加えて、センサデータは、おそらく、そのような処理または読出後のディスプレイ６２への通過のために、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して取得および／または処理されてもよい。ローカル処理およびデータモジュール７０は、遠隔モジュール（７２、７４）が相互に動作可能に結合され、ローカル処理およびデータモジュール７０へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク（７６、７８）によって、これらの遠隔処理モジュール７２および遠隔データリポジトリ７４に動作可能に結合されてもよい。

いくつかの実施形態では、遠隔処理モジュール７２は、データ（例えば、センサデータおよび／または画像情報）を分析および処理するように構成される、１つまたはそれを上回るプロセッサを含んでもよい。いくつかの実施形態では、遠隔データリポジトリ７４は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る、デジタルデータ記憶設備を備えてもよい。いくつかの実施形態では、全てのデータは、記憶され、全ての計算は、ローカル処理およびデータモジュール内で行われ、遠隔モジュールからの完全に自律的な使用を可能にする。

いくつかの実施形態では、ディスプレイ６２を介して提供されるコンピュータ生成画像は、３次元であるという印象を生成することができる。これは、例えば、立体画像をユーザに提示することによって、行われることができる。いくつかの従来のシステムでは、そのような画像は、わずかに異なる視点からの場面またはオブジェクトの別個の画像を含むことができる。別個の画像は、それぞれ、ユーザの右眼および左眼に提示されることができ、したがって、両眼視およびその関連付けられる深度知覚をシミュレーションする。

図３は、ユーザのための３次元画像をシミュレーションするための従来のディスプレイシステムを図示する。眼４および６毎に１つずつ、２つの明確に異なる画像７４および７６が、ユーザに出力される。画像７４および７６は、視認者の視線と平行な光学軸またはｚ－軸に沿って距離１０だけ眼４および６から離間される。画像７４および７６は、平坦であり、眼４および６は、単一の遠近調節された状態をとることによって、画像上に合焦し得る。そのようなシステムは、画像７４および７６を組み合わせて、組み合わせられた画像の深度の知覚を提供するように、ヒト視覚系に依拠する。

しかしながら、ヒト視覚系は、より複雑であり、深度の現実的知覚を提供することは、より困難であることを理解されたい。例えば、従来の３Ｄディスプレイシステムの多くの視認者は、そのようなシステムが不快であることを見出すか、または深度の感覚を全く知覚しない場合がある。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）および遠近調節（ａｃｃｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを「３次元」として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動の移動（すなわち、眼の視線を収束させ、オブジェクトに固定させるための、相互に向かった、または、そこから離れる瞳孔の転動移動）は、眼の水晶体を集束させること（または「遠近調節」）と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変化させる、または眼を遠近調節し、異なる距離における１つのオブジェクトから別のオブジェクトに焦点を変化させることは、「遠近調節－輻輳・開散運動反射」として既知である関係のもとで、同一距離までの輻輳・開散運動の整合的変化を自動的に引き起こすであろう。同様に、輻輳・開散運動の変化は、正常条件下で、遠近調節の整合的変化を誘起するであろう。本明細書に記述されるように、多くの立体ディスプレイシステムは、３次元視点がヒト視覚系によって知覚されるように、各眼へのわずかに異なる提示（したがって、わずかに異なる画像）を使用して、場面を表示する。しかしながら、そのようなシステムは、単に場面の異なる提示を提供するが、眼が全画像情報を単一の遠近調節された状態において視認し、したがって、遠近調節－輻輳・開散運動反射に対抗して機能するため、多くの視認者にとって不快である。遠近調節と輻輳・開散運動との間のより優れた整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

例えば、ライトフィールド画像は、３次元視界をシミュレーションするようにユーザに提示されることができる。ライトフィールド画像は、実世界環境で視認者の眼に入射する光線を模倣することができる。例えば、ライトフィールド画像を表示するとき、ある距離において知覚されるようにシミュレーションされたオブジェクトからの光線が、視認者の眼に入射するときに、よりコリメートされる一方で、近くで知覚されるようにシミュレーションされたオブジェクトからの光線は、より発散させられる。したがって、場面内のオブジェクトからの光線が視認者の眼に入射する角度は、視認者からのこれらのオブジェクトのシミュレーションされた距離に依存する。仮想または拡張現実システムにおけるライトフィールド画像は、異なる深度平面からの場面またはオブジェクトの複数の画像を含むことができる。画像は、深度平面毎に異なり得（例えば、場面またはオブジェクトのわずかに異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、快適な深度の知覚をユーザに提供することに役立ち得る。

これらの複数の深度平面画像が、同時に、または立て続けに視認者に提示されるとき、結果は、視認者によって３次元画像として解釈される。視認者が本タイプのライトフィールド画像を体験するとき、眼は、実世界場面を体験するときに行うであろう方法とほぼ同様に、異なる深度平面を集束させるように遠近調節する。これらの焦点合図は、より現実的なシミュレーションされた３次元環境を提供することができる。

いくつかの構成では、各深度平面において、フルカラー画像が、それぞれ特定の構成色を有する、構成画像を重ね合わせることによって形成されてもよい。例えば、赤色、緑色、および青色画像はそれぞれ、各フルカラー深度平面画像を形成するように、別個に出力されてもよい。結果として、各深度平面は、それと関連付けられる複数の構成色画像を有してもよい。

図４は、複数の深度平面を使用して３次元画像をシミュレーションするためのアプローチの側面を図示する。図４Ａを参照すると、ｚ－軸上の眼４および６からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼（４、６）によって遠近調節される。眼４および６は、特定の遠近調節された状態をとり、ｚ－軸に沿って異なる距離においてオブジェクトに合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面内のオブジェクトまたはオブジェクトの一部が、眼がその深度平面のための遠近調節された状態にあるときに合焦するように、深度平面１４のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼（４、６）毎に画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによってシミュレーションされてもよい。

オブジェクトと眼（４または６）との間の距離は、その眼によって視認されるようなそのオブジェクトからの光の発散の量を変化させることができる。図５Ａ－５Ｃは、距離と光線の発散との間の関係を図示する。オブジェクトと眼４との間の距離は、減少していく距離Ｒ１、Ｒ２、およびＲ３の順序で表される。図５Ａ－５Ｃに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点（オブジェクトまたはオブジェクトの一部）によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率は、オブジェクトと眼４との間の距離の減少に伴って増加する。その結果、異なる深度平面では、光線の発散度も異なり、発散度は、深度平面と視認者の眼４との間の距離の減少に伴って増加する。単眼４のみが、例証を明確にするために、図５Ａ－５Ｃおよび本明細書の他の図に図示されるが、眼４に関する議論は、視認者の両眼（４および６）に適用され得ることを理解されたい。

理論によって限定されるわけではないが、ヒトの眼は、典型的には、深度知覚を提供するように、有限数の深度平面を解釈することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、これらの限定数の深度平面のそれぞれに対応する画像の異なる提示を眼に提供することによって達成され得る。

図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム１０００は、複数の導波管（１８２、１８４、１８６、１８８、１９０）を使用して３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ１７８を含む。いくつかの実施形態では、ディスプレイシステム１０００は、図２のシステム８０であり、図６は、そのシステム８０のいくつかの部分をより詳細に概略的に示す。例えば、導波管アセンブリ１７８は、図２のディスプレイ６２の中に統合されてもよい。

図６を継続して参照すると、導波管アセンブリ１７８はまた、複数の特徴（１９８、１９６、１９４、１９２）を導波管の間に含んでもよい。いくつかの実施形態では、特徴（１９８、１９６、１９４、１９２）は、レンズであってもよい。導波管（１８２、１８４、１８６、１８８、１９０）および／または複数のレンズ（１９８、１９６、１９４、１９２）は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス（２００、２０２、２０４、２０６、２０８）は、導波管（１８２、１８４、１８６、１８８、１９０）の中に画像情報を投入するために利用されてもよく、これらのそれぞれは、本明細書に説明されるように、眼４に向かった出力のために各個別の導波管を横断して入射光を分散させるように構成され得る。光は、画像投入デバイス（２００、２０２、２０４、２０６、２０８）の出力表面（３００、３０２、３０４、３０６、３０８）から出射し、導波管（１８２、１８４、１８６、１８８、１９０）の対応する入力縁（３８２、３８４、３８６、３８８、３９０）の中に投入される。いくつかの実施形態では、単一の光ビーム（例えば、コリメートされたビーム）が、特定の導波管と関連付けられる深度平面に対応する特定の角度（および発散量）において眼４に向かって指向される、クローン化されたコリメートされたビームの全体場を出力するように、各導波管の中に投入されてもよい。

いくつかの実施形態では、画像投入デバイス（２００、２０２、２０４、２０６、２０８）は、離散ディスプレイであり、これらのそれぞれは、対応する導波管（それぞれ、１８２、１８４、１８６、１８８、１９０）の中への投入のために画像情報を生成する。いくつかの他の実施形態では、画像投入デバイス（２００、２０２、２０４、２０６、２０８）は、例えば、１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して画像情報を画像投入デバイス（２００、２０２、２０４、２０６、２０８）のそれぞれに送り得る、単一の多重化ディスプレイの出力端である。

コントローラ２１０は、スタックされた導波管アセンブリ１７８および画像投入デバイス（２００、２０２、２０４、２０６、２０８）の動作を制御する。いくつかの実施形態では、コントローラ２１０は、例えば、本明細書に開示される種々の方式のうちのいずれかに従って、導波管（１８２、１８４、１８６、１８８、１９０）への画像情報のタイミングおよびプロビジョニングを調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラは、単一の一体型デバイス、または有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ２１０は、いくつかの実施形態では、処理モジュール（７０または７２）（図２）の一部であってもよい。

導波管（１８２、１８４、１８６、１８８、１９０）は、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管（１８２、１８４、１８６、１８８、１９０）はそれぞれ、主要な頂面および底面およびこれらの頂面と底面との間に延在する縁を伴って、平面または曲面であり得る。図示される構成では、導波管（１８２、１８４、１８６、１８８、１９０）はそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼４に出力するように構成される、光再指向要素（２８２、２８４、２８６、２８８、２９０）を含んでもよい。光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光再指向要素（２８２、２８４、２８６、２８８、２９０）は、反射および／または回折光学特徴であってもよい。説明の容易性および図面の明確性のために、導波管（１８２、１８４、１８６、１８８、１９０）の底部主要表面に配置されて図示されるが、いくつかの実施形態では、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、上部および／または底部主要表面に配置されてもよい、および／または導波管（１８２、１８４、１８６、１８８、１９０）の容積内に直接配置されてもよい。いくつかの実施形態では、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、導波管（１８２、１８４、１８６、１８８、１９０）を形成するように透明基板に取り付けられる、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管（１８２、１８４、１８６、１８８、１９０）は、モノリシックな材料片であってもよく、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、その材料片の表面上および／またはその内部に形成されてもよい。

図６を継続して参照すると、本明細書に議論されるように、各導波管（１８２、１８４、１８６、１８８、１９０）は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管（１８２）は、そのような導波管１８２の中に投入されるにつれて、コリメートされた光を眼４に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管１８４は、眼４に到達し得る前に、第１のレンズ（１９２；例えば、負のレンズ）を通過する、コリメートされた光を送出するように構成されてもよい。そのような第１のレンズ１９２は、眼／脳が、その次の上方の導波管１８４から生じる光を光学無限遠から眼４に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、わずかな凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管１８６は、眼４に到達する前に、その出力光を第１のレンズ１９２および第２のレンズ１９４の両方に通過させる。第１のレンズ１９２および第２のレンズ１９４の組み合わせられた屈折力は、眼／脳が、第３の導波管１８６から生じる光を次の上方の導波管１８４からの光より光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。

他の導波管層（１８８、１９０）およびレンズ（１９６、１９８）も同様に構成され、スタック内の最高導波管１９０は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ１７８の反対側の世界１４４から生じる光を視認／解釈するときに、レンズ（１９８、１９６、１９４、１９２）のスタックを補償するために、補償レンズ層１８０が、下方のレンズスタック（１９８、１９６、１９４、１９２）の集約力を補償するように、スタックの上部に配置されてもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光再指向要素およびレンズの集束側面は両方とも、静的であり得る（すなわち、動的または電気活性ではない）。いくつかの代替実施形態では、それらは、電気活性特徴を使用して動的であり得る。

図６を継続して参照すると、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、導波管と関連付けられる特定の深度平面のために、光をその個別の導波管から外へ再指向することと、本光を適切な量の発散またはコリメーションを伴って出力することとの両方のために、構成されてもよい。結果として、異なる関連付けられる深度平面を有する導波管は、関連付けられる深度平面に応じて、異なる量の発散を伴う光を出力する、光再指向要素（２８２、２８４、２８６、２８８、２９０）の異なる構成を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、光を具体的角度において出力するように構成され得る、体積または表面特徴であってもよい。例えば、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光再指向要素は、参照することによってその全体として本明細書に組み込まれる、２０１５年３月７日に出願された米国特許出願第１４／６４１，３７６号で説明されている。いくつかの実施形態では、特徴（１９８、１９６、１９４、１９２）は、レンズではなくてもよく、むしろ、それらは、単に、スペーサ（例えば、クラッディング層および／または空隙を形成するための構造）であってもよい。

いくつかの実施形態では、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、回折パターンまたは「回折光学要素」（本明細書では「ＤＯＥ」とも称される）を形成する、回折特徴である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差点を伴って眼４に向かって偏向される一方で、残りが全内部反射を介して導波管を通って移動し続けるように、比較的低い回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果は、導波管内の周囲で反射する本特定のコリメートされたビームに関して、眼４に向かった出射放出の非常に均一なパターンである。

いくつかの実施形態では、１つまたはそれを上回るＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体中に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。

図７は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されているが、導波管のスタック１７８内の他の導波管も同様に機能し得ることを理解されたい。光４００が、導波管１８２の入力縁３８２において導波管１８２の中に投入され、ＴＩＲによって導波管１８２内を伝搬する。光４００がＤＯＥ２８２上に衝突する点では、光の一部は、導波管から出射ビーム４０２として出射する。出射ビーム４０２は、実質的に平行として図示されるが、本明細書に議論されるように、それらはまた、導波管１８２と関連付けられる深度平面に応じて、ある角度（例えば、発散出射ビームを形成する）において眼４に伝搬するように再指向されてもよい。実質的に平行な出射ビームは、眼４からの大きいシミュレーションされた距離（例えば、光学無限遠）における深度平面に対応する導波管を示し得ることを理解されたい。他の導波管は、より発散する出射ビームパターンを出力してもよく、これは、眼４がより近いシミュレーションされた距離上で合焦するように遠近調節することを要求し、光学無限遠より眼４に近い距離からの光として脳によって解釈されるであろう。

図８は、各深度平面が、異なる色の光をそれぞれ出力する、３つの関連付けられる導波管を有する、スタックされた導波管アセンブリの例示的設計を概略的に図示する。フルカラー画像が、複数の構成色、例えば、３つまたはそれを上回る構成色のそれぞれにおける画像を重ね合わせることによって、各深度平面に形成されてもよい。いくつかの実施形態では、構成色は、赤、緑、および青を含む。いくつかの他の実施形態では、マゼンタ、黄、およびシアンを含む、他の色が、赤、緑、または青のうちの１つと併せて使用されてもよい、またはそれに取って代わってもよい。各導波管は、特定の構成色を出力するように構成されてもよく、その結果、各深度平面は、それと関連付けられる複数の導波管を有してもよい。各深度平面は、例えば、それと関連付けられる３つの導波管、すなわち、赤色光を出力するための１つの導波管、緑色光を出力するための第２の導波管、および青色光を出力するための第３の導波管を有してもよい。

図８を継続して参照すると、深度平面１４ａ－１４ｆが示されている。図示される実施形態では、各深度平面は、それと関連付けられる３つの構成色画像、すなわち、第１の色Ｇの第１の画像、第２の色Ｒの第２の画像、および第３の色Ｂの第３の画像を有する。本明細書のきまりとして、これらの文字のそれぞれに続く数字は、ジオプタ（１／ｍ）、または視認者からの深度平面の見掛けの距離の逆数を示し、図中の各ボックスは、個々の構成色画像を表す。いくつかの実施形態では、Ｇは、緑色であり、Ｒは、赤色であり、Ｂは、青色である。上記で議論されるように、視認者からの深度平面の知覚された距離は、光再指向要素（２８２、２８４、２８６、２８８、２９０）、例えば、回折光学要素（ＤＯＥ）によって、および／または見掛けの距離と関連付けられる角度で光を発散させるレンズ（１９８、１９６、１９４、１９２）によって、確立されてもよい。

いくつかの配列では、各構成色画像は、導波管のスタックの中の異なる導波管によって出力されてもよい。例えば、各深度平面は、それと関連付けられる３つの構成色画像、すなわち、第１の色Ｇを出力する第１の導波管、第２の色Ｒを出力する第２の導波管、および第３の色Ｂを出力する第３の導波管を有してもよい。導波管が構成色画像を出力するために使用される配列では、図中の各ボックスは、個々の導波管を表すと理解され得る。

各深度平面と関連付けられる導波管が、説明を容易にするために本概略図中で相互に隣接して示されているが、物理的デバイスでは、導波管は全て、レベル毎に１つの導波管を伴うスタックに配列され得ることを理解されたい。異なる深度平面が、文字Ｇ、Ｒ、およびＢに続くジオプタの異なる数字によって、図に示されている。
（ディスプレイタイミング方式）

いくつかの実施形態では、仮想または拡張現実システムは、ビデオデータの所与のフレームのための複数の異なる深度平面を連続的に表示することによって、ライトフィールド画像を提供する。本システムは、次いで、ビデオデータの次のフレームまで更新し、そのフレームのための複数の異なる深度平面を連続的に表示する。例えば、ビデオデータの第１のフレームは、実際に、データの３つの別個のサブフレーム、すなわち、遠視野フレームＤ０、中視野フレームＤ１、および近視野フレームＤ２を含むことができる。Ｄ０、Ｄ１、およびＤ２は、連続して表示されることができる。続いて、ビデオデータの第２のフレームが、表示されることができる。ビデオデータの第２のフレームは、同様に、連続的に表示される、遠視野フレーム、中視野フレーム、および近視野フレーム等を含むことができる。本実施例は、３つの深度平面を使用するが、ライトフィールド画像は、そのように限定されない。むしろ、任意の複数の深度平面が、例えば、所望のビデオフレームレートおよびシステムの能力に応じて、使用されることができる。

ライトフィールドビデオデータの各フレームが、異なる深度平面のための複数のサブフレームを含むため、ライトフィールド画像を提供するシステムは、高いリフレッシュレートが可能であるディスプレイパネルから利益を享受し得る。例えば、本システムが、１２０Ｈｚのフレームレートでビデオを表示するが、複数の異なる深度平面からの画像を含む場合には、ディスプレイは、ビデオの各フレームのための複数の深度平面画像を遠近調節するために、１２０Ｈｚを上回るリフレッシュレートが可能である必要があろう。いくつかの実施形態では、シリコン面上液晶（ＬＣＯＳ）ディスプレイパネルが使用されるが、他のタイプのディスプレイパネル（カラー順次ディスプレイおよび非カラー順次ディスプレイを含む）も使用されることができる。

図９は、ライトフィールド画像を表示する仮想または拡張現実システムのための例示的タイミング方式を図示する。本実施例では、ビデオフレームレートは、１２０Ｈｚであり、ライトフィールド画像は、３つの深度平面を含む。いくつかの実施形態では、各フレームの緑色、赤色、および青色成分が、同時ではなくて連続的に表示される。

１２０Ｈｚのビデオフレームレートは、ビデオの単一のフレームのために深度平面の全てを表示する、８．３３３ミリ秒を可能にする。図９に図示されるように、ビデオデータの各フレームは、３つの深度平面を含み、各深度平面は、緑色、赤色、および青色成分を含む。例えば、深度平面Ｄ０は、緑色サブフレームＧ０と、赤色サブフレームＲ０と、青色サブフレームＢ０とを含む。同様に、深度平面Ｄ１は、それぞれ、緑色、赤色、および青色サブフレームＧ１、Ｒ１、およびＢ１を備え、深度平面Ｄ２は、それぞれ、緑色、赤色、および青色サブフレームＧ２、Ｒ２、およびＢ２を備える。各ビデオフレームが３つの深度平面を備え、各深度平面が３つの色成分を有することを考慮すると、配分された８．３３３ミリ秒は、それぞれ０．９２６ミリ秒の９つの区画に分割される。図９に図示されるように、第１の深度平面のための緑色サブフレームＧ０は、第１の時間区画中に表示される、第１の深度平面のための赤色サブフレームＲ０は、第２の時間区画中に表示される、等である。ビデオの各フレームのための合計緑色オン時間は、２．７７８ミリ秒である。同じことが、各ビデオフレームのための合計赤色オン時間および青色オン時間に当てはまる。しかしながら、他のビデオフレームレートも使用されることができ、その場合、それに応じて、図９に図示される具体的時間間隔が調節され得ることを理解されたい。個々の色成分が、等しい表示時間を有するものとして図示されるが、これは必須ではなく、色成分の間の表示時間の比は、変動させられ得る。さらに、深度平面および色成分サブフレームについて図９に図示される点滅順は、一実施例にすぎない。他の点滅順も、使用されることができる。また、図９は、カラー順次ディスプレイ技術を使用する実施形態を図示するが、本明細書に説明される技法は、カラー順次ディスプレイに限定されない。

他のディスプレイタイミング方式も、可能である。例えば、フレームレート、深度平面の数、および色成分は、変動し得る。いくつかの実施形態では、本明細書に説明されるような仮想または拡張現実システムのフレームレートは、８０Ｈｚであり、３つの深度平面がある。いくつかの実施形態では、異なる深度平面が、異なるフレームの中で表示されることができる。例えば、４つの深度平面を伴うライトフィールドビデオは、１２０Ｈｚのフレームレートでフレーム毎に２つの深度平面を表示することによって、６０Ｈｚの有効フレームレートで表示されることができる（深度平面Ｄ０およびＤ１は、最初の８．３３ミリ秒に表示されることができ、深度平面Ｄ２およびＤ３は、次の８．３３ミリ秒に表示されることができ、全深度情報は、６０Ｈｚの有効フレームレートについて１６．７ミリ秒で提供される）。いくつかの実施形態では、示される深度平面の数は、ディスプレイ上で空間的に変動し得る。例えば、より多数の深度平面は、ユーザの視線内でディスプレイの下位部分に示されることができ、より少数の深度平面は、ユーザの周辺視野内に位置するディスプレイの下位部分に示されることができる。そのような実施形態では、視線追跡装置（例えば、カメラおよび視線追跡ソフトウェア）が、ディスプレイのいずれの部分をユーザが見ているかを判定するために使用されることができる。
（ビデオデータ用の制御データ）

図１０は、添付制御データを含む、ビデオデータのフレームの例示的フォーマットを図示する。図１０に図示されるように、ビデオデータの各フレームは、行および列にフォーマットされたピクセルデータのアレイを備えてもよい。図示される実施例では、画像を形成する、１２８０列および９６０行のピクセルデータがある。図１０はまた、制御データ１０１０がビデオデータのフレームに添付され得ることも図示する。本実施例では、制御パケット１０１０は、例えば、余剰行として、ビデオデータのフレームに添付されることができる。第１の行（行０００）が、制御情報を備える一方で、行１－９６０は、実際の画像を含有する。したがって、本実施形態では、ホストは、１２８０×９６１の解像度をディスプレイコントローラに伝送する。

ディスプレイコントローラは、添付制御情報を読み取り、例えば、１つまたはそれを上回るディスプレイパネル（例えば、左眼および右眼ディスプレイパネル）に送信される画像情報１０２０を構成するためにそれを使用する。本実施例では、制御情報１０１０の行は、ディスプレイパネルに送信されない。したがって、ホストは、１２８０×９６１の解像度で情報をディスプレイコントローラに伝送するが、ディスプレイコントローラは、データのストリームから制御情報１０１０を除去し、１２８０×９６１の解像度でビデオ情報１０２０のみをディスプレイパネルに伝送する。画像データは、例えば、ディスプレイシリアルインターフェース（ＤＳＩ）フォーマットで、ディスプレイパネル（例えば、ＬＣＯＳディスプレイパネル）に伝送されることができる。図１０は、添付制御情報１０１０がビデオデータの各フレームの冒頭に添付される単一の行を備えることを図示するが、他の量の制御情報が、代替として、添付され得る。さらに、制御情報１０１０は、必ずしもビデオデータの各フレームの冒頭に添付される必要はないが、代わりに、他の場所においてビデオデータの中に挿入され得る。しかしながら、フレームの冒頭に制御情報を添付することは、画像データを表示することに先立って、コントローラがレンダリングされた画像のフレームの冒頭における制御情報により容易に作用することを可能にし得る。

図１１は、制御データを含む、ビデオデータのフレームの別の例示的フォーマットを図示する。図１１は、制御情報１１１０が、第１の行の前のビデオデータのフレームに添付されるのではなく、ビデオデータの第１の行の代わりに挿入されることを除いて、図１０に類似する。したがって、フレームの第１の行（行０００）が、制御情報を備える一方で、残りの９５９行は、実際の画像データ１１２０を備える。

本実施例では、ホストは、１２８０×９６１の解像度で情報をディスプレイコントローラに伝送する。ディスプレイコントローラは、ディスプレイパネルに送信される画像情報を構成するために、制御データ１１１０を使用することができる。ディスプレイコントローラは、次いで、図１１に図示されるビデオデータのフレームをディスプレイパネルに伝送する。しかしながら、いくつかの実施形態では、図１１に図示されるビデオデータのフレームをディスプレイパネルに伝送する前に、ディスプレイコントローラは、例えば、ビデオデータのその行をゼロに設定することによって、制御情報１１１０を除去することができる。これは、ビデオデータの各フレームの第１の行をディスプレイ上で暗い色の線として出現させる。

図１１に図示される方式を使用して、制御情報１１１０は、ディスプレイコントローラに送信される情報の解像度を変化させることなく、ビデオデータのフレームとともに含まれることができる。しかしながら、本実施例におけるトレードオフは、ある画像データが制御データによって置換されるという事実に起因して、有効ディスプレイ解像度が減少させられることである。図１１は、制御データ１１１０が画像データの第１の行の代わりに挿入されることを図示するが、制御データは、代替として、フレーム内の別の行の代わりに挿入され得る。

例えば、図１０および１１に（および以降で図１２に）図示される制御データは、いくつかの異なる目的のために使用されることができる。例えば、制御データは、ビデオデータのフレームが左眼ビデオパネルに表示されるべきかまたは右眼ビデオパネル上に表示されるべきかを示すことができる。制御データは、複数の深度平面のうちのいずれにビデオデータのフレームが対応するかを示すことができる。制御データは、ライトフィールドビデオデータの点滅順を示すことができる。例えば、制御データは、各深度平面を表示する順序、および深度平面毎に色成分サブフレームを表示する順序を示すことができる。加えて、ディスプレイのためのコンテンツがすでにホストによって生成された後に、ピクセルを左右または上下に偏移させる必要があり得る。画像データを調節および再レンダリングするのではなく、制御データは、ディスプレイコントローラによって実施されるべきであるピクセル偏移の方向および規模を規定する、ピクセル偏移情報を含むことができる。

そのようなピクセル偏移は、いくつかの理由のために実施されることができる。ピクセル偏移は、画像コンテンツが、例えば、ユーザの頭部の動きに起因して、ディスプレイ上で移動される必要がある場合に、行われることができる。そのような場合には、コンテンツは、同一であり得るが、ディスプレイ上の視認エリア内のその場所は、偏移される必要があり得る。ＧＰＵにおいて画像コンテンツを再レンダリングし、ピクセルのセット全体をディスプレイコントローラに再び送信するのではなく、ピクセル偏移が、ピクセル偏移制御情報を使用して、画像データに適用されることができる。図１０および１１に図示されるように、ピクセル偏移制御情報は、フレームの冒頭に含まれることができる。代替として、および／または加えて、後期更新制御データパケットが、更新された頭部姿勢中間フレームに基づいて適切なピクセル偏移を行うように、（例えば、第１の行の後に）フレーム内で送信されることができる。これは、例えば、Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ）ディスプレイシリアルインターフェース（ＤＳＩ）仮想チャネルを使用して、行われることができる。

ピクセル偏移はまた、ユーザが自分の頭部を動かし、ピクセルのより正確な表現が所望される場合に、行われることもできる。ＧＰＵに画像を再レンダリングさせるのではなく、ディスプレイ上の後期偏移が、ピクセル偏移アプローチを使用して適用されることができる。本明細書に説明される任意のピクセル偏移が、単一の深度平面または複数の深度平面に影響を及ぼし得る。本明細書ですでに議論されているように、いくつかの実施形態では、種々の深度平面が表示されるときに、時間の差がある。これらの時間差中に、ユーザは、視認錐台が偏移される必要があり得るように、自分の眼を偏移させてもよい。これは、深度平面のうちのいずれかにピクセル偏移を使用して達成されることができる。

ピクセル偏移制御情報は、単一の深度平面のフレーム内のＸ－Ｙ方向へのピクセル偏移を示すことができる。代替として、および／または加えて、ピクセル偏移制御情報は、深度平面バッファの間のＺ方向への偏移を示すことができる。例えば、１つまたはそれを上回る深度平面内で以前に表示されたオブジェクトは、Ｚ－ピクセル偏移を用いて設定された別の深度平面まで移動してもよい。本タイプの偏移はまた、深度毎に部分的画像を拡大または縮小するスケーラを含むこともできる。例えば、表示されるキャラクタが２つの深度平面の間で浮動しており、別のオブジェクトによるそのキャラクタの妨害がないことを仮定されたい。深度方向へのキャラクタの見掛けの移動は、Ｚ－ピクセル偏移およびスケーラを使用して、１つまたはそれを上回る深度平面で前方または後方にキャラクタを再描画することによって、達成されることができる。これは、キャラクタを再レンダリングし、フレーム更新をディスプレイコントローラに送信することなく、達成されることができ、より低い計算費用において、より円滑な運動性能をもたらす。

スケーラはまた、例えば、レンズ１９２、１９４、１９６、１９８の結果としてディスプレイ内で生じる、拡大効果を補償するために使用されることもできる。そのようなレンズは、ユーザによって観察可能である仮想画像を作成してもよい。仮想オブジェクトが１つの深度平面から別の深度平面まで移動するとき、仮想画像の光学拡大は、実際には、物理的世界で予期されるであろうものと正反対であり得る。例えば、物理的世界では、オブジェクトが視認者からさらに遠い深度平面に位置するとき、オブジェクトは、より近い深度平面に位置する場合よりも小さく見える。しかしながら、仮想オブジェクトが、ディスプレイ内でより近い深度平面からより遠い深度平面まで移動するとき、レンズは、実際にオブジェクトの仮想画像を拡大してもよい。したがって、いくつかの実施形態では、スケーラが、ディスプレイ内の光学拡大効果を補償するために使用される。スケーラが、光学素子によって引き起こされる拡大効果を補正するように、深度平面毎に提供されることができる。加えて、スケーラが、色毎の基準で対処されるべき任意の拡大縮小問題がある場合、色毎に提供されることができる。

いくつかの実施形態では、最大水平ピクセル偏移が、パネル幅全体に対応することができる一方で、最大垂直ピクセル偏移は、パネル高さ全体に対応することができる。正および負の偏移の両方が、制御データによって示されることができる。本ピクセル偏移情報を使用して、ディスプレイコントローラは、深度平面の間で左または右、上または下、および前方または後方にビデオデータのフレームを偏移させることができる。ピクセル偏移情報はまた、ビデオデータのフレームを左眼ディスプレイパネルから右眼ディスプレイパネルに、またはその逆も同様に、完全または部分的に偏移させることもできる。ピクセル偏移情報は、深度平面毎にライトフィールドビデオデータの中に含まれることができる。

走査ベースのディスプレイが使用されるもの等のいくつかの実施形態では、増分分散型ピクセル偏移が提供されることができる。例えば、ビデオのフレームのための画像は、画像の終了（例えば、底部）に達するまで、１つまたはそれを上回る深度平面内で増分的に偏移されることができる。最初に表示されるピクセルは、頭部の動きを補償するため、またはオブジェクトの運動をシミュレーションするために、フレーム内の以降に表示されるピクセルよりも多く、または少なく偏移されることができる。さらに、平面毎の基準で増分ピクセル偏移が存在し得る。例えば、１つの深度平面内のピクセルは、別の深度平面内のピクセルよりも多く、または少なく偏移されることができる。いくつかの実施形態では、視線追跡技術が、ディスプレイ画面のいずれの部分をユーザが凝視しているかを判定するために使用される。異なる深度平面内、またはさらに単一の深度平面内の異なる場所におけるオブジェクトが、ユーザが見ている場所に応じてピクセル偏移される（または偏移されない）ことができる。ユーザが凝視していないオブジェクトがある場合、これらのオブジェクトのためのピクセル偏移情報は、ユーザが凝視している画像内のピクセル偏移のための性能を向上させるために無視されてもよい。再度、視線追跡装置が、ユーザが見ているディスプレイ上の場所を判定するために使用されることができる。

制御情報はまた、１つまたはそれを上回る仮想深度平面を規定および／または調整するために使用することもできる。仮想深度平面は、画像の所望の明度を維持するように２つの深度平面画像を適切な加重と混合することによって、仮想または拡張現実システムにおいて２つの画定された深度平面の間の所望の間隔で提供されることができる。例えば、仮想深度平面が深度平面Ｄ０と深度平面Ｄ１との間で所望される場合には、混合ユニットが、Ｄ１画像データのピクセル値も５０％だけ加重しながら、Ｄ０画像データのピクセル値を５０％だけ加重することができる。（加重が合計で１００％になる限り、次いで、画像の見掛けの明度が維持されることができる。）結果は、Ｄ０とＤ１との中間に位置するように見える仮想深度平面であろう。仮想深度平面の見掛けの深度は、異なる混合加重を使用することによって、制御されることができる。例えば、仮想深度平面がＤ０よりもＤ１に近く見えることが所望される場合には、Ｄ１画像は、より重く加重されることができる。１つまたはそれを上回るスケーラは、仮想オブジェクトが、仮想オブジェクトの同様の部分が混合動作中に組み合わせられるように混合されている深度平面の両方の中で実質的に同一のサイズであることを確実にするために、使用されることができる。制御データは、仮想深度平面画像が計算されるときを規定することができ、制御情報はまた、仮想深度平面のための混合加重を含むこともできる。種々の実施形態では、加重は、プログラム可能なルックアップテーブル（ＬＵＴ）に記憶されることができる。制御情報は、ＬＵＴから所望の仮想深度平面を提供するであろう適切な加重を選択するために使用されることができる。

制御情報はまた、２つの立体ディスプレイのうちの一方のための画像フレームが他方にコピーされるべきであるかどうかを示すこともできる。例えば、最も遠いシミュレーションされた深度平面（例えば、背景画像）の場合に、左右の眼の画像の間に（例えば、視差偏移に起因する）比較的小さい差があり得る。そのような場合には、制御情報は、立体ディスプレイのうちの一方のための画像が、１つまたはそれを上回る深度平面のための他方のディスプレイにコピーされることを示すことができる。これは、左右の眼のディスプレイの両方のためにＧＰＵにおいて画像データを再レンダリングすること、またはデータをディスプレイコントローラに再転送することなく、達成されることができる。左右の眼の画像の間に比較的小さい差がある場合、ピクセル偏移もまた、両眼のための画像データを再レンダリングまたは再転送することなく、補償するために使用されることができる。

図１０および１１に図示される制御データはまた、ここで具体的に列挙されるもの以外に他の目的のために使用されることもできる。

図１０および１１は、制御データの行がビデオデータとともに含まれ得ることを示すが、制御データはまた（または代替として）ビデオデータの個々のピクセルに埋め込まれることもできる。これは、埋め込まれた制御データ１２４０を含む、ビデオデータのピクセル１２００の例示的フォーマットを図示する、図１２に図示されている。図１２は、ビデオデータのピクセルが青色値１２３０（バイト０）と、緑色値１２２０（バイト１）と、赤色値１２１０（バイト２）とを備えることを図示する。本実施形態では、色値はそれぞれ、８ビットの色深度を有する。いくつかの実施形態では、色値のうちの１つまたはそれを上回るものに対応する、ビットのうちの１つまたはそれを上回るものは、色値のビット深度を犠牲にして、制御データ１２４０によって置換されることができる。したがって、制御データは、ピクセルの色値のダイナミックレンジを犠牲にして、ビデオデータのピクセルに直接埋め込まれることができる。例えば、図１２に図示されるように、青色値の強調表示された２つの最下位ビットは、制御データ１２４０として専用にされることができる。図示されていないが、他の色値のビットもまた、制御データとして専用にされることができる。また、異なる数のピクセルビットが、制御データとして専用にされることができる。

いくつかの実施形態では、ビデオデータのピクセルに組み込まれる制御データ１２４０は、深度平面インジケータデータであることができる（但し、ピクセルに組み込まれる制御データはまた、本明細書に説明される他のタイプを含む、任意の他のタイプの制御データであることもできる）。本明細書で議論されるように、ライトフィールドビデオデータは、いくつかの深度平面を含むことができる。ビデオフレーム内の１つまたはそれを上回るピクセルのためのビット深度は、低減されることができ、結果として生じる利用可能なビットは、ピクセルが対応する深度平面を示すために使用されることができる。

具体的な実施例として、図１２に図示される２４ビットＲＧＢピクセルデータを考慮されたい。赤色、緑色、および青色値はそれぞれ、８ビットのビット深度を有する。すでに議論されているように、色成分のうちの１つまたはそれを上回るもののビット深度は、犠牲にされ、深度平面インジケータデータによって置換されることができる。例えば、眼が青色にあまり敏感ではないため、青色成分は、８ビットの代わりに６ビット（図１２のビットＢ３－Ｂ８）によって表されることができる。結果として生じる余剰な２つのビット（ビットＢ１およびＢ２）は、最大４つの深度平面のうちのいずれにそのピクセルが対応するかを規定するために使用されることができる。より多いまたは少ない深度平面がある場合には、より多数または少数の色ビットが犠牲にされ得る。例えば、ビット深度が１ビット低減される場合、最大２つの深度平面が規定されることができる。ビット深度が３ビット低減される場合、最大８つの深度平面が規定されることができる、等である。このようにして、色値のダイナミックレンジは、直接、画像データ自体内で深度平面インジケータデータを符号化する能力とトレードオフされ得る。

いくつかの実施形態では、深度平面インジケータデータ１２４０は、ビデオデータの全ピクセルにおいて符号化される。他の実施形態では、深度平面インジケータデータ１２４０は、フレーム毎に１つのピクセル、または線毎に１つのピクセル、仮想または拡張現実オブジェクト毎に１つのピクセル等において符号化されてもよい。加えて、深度平面インジケータデータ１２４０は、単一の色成分のみにおいて、または複数の色成分において符号化されることができる。同様に、直接、画像データ内で深度平面インジケータデータ１２４０を符号化する技法は、カラー画像のみに限定されない。本技法は、グレースケール画像等にも同様に実践されることができる。

図１２は、画像データ内の深度平面インジケータデータを符号化するための１つの技法を図示する。別の技法は、彩度サブサンプリングを採用し、結果として生じる利用可能なビットを深度平面インジケータデータとして使用するものである。例えば、画像データは、Ｙが（ガンマ補正される場合もあり、されない場合もある）輝度成分を表し、Ｃｂが青色差彩度成分を表し、Ｃｒが赤色差彩度成分を表す、ＹＣｂＣｒフォーマットで表されることができる。眼が輝度解像度ほど彩度解像度に敏感ではないため、彩度情報は、画像品質を過度に劣化させることなく、輝度情報よりも劣った解像度を伴って提供されることができる。いくつかの実施形態では、Ｙ値がピクセル毎に提供されるが、ＣｂおよびＣｒ値がそれぞれ、交互様式で１つおきのピクセルのみに提供される、ＹＣｂＣｒ４：２：２フォーマットが使用される。（彩度サンプリングがない場合）ピクセルが、通常、２４ビットの情報（８ビットＹ値、８ビットＣｂ値、および８ビットＣｒ値）から成る場合には、彩度サブサンプリングを採用した後、各ピクセルは、１６ビットの情報（８ビットＹ値および８ビットＣｂまたはＣｒ値）のみを要求するであろう。残りの８ビットは、深度平面インジケータデータとして使用されることができる。深度平面インジケータデータは、ピクセルを適切な時間に表示される適切な深度平面に分離するために使用されることができる。

図１２に図示される実施形態および彩度サブサンプリング実施形態の両方で、深度平面インジケータデータは、仮想または拡張現実システムによってサポートされる実際の深度平面および／または本明細書で議論されるような仮想深度平面を規定することができる。深度平面インジケータデータが仮想深度平面を規定する場合、これはまた、本明細書で議論されるように、混合される深度平面の加重を規定することもできる。

ディスプレイコントローラにおける埋め込まれた深度平面インジケータデータの使用が、図１４に図示されている。しかし、最初に、単一の深度平面のみが存在するときのディスプレイコントローラの動作を示すように、図１３が、背景として提供される。図１３は、どのようにしてビデオのフレームが、連続的に表示され得る色成分に分離されることができるかを図示する。図１３の左側のパネル１３１０は、毎秒１２０フレームのビデオの１つのフレームを備える、画像を示す。図１３の右側のパネル１３３０によって示されるように、画像は、１秒の１／１２０（８．３３ミリ秒）にわたってディスプレイコントローラによってディスプレイ上で点滅される、赤色、緑色、および青色成分に分離される。簡単にするために、図１３は、色成分がそれぞれ１回点滅され、色成分がそれぞれ同一の時間量にわたってアクティブであることを示す。ヒト視覚系は、次いで、個々の色成分サブフレームを図１３の左側のパネルに示される元の色画像に融合させる。図１４は、ビデオデータの各フレームが複数の深度平面を含むときに、どのようにして本プロセスが適合されることができるかを示す。

図１４は、どのようにしてライトフィールドビデオデータのフレームが、深度平面インジケータデータを使用して、ディスプレイのための色成分サブフレームにそれぞれ分割され得る複数の深度平面に分離されることができるかを図示する。いくつかの実施形態では、ホストが、ライトフィールドビデオデータのストリームをディスプレイコントローラに伝送する。ビデオデータの本ストリームは、図１４の左側のパネル１４１０内の画像によって表される。ディスプレイコントローラは、ビデオデータのストリームを複数のＲｘＧｘＢｘシーケンスに分離するために埋め込まれた深度平面インジケータデータ１２４０を使用することができ、Ｒ０Ｇ０Ｂ０シーケンスは、第１の深度平面に対応し、Ｒ１Ｇ１Ｂ１シーケンスは、第２の深度平面に対応し、Ｒ２Ｇ２Ｂ２シーケンスは、第３の深度平面に対応する。図１３に図示されるように、本深度平面分離は、各ピクセルの中の２つの最下位青色ビットに基づいて行われることができる。結果は、３つの別個の深度平面画像を示す、図１４の中央パネル１４２０に示される。最終的に、図１４の中央パネル１４２０に示される３つの別個の深度平面画像はそれぞれ、その構成色成分サブフレームに分離されることができる。各深度平面の色成分サブフレームは、次いで、図１４の右側のパネル１４３０によって図示されるように、ディスプレイに連続的に点滅されることができる。シーケンス順は、例えば、図１４に図示されるようなＲ０Ｇ０Ｂ０Ｒ１Ｇ１Ｂ１Ｒ２Ｇ２Ｂ２、または図９に図示されるようなＧ０Ｒ０Ｂ０Ｇ１Ｒ１Ｂ１Ｇ２Ｒ２Ｂ２であることができる。

深度平面インジケータデータ１２４０は、使用するＲｘＧｘＢｘシーケンスの数、およびいずれのピクセルがいずれのシーケンスに対応するかを判定するために、ディスプレイコントローラによって使用されることができる。制御データもまた、ディスプレイに点滅されるＲｘＧｘＢｘ色シーケンスの順序を規定するように提供されることができる。例えば、３つの深度平面（Ｄ０、Ｄ１、Ｄ２）を含むビデオデータの場合、個々のＲｘＧｘＢｘシーケンスがディスプレイパネルに点滅されることができる、６つの可能性として考えられる順序、すなわち、Ｄ０、Ｄ１、Ｄ２；Ｄ０、Ｄ２、Ｄ１；Ｄ１、Ｄ０、Ｄ２；Ｄ１、Ｄ２、Ｄ０；Ｄ２、Ｄ０、Ｄ１；およびＤ２、Ｄ１、Ｄ０がある。制御データによって規定される順序がＤ０、Ｄ１、Ｄ２である場合には、第１の深度平面Ｄ０に対応する青色ＬＳＢビット０ｂ００を伴うピクセルが、出て行く第１のＲｘＧｘＢｘ色シーケンス画像として選択されることができる。第２の深度平面Ｄ１に対応する青色ＬＳＢビット０ｂ０１を伴うピクセルは、出て行く第２のＲｘＧｘＢｘ色シーケンス画像として選択されることができる、等である。

図１５は、図１２の深度平面インジケータデータが、ライトフィールドビデオデータのフレームの１つまたはそれを上回る深度平面が非アクティブであることを示す、実施例を図示する。図１５は、その後にそれぞれ（図１５の右側のパネル１５３０によって表される）色成分サブフレームに分離される深度平面（図１５の中央パネル１５２０によって表される）に分離されている（図１５の左側のパネル１５１０によって表される）ビデオデータのストリームを示すという点で、図１４に類似する。しかしながら、図１５は、単一の深度平面のみがアクティブであるものとして示されているという点で、図１４と明確に異なる。

すでに議論されているように、図１２の深度平面インジケータデータ１２４０は、各ピクセルの中の青色値の２つの最下位ビットを備える。これら２つのビットは、最大４つの深度平面を規定することが可能である。しかしながら、ライトフィールドビデオデータは、４つよりも少ない深度平面を含んでもよい。例えば、前述の実施例では、ライトフィールドビデオデータは、３つだけの深度平面を含む。ビデオデータが最大数よりも少ない規定可能な深度平面を含む、そのような場合には、深度平面インジケータデータは、１つまたはそれを上回る深度平面が非アクティブであることを規定することができる。例えば、前述の実施例を続けると、ピクセルの中の２つの青色ＬＳＢビットが０ｂ１１に設定される場合には、ピクセルは、非アクティブな第４の深度平面Ｄ３に割り当てられることができる。図１５に示されるように、３つのＲｘＧｘＢｘ色シーケンスのうちの１つだけが、出力シーケンスにおいてアクティブ化され、非アクティブな深度平面は、黒色フレームとして示される。以前のように、制御データは、深度平面が表示される順序を規定するように提供されることができる。図１５の中央パネル１５２０に示されるように、図示される実施例では、制御データは、非アクティブな深度平面Ｄ３がシーケンスの中で最初および最後に示されることを規定している。したがって、シーケンスの中の中央フレームのみが、ディスプレイに点滅される実際の画像データを備える。（他のシーケンスも使用されることができる。例えば、アクティブな深度平面は、シーケンスの中で最初または最後に順序付けられ得る、またはシーケンスの中で１回を上回って繰り返され得る。）ディスプレイコントローラが、ピクセルが非アクティブな深度平面に割り当てられることを見出す場合には、ディスプレイコントローラは、単に、ピクセルを無視することができ、それをディスプレイに点滅することができない。例えば、制御データが、深度平面が非アクティブであることを示すとき、その特定の深度平面のために光をディスプレイに提供する、光源への電力は、削減（例えば、遮断）され、それによって、電力消費量を削減することができる。これは、ディスプレイドライバにおける切替電力を節約することができる。したがって、ビデオデータの１つまたはそれを上回る深度平面を非アクティブとして指定することによって、節電モードが実装されることができる。同様に、いくつかの実施形態では、制御データは、１つまたはそれを上回る色視野が深度平面内で非アクティブである一方で、深度平面内の１つまたはそれを上回る他の色視野がアクティブであることを示すことができる。本制御データに基づいて、ディスプレイコントローラは、非アクティブである１つまたは複数の色視野を無視し、非アクティブな色視野を伴わずに１つまたはそれを上回るアクティブな色視野からの画像を表示するように、ディスプレイを制御することができる。例えば、制御データが、色視野が非アクティブであることを示すとき、その特定の色視野のために光をディスプレイに提供する、光源への電力は、削減（例えば、遮断）され、それによって、電力消費量を削減することができる。故に、照明をディスプレイに提供する、発光ダイオード（ＬＥＤ）、レーザ等の光源は、遮断される、または非アクティブな深度平面および／または非アクティブな色視野のためにそれらの電力を低減させることができる。
（多重深度平面画像圧縮）

いくつかの実施形態では、画像圧縮技法は、深度平面の間の情報の冗長性を除去することによってビデオ画像データの量を低減させるために、複数の深度平面を横断して適用される。例えば、深度平面毎に画像データのフレーム全体を伝送するのではなく、深度平面のうちのいくつかまたは全てが、代わりに、隣接する深度平面に対する変化に関して表されてもよい。（これはまた、隣接する瞬間においてフレームの間の時間的基準で行われることもできる。）圧縮技法は、無損失であり得る、または隣接する深度平面フレームの間、または所与の閾値未満である時間的に隣接するフレームの間の変化が、無視されることができ、したがって、画像情報の低減をもたらすように、損失性であり得る。加えて、圧縮アルゴリズムは、運動ベクトルを使用して、単一の深度平面（Ｘ－Ｙ運動）内および／または深度平面（Ｚ運動）の間でオブジェクトの運動を符号化することができる。移動オブジェクトの画像データが経時的に繰り返し伝送されることを要求するのではなく、オブジェクトの運動は、本明細書で議論されるように、ピクセル偏移制御情報を用いて、完全または部分的に達成されることができる。
（動的に構成可能なディスプレイ描画エリア）

ライトフィールド画像を表示するシステムでは、ビデオフレーム毎に含まれる比較的大量の情報（例えば、それぞれ複数の色成分を伴う複数の深度平面）により、高いビデオフレームレートを達成することは困難であり得る。しかしながら、ビデオフレームレートは、特に拡張現実モードで、図１６に示されるように、コンピュータ生成ライトフィールド画像が一度にディスプレイの一部のみを占有し得ることを認識することによって、向上されることができる。

図１６は、拡張現実システムにおけるコンピュータ生成画像のフレームのための例示的描画エリアを図示する。図１６は、拡張現実画像が描画されるものである、ディスプレイの一部のみを示すことを除いて、図１に類似する。この場合、拡張現実画像は、ロボット像１１１０と、マルハナバチのキャラクタ２とを含む。拡張現実モードにおけるディスプレイの残りのエリアは、単に、ユーザを囲繞する実世界環境の視界であってもよい。したがって、ディスプレイのこれらのエリア内でコンピュータ生成画像を描画する必要がなくてもよい。多くの場合、コンピュータ生成画像が、一度にディスプレイエリアの比較的わずかな一部のみを占有する場合があり得る。コンピュータ生成画像が示される必要がないエリアを除外するよう、フレーム毎にリフレッシュされる具体的描画エリアを動的に再構成することによって、ビデオフレームレートが、向上されることができる。

コンピュータ生成拡張現実画像は、それぞれ、例えば、関連付けられる明度および色を有する、複数のピクセルとして表されてもよい。ビデオデータのフレームは、そのようなピクセルのｍ×ｘアレイ（ｍが行の数を表し、ｎが列の数を表す）を備えてもよい。いくつかの実施形態では、拡張現実システムのディスプレイは、コンピュータ生成画像を示すことに加えて、ユーザの実世界の周囲状況の視界を提供することが可能であるよう、少なくとも部分的に透明である。コンピュータ生成画像内の所与のピクセルの明度がゼロまたは比較的低い値に設定される場合には、視認者は、そのピクセル場所で実世界環境を見るであろう。代替として、所与のピクセルの明度がより高い値に設定される場合には、視認者は、そのピクセル場所でコンピュータ生成画像を見るであろう。拡張現実画像の任意の所与のフレームに関して、ピクセルの多くの明度は、ディスプレイ上に示される必要がないように、規定閾値を下回り得る。これらの閾値を下回るピクセル毎にディスプレイをリフレッシュするのではなく、ディスプレイは、これらのピクセルをリフレッシュしないよう動的に構成されることができる。

いくつかの実施形態では、拡張現実システムは、ディスプレイを制御するためのディスプレイコントローラを含む。コントローラは、ディスプレイのための描画エリアを動的に構成することができる。例えば、コントローラは、ビデオデータのフレームの中のピクセルのうちのいずれが任意の所与のリフレッシュサイクル中にリフレッシュされるかを動的に構成することができる。いくつかの実施形態では、コントローラは、ビデオの第１のフレームに対応するコンピュータ生成画像データを受信することができる。本明細書で議論されるように、コンピュータ生成画像は、いくつかの深度平面を含んでもよい。ビデオの第１のフレームのための画像データに基づいて、コントローラは、ディスプレイピクセルのうちのいずれを深度平面毎にリフレッシュするかを動的に判定することができる。例えば、ディスプレイが走査型ディスプレイ技術を利用する場合、コントローラは、拡張現実画像がリフレッシュされる必要がないエリア（例えば、拡張現実画像がない、または拡張現実画像の明度が規定閾値を下回る、フレームのエリア）を省略するよう、走査パターンを動的に調節することができる。

このようにして、受信されるビデオデータの各フレームに基づいて、コントローラは、拡張現実画像が示されるべきである、ディスプレイの下位部分を識別することができる。各そのような下位部分は、ディスプレイ上に単一の隣接エリアまたは複数の非隣接エリア（図１６に示されるような）を含んでもよい。ディスプレイのそのような下位部分は、ライトフィールド画像データ内の深度平面毎に判定されることができる。ディスプレイコントローラは、次いで、ディスプレイに、ビデオのその特定のフレームのためのディスプレイの識別された下位部分をリフレッシュさせることのみができる。本プロセスは、ビデオのフレーム毎に行われることができる。いくつかの実施形態では、コントローラは、ビデオデータの各フレームの冒頭におけるリフレッシュされるであろうディスプレイのエリアを動的に調節する。

コントローラが、リフレッシュされるべきであるディスプレイの面積が経時的により小さくなっていることを判定する場合には、より少ない時間が拡張現実データの各フレームを描画するために必要されるであろうため、コントローラは、ビデオフレームレートを増加させ得る。代替として、コントローラが、リフレッシュされるべきであるディスプレイの面積が経時的により大きくなっていることを判定する場合には、拡張現実データの各フレームを描画するために十分な時間を可能にするように、ビデオフレームレートを減少させることができる。ビデオフレームレートの変化は、画像で満たされる必要があるディスプレイの割合に反比例し得る。例えば、コントローラは、ディスプレイの１０分の１のみが満たされる必要がある場合に、フレームレートを１０倍増加させることができる。

そのようなビデオフレームレート調節は、フレーム毎の基準で行われることができる。代替として、そのようなビデオフレームレート調節は、規定時間間隔で、またはリフレッシュされるディスプレイの下位部分のサイズが規定量だけ増大または縮小するときに、行われることができる。ある場合には、特定のディスプレイ技術に応じて、コントローラはまた、ディスプレイ上に示される拡張現実画像の解像度を調節してもよい。例えば、ディスプレイ上の拡張現実画像のサイズが比較的小さい場合には、コントローラは、画像を増加した解像度で表示させることができる。逆に、ディスプレイ上の拡張現実画像のサイズが比較的大きい場合には、コントローラは、画像を減少した解像度で表示させることができる。
（強化された頭部姿勢推定）

本明細書で議論されるように、仮想および拡張現実システムは、ヘルメット、眼鏡、ゴーグル等の身体搭載型ディスプレイを含むことができる。加えて、仮想拡張現実システムは、３次元でユーザの頭部の位置、配向、速度、および／または加速度を推定して追跡するために使用され得る測定を行う、ジャイロスコープ、加速度計等のセンサを含むことができる。センサは、ユーザによって自分の頭部に装着される慣性測定ユニットの中に提供されることができる。このようにして、ユーザの頭部姿勢が、推定されることができる。頭部姿勢推定値は、ユーザが仮想または拡張現実場面と相互作用することを可能にする手段として使用されることができる。例えば、ユーザが自分の頭の向きを変えるかまたは傾転させる場合には、仮想または拡張現実場面は、対応する様式で調節されることができる（例えば、場面の視野が偏移または傾転されることができる）。

図１７は、２つの回転軸を中心としたユーザの頭部の可能性として考えられる運動を概略的に図示する。図示されるように、ユーザは、垂直軸およびページと垂直な水平軸を中心として自分の頭部を回転させることができる。図示されていないが、ユーザはまた、ページの平面内に位置する水平軸を中心として自分の頭部を回転させることもできる。いくつかの実施形態では、ユーザの視線の方向を頭部姿勢方向として定義することが有用であり得る。（頭部姿勢のそのような定義は、必ずしも頭部の側方傾転を考慮するわけではないであろうが、頭部姿勢の他の定義も考慮し得る。）図１８は、どのようにしてユーザの頭部姿勢が３次元表面１８１０上にマップされることができるかを図示する。図１８は、ユーザの頭部姿勢を示す、表面法線ベクトル１８２０を含む。３次元表面上の各可能性として考えられる表面法線ベクトル１８２０は、明確に異なる頭部姿勢に対応する。図１８では、まっすぐ上を指し示す表面法線ベクトルは、ユーザがまっすぐ前方を見ているときのユーザの中立頭部姿勢に対応するであろう。

種々のアルゴリズムが、頭部搭載型慣性測定ユニットからのセンサ測定に基づいて、ユーザの頭部姿勢を推定して追跡するために使用されることができる。これらは、例えば、カルマンフィルタおよび他の類似アルゴリズムを含む。これらのタイプのアルゴリズムは、典型的には、任意の単一の瞬間のみではなくて経時的なセンサ測定に基づく、推定値を生成する。カルマンフィルタは、例えば、フィルタが前の瞬間における頭部姿勢推定値に基づいて頭部姿勢の予測推定値を出力する、予測フェーズを含む。次に、更新フェーズ中に、フィルタは、現在のセンサ測定に基づいて頭部姿勢推定値を更新する。そのようなアルゴリズムは、頭部姿勢推定値の正確度を向上させることができ、頭部の動きに応答して仮想または拡張現実画像を適切に表示する際に誤差を低減させる。正確な頭部姿勢推定値はまた、システムの待ち時間を短縮することもできる。

典型的には、カルマンフィルタまたは類似アルゴリズムは、（図１８の垂直表面法線ベクトル１８２０に対応する）ユーザの中立頭部姿勢に近い頭部姿勢の最も正確な頭部姿勢推定値を生成する。残念ながら、そのようなアルゴリズムは、ヒト生理学または身体に対するユーザの頭部の動きによって課される移動限界を考慮しないため、頭部姿勢が中立頭部姿勢からさらに逸脱するにつれて、頭部姿勢移動を適切に推定することができなくなり得る。しかしながら、頭部姿勢追跡へのこれらの弱点の影響を低減させるために、種々の適合が行われることができる。

いくつかの実施形態では、カルマンフィルタまたは類似アルゴリズムを使用する、頭部姿勢推定および追跡は、生理学的に可能性として考えられる頭部姿勢の限度内の現在の頭部姿勢の場所に応じて異なる、可変利得係数を使用することによって、向上されることができる。図１８は、生理学的に可能性として考えられる頭部姿勢のそのような限度内に対応する、３次元表面１８１０を図示する。図１８は、ユーザの頭部が約１８０°以下の任意の方向に（例えば、左右または上下に）可動域を有することを示す。生理学的限度内の現在の頭部姿勢は、カルマンフィルタが推定した可変利得係数を調節するために使用されることができる。限度の中心（すなわち、中立頭部姿勢）に近いエリアでは、カルマンフィルタ予測誤差が、本領域中の頭部の動きのより高い直線性に起因してより低くあり得るため、利得係数は、測定頭部姿勢よりも予測頭部姿勢を強調するように設定されることができる。これは、頭部姿勢推定の正確度に過度に影響を及ぼすことなく、システムの待ち時間を短縮することができる。頭部姿勢が生理学的な頭部の動きの限度境界に接近するとき、次いで、アルゴリズムは、誤差を低減させるために、予測頭部姿勢へのフィルタの依拠を低減させる、または予測頭部姿勢よりも測定頭部姿勢を強調するように設定される、利得係数を使用することができる。

いくつかの実施形態では、図１８に図示される生理学的頭部姿勢限度上の各場所は、異なる利得に対応することができる。他の実施形態では、生理学的頭部姿勢限度は、別個の領域に分割されることができ、異なる利得値は、異なる領域のそれぞれと関連付けられることができる。これは、図１９に図示されている。

図１９は、頭部姿勢追跡を向上させるための利得係数を定義するために使用され得る、種々の頭部姿勢領域を概略的に図示する。図１９は、比較的中立の頭部姿勢に対応する中心領域１９１０を示す。これはまた、生理学的境界に近い頭部姿勢に対応する外側領域１９３０と、中心領域と外側領域との間の中間領域１９２０とを含む。いくつかの実施形態では、利得係数の異なるセットが、頭部姿勢領域毎に規定されることができる。中心領域１９１０は、カルマンフィルタアルゴリズムによって生成される、より高い正確度の予測値を有するであろう、移動のより高い直線性を伴うエリアを示す。頭部姿勢が中心領域１９１０内にあるとき、カルマンフィルタの利得係数は、測定頭部姿勢よりも予測頭部姿勢を強調するように、または別様に測定頭部姿勢への依拠を低減させるように、設定されることができる。頭部姿勢が中心領域から退出し、中間または外側領域（それぞれ、１９２０、１９３０）に進入するとき、移動は、アルゴリズムによって考慮されない場合にカルマン予測頭部姿勢に悪影響を及ぼすであろう、生理学的要因によってさらに制約され得る。故に、これらの領域（特に、外側領域１９３０）では、カルマンフィルタ利得値は、予測頭部姿勢へのフィルタの依拠を低減させ、測定頭部姿勢へのその依拠を増加させるように、設定されることができる。例えば、頭部の加速度が限度境界の近くで停止するであろうことが既知である場合、遠すぎる将来に向けて予測頭部姿勢に強く依拠することは不正確であろう。３つの頭部姿勢領域が図１９に図示されているが、異なる数の頭部姿勢領域も、他の実施形態で使用されることができる。

いくつかの実施形態では、頭部姿勢推定および追跡はまた、絶対的な感覚で頭部の動きを感知するのではなく、ユーザの身体に対してユーザの頭部の位置、配向、速度、および／または加速度を感知することによって、向上されることもできる。これは、ユーザによって自分の身体に（例えば、胴体または腰に）装着される付加的慣性測定ユニットを提供することによって、行われることができる。頭部姿勢が頭部および身体の動きの関数であることに留意することが重要である。生理学的に可能性として考えられる頭部姿勢の限度は、空間内で固定されず、例えば、身体の回転とともに動く。ユーザが、身体を固定化して保ちながら自分の頭部を動かし、椅子に座っていた場合には、生理学的限度は、頭部の動きのみを考慮することによって、非常に良好な頭部姿勢推定値が達成され得るように、比較的制約されるであろう。しかしながら、ユーザが実際に仮想または拡張現実頭部搭載型ディスプレイを装着し、動き回っているとき、次いで、可能性として考えられる頭部姿勢の生理学的限度は、身体の動きとともに変動する。

身体に装着される（例えば、仮想または拡張現実システム用のバッテリパックおよび／またはプロセッサとともに搭載される）第２の慣性測定ユニットは、頭部姿勢の生理学的限度の動きを追跡するように付加的情報を提供することに役立ち得る。空間内で限度を固定する代わりに、第２の慣性測定ユニットは、頭部の動きが身体に関して判定されることを可能にし得る。例えば、身体が右に回転する場合には、生理学的限度は、生理学的限度内で頭部姿勢をより正確に判定し、カルマンフィルタの動作を過度に制約することを回避するように、それに対応して右に回転されることができる。

いくつかの実施形態では、頭部搭載型慣性測定ユニットを使用して判定される頭部の運動は、身体搭載型慣性測定ユニットを使用して判定される身体の運動から差し引かれることができる。例えば、身体の絶対位置、配向、速度、および／または加速度は、身体に関して頭部の位置、配向、速度、および／または加速度を推定するために、頭部の絶対位置、配向、速度、および／または加速度から差し引かれることができる。いったん身体に関して頭部の配向または運動が把握されると、次いで、生理学的限度内の実際の頭部姿勢場所が、より正確に推定されることができる。本明細書で議論されるように、これは、頭部姿勢の推定および追跡を向上させるために、カルマンフィルタ利得係数が判定されることを可能にする。
（強化された「トーテム」位置推定）

いくつかの仮想または拡張現実システムでは、規定有形オブジェクトは、ユーザが仮想オブジェクトまたは場面と相互作用することを可能にする、「トーテム」として使用されることができる。例えば、ユーザが自分の手で保持する有形ブロックは、コンピュータマウス等の双方向デバイスとしてシステムによって認識され得る。本システムは、例えば、ユーザの手の中の有形ブロックの移動を追跡し、次いで、それに応じて仮想ポインタを調節する、カメラを含むことができる。空間内でトーテムを追跡するためのコンピュータ視覚を使用することの可能性として考えられる欠点は、トーテムが、場合によっては、カメラの視野の外側にあり得る、または別様に覆い隠され得ることである。したがって、６自由度を用いて３次元でトーテムの位置および運動を堅調に追跡するためのシステムを提供することが有益であろう。

いくつかの実施形態では、トーテムの位置および移動を追跡するためのシステムは、トーテムの中に１つまたはそれを上回るセンサを含む。これらの１つまたはそれを上回るセンサは、空間内のトーテムの位置および移動を独立して判定する、加速度計および／またはジャイロスコープであり得る。本データは、次いで、仮想または拡張現実システムに伝送されることができる。

代替として、トーテムの中の１つまたはそれを上回るセンサは、トーテムおよび空間の位置および移動を判定するようにトランスミッタと連動することができる。例えば、トランスミッタは、空間内で空間的に変動する電場および／または磁場を生成することができ、トーテムは、トーテムの場所において電場または磁場を繰り返し測定し、それによって、トーテムの位置および運動が判定されることを可能にする、１つまたはそれを上回るセンサを含むことができる。いくつかの実施形態では、そのようなトランスミッタは、有利なこととして、仮想または拡張現実システムの頭部搭載型ディスプレイに組み込まれることができる。代替として、トランスミッタは、身体搭載型パックに組み込まれ得る。このようにして、それぞれ、ユーザの頭部または身体に対するトーテムの場所および／または移動が、判定されることができる。これは、トーテムの場所および／または移動がユーザの頭部または身体に関して判定されることができるため、トランスミッタが、単に、固定場所に（例えば、近くのテーブルの上に）位置した場合よりも有用な情報であってもよい。
（周囲照明に基づく画像色の調節）

いくつかの実施形態では、本明細書に説明される仮想および拡張現実システムは、周囲照明の明度および／または色相を検出するように１つまたはそれを上回るセンサ（例えば、カメラ）を含む。そのようなセンサは、例えば、仮想または拡張現実システムのディスプレイヘルメットの中に含まれることができる。周囲照明に関する感知された情報は、次いで、仮想オブジェクトのための生成されたピクセルの明度または色相を調節するために使用されることができる。例えば、周囲照明が黄色かかった色合いを有する場合、コンピュータ生成仮想オブジェクトは、室内の実際のオブジェクトの色調により密接に合致する、黄色かかった色調を有するように改変されることができる。そのようなピクセル調節は、画像がＧＰＵによってレンダリングされるときに行われることができる。代替として、および／または加えて、そのようなピクセル調節は、本明細書で議論される制御情報を使用することによって、レンダリング後に行われることができる。

本開示を要約する目的のために、本発明のある側面、利点、および特徴が、本明細書に説明されている。必ずしも全てのそのような利点が、本発明の任意の特定の実施形態に従って達成され得るわけではないことを理解されたい。したがって、本発明は、本明細書で教示または提案され得るような他の利点を必ずしも達成することなく、本明細書で教示されるような１つの利点または利点群を達成または最適化する様式で、具現化または実施されてもよい。

実施形態は、付随の図面に関連して説明されている。しかしながら、図が一定の縮尺で描かれていないことを理解されたい。距離、角度等は、例証的にすぎず、必ずしも図示されるデバイスの実際の寸法およびレイアウトと正確な関係を持つわけではない。加えて、前述の実施形態は、当業者が本明細書に説明されるデバイス、システム、方法等を生産および使用することを可能にする詳細さのレベルで説明されている。多種多様な変形例が、可能である。構成要素、要素、および／またはステップは、改変、追加、除去、または再編成されてもよい。

本明細書に説明されるデバイスおよび方法は、有利なこととして、例えば、コンピュータソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組み合わせを使用して、少なくとも部分的に実装されることができる。ソフトウェアモジュールは、本明細書に説明される機能を果たすために、コンピュータのメモリの中に記憶されたコンピュータ実行可能コードを備えることができる。いくつかの実施形態では、コンピュータ実行可能コードは、１つまたはそれを上回る汎用コンピュータによって実行される。しかしながら、当業者は、本開示に照らして、汎用コンピュータ上で実行されるソフトウェアを使用して実装され得る、任意のモジュールもまた、ハードウェア、ソフトウェア、またはファームウェアの異なる組み合わせを使用して実装され得ることを理解するであろう。例えば、そのようなモジュールは、集積回路の組み合わせを使用して、完全にハードウェアで実装されることができる。代替として、または加えて、そのようなモジュールは、汎用コンピュータによってではなく、本明細書に説明される特定の機能を果たすように設計される特殊化コンピュータを使用して、完全または部分的に実装されることができる。加えて、少なくとも部分的にコンピュータソフトウェアによって実施される、または実施され得る方法が説明される場合、そのような方法は、コンピュータまたは他の処理デバイスによって読み取られたときに方法を実施させる、非一過性のコンピュータ可読媒体（例えば、ＣＤまたはＤＶＤ等の光ディスク、ハードディスクドライブ、フラッシュメモリ、ディスケット、または同等物）上に提供され得ることを理解されたい。

ある実施形態が明示的に説明されているが、他の実施形態も、本開示に基づいて当業者に明白となるであろう。

Claims (27)

1. 複数の深度平面の画像を表示するように構成されたディスプレイと、
   ディスプレイコントローラと
   を備え、前記ディスプレイコントローラは、
   グラフィックスプロセッサからレンダリングされた仮想または拡張現実画像データを受信することと、
   前記レンダリングされた画像データに埋め込まれた制御情報に少なくとも部分的に基づいて、前記レンダリングされた画像データの少なくとも一部を偏移させることであって、前記埋め込まれた制御情報は、前記レンダリングされた画像データの一部の中に挿入されている、ことと、
   前記埋め込まれた制御情報を前記レンダリングされた画像データから除去することと、
   修正された画像データを前記ディスプレイに提供することと
   を行うように構成され、
   前記埋め込まれた制御情報は、複数の仮想または拡張現実オブジェクトに適用するピクセル偏移を示し、前記ディスプレイコントローラは、ユーザが第２の仮想または拡張現実オブジェクトを凝視していないことを視線追跡装置が示す場合に、第１の仮想または拡張現実オブジェクトのために前記埋め込まれた制御情報によって示される前記ピクセル偏移を実行し、前記第２の仮想または拡張現実オブジェクトのために前記埋め込まれた制御情報によって示される前記ピクセル偏移を実行しないように構成されている、
   仮想または拡張現実ディスプレイシステム。
2. 前記ピクセル偏移は、前記レンダリングされた画像データ内の１つまたは複数のオブジェクトの位置と比較して、１つまたは複数の仮想または拡張現実オブジェクトの表示された位置を変更する、請求項１に記載の仮想または拡張現実ディスプレイシステム。
3. 前記ピクセル偏移は、同一深度平面内の規定数のピクセルによる、前記レンダリングされた画像データの少なくとも一部の横方向偏移を備える、請求項１に記載の仮想または拡張現実ディスプレイシステム。
4. 前記ピクセル偏移は、１つの深度平面から別の深度平面への前記レンダリングされた画像データの少なくとも一部の長手方向偏移を備える、請求項１に記載の仮想または拡張現実ディスプレイシステム。
5. 前記ディスプレイコントローラはさらに、１つの深度平面から別の深度平面への長手方向偏移と併せて、前記レンダリングされた画像データの少なくとも一部を拡大縮小するように構成される、請求項４に記載の仮想または拡張現実ディスプレイシステム。
6. 前記ピクセル偏移は、１つの深度平面から仮想深度平面への前記レンダリングされた画像データの少なくとも一部の長手方向偏移を備え、前記仮想深度平面は、少なくとも２つの深度平面の加重組み合わせを備える、請求項１に記載の仮想または拡張現実ディスプレイシステム。
7. 前記ピクセル偏移は、ユーザの頭部姿勢に関する情報に基づく、請求項１に記載の仮想または拡張現実ディスプレイシステム。
8. 前記ピクセル偏移は、前記レンダリングされた画像データを再レンダリングすることなく前記ディスプレイコントローラによって行われる、請求項１に記載の仮想または拡張現実ディスプレイシステム。
9. 仮想または拡張現実ディスプレイシステムにおける方法であって、
   グラフィックスプロセッサから複数の深度平面のためにレンダリングされた仮想または拡張現実画像データを受信することと、
   前記レンダリングされた画像データに埋め込まれた制御情報に少なくとも部分的に基づいて、前記レンダリングされた画像データの少なくとも一部を偏移させることであって、前記埋め込まれた制御情報は、前記レンダリングされた画像データの一部の中に挿入されている、ことと、
   前記レンダリングされた画像データから前記埋め込まれた制御情報を除去することと、
   修正された画像データを表示することと
   を含み、
   前記埋め込まれた制御情報は、複数の仮想または拡張現実オブジェクトに適用するピクセル偏移を示し、前記方法は、ユーザが第２の仮想または拡張現実オブジェクトを凝視していないことを視線追跡装置が示す場合に、第１の仮想または拡張現実オブジェクトのために前記埋め込まれた制御情報によって示される前記ピクセル偏移を実行し、前記第２の仮想または拡張現実オブジェクトのために前記埋め込まれた制御情報によって示される前記ピクセル偏移を実行しないことをさらに含む、
   方法。
10. 前記ピクセル偏移は、前記レンダリングされた画像データ内の１つまたは複数のオブジェクトの位置と比較して、１つまたは複数の仮想または拡張現実オブジェクトの表示された位置を変更する、請求項９に記載の方法。
11. 前記表示された位置を偏移させることは、前記制御情報に基づいて、同一深度平面内の規定数のピクセルによって前記レンダリングされた画像データの少なくとも一部を横方向に偏移させることを含む、請求項９に記載の方法。
12. 前記レンダリングされた画像データを偏移させることは、前記制御情報に基づいて、１つの深度平面から別の深度平面へ前記レンダリングされた画像データの少なくとも一部を長手方向に偏移させることを含む、請求項９に記載の方法。
13. １つの深度平面から別の深度平面へ前記レンダリングされた画像データを長手方向に偏移させることと併せて、前記レンダリングされた画像データの少なくとも一部を拡大縮小することをさらに含む、請求項１２に記載の方法。
14. 前記レンダリングされた画像データを偏移させることは、１つの深度平面から仮想深度平面へ前記レンダリングされた画像データの少なくとも一部を長手方向に偏移させることを含み、前記仮想深度平面は、少なくとも２つの深度平面の加重組み合わせを備える、請求項９に記載の方法。
15. 前記ピクセル偏移は、ユーザの頭部姿勢に関する情報に基づく、請求項９に記載の方法。
16. 前記偏移させることは、前記レンダリングされた画像データを再レンダリングすることなく行われる、請求項９に記載の方法。
17. 前記埋め込まれた制御情報は、前記レンダリングされた画像データのフレームにおける追加の行または列として追加されている、請求項１に記載の仮想または拡張現実ディスプレイシステム。
18. 前記レンダリングされた画像データのフレームにおける行または列は、前記埋め込まれた制御情報によって置換されている、請求項１に記載の仮想または拡張現実ディスプレイシステム。
19. 前記レンダリングされた画像データの１つまたは複数のピクセルにおける１つまたは複数の値は、前記埋め込まれた制御情報によって置換されている、請求項１に記載の仮想または拡張現実ディスプレイシステム。
20. 前記複数の深度平面の前記画像は、それぞれの複数の異なる波面曲率と関連付けられている、請求項１に記載の仮想または拡張現実ディスプレイシステム。
21. 前記埋め込まれた制御情報は、前記レンダリングされた画像データのフレームにおける追加の行または列として追加されている、請求項９に記載の方法。
22. 前記レンダリングされた画像データのフレームにおける行または列は、前記埋め込まれた制御情報によって置換されている、請求項９に記載の方法。
23. 前記レンダリングされた画像データの１つまたは複数のピクセルにおける１つまたは複数の値は、前記埋め込まれた制御情報によって置換されている、請求項９に記載の方法。
24. 前記複数の深度平面の前記レンダリングされた画像データは、それぞれの複数の異なる波面曲率と関連付けられている、請求項９に記載の方法。
25. 前記ディスプレイは、前記複数の深度平面のための前記画像を表示するために複数の導波管を備える、請求項１に記載の仮想または拡張現実ディスプレイシステム。
26. 前記ディスプレイコントローラは、前記埋め込まれた制御情報をゼロに設定することによって前記埋め込まれた制御情報を除去するように構成されている、請求項１に記載の仮想または拡張現実ディスプレイシステム。
27. 前記埋め込まれた制御情報を除去することは、前記埋め込まれた制御情報をゼロに設定することを含む、請求項９に記載の方法。

Images