JP7407869B2 - カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 - Google Patents

Description

本開示は、カラー仮想コンテンツをワーピングすることを伴う複合現実システムと、それを使用して、ワーピングされた仮想コンテンツを含む複合現実体験を生成する方法とに関する。

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える様式、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」（ＶＲ）または「拡張現実」（ＡＲ）体験のための「複合現実」（ＭＲ）システムの開発を促進している。ＶＲシナリオは、典型的には、実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。ＡＲシナリオは、典型的には、ユーザの周囲の実際の世界の可視化の拡張として、デジタルまたは仮想画像情報の提示を伴う（すなわち、実世界視覚的入力に対して透明である）。故に、ＡＲシナリオは、実世界視覚的入力に対する透明性を伴うデジタルまたは仮想画像情報の提示を伴う。

ＭＲシステムは、典型的には、色データを生成し、表示し、それは、ＭＲシナリオの現実性を増加させる。これらのＭＲシステムの多くは、サブ画像をカラー画像に対応する異なる（例えば、一次）色または「フィールド」（例えば、赤色、緑色、および青色）で高速かつ連続して順次投影することによって、色データを表示する。カラーサブ画像を十分に高レート（例えば、６０Ｈｚ、１２０Ｈｚ等）で投影することは、平滑なカラーＭＲシナリオをユーザの記憶に伝え得る。

種々の光学システムが、ＭＲ（ＶＲおよびＡＲ）シナリオを表示するために、カラー画像を含む画像を種々の深度において生成する。いくつかのそのような光学システムは、２０１４年１１月２７日に出願された米国実用特許出願第１４／５５５，５８５号（代理人整理番号第ＭＬ．２００１１．００）（その内容は、参照することによって、全体として記載される場合と同様、その全体として明示的かつ完全に本明細書に組み込まれる）に説明される。

ＭＲシステムは、典型的には、ユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動すると移動するウェアラブルディスプレイデバイス（例えば、頭部装着型ディスプレイ、ヘルメット搭載型ディスプレイ、またはスマートグラス）を採用する。ユーザの頭部運動が、ディスプレイデバイスによって検出される場合、表示されているデータは、頭部姿勢（すなわち、ユーザの頭部の向きおよび／または場所）の変化を考慮するために更新されることができる。

例として、頭部装着型ディスプレイデバイスを装着しているユーザが、仮想オブジェクトの仮想表現をディスプレイ上で視認し、仮想オブジェクトが現れるエリアの周囲を歩き回る場合、仮想オブジェクトは、各視点のためにレンダリングされ、ユーザに実空間を占有するオブジェクトの周囲を歩き回っているという知覚を与えることができる。頭部装着型ディスプレイデバイスが、複数の仮想オブジェクトを提示するために使用される場合、頭部姿勢の測定は、場面をユーザの動的に変化する頭部姿勢に合致するようにレンダリングし、増加させられた没入感を提供するために使用されることができる。しかしながら、場面をレンダリングすることと、レンダリングされた場面を表示／投影することとの間には、不可避の遅れが存在する。

頭部装着型ディスプレイデバイスは、ＡＲが、実および仮想オブジェクトの両方の同時視認を提供することを可能にする。「光学シースルー」ディスプレイを用いることで、ユーザは、ディスプレイシステム内の透明（または半透明）要素を通して見ることによって、直接、環境内の実オブジェクトからの光を視認することができる。多くの場合、「コンバイナ」と称される透明要素が、ディスプレイからの光を実世界のユーザのビューの上に重ね、ディスプレイからの光は、仮想コンテンツの画像を環境内の実オブジェクトのシースルービューの上に投影する。カメラが、頭部装着型ディスプレイデバイス上に搭載され、ユーザによって視認されている場面の画像またはビデオを捕捉し得る。

ＭＲシステムにおけるもの等の現在の光学システムは、仮想コンテンツを光学的にレンダリングする。コンテンツは、それが空間内のそれぞれの位置に位置する実際の物理的オブジェクトに対応しないという点で「仮想」である。代わりに、仮想コンテンツは、ユーザの眼に導かれる光ビームによって刺激されるとき、頭部装着型ディスプレイデバイスのユーザの脳（例えば、視覚中枢）内のみに存在する。

ＭＲシステムは、写実的没入型のＭＲシナリオを提示するように試みる。しかしながら、仮想コンテンツの生成と生成された仮想コンテンツの表示との間の遅れ時間は、ＭＲシナリオでは、遅れ時間中の頭部移動と組み合わせられ、視覚的アーチファクト（例えば、グリッチ）をもたらし得る。この問題は、遅れ時間中の高速頭部移動によって、かつ色または場を順次投影することによって生成されたカラーコンテンツ（すなわち、ＬＣＯＳ等の順次ディスプレイ）に伴って悪化される。

この問題に対処するために、いくつかの光学システムは、ソースカラー仮想コンテンツをソースから受信するワーピングソフトウェア／システムを含み得る。ワーピングシステムは、次いで、ディスプレイまたは出力システム／視認者の座標系（「ディスプレイまたは出力座標系」）における表示のために、受信されたソースカラー仮想コンテンツを「ワーピング」する（すなわち、座標系を変換する）。ワーピングまたは変換は、それからカラー仮想コンテンツが提示される、座標系を変化させる。このアプローチは、もともとレンダリングされたカラーコンテンツを採用し、カラーコンテンツが提示される方法をシフトさせ、カラーコンテンツを異なる視点から表示するように試みる。

いくつかのワーピングソフトウェア／システムは、ソース仮想コンテンツを２回の処理工程においてワーピングする。ワーピングシステムは、第１の工程において、ソース仮想コンテンツにおける３－Ｄシナリオを形成するソースサブ部分の全てをワーピングする。ワーピングシステムは、この第１の工程において、深度試験も実施し、深度データを生成するが、深度試験は、ソース座標系において実施される。ワーピングシステムは、その第１の工程において、３－Ｄシナリオを形成するソースサブ部分の変換から生じる全てのワーピングされたサブ部分と、ソース座標系における相対的深度とを記憶する（例えば、リスト内に）。

ワーピング中、３－Ｄシナリオの２つ以上の異なるサブ部分が、最終ディスプレイ画像の同一ピクセルにワーピング／投影され得る（すなわち、割り当てられる）。これらのサブ部分は、「競合」し、ワーピングシステムは、現実的２－Ｄディスプレイ画像を生成するために、競合を解決しなければならない。

第１の工程後、ワーピングされたサブ部分のうちのいくつかは、最終２－Ｄディスプレイ画像のピクセルに対して競合し得る。ワーピングシステムは、次いで、第１の工程において記憶された中間ワーピングデータを通して、第２の工程を実施し、競合するワーピングされたサブ部分の深度試験データを分析し、出力座標系における視認場所に最も近いワーピングされたサブ部分を識別する。出力座標系における視認場所に最も近い競合するワーピングされたサブ部分は、最終２－Ｄディスプレイ画像を生成するために使用される。残りの競合するワーピングされたサブ部分は、破棄される。

いくつかのワーピングソフトウェア／システムは、同一カラー画像内の全ての色／場に対して、出力座標系における同一Ｘ、Ｙ場所を使用して、カラーソース仮想コンテンツをワーピングする。しかしながら、出力座標系における１つのＸ、Ｙ場所を使用して、全ての（例えば、３つの）色／場をワーピングすることは、異なるカラーサブ画像が投影される時間（近接するものの、異なる）を無視する。これは、ＭＲシステムの没入感および現実性を損なわせ得る視覚的アーチファクト／異常／グリッチをもたらす。

一実施形態では、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法は、異なる第１および第２の色を有する第１および第２のカラーフィールドを取得することを含む。方法は、ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定することも含む。方法は、ワーピングされた第２のカラーフィールドの投影のための第２の時間を決定することをさらに含む。さらに、方法は、第１の時間における第１の姿勢を予測することと、第２の時間における第２の姿勢を予測することとを含む。加えて、方法は、第１の姿勢に基づいて第１のカラーフィールドをワーピングすることによって、ワーピングされた第１のカラーフィールドを生成することを含む。方法は、第２の姿勢に基づいて第２のカラーフィールドをワーピングすることによって、ワーピングされた第２のカラーフィールドを生成することも含む。

１つ以上の実施形態では、第１のカラーフィールドは、Ｘ、Ｙ場所における第１のカラーフィールド情報を含む。第１のカラーフィールド情報は、第１の色における第１の明度を含み得る。第２のカラーフィールドは、Ｘ、Ｙ場所における第２のカラーフィールド情報を含み得る。第２のカラーフィールド情報は、第２の色における第２の明度を含み得る。

１つ以上の実施形態では、ワーピングされた第１のカラーフィールドは、第１のワーピングされたＸ、Ｙ場所におけるワーピングされた第１のカラーフィールド情報を含む。ワーピングされた第２のカラーフィールドは、第２のワーピングされたＸ、Ｙ場所におけるワーピングされた第２のカラーフィールド情報を含み得る。第１の姿勢に基づいて第１のカラーフィールドをワーピングすることは、第１の変換を第１のカラーフィールドに適用し、ワーピングされた第１のカラーフィールドを生成することを含み得る。第２の姿勢に基づいて第２のカラーフィールドをワーピングすることは、第２の変換を第２のカラーフィールドに適用し、ワーピングされた第２のカラーフィールドを生成することを含み得る。

１つ以上の実施形態では、方法は、ワーピングされた第１および第２のカラーフィールドを順次プロジェクタに送信することと、順次プロジェクタが、ワーピングされた第１のカラーフィールドおよびワーピングされた第２のカラーフィールドを順次投影することとも含む。ワーピングされた第１のカラーフィールドは、第１の時間に投影され得、ワーピングされた第２のカラーフィールドは、第２の時間に投影され得る。

別の実施形態では、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするためのシステムは、順次投影のために異なる第１および第２の色を有する第１および第２のカラーフィールドを受信するためのワーピングユニットを含む。ワーピングユニットは、それぞれのワーピングされた第１および第２のカラーフィールドの投影のための第１および第２の時間を決定し、それぞれの第１および第２の時間における第１および第２の姿勢を予測するための姿勢推定器を含む。ワーピングユニットは、それぞれの第１および第２の姿勢に基づいて、それぞれの第１および第２のカラーフィールドをワーピングすることによって、ワーピングされた第１および第２のカラーフィールドを生成するための変換ユニットも含む。

さらに別の実施形態では、コンピュータプログラム製品は、非一過性コンピュータ読み取り可能な媒体において具現化され、コンピュータ読み取り可能な媒体は、プロセッサによって実行されると、プロセッサに、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングする方法を実行させる一連の命令を記憶している。方法は、異なる第１および第２の色を有する第１および第２のカラーフィールドを取得することを含む。方法はまた、ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定することを含む。方法は、ワーピングされた第２のカラーフィールドの投影のための第２の時間を決定することをさらに含む。さらに、方法は、第１の時間における第１の姿勢を予測することと、第２の時間における第２の姿勢を予測することとを含む。加えて、方法は、第１の姿勢に基づいて第１のカラーフィールドをワーピングすることによって、ワーピングされた第１のカラーフィールドを生成することを含む。方法は、第２の姿勢に基づいて第２のカラーフィールドをワーピングすることによって、ワーピングされた第２のカラーフィールドを生成することも含む。

さらに別の実施形態では、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法は、アプリケーションフレームおよびアプリケーション姿勢を取得することを含む。方法はまた、第１の推定される表示時間におけるアプリケーションフレームの第１のワーピングのための第１の姿勢を推定することも含む。方法は、アプリケーション姿勢および推定される第１の姿勢を使用して、アプリケーションフレームの第１のワーピングを実施し、第１のワーピングされたフレームを生成することをさらに含む。さらに、方法は、第２の推定される表示時間における第１のワーピングされたフレームの第２のワーピングのための第２の姿勢を推定することを含む。加えて、方法は、推定される第２の姿勢を使用して、第１のワーピングフレームの第２のワーピングを実施し、第２のワーピングされたフレームを生成することを含む。

１つ以上の実施形態では、方法は、第２のワーピングされたフレームをほぼ第２の推定される表示時間において表示することを含む。方法は、第３の推定される表示時間における第１のワーピングされたフレームの第３のワーピングのための第３の姿勢を推定することと、推定される第３の姿勢を使用して、第１のワーピングフレームの第３のワーピングを実施し、第３のワーピングされたフレームを生成することとも含み得る。第３の推定される表示時間は、第２の推定される表示時間より後であり得る。方法は、第３のワーピングされたフレームをほぼ第３の推定される表示時間において表示することも含み得る。

別の実施形態では、色割れ（「ＣＢＵ」）アーチファクトを最小化するコンピュータ実装方法は、受信された眼または頭部追跡情報に基づいて、ＣＢＵアーチファクトを予測することを含む。方法は、予測されるＣＢＵアーチファクトに基づいて、カラーフィールドレートを増加させることも含む。

１つ以上の実施形態では、方法は、受信された眼または頭部追跡情報および増加させられたカラーフィールドレートに基づいて、第２のＣＢＵを予測することと、予測される第２のＣＢＵアーチファクトに基づいて、ビット深度を減少させることとを含む。方法は、増加させられたカラーフィールドレートおよび減少させられたビット深度を使用して、画像を表示することも含み得る。方法は、増加させられたカラーフィールドレートを使用して、画像を表示することをさらに含み得る。

本開示の追加の目的および他の目的、特徴、ならびに利点は、発明を実施するための形態、図、および請求項に説明される。
（項目１）
順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法であって、上記方法は、
異なる第１および第２の色を有する第１および第２のカラーフィールドを取得することと、
ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定することと、
ワーピングされた第２のカラーフィールドの投影のための第２の時間を決定することと、
上記第１の時間における第１の姿勢を予測することと、
上記第２の時間における第２の姿勢を予測することと、
上記第１の姿勢に基づいて上記第１のカラーフィールドをワーピングすることによって、上記ワーピングされた第１のカラーフィールドを生成することと、
上記第２の姿勢に基づいて上記第２のカラーフィールドをワーピングすることによって、上記ワーピングされた第２のカラーフィールドを生成することと
を含む、方法。
（項目２）
上記第１のカラーフィールドは、Ｘ、Ｙ場所における第１のカラーフィールド情報を備えている、項目１に記載の方法。
（項目３）
上記第１のカラーフィールド情報は、上記第１の色における第１の明度を備えている、項目２に記載の方法。
（項目４）
上記第２のカラーフィールドは、上記Ｘ、Ｙ場所における第２のカラー情報を備えている、項目３に記載の方法。
（項目５）
上記第２のカラーフィールド情報は、上記第２の色における第２の明度を備えている、項目４に記載の方法。
（項目６）
上記ワーピングされた第１のカラーフィールドは、第１のワーピングされたＸ、Ｙ場所におけるワーピングされた第１のカラーフィールド情報を備えている、項目１に記載の方法。
（項目７）
上記ワーピングされた第２のカラーフィールドは、第２のワーピングされたＸ、Ｙ場所におけるワーピングされた第２のカラーフィールド情報を備えている、項目６に記載の方法。
（項目８）
上記第１の姿勢に基づいて上記第１のカラーフィールドをワーピングすることは、第１の変換を上記第１のカラーフィールドに適用し、上記ワーピングされた第１のカラーフィールドを生成することを含む、項目１に記載の方法。
（項目９）
上記第２の姿勢に基づいて上記第２のカラーフィールドをワーピングすることは、第２の変換を上記第２のカラーフィールドに適用し、上記ワーピングされた第２のカラーフィールドを生成することを含む、項目１に記載の方法。
（項目１０）
上記ワーピングされた第１および第２のカラーフィールドを順次プロジェクタに送信することと、
上記順次プロジェクタが、上記ワーピングされた第１のカラーフィールドおよび上記ワーピングされた第２のカラーフィールドを順次投影することと
をさらに含む、項目１に記載の方法。
（項目１１）
上記ワーピングされた第１のカラーフィールドは、上記第１の時間に投影され、上記ワーピングされた第２のカラーフィールドは、上記第２の時間に投影される、項目１０に記載の方法。
（項目１２）
順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするためのシステムであって、上記システムは、順次投影のための異なる第１および第２の色を有する第１および第２のカラーフィールドを受信するためのワーピングユニットを備え、
上記ワーピングユニットは、
それぞれのワーピングされた第１および第２のカラーフィールドの投影のための第１および第２の時間を決定し、それぞれの第１および第２の時間における第１および第２の姿勢を予測するための姿勢推定器と、
それぞれの第１および第２の姿勢に基づいて、それぞれの第１および第２のカラーフィールドをワーピングすることによって、上記ワーピングされた第１および第２のカラーフィールドを生成するための変換ユニットと
を備えている、システム。
（項目１３）
非一過性コンピュータ読み取り可能な媒体において具現化されるコンピュータプログラム製品であって、上記コンピュータ読み取り可能な媒体は、一連の命令を記憶しており、上記一連の命令は、プロセッサによって実行されると、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングする方法を上記プロセッサに実行させ、上記方法は、
異なる第１および第２の色を有する第１および第２のカラーフィールドを取得することと、
ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定することと、
ワーピングされた第２のカラーフィールドの投影のための第２の時間を決定することと、
上記第１の時間における第１の姿勢を予測することと、
上記第２の時間における第２の姿勢を予測することと、
上記第１の姿勢に基づいて上記第１のカラーフィールドをワーピングすることによって、上記ワーピングされた第１のカラーフィールドを生成することと、
上記第２の姿勢に基づいて上記第２のカラーフィールドをワーピングすることによって、上記ワーピングされた第２のカラーフィールドを生成することと
を含む、コンピュータプログラム製品。
（項目１４）
順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法であって、上記方法は、
アプリケーションフレームおよびアプリケーション姿勢を取得することと、
第１の推定される表示時間における上記アプリケーションフレームの第１のワーピングのための第１の姿勢を推定することと、
上記アプリケーション姿勢および上記推定される第１の姿勢を使用して、上記アプリケーションフレームの第１のワーピングを実施し、第１のワーピングされたフレームを生成することと、
第２の推定される表示時間における上記第１のワーピングされたフレームの第２のワーピングのための第２の姿勢を推定することと、
上記推定される第２の姿勢を使用して、上記第１のワーピングフレームの第２のワーピングを実施し、第２のワーピングされたフレームを生成することと
を含む、方法。
（項目１５）
上記第２のワーピングされたフレームをほぼ上記第２の推定される表示時間において表示することをさらに含む、項目１４に記載の方法。
（項目１６）
第３の推定される表示時間における上記第１のワーピングされたフレームの第３のワーピングのための第３の姿勢を推定することと、
上記推定される第３の姿勢を使用して、上記第１のワーピングフレームの第３のワーピングを実施し、第３のワーピングされたフレームを生成することと
をさらに含み、
上記第３の推定される表示時間は、上記第２の推定される表示時間より後である、項目１５に記載の方法。
（項目１７）
上記第３のワーピングされたフレームをほぼ上記第３の推定される表示時間において表示することをさらに含む、項目１６に記載の方法。
（項目１８）
色割れ（「ＣＢＵ」）アーチファクトを最小化するコンピュータ実装方法であって、上記方法は、
受信された眼または頭部追跡情報に基づいて、ＣＢＵアーチファクトを予測することと、
上記予測されるＣＢＵアーチファクトに基づいて、カラーフィールドレートを増加させることと
を含む、方法。
（項目１９）
上記受信された眼または頭部追跡情報および上記増加させられたカラーフィールドレートに基づいて、第２のＣＢＵを予測することと、
上記予測される第２のＣＢＵアーチファクトに基づいて、ビット深度を減少させることと
をさらに含む、項目１８に記載の方法。
（項目２０）
上記増加させられたカラーフィールドレートおよび上記減少させられたビット深度を使用して、画像を表示することをさらに含む、項目１９に記載の方法。
（項目２１）
上記増加させられたカラーフィールドレートを使用して、画像を表示することをさらに含む、項目１８に記載の方法。

図面は、本開示の種々の実施形態の設計および利用可能性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の上で列挙される利点ならびに他の利点および目的を取得する方法をより深く理解するために、上で簡単に説明された本開示の発明を実施するための形態は、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされないことを理解されたい、本開示は、付随の図面の使用を通して、追加の具体性および詳細とともに記載ならびに説明されるであろう。

図１は、いくつかの実施形態による、ウェアラブルＡＲユーザデバイスを通した拡張現実（ＡＲ）のユーザのビューを描写する。 図２Ａ－２Ｃは、いくつかの実施形態による、ＡＲシステムおよびそのサブシステムを図式的に描写する。 図２Ａ－２Ｃは、いくつかの実施形態による、ＡＲシステムおよびそのサブシステムを図式的に描写する。 図２Ａ－２Ｃは、いくつかの実施形態による、ＡＲシステムおよびそのサブシステムを図式的に描写する。 図３および４は、いくつかの実施形態による、高速頭部移動に伴うレンダリングアーチファクトを図示する。 図３および４は、いくつかの実施形態による、高速頭部移動に伴うレンダリングアーチファクトを図示する。 図５は、いくつかの実施形態による、例示的仮想コンテンツワーピングを図示する。 図６は、いくつかの実施形態による、図５に図示されるように、仮想コンテンツをワーピングする方法を描写する。 図７Ａおよび７Ｂは、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツワーピングおよびその結果を描写する。 図７Ａおよび７Ｂは、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツワーピングおよびその結果を描写する。 図８は、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツをワーピングする方法を描写する。 図９Ａおよび９Ｂは、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツワーピングおよびその結果を描写する。 図９Ａおよび９Ｂは、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツワーピングおよびその結果を描写する。 図１０は、いくつかの実施形態による、グラフィック処理ユニット（ＧＰＵ）を図式的に描写する。 図１１は、いくつかの実施形態による、プリミティブとして記憶される仮想オブジェクトを描写する。 図１２は、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツをワーピングする方法を描写する。 図１３は、いくつかの実施形態による、例証的コンピューティングシステムを図式的に描写するブロック図である。 図１４は、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツのためのワーピング／レンダリングパイプラインを描写する。 図１５は、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツをワーピングすることにおける色割れアーチファクトを最小化する方法を描写する。

本開示の種々の実施形態は、単一実施形態または複数の実施形態における、ソースからの仮想コンテンツをワーピングするためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。

種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように、本開示の例証的例として提供される図面を参照して詳細に説明されるであろう。着目すべきこととして、以下の図および例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、部分的または完全に、公知のコンポーネント（または方法もしくはプロセス）を使用して実装され得る場合、本開示の理解のために必要なそのような公知のコンポーネント（または方法もしくはプロセス）の一部のみが、説明され、そのような公知のコンポーネント（または方法もしくはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、本明細書に例証として参照されるコンポーネントの現在および将来的公知の均等物を包含する。

仮想コンテンツワーピングシステムは、複合現実システムから独立して実装され得るが、下記のいくつかの実施形態は、例証的目的のためだけに、ＡＲシステムに関連して説明される。さらに、本明細書に説明される仮想コンテンツワーピングシステムも、ＶＲシステムと同じ様式で使用され得る。

（例証的複合現実シナリオおよびシステム）
続く説明は、ワーピングシステムが実践され得る例証的拡張現実システムに関する。しかしながら、実施形態は、他のタイプのディスプレイシステム（他のタイプの複合現実システムを含む）における用途にも適しており、したがって、実施形態は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。

複合現実（例えば、ＶＲまたはＡＲ）シナリオは、多くの場合、実世界オブジェクトに関連して仮想オブジェクトに対応する仮想コンテンツ（例えば、カラー画像および音）の提示を含む。例えば、図１を参照すると、拡張現実（ＡＲ）場面１００が、描写され、ＡＲ技術のユーザは、人々、木々、背景における建物、および実世界の物理的コンクリートプラットフォーム１０４を特徴とする実世界の物理的公園状設定１０２を見ている。これらのアイテムに加え、ＡＲ技術のユーザは、物理的コンクリートプラットフォーム１０４上に立っている仮想ロボット像１０６と、マルハナバチの擬人化のように見える、飛んでいる仮想漫画状アバタキャラクタ１０８とも「見えている」と知覚するが、これらの仮想オブジェクト１０６、１０８は、実世界には存在しない。

ＡＲシナリオのように、ＶＲシナリオも、仮想コンテンツを生成／レンダリングするために使用される姿勢を考慮しなければならない。仮想コンテンツをＡＲ／ＶＲディスプレイ座標系に対して正確にワーピングし、ワーピングされた仮想コンテンツをワーピングすることは、ＡＲ／ＶＲシナリオを改良すること、または少なくともＡＲ／ＶＲシナリオを損なわせないことができる。

続く説明は、本開示が実践され得る例証的ＡＲシステムに関する。しかしながら、本開示は、他のタイプの拡張現実および仮想現実システムにおける用途にも適し、したがって、本開示は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。

図２Ａを参照すると、いくつかの実施形態による、ＡＲシステム２００が図示される。ＡＲシステム２００は、投影サブシステム２０８と併せて動作させられ、物理的オブジェクトと混合された仮想オブジェクトの画像をユーザ２５０の視野内に提供し得る。このアプローチは、１つ以上の少なくとも部分的に透明な表面を採用し、それを通して、物理的オブジェクトを含む周囲環境が、見られることができ、それを通して、ＡＲシステム２００は、仮想オブジェクトの画像を生産する。投影サブシステム２０８は、リンク２０７を通してディスプレイシステム／サブシステム２０４に動作可能に結合された制御サブシステム２０１内に格納される。リンク２０７は、有線または無線通信リンクであり得る。

ＡＲアプリケーションに対して、それぞれの物理的オブジェクトに対して種々の仮想オブジェクトをユーザ２５０の視野内に空間的に位置付けることが望ましくあり得る。仮想オブジェクトは、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造を有する多種多様な形態のいずれかをとり得る。仮想オブジェクトの非限定的例は、仮想テキストオブジェクト、仮想数値オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計器オブジェクト、または物理的オブジェクトの仮想視覚的表現を含み得る。

ＡＲシステム２００は、ユーザ２５０によって装着されるフレーム構造２０２と、ディスプレイシステム２０４がユーザ２５０の眼の正面に位置付けられるように、フレーム構造２０２によって支持されるディスプレイシステム２０４と、ディスプレイシステム２０４の中に組み込まれるか、またはそれに接続されるスピーカ２０６とを含む。図示される実施形態では、スピーカ２０６は、スピーカ２０６がユーザ２５０の外耳道（内またはその周囲）に隣接して位置付けられるように、フレーム構造２０２によって支持される（例えば、イヤーバッドまたはヘッドホン）。

ディスプレイシステム２０４は、ユーザ２５０の眼に２次元および３次元コンテンツの両方を含む周囲環境に対する拡張として快適に知覚され得る光ベースの放射パターンを提示するように設計される。ディスプレイシステム２０４は、単一コヒーレント場面の知覚を提供する一連のフレームを高周波数で提示する。この目的を達成するために、ディスプレイシステム２０４は、投影サブシステム２０８と、それを通して投影サブシステム２０８が画像を投影する部分的に透明なディスプレイ画面とを含む。ディスプレイ画面は、ユーザ２５０の眼と周囲環境との間のユーザ２５０の視野内に位置付けられる。

いくつかの実施形態では、投影サブシステム２０８は、走査ベースの投影デバイスの形態をとり、ディスプレイ画面は、導波管ベースのディスプレイの形態をとり、その中に、投影サブシステム２０８からの走査光が投入され、例えば、無限遠より近い単一光学視認距離（例えば、腕の長さ）における画像、複数の別々の光学視認距離または焦点面における画像、および／または複数の視認距離または焦点面にスタックされ、立体３Ｄオブジェクトを表す画像層を生産する。明視野内のこれらの層は、ヒト視覚サブシステムに連続して現れるように十分に一緒に緊密にスタックされ得る（例えば、１つの層が、隣接する層の混同の円錐内にある）。加えて、または代替として、画素が、２つ以上の層にわたって混成され、それらの層がより疎らにスタックされる（例えば、１つの層が、隣接する層の混同の円錐外にある）場合でも、明視野内の層間の移行の知覚される連続性を増加させ得る。ディスプレイシステム２０４は、単眼または双眼であり得る。走査アセンブリは、光ビームを生産する（例えば、異なる色の光を定義されたパターンで放出する）１つ以上の光源を含む。光源は、それぞれ、ピクセル情報またはデータのそれぞれのフレーム内で規定された定義されたピクセルパターンに従って、赤色、緑色、および青色のコヒーレントなコリメートされた光を生産するように動作可能である多種多様な形態のいずれか、例えば、ＲＧＢソースの組（例えば、赤色、緑色、および青色光を出力することが可能なレーザダイオード）をとり得る。レーザ光は、高色飽和を提供し、高度にエネルギー効率的である。光学結合サブシステムは、例えば、１つ以上の反射表面、回折格子、ミラー、ダイクロイックミラー、またはプリズム等の光をディスプレイ画面の端部の中に光学的に結合する光学導波管入力装置を含む。光学結合サブシステムは、光ファイバからの光をコリメートするコリメーション要素をさらに含む。随意に、光学結合サブシステムは、コリメーション要素からの光を光学導波管入力装置の中心内の焦点に向かって収束させ、それによって、光学導波管入力装置のサイズが最小化されることを可能にするために構成された光学変調装置を備えている。したがって、ディスプレイサブシステム２０４は、１つ以上の仮想オブジェクトの歪のない画像をユーザに提示するピクセル情報の一連の合成画像フレームを生成する。ディスプレイサブシステム２０４は、１つ以上の仮想オブジェクトの歪んでいないカラー画像をユーザに提示するピクセル情報の一連のカラー合成サブ画像フレームも生成し得る。ディスプレイサブシステムを説明するさらなる詳細は、「Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国実用特許出願第１４／２１２，９６１号（代理人整理番号ＭＬ．２０００６．００）および「Ｐｌａｎａｒ Ｗａｖｅｇｕｉｄｅ Ａｐｐａｒａｔｕｓ Ｗｉｔｈ Ｄｉｆｆｒａｃｔｉｏｎ Ｅｌｅｍｅｎｔ（ｓ） ａｎｄ Ｓｕｂｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｓａｍｅ」と題された第１４／３３１，２１８号（代理人整理番号ＭＬ．２００２０．００）（その内容は、参照することによって、全体として記載される場合と同様、その全体として明示的かつ完全に本明細書に組み込まれる）に提供される。

ＡＲシステム２００は、ユーザ２５０の頭部の位置（向きを含む）および移動および／またはユーザ２５０の眼位置および眼球間距離を検出するためにフレーム構造２０２に搭載された１つ以上のセンサをさらに含む。そのようなセンサは、画像捕捉デバイス、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ等を含み得る。例えば、一実施形態では、ＡＲシステム２００は、ユーザ２５０の頭部の移動を示す慣性測定値を捕捉するための１つ以上の慣性変換器を含む頭部装着型変換器サブシステムを含む。そのようなデバイスは、ユーザ２５０の頭部移動についての情報を感知、測定、または収集するために使用され得る。例えば、これらのデバイスは、ユーザの頭部２５０の移動、速度、加速、および／または位置を検出／測定するために使用され得る。ユーザ２５０の頭部の位置（向きを含む）は、ユーザ２５０の「頭部姿勢」としても知られる。

図２ＡのＡＲシステム２００は、１つ以上の前方に面したカメラを含み得る。カメラは、システム２００の前方方向からの画像／ビデオの記録等、任意の数の目的のために採用され得る。加えて、カメラは、環境および環境内の特定のオブジェクトに対するユーザ２５０の距離、向き、および／または角位置を示す情報等、ユーザ２５０が位置する環境についての情報を捕捉するために使用され得る。

ＡＲシステム２００は、ユーザ２５０の眼の角位置（片眼または両眼が向いている方向）、瞬目、および焦点深度（眼収束を検出することによって）を追跡するために、後ろ向きに面したカメラをさらに含み得る。そのような眼追跡情報は、例えば、光をエンドユーザの眼に投影し、その投影された光の少なくとも一部の戻りまたは反射を検出することによって、判別され得る。

拡張現実システム２００は、多種多様な形態のいずれかをとり得る制御サブシステム２０１をさらに含む。制御サブシステム２０１は、いくつかのコントローラ、例えば１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）等の他の集積回路コントローラ、プログラマブルゲートアレイ（ＰＧＡＳ）、例えば、フィールドＰＧＡＳ（ＦＰＧＡＳ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。制御サブシステム２０１は、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）２５１、グラフィック処理ユニット（ＧＰＵ）２５２、および１つ以上のフレームバッファ２５４を含み得る。ＣＰＵ２５１は、システムの全体的動作を制御する一方、ＧＰＵ２５２は、フレームをレンダリングし（すなわち、３次元場面を２次元画像に変換する）、これらのフレームをフレームバッファ２５４内に記憶する。図示されないが、１つ以上の追加の集積回路は、フレームバッファ２５４の中へのフレームの読み込みおよび／またはそれからの読み取りならびにディスプレイシステム２０４の動作を制御し得る。フレームバッファ２５４の中への読み込みおよび／またはそれからの読み取りは、動的アドレス指定を採用し得、例えば、フレームは、オーバーレンダリングされる。制御サブシステム２０１は、読み取り専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）をさらに含む。制御サブシステム２０１は、３次元データベース２６０をさらに含み、それから、ＧＰＵ２５２は、フレームをレンダリングするための１つ以上の場面の３次元データならびに３次元場面内に含まれる仮想音源に関連付けられた合成音データにアクセスすることができる。

拡張現実システム２００は、ユーザ向き検出モジュール２４８をさらに含む。ユーザ向きモジュール２４８は、ユーザ２５０の頭部の瞬間位置を検出し、センサから受信された位置データに基づいて、ユーザ２５０の頭部の位置を予測し得る。ユーザ向きモジュール２４８は、センサから受信された追跡データに基づいて、ユーザ２５０の眼、特に、ユーザ２５０が焦点を合わせている方向および／または距離も追跡する。

図２Ｂは、いくつかの実施形態による、ＡＲシステム２００’を描写する。図２Ｂに描写されるＡＲシステム２００’は、図２Ａに描写され、上で説明されるＡＲシステム２００に類似する。例えば、ＡＲシステム２００’は、フレーム構造２０２と、ディスプレイシステム２０４と、スピーカ２０６と、リンク２０７を通してディスプレイサブシステム２０４に動作可能に結合された制御サブシステム２０１’とを含む。図２Ｂに描写される制御サブシステム２０１’は、図２Ａに描写され、上で説明される、制御サブシステム２０１に類似する。例えば、制御サブシステム２０１’は、投影サブシステム２０８と、画像／ビデオデータベース２７１と、ユーザ向きモジュール２４８と、ＣＰＵ２５１と、ＧＰＵ２５２と、３Ｄデータベース２６０と、ＲＯＭと、ＲＡＭとを含む。

制御サブシステム２０１’、したがって、図２Ｂに描写されるＡＲシステム２００’と、図２Ａに描写される対応するシステム／システムコンポーネントとの間の差異は、図２Ｂに描写される制御サブシステム２０１’内のワーピングユニット２８０の存在である。ワーピングユニット２９０は、ＧＰＵ２５２またはＣＰＵ２５１のいずれからも独立した別個のワーピングブロックである。他の実施形態では、ワーピングユニット２９０は、別個のワーピングブロック内のコンポーネントであり得る。いくつかの実施形態では、ワーピングユニット２９０は、ＧＰＵ２５２の内側にあり得る。いくつかの実施形態では、ワーピングユニット２９０は、ＣＰＵ２５１の内側にあり得る。図２Ｃは、ワーピングユニット２８０が、姿勢推定器２８２と、変換ユニット２８４とを含むことを示す。

ＡＲシステム２００、２００’の種々の処理コンポーネントは、分散型サブシステム内に含まれ得る。例えば、ＡＲシステム２００、２００’は、有線導線または無線接続性２０７等によって、ディスプレイシステム２０４の一部に動作可能に結合されたローカル処理およびデータモジュール（すなわち、制御サブシステム２０１、２０１’）を含む。ローカル処理およびデータモジュールは、フレーム構造２０２に固定して取り付けられる構成、ヘルメットまたは帽子に固定して取り付けられる構成、ヘッドホンに内蔵される構成、ユーザ２５０の胴体に除去可能に取り付けられる構成、またはベルト結合式構成においてユーザ２５０の腰部に除去可能に取り付けられる構成等、種々の構成において搭載され得る。ＡＲシステム２００、２００’は、遠隔モジュールが、互いに動作可能に結合され、ローカル処理およびデータモジュールに対するリソースとして利用可能であるように、有線導線または無線接続性等によって、ローカル処理およびデータモジュールに動作可能に結合された遠隔処理モジュールおよび遠隔データリポジトリをさらに含み得る。ローカル処理およびデータモジュールは、電力効率的プロセッサまたはコントローラとフラッシュメモリ等のデジタルメモリとを備え得、それらの両方は、可能性として、処理または読み出し後、ディスプレイシステム２０４への通過のために、センサから捕捉されたデータ、および／または遠隔処理モジュールおよび／または遠隔データリポジトリを使用して入手および／または処理されたデータの処理、キャッシュ、および記憶を補助するために利用され得る。遠隔処理モジュールは、データおよび／または画像情報を分析および処理するように構成された１つ以上の比較的に強力なプロセッサまたはコントローラを備え得る。遠隔データリポジトリは、比較的に大規模デジタルデータ記憶設備を備え得、それは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール内で実施され、任意の遠隔モジュールからの完全な自律的使用を可能にする。上で説明される種々のコンポーネント間の結合は、ワイヤまたは光学通信を提供するために、１つ以上の有線インターフェースまたはポート、もしくは無線通信を提供するために、ＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースまたはポートを含み得る。いくつかの実装では、全ての通信は、有線であり得る一方、他の実装では、全ての通信は、光ファイバを除き、無線であり得る。

（問題およびソリューションの概要）
光学システムが、カラー仮想コンテンツを生成／レンダリングするとき、仮想コンテンツがレンダリングされるときのシステムの姿勢に関連し得るソース座標系を使用し得る。ＡＲシステムでは、レンダリングされた仮想コンテンツは、実際の物理的オブジェクトと所定の関係を有し得る。例えば、図３は、実際の物理的台３１２の上部に位置付けられた仮想植木鉢３１０を含むＡＲシナリオ３００を図示する。ＡＲシステムは、仮想植木鉢３１０が実際の台３１２の上部に置かれているように見えるように、実際の台３１２の場所が既知であるソース座標系に基づいて、仮想植木鉢３１０をレンダリングした。ＡＲシステムは、第１の時間において、ソース座標系を使用して、仮想植木鉢３１０をレンダリングし、第１の時間の後の第２の時間において、レンダリングされた仮想植木鉢３１０を出力座標系に表示／投影し得る。ソース座標系および出力座標系が、同一である場合、仮想植木鉢３１０は、意図された場所（例えば、実際の物理的台３１２の上部）に現れるであろう。

しかしながら、ＡＲシステムの座標系が、仮想植木鉢３１０がレンダリングされる第１の時間と、レンダリングされた仮想植木鉢３１０が表示／投影される第２の時間との間の間隙において変化する場合（例えば、高速ユーザ頭部移動に伴って）、ソース座標系と出力座標系との間の不整合／差異は、視覚的アーチファクト／異常／グリッチをもたらし得る。例えば、図４は、実際の物理的台４１２の上部に位置付けられるようにレンダリングされた仮想植木鉢４１０を含むＡＲシナリオ４００を示す。しかしながら、ＡＲシステムは、仮想植木鉢４１０がレンダリングされた後であるが、表示／投影される前、右に急速に移動されたので、仮想植木鉢４１０は、その意図される位置４１０’（想像線で示される）の右に表示される。したがって、仮想植木鉢４１０は、実際の物理的台４１２の右の空中に浮いているように見える。このアーチファクトは、仮想植木鉢が出力座標系において再レンダリングされると是正されるであろう（ＡＲシステム運動が中止すると仮定して）。しかしながら、アーチファクトは、依然として、一部のユーザに見えており、仮想植木鉢４１０は、予期しない位置に一時的にジャンプすることによって、グリッチとして現れるであろう。このグリッチおよびそのような他のものは、ＡＲシナリオの連続性の錯覚に悪影響を及ぼし得る。

いくつかの光学システムは、ソース仮想コンテンツの座標系を仮想コンテンツが生成されたソース座標系から、仮想コンテンツが表示されるであろう出力座標系にワーピングまたは変換するワーピングシステムを含み得る。図４に描写される例では、ＡＲシステムは、出力座標系および／または姿勢を検出および／または予測することができる（例えば、ＩＭＵまたは眼追跡を使用して）。ＡＲシステムは、次いで、ソース座標系からのレンダリングされた仮想コンテンツを出力座標系におけるワーピングされた仮想コンテンツにワーピングまたは変換することができる。

（カラー仮想コンテンツワーピングシステムおよび方法）
図５は、いくつかの実施形態による、仮想コンテンツのワーピングを図式的に図示する。光線５１０によって表されるソース座標系（レンダリング姿勢）におけるソース仮想コンテンツ５１２が、光線５１０’によって表される出力座標系（推定される姿勢）におけるワーピングされた仮想コンテンツ５１２’にワーピングされる。図５に描写されるワーピングは、右への頭部回転を表し得る。ソース仮想コンテンツ５１２は、ソースＸ、Ｙ場所に配置されるが、ワーピングされた仮想コンテンツ５１２’は、出力Ｘ’、Ｙ’場所に変換される。

図６は、いくつかの実施形態による、仮想コンテンツをワーピングする方法を描写する。ステップ６１２では、ワーピングユニット２８０は、仮想コンテンツ、ベース姿勢（すなわち、ＡＲシステム２００、２００’の現在の姿勢（現在の座標系））、レンダリング姿勢（すなわち、仮想コンテンツをレンダリングするために使用されるＡＲシステム２００、２００’の姿勢（ソース座標系））、および推定される照明時間（すなわち、ディスプレイシステム２０４が照明されるであろう、推定される時間（推定される出力座標系））を受信する。いくつかの実施形態では、ベース姿勢は、レンダリング姿勢より新しい／より最近／より最新であり得る。ステップ６１４では、姿勢推定器２８２が、ベース姿勢およびＡＲシステム２００、２００’についての情報を使用して、推定される照明時間における姿勢を推定する。ステップ６１６では、変換ユニット２８４が、推定される姿勢（推定される照明時間から）およびレンダリング姿勢を使用して、ワーピングされた仮想コンテンツを受信された仮想コンテンツから生成する。

仮想コンテンツが、色を含むとき、いくつかのワーピングシステムは、単一出力座標系（例えば、単一の推定される照明時間からの単一の推定される姿勢）における単一Ｘ’、Ｙ’場所を使用して、カラー画像に対応する／それを形成するカラーサブ画像または場の全てをワーピングする。しかしながら、いくつかの投影ディスプレイシステム（例えば、順次投影ディスプレイシステム）は、いくつかのＡＲシステムにおけるそれらのように、カラーサブ画像／場の全てを同時に投影するわけではない。例えば、各カラーサブ画像／場の投影間にある程度の遅れが存在し得る。照明時間の差異である各カラーサブ画像／場の投影間のこの遅れは、高速頭部移動中、カラー干渉縞アーチファクトを最終画像にもたらし得る。

例えば、図７Ａは、いくつかの実施形態による、いくつかのワーピングシステムを使用したカラー仮想コンテンツのワーピングを図式的に図示する。ソース仮想コンテンツ７１２は、３つのカラーセクション、すなわち、赤色セクション７１２Ｒと、緑色セクション７１２Ｇと、青色セクション７１２Ｂとを有する。この例では、各カラーセクションは、カラーサブ画像／場７１２Ｒ’’、７１２Ｇ’’、７１２Ｂ’’に対応する。いくつかのワーピングシステムは、光線７１０’’（例えば、緑色サブ画像およびその照明時間ｔ１に対応する座標系７１０’’）によって表される単一の出力座標系（例えば、推定姿勢）を使用して、全３つのカラーサブ画像７１２Ｒ’’、７１２Ｇ’’、７１２Ｂ’’をワーピングする。しかしながら、いくつかの投影システムは、カラーサブ画像７１２Ｒ’’、７１２Ｇ’’、７１２Ｂ’’を同時に投影しない。代わりに、カラーサブ画像７１２Ｒ’’、７１２Ｇ’’、７１２Ｂ’’は、３つの若干異なる時間（時間ｔ０、ｔ１、およびｔ２における光線７１０’、７１０’’、７１０’’’によって表される）において投影される。サブ画像の投影間の遅れのサイズは、投影システムのフレーム／リフレッシュレートに依存し得る。例えば、投影システムが、６０Ｈｚ以下の（例えば、３０Ｈｚ）フレームレートを有する場合、遅れは、高速移動する視認者またはオブジェクトに伴って、カラー干渉縞アーチファクトをもたらし得る。

図７Ｂは、いくつかの実施形態による、図７Ａに描写されるものに類似する仮想コンテンツワーピングシステム／方法によって生成されたカラー干渉縞アーチファクトを図示する。赤色サブ画像７１２Ｒ’’は、図７Ａでは、光線７１０’’によって表される出力座標系（例えば、推定姿勢）を使用してワーピングされるが、光線７１０’によって表される時間ｔ０において投影されるので、赤色サブ画像７１２Ｒ’’は、意図されるワーピングを越えているように見える。この行過ぎは、図７Ｂでは、右干渉縞画像７１２Ｒ’’として現れる。緑色サブ画像７１２Ｇ’’は、図７Ａでは、光線７１０’’によって表される出力座標系（例えば、推定される姿勢）を使用してワーピングされ、光線７１０’’によって表される時間ｔ１において投影されるので、緑色サブ画像７１２Ｇ’’は、意図されるワーピングを用いて投影される。これは、図７Ｂでは、中心画像７１２Ｇ’’によって表される。青色サブ画像７１２Ｂ’’は、図７Ａでは、光線７１０’’によって表される出力座標系（例えば、推定される姿勢）を使用してワーピングされるが、光線７１０’’’によって表される時間ｔ２において投影されるので、青色サブ画像７１２Ｂ’’は、意図されるワーピングの手前であるように見える。この負の行過ぎは、図７Ｂでは、左干渉縞画像７１２Ｂ’’として現れる。図７Ｂは、ユーザの記憶における、３つの重複するＲ、Ｇ、Ｂカラーフィールド（すなわち、カラーでレンダリングされた身体）を有する身体を含むワーピングされた仮想コンテンツの再構築を図示する。図７Ｂは、赤色右干渉縞画像色割れ（「ＣＢＵ」）アーチファクト７１２Ｒ’’と、中心画像７１２Ｇ’’と、青色左干渉縞画像ＣＢＵアーチファクト７１２Ｂ’’とを含む。

図７Ｂは、例証的目的のために、行過ぎおよび負の行過ぎ効果を誇張する。これらの効果のサイズは、投影システムのフレーム／場レートと仮想コンテンツおよび出力座標系（例えば、推定される姿勢）の相対的速度とに依存する。これらの行過ぎおよび負の行過ぎ効果が、より小さいとき、それらは、カラー／レインボー干渉縞として現れ得る。例えば、十分に低速のフレームレートでは、野球のボール等の白色仮想オブジェクトは、カラー（例えば、赤色、緑色、および／または青色）干渉縞を有し得る。干渉縞を有する代わりに、サブ画像（例えば、赤色、緑色、および／または青色）に合致する一連のソリッドカラーを伴う仮想オブジェクトは、グリッチをもたらし得る（すなわち、高速移動中、予期しない位置にジャンプし、高速移動後、予期される位置に戻るようにジャンプするように見える）。そのようなソリッドカラー仮想オブジェクトは、高速移動中、振動するようにも見え得る。

これらの限界およびその他に対処するために、本明細書に説明されるシステムは、カラーサブ画像／場の数に対応するいくつかの座標系を使用して、カラー仮想コンテンツをワーピングする。例えば、図８は、いくつかの実施形態による、カラー仮想コンテンツをワーピングする方法を描写する。ステップ８１２では、ワーピングユニット２８０が、仮想コンテンツ、ＡＲシステム２００、２００’のベース姿勢（すなわち、現在の姿勢（現在の座標系）、レンダリング姿勢（すなわち、仮想コンテンツ（ソース座標系）をレンダリングするために使用されるＡＲシステム２００、２００’の姿勢）、およびサブ画像／カラーフィールド（Ｒ、Ｇ、Ｂ）ごとの推定される照明時間（すなわち、ディスプレイシステム２０４がディスプレイシステム２０４に関連する各サブ画像（各サブ画像の推定される出力座標系）のために照明される推定される時間）を受信する。ステップ８１４では、ワーピングユニット２８０が、仮想コンテンツを各サブ画像／カラーフィールド（Ｒ、Ｇ、Ｂ）に分割する。

ステップ８１６Ｒ、８１６Ｇ、および８１６Ｂでは、姿勢推定器２８２が、ベース姿勢（例えば、現在の座標系）およびＡＲシステム２００、２００’についての情報を使用して、Ｒ、Ｇ、Ｂサブ画像／場のためのそれぞれの推定される照明時間における姿勢を推定する。ステップ８１８Ｒ、８１８Ｇ、および８１８Ｂでは、変換ユニット２８４が、それぞれの推定されるＲ、Ｇ、およびＢ姿勢およびレンダリング姿勢（例えば、ソース座標系）を使用して、Ｒ、Ｇ、およびＢのワーピングされた仮想コンテンツを受信された仮想コンテンツサブ画像／カラーフィールド（Ｒ、Ｇ、Ｂ）から生成する。ステップ８２０では、変換ユニット２８４が、順次表示のために、ワーピングされたＲ、Ｇ、Ｂサブ画像／場を組み合わせる。

図９Ａは、いくつかの実施形態による、ワーピングシステムを使用したカラー仮想コンテンツのワーピングを図式的に図示する。ソース仮想コンテンツ９１２は、図７Ａにおけるソース仮想コンテンツ７１２と同じである。ソース仮想コンテンツ９１２は、３つのカラーセクション、すなわち、赤色セクション９１２Ｒと、緑色セクション９１２Ｇと、青色セクション９１２Ｂとを有する。各カラーセクションは、カラーサブ画像／場９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’に対応する。本明細書における実施形態によるワーピングシステムは、光線９１０’、９１０’’、９１０’’’によって表されるそれぞれの出力座標系（例えば、推定される姿勢）を使用して、各対応するカラーサブ画像／場９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’をワーピングする。これらのワーピングシステムは、カラー仮想コンテンツをワーピングするとき、カラーサブ画像９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’の投影のタイミング（すなわち、ｔ０、ｔ１、ｔ２）を考慮する。投影のタイミングは、投影のタイミングを計算するために使用される投影システムのフレーム／場レートに依存する。

図９Ｂは、図９Ａに描写されるものに類似する仮想コンテンツワーピングシステム／方法によって生成されたワーピングされたカラーサブ画像９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’を図示する。赤色、緑色、および青色サブ画像９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’は、光線９１０’、９１０’’、９１０’’’によって表されるそれぞれの出力座標系（例えば、推定される姿勢）を使用してワーピングされ、同一光線９１０’、９１０’’、９１０’’’によって表される時間ｔ０、ｔ１、ｔ２において投影されるので、サブ画像９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’は、意図されるワーピングを用いて投影される。図９Ｂは、ユーザの記憶における、３つの重複するＲ、Ｇ、Ｂカラーフィールドを有する身体（すなわち、カラーでレンダリングされた身体）を含むいくつかの実施形態によるワーピングされた仮想コンテンツの再構築を図示する。図９Ｂは、３つのサブ画像／場９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’が、適切な時間に意図されるワーピングを用いて投影されるので、カラーにおける身体の実質的に正確なレンダリングである。

本明細書における実施形態によるワーピングシステムは、単一の座標系を使用する代わりに、投影／照明時間のタイミングを考慮した対応する座標系（例えば、推定される姿勢）を使用して、サブ画像／場９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’をワーピングする。その結果、本明細書における実施形態によるワーピングシステムは、カラー仮想コンテンツを異なる色／場の別個のサブ画像にワーピングしながら、ＣＢＵ等のワーピング関連色アーチファクトを最小化する。カラー仮想コンテンツのより正確なワーピングは、より現実的および真実味のあるＡＲシナリオに寄与する。

（例証的グラフィック処理ユニット）
図１０は、一実施形態による、カラー仮想コンテンツを種々のカラーサブ画像または場に対応する出力座標系にワーピングするための例示的グラフィック処理ユニット（ＧＰＵ）２５２を図式的に描写する。ＧＰＵ２５２は、ワーピングされるための生成されたカラー仮想コンテンツを記憶するための入力メモリ１０１０を含む。一実施形態では、カラー仮想コンテンツは、プリミティブ（例えば、図１１では、三角形１１００）として記憶される。ＧＰＵ２５２は、コマンドプロセッサ１０１２も含み、それは、（１）カラー仮想コンテンツを入力メモリ１０１０から受信し／読み取り、（２）カラー仮想コンテンツをカラーサブ画像に分割し、それらのカラーサブ画像をスケジューリングユニットに分割し、（３）並列処理のために、スケジューリングユニットをレンダリングパイプラインに沿って波またはワープ内で送信する。ＧＰＵ２５２は、スケジューラ１０１４をさらに含み、それは、スケジューリングユニットをコマンドプロセッサ１０１２から受信する。スケジューラ１０１４は、コマンドプロセッサ１０１２からの「新しい作業」またはレンダリングパイプライン（下で説明される）内の下流から戻る「古い作業」がレンダリングパイプラインを辿って任意の特定の時間に送信されるべきであるかどうかも決定する。事実上、スケジューラ１０１４は、ＧＰＵ２５２が種々の入力データを処理すること順序を決定する。

ＧＰＵ２５２は、ＧＰＵコア１０１６を含み、ＧＰＵコア１０１６は、スケジューリングユニットを並行して処理するために、いくつかの並行実行可能コア／ユニット（「シェーダコア」）１０１８を有する。コマンドプロセッサ１０１２は、カラー仮想コンテンツをシェーダコア１０１８の数と等しい数（例えば、３２）に分割する。ＧＰＵ２５２は、「先入れ先出し」（「ＦＩＦＯ」）メモリ１０２０も含み、それは、ＧＰＵコア１０１６からの出力を受信する。ＦＩＦＯメモリ１０２０から、出力は、ＧＰＵコア１０１６によるレンダリングパイプラインの追加の処理の中への挿入のために、スケジューラ１０１４に「古い作業」として戻るようにルーティングされ得る。

ＧＰＵ２５２は、ＦＩＦＯメモリ１０２０からの出力を受信し、表示のために、出力をラスタ化するラスタ演算ユニット（「ＲＯＰ」）１０２２をさらに含む。例えば、カラー仮想コンテンツのプリミティブは、三角形の頂点の座標として記憶され得る。ＧＰＵコア１０１６による処理（その間、三角形１１００の３つの頂点１１１０、１１１２、１１１４がワーピングされ得る）後、ＲＯＰ１０２２は、３つの頂点１１１０、１１１２、１１１４によって画定された三角形１１００の内側のピクセル１１１６を決定し、カラー仮想コンテンツ内にそれらのピクセル１１１６を充填する。ＲＯＰ１０２２は、深度試験も仮想コンテンツに対して実施し得る。カラー仮想コンテンツを処理するために、ＧＰＵ２５２は、異なる原色のサブ画像の並列処理のための複数のＲＯＰ１０２２Ｒ、１０２２Ｂ、１０２２Ｇを含み得る。

ＧＰＵ２５２は、ＲＯＰ１０２２からのワーピングされたカラー仮想コンテンツを一時的に記憶するためのバッファメモリ１０２４も含む。バッファメモリ１０２４内のワーピングされたカラー仮想コンテンツは、出力座標系における視野の複数のＹ位置における明度／色および深度情報を含み得る。バッファメモリ１０２４からの出力は、ＧＰＵコア１０１６によるレンダリングパイプラインの追加の処理の中への挿入のために、またはディスプレイシステムの対応するピクセル内における表示のために、スケジューラ１０１４に「古い作業」として戻るようにルーティングされ得る。入力メモリ１０１０内のカラー仮想コンテンツの各フラグメントは、少なくとも２回、ＧＰＵコア１０１６によって処理される。ＧＰＵコア１０１６は、最初に、三角形１１００の頂点１１１０、１１１２、１１１４を処理し、次いで、三角形１１００の内側のピクセル１１１６を処理する。入力メモリ１０１０内のカラー仮想コンテンツ全てのフラグメントが、ワーピングおよび深度試験されると（必要な場合）、バッファメモリ１０２４は、視野を出力座標系において表示するために必要とされる明度／色および深度情報の全てを含むであろう。

（カラー仮想コンテンツワーピングシステムおよび方法）
頭部姿勢変化を伴わない標準的画像処理では、ＧＰＵ２５２による処理の結果は、それぞれのＸ、Ｙ値（例えば、各ピクセル）における色／明度値および深度値である。しかしながら、頭部姿勢変化に伴って、仮想コンテンツは、頭部姿勢変化に一致するようにワーピングされる。カラー仮想コンテンツに関し、各カラーサブ画像は、別個にワーピングされる。カラー仮想コンテンツをワーピングするための既存の方法では、カラー画像に対応するカラーサブ画像は、単一の出力座標系（例えば、緑色サブ画像に対応する）を使用してワーピングされる。上で説明されるように、それは、カラー干渉縞およびＣＢＵ等の他の視覚的アーチファクトをもたらし得る。

図１２は、ＣＢＵ等の視覚的アーチファクトを最小化しながら、カラー仮想コンテンツをワーピングする方法１２００を描写する。ステップ１２０２では、ワーピングシステム（例えば、そのＧＰＵコア１０１６および／またはワーピングユニット２８０）は、Ｒ、Ｇ、およびＢサブ画像のための投影／照明時間を決定する。この決定は、フレームレートおよび関連投影システムの他の特性を使用する。図９Ａにおける例では、投影時間は、ｔ０、ｔ１、ｔ２、および、光線９１０’、９１０’’、９１０’’’に対応する。

ステップ１２０４では、ワーピングシステム（例えば、そのＧＰＵコア１０１６および／または姿勢推定器２８２）が、Ｒ、Ｇ、およびＢサブ画像のための投影時間に対応する姿勢／座標系を予測する。この予測は、現在の姿勢、システムＩＭＵ速度、およびシステムＩＭＵ加速を含む種々のシステム入力を使用する。図９Ａにおける例では、Ｒ、Ｇ、Ｂ姿勢／座標系は、光線ｔ０、ｔ１、ｔ２、および、９１０’、９１０’’、９１０’’’に対応する。

ステップ１２０６では、ワーピングシステム（例えば、そのＧＰＵコア１０１６、ＲＯＰ１０２２、および／または変換ユニット２８４）が、ステップ１２０４において予測されるＲ姿勢／座標系を使用して、Ｒサブ画像をワーピングする。ステップ１２０８では、ワーピングシステム（例えば、そのＧＰＵコア１０１６、ＲＯＰ１０２２、および／または変換ユニット２８４）が、ステップ１２０４において予測されるＧ姿勢／座標系を使用して、Ｇサブ画像をワーピングする。ステップ１２１０では、ワーピングシステム（例えば、そのＧＰＵコア１０１６、ＲＯＰ１０２２、および／または変換ユニット２８４）が、ステップ１２０４において予測されるＢ姿勢／座標系を使用して、Ｂサブ画像をワーピングする。それぞれの姿勢／座標系を使用して別個のサブ画像／場をワーピングすることは、これらの実施形態をカラー仮想コンテンツをワーピングするための既存の方法と区別する。

ステップ１２１２では、ワーピングシステムに動作可能に結合された投影システムが、ステップ１２０２において決定されたＲ、Ｇ、およびＢサブ画像のための投影時間において、Ｒ、Ｇ、Ｂサブ画像を投影する。

上で説明されるように、図１０に描写される方法１０００も、任意のＧＰＵ２５２またはＣＰＵ２５１のいずれからも独立した別個のワーピングブロック２９０上で実行され得る。さらに別の実施形態では、図１０に描写される方法１０００は、ＣＰＵ２５１上で実行され得る。さらに他の実施形態では、図１０に描写される方法１０００は、ＧＰＵ２５２、ＣＰＵ２５１、および別個のワーピングユニット２９０の種々の組み合わせ／副次的組み合わせ上で実行され得る。図１０に描写される方法１０００は、システムリソース利用可能性に従って特定の時間における種々の実行モデルを使用して実行され得る画像処理パイプラインである。

各カラーサブ画像／場に対応する予測される姿勢／座標系を使用して、カラー仮想コンテンツをワーピングすることは、カラー干渉縞および他の視覚的異常を低減させる。これらの異常を低減させることは、より現実的および没入型の複合現実シナリオをもたらす。

（システムアーキテクチャ概要）
図１３は、いくつかの実施形態による、例証的コンピューティングシステム１３００のブロック図である。コンピュータシステム１３００は、プロセッサ１３０７、システムメモリ１３０８（例えば、ＲＡＭ）、静的記憶デバイス１３０９（例えば、ＲＯＭ）、ディスクドライブ１３１０（例えば、磁気または光学）、通信インターフェース１３１４（例えば、モデムまたはＥｔｈｅｒｎｅｔ（登録商標）カード）、ディスプレイ１３１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス１３１２（例えば、キーボード）、およびカーソル制御等のサブシステムおよびデバイスを相互接続する、情報を通信するためのバス１３０６または他の通信機構を含む。

いくつかの実施形態によると、コンピュータシステム１３００は、プロセッサ１３０７がシステムメモリ１３０８内に含まれる１つ以上の一連の１つ以上の命令を実行することによって、具体的動作を実施する。そのような命令は、静的記憶デバイス１３０９またはディスクドライブ１３１０等の別のコンピュータ読み取り可能な／使用可能媒体からシステムメモリ１３０８の中に読み込まれ得る。代替実施形態では、有線回路が、ソフトウェア命令の代わりに、またはそれと組み合わせて、本開示を実装するために使用され得る。したがって、実施形態は、ハードウェア回路および／またはソフトウェアの任意の具体的組み合わせに限定されない。一実施形態では、用語「論理」は、本開示の全部または一部を実装するために使用される、任意の組み合わせのソフトウェアまたはハードウェアを意味し得る。

用語「コンピュータ読み取り可能な媒体」または「コンピュータ使用可能媒体」は、本明細書で使用されるように、実行のための命令をプロセッサ１３０７に提供することにおいて関与する任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ１３１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ１３０８等の動的メモリを含む。

一般的形態のコンピュータ読み取り可能な媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ（例えば、ＮＡＮＤフラッシュ、ＮＯＲフラッシュ）、任意の他のメモリチップまたはカートリッジ、もしくはコンピュータが読み取り得る、任意の他の媒体を含む。

いくつかの実施形態では、本開示を実践するための一連の命令の実行は、単一コンピュータシステム１３００によって実施される。いくつかの実施形態によると、通信リンク１３１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される、２つ以上のコンピュータシステム１３００が、互いに協調して、本開示を実践するために要求される一連の命令を実施し得る。

コンピュータシステム１３００は、通信リンク１３１５および通信インターフェース１３１４を通して、プログラム、例えば、アプリケーションコードを含むメッセージ、データ、および命令を伝送および受信し得る。受信されたプログラムコードは、プロセッサ１３０７によって、受信されるにつれて実行され、および／または、後の実行のために、ディスクドライブ１３１０もしくは他の不揮発性記憶装置内に記憶され得る。記憶媒体１３３１内のデータベース１３３２は、データインターフェース１３３３を介して、システム１３００によってアクセス可能なデータを記憶するために使用され得る。

（代替ワーピング／レンダリングパイプライン）
図１４は、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツのためのワーピング／レンダリングパイプライン１４００を描写する。パイプライン１４００は、２つの側面、すなわち、（１）多段階／分離ワーピングと、（２）アプリケーションフレームと照明フレームとの間の頻度変動とを具現化する。

（（１）多段階／分離ワーピング）
パイプライン１４００は、１つ以上のワーピング段階を含む。１４１２では、アプリケーションＣＰＵ（「クライアント」）が、仮想コンテンツを生成し、仮想コンテンツは、アプリケーションＧＰＵ２５２によって１つ以上の（例えば、Ｒ、Ｇ、Ｂ）フレームおよび姿勢１４１４に対して処理される。１４１６では、ワーピング／合成器ＣＰＵおよびそのＧＰＵ２５２が、各フレームのための第１の推定される姿勢を使用して、第１のワーピングを実施する。パイプライン１４００の後半（すなわち、照明により近い）では、ワーピングユニット１４２０が、各フレームのための第２の推定される姿勢を使用して、各フレーム１４２２Ｒ、１４２２Ｇ、１４２２Ｂのための第２のワーピングを実施する。第２の推定される姿勢は、第２の推定される姿勢が照明により近くで決定されるので、それぞれの第１の推定される姿勢より正確であり得る。２回ワーピングされたフレーム１４２２Ｒ、１４２２Ｇ、１４２２Ｂは、ｔ０、ｔ１、およびｔ２において表示される。

第１のワーピングは、後のワーピングのために仮想コンテンツのフレームを整列させるために使用され得る最良推量であり得る。これは、計算集約的ワーピングであり得る。第２のワーピングは、それぞれの１回ワーピングされたフレームの順次的補正ワーピングであり得る。第２のワーピングは、姿勢の第２の推定と表示／照明との間の時間を短縮し、それによって、正確度を増加させるためのあまり計算集約的ではないワーピングであり得る。

（（２）頻度変動）
いくつかの実施形態では、クライアントまたはアプリケーションの頻度（すなわち、フレームレート）と表示または照明の頻度とは、合致しないこともある。いくつかの実施形態では、照明フレームレートは、アプリケーションフレームレートの２倍であり得る。例えば、照明フレームレートは、６０Ｈｚであり得、アプリケーションフレームレートは、３０Ｈｚであり得る。

そのような頻度不整合を伴うワーピング問題に対処するために、パイプライン１４００は、フレーム１４１４あたり２組の２回ワーピングされたフレーム１４２２Ｒ、１４２２Ｇ、１４２２Ｂ（ｔ０－ｔ２における投影のため）および１４２４Ｒ、１４２４Ｇ、１４２４Ｂ（ｔ３－ｔ５における投影のため）をアプリケーションＣＰＵ１４１２およびＧＰＵ２５２から生成する。同じフレーム１４１４と第１のワーピングされたフレーム１４１８とを使用して、ワーピングユニット１４２０は、第１および第２の組の２回ワーピングされたフレーム１４２２Ｒ、１４２２Ｇ、１４２２Ｂおよび１４２４Ｒ、１４２４Ｇ、１４２４Ｂを順次生成する。これは、アプリケーションフレーム１４１４あたり、２倍の数のワーピングされたフレーム１４２２、１４２４を提供する。第２のワーピングは、プロセッサ／電力需要および熱生成をさらに低減させるためのあまり計算集約的ではないワーピングであり得る。

パイプライン１４００は、２：１照明／アプリケーション比率を描写するが、その比率は、他の実施形態では、変動し得る。例えば、照明／アプリケーション比率は、３：１、４：１、２．５：１等であり得る。小数比率を伴う実施形態では、直近に生成されたアプリケーションフレーム１４１４が、パイプライン内で使用され得る。

（代替の色割れを最小化する方法）
図１５は、いくつかの実施形態による、順次表示のためにマルチフィールド（カラー）仮想コンテンツをワーピングすることにおける色割れ（ＣＢＵ）アーチファクトを最小化する方法１５００を描写する。ステップ１５１２では、ＣＰＵが、眼および／または頭部追跡情報を受信する（例えば、眼追跡カメラまたはＩＭＵから）。ステップ１５１４では、ＣＰＵが、眼および／または頭部追跡情報を分析し、ＣＢＵアーチファクトを予測する（例えば、ディスプレイシステムの特性に基づいて）。ステップ１５１６では、ＣＢＵが予測される場合、方法１５００は、ステップ１５１８に進み、ＣＰＵは、カラーフィールドレートを増加させる（例えば、１８０Ｈｚから３６０Ｈｚに）。ステップ１５１６では、ＣＢＵが予測されない場合、方法１５００は、ステップ１５２６に進み、画像（例えば、分割およびワーピングされた場情報）は、システムデフォルトカラーフィールドレートおよびビット深度（例えば、１８０Ｈｚおよび８ビット）を使用して表示される。

ステップ１５１８においてカラーフィールドレートを増加させた後、システムは、ステップ１５２０において、眼および／または頭部追跡情報を再分析し、ＣＢＵアーチファクトを予測する。ステップ１５２２では、ＣＢＵが予測される場合、方法１５００は、ステップ１５２４に進み、ＣＰＵは、ビット深度を減少させる（例えば、８ビットから４ビットに）。ビット深度を減少させた後、画像（例えば、分割およびワーピングされた場情報）は、増加させられたカラーフィールドレートおよび減少したビット深度（例えば、３６０Ｈｚおよび４ビット）を使用して表示される。

ステップ１５２２では、ＣＢＵが予測されない場合、方法１５００は、ステップ１５２６に進み、画像（例えば、分割およびワーピングされた場情報）は、増加させられたカラーフィールドレートおよびシステムデフォルトビット深度（例えば、１８０Ｈｚおよび８ビット）を使用して表示される。

画像（例えば、分割およびワーピングされた場情報）が、調節またはシステムデフォルトカラーフィールドレートおよびビット深度を使用して表示された後、ＣＰＵは、ステップ１５１２に戻り、方法１５００を繰り返す前、ステップ１５２８において、カラーフィールドレートおよびビット深度をシステムデフォルト値にリセットする。

予測されるＣＢＵに応答して、カラーフィールドレートおよびビット深度を調節することによって、図１５に描写される方法１５００は、ＣＢＵアーチファクトを最小化する方法を図示する。方法１５００は、本明細書に説明される他の方法（例えば、方法８００）と組み合わせられ、ＣＢＵアーチファクトをさらに低減させ得る。図１５に描写される方法１５００におけるステップの大部分は、ＣＰＵによって実施されるが、これらのステップの一部または全部は、代わりに、ＧＰＵまたは専用コンポーネントによって実施されることができる。

本開示は、主題のデバイスを使用して実施され得る方法を含む。方法は、そのような好適なデバイスを提供する行為を含み得る。そのような提供は、ユーザによって実施され得る。言い換えると、「提供する」行為は、単に、ユーザが、主題の方法において必要なデバイスを取得し、それにアクセスし、それに接近し、それを位置付け、それを設定し、それをアクティブ化し、それに電源を入れ、または別様にそれを提供するように行為することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序ならびにイベントの列挙された順序で行われ得る。

本開示の例示的側面が、材料選択および製造に関する詳細とともに、上で記載された。本開示の他の詳細に関して、これらは、前述の参照特許および刊行物に関連して理解され、概して、当業者によって公知であり、または理解され得る。同じことは、一般または論理的に採用されるような追加の行為の観点から、本開示の方法ベースの側面に関しても当てはまり得る。

加えて、本開示は、随意に、種々の特徴を組み込むいくつかの例を参照して説明されたが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われ得、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）は、本開示の精神および範囲から逸脱することなく代用され得る。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。

説明される本発明の変形例の任意の随意の特徴が、独立して、または本明細書に説明される特徴のうちの任意の１つ以上のものと組み合わせて、記載および請求され得ることも想定される。単数形アイテムの言及は、存在する複数の同一アイテムが存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。言い換えると、冠詞の使用は、上記の説明ならびに本開示に関連付けられる請求項における本主題のアイテムのうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」等等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。

そのような排他的専門用語を使用しなければ、本開示に関連付けられる請求項における用語「～を備えている」は、所与の数の要素がそのような請求項で列挙されるかどうかにかかわらず、任意の追加の要素の包含を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換すると考えられ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。

本開示の範疇は、提供される例および／または本主題の明細書に限定されるべきではなく、むしろ、本開示に関連付けられた請求項の言語の範囲によってのみ限定されるべきである。

前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われ得ることが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更され得る。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

Claims (7)

1. 順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法であって、
   アプリケーションフレームおよびアプリケーション姿勢を取得することと、
   第１の推定された表示時間における前記アプリケーションフレームの第１のワーピングのための第１の姿勢を推定することと、
   前記アプリケーション姿勢および前記推定された第１の姿勢を使用して、前記アプリケーションフレームの第１のワーピングを実施し、第１のワーピングされたフレームを生成することと、
   第２の推定された表示時間における前記第１のワーピングされたフレームの第２のワーピングのための第２の姿勢を推定することと、
   前記推定された第２の姿勢を使用して、前記第１のワーピングフレームの第２のワーピングを実施し、第２のワーピングされたフレームを生成することと、
   受信された眼または頭部追跡情報に基づいて、色割れ（「ＣＢＵ」）アーチファクトを予測することと、
   前記予測されたＣＢＵアーチファクトに基づいて、カラーフィールドレートを増加させることと、
   前記受信された眼または頭部追跡情報および前記増加させられたカラーフィールドレートに基づいて、第２のＣＢＵを予測することと、
   前記予測された第２のＣＢＵアーチファクトに基づいて、ビット深度を減少させることと
   を含む、コンピュータ実装方法。
2. 前記増加させられたカラーフィールドレートおよび前記減少させられたビット深度を使用して画像を表示することをさらに含む、請求項１に記載の方法。
3. 順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするためのシステムであって、
   アプリケーションフレームおよびアプリケーション姿勢を受信するためのワーピングユニットと、
   プロジェクタと
   を備え、
   前記ワーピングユニットは、姿勢推定器と、変換ユニットとを備え、
   前記姿勢推定器は、
   第１の推定された表示時間における前記アプリケーションフレームの第１のワーピングのための第１の姿勢を推定することと、
   第２の推定された表示時間における前記第１のワーピングされたフレームの第２のワーピングのための第２の姿勢を推定することと
   を行い、
   前記変換ユニットは、
   前記アプリケーション姿勢および前記推定された第１の姿勢を使用して、前記アプリケーションフレームの第１のワーピングを実施し、第１のワーピングされたフレームを生成することと、
   前記推定された第２の姿勢を使用して、前記第１のワーピングフレームの第２のワーピングを実施し、第２のワーピングされたフレームを生成することと
   を行い、
   前記ワーピングユニットは、
   受信された眼または頭部追跡情報に基づいて、色割れ（「ＣＢＵ」）アーチファクトを予測することと、
   前記予測されたＣＢＵアーチファクトに基づいて、カラーフィールドレートを増加させることと、
   前記受信された眼または頭部追跡情報および前記増加させられたカラーフィールドレートに基づいて、第２のＣＢＵを予測することと、
   前記予測された第２のＣＢＵアーチファクトに基づいて、ビット深度を減少させることと
   を行うように構成され、
   前記プロジェクタは、前記増加させられたカラーフィールドレートを使用して画像を表示するためのものである、システム。
4. 前記プロジェクタは、前記増加させられたカラーフィールドレートおよび前記減少させられたビット深度を使用して前記画像を表示するように構成される、請求項３に記載のシステム。
5. 非一過性コンピュータ読み取り可能な記憶媒体であって、前記非一過性コンピュータ読み取り可能な記憶媒体は、一連の命令を記憶しており、前記一連の命令は、プロセッサによって実行されると、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングする方法を前記プロセッサに実行させ、前記方法は、
   アプリケーションフレームおよびアプリケーション姿勢を取得することと、
   第１の推定された表示時間における前記アプリケーションフレームの第１のワーピングのための第１の姿勢を推定することと、
   前記アプリケーション姿勢および前記推定された第１の姿勢を使用して、前記アプリケーションフレームの第１のワーピングを実施し、第１のワーピングされたフレームを生成することと、
   第２の推定された表示時間における前記第１のワーピングされたフレームの第２のワーピングのための第２の姿勢を推定することと、
   前記推定された第２の姿勢を使用して、前記第１のワーピングフレームの第２のワーピングを実施し、第２のワーピングされたフレームを生成することと、
   受信された眼または頭部追跡情報に基づいて、色割れ（「ＣＢＵ」）アーチファクトを予測することと、
   前記予測されたＣＢＵアーチファクトに基づいて、カラーフィールドレートを増加させることと、
   前記受信された眼または頭部追跡情報および前記増加させられたカラーフィールドレートに基づいて、第２のＣＢＵを予測することと、
   前記予測された第２のＣＢＵアーチファクトに基づいて、ビット深度を減少させることと
   を含む、非一過性コンピュータ読み取り可能な記憶媒体。
6. 前記方法は、
   前記第２のワーピングされたフレームをほぼ前記第２の推定された表示時間において表示することをさらに含む、請求項５に記載の非一過性コンピュータ読み取り可能な記憶媒体。
7. 前記方法は、
   第３の推定された表示時間における前記第１のワーピングされたフレームの第３のワーピングのための第３の姿勢を推定することと、
   前記推定された第３の姿勢を使用して、前記第１のワーピングフレームの第３のワーピングを実施し、第３のワーピングされたフレームを生成することと、
   前記第３のワーピングされたフレームをほぼ前記第３の推定された表示時間において表示することと
   をさらに含み、
   前記第３の推定された表示時間は、前記第２の推定された表示時間より後である、請求項６に記載の非一過性コンピュータ読み取り可能な記憶媒体。