JP2023528264A - 眼追跡を使用したレーザビーム走査ディスプレイのためのワーピング - Google Patents
眼追跡を使用したレーザビーム走査ディスプレイのためのワーピング Download PDFInfo
- Publication number
- JP2023528264A JP2023528264A JP2022570311A JP2022570311A JP2023528264A JP 2023528264 A JP2023528264 A JP 2023528264A JP 2022570311 A JP2022570311 A JP 2022570311A JP 2022570311 A JP2022570311 A JP 2022570311A JP 2023528264 A JP2023528264 A JP 2023528264A
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- viewer
- image frame
- display device
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001747 pupil Anatomy 0.000 claims abstract description 105
- 210000003128 head Anatomy 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 46
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract description 25
- 210000001508 eye Anatomy 0.000 description 70
- 238000009877 rendering Methods 0.000 description 17
- 238000012937 correction Methods 0.000 description 12
- 238000004088 simulation Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 210000001525 retina Anatomy 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004434 saccadic eye movement Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2007—Display of intermediate tones
- G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
- G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames
- G09G3/2025—Display of intermediate tones by time modulation using two or more time intervals using sub-frames the sub-frames having all the same time duration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Processing Or Creating Images (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
実施形態が、視認者の瞳孔の位置に基づいて、画像フレームを変換し、走査タイプディスプレイデバイス上に表示される画像フレーム上に形成される、視覚的アーチファクトを排除する。MRシステムが、第1の瞳孔位置と関連付けられる、第1の眺めに対応する、第1の画像フレームを取得する。本システムは、眼追跡デバイスからのデータを受信し、第2の瞳孔位置を決定し、第2の瞳孔位置と関連付けられる、第2の眺めに対応する、第2の画像フレームを生成する。第2の画像フレームのピクセルの第1のセットは、第1の偏移値だけ偏移され、第2の画像フレームのピクセルの第2のセットは、第2の偏移値だけ偏移され、偏移値は、少なくとも、第2の瞳孔位置に基づいて計算される。本システムは、その上に表示されるように、第2の画像フレームを接眼ディスプレイデバイスに伝送する。
Description
本願は、その全内容が、あらゆる目的のために、参照することによって本明細書に組み込まれる、2020年5月21日に出願され、「WARPING FOR LASER BEAM SCANNING DISPLAYS USING EYE TRACKING」と題された、米国仮特許出願第63/028,411号の優先権の利益を主張する。
以下の正規の米国特許出願は、並行して出願されており、その開示全体は、参照することによって、あらゆる目的のために、本願の中に組み込まれる。
2021年5月20日に出願され、「WARPING FOR LASER BEAM SCANNING DISPLAYS USING EYE TRACKING」と題された、米国特許出願第17/326,034号
2021年5月20日に出願され、「WARPING FOR SPATIAL LIGHT MODULATING DISPLAYS USING EYE TRACKING」と題された、米国特許出願第17/326,036号
2021年5月20日に出願され、「WARPING FOR LASER BEAM SCANNING DISPLAYS USING EYE TRACKING」と題された、米国特許出願第17/326,034号
2021年5月20日に出願され、「WARPING FOR SPATIAL LIGHT MODULATING DISPLAYS USING EYE TRACKING」と題された、米国特許出願第17/326,036号
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」(VR)または「拡張現実」(AR)体験のための「複合現実」(MR)システムの開発を促進しており、デジタル的に再現された画像またはその一部が、それらが、現実であるように見える、またはそのように知覚され得る、様式において、ユーザに提示される。VRシナリオは、典型的には、実際の実世界の視覚的入力に対して透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。ARシナリオは、典型的には、ユーザの周囲の実世界の可視化(すなわち、実世界の視覚的入力に対する透過性)への拡張として、デジタルまたは仮想画像情報の提示を伴う。故に、ARシナリオは、実世界の視覚的入力に対する透過性を伴って、デジタルまたは仮想画像情報の提示を伴う。
MRシステムは、典型的には、ユーザの頭部に少なくとも緩く結合される、ウェアラブルディスプレイデバイス(例えば、頭部装着型ディスプレイ、ヘルメット搭載型ディスプレイ、またはスマートグラス)を採用する。種々の光学システムは、カラー画像を含む、画像を、MR(VRおよびAR)シナリオを表示するために、種々の深度に生成する。
種々のシナリオに従って、ユーザは、その頭部、または単に、その眼(すなわち、その視線)の位置を変化させ得る。視認者の頭部および/または瞳孔位置の変化は、課題をレーザビーム走査ディスプレイ技術に提示し、旋回および誤スティッチング等のアーチファクトを表示される画像上に導入する。
本明細書に説明されるものは、ユーザがその眼を移動させ、それによって、その視線方向(例えば、照準線)を修正することを受ける、レーザビーム走査ディスプレイの画質を改良するための技法および技術である。
実施例として、頭部装着型ディスプレイデバイスを装着している、ユーザが、仮想オブジェクトを視認し、その眼を移動させ、異なる方向を見る(例えば、仮想オブジェクトが移動するとき、仮想オブジェクトに追従する、または異なるオブジェクトを見るように選定する)場合、仮想オブジェクトは、その瞳孔の位置によって決定されるようなユーザの視野に基づいて、レンダリングされることができる。ユーザの瞳孔位置の変化は、画像フレームがレーザビーム走査ディスプレイ上に表示されるであろう方法を調節することを要求する。
いくつかの実施形態は、視認者の瞳孔の位置に基づいて、画像フレームを変換するための方法を提供する。本方法は、コンピューティングデバイスによって、第1の画像フレームを取得するステップを含んでもよい。第1の画像フレームは、視認者の瞳孔の第1の位置と関連付けられる、第1の眺めに対応する。本方法はまた、コンピューティングデバイスによって、視認者の瞳孔の第2の位置を決定するステップを含んでもよい。コンピューティングデバイスは、第1の画像フレームに基づいて、視認者の瞳孔の第2の位置と関連付けられる、第2の眺めに対応する、第2の画像フレームを生成してもよい。生成するステップは、少なくとも、視認者の瞳孔の第2の位置に基づいて計算される、第1の偏移値だけ、第2の画像フレームのピクセルの第1のセットを偏移させるステップと、少なくとも、視認者の瞳孔の第2の位置に基づいて計算される、第2の偏移値だけ、第2の画像フレームのピクセルの第2のセットを偏移させるステップとを含んでもよい。第2の画像フレームは、接眼ディスプレイデバイス上に表示されるように、接眼ディスプレイデバイスに伝送されてもよい。いくつかの実施形態では、第1の眺めはまた、視認者の第1の頭部位置と関連付けられ、本方法はさらに、コンピューティングデバイスによって、視認者の第2の頭部位置を推定するステップと、コンピューティングデバイスによって、視認者の第2の頭部位置を使用して、中間のワーピングされた画像フレームを第1の画像フレームから生成するステップとを含む。第2の画像フレームは、中間のワーピングされた画像フレームを使用して生成される。
いくつかの実施形態では、本方法はまた、コンピューティングデバイスによって、眼追跡デバイスから、視認者の瞳孔の位置と関連付けられる、データを受信するステップを含んでもよく、瞳孔の第2の位置は、眼追跡デバイスから受信されたデータに基づいて決定される。
いくつかの実施形態では、本方法は、瞳孔の第1の位置、瞳孔の第2の位置、および視認者の瞳孔が第1の位置から第2の位置に辿り着くまでの経過した時間の関数として、第1の眼速度を計算するステップを含んでもよい。第1の眼速度は、接眼ディスプレイデバイスに対して計算される。本方法はまた、第2の眼速度を計算するステップと、コンピューティングデバイスによって、第1の眼速度に基づいて、第1の偏移値を計算し、第2の眼速度に基づいて、第2の偏移値を計算するステップとを含んでもよい。いくつかの実施形態では、本方法は、コンピューティングデバイスによって、第1の偏移値および視認者の瞳孔の後続位置に基づいて、第2の偏移値を計算するステップを含んでもよい。
種々の実施形態は、上記に説明されるように、視認者の瞳孔の位置に基づいて、画像フレームを変換するための方法を実施するための1つまたはそれを上回るプロセッサを含む、システムを提供する。
実施形態は、その上に記憶される命令のシーケンスを有する、非一過性コンピュータ可読媒体を提供し、これは、1つまたはそれを上回るプロセッサによって実行されると、プロセッサに、上記に説明されるように、視認者の瞳孔の位置に基づいて、画像フレームを変換するための方法を実行させる。
本開示の付加的および他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。
図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の上記に列挙される利点および他の利点および目的を取得する方法をより深く理解するために、上記に簡単に説明された本開示の発明を実施するための形態は、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされないことを理解されたい、本開示は、付随の図面の使用を通して、付加的具体性および詳細とともに記載および説明されるであろう。
詳細な説明
本開示は、旋回および誤スティッチング等の視覚的アーチファクトが眼追跡データを使用して排除される、画像フレームを投影する、レーザビーム走査ディスプレイシステムを含む、MRシステムと、それを使用して複合現実体験コンテンツを生成するための方法とに関する。
本開示は、旋回および誤スティッチング等の視覚的アーチファクトが眼追跡データを使用して排除される、画像フレームを投影する、レーザビーム走査ディスプレイシステムを含む、MRシステムと、それを使用して複合現実体験コンテンツを生成するための方法とに関する。
いくつかの実施形態では、MRシステムは、同時に走査する、1つを上回る(例えば、2つの)走査源(例えば、レーザ)を含んでもよい。例えば、1つのレーザは、ディスプレイの上部からディスプレイの中央までを走査してもよい一方、第2のレーザは、ディスプレイの中央から開始し、ディスプレイの底部まで走査してもよい。各レーザは、所定の走査パターンを有してもよい(例えば、行毎に走査する、または奇数行を最初に走査し、偶数行へと継続する)。故に、表示される画像上に形成される、視覚的アーチファクトは、表示されるオブジェクトを中央で分裂させ、各半分(例えば、上半分および下半分)が独立する、垂直線を含み得、それらは、中央で分離され、対角線、間隙、その下方に若干の対角線が存在する。表示されるオブジェクトは、離れた2つの対角線を伴う結果になり得る。実施形態は、レンダリングされた画像フレームをワーピングさせるために、眼追跡データを使用して、本および他の視覚的アーチファクトを排除するためのソリューションを提供する。
本開示の種々の実施形態は、レーザビーム走査ディスプレイデバイスのために、眼追跡デバイスからのデータを使用して、仮想コンテンツのワーピングを向上させるためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。
種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように、本開示の例証的実施例として提供される、図面を参照して詳細に説明されるであろう。着目すべきこととして、以下の図および実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、部分的または完全に、公知のコンポーネント(または方法またはプロセス)を使用して実装され得る場合、本開示の理解のために必要なそのような公知のコンポーネント(または方法またはプロセス)の一部のみが、説明され、そのような公知のコンポーネント(または方法またはプロセス)の他の部分の詳細な説明は、本開示を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、本明細書に例証として参照されるコンポーネントの現在および将来的公知の均等物を包含する。
例証的複合現実シナリオおよびシステム
例証的複合現実シナリオおよびシステム
続く説明は、それを用いて眼追跡向上ワーピングシステムが実践され得る、例証的拡張現実システムに関する。しかしながら、実施形態はまた、他のタイプのディスプレイシステム(他のタイプの複合現実システムを含む)における用途にも適しており、したがって、実施形態は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。
複合現実(MR)シナリオは、多くの場合、実世界オブジェクトに関連して、仮想オブジェクトに対応する、仮想コンテンツ(例えば、画像および音)の提示を含む。例えば、図1を参照すると、ヘッドセットを含む、MRデバイス102(例えば、ウェアラブルコンポーネント)のユーザ100には、実世界の物理的オブジェクト104が見える。種々の実施形態によると、仮想オブジェクト114は、実世界オブジェクト104に対して、MRデバイス102の接眼ディスプレイデバイス(例えば、レーザビーム走査ディスプレイデバイス)上にレンダリングされてもよい。例えば、実世界オブジェクト104は、テーブルの形態にあってもよく、仮想妖精(例示的仮想オブジェクト114として)が、テーブル上に設置されるように、ディスプレイデバイス上にレンダリングされてもよい。MRデバイス102はまた、実世界オブジェクト104および仮想オブジェクト114を生成/レンダリングするために使用される、ユーザの視線(例えば、照準線)を考慮しなければならない。例えば、ユーザ100は、その眼を、第1の視野105を提供する、第1の位置から、第2の視野106を提供する、第2の位置に移動させてもよい。実世界オブジェクト104の位置は、実世界座標に対して同一のままであるが、実世界オブジェクト104の位置は、ユーザの視野内で偏移する(例えば、実世界オブジェクト104は、第1の視野105の縁により近くなり、第2の視野106の中央にある)。適切に処理されない限り、ユーザの瞳孔位置の変化は、仮想オブジェクト114が、旋回された、または破損されて(例えば、誤スティッチングされて)、MRデバイス102の接眼ディスプレイデバイス上に現れる結果をもたらし得る。表示される画像フレーム上のこれらのアーチファクトは、下記により詳細に議論される。
種々の実施形態によると、MRデバイス102に結合される、眼追跡デバイス108からのデータが、仮想オブジェクト114を適切に接眼ディスプレイデバイス上にレンダリングするために使用されてもよい。そのような眼追跡データは、例えば、光をエンドユーザの眼に投影し、その投影された光のうちの少なくとも一部の戻りまたは反射を検出することによって、判別されてもよい。眼追跡デバイス108は、ディスプレイデバイスのピクセルインデックスをユーザの視線が指向される場所に出力してもよい。例えば、眼追跡デバイス108は、時間t1において、ユーザの瞳孔の第1の位置をディスプレイデバイスの中心ピクセルとして、時間t2において、ユーザの瞳孔の第2の位置を中心ピクセルの10ピクセル右として決定し得る。いくつかの実施形態によると、MRデバイス102は、第1の位置、第2の位置、および時間t1と時間t2との間の差異Δtの関数として、ユーザに関する眼速度を計算することが可能であり得る。本明細書で議論される種々の実施形態によると、本システムは、走査パターンの単位毎に、異なる眼速度(例えば、行あたりで走査する場合、行毎に、異なる眼速度)を計算してもよい。
例えば、MRデバイス102は、第1の視野105と関連付けられる、ユーザの瞳孔の第1の位置(ユーザの瞳孔に対する法線ベクトル115によって図示される)に対応する、第1の画像フレームを取得してもよい。MRデバイス102は、眼追跡デバイス108からのデータを受信し、眼追跡デバイス108からのデータを使用して、第2の視野106と関連付けられる、ユーザの瞳孔の第2の位置(ユーザの瞳孔に対する法線ベクトル116によって図示される)を決定してもよい。MRデバイス102は、次いで、ステップの中でもとりわけ、少なくとも、ユーザの瞳孔の第1の位置および第2の位置に基づいて、第2の画像フレームのピクセルの1つまたはそれを上回るセット(例えば、行)の偏移を実施することによって、第2の視野106に対応する、第2の画像フレームを生成してもよい。いくつかの実施形態では、第2の画像フレームは、頭部姿勢ベースのワーピングを使用して生成されてもよく、第2の画像フレームのピクセルは、視覚的アーチファクトを補正するために、本明細書に説明されるように偏移されてもよい。偏移および実施され得る付加的ステップの詳細は、下記により詳細に説明される。
図2は、ヘッドセット200のユーザの眼球に対する例示的AR/VRヘッドセット200の概略表現である。ヘッドセット200は、ディスプレイデバイス202(例えば、レーザビーム走査ディスプレイ)を含み、これは、ユーザの眼球204の正面に位置付けられる。ヘッドセット200に結合される、眼追跡デバイスは、ユーザの眼球204(例えば、ユーザの瞳孔)の位置を追跡してもよい。ユーザの通視線208は、実または仮想オブジェクト206に指向されてもよい。
種々の実施形態によると、眼追跡デバイスからのデータが、ユーザの照準線またはユーザの照準線の任意の変化に基づいて、実または仮想オブジェクト206をディスプレイデバイス202上に正しくレンダリングするために使用されてもよい。例えば、レンダリングされた画像フレームのピクセルの異なるセット(例えば、異なる行)は、異なる偏移値だけ偏移され、レーザビーム走査ディスプレイデバイス上に表示されるための画像フレームを生成してもよい。種々の実施形態によると、偏移値は、眼追跡デバイスによって提供されるデータに基づいて決定されてもよい。例えば、MRシステムは、ユーザの瞳孔の眼速度を計算してもよい。異なる眼速度値は、偏移毎に、計算されてもよい(例えば、行毎偏移の場合、異なる眼速度が、行毎に使用されてもよい)。
図3は、ユーザ(例えば、視認者)の瞳孔の位置に基づいて、画像フレームを変換するための例示的方法を図示する。
ステップ302では、コンピューティングデバイスが、視認者の瞳孔の第1の位置と関連付けられる、第1の眺めに対応する、第1の画像フレームを取得する。種々の実施形態によると、コンピューティングデバイスは、所定の走査パターンに従って、データを接眼ディスプレイデバイスのピクセル上に表示する、レーザビーム走査ディスプレイを含む、接眼ディスプレイデバイスに結合されてもよい。データは、接眼ディスプレイデバイスのピクセルの第2のセットと異なる瞬間において、接眼ディスプレイデバイスのピクセルの第1のセット上に表示される。
ステップ304では、コンピューティングデバイスが、視認者の瞳孔位置と関連付けられる、データを、視認者が装着している、ヘッドセットに結合される、眼追跡デバイスから受信してもよい。
ステップ306では、コンピューティングデバイスが、眼追跡デバイスから受信されたデータに基づいて、視認者の瞳孔の第2の位置を決定してもよい。視認者の瞳孔の第2の位置は、第2の眺めと関連付けられる。いくつかの実施形態では、視認者の瞳孔の位置は、視認者の頭部位置に対して決定されてもよい。他の実施形態では、視認者の瞳孔の位置は、ヘッドセットに対して(例えば、ヘッドセットのディスプレイデバイスのピクセルに対して)決定されてもよい。
ステップ308では、コンピューティングデバイスが、同様に第2の眺めと関連付けられる、第2の頭部位置を推定してもよい。
ステップ310では、コンピューティングデバイスが、視認者の第2の頭部位置を使用して、中間のワーピングされた画像フレームを第1の画像フレームから生成してもよい。故に、中間のワーピングされた画像は、頭部姿勢ベースのワーピングを使用して生成される。
ステップ312では、コンピューティングデバイスが、第1の画像フレームに基づいて(例えば、いくつかの実施形態では、第1の画像フレームから生成される、中間のワーピングされた画像フレームを使用して)、視認者の瞳孔の第2の位置と関連付けられる、第2の眺めに対応する、第2の画像フレームを生成してもよい。第2の画像フレームは、視認者の瞳孔の第2の位置に基づいて決定される、異なる偏移値だけ、第2の画像フレームのピクセルの異なるセットを偏移させることによって生成されてもよい。例えば、ピクセルの第1のセットは、第1の偏移値だけ偏移されてもよく、ピクセルの第2のセットは、第2の偏移値だけ偏移されてもよい。第1の偏移値および第2の偏移値は、少なくとも、視認者の瞳孔の第2の位置に基づいて計算されてもよい。例えば、偏移値はまた、ユーザの眼速度に基づいて、計算されてもよい。
種々の実施形態によると、コンピューティングデバイスは、瞳孔の第1の位置、瞳孔の第2の位置、および視認者の瞳孔が第1の位置から第2の位置に辿り着くまでに経過した時間の関数として、視認者に関する眼速度を計算してもよい。いくつかの実施形態では、眼速度は、ヘッドセットに対して(例えば、ヘッドセットのディスプレイデバイスのピクセルに対して)計算される。コンピューティングデバイスは、次いで、ピクセルの第1のセットが、第1の偏移値だけ偏移され得、ピクセルの第2のセットは、第2の偏移値だけ偏移され得るように、眼速度に基づいて、偏移値を計算してもよい。偏移値の数は、MRシステムの走査パターンに依存し得る。例えば、MRシステムが、行あたりで走査する場合、ディスプレイデバイスの行の数と同数の偏移値を計算することが可能である。
種々の実施形態によると、MRシステムは、走査パターンに従って、ピクセルのセットを選定してもよい。例えば、ピクセルのセットは、ディスプレイデバイスの所定の数の行に対応してもよい。いくつかの実施形態では、ピクセルの第1のセットは、ピクセルの第1の行に対応し得、ピクセルの第2のセットは、ピクセルの第2の行に対応してもよい。レーザビーム走査ディスプレイデバイスの全てのピクセルは、同時にアクティブ化されないため、表示される画像フレームは、例示的表示されるオブジェクトの上部部分および底部部分の分離等の視覚的アーチファクトを呈する。他の実施形態では、MRシステムは、最初に、奇数行を1つずつ表示してもよく、次いで、奇数行が完了された後、偶数行を1つずつ表示してもよい。ディスプレイ動作全体は、1MRシステムが1つの画像フレームを表示するための6ミリ秒以内に完了され得る。当業者は、本明細書で議論される走査パターンが、例証目的のためのものであって、MRシステムが、任意の走査パターンを使用して、画像フレームをディスプレイデバイス上に表示することができることを理解されるであろう。
ステップ314では、コンピューティングデバイスが、接眼ディスプレイデバイス上に表示されるように、第2の画像フレームを接眼ディスプレイデバイスに伝送してもよい。表示される画像フレームは、旋回および誤スティッチング等の視覚的アーチファクトがない。
以下の説明は、眼追跡データが、MRデバイスのユーザがその視線(例えば、その瞳孔の位置)を偏移させることから生じる、視覚的アーチファクト/異常/グリッチを補正するために使用され得る、5つの例示的シナリオを提供する。視線偏移は、頭部姿勢変化に加えてであってもよい、またはそれ自体であってもよい(例えば、ユーザが、その頭部を移動させずに、その視線を変化させる)。種々の実施形態によると、眼追跡ベースの偏移は、独立型補正として実施されてもよい、または頭部姿勢ベースのワーピングに加え、実施されてもよい(例えば、眼追跡ベースの偏移は、頭部姿勢ベースのワーピングされた画像上で実施されてもよい)。
図4は、種々の実施形態による、隣接する数字のセットに図示されるVRシナリオの可視化の目的のために、画像フレームを分裂させるための例示的様式を図示する。可視化の目的のために、各60Hzフレームは、6サブフレームに分裂され得る。画像の上半分と下半分との間には、わずかな重複が存在する。レンダリングは、60Hzで生じるが、ディスプレイデバイスの各セクションは、レンダリングされたフレームあたり、2回フラッシュされる。仮想オブジェクト400は、垂直バーのように見えるはずであるが、時として、これは、各シナリオに関連して下記に議論されるように、視覚的アーチファクトに起因して、ユーザに見えるものではないであろう。
例示的シナリオ1
例示的シナリオ1
第1の例示的VRシナリオでは、仮想オブジェクト(例えば、仮想妖精)が、ユーザの周辺視野内に現れる。ユーザが、仮想オブジェクトを見て、その視線を仮想オブジェクト上に固定する一方、ユーザは、その頭部/頸部を方向転換させ、仮想オブジェクトに面する。ユーザが、その頭部を回転させる間、仮想オブジェクトは、定常のままであって、ユーザの視線は、仮想オブジェクト上に固定される。
図5は、60fpsの例示的レートにおいてディスプレイデバイス上に表示されるレンダリングされた画像とともに、仮想オブジェクトに対する時計回り頭部移動を図示する、一連の図面(図面1-9)を図示する。視覚的補正(例えば、頭部姿勢ベースのワーピングまたは眼追跡ベースの補正)は、図5に示される図面では適用されない。
ヘッドセット200およびディスプレイデバイス202が、ユーザの瞳孔に対して時計回りに移動するにつれて、ユーザ208の通視線は、仮想オブジェクト206上に固定されたままである。第3の図面では、ピクセルの第1のセット500が、ディスプレイデバイス202上の所定の場所(例えば、ピクセル)上に表示される。ユーザが、その視線を偏移させずに、その頭部を移動させ続けると、次のピクセルのセット502、504、506、508、510(MRシステムの走査パターンに基づいて)が、それぞれ、図面4-8に示されるように、ディスプレイデバイス上に表示される。これらの図面に示されるように、ピクセルは、図面上の仮想オブジェクトを表す、円形の中央に固定される、ユーザの通視線の外側に形成される。むしろ、ピクセルは、ユーザの通視線208とは対照的に、ディスプレイデバイス202に対する法線上に形成される。結果として、ディスプレイデバイス202上に表示されるオブジェクト512の画像は、傾いて現れ(例えば、旋回アーチファクト)、継目において分裂される(例えば、誤スティッチングアーチファクト)。旋回の角度および誤スティッチングのオフセットは、ヘッドセットの角速度に比例し得る。最終図面(すなわち、図面9)は、ディスプレイデバイス上の持続時間シミュレーションにおける、画像フレームの最終レンダリングを図示する。平均位置が、正しいが、オブジェクト512(持続時間シミュレーションに図示される)は、図4に図示される仮想オブジェクト400と比較して、傾いて見え(旋回)、継目において分裂される(誤スティッチング)。旋回の角度および誤スティッチングのオフセットは、頭部回転の角速度に比例する。本レンダリングは、MRシステム内で容認不可能である。
本問題に対する従来の解決策は、ユーザの推定される頭部姿勢に基づいて、画像フレームをワーピングさせ得る。MRシステムは、頭部姿勢を検出および/または予測する(例えば、慣性測定ユニットを使用して)ことができる。MRシステムは、次いで、レンダリングされた仮想コンテンツをソース基準フレームから出力基準フレーム内のワーピングされた仮想コンテンツにワーピングまたは変換し得る。
第1のシナリオに対する頭部姿勢ベースのソリューションは、図6に図示される。MRシステムは、第1の図面において、頭部姿勢を把握し、次いで、頭部姿勢を外挿し、頭部が異なる時点にあるであろう場所を推定し得る(後続図面2-8に図示されるように)。図面1-9は、画像の行毎ワーピングを含む。本シナリオに関して、3自由度を伴う、頭部姿勢推定は、視覚的アーチファクトを補正するために十分であり得る。いったん頭部姿勢が、外挿されると、本システムは、次いで、推定される頭部姿勢に基づいて、レンダリングされた画像をワーピングさせ得る。頭部姿勢ベースのワーピングは、ピクセルをユーザの通視線上に設置し(例えば、全てのピクセルは、瞳孔に対する法線とともに図示される、ユーザ208の通視線上に形成される)、それによって、視覚的アーチファクトを排除することが可能である。最終図面(すなわち、図面9)は、ディスプレイデバイス上での持続時間シミュレーションにおける、画像フレームの最終レンダリングを図示する。オブジェクト612(持続時間シミュレーションに図示される)は、図4に図示される仮想オブジェクト400と同じに見える。頭部姿勢ベースのワーピングを用いても、旋回および誤スティッチングは、生じ得るが、ヘッドセットの角速度に比例するのとは対照的に、推定される頭部姿勢内の誤差に比例する。すなわち、仮想オブジェクトは、頭部姿勢が正確である場合、正確に見えるであろう。
図7は、種々の実施形態による、第1のシナリオに対する眼追跡ベースのソリューション(頭部姿勢、深度面、またはピクセル運動追跡とは対照的に)を図示する、一連の図面(例えば、図面1-8)を図示する。ユーザの瞳孔の位置が、MRシステムに結合される、高サンプル-レートのロバストな高正確度眼追跡デバイスを使用して、追跡されてもよい。眼追跡デバイスは、ピクセルのセット(例えば、行)がディスプレイデバイス上に表示されるであろう、異なる時点におけるユーザの瞳孔の位置を決定してもよい。故に、眼追跡ベースのソリューションは、仮想オブジェクトの要素を実世界に結び付ける(従来のワーピング技法および/またはシステムにおいて行われるように)代わりに、それらをユーザの瞳孔または網膜に「ロックする」または「結び付ける」。本システムは、次いで、本システムが、仮想オブジェクトのピクセルのセットをレンダリングされたフレームに対して偏移させるであろう度に、眼速度(例えば、ユーザによって装着されるヘッドセットまたはディスプレイデバイスに対するユーザの瞳孔の速度)をxおよびyピクセルにおいて計算してもよい(後続図面2-7に図示されるように)。最終図面(すなわち、図面8)は、ディスプレイデバイス上での持続時間シミュレーションにおける、画像フレームの最終レンダリングを図示する。オブジェクト712は、図4に図示される仮想オブジェクト400と同じに見える。
種々の実施形態によると、眼速度は、ユーザの瞳孔の第1の位置(例えば、図面2に図示されるように)、ユーザの瞳孔の第2の位置(例えば、図面3に図示されるように)、およびユーザの瞳孔が第1の位置から第2の位置(例えば、図7の図面2における位置から図面3における位置)に辿り着くまでに経過した時間の関数として、計算されてもよい。眼速度は、ヘッドセットに対して計算される。増加された正確度のために、眼速度を可能な限り遅く計算することが望ましくあり得る。例えば、第1の眼速度は、ピクセルの第1のセットが第1の偏移値だけ偏移される直前に計算され、本システムが第1の眼速度を使用して第1の偏移値を計算するために十分な時間だけを残してもよい。
いくつかの実施形態では、異なる眼速度は、偏移されるべきピクセルのセット(例えば、各行)毎に使用されてもよい。第1の眼速度は、ピクセルの第1のセットのために計算されてもよく、第2の眼速度は、ピクセルの第2のセットのために計算されてもよい。60Hzでレンダリングする、MRデバイスに関して、眼追跡ベースの偏移は、360Hzにおいて実施されてもよい。
いくつかの実施形態では、眼速度は、ゼロであってもよい。例えば、ユーザは、その視線を変化させず、単に、その焦点を変化させ得る(例えば、両方のオブジェクトが同一照準線上にある場合に、遠くのオブジェクトからより近いオブジェクトを見る)。そのような実施形態では、レンダリングされた画像は、依然として、ワーピングまたは偏移され得るが、しかしながら、眼速度がゼロであろうため、偏移値は、ゼロとして計算されるであろう(例えば、偏移がレンダリングされた画像に適用されない)。
例示的シナリオ2
例示的シナリオ2
第2の例示的VRシナリオでは、仮想オブジェクト(例えば、仮想ノーム)が、ユーザの正面の実世界オブジェクト(例えば、机)上に現れる。ユーザは、ユーザにノームの背後のものが見え得るように、その身体を左右に揺動させることによって、ノームの周囲を見ようとする。そのようなシナリオでは、ユーザの頭部は、回転を伴わずに、平行移動を受ける。ユーザの身体および頭部が、左右に移動する間、ユーザの視線は、ノーム上に留まる。
図8は、レンダリングされた画像を偏移させるために頭部姿勢ベースのワーピングを使用してディスプレイデバイス上にレンダリングされた画像とともに、頭部移動を図示する、一連の図面(例えば、図面1-9)を図示し、頭部の配向のみが、使用され、平行移動は、使用されない。本例示的シナリオでは、回転が存在しない。ヘッドセット200およびディスプレイデバイス202が、仮想オブジェクト206に対して左から右に移動するにつれて、ユーザ208の通視線は、仮想オブジェクト206上に固定されたままである。第3の図面では、ピクセルの第1のセットが、ディスプレイデバイス202上の所定の場所(例えば、ピクセル)上に形成される。ユーザが、その視線を偏移させずに、その頭部を移動させ続けると、次のピクセルのセット(MRシステムの走査パターンに基づいて)が、それぞれ、図面4-8に示されるように、ディスプレイデバイス上に表示される。これらの図面に示されるように、ピクセルは、図面上の仮想オブジェクトを表す、円形の中央に固定される、ユーザの通視線の外側に形成される。むしろ、ピクセルは、ユーザの通視線208とは対照的に、ディスプレイデバイス202に対する法線上に形成される。図面9は、ディスプレイデバイス上の仮想オブジェクトの最終レンダリングを図示する。示されるように、表示される画像812(持続時間シミュレーションに図示される)は、3自由度頭部姿勢(例えば、配向のみ)を使用することに起因して、旋回および誤スティッチング等の運動アーチファクトを含む。本システムが、配向を追跡し、平行移動を追跡しない、頭部姿勢ベースのワーピングを使用して、アーチファクトを補正しようとする場合、補正は、十分ではないであろう。本システムは、6自由度における頭部姿勢(配向および平行移動の両方を追跡する)およびオブジェクト深度面(または輻輳・開散運動深度)を必要とするであろう。
図9は、種々の実施形態による、第2のシナリオに対する眼追跡ベースのソリューションを図示する、一連の図面(例えば、図面1-8)を図示する。ユーザの瞳孔の位置が、MRシステムに結合される、高サンプル-レートのロバストな高正確度眼追跡デバイスを使用して、追跡されてもよい。眼追跡デバイスは、ピクセルのセット(例えば、行)がディスプレイデバイス上に表示されるであろう、異なる時点におけるユーザの瞳孔の位置を決定してもよい。故に、眼追跡ベースのソリューション仮想オブジェクトの要素を実世界に結び付ける(従来のワーピング技法および/またはシステムにおいて行われるように)代わりに、それらをユーザの瞳孔または網膜に「ロックする」または「結び付ける」。本システムは、次いで、ピクセルのセット(例えば、行)をレンダリングされたフレームに対して偏移させるために、走査パターンの単位(例えば、各行)毎に、眼速度(例えば、ユーザによって装着されるヘッドセットまたはディスプレイデバイスに対するユーザの瞳孔の速度)をxおよびyピクセルにおいて計算してもよい。最終図面(すなわち、図面8)は、ディスプレイデバイス上での持続時間シミュレーションにおける、画像フレームの最終レンダリングを図示する。オブジェクト912は、図4に図示される仮想オブジェクト400と同じに見える。図9の図面に図示されるように、ピクセルは全て、ユーザの通視線上に現れ、表示される画像フレーム上の視覚的アーチファクトを排除する(図9の図面8に図示されるように)。
例示的シナリオ3
例示的シナリオ3
第3の例示的VRシナリオでは、仮想オブジェクト(例えば、仮想マウス)が、ユーザの正面の実世界オブジェクト(例えば、コーヒーカップ)の背後に現れる。例えば、マウスが、その頭部をコーヒーカップの背後から覗かせている。マウスは、コーヒーカップから場面内の別のオブジェクトへと走り出す。ユーザは、移動せずに、その視線を用いて、マウスに追従する。そのようなシナリオでは、仮想オブジェクトは、移動するが、ユーザの頭部は、定常である。ユーザの視線は、移動する仮想オブジェクト上に留まる。
図10は、ディスプレイデバイス上にレンダリングされたレンダリングされた画像とともに、仮想オブジェクトの移動を図示する、一連の図面(例えば、図面1-9)を図示する。仮想オブジェクト206が、ヘッドセット200およびディスプレイデバイス202に対して右から左に移動するにつれて(図面3-8に図示されるように)、ユーザ208の通視線は、仮想オブジェクト206上に固定されたままである。第3の図面では、ピクセルの第1のセット1002が、ディスプレイデバイス202上の所定の場所(例えば、ピクセル)上に形成される。ユーザがその視線を仮想オブジェクトから偏移させずに、仮想オブジェクトがヘッドセットに対して移動し続けるとき、次のピクセルのセット1003、1004、1005、1006、1007(MRシステムの走査パターンに基づいて)が、それぞれ、図面4-8に示されるように、ディスプレイデバイス上に表示される。これらの図面のそれぞれに示されるように、ピクセル1003、1004、1005、1006、1007はそれぞれ、図面上の仮想オブジェクトを表す、円形1001の中央に固定される、ユーザの通視線1000の外側に形成される。むしろ、ピクセル1003、1004、1005、1006、1007は、ユーザ208の通視線1000とは対照的に、ディスプレイデバイス202に対する正常1010上に形成される。図面9は、ディスプレイデバイス上での持続時間シミュレーションにおける、仮想オブジェクトの最終レンダリングを図示する。ユーザの頭部は、移動していないため、従来の頭部姿勢ベースのワーピング(3自由度の代わりに、6自由度を伴うものでも)は、図10の図面9に示されるように、表示される画像1012上の旋回および誤スティッチングを補正することが可能ではないであろう。すなわち、頭部姿勢は、同一であるため、適用される頭部姿勢ベースのワーピングは、画像のために、ゼロピクセルの偏移をもたらすであろう。これを補正するための従来のアプローチは、ワーピングを実施するために、頭部姿勢に加え、仮想オブジェクトに関する運動ベクトルを使用するものである。6自由度頭部姿勢が、正しい深度面とともに使用される場合でも、レンダリングされた画像は、依然として、旋回および誤スティッチングを有するであろう。
図11は、種々の実施形態による、第3のシナリオに対する眼追跡ベースのソリューションを図示する、一連の図面(例えば、図面1-9)を図示する。ユーザの瞳孔の位置が、MRシステムに結合される、高サンプル-レートのロバストな高正確度眼追跡デバイスを使用して、追跡されてもよい。眼追跡デバイスは、ピクセルのセット(例えば、行)1102、1103、1104、1105、1106がディスプレイデバイス上に表示されるであろう、異なる時点におけるユーザの瞳孔の位置を決定してもよい(例えば、図面3-8に図示されるように)。故に、眼追跡ベースのソリューションは、仮想オブジェクトの要素を実世界に結び付ける(従来のワーピング技法および/またはシステムにおいて行われるように)代わりに、それらをユーザの瞳孔または網膜に「ロックする」または「結び付ける」。本システムは、次いで、ピクセルのセット(例えば、行)をレンダリングされたフレームに対して偏移させるために、走査パターンの単位(例えば、各行)毎に、眼速度(例えば、ユーザによって装着されるヘッドセットまたはディスプレイデバイスに対するユーザの瞳孔の速度)をxおよびyピクセルにおいて計算してもよい。図11の最終図面(すなわち、図面8)は、ディスプレイデバイス上での持続時間シミュレーションにおける、画像フレームの最終レンダリングを図示する。オブジェクト1112は、図4に図示される仮想オブジェクト400と同じに見える。図11の図面に図示されるように、ピクセルは全て、ユーザの通視線上に現れ、表示される画像フレーム上の視覚的アーチファクトを排除する(図11の図面8に図示されるように)。
例示的シナリオ4
例示的シナリオ4
第3のシナリオは、仮想オブジェクトが運動中であるとき、レンダリングおよび画像ディスプレイがどのように複雑になるかを例示する。頭部姿勢ベースのワーピングは、表示される画像上の旋回および誤スティッチングを補正するために十分ではない。次のシナリオは、ある場合において、頭部姿勢ベースのワーピングが、アーチファクトを補正するために十分であるだけではなく、また、表示される画像の品質をより悪化させることを図示する。
第4の例示的VRシナリオでは、仮想オブジェクト(例えば、仮想魚)が、ユーザの周囲を動き回る。ユーザは、その全身を方向転換させ、仮想オブジェクトに追従する。ヘッドセットおよびユーザの瞳孔の両方が、実世界に対して回転するが、相互に対して固定される。
図12は、ディスプレイデバイス上にレンダリングされたレンダリングされた画像とともに、残りが相互に対して固定されたままである、ヘッドセットおよび瞳孔移動を図示する、一連の図面(図面1-8)を図示する。頭部姿勢ワーピングは、図12に図示される図面では適用されない。図2に図示される参照番号を参照すると、ヘッドセット200(ディスプレイデバイス202を含む)および図12に図示されるユーザの視線が、仮想オブジェクト206とともに、反時計回りに移動するにつれて、ユーザ208の通視線およびディスプレイデバイス202に対する法線ベクトルは、仮想オブジェクト206上に固定されたままである。第3の図面では、ピクセルの第1のセット1202が、ディスプレイデバイス202上の所定の場所(例えば、ピクセル)上に形成される。ユーザが、その視線を偏移させずに、その頭部を移動させ続けると、次のピクセルのセット1203、1204、1205、1206、1207(MRシステムの走査パターンに基づいて)が、それぞれ、図面4-8に示されるように、ディスプレイデバイス上に表示される。これらの図面に示されるように、ピクセルは、図面上の仮想オブジェクトを表す、円形の中央に固定される、ユーザの通視線の外側に形成される。むしろ、ピクセルは、ユーザの通視線208とは対照的に、ディスプレイデバイス202に対する法線上に形成される。図12の図面9は、ディスプレイデバイス上での持続時間シミュレーションにおける、仮想オブジェクトの最終レンダリングを図示する。オブジェクト1212は、図4に図示される仮想オブジェクト400と同じに見える。ユーザは、その眼およびその頭部を用いて、移動オブジェクトに追従しているため、結果として生じる画像は、任意の旋回または誤スティッチングを伴わずに、鮮明である。本結果は、頭部姿勢ベースのワーピングを適用せずに取得される。
他方では、レンダリングされた画像フレーム毎に、頭部姿勢ベースのワーピングを適用する、MRシステムに関して、例示的シナリオ4(仮想オブジェクトが、ユーザの周囲を動き回り、ユーザが、その全身を方向転換させ、仮想オブジェクトに追従し、ヘッドセットおよびユーザの瞳孔の両方が、実世界に対して回転するが、相互に対して固定される)は、低品質画像をもたらす。すなわち、頭部姿勢ベースのワーピングは、図13に図示されるように、旋回および/または誤スティッチングを挿入することによって、表示される画像の品質を低下させる。
MRシステムは、第1の図面において、頭部姿勢を把握し、次いで、頭部姿勢を外挿し、頭部が異なる時点にあるであろう場所を推定し得る(図13の図面3-8に図示されるように)。いったん頭部姿勢が外挿されると、本システムは、次いで、ピクセルの1つまたはそれを上回るセット(例えば、行)を偏移させ得る。頭部姿勢ベースのワーピングは、ピクセルをユーザの通視線上に設置することを狙いとするが、しかしながら、仮想オブジェクトの移動を考慮しない。したがって、頭部姿勢ベースのワーピングは、仮想オブジェクトを世界にロックしようとし、図13の図面9に図示されるように、旋回および誤スティッチングを表示される画像1312上に導入する。
図14は、種々の実施形態による、第4のシナリオに対する眼追跡ベースのソリューションを図示する、一連の図面(図面1-8)を図示する。本システムは、ヘッドセットに対する眼速度を計算するため、ヘッドセットおよび瞳孔は、同時に移動するとき、眼速度は、ゼロである。したがって、眼速度ベースの偏移値は、ゼロである。図14の図面に図示されるように、ピクセルは、ユーザの通視線上に現れ、表示される画像フレーム上の視覚的アーチファクトを排除する。したがって、結果は、眼追跡ベースのソリューションがデフォルトによって適用されるときでも、図12と同一である。図14の図面8は、ディスプレイデバイス上での持続時間シミュレーションにおける、仮想オブジェクトの最終レンダリングを図示する。オブジェクト1412は、図4に図示される仮想オブジェクト400と同じに見える。
例示的シナリオ5
例示的シナリオ5
第5の例示的VRシナリオでは、仮想オブジェクト(例えば、仮想ロボット)が、ユーザの視野の中心にある。しかしながら、ユーザは、仮想オブジェクトを見ていない。代わりに、ユーザは、仮想オブジェクトの隣の2つの他の仮想オブジェクトまたはエリアを比較している場合がある。例えば、ユーザは、仮想オブジェクトの右に設置されたエリア216と、仮想オブジェクトの左に設置されたエリア226とを見ている場合がある。すなわち、ユーザは、仮想オブジェクトおよびユーザの頭部が定常のままである間、2つのエリア間を往復して、かつ仮想オブジェクトを横断して、その眼を瞬動させている場合がある。本眼移動は、「サッカード」と称され得る。本シナリオは、眼がより高速の速度で移動することを除き、第3の例示的VRシナリオに類似する。
図15は、レンダリングされた画像に対して頭部姿勢ベースのワーピングを使用してディスプレイデバイス上にレンダリングされたレンダリングされた画像とともに、サッカード眼移動を図示する、一連の図面を図示する。ヘッドセット200およびディスプレイデバイス202が、静的なままである際、ユーザは、エリア216および226に対して、その眼を左から右に移動させ、ユーザ208の通視線は、2つのエリア間で移動する。第1の図面では、ピクセルの第1のセット1502が、ディスプレイデバイス202上の所定の場所(例えば、ピクセル)上に形成される。ユーザが、その眼を移動させ続けると、次のピクセルのセット(MRシステムの走査パターンに基づいて)が、それぞれ、図面2-10に示されるように、ディスプレイデバイス上に表示される。これらの図面に示されるように、ピクセルは、図面上の仮想オブジェクトを表す、円形の中央に固定される、ユーザの通視線の外側に形成される。むしろ、ピクセルは、ユーザの通視線208とは対照的に、ディスプレイデバイス202に対する法線上に形成される。最後の図面(すなわち、図15の図面10)は、ディスプレイデバイス上での持続時間シミュレーションにおける、仮想オブジェクトの最終レンダリングを図示する。図15の図面9に示されるように、表示される画像1512は、旋回および誤スティッチングを呈する。
本シナリオでは、形成されるアーチファクトは、同期し、再現可能である代わりに、非同期し、過渡的である。周期的アーチファクトが、見られる。決して、他のシナリオと同様に、網膜上の同一スポットに戻ることはない。ユーザの頭部が、移動していないため、従来の頭部姿勢ベースのワーピングは、表示される画像上のアーチファクトを補正することが可能ではないであろう(例えば、頭部姿勢は、同一であって、したがって、頭部姿勢に基づいて適用されるワーピングは、ゼロワーピングとなるであろう)。加えて、運動ベクトルベースのワーピング(シナリオ3を改良し得る)は、実オブジェクトおよびユーザの眼が追従している仮想オブジェクトが存在しないため、ここでは適用され得ない。
図16は、第5のシナリオ(例えば、種々の実施形態による、仮想オブジェクトおよびユーザの頭部が、定常のままである間の、2つのエリア間の、かつ仮想オブジェクトを横断した、サッカード眼)に対する眼追跡ベースのソリューションを図示する。ユーザの瞳孔の位置が、MRシステムに結合される、高サンプル-レートのロバストな高正確度眼追跡デバイスを使用して、追跡されてもよい。眼追跡デバイスは、ピクセルのセット(例えば、行)がディスプレイデバイス上に表示されるであろう、異なる時点におけるユーザの瞳孔の位置を決定してもよい。故に、眼追跡ベースのソリューション仮想オブジェクトの要素を実世界に結び付ける(従来のワーピング技法および/またはシステムにおいて行われるように)代わりに、それらをユーザの瞳孔または網膜に「ロックする」または「結び付ける」。本システムは、次いで、ピクセルのセット(例えば、行)をレンダリングされたフレームに対して偏移させるために、走査パターンの単位(例えば、各行)毎に、眼速度(例えば、ユーザによって装着されるヘッドセットまたはディスプレイデバイスに対するユーザの瞳孔の速度)をxおよびyピクセルにおいて計算してもよい。図16の図面10に図示されるように、仮想オブジェクト1610の複数の鮮明なコピーが、レンダリングされるが、各コピーは、歪曲されていない(例えば、旋回および誤スティッチングは、排除されるが、ストロボ効果が存在する)。レンダリングされた画像1612に示されるように、改良された品質のために、デジタルぼけをレンダリングされた画像に追加する(例えば、水平ボックスカーフィルタを使用して)ことが望ましくあり得る。
ユーザが、その周囲でその眼を瞬動させるにつれて、旋回および誤スティッチングが見える代わりに、ユーザは、ユーザには、あるストロボ効果が見えるであろう。人工ぼけを追加することは、これに役立つであろうが、完全2次元ぼけ関数に関しては、算出上法外となり得る。
いくつかの実施形態では、眼追跡ベースの偏移は、2つの独立した単眼ディスプレイにも適用可能であり得る。各眼の追跡が、対応するディスプレイをワーピングさせるために使用されてもよい。いくつかの実施形態では、片眼のための眼追跡が、両眼のために使用されてもよい、(例えば、本デバイスが、片眼において、追跡を喪失するとき)。
種々の実施形態によると、単一フレーム時間遅れワーピングが、レンダリングを修正するために実施されてもよい。続いて、眼追跡ベースの偏移が、ワーピングされたレンダリングされた画像に適用され、異なる偏移値だけ、ピクセルの異なるセットを偏移させてもよい。したがって、眼追跡に基づくピクセル偏移が、独立型ソリューションとして実施され得るが、眼追跡に基づくピクセル偏移もまた、頭部姿勢ベースのワーピングに続いて、レンダリングされた画像フレーム上で実施されてもよい。眼追跡に基づくピクセル偏移は、MRデバイスのヘッドセット部分上に適用されてもよい。
図17-21は、表示される画像フレームの品質を改良するために、眼追跡ベースの偏移と併用され得る、付加的処理を図示する。図17は、レンダリングされた画像上に存在し得る、視覚的相違を図示する。レンダリングされた画像が、さらなる処理を伴わずに、表示される場合、ユーザが、継目を見ているとき、中心窩には、継目の上方および継目の下方からも同時にピクセルが見え得る。故に、継目における相違は、特に、それらが時間的に近接するため、容易に知覚される。眼追跡ベースの偏移が、図18に図示されるように適用され、1走査時間だけ下側レーザに送信されるデータを遅延させるとき、相違は、修正される。異なる色およびスポーク角度が、図19に示されるように、同時に投影されている場合でも、ユーザの中心窩には、それらが空間的に分離されるため、両方が同時に見えることはできない。
図20は、フレーム2倍化を伴う、眼追跡ベースの偏移の別の実施例を図示する。レンダリング2000は、フレーム2倍レンダリング2002によって改良される。種々の実施形態によると、異なるレンダリングされたフレームが、同時に表示されてもよい。例えば、フレームレートを60Hzから120Hzに2倍にすることは、レンダリングされたフレーム2002に図示されるように、誤スティッチングを10分の1に低減させ、より少ない可視断裂、運動から画像描画までのより短い待ち時間をもたらし、より小さいフレームバッファを要求し得る。
種々の実施形態によると、誤スティッチングはさらに、フライバック時間を最小限にし、および/または重複する行の数を最小限にすることによって、低減され得る。フライバック時間および重複行の数をゼロまで低減させることは、図21に示されるように、誤スティッチングを表示される画像フレームから排除するであろう。従来のシステムを使用すると、仮想オブジェクト2100は、誤スティッチング2102を伴って、ディスプレイデバイス上に表示され得る。フライバック時間および重複行の数をゼロまで低減させることは、誤スティッチングを表示される画像フレーム2104から排除する。
システムアーキテクチャ概要
システムアーキテクチャ概要
図22は、いくつかの実施形態による、例証的コンピューティングシステム2200(例えば、MRデバイス)のブロック図である。コンピュータシステム2200は、プロセッサ2207、システムメモリ2208(例えば、RAM)、静的記憶デバイス2209(例えば、ROM)、ディスクドライブ2210(例えば、磁気または光学)、通信インターフェース2214(例えば、モデムまたはEthernet(登録商標)カード)、ディスプレイ2211(例えば、CRTまたはLCD)、入力デバイス2212(例えば、キーボード)、およびカーソル制御等のサブシステムおよびデバイスを相互接続する、情報を通信するためのバス2206または他の通信機構を含む。
いくつかの実施形態によると、コンピュータシステム2200は、プロセッサ2207がシステムメモリ2208内に含有される1つまたはそれを上回る命令の1つまたはそれを上回るシーケンスを実行することによって、具体的動作を実施する。そのような命令は、静的記憶デバイス2209またはディスクドライブ2210等の別のコンピュータ可読/使用可能媒体からシステムメモリ2208の中に読み込まれてもよい。代替実施形態では、有線回路が、ソフトウェア命令の代わりに、またはそれと組み合わせて、本開示を実装するために使用されてもよい。したがって、実施形態は、ハードウェア回路および/またはソフトウェアの任意の具体的組み合わせに限定されない。用語「論理」は、本開示の全部または一部を実装するために使用される、任意の組み合わせのソフトウェアまたはハードウェアを意味し得る。
用語「非一過性コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、本明細書で使用されるように、実行のための命令をプロセッサ2207に提供する際に関与する、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ2210等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ2208等の動的メモリを含む。
一般的形態のコンピュータ可読媒体は、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM(例えば、NANDフラッシュ、NORフラッシュ)、任意の他のメモリチップまたはカートリッジ、またはコンピュータが読み取り得る、任意の他の媒体を含む。
いくつかの実施形態では、本開示を実践するための命令のシーケンスの実行は、単一コンピュータシステム2200によって実施される。いくつかの実施形態によると、通信リンク2215(例えば、LAN、PTSN、または無線ネットワーク)によって結合される、2つまたはそれを上回るコンピュータシステム2200が、相互に協調して、本開示を実践するために要求される命令のシーケンスを実施してもよい。
コンピュータシステム2200は、通信リンク2215および通信インターフェース2214を通して、プログラム、例えば、アプリケーションコードを含む、メッセージ、データ、および命令を伝送および受信してもよい。受信されたプログラムコードは、プロセッサ507によって、受信されるにつれて実行される、および/または後の実行のために、ディスクドライブ2210または他の不揮発性記憶装置内に記憶されてもよい。記憶媒体2231内のデータベース2232は、データインターフェース2233を介して、システム2200によってアクセス可能なデータを記憶するために使用されてもよい。
本開示は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、ユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、ユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙された順序で行われてもよい。
本開示の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本開示の他の詳細に関して、これらは、前述の参照特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことは、一般または論理的に採用されるような付加的作用の観点から、本開示の方法ベースの側面に関しても当てはまり得る。
加えて、本開示は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されたが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物(本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず)は、本開示の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。
また、説明される本発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の1つまたはそれを上回るものと組み合わせて、記載および請求され得ることが検討される。単数形の項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられる請求項で使用されるように、単数形「a」、「an」、「said」、および「the」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題のアイテムのうちの「少なくとも1つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。
そのような排他的専門用語を使用しなければ、本開示と関連付けられる請求項における用語「~を備える(comprising)」は、所与の数の要素がそのような請求項で列挙されるかどうかにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。
本開示の範疇は、提供される実施例および/または本明細書に限定されるべきではなく、むしろ、本開示と関連付けられる請求項の言語の範囲によってのみ限定されるべきである。
前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われてもよいことが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。
Claims (20)
- 視認者の瞳孔の位置に基づいて、画像フレームを変換するための方法であって、前記方法は、
コンピューティングデバイスによって、第1の画像フレームを取得することであって、前記第1の画像フレームは、前記視認者の瞳孔の第1の位置と関連付けられる第1の眺めに対応する、ことと、
前記コンピューティングデバイスによって、前記視認者の瞳孔の第2の位置を決定することと、
前記コンピューティングデバイスによって、前記第1の画像フレームに基づいて、前記視認者の瞳孔の第2の位置と関連付けられる第2の眺めに対応する第2の画像フレームを生成することであって、前記生成することは、
少なくとも、前記視認者の瞳孔の第2の位置に基づいて計算される第1の偏移値だけ、前記第2の画像フレームのピクセルの第1のセットを偏移させることと、
少なくとも、前記視認者の瞳孔の第2の位置に基づいて計算される第2の偏移値だけ、前記第2の画像フレームのピクセルの第2のセットを偏移させることと
を含む、ことと、
前記コンピューティングデバイスによって、接眼ディスプレイデバイス上に表示されるように、前記第2の画像フレームを接眼ディスプレイデバイスに伝送することと
を含む、方法。 - 前記コンピューティングデバイスによって、眼追跡デバイスから、前記視認者の瞳孔の位置と関連付けられるデータを受信することをさらに含み、前記瞳孔の第2の位置は、前記眼追跡デバイスから受信されたデータに基づいて決定される、請求項1に記載の方法。
- 前記第1の眺めはまた、前記視認者の第1の頭部位置と関連付けられ、前記方法はさらに、
前記コンピューティングデバイスによって、前記視認者の第2の頭部位置を推定することと、
前記コンピューティングデバイスによって、前記視認者の第2の頭部位置を使用して、中間のワーピングされた画像フレームを前記第1の画像フレームから生成することであって、前記第2の画像フレームは、前記中間のワーピングされた画像フレームを使用して生成される、ことと
を含む、請求項1に記載の方法。 - 前記接眼ディスプレイデバイスは、所定の走査パターンに従って、データを前記接眼ディスプレイデバイスのピクセル上に表示するレーザビーム走査ディスプレイであり、データは、前記接眼ディスプレイデバイスのピクセルの第2のセットと異なる瞬間において、前記接眼ディスプレイデバイスのピクセルの第1のセット上に表示される、請求項1に記載の方法。
- 前記レーザビーム走査ディスプレイは、少なくとも2つの同時レーザ走査を含む、請求項4に記載の方法。
- 前記瞳孔の位置は、前記視認者の頭部位置に対して決定される、請求項1に記載の方法。
- 前記瞳孔の位置は、前記接眼ディスプレイデバイスのピクセルに対して決定される、請求項1に記載の方法。
- 前記瞳孔の第1の位置、前記瞳孔の第2の位置、および前記視認者の瞳孔が前記第1の位置から前記第2の位置に辿り着くまでの経過した時間の関数として、第1の眼速度を計算することであって、前記第1の眼速度は、前記接眼ディスプレイデバイスに対して計算される、ことと、
第2の眼速度を計算することと、
前記コンピューティングデバイスによって、前記第1の眼速度に基づいて、前記第1の偏移値を計算し、前記第2の眼速度に基づいて、前記第2の偏移値を計算することと
をさらに含む、請求項1に記載の方法。 - 前記コンピューティングデバイスによって、前記第1の偏移値および前記視認者の瞳孔の後続位置に基づいて、前記第2の偏移値を計算することをさらに含む、請求項1に記載の方法。
- システムであって、
1つまたはそれを上回るプロセッサであって、
第1の画像フレームを取得することであって、前記第1の画像フレームは、視認者の瞳孔の第1の位置と関連付けられる第1の眺めに対応する、ことと、
前記視認者の瞳孔の第2の位置を決定することと、
前記第1の画像フレームに基づいて、前記視認者の瞳孔の第2の位置と関連付けられる第2の眺めに対応する第2の画像フレームを生成することであって、生成することは、
少なくとも、前記視認者の瞳孔の第2の位置に基づいて計算される第1の偏移値だけ、前記第2の画像フレームのピクセルの第1のセットを偏移させることと、
少なくとも、前記視認者の瞳孔の第2の位置に基づいて計算される第2の偏移値だけ、前記第2の画像フレームのピクセルの第2のセットを偏移させることと
を含む、ことと、
前記ディスプレイデバイス上に表示されるように、前記第2の画像フレームをディスプレイデバイスに伝送することと
を行うための命令を実行するように構成される、1つまたはそれを上回るプロセッサと、
第2の画像フレームを表示するように構成されるディスプレイデバイスと
を備える、システム。 - 眼追跡デバイスであって、
前記視認者の瞳孔を追跡することと、
前記視認者の瞳孔の位置と関連付けられるデータを、前記1つまたはそれを上回るプロセッサに伝送することであって、前記瞳孔の第2の位置は、前記眼追跡デバイスから受信されたデータに基づいて決定される、ことと
を行うように構成される、眼追跡デバイス
をさらに備える、請求項10に記載のシステム。 - 前記第1の眺めはまた、前記視認者の第1の頭部位置と関連付けられ、前記1つまたはそれを上回るプロセッサはさらに、
前記視認者の第2の頭部位置を推定することと、
前記視認者の第2の頭部位置を使用して、中間のワーピングされた画像フレームを前記第1の画像フレームから生成することであって、前記第2の画像フレームは、前記中間のワーピングされた画像フレームを使用して生成される、ことと
を行うための命令を実行するように構成される、請求項10に記載のシステム。 - 前記ディスプレイデバイスは、所定の走査パターンに従って、データを前記ディスプレイデバイスのピクセル上に表示するレーザビーム走査ディスプレイであり、データは、前記ディスプレイデバイスのピクセルの第2のセットと異なる瞬間において、前記ディスプレイデバイスのピクセルの第1のセット上に表示される、請求項10に記載のシステム。
- 前記レーザビーム走査ディスプレイは、少なくとも2つの同時レーザ走査を含む、請求項13に記載のシステム。
- 前記瞳孔の位置は、前記視認者の頭部位置に対して決定される、請求項10に記載のシステム。
- 前記瞳孔の位置は、前記ディスプレイデバイスのピクセルに対して決定される、請求項10に記載のシステム。
- 前記第1の眺めはまた、前記視認者の第1の頭部位置と関連付けられ、前記1つまたはそれを上回るプロセッサはさらに、
前記瞳孔の第1の位置、前記瞳孔の第2の位置、および前記視認者の瞳孔が前記第1の位置から前記第2の位置に辿り着くまでの経過した時間の関数として、第1の眼速度を計算することであって、前記第1の眼速度は、前記ディスプレイデバイスに対して計算される、ことと、
第2の眼速度を計算することと、
前記第1の眼速度に基づいて、前記第1の偏移値を計算し、前記第2の眼速度に基づいて、前記第2の偏移値を計算することと
を行うための命令を実行するように構成される、請求項10に記載のシステム。 - 前記第1の眺めはまた、前記視認者の第1の頭部位置と関連付けられ、前記1つまたはそれを上回るプロセッサはさらに、
前記第1の偏移値および前記視認者の瞳孔の後続位置に基づいて、前記第2の偏移値を計算するための命令を実行するように構成される、請求項10に記載のシステム。 - 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上に記憶される命令のシーケンスを有し、前記命令のシーケンスは、1つまたはそれを上回るプロセッサによって実行されると、前記プロセッサに、
第1の画像フレームを取得することであって、前記第1の画像フレームは、視認者の瞳孔の第1の位置と関連付けられる第1の眺めに対応する、ことと、
前記視認者の瞳孔の第2の位置を決定することと、
前記第1の画像フレームに基づいて、前記視認者の瞳孔の第2の位置と関連付けられる第2の眺めに対応する第2の画像フレームを生成することであって、前記生成することは、
少なくとも、前記視認者の瞳孔の第2の位置に基づいて計算される第1の偏移値だけ、前記第2の画像フレームのピクセルの第1のセットを偏移させることと、
少なくとも、前記視認者の瞳孔の第2の位置に基づいて計算される第2の偏移値だけ、前記第2の画像フレームのピクセルの第2のセットを偏移させることと
を含む、ことと、
接眼ディスプレイデバイス上に表示されるように、前記第2の画像フレームを接眼ディスプレイデバイスに伝送することと
を行わせる、非一過性コンピュータ可読媒体。 - 前記命令のシーケンスは、1つまたはそれを上回るプロセッサによって実行されると、さらに、前記プロセッサに、
前記瞳孔の第1の位置、前記瞳孔の第2の位置、および前記視認者の瞳孔が前記第1の位置から前記第2の位置に辿り着くまでの経過した時間の関数として、第1の眼速度を計算することであって、前記第1の眼速度は、前記接眼ディスプレイデバイスに対して計算される、ことと、
第2の眼速度を計算することと、
前記第1の眼速度に基づいて、前記第1の偏移値を計算し、前記第2の眼速度に基づいて、前記第2の偏移値を計算することと
を行わせる、請求項19に記載の非一過性コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063028411P | 2020-05-21 | 2020-05-21 | |
US63/028,411 | 2020-05-21 | ||
PCT/US2021/033503 WO2021236989A1 (en) | 2020-05-21 | 2021-05-20 | Warping for laser beam scanning displays using eye tracking |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023528264A true JP2023528264A (ja) | 2023-07-04 |
Family
ID=78608214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022570311A Pending JP2023528264A (ja) | 2020-05-21 | 2021-05-20 | 眼追跡を使用したレーザビーム走査ディスプレイのためのワーピング |
Country Status (5)
Country | Link |
---|---|
US (1) | US11631353B2 (ja) |
EP (1) | EP4154512A4 (ja) |
JP (1) | JP2023528264A (ja) |
CN (1) | CN115668100B (ja) |
WO (1) | WO2021236989A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
CN115668101A (zh) | 2020-05-21 | 2023-01-31 | 奇跃公司 | 使用眼睛跟踪对空间光调制显示器进行扭曲 |
US20220310037A1 (en) * | 2021-03-26 | 2022-09-29 | Lightspace Technologies, SIA | Method and system for reducing motion-to-photon latency in head-mounted display system |
CN115002444A (zh) * | 2022-05-26 | 2022-09-02 | 京东方科技集团股份有限公司 | 显示模组及其显示方法、显示装置、虚拟显示设备 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5953311B2 (ja) * | 2010-11-08 | 2016-07-20 | シーリアル テクノロジーズ ソシエテ アノニムSeereal Technologies S.A. | 表示装置 |
US8970495B1 (en) | 2012-03-09 | 2015-03-03 | Google Inc. | Image stabilization for color-sequential displays |
US8947783B2 (en) | 2013-01-02 | 2015-02-03 | Google Inc. | Optical combiner for near-eye display |
US9523856B2 (en) * | 2014-01-21 | 2016-12-20 | Osterhout Group, Inc. | See-through computer display systems |
US20160238852A1 (en) * | 2015-02-13 | 2016-08-18 | Castar, Inc. | Head mounted display performing post render processing |
US10338677B2 (en) * | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
WO2017147178A1 (en) | 2016-02-22 | 2017-08-31 | Google Inc. | Separate time-warping for a scene and an object for display of virtual reality content |
CN109690553A (zh) * | 2016-06-29 | 2019-04-26 | 醒眸行有限公司 | 执行眼睛注视跟踪的系统和方法 |
AU2017314940B2 (en) * | 2016-08-26 | 2021-09-23 | Magic Leap, Inc. | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
US10735649B2 (en) * | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
EP3765943A4 (en) * | 2018-03-16 | 2021-12-22 | Magic Leap, Inc. | DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS |
US11360553B2 (en) | 2018-04-19 | 2022-06-14 | Pcms Holdings, Inc. | Systems and methods employing predictive overfilling for virtual reality |
US10861215B2 (en) * | 2018-04-30 | 2020-12-08 | Qualcomm Incorporated | Asynchronous time and space warp with determination of region of interest |
CN111103971A (zh) * | 2018-10-29 | 2020-05-05 | 托比股份公司 | 头戴式装置在用户上的位置的确定 |
CN115668101A (zh) | 2020-05-21 | 2023-01-31 | 奇跃公司 | 使用眼睛跟踪对空间光调制显示器进行扭曲 |
-
2021
- 2021-05-20 JP JP2022570311A patent/JP2023528264A/ja active Pending
- 2021-05-20 US US17/326,034 patent/US11631353B2/en active Active
- 2021-05-20 WO PCT/US2021/033503 patent/WO2021236989A1/en unknown
- 2021-05-20 CN CN202180036315.XA patent/CN115668100B/zh active Active
- 2021-05-20 EP EP21809743.4A patent/EP4154512A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11631353B2 (en) | 2023-04-18 |
CN115668100B (zh) | 2023-10-27 |
US20210366334A1 (en) | 2021-11-25 |
WO2021236989A1 (en) | 2021-11-25 |
EP4154512A1 (en) | 2023-03-29 |
EP4154512A4 (en) | 2023-10-11 |
CN115668100A (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023528264A (ja) | 眼追跡を使用したレーザビーム走査ディスプレイのためのワーピング | |
EP3368170B1 (en) | Adjusting image frames based on tracking motion of eyes | |
US11755106B1 (en) | Glint-assisted gaze tracker | |
CN110402425B (zh) | 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法 | |
JP6747504B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11694300B2 (en) | Warping for spatial light modulating displays using eye tracking | |
JP6454851B2 (ja) | 3次元上の注視点の位置特定アルゴリズム | |
US20160299567A1 (en) | Retina location in late-stage re-projection | |
US10712817B1 (en) | Image re-projection for foveated rendering | |
WO2020003860A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CA2819660C (en) | System and method to achieve better eyelines in cg characters | |
WO2020090316A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2019204171A1 (en) | Adjusting gaze point based on determined offset adjustment | |
JP2024042704A (ja) | フィールド順次ディスプレイにおけるフィールド内サブコードタイミング | |
JP2017121082A (ja) | プログラム及びコンピュータ | |
US20220300120A1 (en) | Information processing apparatus, and control method | |
JP7367689B2 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
Linton | Would Gaze-Contingent Rendering Improve Depth Perception in Virtual and Augmented Reality? | |
JP2024520105A (ja) | 医用イメージング中の患者の動き抑制 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240501 |