JPWO2020154524A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2020154524A5 JPWO2020154524A5 JP2021542152A JP2021542152A JPWO2020154524A5 JP WO2020154524 A5 JPWO2020154524 A5 JP WO2020154524A5 JP 2021542152 A JP2021542152 A JP 2021542152A JP 2021542152 A JP2021542152 A JP 2021542152A JP WO2020154524 A5 JPWO2020154524 A5 JP WO2020154524A5
- Authority
- JP
- Japan
- Prior art keywords
- image
- display system
- hardware processor
- eye
- wearable display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001179 pupillary effect Effects 0.000 claims description 4
- 210000004087 cornea Anatomy 0.000 claims description 3
Description
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
（項目１）
ウェアラブルディスプレイシステムであって、
頭部搭載型ディスプレイであって、前記頭部搭載型ディスプレイは、光を前記頭部搭載型ディスプレイの装着者の眼に出力することによって、仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
少なくとも１つの光源であって、前記少なくとも１つの光源は、光を前記装着者の眼に向かって指向するように構成される、少なくとも１つの光源と、
少なくとも１つの眼追跡カメラであって、前記少なくとも１つの眼追跡カメラは、
前記装着者の眼の第１の画像であって、前記装着者の眼の第１の画像は、第１のフレームレートおよび第１の露光時間において捕捉される、前記装着者の眼の第１の画像と、
前記装着者の眼の第２の画像であって、前記装着者の眼の第２の画像は、前記第１のフレームレート以上の第２のフレームレートと、前記第１の露光時間未満の第２の露光時間とにおいて捕捉される、前記装着者の眼の第２の画像と
を捕捉するように構成される、少なくとも１つの眼追跡カメラと、
前記頭部搭載型ディスプレイおよび前記少なくとも１つの眼追跡カメラに通信可能に結合される少なくとも１つのハードウェアプロセッサであって、前記少なくとも１つのハードウェアプロセッサは、
前記第１の画像を分析し、前記眼の瞳孔中心を決定することと、
前記第２の画像を分析し、前記眼からの前記光源の反射の位置を決定することと、
前記瞳孔中心および前記反射の位置から、前記眼の視線方向を決定することと、
前記視線方向および前の視線方向データから、将来的視線時間における前記眼の将来的視線方向を推定することと、
前記頭部搭載型ディスプレイに、少なくとも部分的に、前記将来的視線方向に基づいて、前記将来的視線時間に、前記仮想コンテンツを提示させることと
を行うようにプログラムされる、少なくとも１つのハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。
（項目２）
前記少なくとも１つの光源は、少なくとも１つの赤外線光源を備える、項目１に記載のウェアラブルディスプレイシステム。
（項目３）
前記少なくとも１つのハードウェアプロセッサは、前記第１の画像または前記第２の画像を分析し、前記装着者の眼の回転中心または目線中心を決定するようにプログラムされる、項目１または項目２に記載のウェアラブルディスプレイシステム。
（項目４）
前記第２の画像を分析するために、前記少なくとも１つのハードウェアプロセッサは、閾値を前記第２の画像に適用する、前記第２の画像内の非最大値を識別する、または前記第２の画像内の非最大値を抑制または除去するようにプログラムされる、項目１－３のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目５）
前記第２の画像を分析するために、前記少なくとも１つのハードウェアプロセッサは、少なくとも部分的に、前記第２の画像からの前の画像内の前記光源の反射の位置に基づいて、前記第２の画像からの現在の画像内の前記光源の反射のための検索領域を識別するようにプログラムされる、項目１－４のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目６）
前記第２の画像を分析するために、前記少なくとも１つのハードウェアプロセッサは、
前記少なくとも１つの光源の複数の反射の共通速度を決定することと、
前記少なくとも１つの光源の反射の速度が、閾値量を上回って前記共通速度と異なるかどうかを決定することと
を行うようにプログラムされる、項目１－５のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目７）
前記第２の画像を分析するために、前記少なくとも１つのハードウェアプロセッサは、前記光源の反射が前記眼の角膜の非球状部分からであるかどうかを決定するようにプログラムされる、項目１－６のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目８）
前記第２の画像を分析するために、前記少なくとも１つのハードウェアプロセッサは、前記光源の反射の少なくとも部分的オクルージョンの存在を識別するようにプログラムされる、項目１－７のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目９）
前記少なくとも１つのハードウェアプロセッサは、少なくとも部分的に、前記光源の反射の位置および閃光－瞳孔関係に基づいて、前記瞳孔中心の推定される位置を決定するようにプログラムされる、項目１－８のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目１０）
前記閃光－瞳孔関係は、閃光位置と瞳孔中心位置との間の線形関係を含む、項目９に記載のウェアラブルディスプレイシステム。
（項目１１）
前記第１の露光時間は、２００μｓ～１，２００μｓの範囲内である、項目１－１０のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目１２）
前記第１のフレームレートは、１０フレーム／秒～６０フレーム／秒の範囲内である、項目１－１１のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目１３）
前記第２の露光時間は、５μｓ～１００μｓの範囲内である、項目１－１２のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目１４）
前記第２のフレームレートは、１００フレーム／秒～１，０００フレーム／秒の範囲内である、項目１－１３のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目１５）
前記第１の露光時間対前記第２の露光時間の比は、５～５０の範囲内である、項目１－１４のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目１６）
前記第２のフレームレート対前記第１のフレームレートの比は、１～１００の範囲内である、項目１－１５のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目１７）
前記将来的視線時間は、５ｍｓ～１００ｍｓの範囲内である、項目１－１６のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目１８）
前記少なくとも１つのハードウェアプロセッサは、
第１のハードウェアプロセッサであって、前記第１のハードウェアプロセッサは、前記ウェアラブルディスプレイシステムの非頭部搭載型コンポーネント上に配置される、第１のハードウェアプロセッサと、
第２のハードウェアプロセッサであって、前記第２のハードウェアプロセッサは、前記頭部搭載型ディスプレイ内または前記頭部搭載型ディスプレイ上に配置される、第２のハードウェアプロセッサと
を備え、
前記第１のハードウェアプロセッサは、前記第１の画像を分析するために利用され、
前記第２のハードウェアプロセッサは、前記第２の画像を分析するために利用される、
項目１－１７のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目１９）
前記第２のハードウェアプロセッサは、前記第２の画像のそれぞれの少なくとも一部を記憶するように構成されるメモリバッファを含み、またはそれと関連付けられ、前記第２のハードウェアプロセッサは、前記眼からの前記光源の反射の位置の決定後、前記第２の画像のそれぞれの少なくとも一部を削除するようにプログラムされる、項目１８に記載のウェアラブルディスプレイシステム。
（項目２０）
前記少なくとも１つのハードウェアプロセッサは、前記第１の画像と前記第２の画像を組み合わせないようにプログラムされる、項目１－１９のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目２１）
眼追跡のための方法であって、前記方法は、
眼追跡カメラを介して、第１のフレームレートおよび第１の露光時間において、眼の第１の画像を捕捉することと、
前記眼追跡カメラを介して、前記第１のフレームレート以上の第２のフレームレートと、前記第１の露光時間未満の第２の露光時間とにおいて、前記眼の第２の画像を捕捉することと、
少なくとも、前記第１の画像から、前記眼の瞳孔中心を決定することと、
少なくとも、前記第２の画像から、前記眼からの光源の反射の位置を決定することと、
前記瞳孔中心および前記反射の位置から、前記眼の視線方向を決定することと
を含む、方法。
（項目２２）
ディスプレイに、少なくとも部分的に、前記視線方向に基づいて、仮想コンテンツをレンダリングさせることをさらに含む、項目２１に記載の方法。
（項目２３）
少なくとも部分的に、前記視線方向および前の視線方向データに基づいて、将来的視線時間における将来的視線方向を推定することをさらに含む、項目２１または項目２２に記載の方法。
（項目２４）
ディスプレイに、少なくとも部分的に、前記将来的視線方向に基づいて、仮想コンテンツをレンダリングさせることをさらに含む、項目２３に記載の方法。
（項目２５）
前記第１の露光時間は、２００μｓ～１，２００μｓの範囲内である、項目２１－２４のいずれか１項に記載の方法。
（項目２６）
前記第１のフレームレートは、１０フレーム／秒～６０フレーム／秒の範囲内である、項目２１－２５のいずれか１項に記載の方法。
（項目２７）
前記第２の露光時間は、５μｓ～１００μｓの範囲内である、項目２１－２６のいずれか１項に記載の方法。
（項目２８）
前記第２のフレームレートは、１００フレーム／秒～１，０００フレーム／秒の範囲内である、項目２１－２７のいずれか１項に記載の方法。
（項目２９）
前記第１の露光時間対前記第２の露光時間の比は、５～５０の範囲内である、項目２１－２８のいずれか１項に記載の方法。
（項目３０）
前記第２のフレームレート対前記第１のフレームレートの比は、１～１００の範囲内である、項目２１－２９のいずれか１項に記載の方法。
（項目３１）
ウェアラブルディスプレイシステムであって、
頭部搭載型ディスプレイであって、前記頭部搭載型ディスプレイは、光を前記頭部搭載型ディスプレイの装着者の眼に出力することによって、仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
光源であって、前記光源は、光を前記装着者の眼に向かって指向するように構成される、光源と、
眼追跡カメラであって、前記眼追跡カメラは、前記装着者の眼の画像を捕捉するように構成され、前記眼追跡カメラは、交互に、
第１の露光時間において、第１の画像を捕捉することと、
前記第１の露光時間未満の第２の露光時間において、第２の画像を捕捉することと
を行うように構成される、眼追跡カメラと、
複数の電子ハードウェアコンポーネントであって、そのうちの少なくとも１つは、前記頭部搭載型ディスプレイ、前記眼追跡カメラ、および前記複数の電子ハードウェアコンポーネント内の少なくとも１つの他の電子ハードウェアコンポーネントに通信可能に結合されるハードウェアプロセッサを備え、前記ハードウェアプロセッサは、
前記眼追跡カメラによって前記第１の露光時間において捕捉された前記装着者の眼の各第１の画像を受信し、前記少なくとも１つの他の電子ハードウェアコンポーネントに中継することと、
前記眼追跡カメラによって前記第２の露光時間において捕捉された前記装着者の眼の各第２の画像のピクセルを受信し、バッファに記憶することと、
前記バッファ内に記憶されたピクセルを分析し、前記光源の反射が、前記眼追跡カメラによって前記第２の露光時間において捕捉された前記装着者の眼の各第２の画像内に存在する場所を識別することと、
前記場所を示す場所データを前記少なくとも１つの他の電子ハードウェアコンポーネントに伝送することと
を行うようにプログラムされる、複数の電子ハードウェアコンポーネントと
を備え、
前記少なくとも１つの他の電子ハードウェアコンポーネントは、
前記眼追跡カメラによって前記第１の露光時間において捕捉された前記装着者の眼の各第１の画像を分析し、前記眼の瞳孔中心の場所を識別することと、
前記瞳孔中心の場所および前記ハードウェアプロセッサから受信された場所データから、前記装着者の眼の視線方向を決定することと
を行うように構成される、ウェアラブルディスプレイシステム。
（項目３２）
前記第１の露光時間は、２００μｓ～１，２００μｓの範囲内である、項目３１に記載のウェアラブルディスプレイシステム。
（項目３３）
前記第２の露光時間は、５μｓ～１００μｓの範囲内である、項目３１または項目３２に記載のウェアラブルディスプレイシステム。
（項目３４）
前記眼追跡カメラは、１０フレーム／秒～６０フレーム／秒の範囲内である第１のフレームレートにおいて、前記第１の画像を捕捉するように構成される、項目３１－３３のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目３５）
前記眼追跡カメラは、１００フレーム／秒～１，０００フレーム／秒の範囲内である第２のフレームレートにおいて、前記第２の画像を捕捉するように構成される、項目３１－３４のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目３６）
前記第１の露光時間対前記第２の露光時間の比は、５～５０の範囲内である、項目３１－３５のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目３７）
前記少なくとも１つの他の電子ハードウェアコンポーネントは、前記ウェアラブルディスプレイシステムの非頭部搭載型コンポーネント内または前記非頭部搭載型コンポーネント上に配置される、項目３１－３６のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目３８）
前記非頭部搭載型コンポーネントは、ベルトパックを備える、項目３７に記載のウェアラブルディスプレイシステム。
（項目３９）
前記眼の各第２の画像のピクセルは、各第２の画像のピクセルの全てより少ないピクセルを含む、項目３１－３８のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目４０）
前記ピクセルは、ｎ×ｍのピクセルのアレイを含み、ｎおよびｍはそれぞれ、１～２０の範囲内の整数である、項目３１－３９のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目４１）
前記複数の電子ハードウェアコンポーネントはさらに、
前記視線方向および前の視線方向データから、将来的視線時間における前記眼の将来的視線方向を推定することと、
前記頭部搭載型ディスプレイに、少なくとも部分的に、前記将来的視線方向に基づいて、前記将来的視線時間に、仮想コンテンツを提示させることと
を行うように構成される、項目３１－４０のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目４２）
前記ハードウェアプロセッサは、閾値を前記バッファ内に記憶されたピクセルに適用する、前記バッファ内に記憶されたピクセル内の非最大値を識別する、または前記バッファ内に記憶されたピクセル内の非最大値を抑制または除去するようにプログラムされる、項目３１－４１のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目４３）
前記ハードウェアプロセッサは、
前記光源の反射の共通速度を決定することと、
前記光源の反射の速度が閾値量を上回って前記共通速度と異なるかどうかを決定することと
を行うようにプログラムされる、項目３１－４２のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目４４）
前記ハードウェアプロセッサは、前記光源の反射の場所が前記眼の角膜の非球状部分からであるかどうかを決定するようにプログラムされる、項目３１－４３のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目４５）
前記ハードウェアプロセッサは、前記光源の反射の少なくとも部分的オクルージョンの存在を識別するようにプログラムされる、項目３１－４４のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目４６）
前記少なくとも１つの他の電子ハードウェアコンポーネントは、少なくとも部分的に、前記光源の反射の場所および閃光－瞳孔関係に基づいて、前記瞳孔中心の場所を識別するようにプログラムされる、項目３１－４５のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目４７）
前記第２のハードウェアプロセッサは、閃光を識別し、前記閃光に関する閃光位置情報を前記第１のハードウェアプロセッサに提供するように構成される、項目１８－２０のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目４８）
前記第１のハードウェアプロセッサは、視線を前記閃光位置から決定するように構成される、項目４７に記載のウェアラブルディスプレイシステム。
（項目４９）
前記第２のハードウェアプロセッサは、閃光候補を識別し、前記閃光候補に関する位置情報を前記第１のハードウェアプロセッサに提供するように構成される、項目１８－２０のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目５０）
前記第１のハードウェアプロセッサは、前記閃光候補のサブセットを識別し、前記閃光候補のサブセットを使用して、１つ以上の動作を実施するように構成される、項目４９に記載のウェアラブルディスプレイシステム。
（項目５１）
前記第１のハードウェアプロセッサは、前記閃光候補に基づいて、視線を決定するように構成される、項目５０に記載のウェアラブルディスプレイシステム。
（項目５２）
前記ハードウェアプロセッサは、閃光候補および前記閃光候補の関連付けられる場所を識別し、前記閃光候補の場所を示す場所データを前記少なくとも１つの他の電子ハードウェアコンポーネントに伝送するようにプログラムされる、項目３１－４６のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目５３）
前記少なくとも１つの他の電子ハードウェアコンポーネントは、前記閃光候補のサブセットを識別し、前記閃光候補のサブセットを使用して、１つ以上の動作を実施するように構成される、項目５２に記載のウェアラブルディスプレイシステム。
（項目５４）
前記少なくとも１つの他の電子ハードウェアコンポーネントは、前記装着者の眼の視線方向を前記閃光候補のサブセットから決定するように構成される、項目５３に記載のウェアラブルディスプレイシステム。
Details of one or more implementations of the subject matter described in this specification are set forth in the accompanying drawings and the description below. Other features, aspects, and advantages will be apparent from the description, drawings, and claims. Neither this summary nor the following detailed description is intended to define or limit the scope of the inventive subject matter.
The present invention provides, for example, the following.
(Item 1)
A wearable display system,
1. A head-mounted display, said head-mounted display configured to present virtual content by outputting light to eyes of a wearer of said head-mounted display. a mold display;
at least one light source, said at least one light source configured to direct light towards said wearer's eye;
at least one eye-tracking camera, said at least one eye-tracking camera comprising:
A first image of the wearer's eye, wherein the first image of the wearer's eye is captured at a first frame rate and a first exposure time. and an image of
a second image of the eye of the wearer, the second image of the eye of the wearer comprising a second frame rate greater than or equal to the first frame rate and a second frame rate less than the first exposure time; a second image of the wearer's eye captured at an exposure time of 2;
at least one eye-tracking camera configured to capture
at least one hardware processor communicatively coupled to the head mounted display and the at least one eye tracking camera, the at least one hardware processor comprising:
analyzing the first image to determine a pupillary center of the eye;
analyzing the second image to determine the location of the reflection of the light source from the eye;
determining a viewing direction of the eye from the pupil center and the location of the reflection;
estimating a future gaze direction of the eye at a future gaze time from the gaze direction and previous gaze direction data;
causing the head-mounted display to present the virtual content at the future gaze time based, at least in part, on the future gaze direction;
at least one hardware processor programmed to perform
A wearable display system.
(Item 2)
2. The wearable display system of Item 1, wherein said at least one light source comprises at least one infrared light source.
(Item 3)
In item 1 or item 2, wherein said at least one hardware processor is programmed to analyze said first image or said second image and determine a center of rotation or eye line center of said wearer's eye. The wearable display system described.
(Item 4)
To analyze the second image, the at least one hardware processor applies a threshold to the second image, identifies non-maximal values in the second image, or 4. The wearable display system of any one of items 1-3, programmed to suppress or remove non-maxima in the image.
(Item 5)
To analyze the second image, the at least one hardware processor analyzes the second image based, at least in part, on the position of the light source reflection in a previous image from the second image. 5. The wearable display system of any one of items 1-4, programmed to identify a search area for reflection of said light source in a current image from an image of .
(Item 6)
to analyze the second image, the at least one hardware processor comprising:
determining a common velocity of multiple reflections of the at least one light source;
determining whether the speed of reflection of the at least one light source differs from the common speed by more than a threshold amount;
6. The wearable display system of any one of items 1-5, programmed to perform
(Item 7)
To analyze the second image, the at least one hardware processor is programmed to determine whether the reflection of the light source is from a non-spherical portion of the cornea of the eye, item 1- 7. The wearable display system according to any one of 6.
(Item 8)
8. Any one of items 1-7, wherein for analyzing the second image, the at least one hardware processor is programmed to identify the presence of at least partial occlusion of the reflection of the light source. The wearable display system described.
(Item 9)
The at least one hardware processor is programmed to determine an estimated location of the pupil center based, at least in part, on a location of the light source reflection and a flash-pupil relationship, items 1-8. Wearable display system according to any one of.
(Item 10)
10. The wearable display system of Item 9, wherein the flash-pupil relationship comprises a linear relationship between flash location and pupil center location.
(Item 11)
The wearable display system according to any one of items 1-10, wherein the first exposure time is in the range of 200 μs to 1,200 μs.
(Item 12)
The wearable display system according to any one of items 1-11, wherein the first frame rate is in the range of 10 frames/second to 60 frames/second.
(Item 13)
The wearable display system according to any one of items 1-12, wherein the second exposure time is in the range of 5 μs to 100 μs.
(Item 14)
14. The wearable display system according to any one of items 1-13, wherein the second frame rate is in the range of 100 frames/second to 1,000 frames/second.
(Item 15)
15. The wearable display system according to any one of items 1-14, wherein the ratio of said first exposure time to said second exposure time is within the range of 5-50.
(Item 16)
16. The wearable display system of any one of items 1-15, wherein the ratio of the second frame rate to the first frame rate is within the range of 1-100.
(Item 17)
17. The wearable display system of any one of items 1-16, wherein the future line-of-sight time is in the range of 5 ms to 100 ms.
(Item 18)
The at least one hardware processor
a first hardware processor, said first hardware processor being disposed on a non-head mounted component of said wearable display system;
a second hardware processor, said second hardware processor located in or on said head mounted display; and
with
the first hardware processor is utilized to analyze the first image;
the second hardware processor is utilized to analyze the second image;
The wearable display system according to any one of items 1-17.
(Item 19)
The second hardware processor includes or is associated with a memory buffer configured to store at least a portion of each of the second images, the second hardware processor comprising: 19. Wearable display system according to item 18, programmed to delete at least part of each of said second images after determining the position of the reflection of said light source.
(Item 20)
20. The wearable display system of any one of items 1-19, wherein said at least one hardware processor is programmed not to combine said first image and said second image.
(Item 21)
A method for eye tracking, said method comprising:
capturing a first image of the eye at a first frame rate and a first exposure time via an eye tracking camera;
Capturing a second image of the eye via the eye tracking camera at a second frame rate equal to or greater than the first frame rate and a second exposure time less than the first exposure time. When,
determining a pupillary center of the eye from at least the first image;
determining from at least the second image the location of the reflection of a light source from the eye;
determining a viewing direction of the eye from the pupil center and the location of the reflection;
A method, including
(Item 22)
22. The method of item 21, further comprising causing a display to render virtual content based, at least in part, on said viewing direction.
(Item 23)
23. The method of item 21 or item 22, further comprising estimating a future gaze direction at a future gaze time based, at least in part, on said gaze direction and previous gaze direction data.
(Item 24)
24. The method of item 23, further comprising causing a display to render virtual content based, at least in part, on said future viewing direction.
(Item 25)
25. The method of any one of items 21-24, wherein the first exposure time is in the range of 200 μs to 1,200 μs.
(Item 26)
26. The method of any one of items 21-25, wherein the first frame rate is in the range of 10 frames/second to 60 frames/second.
(Item 27)
27. The method of any one of items 21-26, wherein the second exposure time is in the range of 5 μs to 100 μs.
(Item 28)
28. The method of any one of items 21-27, wherein the second frame rate is in the range of 100 frames/second to 1,000 frames/second.
(Item 29)
29. The method of any one of items 21-28, wherein the ratio of the first exposure time to the second exposure time is within the range of 5-50.
(Item 30)
30. The method of any one of items 21-29, wherein the ratio of the second frame rate to the first frame rate is within the range of 1-100.
(Item 31)
A wearable display system,
1. A head-mounted display, said head-mounted display configured to present virtual content by outputting light to eyes of a wearer of said head-mounted display. a mold display;
a light source, the light source configured to direct light toward the eye of the wearer;
An eye-tracking camera, the eye-tracking camera configured to capture an image of the eye of the wearer, the eye-tracking camera alternately:
Capturing a first image at a first exposure time;
capturing a second image at a second exposure time that is less than the first exposure time;
an eye-tracking camera configured to perform
a plurality of electronic hardware components, at least one of which communicates with the head mounted display, the eye tracking camera, and at least one other electronic hardware component in the plurality of electronic hardware components; a hardware processor operably coupled to:
receiving and relaying to the at least one other electronic hardware component each first image of the wearer's eye captured at the first exposure time by the eye tracking camera;
receiving and storing in a buffer pixels of each second image of the wearer's eye captured at the second exposure time by the eye tracking camera;
analyzing the pixels stored in the buffer to determine where reflections of the light source are present in each second image of the wearer's eye captured at the second exposure time by the eye tracking camera; identifying;
transmitting location data indicative of the location to the at least one other electronic hardware component;
a number of electronic hardware components programmed to
with
The at least one other electronic hardware component comprises:
analyzing each first image of the wearer's eye captured at the first exposure time by the eye tracking camera to identify the location of the pupillary center of the eye;
determining a gaze direction of the wearer's eye from the location of the pupil center and location data received from the hardware processor;
A wearable display system configured to:
(Item 32)
32. The wearable display system of item 31, wherein the first exposure time is in the range of 200 μs to 1,200 μs.
(Item 33)
33. The wearable display system according to item 31 or item 32, wherein the second exposure time is in the range of 5 μs to 100 μs.
(Item 34)
Any one of items 31-33, wherein the eye tracking camera is configured to capture the first image at a first frame rate that is in the range of 10 frames/second to 60 frames/second. The wearable display system described in .
(Item 35)
Any of items 31-34, wherein the eye tracking camera is configured to capture the second image at a second frame rate that is in the range of 100 frames/second to 1,000 frames/second. The wearable display system according to item 1.
(Item 36)
36. The wearable display system of any one of items 31-35, wherein the ratio of the first exposure time to the second exposure time is within the range of 5-50.
(Item 37)
37. Any one of items 31-36, wherein the at least one other electronic hardware component is arranged in or on the non-head mounted component of the wearable display system. wearable display system.
(Item 38)
38. The wearable display system of Item 37, wherein the non-head mounted component comprises a beltpack.
(Item 39)
39. The wearable display system of any one of items 31-38, wherein each second image pixel of the eye comprises less than all of each second image pixel.
(Item 40)
40. The wearable display system of any one of items 31-39, wherein the pixels comprise an array of nxm pixels, where n and m are each integers in the range 1-20.
(Item 41)
The plurality of electronic hardware components further comprises:
estimating a future gaze direction of the eye at a future gaze time from the gaze direction and previous gaze direction data;
causing the head-mounted display to present virtual content at the future gaze time based, at least in part, on the future gaze direction;
41. A wearable display system according to any one of items 31-40, which is configured to:
(Item 42)
The hardware processor applies a threshold value to pixels stored in the buffer, identifies non-maximum values in pixels stored in the buffer, or determines non-maximum values in pixels stored in the buffer. 42. A wearable display system according to any one of items 31-41, programmed to suppress or remove values.
(Item 43)
The hardware processor is
determining a common velocity of reflection of the light source;
determining whether the speed of reflection of the light source differs from the common speed by more than a threshold amount;
43. The wearable display system of any one of items 31-42, programmed to perform
(Item 44)
44. The wearable display system of any one of items 31-43, wherein the hardware processor is programmed to determine if the location of the reflection of the light source is from a non-spherical portion of the cornea of the eye. .
(Item 45)
45. The wearable display system of any one of items 31-44, wherein the hardware processor is programmed to identify the presence of at least partial occlusion of reflections of the light source.
(Item 46)
The at least one other electronic hardware component is programmed to identify the location of the pupil center based, at least in part, on the location of the light source reflection and a flash-pupil relationship, items 31-45. Wearable display system according to any one of.
(Item 47)
21. The wearable of any one of items 18-20, wherein the second hardware processor is configured to identify flashes and provide flash location information regarding the flashes to the first hardware processor. display system.
(Item 48)
48. The wearable display system of Item 47, wherein the first hardware processor is configured to determine a line of sight from the flash location.
(Item 49)
21. Any one of items 18-20, wherein the second hardware processor is configured to identify a flash candidate and provide location information about the flash candidate to the first hardware processor. wearable display system.
(Item 50)
50. The wearable display system of item 49, wherein the first hardware processor is configured to identify a subset of the candidate flashes and perform one or more operations using the subset of the candidate flashes. .
(Item 51)
51. The wearable display system of item 50, wherein the first hardware processor is configured to determine a line of sight based on the candidate flashes.
(Item 52)
wherein said hardware processor is programmed to identify a candidate flash and an associated location of said candidate flash and to transmit location data indicating a location of said candidate flash to said at least one other electronic hardware component; 47. The wearable display system according to any one of Clauses 31-46.
(Item 53)
53. The clause 52, wherein the at least one other electronic hardware component is configured to identify a subset of the candidate flashes and perform one or more operations using the subset of the candidate flashes. wearable display system.
(Item 54)
54. The wearable display system of item 53, wherein the at least one other electronic hardware component is configured to determine a gaze direction of the wearer's eye from the subset of candidate flashes.
Claims (20)
頭部搭載型ディスプレイであって、前記頭部搭載型ディスプレイは、光を前記頭部搭載型ディスプレイの装着者の眼に出力することによって、仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
少なくとも１つの光源であって、前記少なくとも１つの光源は、光を前記装着者の眼に向かって指向するように構成される、少なくとも１つの光源と、
少なくとも１つの眼追跡カメラであって、前記少なくとも１つの眼追跡カメラは、
前記装着者の眼の第１の画像であって、前記装着者の眼の第１の画像は、第１のフレームレートおよび第１の露光時間において捕捉される、前記装着者の眼の第１の画像と、
前記装着者の眼の第２の画像であって、前記装着者の眼の第２の画像は、前記第１のフレームレート以上の第２のフレームレートと、前記第１の露光時間未満の第２の露光時間とにおいて捕捉される、前記装着者の眼の第２の画像と
を捕捉するように構成される、少なくとも１つの眼追跡カメラと、
前記頭部搭載型ディスプレイおよび前記少なくとも１つの眼追跡カメラに通信可能に結合される少なくとも１つのハードウェアプロセッサであって、前記少なくとも１つのハードウェアプロセッサは、
前記第１の画像を分析し、前記眼の瞳孔中心を決定することと、
前記第２の画像を分析し、前記眼からの前記光源の反射の位置を決定することと、
前記瞳孔中心および前記反射の位置から、前記眼の視線方向を決定することと、
前記視線方向および前の視線方向データから、将来的視線時間における前記眼の将来的視線方向を推定することと、
前記頭部搭載型ディスプレイに、前記将来的視線方向に少なくとも部分的に基づいて、前記将来的視線時間に、前記仮想コンテンツを提示させることと
を行うようにプログラムされる、少なくとも１つのハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。 A wearable display system,
1. A head-mounted display, said head-mounted display configured to present virtual content by outputting light to eyes of a wearer of said head-mounted display. a mold display;
at least one light source, said at least one light source configured to direct light towards said wearer's eye;
at least one eye-tracking camera, said at least one eye-tracking camera comprising:
A first image of the wearer's eye, wherein the first image of the wearer's eye is captured at a first frame rate and a first exposure time. and an image of
a second image of the eye of the wearer, the second image of the eye of the wearer comprising a second frame rate greater than or equal to the first frame rate and a second frame rate less than the first exposure time; at least one eye tracking camera configured to capture a second image of the wearer's eye captured at an exposure time of 2;
at least one hardware processor communicatively coupled to the head mounted display and the at least one eye tracking camera, the at least one hardware processor comprising:
analyzing the first image to determine a pupillary center of the eye;
analyzing the second image to determine the location of the reflection of the light source from the eye;
determining a viewing direction of the eye from the pupil center and the location of the reflection;
estimating a future gaze direction of the eye at a future gaze time from the gaze direction and previous gaze direction data;
at least one hardware processor programmed to cause the head mounted display to present the virtual content at the future gaze time based at least in part on the future gaze direction. A wearable display system comprising and .
前記少なくとも１つの光源の複数の反射の共通速度を決定することと、
前記少なくとも１つの光源の反射の速度が、閾値量を上回って前記共通速度と異なるかどうかを決定することと
を行うようにプログラムされる、請求項１－５のいずれか１項に記載のウェアラブルディスプレイシステム。 to analyze the second image, the at least one hardware processor comprising:
determining a common velocity of multiple reflections of the at least one light source;
6. The wearable of any one of claims 1-5, programmed to: determine if the speed of reflection of said at least one light source differs from said common speed by more than a threshold amount. display system.
第１のハードウェアプロセッサであって、前記第１のハードウェアプロセッサは、前記ウェアラブルディスプレイシステムの非頭部搭載型コンポーネント上に配置される、第１のハードウェアプロセッサと、
第２のハードウェアプロセッサであって、前記第２のハードウェアプロセッサは、前記頭部搭載型ディスプレイ内または前記頭部搭載型ディスプレイ上に配置される、第２のハードウェアプロセッサと
を備え、
前記第１のハードウェアプロセッサは、前記第１の画像を分析するために利用され、
前記第２のハードウェアプロセッサは、前記第２の画像を分析するために利用される、
請求項１－１７のいずれか１項に記載のウェアラブルディスプレイシステム。 The at least one hardware processor
a first hardware processor, said first hardware processor being disposed on a non-head mounted component of said wearable display system;
a second hardware processor, said second hardware processor located in or on said head mounted display;
the first hardware processor is utilized to analyze the first image;
the second hardware processor is utilized to analyze the second image;
A wearable display system according to any one of claims 1-17.
The wearable display system of any one of claims 1-19, wherein said at least one hardware processor is programmed not to combine said first image and said second image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024014027A JP2024036459A (en) | 2019-01-25 | 2024-02-01 | Eye tracking using images with different exposure times |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962797072P | 2019-01-25 | 2019-01-25 | |
| US62/797,072 | 2019-01-25 | ||
| PCT/US2020/014824 WO2020154524A1 (en) | 2019-01-25 | 2020-01-23 | Eye-tracking using images having different exposure times |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024014027A Division JP2024036459A (en) | 2019-01-25 | 2024-02-01 | Eye tracking using images with different exposure times |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2022523021A JP2022523021A (en) | 2022-04-21 |
| JPWO2020154524A5 true JPWO2020154524A5 (en) | 2023-01-25 |
| JP7431246B2 JP7431246B2 (en) | 2024-02-14 |
Family
ID=71733636
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021542152A Active JP7431246B2 (en) | 2019-01-25 | 2020-01-23 | Eye tracking using images with different exposure times |
| JP2024014027A Pending JP2024036459A (en) | 2019-01-25 | 2024-02-01 | Eye tracking using images with different exposure times |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024014027A Pending JP2024036459A (en) | 2019-01-25 | 2024-02-01 | Eye tracking using images with different exposure times |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11334154B2 (en) |
| EP (1) | EP3914997A4 (en) |
| JP (2) | JP7431246B2 (en) |
| CN (1) | CN113614783A (en) |
| WO (1) | WO2020154524A1 (en) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11334154B2 (en) | 2019-01-25 | 2022-05-17 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
| CN111757089A (en) * | 2019-03-29 | 2020-10-09 | 托比股份公司 | Method and system for rendering images with pupil enhancement adjustment of the eye |
| US11315288B2 (en) | 2019-05-20 | 2022-04-26 | Magic Leap, Inc. | Systems and techniques for estimating eye pose |
| US11302291B1 (en) * | 2019-11-27 | 2022-04-12 | Amazon Technologies, Inc. | Device agnostic user interface generation |
| US10871825B1 (en) * | 2019-12-04 | 2020-12-22 | Facebook Technologies, Llc | Predictive eye tracking systems and methods for variable focus electronic displays |
| US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
| US11568610B2 (en) | 2020-05-12 | 2023-01-31 | Magic Leap, Inc. | Privacy preserving expression generation for augmented or virtual reality client applications |
| US11698535B2 (en) | 2020-08-14 | 2023-07-11 | Hes Ip Holdings, Llc | Systems and methods for superimposing virtual image on real-time image |
| JP2023541495A (en) | 2020-09-03 | 2023-10-03 | ヒーズ アイピー ホールディングス エルエルシー | Systems and methods for improving binocular vision |
| GB2598953A (en) * | 2020-09-22 | 2022-03-23 | Sony Interactive Entertainment Inc | Head mounted display |
| CN116507949A (en) * | 2020-09-22 | 2023-07-28 | 苹果公司 | Flash analysis using multi-zone lenses |
| CN112153306B (en) * | 2020-09-30 | 2022-02-25 | 深圳市商汤科技有限公司 | Image acquisition system, method and device, electronic equipment and wearable equipment |
| EP4206755A4 (en) * | 2020-10-05 | 2024-03-06 | Sony Group Corp | Gaze detection device, and display device |
| US11593962B2 (en) | 2020-12-29 | 2023-02-28 | Tobii Ab | Eye gaze tracking system, associated methods and computer programs |
| US20220358670A1 (en) * | 2021-05-04 | 2022-11-10 | Varjo Technologies Oy | Tracking method for image generation, a computer program product and a computer system |
Family Cites Families (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| JP4452835B2 (en) | 2006-07-31 | 2010-04-21 | 国立大学法人静岡大学 | Method and apparatus for detecting pupils |
| US20110170061A1 (en) | 2010-01-08 | 2011-07-14 | Gordon Gary B | Gaze Point Tracking Using Polarized Light |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| KR101997845B1 (en) | 2010-12-24 | 2019-10-01 | 매직 립, 인코포레이티드 | An ergonomic head mounted display device and optical system |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| WO2012154620A2 (en) | 2011-05-06 | 2012-11-15 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| EP2760363A4 (en) | 2011-09-29 | 2015-06-24 | Magic Leap Inc | Tactile glove for human-computer interaction |
| WO2013085639A1 (en) | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US8971570B1 (en) * | 2011-11-04 | 2015-03-03 | Google Inc. | Dual LED usage for glint detection |
| CA3111134A1 (en) | 2012-04-05 | 2013-10-10 | Magic Leap, Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| EP2696259B1 (en) * | 2012-08-09 | 2021-10-13 | Tobii AB | Fast wake-up in a gaze tracking system |
| KR20150054967A (en) | 2012-09-11 | 2015-05-20 | 매직 립, 인코포레이티드 | Ergonomic head mounted display device and optical system |
| KR102274413B1 (en) | 2013-01-15 | 2021-07-07 | 매직 립, 인코포레이티드 | Ultra-high resolution scanning fiber display |
| KR20230044041A (en) | 2013-03-11 | 2023-03-31 | 매직 립, 인코포레이티드 | System and method for augmented and virtual reality |
| US9417452B2 (en) | 2013-03-15 | 2016-08-16 | Magic Leap, Inc. | Display system and method |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US10310597B2 (en) * | 2013-09-03 | 2019-06-04 | Tobii Ab | Portable eye tracking device |
| CA3134562A1 (en) | 2013-10-16 | 2015-04-23 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| CA2931776A1 (en) | 2013-11-27 | 2015-06-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| EP3080751B1 (en) | 2013-12-09 | 2019-08-14 | Apple Inc. | Method for operating an eye tracking device and eye tracking device for providing an active power management |
| EP3100098B8 (en) | 2014-01-31 | 2022-10-05 | Magic Leap, Inc. | Multi-focal display system and method |
| CN110376743B (en) | 2014-01-31 | 2022-03-04 | 奇跃公司 | Multi-focus display system and method |
| US9886630B2 (en) | 2014-02-21 | 2018-02-06 | Tobii Ab | Apparatus and method for robust eye/gaze tracking |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| EP3140780B1 (en) | 2014-05-09 | 2020-11-04 | Google LLC | Systems and methods for discerning eye signals and continuous biometric identification |
| CA3124368C (en) | 2014-05-30 | 2023-04-25 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| US9572488B2 (en) | 2014-09-23 | 2017-02-21 | Gn Otometrics A/S | Head mountable device for measuring eye movement |
| NZ773844A (en) | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
| JP7029961B2 (en) | 2015-05-19 | 2022-03-04 | マジック リープ， インコーポレイテッド | Semi-global shutter imager |
| US10089526B2 (en) | 2015-08-21 | 2018-10-02 | Magic Leap, Inc. | Eyelid shape estimation |
| CN112836664A (en) | 2015-08-21 | 2021-05-25 | 奇跃公司 | Eyelid shape estimation using eye pose measurements |
| US10192528B2 (en) | 2016-03-31 | 2019-01-29 | Sony Interactive Entertainment Inc. | Real-time user adaptive foveated rendering |
| EP3484343B1 (en) | 2016-07-14 | 2024-01-10 | Magic Leap, Inc. | Iris boundary estimation using cornea curvature |
| EP3499462B1 (en) | 2016-08-12 | 2021-03-10 | National University Corporation Shizuoka University | Line-of-sight detection device |
| KR102269065B1 (en) | 2016-10-05 | 2021-06-24 | 매직 립, 인코포레이티드 | Periocular Testing for Mixed Reality Correction |
| JP7093773B2 (en) | 2016-11-10 | 2022-06-30 | マジック リープ， インコーポレイテッド | Methods and systems for multiple F-number lenses |
| CN110100252B (en) | 2016-12-23 | 2023-07-25 | 奇跃公司 | Techniques for determining settings of a content capture device |
| WO2018164104A1 (en) | 2017-03-08 | 2018-09-13 | 国立大学法人静岡大学 | Eye image processing device |
| CA3055572C (en) | 2017-03-21 | 2023-09-19 | Magic Leap, Inc. | Depth sensing techniques for virtual, augmented, and mixed reality systems |
| KR102524006B1 (en) | 2017-03-22 | 2023-04-20 | 매직 립, 인코포레이티드 | Depth-Based Foveated Rendering for Display Systems |
| CA3083227A1 (en) | 2017-12-13 | 2019-06-20 | Magic Leap, Inc. | Global shutter pixel circuit and method for computer vision applications |
| IL275824B1 (en) | 2018-01-17 | 2024-04-01 | Magic Leap Inc | Display systems and methods for determining registration between a display and a user's eyes |
| IL305833A (en) | 2018-01-17 | 2023-11-01 | Magic Leap Inc | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| US11334154B2 (en) * | 2019-01-25 | 2022-05-17 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
-
2020
- 2020-01-23 US US16/751,076 patent/US11334154B2/en active Active
- 2020-01-23 EP EP20744497.7A patent/EP3914997A4/en active Pending
- 2020-01-23 WO PCT/US2020/014824 patent/WO2020154524A1/en unknown
- 2020-01-23 CN CN202080023527.XA patent/CN113614783A/en active Pending
- 2020-01-23 JP JP2021542152A patent/JP7431246B2/en active Active
-
2022
- 2022-05-13 US US17/744,506 patent/US11762462B2/en active Active
-
2024
- 2024-02-01 JP JP2024014027A patent/JP2024036459A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2020154524A5 (en) | ||
| CN108370438B (en) | Range gated depth camera assembly | |
| JP7431246B2 (en) | Eye tracking using images with different exposure times | |
| US10943409B2 (en) | Information processing apparatus, information processing method, and program for correcting display information drawn in a plurality of buffers | |
| JP7423659B2 (en) | Systems and techniques for estimating eye pose | |
| US10241329B2 (en) | Varifocal aberration compensation for near-eye displays | |
| CN104469152B (en) | The automatic camera method and system of Wearable | |
| US11490022B2 (en) | AR glass apparatus and operating method thereof | |
| US20190004600A1 (en) | Method and electronic device for image display | |
| CN109464236B (en) | Goggle type display device, sight line detection method and sight line detection system | |
| WO2012021967A1 (en) | System and method for analyzing three-dimensional (3d) media content | |
| CN110573996A (en) | Multi-view eye tracking for VR/AR systems | |
| WO2016027627A1 (en) | Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program | |
| JPWO2019021601A1 (en) | Information processing apparatus, information processing method, and program | |
| US11627303B2 (en) | System and method for corrected video-see-through for head mounted displays | |
| CN111522431B (en) | Classifying glints using an eye tracking system | |
| CN111630847A (en) | Image projection apparatus, image projection method, image display light output control method | |
| WO2024004338A1 (en) | Head-mounted display device, state determination device, method for controlling head-mounted display device, method for controlling state determination device, and program | |
| JP2023046886A (en) | Image generation device | |
| CN113780414A (en) | Eye movement behavior analysis method, image rendering method, component, device and medium | |
| JP2022096819A5 (en) | ||
| JP2000050313A (en) | Head-mounted display device | |
| JPWO2018150711A1 (en) | Display control device, display control device control method, and control program |