JP6983258B2 - アイトラッキングを介した拡張された有効なアイボックスを有するニアアイディスプレイ - Google Patents
アイトラッキングを介した拡張された有効なアイボックスを有するニアアイディスプレイ Download PDFInfo
- Publication number
- JP6983258B2 JP6983258B2 JP2019563139A JP2019563139A JP6983258B2 JP 6983258 B2 JP6983258 B2 JP 6983258B2 JP 2019563139 A JP2019563139 A JP 2019563139A JP 2019563139 A JP2019563139 A JP 2019563139A JP 6983258 B2 JP6983258 B2 JP 6983258B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- array
- user
- eyes
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000003491 array Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 210000004087 cornea Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
開示の分野
本開示は一般に、ニアアイディスプレイ(near-eye display)に関し、より特定的には、ニアアイディスプレイにおける有効なアイボックス(eye-box)サイズの改善に関する。
ヘッドマウントディスプレイ(HMD: Head-mounted display)および他のニアアイディスプレイシステムは、三次元(3D)グラフィックスの有効な表示を提供するために、ニアアイライトフィールドディスプレイ(near-eye lightfield display)または他のコンピューテイショナルディスプレイ(computational display)を利用し得る。一般に、ニアアイライトフィールドディスプレイは、1つ以上のディスプレイパネルと、当該1つ以上のディスプレイパネルに重畳される小型レンズ(lenslet)のアレイ、ピンホールまたは他の光学機構のアレイとを使用する。レンダリングシステムは要素画像のアレイをレンダリングする。各要素画像は、対応するパースペクティブまたは仮想カメラ位置からの物体またはシーンの画像または視界を表わす。アイボックスサイズは、小型レンズの焦点距離に対するアイレリーフ(eye relief)の比に比例するので、そのようなニアアイライトフィールドディスプレイは典型的に、アイボックスサイズと視野(FOV: field of view)との間のトレードオフを示す。したがって、十分なFOVを提供するために、ニアアイライトフィールドディスプレイを使用する従来のニアアイディスプレイシステムは典型的に、相対的に制限されたアイボックスを有することになり、これはしばしば、潜在ユーザの集団の間での瞳孔間距離(IPD: inter-pupillary distance)の変動性と、ディスプレイに対するユーザの目の正確な位置決めの変動性とに鑑みると問題となる。上記変動性のいずれによっても、ユーザの瞳孔がアイボックスの境界の外に位置することになり得、これは、ユーザの目に対して表示されることが意図される画像の少なくとも部分のオクルージョンに帰着することになる。
本開示は、添付の図面を参照することによって、より一層理解され得、その多くの特徴および利点が当業者に明白になる。異なる図面における同じ参照符号の使用は、同様または同一の項目を示す。
図1〜図9は、ニアアイディスプレイシステムにおけるユーザの目のポーズに基づいた動的なアイボックスの調節のための例示的な方法およびシステムを示す。ニアアイディスプレイシステムは、少なくとも1つの実施形態において、没入型の仮想現実(VR: virtual reality)または拡張現実(AR: augmented reality)の体験をユーザに提供するよう、ユーザに対して画像のニアアイライトフィールドフレームを表示するコンピューテイショナルディスプレイを使用する。各ニアアイライトフィールドフレームは要素画像のアレイから構成されており、各要素画像は、異なる対応する視点からの物体またはシーンの視界を表わす。小型レンズのアレイが、ディスプレイパネルに重畳されており、単一のオートステレオスコピック(autostereoscopic)画像として要素画像のアレイをユーザに提示するために動作する。
Claims (20)
- ニアアイディスプレイシステムにおいて行われる方法であって、
撮像カメラを使用してユーザの目の画像をキャプチャすることによって、前記ニアアイディスプレイシステムのアイトラッキングコンポーネントを使用して、前記ユーザの目の第1のポーズを決定することと、
前記ユーザの目の前記第1のポーズに基づいてニアアイライトフィールドフレームを形成する要素画像のアレイについてのシフトベクトルを決定することと、
前記シフトベクトルに基づく前記ニアアイライトフィールドフレーム内の位置に前記要素画像のアレイをレンダリングすることと、
前記ニアアイディスプレイシステムのディスプレイパネルに前記ニアアイライトフィールドフレームを表示することとを含み、小型レンズのアレイが前記ディスプレイパネルに重畳され、前記撮像カメラは、前記ディスプレイパネルと前記小型レンズのアレイとの間に配置され、
前記撮像カメラは、前記ユーザの目からの前記ニアアイライトフィールドフレームの要素画像を不明瞭にし、
前記要素画像のアレイをレンダリングすることは、不明瞭にされた前記要素画像によって引き起こされる輝度損失を補償するために、不明瞭にされた前記要素画像に隣接する1つ以上の要素画像が増加した輝度を有するように、前記要素画像のアレイをレンダリングすることを含む、方法。 - 前記シフトベクトルを決定することは、
前記第1のポーズによって表わされる前記ユーザの目についてのデフォルトポーズからのシフトを決定することと、
前記ユーザの目についての前記デフォルトポーズからの前記シフトに基づいて、前記ニアアイライトフィールドフレーム内の前記要素画像のアレイについてのデフォルト位置からのシフトを表わすものとして前記シフトベクトルを決定することとを含む、請求項1に記載の方法。 - 前記シフトベクトルを決定することは、式
SV_ELEM=−EYE_SHIFT×(F_A/D_ER)
に基づいて前記シフトベクトルを決定することを含み、
式中、SV_ELEMは、前記シフトベクトルを表わし、EYE_SHIFTは、前記ユーザの目についての前記デフォルトポーズからの前記シフトを表わし、F_Aは、前記小型レンズの焦点距離を表わし、D_ERは、前記小型レンズのアレイと前記ユーザの目との間の距離を表わす、請求項2に記載の方法。 - ニアアイディスプレイシステムにおいて行われる方法であって、
撮像カメラを使用してユーザの目の画像をキャプチャすることによって、前記ニアアイディスプレイシステムのアイトラッキングコンポーネントを使用して、前記ユーザの目の第1のポーズを決定することと、
前記ユーザの目の前記第1のポーズに基づいてニアアイライトフィールドフレームを形成する要素画像のアレイについてのシフトベクトルを決定することと、
前記シフトベクトルに基づく前記ニアアイライトフィールドフレーム内の位置に前記要素画像のアレイをレンダリングすることと、
前記ニアアイディスプレイシステムのディスプレイパネルに前記ニアアイライトフィールドフレームを表示することとを含み、小型レンズのアレイが前記ディスプレイパネルに重畳され、前記撮像カメラは、前記ディスプレイパネルと前記小型レンズのアレイとの間に配置され、前記方法は、
前記ディスプレイパネルに垂直な軸に沿った前記ユーザの目の位置を決定することと、
前記位置に基づいて前記アレイの前記要素画像のサイズをスケーリングすることとをさらに含む、方法。 - ニアアイディスプレイシステムにおいて行われる方法であって、
撮像カメラを使用してユーザの目の画像をキャプチャすることによって、前記ニアアイディスプレイシステムのアイトラッキングコンポーネントを使用して、前記ユーザの目の第1のポーズを決定することと、
前記ユーザの目の前記第1のポーズに基づいてニアアイライトフィールドフレームを形成する要素画像のアレイについてのシフトベクトルを決定することと、
前記シフトベクトルに基づく前記ニアアイライトフィールドフレーム内の位置に前記要素画像のアレイをレンダリングすることと、
前記ニアアイディスプレイシステムのディスプレイパネルに前記ニアアイライトフィールドフレームを表示することとを含み、小型レンズのアレイが前記ディスプレイパネルに重畳され、前記撮像カメラは、前記ディスプレイパネルと前記小型レンズのアレイとの間に配置され、
前記方法はさらに、
第1の時間において、前記ニアアイディスプレイシステムの前記アイトラッキングコンポーネントを使用して、前記ニアアイディスプレイシステムの前記ディスプレイパネルに対する前記ユーザの目のデフォルトポーズを決定することと、
前記ディスプレイパネルに重畳される小型レンズのアレイを使用して、要素画像の第1のアレイを含む第1のニアアイライトフィールドフレームをレンダリングおよび表示することとを含み、前記第1のアレイは、前記ユーザの目の前記デフォルトポーズに基づく前記第1のニアアイライトフィールドフレーム内に第1の位置を有し、
ユーザの目の第1のポーズを決定することは、
第2の時間において、前記アイトラッキングコンポーネントを使用して、前記ディスプレイパネルに対する前記ユーザの目の前記第1のポーズを決定することを含み、前記第1のポーズは前記デフォルトポーズと異なっており、
前記ニアアイライトフィールドフレームは、第2のニアアイライトフィールドフレームであり、前記要素画像のアレイは、要素画像の第2のアレイであり、前記ニアアイライトフィールドフレーム内の前記位置は、前記第2のニアアイライトフィールドフレーム内の第2の位置であり、前記第2の位置は前記ユーザの目の第2のポーズに基づいており、前記第2の位置は前記第1の位置と異なり、
前記第1のニアアイライトフィールドフレームをレンダリングおよび表示することは、前記撮像カメラによって不明瞭にされた要素画像によって引き起こされる輝度損失を補償するために、不明瞭にされた前記要素画像に隣接する前記第1のアレイの1つ以上の要素画像が増加した輝度を有するように、前記第1のニアアイライトフィールドフレームをレンダリングすることを含む、方法。 - 前記第1の位置はデフォルト位置であり、
前記方法はさらに、
前記第1のポーズによって表わされる前記デフォルトポーズからのシフトを決定することと、
前記ユーザの目についての前記デフォルトポーズからの前記シフトに基づいて前記シフトベクトルを決定することと、
前記シフトベクトルに基づいて前記第1の位置からのシフトとしての前記第2の位置を決定することとを含む、請求項5に記載の方法。 - 前記シフトベクトルを決定することは、式
SV_ELEM=−EYE_SHIFT×(F_A/D_ER)
に基づいて前記シフトベクトルを決定することを含み、
式中、SV_ELEMは、前記シフトベクトルを表わし、EYE_SHIFTは、前記ユーザの目についての前記デフォルトポーズからの前記シフトを表わし、F_Aは、前記ディスプレイパネルに重畳される小型レンズアレイの小型レンズの焦点距離を表わし、D_ERは、前記小型レンズアレイと前記ユーザの目との間の距離を表わす、請求項6に記載の方法。 - 前記ユーザの目の前記デフォルトポーズを決定することと、前記ユーザの目の前記第1のポーズを決定することとは、前記ディスプレイパネルと前記ディスプレイパネルに重畳される小型レンズアレイとの間に配置される撮像カメラを使用して前記ユーザの目の画像をキャプチャすることを含む、請求項5〜7のいずれか1項に記載の方法。
- 前記要素画像の第2のアレイをレンダリングすることは、前記撮像カメラによって不明瞭にされた要素画像によって引き起こされる輝度損失を補償するために、不明瞭にされた前記要素画像に隣接する前記第2のアレイの1つ以上の要素画像が増加した輝度を有するように、前記第2のニアアイライトフィールドフレームをレンダリングすることを含む、請求項8に記載の方法。
- ニアアイディスプレイシステムであって、
要素画像のアレイを含むニアアイライトフィールドフレームを表示するように構成されるディスプレイパネルと、
前記ディスプレイパネルに重畳される小型レンズのアレイと、
ユーザの目のポーズをトラッキングするように構成されるアイトラッキングコンポーネントとを含み、前記アイトラッキングコンポーネントは、前記小型レンズのアレイの周辺部に配置される撮像カメラと、前記小型レンズのアレイと前記ディスプレイパネルとの間に配置される反射要素とを含み、前記反射要素は、前記ユーザの目からの光を前記撮像カメラに反射するように方位付けされ、前記ニアアイディスプレイシステムはさらに、
前記ユーザの目の前記ポーズに基づいて前記ニアアイライトフィールドフレーム内で前記要素画像のアレイを位置決めするために、前記ニアアイライトフィールドフレームを表示するよう前記ディスプレイパネルを制御するように構成されるレンダリングコンポーネントとを含み、
前記レンダリングコンポーネントは、前記反射要素によって不明瞭にされた要素画像によって引き起こされる輝度損失を補償するために、不明瞭にされた前記要素画像に隣接する1つ以上の要素画像が増加した輝度を有するように、前記要素画像のアレイをレンダリングするように構成される、ニアアイディスプレイシステム。 - 前記レンダリングコンポーネントは、
前記ユーザの目の前記ポーズに基づいてシフトベクトルを決定することと、
前記シフトベクトルに基づいて、前記ニアアイライトフィールドフレーム内における前記要素画像のアレイの位置をデフォルト位置からシフトすることと、
によって前記ニアアイライトフィールドフレーム内において前記要素画像のアレイを位置決めするように構成される、請求項10に記載のニアアイディスプレイシステム。 - 前記レンダリングコンポーネントは、
前記ユーザの目のトラッキングされた前記ポーズによって表わされる前記ユーザの目についてのデフォルトポーズからのシフトを決定することと、
前記ユーザの目についての前記デフォルトポーズからの前記シフトに基づいて前記シフトベクトルを決定することと、
によって前記シフトベクトルを決定するように構成される、請求項11に記載のニアアイディスプレイシステム。 - 前記レンダリングコンポーネントは、式
SV_ELEM=−EYE_SHIFT×(F_A/D_ER)
に基づいて前記シフトベクトルを決定するように構成され、
式中、SV_ELEMは、前記シフトベクトルを表わし、EYE_SHIFTは、前記ユーザの目についての前記デフォルト位置からの前記シフトを表わし、F_Aは、前記ディスプレイパネルに重畳される小型レンズアレイの小型レンズの焦点距離を表わし、D_ERは、前記小型レンズアレイと前記ユーザの目との間の距離を表わす、請求項11に記載のニアアイディスプレイシステム。 - 前記アイトラッキングコンポーネントは、
前記ユーザの目に光を照射するように構成される1つ以上の赤外線(IR)照射器のセットを含む、請求項10〜13のいずれか1項に記載のニアアイディスプレイシステム。 - 前記アイトラッキングコンポーネントは、
前記ユーザの目に光を照射する1つ以上の赤外線(IR)照射器のセットと、
前記ディスプレイパネルに重畳される小型レンズアレイと前記ディスプレイパネルとの間に配置され、かつ、前記小型レンズアレイを通じて前記ユーザの目に向かって方位付けされた撮像カメラとを含む、請求項10〜13のいずれか1項に記載のニアアイディスプレイシステム。 - ニアアイディスプレイシステムであって、
要素画像のアレイを含むニアアイライトフィールドフレームを表示するように構成されるディスプレイパネルと、
前記ディスプレイパネルに重畳される小型レンズのアレイと、
ユーザの目のポーズをトラッキングするように構成されるアイトラッキングコンポーネントとを含み、前記アイトラッキングコンポーネントは、前記小型レンズのアレイの周辺部に配置される撮像カメラと、前記小型レンズのアレイと前記ディスプレイパネルとの間に配置される反射要素とを含み、前記反射要素は、前記ユーザの目からの光を前記撮像カメラに反射するように方位付けされ、前記ニアアイディスプレイシステムはさらに、
前記ユーザの目の前記ポーズに基づいて前記ニアアイライトフィールドフレーム内で前記要素画像のアレイを位置決めするために、前記ニアアイライトフィールドフレームを表示するよう前記ディスプレイパネルを制御するように構成されるレンダリングコンポーネントとを含み、
前記レンダリングコンポーネントは、前記撮像カメラによって不明瞭にされた要素画像によって引き起こされる輝度損失を補償するために、不明瞭にされた前記要素画像に隣接する1つ以上の要素画像が増加した輝度を有するように、前記要素画像のアレイをレンダリングするように構成される、ニアアイディスプレイシステム。 - レンダリングシステムであって、
少なくとも1つのプロセッサと、
ニアアイディスプレイパネルに対するユーザの目のポーズを示すデータをアイトラッキングコンポーネントから受け取るように構成される入力とを含み、小型レンズのアレイが前記ニアアイディスプレイパネルに重畳されており、前記レンダリングシステムはさらに、
実行可能命令のセットを格納するように構成されるストレージコンポーネントを含み、前記実行可能命令のセットは、前記ユーザの目の前記ポーズに基づいて、ニアアイライトフィールドフレームをレンダリングするために前記少なくとも1つのプロセッサを操作するように構成されており、前記ニアアイライトフィールドフレームは、前記ニアアイライトフィールドフレーム内の位置を有する要素画像のアレイを含み、前記ユーザの目のポーズは撮像カメラによってキャプチャされる画像に基づいており、前記撮像カメラおよび反射要素のうちの少なくとも1つは、前記ニアアイディスプレイパネルと前記小型レンズのアレイとの間に配置され、
前記実行可能命令のセットはさらに、
前記ニアアイディスプレイパネルに垂直な軸に沿った前記ユーザの目の位置を決定することと、
前記位置に基づいて前記アレイの前記要素画像のサイズをスケーリングすることと、によって前記ニアアイライトフィールドフレームをレンダリングするために前記少なくとも1つのプロセッサを操作するように構成される、レンダリングシステム。 - 前記実行可能命令のセットは、
前記ユーザの目の前記ポーズに基づいてシフトベクトルを決定することと、
前記シフトベクトルに基づいて、前記ニアアイライトフィールドフレーム内における前記要素画像のアレイの位置をデフォルト位置からシフトすることと、
によって前記ニアアイライトフィールドフレームをレンダリングするために前記少なくとも1つのプロセッサを操作するように構成される、請求項17に記載のレンダリングシステム。 - 前記実行可能命令のセットは、
前記ユーザの目のトラッキングされた前記ポーズによって表わされる前記ユーザの目についてのデフォルトポーズからのシフトを決定することと、
前記ユーザの目についての前記デフォルトポーズからの前記シフトに基づいて前記シフトベクトルを決定することと、
によって前記シフトベクトルを決定するために前記少なくとも1つのプロセッサを操作するように構成される、請求項18に記載のレンダリングシステム。 - 前記実行可能命令のセットは、式
SV_ELEM=−EYE_SHIFT×(F_A/D_ER)
に基づいて前記シフトベクトルを決定するために前記少なくとも1つのプロセッサを操作するように構成され、
式中、SV_ELEMは、前記シフトベクトルを表わし、EYE_SHIFTは、前記ユーザの目についての前記デフォルトポーズからの前記シフトを表わし、F_Aは、前記ニアアイディスプレイパネルに重畳される小型レンズアレイの小型レンズの焦点距離を表わし、D_ERは、前記小型レンズアレイと前記ユーザの目との間の距離を表わす、請求項19に記載のレンダリングシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/595,147 | 2017-05-15 | ||
US15/595,147 US10546518B2 (en) | 2017-05-15 | 2017-05-15 | Near-eye display with extended effective eyebox via eye tracking |
PCT/US2018/017590 WO2018212808A1 (en) | 2017-05-15 | 2018-02-09 | Near-eye display with extended effective eyebox via eye tracking |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020520475A JP2020520475A (ja) | 2020-07-09 |
JP6983258B2 true JP6983258B2 (ja) | 2021-12-17 |
Family
ID=61386906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019563139A Active JP6983258B2 (ja) | 2017-05-15 | 2018-02-09 | アイトラッキングを介した拡張された有効なアイボックスを有するニアアイディスプレイ |
Country Status (8)
Country | Link |
---|---|
US (1) | US10546518B2 (ja) |
EP (1) | EP3625648B1 (ja) |
JP (1) | JP6983258B2 (ja) |
KR (1) | KR102315862B1 (ja) |
CN (1) | CN110651236B (ja) |
DE (1) | DE202018100907U1 (ja) |
TW (1) | TWI681663B (ja) |
WO (1) | WO2018212808A1 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2901477C (en) | 2015-08-25 | 2023-07-18 | Evolution Optiks Limited | Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display |
CN106908951A (zh) * | 2017-02-27 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
JP6963399B2 (ja) * | 2017-03-16 | 2021-11-10 | 株式会社スクウェア・エニックス | プログラム、記録媒体、画像生成装置、画像生成方法 |
CN111316153A (zh) * | 2017-09-21 | 2020-06-19 | 奇跃公司 | 具有被配置为捕获眼睛和/或环境的图像的波导的增强现实显示器 |
US10395624B2 (en) * | 2017-11-21 | 2019-08-27 | Nvidia Corporation | Adjusting an angular sampling rate during rendering utilizing gaze information |
US11500460B2 (en) | 2018-10-22 | 2022-11-15 | Evolution Optiks Limited | Light field device, optical aberration compensation or simulation rendering |
US11966507B2 (en) | 2018-10-22 | 2024-04-23 | Evolution Optiks Limited | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same |
US11327563B2 (en) | 2018-10-22 | 2022-05-10 | Evolution Optiks Limited | Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same |
CN109637418B (zh) * | 2019-01-09 | 2022-08-30 | 京东方科技集团股份有限公司 | 一种显示面板及其驱动方法、显示装置 |
US11500461B2 (en) | 2019-11-01 | 2022-11-15 | Evolution Optiks Limited | Light field vision-based testing device, system and method |
US11789531B2 (en) | 2019-01-28 | 2023-10-17 | Evolution Optiks Limited | Light field vision-based testing device, system and method |
TWI683132B (zh) * | 2019-01-31 | 2020-01-21 | 創新服務股份有限公司 | 人臉眼睛定位系統在顯微鏡的應用 |
TWI697832B (zh) * | 2019-02-01 | 2020-07-01 | 宏碁股份有限公司 | 多螢幕顯示系統及其訊息提示方法 |
US11635617B2 (en) | 2019-04-23 | 2023-04-25 | Evolution Optiks Limited | Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same |
US11850730B2 (en) * | 2019-07-17 | 2023-12-26 | Asensus Surgical Us, Inc. | Double eye tracker configuration for a robot-assisted surgical system |
AU2020332878A1 (en) | 2019-08-16 | 2022-01-27 | GammaDelta Therapeutics Limited | Therapeutic uses of anti-TCR delta variable 1 antibodies |
CN114599783A (zh) | 2019-08-16 | 2022-06-07 | 伽马三角洲疗法有限公司 | 离体gamma delta t细胞群 |
US11902498B2 (en) * | 2019-08-26 | 2024-02-13 | Evolution Optiks Limited | Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
US11823598B2 (en) | 2019-11-01 | 2023-11-21 | Evolution Optiks Limited | Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same |
US11487361B1 (en) | 2019-11-01 | 2022-11-01 | Evolution Optiks Limited | Light field device and vision testing system using same |
TWI761930B (zh) * | 2019-11-07 | 2022-04-21 | 宏達國際電子股份有限公司 | 頭戴式顯示裝置以及距離量測器 |
TWI749894B (zh) * | 2020-01-14 | 2021-12-11 | 宏達國際電子股份有限公司 | 頭戴式顯示器 |
EP4114415A1 (en) | 2020-03-06 | 2023-01-11 | Sorrento Therapeutics, Inc. | Innate immunity killer cells targeting psma positive tumor cells |
TWI792033B (zh) * | 2020-08-10 | 2023-02-11 | 見臻科技股份有限公司 | 穿戴式眼動追蹤系統 |
MX2023001728A (es) | 2020-08-14 | 2023-04-20 | Gammadelta Therapeutics Ltd | Anticuerpos multiespecíficos anti-tcr delta variable 1. |
GB202013962D0 (en) | 2020-09-04 | 2020-10-21 | Gammadelta Therapeutics Ltd | Immunotherapy composition |
KR20220100741A (ko) * | 2021-01-08 | 2022-07-18 | 삼성디스플레이 주식회사 | 표시 패널, 표시 장치 및 표시 장치 제어 방법 |
KR20220105194A (ko) * | 2021-01-18 | 2022-07-27 | 삼성디스플레이 주식회사 | 표시 장치 및 표시 장치 제어 방법 |
CA3207265A1 (en) | 2021-02-17 | 2022-08-25 | Mihriban Tuna | Anti-tcr delta variable 1 antibodies |
EP4089465A1 (en) * | 2021-05-13 | 2022-11-16 | Coretronic Corporation | Light field near-eye display device and method thereof |
CN115494640A (zh) | 2021-06-17 | 2022-12-20 | 中强光电股份有限公司 | 产生虚拟实境影像的光场近眼显示器及其方法 |
EP4382995A1 (en) | 2021-08-20 | 2024-06-12 | Sony Group Corporation | Display apparatus and display method |
US11722655B2 (en) * | 2021-11-30 | 2023-08-08 | SoliDDD Corp. | Low latency networking of plenoptic data |
US20230168506A1 (en) * | 2021-12-01 | 2023-06-01 | Meta Platforms Technologies, Llc | High efficiency optical assembly with folded optical path |
US20230196522A1 (en) * | 2021-12-17 | 2023-06-22 | SoliDDD Corp. | Plenoptic image tile organization for single image display or capture |
CA3208653A1 (en) | 2022-02-17 | 2022-08-25 | Mihriban Tuna | Multispecific anti-tcr delta variable 1 antibodies |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6529331B2 (en) * | 2001-04-20 | 2003-03-04 | Johns Hopkins University | Head mounted display with full field of view and high resolution |
US20030067476A1 (en) | 2001-10-04 | 2003-04-10 | Eastman Kodak Company | Method and system for displaying an image |
FI114752B (fi) | 2003-05-30 | 2004-12-15 | Nokia Corp | Valosähköinen elementti ja sellaisen käsittävä päätelaite |
US7475989B2 (en) | 2006-03-14 | 2009-01-13 | Amo Manufacturing Usa, Llc | Shack-Hartmann based integrated autorefraction and wavefront measurements of the eye |
WO2010137230A1 (ja) * | 2009-05-25 | 2010-12-02 | シャープ株式会社 | アクティブマトリクス基板、液晶パネル、液晶表示装置、テレビジョン受像機 |
US8670019B2 (en) * | 2011-04-28 | 2014-03-11 | Cisco Technology, Inc. | System and method for providing enhanced eye gaze in a video conferencing environment |
CN103688369B (zh) * | 2011-05-31 | 2016-05-25 | 德国弗劳恩霍夫应用研究促进协会 | 双向显示器及其控制 |
CA2750287C (en) | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
US9323325B2 (en) * | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
US9025252B2 (en) * | 2011-08-30 | 2015-05-05 | Microsoft Technology Licensing, Llc | Adjustment of a mixed reality display for inter-pupillary distance alignment |
US9001030B2 (en) | 2012-02-15 | 2015-04-07 | Google Inc. | Heads up display |
CN103376551B (zh) * | 2012-04-23 | 2017-04-19 | 北京蚁视昂维科技有限公司 | 小孔投射式近眼显示器 |
US20130285885A1 (en) | 2012-04-25 | 2013-10-31 | Andreas G. Nowatzyk | Head-mounted light-field display |
US9841537B2 (en) | 2012-07-02 | 2017-12-12 | Nvidia Corporation | Near-eye microlens array displays |
US20140362110A1 (en) | 2013-06-08 | 2014-12-11 | Sony Computer Entertainment Inc. | Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user |
US10274731B2 (en) | 2013-12-19 | 2019-04-30 | The University Of North Carolina At Chapel Hill | Optical see-through near-eye display using point light source backlight |
US9459451B2 (en) | 2013-12-26 | 2016-10-04 | Microsoft Technology Licensing, Llc | Eye tracking apparatus, method and system |
US9993335B2 (en) * | 2014-01-08 | 2018-06-12 | Spy Eye, Llc | Variable resolution eye mounted displays |
US10228562B2 (en) | 2014-02-21 | 2019-03-12 | Sony Interactive Entertainment Inc. | Realtime lens aberration correction from eye tracking |
CN104914575B (zh) * | 2014-09-29 | 2017-11-14 | 北京蚁视科技有限公司 | 带有屈光度检测装置的微透镜阵列式近眼显示器 |
CN105717640B (zh) * | 2014-12-05 | 2018-03-30 | 北京蚁视科技有限公司 | 基于微透镜阵列的近眼显示器 |
US10247941B2 (en) | 2015-01-19 | 2019-04-02 | Magna Electronics Inc. | Vehicle vision system with light field monitor |
US9625989B2 (en) | 2015-04-01 | 2017-04-18 | Fove, Inc. | Head mounted display |
US10152906B2 (en) * | 2015-04-26 | 2018-12-11 | Mems Start, Llc | Near-eye display system and method |
KR20160147636A (ko) | 2015-06-15 | 2016-12-23 | 삼성전자주식회사 | 헤드 마운티드 디스플레이 장치 |
US10210844B2 (en) * | 2015-06-29 | 2019-02-19 | Microsoft Technology Licensing, Llc | Holographic near-eye display |
US10437061B2 (en) | 2015-08-03 | 2019-10-08 | Facebook Technologies, Llc | Near-ocular display based on hologram projection |
-
2017
- 2017-05-15 US US15/595,147 patent/US10546518B2/en not_active Expired - Fee Related
-
2018
- 2018-02-09 EP EP18707801.9A patent/EP3625648B1/en active Active
- 2018-02-09 JP JP2019563139A patent/JP6983258B2/ja active Active
- 2018-02-09 KR KR1020197034130A patent/KR102315862B1/ko active IP Right Grant
- 2018-02-09 WO PCT/US2018/017590 patent/WO2018212808A1/en unknown
- 2018-02-09 CN CN201880031679.7A patent/CN110651236B/zh active Active
- 2018-02-19 DE DE202018100907.9U patent/DE202018100907U1/de active Active
- 2018-02-21 TW TW107105857A patent/TWI681663B/zh active
Also Published As
Publication number | Publication date |
---|---|
US20180330652A1 (en) | 2018-11-15 |
JP2020520475A (ja) | 2020-07-09 |
KR102315862B1 (ko) | 2021-10-22 |
WO2018212808A1 (en) | 2018-11-22 |
CN110651236B (zh) | 2021-02-09 |
EP3625648A1 (en) | 2020-03-25 |
TWI681663B (zh) | 2020-01-01 |
EP3625648B1 (en) | 2021-04-07 |
TW201902212A (zh) | 2019-01-01 |
CN110651236A (zh) | 2020-01-03 |
DE202018100907U1 (de) | 2018-06-18 |
KR20190141709A (ko) | 2019-12-24 |
US10546518B2 (en) | 2020-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6983258B2 (ja) | アイトラッキングを介した拡張された有効なアイボックスを有するニアアイディスプレイ | |
US10659771B2 (en) | Non-planar computational displays | |
KR102078059B1 (ko) | 프리즘-기반 눈 추적 | |
US10241329B2 (en) | Varifocal aberration compensation for near-eye displays | |
US10877556B2 (en) | Eye tracking system | |
CN108351691B (zh) | 用于虚拟图像的远程渲染 | |
US10740971B2 (en) | Augmented reality field of view object follower | |
JP2017204674A (ja) | 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法 | |
KR20190131021A (ko) | 확장된 수용 범위 조정이 가능한 근거리 안구 디스플레이 | |
US20150309567A1 (en) | Device and method for tracking gaze | |
WO2019135894A1 (en) | Saccadic breakthrough mitigation for near-eye display | |
CN110895433B (zh) | 用于增强现实中用户交互的方法和装置 | |
US11543655B1 (en) | Rendering for multi-focus display systems | |
US11237413B1 (en) | Multi-focal display based on polarization switches and geometric phase lenses | |
US11169358B1 (en) | Varifocal projection display | |
WO2024122191A1 (ja) | 画像処理装置及び方法、プログラム、記憶媒体 | |
US20240192493A1 (en) | Pupil-steering for three-dimensional (3d) resolution enhancement in single photon avalanche diode (spad) eye tracking (et) | |
US20240210677A1 (en) | Ultrafast illumination for structured light based eye tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6983258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |