JP6886510B2 - 視線追跡情報に基づく画像領域内の適応パラメータ - Google Patents
視線追跡情報に基づく画像領域内の適応パラメータ Download PDFInfo
- Publication number
- JP6886510B2 JP6886510B2 JP2019505144A JP2019505144A JP6886510B2 JP 6886510 B2 JP6886510 B2 JP 6886510B2 JP 2019505144 A JP2019505144 A JP 2019505144A JP 2019505144 A JP2019505144 A JP 2019505144A JP 6886510 B2 JP6886510 B2 JP 6886510B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- area
- region
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003044 adaptive effect Effects 0.000 title description 10
- 238000000034 method Methods 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 40
- 210000001525 retina Anatomy 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 19
- 210000000873 fovea centralis Anatomy 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 description 138
- 238000009877 rendering Methods 0.000 description 68
- 230000003287 optical effect Effects 0.000 description 24
- 210000001747 pupil Anatomy 0.000 description 18
- 239000013598 vector Substances 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 210000005252 bulbus oculi Anatomy 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000012856 packing Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 210000004087 cornea Anatomy 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 230000004418 eye rotation Effects 0.000 description 3
- 230000001179 pupillary effect Effects 0.000 description 3
- 210000003786 sclera Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 210000002763 pyramidal cell Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/391—Resolution modifying circuits, e.g. variable screen formats
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
Description
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも1つの画像を含む視線追跡情報を受信するステップと、
視線追跡情報に基づいてスクリーンの領域に対応する第1のスクリーン領域を決定するステップと、第1のスクリーン領域は、ユーザの注視点を含み、注視点は、視線追跡情報が捕捉された時点でユーザが見ているスクリーン上の点を表し、
視線追跡情報に基づいて第1のスクリーン領域とは別のスクリーンの領域に対応する第2のスクリーン領域を決定するステップと、
スクリーン上に表示するための画像を符号化するステップと、符号化は、
第1の組の符号化パラメータに基づいて画像の第1の画像領域を符号化すること、第1の画像領域は、第1のスクリーン領域に表示され、
第2の組の符号化パラメータに基づいて画像の第2の画像領域を復号化することを含み、第2の画像領域は、第2のスクリーン領域に表示され、第2の組の符号化パラメータは、第1の組の符号化パラメータよりも低い品質をもたらし、
符号化された画像をスクリーンに表示されるようにディスプレイデバイスに送信するステップとを含み得る。
第2のスクリーン領域は、中心窩の外側の眼の網膜の一部によって見られるスクリーンの領域に対応し得る。
第1の画像領域を符号化することは、第1の符号化画像領域を生成することを含み得、第2の画像領域を符号化することは、第2の符号化画像領域を生成することを含み得、方法はさらに、
第1の符号化画像領域および第2の符号化画像領域を含むパッキングされた画像を生成するステップを含み得る。
スクリーン上に表示するための画像を符号化することは、
第3の組の符号化パラメータに基づいて画像の第3の画像領域を符号化することをさらに含み、第3の画像領域は、第3のスクリーン領域に表示され、第3の組の符号化パラメータは、第1の組の符号化パラメータよりも低い品質をもたらし、第2の組の符号化パラメータよりも高い品質をもたらす。
ディスプレイデバイスはバーチャルリアリティヘッドセットであり得る。
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも1つの画像を含む視線追跡情報を受信すること、
視線追跡情報に基づいてスクリーンの領域に対応する第1のスクリーン領域を決定すること、第1のスクリーン領域は、ユーザの注視点を含み、注視点は、視線追跡情報が捕捉された時点でユーザが見ているスクリーン上の点を表し、
視線追跡情報に基づいて第1のスクリーン領域とは別のスクリーンの領域に対応する第2のスクリーン領域を決定すること、
スクリーン上に表示するための画像を符号化すること、符号化は、
第1の組の符号化パラメータに基づいて画像の第1の画像領域を符号化すること、第1の画像領域は、第1のスクリーン領域に表示され、
第2の組の符号化パラメータに基づいて画像の第2の画像領域を復号化すること、第2の画像領域は、第2のスクリーン領域に表示され、第2の組の符号化パラメータは、第1の組の符号化パラメータよりも低い品質をもたらし、
符号化された画像をスクリーンに表示されるようにディスプレイデバイスに送信することを含む処理を実行させ得る。
第2のスクリーン領域は、中心窩の外側の眼の網膜の一部によって見られるスクリーンの領域に対応し得る。
第1の画像領域を符号化することは、第1の符号化画像領域を生成することを含み得、第2の画像領域を符号化することは、第2の符号化画像領域を生成することを含み得、
第1の符号化画像領域および第2の符号化画像領域を含むパッキングされた画像を生成することをさらに含み得る。
視線追跡情報に基づいて第1のスクリーン領域および第2のスクリーン領域とは別のスクリーンの領域に対応する第3のスクリーン領域を決定することをさらに含み得、
スクリーン上に表示するために画像を符号化することは、
第3の組の符号化パラメータに基づいて画像の第3の画像領域を符号化することをさらに含み得、第3の組の符号化パラメータは、第1の組の符号化パラメータよりも低い品質をもたらし、第2の組の符号化パラメータよりも高い品質をもたらす。
ディスプレイデバイスはバーチャルリアリティヘッドセットであり得る。
1つまたは複数のプロセッサと、
命令を格納する非一時的コンピュータ可読記憶媒体であって、命令は、1つまたは複数のプロセッサによって実行されたときに、1つまたは複数のプロセッサに、
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも1つの画像を含む視線追跡情報を受信すること、
視線追跡情報に基づいてスクリーンの領域に対応する第1のスクリーン領域を決定すること、第1のスクリーン領域は、ユーザの注視点を含み、注視点は、視線追跡情報が捕捉された時点でユーザが見ているスクリーン上の点を表し、
視線追跡情報に基づいて第1のスクリーン領域とは別のスクリーンの領域に対応する第2のスクリーン領域を決定すること、
スクリーン上に表示するための画像を符号化すること、符号化は、
第1の組の符号化パラメータに基づいて画像の第1の画像領域を符号化すること、第1の画像領域は、第1のスクリーン領域に表示され、
第2の組の符号化パラメータに基づいて画像の第2の画像領域を復号化することを含み、第2の画像領域は、第2のスクリーン領域に表示され、第2の組の符号化パラメータは、第1の組の符号化パラメータよりも低い品質をもたらし、
符号化された画像をスクリーンに表示されるようにディスプレイデバイスに送信することを含む処理を実行させる、非一時的コンピュータ可読記憶媒体と
を備え得る。
視線追跡情報に基づいて第1のスクリーン領域および第2のスクリーン領域とは別のスクリーンの領域に対応する第3のスクリーン領域を決定することをさらに含み得、
スクリーン上の表示するために画像を符号化することは、
第3の組の符号化パラメータに基づいて画像の第3の画像領域を符号化することをさらに含み、第3の画像領域は、第3のスクリーン領域に表示され、第3の組の符号化パラメータは第1の組の符号化パラメータよりも低い品質をもたらし、第2の組の符号化パラメータよりも高い品質をもたらす。
ユーザが連続してスクリーンの異なる領域を注視するユーザおよび画像を含む多くの応用がある。例としては、ビデオゲーム、バーチャルリアリティシーン、ビデオストリーム、拡張現実感投影などが含まれる。
図1Aは、ディスプレイシステム110が動作するシステム100のブロック図である。システム100は、VRシステム環境、ARシステム環境、MRシステム環境、またはこれらの組み合わせで動作し得る。図1Aに示すシステム100は、ディスプレイデバイス105(例えば、ヘッドマウントディスプレイ)、撮像装置135、および入力インタフェース140を含み、これらはそれぞれ、ディスプレイシステム110に接続されている。
図3Aおよび図3Bは、一実施形態による、注視ベクトル306によって示される方向にスクリーン304を注視しているユーザの眼302を示す。最初に図3Aを参照すると、ユーザの眼302、注視ベクトル306、およびスクリーン304が示されている。図3Aは、さらに、例えば、視線追跡ユニット160によって捕捉された眼の画像に基づいてスクリーン領域モジュール162によって生成されたスクリーン上の中心窩領域308、傍中心窩領域310、および外側領域312を示す。
本開示の実施形態の上述の説明は、例示を目的として提示されており、これは網羅的であることを意図するか、または開示された正確な形態への開示を制限することを意図したものではない。当業者であれば、上記の開示を参照して多くの改良及び変形が可能であることを理解することができる。
Claims (20)
- 方法であって、
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも1つの画像を含む視線追跡情報を受信するステップと、
前記視線追跡情報に基づいて前記スクリーンの領域に対応する第1のスクリーン領域を決定するステップと、前記第1のスクリーン領域は、ユーザの注視点を含み、前記注視点は、前記視線追跡情報が捕捉された時点でユーザが見ている前記スクリーン上の点を表し、
前記視線追跡情報に基づいて前記第1のスクリーン領域とは別の前記スクリーンの領域に対応する第2のスクリーン領域を決定するステップと、
前記スクリーン上に表示するための画像を符号化するステップであって、前記画像は、少なくとも一部が前記第1のスクリーン領域内に表示される物体を有し、前記符号化は、
第1の組の符号化パラメータに基づいて画像の第1の画像領域を符号化し、前記第1の画像領域は、前記第1のスクリーン領域に表示される前記画像の一部を含み、
第2の組の符号化パラメータに基づいて画像の第2の画像領域を符号化し、前記第2の画像領域は、前記第1の画像領域とは別個であり、かつ前記第2のスクリーン領域に表示されるものであり、前記第2の組の符号化パラメータは、前記第1の組の符号化パラメータよりも低い品質をもたらし、
前記画像における前記物体の深度と、前記ユーザの焦点の深度との差が閾値を超えたことに応答して、前記第1のスクリーン領域に表示される前記画像の一部を含めて前記物体を、前記第2の組の符号化パラメータにより符号化すること、
を含む、前記スクリーン上に表示するための画像を符号化するステップと、
符号化された画像を前記スクリーンに表示されるように前記ディスプレイデバイスに送信するステップと
を含む方法。 - 前記第1のスクリーン領域は、前記眼の中心窩によって見られる前記スクリーンの領域に対応する、請求項1に記載の方法。
- 前記第2のスクリーン領域は、中心窩の外側の前記眼の網膜の一部によって見られる前記スクリーンの領域に対応する、請求項1に記載の方法。
- 前記第1の組の符号化パラメータは第1の画像解像度を含み、前記第2の組の符号化パラメータは第2の画像解像度を含み、前記第2の画像解像度は前記第1の画像解像度よりも低い、請求項1に記載の方法。
- 前記第1の画像領域を符号化することは、第1の符号化画像領域を生成することを含み、前記第2の画像領域を符号化することは、第2の符号化画像領域を生成することを含み、方法はさらに、
前記第1の符号化画像領域および前記第2の符号化画像領域を含むパッキングされた画像を生成するステップを含む、請求項4に記載の方法。 - 前記第1の組の符号化パラメータは第1のフレームレートを含み、前記第2の組の符号化パラメータは第2のフレームレートを含み、前記第2のフレームレートは前記第1のフレームレートよりも低い、請求項1に記載の方法。
- 前記視線追跡情報に基づいて前記第1のスクリーン領域および前記第2のスクリーン領域とは別の前記スクリーンの領域に対応する第3のスクリーン領域を決定するステップをさらに含み、
前記スクリーン上に表示するための画像を符号化することは、
第3の組の符号化パラメータに基づいて画像の第3の画像領域を符号化することをさらに含み、前記第3の画像領域は、前記第3のスクリーン領域に表示され、前記第3の組の符号化パラメータは、前記第1の組の符号化パラメータよりも低い品質をもたらし、前記第2の組の符号化パラメータよりも高い品質をもたらす、請求項1に記載の方法。 - 前記第3のスクリーン領域は、前記眼の傍中心窩によって見られる前記スクリーンの領域に対応する、請求項7に記載の方法。
- 前記ディスプレイデバイスはバーチャルリアリティヘッドセットである、請求項1に記載の方法。
- 命令を格納する非一時的コンピュータ可読記憶媒体であって、前記命令は、1つまたは複数のプロセッサによって実行されたときに、前記1つまたは複数のプロセッサに、
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも1つの画像を含む視線追跡情報を受信すること、
前記視線追跡情報に基づいて前記スクリーンの領域に対応する第1のスクリーン領域を決定すること、前記第1のスクリーン領域は、ユーザの注視点を含み、前記注視点は、前記視線追跡情報が捕捉された時点でユーザが見ている前記スクリーン上の点を表し、
前記視線追跡情報に基づいて第1のスクリーン領域とは別の前記スクリーンの領域に対応する第2のスクリーン領域を決定すること、
前記スクリーン上に表示するための画像を符号化することであって、前記画像は、少なくとも一部が前記第1のスクリーン領域内に表示される物体を有し、前記符号化は、
第1の組の符号化パラメータに基づいて画像の第1の画像領域を符号化し、前記第1の画像領域は、前記第1のスクリーン領域に表示される前記画像の一部を含み、
第2の組の符号化パラメータに基づいて画像の第2の画像領域を符号化し、前記第2の画像領域は、前記第1の画像領域とは別個であり、かつ前記第2のスクリーン領域に表示されるものであり、前記第2の組の符号化パラメータは、第1の組の符号化パラメータよりも低い品質をもたらし、
前記画像における前記物体の深度と、前記ユーザの焦点の深度との差が閾値を超えたことに応答して、前記第1のスクリーン領域に表示される前記画像の一部を含めて前記物体を、前記第2の組の符号化パラメータにより符号化すること
を含む、前記スクリーン上に表示するための画像を符号化すること、
符号化された画像を前記スクリーンに表示されるように前記ディスプレイデバイスに送信すること、を含む処理を実行させる、コンピュータ可読記憶媒体。 - 前記第1のスクリーン領域は、前記眼の中心窩によって見られる前記スクリーンの領域に対応する、請求項10に記載のコンピュータ可読記憶媒体。
- 前記第2のスクリーン領域は、中心窩の外側の前記眼の網膜の一部によって見られる前記スクリーンの領域に対応する、請求項10に記載のコンピュータ可読記憶媒体。
- 前記第1の組の符号化パラメータは第1の画像解像度を含み、前記第2の組の符号化パラメータは第2の画像解像度を含み、前記第2の画像解像度は前記第1の画像解像度よりも低い、請求項10に記載のコンピュータ可読記憶媒体。
- 前記第1の画像領域を符号化することは、第1の符号化画像領域を生成することを含み、前記第2の画像領域を符号化することは、第2の符号化画像領域を生成することを含み、
前記第1の符号化画像領域および前記第2の符号化画像領域を含むパッキングされた画像を生成することをさらに含む、請求項10に記載のコンピュータ可読記憶媒体。 - 前記第1の組の符号化パラメータは第1のフレームレートを含み、前記第2の組の符号化パラメータは第2のフレームレートを含み、前記第2のフレームレートは前記第1のフレームレートよりも低い、請求項10に記載のコンピュータ可読記憶媒体。
- 前記処理は、
前記視線追跡情報に基づいて前記第1のスクリーン領域および前記第2のスクリーン領域とは別のスクリーンの領域に対応する第3のスクリーン領域を決定することをさらに含み、
前記スクリーン上に表示するために画像を符号化することは、
第3の組の符号化パラメータに基づいて画像の第3の画像領域を符号化することをさらに含み、前記第3の組の符号化パラメータは、前記第1の組の符号化パラメータよりも低い品質をもたらし、前記第2の組の符号化パラメータよりも高い品質をもたらす、請求項10に記載のコンピュータ可読記憶媒体。 - 前記第3のスクリーン領域は、前記眼の傍中心窩によって見られる前記スクリーンの領域に対応する、請求項16に記載のコンピュータ可読記憶媒体。
- 前記ディスプレイデバイスはバーチャルリアリティヘッドセットである、請求項10に記載のコンピュータ可読記憶媒体。
- システムであって、
1つまたは複数のプロセッサと、
命令を格納する非一時的コンピュータ可読記憶媒体であって、前記命令は、1つまたは複数のプロセッサによって実行されたときに、前記1つまたは複数のプロセッサに、
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも1つの画像を含む視線追跡情報を受信すること、
前記視線追跡情報に基づいて前記スクリーンの領域に対応する第1のスクリーン領域を決定すること、前記第1のスクリーン領域は、ユーザの注視点を含み、前記注視点は、前記視線追跡情報が捕捉された時点でユーザが見ている前記スクリーン上の点を表し、
前記視線追跡情報に基づいて第1のスクリーン領域とは別の前記スクリーンの領域に対応する第2のスクリーン領域を決定すること、
前記スクリーン上に表示するための画像を符号化することであって、前記画像は、少なくとも一部が前記第1のスクリーン領域内に表示される物体の少なくとも一部を有し、前記符号化は、
第1の組の符号化パラメータに基づいて画像の第1の画像領域を符号化し、前記第1の画像領域は、前記第1のスクリーン領域に表示される前記画像の一部を含み、
第2の組の符号化パラメータに基づいて画像の第2の画像領域を符号化し、前記第2の画像領域は、前記第1の画像領域とは別個であり、かつ前記第2のスクリーン領域に表示されるものであり、前記第2の組の符号化パラメータは、第1の組の符号化パラメータよりも低い品質をもたらし、
前記画像における前記物体の深度と、前記ユーザの焦点の深度との差が閾値を超えたことに応答して、前記第1のスクリーン領域に表示される前記画像の一部を含めて前記物体を、前記第2の組の符号化パラメータにより符号化すること
を含む、前記スクリーン上に表示するための画像を符号化すること、
符号化された画像を前記スクリーンに表示されるように前記ディスプレイデバイスに送信することを含む処理を実行させる、前記非一時的コンピュータ可読記憶媒体と
を備えるシステム。 - 前記処理は、
前記視線追跡情報に基づいて前記第1のスクリーン領域および前記第2のスクリーン領域とは別のスクリーンの領域に対応する第3のスクリーン領域を決定することをさらに含み、
前記スクリーン上に表示するために画像を符号化することは、
第3の組の符号化パラメータに基づいて画像の第3の画像領域を符号化することをさらに含み、前記第3の画像領域は、前記第3のスクリーン領域に表示され、前記第3の組の符号化パラメータは前記第1の組の符号化パラメータよりも低い品質をもたらし、前記第2の組の符号化パラメータよりも高い品質をもたらす、請求項19に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021082166A JP7177213B2 (ja) | 2016-08-01 | 2021-05-14 | 視線追跡情報に基づく画像領域内の適応パラメータ |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662369336P | 2016-08-01 | 2016-08-01 | |
US62/369,336 | 2016-08-01 | ||
US15/662,582 | 2017-07-28 | ||
US15/662,582 US10373592B2 (en) | 2016-08-01 | 2017-07-28 | Adaptive parameters in image regions based on eye tracking information |
PCT/US2017/044749 WO2018026730A1 (en) | 2016-08-01 | 2017-07-31 | Adaptive parameters in image regions based on eye tracking information |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021082166A Division JP7177213B2 (ja) | 2016-08-01 | 2021-05-14 | 視線追跡情報に基づく画像領域内の適応パラメータ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019533325A JP2019533325A (ja) | 2019-11-14 |
JP6886510B2 true JP6886510B2 (ja) | 2021-06-16 |
Family
ID=61010531
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019505144A Active JP6886510B2 (ja) | 2016-08-01 | 2017-07-31 | 視線追跡情報に基づく画像領域内の適応パラメータ |
JP2021082166A Active JP7177213B2 (ja) | 2016-08-01 | 2021-05-14 | 視線追跡情報に基づく画像領域内の適応パラメータ |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021082166A Active JP7177213B2 (ja) | 2016-08-01 | 2021-05-14 | 視線追跡情報に基づく画像領域内の適応パラメータ |
Country Status (6)
Country | Link |
---|---|
US (2) | US10373592B2 (ja) |
EP (2) | EP4180920A1 (ja) |
JP (2) | JP6886510B2 (ja) |
KR (2) | KR102543341B1 (ja) |
CN (1) | CN109791605B (ja) |
WO (1) | WO2018026730A1 (ja) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11284109B2 (en) * | 2016-01-29 | 2022-03-22 | Cable Television Laboratories, Inc. | Visual coding for sensitivities to light, color and spatial resolution in human visual system |
US10115205B2 (en) * | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
EP3329316B1 (en) * | 2016-03-11 | 2023-09-20 | Facebook Technologies, LLC | Corneal sphere tracking for generating an eye model |
US10373592B2 (en) * | 2016-08-01 | 2019-08-06 | Facebook Technologies, Llc | Adaptive parameters in image regions based on eye tracking information |
KR20180025524A (ko) * | 2016-08-31 | 2018-03-09 | 엘지디스플레이 주식회사 | 개인 몰입형 표시장치 및 이의 구동방법 |
CN109863502A (zh) * | 2016-11-10 | 2019-06-07 | 纽诺创科技术公司 | 将图像拍摄设备与人类用户相关联以分析认知能力的方法和系统 |
CN107168668A (zh) * | 2017-04-28 | 2017-09-15 | 北京七鑫易维信息技术有限公司 | 图像数据传输方法、装置以及存储介质、处理器 |
TWI646466B (zh) * | 2017-08-09 | 2019-01-01 | 宏碁股份有限公司 | 視覺範圍映射方法及相關眼球追蹤裝置與系統 |
US10946745B2 (en) * | 2017-08-30 | 2021-03-16 | Texas Instruments Incorporated | GPU-less instrument cluster system with full asset sweep |
EP3468187A1 (en) * | 2017-10-03 | 2019-04-10 | Axis AB | Method and system for encoding video streams |
GB2568261B (en) | 2017-11-08 | 2022-01-26 | Displaylink Uk Ltd | System and method for presenting data at variable quality |
US10627899B2 (en) | 2018-02-09 | 2020-04-21 | Microsoft Technology Licensing, Llc | Eye tracking system for use in a visible light display device |
US10551914B2 (en) * | 2018-02-09 | 2020-02-04 | Microsoft Technology Licensing, Llc | Efficient MEMs-based eye tracking system with a silicon photomultiplier sensor |
US10694170B2 (en) * | 2018-03-05 | 2020-06-23 | Valve Corporation | Controlling image display via real-time compression in peripheral image regions |
US11194389B2 (en) * | 2018-06-21 | 2021-12-07 | Qualcomm Incorporated | Foveated rendering of graphics content using a rendering command and subsequently received eye position data |
CN108833976B (zh) * | 2018-06-27 | 2020-01-24 | 深圳看到科技有限公司 | 一种全景视频动态切流后的画面质量评估方法及装置 |
WO2020141344A2 (en) * | 2018-07-20 | 2020-07-09 | Tobii Ab | Distributed foveated rendering based on user gaze |
CN109242943B (zh) | 2018-08-21 | 2023-03-21 | 腾讯科技(深圳)有限公司 | 一种图像渲染方法、装置及图像处理设备、存储介质 |
GB2567553B (en) * | 2018-09-06 | 2021-04-07 | Sony Interactive Entertainment Inc | Foveated rendering system and method |
JP7256491B2 (ja) * | 2018-09-13 | 2023-04-12 | 凸版印刷株式会社 | 映像伝送システム、映像伝送装置、および、映像伝送プログラム |
US10915776B2 (en) * | 2018-10-05 | 2021-02-09 | Facebook, Inc. | Modifying capture of video data by an image capture device based on identifying an object of interest within capturted video data to the image capture device |
CN109377503A (zh) * | 2018-10-19 | 2019-02-22 | 珠海金山网络游戏科技有限公司 | 图像更新方法和装置、计算设备及存储介质 |
GB2578769B (en) | 2018-11-07 | 2022-07-20 | Advanced Risc Mach Ltd | Data processing systems |
WO2020110121A1 (en) * | 2018-11-29 | 2020-06-04 | Blink O.G. Ltd. | Systems and methods for anatomy-constrained gaze estimation |
GB2583061B (en) * | 2019-02-12 | 2023-03-15 | Advanced Risc Mach Ltd | Data processing systems |
US10466489B1 (en) | 2019-03-29 | 2019-11-05 | Razmik Ghazaryan | Methods and apparatus for a variable-resolution screen |
US11284053B2 (en) | 2019-03-29 | 2022-03-22 | Razmik Ghazaryan | Head-mounted display and projection screen |
US10554940B1 (en) | 2019-03-29 | 2020-02-04 | Razmik Ghazaryan | Method and apparatus for a variable-resolution screen |
CN110602475B (zh) * | 2019-05-29 | 2021-06-01 | 珠海全志科技股份有限公司 | 提高图像质量的方法及装置、vr显示设备及控制方法 |
US10976816B2 (en) | 2019-06-25 | 2021-04-13 | Microsoft Technology Licensing, Llc | Using eye tracking to hide virtual reality scene changes in plain sight |
CN110267025B (zh) * | 2019-07-03 | 2021-04-13 | 京东方科技集团股份有限公司 | 虚拟3d显示的渲染方法、装置以及其显示方法、系统 |
CN110347265A (zh) * | 2019-07-22 | 2019-10-18 | 北京七鑫易维科技有限公司 | 渲染图像的方法及装置 |
BR112022001434A2 (pt) * | 2019-07-28 | 2022-06-07 | Google Llc | Métodos, sistemas e mídia para renderizar conteúdo de vídeo imersivo com malhas otimizadas |
US11100899B2 (en) * | 2019-08-13 | 2021-08-24 | Facebook Technologies, Llc | Systems and methods for foveated rendering |
US11106039B2 (en) * | 2019-08-26 | 2021-08-31 | Ati Technologies Ulc | Single-stream foveal display transport |
ES2809648A1 (es) * | 2019-09-04 | 2021-03-04 | Alias Antonio Jose Casado | Sistema y procedimiento de optimizacion del renderizado de imagenes a partir del seguimiento de las pupilas |
JP7491676B2 (ja) * | 2019-09-30 | 2024-05-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ転送装置および画像圧縮方法 |
JP7496677B2 (ja) * | 2019-09-30 | 2024-06-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ転送装置、画像表示システム、および画像圧縮方法 |
JP2021057770A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ転送装置および画像圧縮方法 |
TWI827874B (zh) * | 2019-11-05 | 2024-01-01 | 宏達國際電子股份有限公司 | 顯示系統 |
US11614797B2 (en) * | 2019-11-05 | 2023-03-28 | Micron Technology, Inc. | Rendering enhancement based in part on eye tracking |
US20210134250A1 (en) * | 2019-11-05 | 2021-05-06 | Htc Corporation | Display system |
CN114787752A (zh) * | 2019-12-17 | 2022-07-22 | 托比股份公司 | 用于在显示器上应用适应性颜色渲染的方法和系统 |
CN111142827B (zh) * | 2019-12-31 | 2021-04-13 | 镁佳(北京)科技有限公司 | 应用显示方法及装置,存储介质及电子设备 |
US20210304705A1 (en) * | 2020-03-27 | 2021-09-30 | Samsung Electronics Co., Ltd. | Image display apparatus and method for managing data packet loss |
CN111553972B (zh) * | 2020-04-27 | 2023-06-30 | 北京百度网讯科技有限公司 | 用于渲染增强现实数据的方法、装置、设备及存储介质 |
JPWO2021241073A1 (ja) * | 2020-05-27 | 2021-12-02 | ||
CN113810696A (zh) * | 2020-06-12 | 2021-12-17 | 华为技术有限公司 | 一种信息传输方法、相关设备及系统 |
KR102384411B1 (ko) * | 2020-07-29 | 2022-04-06 | 한국항공대학교산학협력단 | Vr 영상 제공 시스템 및 방법 |
US11297332B1 (en) | 2020-10-30 | 2022-04-05 | Capital One Services, Llc | Gaze-tracking-based image downscaling for multi-party video communication |
CN113177434A (zh) * | 2021-03-30 | 2021-07-27 | 青岛小鸟看看科技有限公司 | 基于单眼球追踪的虚拟现实系统注视渲染方法、系统 |
US11863786B2 (en) * | 2021-05-21 | 2024-01-02 | Varjo Technologies Oy | Method of transporting a framebuffer |
CN115933952B (zh) * | 2021-08-28 | 2023-11-24 | 荣耀终端有限公司 | 一种触控采样率调节方法及相关装置 |
CN115236871A (zh) * | 2022-05-17 | 2022-10-25 | 北京邮电大学 | 基于人眼跟踪和双向背光的桌面式光场显示系统及方法 |
US20240007771A1 (en) * | 2022-07-01 | 2024-01-04 | Meta Platforms Technologies, Llc | Readout methods for foveated sensing |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08313843A (ja) * | 1995-05-16 | 1996-11-29 | Agency Of Ind Science & Technol | 視線追従方式による広視野高解像度映像提示装置 |
JP3263278B2 (ja) * | 1995-06-19 | 2002-03-04 | 株式会社東芝 | 画像圧縮通信装置 |
US6697506B1 (en) * | 1999-03-17 | 2004-02-24 | Siemens Corporate Research, Inc. | Mark-free computer-assisted diagnosis method and system for assisting diagnosis of abnormalities in digital medical images using diagnosis based image enhancement |
ATE244489T1 (de) | 1999-12-30 | 2003-07-15 | Swisscom Mobile Ag | Verfahren für die übermittlung von bilddaten |
US20030067476A1 (en) | 2001-10-04 | 2003-04-10 | Eastman Kodak Company | Method and system for displaying an image |
JP2004056335A (ja) * | 2002-07-18 | 2004-02-19 | Sony Corp | 情報処理装置および方法、表示装置および方法、並びにプログラム |
US8020993B1 (en) * | 2006-01-30 | 2011-09-20 | Fram Evan K | Viewing verification systems |
JP2009009253A (ja) * | 2007-06-27 | 2009-01-15 | Renesas Technology Corp | プログラム実行方法、プログラム、およびプログラム実行システム |
JP2009118072A (ja) * | 2007-11-05 | 2009-05-28 | Ihi Corp | 遠隔操作装置及び遠隔操作方法 |
EP2309307B1 (en) * | 2009-10-08 | 2020-12-09 | Tobii Technology AB | Eye tracking using a GPU |
KR20110136040A (ko) * | 2010-06-14 | 2011-12-21 | 주식회사 비즈모델라인 | 사용자 시선 기반 증강현실 기능이 구비된 단말 |
US8902970B1 (en) | 2010-12-01 | 2014-12-02 | Amazon Technologies, Inc. | Altering streaming video encoding based on user attention |
US8493390B2 (en) * | 2010-12-08 | 2013-07-23 | Sony Computer Entertainment America, Inc. | Adaptive displays using gaze tracking |
JP2012124784A (ja) * | 2010-12-09 | 2012-06-28 | Canon Marketing Japan Inc | 動画再生システム |
US9690099B2 (en) * | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
US8885882B1 (en) | 2011-07-14 | 2014-11-11 | The Research Foundation For The State University Of New York | Real time eye tracking for human computer interaction |
WO2013033842A1 (en) * | 2011-09-07 | 2013-03-14 | Tandemlaunch Technologies Inc. | System and method for using eye gaze information to enhance interactions |
KR20190097306A (ko) | 2012-01-19 | 2019-08-20 | 브이아이디 스케일, 인크. | 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 |
KR102001950B1 (ko) * | 2012-07-26 | 2019-07-29 | 엘지이노텍 주식회사 | 시선 추적 장치 및 이의 시선 추적 방법 |
US10514541B2 (en) | 2012-12-27 | 2019-12-24 | Microsoft Technology Licensing, Llc | Display update time reduction for a near-eye display |
US9244529B2 (en) * | 2013-01-27 | 2016-01-26 | Dmitri Model | Point-of-gaze estimation robust to head rotations and/or device rotations |
US9064295B2 (en) * | 2013-02-04 | 2015-06-23 | Sony Corporation | Enhanced video encoding using depth information |
US9727991B2 (en) | 2013-03-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Foveated image rendering |
KR102458124B1 (ko) * | 2013-03-15 | 2022-10-21 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
CN104427291B (zh) * | 2013-08-19 | 2018-09-28 | 华为技术有限公司 | 一种图像处理方法及设备 |
CN105814584B (zh) * | 2013-12-09 | 2019-03-08 | Smi创新传感技术有限公司 | 用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备 |
JP6608137B2 (ja) * | 2014-01-03 | 2019-11-20 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | ディスプレイ上の両眼転導検出 |
US10264211B2 (en) | 2014-03-14 | 2019-04-16 | Comcast Cable Communications, Llc | Adaptive resolution in software applications based on dynamic eye tracking |
WO2016046514A1 (en) | 2014-09-26 | 2016-03-31 | LOKOVIC, Kimberly, Sun | Holographic waveguide opticaltracker |
US9791924B2 (en) | 2014-12-23 | 2017-10-17 | Mediatek Inc. | Eye tracking with mobile device in a head-mounted display |
US10210844B2 (en) * | 2015-06-29 | 2019-02-19 | Microsoft Technology Licensing, Llc | Holographic near-eye display |
US10475370B2 (en) * | 2016-02-17 | 2019-11-12 | Google Llc | Foveally-rendered display |
US10218968B2 (en) | 2016-03-05 | 2019-02-26 | Maximilian Ralph Peter von und zu Liechtenstein | Gaze-contingent display technique |
US10460704B2 (en) * | 2016-04-01 | 2019-10-29 | Movidius Limited | Systems and methods for head-mounted display adapted to human visual mechanism |
US10373592B2 (en) * | 2016-08-01 | 2019-08-06 | Facebook Technologies, Llc | Adaptive parameters in image regions based on eye tracking information |
-
2017
- 2017-07-28 US US15/662,582 patent/US10373592B2/en active Active
- 2017-07-31 EP EP22216471.7A patent/EP4180920A1/en not_active Withdrawn
- 2017-07-31 EP EP17837481.5A patent/EP3345125A4/en not_active Ceased
- 2017-07-31 KR KR1020227017215A patent/KR102543341B1/ko active IP Right Grant
- 2017-07-31 KR KR1020197004708A patent/KR102403304B1/ko active IP Right Grant
- 2017-07-31 JP JP2019505144A patent/JP6886510B2/ja active Active
- 2017-07-31 CN CN201780059271.6A patent/CN109791605B/zh active Active
- 2017-07-31 WO PCT/US2017/044749 patent/WO2018026730A1/en active Application Filing
-
2019
- 2019-06-26 US US16/452,940 patent/US10984756B2/en active Active
-
2021
- 2021-05-14 JP JP2021082166A patent/JP7177213B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20190318708A1 (en) | 2019-10-17 |
JP2019533325A (ja) | 2019-11-14 |
KR102543341B1 (ko) | 2023-06-16 |
KR102403304B1 (ko) | 2022-06-02 |
CN109791605B (zh) | 2023-05-23 |
WO2018026730A1 (en) | 2018-02-08 |
US20180033405A1 (en) | 2018-02-01 |
US10984756B2 (en) | 2021-04-20 |
JP2021144227A (ja) | 2021-09-24 |
EP4180920A1 (en) | 2023-05-17 |
KR20190026030A (ko) | 2019-03-12 |
EP3345125A1 (en) | 2018-07-11 |
US10373592B2 (en) | 2019-08-06 |
JP7177213B2 (ja) | 2022-11-22 |
KR20220080000A (ko) | 2022-06-14 |
EP3345125A4 (en) | 2019-05-01 |
CN109791605A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6886510B2 (ja) | 視線追跡情報に基づく画像領域内の適応パラメータ | |
US10504207B1 (en) | Rendering composite content on a head-mounted display including a high resolution inset | |
US11016301B1 (en) | Accommodation based optical correction | |
JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
US10257507B1 (en) | Time-of-flight depth sensing for eye tracking | |
US11604509B1 (en) | Event camera for eye tracking | |
US10140695B2 (en) | Head-mounted compound display including a high resolution inset | |
US9984507B2 (en) | Eye tracking for mitigating vergence and accommodation conflicts | |
CN110658914B (zh) | 边界区域的闪烁追踪 | |
CN109643152B (zh) | 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画 | |
CN110554501B (zh) | 头戴式显示器及用于确定佩戴其的用户的视线的方法 | |
US10698218B1 (en) | Display system with oscillating element |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190517 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6886510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |