JP7325520B2 - 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体 - Google Patents
3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体 Download PDFInfo
- Publication number
- JP7325520B2 JP7325520B2 JP2021551263A JP2021551263A JP7325520B2 JP 7325520 B2 JP7325520 B2 JP 7325520B2 JP 2021551263 A JP2021551263 A JP 2021551263A JP 2021551263 A JP2021551263 A JP 2021551263A JP 7325520 B2 JP7325520 B2 JP 7325520B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- position data
- image
- display
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006870 function Effects 0.000 claims description 78
- 238000001514 detection method Methods 0.000 claims description 52
- 238000003384 imaging method Methods 0.000 claims description 52
- 230000004888 barrier function Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000005401 electroluminescence Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000001603 reducing effect Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000009792 diffusion process Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
- G02B30/32—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers characterised by the geometry of the parallax barriers, e.g. staggered barriers, slanted parallax arrays or parallax arrays of varying shape or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/10—Road Vehicles
- B60Y2200/11—Passenger cars; Automobiles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
- B60Y2400/301—Sensors for position or displacement
- B60Y2400/3015—Optical cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/08—Details of timing specific for flat panels, other than clock recovery
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
E:D=(2×n×Hp):g (1)
D:Lb=(D+g):Lp (2)
コントローラ8は、取得部3によって取得された、眼の位置(実測位置)を示す位置データと、当該位置データを取得した順をメモリ7に記憶するように構成される。メモリ7には、所定の撮像時間間隔で撮像された複数の撮像画像それぞれに基づく眼の実測位置が順次記憶される。メモリ7には、当該実測位置に眼が位置した順を合わせて記憶してよい。所定の撮像時間間隔は、カメラの性能及び設計により適宜設定されうる、一の撮像画像と、当該一の撮像画像とが撮像される時間の間隔である。
コントローラ8は、メモリ7に記憶されている位置データを、例えば、ローパスフィルタを用いてフィルタリングするように構成されうる。コントローラ8は、眼の位置の単位時間当たりの変化量が大きい位置データをフィルタリングしうる。コントローラ8は、眼の位置の検出精度が低い位置データから実効的な位置データをフィルタリングにより抽出しうる。コントローラ8は、予測関数を算出する際に、当該予測関数の精度をフィルタリングによって高めうる。コントローラ8は、時刻に対する変化が小さい、具体的には、位置の変化の周波数が所定値より低い位置データのみを抽出するようにフィルタリングしてよい。所定値は、実験等により定められた、所望の精度を実現するために要求される位置の変化の周波数の最大値である。
コントローラ8は、メモリ7に記憶されている複数の位置データを用いて、未来の位置を予想位置として出力するように構成される。ここでいう未来とは、当該メモリ7に記憶された複数の位置データに対する未来をいう。コントローラ8は、ローパスフィルタを用いてフィルタリング処理された複数の位置データを用いうる。コントローラ8は、新しい複数の位置情報を用いて予測位置を出力するように構成されうる。コントローラ8は、メモリ7に記憶されている位置データのうち、例えば、記憶時期の新しい複数の位置データと、表示への反映時間とに基づいて予測関数を算出するように構成されうる。コントローラ8は、記憶時期の新しさを撮像時刻に基づいて判断するように構成されうる。コントローラ8は、眼の実測位置と、取得部3によって位置データが取得された取得時刻と、予め実験等により見込まれている所定の反映時間とに基づいて、予測関数を算出するように構成されうる。
コントローラ8は、所定の出力時間間隔で、予測関数において、現時点に所定時間を加算した時刻に対応する、眼の予測位置を出力するように構成される。所定時間は、コントローラ8が表示制御を開始してから、表示パネル5に画像が表示されるまでに要すると見込まれる時間である表示処理時間に基づく時間である。所定の出力時間間隔は、所定の撮像時間間隔より短い時間間隔であってよい。
コントローラ8は、表示パネル5が所定の周波数で画像を更新するように定められた表示時間間隔で、直近に出力された予測位置に基づく可視領域5aに対応して各サブピクセルPに画像を表示させる制御を開始するように構成される。コントローラ8による表示の制御がそれぞれ開始されてから表示処理時間後に、表示パネル5に予測位置に基づく画像
が表示され、更新される。
コントローラ8は、予測関数を評価し、当該評価に基づいて修正してよい。具体的には、コントローラ8は、予測関数に基づいて出力された眼の予測位置と、当該予測位置に対応する、実際に撮像された撮像画像から検出された眼の実測位置とを比較してよい。コントローラ8は、記録された撮像時刻に基づいて、予測位置と実測位置とを対応させうる。コントローラ8は、撮像時間間隔に基づいて、予測位置と実測位置とを対応させうる。コントローラ8は、比較の結果に基づいて予測関数を修正してよい。コントローラ8は、以降の予測処理において、修正された予測関数を用いて眼の位置を出力し、当該修正後の予測関数を用いた眼の予測位置に基づいて表示パネル5に画像を表示させてよい。
コントローラ8は、取得部3が位置データの取得に失敗すると、メモリ7に記憶された複数の位置データを用いて、現在時刻の予測位置を出力するように構成されうる。コントローラ8は、メモリ7に記憶された複数の位置データを用いて、現在時刻における眼の位置を予測するための予測関数を算出するように構成されうる。現在時刻における眼の位置を予測するための予測関数は、第1予測関数と称されうる。コントローラ8は、第1予測関数に基づいて、現在時刻の予測位置を出力するように構成されうる。
コントローラ8は、現在時刻の予測位置を含む複数の位置データを用いて、未来時刻における眼の予測位置を出力するように構成される。ここでいう未来時刻とは、現在時刻より後の時刻をいう。コントローラ8は、メモリ7に記憶された複数の位置データを用いて、現在時刻における眼の位置を予測するための予測関数を算出するように構成されうる。未来時刻における眼の位置を予測するための予測関数は、第2予測関数と称されうる。コントローラ8は、第2予測関数に基づいて、未来時刻の予測位置を出力するように構成されうる。
コントローラ8は、表示パネル5が所定の周波数で画像を更新するように定められた表示時間間隔で、直近に出力された予測位置に基づく可視領域5aに対応して各サブピクセルPに画像を表示させる制御を開始するように構成される。コントローラ8による表示の制御がそれぞれ開始されてから表示処理時間後に、表示パネル5に予測位置に基づく画像が表示され、更新される。
コントローラ8は、第2予測関数を評価し、当該評価に基づいて、第2予測関数を修正してよい。コントローラ8は、第2予測関数に基づいて出力された眼の予測位置と、当該予測位置に対応する、実際に撮像された撮像画像から検出された眼の実測位置とを比較してよい。コントローラ8は、記録された撮像時刻に基づいて、予測位置と実測位置とを対応させうる。コントローラ8は、撮像時間間隔に基づいて、予測位置と実測位置とを対応させうる。コントローラ8は、比較の結果に基づいて第2予測関数を修正してよい。コントローラ8は、以降の予測処理において、修正された第2予測関数を用いて眼の位置を出力し、当該修正後の第2予測関数を用いた眼の予測位置に基づいて表示パネル5に画像を表示させてよい。
2 3次元表示装置
3 取得部
4 照射器
5 表示パネル
6 パララックスバリア
7 メモリ
8 コントローラ
10 3次元表示システム
20 移動体
51a 可視領域
51aL 左可視領域
51aR 右可視領域
51bL 左減光領域
51bL 右減光領域
61 減光部
62 透光部
100 ヘッドアップディスプレイ
110 光学部材
120 被投影部材
130 被投影面
140 光路
150 虚像
A アクティブエリア
Claims (11)
- 視差画像を表示して前記視差画像に対応する画像光を出射するように構成される表示パネルと、
前記画像光の光線方向を規定するように構成される面を有するパララックスバリアと、
撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される取得部と、
前記取得部によって順次、取得された前記複数の位置データを記憶するように構成されるメモリと、
前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より所定時間経過後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成されるコントローラと、
を備え、
前記コントローラは、
前記取得部が同じ値を示す前記位置データを連続して取得すると、連続して取得した前記位置データのうちの2つ目の位置データを破棄し、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻の眼の予測位置を前記位置データとして出力し、
前記現在時刻の眼の予測位置を含む、複数の位置データに基づいて、現在時刻より後の時刻の眼の予測位置を出力し、
当該予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成される3次元表示装置。 - 請求項1に記載の3次元表示装置であって、
前記コントローラは、前記メモリに記憶された前記位置データに基づいて、現時点より後の時刻と、当該時刻での眼の位置との関係を示す予測関数を算出し、前記予測関数に基づいて、前記眼の予測位置を出力するように構成される、3次元表示装置。 - 請求項2に記載の3次元表示装置であって、
前記コントローラは、前記撮像時間間隔より短い出力時間間隔で、前記予測関数に基づいて前記眼の予測位置を出力し、当該予測位置に基づいて、前記表示パネルの各サブピクセルに視差画像を表示させるように構成される、3次元表示装置。 - 請求項2または3に記載の3次元表示装置であって、
前記コントローラは、前記表示パネルに表示させる画像を更新する表示時間間隔より短い出力時間間隔で、前記予測関数に基づいて、前記予測位置を出力するように構成される、3次元表示装置。 - 請求項2~4のいずれか1項に記載の3次元表示装置であって、
前記コントローラは、前記予測位置に基づく画像を表示した表示時刻に前記カメラが前記眼を撮像した撮像画像に基づいて検出された眼の位置に基づいて、前記予測関数を修正するように構成される、3次元表示装置。 - 請求項1~5のいずれか1項に記載の3次元表示装置であって、
前記コントローラは、
前記取得部が前記位置データの取得に失敗すると、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻の眼の予測位置を前記位置データとして出力し、
前記現在時刻の眼の予測位置を含む、複数の位置データに基づいて、現在時刻より後の時刻における眼の予測位置を出力し、
当該予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成される、3次元表示装置。 - 請求項1~6のいずれか1項に記載の3次元表示装置であって、
前記所定時間は、前記コントローラが表示制御を開始してから前記表示パネルに画像が表示されるまでに要する表示処理時間に基づく時間である、3次元表示装置。 - 請求項1~7のいずれか1項に記載の3次元表示装置であって、
前記コントローラと前記検出装置とは、互いに非同期で動作する、3次元表示装置。 - 検出装置と、3次元表示装置とを備える3次元表示システムであって、
前記検出装置は、撮像時間間隔で利用者の眼を撮像するカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出し、
前記3次元表示装置は、視差画像を表示して前記視差画像に対応する画像光を出射するように構成される表示パネルと、前記画像光の光線方向を規定するように構成される面を有するパララックスバリアと、撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される取得部と、前記取得部によって順次、取得された前記複数の位置データを記憶するように構成されるメモリと、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より所定時間経過後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成されるコントローラと、を備え、
前記コントローラは、
前記取得部が同じ値を示す前記位置データを連続して取得すると、連続して取得した前記位置データのうちの2つ目の位置データを破棄し、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻の眼の予測位置を前記位置データとして出力し、
前記現在時刻の眼の予測位置を含む、複数の位置データに基づいて、現在時刻より後の時刻の眼の予測位置を出力し、
当該予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成される、3次元表示システム。 - 3次元表示システムと、被投影部材とを備えるヘッドアップティスプレイであって、
前記3次元表示システムは、検出装置と、3次元表示装置とを含み、
前記検出装置は、撮像時間間隔で利用者の眼を撮像するカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出し、
前記3次元表示装置は、視差画像を表示して前記視差画像に対応する画像光を出射するように構成される表示パネルと、前記画像光の光線方向を規定するように構成される面を有するパララックスバリアと、撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される取得部と、前記取得部によって順次、取得された前記複数の位置データを記憶するように構成されるメモリと、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より所定時間経過後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成されるコントローラと、を有し、
前記コントローラは、
前記取得部が同じ値を示す前記位置データを連続して取得すると、連続して取得した前記位置データのうちの2つ目の位置データを破棄し、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻の眼の予測位置を前記位置データとして出力し、
前記現在時刻の眼の予測位置を含む、複数の位置データに基づいて、現在時刻より後の時刻の眼の予測位置を出力し、
当該予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成され、
前記被投影部材は、前記3次元表示装置から射出された前記画像光を、利用者の眼の方向に反射させる、ヘッドアップディスプレイ。 - 3次元表示システムと、被投影部材とを含むヘッドアップティスプレイを備える移動体であって、
前記3次元表示システムは、検出装置と、3次元表示装置とを含み、
前記検出装置は、撮像時間間隔で利用者の眼を撮像するカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出し、
前記3次元表示装置は、視差画像を表示して前記視差画像に対応する画像光を出射するように構成される表示パネルと、前記画像光の光線方向を規定するように構成される面を有するパララックスバリアと、撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される取得部と、前記取得部によって順次、取得された前記複数の位置データを記憶するように構成されるメモリと、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より所定時間経過後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成されるコントローラと、を有し、
前記コントローラは、
前記取得部が同じ値を示す前記位置データを連続して取得すると、連続して取得した前記位置データのうちの2つ目の位置データを破棄し、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻の眼の予測位置を前記位置データとして出力し、
前記現在時刻の眼の予測位置を含む、複数の位置データに基づいて、現在時刻より後の時刻の眼の予測位置を出力し、
当該予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成され、
前記被投影部材は、前記3次元表示装置から射出された前記画像光を、利用者の眼の方向に反射させる、移動体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019178949 | 2019-09-30 | ||
JP2019178949 | 2019-09-30 | ||
PCT/JP2020/036689 WO2021065825A1 (ja) | 2019-09-30 | 2020-09-28 | 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021065825A1 JPWO2021065825A1 (ja) | 2021-04-08 |
JP7325520B2 true JP7325520B2 (ja) | 2023-08-14 |
Family
ID=75336558
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021551264A Active JP7325521B2 (ja) | 2019-09-30 | 2020-09-28 | 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体 |
JP2021551263A Active JP7325520B2 (ja) | 2019-09-30 | 2020-09-28 | 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021551264A Active JP7325521B2 (ja) | 2019-09-30 | 2020-09-28 | 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体 |
Country Status (5)
Country | Link |
---|---|
US (2) | US20230067565A1 (ja) |
EP (2) | EP3840374B1 (ja) |
JP (2) | JP7325521B2 (ja) |
CN (2) | CN112956188B (ja) |
WO (2) | WO2021065825A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112929640A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 多视点裸眼3d显示装置、显示方法、显示屏校正方法 |
KR20230046566A (ko) | 2021-09-30 | 2023-04-06 | 삼성전자주식회사 | 룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010039556A (ja) | 2008-07-31 | 2010-02-18 | Canon Inc | システム |
JP2012080439A (ja) | 2010-10-05 | 2012-04-19 | Casio Comput Co Ltd | 撮像装置及び方法、並びにプログラム |
JP2014195141A (ja) | 2013-03-28 | 2014-10-09 | Japan Display Inc | 表示装置 |
JP2015008394A (ja) | 2013-06-25 | 2015-01-15 | Kddi株式会社 | 情報端末装置 |
JP2016116221A (ja) | 2014-12-10 | 2016-06-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 3d表示のための装置及び方法 |
JP2019082671A (ja) | 2017-10-31 | 2019-05-30 | 公立大学法人大阪市立大学 | 3次元表示装置、3次元表示システム、ヘッドアップディスプレイおよび3次元表示装置設計方法 |
WO2019171557A1 (ja) | 2018-03-08 | 2019-09-12 | 塁 佐藤 | 画像表示システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2758023B2 (ja) * | 1989-05-17 | 1998-05-25 | 日本放送協会 | 画像表示装置 |
JP3668116B2 (ja) | 1999-09-24 | 2005-07-06 | 三洋電機株式会社 | 眼鏡無し立体映像表示装置 |
WO2011132422A1 (ja) * | 2010-04-21 | 2011-10-27 | パナソニック株式会社 | 立体映像表示装置、立体映像表示方法 |
KR101729556B1 (ko) * | 2010-08-09 | 2017-04-24 | 엘지전자 주식회사 | 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법, 그리고 위치 추적 장치 |
US20120200676A1 (en) * | 2011-02-08 | 2012-08-09 | Microsoft Corporation | Three-Dimensional Display with Motion Parallax |
EP2990085B1 (en) * | 2014-08-29 | 2022-08-10 | Nintendo Co., Ltd. | Method and apparatus for estimating the value of an input in presence of a perturbing factor |
WO2017212679A1 (ja) * | 2016-06-08 | 2017-12-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
EP3554068B1 (en) * | 2016-12-07 | 2022-05-18 | Kyocera Corporation | Image projection apparatus |
KR102176902B1 (ko) * | 2016-12-07 | 2020-11-10 | 교세라 가부시키가이샤 | 화상 투영 장치, 화상 표시 장치 및 이동체 |
KR102435614B1 (ko) * | 2017-11-17 | 2022-08-24 | 삼성전자주식회사 | 카메라 모듈 내에서 이미지 센서를 위한 클럭 신호를 생성하기 위한 전자 장치 및 방법 |
US11222476B2 (en) * | 2019-05-14 | 2022-01-11 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | System to add parallax to video for augmented reality head up display |
-
2020
- 2020-09-28 JP JP2021551264A patent/JP7325521B2/ja active Active
- 2020-09-28 WO PCT/JP2020/036689 patent/WO2021065825A1/ja unknown
- 2020-09-28 US US17/754,277 patent/US20230067565A1/en active Pending
- 2020-09-28 WO PCT/JP2020/036690 patent/WO2021065826A1/ja unknown
- 2020-09-28 EP EP20861992.4A patent/EP3840374B1/en active Active
- 2020-09-28 CN CN202080005320.XA patent/CN112956188B/zh active Active
- 2020-09-28 JP JP2021551263A patent/JP7325520B2/ja active Active
- 2020-09-28 CN CN202080005295.5A patent/CN112889273B/zh active Active
- 2020-09-28 US US17/764,953 patent/US20220295043A1/en active Pending
- 2020-09-28 EP EP20861989.0A patent/EP3840373B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010039556A (ja) | 2008-07-31 | 2010-02-18 | Canon Inc | システム |
JP2012080439A (ja) | 2010-10-05 | 2012-04-19 | Casio Comput Co Ltd | 撮像装置及び方法、並びにプログラム |
JP2014195141A (ja) | 2013-03-28 | 2014-10-09 | Japan Display Inc | 表示装置 |
JP2015008394A (ja) | 2013-06-25 | 2015-01-15 | Kddi株式会社 | 情報端末装置 |
JP2016116221A (ja) | 2014-12-10 | 2016-06-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 3d表示のための装置及び方法 |
JP2019082671A (ja) | 2017-10-31 | 2019-05-30 | 公立大学法人大阪市立大学 | 3次元表示装置、3次元表示システム、ヘッドアップディスプレイおよび3次元表示装置設計方法 |
WO2019171557A1 (ja) | 2018-03-08 | 2019-09-12 | 塁 佐藤 | 画像表示システム |
Also Published As
Publication number | Publication date |
---|---|
CN112889273B (zh) | 2023-06-20 |
JP7325521B2 (ja) | 2023-08-14 |
EP3840374A4 (en) | 2021-10-20 |
EP3840373B1 (en) | 2023-03-15 |
EP3840373A1 (en) | 2021-06-23 |
WO2021065826A1 (ja) | 2021-04-08 |
CN112889273A (zh) | 2021-06-01 |
CN112956188B (zh) | 2023-08-22 |
JPWO2021065826A1 (ja) | 2021-04-08 |
EP3840373A4 (en) | 2021-09-29 |
US20220295043A1 (en) | 2022-09-15 |
EP3840374B1 (en) | 2023-07-19 |
CN112956188A (zh) | 2021-06-11 |
WO2021065825A1 (ja) | 2021-04-08 |
JPWO2021065825A1 (ja) | 2021-04-08 |
EP3840374A1 (en) | 2021-06-23 |
US20230067565A1 (en) | 2023-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6924637B2 (ja) | 3次元表示装置、3次元表示システム、移動体、および3次元表示方法 | |
JP7325520B2 (ja) | 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体 | |
JP2020017935A (ja) | 表示装置、表示システムおよび移動体 | |
WO2019160160A1 (ja) | ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、および移動体 | |
US20220187618A1 (en) | Stereoscopic virtual image display module, stereoscopic virtual image display system, and movable object | |
WO2020090629A1 (ja) | 画像表示装置、画像表示システム、及び移動体 | |
WO2020130049A1 (ja) | 3次元表示装置、ヘッドアップディスプレイシステム、及び移動体 | |
WO2020004275A1 (ja) | 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体 | |
WO2019225400A1 (ja) | 画像表示装置、画像表示システム、ヘッドアップディスプレイおよび移動体 | |
WO2022019154A1 (ja) | 3次元表示装置 | |
US11961429B2 (en) | Head-up display, head-up display system, and movable body | |
US11881130B2 (en) | Head-up display system and moving body | |
US11693240B2 (en) | Three-dimensional display device, three-dimensional display system, head-up display, and movable object | |
WO2020256154A1 (ja) | 3次元表示装置、3次元表示システム、および移動体 | |
US11977226B2 (en) | Head-up display system and movable body | |
WO2023120603A1 (ja) | 撮像装置および画像処理方法 | |
JP7346587B2 (ja) | ヘッドアップディスプレイ、ヘッドアップディスプレイシステム及び移動体 | |
WO2022131009A1 (ja) | 立体表示用コントローラ | |
JP2021056255A (ja) | パララックスバリア、3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体 | |
CN116685897A (zh) | 三维显示装置 | |
JP2021056254A (ja) | パララックスバリア、3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7325520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |