JPWO2015145933A1 - 虚像表示装置、ヘッドアップディスプレイシステム及び乗物 - Google Patents

虚像表示装置、ヘッドアップディスプレイシステム及び乗物 Download PDF

Info

Publication number
JPWO2015145933A1
JPWO2015145933A1 JP2016509930A JP2016509930A JPWO2015145933A1 JP WO2015145933 A1 JPWO2015145933 A1 JP WO2015145933A1 JP 2016509930 A JP2016509930 A JP 2016509930A JP 2016509930 A JP2016509930 A JP 2016509930A JP WO2015145933 A1 JPWO2015145933 A1 JP WO2015145933A1
Authority
JP
Japan
Prior art keywords
gazing point
parallax
observer
image
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016509930A
Other languages
English (en)
Inventor
林　克彦
克彦 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2015145933A1 publication Critical patent/JPWO2015145933A1/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0145—Head-up displays characterised by optical features creating an intermediate image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本開示は、融像を支援することにより、利便性を向上させた虚像表示装置を提供することを目的とする。本開示の虚像表示装置は、視差画像を出力する表示デバイスと、視差画像に基づいて虚像を表示する光学系と、観察者の注視点の変化を取得する取得部と、取得部から観察者の注視点の第１の注視点から第２の注視点への変化を取得すると、第１の注視点に対応する視差画像と第２の注視点に対応する視差画像との間に、少なくとも１つの中間視差画像を生成するように表示デバイスを制御する制御部と、を備える。

Description

本開示は、虚像表示装置、虚像表示装置を備えたヘッドアップディスプレイシステム及びヘッドアップシステムを搭載した乗物に関する。
ヘッドアップディスプレイ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）のような虚像表示装置は、自動車等の車両に乗った運転手の前景に、運転を支援するための補助情報を描画した画像を虚像として重畳表示する。特許文献１には、左眼用虚像と右眼用虚像の視差量を変更して左右両眼のそれぞれで視認させ、融像させることにより、虚像の表示距離を変更する虚像表示装置が開示されている。
特開２００５−３０１１４４号公報
融像は、眼球の運動や、視覚中枢の働きによって実現される。そのため、融像を実現する時間は、個人差がある。車両を運転中の運転手が、多くの注意を払わなければならない状況下において、融像の実現に時間を要していては、安全性の観点から好ましくない。
本開示は、融像を支援することにより、利便性を向上させた虚像表示装置、ヘッドアップディスプレイシステム及び乗物を提供することを目的とする。
本開示の虚像表示装置は、視差画像を出力する表示デバイスと、視差画像に基づいて虚像を表示する光学系と、観察者の注視点の変化を取得する取得部と、取得部から観察者の注視点の第１の注視点から第２の注視点への変化を取得すると、第１の注視点に対応する視差画像と第２の注視点に対応する視差画像との間に、少なくとも１つの中間視差画像を生成するように表示デバイスを制御する制御部と、を備える。
本開示によれば、融像を支援することにより、利便性を向上させた虚像表示装置、ヘッドアップディスプレイシステム及び乗物を提供できる。
図１は、実施の形態１に係るヘッドアップディスプレイシステムの構成を示す図である。 図２は、実施の形態１に係る表示デバイスと視差バリアと制御部と撮像装置の構成を示すブロック図である。 図３は、実施の形態１に係る観察者の左眼用画像と右眼用画像と立体像の関係を示す図である。 図４は、観察者の注視点が、近くから遠くに変化した場合の視差量を説明する図である。 図５は、観察者の注視点が、遠くから近くに変化した場合の視差量を説明する図である。 図６は、実施の形態１に係るヘッドアップディスプレイシステムの動作を示すフローチャートである。 図７は、実施の形態２に係るヘッドアップディスプレイシステムの構成を示す図である。 図８は、実施の形態２に係るヘッドアップディスプレイシステムの動作を示すフローチャートである。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
［１−１．ヘッドアップディスプレイシステムの構成］
本開示のヘッドアップディスプレイシステムは、例えば、自動車の運転席に備えられる。ヘッドアップディスプレイシステムの構成について説明する。
図１は、実施の形態１に係るヘッドアップディスプレイシステム１００の構成を示す図である。ヘッドアップディスプレイシステム１００は、虚像表示装置２００と、撮像装置３００、ウインドシールド４００を備えている。
虚像表示装置２００は、筐体２１０と、筐体２１０の内部に表示デバイス２２０と視差バリア（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）２３０と第１ミラー２４１と第２ミラー２４２で構成されるミラー２４０とマイコン等の制御部２５０を備えている。また、筐体２１０は開口２６０を有している。開口２６０は、透明のカバーで覆われていてもよい。
虚像表示装置２００は、例えば、自動車のダッシュボードの内部に配置される。表示デバイス２２０が表示する画像を、第１ミラー２４１を介して反射させ、さらに第２ミラー２４２を介して反射させ、さらにウインドシールド４００を介して反射させ、車両内部の観察者Ｄに導いて虚像Ｉを表示する。
表示デバイス２２０は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、プラズマディスプレイ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ）などが用いられる。表示デバイス２２０は、道路進行案内や、前方車両までの距離、自動車のバッテリー残量、現在の車速など、各種の情報を表示する。第１ミラー２４１は、表示デバイス２２０の垂直方向上部に設けられ、その反射面を第２ミラー方向に向けている。
なお、ミラー２４０は無くてもよく、表示デバイス２２０から出力された画像を、開口２６０を介してウインドシールド４００に直接投射してもよい。
撮像装置３００は、自動車内部の観察者Ｄの視点領域５００を撮影するカメラである。撮像装置３００は、撮影した画像を制御部２５０に供給する。制御部２５０は、供給された撮影画像を解析することにより、観察者Ｄの注視点の位置を検出する。ここで、注視点の位置とは、観察者Ｄがウインドシールド４００越しに注視している前方の位置である。注視点の位置は、観察者Ｄからの距離として把握される。制御部２５０は、観察者Ｄの両眼の瞳方向を解析することにより輻輳点を導出し、注視点Ｘの位置を検出することができる。
なお、注視点の検出は、これに限定されず、観察者Ｄの注視点の位置を検出できる方法であれば、他の方法であってもよい。
ウインドシールド４００は、自動車走行中に前方から来る空気の流れから、自動車内部の観察者Ｄを保護するために設けられるシールドである。ウインドシールド４００は、例えば、ガラスにより構成される。
本実施の形態では、ウインドシールド４００を用いた場合を例示するが、これに限定されない。ウインドシールド４００の代わりに、コンバイナーを用いてもよい。
［１−２．表示デバイスと視差バリアの構成］
次に、表示デバイス２２０と視差バリア２３０の構成について詳細に説明する。図２は、表示デバイス２２０と視差バリア２３０と制御部２５０と撮像装置３００の構成図である。視差バリア２３０は、図示しないガラス基板に、例えば、クロムなどの遮光材料を蒸着させ、ガラス基板上に１次元的にストライプ状に形成される。遮光材料が蒸着されない部分が開口２３１となる。
表示デバイス２２０は、Ｒ（ＲＥＤ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）からなる画素を有している。実施の形態１では、表示デバイス２２０の各画素は、左眼用画素２２１及び右眼用画素２２２として、空間分割されている。すなわち、表示デバイス２２０の各画素は、左眼用画素２２１と右眼用画素２２２として交互に割り当てられる。
制御部２５０は、撮像装置３００が撮像した画像を解析することにより、観察者Ｄの注視点を検出し、検出した注視点に基づいて表示デバイス２２０の表示画像を制御する。表示デバイス２２０は、制御部２５０からの制御に従って、表示画像を出力する。
視差バリア２３０は、所定の間隔で開口２３１が形成されている。開口２３１によって、表示デバイス２２０から出射した光は、配光を制御され、左眼用画素２２１から出射した光は観察者Ｄの左眼に、右眼用画素２２２から出射した光は観察者Ｄの右眼に到達する。これにより、表示デバイス２２０と視差バリア２３０は、観察者Ｄに視差のある画像を提示することができる。
図３は、観察者Ｄの左眼用虚像画像ＩＬと右眼用虚像画像ＩＲと立体像Ｓの関係を示す図である。観察者Ｄは、ヘッドアップディスプレイシステム１００を用いると、所定の位置に視差画像の虚像Ｉである左眼用虚像画像ＩＬ及び、右眼用虚像画像ＩＲが表示される。観察者Ｄは、左眼用虚像画像ＩＬ及び、右眼用虚像画像ＩＲを見ることで、これらを立体視して融像した立体像Ｓが所定の位置より遠方にあるように知覚する。
ここで、虚像Ｉである左眼用虚像画像ＩＬ及び、右眼用虚像画像ＩＲの表示される所定の位置を「基準虚像位置」と定義する。
一般的に、観察者Ｄの注視点と基準虚像位置が異なり、その距離が大きい場合、任意の位置に表示した虚像の輻輳角は、基準虚像位置に表示した虚像の輻輳角と角度が異なるために、立体像は二重になり視認性が劣化する。
ここで、表示デバイス２２０の表示画像に与える視差量Ｑと、観察者Ｄから、融像した像を知覚する位置である融像位置までの距離である立体視距離Ｌとの関係を（数１）に示す。
制御部２５０は、右眼用虚像画像ＩＲと左眼用虚像画像ＩＬの視差量Ｑを変化させることで、輻輳角θが視差量Ｑに応じて変化し、観察者Ｄに表示される虚像Ｉの表示距離を変化させることが出来る。
ここでの融像とは、観察者Ｄの左右の瞳位置と左右の視差画像をそれぞれ左右独立に接続する直線を引いた場合に、その交点が注視点に相当する場合を含む。また、左右の視差画像をそれぞれ独立に左右の眼で見た場合の輻輳角と、注視点にある場合の輻輳角が一致する場合も含む。
なお、表示デバイス２２０は、空間分割により左眼用画像及び、右眼用画像を出力するとしたが、本開示はこれに限定されない。表示デバイス２２０は、時間分割により、左眼用画像及び、右眼用画像を順次出力するようにしてもよい。
なお、上述では視差バリア２３０を用いるとしたが、本開示はこれに限定されない。レンチキュラレンズや、液晶レンズなど、表示デバイス２２０から投射された光の配光を制御できる構成であれば、他の構成であっても構わない。
［１−３．動作］
次に、ヘッドアップディスプレイシステム１００の動作を説明する。
本実施の形態では、観察者Ｄが第１の注視点から第２の注視点へ視点移動をした場合の融像支援動作について説明する。視点移動は、観察者Ｄの運転の環境変化、例えば、スピード変化、車窓の変化、車外環境の変化、ナビゲーションの変化など、により発生する。
図４は、観察者Ｄの注視点が、近くから遠くに変化した場合の視差量を説明する図である。図４において、左側は観察者Ｄの視点が第１の注視点Ｘａにある場合で、右側は観察者Ｄの視点が第２の注視点Ｘｂにある場合を示している。図４において、観察者Ｄの視点が第１の注視点Ｘａにある場合、観察者Ｄの右眼ＤＲと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ−１との交点をＡＲａ、観察者Ｄの左眼ＤＬと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ−１との交点をＡＬａとし、第１の注視点Ｘａの視差量をＱａとする。また、図４において、観察者Ｄの視点が第２の注視点Ｘｂにある場合、観察者Ｄの右眼ＤＲと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ−１との交点をＡＲｂ、観察者Ｄの左眼ＤＬと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ−１との交点をＡＬｂとし、第２の注視点Ｘｂの視差量をＱｂとする。
図４に示すように、観察者Ｄの視点が第１の注視点Ｘａにある場合、基準虚像位置Ａ−１上に、視差画像の虚像Ｉを表示する。すなわち、右眼用虚像画像ＩＲをＡＲａに表示させ、左眼用虚像画像ＩＬをＡＬａに表示する。
次に、観察者Ｄの視点が、第１の注視点Ｘａから第２の注視点Ｘｂに移動する。このとき、基準虚像位置Ａ−１に、視差画像の虚像Ｉを表示する。すなわち、右眼用虚像画像ＩＲをＡＲｂに表示させ、左眼用の視差虚像画像ＩＬをＡＬｂに表示する。
図５は、観察者Ｄの注視点が遠くから近くに変化した場合の視差量を説明する図である。図５において、左側は観察者Ｄの視点が第１の注視点Ｘａにある場合で、右側は観察者Ｄの視点が第２の注視点Ｘｂにある場合を示している。図５において、観察者Ｄの視点が第１の注視点Ｘａにある場合、観察者Ｄの右眼ＤＲと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ−１との交点をＡＲａ、観察者Ｄの左眼ＤＬと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ−１との交点をＡＬａとする。また、図５において、観察者Ｄの視点が第２の注視点Ｘｂにある場合、観察者Ｄの右眼ＤＲと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ−１との交点をＡＲｂ、観察者Ｄの左眼ＤＬと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ−１との交点をＡＬｂとする。
図５に示すように、観察者Ｄの視点が第１の注視点Ｘａにある場合、基準虚像位置Ａ−１上に、視差画像の虚像Ｉを表示する。すなわち、右眼用虚像画像ＩＲをＡＲａに表示させ、左眼用虚像画像ＩＬをＡＬａに表示する。
ヘッドアップディスプレイシステム１００は、観察者Ｄの注視点の位置に融像するよう表示画像の視差量を調整する。ここで、注視点の移動とは、進行方向に対して水平方向にも移動を伴うが、主として観察者Ｄの前後方向への移動であるとして説明する。第１の注視点の位置が、基準虚像位置と一致する場合は、表示デバイス２２０の出力画像は視差画像である必要はない。しかし、第１の注視点の位置が基準虚像位置と一致しない場合は、表示デバイス２２０は視差画像を表示する。
図６は、実施の形態１に係るヘッドアップディスプレイシステム１００の動作を示すフローチャートである。
（Ｓ６０１）注視点の位置情報は、撮像装置３００により観察者Ｄの視点領域５００を撮影することで取得し、算出される。制御部２５０は、注視点の位置情報を（数１）を用いて、第１の注視点Ｘａに融像するための第１の視差量Ｑａを算出する。そして、制御部２５０は、算出した第１の視差量Ｑａに基づいて視差画像を生成し、表示デバイス２２０に表示させる。
（Ｓ６０２）観察者Ｄの注視点に変化があるか否か、すなわち、第１の注視点Ｘａから第２の注視点Ｘｂに移動したか否かを判定する。判定は、撮像装置３００による観察者Ｄの視点領域５００の変化を検知することで判定する。観察者Ｄの注視点に変化が無い場合（Ｎｏの場合）、Ｓ６０２に戻る。観察者Ｄの注視点に変化がある場合（Ｙｅｓの場合）、Ｓ６０３へ進む。
（Ｓ６０３）制御部２５０は、撮像装置３００から第２の注視点Ｘｂの位置情報を取得し、第２の注視点Ｘｂの位置情報を（数１）を用いて、その第２の注視点Ｘｂに融像させるための第２の視差量Ｑｂを算出する。
（Ｓ６０４）続いて、制御部２５０は、第１の視差量Ｑａと第２の視差量Ｑｂの差分ΔＱを算出し、算出した差分ΔＱに基づいて、第１の視差量Ｑａの視差画像と第２の視差量Ｑｂの視差画像の間に設ける中間視差画像の段階数ｎ（ｎは１以上の自然数）を決定する。例えば、第１の注視点Ｘａから第２の注視点Ｘｂへの視点移動が、輻輳角の角度変化量として０．９度であった場合に、段階数を３段階とする。
（Ｓ６０５）角度変化量が０．９度で、段階数が３段階の場合、例えば、１段階目として角度変化量が０．３度、２段階目として角度変化量０．６度、３断目として角速度変化量０．９度、すなわち、第２の注視点Ｘｂとする。制御部２５０は、これらの角度変化量に対応する視差量を算出する。
（Ｓ６０６）制御部２５０は、算出した視差量に基づいて視差画像を生成し、表示デバイス２２０に表示させる。視差画像の表示は、第１の注視点Ｘａに対応する視差画像、角度変化量０．３度の視差量に対応する視差画像、角度変化量０．６度の視差量に対応する視差画像、第２の注視点Ｘｂに対応する視差画像の順に連続して表示させる。そして、観察者Ｄは、基準虚像位置に表示されたこれらの視差画像を見ることで、これらを立体視した立体像Ｓが第１の注視点から徐々に第２の注視点に移動しているように視認できる。
［１−４．効果等］
以上のように、本開示のヘッドアップディスプレイシステム１００は、観察者Ｄが、第１の注視点Ｘａから第２の注視点Ｘｂに視線移動したときに、段階的に生成された視差画像の虚像を立体視することで、第１の注視点Ｘａに融像された立体像から第２の注視点Ｘｂに融像された立体像への視認の移動を支援することができる。すなわち、観察者Ｄは、視点移動する場合に、第１の注視点Ｘａに対応する視差画像から、第２の注視点Ｘｂに対応する視差画像へ直接切り替えて表示された場合と比べ、より快適な立体視の視点移動ができる。
ここで、３Ｄ立体表示機器の開発、普及や３Ｄコンテンツの拡大を図ることを目的として設立された「３Ｄコンソーシアム」では、「人にやさしい３Ｄ普及のための３ＤＣ安全ガイドライン ２０１０年４月２０日改訂」（３ＤＣ Ｓａｆｅｔｙ Ｇｕｉｄｅｌｉｎｅｓ ｆｏｒ Ｄｉｓｓｅｍｉｎａｔｉｏｎ ｏｆ Ｈｕｍａｎ−ｆｒｉｅｎｄｌｙ ３Ｄ ｒｅｖｉｓｅｄ ｏｎ Ａｐｒｉｌ ２０，２０１０）が策定されている。このガイドラインによると、快適視差範囲として、不特定多数を対象とする場合輻輳角で２度程度、従来の研究や経験則では１度以下が目安である、と推奨している。しかし、注視点の移動に伴う輻輳角の変化量が１度以下であっても、視差量及び視差量の変化量が少なければ少ない程、立体視はしやすいので、中間の視差量を付与した中間視差画像を生成することは、立体視の視点移動に効果がある。
なお、中間の視差画像の生成は、図４、５に示すように、輻輳角αから輻輳角βに変化したとして、輻輳角の変化Δθに対して、段階数ｎに応じてΔθ／ｎずつ視差量を付与した中間視差像を生成し、挿入してもよい。また、付加量も均等割でなくても良い。
なお、観察者Ｄの注視点が基準虚像位置と一致する場合は、表示デバイス２２０は、視差画像を出力しなくてもよい。
なお、視差量を変化させる速度や、視差量を何段階で変化させるかについては、観察者Ｄの年齢等から統計的に割り出してもよいし、撮像装置３００の撮影結果に基づいて適宜補正するようにしてもよい。また、視差量の変化量が大きいほど、段階数を増やすようにしてもよい。
（実施の形態２）
［２−１．ヘッドアップディスプレイシステムの構成］
次に、実施の形態２に係るヘッドアップディスプレイシステムについて説明する。本実施の形態では、ヘッドアップディスプレイシステムの構成のうち、主に実施の形態１との相違点を中心に説明する。
図７は、実施の形態２に係るヘッドアップディスプレイシステム７００の構成を示す図である。ヘッドアップディスプレイシステム７００は、虚像表示装置６００と、撮像装置３００、ウインドシールド４００、センサーデバイス８００を備えている。
撮像装置３００とウインドシールド４００は、実施の形態１と同じ構成であるので、説明を省略する。
虚像表示装置６００は、筐体２１０と、筐体２１０の内部に、表示デバイス２２０と、視差バリア２３０と、第１ミラー２４１と第２ミラー２４２で構成されるミラー２４０と、マイコン等の制御部６５０を備えている。また、筐体２１０は開口２６０を有している。筐体２１０、表示デバイス２２０、視差バリア２３０、ミラー２４０の構成は、実施の形態１と同じ構成であるので、説明を省略する。
センサーデバイス８００は、自動車の前方に配置されるバンパー等に設置され、自動車の前方の、観察者Ｄの視野外の左右方向から視野に入ってくる歩行者や自転車等の物体を検出する。センサーデバイス８００は、検出した結果を、制御部２５０に供給する。そして、制御部２５０は、供給された結果を解析することにより、物体を特定する。
［２−２．動作］
実施の形態２では、自動車の前方の、観察者Ｄの視野外の左右方向から視界に入る歩行者や自転車等の物体を検出した場合に、物体の位置へ観察者Ｄの注視点を移動させる動作、すなわち、観察者Ｄの注視点を、第１の注視点から物体の位置である第２の注視点へ視点を移動させる動作について説明する。図８は、実施の形態２に係るヘッドアップディスプレイシステム７００の動作を示すフローチャートである。
（Ｓ８０１）実施の形態１のＳ６０１と同様に、制御部６５０は、第１の注視点から第１の視差量を算出し、算出した視差量に基づいて視差画像を生成し、表示デバイス２２０に表示させる。
（Ｓ８０２）自動車の前方の物体の有無を判定する。制御部６５０は、センサーデバイス８００から供給された結果を解析することで判定する。物体が無いと判定された場合（Ｎｏの場合）、Ｓ８０２に戻り、物体があると判定された場合（Ｙｅｓの場合）、Ｓ８０３へ進む。
（Ｓ８０３）制御部６５０は、センサーデバイス８００の検出結果から、物体の位置情報を取得し、取得した位置情報に基づいて、第２の視差量を算出する。
（Ｓ８０４）制御部６５０は、第１の視差量と第２の視差量の差分を算出し、算出した差分に基づいて、第１の視差量の視差画像と第２の視差量の視差画像の間に設ける中間視差画像の段階数ｎ（ｎは１以上の自然数）を決定する。
例えば、第１の注視点から第２の注視点への視点移動が、輻輳角の角度変化量として０．９度であった場合に、段階数を３段階とする。
（Ｓ８０５）角度変化量が０．９度で、段階数が３段階であるため、例えば、１段階目として角度変化量が０．３度、２段階目として角度変化量０．６度とする。制御部６５０は、これらの角度変化量に対応する視差量を算出する。
（Ｓ８０６）そして、制御部６５０は、算出した視差量に基づいて視差画像を生成し、表示デバイス２２０に表示させる。視差画像の表示は、第１の注視点に対応する視差画像、角度変化量０．３度の視差量に対応する視差画像、角度変化量０．６度の視差量に対応する視差画像、物体の位置に対応する視差画像の順番で連続して表示させる。そして、観察者Ｄは、基準虚像位置に視差画像の虚像Ｉを視認できる。
［２−３．効果等］
以上のように、本開示のヘッドアップディスプレイシステム７００は、観察者Ｄが、第１の注視点から物体の位置である第２の注視点へ注視点を移動させるときに、段階的に生成された視差画像の虚像を立体視することで、第１の注視点に融像された立体像から物体の位置に融像された立体像への視認の移動を支援することができる。すなわち、観察者Ｄは、視点移動する場合に、第１の注視点に対応する視差画像から、物体の注視点に対応する視差画像へ直接切り替えて表示された場合と比べ、より快適な立体視の視点移動ができる。
本開示の虚像表示装置および虚像表示装置を備えたヘッドアップディスプレイシステムは、自動車等の車両の用途だけでなく、飛行機や船舶の操縦席や、ゲーム機等の操縦をユーザに体感させるようなシミュレーションシステム等にも適用可能である。
１００，７００ ヘッドアップディスプレイシステム
２００，６００ 虚像表示装置
２１０ 筐体
２２０ 表示デバイス
２３０ 視差バリア
２３１ 開口
２２１ 左眼用画素
２２２ 右眼用画素
２４０ ミラー
２４１ 第１ミラー
２４２ 第２ミラー
２５０，６５０ 制御部
２６０ 開口
３００ 撮像装置
４００ ウインドシールド
５００ 視点領域
８００ センサーデバイス
本開示は、虚像表示装置、虚像表示装置を備えたヘッドアップディスプレイシステム及びヘッドアップシステムを搭載した乗物に関する。
ヘッドアップディスプレイ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）のような虚像表示装置は、自動車等の車両に乗った運転手の前景に、運転を支援するための補助情報を描画した画像を虚像として重畳表示する。特許文献１には、左眼用虚像と右眼用虚像の視差量を変更して左右両眼のそれぞれで視認させ、融像させることにより、虚像の表示距離を変更する虚像表示装置が開示されている。
特開２００５−３０１１４４号公報
融像は、眼球の運動や、視覚中枢の働きによって実現される。そのため、融像を実現する時間は、個人差がある。車両を運転中の運転手が、多くの注意を払わなければならない状況下において、融像の実現に時間を要していては、安全性の観点から好ましくない。
本開示は、融像を支援することにより、利便性を向上させた虚像表示装置、ヘッドアップディスプレイシステム及び乗物を提供することを目的とする。
本開示の虚像表示装置は、視差画像を出力する表示デバイスと、視差画像に基づいて虚像を表示する光学系と、観察者の注視点の変化を取得する取得部と、取得部から観察者の注視点の第１の注視点から第２の注視点への変化を取得すると、第１の注視点に対応する視差画像と第２の注視点に対応する視差画像との間に、少なくとも１つの中間視差画像を生成するように表示デバイスを制御する制御部と、を備える。
本開示によれば、融像を支援することにより、利便性を向上させた虚像表示装置、ヘッドアップディスプレイシステム及び乗物を提供できる。
図１は、実施の形態１に係るヘッドアップディスプレイシステムの構成を示す図である。 図２は、実施の形態１に係る表示デバイスと視差バリアと制御部と撮像装置の構成を示すブロック図である。 図３は、実施の形態１に係る観察者の左眼用画像と右眼用画像と立体像の関係を示す図である。 図４は、観察者の注視点が、近くから遠くに変化した場合の視差量を説明する図である。 図５は、観察者の注視点が、遠くから近くに変化した場合の視差量を説明する図である。 図６は、実施の形態１に係るヘッドアップディスプレイシステムの動作を示すフローチャートである。 図７は、実施の形態２に係るヘッドアップディスプレイシステムの構成を示す図である。 図８は、実施の形態２に係るヘッドアップディスプレイシステムの動作を示すフローチャートである。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
［１−１．ヘッドアップディスプレイシステムの構成］
本開示のヘッドアップディスプレイシステムは、例えば、自動車の運転席に備えられる。ヘッドアップディスプレイシステムの構成について説明する。
図１は、実施の形態１に係るヘッドアップディスプレイシステム１００の構成を示す図である。ヘッドアップディスプレイシステム１００は、虚像表示装置２００と、撮像装置３００、ウインドシールド４００を備えている。
虚像表示装置２００は、筐体２１０と、筐体２１０の内部に表示デバイス２２０と視差バリア（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）２３０と第１ミラー２４１と第２ミラー２４２で構成されるミラー２４０とマイコン等の制御部２５０を備えている。また、筐体２１０は開口２６０を有している。開口２６０は、透明のカバーで覆われていてもよい。
虚像表示装置２００は、例えば、自動車のダッシュボードの内部に配置される。表示デバイス２２０が表示する画像を、第１ミラー２４１を介して反射させ、さらに第２ミラー２４２を介して反射させ、さらにウインドシールド４００を介して反射させ、車両内部の観察者Ｄに導いて虚像Ｉを表示する。
表示デバイス２２０は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、プラズマディスプレイ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ）などが用いられる。表示デバイス２２０は、道路進行案内や、前方車両までの距離、自動車のバッテリー残量、現在の車速など、各種の情報を表示する。第１ミラー２４１は、表示デバイス２２０の垂直方向上部に設けられ、その反射面を第２ミラー方向に向けている。
なお、ミラー２４０は無くてもよく、表示デバイス２２０から出力された画像を、開口２６０を介してウインドシールド４００に直接投射してもよい。
撮像装置３００は、自動車内部の観察者Ｄの視点領域５００を撮影するカメラである。撮像装置３００は、撮影した画像を制御部２５０に供給する。制御部２５０は、供給された撮影画像を解析することにより、観察者Ｄの注視点の位置を検出する。ここで、注視点の位置とは、観察者Ｄがウインドシールド４００越しに注視している前方の位置である。注視点の位置は、観察者Ｄからの距離として把握される。制御部２５０は、観察者Ｄの両眼の瞳方向を解析することにより輻輳点を導出し、注視点Ｘの位置を検出することができる。
なお、注視点の検出は、これに限定されず、観察者Ｄの注視点の位置を検出できる方法であれば、他の方法であってもよい。
ウインドシールド４００は、自動車走行中に前方から来る空気の流れから、自動車内部の観察者Ｄを保護するために設けられるシールドである。ウインドシールド４００は、例えば、ガラスにより構成される。
本実施の形態では、ウインドシールド４００を用いた場合を例示するが、これに限定されない。ウインドシールド４００の代わりに、コンバイナーを用いてもよい。
［１−２．表示デバイスと視差バリアの構成］
次に、表示デバイス２２０と視差バリア２３０の構成について詳細に説明する。図２は、表示デバイス２２０と視差バリア２３０と制御部２５０と撮像装置３００の構成図である。視差バリア２３０は、図示しないガラス基板に、例えば、クロムなどの遮光材料を蒸着させ、ガラス基板上に１次元的にストライプ状に形成される。遮光材料が蒸着されない部分が開口２３１となる。
表示デバイス２２０は、Ｒ（ＲＥＤ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）からなる画素を有している。実施の形態１では、表示デバイス２２０の各画素は、左眼用画素２２１及び右眼用画素２２２として、空間分割されている。すなわち、表示デバイス２２０の各画素は、左眼用画素２２１と右眼用画素２２２として交互に割り当てられる。
制御部２５０は、撮像装置３００が撮像した画像を解析することにより、観察者Ｄの注視点を検出し、検出した注視点に基づいて表示デバイス２２０の表示画像を制御する。表示デバイス２２０は、制御部２５０からの制御に従って、表示画像を出力する。
視差バリア２３０は、所定の間隔で開口２３１が形成されている。開口２３１によって、表示デバイス２２０から出射した光は、配光を制御され、左眼用画素２２１から出射した光は観察者Ｄの左眼に、右眼用画素２２２から出射した光は観察者Ｄの右眼に到達する。これにより、表示デバイス２２０と視差バリア２３０は、観察者Ｄに視差のある画像を提示することができる。
図３は、観察者Ｄの左眼用虚像画像ＩＬと右眼用虚像画像ＩＲと立体像Ｓの関係を示す図である。観察者Ｄは、ヘッドアップディスプレイシステム１００を用いると、所定の位置に視差画像の虚像Ｉである左眼用虚像画像ＩＬ及び、右眼用虚像画像ＩＲが表示される。観察者Ｄは、左眼用虚像画像ＩＬ及び、右眼用虚像画像ＩＲを見ることで、これらを立体視して融像した立体像Ｓが所定の位置より遠方にあるように知覚する。
ここで、虚像Ｉである左眼用虚像画像ＩＬ及び、右眼用虚像画像ＩＲの表示される所定の位置を「基準虚像位置」と定義する。
一般的に、観察者Ｄの注視点と基準虚像位置が異なり、その距離が大きい場合、任意の位置に表示した虚像の輻輳角は、基準虚像位置に表示した虚像の輻輳角と角度が異なるために、立体像は二重になり視認性が劣化する。
ここで、表示デバイス２２０の表示画像に与える視差量Ｑと、観察者Ｄから、融像した像を知覚する位置である融像位置までの距離である立体視距離Ｌとの関係を（数１）に示す。
制御部２５０は、右眼用虚像画像ＩＲと左眼用虚像画像ＩＬの視差量Ｑを変化させることで、輻輳角θが視差量Ｑに応じて変化し、観察者Ｄに表示される虚像Ｉの表示距離を変化させることが出来る。
ここでの融像とは、観察者Ｄの左右の瞳位置と左右の視差画像をそれぞれ左右独立に接続する直線を引いた場合に、その交点が注視点に相当する場合を含む。また、左右の視差画像をそれぞれ独立に左右の眼で見た場合の輻輳角と、注視点にある場合の輻輳角が一致する場合も含む。
なお、表示デバイス２２０は、空間分割により左眼用画像及び、右眼用画像を出力するとしたが、本開示はこれに限定されない。表示デバイス２２０は、時間分割により、左眼用画像及び、右眼用画像を順次出力するようにしてもよい。
なお、上述では視差バリア２３０を用いるとしたが、本開示はこれに限定されない。レンチキュラレンズや、液晶レンズなど、表示デバイス２２０から投射された光の配光を制御できる構成であれば、他の構成であっても構わない。
［１−３．動作］
次に、ヘッドアップディスプレイシステム１００の動作を説明する。
本実施の形態では、観察者Ｄが第１の注視点から第２の注視点へ視点移動をした場合の融像支援動作について説明する。視点移動は、観察者Ｄの運転の環境変化、例えば、スピード変化、車窓の変化、車外環境の変化、ナビゲーションの変化など、により発生する。
図４は、観察者Ｄの注視点が、近くから遠くに変化した場合の視差量を説明する図である。図４において、左側は観察者Ｄの視点が第１の注視点Ｘａにある場合で、右側は観察者Ｄの視点が第２の注視点Ｘｂにある場合を示している。図４において、観察者Ｄの視点が第１の注視点Ｘａにある場合、観察者Ｄの右眼ＤＲと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ−１との交点をＡＲａ、観察者Ｄの左眼ＤＬと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ−１との交点をＡＬａとし、第１の注視点Ｘａの視差量をＱａとする。また、図４において、観察者Ｄの視点が第２の注視点Ｘｂにある場合、観察者Ｄの右眼ＤＲと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ−１との交点をＡＲｂ、観察者Ｄの左眼ＤＬと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ−１との交点をＡＬｂとし、第２の注視点Ｘｂの視差量をＱｂとする。
図４に示すように、観察者Ｄの視点が第１の注視点Ｘａにある場合、基準虚像位置Ａ−１上に、視差画像の虚像Ｉを表示する。すなわち、右眼用虚像画像ＩＲをＡＲａに表示させ、左眼用虚像画像ＩＬをＡＬａに表示する。
次に、観察者Ｄの視点が、第１の注視点Ｘａから第２の注視点Ｘｂに移動する。このとき、基準虚像位置Ａ−１に、視差画像の虚像Ｉを表示する。すなわち、右眼用虚像画像ＩＲをＡＲｂに表示させ、左眼用の視差虚像画像ＩＬをＡＬｂに表示する。
図５は、観察者Ｄの注視点が遠くから近くに変化した場合の視差量を説明する図である。図５において、左側は観察者Ｄの視点が第１の注視点Ｘａにある場合で、右側は観察者Ｄの視点が第２の注視点Ｘｂにある場合を示している。図５において、観察者Ｄの視点が第１の注視点Ｘａにある場合、観察者Ｄの右眼ＤＲと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ−１との交点をＡＲａ、観察者Ｄの左眼ＤＬと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ−１との交点をＡＬａとする。また、図５において、観察者Ｄの視点が第２の注視点Ｘｂにある場合、観察者Ｄの右眼ＤＲと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ−１との交点をＡＲｂ、観察者Ｄの左眼ＤＬと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ−１との交点をＡＬｂとする。
図５に示すように、観察者Ｄの視点が第１の注視点Ｘａにある場合、基準虚像位置Ａ−１上に、視差画像の虚像Ｉを表示する。すなわち、右眼用虚像画像ＩＲをＡＲａに表示させ、左眼用虚像画像ＩＬをＡＬａに表示する。
ヘッドアップディスプレイシステム１００は、観察者Ｄの注視点の位置に融像するよう表示画像の視差量を調整する。ここで、注視点の移動とは、進行方向に対して水平方向にも移動を伴うが、主として観察者Ｄの前後方向への移動であるとして説明する。第１の注視点の位置が、基準虚像位置と一致する場合は、表示デバイス２２０の出力画像は視差画像である必要はない。しかし、第１の注視点の位置が基準虚像位置と一致しない場合は、表示デバイス２２０は視差画像を表示する。
図６は、実施の形態１に係るヘッドアップディスプレイシステム１００の動作を示すフローチャートである。
（Ｓ６０１）注視点の位置情報は、撮像装置３００により観察者Ｄの視点領域５００を撮影することで取得し、算出される。制御部２５０は、注視点の位置情報を（数１）を用いて、第１の注視点Ｘａに融像するための第１の視差量Ｑａを算出する。そして、制御部２５０は、算出した第１の視差量Ｑａに基づいて視差画像を生成し、表示デバイス２２０に表示させる。
（Ｓ６０２）観察者Ｄの注視点に変化があるか否か、すなわち、第１の注視点Ｘａから第２の注視点Ｘｂに移動したか否かを判定する。判定は、撮像装置３００による観察者Ｄの視点領域５００の変化を検知することで判定する。観察者Ｄの注視点に変化が無い場合（Ｎｏの場合）、Ｓ６０２に戻る。観察者Ｄの注視点に変化がある場合（Ｙｅｓの場合）、Ｓ６０３へ進む。
（Ｓ６０３）制御部２５０は、撮像装置３００から第２の注視点Ｘｂの位置情報を取得し、第２の注視点Ｘｂの位置情報を（数１）を用いて、その第２の注視点Ｘｂに融像させるための第２の視差量Ｑｂを算出する。
（Ｓ６０４）続いて、制御部２５０は、第１の視差量Ｑａと第２の視差量Ｑｂの差分ΔＱを算出し、算出した差分ΔＱに基づいて、第１の視差量Ｑａの視差画像と第２の視差量Ｑｂの視差画像の間に設ける中間視差画像の段階数ｎ（ｎは１以上の自然数）を決定する。例えば、第１の注視点Ｘａから第２の注視点Ｘｂへの視点移動が、輻輳角の角度変化量として０．９度であった場合に、段階数を３段階とする。
（Ｓ６０５）角度変化量が０．９度で、段階数が３段階の場合、例えば、１段階目として角度変化量が０．３度、２段階目として角度変化量０．６度、３断目として角速度変化量０．９度、すなわち、第２の注視点Ｘｂとする。制御部２５０は、これらの角度変化量に対応する視差量を算出する。
（Ｓ６０６）制御部２５０は、算出した視差量に基づいて視差画像を生成し、表示デバイス２２０に表示させる。視差画像の表示は、第１の注視点Ｘａに対応する視差画像、角度変化量０．３度の視差量に対応する視差画像、角度変化量０．６度の視差量に対応する視差画像、第２の注視点Ｘｂに対応する視差画像の順に連続して表示させる。そして、観察者Ｄは、基準虚像位置に表示されたこれらの視差画像を見ることで、これらを立体視した立体像Ｓが第１の注視点から徐々に第２の注視点に移動しているように視認できる。
［１−４．効果等］
以上のように、本開示のヘッドアップディスプレイシステム１００は、観察者Ｄが、第１の注視点Ｘａから第２の注視点Ｘｂに視線移動したときに、段階的に生成された視差画像の虚像を立体視することで、第１の注視点Ｘａに融像された立体像から第２の注視点Ｘｂに融像された立体像への視認の移動を支援することができる。すなわち、観察者Ｄは、視点移動する場合に、第１の注視点Ｘａに対応する視差画像から、第２の注視点Ｘｂに対応する視差画像へ直接切り替えて表示された場合と比べ、より快適な立体視の視点移動ができる。
ここで、３Ｄ立体表示機器の開発、普及や３Ｄコンテンツの拡大を図ることを目的として設立された「３Ｄコンソーシアム」では、「人にやさしい３Ｄ普及のための３ＤＣ安全ガイドライン ２０１０年４月２０日改訂」（３ＤＣ Ｓａｆｅｔｙ Ｇｕｉｄｅｌｉｎｅｓ ｆｏｒ Ｄｉｓｓｅｍｉｎａｔｉｏｎ ｏｆ Ｈｕｍａｎ−ｆｒｉｅｎｄｌｙ ３Ｄ ｒｅｖｉｓｅｄ ｏｎ Ａｐｒｉｌ ２０，２０１０）が策定されている。このガイドラインによると、快適視差範囲として、不特定多数を対象とする場合輻輳角で２度程度、従来の研究や経験則では１度以下が目安である、と推奨している。しかし、注視点の移動に伴う輻輳角の変化量が１度以下であっても、視差量及び視差量の変化量が少なければ少ない程、立体視はしやすいので、中間の視差量を付与した中間視差画像を生成することは、立体視の視点移動に効果がある。
なお、中間の視差画像の生成は、図４、５に示すように、輻輳角αから輻輳角βに変化したとして、輻輳角の変化Δθに対して、段階数ｎに応じてΔθ／ｎずつ視差量を付与した中間視差像を生成し、挿入してもよい。また、付加量も均等割でなくても良い。
なお、観察者Ｄの注視点が基準虚像位置と一致する場合は、表示デバイス２２０は、視差画像を出力しなくてもよい。
なお、視差量を変化させる速度や、視差量を何段階で変化させるかについては、観察者Ｄの年齢等から統計的に割り出してもよいし、撮像装置３００の撮影結果に基づいて適宜補正するようにしてもよい。また、視差量の変化量が大きいほど、段階数を増やすようにしてもよい。
（実施の形態２）
［２−１．ヘッドアップディスプレイシステムの構成］
次に、実施の形態２に係るヘッドアップディスプレイシステムについて説明する。本実施の形態では、ヘッドアップディスプレイシステムの構成のうち、主に実施の形態１との相違点を中心に説明する。
図７は、実施の形態２に係るヘッドアップディスプレイシステム７００の構成を示す図である。ヘッドアップディスプレイシステム７００は、虚像表示装置６００と、撮像装置３００、ウインドシールド４００、センサーデバイス８００を備えている。
撮像装置３００とウインドシールド４００は、実施の形態１と同じ構成であるので、説明を省略する。
虚像表示装置６００は、筐体２１０と、筐体２１０の内部に、表示デバイス２２０と、視差バリア２３０と、第１ミラー２４１と第２ミラー２４２で構成されるミラー２４０と、マイコン等の制御部６５０を備えている。また、筐体２１０は開口２６０を有している。筐体２１０、表示デバイス２２０、視差バリア２３０、ミラー２４０の構成は、実施の形態１と同じ構成であるので、説明を省略する。
センサーデバイス８００は、自動車の前方に配置されるバンパー等に設置され、自動車の前方の、観察者Ｄの視野外の左右方向から視野に入ってくる歩行者や自転車等の物体を検出する。センサーデバイス８００は、検出した結果を、制御部２５０に供給する。そして、制御部２５０は、供給された結果を解析することにより、物体を特定する。
［２−２．動作］
実施の形態２では、自動車の前方の、観察者Ｄの視野外の左右方向から視界に入る歩行者や自転車等の物体を検出した場合に、物体の位置へ観察者Ｄの注視点を移動させる動作、すなわち、観察者Ｄの注視点を、第１の注視点から物体の位置である第２の注視点へ視点を移動させる動作について説明する。図８は、実施の形態２に係るヘッドアップディスプレイシステム７００の動作を示すフローチャートである。
（Ｓ８０１）実施の形態１のＳ６０１と同様に、制御部６５０は、第１の注視点から第１の視差量を算出し、算出した視差量に基づいて視差画像を生成し、表示デバイス２２０に表示させる。
（Ｓ８０２）自動車の前方の物体の有無を判定する。制御部６５０は、センサーデバイス８００から供給された結果を解析することで判定する。物体が無いと判定された場合（Ｎｏの場合）、Ｓ８０２に戻り、物体があると判定された場合（Ｙｅｓの場合）、Ｓ８０３へ進む。
（Ｓ８０３）制御部６５０は、センサーデバイス８００の検出結果から、物体の位置情報を取得し、取得した位置情報に基づいて、第２の視差量を算出する。
（Ｓ８０４）制御部６５０は、第１の視差量と第２の視差量の差分を算出し、算出した差分に基づいて、第１の視差量の視差画像と第２の視差量の視差画像の間に設ける中間視差画像の段階数ｎ（ｎは１以上の自然数）を決定する。
例えば、第１の注視点から第２の注視点への視点移動が、輻輳角の角度変化量として０．９度であった場合に、段階数を３段階とする。
（Ｓ８０５）角度変化量が０．９度で、段階数が３段階であるため、例えば、１段階目として角度変化量が０．３度、２段階目として角度変化量０．６度とする。制御部６５０は、これらの角度変化量に対応する視差量を算出する。
（Ｓ８０６）そして、制御部６５０は、算出した視差量に基づいて視差画像を生成し、表示デバイス２２０に表示させる。視差画像の表示は、第１の注視点に対応する視差画像、角度変化量０．３度の視差量に対応する視差画像、角度変化量０．６度の視差量に対応する視差画像、物体の位置に対応する視差画像の順番で連続して表示させる。そして、観察者Ｄは、基準虚像位置に視差画像の虚像Ｉを視認できる。
［２−３．効果等］
以上のように、本開示のヘッドアップディスプレイシステム７００は、観察者Ｄが、第１の注視点から物体の位置である第２の注視点へ注視点を移動させるときに、段階的に生成された視差画像の虚像を立体視することで、第１の注視点に融像された立体像から物体の位置に融像された立体像への視認の移動を支援することができる。すなわち、観察者Ｄは、視点移動する場合に、第１の注視点に対応する視差画像から、物体の注視点に対応する視差画像へ直接切り替えて表示された場合と比べ、より快適な立体視の視点移動ができる。
本開示の虚像表示装置および虚像表示装置を備えたヘッドアップディスプレイシステムは、自動車等の車両の用途だけでなく、飛行機や船舶の操縦席や、ゲーム機等の操縦をユーザに体感させるようなシミュレーションシステム等にも適用可能である。
１００，７００ ヘッドアップディスプレイシステム
２００，６００ 虚像表示装置
２１０ 筐体
２２０ 表示デバイス
２３０ 視差バリア
２３１ 開口
２２１ 左眼用画素
２２２ 右眼用画素
２４０ ミラー
２４１ 第１ミラー
２４２ 第２ミラー
２５０，６５０ 制御部
２６０ 開口
３００ 撮像装置
４００ ウインドシールド
５００ 視点領域
８００ センサーデバイス

Claims (6)

  1. 視差画像を出力する表示デバイスと、
    前記視差画像に基づいて虚像を表示する光学系と、
    観察者の注視点の変化を取得する取得部と、
    前記取得部から前記観察者の注視点の第１の注視点から第２の注視点への変化を取得すると、前記第１の注視点に対応する視差画像と前記第２の注視点に対応する視差画像との間に、少なくとも１つの中間視差画像を生成するように前記表示デバイスを制御する制御部と、を備える、
    虚像表示装置。
  2. 前記観察者の注視点の第１の注視点から第２の注視点への変化とは、
    前記観察者による注視点の移動である、
    請求項１に記載の虚像表示装置。
  3. 前記観察者の注視点の第１の注視点から第２の注視点への変化とは、
    前記第１の注視点は前記観察者の注視点であり、前記第２の注視点は前記観察者の視野外から視野内に入る物体の位置である、
    請求項１に記載の虚像表示装置。
  4. 前記制御部は、前記第１の注視点と前記第２の注視点との差分に応じて、生成する前記中間視差画像の数を決定する、
    請求項１に記載の虚像表示装置。
  5. 請求項１に記載の虚像表示装置を備えるヘッドアップディスプレイシステム。
  6. 請求項５に記載のヘッドアップディスプレイシステムを搭載する乗物。
JP2016509930A 2014-03-26 2015-02-03 虚像表示装置、ヘッドアップディスプレイシステム及び乗物 Pending JPWO2015145933A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014063495 2014-03-26
JP2014063495 2014-03-26
PCT/JP2015/000455 WO2015145933A1 (ja) 2014-03-26 2015-02-03 虚像表示装置、ヘッドアップディスプレイシステム及び乗物

Publications (1)

Publication Number Publication Date
JPWO2015145933A1 true JPWO2015145933A1 (ja) 2017-04-13

Family

ID=54194497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016509930A Pending JPWO2015145933A1 (ja) 2014-03-26 2015-02-03 虚像表示装置、ヘッドアップディスプレイシステム及び乗物

Country Status (3)

Country Link
US (1) US20160325683A1 (ja)
JP (1) JPWO2015145933A1 (ja)
WO (1) WO2015145933A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6834537B2 (ja) * 2017-01-30 2021-02-24 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
CN108608862A (zh) * 2016-12-12 2018-10-02 英锜科技股份有限公司 抗眩光的抬头显示系统
KR102397089B1 (ko) * 2017-07-28 2022-05-12 삼성전자주식회사 이미지 처리 방법 및 이미지 처리 장치
US20190138789A1 (en) * 2017-11-09 2019-05-09 Mindtronic Ai Co.,Ltd. Display system and method for displaying images
EP3827297A4 (en) * 2018-07-26 2022-01-26 Bayerische Motoren Werke Aktiengesellschaft APPARATUS AND METHOD FOR USE WITH A VEHICLE
CN110794580B (zh) * 2018-08-03 2022-04-05 深圳前海智云谷科技有限公司 汽车抬头显示系统及其安装方法和消除重影的方法
JP7061943B2 (ja) * 2018-08-08 2022-05-02 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイシステム、および移動体
CN113924520A (zh) * 2019-05-30 2022-01-11 京瓷株式会社 平视显示器系统以及移动体
JP7284053B2 (ja) * 2019-09-25 2023-05-30 京セラ株式会社 ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、移動体及びヘッドアップディスプレイの設計方法
JP7332449B2 (ja) * 2019-11-27 2023-08-23 京セラ株式会社 ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
KR102641118B1 (ko) * 2019-12-30 2024-02-27 삼성전자주식회사 사용자에게 ar 오브젝트를 제공하는 방법 및 장치
EP4269153A1 (en) * 2021-03-02 2023-11-01 Samsung Electronics Co., Ltd. Electronic device for projecting image on windshield of vehicle, and operating method therefor
US11733531B1 (en) * 2022-03-16 2023-08-22 GM Global Technology Operations LLC Active heads up display system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JP2008176096A (ja) * 2007-01-19 2008-07-31 Brother Ind Ltd 画像表示装置
JP2010072455A (ja) * 2008-09-19 2010-04-02 Toshiba Corp 車載用表示装置及び表示方法
WO2010150554A1 (ja) * 2009-06-26 2010-12-29 パナソニック株式会社 立体視画像表示装置
JP2011134295A (ja) * 2009-11-26 2011-07-07 Canon Inc 立体映像表示装置およびカーソル表示方法、プログラム、記憶媒体
JP2011133508A (ja) * 2009-12-22 2011-07-07 Topcon Corp 走査型表示装置光学系、立体表示装置及びヘッドアップディスプレイ装置
JP2013258627A (ja) * 2012-06-14 2013-12-26 Olympus Corp 画像処理装置および立体画像観察システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5004309B2 (ja) * 2009-02-18 2012-08-22 ソニーモバイルコミュニケーションズ， エービー 動画出力方法および動画出力装置
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US8953242B2 (en) * 2011-03-31 2015-02-10 Honeywell International Inc. Varible focus stereoscopic display system and method
US20150116197A1 (en) * 2013-10-24 2015-04-30 Johnson Controls Technology Company Systems and methods for displaying three-dimensional images on a vehicle instrument console
US9773349B2 (en) * 2014-02-19 2017-09-26 Daqri, Llc Active parallax correction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JP2008176096A (ja) * 2007-01-19 2008-07-31 Brother Ind Ltd 画像表示装置
JP2010072455A (ja) * 2008-09-19 2010-04-02 Toshiba Corp 車載用表示装置及び表示方法
WO2010150554A1 (ja) * 2009-06-26 2010-12-29 パナソニック株式会社 立体視画像表示装置
JP2011134295A (ja) * 2009-11-26 2011-07-07 Canon Inc 立体映像表示装置およびカーソル表示方法、プログラム、記憶媒体
JP2011133508A (ja) * 2009-12-22 2011-07-07 Topcon Corp 走査型表示装置光学系、立体表示装置及びヘッドアップディスプレイ装置
JP2013258627A (ja) * 2012-06-14 2013-12-26 Olympus Corp 画像処理装置および立体画像観察システム

Also Published As

Publication number Publication date
US20160325683A1 (en) 2016-11-10
WO2015145933A1 (ja) 2015-10-01

Similar Documents

Publication Publication Date Title
WO2015145933A1 (ja) 虚像表示装置、ヘッドアップディスプレイシステム及び乗物
JP6596668B2 (ja) 虚像表示装置、ヘッドアップディスプレイシステム、及び乗物
WO2015146042A1 (ja) 画像表示装置
EP2914002B1 (en) Virtual see-through instrument cluster with live video
US10146052B2 (en) Virtual image display apparatus, head-up display system, and vehicle
JP6806097B2 (ja) 画像表示装置及び画像表示方法
JP4686586B2 (ja) 車載用表示装置及び表示方法
KR100913933B1 (ko) 화상 제시 장치 및 화상 제시 방법
JP4356763B2 (ja) 操作装置
WO2018142610A1 (ja) 立体表示装置およびヘッドアップディスプレイ
EP3415971A1 (en) Information display device
WO2017138428A1 (ja) 情報表示装置
US9684166B2 (en) Motor vehicle and display of a three-dimensional graphical object
US20140293024A1 (en) Foldable display and method and apparatus for controlling the same
JP2011203643A (ja) 車両用ヘッドアップディスプレイ装置
JP2016048344A (ja) ヘッドアップディスプレイシステム、虚像表示装置
JP2014050062A (ja) 立体表示装置及びその表示方法
US20190283607A1 (en) Display device and electronic mirror
JP2019083385A (ja) ヘッドアップディスプレイ装置
JP6813437B2 (ja) 表示システム
JP2016051126A (ja) ヘッドアップディスプレイシステム、虚像表示装置
JP6494379B2 (ja) 表示装置
WO2022255424A1 (ja) 映像表示装置
KR20200017832A (ko) 헤드 업 디스플레이 장치
WO2023228770A1 (ja) 画像表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180118

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191029