JP7390558B2 - 虚像表示システム、画像表示方法、ヘッドアップディスプレイ、及び移動体 - Google Patents

虚像表示システム、画像表示方法、ヘッドアップディスプレイ、及び移動体 Download PDF

Info

Publication number
JP7390558B2
JP7390558B2 JP2021508242A JP2021508242A JP7390558B2 JP 7390558 B2 JP7390558 B2 JP 7390558B2 JP 2021508242 A JP2021508242 A JP 2021508242A JP 2021508242 A JP2021508242 A JP 2021508242A JP 7390558 B2 JP7390558 B2 JP 7390558B2
Authority
JP
Japan
Prior art keywords
image
display
image data
virtual image
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021508242A
Other languages
English (en)
Other versions
JPWO2020195308A1 (ja
Inventor
俊也 森
研一 笠澄
智 棚橋
滋雄 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020195308A1 publication Critical patent/JPWO2020195308A1/ja
Application granted granted Critical
Publication of JP7390558B2 publication Critical patent/JP7390558B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0136Head-up displays characterised by optical features comprising binocular systems with a single image source for both eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0161Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本開示は、虚像表示システム、画像表示方法、ヘッドアップディスプレイ、及び移動体に関する。より詳細には、本開示は、虚像を表示する虚像表示システム、画像表示方法、ヘッドアップディスプレイ、及び移動体に関する。
特許文献1は、対象空間に虚像を投影する画像表示装置(虚像表示システム)を開示する。この画像表示装置は自動車用HUD(Head-Up Display)装置である。ダッシュボード内の自動車用HUD装置から発せられる画像光である投射光がフロントガラスで反射され、視認者である運転者に向かう。これにより、ユーザ(運転者)は、ナビゲーション画像等の画像を虚像として視認することができ、路面等の背景に虚像が重畳されているように視認する。
特許文献1の画像表示装置では、ユーザが、遠方にある対象物を注視している状態から、画像表示装置によって表示される虚像を視認する場合に、ユーザが目の焦点を合わせるのに時間がかかり、虚像が見えにくいという問題があった。
特開2017-142491号公報
本開示の目的は、見えやすさを向上させることが可能な虚像表示システム、画像表示方法、ヘッドアップディスプレイ、及び移動体を提供することにある。
本開示の一態様の虚像表示システムは、画像データ作成部と、画像表示部と、光学系と、を備える。前記画像データ作成部は、描画を行う対象物の画像データと、前記描画を行う対象物の表示位置に関する位置情報とに基づいて、前記描画を行う対象物の虚像を表示するための画像データを作成する。前記画像表示部は、前記虚像を表示するための画像データに基づく画像を表示面に表示する。前記光学系は、前記表示面に表示される前記画像をアイボックスに集光することによって、前記アイボックスに視点があるユーザに前記表示面に表示される前記画像に基づく前記虚像を視認させる。前記表示面は、前記表示面と前記光学系とを結ぶ光路に対して傾斜した状態で配置される。前記描画を行う対象物の画像データは、立体描画を行う対象物の第1画像データと、平面描画を行う対象物の第3画像データと、を含む。前記画像データ作成部は、前記第1画像データと、前記立体描画を行う対象物の表示位置に関する位置情報とに基づいて、前記立体描画を行う対象物を立体視させるための第2画像データを作成し、前記第3画像データと、前記平面描画を行う対象物の表示位置に関する位置情報とに基づいて、前記平面描画を行う対象物を平面描画するための第4画像データを作成する。前記画像データ作成部は、前記画像表示部の前記表示面に前記立体描画を行う対象物の画像を表示させる場合、前記立体描画を行う対象物の表示位置に対応する複数の画素のうち、前記アイボックスにおいて設定される複数の視点の各々に対応する複数の画素に、同じ画像を表示させるための前記第2画像データを作成し、前記画像表示部の前記表示面に前記平面描画を行う対象物の画像を表示させる場合、前記平面描画を行う対象物の表示位置に対応する複数の画素に、前記第3画像データに基づく画像を表示させる前記第4画像データを作成する。
本開示の一態様の画像表示方法は、前記虚像表示システムが備える前記画像表示部に前記画像を表示する画像表示方法である。前記画像表示方法は、第1処理と、第2処理と、第3処理と、第4処理と、第2画像データ作成処理と、第4画像データ作成処理と、画像表示処理と、を含む。前記第1処理では、前記立体描画を行う対象物の第1画像データを取得する。前記第2処理では、前記立体描画を行う対象物の表示位置に関する位置情報を取得する。前記第3処理では、前記平面描画を行う対象物の第3画像データを取得する。前記第4処理では、前記平面描画を行う対象物の表示位置に関する位置情報を取得する。第2画像データ作成処理では、前記第1画像データと前記立体描画を行う対象物の表示位置に関する位置情報とに基づいて、前記立体描画を行う対象物を立体視させるための第2画像データを作成する。前記第4画像データ作成処理では、前記第3画像データと前記平面描画を行う対象物の表示位置に関する位置情報とに基づいて、前記平面描画を行う対象物を平面描画するための第4画像データを作成する。前記第2画像データ作成処理では、前記画像表示部の前記表示面に前記立体描画を行う対象物の画像を表示させる場合、前記立体描画を行う対象物の表示位置に対応する複数の画素のうち、前記アイボックスにおいて設定される複数の視点の各々に対応する複数の画素に、同じ画像を表示させるための前記第2画像データを作成する。前記第4画像データ作成処理では、前記画像表示部の前記表示面に前記平面描画を行う対象物の画像を表示させる場合、前記平面描画を行う対象物の表示位置に対応する複数の画素に、前記第3画像データに基づく画像を表示させる前記第4画像データを作成する。前記画像表示処理では、前記第2画像データに基づく画像と、前記第4画像データに基づく画像とを前記画像表示部の前記表示面に表示する。
本開示の一態様のヘッドアップディスプレイは、前記虚像表示システムを備える。前記光学系が、入射光を前記アイボックスに向かって反射する光透過性を有する反射部材を含む。前記ヘッドアップディスプレイは、前記アイボックスに視点があるユーザに、前記反射部材を透過して見える現実空間に重ね合わせた前記虚像を視認させる。
本開示の一態様の移動体は、移動する移動体本体と、前記移動体本体に搭載される前記ヘッドアップディスプレイと、を備える。前記反射部材が、前記移動体本体のウィンドシールド又はコンバイナを含む。
図1は、本開示の一実施形態に係る虚像表示システムの概略的な説明図である。 図2は、同上の虚像表示システムを備える移動体の概略説明図である。 図3は、同上の虚像表示システムの概略的な説明図である。 図4は、同上の虚像表示システムによって表示される虚像の説明図である。 図5は、同上の虚像表示システムによって立体描画を行う方法を説明する説明図である。 図6は、同上の虚像表示システムの動作を説明するフローチャートである。 図7は、同上の虚像表示システムによって表示される虚像の説明図である。 図8は、本開示の一実施形態の変形例1に係る虚像表示システムの概略的な説明図である。
(1)概要
本実施形態に係る虚像表示システム10は、図1及び図2に示すように、例えば、移動体としての自動車100に用いられる。
虚像表示システム10は、図1及び図3に示すように、画像データ作成部52(図3参照)と、画像表示部20と、光学系30と、を備える。画像データ作成部52は、立体描画を行う対象物の第1画像データと、立体描画を行う対象物の表示位置に関する位置情報とに基づいて、立体描画を行う対象物を立体視させるための第2画像データを作成する。画像表示部20は、第2画像データに基づく画像を表示面221に表示する。光学系30は、表示面221に表示される画像をアイボックス210に集光することによって、アイボックス210に視点201があるユーザ200に表示面221に表示される画像に基づく虚像310を視認させる。表示面221は、表示面221と光学系30とを結ぶ光路L1に対して傾斜した状態で配置される。
換言すれば、画像データ作成部52は、描画を行う対象物の画像データと、描画を行う対象物の表示位置に関する位置情報とに基づいて、描画を行う対象物の虚像を表示するための画像データを作成する。画像表示部20は、虚像を表示するための画像データに基づく画像を表示面に表示する。光学系30は、表示面221に表示される画像をアイボックス210に集光することによって、アイボックス210に視点201があるユーザ200に表示面221に表示される画像に基づく虚像310を視認させる。表示面221は、表示面221と光学系30とを結ぶ光路L1に対して傾斜した状態で配置される。描画を行う対象物の画像データは、立体描画を行う対象物の第1画像データを含む。画像データ作成部52は、画像データに含まれる第1画像データと、立体描画を行う対象物の表示位置に関する位置情報とに基づいて、立体描画を行う対象物を立体視させるための第2画像データを作成する。
虚像表示システム10は、例えば自動車100に搭載されるヘッドアップディスプレイ1に用いられる。すなわち、本実施形態のヘッドアップディスプレイ1は虚像表示システム10を備える。ヘッドアップディスプレイ1では、光学系30が反射部材(例えばウィンドシールド112)を含む。反射部材は光透過性を有し、入射光をアイボックス210に向かって反射する。アイボックス210に視点があるユーザ200に、反射部材を透過して見える現実空間に重ね合わせた虚像310(300)を視認させる。
本実施形態の虚像表示システム10は、自動車100に搭載されるヘッドアップディスプレイ1に用いられ、例えば、自動車100の速度情報、コンディション情報、及び運転情報等に関連する運転支援情報をユーザ200の視界に表示するために用いられる。自動車100の運転情報としては、例えば、走行経路等を表示するナビゲーション関連の情報、及び、走行速度及び車間距離を一定に保つACC(Adaptive Cruise Control)関連の情報等がある。ここで、虚像表示システム10によって表示される虚像300には、自動車100の走行面400と平行な平面PL11に沿って表示される虚像310と、走行面400と垂直な平面PL12に沿って表示される虚像320とがある。走行経路等を表示するナビゲーション関連の情報、及びACC関連の情報等は走行面400に沿って表示されるのが好ましく、これらの情報は虚像310を用いて表示される。一方、自動車100の速度情報及びコンディション情報は、走行面400と垂直な平面PL12に沿って表示されるのが好ましく、これらの情報は虚像320を用いて表示される。また、虚像表示システム10が表示する情報の種類は予め決まっているので、虚像表示システム10が表示する虚像300の画像データは記憶部54に予め保持されている。つまり、平面描画の対象物である虚像310の第3画像データ、及び、立体描画の対象物である虚像320の第1画像データは記憶部54に予め保持されている。したがって、画像データ作成部52は、立体描画を行う対象物である虚像320の第1画像データと、虚像320を表示する対象空間において虚像320を表示する表示位置に関する位置情報とに基づいて、虚像320を立体視させるための第2画像データを作成する。また、画像データ作成部52は、平面描画を行う対象物である虚像310の第3画像データと、虚像310の表示位置に関する位置情報とに基づいて、虚像310を平面描画するための第4画像データを作成する。
ここで、光学系30は、表示面221に表示される画像を構成する光の反射と屈折との少なくとも一方を行うことによって、表示面221に表示される画像をアイボックス210に集光する。以下の実施形態では、光学系30が、例えば、画像表示部20の表示面221から出力される光を反射する第1ミラー31と、第1ミラー31で反射された光を反射する第2ミラー32と、第2ミラー32で反射された光をアイボックス210に向かって反射するウィンドシールド112を含む。なお、光学系30は、凸面鏡のような第1ミラー31と、凹面鏡のような第2ミラー32と、ウィンドシールド112とを組み合わせることで実現されているが、光学系30の構成は適宜変更が可能である。光学系30を構成する光学部品(レンズ又はミラー)の組み合わせは、表示面221の大きさ、拡大率、視距離等に応じて適宜変更が可能である。第1ミラー31は凸面鏡に限らず、平面鏡又は凹面鏡でもよいし、第2ミラー32は凹面鏡に限らず、平面鏡又は凸面鏡でもよい。また、光学系30は、3つ以上のミラーの組み合わせで実現されてもよいし、複数のレンズの組み合わせで実現されてもよい。また、光学系30は、1個の光学部品(レンズ又はミラー等)のみで実現されてもよい。
画像表示部20の表示面221に表示される画像は、光学系30によってアイボックス210に集光される。アイボックス210に視点201があるユーザ200は、光学系30によって投影された画像を見る。すなわち、ユーザ200は、光学系30によって拡大された画像を見ることで、表示面221に表示される画像に基づく虚像310,320(図1及び図4参照)を視認することができる。換言すると、虚像310,320は、画像表示部20から出力される光が、光学系30のウィンドシールド112によって反射されるとき、その反射光線によって、ユーザ200の視線方向に実際に物体が存在するかのように結ばれる像を意味する。ウィンドシールド112は光透過性を有しているので、ヘッドアップディスプレイ1は、アイボックス210に視点があるユーザ200に、反射部材を透過して見える現実空間に重ね合わせた虚像310,320(図4参照)を視認させる。
ところで、本実施形態の虚像表示システム10では、画像表示部20は、表示面221と光学系30とを結ぶ光路L1に対して表示面221が傾斜した状態で配置されている。ここにおいて、光路L1に対して表示面221が傾斜するとは、表示面221の法線が、光路L1と平行な直線と斜めに交差している状態をいう。図1の例では、画像表示部20は、第1ミラー31と画像表示部20の上端部までの距離と、第1ミラー31と画像表示部20の下端部までの距離とが互いに異なるように、すなわち第1ミラー31(光学系30)に対して傾斜するように配置されている。また、画像表示部20が、第1ミラー31及び第2ミラー32を含む光学系30の焦点位置23に近くなると虚像までの視距離は遠くなり、焦点位置23から遠くなるつまり光学系30に近くなると虚像までの視距離は近くなる。なお、本実施形態では、画像表示部20は、光学系30から光学系30の焦点位置23の間に配置されている。表示面221に表示される画像が光学系30を介してユーザ200に投影された場合に、当該画像の上端部に対応する表示面221の一端部(例えば下端部)とアイボックス210との間の距離が、当該画像の下端部に対応する表示面221の他端部(例えば上端部)とアイボックス210との間の距離に比べて長くなるように、画像表示部20が配置されている。これにより、平面描画の対象物である虚像310は、自動車100が走行する走行面400(図2参照)と平行な平面PL11、及び、走行面400と直交する平面PL12に対してそれぞれ傾斜する平面PL1上に投影される。したがって、平面描画の対象物である虚像310には自然な距離感を与えることができ、虚像310の視認性が向上するという利点がある。なお、画像表示部20及び光学系30の配置を変更することによって平面PL1を平面PL11とほぼ平行にしてもよい。
また、立体描画の対象物である虚像320は、所望の表示位置に、自動車100の走行面400と直交する平面PL12に沿って表示されており、ユーザ200は虚像320の表示を元に必要な情報を取得できる。
本実施形態の虚像表示システム10では、画像表示部20の表示面221に画像を表示することで、自然な距離感がある虚像310を表示できるので、画像データ作成部52は、虚像310を表示させるための第3画像データを作成するために特別な処理をする必要はない。したがって、画像データ作成部52は、立体描画の対象物である虚像320を表示するための第2画像データを作成するだけでよいから、画像データを作成する処理負荷を低減できるという利点がある。これにより、本実施形態の虚像表示システム10では、画像データを作成する処理負荷を低減しながらも、画像の見えやすさを向上させることが可能になる。
(2)詳細
以下、本実施形態に係る虚像表示システム10について図面を参照して詳しく説明する。
(2.1)構成
本実施形態の虚像表示システム10は、図1及び図3に示すように、画像表示部20と、光学系30と、制御部50と、を備えている。また、虚像表示システム10は、画像表示部20、光学系30、及び制御部50を収容するハウジング60を更に備えている。
本実施形態の虚像表示システム10は、移動体である自動車100の移動体本体110に搭載される。すなわち、移動体(自動車100)は、移動する移動体本体110と、移動体本体110に搭載される虚像表示システム10と、を備えている。虚像表示システム10が備える反射部材は、例えばウィンドシールド112で実現されているが、移動体本体110に設けられたコンバイナで実現されてもよい。
以下、虚像表示システム10が備えるハウジング60、画像表示部20、光学系30、及び制御部50の各々について図面を参照して説明する。
(2.1.1)ハウジング
ハウジング60は、例えば合成樹脂の成型品等で構成されている。ハウジング60は、内部に収容室64を有する箱状に形成されている。収容室64には、画像表示部20、光学系30、及び制御部50等が収容されている。
ハウジング60は、移動体本体110のダッシュボード113に取り付けられている。光学系30の第2ミラー32によって反射された光は、ハウジング60の上面の開口部を通してウィンドシールド112に照射され、ウィンドシールド112によって反射された光がアイボックス210に集光される。
(2.1.2)画像表示部
画像表示部20は、表示デバイス21と、表示デバイス21の表示面211に配置されるレンズアレイ22とを備える。画像表示部20は、画像中の対象物から複数の方向に放出される光を再現することで対象物を立体的に見せるライトフィールド(Light Field)方式により、立体画像を表示する機能を有している。
表示デバイス21は、収容室64の内部に、表示面211を第1ミラー31に向けた状態で収容されている。表示デバイス21の表示面211は、ユーザ200に投影する画像の範囲、つまりウィンドシールド112の形状に合わせた形状(例えば矩形状)であり、表示デバイス21の表示面211には複数の画素X1~X4(図5参照)がアレイ状に配置されている。表示デバイス21の複数の画素X1~X4は制御部50の制御に応じて発光し、表示デバイス21の表示面211から出力される光によって、表示面211に表示される画像が形成される。表示デバイス21は、例えば液晶ディスプレイ、又は有機EL(Electro Luminescence)ディスプレイ等によって実現される。
表示デバイス21の表示面211にはレンズアレイ22が配置されている。ここで、レンズアレイ22の表面が画像表示部20の表示面221となる。レンズアレイ22は、アレイ状に配列された複数のレンズ222(図5参照)を有する。レンズアレイ22は、表示デバイス21が備える複数(例えば4つ)の画素X1~X4に対応して1つのレンズ222を備えている。図5において、括弧GR1でそれぞれ括った4個の画素X1~X4が、複数あるレンズ222のうち同じレンズ222に対応している。
図5の例では、アイボックス210において水平方向に4つの視点P1~P4が設定されている。視点P1には、複数のレンズ222によって、表示デバイス21が備える複数の画素X1からの光が集光される。視点P2には、複数のレンズ222によって、表示デバイス21が備える複数の画素X2からの光が集光される。視点P3には、複数のレンズ222によって、表示デバイス21が備える複数の画素X3からの光が集光される。視点P4には、複数のレンズ222によって、表示デバイス21が備える複数の画素X4からの光が集光される。なお、本実施形態では表示デバイス21の前面側にレンズアレイ22が配置されているが、レンズアレイ22に代えて、複数のピンホールがアレイ状に形成された光制御部材を表示デバイス21の前面側に配置してもよい。
制御部50は、立体描画の対象物である虚像320を表示させる場合、表示デバイス21の表示面211に、虚像320を表示させるための第2画像データに基づく画像を表示させる。すなわち、制御部50は、虚像320を投影する位置に対応した複数の画素のうち、視点P1に対応した複数の画素X1と、視点P2に対応する複数の画素X2と、視点P3に対応する複数の画素X3と、視点P4に対応する複数の画素X4と、にそれぞれ第2画像データに基づく画像を表示させる。これにより、視点P1に対応する複数の画素X1から出力される光によって、複数の画素X1に表示される画像に基づく虚像320が視点P1に投影される。同様に、視点P2に対応する複数の画素X2から出力される光によって、複数の画素X2に表示される画像に基づく虚像320が視点P2に投影される。視点P3に対応する複数の画素X3から出力される光によって、複数の画素X3に表示される画像に基づく虚像320が視点P3に投影される。視点P4に対応する複数の画素X4から出力される光によって、複数の画素X4に表示される画像に基づく虚像320が視点P4に投影される。
ここで、画像表示部20の表示面221において、虚像320の表示位置に対応する複数の画素に、第2画像データに基づく虚像320の画像が表示されると、この画像はレンズアレイ22及び光学系30を通してアイボックス210に集光される。例えば、ユーザ200の右目が視点P2の位置にあり、ユーザ200の左目が視点P3の位置にある場合、ユーザ200の右目には、視点P2に対応した画素から出力される光が投影され、ユーザ200の左目には、視点P3に対応した画素から出力される光が投影される。よって、ユーザ200の左右の目には、両眼視差を付与された虚像320の画像が投影されるから、ユーザ200には虚像320が立体的に描画されているように視認される。
また、制御部50は、平面描画の対象物である虚像310を表示させる場合、表示デバイス21の表示面211に、虚像310を表示させるための第4画像データに基づく画像を表示させる。すなわち、制御部50は、虚像310を投影する位置に対応した複数の画素に、第4画像データに基づく画像を表示させる。換言すれば、制御部50は、虚像310を投影する位置に対応する複数の画素であって、視点P1~P4に対応する複数の画素の全てを使って、第4画像データに基づく画像を表示させる。なお、第4画像データに基づく画像を表示する複数の画素から出力される光もレンズアレイ22を通過するため、例えば、視点P1には、視点P1に対応した画素の光が到達し、視点P2~P4に対応した画素の光は到達しない。ここで、ユーザ200の右目が視点P2の位置にあり、ユーザ200の左目が視点P3の位置にある場合、ユーザ200の右目には、視点P2に対応した画素から出力される光が投影され、ユーザ200の左目には、視点P3に対応した画素から出力される光が投影される。ユーザ200は、視点P2に対応した画素から投影される光と、視点P3に対応した画素から投影される光とによって、虚像310を視認することができる。ここで、虚像310は自動車100の走行面400に沿った平面PL1上に投影されており、虚像310は自然な距離感で視認されるので、虚像310と虚像310の背景との間で距離感の違いが少なくなり、虚像310の表示が見えやすくなる。
以上のように、画像表示部20の表示面221には、虚像320の表示位置に対応する複数の画素に第2画像データに基づく画像が表示され、虚像310の表示位置に対応する複数の画素に第4画像データに基づく画像が表示される。表示デバイス21の表示面211に表示された画像は、レンズアレイ22と光学系30とを通してアイボックス210内に視点があるユーザ200に視認される。よって、ユーザ200は、自動車100の走行面400に沿って重畳された虚像310、及び、走行面400と直交する平面PL12に沿って立体的に描画される虚像320を視認することができる。
なお、画像表示部20が、立体描画の対象物の虚像320を立体的に表示する方式はライトフィールド方式に限定されない。画像表示部20は、ユーザ200の左右の目に、互いに視差がある画像をそれぞれ投影することで、ユーザ200に立体描画の対象物の虚像320を視認させる視差方式を採用してもよい。
(2.1.3)光学系
光学系30は、画像表示部20の表示面221から出力される光を、アイボックス210に集光する。本実施形態では、光学系30は、例えば、凸面鏡である第1ミラー31と、凹面鏡である第2ミラー32と、ウィンドシールド112とを備える。
第1ミラー31は、画像表示部20から出力される光を反射して、第2ミラー32に入射させる。
第2ミラー32は、第1ミラー31から入射した光をウィンドシールド112に向かって反射する。
ウィンドシールド112は、第2ミラー32から入射した光を反射してアイボックス210に入射させる。
ここにおいて、本実施形態では、画像表示部20の表示面221は、表示面221と光学系30とを結ぶ光路L1(図1参照)に対して傾斜した状態で配置されている。光路L1は、表示面221の中心部(例えば、矩形状の表示面221の中心部)から光学系30に出力される光の光路を示している。また、図1に点線で図示した光路L2は、表示面221の一端部(ユーザ200によって視認される場合の上端側の端部であって、図1では例えば下端部)から光学系30を介してアイボックス210に集光される光の光路を示している。また、図1に点線で図示した光路L3は、表示面221の他端部(ユーザ200によって視認される場合の下端側の端部であって、図1では例えば上端部)から光学系30を介してアイボックス210に集光される光の光路を示している。本実施形態では、画像表示部20の表示面221が光路L1に対して傾斜している。図1の例では、画像表示部20は、第1ミラー31と画像表示部20の上端部までの距離と、第1ミラー31と画像表示部20の下端部までの距離とが互いに異なるように、すなわち第1ミラー31(光学系30)に対して傾斜するように配置されている。さらに言えば、第1ミラー31と第2ミラー32とを含む光学系30の焦点位置23に対して、画像表示部20の表示面221の一端部(図1における下端部)と焦点位置23との間の第1間隔が、画像表示部20の表示面221の他端部(図1における上端部)と焦点位置23との間の第2間隔に比べて短くなるように、画像表示部20は配置されている。ここで、画像表示部20が、第1ミラー31と第2ミラー32とを含む光学系30の焦点位置23に近くなると虚像までの視距離は遠くなり、焦点位置23から遠くなるつまり光学系30に近くなると虚像までの視距離は近くなる。したがって、表示面221に表示される画像に基づいて平面描画される虚像310は、ユーザ200によって視認される場合の上側ほど、アイボックス210からより遠い位置に表示されているようにユーザ200に視認される。そのため、平面描画される虚像310は、虚像表示システム10を搭載した自動車100が走行する走行面400に対して平行な第1平面PL11、及び、走行面400に対して垂直な第2平面PL12にそれぞれ傾斜した平面PL1に投影されることになる。よって、虚像表示システム10は、走行面400に沿って自然な距離感で平面描画の対象物である虚像310を表示させることができ、虚像310と虚像310の背景との間で距離感の差が少なくなり、虚像310の表示が見えやすくなる。なお、本実施形態では、画像表示部20は光学系30から光学系30の焦点位置23の間に配置されている。
(2.1.4)制御部
制御部50は、例えば、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしての1以上のプロセッサ及び1以上のメモリを主構成とする。コンピュータシステムの1以上のメモリ又は記憶部54に記録されたプログラムを1以上のプロセッサが実行することによって、制御部50の機能(例えば、描画制御部51、画像データ作成部52、及び出力部53等の機能)が実現される。プログラムは、コンピュータシステムの1以上のメモリ又は記憶部54に予め記録されている。なお、プログラムは、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。
記憶部54は、例えば、書換可能な不揮発性の半導体メモリ等の非一時的記録媒体にて実現される。記憶部54は、制御部50が実行するプログラム等を記憶する。また、本実施形態の虚像表示システム10は、自動車100の速度情報、コンディション情報、及び運転情報等に関連する運転支援情報をユーザ200の視界に表示するために用いられるので、虚像表示システム10が表示する虚像300の種類は予め決まっている。そして、記憶部54には、虚像300(平面描画の対象物である虚像310、及び、立体描画の対象物である虚像320)を表示するための画像データが予め記憶されている。
描画制御部51は、自動車100に搭載された各種のセンサ70から検出信号を受け取る。センサ70は、例えば先進運転システム(ADAS:Advanced Driver Assistance System)に使用される各種の情報を検出するためのセンサである。センサ70は、例えば、自動車100の車速、温度、残燃料等を測定するセンサ、自動車100の周囲を撮影する画像センサ、及び、自動車100の周囲に存在する物体を検出するためのミリ波レーダ、LIDAR(Light Detection and Ranging)などのセンサのうちの少なくとも1つを含む。
描画制御部51は、センサ70から入力される検出信号に基づいて、この検出信号に関する情報を表示するための1又は複数の画像データを記憶部54から取得する。ここで、画像表示部20に複数種類の情報を表示する場合、描画制御部51は、複数種類の情報を表示するための複数の画像データを取得する。ここで、描画制御部51が取得する複数の画像データは、立体描画の虚像320の第1画像データのみの場合、平面描画の虚像310の第3画像データのみの場合、及び、第1画像データと第3画像データの両方を含む場合の何れかである。また、描画制御部51は、センサ70から入力される検出信号に基づいて、虚像を表示する対象空間において虚像を表示する位置に関する位置情報を求める。そして、描画制御部51は、表示対象の虚像300(立体描画の虚像320、及び/又は、平面描画の虚像310)の画像データと位置情報とを画像データ作成部52に出力する。
画像データ作成部52は、描画制御部51から入力される画像データ及び位置情報に基づいて、表示対象の虚像300を表示するための画像データを作成する。画像データ作成部52は、立体描画を行う虚像320を表示する場合、虚像320の表示位置に対応する複数の画素のうち、視点P1~P4にそれぞれ対応する複数の画素X1~X4の各々に、同じ画像を表示させるための第2画像データを作成する。また、画像データ作成部52は、平面描画を行う虚像310を表示させる場合、虚像310の表示位置に対応する複数の画素に、虚像310を形成するための画像を表示させる第4画像データを作成する。
出力部53は、画像データ作成部52によって作成された第2画像データ及び/又は第4画像データを表示デバイス21に出力し、表示デバイス21の表示面211に、第2画像データ及び/又は第4画像データに基づく画像を表示させる。表示面211に表示された画像は、レンズアレイ22と光学系30とを介してアイボックス210に集光され、立体描画される虚像320及び/又は平面描画される虚像310がユーザ200によって視認される。
(2.2)動作
本実施形態の虚像表示システム10の動作について図6のフローチャートを参照して説明する。
例えば、自動車100のバッテリから虚像表示システム10に電力が供給され、自動車100が備えるECU(Electronic Control Unit)から虚像表示システム10に動作を開始させる制御信号が入力されると、虚像表示システム10が動作を開始する。
例えば、自動車100のECUから制御部50に制御信号が入力されると、制御部50は、例えば、自動車100に設けられたセンサ70から定期的に検出信号を取得する(S1)。なお、制御部50は、センサ70から検出信号を定期的に取得することに限定されない。制御部50は、センサ70の検出信号が変化した場合に、センサ70から出力される検出信号を取得するように構成されてもよい。
制御部50の描画制御部51は、センサ70から検出信号を取得すると、検出信号を表示するための虚像300の画像データ(立体描画を行う虚像320の第1画像データ、及び/又は、平面描画を行う虚像310の第3画像データ)を記憶部54から取得する。また、描画制御部51は、センサ70の検出信号に基づいて、虚像300の表示位置に関する位置情報を求める。そして、描画制御部51は、センサ70の検出信号を表示するための虚像300の画像データと位置情報とを画像データ作成部52に出力する(S2)。
例えば、センサ70からの検出信号が、前方を走行する他の自動車100Aまでの距離を示す情報であれば、描画制御部51は、車間距離を表示するための虚像310A(図4参照)及び走行コースを表示するための虚像310B(図4参照)の画像データ及び位置情報を出力する。ここで、自動車100Aとの間の車間距離を表示するために走行面400に重ねて表示される虚像310A、及び、自動車100Aを避けるための走行コースを表示するために走行面400に重ねて表示される虚像310Bは平面描画される虚像である。つまり、描画制御部51は、走行面400に重ねて表示される虚像310A,310Bの画像データとその表示位置を示す位置情報を画像データ作成部52に出力する。また、描画制御部51は、前方の自動車100Aまでの車間距離及び自動車100Aを回避するための走行コースを数値と図で表すために立体描画される虚像320Aの画像データ及び位置情報を画像データ作成部52に出力する。
また、センサ70からの検出信号が自動車100の速度に関する検出信号の場合、描画制御部51は、速度を数値で表示するために立体描画される虚像320Bの画像データと位置情報とを画像データ作成部52に出力する。
なお、虚像320A,320Bは、メータ表示又はマップ表示等のように表示位置からアイボックス210までの距離が、周囲の状況に関わらず所定の距離である第1対象物を表示するための虚像であるが、立体描画を行う対象物は第2対象物を含んでもよい。第2対象物は、表示位置からアイボックス210までの距離が周囲の状況に応じて変化するような対象物である。第2対象物は、例えば、前方の自動車100Aを示すマーカ等であり、虚像表示システム10は、図7に示すように、自動車100Aを囲むマーカを表示するための虚像320Cを表示する。ここで、画像データ作成部52は、前方の自動車100Aを示すマーカ(第2対象物)の表示位置を、前方の自動車100Aまでの車間距離に応じて変化させる。換言すると、周囲の状況(例えば車間距離等)を計測するセンサ70の計測結果に基づいて、第2対象物の表示位置からアイボックス210までの距離が変化するので、第2対象物を表示するための虚像320を所望の位置に表示させることができる。
画像データ作成部52は、描画制御部51から表示対象の虚像300(平面描画の虚像310及び/又は立体描画の虚像320)の画像データと位置情報とが入力されると、虚像300の表示位置に対応する複数の画素に、虚像300を形成するための画像を表示させる画像データを作成する。表示対象の虚像300が立体描画される虚像320の場合、画像データ作成部52は、描画制御部51から入力される第1画像データと位置情報とに基づいて、虚像320を表示させるための第2画像データを作成する。表示対象の虚像300が平面描画される虚像310の場合、画像データ作成部52は、描画制御部51から入力される第3画像データと位置情報とに基づいて、虚像310を表示させるための第4画像データを作成する(S3)。
出力部53は、画像データ作成部52が虚像300を表示させるための画像データ(第2画像データ、及び/又は、第4画像データ)を作成すると、この画像データを表示デバイス21に出力する。
表示デバイス21は、出力部53から画像データが入力されると、虚像300(平面描画の虚像310及び/又は立体描画の虚像320)を形成するための画像を表示面211に表示する(S4)。
表示デバイス21の表示面211に表示された画像は、レンズアレイ22と光学系30とを通して、アイボックス210内に視点があるユーザ200に視認される。これにより、平面描画の対象物である虚像310は、自動車100の走行面400に沿う平面PL1上に投影されているようにユーザ200に視認される。また、立体描画の対象物である虚像320は、自動車100の走行面400と直交する平面PL12に沿って表示されているようにユーザ200に視認される。
ここで、平面描画の対象物である虚像310は平面PL1に沿って描画されるため、自然な距離感の虚像310として表示することができる。また、ユーザ200は、立体描画の対象物である虚像320の画像をレンズアレイ22を通して視認することで、両眼視差を再現した画像をユーザ200に視認させることができ、所望の表示位置に表示される虚像320を立体的に視認することができる。また、虚像表示システム10は、記憶部54に記憶された第3画像データをそのまま第4画像データとして表示面221に表示させることで平面描画される虚像310を表示させている。したがって、虚像表示システム10は、立体描画の対象物である虚像320の第2画像データのみ作成すればよく、立体描画の対象物である虚像320の第2画像データを作成するための演算処理の処理量を低減できる。
(3)変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、虚像表示システム10と同様の機能は、虚像表示システム10の制御方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る画像表示方法は、虚像表示システム10が備える画像表示部20に画像を表示する画像表示方法である。この画像表示方法は、第1処理と、第2処理と、第3処理と、第4処理とを含む。第1処処理では、立体描画を行う対象物(虚像320)の第1画像データを取得する。第2処理では、立体描画を行う対象物の表示位置に関する位置情報を取得する。第3処理では、第1画像データと位置情報とに基づいて、立体描画を行う対象物を立体視させるための第2画像データを作成する。第4処理では、第2画像データに基づく画像を画像表示部20の表示面221に表示させる。一態様に係る(コンピュータ)プログラムは、1以上のプロセッサに、画像表示方法を実行させるためのプログラムである。
以下、上記の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。なお、以下では、上記実施形態を「基本例」と呼ぶこともある。
本開示における虚像表示システム10及びヘッドアップディスプレイ1は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における虚像表示システム10及びヘッドアップディスプレイ1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、虚像表示システム10における複数の機能が、1つのハウジング60内に集約されていることは虚像表示システム10に必須の構成ではなく、虚像表示システム10の構成要素は、複数のハウジングに分散して設けられていてもよい。さらに、虚像表示システム10の少なくとも一部の機能、例えば、制御部50の一部の機能(描画制御部51及び画像データ作成部52等)がクラウド(クラウドコンピューティング)等によって実現されてもよい。
(3.1)変形例1
基本例では、画像表示部20が1つの表示デバイス21で実現されているが、図8に示すように、画像表示部20Aが、複数の表示デバイス21A,21Bを含んでいてもよい。複数の表示デバイス21A,21Bの表示面211A,211Bは、互いに傾斜している。また、画像表示部20Aは、表示デバイス21Aの表示面211Aに配置されるレンズアレイ22Aと、表示デバイス21Bの表示面211Bに配置されるレンズアレイ22Bとを更に備えている。つまり、画像表示部20Aは、複数の表示デバイス21A,21Bの表示面211A,211Bにそれぞれ配置される複数のレンズアレイ22A,22Bを更に含む。複数のレンズアレイ22A,22Bは基本例で説明したレンズアレイ22と同様の構成を有している。そして、複数のレンズアレイ22A,22Bの各々はアレイ状に配置された複数のレンズ222を有している。
表示デバイス21Aは、光路L1に対して、基本例で説明した表示デバイス21と同じ方向に傾斜している。すなわち、第1ミラー31と第2ミラー32とを含む光学系30の焦点位置23に対して、表示デバイス21Aの表示面211Aの一端部(図8における左端部)と焦点位置23との間の第1間隔が、表示面211Aの他端部(図8における右端部)と焦点位置23との間の第2間隔に比べて短くなるように、表示デバイス21Aは配置されている。これにより、表示面211Aに表示される画像に基づいてユーザ200に視認される平面描画の虚像310は、虚像310の上部が虚像310の下部よりも遠い位置に存在するようにユーザ200に視認される。
一方、表示デバイス21Bは、表示デバイス21Bの表示面211Bの一端部(図8における下端部)と焦点位置23との間の第1間隔が、表示面211Bの他端部(図8における上端部)と焦点位置23との間の第2間隔に比べて短くなるように、配置されている。これにより、表示面211Bに表示される画像に基づいてユーザ200に視認される平面描画の虚像310は、虚像310の下部が虚像310の上部よりも遠い位置に存在するようにユーザ200に視認される。
このように、表示面211A,211Bの傾斜が互いに異なる複数の表示デバイス21A,21Bを用いることで、表示デバイス21が1つの場合に比べて、表示デバイス21A,21Bに表示される画像によってユーザ200に視認される虚像310の見え方を変化させることができる。
なお、画像表示部20Aは光学系30から光学系30の焦点位置までの間に配置されるものとする。また、変形例1では、画像表示部20Aが2つの表示デバイス21A,21Bを備えているが、画像表示部20Aは3つ以上の表示デバイスを備えていてもよい。また、画像表示部20Aが備える複数の表示デバイス21A,21Bの配置形態は図8に示す配置形態に限定されない。複数の表示デバイス21A,21Bの配置形態は、ユーザ200によって視認される画像に自然な距離感が与えられるように、適宜変更が可能である。
(3.2)その他の変形例
上記実施形態及び変形例の虚像表示システム10において、光学系30は、画像表示部20から出力される光の反射と屈折との少なくとも一方を行うことで、アイボックス210に光を投影すればよく、光学系30の構成は適宜変更が可能である。例えば、第1ミラー31は凸面鏡であるが、平面鏡でも凹面鏡でもよく、第1ミラー31の表面は、画像の歪みの低減や解像度の向上が可能なように自由曲面に形成されていてもよい。また、第2ミラー32は凹面鏡であるが、平面鏡でも凸面鏡でもよく、第2ミラー32の表面は、画像の歪みの低減や解像度の向上が可能なように自由曲面に形成されていてもよい。また、光学系30は、1以上のレンズ、1以上のミラー、又は、1以上のレンズと1以上のミラーとの組み合わせで実現されてもよい。
上記実施形態及び変形例の虚像表示システム10では、表示デバイス21が、液晶ディスプレイ、又は有機ELディスプレイ等のディスプレイ装置で実現されているが、表示デバイス21はこの種のディスプレイ装置に限定されない。表示デバイス21は、拡散透過型のスクリーンに対し、スクリーンの背後からレーザ光を走査することで、スクリーン上に画像を描画する構成でもよい。また、表示デバイス21は、拡散透過型のスクリーンに対し、スクリーンの背後からプロジェクタで画像を投影する構成であってもよい。
上記実施形態及び変形例の虚像表示システム10は、移動体本体110に固定されているが、上記実施形態及び変形例の虚像表示システム10は、ユーザ200が頭部に装着して使用するヘッドマウントディスプレイ、又は、メガネ型の表示装置に適用されてもよい。
上記実施形態及び変形例の虚像表示システム10は、自動車100に適用されるものに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車100以外の移動体にも適用可能である。
また、虚像表示システム10は、1つの装置に限らず複数の装置によって構成されてもよい。つまり、虚像表示システム10の機能が2以上の装置に分散して設けられていてもよい。虚像表示システム10の制御部50は、自動車100のECU、自動車100の外部のサーバ装置に設けられもよく、この場合はECU又はサーバ装置で画像表示部20が表示する画像が作成される。
(まとめ)
以上説明したように、第1の態様に係る虚像表示システム(10)は、画像データ作成部(52)と、画像表示部(20)と、光学系(30)と、を備える。画像データ作成部(52)は、描画を行う対象物の画像データと、描画を行う対象物の表示位置に関する位置情報とに基づいて、描画を行う対象物の虚像を表示するための画像データを作成する。画像表示部(20)は、虚像を表示するための画像データに基づく画像を表示面(221)に表示する。光学系(30)は、表示面(221)に表示される画像をアイボックス(210)に集光することによって、アイボックス(210)に視点があるユーザに表示面(221)に表示される画像に基づく虚像(310)を視認させる。表示面(221)は、表示面(221)と光学系(30)とを結ぶ光路(L1)に対して傾斜した状態で配置される。描画を行う対象物の画像データは、立体描画を行う対象物の第1画像データを含む。画像データ作成部(52)は、画像データに含まれる第1画像データと、立体描画を行う対象物の表示位置に関する位置情報とに基づいて、立体描画を行う対象物を立体視させるための第2画像データを作成する。
この態様によれば、表示面(221)と光学系(30)とを結ぶ光路(L1)に対して表示面(221)が傾斜しているので、表示面(221)の面内で、アイボックス(210)と表示面(221)との間の距離が変化する。したがって、表示面(221)に表示される画像に基づいてユーザ(200)に視認される虚像(310)に自然な距離感を与えることができ、見えやすさを向上させることが可能な虚像表示システム(10)を提供することができる。
第2の態様に係る虚像表示システム(10)では、第1の態様において、描画を行う対象物の画像データは、平面描画を行う対象物の第3画像データを更に含む。画像データ作成部(52)は、第3画像データと、平面描画を行う対象物の表示位置に関する位置情報とに基づいて、平面描画を行う対象物を平面描画するための第4画像データを更に作成する。画像表示部(20)は、第4画像データに基づく画像を表示面(221)に表示する。
この態様によれば、見えやすさを向上させることが可能な虚像表示システム(10)を提供することができる。
第3の態様に係る虚像表示システム(10)では、第1又は第2の態様において、立体描画を行う対象物は、第1対象物と第2対象物とを含む。第1対象物は、表示位置からアイボックス(210)までの距離が、周囲の状況に関わらず所定の距離である対象物である。第2対象物は、表示位置からアイボックス(210)までの距離が、周囲の状況に応じて変化する対象物である。
この態様によれば、見えやすさを向上させることが可能な虚像表示システム(10)を提供することができる。
第4の態様に係る虚像表示システム(10)では、第3の態様において、周囲の状況を計測するセンサの計測結果に基づいて、第2対象物の表示位置からアイボックス(210)までの距離が変化する。
この態様によれば、見えやすさを向上させることが可能な虚像表示システム(10)を提供することができる。
第5の態様に係る虚像表示システム(10)では、第1~4のいずれかの態様において、画像表示部(20)が、表示デバイス(21)と、レンズアレイ(22)とを含む。レンズアレイ(22)は、アレイ状に配置された複数のレンズ(222)を有し、表示デバイス(21)の表示面(221)に配置される。
この態様によれば、見えやすさを向上させることが可能な虚像表示システム(10)を提供することができる。
第6の態様に係る虚像表示システム(10)では、第1~第4のいずれかの態様において、画像表示部(20)が複数の表示デバイス(21A,21B)を含む。複数の表示デバイス(21A,21B)の表示面(211A,211B)が互いに傾斜する。
この態様によれば、見えやすさを向上させることが可能な虚像表示システム(10)を提供することができる。
第7の態様に係る虚像表示システム(10)では、第6の態様において、画像表示部(20)が、複数の表示デバイス(21A,21B)の表示面(211A,211B)にそれぞれ配置される複数のレンズアレイ(22A,22B)を更に含む。複数のレンズアレイ(22A,22B)の各々は、アレイ状に配置された複数のレンズ(222)を有する。
この態様によれば、見えやすさを向上させることが可能な虚像表示システム(10)を提供することができる。
第8の態様に係る画像表示方法は、第1~第7のいずれかの態様の虚像表示システム(10)が備える画像表示部(20)に画像を表示する画像表示方法である。この画像表示方法は、第1処理と、第2処理と、第3処理と、第4処理とを含む。第1処処理では、立体描画を行う対象物の第1画像データを取得する。第2処理では、立体描画を行う対象物の表示位置に関する位置情報を取得する。第3処理では、第1画像データと位置情報とに基づいて、立体描画を行う対象物を立体視させるための第2画像データを作成する。第4処理では、第2画像データに基づく画像を画像表示部(20)の表示面(221)に表示させる。
この態様によれば、見えやすさを向上させることができる。
第9の態様に係るヘッドアップディスプレイ(1)は、第1~第7のいずれかの態様の虚像表示システム(10)を備える。光学系(30)が、入射光をアイボックス(210)に向かって反射する光透過性を有する反射部材(112)を含み、アイボックス(210)に視点(201)があるユーザ(200)に、反射部材(112)を透過して見える現実空間に重ね合わせた虚像(310)を視認させる。
この態様によれば、見えやすさを向上させることが可能なヘッドアップディスプレイ(1)を提供することができる。
第10の態様に移動体(100)は、移動する移動体本体(110)と、第9の態様に係るヘッドアップディスプレイ(1)とを備える。ヘッドアップディスプレイ(1)は移動体本体(110)に搭載される。反射部材が、移動体本体(110)のウィンドシールド(112)又はコンバイナを含む。
この態様によれば、見えやすさを向上させることが可能な虚像表示システム(10)を備えた移動体(100)を提供することができる。
上記態様に限らず、上記実施形態に係る虚像表示システム(10)の種々の構成(変形例を含む)は、虚像表示システム(10)の画像表示方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。
第2~第8の態様に係る構成については、虚像表示システム(10)に必須の構成ではなく、適宜省略可能である。
1 ヘッドアップディスプレイ
10 虚像表示システム
20 画像表示部
21,21A,21B 表示デバイス
22,22A,22B レンズアレイ
30 光学系
52 画像データ作成部
70 センサ
100 移動体
110 移動体本体
112 ウィンドシールド(反射部材)
200 ユーザ
201 視点
210 アイボックス
211A,211B 表示面
221 表示面
222 レンズ
320 虚像
L1 光路

Claims (10)

  1. 描画を行う対象物の画像データと、前記描画を行う対象物の表示位置に関する位置情報とに基づいて、前記描画を行う対象物の虚像を表示するための画像データを作成する画像データ作成部と、
    前記虚像を表示するための画像データに基づく画像を表示面に表示する画像表示部と、
    前記表示面に表示される前記画像をアイボックスに集光することによって、前記アイボックスに視点があるユーザに前記表示面に表示される前記画像に基づく前記虚像を視認させる光学系と、を備え、
    前記表示面は、前記表示面と前記光学系とを結ぶ光路に対して傾斜した状態で配置され、
    前記描画を行う対象物の画像データは、立体描画を行う対象物の第1画像データと、平面描画を行う対象物の第3画像データと、を含み、
    前記画像データ作成部は
    記第1画像データと、前記立体描画を行う対象物の表示位置に関する位置情報とに基づいて、前記立体描画を行う対象物を立体視させるための第2画像データを作成し、
    前記第3画像データと、前記平面描画を行う対象物の表示位置に関する位置情報とに基づいて、前記平面描画を行う対象物を平面描画するための第4画像データを作成し、
    前記画像データ作成部は、
    前記画像表示部の前記表示面に前記立体描画を行う対象物の画像を表示させる場合、前記立体描画を行う対象物の表示位置に対応する複数の画素のうち、前記アイボックスにおいて設定される複数の視点の各々に対応する複数の画素に、同じ画像を表示させるための前記第2画像データを作成し、
    前記画像表示部の前記表示面に前記平面描画を行う対象物の画像を表示させる場合、前記平面描画を行う対象物の表示位置に対応する複数の画素に、前記第3画像データに基づく画像を表示させる前記第4画像データを作成し、
    前記画像表示部は、前記第2画像データに基づく画像と、前記第4画像データに基づく画像とを前記表示面に表示する、
    虚像表示システム。
  2. 前記立体描画を行う対象物は、表示位置から前記アイボックスまでの距離が周囲の状況に関わらず所定の距離である第1対象物と、表示位置から前記アイボックスまでの距離が前記周囲の状況に応じて変化する第2対象物とを含む、
    請求項1に記載の虚像表示システム。
  3. 前記周囲の状況を計測するセンサの計測結果に基づいて、前記第2対象物の表示位置から前記アイボックスまでの距離が変化する、
    請求項2に記載の虚像表示システム。
  4. 前記画像表示部が、表示デバイスと、アレイ状に配置された複数のレンズを有し前記表示デバイスの前記表示面に配置されるレンズアレイとを含む、
    請求項1~3のいずれか1項に記載の虚像表示システム。
  5. 前記画像表示部が複数の表示デバイスを含み、
    前記複数の表示デバイスの前記表示面が互いに傾斜する、
    請求項1~3のいずれか1項に記載の虚像表示システム。
  6. 前記画像表示部が、前記複数の表示デバイスの前記表示面にそれぞれ配置される複数のレンズアレイを更に含み、
    前記複数のレンズアレイの各々はアレイ状に配置された複数のレンズを有する、
    請求項5に記載の虚像表示システム。
  7. 前記複数のレンズの各々は、前記複数の視点にそれぞれ対応する複数の画素に対応している、
    請求項4又は6に記載の虚像表示システム。
  8. 請求項1~7のいずれか1項に記載の虚像表示システムが備える前記画像表示部に前記画像を表示する画像表示方法であって、
    前記立体描画を行う対象物の第1画像データを取得する処理と、
    前記立体描画を行う対象物の表示位置に関する位置情報を取得する処理と、
    前記平面描画を行う対象物の第3画像データを取得する処理と、
    前記平面描画を行う対象物の表示位置に関する位置情報を取得する処理と、
    前記第1画像データと前記立体描画を行う対象物の表示位置に関する位置情報とに基づいて、前記立体描画を行う対象物を立体視させるための第2画像データを作成する第2画像データ作成処理と、
    前記第3画像データと前記平面描画を行う対象物の表示位置に関する位置情報とに基づいて、前記平面描画を行う対象物を平面描画するための第4画像データを作成する第4画像データ作成処理と、
    画像表示処理と、を含み
    前記第2画像データ作成処理では、前記画像表示部の前記表示面に前記立体描画を行う対象物の画像を表示させる場合、前記立体描画を行う対象物の表示位置に対応する複数の画素のうち、前記アイボックスにおいて設定される複数の視点の各々に対応する複数の画素に、同じ画像を表示させるための前記第2画像データを作成し、
    前記第4画像データ作成処理では、前記画像表示部の前記表示面に前記平面描画を行う対象物の画像を表示させる場合、前記平面描画を行う対象物の表示位置に対応する複数の画素に、前記第3画像データに基づく画像を表示させる前記第4画像データを作成し、
    前記画像表示処理では、前記第2画像データに基づく画像と、前記第4画像データに基づく画像とを前記画像表示部の前記表示面に表示する、
    画像表示方法。
  9. 請求項1~7のいずれか1項に記載の虚像表示システムを備え、
    前記光学系が、入射光を前記アイボックスに向かって反射する光透過性を有する反射部材を含み、
    前記アイボックスに視点があるユーザに、前記反射部材を透過して見える現実空間に重ね合わせた前記虚像を視認させる、
    ヘッドアップディスプレイ。
  10. 移動する移動体本体と、
    前記移動体本体に搭載される、請求項9に記載のヘッドアップディスプレイとを備え、
    前記反射部材が、前記移動体本体のウィンドシールド又はコンバイナを含む、
    移動体。
JP2021508242A 2019-03-27 2020-02-14 虚像表示システム、画像表示方法、ヘッドアップディスプレイ、及び移動体 Active JP7390558B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019061923 2019-03-27
JP2019061923 2019-03-27
PCT/JP2020/005835 WO2020195308A1 (ja) 2019-03-27 2020-02-14 虚像表示システム、画像表示方法、ヘッドアップディスプレイ、及び移動体

Publications (2)

Publication Number Publication Date
JPWO2020195308A1 JPWO2020195308A1 (ja) 2020-10-01
JP7390558B2 true JP7390558B2 (ja) 2023-12-04

Family

ID=72611789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508242A Active JP7390558B2 (ja) 2019-03-27 2020-02-14 虚像表示システム、画像表示方法、ヘッドアップディスプレイ、及び移動体

Country Status (4)

Country Link
US (1) US20220013046A1 (ja)
JP (1) JP7390558B2 (ja)
DE (1) DE112020001450T5 (ja)
WO (1) WO2020195308A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020195307A1 (ja) * 2019-03-27 2020-10-01 パナソニックIpマネジメント株式会社 電子ミラーシステム、画像表示方法、及び移動体
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018003650A1 (ja) 2016-06-29 2018-01-04 日本精機株式会社 ヘッドアップディスプレイ
JP2018173589A (ja) 2017-03-31 2018-11-08 パナソニックIpマネジメント株式会社 表示装置、及びそれを備える移動体
JP2019032467A (ja) 2017-08-09 2019-02-28 株式会社デンソー 立体表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015145935A1 (ja) * 2014-03-27 2015-10-01 パナソニックIpマネジメント株式会社 虚像表示装置、ヘッドアップディスプレイシステム、及び乗物
JP6969102B2 (ja) 2016-02-10 2021-11-24 株式会社リコー 画像表示装置及び画像表示方法
FR3071625B1 (fr) * 2017-09-26 2019-09-27 Alioscopy Systeme et procede d'affichage d'une image autostereoscopique a 2 points de vue sur un ecran d'affichage autostereoscopique a n points de vue et procede de controle d'affichage sur un tel ecran d'affichage

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018003650A1 (ja) 2016-06-29 2018-01-04 日本精機株式会社 ヘッドアップディスプレイ
JP2018173589A (ja) 2017-03-31 2018-11-08 パナソニックIpマネジメント株式会社 表示装置、及びそれを備える移動体
JP2019032467A (ja) 2017-08-09 2019-02-28 株式会社デンソー 立体表示装置

Also Published As

Publication number Publication date
JPWO2020195308A1 (ja) 2020-10-01
WO2020195308A1 (ja) 2020-10-01
DE112020001450T5 (de) 2021-12-23
US20220013046A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
CN109309828B (zh) 图像处理方法和图像处理装置
JP6304628B2 (ja) 表示装置および表示方法
KR101104503B1 (ko) 화상 표시 장치 및 화상 표시 방법
JP2019164317A (ja) 画像形成システム、画像補正システム、画像表示システム、移動体、画像形成方法、及びプログラム
JP2015101311A (ja) 車両情報投影システム
CN112639580A (zh) 抬头显示装置、抬头显示方法及车辆
JP2023168334A (ja) 光学システム、照明システム、表示システム、及び移動体
JP7390558B2 (ja) 虚像表示システム、画像表示方法、ヘッドアップディスプレイ、及び移動体
US11711502B2 (en) Method of outputting three-dimensional image and electronic device performing the method
EP3605191B1 (en) Virtual image display device
US20220365345A1 (en) Head-up display and picture display system
JP2018081276A (ja) 虚像表示装置
JP7350777B2 (ja) ヘッドアップディスプレイ
CN219676374U (zh) 显示装置、抬头显示装置和交通工具
KR20180046567A (ko) 차량용 헤드 업 디스플레이 제어 장치 및 방법
JP7178637B2 (ja) 虚像表示システム、ヘッドアップディスプレイ、及び移動体
JP7475107B2 (ja) 電子ミラーシステム、画像表示方法、及び移動体
JP7178638B2 (ja) 電子ミラーシステム、及び移動体
US12033287B2 (en) Vehicle head-up display device and method
US20230154116A1 (en) Vehicle head-up display device and method
WO2021171397A1 (ja) 表示制御装置、表示装置、及び表示制御方法
CN116243491A (zh) 一种车载全息成像装置及显示系统
JP2024064033A (ja) ヘッドアップディスプレイ装置
JP2021089325A (ja) ヘッドアップディスプレイ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231027

R151 Written notification of patent or utility model registration

Ref document number: 7390558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03