JP7194906B2 - 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体 - Google Patents

映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体 Download PDF

Info

Publication number
JP7194906B2
JP7194906B2 JP2018069740A JP2018069740A JP7194906B2 JP 7194906 B2 JP7194906 B2 JP 7194906B2 JP 2018069740 A JP2018069740 A JP 2018069740A JP 2018069740 A JP2018069740 A JP 2018069740A JP 7194906 B2 JP7194906 B2 JP 7194906B2
Authority
JP
Japan
Prior art keywords
image
display
unit
correction
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018069740A
Other languages
English (en)
Other versions
JP2019179214A (ja
Inventor
祥平 林
俊也 森
忠司 芝田
信之 中野
彰 田中
勝長 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018069740A priority Critical patent/JP7194906B2/ja
Priority to PCT/JP2019/013091 priority patent/WO2019189308A1/ja
Priority to CN201980023791.0A priority patent/CN111954902B/zh
Priority to DE112019001736.5T priority patent/DE112019001736T5/de
Publication of JP2019179214A publication Critical patent/JP2019179214A/ja
Priority to US17/030,621 priority patent/US11514559B2/en
Priority to US17/994,158 priority patent/US11983856B2/en
Priority to JP2022189945A priority patent/JP2023029340A/ja
Application granted granted Critical
Publication of JP7194906B2 publication Critical patent/JP7194906B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/23Optical features of instruments using reflectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Instrument Panels (AREA)

Description

本開示は、一般に映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体に関し、より詳細には、対象空間に虚像を投影する映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体に関する。
従来、対象空間に虚像を投影する映像表示システムとして、特許文献1に記載の表示装置(ヘッドアップディスプレイ装置)が知られている。この表示装置は、表示手段と、表示制御手段と、位置検出手段と、記憶部と、を備えている。表示手段に表示画像が表示されると、その表示画像は、被投影部材に投影されて運転者に視認される。運転者は、表示画像の虚像を実景と重ね合わせて視認する。記憶部は、3つの歪み補正パラメータを記憶している。3つの歪み補正パラメータは、運転者の視点位置が表示画像の視認可能範囲の左端、中央又は右端である場合に対応している。表示制御手段は、位置検出手段で検出された観測者の視点位置に基づいて、記憶部から上記の3つの歪み補正パラメータのいずれかを取得し、取得した歪み補正パラメータに基づいて、被投影部材に投影されたときの表示画像の歪みを補正する。この構成により、観察者の視点位置が左右に移動した場合であっても、虚像の歪みを補正して視認性を向上させることができる。
特開2014-199385号公報
しかしながら、上記の表示装置では、表示装置の姿勢が変化したときの虚像と実景とのずれが考慮されていない。したがって、表示装置の姿勢が変化した場合は、虚像と実景とがずれる場合がある。この結果、運転者は、虚像と実景とのずれに違和感を感じる場合がある。
そこで、本開示は、上記事由に鑑み、虚像の歪みを補正しつつ、本体部の姿勢が変化しても虚像と実景とのずれを低減できる映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体を提供することを目的とする。
本開示の一態様に係る映像表示システムは、移動体本体に設けられる映像表示システムである。前記映像表示システムは、表示部と、投影部と、本体部と、画像形成部と、を備える。前記表示部は、画像を表示する。前記投影部は、前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する。前記本体部は、前記表示部及び前記投影部が設けられる。前記画像形成部は、前記表示部に表示される前記画像を形成する。前記画像形成部は、第1補正部と、第2補正部と、を備える。前記第1補正部は、前記画像に歪み補正を行う。前記第2補正部は、前記移動体本体の走行中における前記本体部の姿勢変化を表す姿勢信号に基づいて、前記表示部での前記画像の表示位置を補正する。前記表示部の表示画面は、複数の区画領域を有する。前記画像は、複数の画像領域を有する。前記表示画面の前記複数の区画領域の各々には、前記虚像の歪みを補正する歪み補正パラメータが対応している。前記第1補正部は、前記画像における前記複数の画像領域の各々について、画像領域が表示される区画領域に対応する前記歪み補正パラメータに基づいて、前記画像領域に前記歪み補正を行う。前記第1補正部は、前記第2補正部によって補正された前記画像に前記歪み補正を行う。前記表示部に表示される前記画像は、第1領域と、第2領域と、を有する。前記第1領域は、前記第2補正部によって補正される。前記第2領域は、前記第2補正部によって補正されない。
本開示の一態様に係る移動体は、前記映像表示システムと、移動体本体と、を備える。移動体本体は、前記映像表示システムが設けられる。
本開示の一態様に係る映像表示方法は、表示部と、投影部と、本体部と、を備え、移動体本体に設けられる映像表示システムを用いた映像表示方法である。前記表示部は、画像を表示する。前記投影部は、前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する。前記本体部は、前記表示部及び前記投影部が設けられる。上記の映像表示方法は、画像形成処理を含む。前記画像形成処理は、前記表示部に表示される前記画像を形成する。前記画像形成処理は、第1補正処理と、第2補正処理と、を含む。前記第1補正処理は、前記画像に歪み補正を行う。前記第2補正処理は、前記移動体本体の走行中における前記本体部の姿勢変化を表す姿勢信号に基づいて、前記表示部での前記画像の表示位置を補正する。前記表示部の表示画面は、複数の区画領域を有する。前記画像は、複数の画像領域を有する。前記表示画面の前記複数の区画領域の各々には、前記虚像の歪みを補正する歪み補正パラメータが対応している。前記第1補正処理は、前記画像における前記複数の画像領域の各々について、画像領域が表示される区画領域に対応する前記歪み補正パラメータに基づいて、前記画像領域に前記歪み補正を行う歪み補正処理を含む。前記第1補正処理は、前記第2補正処理によって補正された前記画像に前記歪み補正を行う。前記表示部に表示される前記画像は、第1領域と、第2領域と、を有する。前記第1領域は、前記第2補正処理によって補正される。前記第2領域は、前記第2補正処理によって補正されない。
本開示の一態様に係るプログラムは、コンピュータに、前記映像表示方法を実行させるためのプログラムである。
本開示は、虚像の歪みを補正しつつ、本体部の姿勢が変化しても虚像と実景とのずれを防止できる、という利点がある。
図1は、実施形態1に係る映像表示システムの構成を示す概念図である。 図2は、同上の映像表示システムを備える自動車の概念図である。 図3は、同上の映像表示システムを用いた場合の運転者の視野を示す概念図である。 図4は、同上の映像表示システムの構成を示すブロック図である。 図5は、同上の映像表示システムの表示部に表示される表示画像を示す概念図である。 図6Aは、表示画像を構成する第1画像を示す概念図、図6Bは、表示画像を構成する第2画像を示す概念図である。 図7は、表示ずれ補正処理を説明する概念図である。 図8は、歪み補正処理を説明する概念図である。 図9Aは、歪み補正される画像の各区画領域に歪み補正パラメータを対応させた状態を示す概念図、図9Bは、ウインドシールドの投影領域の各区画領域と歪み補正パラメータとの対応関係を示す概念図である。 図10は、実施形態2に係る映像表示システムの構成を示す概念図である。 図11は、歪み補正される画像の各区画領域に歪み補正パラメータを対応させた状態を示す概念図、図11は、ウインドシールドの投影領域の各区画領域と歪み補正パラメータとの対応関係を示す概念図である。 図12は、表示ずれ補正処理を説明する概念図である。 図13は、変形例に係る映像表示システムの構成を示す概念図である。 図14は、表示ずれ補正処理での姿勢変化の変化量と補正量との関係の一例を示すグラフである。 図15は、表示部の変形例を示す概念図である。
(実施形態1)
(1)概要
本実施形態に係る映像表示システム10は、図1及び図2に示すように、例えば、移動体本体としての自動車100に用いられるヘッドアップディスプレイ(HUD:Head-Up Display)である。本実施形態では、映像表示システム10と、映像表示システム10が設けられた自動車100(移動体本体)と、を含む全体を移動体とする。
映像表示システム10は、自動車100のウインドシールド101(反射部材)に下方から画像を投影するように、自動車100の車室内に配置されている。図2の例では、ウインドシールド101の下方のダッシュボード102内に、映像表示システム10が配置されている。映像表示システム10からウインドシールド101に画像が投影されると、ユーザ(運転者)200は、ウインドシールド101に投影された画像を、自動車100の前方(車外)に設定された対象空間400内に表示された虚像300として視認する。
ここでいう「虚像」は、映像表示システム10から出射される画像光がウインドシールド101等の反射部材にて発散(反射)するとき、その発散光線によって、実際に物体があるように結ばれる像を意味する。そのため、自動車100を運転しているユーザ200は、図3に示すように、自動車100の前方に広がる実景に重ねて、映像表示システム10にて投影される虚像300を見ることができる。したがって、映像表示システム10によれば、種々の運転支援情報を虚像300として実景と重ねて表示して、ユーザ200に視認させることができる。運転支援情報は、例えば、車速情報、ナビゲーション情報、歩行者情報、前方車両情報、車線逸脱情報、及び車両コンディション情報等である。これにより、ユーザ200は、ウインドシールド101の前方に視線を向けた状態から僅かな視線移動だけで、運転支援情報を視覚的に取得することができる。
なお、ウインドシールド101は、画像光をユーザ側に反射する反射機能を有し、かつ、ユーザがウインドシール101ドを介して実景を視認可能なように光を透過する透過機能も有する部材である。
対象空間400に形成される虚像300は、少なくとも第1虚像301と第2虚像302a,302bとの2種類の虚像を含んでいる。第1虚像301は、例えば、ナビゲーション情報として自動車100の進行方向を示す情報であり、路面600上に右折又は左折を示す矢印である。この種の第1虚像301は、拡張現実(AR:Augmented Reality)技術を用いて表示される画像であり、ユーザ200から見た実景(路面600、建物、周辺車両、及び歩行者等)における特定の位置に重畳して表示される。
第2虚像302aは、例えば、ナビゲーション情報として前方直近の交差点までの距離を示す距離情報である。第2虚像302bは、例えば、自動車100の現在の車速を示す車速情報である。第2虚像302a,302bは、対象空間400の所定箇所(例えば下部)に表示される。
図3の例では、第1虚像301は、一例として、自動車100の前方の丁字路上に「左折」を指示する矢印を表している。第2虚像302aは、一例として、「50m」という直近の交差点までの距離を表している。第2虚像302bは、「20km/h」という自動車100の現在の車速を表示している。
対象空間400に表示される虚像300は、図2に示すように、映像表示システム10の光軸500に交差する仮想面501上に形成される。光軸500は、自動車100の前方の対象空間400において、自動車100の前方の路面600に沿っている。虚像300が形成される仮想面501は、路面600に対して略垂直である。例えば、路面600が水平面である場合には、虚像300は鉛直面に沿って表示される。
映像表示システム10は、図1に示すように、画像表示部2と、投影部3と、本体部1と、を備えている。画像表示部2は、表示画面25を有し、表示画面25に画像700を表示する。投影部3は、画像表示部2の出力光により、画像700に対応する虚像300を対象空間400に投影する。本体部1には、これら画像表示部2及び投影部3が設けられている。
このような本体部1が自動車100に搭載された状態では、例えば、路面600の状況、及び自動車100の加減速等に起因して、本体部1の姿勢が自動車100の姿勢と共に変化する。具体的には、例えば、自動車100が減速等により前傾姿勢になれば本体部1も前傾姿勢となり、自動車100が加速等により後傾姿勢になれば本体部1も後傾姿勢になる。映像表示システム10の本体部1の姿勢が変化すると、虚像300と実景との相対的な配置関係が変化する。そのため、例えば、本体部1の姿勢が変化した場合に、第1虚像301は、ユーザ200から見た実景において本来重畳すべき特定の位置からずれた位置に表示される。
そこで、映像表示システム10は、図4に示すように、表示ずれ補正部(第2補正部)213を備えている。表示ずれ補正部213は、本体部1の姿勢変化に応じて、第1虚像301が実景の特定の位置に表示されるように、対象空間400での第1虚像301の表示位置を補正する。これにより、本体部1の姿勢変化に応じて、第1虚像301の表示位置が補正される。そのため、例えば、自動車100に姿勢変化が生じても、映像表示システム10は、第1虚像301を、ユーザ200から見た実景において本来重畳すべき特定の位置に重畳して表示することが可能である。本実施形態では、第1虚像301及び第2虚像302のうち、第1虚像301の表示位置だけが、本体部1の姿勢変化に応じて補正され、第2虚像302の表示位置は、補正されない。なお、第1虚像301と一緒に第2虚像302の表示位置を補正してもよい。
また、映像表示システム10では、虚像300がウインドシールド101で反射したときに、虚像300に歪みが生じる。そこで、映像表示システム10は、図4に示すように、虚像300の歪みを補正する歪み補正部(第1補正部)215を更に備えている。
このように、映像表示システム10は、表示ずれ補正部213及び歪み補正部215を備えるため、虚像300の歪みを補正しつつ、本体部1の姿勢が変化しても虚像300と実景とのずれを防止することができる。
(2)構成
映像表示システム10は、図1に示すように、本体部1と、画像表示部2と、投影部3とを備えている。本体部1は、例えば、筐体にて構成されている。本体部1内には、画像表示部2及び投影部3が設けられている。本体部1は、自動車100のダッシュボード102内に固定される。本体部1は、筐体でなく、例えば、フレーム又は板材等であってもよい。
画像表示部2は、表示画面25を有し、表示画面25に画像700を表示し、表示した画像700を投影部3に向けて照射する。画像表示部2は、図1に示すように、表示部20と、画像形成部21と、を有している。表示部20は、画像700を表示し、表示した画像700を表示部20の前方に照射する。画像形成部21は、表示部20に表示される画像700を形成する画像形成処理を実行する。
表示部20に表示される画像700は、図5に示すように、第1虚像301に対応する第1対応画像721と、第2虚像302a,302bに対応する第2対応画像722a,722bと、を含む。第1対応画像721は、例えば、自動車100の目的地までの道案内用の矢印を示す矢印画像である。第2対応画像722aは、例えば、自動車100の前方直近の交差点までの距離を示す距離画像である。第2対応画像722bは、例えば、自動車100の現在の車速を示す車速画像である。以下、矢印画像721、距離画像722a、車速画像722bとも記載する。
画像700は、図5に示すように、第1対応画像721を含む第1画像701と、第2対応画像722a,722bを含む第2画像702と、を互いに画像合成することで構成されている。本実施形態では、第1画像701は、例えば1画面分の画像として形成されている。第2画像702は、帯状(例えば横長帯状)の画像として形成されている。画像700は、第1画像701の下部に第2画像702が重畳されることで構成されている。第1対応画像721は、第1画像701の任意の位置に表示可能である。第2対応画像722a,722bは、第2画像(帯状の画像)702の特定位置に表示される。本実施形態では、第2対応画像722aは、第2画像702の中央左寄りの位置に表示され、第2対応画像722bは、第2画像702の中央右寄りの位置に表示される。
画像700は、図5に示すように、第1領域705と、第2領域706とを有する。第1領域705は、表示ずれ補正部213によって補正される領域であり、第1対応画像721が表示される領域である。第1領域705は、第1画像701のうち、第2画像702が重畳されない領域である。第2領域706は、表示ずれ補正部213によって補正される領域であり、第2対応画像722a,722bが表示される領域である。第2領域706は、第2画像702の画像領域と一致している。
より詳細には、自動車100は、ADAS(advanced driverassistance system:先進運転システム)4と、車両CAN(Controller AreaNetwork)5と、を備えている。ADAS4は、自動車100のドライバーの運転操作を支援するシステムであり、例えば、自動車100の周囲の物体情報(相対位置、速度)及び道路状態などの交通情報を有している。上記の自動車100の周囲の物体情報は、例えば、ライダー、ミリ波又はカメラなどを用いた検知部で検知された情報である。また、上記の道路状態とは、例えば、路面の白線形状などの細かな情報である。車両CAN5は、自動車100に搭載された車内ネットワークであり、車両CAN5には、例えば、自動車100の車速を検出する車速センサ(不図示)及び、カーナビゲーション装置(不図示)が接続されている。したがって、車両CAN5からは、自動車100の車速情報、及び、ナビゲーション情報などの交通情報が取得可能である。
画像形成部21は、車両CAN5からは、ナビゲーション情報、及び車速センサの検出値(自動車100の車速)を取得し、ADAS4からは、交通情報(例えば自車両100の周囲の他車両との間隔の情報)を取得する。ナビゲーション情報は、例えば、自動車100が向かう目的地までの走行経路、及び前方直近の交差点までの距離などである。
そして、画像形成部21は、取得した自動車100の車速情報に基づいて、図5に示すように、車速画像722bを含む第2画像702を形成し、形成した第2画像702を表示部20に表示する。これにより、車速画像722bに対応する第2虚像302(すなわち自動車100の車速を示す虚像)が対象空間400の所定箇所(例えば下部)に表示される。この第2虚像302は、例えば、自動車100の走行中、常に表示される。なお、第2画像702に、車速画像722bの代わりに、又は、車速画像722bと共に、交通情報画像(ADAS4から取得した交通情報を示す画像)を含めてもよい。これにより、第2虚像302として、自車両100の車速を示す虚像の代わりに、又は、自車両100の車速を示す虚像と共に、交通情報を示す虚像を表示できる。
また、画像形成部21は、取得したナビゲーション情報に基づいて、自動車100が前方直近の交差点に一定距離まで接近したと判定すると、図5に示すように、上記の交差点で進む方向を示す矢印画像721を含む第1画像701を形成する。また、画像形成部21は、上記のカーナビゲーション情報に基づいて、上記の交差点までの距離を示す距離画像722aを形成し、形成した距離画像722aを、車速画像722bを含む第2画像702に追加する。そして、画像形成部21は、第1画像701と第2画像702とを画像合成して表示部20に出力する。これにより、自動車100が前方直近の交差点に一定距離まで接近すると、矢印画像721に対応する第1虚像301が、対象空間400中の実景の特定の位置に表示される。そして、距離画像722aに対応する第2虚像302aが、対象空間400の所定箇所(例えば下部)に表示される。
なお、画像形成部21は、一定時間毎に、車速情報及びナビゲーション情報を取得し直して、矢印画像721の大きさ及び配置、距離画像722aで表示される距離、車速画像722bで表示される車速を更新する。
また、本体部1に姿勢変化が生じた場合は、虚像300と実景との相対的な配置関係が変化する。このため、対象空間400において、第1虚像301が、実景における本体重畳すべき特定の位置(例えば交差点)からずれた位置に表示される。例えば、自動車100が後傾姿勢になると、ユーザ200の視線が上がり、ユーザ200から見た実景が相対的に下方に移動する。この結果、対象空間400において、第1虚像301が、交差点よりも上がった位置に表示される。このため、画像形成部21は、本体部1の姿勢変化を検出すると、検出した本体部1の姿勢変化に基づいて、表示画面25での第1画像701の表示位置を補正する。この結果、対象空間400において、第1虚像301の表示位置が、既定位置(デフォルト位置)から、交差点に沿って重なる位置へと補正される。
投影部3は、画像表示部2の表示画面25からの出力光により、画像700に対応する虚像300を対象空間400に投影する。本実施形態では、映像表示システム10は上述したようにヘッドアップディスプレイであるため、投影部3は、ウインドシールド101(図2参照)に画像700を投影する。投影された画像700は、ウインドシールド101の投影領域105(図3参照)に投影される。
投影部3は、図1に示すように、第1ミラー31と、第2ミラー32と、を有している。第1ミラー31及び第2ミラー32は、画像表示部2から、出力光の光路上に、第1ミラー31、第2ミラー32の順で配置されている。より詳細には、第1ミラー31は、画像表示部2の出力光が入射するように、画像表示部2の表示画面25の前方に配置されている。第1ミラー31は、画像表示部2の出力光を、第2ミラー32に向けて反射する。第2ミラー32は、第1ミラー31で反射された画像表示部2の出力光が入射するような位置(例えば第1ミラー31の前方下側の位置)に配置されている。第2ミラー32は、第1ミラー31で反射された画像表示部2の出力光を、上方(すなわちウインドシールド101)に向けて反射する。第1ミラー31は、例えば凸面鏡であり、第2ミラー32は、例えば凹面鏡である。
この構成により、投影部3は、画像表示部2の表示画面25に表示された画像700を、適当な大きさに拡大又は縮小して、投影画像としてウインドシールド101に投影する。この結果、対象空間400に虚像300が表示される。つまり、自動車100を運転しているユーザ200の視野内では、映像表示システム10から投影された画像700の虚像300が、自動車100の前方に広がる実景に重ねて表示される。
図4~図9Bを参照して、画像形成部21及び表示部20について詳しく説明する。
画像形成部21は、図4に示すように、入力処理部211と、描画処理部212と、表示ずれ補正部213(第2補正部)と、画像合成部214と、歪み補正部215(第1補正部)と、ジャイロセンサ216(センサ)と、を備えている。なお、本実施形態では、センサとしてジャイロセンサ216を用いるが、ジャイロセンサ216に限定されず、自動車100の姿勢変化を検出可能なセンサであれば、どのようなセンサでもよい。
入力処理部211は、ADAS4及び車両CAN5から各種情報を入力する。例えば、入力処理部211は、車両CAN5から、カーナビゲーション情報として、自動車100の目的地までの走行経路、及び自動車100の前方直近の交差点までの距離などの情報を入力する。また、入力処理部211は、車両CAN5から、自動車100の車速情報を入力する。入力処理部211は、入力した各種情報を描画処理部212に出力する。また、入力処理部211は、ADAS4から交通情報を取得する。
ジャイロセンサ216は、本体部1の姿勢変化を検出するセンサであり、例えば、本体部1のピッチ角を検出する。本体部1のピッチ角は、本体部1の左右方向に延びた軸線周りの回転角である。本体部1は自動車100に固定されているため、本体部1の姿勢変化は、自動車100の姿勢変化と同じである。このため、ジャイロセンサ216は、自動車100の姿勢変化(すなわちピッチ角)を検出することで、本体部1の姿勢変化(すなわちピッチ角)を検出する。自動車100のピッチ角は、自動車100の左右方向に延びた軸線周りの回転角である。ジャイロセンサ216は、検出した姿勢変化の情報を、姿勢信号として、表示ずれ補正部213に出力する。本実施形態では、本体部1の姿勢変化を検出するセンサとして、ジャイロセンサ216を用いるが、ジャイロセンサに限定されない。
描画処理部212は、入力処理部211から出力された各種情報に基づいて、画像700を構成する第1画像701(図6B参照)及び第2画像702(図6A)を別々に描画する。
より詳細には、描画処理部212は、図6Aに示すように、上記の各種情報に含まれる自動車100の車速の情報などに基づいて、自動車100の車速を表す車速画像(第2対応画像)722bなどを描画する。また、描画処理部212は、上記のカーナビゲーション情報に基づいて、自動車100が前方直近の交差点に一定距離まで接近したと判定すると、上記の交差点までの距離を示す距離画像(第2対応画像)722aを描画する。そして、描画処理部212は、描画した距離画像722a及び車速画像722bを含む第2画像702を形成し、形成した第2画像702を画像合成部214に出力する。
なお、描画処理部212は、自動車100が前方直近の交差点に一定距離まで接近していないと判定した場合は、距離画像722aを描画しない。したがって、この場合は、第2画像702には、距離画像722aは含まれない。
また、描画処理部212は、図6Bに示すように、上記の各種情報に含まれるカーナビゲーション情報に基づいて、自動車100が前方直近の交差点に一定距離まで接近したと判定する。このように判定した場合、描画処理部212は、道案内用の矢印画像(第1対応画像)721を描画して、描画した矢印画像721を含む第1画像701を形成して、形成した第1画像701を表示ずれ補正部213に出力する。
なお、描画処理部212は、一定時間毎に、矢印画像721の配置及び大きさを更新して、第1画像701を形成し直し、形成し直した第1画像701を表示ずれ補正部213に出力する。これにより、矢印画像721に対応する第1虚像301が、自動車100の進行に応じて実景の特定の位置(例えば前方直近の交差点)に重畳されて表示される。
また、描画処理部212は、一定時間毎に、距離画像722aの表示内容及び車速画像722bの表示内容を最新の内容に更新して第2画像702を形成し直し、形成し直した第2画像702を画像合成部214に出力する。これにより、距離画像722aに対応する第2虚像302aの表示内容、及び、車速画像722bに対応する第2虚像302bの表示内容が、最新の内容に更新される。
表示ずれ補正部213は、ジャイロセンサ216から出力される姿勢信号(すなわち本体部1の姿勢変化)に基づいて、表示部20での第1画像701の表示位置を補正する。すなわち、本体部1の姿勢が変化すると、本体部1と実景との相対的な配置関係がずれる。この結果、第1虚像301が、実景の特定の位置からずれた位置に重畳されて表示される。このため、表示ずれ補正部213は、第1虚像301が実景の特定の位置に重畳されて表示されるように、表示部20での第1画像701の表示位置を補正する。この補正を、表示ずれ補正とも記載する。
より詳細には、表示ずれ補正部213は、図4に示すように、バッファメモリ217を備えている。バッファメモリ217は、一画面分の画像を一時的に保存可能なメモリであり、例えばVRAM(Video RAM)などで構成されている。
表示ずれ補正部213は、図7に示すように、描画処理部212から出力された第1画像701をバッファメモリ217に一時的に保存する。そして、表示ずれ補正部213は、本体部1の姿勢変化に応じてバッファメモリ217の読出開始位置P1を基準位置P1aから変更し、変更した読出開始位置P1(例えば位置P1b)から第1画像701を読み出す。この結果、本体部1の姿勢変化に応じて、第1画像701の表示位置が補正される。
より詳細には、表示ずれ補正部213は、ジャイロセンサ216からの姿勢信号に基づいて本体部1に姿勢変化が生じたと判定すると、上記の姿勢信号から本体部1の姿勢変化の変化量を求める。表示ずれ補正部213は、求めた変化量を相殺するように、表示部20での画像700(図5参照)の表示位置を補正する補正量を求める。この補正量は、表示部20の表示画面25において画像700の表示位置を変位させる長さである。表示ずれ補正部213は、求めた補正量に応じて、読出開始位置P1を基準位置P1aから第1画像701の上下方向にずれた位置P1bに変更する。なお、基準位置P1aは、例えば、保存された第1画像701の左上角部の位置である。そして、表示ずれ補正部213は、変更した読出開始位置P1(位置P1b)から、保存された第1画像701を読み出す。
なお、表示ずれ補正部213は、保存した第1画像701を読み出すときは、読出開始位置P1を読出後の画像の左上角部の位置とする一画面分の画像を、第1画像701として読み出す。このため、図7に示すように、読出後の第1画像701での矢印画像721の表示位置(点線で図示)は、読出前の第1画像701での矢印画像721の表示位置(二点鎖線で図示)と比べて上下方向(図7の例示では下方)にずれる。このように、表示部20での第1画像701の表示位置が上下方向に補正される。
また、表示ずれ補正部213は、上記の姿勢信号に基づいて、本体部1に姿勢変化が生じていない判定すると、読出開始位置P1を基準位置P1aに設定し、設定した読出開始位置P1(基準位置Pla)から、保存した第1画像701を読み出す。このため、読出後の第1画像701での矢印画像721の表示位置は、読出前の第1画像701での矢印画像721の表示位置と同じになる。すなわち、表示部20での第1画像701の表示位置は、補正されない。
そして、表示ずれ補正部213は、読み出した第1画像701を画像合成部214に出力する。
画像合成部214は、図5に示すように、描画処理部212から出力された第2画像702(図6A参照)と、表示ずれ補正部213から出力された第1画像701(図6B参照)とを画像合成して画像700(図5参照)を形成する。本実施形態では、画像合成部214は、一画面分の画像である第1画像701の下部に、横長帯状の画像である第2画像702を重畳して合成することで、画像700を形成する。そして、画像合成部214は、形成した画像700を歪み補正部215に出力する。
歪み補正部215は、表示部20に表示される画像700の歪みを補正する。本実施形態では、歪み補正部215は、画像合成部214から出力された画像(すなわち表示ずれ補正部212で補正された画像)700に歪み補正を行う。すなわち、画像合成部214から出力された画像700は、表示部20の表示画面25に表示されて、ウインドシールド101の投影領域105に投影される。そして、投影された画像700の画像光は、ウインドシールド101の投影領域105で反射して対象空間400に虚像300を形成する。その際、ウインドシールド101の投影領域105での反射で画像光が歪み、この結果、虚像300が歪む。このため、歪み補正部215は、虚像300の上記の歪みを無くすために、虚像300の上記の歪みを相殺する歪みを画像700に形成する。
歪み補正部215は、図4に示すように、バッファメモリ218と、記憶部219と、を備えている。バッファメモリ218は、画像合成部214から出力された第1画像701を一時的に保存するメモリであり、例えばVRAMなどで構成されている。バッファメモリ218は、第1画像701を保存する保存領域220を有する。記憶部219は、歪み補正部215による歪み補正で用いる複数(例えば16個)の歪み補正パラメータU12~U44(図9B参照)を保存している。
歪み補正部215は、図8に示すように、画像合成部214から出力された画像700を、バッファメモリ218の保存領域220に一時的に保存する。そして、歪み補正部215は、保存した画像700の各部に対して、記憶部219に保存された歪み補正パラメータU11~U44に基づいて、歪み補正を行う。そして、歪み補正部215は、補正した画像700を表示部20に出力する。表示部20に出力された画像700は、表示部20の表示画面25に表示される。歪み補正部215で補正された画像(すなわち表示画面25に表示される画像)700には、ウインドシールド101の投影領域105での反射で生じる歪みを相殺する歪みが形成されている。
より詳細には、図9Aに示すように、バッファメモリ218の保存領域220は、複数の区画領域220sを有している。同様に、図9Bに示すように、表示部20の表示画面25も複数の区画領域25s(第1区画領域)を有し、ウインドシールド101の投影領域105も複数の区画領域105s(第2区画領域)を有している。各区画領域220s、各区画領域25s及び各区画領域105sはそれぞれ、例えば縦横にメッシュ状に区画されている。図9A及び図9Bの例では、各区画領域220s、各区画領域25s及び各区画領域105sはそれぞれ、縦4つ、横4つ、計16つに区画化されている。各区画領域220s,25s,105sの大きさは、複数の画素分の大きさである。なお、各区画領域220s,25s,105sの大きさは、複数の画素分の大きさに限定されず、一画素分の大きさであってもよい。
保存領域220の各区画領域220sは、表示画面25の各区画領域25sに一対一に対応しており、表示画面25の各区画領域25sは、投影領域105の各区画領域105sに一対一に対応している。つまり、保存領域220の各区画領域220s、表示画面25の対応する各区画領域25s、投影領域105の対応する各区画領域105sにはそれぞれ、画像700の同じ部分が保存、表示又は反射される。
各歪み補正パラメータU11~U44は、図9Bに示すように、投影領域105の各区画領域105sに対応しており、各区画領域105sで表示部20の出力光が反射するときに生じる歪みを相殺(補正)する値になっている。なお、歪み補正パラメータU11~U44は、投影領域105の各区画領域105sの代表点(例えば左上角部の位置)に関する関数式として設定されてもよいし、投影領域105の各区画領域105sに対応付けられた数値であってもよい。なお、投影領域105の各区画領域105sは、表示画面25の各区画領域25sに対応するため、各歪み補正パラメータU11~U44は、表示画面25の各区画領域25sとも対応する。
歪み補正部215は、図9Aに示すように、画像合成部214から出力された画像700をバッファメモリ218の保存領域220に保存すると、保存した画像700を、保存領域220の各区画領域220sに合わせて複数の画像領域700sに分けられる。なお、画像700の各画像領域700sは、保存領域220の各区画領域220sに対応するため、表示画面25の各区画領域25s、及び、投影領域105の各区画領域105sとも対応する。
そして、歪み補正部215は、保存領域220に保存された画像700の各画像領域700sに対して、投影領域105の対応する区画領域25sに対応する歪み補正パラメータU11~U44に基づいて、歪み補正を行う。図9Aでは、画像700の各画像領域700sには、各画像領域700sに対応する歪み補正パラメータU11~U44が図示されている。したがって、画像700の各画像領域700sは、各画像領域700sに図示された歪み補正パラメータU11~U44で歪み補正される。
なお、各歪み補正パラメータU11~U44は、表示画面25の各区画領域25sにも対応する。したがって、表示画面25の各区画領域25sにも、各区画領域25sに応じて歪み補正パラメータU11~U44が対応している。そして、画像700の各画像領域700sは、表示画面25において各画像領域700sが表示される区画領域25sに対応する歪み補正パラメータU11~U44に基づいて、歪み補正されている。
この歪み補正により、画像700が投影領域105に照射されたときに、画像700の各画像領域700sに行われた歪み補正と、投影領域105の対応する各区画領域25sでの反射で画像光に生じる歪みとが相殺されて、虚像300の歪みが無くなる。
表示部20は、図4に示すように、液晶パネル201、光源装置202、及び表示制御部203を有している。液晶パネル201は、画像形成部21で形成された画像700を表示する。光源装置202は、液晶パネル201に表示された画像700を液晶パネル201の前方に照らし出す。表示制御部203は、液晶パネル201及び光源装置202を制御する。
液晶パネル201は、例えばLCD(Liquid Crystal Display)である。液晶パネル201は、光源装置202の前方に配置されている。液晶パネル201の前面(すなわち光源装置202とは反対側の表面)が、表示画面25を構成する。表示画面25に画像700が表示される。
光源装置202は、液晶パネル201のバックライトとして用いられる。光源装置202の出力光は、液晶パネル201を透過して表示画面25から出力される。光源装置202は、発光ダイオード又はレーザダイオード等の固体発光素子を用いて、液晶パネル201の背面の略全域に光を照射する面光源である。
表示制御部203は、画像形成部21から表示部20に出力された画像700に基づいて、液晶パネル201を駆動することで、表示画面25に画像700を表示させる。また、表示制御部203は、光源装置202を点灯させて、液晶パネル201に表示された画像700を液晶パネル201の前方に照らし出す。このとき液晶パネル201の前方に照らし出された光は、液晶パネル201に表示された画像700を反映した光(画像光)である。したがって、液晶パネル201に表示された画像は、光源装置202の出力光によって、液晶パネル201の前方に投影される。
ここで、描画処理部212、表示ずれ補正部213、歪み補正部215、及び表示制御部203はそれぞれ、例えば、CPU(Central Processing Unit)等のプロセッサ及びメモリを有するマイクロコンピュータで構成されている。言い換えれば、描画処理部212、表示ずれ補正部213、歪み補正部215、及び表示制御部203は、プロセッサ及びメモリを有するコンピュータにて実現されている。プロセッサがメモリに格納されているプログラムを実行することで、コンピュータが描画処理部212、表示ずれ補正部213、歪み補正部215、又は表示制御部203として機能する。プログラムはメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
このように構成された映像表示システム10によれば、虚像300の歪みを補正しつつ、本体部1の姿勢が変化しても虚像300と実景とのずれを防止することができる。より詳細には、歪み補正部215と表示ずれ補正部213とを備えるため、虚像300の歪み補正と、本体部1の姿勢変化に対する虚像300の表示位置の補正と、を行うことができる。その際、表示部20の表示画面25の各区画領域25sには、それら各区画領域25sに応じた歪み補正パラメータU11~U44が対応している。そして、歪み補正部215は、表示画面25において画像700の各画像領域700sが表示される各区画領域25sに対応する歪み補正パラメータU11~U44に基づいて、画像700の各画像領域700sに歪み補正を行う。このため、表示ずれ補正部213による画像700の表示位置の補正があっても、歪み補正部213による補正で、虚像300の歪みを適切に補正することができる。
(実施形態2)
上記の実施形態1では、表示ずれ補正(すなわち表示部20での画像700の表示位置の補正)の後に歪み補正(すなわち画像700の歪み補正)が行われたが、本実施形態2では、歪み補正の後に表示ずれ補正が行われる。以下、本実施形態2について、上記の実施形態1と同じ部分は同一参照符号を付して説明を省略し、実施形態1と異なる部分を中心に説明する。
実施形態2の画像形成部21は、図10に示すように、実施形態1の画像形成部21(図4)と比べて、表示ずれ補正部213、画像合成部214、及び歪み補正部215の処理順番が異なる。より詳細には、描画処理部212の後段に歪み補正部215(第1補正部)が配置され、歪み補正部215の後段に表示ずれ補正部213(第2補正部)が配置され、表示ずれ補正部213の後段に画像合成部214が配置される。
すなわち、描画処理部212で描画された第2画像702は、画像合成部214に出力される。また、描画処理部212で描画された第1画像701は、歪み補正部215に出力される。歪み補正部215は、描画処理部212で描画された第1画像701に歪み補正を行って、補正した第1画像701を表示ずれ補正部213に出力する。表示ずれ補正部213は、歪み補正部215で歪み補正された第1画像701の表示部20での表示位置を補正し、補正した第1画像701を画像合成部214に出力する。画像合成部214は、描画処理部212から出力された第2画像702と、表示ずれ補正部213から出力された第1画像701とを画像合成して画像700を形成する。そして、画像合成部214は、形成した画像700を表示部20に出力する。
実施形態2では、歪み補正の後に表示ずれ補正が行われる。このため、歪み補正部215は、画像700に対して、後段の表示ずれ補正部213で表示部20での画像700の表示位置を補正する分、歪み補正を行う範囲をずらして歪み補正を行う。
より詳細には、歪み補正部215は、ジャイロセンサ216から出力される姿勢信号に基づいて、表示ずれ補正部213が画像700の表示位置を補正するときの補正量を予測する。より詳細には、歪み補正部215は、ジャイロセンサ216から出力される姿勢信号に基づいて、表示ずれ補正部215の後述の処理と同様の処理で、上記の補正量を求める。このように歪み補正部215が求めた補正量は、歪み補正部215での歪み補正の処理開始時と、後段の表示ずれ補正部213での表示ずれ補正の処理開始時との時間間隔が十分に短い場合は、後段の表示ずれ補正部213が求める補正量の近似値となる。このため、歪み補正部215が求めた補正量を、後段の表示ずれ補正部213が画像700の表示位置を補正するときの補正量として用いる。
なお、歪み補正部215での歪み補正の処理開始時と、後段の表示ずれ補正部213での表示ずれ補正の処理開始時との時間間隔が十分に短くない場合は、予測器を用いて、上記の補正量を予測してもよい。より詳細には、この場合、歪み補正部215は、一定時間前から現時点までの間にジャイロセンサ216から出力される姿勢信号と、上記の予測器とを用いて、後段の表示ずれ補正部213が画像700の表示位置を補正するときの補正量を予測計算する。なお、上記の予測器としては、一定時間前から現時点までの間の複数の時刻で検出した複数の検出値から、次の時刻の検出値を予測する周知の回路を用いることができる。
そして、歪み補正部215は、図11Bに示すように、表示画面25の区画領域25sに対応した歪み補正パラメータU11~U44を、表示画面25おいて、上記の予測した補正量に基づいてずれた区画領域25sに対応させ直す。すなわち、歪み補正部215は、表示画面25の区画領域25sに対応する歪み補正パラメータU11~U44を、予測した補正量を相殺するように、予測した補正量と同量で、予測した補正量の補正方向とは反対方向の区画領域25sに対応させ直す。図11Bの例示では、例えば、上記の予測した補正量は、表示部20での画像700の表示位置を一区画領域25s分下げる値である。この場合は、歪み補正部215は、表示画面25において、歪み補正パラメータU11~U44を、上記の予測した補正量を相殺するように、一区画領域25s分上にずれた区画領域25sに対応させ直す。
なお、図11Bの例示では、歪み補正パラメータU11~U44を、一区画領域25s分上にずれた区画領域25sに対応させ直している。このため、歪み補正パラメータU11~U44のうちの一番上の4つの歪み補正パラメータU11,U12,U13,U14は、表示画面25から外れるため、図示省略されている。また、表示画面25の各区画領域25sの一番下の4つの区画領域25sには、対応させ直す歪み補正が無いので、歪み補正は図示されていない。
このように、歪み補正パラメータU11~U44を対応させ直すと、表示画面25の各区画領域25sのうちの一部(図11Bでは各区画領域25sのうちの一番下の4つの区画領域25s)には、歪み補正パラメータU11~U44が対応しなくなる。このため、歪み補正パラメータU11~U44を対応させ直すことを考慮して、最初に歪み補正パラメータU11~U44を表示画面25に設定する際に、表示画面25よりも広い範囲に歪み補正パラメータを設定していてもよい。
そして、歪み補正部215は、図11Aに示すように、画像700の各画像領域700sに対して、表示画面25の対応する区画領域25sに対応させ直された歪み補正パラメータU11~U44に基づいて、歪み補正を行う。換言すれば、歪み補正部215は、画像700の各画像領域700sに対して、表示画面25において画像700の各画像領域700sが表示される各区画領域25sに対応させ直された歪み補正パラメータU11~U44に基づいて、歪み補正を行う。図11Aの例では、画像700の各画像領域700sには、各画像領域700sに行われる歪み補正の歪み補正パラメータU21~U44が図示されている。各画像領域700sに図示された歪み補正パラメータU11~U44は、表示画面25において各画像領域700sに対応する各区画領域25sに図示された歪み補正パラメータ(図11B)に対応している。
なお、表示画面25の各区画領域25sと投影領域105の各区画領域105sとは対応している。このため、上記のように表示画面25の各区画領域25sと各歪み補正パラメータU11~U44との対応関係を対応させ直すことで、投影領域105の各区画領域105sと各歪み補正パラメータU11~U44との対応関係も、同様に対応させ直されている。
このように歪み補正された画像700は、後段の表示ずれ補正部213で画像700の表示位置が補正される分、歪み補正される範囲がずれて歪み補正されている。すなわち、画像700の各画像領域700sは、表示画面25において各画像領域700sが表示される各区画領域25sに対応させ直された歪み補正パラメータU11~U44で歪み補正されている。
なお、上記の説明では、画像700において歪み補正される範囲をずらす際、表示画面25に着目して表示画面25の各区画領域25sと歪み補正パラメータU11~U44との対応関係を対応させ直した。しかし、表示画面25の各区画領域25sと、投影領域105の各区画領域105sと、保存領域220の各区画領域220sとは、互いに対応している。このため、表示画面25の代わりに投影領域105に着目して、投影領域105の各区画領域105sと歪み補正パラメータU11~U44との対応関係を対応させ直してもよい。また、表示画面25の代わりに保存領域220に着目して、保存領域220の各区画領域220sと歪み補正パラメータU11~U44との対応関係を対応させ直してもよい。
そして、歪み補正部215は、歪み補正した画像700を表示ずれ補正部213に出力する。
表示ずれ補正部213は、ジャイロセンサ216から出力される姿勢信号(すなわち本体部1の姿勢変化を表す信号)に基づいて、歪み補正部215から出力された画像700に表示ずれ補正を行う。より詳細には、表示ずれ補正部213は、図12に示すように、歪み補正部215から出力された画像700をバッファメモリ217に一時的に保存する。そして、表示ずれ補正部213は、実施形態1と同様に、ジャイロセンサ216から出力される姿勢信号に基づいて、画像700の表示位置を補正する補正量を求める。表示ずれ補正部213は、保存した画像700に対して、上記の実施形態1と同様に、表示ずれ補正を行う。
図12の例示では、表示ずれ補正部213は、表示部20での画像700の表示位置を、一画像領域700s分下にずれるように補正する。すなわち、表示ずれ補正部213は、バッファメモリ217において、読出開始位置P1を基準位置P1aから一画像領域700s分上にずれた位置P1bに変更して、保存した画像700を読み出す。これにより、上記の実施形態1で説明したように、画像700の構図が一画像領域分下に補正される。この結果、表示部20での画像700の表示位置が一画像領域700s分下方に補正される。
このように、表示ずれ補正部213の表示ずれ補正で、画像700の表示位置が補正されると、この補正で、歪み補正部215で歪み補正の範囲がずらされた分が相殺される。例えば、歪み補正部215で、歪み補正の補正範囲(すなわち各歪み補正パラメータU11~U44)が一画像領域700s分上にずらされ(図11A参照)、後段の表示ずれ補正部213で、画像700が一画像領域700s分下に補正される(図12参照)。よって、補正された画像700が表示部20に表示されると、画像700の各画像領域700sは、表示部20の表示画面25において画像領域700sが表示される区画領域25sに対応させ直す前に対応された歪み補正パラメータU11~U44で補正される。この結果、画像700が投影領域105に照射されたとき、画像700の各画像領域700sに施された歪み補正パラメータU11~U44は、投影領域105の対応する区画領域105sで生じる歪みと相殺して、虚像300の歪みが無くなる。
(変形例)
上記の実施形態1及び2は、本開示の様々な実施形態の一つに過ぎない。上記の実施形態1及び2は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。さらに、上記の実施形態1及び2に係る態様は、単体の映像表示システムで具現化されることに限らない。例えば、映像表示システム10を備える移動体、映像表示システム10を用いた映像表示方法で、上記の実施形態1及び2に係る態様が具現化されてもよい。また、上記の映像表示方法をコンピュータに実行させるためのプログラム、このプログラムを記憶した記憶媒体等で、上記の実施形態1及び2に係る態様が具現化されてもよい。以下に説明する変形例は、適宜組み合わせて適用可能である。
(変形例1)
上記の実施形態1では、画像合成部214は、表示ずれ補正部213と歪み補正部215との間に配置されたが、図13に示すように、歪み補正部215と表示部20との間に配置されてもよい。この場合は、描画処理部212と画像合成部214との間に、歪み補正部230が追加される。歪み補正部230は、歪み補正部215と同様に構成されている。すなわち、描画処理部212から出力された第2画像702は、歪み補正部215で歪み補正されて、画像合成部214に出力される。画像合成部214は、歪み補正部215から出力された第1画像701と、歪み補正部215から出力された第2画像702とを画像合成した画像700を形成する。そして、画像合成部214は、形成した画像700を表示部20に出力する。
(変形例2)
上記の実施形態1では、表示ずれ補正部213が、第1画像701の表示位置を補正するときの補正量H1は、本体部1の姿勢変化の変化量(ピッチ角)α1の大きさに対して、非線形であってもよい。この場合は、補正量H1は、図14に示すように、変化量α1の大きさに応じて変化する。例えば、変化量α1が所定値未満のとき(すなわち変化量α1が比較的小さいとき)は、補正量H1を比較的小さく又はゼロにし、変化量α1が所定値以上のときは、補正量H1を変化量α1に比例させてもよい。これにより、自動車100のアイドリング時のように本体部1の姿勢変化の変化量α1が比較的小さいときは、表示ずれ補正を行わず、本体部1の姿勢変化の変化量α1がある程度大きいときだけ、表示ずれ補正を行うことができる。これにより、自動車100のアイドリング時の小さな振動に対しては、虚像300の表示位置を補正しないようにできる。なお、補正量H1を変化量α1に対して、常に線形に変化させてもよい。
(変形例3)
上記の実施形態1では、歪み補正部215のバッファメモリ218は、表示ずれ補正部213のバッファメモリ217とは別のバッファメモリであるが、1つのバッファメモリを各バッファメモリ218,217として用いてもよい。
(変形例4)
上記の実施形態1では、本体部1の姿勢変化は、本体部1のピッチ方向の変化であったが、本体部1のヨー方向の変化でもよい。この場合は、読出開始位置P1は、本体部1のヨー角に応じて左右に変動される。この場合、表示ずれ補正部213は、画像700の表示位置を、表示画面25の左右方向に補正する。そして、歪み補正部215は、歪み補正パラメータU11~U44を、表示画面25の各区画領域25sにおいて、画像700の表示位置の補正量に基づいて左右方向にずれた区画領域25sに対応させ直す。また、本体部1の姿勢変化は、ロール方向の変化でもよい。この場合は、読出開始位置P1に対して、ロール角に応じて回転させるように画像700が読み出される。この場合、表示ずれ補正部213は、画像700の表示位置を、表示画面25において所定位置(読出開始位置P1)を中心に回転するように補正する。そして、歪み補正部215は、歪み補正パラメータU11~U44を、表示画面25の各区画領域25sにおいて、画像700の表示位置の補正量に基づいて所定位置を中心に回転する方向にずれた区画領域25sに対応させ直す。なお、ヨー方向とは、本体部1(すなわち自動車100)の上下方向の軸線周りの方向であり、ヨー角とは、ヨー方向の回転角である。ロール方向とは、本体部1の前後方向の軸線周りの角度であり、ロール角とは、ロール方向の回転角である。
(変形例5)
上記の実施形態1では、投影部3は、少なくとも光学素子を有していればよく、第1ミラー31及び第2ミラー32の2つのミラーを有することは必須でなく、ミラーを1つのみ、又は3つ以上有していてもよい。さらに、投影部3は、例えばレンズ等、ミラー以外の光学部品を有していてもよい。
(変形例6)
上記の実施形態1では、映像表示システム10は、自動車100の進行方向の前方に設定された対象空間400に虚像300を投影する構成に限らず、例えば、自動車100の進行方向の側方、後方、又は上方等に虚像300を投影してもよい。
(変形例7)
上記の実施形態1では、映像表示システム10は、自動車100に用いられるヘッドアップディスプレイに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車100以外の移動体本体にも適用可能である。さらに、映像表示システム10は、移動体に限らず、例えば、アミューズメント施設で用いられてもよい。また、映像表示システム10は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末、医療設備、又は据置型の装置として用いられてもよい。また、映像表示システム10は、例えば、電子ビューファインダ等として、デジタルカメラ等の機器に組み込まれて使用されてもよい。
(変形例8)
上記の実施形態1では、描画処理部212、歪み補正部215、表示ずれ補正部213及び表示制御部203は、互いに異なるCPU及びメモリで構成されている。しかし、1つのCPU及び1つのメモリを、描画処理部212、歪み補正部215、表示ずれ補正部213及び表示制御部203で共用してもよい。また、1つのCPU及び1つのメモリを、描画処理部212、歪み補正部215、表示ずれ補正部213及び表示制御部203のうちの何れか3つ又は2つで共有してもよい。
(変形例9)
上記の実施形態1では、表示部20は、液晶パネル201を備えた構成であったが、このような構成に限定されない。この変形例9では、表示部20Aは、図15に示すように、表示部20Aの表示画面25の背面からレーザ光を走査して画像700を形成するように構成される。
より詳細には、表示部20Aは、拡散透過型のスクリーン23と、スクリーン23に対してスクリーン23の背後から光を照射する照射部24と、を有している。照射部24は、走査型の光照射部であって、スクリーン23に対して光K1を照射する。これにより、スクリーン23の前面又は背面(ここでは前面)からなる表示画面25には、照射部24からの光K1によって画像700が描画され、スクリーン23を透過する光K1により、対象空間400に虚像300(図2参照)が形成される。
照射部24は、光(例えばレーザ光)K1を出力する光源241と、光源241からの光K1を走査する走査部242と、レンズ243と、を有している。光源241は、光K1を出力するレーザモジュールからなる。走査部242は、光源241からの光K1を反射してレンズ243を介してスクリーン23に照射する。その際、走査部242は、光K1の反射方向を変化させることで、スクリーン23の表示画面25に照射される光を表示画面25上で走査する。ここで、走査部242は、表示画面25の縦方向及び横方向に対し、二次元的に光K1を走査する、ラスタスキャン(Raster Scan)を行う。つまり、走査部242は、表示画面25に形成される輝点を走査することで、表示画面25に二次元の画像(例えば画像700)を形成する。輝点は、光K1がスクリーン23の表示画面25で交わる点である。走査部242は、例えば、MEMS(Micro Electro Mechanical Systems)技術を用いた微小な走査ミラーを有している。つまり、走査部242は、光K1を反射する光学素子(ミラー部)を含み、光学素子を回転させることで、光源241からの光K1を、光学素子の回転角度(振れ角)に応じた向きに反射する。これにより、走査部242は、光源241からの光K1を走査する。この走査部242は、光学素子を、互いに直交する2軸を中心に回転させることで、二次元的に光K1を走査するラスタスキャンを実現する。
なお、この変形例9では、表示部20Aの表示画面25が有する複数の区画領域25sの各々の大きさは、特に限定されないが、表示部20Aでの表示画面25の分解能で区画可能な最小の大きさでもよい。言い換えると、例えば横方向に走査した後に縦方向に移動し、横方向に走査するようなラスタスキャンを走査部242が行う場合、各区画領域25sの大きさ(縦の長さ及び横の長さ)は、縦方向に移動する移動量に相当する大きさであってもよい。また、縦方向に走査した後に横方向に移動し、縦方向に走査するラスタスキャンを走査部242が行う場合、各区画領域25sの大きさは、横方向に移動する移動量に相当する大きさであってもよい。
(変形例10)
上記の実施形態1では、画像700を第1画像701と第2画像702とに分けて作成し、第1画像701及び第2画像702を画像合成して形成するが、このように限定されない。例えば、第1画像701と第2画像702とに分けずに、画像700を形成し、画像700のうち、第1画像701に対応する範囲だけに表示ずれ補正を行ってもよい。
(まとめ)
第1の態様に係る映像表示システム(10)は、表示部(20)と、投影部(3)と、本体部(1)と、を備える。表示部(20)は、画像(700)を表示する。投影部(3)は、表示部(20)の出力光により、画像(700)に対応する虚像(300)を対象空間(400)に投影する。本体部(1)は、表示部(20)及び投影部(3)が設けられる。画像形成部(21)は、表示部(20)に表示される画像(700)を形成する。画像形成部(21)は、第1補正部(215)と、第2補正部(213)と、を備える。第1補正部(215)は、画像(700)の歪みを補正する第1補正処理を実行する。第2補正部(213)は、本体部(1)の姿勢変化を表す姿勢信号に基づいて、表示部(20)での画像(700)の表示位置を補正する第1補正処理を実行する。表示部(20)の表示画面(25)は、複数の区画領域(25s)を有する。画像(700)は、複数の画像領域(700s)を有する。表示画面(25)の区画領域(25s)には、虚像300の歪みを補正する歪み補正パラメータ(U11~U44)が対応している。第1補正部(215)は、表示画面(25)における複数の画像領域(700s)の各々について、画像領域(700s)が表示される区画領域(25s)に対応する歪み補正パラメータ(U11~U44)に基づいて、画像領域(700s)に歪み補正を行う。
この構成によれば、虚像(300)の歪みを補正しつつ、本体部(1)の姿勢が変化しても虚像(300)と実景とのずれを防止することができる。より詳細には、第1補正部(215)と第2補正部(213)とを備えるため、虚像(300)の歪み補正と、本体部(1)の姿勢変化に対する虚像(300)の表示位置の補正と、を行うことができる。その際、表示部(20)の表示画面(25)の区画領域(25s)には、虚像(300)の歪みを補正する歪み補正パラメータ(U11~U44)が対応している。第1補正部(215)は、表示画面(25)における画像領域(700s)が表示される区画領域(25s)に対応する歪み補正パラメータ(U11~U44)に基づいて、画像(700)の画像領域(700s)に歪み補正を行う。このため、第2補正部(213)による画像(700)の表示位置の補正があっても、第1補正部(215)による歪み補正で、虚像(300)の歪みを適切に補正することができる。
第2の態様に係る映像表示システム(10)では、第1の態様において、表示部(20)の出力光は、反射部材(101)の投影領域(105)に投影され、投影領域(105)で反射されて対象空間(400)に虚像(300)を結像する。表示画面(25)の区画領域(25s)を第1区画領域(25s)とする。投影領域(105)は、複数の第2区画領域(105s)を有する。投影領域(105)の複数の第2区画領域(105s)は、表示画面(25)の複数の第1区画領域(25s)に一対一に対応する。表示画面(25)の複数の第1区画領域(25s)の各々において、第1区画領域(25s)に対応した歪み補正パラメータ(U11~U44)は、第1区画領域(25s)に対応する第2区画領域(105s)に対応する。第1補正部(215)は、複数の第1区画領域(25s)の各々において、前記歪み補正パラメータ(U11~U44)を用いて、対応する第2区画領域(105s)で表示部(20)の出力光が反射するときに生じる歪みを補正する。
この構成によれば、歪み補正パラメータ(U11~U44)は、対応する第2区画領域(105s)で表示部(20)の出力光が反射するときに生じる歪みを補正するため、対象物(101)での出力光の反射で生じる虚像の歪みを補正することができる。
第3の態様に係る映像表示システム(10)では、第1又は第2の態様において、第1補正部(215)は、第2補正部(213)によって補正された画像(700)の歪みを補正する。
この構成によれば、第2補正部(213)による補正(画像(700)の表示位置の補正)が先に実行され、その後に第1補正部(215)による補正(歪み補正)が実行される。このため、第1補正部(215)による補正を実行するとき、第2補正部(213)の補正による画像(700)の表示位置の変更を考慮する必要がなくなる。この結果、第2補正部(213)の処理負担を軽減できる。
第4の態様に係る映像表示システム(10)では、第1~第3の態様のいずれか1つの態様において、第2補正部(213)は、第1補正部(215)によって歪み補正された画像(700)の表示部(20)での表示位置を補正する。第1補正部(215)は、第2補正部(213)が画像(700)の表示位置を補正するときの補正量を予測する。第1補正部(215)は、歪み補正パラメータ(U11~U44)を、表示画面(25)において、予測した補正量の分ずれた位置にある区画領域(25s)に対応させ直す。第1補正部(215)は、対応させ直した歪み補正パラメータ(U11~U44)に基づいて、画像(700)の画像領域(700s)の歪み補正を行う。
この構成によれば、第1補正部(215)による補正(歪み補正)が先に実行され、その後に第2補正部(213)による補正(画像(700)の表示ずれ補正)が実行される。その際、第1補正部(215)は、歪み補正パラメータ(U11~U44)を、表示画面(25)において、予測した補正量の分ずれた位置にある区画領域(25s)に対応させ直す。そして、第1補正部(215)は、対応させ直した歪み補正パラメータ(U11~U44)に基づいて、画像(700)の画像領域(700s)の歪み補正を行う。すなわち、歪み補正の後に画像(700)の表示位置が補正されるため、その表示位置の補正分を相殺するように、事前に、歪み補正パラメータ(U11~U44)と表示画面(25)の区画領域(25s)との対応関係を対応させ直しておく。このため、第1補正部(215)による歪み補正が先に実行され、その後に第2補正部(213)による表示ずれ補正が実行されても、第2補正部(213)による表示ずれ補正に影響されずに、第1補正部(215)による歪み補正を適切に実行できる。
第5の態様に係る映像表示システム(10)では、第1~4の態様のいずれか1つの態様において、姿勢信号は、本体部(1)の姿勢変化を検出するジャイロセンサ(216)の出力信号である。
この構成によれば、本体部(1)の姿勢変化として、本体部(1)の角速度又は角加速度を検出することができる。
第6の態様に係る映像表示システム(10)では、第1~5の態様のいずれか1つの態様において、第2補正部(213)が画像(700)の表示位置を補正したときの補正量(H1)は、本体部(1)の姿勢変化の変化量(α1)に対して非線形である。
この構成によれば、本体部(1)の姿勢変化が小さい場合は、その姿勢変化と比べて、第2補正部(213)による補正の補正量を十分に小さくし又はゼロできる。また、本体部(1)の姿勢変化がある程度大きい場合は、その姿勢変化に応じて、第2補正部(213)による補正の補正量を大きくできる。これにより、本体部(1)に小さな振動が発生した場合、その振動に対する第2補正部(213)の補正により、虚像(300)が振動して見えることを防止できる。
第7の態様に係る映像表示システム(10)では、第1~6の態様のいずれか1つの態様において、表示部(20)に表示される画像(700)は、第1領域(705)と、第2領域(706)と、を有する。第1領域(705)は、第2補正部(213)によって補正される。第2領域(706)は、第2補正部(213)によって補正されない。
この構成によれば、虚像(300)として、本体部(1)の姿勢変化に応じて表示位置が補正される虚像(300)と、表示位置が補正されない虚像(300)とを同時に表示することができる。
第8の態様に係る映像表示システム(10)では、第1~7の態様のいずれか1つの態様において、姿勢信号を出力するセンサ(216)を更に備える。
この構成によれば、姿勢信号を出力するセンサ(216)を更に備えた映像表示システム(10)を提供することができる。
第9の態様に係る移動体は、映像表示システム(10)と、移動体本体(100)と、を備える。映像表示システム(10)は、第1~8の態様のいずれか1つの態様に記載の映像表示システムである。移動体本体(100)は、映像表示システム(10)が設けられる。
この構成によれば、上記の映像表示システム(10)を備えた移動体を提供することができる。
第10の態様に係る映像表示方法は、表示部(20)と、投影部(3)と、本体部(1)と、を備えた映像表示システム(10)を用いた映像表示方法である。表示部(20)は、画像(700)を表示する。投影部(3)は、表示部(20)の出力光により、画像(700)に対応する虚像(300)を対象空間(400)に投影する。本体部(1)は、表示部(20)及び投影部(3)が設けられる。上記の映像表示方法は、画像形成処理を含む。画像形成処理は、表示部(20)に表示される画像(700)を形成する。画像形成処理は、第1補正処理と、第2補正処理と、を含む。第1補正処理では、画像(700)の歪みを補正する。第2補正処理では、本体部(1)の姿勢変化を表す姿勢信号に基づいて、表示部(20)での画像(700)の表示位置を補正する。表示部(20)の表示画面(25)は、複数の区画領域(25s)を有する。画像(700)は、複数の画像領域(700s)を有する。表示画面(25)の前記複数の区画領域(25s)の各々には、虚像(300)の歪みを補正する歪み補正パラメータ(U11~U44)が対応している。第1補正処理は、歪み補正処理を含む。歪み補正処理では、表示画面(25)における複数の画像領域(700s)の各々について、画像領域(700s)が表示される区画領域(25s)に対応する歪み補正パラメータ(U11~U44)に基づいて、画像領域(700s)に歪み補正が行われる。
この態様によれば、虚像(300)の歪みを補正しつつ、本体部(1)の姿勢が変化しても虚像(300)と実景とのずれを防止することができる。より詳細には、第1補正処理と第2補正処理とを含むため、虚像(300)の歪み補正と、本体部(1)の姿勢変化に対する虚像(300)の表示位置の補正と、を行うことができる。その際、表示部(20)の表示画面(25)の区画領域(25s)には、虚像(300)の歪みを補正する歪み補正パラメータ(U11~U44)が対応している。第1補正処理では、表示画面(25)における画像領域(700s)が表示される区画領域(25s)に対応する歪み補正パラメータ(U11~U44)に基づいて、画像(700)の画像領域(700s)に歪み補正を行う。このため、第2補正処理による画像(700)の表示位置の補正があっても、第1補正処理による歪み補正で、虚像(300)の歪みを適切に補正することができる。
第11の態様に係るプログラムは、コンピュータに、第10の態様に記載の映像表示方法を実行させるためのプログラムである。
この構成によれば、汎用のコンピュータを用いた場合でも、虚像(300)の歪みを補正しつつ、本体部(1)の姿勢が変化しても虚像(300)と実景とのずれを防止することができる。
3 投影部
10 映像表示システム
20,20A 表示部
25 表示画面
25s 区画領域(第1区画領域)
100 移動体本体
101 ウインドシールド(反射部材)
105s 区画領域(第2区画領域)
213 表示ずれ補正部(第2補正部)
215 歪み補正部(第1補正部)
216 ジャイロセンサ(センサ)
300 虚像
400 対象空間
700 画像
700s 画像領域
705 第1領域
706 第2領域
α1 変化量
H1 補正量
U11~U44 歪み補正パラメータ

Claims (8)

  1. 移動体本体に設けられる映像表示システムであって、
    画像を表示する表示部と、
    前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する投影部と、
    前記表示部及び前記投影部が設けられる本体部と、
    前記表示部に表示される前記画像を形成する画像形成部と、を備え、
    前記画像形成部は、
    前記画像に歪み補正を行う第1補正部と、
    前記移動体本体の走行中における前記本体部の姿勢変化を表す姿勢信号に基づいて、前記表示部での前記画像の表示位置を補正する第2補正部と、を備え、
    前記表示部の表示画面は、複数の区画領域を有し、
    前記画像は、複数の画像領域を有し、
    前記表示画面の前記複数の区画領域の各々には、前記虚像の歪みを補正する歪み補正パラメータが対応しており、
    前記第1補正部は、前記画像における前記複数の画像領域の各々について、画像領域が表示される区画領域に対応する前記歪み補正パラメータに基づいて、前記画像領域に前記歪み補正を行い、
    前記第1補正部は、前記第2補正部によって補正された前記画像に前記歪み補正を行い、
    前記表示部に表示される前記画像は、
    前記第2補正部によって補正される第1領域と、
    前記第2補正部によって補正されない第2領域と、を有する
    映像表示システム。
  2. 前記表示部の前記出力光は、反射部材の投影領域に投影され、前記投影領域で反射されて前記対象空間に前記虚像を結像し、
    前記表示画面の前記区画領域を第1区画領域とし、
    前記投影領域は、複数の第2区画領域を有し、
    前記投影領域の前記複数の第2区画領域は、前記表示画面の前記複数の第1区画領域に一対一に対応し、
    前記表示画面の前記複数の第1区画領域の各々において、第1区画領域に対応した前記歪み補正パラメータは、前記第1区画領域に対応する第2区画領域に対応し、
    前記第1補正部は、前記複数の第1区画領域の各々において、前記歪み補正パラメータを用いて、対応する前記第2区画領域で前記出力光が反射するときに生じる歪みを補正する
    請求項1に記載の映像表示システム。
  3. 前記姿勢信号は、前記本体部の姿勢変化を検出するジャイロセンサの出力信号である
    請求項1又は2に記載の映像表示システム。
  4. 前記第2補正部が前記画像の表示位置を補正したときの補正量は、前記本体部の姿勢変化の変化量に対して非線形である
    請求項1~3のいずれか1項に記載の映像表示システム。
  5. 前記姿勢信号を出力するセンサを更に備える
    請求項1~のいずれか1項に記載の映像表示システム。
  6. 請求項1~のいずれか1項に記載の映像表示システムと、
    前記映像表示システムが設けられる移動体本体と、を備える
    移動体。
  7. 画像を表示する表示部と、
    前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する投影部と、
    前記表示部及び前記投影部が設けられる本体部と、を備え、移動体本体に設けられる映像表示システムを用いた映像表示方法であって、
    前記表示部に表示される前記画像を形成する画像形成処理を含み、
    前記画像形成処理は、
    前記画像に歪み補正を行う第1補正処理と、
    前記移動体本体の走行中における前記本体部の姿勢変化を表す姿勢信号に基づいて、前記表示部での前記画像の表示位置を補正する第2補正処理と、を含み、
    前記表示部の表示画面は、複数の区画領域を有し、
    前記画像は、複数の画像領域を有し、
    前記表示画面の前記複数の区画領域の各々には、前記虚像の歪みを補正する歪み補正パラメータが対応しており、
    前記第1補正処理は、前記画像における前記複数の画像領域の各々について、画像領域が表示される区画領域に対応する前記歪み補正パラメータに基づいて、前記画像領域に前記歪み補正を行う歪み補正処理を含み、
    前記第1補正処理は、前記第2補正処理によって補正された前記画像に前記歪み補正を行い、
    前記表示部に表示される前記画像は、
    前記第2補正処理によって補正される第1領域と、
    前記第2補正処理によって補正されない第2領域と、を有する
    映像表示方法。
  8. コンピュータに、
    請求項に記載の映像表示方法を実行させるためのプログラム
JP2018069740A 2018-03-30 2018-03-30 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体 Active JP7194906B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2018069740A JP7194906B2 (ja) 2018-03-30 2018-03-30 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
CN201980023791.0A CN111954902B (zh) 2018-03-30 2019-03-27 影像显示系统、影像显示方法、存储介质以及具备影像显示系统的移动体
DE112019001736.5T DE112019001736T5 (de) 2018-03-30 2019-03-27 Bildanzeigesystem, bildanzeigeverfahren, programm und fahrzeug einschliesslich des bildanzeigesystems
PCT/JP2019/013091 WO2019189308A1 (ja) 2018-03-30 2019-03-27 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
US17/030,621 US11514559B2 (en) 2018-03-30 2020-09-24 Image display system, image display method, storage medium, and moving vehicle including the image display system
US17/994,158 US11983856B2 (en) 2018-03-30 2022-11-25 Image display system, image display method, storage medium, and moving vehicle including the image display system
JP2022189945A JP2023029340A (ja) 2018-03-30 2022-11-29 映像表示システム、映像表示方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018069740A JP7194906B2 (ja) 2018-03-30 2018-03-30 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022189945A Division JP2023029340A (ja) 2018-03-30 2022-11-29 映像表示システム、映像表示方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2019179214A JP2019179214A (ja) 2019-10-17
JP7194906B2 true JP7194906B2 (ja) 2022-12-23

Family

ID=68060019

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018069740A Active JP7194906B2 (ja) 2018-03-30 2018-03-30 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
JP2022189945A Pending JP2023029340A (ja) 2018-03-30 2022-11-29 映像表示システム、映像表示方法、及び、プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022189945A Pending JP2023029340A (ja) 2018-03-30 2022-11-29 映像表示システム、映像表示方法、及び、プログラム

Country Status (5)

Country Link
US (2) US11514559B2 (ja)
JP (2) JP7194906B2 (ja)
CN (1) CN111954902B (ja)
DE (1) DE112019001736T5 (ja)
WO (1) WO2019189308A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373527B2 (en) * 2019-03-25 2022-06-28 Micron Technology, Inc. Driver assistance for non-autonomous vehicle in an autonomous environment
WO2020208779A1 (ja) * 2019-04-11 2020-10-15 三菱電機株式会社 表示制御装置及び表示制御方法
JPWO2020241094A1 (ja) * 2019-05-31 2020-12-03
CN111076742A (zh) * 2019-12-17 2020-04-28 百度国际科技(深圳)有限公司 一种ar导航的显示方法、装置、电子设备及存储介质
EP3848781B1 (en) 2019-12-31 2023-05-10 Seiko Epson Corporation Circuit device, electronic apparatus, and mobile body
EP3846009B1 (en) 2019-12-31 2023-05-10 Seiko Epson Corporation Display system, electronic apparatus, mobile body, and display method
JP7314848B2 (ja) * 2020-03-25 2023-07-26 トヨタ自動車株式会社 表示制御装置、画像補正方法及びプログラム
JP7407368B2 (ja) * 2020-03-30 2024-01-04 パナソニックIpマネジメント株式会社 表示装置
US20230168498A1 (en) * 2020-05-15 2023-06-01 Nippon Telegraph And Telephone Corporation Positioning support apparatus, positioning support method, and program
JPWO2021251115A1 (ja) 2020-06-08 2021-12-16
JP2022056649A (ja) * 2020-09-30 2022-04-11 セイコーエプソン株式会社 回路装置、表示システム及び画像処理方法
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
CN116572837A (zh) * 2023-04-27 2023-08-11 江苏泽景汽车电子股份有限公司 一种信息显示控制方法及装置、电子设备、存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108251A (ja) 2006-10-17 2008-05-08 Seiko Epson Corp 表示方法およびシステム
JP2009250827A (ja) 2008-04-08 2009-10-29 Panasonic Corp ナビゲーション装置、方法及びプログラム
JP2011117842A (ja) 2009-12-03 2011-06-16 Aisin Aw Co Ltd 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP2014103480A (ja) 2012-11-19 2014-06-05 Seiko Epson Corp 虚像表示装置
JP2015053734A (ja) 2014-12-05 2015-03-19 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
WO2016190135A1 (ja) 2015-05-28 2016-12-01 日本精機株式会社 車両用表示システム
JP2017016455A (ja) 2015-07-02 2017-01-19 アルパイン株式会社 画像補正装置および画像補正方法
US20170169612A1 (en) 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004177920A (ja) * 2002-08-09 2004-06-24 Olympus Corp 投影観察装置
EP2395764B1 (en) * 2010-06-14 2016-02-17 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP2014178982A (ja) * 2013-03-15 2014-09-25 Sony Corp 画像表示装置及び画像表示方法、記憶媒体、並びに画像表示システム
JP2014199385A (ja) 2013-03-15 2014-10-23 日本精機株式会社 表示装置及びその表示方法
JP6278769B2 (ja) * 2014-03-19 2018-02-14 矢崎総業株式会社 車両用表示装置
WO2016047087A1 (ja) * 2014-09-24 2016-03-31 パナソニックIpマネジメント株式会社 車載用電子ミラー
US10040394B2 (en) * 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
JP2017013590A (ja) 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
KR101785027B1 (ko) * 2016-01-14 2017-11-06 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법
JP6617725B2 (ja) * 2017-01-30 2019-12-11 トヨタ自動車株式会社 車両用情報表示システム及び車両用情報表示方法
JP6601441B2 (ja) * 2017-02-28 2019-11-06 株式会社デンソー 表示制御装置及び表示制御方法
WO2018193708A1 (ja) * 2017-04-19 2018-10-25 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法
JP7135339B2 (ja) * 2018-02-28 2022-09-13 株式会社デンソー 車両に搭載される撮像システム、対象物識別装置、および対象物識別方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108251A (ja) 2006-10-17 2008-05-08 Seiko Epson Corp 表示方法およびシステム
JP2009250827A (ja) 2008-04-08 2009-10-29 Panasonic Corp ナビゲーション装置、方法及びプログラム
JP2011117842A (ja) 2009-12-03 2011-06-16 Aisin Aw Co Ltd 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP2014103480A (ja) 2012-11-19 2014-06-05 Seiko Epson Corp 虚像表示装置
JP2015053734A (ja) 2014-12-05 2015-03-19 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
WO2016190135A1 (ja) 2015-05-28 2016-12-01 日本精機株式会社 車両用表示システム
JP2017016455A (ja) 2015-07-02 2017-01-19 アルパイン株式会社 画像補正装置および画像補正方法
US20170169612A1 (en) 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method

Also Published As

Publication number Publication date
WO2019189308A1 (ja) 2019-10-03
US11983856B2 (en) 2024-05-14
DE112019001736T5 (de) 2020-12-24
JP2019179214A (ja) 2019-10-17
CN111954902A (zh) 2020-11-17
JP2023029340A (ja) 2023-03-03
US20210019867A1 (en) 2021-01-21
CN111954902B (zh) 2023-05-02
US11514559B2 (en) 2022-11-29
US20230086164A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
JP7194906B2 (ja) 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
US10754154B2 (en) Display device and moving body having display device
US11004424B2 (en) Image display system, image display method, movable object including the image display system, and non-transitory computer-readable medium
JP6512016B2 (ja) 車両用表示装置
GB2534151A (en) Head-up display apparatus
JP6866875B2 (ja) 表示制御装置、及び表示制御プログラム
JP2019116229A (ja) 表示システム
JP2018103697A (ja) 車両用表示装置
WO2022209439A1 (ja) 虚像表示装置
JP2019164318A (ja) 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
JP7145509B2 (ja) 映像表示システム、映像表示方法、プログラム、及び、移動体
WO2018030320A1 (ja) 車両用表示装置
US20200047686A1 (en) Display device, display control method, and storage medium
JP3712757B2 (ja) 車両用ヘッドアップ型表示装置
CN110816268B (zh) 显示装置、显示控制方法及存储介质
JP5756741B2 (ja) 車両用画像表示装置
JP2021110904A (ja) ヘッドアップディスプレイ装置
WO2023074288A1 (ja) 車両用表示装置
JP2018167669A (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221130

R151 Written notification of patent or utility model registration

Ref document number: 7194906

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03