JP7165532B2 - 表示装置、表示制御方法、およびプログラム - Google Patents

表示装置、表示制御方法、およびプログラム Download PDF

Info

Publication number
JP7165532B2
JP7165532B2 JP2018148791A JP2018148791A JP7165532B2 JP 7165532 B2 JP7165532 B2 JP 7165532B2 JP 2018148791 A JP2018148791 A JP 2018148791A JP 2018148791 A JP2018148791 A JP 2018148791A JP 7165532 B2 JP7165532 B2 JP 7165532B2
Authority
JP
Japan
Prior art keywords
image
driver
understanding
degree
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018148791A
Other languages
English (en)
Other versions
JP2020024141A (ja
Inventor
匡史 東山
卓也 木村
慎司 川上
達也 岩佐
悠司 桑島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018148791A priority Critical patent/JP7165532B2/ja
Priority to CN201910612741.8A priority patent/CN110816407B/zh
Priority to US16/508,469 priority patent/US20200050002A1/en
Publication of JP2020024141A publication Critical patent/JP2020024141A/ja
Application granted granted Critical
Publication of JP7165532B2 publication Critical patent/JP7165532B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示装置、表示制御方法、およびプログラムに関する。
従来、フロントウインドシールドに運転者向けの基本的な情報に関する画像を表示するヘッドアップディスプレイ装置（以下、ＨＵＤ（Head Up Display）装置と称する）が知られている（例えば、特許文献１参照）。このＨＵＤ装置を用いて、障害物や注意喚起、進行方向を示す各種マークを車両前方の風景と重ねて表示させることで、運転者は、運転時の視線の方向を前方に維持しながら、表示される各種情報を把握することができる。
特開２０１７－９１１１５号公報
しかしながら、従来の技術では、運転者が既に表示内容を把握した場合であっても同一内容のＨＵＤ表示が表示され続け、運転者がＨＵＤ表示を煩わしく感じる可能性があった。
本発明は、このような事情を考慮してなされたものであり、運転者の快適性を向上させることができる表示装置、表示制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る表示装置、表示制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る表示装置は、風景に重畳させて画像を観者に視認させる画像生成装置と、前記画像生成装置を制御する制御装置と、を備え、前記制御装置は、前記画像の観者の前記画像の示す情報への理解度合を推定し、前記推定した理解度合に応じて前記画像の誘目性を変化させるように前記画像生成装置を制御する、表示装置である。
（２）：上記（１）の態様において、前記制御装置は、前記理解度合が所定の理解度合に到達したと推定した場合、前記誘目性を低下させるものである。
（３）：上記（２）の態様において、前記制御装置は、前記観者が前記画像の示す情報に対応付けられた所定の応答動作をした場合に、前記理解度合が所定の理解度合に到達したと推定するものである。
（４）：上記（２）の態様において、前記制御装置は、前記観者が前記画像の投影位置を所定の確認時間以上視認した場合に、前記理解度合が所定の理解度合に到達したと推定するものである。
（５）：上記（２）の態様において、前記制御装置は、前記画像が理解されたのちに表示する次の像が存在する場合、前記画像の誘目性を低下させた状態で前記次の像を表示させるものである。
（６）：上記（３）の態様において、前記制御装置は、前記観者が、前記画像の投影の前に前記画像に対応付けられた所定の応答動作をした場合に、投影される予定の画像の示す情報について、既に所定の理解度合に到達していると推定し、前記画像の誘目性をあらかじめ低下させた状態で表示させるものである。
（７）：上記（１）から（６）のいずれかの態様において、前記画像生成装置は、前記画像を光として出力する投光装置と、前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、前記光学機構を通過した光を反射体に向けて反射する凹面鏡と、前記光学機構における前記距離を調節する第１アクチュエータと、前記凹面鏡の反射角度を調節する第２アクチュエータと、を有するものである。
（８）：この発明の一態様に係る表示装置は、風景に重畳させて画像を観者に視認させる画像生成装置と、前記画像生成装置を制御する制御装置と、を備え、前記制御装置は、前記画像の観者が前記画像の示す情報に対応付けられた所定の応答動作をした場合に、前記画像の誘目性を変化させるように前記投光装置を制御する表示装置である。
（９）：この発明の一態様に係る表示制御方法は、風景に重畳させて画像を観者に視認させる画像生成装置を制御するコンピュータが、前記画像の観者の前記画像の示す情報への理解度合を推定し、前記推定した理解度合に応じて前記画像の誘目性を変化させるように前記画像生成装置を制御する、表示制御方法である。
（１０）：この発明の一態様に係るプログラムは、風景に重畳させて画像を観者に視認させる画像生成装置を制御するコンピュータに、前記画像の観者の前記画像の示す情報への理解度合を推定させ、前記推定させた理解度合に応じて前記画像の誘目性を変化させるように前記画像生成装置を制御させる、プログラムである。
（１）～（１０）の態様によれば、運転者の理解度合に応じて情報の表示を変化させることができる。
実施形態に係る表示装置１００が搭載された車両Ｍの車室内の構成を例示した図である。 実施形態の操作スイッチ１３０について説明するための図である。 表示装置１００の部分構成図である。 表示制御装置１５０を中心とした表示装置１００の構成例を示す図である 表示制御装置１５０により表示させる虚像ＶＩの一例を示す図である。 推定部１５２が運転者の理解度合を推定する際の期待動作の一例を示す図である。 推定部１５２が運転者の理解度合を推定する際の期待動作の他の一例を示す図である。 表示制御装置１５０により表示させる虚像ＶＩの誘目性低下条件の一例を示す図である。 表示装置１００により実行される処理の流れを示すフローチャートである。 表示制御装置１５０により表示させる虚像ＶＩの表示条件の他の一例を示す図である。
以下、図面を参照し、本発明の表示装置、表示制御方法、およびプログラムの実施形態について説明する。表示装置は、例えば、車両（以下、車両Ｍと称する）に搭載され、風景に重畳させて画像を視認させる装置である。表示装置は、ＨＵＤ装置と称することができる。一例として、表示装置は、車両Ｍのフロントウインドシールドに画像を含む光を投光することで、観者に虚像を視認させる装置である。観者は、例えば運転者であるが、運転者以外の乗員であってもよい。また、表示装置は、車両Ｍのフロントウインドシールドに取り付けられた光透過性を有する表示装置（例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）によって実現されてもよいし、人が身体に装着するデバイスが有する透明な部材（バイザー、眼鏡のレンズなど）に投光し、または光透過性の表示装置が取り付けられたものであってもよい。以下の説明では、表示装置は、車両Ｍに搭載され、フロントウインドシールドに画像を含む光を投光する装置であるものとする。
以下の説明において、適宜、ＸＹＺ座標系を用いて位置関係等を説明する。
［全体構成］
図１は、実施形態に係る表示装置１００が搭載された車両Ｍの車室内の構成を例示した図である。車両Ｍには、例えば、車両Ｍの操舵を制御するステアリングホイール１０と、車外と車室内とを区分するフロントウインドシールド（反射体の一例）２０と、インストルメントパネル３０とが設けられる。フロントウインドシールド２０は、光透過性を有する部材である。表示装置１００は、例えば、運転席４０の前方のフロントウインドシールド２０の一部に設けられる表示可能領域Ａ１に画像を含む光を投射する（投光する）ことで、運転席に着座した運転者に虚像ＶＩを視認させる。
表示装置１００は、例えば、運転者の運転を支援するための情報を画像化した像を、虚像ＶＩとして運転者に視認させる。運転者の運転を支援するための情報には、例えば、車両Ｍの速度、駆動力配分比率、エンジン回転数、運転支援機能の動作状態シフト位置、標識認識結果、交差点位置等の情報が含まれる。運転支援機能とは、例えば、方向指示機能、ＡＣＣ（Adaptive Cruise Control）、ＬＫＡＳ（Lane Keep Assist System）、ＣＭＢＳ（Collision Mitigation Brake System）、トラフィックジャムアシスト機能等である。
また、車両Ｍには、表示装置１００の他に、第１表示装置５０－１や第２表示装置５０－２が設けられてよい。第１表示装置５０－１は、例えば、インストルメントパネル３０における運転席４０の正面付近に設けられ、運転者がステアリングホイール１０の間隙から、或いはステアリングホイール１０越しに視認可能な表示装置である。また、第２表示装置５０－２は、例えば、インストルメントパネル３０の中央部に取り付けられる。第２表示装置５０－２は、例えば、車両Ｍに搭載されるナビゲーション装置（不図示）により実行されるナビゲーション処理に対応する画像、またはテレビ電話における相手の映像等を表示する。また、第２表示装置５０－２は、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。
また、車両Ｍには、表示装置１００による表示のオン／オフの切り替え指示や、虚像ＶＩの位置を調節する指示を受け付ける操作スイッチ（操作部の一例）１３０が設けられる。操作スイッチ１３０は、例えば、運転席４０に着座した運転者が大きく体勢を変えることなく操作可能な位置に取り付けられている。操作スイッチ１３０は、例えば、第１表示装置５０－１の前方に設けられていてもよく、ステアリングホイール１０のボス部に設けられていてもよく、ステアリングホイール１０とインストルメントパネル３０とを連結するスポークに設けられていてもよい。
図２は、実施形態の操作スイッチ１３０について説明するための図である。操作スイッチ１３０は、例えば、メインスイッチ１３２と、調節スイッチ１３４および１３６とを含む。メインスイッチ１３２は、表示装置１００のオン・オフを切り替えるスイッチである。
調節スイッチ１３４は、例えば、運転者の視線位置Ｐ１から表示可能領域Ａ１を透過した空間にあるように視認される虚像ＶＩの位置を、鉛直方向Ｚに関して上側（以下、上方向と称する）に移動させる指示を受け付けるためのスイッチである。運転者は、調節スイッチ１３４を押し続けることで、表示可能領域Ａ１内で虚像ＶＩの視認位置を上方向に継続して移動させることができる。
調節スイッチ１３６は、前述した虚像ＶＩの位置を鉛直方向Ｚに関して下側（以下、下方向と称する）に移動させる指示を受け付けるためのスイッチである。運転者は、調節スイッチ１３６を押し続けることで、表示可能領域Ａ１内で虚像ＶＩの視認位置を下方向に継続して移動させることができる。
また、調節スイッチ１３４は、虚像ＶＩの位置を上方向に移動させるのに代えて（または加えて）、視認される虚像ＶＩの輝度を上げるためのスイッチであってもよい。また、調節スイッチ１３６は、虚像ＶＩの位置を下方向に移動するのに代えて（または加えて）、視認される虚像ＶＩの輝度を下げるためのスイッチであってもよい。調節スイッチ１３４、１３６が受け付ける指示の内容は、何らかの操作に基づいて切り替えられてもよい。何らかの操作とは、例えば、メインスイッチ１３２の長押し操作である。また、操作スイッチ１３０は、図２に示す各スイッチに加えて、例えば、表示内容を選択するスイッチや、専ら表示される虚像の輝度を調節するスイッチを含んでよい。
図３は、表示装置１００の部分構成図である。表示装置１００は、例えば、表示器（画像生成装置の一例）１１０と、表示制御装置（制御装置の一例）１５０とを備える。表示器１１０は、例えば、筐体１１５内に、投光装置１２０と、光学機構１２２と、平面鏡１２４と、凹面鏡１２６と、透光カバー１２８とを収納する。これらの他、表示装置１００は、各種センサやアクチュエータを備えるが、これらについては後述する。
投光装置１２０は、例えば、光源１２０Ａと、表示素子１２０Ｂとを備える。光源１２０Ａは、例えば、冷陰極管であり、運転者に視認させる虚像ＶＩに対応する可視光を出力する。表示素子１２０Ｂは、光源１２０Ａからの可視光の透過を制御する。表示素子１２０Ｂは、例えば、薄膜トランジスタ（ＴＦＴ）型の液晶表示装置（ＬＣＤ）である。また、表示素子１２０Ｂは、複数の画素のそれぞれを制御して、光源１２０Ａからの可視光の色要素ごとの透過程度を制御することで、虚像ＶＩに画像要素を含ませ、虚像ＶＩの形態（見え方）を決定付ける。以下では、表示素子１２０Ｂを透過し画像が含まれた可視光を画像光ＩＬという。なお、表示素子１２０Ｂは、有機ＥＬディスプレイであってもよく、この場合、光源１２０Ａは省略されてよい。
光学機構１２２は、例えば、一以上のレンズを含む。各レンズの位置は、例えば光軸方向に調節可能となっている。光学機構１２２は、例えば、投光装置１２０が出力する画像光ＩＬの経路上に設けられ、投光装置１２０から入射した画像光ＩＬを通過させて、フロントウインドシールド２０に向けて出射する。光学機構１２２は、例えば、レンズの位置を変更することで、運転者の視線位置Ｐ１から、画像光ＩＬによる虚像が形成される形成位置Ｐ２までの距離（以下、虚像視認距離Ｄと称する）を調節することができる。運転者の視線位置Ｐ１は、凹面鏡１２６およびフロントウインドシールド２０によって反射され画像光ＩＬが集光される位置であり、この位置に運転者の目が存在することが想定される位置である。虚像視認距離Ｄは、厳密には上下方向の傾きを持つ線分の距離であるが、以下の説明において「虚像視認距離Ｄが７［ｍ］」などと表現する場合、その距離は水平方向の距離を意味してもよい。
以下の説明において、俯角θを、運転者の視線位置Ｐ１を通る水平面と、運転者の視線位置Ｐ１から形成位置Ｐ２までの線分とがなす角度と定義する。虚像ＶＩが下方に形成されているほど、すなわち、運転者が虚像ＶＩを見る視線方向が下向きであるほど、俯角θは大きくなる。俯角θは、凹面鏡１２６の反射角度φと、後述するように表示素子１２０Ｂにおける元画像の表示位置とに基づいて決定される。反射角度φは、平面鏡１２４により反射された画像光ＩＬが凹面鏡１２６に入射する入射方向と、凹面鏡１２６が画像光ＩＬを出射する出射方向とのなす角である。
平面鏡１２４は、光源１２０Ａにより出射され表示素子１２０Ｂを通過した可視光（すなわち、画像光ＩＬ）を凹面鏡１２６の方向に反射させる。
凹面鏡１２６は、平面鏡１２４から入射した画像光ＩＬを反射し、フロントウインドシールド２０に向かって出射する。凹面鏡１２６は、車両Ｍの幅方向の軸であるＹ軸回りに回転（回動）可能に支持される。
透光カバー１２８は、凹面鏡１２６からの画像光ＩＬを透過させてフロントウインドシールド２０に到達させると共に、筐体１１５内に埃や塵、水滴などの異物が入り込むことを抑制する。透光カバー１２８は、筐体１１５の上側部材に形成された開口部に設けられる。また、インストルメントパネル３０にも開口部あるいは光透過性部材が設けられ、画像光ＩＬは、透光カバー１２８とインストルメントパネル３０の開口部或いは光透過性部材を透過してフロントウインドシールド２０に到達する。
フロントウインドシールド２０に入射した画像光ＩＬは、フロントウインドシールド２０によって反射され、運転者の視線位置Ｐ１に集光する。このとき、運転者は、画像光ＩＬによって写し出される画像が車両Ｍの前方に表示されているように感じる。
表示制御装置１５０は、運転者に視認させる虚像ＶＩの表示を制御する。図４は、表示制御装置１５０を中心とした表示装置１００の構成例を示す図である。図４の例では、表示制御装置１５０に加えて、表示装置１００に含まれるレンズ位置センサ１６２と、凹面鏡角度センサ１６４と、環境センサ１６６と、情報取得装置１６８と、操作スイッチ１３０と、光学系コントローラ１７０と、ディスプレイコントローラ１７２と、レンズアクチュエータ（第１アクチュエータの一例）１８０と、凹面鏡アクチュエータ（第２アクチュエータの一例）１８２と、投光装置１２０とを示している。
レンズ位置センサ１６２は、光学機構１２２に含まれる一以上のレンズの位置を検出する。凹面鏡角度センサ１６４は、凹面鏡１２６の図３に示すＹ軸回りの回転角度を検出する。環境センサ１６６は、例えば、投光装置１２０や光学機構１２２の温度を検出する、また、環境センサ１６６は、車両Ｍの周囲の照度を検出する。情報取得装置１６８は、例えば、車両Ｍに搭載されたＥＣＵ（Electronic Control Unit）等（例えばエンジンＥＣＵ、ステアリングＥＣＵといったもの）であり、不図示のセンサの出力に基づいて車両Ｍの速度やステアリング操舵角等を取得する。また、情報取得装置１６８は、情報取得装置１６８車載カメラの画像を解析して、運転者を含む乗員の動作や表情を検出してもよい。
表示制御装置１５０は、例えば、推定部１５２と、駆動制御部１５４と、表示態様変更部１５６と、記憶部１５８とを備える。これらのうち記憶部１５８を除く構成要素は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部１５８等の記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで表示制御装置１５０のＨＤＤやフラッシュメモリにインストールされてもよい。
推定部１５２は、情報取得装置１６８により検出されるステアリングホイール１０等の運転操作子の操作量（例えば前述したステアリング操舵角）や、情報取得装置１６８運転者の動作や表情に基づいて、運転者の虚像ＶＩの表示内容の理解度合を推定する。推定部１５２は、推定された理解度合を表示態様変更部１５６に出力する。
駆動制御部１５４は、例えば、操作スイッチ１３０からの操作内容等に応じて、運転者が視認する虚像ＶＩの位置を調節する。例えば、駆動制御部１５４は、調節スイッチ１３４の操作が受け付けられた場合に、虚像ＶＩの位置を表示可能領域Ａ１内の上方向に移動させる第１制御信号を光学系コントローラ１７０に出力する。虚像ＶＩを上方向に移動させるとは、例えば、図３に示す運転者の視線位置に対する水平方向と、視線位置から虚像ＶＩが視認される方向とのなす俯角θ１を小さくすることである。また、駆動制御部１５４は、調節スイッチ１３６の操作が受け付けられた場合に、虚像ＶＩの位置を表示可能領域Ａ１内の下方向に移動させる第１制御信号を光学系コントローラ１７０に出力する。虚像ＶＩをした下方向に移動させるとは、例えば、俯角θ１を大きくすることである。
また、駆動制御部１５４は、例えば、情報取得装置１６８により検出される車両Ｍの速度に基づいて、虚像視認距離Ｄを調節するための第２制御信号を、光学系コントローラ１７０に出力する。なお、駆動制御部１５４は、光学機構１２２に、虚像視認距離Ｄを車両Ｍの速度に応じて変更するよう制御させる。駆動制御部１５４は、例えば、車両Ｍの速度が大きい場合に虚像視認距離Ｄをより大きくさせ、速度が小さい場合には虚像視認距離Ｄを小さくさせる。また、駆動制御部１５４は、光学機構１２２に、車両Ｍが停車中の虚像視認距離Ｄを最小とするよう制御させる。
表示態様変更部１５６は、推定部１５２により出力された理解度合に応じて虚像ＶＩの表示様態を変更する。表示態様変更部１５６による表示様態の変更については後述する。記憶部１５８は、例えば、ＨＤＤやＲＡＭ（Random Access Memory）、フラッシュメモリなどにより実現される。記憶部１５８は、推定部１５２および表示態様変更部１５６によって参照される設定情報１５８ａを記憶する。設定情報１５８ａは、推定結果と表示様態との関係を規定した情報である。
光学系コントローラ１７０は、駆動制御部１５４により受け付けた第１制御信号または第２制御信号に基づいて、レンズアクチュエータ１８０または凹面鏡アクチュエータ１８２を駆動する。レンズアクチュエータ１８０は、光学機構１２２に連結されたモータ等を含み、光学機構１２２における一以上のレンズの位置を移動させ、虚像視認距離Ｄを調節する。凹面鏡アクチュエータ１８２は、凹面鏡１２６の回転軸に連結されたモータ等を含み、凹面鏡１２６の反射角度を調節する。
例えば、光学系コントローラ１７０は、駆動制御部１５４から取得した第１制御信号情報に基づいて、レンズアクチュエータ１８０を駆動し、駆動制御部１５４から取得した第２制御信号情報に基づいて、凹面鏡アクチュエータ１８２を駆動する。
レンズアクチュエータ１８０は、光学系コントローラ１７０からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて光学機構１２２に含まれる一以上のレンズの位置を移動させる。これにより、虚像視認距離Ｄが調節される。
凹面鏡アクチュエータ１８２は、光学系コントローラ１７０からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて凹面鏡アクチュエータ１８２をＹ軸回りに回転させて、凹面鏡１２６の反射角度φを調節する。これにより、俯角θが調節される。
ディスプレイコントローラ１７２は、表示態様変更部１５６からの表示制御情報に基づいて、投光装置１２０に所定の画像光ＩＬを投光させる。
［理解度合の推定方法］
以下、推定部１５２による運転者の虚像ＶＩに対する理解度合の推定方法について説明する。推定部１５２は、例えば、ナビゲーション装置により実行されるナビゲーション処理と、情報取得装置１６８により検出される運転操作子の操作量とに基づいて、運転者の虚像ＶＩの表示内容が示す情報への理解度合を推定する。
図５は、表示制御装置１５０により表示させる虚像ＶＩの一例を示す図である。表示制御装置１５０は、例えば、情報取得装置１６８によって車両Ｍが交差点に接近し、且つ、車両Ｍが交差点を左折する予定であると検出された場合に、当該交差点を左折することを示すターンバイターンナビゲーション（Turn-by-turn navigation）の虚像ＶＩ１を表示可能領域Ａ１に表示する。
また、推定部１５２は、例えば、虚像ＶＩを表示した後の運転者の操作に基づいて、虚像ＶＩの表示内容が示す情報の理解度合を推定する。図６は、設定情報１５８ａに記憶された、推定部１５２が運転者の理解度合を推定する際の期待動作の一例を示す図である。表示制御装置１５０は、車両Ｍを左折させる場面において、図５に示す虚像ＶＩ１を表示させる。推定部１５２は、虚像ＶＩ１表示の後に、運転者によって図６に示すような左折時に対応付けられた期待動作を実現する運転操作が行われた場合に、運転者が虚像ＶＩを理解したと推定する。図６に示す期待動作は「所定の応答動作」の一例である。
推定部１５２には、車両Ｍが左折する走行場面において、運転者により車速を３０［ｋｐｈ］以下に減速する操作が行われ（図６のＮｏ．１）、且つ、左折することを示すように方向指示器が操作され（図６のＮｏ．２）、且つ、左折するようにステアリングホイール１０等の操作子が操作される（図６のＮｏ．３）ことを、期待動作として設定が記憶されている。推定部１５２は、車両Ｍが左折する予定である場合に、情報取得装置１６８により運転者により期待動作が行われること、またはその期待動作が開始されたことが検出された場合に、所定の理解度合に到達したと判定する。なお、期待動作が複数の動作からなる場合、その操作順（例えば、図６のＮｏ．１～Ｎｏ．３の順番）が設定されてもよい。
また、期待動作が複数の動作からなる場合、必須の期待動作と任意（非必須）の期待動作が設定されてもよい。例えば、図５に示す虚像ＶＩ２の４領域ＣＲ１～ＣＲ４において車両Ｍが交差点を左折する際に通過する横断歩道を含む領域ＣＲ１およびＣＲ２は運転者によって必ず目視確認されることが望ましいため、領域ＣＲ１およびＣＲ２を目視確認することは必須の期待動作として設定される。同様に、車両Ｍが交差点を左折する際に通過する横断歩道を、車両Ｍと同じタイミングで横断する歩行者等の交通参加者の有無を確認するため、領域ＣＲ３を目視確認することは必須の期待動作として設定される。一方、領域ＣＲ４の交通参加者の有無は車両Ｍの運転制御に影響する可能性が低いことから、任意の期待動作として設定されてもよい。
表示態様変更部１５６は、必須の期待動作が行われるまでは、虚像ＶＩ２を表示し続け、必須の動作が行われたことを情報取得装置１６８により検出された場合に、虚像ＶＩ２の誘目性を低下させる。また、表示態様変更部１５６は、図５の例において、虚像ＶＩ２を表示し続けた場合であって、必須の期待動作が行われたことを情報取得装置１６８により検出されずに、車両Ｍの左折が終了した場合には、虚像ＶＩ２の誘目性を低下させる。
図７は、設定情報１５８ａに記憶された、推定部１５２が運転者の理解度合を推定する際の期待動作の他の一例を示す図である。推定部１５２は、車両Ｍが交差点を左折する走行場面であり、且つ、交差点付近に歩行者が検知された場合、情報取得装置１６８によって検出された歩行者の移動ベクトルと、車両Ｍの移動ベクトルが重なることが予想されるときにおいて、所定の車速である１０［ｋｐｈ］以下まで減速した場合には、歩行者を認識していると推定する。
［変形例］
図６および図７に示した車両Ｍが交差点を左折する倉庫場面における期待動作は、車両Ｍと交差点との距離毎に段階的条件が設けられてもよい。図８は、設定情報１５８ａに記憶された、表示制御装置１５０により表示させる虚像ＶＩ１の削除条件の一例を示す図である。表示制御装置１５０は、車両Ｍが交差点を左折する予定である場合、且つ、図８に示す交差点を左折する場面において対応づけられた誘目性低下条件を満たす場合に、虚像ＶＩ１を表示可能領域Ａ１から削除する。表示制御装置１５０は、例えば、図８に示すＮｏ．１～Ｎｏ．３のすべての条件を満たしたら虚像ＶＩの視認性を低下させる。また、図８に示すＮｏ．１～Ｎｏ．３の段階毎の条件を満たしていたら視認性を低下させ、次の段階で条件を満たしていない場合には、虚像ＶＩの視認性を向上させる。
推定部１５２は、例えば、情報取得装置１６８により車両Ｍが交差点まで１０［ｍ］以内の距離に位置し、且つ、車両Ｍの車速が１０［ｋｐｈ］以上であり、且つ、道路端から１０［ｍ］以上であると検出された場合に、運転者が左折の準備をしていない、または左折への準備が不十分であると推定する。一方、推定部１５２は、情報取得装置１６８により車両Ｍが交差点まで１０［ｍ］以内の距離に位置し、且つ、車両Ｍの車速が１０［ｋｐｈ］未満であり、且つ、道路端から１０［ｍ］未満であると検出された場合に、運転者が既に左折することを理解しているものと推定する。
［処理フロー］
図９は、実施形態の表示装置１００により実行される処理の流れを示すフローチャートである。まず、情報取得装置１６８は車両Ｍの走行場面を認識する（ステップＳ１００）、次に、推定部１５２は、表示条件を満たすか否かを判定する（ステップＳ１０２）。推定部１５２は、表示条件を満たすと判定した場合、表示制御装置１５０に虚像ＶＩ１を表示させる（ステップＳ１０４）。推定部１５２は、表示条件を満たすと判定しなかった場合、フローチャートの処理を終了する。
ステップＳ１０４の処理の後、推定部１５２は、期待動作が実現されたか否かに基づいて、運転者の虚像ＶＩの理解度合を推定する（ステップＳ１０６）。推定部１５２は、期待動作が実行されなかった場合、一定時間経過後に再度ステップＳ１０６の処理を行う。推定部１５２は、期待動作が実行された場合、運転者の虚像ＶＩ１の表示内容に対する理解度合が所定の理解度合に到達していると判定し、虚像ＶＩ１の誘目性を低下させる（ステップＳ１０８）。以上、本フローチャートの処理の説明を終了する。
［虚像の変更］
また、推定部１５２は、運転者の操作に応じて、表示制御装置１５０により表示させる虚像ＶＩを変更する。図５に戻り、推定部１５２は、運転者が虚像ＶＩ１の表示を理解し、車両Ｍを左折させるための運転制御を開始したと判定した場合、虚像ＶＩ１の誘目性を低下させると同時に、次に運転者に注意を促したい情報を新たな虚像ＶＩ２として表示する。
推定部１５２は、左折することを示すように方向指示器が操作されたことが情報取得装置１６８により検出された場合に、運転者がターンバイターンナビゲーションの虚像ＶＩ１を理解したと推定し、虚像ＶＩ１の誘目性を低下させる。誘目性の低下については後述する。さらに、推定部１５２は、交差点の横断歩道に歩行者や自転車等の交通参加者がいないことの確認を促す虚像ＶＩ２を表示する。表示装置１００は、表示可能領域Ａ１と実際の風景の領域ＣＲ１～ＣＲ４とを重畳させることができる場合には、領域ＣＲ１～ＣＲ４に重ねて虚像ＶＩ２を表示してもよい。表示装置１００は、表示可能領域Ａ１と実際の風景の領域ＣＲ１～ＣＲ４とを重畳させることができない場合には、領域ＣＲ１～ＣＲ４を示唆する虚像ＶＩ２を表示する。
［虚像の初期誘目性の低下］
また、推定部１５２は、虚像ＶＩの表示タイミングよりも前に行われた運転者の操作から、虚像ＶＩが含む情報を既に運転者が理解していると推定される場合には、虚像ＶＩの誘目性をあらかじめ低下させた状態で表示させてもよい。例えば、推定部１５２は、図５に示すような交差点を左折する走行場面に差し掛かる前に、運転者が車両Ｍの減速や方向指示器の操作を開始したと情報取得装置１６８により検出された場合には、運転者が交差点で曲がることを理解しており、虚像ＶＩの表示が不要であると推定して、虚像ＶＩの表示を中止する。
［誘目性の変化］
表示態様変更部１５６は、推定部１５２により出力された理解度合に応じて、虚像ＶＩの誘目性を変化させる。表示態様変更部１５６は、推定部１５２により運転者の理解度合が所定の理解度合に達したと推定された場合、虚像ＶＩの誘目性を低下させる。誘目性を低下させるとは、例えば、虚像ＶＩの輝度を標準の強度よりも低下させることや、虚像ＶＩの表示を徐々に削除することや、虚像ＶＩを表示する大きさを小さくすることや、虚像ＶＩを表示する位置を表示可能領域Ａ１の端部に移動させることである。
また、表示態様変更部１５６は、虚像ＶＩの表示開始から一定時間が経過しても、推定部１５２により運転者の理解度合が所定の理解度合に達していないと推定された場合、虚像ＶＩの誘目性を向上させる。誘目性を向上させるとは、例えば、虚像ＶＩを表示する大きさをより大きくすることや、虚像ＶＩを点滅表示させることや、虚像ＶＩの輝度を高くすることである。
［運転マナー・運転テクニック向上支援］
また、表示制御装置１５０は、運転者によって期待動作が実施されない場合や、情報取得装置１６８によって検出された運転者の運転マナーが所定の規定を満たさない場合、運転テクニックの改善が望ましい場合等の、虚像ＶＩの視認性低下が想定通り行われないことの理由を運転者に提示して、改善を促してもよい。
図１０は、設定情報１５８ａに記憶された、運転マナーを含む表示条件の一例を示す図である。表示制御装置１５０は、例えば、情報取得装置１６８によって車両Ｍが走行中であると検出された場合であり、情報取得装置１６８によって車両Ｍと前走者との車間距離が適切な距離以下（例えば、４［ｍ］程度）になったと検出された場合、運転者に車間距離を広めるように促す虚像ＶＩを表示する。推定部１５２は、運転者に車間距離を広めるように促す安全車間距離推奨表示コンテンツを虚像ＶＩとして表示した後、車間距離が所定の距離以上になった場合や、運転者が車速を落とす等の操作を行った場合に、所定の理解度合に到達したと推定する。
また、表示制御装置１５０は、例えば、情報取得装置１６８によって車両Ｍと前走者との車間距離が適切な距離以下であり、且つ、早期に車間距離の調節を要する距離（例えば、３［ｍ］程度）以下になったと検出された場合、運転者に車間距離を広めるように警告する虚像ＶＩを表示する。
表示制御装置１５０は、改善の改善が望ましいと判断したタイミングで表示してもよいし、改善の改善が望ましいと判断した走行場面と同様のまたは類似するタイミングで安全車間距離推奨表示コンテンツを虚像ＶＩとして表示する。
表示制御装置１５０は、虚像ＶＩの視認性低下が想定通り行われないことの理由の運転者への提示を、表示装置１００によって行ってもよいし、他の出力装置（例えば、ナビゲーション装置の出力部）から行ってもよい。
［他の推定方法］
推定部１５２は、情報取得装置１６８によって検出された運転者の頭部の動きや、目の動きに基づいて、運転者の理解度合を推定してもよい。推定部１５２は、例えば、運転者の視線位置から推察される運転者の視線と、虚像ＶＩが表示された表示可能領域Ａ１とが所定の確認時間（例えば、０．２［秒］）以上重なったことを情報取得装置１６８によって検出された場合に、虚像ＶＩが少なくとも所定の確認時間目視されたものと推定し、所定の理解度合に到達したと推定する。
上述の例では、推定部１５２は、運転者の操作に基づいて理解度合を推定したが、運転者が虚像ＶＩを理解したことを情報取得装置１６８に特定の言葉（例えば、図５に示す場面であれば「左折」、「分かった」）を含む文節を音声入力が検出された場合に、所定の理解度合に到達したと推定してもよい。また、推定部１５２は、運転者が虚像ＶＩを理解したことを示す任意のジェスチャー（例えば、複数回頷くことや、複数回瞬きすること）をあらかじめ設定し、そのジェスチャーを情報取得装置１６８が検出した場合に、所定の理解度合に到達したと推定してもよい。
［他のＨＵＤ表示領域］
なお、表示装置１００は、フロントウインドシールド２０に直接画像を投影するのに代えて、運転者の位置とフロントウインドシールド２０との間に設けられるコンバイナ等の光透過性反射部材に画像を投影してもよい。
以上説明したように、表示装置１００において、風景に重畳させて画像を運転者等の観者に視認させる表示器１１０と、画像生成装置を制御する表示制御装置１５０と、を備え、表示制御装置１５０は、乗員の投光装置１２０によって投影される虚像ＶＩの示す情報への理解度合を推定する推定部１５２と、推定部１５２により推定された理解度合に応じて虚像ＶＩの誘目性を変化させるように投光装置１２０を制御する表示態様変更部１５６とを備えることで、乗員の虚像ＶＩの理解度合に応じて情報の表示を変化させることにより、運転者の快適性を向上させることができる。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１０…ステアリングホイール、２０…フロントウインドシールド、３０…インストルメントパネル、４０…運転席、５０－１…第１表示装置、５０－２…第２表示装置、６２…第２地図情報、１００…表示装置、１１０…表示器、１１５…筐体、１２０…投光装置、１２０Ａ…光源、１２０Ｂ…表示素子、１２２…光学機構、１２４…平面鏡、１２６…凹面鏡、１２８…透光カバー、１３０…操作スイッチ、１３２…メインスイッチ、１３４…調節スイッチ、１３６…調節スイッチ、１５０…表示制御装置、１５２…推定部、１５４…駆動制御部、１５６…表示態様変更部、１６２…レンズ位置センサ、１６４…凹面鏡角度センサ、１６６…環境センサ、１６８…情報取得装置、１７０…光学系コントローラ、１７２…ディスプレイコントローラ、１８０…レンズアクチュエータ、１８２…凹面鏡アクチュエータ、Ａ１…表示可能領域、ＩＬ…画像光、ＶＩ…虚像

Claims (7)

  1. 風景に重畳させて画像を運転者に視認させる画像生成装置と、
    前記画像生成装置を制御する制御装置と、を備え、
    前記制御装置は、
    前記運転者の前記画像の示す情報への理解度合を前記画像の示す情報を表示した後の前記運転者による運転操作である応答動作に基づいて推定し、前記推定した理解度合に応じて前記画像の誘目性を変化させるように前記画像生成装置を制御するものであって、
    必須の前記応答動作を含む、前記画像の示す情報に対応付けられた複数の応答動作が、前記運転者の運転操作により所定の順序で行われた場合に、前記理解度合が所定の理解度合に到達したと推定して、前記誘目性を低下させる、
    表示装置。
  2. 前記制御装置は、前記運転者が、前記画像の投影の前に前記画像に対応付けられた所定の応答動作をした場合に、投影される予定の画像の示す情報について、既に所定の理解度合に到達していると推定し、前記画像の誘目性を、所定の理解度合いに到達していない場合と比較してあらかじめ低下させた状態で表示させる、
    請求項１に記載の表示装置。
  3. 前記制御装置は、前記運転者が前記画像の投影位置を所定の確認時間以上視認した場合に、前記理解度合が所定の理解度合に到達したと推定する、
    請求項１または２に記載の表示装置。
  4. 前記制御装置は、前記画像が理解されたのちに表示する次の像が存在する場合、前記画像の誘目性を低下させた状態で前記次の像を表示させる、
    請求項１から３のいずれか１項に記載の表示装置。
  5. 前記画像生成装置は、
    前記画像を光として出力する投光装置と、
    前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、
    前記光学機構を通過した光を反射体に向けて反射する凹面鏡と、
    前記光学機構における前記距離を調節する第１アクチュエータと、
    前記凹面鏡の反射角度を調節する第２アクチュエータと、を有する、
    請求項１から４のうち何れか１項に記載の表示装置。
  6. 風景に重畳させて画像を運転者に視認させる画像生成装置を制御するコンピュータが、
    前記運転者の前記画像の示す情報への理解度合を前記画像の示す情報を表示した後の前記運転者による運転操作である応答動作に基づいて推定し、前記推定した理解度合に応じて前記画像の誘目性を変化させるように前記画像生成装置を制御するものであって、
    必須の前記応答動作を含む、前記画像の示す情報に対応付けられた複数の応答動作が、前記運転者の運転操作により所定の順序で行われた場合に、前記理解度合が所定の理解度合に到達したと推定して、前記誘目性を低下させる、
    表示制御方法。
  7. 風景に重畳させて画像を運転者に視認させる画像生成装置を制御するコンピュータに、
    前記運転者の前記画像の示す情報への理解度合を前記画像の示す情報を表示した後の前記運転者による運転操作である応答動作に基づいて推定させ、前記推定させた理解度合に応じて前記画像の誘目性を変化させるように前記画像生成装置を制御させるものであって、
    必須の前記応答動作を含む、前記画像の示す情報に対応付けられた複数の応答動作が、前記運転者による運転操作により所定の順序で行われた場合に、前記理解度合が所定の理解度合に到達したと推定させて、前記誘目性を低下させる、
    プログラム。
JP2018148791A 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム Active JP7165532B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018148791A JP7165532B2 (ja) 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム
CN201910612741.8A CN110816407B (zh) 2018-08-07 2019-07-08 显示装置、显示控制方法及存储介质
US16/508,469 US20200050002A1 (en) 2018-08-07 2019-07-11 Display device and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018148791A JP7165532B2 (ja) 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020024141A JP2020024141A (ja) 2020-02-13
JP7165532B2 true JP7165532B2 (ja) 2022-11-04

Family

ID=69405930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018148791A Active JP7165532B2 (ja) 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US20200050002A1 (ja)
JP (1) JP7165532B2 (ja)
CN (1) CN110816407B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327663B (zh) * 2021-05-19 2023-03-31 郑州大学 移动终端辅助的脑卒中交互式锻炼控制系统
WO2023167218A1 (ja) * 2022-03-01 2023-09-07 日本精機株式会社 表示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284214A (ja) 1999-03-30 2000-10-13 Suzuki Motor Corp ヘルメット搭載用表示手段制御装置
JP2005138755A (ja) 2003-11-07 2005-06-02 Denso Corp 虚像表示装置およびプログラム
JP2014048978A (ja) 2012-08-31 2014-03-17 Denso Corp 移動体警告装置、および移動体警告方法
JP2015197707A (ja) 2014-03-31 2015-11-09 株式会社デンソー 車両用表示制御装置
WO2016132618A1 (ja) 2015-02-18 2016-08-25 アルプス電気株式会社 情報表示装置
JP2017039373A (ja) 2015-08-19 2017-02-23 トヨタ自動車株式会社 車両用映像表示システム
WO2017145565A1 (ja) 2016-02-22 2017-08-31 富士フイルム株式会社 投写型表示装置、投写表示方法、及び、投写表示プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11185200A (ja) * 1997-12-22 1999-07-09 Mitsubishi Motors Corp 自動走行制御可能な車両におけるドライバの意識レベル判定方法
US8344894B2 (en) * 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
DE102013016244A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
JP6540988B2 (ja) * 2014-06-09 2019-07-10 日本精機株式会社 ヘッドアップディスプレイ装置
JP6563798B2 (ja) * 2015-12-17 2019-08-21 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
JP6665605B2 (ja) * 2016-03-15 2020-03-13 株式会社デンソー 表示制御装置及び表示制御方法
KR20180074180A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 가상현실 영상에 대한 정보를 제공하는 장치 및 방법
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
US20200150432A1 (en) * 2017-07-31 2020-05-14 Nippon Seiki Co., Ltd. Augmented real image display device for vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284214A (ja) 1999-03-30 2000-10-13 Suzuki Motor Corp ヘルメット搭載用表示手段制御装置
JP2005138755A (ja) 2003-11-07 2005-06-02 Denso Corp 虚像表示装置およびプログラム
JP2014048978A (ja) 2012-08-31 2014-03-17 Denso Corp 移動体警告装置、および移動体警告方法
JP2015197707A (ja) 2014-03-31 2015-11-09 株式会社デンソー 車両用表示制御装置
WO2016132618A1 (ja) 2015-02-18 2016-08-25 アルプス電気株式会社 情報表示装置
JP2017039373A (ja) 2015-08-19 2017-02-23 トヨタ自動車株式会社 車両用映像表示システム
WO2017145565A1 (ja) 2016-02-22 2017-08-31 富士フイルム株式会社 投写型表示装置、投写表示方法、及び、投写表示プログラム

Also Published As

Publication number Publication date
CN110816407A (zh) 2020-02-21
US20200050002A1 (en) 2020-02-13
CN110816407B (zh) 2023-04-25
JP2020024141A (ja) 2020-02-13

Similar Documents

Publication Publication Date Title
JP7121583B2 (ja) 表示装置、表示制御方法、およびプログラム
JP6794415B2 (ja) 表示装置、表示制御方法、およびプログラム
JP6734340B2 (ja) 表示装置、表示制御方法、およびプログラム
US10928632B2 (en) Display device, display control method, and storage medium
US20200124846A1 (en) Display device
JP7165532B2 (ja) 表示装置、表示制御方法、およびプログラム
CN110816409A (zh) 显示装置、显示控制方法及存储介质
CN110816266B (zh) 显示装置及显示控制方法
US11009702B2 (en) Display device, display control method, storage medium
JP7027278B2 (ja) 表示装置、表示制御方法、およびプログラム
US10914948B2 (en) Display device, display control method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R150 Certificate of patent or registration of utility model

Ref document number: 7165532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150