JPWO2020105685A1 - 表示制御装置、方法、及びコンピュータ・プログラム - Google Patents

表示制御装置、方法、及びコンピュータ・プログラム Download PDF

Info

Publication number
JPWO2020105685A1
JPWO2020105685A1 JP2020557598A JP2020557598A JPWO2020105685A1 JP WO2020105685 A1 JPWO2020105685 A1 JP WO2020105685A1 JP 2020557598 A JP2020557598 A JP 2020557598A JP 2020557598 A JP2020557598 A JP 2020557598A JP WO2020105685 A1 JPWO2020105685 A1 JP WO2020105685A1
Authority
JP
Japan
Prior art keywords
image
information
information image
displayed
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020557598A
Other languages
English (en)
Other versions
JP7255608B2 (ja
Inventor
誠 秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Publication of JPWO2020105685A1 publication Critical patent/JPWO2020105685A1/ja
Application granted granted Critical
Publication of JP7255608B2 publication Critical patent/JP7255608B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/347—Optical elements for superposition of display information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

運転者の視界前方の実景、及びこの実景に重なって表示される画像の見やすさを向上させる。車両の運転者から見て前景に重なる領域に画像を表示する画像表示部を制御する表示制御装置表示制御装置は、画像表示部に第１情報画像２１０と第２情報画像２２０とを表示させ、自車両の運転者の視線方向を検出し、第１情報画像２１０が視認されたと判定すると視認性を低下させ、第２情報画像２２０が視認されたと判定すると、第１情報画像２１０より視認性を低下させないようにする。

Description

本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、方法、及びコンピュータ・プログラムに関する。
特許文献１には、車両の運転者の視線と一致した画像の目立ち具合を低下させることで、運転者によって知覚されていない画像の知覚のしやすさを相対的に高める車両用画像表示システムが開示されている。
特開２０１７−３９３７３号公報
しかしながら、特許文献１の車両用画像表示システムでは、知覚された画像の目立ち具合を低下させることで、他の目立ち具合を低下させていない画像への視覚的注意を相対的に向きやすくすることはできるものの、知覚された後の画像へも注意を向けるべきシチュエーションや、注意を払いたいという運転者の潜在的な願望も想定され、さらに利便性を向上させた表示制御装置が望まれている。
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
本開示の概要は、運転者の視界前方の実景、及びこの実景に重なって表示される画像の見やすさを向上させることに関する。より具体的には、実景に重なって表示される画像の視覚的刺激を抑えつつ、運転者に情報を伝達しやすくすることにも関する。
したがって、本明細書に記載される表示制御装置は、視線が向くと視認性を低下させる第１情報画像と、視線が向くと第１情報画像の視認性が低下する度合いより視認性を低下させない第２情報画像と、を表示させる。いくつかの実施形態では、情報画像が示す情報のリスクポテンシャルの大きさに応じて、視線が向けられた際の情報画像の視認性の変化度合いを決めてもよい。
いくつかの実施形態に係る、車両用表示システムの適用例を示す図である。 いくつかの実施形態に係る、車両用表示システムのブロック図である。 いくつかの実施形態に係る、画像の視認性を低下させる処理のフロー図である。 いくつかの実施形態に係る、画像の視認性を上昇させる処理のフロー図である。 いくつかの実施形態に係る、車両用表示システムが表示する画像の例を示す図である。 いくつかの実施形態に係る、車両用表示システムが表示する画像の例を示す図である。 いくつかの実施形態に係る、画像の視認性を低下させる処理のフロー図である。 いくつかの実施形態に係る、車両用表示システムが表示する画像の例を示す図である。 いくつかの実施形態に係る、車両用表示システムが表示する画像の例を示す図である。
以下、図１及び図２では、例示的なヘッドアップディスプレイ装置の構成の説明を提供する。図３、図４、図６では、例示的な表示制御の処理の流れを説明する。図５Ａ、図５Ｂ、及び図７Ａ、図７Ｂでは、表示例を提供する。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
図１を参照する。車両用表示システム１０における画像表示部１１は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光１１ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、仮想的な表示領域１００内に画像２００を表示することで、フロントウインドシールド２を介して視認される現実空間である前景３００に重ねて画像２００を視認させる。
また、画像表示部１１は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置であってもよい。運転者４は、ＨＭＤ装置を頭部に装着して自車両１の座席に着座することで、表示される画像２００を、自車両１のフロントウインドシールド２を介した前景３００に重畳して視認する。車両用表示システム１０が所定の画像２００を表示する表示領域１００は、自車両１の座標系を基準とした特定の位置に固定され、運転者４がその方向を向くと、その特定の位置に固定された表示領域１００内に表示された画像２００を視認することができる。
画像表示部１１は、表示制御装置１３の制御に基づいて、自車両１のフロントウインドシールド２を介して視認される現実空間（実景）である前景３００に存在する、障害物（歩行者、自転車、自動二輪車、他車両など）、路面、道路標識、及び地物（建物、橋など）などの実オブジェクト３１０の近傍（画像と実オブジェクトとの位置関係の一例）、実オブジェクト３１０に重なる位置（画像と実オブジェクトとの位置関係の一例）、又は実オブジェクト３１０を基準に設定された位置（画像と実オブジェクトとの位置関係の一例）に画像２００を表示することで、視覚的な拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を形成することもできる。画像表示部１１は、提供する情報の種類に応じて異なる第１情報画像２１０（ＡＲ画像）と、第２情報画像２２０（ＡＲ画像）と、を表示する（後で詳述する）。
図２は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。車両用表示システム１０は、画像表示部１１と、画像表示部１１を制御する表示制御装置１３と、で構成される。表示制御装置１３は、１つ又はそれ以上のＩ／Ｏインタフェース１４、１つ又はそれ以上のプロセッサ１６、１つ又はそれ以上の記憶部１８、及び１つ又はそれ以上の画像処理回路２０を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路２０（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ１６に含まれてもよい。
図示するように、プロセッサ１６及び画像処理回路２０は、記憶部１８と動作可能に連結される。より具体的には、プロセッサ１６及び画像処理回路２０は、記憶部１８に記憶されているプログラムを実行することで、例えば画像データを生成又は／及び送信するなど、車両用表示システム１０の操作を行うことができる。プロセッサ１６又は／及び画像処理回路２０は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。記憶部１８は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。
図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と動作可能に連結されている。例えば、Ｉ／Ｏインタフェース１４は、車両用表示システム１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する無線通信インタフェースを含むことができる。また、Ｉ／Ｏインタフェース１４は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。
図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース１４）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース１４には、例えば、自車両１に設けられた車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、視線方向検出部４０９、目位置検出部４１１、携帯情報端末４１３、及び車外通信接続機器４２０などが動作可能に連結される。画像表示部１１は、プロセッサ１６及び画像処理回路２０に動作可能に連結される。したがって、画像表示部１１によって表示される画像は、プロセッサ１６又は／及び画像処理回路２０から受信された画像データに基づいてもよい。プロセッサ１６及び画像処理回路２０は、Ｉ／Ｏインタフェース１４から得られる情報に基づき、画像表示部１１が表示する画像を制御する。なお、Ｉ／Ｏインタフェース１４は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。
自車両１は、自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態）などを検出する車両ＥＣＵ４０１を含んでいる。車両ＥＣＵ４０１は、自車両１の各部を制御するものであり、例えば、自車両１の現在の車速を示す車速情報をプロセッサ１６へ送信することができる。なお、車両ＥＣＵ４０１は、単にセンサで検出したデータをプロセッサ１６へ送信することに加え、又は代わりに、センサで検出したデータの判定結果、又は／及び解析結果をプロセッサ１６へ送信することができる。例えば、自車両１が低速走行しているか、又は停止しているかを示す情報をプロセッサ１６へ送信してもよい。また、車両ＥＣＵ４０１は、車両用表示システム１０が表示する画像２００を指示する指示信号をＩ／Ｏインタフェース１４に送信してもよく、この際、画像２００の座標、画像２００の報知必要度、又は／及び報知必要度を判定する元となる必要度関連情報を、指示信号に付加して送信してもよい。
自車両１は、ナビゲーションシステム等からなる道路情報データベース４０３を含んでいてもよい。道路情報データベース４０３は、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、実オブジェクト関連情報の一例である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の、有無、位置（自車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ１６に送信してもよい。また、道路情報データベース４０３は、出発地から目的地までの適切な経路を算出し、ナビゲーション情報としてプロセッサ１６に送信してもよい。
自車両１は、ＧＮＳＳ（全地球航法衛星システム）等からなる自車位置検出部４０５を含んでいてもよい。道路情報データベース４０３、後述する携帯情報端末４１３、又は／及び車外通信接続機器４２０は、自車位置検出部４０５から自車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両１の周辺の情報を選択・生成して、プロセッサ１６に送信することができる。
自車両１は、自車両１の周辺（本実施形態では特に前景３００）に存在する実オブジェクトを検出する１つ又はそれ以上の車外センサ４０７を含んでいてもよい。車外センサ４０７が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、大きさ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、又は／及び種類等を検出してもよい。１つ又はそれ以上の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、実オブジェクト関連情報の一例である実オブジェクト関連情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は／及び種類等の情報）をプロセッサ１６に送信することができる。なお、これら実オブジェクト関連情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ１６に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。
自車両１は、運転者４の注視方向（以下では「視線方向」ともいう）を検出する、運転者４の顔を撮像する赤外線カメラ等からなる視線方向検出部４０９を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（視線方向を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の視線方向を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から視線方向検出部４０９（又は他の解析部）が特定した運転者４の視線方向をＩ／Ｏインタフェース１４から取得するものであってもよい。また、自車両１の運転者４の視線方向、又は運転者４の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線眼底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。
自車両１は、運転者４の目の位置を検出する赤外線カメラ等からなる目位置検出部４１１を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から特定された運転者４の目の位置の情報をＩ／Ｏインタフェース１４から取得するものであってもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。プロセッサ１６は、運転者４の目の位置に基づき、画像２００の位置を少なくとも調整することで、前景３００の所望の位置に重畳した画像２００を、目位置を検出した視認者（運転者４）に視認させてもよい。
携帯情報端末４１３は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者４（又は自車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース１４は、携帯情報端末４１３とペアリングすることで、携帯情報端末４１３と通信を行うことが可能であり、携帯情報端末４１３（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１３は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。また、携帯情報端末４１３は、自車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、携帯情報端末４１３は、携帯情報端末４１３の所持者（例えば、運転者４）のスケジュール情報、携帯情報端末４１３での着信情報、メールの受信情報などをプロセッサ１６に送信し、プロセッサ１６及び画像処理回路２０は、これらに関する画像データを生成又は／及び送信してもよい。
車外通信接続機器４２０は、自車両１と情報のやりとりをする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：Ｖｅｈｉｃｌｅ Ｔｏ Ｖｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：Ｖｅｈｉｃｌｅ Ｔｏ Ｐｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Ｖｅｈｉｃｌｅ Ｔｏ ｒｏａｄｓｉｄｅ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ Ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。車外通信接続機器４２０は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）の位置を取得し、プロセッサ１６に送信してもよい。また、車外通信接続機器４２０は、上述の自車位置検出部４０５と同様の機能を有し、自車両１の位置情報を取得し、プロセッサ１６に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、車外通信接続機器４２０から取得される情報は、上述のものに限定されない。
記憶部１８に記憶されたソフトウェア構成要素は、実オブジェクト関連情報検出モジュール５０２、報知必要度検出モジュール５０４、画像種類決定モジュール５０６、画像位置決定モジュール５０８、画像サイズ決定モジュール５１０、目位置検出モジュール５１２、視認検出モジュール５１４、行動判定モジュール５１６、及びグラフィックモジュール５１８を含む。
実オブジェクト関連情報検出モジュール５０２は、後述する画像２００の座標やサイズを決定する元となる、自車両１の前景３００に存在する実オブジェクトの位置やサイズを検出する。実オブジェクト関連情報検出モジュール５０２は、例えば、道路情報データベース４０３、車外センサ４０７、又は車外通信接続機器４２０から、自車両１の前景３００に存在する実オブジェクト３１０（例えば、図５Ａに示された路面３１１、先行車３１２、歩行者３１３、及び建物３１４など）の位置（自車両１の運転者４が運転席から自車両１の進行方向（前方）を視認した際の高さ方向（上下方向）、横方向（左右方向）の位置であり、これらに、奥行き方向（前方向）の位置が追加されてもよい）、及び実オブジェクト３１０のサイズ（高さ方向、横方向のサイズ）、を取得してもよい。
また、実オブジェクト関連情報検出モジュール５０２は、車外センサ４０７による実オブジェクトの位置やサイズを検出する際、検出精度が低下する環境（雨、霧、雪などの悪天候）であるかを判定してもよい。例えば、実オブジェクトの位置検出精度を計算し、検出精度の低下の度合い、検出精度が低下している位置、検出精度が低下するような環境（悪天候）であるか否かの判定結果を、プロセッサ１６に送信してもよい。なお、携帯情報端末４１３、車外通信接続機器４２０などから自車両１が走行する位置の天候情報を取得することで悪天候を判定してもよい。
また、実オブジェクト関連情報検出モジュール５０２は、後述する画像２００の内容（以下では、適宜「画像の種類」ともいう）を決定する元となる、自車両１の前景３００に存在する実オブジェクトに関する情報（実オブジェクト関連情報）を検出してもよい。実オブジェクト関連情報は、例えば、実オブジェクトが、歩行者である、又は他車両であるなどの実オブジェクトの種類を示す種類情報、実オブジェクトの移動方向を示す移動方向情報、実オブジェクトまでの距離や到達時間を示す距離時間情報、又は駐車場（実オブジェクト）の料金などの実オブジェクトの個別詳細情報、である（但し、これらに限定されない）。例えば、実オブジェクト関連情報検出モジュール５０２は、道路情報データベース４０３又は携帯情報端末４１３から種類情報、距離時間情報、又は／及び個別詳細情報を取得し、車外センサ４０７から種類情報、移動方向情報、又は／及び距離時間情報を取得し、車外通信接続機器４２０から種類情報、移動方向情報、距離時間情報、又は／及び個別詳細情報を検出してもよい。
報知必要度検出モジュール５０４は、実オブジェクト関連情報検出モジュール５０２が検出した実オブジェクトの位置情報とともに、実オブジェクト関連情報検出モジュール５０２が検出した実オブジェクト関連情報を運転者４に報知する必要度（報知必要度）を検出する。報知必要度検出モジュール５０４は、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から報知必要度を検出してもよい。また、図２でＩ／Ｏインタフェース１４に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を、報知必要度検出モジュール５０４が検出（取得）してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。
また、報知必要度検出モジュール５０４は、画像２００の報知必要度を推定する元となる必要度関連情報を検出し、これから報知必要度を推定してもよい。画像２００の報知必要度を推定する元となる必要度関連情報は、例えば、実オブジェクトや交通規制（道路情報の一例）の位置、種類などで推定されてもよく、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から入力される他の情報に基づいて、又は他の情報を加味して推定されてもよい。なお、車両用表示システム１０は、前記報知必要度を推定する機能を有していなくてもよく、前記報知必要度を推定する機能の一部又は全部は、車両用表示システム１０の表示制御装置１３とは別に設けられてもよい。
画像種類決定モジュール５０６は、例えば、実オブジェクト関連情報検出モジュール５０２により検出された実オブジェクトの種類、位置、実オブジェクト関連情報検出モジュール５０２で検出された実オブジェクト関連情報の種類、数、又は／及び報知必要度検出モジュール５０４で検出された（推定された）報知必要度の大きさに基づいて、実オブジェクトに対して表示する画像２００の種類を決定することができる。また、画像種類決定モジュール５０６は、後述する視認検出モジュール５１４による判定結果により、表示する画像２００の種類を増減させてもよい。具体的には、実オブジェクト３１０が運転者４によって視認されにくい状態である場合、実オブジェクトの近傍に運転者４によって視認される画像２００の種類を多くしてもよい。
画像位置決定モジュール５０８は、実オブジェクト関連情報検出モジュール５０２により検出された実オブジェクトの位置に基づき、画像２００の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。特定の実オブジェクトに関連する画像２００を表示する場合、画像位置決定モジュール５０８は、特定の実オブジェクトと所定の位置関係になるように画像２００の座標を決定する。例えば、画像２００の中心が実オブジェクトの中心と重なって視認されるように、画像２００の左右方向、及び上下方向の位置を決定する。また、画像位置決定モジュール５０８は、画像２００が直接関連しない実オブジェクトを基準に、所定の位置関係になるように、画像２００の座標を決定することができる。例えば、図５Ａに示すように、自車両１が走行する車線（路面３１０）の左側の区画線３１１ａ（実オブジェクトの一例）や右側の区画線３１１ｂ（実オブジェクトの一例）を基準に、区画線とは直接関連しない先行車３１２（特定の実オブジェクトの一例）に関連する後述する第１ＦＣＷ画像２２１の座標を決定（又は補正）してもよい。なお、『所定の位置関係』は、実オブジェクト又は自車両１の状況、実オブジェクトの種類、表示される画像の種類などにより調整され得る。
画像サイズ決定モジュール５１０は、実オブジェクト関連情報検出モジュール５０２により検出された画像２００を対応付けて表示する実オブジェクトの種類、位置、実オブジェクト関連情報検出モジュール５０２で検出された実オブジェクト関連情報の種類、数、又は／及び報知必要度検出モジュール５０４で検出された（推定された）報知必要度の大きさに基づいて、画像２００のサイズを決定することができる。また、画像サイズ決定モジュール５１０は、画像２００の種類の数に応じて、画像サイズを変更できる。例えば、画像２００の種類が多くなれば、画像サイズを小さくしてもよい。
目位置検出モジュール５１２は、自車両１の運転者４の眼の位置を検出する。目位置検出モジュール５１２は、複数段階で設けられた高さ領域のどこに運転者４の眼の高さがあるかの判定、運転者４の眼の高さ（Ｙ軸方向の位置）の検出、運転者４の眼の高さ（Ｙ軸方向の位置）及び奥行方向の位置（Ｚ軸方向の位置）の検出、又は／及び運転者４の眼の位置（Ｘ，Ｙ，Ｚ軸方向の位置）の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。目位置検出モジュール５１２は、例えば、目位置検出部４１１から運転者４の眼の位置を取得する、又は、目位置検出部４１１から運転者４の目の高さを含む目の位置を推定可能な情報を受信し、運転者４の目の高さを含む目の位置を推定する。目の位置を推定可能な情報は、例えば、自車両１の運転席の位置、運転者４の顔の位置、座高の高さ、運転者４による図示しない操作部での入力値などであってもよい。
視認検出モジュール５１４は、自車両１の運転者４が所定の画像２００を視認したかを検出する。視認検出モジュール５１４は、運転者４が所定の画像２００を視認したかの判定、運転者４が所定の画像２００の周辺（近傍）を視認したかの判定、に関する様々な動作を実行するための様々なソフトウェア構成要素を含む。視認検出モジュール５１４は、視線方向検出部４０９から取得した運転者４の後述する注視位置ＧＺと、グラフィックモジュール５１８から取得した画像２００の位置と、を比較して、画像２００を運転者４が視認したかを判定し、視認しているか否かの判定結果と、視認された画像２００を特定する情報を、プロセッサ１６に送信してもよい。
また、視認検出モジュール５１４は、運転者４が所定の画像２００の周辺（近傍）を視認したかの判定を行うために、画像２００の外縁から外側に予め設定された所定の幅の領域を、画像２００の周辺として設定し、この画像２００の周辺に後述する注視位置ＧＺが入ると、自車両１の運転者４が所定の画像２００を視認したと判定してもよい。なお、視認判定は、これらの手段に限定されない。
また、視認検出モジュール５１４は、運転者４が画像２００以外の何を視認しているかを検出してもよい。例えば、視認検出モジュール５１４は、実オブジェクト関連情報検出モジュール５０２が検出した自車両１の前景３００に存在する実オブジェクト３１０の位置と、視線方向検出部４０９から取得した運転者４の後述する注視位置ＧＺと、を比較することで、注視している実オブジェクト３１０を特定し、視認された実オブジェクト３１０を特定する情報を、プロセッサ１６に送信してもよい。
行動判定モジュール５１６は、後述する第１情報画像２１０が示す情報に対して適当ではない運転者４の行動を検出する。いくつかの第１情報画像２１０には、それぞれ適当ではない運転者４の行動が対応づけて記憶部１８に記憶されている。行動判定モジュール５１６は、特に、視認性が低下した第１情報画像２１０に対応付けられた適当ではない運転者４の行動が検出されたか否かを判定する。例えば、第１情報画像２１０が、経路案内情報を含む場合、経路案内が示す方向とは異なる分岐路を運転者４が注視していた場合、適当ではない運転者４の行動が検出されたと判定してもよい。また、第１情報画像２１０が、交通規制情報を含む場合、この交通規制を違反しそうな行動がなされた場合、適当ではない運転者４の行動が検出されたと判定してもよい。行動判定モジュール５１６が、行動を判定するために収集する情報は、車両ＥＣＵ４０１から入力する自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態）、視線方向検出部４０９から入力する視線方向などであるが、これらに限定されない。
グラフィックモジュール５１８は、表示される画像２００の、視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）、サイズ、表示位置、表示距離（運転者４から画像２００までの距離）を変更するための様々な既知のソフトウェア構成要素を含む。グラフィックモジュール５１８は、画像種類決定モジュール５０６が設定した種類、画像位置決定モジュール５０８が設定した座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）、画像サイズ決定モジュール５１０が設定した画像サイズで運転者４に視認されるように画像２００を表示する。
グラフィックモジュール５１８は、自車両１の前景３００の実オブジェクト３１０と所定の位置関係となるように配置される拡張現実画像（ＡＲ画像）である、第１情報画像２１０と、第２情報画像２２０と、を少なくとも表示する。第１情報画像２１０は、視認検出モジュール５１４により、視認されたと判定されると、視認性を低下させる（非表示も含む）。他方、第２情報画像２２０は、視認検出モジュール５１４により、視認されたと判定されると、第１情報画像２１０より視認性を低下させない（第１情報画像２１０の視認性の低下の度合いより小さく（少なく）視認性を低下させること、又は視認性を変化させないこと、又は視認性を上昇させることも含む）。
「視認性を低下させる」とは、輝度を低くする、透明度を高くする、彩度を低くする、コントラストを低くする、サイズを小さくする、画像の種類を少なくする、これらの組み合わせ、又はこれらと他の要素の組み合わせを含んでもよい。逆に、「視認性を上昇させる」とは、輝度を高くする、透明度を低くする、彩度を高くする、コントラストを高くする、サイズを大きくする、画像の種類を多くする、これらの組み合わせ、又はこれらと他の要素の組み合わせを含んでもよい。
第１情報画像２１０は、起こり得る自体の重大さの程度から導き出される危険度が比較的低い情報であり、例えば、路面に重ねて表示され経路を示す矢印画像（ナビゲーション情報の一例）、目的地のテキスト画像（ナビゲーション情報の一例）、次ターニング地点までの距離を示す画像（ナビゲーション情報の一例）、前景３００に存在する店舗や施設などを指示するＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）画像（地物情報の一例）、道路標識（案内標識、警戒標識、規制標識、指示標識、補助標識）に関する画像、先行車に追従走行する際に設定される車間距離を路面に重ねて表示するＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）画像などである。
第２情報画像２２０は、起こり得る自体の重大さの程度から導き出される危険度が比較的高い情報であり、例えば、自車両１の前景３００に存在する障害物の近傍に視認される前方衝突予測警報（ＦＣＷ：Ｆｏｒｗａｒｄ Ｃｏｌｌｉｓｉｏｎ Ｗａｒｎｉｎｇ）の画像である。
図３は、いくつかの実施形態に係る、画像の視認性を低下させる処理のフロー図である。まず、自車両１の運転者４の視線方向（後述する注視位置ＧＺ）を取得（ステップＳ１１）し、表示されている画像２００の位置を取得する（ステップＳ１２）。
次に、プロセッサ１６は、ステップＳ１１で取得した視線方向と、ステップＳ１２で取得した画像２００の位置と、を比較して、運転者４が視認した対象を特定する（ステップＳ１３）。具体的には、プロセッサ１６は、第１情報画像２１０が視認されているか、第２情報画像２２０が視認されているか、又は第１情報画像２１０あるいは第２情報画像２２０が視認されていないか判定する。第１情報画像２１０が視認されていれば、第１情報画像２１０のどの画像が視認されているかを特定する。
プロセッサ１６は、ステップＳ１３で運転者４が第１情報画像２１０を視認したと判定した場合、視認された第１情報画像２１０の視認性を低下させる。この際、プロセッサ１６は、第１情報画像２１０を非表示とさせてもよい。また、プロセッサ１６は、ステップＳ１３で運転者４が第２情報画像２２０を視認したと判定した場合、第２情報画像２２０の視認性を低下させない、又は第２情報画像２２０の視認性を第１情報画像２１０の視認性の低下の度合いより小さく（少なく）低下させる。
図４は、いくつかの実施形態に係る、第２情報画像の視認性を上昇させる処理のフロー図である。少なくとも１つの第１情報画像２１０が、ステップＳ１４の処理により、視認性が低下している場合に、処理が開始される。
まず、プロセッサ１６は、運転者４の行動を取得し（ステップＳ２１）、ステップＳ１４の処理により視認性が低下している第１情報画像２１０が示す情報に対して適当ではない運転者４の行動が検出されたかを判定し（ステップＳ２２）、適当ではない運転者４の行動がなされたと判定された場合、視認性を低下させていた第２情報画像２２０の視認性を上昇させる（ステップＳ２３）。
上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は／及びそれらの機能を代替えし得る一般的なハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。
車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。
図５Ａ、図５Ｂは、第１情報画像２１０が視認されたと判定された場合の、車両用表示システム１０が表示する画像２００の変化を示す図である。図５Ａでは、第１情報画像２１０は、路面３１１に重畳して視認され、案内経路を示すナビゲーション画像２１１と、建物３１４（実オブジェクト３１０）を指示する駐車場を示す「Ｐ」の表記を含むイラストであるＰＯＩ画像２１２と、を含む。第２情報画像２２０は、自車両１の前方を走行する先行車３１２の後方の路面３１１に線状（ライン状）に視認される第１ＦＣＷ画像２２１と、自車両１の走行車線の対向車線側の歩道を歩行する歩行者３１３の周囲の路面３１１に円弧状に視認される第２ＦＣＷ画像２２２と、を含む。この他に、自車両１の前景３００の実オブジェクト３１０と所定の位置関係となるように配置される拡張現実画像（ＡＲ画像）ではない第３情報画像として、制限速度を示す「８０」の表記を含むイラストである道路情報画像２３１と、自車両１の速度を示す「３５ｋｍ／ｈ」と表記される速度画像２３２と、が表示される。表示領域１００は、第１表示領域１１０と、自車両１の運転席から前方を視認した際に第１表示領域１１０より上下方向下側（Ｙ軸負方向）に配置される第２表示領域１２０と、を含み、ＡＲ画像である第１情報画像２１０と第２情報画像２２０は、第１表示領域１１０に表示され、第３情報画像２３１，２３２は、第２表示領域１２０に表示される。
図５Ａに示すように、注視位置ＧＺが、第１情報画像２１０であるナビゲーション画像２１１にある場合、プロセッサ１６は、図３のステップＳ１４の命令を実行し、図５Ｂに示すように、視認されたナビゲーション画像２１１（第１情報画像２１０）を非表示にする（視認性低下の一例）。この際、表示される位置が実オブジェクト３１０の位置に関係する拡張現実画像（ＡＲ画像）であるナビゲーション画像２１１の代わりに、表示される位置が実オブジェクト３１０の位置に関係しない非ＡＲ画像である第１ナビゲーション画像２１３（関連画像の一例）と、第２ナビゲーション画像２１４（関連画像の一例）と、が第２表示領域１２０に表示される。第１ナビゲーション画像２１３は、次の分岐路のおおよその方向を示す簡略化された画像である。また、第２ナビゲーション画像２１４は、次の分岐路までの距離を示す「２００ｍ先」と表記されたテキストである。
なお、図５Ｂに示す第１情報画像２１０であるナビゲーション画像２１１の視認性が低下している状況で、注視位置ＧＺが直近の交差点の分岐路にあった場合、運転者４が直近の交差点で曲がろうとしていると推測することができる。ナビゲーション画像２１１が提示する分岐路が直近の交差点の分岐路ではないとすると、直近の交差点で曲がろうと推測できる運転者４の行動（直近の交差点の分岐路を注視している行動）は適当ではない行動である。したがって、このように適当ではない行動が検出された場合、プロセッサ１６は、視認性を低下させていた第１情報画像２１０であるナビゲーション画像２１１の視認性を上昇させる。つまり、図５Ｂに示す状態から図５Ａに示す状態に変化させる。これにより、運転者４に、直近の交差点で曲がるべきでないことを認識させることができる。
図６は、いくつかの実施形態に係る、画像の視認性を低下させる処理のフロー図である。図６のフロー図は、図３のフロー図に対応しており、図６のステップＳ３１，３２，３３は、図３のステップＳ１１，Ｓ１２，Ｓ１３にそれぞれ対応している。ここでは、図３との変化点であるステップＳ３４について説明する。
プロセッサ１６は、ステップＳ１３で運転者４が第１情報画像２１０を視認したと判定した場合、視認された第１情報画像２１０の視認性を低下させる。また、プロセッサ１６は、ステップＳ３３で運転者４が第２情報画像２２０を視認したと判定した場合、視認された第２情報画像２２０を静止画から動画に変える、又は視認された第２情報画像２２０及び近くの他の第２情報画像２２０を静止画から動画に変えてもよい。
いくつかの実施形態では、プロセッサ１６は、視認された第２情報画像２２０及び近くの他の第２情報画像２２０の数を連続的に変化させてもよい。具体的には、注視位置ＧＺが第２情報画像２２０である第１ＦＣＷ画像２２１の近傍にある場合、プロセッサ１６は、視認された第１ＦＣＷ画像２２１及び近くの他の第２ＦＣＷ画像２２２を、図７Ａに示す画像の数が少ない状態と、図７Ｂに示す画像の数が多い状態とで連続的／又は断続的に変化させてもよい。動画については、特に定義しないが、連続的／又は断続的に、画像の形状が繰り返し変化すること、画像の数が繰り返し変化すること、画像の位置が繰り返し変化すること、繰り返し点滅すること、繰り返しサイズが変化すること、などを含んでいてもよい。
以上に説明したように、本実施形態の表示制御装置は、自車両１の運転者４から見て前景３００に重なる領域に画像２００を表示する画像表示部１１（１２）を制御する表示制御装置１３であって、１つ又はそれ以上のＩ／Ｏインタフェース１４と、１つ又はそれ以上のプロセッサ１６と、メモリ１８と、メモリ１８に格納され、１つ又はそれ以上のプロセッサ１６によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、運転者４の視線方向を取得し、視線方向に基づき、視認されたと判定されると視認性を低下させる第１情報画像２１０と、視認されたと判定されると第１情報画像２１０より視認性を低下させない第２情報画像２２０と、を表示させる、命令を実行する。これにより、画像の種類により、視認された後の視認性の変化が異なり、第１情報画像であれば、視認性が低下することで運転者４の視界前方の実景を見やすくすることができ、第２情報画像であれば、あまり視認性が低下しないので、視認したあとでも画像を見やすくすることができる。
また、いくつかの実施形態では、第２情報画像２２０が示す情報のリスクポテンシャルの大きさに応じて、視線が向けられた際の第２情報画像２２０の視認性の変化度合いを決めてもよい。プロセッサ１６は、第２情報画像２２０が示す情報のリスクポテンシャルが高いほど、視線が向けられた際の視認性の低下度合いを小さくしてもよい。すなわち、リスクポテンシャルが低ければ、視線が向けられた際の第２情報画像２２０の視認性を大きく低下させる（低下度合いを大きくする）。なお、プロセッサ１６は、第２情報画像２２０の種類によって予め定められたリスクポテンシャルに応じて、視認性の低下度合いを変化させてもよく、第２情報画像２２０が表示されている状況（Ｉ／Ｏインタフェース１４から得られる情報）に応じて算出されたリスクポテンシャルに応じて変化させてもよい。
また、いくつかの実施形態では、第２情報画像２２０に視線が向いた後、又は第２情報画像２２０に視線が向いて視認性を低下させた後、第２情報画像２２０が示す情報のリスクポテンシャルが高まらない場合、第２情報画像２２０の視認性を低下させてもよい。プロセッサ１６は、第２情報画像２２０に視線が向いた後、又は第２情報画像２２０に視線が向いて視認性を低下させた後、第２情報画像２２０が示す情報のリスクポテンシャルを所定の期間だけ監視し、リスクポテンシャルが、定められた閾値より高くならない、大きく上昇しない、又は低下している場合、視認性をそのまま維持しておく必要度は低いと判定し、第２情報画像２２０の視認性を低下させてもよい。
また、いくつかの実施形態では、視線が第２情報画像２２０に向くと、第２情報画像２２０を動画表示させてもよい。プロセッサ１６は、通常、第２情報画像２２０を静止画で表示しておき、視線が向くと、一部又は全部の第２情報画像２２０を動画にする。第１情報画像２１０は、視認されると視認性が低下するが、第２情報画像２２０が視認されると動画となるため、第１情報画像２１０が示す情報とは異なる情報であることを認識させ、第２情報画像２２０へ注意を向けさせることができる。なお、第２情報画像２２０は、一定期間、動画表示された後、再び静止画に変化させてもよい。また、プロセッサ１６は、第２情報画像２２０を動画表示させるのと同じタイミングで視認された第２情報画像２２０の視認性を低下させてもよく、又は、動画表示された後、視認性を低下させてもよい。
また、いくつかの実施形態では、第２情報画像２２０が複数表示されている際、視線が所定の第２情報画像２２０に向くと、所定の第２情報画像２２０、及び他の第２情報画像２２０を動画表示させてもよい。例えば、図５Ａにおいて、歩行者３１３に対応して表示された第２ＦＣＷ画像２２２を運転者４が視認した場合、第２ＦＣＷ画像２２２、及び他の先行車３１２に対応して表示された第１ＦＣＷ画像２２１を動画としてもよい。このように他の情報画像も同様に動画表示させることで、視認した画像だけではなく、同様の画像にも視覚的注意を向かせることができる。
また、いくつかの実施形態では、第２情報画像２２０が複数表示されている際、視線が所定の第２情報画像２２０に向くと、所定の第２情報画像２２０、及び所定の第２情報画像２２０の近くの他の第２情報画像２２０を動画表示させてもよい。
また、いくつかの実施形態では、第２情報画像２２０が複数表示されている際、視線が所定の第２情報画像２２０に向くと、所定の第２情報画像２２０、及び他の第２情報画像２２０を同じ周期で動画表示させてもよい。これにより、視野を向けた画像と同様の画像がどのあたりに表示されているか識別しやすくすることができる。
また、いくつかの実施形態では、第１情報画像２１０が示す情報に対して適当ではない行動に関する情報を取得し、第１情報画像２１０の視認性を低下させた後、第１情報画像２１０が示す情報に対して適当ではない行動を運転者４がすると判定できる場合、第１情報画像２１０の視認性を上昇させてもよい。
また、いくつかの実施形態では、第１情報画像２１０の視認性を低下させた後、第１情報画像２１０に関連する関連画像（２１３、２１４）を、第１情報画像２１０又は第２情報画像２２０が表示される第１表示領域１０１とは異なる第２表示領域１０２に表示させてもよい。すなわち、第１情報画像２１０と重なる前景３００の領域を見やすくすることができ、かつ第１情報画像２１０が示す情報を他の第２表示領域１０２で確認することができる。なお、プロセッサ１６は、１つの第１情報画像２１０の視認性を低下させ、新たに２つ又はそれ以上の関連画像を表示させてもよい。これにより、関連画像により多くの情報を認識させることができ、ＡＲ画像である第１情報画像２１０の視認性の低下による情報の認識性の低下を抑制することができる。
１…自車両、２…フロントウインドシールド、４…運転者、５…ダッシュボード、１０…車両用表示システム、１１…画像表示部、１１ａ…表示光、１３…表示制御装置、１４…Ｉ／Ｏインタフェース、１６…プロセッサ、１８…記憶部、２０…画像処理回路、２２…メモリ、１００…表示領域、１１０…第１表示領域、１２０…第２表示領域、２００…画像、２１０…第１情報画像、２１１…ナビゲーション画像、２１２…ＰＯＩ画像、２１３…第１ナビゲーション画像、２１４…第２ナビゲーション画像、２２０…第２情報画像、２２１…第１ＦＣＷ画像、２２２…第２ＦＣＷ画像、２３１…道路情報画像（第３情報画像）、２３２…速度画像（第３情報画像）、３００…前景、３１０…実オブジェクト、３１１…路面、３１１ａ…区画線、３１１ｂ…区画線、３１２…先行車、３１３…歩行者、３１４…建物、３２０…車線、４０１…車両ＥＣＵ、４０３…道路情報データベース、４０５…自車位置検出部、４０７…車外センサ、４０９…視線方向検出部、４１１…目位置検出部、４１３…携帯情報端末、４２０…車外通信接続機器、５０２…実オブジェクト関連情報検出モジュール、５０４…報知必要度検出モジュール、５０６…画像種類決定モジュール、５０８…画像位置決定モジュール、５１０…画像サイズ決定モジュール、５１２…目位置検出モジュール、５１４…視認検出モジュール、５１６…行動判定モジュール、５１８…グラフィックモジュール、ＧＺ…注視位置

Claims (18)

  1. 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する表示制御装置（１３）において、
    １つ又はそれ以上のＩ／Ｏインタフェース（１４）と、
    １つ又はそれ以上のプロセッサ（１６）と、
    メモリ（１８）と、
    前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
    前記１つ又はそれ以上のプロセッサ（１６）は、
    前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得し、
    前記視線方向に基づき、視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、視認されたと判定されると前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示させる、
    命令を実行する、表示制御装置。
  2. 前記１つ又はそれ以上のプロセッサ（１６）は、
    前記第２情報画像（２２０）が示す情報のリスクポテンシャルの大きさに応じて、前記視線が向けられた際の前記第２情報画像（２２０）の前記視認性の変化度合いを決める、
    命令を実行する、請求項１に記載の表示制御装置。
  3. 前記１つ又はそれ以上のプロセッサ（１６）は、
    前記第２情報画像（２２０）に視線が向いた後、又は前記第２情報画像（２２０）に視線が向いて視認性を低下させた後、前記第２情報画像（２２０）が示す情報のリスクポテンシャルが高まらない場合、前記第２情報画像（２２０）の視認性を低下させる、
    命令を実行する、請求項１に記載の表示制御装置。
  4. 前記１つ又はそれ以上のプロセッサ（１６）は、
    前記視線が前記第２情報画像（２２０）に向くと、前記第２情報画像（２２０）を動画表示させる、
    命令を実行する、請求項１に記載の表示制御装置。
  5. 前記１つ又はそれ以上のプロセッサ（１６）は、
    前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び他の第２情報画像（２２２〜）を動画表示させる、
    命令を実行する、請求項１に記載の表示制御装置。
  6. 前記１つ又はそれ以上のプロセッサ（１６）は、
    前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び前記所定の第２情報画像（２２１）の近くの他の第２情報画像（２２２〜）を動画表示させる、
    命令を実行する、請求項１に記載の表示制御装置。
  7. 前記１つ又はそれ以上のプロセッサ（１６）は、
    前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び他の第２情報画像（２２２〜）を同じ周期で動画表示させる、
    命令を実行する、請求項１に記載の表示制御装置。
  8. 前記１つ又はそれ以上のプロセッサ（１６）は、
    前記第１情報画像（２１０）が示す情報に対して適当ではない行動を前記運転者がすることを推測可能な推測情報を取得し、
    前記第１情報画像（２１０）の視認性を低下させた後、前記第１情報画像（２１０）が示す情報に対して適当ではない行動を前記運転者がすると判定できる場合、前記推測情報に対応する前記第１情報画像（２１０）の視認性を上昇させる、
    命令を実行する、請求項１に記載の表示制御装置。
  9. 前記１つ又はそれ以上のプロセッサ（１６）は、
    前記第１情報画像（２１０）の視認性を低下させた後、前記第１情報画像（２１０）に関連する関連画像（２１３、２１４）を、前記第１情報画像（２１０）又は前記第２情報画像（２２０）が表示される第１表示領域（１０１）とは異なる第２表示領域（１０２）に表示させる、
    命令を実行する、請求項１に記載の表示制御装置。
  10. 前記第２情報画像（２２０）は、前記前景（３００）に存在する障害物、歩行者、他車両のうち少なくとも１つを強調するように近傍に表示される画像である、
    請求項１に記載の表示制御装置。
  11. 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する方法であって、
    前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得することと、
    視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、前記視線が向いても前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示することと、
    を含む方法。
  12. 前記視線が前記第２情報画像（２２０）に向くと、前記第２情報画像（２２０）を動画表示させること、
    を含む、請求項１１に記載の方法。
  13. 前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び他の第２情報画像（２２２〜）を動画表示させること、
    を含む、請求項１１に記載の方法。
  14. 前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び前記所定の第２情報画像（２２１）の近くの他の第２情報画像（２２２〜）を動画表示させること、
    を含む、請求項１１に記載の方法。
  15. 前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び他の第２情報画像（２２２〜）を同じ周期で動画表示させること、
    を含む、請求項１１に記載の方法。
  16. 前記第１情報画像（２１０）が示す情報に対して適当ではない行動を前記運転者がすることを推測可能な推測情報を取得することと、
    前記第１情報画像（２１０）の視認性を低下させた後、前記第１情報画像（２１０）が示す情報に対して適当ではない行動を前記運転者がすると判定できる場合、前記推測情報に対応する前記第１情報画像（２１０）の視認性を上昇させること、
    を含む、請求項１１に記載の方法。
  17. 前記第１情報画像（２１０）の視認性を低下させた後、前記第１情報画像（２１０）に関連する関連画像（２１３、２１４）を、前記第１情報画像（２１０）又は前記第２情報画像（２２０）が表示される第１表示領域（１０１）とは異なる第２表示領域（１０２）に表示させること、
    を含む、請求項１１に記載の方法。
  18. 請求項１１乃至１７のいずれかに記載の方法を実行するための命令を含む、コンピュータ・プログラム。
JP2020557598A 2018-11-23 2019-11-20 表示制御装置、方法、及びコンピュータ・プログラム Active JP7255608B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018219802 2018-11-23
JP2018219802 2018-11-23
PCT/JP2019/045494 WO2020105685A1 (ja) 2018-11-23 2019-11-20 表示制御装置、方法、及びコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JPWO2020105685A1 true JPWO2020105685A1 (ja) 2021-11-04
JP7255608B2 JP7255608B2 (ja) 2023-04-11

Family

ID=70773132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020557598A Active JP7255608B2 (ja) 2018-11-23 2019-11-20 表示制御装置、方法、及びコンピュータ・プログラム

Country Status (4)

Country Link
JP (1) JP7255608B2 (ja)
CN (1) CN113165510B (ja)
DE (1) DE112019005849T5 (ja)
WO (1) WO2020105685A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434620A (zh) * 2021-06-25 2021-09-24 阿波罗智联(北京)科技有限公司 显示方法、装置、设备、存储介质以及计算机程序产品
EP4265463A1 (en) * 2022-04-19 2023-10-25 Volkswagen Ag Vehicle, head-up display, augmented reality device, apparatuses, methods and computer programs for controlling an augmented reality device and for controlling a visualization device
CN116572837A (zh) * 2023-04-27 2023-08-11 江苏泽景汽车电子股份有限公司 一种信息显示控制方法及装置、电子设备、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017039373A (ja) * 2015-08-19 2017-02-23 トヨタ自動車株式会社 車両用映像表示システム
JP2017226272A (ja) * 2016-06-21 2017-12-28 日本精機株式会社 車両用情報提供装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330812B2 (en) * 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
JP3877127B2 (ja) * 2000-06-15 2007-02-07 マツダ株式会社 車両用表示装置
JP4698002B2 (ja) * 2000-07-11 2011-06-08 マツダ株式会社 車両の表示装置
JP3870409B2 (ja) * 2000-08-03 2007-01-17 マツダ株式会社 車両用表示装置
JP2002293162A (ja) * 2001-03-30 2002-10-09 Yazaki Corp 車両用表示装置
JP4026144B2 (ja) * 2004-01-20 2007-12-26 マツダ株式会社 車両用画像表示装置
JP2007045169A (ja) * 2005-08-05 2007-02-22 Aisin Aw Co Ltd 車両用情報処理装置
JP4715718B2 (ja) * 2006-10-24 2011-07-06 株式会社デンソー 車両用表示装置
JP2008282168A (ja) * 2007-05-09 2008-11-20 Toyota Motor Corp 意識状態検出装置
JP2009292409A (ja) * 2008-06-09 2009-12-17 Yazaki Corp ヘッドアップディスプレイ装置
JP5245930B2 (ja) * 2009-03-09 2013-07-24 株式会社デンソー 車載表示装置
JP5842419B2 (ja) * 2011-07-06 2016-01-13 日本精機株式会社 ヘッドアップディスプレイ装置
JP5406328B2 (ja) * 2012-03-27 2014-02-05 株式会社デンソーアイティーラボラトリ 車両用表示装置、その制御方法及びプログラム
JP6232691B2 (ja) * 2012-07-27 2017-11-22 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示装置及び車両用表示制御方法
WO2014097404A1 (ja) * 2012-12-18 2014-06-26 パイオニア株式会社 ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
JP6037923B2 (ja) * 2013-04-08 2016-12-07 三菱電機株式会社 表示情報生成装置および表示情報生成方法
JP6413207B2 (ja) * 2013-05-20 2018-10-31 日本精機株式会社 車両用表示装置
JP2015041969A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 画像取得装置及び画像取得方法、並びに情報配信システム。
JP6225379B2 (ja) * 2013-12-23 2017-11-08 日本精機株式会社 車両情報投影システム
JP6253417B2 (ja) * 2014-01-16 2017-12-27 三菱電機株式会社 車両情報表示制御装置
JP6443716B2 (ja) * 2014-05-19 2018-12-26 株式会社リコー 画像表示装置、画像表示方法及び画像表示制御プログラム
JP6379779B2 (ja) * 2014-07-16 2018-08-29 日産自動車株式会社 車両用表示装置
JP6348791B2 (ja) * 2014-07-16 2018-06-27 クラリオン株式会社 表示制御装置および表示制御方法
JP2016031603A (ja) * 2014-07-28 2016-03-07 日本精機株式会社 車両用表示システム
JP2016055801A (ja) * 2014-09-11 2016-04-21 トヨタ自動車株式会社 車載表示装置
JP2016107947A (ja) * 2014-12-10 2016-06-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP6504431B2 (ja) * 2014-12-10 2019-04-24 株式会社リコー 画像表示装置、移動体、画像表示方法及びプログラム
US10232772B2 (en) * 2015-03-26 2019-03-19 Mitsubishi Electric Corporation Driver assistance system
JP2017097687A (ja) * 2015-11-26 2017-06-01 矢崎総業株式会社 車両用情報提示装置
US20180356641A1 (en) * 2015-12-01 2018-12-13 Nippon Seiki Co., Ltd. Head-up display
JP2017138350A (ja) * 2016-02-01 2017-08-10 アルプス電気株式会社 画像表示装置
JP6272375B2 (ja) * 2016-03-18 2018-01-31 株式会社Ｓｕｂａｒｕ 車両用表示制御装置
JP2017200786A (ja) * 2016-05-02 2017-11-09 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2016193723A (ja) * 2016-06-24 2016-11-17 パイオニア株式会社 表示装置、プログラム、及び記憶媒体
JP2018022958A (ja) * 2016-08-01 2018-02-08 株式会社デンソー 車両用表示制御装置及び車両用モニタシステム
JP6643969B2 (ja) * 2016-11-01 2020-02-12 矢崎総業株式会社 車両用表示装置
JP2018120135A (ja) * 2017-01-26 2018-08-02 日本精機株式会社 ヘッドアップディスプレイ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017039373A (ja) * 2015-08-19 2017-02-23 トヨタ自動車株式会社 車両用映像表示システム
JP2017226272A (ja) * 2016-06-21 2017-12-28 日本精機株式会社 車両用情報提供装置

Also Published As

Publication number Publication date
CN113165510A (zh) 2021-07-23
WO2020105685A1 (ja) 2020-05-28
JP7255608B2 (ja) 2023-04-11
DE112019005849T5 (de) 2021-09-02
CN113165510B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
US9639990B2 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
US20160185219A1 (en) Vehicle-mounted display control device
US11525694B2 (en) Superimposed-image display device and computer program
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP7255608B2 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2020032866A (ja) 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム
US9836814B2 (en) Display control apparatus and method for stepwise deforming of presentation image radially by increasing display ratio
US20230135641A1 (en) Superimposed image display device
JP6186905B2 (ja) 車載表示装置およびプログラム
JP7459883B2 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び方法
WO2022230995A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
WO2020158601A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
WO2021200914A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び方法
JP2020086884A (ja) 区画線推定装置、表示制御装置、方法、及びコンピュータ・プログラム
JP2020117105A (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2020121607A (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2020121704A (ja) 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム
WO2021200913A1 (ja) 表示制御装置、画像表示装置、及び方法
JP7434894B2 (ja) 車両用表示装置
JP2020154468A (ja) 運転支援装置、方法、及びコンピュータ・プログラム
US20210129751A1 (en) Side and rear reflection controller and side and rear reflection control method
WO2023145852A1 (ja) 表示制御装置、表示システム、及び表示制御方法
JP7255596B2 (ja) 表示制御装置、ヘッドアップディスプレイ装置
JP2020199883A (ja) 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム
JP2019121140A (ja) 表示制御装置、ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230313

R150 Certificate of patent or registration of utility model

Ref document number: 7255608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150