JP7298491B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP7298491B2
JP7298491B2 JP2020011143A JP2020011143A JP7298491B2 JP 7298491 B2 JP7298491 B2 JP 7298491B2 JP 2020011143 A JP2020011143 A JP 2020011143A JP 2020011143 A JP2020011143 A JP 2020011143A JP 7298491 B2 JP7298491 B2 JP 7298491B2
Authority
JP
Japan
Prior art keywords
vehicle
display
unit
environment
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020011143A
Other languages
English (en)
Other versions
JP2021117126A (ja
Inventor
聖史 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020011143A priority Critical patent/JP7298491B2/ja
Priority to CN202011500372.2A priority patent/CN113178089A/zh
Priority to US17/137,379 priority patent/US20210229553A1/en
Priority to DE102021100492.6A priority patent/DE102021100492A1/de
Publication of JP2021117126A publication Critical patent/JP2021117126A/ja
Application granted granted Critical
Publication of JP7298491B2 publication Critical patent/JP7298491B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/195—Blocking or enabling display functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/656—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Atmospheric Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両の乗員に向けて表示させる画像を制御するための表示制御装置、表示制御方法及びプログラムに関する。
特許文献１には、車両の乗員に装着されるメガネ型のウェアラブルデバイスに情報表示を行う表示制御装置が開示されている。この表示制御装置は、表示の優先度に基づいて、ウェアラブルデバイスに表示させる情報を決定している。
特開２０１９－１２５１８８号公報
ところで、特許文献１の表示制御装置は、優先度が高い情報が他にない場合には、重要ではない情報をウェアラブルデバイスに表示させる。そのため、乗員が車両を運転している場合であって運転等、操作に余裕のない場合において煩わしさを与えてしまうおそれがある。
本発明は、乗員が操作に余裕のない場合において、目の前の表示に対する煩わしさを抑制可能な表示制御装置、表示制御方法及びプログラムを提供することを目的とする。
請求項１に記載の表示制御装置は、車両に乗車した乗員の目の前に配置される表示部に対して表示させる表示情報を取得する取得部と、前記車両における環境に係る環境情報として、前記車両が走行している道路の特徴、前記道路の込み具合、前記乗員の土地勘、対向車又は歩行者の存在、前車との距離、前記前車に衝突しそうな場合の衝突までの時間、及び車速を含む、前記車両の周辺の環境に係る周辺情報と、同乗者の属性、乗車位置、前記乗員と前記同乗者との会話のレベル、前記車両の車内の温度、湿度、及び臭いを含む、前記車内の環境に係る車内情報とを収集する収集部と、前記収集部により収集された前記周辺情報に基づいて前記周辺の環境に対する前記乗員の操作に対する余力の度合である余裕度を算出するとともに、前記車内情報に基づいて前記車内の環境に対する前記余裕度を算出する算出部と、前記算出部により算出された前記余裕度が所定値よりも低い場合に、前記表示部への前記表示情報の出力を禁止するように制御する制御部と、を備えている。
請求項１に記載の表示制御装置は、車両に乗車した乗員の目の前に配置される表示部を有する端末等に対して表示情報を出力することで当該表示部に画像を表示させる。当該表示制御装置は、取得部において表示情報を取得すると共に、収集部にて車両における環境に係る環境情報を収集する。ここで、車両における環境は、車両の周辺の環境と、車内の環境の両方を含む。
また、当該表示制御装置では、算出部が乗員の操作に対する余力の度合である余裕度を算出し、余裕度が所定値よりも低い場合に、制御部は表示部に対する表示情報の出力を禁止する。余裕度とは、乗員が車両の運転者である場合は、運転に対する余裕の度合を示す。例えば、車両が交差点を右折する場合において、運転者が対向車や歩行者を意識する場合、運転に対する余裕が低下していれば、余裕度は定常走行時よりも低くなる。また例えば、乗員が他の乗員と会話をしている場合、カーナビゲーションシステムにおける目的地設定等、操作に対する余裕が低下していれば、余裕度は単に着座している場合よりも低くなる。当該表示制御装置によれば、乗員が操作に余裕のない場合において、表示部に表示情報が表示されないため、乗員にとって目の前の表示に対する煩わしさが抑制される。
また、当該表示制御装置では、収集する環境が、車両の周辺の環境としたことを特徴としている。車両の周辺の環境には、例えば、車両が走行している道路の特徴、道路の込み具合、乗員の土地勘、対向車や歩行者の存在、前車との距離、車速等が挙げられる。当該表示制御装置によれば、車両の周辺の環境に起因して操作に余裕がない場合において、乗員にとって目の前の表示に対する煩わしさが抑制される。特に、乗員が運転者である場合には、運転に対する支障を抑制することができる。
また、当該表示制御装置では、収集する環境が、車内の環境としたことを特徴としている。車内の環境には、例えば、同乗者の属性、乗車位置、乗員同士の会話のレベル、車内の温度、湿度、臭い等が挙げられる。当該表示制御装置によれば、車内の環境に起因して操作に余裕がない場合において、乗員にとって目の前の表示に対する煩わしさが抑制される。
請求項２に記載の表示制御装置は、請求項１に記載の表示制御装置において、前記算出部は、前記表示部に表示させる前記表示情報の優先度を算出し、前記制御部は、前記余裕度が前記所定値よりも低い場合で、かつ優先度が設定値よりも低い場合に、前記表示部への前記表示情報の出力を禁止する。
請求項２に記載の表示制御装置では、算出部が余裕度に加えて優先度を算出することが可能に構成されている。当該表示制御装置によれば、乗員が操作に余裕がない場合であっても、優先度の高い情報については表示部への表示は禁止されない。そのため、乗員に対する安心・安全に係る情報の報知漏れが抑制される。
請求項３に記載の表示制御装置は、請求項１又は２に記載の表示制御装置において、他の乗員の視線を認識する認識部と、前記認識部により認識された視線の対象物を特定する特定部と、前記特定部により特定された前記対象物を報知する前記表示情報を生成する生成部と、を備えている。
請求項３に記載の表示制御装置では、認識部が他の乗員の視線を認識し、特定部が視線の先の対象物を特定する。そして、生成部が生成した表示情報を制御部が表示部に表示させることで、特定部により特定された対象物の情報が乗員に報知される。当該表示制御装置によれば、表示部を通じて他の乗員との間で情報を共有することができる。
請求項４に記載の表示制御方法は、車両に乗車した乗員の目の前に配置される表示部に対して表示させる表示情報が取得される取得ステップと、前記車両における環境に係る環境情報として、前記車両が走行している道路の特徴、前記道路の込み具合、前記乗員の土地勘、対向車又は歩行者の存在、前車との距離、前記前車に衝突しそうな場合の衝突までの時間、及び車速を含む、前記車両の周辺の環境に係る周辺情報と、同乗者の属性、乗車位置、前記乗員と前記同乗者との会話のレベル、前記車両の車内の温度、湿度、及び臭いを含む、前記車内の環境に係る車内情報とを収集する収集ステップと、前記収集ステップにおいて収集された前記周辺情報に基づいて前記周辺の環境に対する前記乗員の操作に対する余力の度合である余裕度を算出するとともに、前記車内情報に基づいて前記車内の環境に対する前記余裕度を算出する算出ステップと、前記算出ステップにおいて算出された前記余裕度が所定値よりも低い場合に、前記表示部への前記表示情報の出力を禁止するように制御する制御ステップと、を備えている。
請求項４に記載の表示制御方法は、車両に乗車した乗員の目の前に配置される表示部を有する端末等に対して表示情報を出力することで当該表示部に画像を表示させる方法である。当該表示制御方法は、取得ステップにおいて表示情報を取得すると共に、収集ステップにおいて車両における環境に係る環境情報を収集する。ここで、車両における環境とは、上述のとおりである。また、当該表示制御方法では、算出ステップにおいて乗員の操作に対する余力の度合である余裕度が算出され、余裕度が所定値よりも低い場合に、制御ステップにおいて表示部への表示情報の出力が禁止される。余裕度とは、上述のとおりである。当該表示制御方法によれば、乗員が操作に余裕のない場合において、表示部に表示情報が表示されないため、乗員にとって目の前の表示に対する煩わしさが抑制される。
請求項５に記載のプログラムは、車両に乗車した乗員の目の前に配置される表示部に対して表示させる表示情報が取得される取得ステップと、前記車両における環境に係る環境情報として、前記車両が走行している道路の特徴、前記道路の込み具合、前記乗員の土地勘、対向車又は歩行者の存在、前車との距離、前記前車に衝突しそうな場合の衝突までの時間、及び車速を含む、前記車両の周辺の環境に係る周辺情報と、同乗者の属性、乗車位置、前記乗員と前記同乗者との会話のレベル、前記車両の車内の温度、湿度、及び臭いを含む、前記車内の環境に係る車内情報とを収集する収集ステップと、前記収集ステップにおいて収集された前記周辺情報に基づいて前記周辺の環境に対する前記乗員の操作に対する余力の度合である余裕度を算出するとともに、前記車内情報に基づいて前記車内の環境に対する前記余裕度を算出する算出ステップと、前記算出ステップにおいて算出された前記余裕度が所定値よりも低い場合に、前記表示部への前記表示情報の出力を禁止するように制御する制御ステップと、を備える処理をコンピュータに実行させる。
請求項５に記載のプログラムは、車両に乗車した乗員の目の前に配置される表示部を有する端末等に対して表示情報を出力することで当該表示部に画像を表示させるようにコンピュータに処理を実行させる。当該プログラムが実行されたコンピュータは、取得ステップにおいて表示情報を取得すると共に、収集ステップにおいて車両における環境に係る環境情報を収集する。ここで、車両における環境とは、上述のとおりである。また、当該コンピュータでは、算出ステップにおいて乗員の操作に対する余力の度合である余裕度が算出され、余裕度が所定値よりも低い場合に、制御ステップにおいて表示部への表示情報の出力が禁止される。余裕度とは、上述のとおりである。当該プログラムによれば、乗員が操作に余裕のない場合において、表示部に表示情報が表示されないため、乗員にとって目の前の表示に対する煩わしさが抑制される。
本発明によれば、乗員が操作に余裕のない場合において、目の前の表示に対する煩わしさを抑制することができる。
第１の実施形態に係る表示制御システムの概略構成を示す図である。 第１の実施形態の車両及びＡＲグラスのハードウェア構成を示すブロック図である。 第１の実施形態の表示制御装置の機能構成の例を示すブロック図である。 第１の実施形態のＡＲグラスの外観を示す斜視図である。 第１の実施形態の車外システムの構成の例を示すブロック図である。 第１の実施形態の表示制御装置において実行される表示制御処理の流れを示すフローチャートである。 第１の実施形態の表示制御処理による表示の例を示す図である。 第２の実施形態の表示制御装置の機能構成の例を示すブロック図である。 第２の実施形態における車内の乗員の例を示す図である。 第２の実施形態の表示制御処理による表示の例を示す図である。
［第１の実施形態］
（構成）
図１に示されるように、第１の実施形態に係る表示制御システム１０は、車両１２と、表示制御装置２０と、ウェアラブルデバイスであるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）グラス４０と、車外システム６０と、を含んで構成されている。
本実施形態の表示制御装置２０及びＡＲグラス４０は、車両１２に搭載されている。表示制御システム１０において、車両１２の表示制御装置２０、及び車外システム６０は、ネットワークＮ１を介して相互に接続されている。
（車両）
図２は、本実施形態の車両１２に搭載される機器、及びＡＲグラス４０のハードウェア構成を示すブロック図である。車両１２は、上述した表示制御装置２０の他、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）装置２２と、外部センサ２４と、内部センサ２６と、車内カメラ２８と、環境センサ２９とを含んでいる。
表示制御装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０Ｃ、ストレージ２０Ｄ、移動通信Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）２０Ｅ、入出力Ｉ／Ｆ２０Ｆ及び無線通信Ｉ／Ｆ２０Ｇを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、ストレージ２０Ｄ、移動通信Ｉ／Ｆ２０Ｅ、入出力Ｉ／Ｆ２０Ｆ及び無線通信Ｉ／Ｆ２０Ｇは、バス２０Ｈを介して相互に通信可能に接続されている。
ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。図３に示されるように、本実施形態では、ＲＯＭ２０Ｂに制御プログラム１００が記憶されている。ＣＰＵ２０Ａが制御プログラム１００を実行することで、表示制御装置２０は、画像取得部２００、情報収集部２１０、算出部２２０及び表示制御部２６０として機能する。
図２に示されるように、ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。
ストレージ２０Ｄは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、各種プログラム及び各種データを記憶している。
移動通信Ｉ／Ｆ２０Ｅは、車外システム６０等と通信すべく、ネットワークＮ１に接続するためのインタフェースである。当該インタフェースは、例えば、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）等の通信規格が適用される。
入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載される各装置と通信するためのインタフェースである。本実施形態の表示制御装置２０は、入出力Ｉ／Ｆ２０Ｆを介してＧＰＳ装置２２、外部センサ２４、内部センサ２６、車内カメラ２８及び環境センサ２９が接続されている。なお、ＧＰＳ装置２２、外部センサ２４、内部センサ２６、車内カメラ２８及び環境センサ２９は、バス２０Ｈに対して直接接続されていてもよい。
無線通信Ｉ／Ｆ２０Ｇは、ＡＲグラス４０と接続するためのインタフェースである。当該インタフェースは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信規格が適用される。
ＧＰＳ装置２２は車両１２の現在位置を測定する装置である。ＧＰＳ装置２２は、ＧＰＳ衛星からの信号を受信する図示しないアンテナを含んでいる。
外部センサ２４は、車両１２の周辺の環境に係る周辺情報を検出するセンサ群である。外部センサ２４は、所定範囲を撮像するカメラ２４Ａと、所定範囲に探査波を送信し、反射波を受信するミリ波レーダ２４Ｂと、所定範囲をスキャンするライダ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）２４Ｃとを含む。外部センサ２４は自動運転装置又は運転支援装置と共用してもよい。
内部センサ２６は、車両１２の走行状態を検出するセンサ群である。内部センサ２６は、車速センサ、加速度センサ及びヨーレートセンサ等により構成されている。
車内カメラ２８は、車内１４を撮像するための撮像装置である。この車内カメラ２８は、フロントウィンドウの上部やルームミラーに隣接して設けられ、車内１４の乗員Ｐ（図９参照）の様子を撮像することができる。また、車内カメラ２８は、ドライブレコーダ用のカメラと兼用してもよい。さらに、車内カメラ２８はマイクを内蔵しており、当該マイクにより車内１４の音声を集音することができる。
環境センサ２９は、車内１４の環境に係る車内情報を検出するセンサ群である。環境センサ２９は、温度センサ、湿度センサ、臭気センサ等により構成されている。
図３は、表示制御装置２０の機能構成の例を示すブロック図である。図３に示されるように、表示制御装置２０は、制御プログラム１００、画像データ１１０、画像取得部２００、情報収集部２１０、算出部２２０及び表示制御部２６０を有している。制御プログラム１００及び画像データ１１０はＲＯＭ２０Ｂに記憶されている。
制御プログラム１００は、後述する表示制御処理を実行するためのプログラムである。また、画像データ１１０は、ＡＲグラス４０に表示させるコンテンツのデータを記憶している。例えば、アシスタントとして表示されるキャラクタＣの画像（図７及び図１０参照）、店舗を示すアイコン、車両１２の警告灯の画像、定型のテキスト等のデータが含まれる。
取得部としての画像取得部２００は、後述する画像表示部４６に対して表示させる表示情報を取得する機能を有している。本実施形態の画像表示部４６にはキャラクタＣの画像が表示可能であって、取得される表示情報は当該キャラクタＣの画像情報を含む。キャラクタＣの画像情報はＲＯＭ２０Ｂの画像データ１１０に記憶されており、画像取得部２００はＲＯＭ２０ＢからキャラクタＣの画像情報を取得する。
収集部としての情報収集部２１０は、車両１２における環境に係る環境情報を収集する機能を有している。ここで、車両１２における環境は、車両１２の周辺の環境と、車内１４の環境の両方を含む。
車両１２の周辺の環境には、例えば、車両１２が走行している道路の特徴、道路の込み具合、乗員Ｐの土地勘、対向車や歩行者の存在、前車との距離、前車に衝突しそうな場合の衝突までの時間、車速等が含まれる。道路の特徴、道路の込み具合に係る環境情報は、例えば、車外システム６０の後述する情報サーバ６６から取得することができる。また、乗員Ｐの土地勘に係る環境情報は、例えば、車外システム６０の後述する個人情報データベース６４から取得することができる。また、対向車や歩行者の存在に係る環境情報及び前車との関係の環境情報は、例えば、外部センサ２４から取得することができる。さらに、車速に係る環境情報は、例えば、内部センサ２６から取得することができる。
また、車内１４の環境には、例えば、同乗者の属性、乗車位置、乗員同士の会話のレベル、車内１４の温度、湿度、臭い等が含まれる。同乗者の属性、乗車位置に係る環境情報は、例えば、車内カメラ２８から取得することができる。また、乗員同士の会話のレベルに係る環境情報は、例えば、車内カメラ２８に内蔵されたマイクから取得することができる。車内１４の温度、湿度、臭い等に係る環境情報は、例えば、環境センサ２９から取得することができる。
算出部２２０は、情報収集部２１０により収集された環境情報に基づいて、余裕度を算出する機能を有している。ここで、余裕度とは、車両１２の乗員Ｐの操作に対する余力の度合を示す。算出部２２０は、上述した環境ごとに係数で重み付けを行うことで余裕度を算出する。例えば、前車との距離に第一の係数を乗じ、車両１２の車速に第二の係数を乗じ、会話レベルに第三の係数を乗じ、車内１４の室温に第四の係数を乗じ、各係数を乗じた値を足し上げることで余裕度を算出する。なお、余裕度の算出方法はこの限りではない。
乗員Ｐが車両１２の運転者Ｄ（図９参照）である場合の余裕度は、運転に対する余裕の度合を示す。例えば、車両１２が交差点を右折する場合において、運転者Ｄが対向車や歩行者を意識する場合、運転に対する余裕が低下していれば、余裕度は定常走行時よりも低くなる。また例えば、乗員Ｐが他の乗員Ｐ´と会話をしている場合、カーナビゲーションシステムにおける目的地設定等、操作に対する余裕が低下してれば、余裕度は単に着座している場合よりも低くなる。
また、算出部２２０は、画像表示部４６に表示させる表示情報の優先度を算出する。優先度には、コンテンツ毎に安心・安全レベル、快適レベルを含む複数段階のレベルが含まれており、安心・安全レベルが付与された表示情報は、快適レベルが付与された表示情報に優先して画像表示部４６に表示される。なお、画像表示部４６に表示させるコンテンツが複数ある場合、算出部２２０は、複数の表示情報の各々のレベルを相対比較して優先度を設定してもよい。
制御部としての表示制御部２６０は、画像表示部４６に表示させる表示情報を出力する機能を有している。表示制御部２６０は、算出部２２０により算出された余裕度が所定値以上、又は算出部２２０により算出された優先度が設定値以上である場合に、表示情報を出力する。また、表示制御部２６０は、算出部２２０により算出された余裕度が所定値よりも低い場合で、かつ算出部２２０により算出された優先度が設定値よりも低い場合に、表示情報の出力を禁止する。
なお、余裕度の閾値となる所定値は任意の値を設定することができる。また、乗員Ｐ毎に異なる所定値を設定することができる。また、優先度の閾値となる設定値にはいずれかのレベル値を設定することができる。
（ＡＲグラス）
図２に示されるように、ＡＲグラス４０は、ＣＰＵ４０Ａ、ＲＯＭ４０Ｂ、ＲＡＭ４０Ｃ、入出力Ｉ／Ｆ４０Ｆ及び無線通信Ｉ／Ｆ４０Ｇを含んで構成されている。ＣＰＵ４０Ａ、ＲＯＭ４０Ｂ、ＲＡＭ４０Ｃ、入出力Ｉ／Ｆ４０Ｆ及び無線通信Ｉ／Ｆ４０Ｇは、バス４０Ｈを介して相互に通信可能に接続されている。ＣＰＵ４０Ａ、ＲＯＭ４０Ｂ、ＲＡＭ４０Ｃ、入出力Ｉ／Ｆ４０Ｆ及び無線通信Ｉ／Ｆ４０Ｇの機能は、上述した表示制御装置２０のＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、入出力Ｉ／Ｆ２０Ｆ及び無線通信Ｉ／Ｆ２０Ｇと同じである。
また、ＡＲグラス４０は、周辺撮像カメラ４２、視線カメラ４４、画像表示部４６、スピーカ４８及びマイク４９を含んでいる。
図４に示されるように、ＡＲグラス４０は、乗員Ｐの頭部Ｈに装着される。ＡＲグラス４０は、左右のテンプル５４Ｌ、５４Ｒの基部が取り付けられたフレーム５２に、光透過性を有する左右のグラス部５０Ｌ、５０Ｒが取り付けられている。グラス部５０Ｌ、５０Ｒの内側の面（ＡＲグラス４０を装着した乗員Ｐの眼部と対向する面）には、画像を表示可能な画像表示部４６が各々設けられている。
画像表示部４６は、グラス部５０Ｌ、５０Ｒの外側の面からグラス部５０Ｌ、５０Ｒに入射した光が、画像表示部４６を透過して、ＡＲグラス４０を装着した乗員Ｐの眼部に入射されるように、シースルー型とされている。これにより、画像表示部４６に画像を表示すると、ＡＲグラス４０を装着した乗員Ｐには、グラス部５０Ｌ、５０Ｒを通じた実視野（例えば車両１２の前方の実像）に、画像表示部４６に表示された画像（虚像）が重畳されて視認される。
グラス部５０Ｌ、５０Ｒの外側の面には、ＡＲグラス４０を装着した乗員Ｐの視界を遮らない位置に、ＡＲグラス４０の前方を撮像する一対の周辺撮像カメラ４２が取り付けられている。また、グラス部５０Ｌ、５０Ｒの内側の面には、ＡＲグラス４０を装着した乗員Ｐの視界を遮らない位置に、ＡＲグラス４０を装着した乗員Ｐの眼部を撮像して乗員Ｐの視線を検出する一対の視線カメラ４４が取り付けられている。
また、テンプル５４Ｌ、５４Ｒのうち、ＡＲグラス４０が乗員Ｐに装着された状態で乗員Ｐの耳部に対応する位置には一対のスピーカ４８が設けられている。
本実施形態では、ＣＰＵ４０Ａが表示制御装置２０からの指示に応じて画像表示部４６に画像を表示させると共に、周辺撮像カメラ４２によって撮像された画像や視線カメラ４４による視線の検出結果を表示制御装置２０へ送信する。また、ＣＰＵ４０Ａは必要に応じてスピーカ４８から音声を出力させる。
ＣＰＵ４０Ａ、ＲＯＭ４０Ｂ、ＲＡＭ４０Ｃ、入出力Ｉ／Ｆ４０Ｆ、無線通信Ｉ／Ｆ４０Ｇ及びマイク４９は、例えばフレーム５２に内蔵されている。また例えば、テンプル５４Ｌ、５４Ｒには、バッテリ（図示省略）が内蔵され、給電ジャック（図示省略）が設けられている。ＡＲグラス４０はウェアラブルデバイスの一例であり、画像表示部４６は表示部の一例である。
（車外システム）
車外システム６０の構成の例を図５に示す。車外システム６０は、少なくとも、音声認識サーバ６２、個人情報データベース６４及び情報サーバ６６を含む。本実施形態の音声認識サーバ６２、個人情報データベース６４が記憶されたサーバ、及び情報サーバ６６は別個に設けられているが、これに限らず、一つのサーバとして構成してもよい。
音声認識サーバ６２は、車両１２の乗員Ｐが発話した音声を認識する機能を有している。
個人情報データベース６４は、車両１２の乗員Ｐの個人情報を記憶している。例えば、個人情報データベース６４は、乗員Ｐである運転者Ｄに係る居住地情報を有することにより、運転者Ｄの土地勘を環境情報として表示制御装置２０に提供することができる。また例えば、個人情報データベース６４は、乗員Ｐの年齢及び性別の情報を有することにより、乗員Ｐの属性を環境情報として提供することができる。
情報サーバ６６は、ＶＩＣＳ（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）（登録商標）センターから収集した交通情報、道路情報等を有するサーバである。情報サーバ６６は、環境情報として渋滞情報を提供することができる。
（制御の流れ）
次に本実施形態の表示制御装置２０において実行される表示制御処理の例について図６のフローチャートを用いて説明する。
図６のステップＳ１００において、ＣＰＵ２０Ａは表示情報を取得する。例えば、図７に示すキャラクタＣの画像を画像データ１１０から取得する。
ステップＳ１０１において、ＣＰＵ２０Ａは環境情報を収集する。すなわち、ＣＰＵ２０Ａは、車両１２の周辺の環境に係る環境情報と、車内１４の環境に係る環境情報をそれぞれ収集する。
ステップＳ１０２において、ＣＰＵ２０Ａは余裕度及び優先度を算出する。
ステップＳ１０３において、ＣＰＵ２０Ａは余裕度が所定値以上あるか否かの判定を実行する。ＣＰＵ２０Ａは余裕度が所定値以上あると判定した場合、ステップＳ１０５に進む。一方、ＣＰＵ２０Ａは余裕度が所定値以上ではない、すなわち所定値未満であると判定した場合、ステップＳ１０４に進む。
ステップＳ１０４において、ＣＰＵ２０Ａは優先度が設定値以上あるか否かの判定を実行する。ＣＰＵ２０Ａは優先度が設定値以上あると判定した場合、ステップＳ１０５に進む。一方、ＣＰＵ２０Ａは優先度が設定値以上ではない、すなわち設定値未満であると判定した場合、ステップＳ１０１に戻る。
ステップＳ１０５において、ＣＰＵ２０ＡはＡＲグラス４０に向けて表示情報を出力する。これにより、図７に示すように、ＡＲグラス４０では画像表示部４６に表示情報に係るキャラクタＣの画像が表示される。画像表示部４６に表示される映像は左右視差を持たせ立体表示でき、空間内の任意の位置に配置することが可能である。なお、キャラクタＣの画像の表示と共に、スピーカ４８から音声を出力することにより、キャラクタＣが喋っている様に表現することができる。
ステップＳ１０６において、ＣＰＵ２０Ａは乗員Ｐの視線を検知したか否かの判定を実行する。具体的に、ＣＰＵ２０Ａは表示されたキャラクタＣの画像に乗員Ｐの視線が向いたか否かの判定を実行する。ＣＰＵ２０Ａは乗員Ｐの視線を検知した場合、表示制御処理を終了させる。一方、ＣＰＵ２０Ａは乗員Ｐの視線を検知していない場合、ステップＳ１０１に戻る。すなわち、余裕度が所定値以上であり、かつ優先度が設定値以上である限りキャラクタＣの画像を画像表示部４６に表示し続ける。
（第１の実施形態のまとめ）
本実施形態の表示制御装置２０は、車両１２に乗車した乗員Ｐの目の前に配置される画像表示部４６を有するＡＲグラス４０に対して表示情報及び音声情報を出力することで画像表示部４６に画像を表示させ、スピーカ４８に音声を出力させる。これにより、例えば、図７に示すように、交差点に接近する車両１２において、運転者Ｄに対してキャラクタＣが「あと５０ｍで交差点です」と喋りかける様子を表現することができる。
ここで、インストルメントパネル上にホログラム技術を用いてキャラクタの映像表示を行う場合、ホログラムの投影装置は表示サイズが小さく、表示位置が限定されている。そのため、運転中に視認でき、かつ投影装置を周辺部品に干渉しない位置へ搭載するという条件を満足させた場合、コンテンツの表示サイズが限定される。
また、ホログラムの場合、立体表示された映像が乗員Ｐからクリアに見えない場合がある。特に日光が反射する場合や、乗員Ｐからの距離が遠い場合に見え辛くなる。また、投影装置を全乗員Ｐから見えやすい位置に設けた場合、秘匿性のある情報を表示させると内容が他の乗員Ｐ´に漏れてしまう。さらに、スピーカの出力先が車内１４全域になっていると、子供が寝ている時など、音・映像を出したくないシーンでは使えない。
これに対して本実施形態によれば、ＡＲグラス４０と表示制御装置２０とを連携させる事により、車載スペースに左右されず、例えば、乗員Ｐの視界を自由に飛び回るエージェントとしてのキャラクタＣを表現することが可能となる。また、ＡＲグラス４０の映像は他の乗員Ｐ´からは見え難いため秘匿性のある情報提示も可能となる。
また、表示制御装置２０は、画像取得部２００において表示情報を取得すると共に、情報収集部２１０にて車両１２における環境に係る環境情報を収集する。また、算出部２２０が乗員Ｐの操作に対する余力の度合である余裕度を算出し、余裕度が所定値よりも低い場合に、表示制御部２６０は画像表示部４６に対する表示情報の出力を禁止する。本実施形態によれば、乗員Ｐが操作に余裕のない場合において、画像表示部４６に表示情報が表示されないため、乗員Ｐにとって目の前の表示に対する煩わしさが抑制される。
ここで、環境情報として車両１２の周辺の環境に係る周辺情報を収集した場合、車両１２の周辺の環境に起因して操作に余裕がない場合において、乗員Ｐにとって目の前の表示に対する煩わしさが抑制される。特に、乗員Ｐが運転者Ｄである場合には、運転に対する支障を抑制することができる。
また、環境情報として車内１４の環境に係る車内情報を収集した場合、車内１４の環境に起因して操作に余裕がない場合において、乗員Ｐにとって目の前の表示に対する煩わしさが抑制される。
また、本実施形態では、算出部２２０が余裕度に加えて優先度を算出することを可能に構成されている。本実施形態によれば、乗員Ｐが操作に余裕がない場合であっても、優先度の高い情報については画像表示部４６への表示は禁止されない。そのため、乗員Ｐに対する安心・安全に係る情報の報知漏れが抑制される。
［第２の実施形態］
第２の実施形態では、他の乗員Ｐ´のとの会話においてキャラクタＣを表示可能に構成している。以下、第１の実施形態との相違点について説明する。なお、第１の実施形態と同一の構成には同一の符号を付しており、詳細な説明については割愛する。
（構成）
本実施形態では、車両１２に複数の乗員Ｐ、具体的に運転者Ｄ及び他の乗員Ｐ´が乗車しており、いずれの乗員ＰもＡＲグラス４０を装着している（図９参照）。
図８は、本実施形態の表示制御装置２０の機能構成の例を示すブロック図である。図８に示されるように、表示制御装置２０は、制御プログラム１００、画像データ１１０、画像取得部２００、情報収集部２１０、算出部２２０、視線認識部２３０、対象特定部２４０、画像生成部２５０及び表示制御部２６０を有している。画像取得部２００、情報収集部２１０、算出部２２０、視線認識部２３０、対象特定部２４０、画像生成部２５０及び表示制御部２６０は、ＣＰＵ２０ＡがＲＯＭ２０Ｂに記憶された制御プログラム１００を読み出し、これを実行することによって実現される。
認識部としての視線認識部２３０は、ＡＲグラス４０が装着された乗員Ｐの視線を認識する機能を有している。視線認識部２３０は、視線カメラ４４から乗員Ｐの視線情報を取得して、視線の位置を認識する。
特定部としての対象特定部２４０は、視線認識部２３０により認識された視線の対象物を特定する機能を有している。対象特定部２４０は、周辺撮像カメラ４２からＡＲグラス４０が装着された乗員Ｐの視界に映る撮像画像を取得する。そして、対象特定部２４０は、取得した撮像画像に視線認識部２３０により認識された視線の位置を重ね合わせ、撮像画像中の視線の位置に存在する物を視線の先に存在する対象物として特定する。
生成部としての画像生成部２５０は、対象特定部２４０により特定された対象物を報知するための表示情報を生成する機能を有している。例えば、画像生成部２５０は、画像表示部４６上において対象特定部２４０により特定された対象物を囲む丸枠等の表示情報を生成する。
（作用）
本実施形態では、他の乗員Ｐ´と運転者Ｄとの会話の中で画像表示部４６における表示情報の表示が実現される。例えば、図９に示されるように、車内１４の後席に着座している他の乗員Ｐ´が運転者Ｄに対し「あのお店行きたい」と話しかけたとする。このとき、運転者Ｄは他の乗員Ｐ´との会話だけでは、車両１２の走行路におけるどの店舗について発言したかが分からない。そのため、運転者Ｄは「どのお店？」等と疑問を呈する場合がある。つまり、運転者Ｄは、後席の他の乗員Ｐ´との会話において、他の乗員Ｐ´の視線方向を特定できず、また会話が聞き取りにくいことから外界の対象物の共有が困難である。
これに対して、本実施形態では、視線認識部２３０が他の乗員Ｐ´の視線を認識し、対象特定部２４０が視線の先の対象物を特定する。そして、画像生成部２５０が生成した表示情報を表示制御部２６０が画像表示部４６に表示させることで、対象特定部２４０により特定された対象物の情報が乗員に報知される。具体的には、図１０に示されるように、運転者ＤのＡＲグラス４０の画像表示部４６において、後席の他の乗員Ｐ´が「あのお店」と発言した店舗ＳをキャラクタＣが囲むように浮遊する映像が表示される。これにより、後席の他の乗員Ｐ´が発話した店舗ＳをＡＲグラス４０上で案内することができる。また、スピーカ４８を通じて後席の他の乗員Ｐ´やキャラクタＣの音声を出力することで、スムーズな車室内会話を実現することができる。
以上、本実施形態によれば、画像表示部４６を通じて他の乗員Ｐ´との間で情報を共有することができる。なお、本実施形態においても余裕度及び優先度に基づく表示制御処理が実行される。すなわち、運転者Ｄが運転に余裕のない場合には、キャラクタＣが浮遊する映像は表示されない。
なお、本実施形態の表示制御装置２０をカーナビゲーションシステムと連動させることで、キャラクタＣにより案内された店舗Ｓの位置情報を記憶することができる。これにより、運転者Ｄが他の乗員Ｐ´と会話をしているタイミングにおいて、案内された店舗Ｓに立ち寄れない場合であっても、気になるロケーションとして地図上に記憶させることが可能である。また、余裕度が所定値未満の場合で、かつ優先度が設定値未満の場合で店舗Ｓが案内されなかった場合も同様に気になるロケーションとして地図上に記憶させてもよい。これにより、後日又は時間ができた際に記憶された店舗Ｓに立ち寄ることができる。
［備考］
なお、上記実施形態でＣＰＵ２０Ａがソフトウェア（プログラム）を読み込んで実行した各処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態において、プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、車両１２の表示制御装置２０において制御プログラム１００は、ＲＯＭ２０Ｂに予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
１２ 車両
２０ 表示制御装置
４６ 画像表示部（表示部）
１００ 制御プログラム（プログラム）
２００ 画像取得部（取得部）
２１０ 情報収集部（収集部）
２２０ 算出部
２３０ 視線認識部（認識部）
２４０ 対象特定部（特定部）
２５０ 画像生成部（生成部）
２６０ 表示制御部（制御部）
Ｐ 乗員
Ｐ´ 他の乗員

Claims (5)

  1. 車両に乗車した乗員の目の前に配置される表示部に対して表示させる表示情報を取得する取得部と、
    前記車両における環境に係る環境情報として、前記車両が走行している道路の特徴、前記道路の込み具合、前記乗員の土地勘、対向車又は歩行者の存在、前車との距離、前記前車に衝突しそうな場合の衝突までの時間、及び車速を含む、前記車両の周辺の環境に係る周辺情報と、同乗者の属性、乗車位置、前記乗員と前記同乗者との会話のレベル、前記車両の車内の温度、湿度、及び臭いを含む、前記車内の環境に係る車内情報とを収集する収集部と、
    前記収集部により収集された前記周辺情報に基づいて前記周辺の環境に対する前記乗員の操作に対する余力の度合である余裕度を算出するとともに、前記車内情報に基づいて前記車内の環境に対する前記余裕度を算出する算出部と、
    前記算出部により算出された前記余裕度が所定値よりも低い場合に、前記表示部への前記表示情報の出力を禁止するように制御する制御部と、
    を備える表示制御装置。
  2. 前記算出部は、前記表示部に表示させる前記表示情報の優先度を算出し、
    前記制御部は、前記余裕度が前記所定値よりも低い場合で、かつ優先度が設定値よりも低い場合に、前記表示部への前記表示情報の出力を禁止する請求項１に記載の表示制御装置。
  3. 他の乗員の視線を認識する認識部と、
    前記認識部により認識された視線の対象物を特定する特定部と、
    前記特定部により特定された前記対象物を報知する前記表示情報を生成する生成部と、を備える請求項１又は２に記載の表示制御装置。
  4. 車両に乗車した乗員の目の前に配置される表示部に対して表示させる表示情報が取得される取得ステップと、
    前記車両における環境に係る環境情報として、前記車両が走行している道路の特徴、前記道路の込み具合、前記乗員の土地勘、対向車又は歩行者の存在、前車との距離、前記前車に衝突しそうな場合の衝突までの時間、及び車速を含む、前記車両の周辺の環境に係る周辺情報と、同乗者の属性、乗車位置、前記乗員と前記同乗者との会話のレベル、前記車両の車内の温度、湿度、及び臭いを含む、前記車内の環境に係る車内情報とを収集する収集ステップと、
    前記収集ステップにおいて収集された前記周辺情報に基づいて前記周辺の環境に対する前記乗員の操作に対する余力の度合である余裕度を算出するとともに、前記車内情報に基づいて前記車内の環境に対する前記余裕度を算出する算出ステップと、
    前記算出ステップにおいて算出された前記余裕度が所定値よりも低い場合に、前記表示部への前記表示情報の出力を禁止するように制御する制御ステップと、
    を備える表示制御方法。
  5. 車両に乗車した乗員の目の前に配置される表示部に対して表示させる表示情報が取得される取得ステップと、
    前記車両における環境に係る環境情報として、前記車両が走行している道路の特徴、前記道路の込み具合、前記乗員の土地勘、対向車又は歩行者の存在、前車との距離、前記前車に衝突しそうな場合の衝突までの時間、及び車速を含む、前記車両の周辺の環境に係る周辺情報と、同乗者の属性、乗車位置、前記乗員と前記同乗者との会話のレベル、前記車両の車内の温度、湿度、及び臭いを含む、前記車内の環境に係る車内情報とを収集する収集ステップと、
    前記収集ステップにおいて収集された前記周辺情報に基づいて前記周辺の環境に対する前記乗員の操作に対する余力の度合である余裕度を算出するとともに、前記車内情報に基づいて前記車内の環境に対する前記余裕度を算出する算出ステップと、
    前記算出ステップにおいて算出された前記余裕度が所定値よりも低い場合に、前記表示部への前記表示情報の出力を禁止するように制御する制御ステップと、
    を備える処理をコンピュータに実行させるためのプログラム。
JP2020011143A 2020-01-27 2020-01-27 表示制御装置、表示制御方法及びプログラム Active JP7298491B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020011143A JP7298491B2 (ja) 2020-01-27 2020-01-27 表示制御装置、表示制御方法及びプログラム
CN202011500372.2A CN113178089A (zh) 2020-01-27 2020-12-18 显示控制装置、显示控制方法以及计算机可读存储介质
US17/137,379 US20210229553A1 (en) 2020-01-27 2020-12-30 Display control device, display control method, and program
DE102021100492.6A DE102021100492A1 (de) 2020-01-27 2021-01-13 Anzeigesteuervorrichtung, anzeigesteuerverfahren und programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020011143A JP7298491B2 (ja) 2020-01-27 2020-01-27 表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021117126A JP2021117126A (ja) 2021-08-10
JP7298491B2 true JP7298491B2 (ja) 2023-06-27

Family

ID=76753684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020011143A Active JP7298491B2 (ja) 2020-01-27 2020-01-27 表示制御装置、表示制御方法及びプログラム

Country Status (4)

Country Link
US (1) US20210229553A1 (ja)
JP (1) JP7298491B2 (ja)
CN (1) CN113178089A (ja)
DE (1) DE102021100492A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022102818A (ja) * 2020-12-25 2022-07-07 トヨタ自動車株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
DE102022208029A1 (de) * 2022-08-03 2024-02-08 Volkswagen Aktiengesellschaft Sicherheitssystem zur Anpassung von in einem Kraftfahrzeug dargestellten visuellen Elemente, ein Verfahren sowie ein Kraftfahrzeug
JP7337423B1 (ja) 2023-01-26 2023-09-04 竜也 中野 サーバー装置、チップ管理方法、チップ管理プログラムおよびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012198052A (ja) 2011-03-18 2012-10-18 Denso Corp 車載機能制御装置
WO2013080250A1 (ja) 2011-11-29 2013-06-06 三菱電機株式会社 移動体用情報機器およびナビゲーション装置
JP2015210580A (ja) 2014-04-24 2015-11-24 エイディシーテクノロジー株式会社 表示システム及びウェアラブル機器
WO2018180121A1 (ja) 2017-03-30 2018-10-04 ソニー株式会社 情報処理装置と情報処理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10221094A (ja) * 1997-02-12 1998-08-21 Toyota Motor Corp 車両用機器操作制御装置
JP3879958B2 (ja) * 1999-01-26 2007-02-14 マツダ株式会社 車両の周囲情報報知装置
JP4696339B2 (ja) * 2000-07-11 2011-06-08 マツダ株式会社 車両の制御装置
JP4970922B2 (ja) * 2006-12-19 2012-07-11 アルパイン株式会社 車載用ナビゲーション装置及び緊急情報提供方法
JP2010039919A (ja) * 2008-08-07 2010-02-18 Toyota Motor Corp 注意喚起装置
KR20110044080A (ko) * 2009-10-22 2011-04-28 삼성전자주식회사 디스플레이장치 및 그 영상표시방법과 입체안경 및 그 구동방법
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
DE102010018994A1 (de) * 2010-05-03 2011-11-03 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs, Fahrerassistenzsystem und Fahrzeug
EP2739055A4 (en) * 2011-07-29 2015-09-09 Samsung Electronics Co Ltd METHOD FOR SYNCHRONIZING A DISPLAY DEVICE, METHOD FOR SYNCHRONIZING A EYEWEIGHT DEVICE AND METHOD FOR SYNCHRONIZING A DISPLAY DEVICE WITH A EYEWEIGHT DEVICE
CN102694931A (zh) * 2012-04-11 2012-09-26 佳都新太科技股份有限公司 一种驾驶中防来电打扰安全驾驶系统
JP2013080250A (ja) * 2012-12-25 2013-05-02 Fuji Xerox Co Ltd 画像形成装置
DE102013210941A1 (de) * 2013-06-12 2014-12-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US9244650B2 (en) * 2014-01-15 2016-01-26 Microsoft Technology Licensing, Llc Post-drive summary with tutorial
CN115871715A (zh) * 2014-12-12 2023-03-31 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
US9836814B2 (en) * 2015-01-09 2017-12-05 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus and method for stepwise deforming of presentation image radially by increasing display ratio
JP6549893B2 (ja) * 2015-05-12 2019-07-24 株式会社デンソーテン 情報表示装置および情報表示方法
JP6515676B2 (ja) * 2015-05-22 2019-05-22 日本精機株式会社 車両用情報提供装置
US20190096359A1 (en) * 2016-06-09 2019-03-28 Mitsubishi Electric Corporation Display control device, display device, in-vehicle display system, and display control method
DE102016219122A1 (de) * 2016-09-30 2018-04-05 Bayerische Motoren Werke Aktiengesellschaft Verarbeitungseinrichtung und Verfahren zur situationsspezifischen Anpassung eines automatisierten Fahrmodus in einem Fahrzeug
DE102017207608A1 (de) * 2017-05-05 2018-11-08 Bayerische Motoren Werke Aktiengesellschaft AR-Brille für einen Passagier eines Kraftfahrzeugs
CN107246881B (zh) * 2017-05-24 2020-12-22 宇龙计算机通信科技(深圳)有限公司 一种导航提醒方法、装置和终端
JP7177583B2 (ja) * 2017-05-31 2022-11-24 株式会社デンソーテン 出力処理装置および出力処理方法
US20190047498A1 (en) * 2018-01-12 2019-02-14 Intel Corporation Adaptive display for preventing motion sickness
JP7043845B2 (ja) * 2018-01-17 2022-03-30 トヨタ自動車株式会社 車両用表示連携制御装置
CN110211402A (zh) * 2019-05-30 2019-09-06 努比亚技术有限公司 可穿戴设备路况提醒方法、可穿戴设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012198052A (ja) 2011-03-18 2012-10-18 Denso Corp 車載機能制御装置
WO2013080250A1 (ja) 2011-11-29 2013-06-06 三菱電機株式会社 移動体用情報機器およびナビゲーション装置
JP2015210580A (ja) 2014-04-24 2015-11-24 エイディシーテクノロジー株式会社 表示システム及びウェアラブル機器
WO2018180121A1 (ja) 2017-03-30 2018-10-04 ソニー株式会社 情報処理装置と情報処理方法

Also Published As

Publication number Publication date
US20210229553A1 (en) 2021-07-29
JP2021117126A (ja) 2021-08-10
DE102021100492A1 (de) 2021-07-29
CN113178089A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
JP7298491B2 (ja) 表示制御装置、表示制御方法及びプログラム
US10957029B2 (en) Image processing device and image processing method
EP3067827A1 (en) Driver distraction detection system
JP6562239B2 (ja) 表示制御装置、表示制御方法、表示制御プログラムおよび投影装置
JP2017135742A (ja) 推論された車両状態に基づいたユーザ・インタフェース体験の提供
CN111273765B (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
JP7140135B2 (ja) 可変焦点距離レンズ系および撮像装置
JP2010268343A (ja) 撮影装置および撮影方法
KR20140145332A (ko) 차량용 hmd 시스템 및 그 작동 방법
JP2020106620A (ja) 撮像レンズ及び撮像装置
WO2024046091A1 (zh) 一种驾驶员提醒方法、装置、系统和移动载体
JP2020086726A (ja) 運転支援装置、ウェアラブル装置、運転支援方法およびプログラム
US11814043B2 (en) Automotive analytics technology to provide synergistic collision safety
US20180022357A1 (en) Driving recorder system
JP2015210580A (ja) 表示システム及びウェアラブル機器
JP2020020987A (ja) 車内システム
CN111183386B (zh) 成像镜头和成像设备
US20200358933A1 (en) Imaging device and electronic apparatus
US20240111129A1 (en) A lens system, and a method and computer program product for controlling the lens system
US20230186651A1 (en) Control device, projection system, control method, and program
KR101781689B1 (ko) 가상 영상 생성장치, 헤드 마운티드 디스플레이 및 차량
JP7140136B2 (ja) 可変焦点距離レンズ系および撮像装置
US20210318560A1 (en) Information processing device, information processing method, program, and mobile object
JP7334695B2 (ja) 車両用乗員支援装置
JP7432864B2 (ja) 車両用表示制御装置及び車両用表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R151 Written notification of patent or utility model registration

Ref document number: 7298491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151