JP6731016B2 - 車両用表示システム - Google Patents

車両用表示システム Download PDF

Info

Publication number
JP6731016B2
JP6731016B2 JP2018111971A JP2018111971A JP6731016B2 JP 6731016 B2 JP6731016 B2 JP 6731016B2 JP 2018111971 A JP2018111971 A JP 2018111971A JP 2018111971 A JP2018111971 A JP 2018111971A JP 6731016 B2 JP6731016 B2 JP 6731016B2
Authority
JP
Japan
Prior art keywords
main screen
screen area
selection
mode
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018111971A
Other languages
English (en)
Other versions
JP2019215663A (ja
Inventor
正樹 斉藤
正樹 斉藤
賢太郎 大友
賢太郎 大友
篤 石橋
篤 石橋
悠 河原
悠 河原
岡本　進一
進一 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2018111971A priority Critical patent/JP6731016B2/ja
Priority to US16/428,038 priority patent/US11052761B2/en
Priority to CN201910477648.0A priority patent/CN110588514B/zh
Priority to EP19177952.9A priority patent/EP3581423B1/en
Publication of JP2019215663A publication Critical patent/JP2019215663A/ja
Application granted granted Critical
Publication of JP6731016B2 publication Critical patent/JP6731016B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/113—Scrolling through menu items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/115—Selection of menu items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/182—Distributing information between displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/184—Displaying the same information on different displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、車両用表示システムに関する。
車室内においては、搭乗者に対する情報提供のため、種々の情報を表示する複数の表示装置が設けられている。通常、表示装置の多くはタッチパネルモニタであり、搭乗者が操作することで、表示装置のメイン画面エリアに表示する表示情報を選択することとなる。一方、搭乗者の状態を検出するために、車両の搭乗者の視線の状態である視線状態を検出する視線状態検出装置が設けられている（例えば、特許文献１）。
特開２０１７−０２１７３１号公報
ところで、搭乗者において、複数のメイン画面エリアのうち、１つのメイン画面エリアに表示されている表示情報を他のメイン画面エリアに表示するように変更したいという要望がある。表示装置がタッチパネルモニタである場合、運転者が１つのメイン画面エリアを視認し、表示情報を表示するメイン画面エリアを変更する意志に基づいてタッチパネルを操作することで、変更先となるメイン画面エリアの候補を複数表示させ、タッチパネルを操作することで表示された複数のメイン画面エリアのうち１つのメイン画面エリアを選択し、さらにタッチパネルを操作することで選択したメイン画面エリアを変更先のメイン画面エリアとして決定することとなる。従って、搭乗者が１つのメイン画面エリアを注視している時間が長く、変更先のメイン画面エリアを決定するまでの搭乗者の動作が複雑であるという問題がある。
本発明は、上記の点に鑑みてなされるものであり、搭乗員の簡単な動作で、１つのメイン画面エリアに表示されている表示情報を他のメイン画面エリアに変更することができる車両用表示システムを提供することを目的とする。
上記目的を達成するため、本発明に係る車両用表示システムは、車両の搭乗者の視線の状態である視線状態を検出する視線状態検出装置と、前記搭乗者が視認できる１以上の表示装置と、１以上の前記表示装置により構成される複数のメイン画面エリアと、前記複数のメイン画面エリアに対する表示制御を行う制御装置と、前記搭乗者の決定意志が入力される入力部と、を備え、前記制御装置は、各前記メイン画面エリア内の一部に、注視画像を表示する注視画像表示出力部と、前記視線状態に基づいて、前記複数のメイン画面エリアのうち、１つの前記メイン画面エリアの前記注視画像を前記搭乗者が視認している否かを判定する注視画像視認判定部と、前記入力部に基づいて、前記搭乗者が視認していると判定された前記注視画像に対応する前記メイン画面エリアを選択するメイン画面エリア選択部と、複数の前記メイン画面エリアのうち、１つの前記メイン画面エリアにおいて表示されている表示情報を他の前記メイン画面エリアにおいて表示する画面制御部と、を有し、前記画面制御部は、前記メイン画面エリア選択部により先に選択された前記メイン画面エリアである先選択メイン画面エリアにおいて表示されている先選択表示情報を、後に選択された前記メイン画面エリアである後選択メイン画面エリアに表示する、ことを特徴とする。
また、上記車両用表示システムにおいて、前記制御装置は、前記注視画像視認判定部により、前記搭乗者が視認していると判定された前記注視画像の表示態様を、前記搭乗者が視認していると判定される前の表示態様である通常表示態様と異なる視認中表示態様とする、ものである。
また、上記車両用表示システムにおいて、前記制御装置は、前記メイン画面エリア選択部により、前記メイン画面エリアが選択された場合に、選択された前記メイン画面エリアに対応する前記注視画像の表示態様を、前記通常表示態様および視認中表示態様と異なる選択後表示態様とする、ものである。
また、上記車両用表示システムにおいて、制御装置は、前記メイン画面エリア選択部により、先に前記メイン画面エリアが選択されると、前記先選択メイン画面エリア内の一部に、複数の変更モードに対応する変更モード画像を表示する変更モード画像出力部と、前記視線状態に基づいて、前記複数の変更モード画像のうち、１つの前記変更モード画像を前記搭乗者が視認している否かを判定する変更モード画像視認判定部と、前記入力部に基づいて、前記搭乗者が視認していると判定された前記変更モード画像に対応する変更モードを選択する変更モード選択部と、を有し、前記画面制御部は、前記先選択表示情報を、前記後選択メイン画面エリアに表示するとともに、前記変更モード選択部により、選択された前記変更モードに基づいて、前記先選択メイン画面エリアにおいて表示される表示情報を変更する、ものである。
本発明に係る車両用表示システムにおいては、搭乗員の簡単な動作で、１つのメイン画面エリアに表示されている表示情報を他のメイン画面エリアに変更することができるという効果を奏する。
図１は、実施形態における車両用表示システムの構成例を示す図である。 図２は、実施形態における車両用表示システムのブロック図である。 図３は、先選択メイン画面エリア（通常注視画像）を示す図である。 図４は、先選択メイン画面エリア（視認中注視画像）を示す図である。 図５は、先選択メイン画面エリア（選択後注視画像）を示す図である。 図６は、先選択メイン画面エリア（通常モード画像）を示す図である。 図７は、先選択メイン画面エリア（視認中モード画像）を示す図である。 図８は、先選択メイン画面エリア（選択後モード画像）を示す図である。 図９は、後選択メイン画面エリア（通常注視画像）を示す図である。 図１０は、後選択メイン画面エリア（視認中注視画像）を示す図である。 図１１は、後選択メイン画面エリア（選択後注視画像）を示す図である。 図１２は、実施形態における車両用表示システムの動作を示すフロー図である。 図１３は、実施形態における車両用表示システムのメイン画面エリア選択処理を示すフロー図である。 図１４は、実施形態における車両用表示システムの変更モード選択処理を示すフロー図である。 図１５は、変形例における車両用表示システムのメイン画面エリア選択処理を示すフロー図である。 図１６は、変形例における車両用表示システムの変更モード選択処理を示すフロー図である。
以下に、本発明に係る車両用表示システムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。また、下記の実施形態における構成要素は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
〔実施形態〕
実施形態に係る車両用表示システムについて説明する。図１は、実施形態における車両表示システムの構成例を示す図である。図２は、実施形態における車両表示システムのブロック図である。図３は、先選択メイン画面エリア（通常注視画像）を示す図である。図４は、先選択メイン画面エリア（視認中注視画像）を示す図である。図５は、先選択メイン画面エリア（選択後注視画像）を示す図である。図６は、先選択メイン画面エリア（通常モード画像）を示す図である。図７は、先選択メイン画面エリア（視認中モード画像）を示す図である。図８は、先選択メイン画面エリア（選択後モード画像）を示す図である。図９は、後選択メイン画面エリア（通常注視画像）を示す図である。図１０は、後選択メイン画面エリア（視認中注視画像）を示す図である。図１１は、後選択メイン画面エリア（選択後注視画像）を示す図である。
本実施形態に係る車両用表示システム１は、例えば、手動運転のみ、自動運転のみ、手動運転および自動運転を行うことができる車両１００に適用するものであり、図１に示すように、車室１０１に設けられている。ここで、車室１０１には、車両前方に位置するウィンドシールド１０２の下側にインストルメントパネル１０３が設けられている。インストルメントパネル１０３よりも車両後方には、ステアリングコラム１０４に回転自在に支持されたステアリング１０５が設けられている。本実施形態における搭乗者２００は、ステアリング１０５よりも車両方向に設けられた図示しないシートに着座した運転者であり、ウィンドシールド１０２を介して車両１００の前方およびインストルメントパネル１０３を視認することができる。車両用表示システム１は、図２に示すように、複数の表示装置２Ａ〜２Ｅと、視線状態検出装置３と、マイク４と、操作部５と、制御装置６とを備える。
複数の表示装置２Ａ〜２Ｅは、図１および図２に示すように、搭乗者２００が視認できるものである。本実施形態における表示装置２Ａ〜２Ｅは、インストルメントパネル１０３に設けられており、液晶パネル、有機ＥＬパネルなどのモニターである。各表示装置２Ａ〜２Ｅは、制御装置６と電気的に接続されており、制御装置６により表示制御が行われる。各表示装置２Ａ〜２Ｅは、メイン画面エリアＥＭＡ〜ＥＭＥを構成するものである。本実施形態における各メイン画面エリアＥＭＡ〜ＥＭＥは、各表示装置２Ａ〜２Ｅにそれぞれ対応するものであり、各表示装置２Ａ〜２Ｅの全画面エリアである。メイン画面エリアＥＭＡ〜ＥＭＥは、制御装置６により制御されるものであり、種々の表示情報が表示されるものである。ここで、メイン画面エリアＥＭＡ〜ＥＭＥのそれぞれに表示される表示情報をＳＡ〜ＳＥとする。なお、表示装置２Ａ〜２Ｅは、タッチパネル機能を有していてもよいし、ウィンドシールド１０２に表示情報を虚像として表示するヘッドアップディスプレイや、図示しないコンバイナに表示情報を表示するヘッドアップディスプレイであってよい。また、１つの表示装置２Ａ〜２Ｅを複数の分割エリアに分割し、各分割エリアを複数のメイン画面エリアＥＭＡ〜ＥＭＥとしてもよい。
視線状態検出装置３は、車両１００の搭乗者２００の視線状態を検出するものである。視線状態検出装置３は、入力部であり、搭乗者２００の視線Ｌに基づいた搭乗者２００の決定意志が入力されるものである。本実施形態における視線状態検出装置３は、赤外線を用いて搭乗者２００の２つの目２０１，２０２の視点から視線Ｌを検出するものである。また、視線状態検出装置３は、各目２０１，２０２にそれぞれ対応する２つの視点のうち、少なくとも一方が検出されないことで、視点が検出されない目２０１，２０２の目つぶりを検出するものである。視線状態検出装置３は、車室１０１のうち、各目２０１，２０２の視点を検出することができる位置、本実施形態ではインストルメントパネル１０３に取り付けられている。視線状態検出装置３は、制御装置６と電気的に接続されており、制御装置６により視線状態検出制御が行われ、検出された視線情報および目つぶり情報が制御装置６に出力される。視線状態検出装置３は、赤外線ＬＥＤ３１と、赤外線カメラ３２と、視線状態検出部３３とを有する。赤外線ＬＥＤ３１は、赤外線カメラ３２により撮像できる赤外光を照射するものである。赤外線ＬＥＤ３１は、搭乗者２００の各目２０１，２０２を含む顔２０３に赤外光を照射するものである。赤外線カメラ３２は、顔２０３において反射した赤外光に基づいて、少なくとも各目２０１，２０２を撮像し、連続する複数の視点情報画像を生成するものである。視線状態検出部３３は、車両１００の搭乗者２００の視線Ｌの状態である視線状態を検出するものである。ここで、視線状態とは、少なくとも視線Ｌがある状態としての搭乗者２００の視線Ｌであり、視線Ｌがない状態としての各目２０１，２０２の目つぶりを含むものである。視線状態検出部３３は、連続する複数の視点情報画像における視点の位置および赤外線カメラ３２と搭乗者との相対位置に基づいて、搭乗者２００の視線Ｌの方向を検出し、視線情報として制御装置６に出力するものである。また、連続する複数の視点情報画像における視点の検出の有無に基づいて、目つぶりを検出し、目つぶり情報として制御装置６に出力するものである。
マイク４は、搭乗者２００の音声が入力されるものである。マイク４は、入力部であり、搭乗者２００の音声に基づいた搭乗者２００の決定意志が入力されるものである。マイク４は、制御装置６と電気的に接続されており、搭乗者２００が発した音声に基づいた音声情報が制御装置６に出力される。
操作部５は、搭乗者２００が操作するものである。操作部５は、入力部であり、搭乗者２００の操作に基づいた搭乗者２００の決定意志が入力されるものである。本実施形態における操作部５は、１回の操作を行うスイッチであり、ステアリング１０５に設けられている。つまり、操作部５は、搭乗者２００が車両１００を運転するためにステアリング１０５を握っている状態でも、搭乗者２００による１回の操作が可能な場所に設けられる。操作部５は、制御装置６と電気的に接続されており、搭乗者２００の操作部５に対する操作に基づいた操作情報が制御装置６に出力される。
制御装置６は、複数のメイン画面エリアＥＭＡ〜ＥＭＥに対する表示制御を行うものである。本実施形態における制御装置６は、視線Ｌに基づいて、表示情報に関する選択・決定を行うものである。制御装置６は、画面制御部６１と、視認判定部６２と、選択部６３と、音声認識部６４と、記憶部６５と有する。ここで、各部は、制御装置６が有する一機能である。ここで、制御装置６のハードウェア構成は、既知の制御装置６のハードウェア構成と同一であり、例えば、図示しないＣＰＵ、ＲＡＭ、ＲＯＭを有する。
画面制御部６１は、画面制御部であり、各表示装置２Ａ〜２Ｅに対する表示制御を行うものである。画面制御部６１は、少なくとも記憶部６５に記憶されている表示情報を各表示装置２Ａ〜２Ｅに表示させるものである。画面制御部６１は、各表示装置２Ａ〜２Ｅにどの表示情報を表示するかについて、運転状態、車両１００の走行状態などに基づいて決定してもよいし、表示情報に予め表示装置２Ａ〜２Ｅが対応づけられている場合は対応付けに基づいて決定してよい。画面制御部６１は、メイン画面エリアＥＭＡ〜ＥＭＥのうち、１つのメイン画面エリアにおいて表示されている表示情報を他のメイン画面エリアにおいて表示するものである。本実施形態における画面制御部６１は、選択部６３により先に選択されたメイン画面エリアである先選択メイン画像エリアＥＭ１において表示されている先選択表示情報Ｓ１を、後に選択されたメイン画面エリアである後選択メイン画面エリアＥＭ２に表示する、画面制御部６１は、注視画像出力部６１ａと、変更モード画像出力部６１ｂとを有する。なお、画面制御部６１は、図示しない車両１００に設けられた通信装置が受信した表示情報を各メイン画面エリアＥＭＡ〜ＥＭＥに表示することもできる。
注視画像出力部６１ａは、各メイン画面エリアＥＭＡ〜ＥＭＥ内の一部に注視画像Ｘを表示するものである。本実施形態における注視画像出力部６１ａは、記憶部６５に記憶されている注視画像情報６５ａに基づいて、各メイン画面エリアＥＭＡ〜ＥＭＥ内の一部に同じ通常表示態様である通常注視画像ＸＮをそれぞれ表示する。ここで、注視画像出力部６１ａは、各メイン画面エリアＥＭＡ〜ＥＭＥの一部に予め設定されている注視画像エリアＥＸＡ〜ＥＸＥに通常注視画像ＸＮを、各メイン画面エリアＥＭＡ〜ＥＭＥにそれぞれ対応する各表示情報に基づいた表示情報ＳＡ〜ＳＥに重ねて表示する。なお、注視画像Ｘとは、搭乗者２００が各メイン画面エリアＥＭＡ〜ＥＭＥを視認している状態で、表示情報ＳＡ〜ＳＥと区別することができる画像であり、画像の形状、色などは任意に設定することができる。
また、注視画像出力部６１ａは、後述する注視画像視認判定部６２ａにより、搭乗者２００が視認していると判定されると、搭乗者２００が視認している注視画像Ｘの表示態様を搭乗者２００が視認していると判定される前の表示態様である通常表示態様と異なる視認中表示態様に切り替える。本実施形態における注視画像出力部６１ａは、図３、図４、図９および図１０に示すように、メイン画面エリアＥＭＡ〜ＥＭＥの一部に表示されている通常表示態様である通常注視画像ＸＮを、視認中表示態様である視認中注視画像ＸＬに変更して表示する。ここで、視認中注視画像ＸＬは、通常注視画像ＸＮと表示態様が異なるものであり、搭乗者２００に対して各メイン画面エリアＥＭＡ〜ＥＭＥにそれぞれ対応する注視画像Ｘのうち、どの注視画像Ｘを視認しているかを認識することができる表示態様である。本実施形態における視認中注視画像ＸＬは、例えば、通常注視画像ＸＮに対して外枠を太枠とする表示態様である。従って、搭乗者２００が注視画像Ｘの視認を開始した場合に、通常表示態様である通常注視画像ＸＮが通常表示態様と異なる視認中表示態様である視認中注視画像ＸＬに変化する。これにより、搭乗者２００は、自身が視認を開始した注視画像Ｘを車両用表示システム１が認識していることを把握することができるとともに、注視画像Ｘを自身が視認を開始したことを認識することができる。
また、注視画像出力部６１ａは、後述するメイン画面選択部６３ａにより、先選択メイン画面エリアＥＭ１または後選択メイン画面エリアＥＭ２が選択されると、先選択メイン画面エリアＥＭ１または後選択メイン画面エリアＥＭ２に対応する注視画像Ｘの表示態様を通常表示態様および視認中表示態様と異なる選択後表示態様に切り替える。本実施形態における注視画像出力部６１ａは、図４、図５、図１０および図１１に示すように、先選択メイン画面エリアＥＭ１または後選択メイン画面エリアＥＭ２の一部に表示されている視認中表示態様である視認中注視画像ＸＬを、選択後表示態様である選択後注視画像ＸＣに変更して表示する。ここで、選択後注視画像ＸＣは、通常注視画像ＸＮおよび視認中注視画像ＸＬと表示態様が異なるものであり、搭乗者２００に複数のメイン画面エリアＥＭＡ〜ＥＭＥのうち、先選択メイン画面エリアＥＭ１および後選択メイン画面エリアＥＭ２が選択されたことを認識することができる表示態様である。本実施形態における選択後注視画像ＸＣは、例えば、通常注視画像ＸＮに対して外枠を太枠とし、枠内の色を変更する表示態様である。従って、搭乗者２００が注視画像Ｘを視認し続けている場合に、視認中注視画像ＸＬが通常表示態様および視認中表示態様と異なる選択後表示態様である選択後注視画像ＸＣに変化する。これにより、搭乗者２００は、自身が視認し続けることで選択した注視画像Ｘに対応するメイン画面エリアを車両用表示システム１が認識していることを把握することができるとともに、メイン画面エリアを自身が視認し続けることで選択したことを認識することができる。
変更モード画像出力部６１ｂは、後述する変更モード選択部６３ｂにより、先にメイン画面エリアが選択される、すなわち先選択メイン画面エリアＥＭ１が決定すると、先選択メイン画面エリアＥＭ１内の一部に複数の変更モード画像ＷＡ〜ＷＣを表示するものである。本実施形態における変更モード画像出力部６１ｂは、記憶部６５に記憶されている変更モード画像情報６５ｂに基づいて、先選択メイン画面エリアＥＭ１内の一部に変更モード画像ＷＡ〜ＷＣを含むモード画像ＷＡ〜ＷＤをメニュー画像Ｗとして表示する。具体的には、メニュー画像Ｗは、複数の変更モードＣＡ〜ＣＣに対応するとともに通常表示態様である通常変更モード画像ＷＡＮ〜ＷＣＮと、変更を行わないキャンセルのためのキャンセルモードＣＤに対応するとともに通常表示態様である通常キャンセルモード画像ＷＤＮとを含むものである。ここで、変更モード画像出力部６１ｂは、先選択メイン画面エリアＥＭ１の一部に予め設定されている変更モード画像エリアＥＷＡ〜ＥＷＣにそれぞれ通常変更モード画像ＷＡＮ〜ＷＣＮを、およびキャンセルモード画像エリアＥＷＤに通常キャンセルモード画像ＷＤＮを、先選択メイン画面エリアＥＭ１に対応する表示情報に基づいた先選択メイン画面エリアＥＭ１に表示されている表示情報である先選択表示情報Ｓ１に重ねて表示する。ここで、変更モード画像エリアＥＷＡ〜ＥＷＣおよびキャンセルモード画像エリアＥＷＤは、先選択メイン画面エリアＥＭ１の注視画像エリアＥＸＡ〜ＥＸＥの下側に順番に形成される。
ここで、複数の変更モードＣＡ〜ＣＣは、少なくとも先選択表示情報Ｓ１を、後選択メイン画面エリアＥＭ２に表示することを行うモードである。本実施形態における変更モードＣＡは、図６に示すように、「入れ替え」であり、先選択表示情報Ｓ１を後選択メイン画面エリアＥＭ２に表示し、後選択メイン画面エリアＥＭ２において表示されている表示情報である後選択表示情報Ｓ２を先選択メイン画面エリアＥＭ１に表示するモードである。本実施形態における変更モードＣＢは、「コピー」であり、先選択表示情報Ｓ１を後選択メイン画面エリアＥＭ２に表示し、先選択メイン画面エリアＥＭ１における先選択表示情報Ｓ１の表示を維持するモードである。本実施形態における変更モードＣＡは、「移動」であり、先選択表示情報Ｓ１を後選択メイン画面エリアＥＭ２に表示し、先選択メイン画面エリアＥＭ１に先選択表示情報Ｓ１と異なる表示情報、例えば先選択メイン画面エリアにおいて基準となる基準表示情報を表示するモードである。
また、変更モード画像出力部６１ｂは、後述する変更モード画像視認判定部６２ｂにより、搭乗者２００が視認していると判定されると、搭乗者２００が視認しているモード画像ＷＡ〜ＷＤの表示態様を搭乗者２００が視認していると判定される前の表示態様である通常表示態様と異なる視認中表示態様に切り替える。本実施形態における変更モード画像出力部６１ｂは、図６および図７に示すように、先選択メイン画面エリアＥＭ１の一部に表示されている通常表示態様である通常変更モード画像ＷＡＮ〜ＷＣＮおよび通常キャンセルモード画像ＷＤＮ、すなわち通常モード画像ＷＡＮ〜ＷＤＮのうち、搭乗者２００が視認している通常モード画像ＷＡＮ〜ＷＤＮを、視認中表示態様である視認中モード画像ＷＡＬ〜ＷＤＬ（視認中変更モード画像ＷＡＬ〜ＷＣＬおよび視認中キャンセルモード画像ＷＤＬ）に変更して表示する。ここで、視認中モード画像ＷＡＬ〜ＷＤＬは、通常モード画像ＷＡＮ〜ＷＤＮと表示態様が異なるものであり、搭乗者２００に対して各モードＣＡ〜ＣＤにそれぞれ対応するモード画像ＷＡ〜ＷＤのうち、どのモード画像ＷＡ〜ＷＤを視認しているかを認識することができる表示態様である。本実施形態における視認中モード画像ＷＡＬ〜ＷＤＬは、例えば、通常モード画像ＷＡＮ〜ＷＤＮに対して外枠を太枠とする表示態様である。
また、変更モード画像出力部６１ｂは、後述する変更モード選択部６３ｂにより、変更モードＣＡ〜ＣＣを含むモードＣＡ〜ＣＤのいずれかが選択されると、選択されたモードＣＡ〜ＣＤに対応するモード画像ＷＡ〜ＷＤの表示態様を通常表示態様および視認中表示態様と異なる選択後表示態様に切り替える。本実施形態における変更モード画像出力部６１ｂは、図７および図８示すように、選択されたモードＣＡ〜ＣＤに対応して先選択メイン画面エリアＥＭ１の一部に表示されている視認中表示態様である視認中モード画像ＷＡＬ〜ＷＤＬを選択後表示態様である選択後モード画像ＷＡＣ〜ＷＤＣ（選択後変更モード画像ＷＡＣ〜ＷＣＣおよび選択後キャンセルモード画像ＷＤＣ）に変更して表示する。ここで、選択後モード画像ＷＡＣ〜ＷＤＣは、通常モード画像ＷＡＮ〜ＷＤＮおよび視認中モード画像ＷＡＬ〜ＷＤＬと表示態様が異なるものであり、搭乗者２００に対して各モードＣＡ〜ＣＤのうち、どのモードＣＡ〜ＣＤが選択されたかを認識することができる表示態様である。本実施形態における選択後モード画像ＷＡＣ〜ＷＤＣは、例えば、通常モード画像ＷＡＮ〜ＷＤＮに対して外枠を太枠とし、枠内の色を変更する表示態様である。なお、選択後表示態様としては、画面上の動きも含まれるものであり、選択後モード画像ＷＡＣ〜ＷＤＣは、例えば、通常モード画像ＷＡＮ〜ＷＤＮに対して外枠が点滅したり、通常モード画像ＷＡＮ〜ＷＤＮが先選択メイン画面エリアＥＭ１に対して位置が変化する、すなわち動くことであってもよい。
視認判定部６２は、視線状態に基づいて、複数の注視画像Ｘのうち、どの注視画像Ｘを搭乗者２００が視認しているかを判定するものである。また、視認判定部６２は、視線状態に基づいて、複数のモード画像ＷＡ〜ＷＤのうち、どのモード画像ＷＡ〜ＷＤを搭乗者２００が視認しているかを判定するものである。本実施形態における視認判定部６２は、搭乗者２００からみた場合における仮想平面内の表示装置２Ａ〜２Ｅの位置（２次元座標位置）と、視線状態検出装置３により検出された視線Ｌに基づいた仮想平面内の視点の位置とに基づいて、搭乗者２００が表示装置２Ａ〜２Ｅのうちどこを視認しているかを判定する。視認判定部６２は、注視画像視認判定部６２ａと、変更モード画像視認判定部６２ｂとを有する。
注視画像視認判定部６２ａは、視線状態に基づいて、複数のメイン画面エリアＥＭＡ〜ＥＭＥのうち、１つのメイン画面エリアＥＭＡ〜ＥＭＥの注視画像Ｘを搭乗者２００が視認している否かを判定するものである。本実施形態における注視画像視認判定部６２ａは、視線Ｌの方向が各メイン画面エリアＥＭＡ〜ＥＭＥの注視画像エリアＥＸＡ〜ＥＸＥ内のいずれかに向いているか否か、すなわち仮想平面において注視画像エリアＥＸＡ〜ＥＸＥに対応する領域内のいずれかに視点が位置する否かを判定する。
変更モード画像視認判定部６２ｂは、視線状態に基づいて、複数の変更モード画像ＷＡ〜ＷＣのうち、１つの変更モード画像ＷＡ〜ＷＣを搭乗者２００が視認している否かを判定するものである。本実施形態における変更モード画像視認判定部６２ｂは、複数の変更モード画像ＷＡ〜ＷＣを含むモード画像ＷＡ〜ＷＤのうち、１つのモード画像ＷＡ〜ＷＤを搭乗者２００が視認している否かを判定する。変更モード画像視認判定部６２ｂは、視線Ｌの方向が各複数のモード画像ＷＡ〜ＷＤに対応するモード画面エリアＥＷＡ〜ＥＷＤ内のいずれかに向いているか否か、すなわち仮想平面においてモード画面エリアＥＷＡ〜ＥＷＤに対応する領域内のいずれかに視点が位置する否かを判定する。
選択部６３は、メイン画面エリア選択部６３ａと、変更モード選択部６３ｂとを有する。メイン画面エリア選択部６３ａは、入力部に基づいて、複数のメイン画面エリアＥＭＡ〜ＥＭＥのうち、搭乗者２００が視認していると判定された注視画像Ｘに対応するメイン画面エリアＥＭＡ〜ＥＭＥを搭乗者２００の意志により選択するものである。本実施形態におけるメイン画面エリア選択部６３ａは、視線情報に基づいて、視認している注視画像Ｘを視認し続けることで、メイン画面エリアＥＭＡ〜ＥＭＥの選択を行うものである。また、変更モード選択部６３ｂは、入力部に基づいて、複数のモードＣＡ〜ＣＤのうち、搭乗者２００が視認していると判定されたモード画像ＷＡ〜ＷＤに対応するモードＣＡ〜ＣＤを搭乗者２００の意志により選択するものである。本実施形態における変更モード選択部６３ｂは、視線情報に基づいて、視認しているモード画像ＷＡ〜ＷＤ画像を視認し続けることで、対応するモードＣＡ〜ＣＤの選択を行うものである。
音声認識部６４は、マイク４により入力された搭乗者２００の音声を識別するものであり、予め記憶部６５に記憶されている音声情報と比較することで、入力された搭乗者２００の音声に対応する音声情報を選択するものである。
記憶部６５は、制御装置６が実行する各種処理にそれぞれ対応するプログラム、初期設定情報などを記憶するものである。記憶部６５は、注視画像情報６５ａと、メニュー画像情報６５ｂとを有する。
次に、本実施形態における車両用表示システム１の動作について説明する。図１２は、実施形態における車両用表示システムの動作を示すフロー図である。図１３は、実施形態における車両用表示システムのメイン画面エリア選択処理を示すフロー図である。図１４は、実施形態における車両用表示システムの変更モード選択処理を示すフロー図である。
制御装置６は、図１２に示すように、まずメイン画面エリア選択処理を実行する（ステップＳＴ１０１）。次に、制御装置６は、図１３に示すように、視線状態を取得する（ステップＳＴ２０１）。ここでは、制御装置６は、視線状態検出装置３により検出された視線情報を取得する。なお、制御装置６の注視画像出力部６１ａは、各メイン画面エリアＥＭＡ〜ＥＭＥに対して通常注視画像ＸＮを表示している。
次に、制御装置６の注視画像視認判定部６２ａは、視線状態に基づいて、搭乗者２００が複数のメイン画面エリアＥＭＡ〜ＥＭＥに対応する複数の注視画像Ｘのいずれかを視認しているか否かを判定する（ステップＳＴ２０２）。
次に、制御装置６は、搭乗者２００が複数のメイン画面エリアＥＭＡ〜ＥＭＥに対応する複数の注視画像Ｘのいずれかを視認していると判定する（ステップＳＴ２０２：Ｙｅｓ）と、停留中フラグがＯＮであるか否かを判定する（ステップＳＴ２０３）。ここでは、制御装置６は、図３に示すように、搭乗者２００が複数のメイン画面エリアＥＭＡ〜ＥＭＥに対応する複数の注視画像Ｘのうち、メイン画面エリアＥＭＣに対応する注視画像Ｘ（表示されている通常注視画像ＸＮ）を視認しているとした場合に、搭乗者２００がメイン画面エリアＥＭＣに対応する注視画像Ｘを視認しつづけているか否かを滞留中フラグがＯＮであるか否かを判定する。
次に、制御装置６は、停留中フラグがＯＦＦであると判定する（ステップＳＴ２０３：Ｎｏ）と、停留中フラグをＯＮとする（ステップＳＴ２０４）。ここでは、制御装置６は、搭乗者２００がメイン画面エリアＥＭＣに対応する注視画像Ｘを視認し始めた場合に、停留中フラグをＯＮとする。
次に、制御装置６の注視画像出力部６１ａは、メイン画面エリアＥＭＣに対応する通常注視画像ＸＮを視認中注視画像ＸＬに変更して表示する（ステップＳＴ２０５）。ここでは、注視画像出力部６１ａは、図５に示すように、メイン画面エリアＥＭＣに対応する注視画像Ｘとして、視認中注視画像ＸＬを表示する。
次に、制御装置６は、図１３に示すように、タイマーＴ２のカウントを開始する（ステップＳＴ２０６）し、停留中フラグがＯＮとなった状態で、メイン画面エリア選択処理を終了する。
また、制御装置６は、停留中フラグがＯＮであると判定する（ステップＳＴ２０３：Ｙｅｓ）と、タイマーＴ２が所定値Ｔｔｈ２以上であるか否かを判定する（ステップＳＴ２０７）。ここでは、制御装置６は、搭乗者２００がメイン画面エリアＥＭＣに対応する注視画像Ｘを所定時間視認し続けているか否かをタイマーＴ２が所定値Ｔｔｈ２（例えば、数秒）以上であるか否かで判定する。
次に、制御装置６は、タイマーＴ２が所定値Ｔｔｈ２を超えると判定する（ステップＳＴ２０７：Ｙｅｓ）と、選択メイン画面エリアを記憶する（ステップＳＴ２０８）。ここでは、制御装置６のメイン画面エリア選択部６３ａは、搭乗者２００がメイン画面エリアＥＭＣに対応する注視画像Ｘを所定時間視認し続けていると、複数のメイン画面エリアＥＭＡ〜ＥＭＥのうち、メイン画面エリアＥＭＣを選択メイン画面エリア、本実施形態では先選択メイン画面エリアＥＭ１として記憶する。
次に、制御装置６の注視画像出力部６１ａは、メイン画面エリアＥＭＣに対応する視認中注視画像ＸＬを選択後注視画像ＸＣに変更して表示する（ステップＳＴ２０９）。ここでは、注視画像出力部６１ａは、図７に示すように、メイン画面エリアＥＭＣに対応する注視画像Ｘとして、選択後注視画像ＸＣを表示する。制御装置６は、メイン画面エリア選択処理を終了する。
また、制御装置６は、図１３に示すように、タイマーＴ２が所定値Ｔｔｈ２以下であると判定する（ステップＳＴ２０７：Ｎｏ）と、メイン画面エリア選択処理を終了する。
また、注視画像視認判定部６２ａは、搭乗者２００が複数のメイン画面エリアＥＭＡ〜ＥＭＥに対応する複数の注視画像Ｘのいずれかを視認していないと判定する（ステップＳＴ２０２：Ｎｏ）と、停留中フラグをＯＦＦとする（ステップＳＴ２１０）。ここでは、制御装置６は、搭乗者２００がメイン画面エリアＥＭＣに対応する注視画像Ｘを視認し終えた場合に、停留中フラグをＯＦＦとする。
次に、制御装置６は、タイマーＴ２をリセットする（ステップＳＴ２１１）。
次に、制御装置６の注視画像出力部６１ａは、表示されている視認中注視画像ＸＬを通常注視画像ＸＮに変更して表示する（ステップＳＴ２１２）。ここでは、注視画像出力部６１ａは、図６に示すように、メイン画面エリアＥＭＣに対応する注視画像Ｘとして、通常注視画像ＸＮを表示する。制御装置６は、メイン画面エリア選択処理を終了する。
次に、制御装置６は、図１２に示すように、先選択メイン画面エリアＥＭ１を選択したか否かを判定する（ステップＳＴ１０２）。
次に、制御装置６は、先選択メイン画面エリアＥＭ１が選択されたと判定する（ステップＳＴ１０２：Ｙｅｓ）と、先選択表示情報Ｓ１を記憶する（ステップＳＴ１０３）。ここでは、制御装置６は、メイン画面エリアＥＭＣを先選択メイン画面エリアＥＭ１として選択すると、先選択メイン画面エリアＥＭ１に表示されている表示情報ＳＣを先選択表示情報Ｓ１として記憶する。なお、制御装置６は、先選択メイン画面エリアＥＭ１が選択されていないと判定する（ステップＳＴ１０２：Ｎｏ）と、先選択メイン画面エリアＥＭ１が選択されたと判定するまで、メイン画面エリア選択処理を実行する。
次に、制御装置６は、タイマーＴ１のカウントを開始する（ステップＳＴ１０４）。
次に、制御装置６の変更モード画像出力部６１ｂは、メニュー画像Ｗを表示する（ステップＳＴ１０５）。ここでは、制御装置６は、図６に示すように、先選択メイン画面エリアＥＭ１に変更モード画像ＷＡ〜ＷＣおよびキャンセルモード画像ＷＤを含むメニュー画像Ｗを表示する。
まず、制御装置６は、変更モード選択処理を実行する（ステップＳＴ１０６）。
次に、制御装置６は、図１４に示すように、視線状態を取得する（ステップＳＴ３０１）。
次に、制御装置６の変更モード画像視認判定部６２ｂは、視線状態に基づいて、搭乗者２００が複数のモードＣＡ〜ＣＤに対応する複数のモード画像ＷＡ〜ＷＤのいずれかを視認しているか否かを判定する（ステップＳＴ３０２）。
次に、制御装置６は、搭乗者２００が複数のモードＣＡ〜ＣＤに対応する複数のモード画像ＷＡ〜ＷＤのいずれかを視認していると判定する（ステップＳＴ３０２：Ｙｅｓ）と、今回のモードＣ１を記憶する（ステップＳＴ３０３）。ここでは、制御装置６は、図６に示すように、搭乗者２００が複数のモードＣＡ〜ＣＤに対応する複数のモード画像ＷＡ〜ＷＤのうち、メイン画面エリアＥＭＣに表示されている変更モードＣＢに対応する変更モード画像ＷＢ（表示されている通常モード画像ＷＢＮ）を視認しているとした場合に、変更モードＣＢを今回のモードＣ１として記憶する。
次に、制御装置６は、停留中フラグがＯＮであるか否かを判定する（ステップＳＴ３０４）。ここでは、搭乗者２００が変更モードＣＢに対応する変更モード画像ＷＢを視認し続けているか否かを滞留中フラグがＯＮであるか否かで判定する。
次に、制御装置６は、停留中フラグがＯＦＦであると判定する（ステップＳＴ３０４：Ｎｏ）と、停留中フラグをＯＮとする（ステップＳＴ３０５）。ここでは、制御装置６は、搭乗者２００が変更モードＣＢに対応する変更モード画像ＷＢを視認し始めた場合に、停留中フラグをＯＮとする。
次に、制御装置６の変更モード画像出力部６１ｂは、今回のモードである変更モードＣＢに対応する通常モード画像ＷＢＮを視認中モード画像ＷＢＬに変更して表示する（ステップＳＴ３０６）。ここでは、変更モード画像出力部６１ｂは、図７に示すように、変更モードＣＢに対応する変更モード画像ＷＢとして、視認中モード画像ＷＢＬを表示する。
次に、制御装置６は、図１４に示すように、タイマーＴ３のカウントを開始（ステップＳＴ３０７）し、停留中フラグがＯＮとなった状態で、ステップＳＴ３０１〜ＳＴ３０４を繰り返す。
また、制御装置６は、停留中フラグがＯＮであると判定する（ステップＳＴ３０４：Ｙｅｓ）と、今回のモードが前回のモードと同じか否かを判定する（ステップＳＴ３０８）。ここでは、制御装置６は、搭乗者２００が以前に視認したモードＣＡ〜ＣＤに対応するモード画像ＷＡ〜ＷＤと異なるモードＣＡ〜ＣＤに対応するモード画像ＷＡ〜ＷＤを視認、すなわち搭乗者２００によるモードＣＡ〜ＣＤの変更意志があるか否かを判定する。
また、制御装置６は、今回のモードが前回のモードと同じであると判定する（ステップＳＴ３０８：Ｙｅｓ）と、タイマーＴ３が所定値Ｔｔｈ３以上であるか否かを判定する（ステップＳＴ３０９）。ここでは、制御装置６は、搭乗者２００が変更モードＣＢに対応する変更モード画像ＷＢを所定時間視認し続けているか否かをタイマーＴ３が所定値Ｔｔｈ３（例えば、数秒）以上であるか否かで判定する。
次に、制御装置６は、タイマーＴ３が所定値Ｔｔｈ３を超えると判定する（ステップＳＴ３０９：Ｙｅｓ）と、選択モードを記憶する（ステップＳＴ３１０）。ここでは、制御装置６の変更モード選択部６３ｂは、搭乗者２００が変更モードＣＢに対応する変更モード画像ＷＢを所定時間視認し続けていると、複数のモードＣＡ〜ＣＤのうち、変更モードＣＢを選択モードＣ１として記憶する。
次に、変更モード画像出力部６１ｂは、変更モードＣＢに対応する視認中モード画像ＷＢＬを選択後モード画像ＷＢＣに変更して表示する（ステップＳＴ３１１）。ここでは、変更モード画像出力部６１ｂは、図８に示すように、変更モードＣＢに対応する変更モード画像ＷＢとして、選択後モード画像ＷＢＣを表示する。制御装置６は、変更モード選択処理を終了する。
また、制御装置６は、図１４に示すように、タイマーＴ３が所定値Ｔｔｈ３以下であると判定する（ステップＳＴ３０９：Ｎｏ）と、タイマーＴ３が所定値Ｔｔｈ３を超えるまで、ステップＳＴ３０１〜ＳＴ３０９を繰り返す。
また、変更モード画像出力部６１ｂは、今回のモードが前回のモードと異なると判定する（ステップＳＴ３０８：Ｎｏ）と、前回モードであるモードＣＡ〜ＣＤに対応する視認中モード画像ＷＡＬ〜ＷＤＬを通常モード画像ＷＡＮ〜ＷＤＮに変更して表示する（ステップＳＴ３１２）。
次に、変更モード画像出力部６１ｂは、今回のモードである変更モードＣＢに対応する通常モード画像ＷＢＮを視認中モード画像ＷＢＬに変更して表示する（ステップＳＴ３１３）。
次に、制御装置６は、今回のモードを前回のモードとして記憶する（ステップＳＴ３１４）。
次に、制御装置６は、タイマーＴ３をリセットするとともに、タイマーＴ３のカウントを開始し（ステップＳＴ３１５）し、ステップＳＴ３０１〜ＳＴ３０８を繰り返す。ここでは、制御装置６は、搭乗者２００によるモードＣＡ〜ＣＤの変更意志がある場合に、タイマーＴ３をリスタートする。
また、変更モード画像視認判定部６２ｂは、搭乗者２００が複数のモードＣＡ〜ＣＤに対応する複数のモード画像ＷＡ〜ＷＤのいずれかを視認していないと判定する（ステップＳＴ３０２：Ｎｏ）と、停留中フラグをＯＦＦとする（ステップＳＴ３１６）。ここでは、制御装置６は、搭乗者２００が変更モードＣＢに対応する変更モード画像ＷＢを視認し終えた場合に、停留中フラグをＯＦＦとする。
次に、制御装置６は、タイマーＴ３をリセットする（ステップＳＴ３１７）。
次に、変更モード画像出力部６１ｂは、表示されている視認中モード画像ＷＡＬ〜ＷＤＬを通常モード画像ＷＡＮ〜ＷＤＮに変更して表示する（ステップＳＴ３１８）。ここでは、変更モード画像出力部６１ｂは、図６に示すように、変更モードＣＢに対応する変更モード画像ＷＢとして、通常モード画像ＷＢＮを表示する。制御装置６は、変更モード選択処理を終了する。
次に、制御装置６は、図１２に示すように、変更モード処理が終了すると、タイマーＴ１が所定値Ｔｔｈ１以下であるか否か判定する（ステップＳＴ１０７）。ここでは、制御装置６は、先選択メイン画面エリアＥＭ１を選択した後、変更モード選択処理を行うために要した時間が車両用表示システム１の動作を強制的に終了してもよい時間か否かをタイマーＴ１が所定値Ｔｔｈ１（例えば、十数秒）以上であるか否かで判定する。
次に、制御装置６は、タイマーＴ１が所定値Ｔｔｈ１以下であると判定する（ステップＳＴ１０７：Ｙｅｓ）と、変更モード処理において、変更モードＣＡ〜ＣＣが選択されたか否かを判定する（ステップＳＴ１０８）。ここでは、制御装置６は、変更モード処理において、選択モードＣ１として変更モードＣＡ〜ＣＣ以外のモード、すなわちキャンセルモードＣＤが選択されているか否かを判定する。
次に、制御装置６は、変更モード選択処理において、変更モードＣＡ〜ＣＣが選択されたと判定する（ステップＳＴ１０８：Ｙｅｓ）と、タイマーＴ１をリセットするとともに、タイマーＴ１のカウントを開始し（ステップＳＴ１０９）。ここでは、制御装置６は、複数のメイン画面エリアＥＭＡ〜ＥＭＥのうち、後選択メイン画面エリアＥＭ２を選択されるまでの時間をカウントするために、タイマーＴ１をリスタートする。
次に、制御装置６は、メイン画面エリア選択処理を実行する（ステップＳＴ１１０）。ここでは、制御装置６は、複数のメイン画面エリアＥＭＡ〜ＥＭＥのうち、後選択メイン画面エリアＥＭ２を選択する。制御装置６は、図１２に示すメイン画面エリア選択処理を実行することで、搭乗者２００が複数のメイン画面エリアＥＭＡ〜ＥＭＥに対応する複数の注視画像Ｘのうち、図９に示すように、メイン画面エリアＥＭＡに対応する注視画像Ｘ（表示されている通常注視画像ＸＮ）を視認しているとした場合に、図１０に示すように、メイン画面エリアＥＭＡに対応する注視画像Ｘを視認中注視画像ＸＬに変更し、搭乗者２００がメイン画面エリアＥＭＡに対応する注視画像Ｘを視認し続けることで、図１１に示すように、メイン画面エリアＥＭＡに対応する注視画像Ｘを選択後注視画像ＸＣに変更し、メイン画面エリアＥＭＡを後選択メイン画面エリアＥＭ２として選択する。
次に、制御装置６は、図１２に示すように、メイン画面エリア選択処理が終了すると、タイマーＴ１が所定値Ｔｔｈ１以下であるか否か判定する（ステップＳＴ１１１）。ここでは、制御装置６は、後選択メイン画面エリアＥＭ２を選択するためにメイン画面エリア選択処理を行うために要した時間が車両用表示システム１の動作を強制的に終了してもよい時間か否かをタイマーＴ１が所定値Ｔｔｈ１（例えば、十数秒）以上であるか否かで判定する。
次に、制御装置６は、後選択メイン画面エリアＥＭ２を選択したか否かを判定する（ステップＳＴ１１２）。
次に、画面制御部６１は、後選択メイン画面エリアＥＭ２を選択したと判定する（ステップＳＴ１１２：Ｙｅｓ）と、選択された変更モードＣＡ〜ＣＣを実行する（ステップＳＴ１１３）。ここでは、制御装置６は、選択モードＣ１である変更モードＣＡ〜ＣＣに応じた変更モードを実行する。制御装置６は、選択モードＣ１が変更モードＣＢである場合に、後選択メイン画面エリアＥＭ２（ＥＭＡ）の表示を後選択表示情報Ｓ２から先選択表示情報Ｓ１に切り替えて表示し、先選択メイン画面エリアＥＭ１（ＥＭＣ）における表示情報を先選択表示情報Ｓ１のまま維持する。なお、制御装置６は、後選択メイン画面エリアＥＭ２が選択されていないと判定する（ステップＳＴ１１２：Ｎｏ）と、後選択メイン画面エリアＥＭ２が選択されたと判定するまで、ステップＳＴ１１０〜ステップＳＴ１１２を繰り返す。
次に、変更モード画像出力部６１ｂは、メニュー画像Ｗを消去する（ステップＳＴ１１４）。ここでは、制御装置６は、変更モードを実行した後に、先選択メイン画面エリアＥＭ１（ＥＭＣ）に表示されているメニュー画像Ｗを消去する。
次に、注視画像出力部６２ａは、選択後注視画像ＸＣが表示されている場合に、通常注視画像ＸＮに変更して表示する（ステップＳＴ１１５）。
次に、制御装置６は、タイマーＴ１をリセットし（ステップＳＴ１１６）、現在の制御周期を終了し、次の制御周期に移行する。
また、制御装置６は、タイマーＴ１が所定値Ｔｔｈ１を越えると判定する（ステップＳＴ１０７：Ｎｏ、ステップＳＴ１１１：Ｎｏ）と、メニュー画像Ｗを消去し（ステップＳＴ１１４）、通常注視画像ＸＮに変更して表示する（ステップＳＴ１１５）。
また、制御装置６は、変更モード処理において、キャンセルモードＣＤが選択されたと判定する（ステップＳＴ１０８：Ｎｏ）と、メニュー画像Ｗを消去し（ステップＳＴ１１４）、通常注視画像ＸＮに変更して表示する（ステップＳＴ１１５）。
以上のように、本実施形態における車両用表示システム１は、注視画像視認判定部６２ａにより複数のメイン画面エリアＥＭＡ〜ＥＭＥのうち、１つのメイン画面エリアの注視画像を搭乗者２００が視認していると判定すると、メイン画面エリア選択部６３ａにより搭乗者２００が１つのメイン画面エリアの注視画像を視認し続けることで、視認し続けている先の１つのメイン画面エリアを先選択メイン画面エリアＥＭ１として選択し、後の１つのメイン画面エリアを後選択メイン画面エリアＥＭ２として選択することで、先選択メイン画面エリアＥＭ１において表示されている先選択表示情報Ｓ１を後選択メイン画面エリアＥＭ２に表示する。従って、搭乗者２００は、複数のメイン画面エリアＥＭＡ〜ＥＭＥのうち、移動したい表示情報が表示されているメイン画面エリアの注視画像Ｘを視認し続けたのち、表示情報を移動させたいメイン画面エリアの注視画像Ｘを視認し続けることで、表示情報をメイン画面エリア間で移動することができる。これにより、搭乗者２００は、視線の移動という簡単な動作で、１つのメイン画面エリアに表示されている表示情報を他のメイン画面エリア変更することができる。
以上のように、本実施形態における車両用表示システム１は、変更モード画像視認判定部６２ｂにより複数の変更モードＣＡ〜ＣＣに対応する変更モード画像ＷＡ〜ＷＣのうち、１つの変更モード画像を搭乗者２００が視認していると判定すると、変更モード選択部６３ｂにより搭乗者２００が１つの変更モードに対応する変更モード画像を視認し続けることで、視認し続けている１つの変更モードを選択モードＣ１として選択し、選択モードＣ１である変更モードに基づいて、先選択メイン画面エリアＥＭ１において表示されている先選択表示情報Ｓ１を後選択メイン画面エリアＥＭ２に表示するとともに、先選択メイン画面エリアＥＭ１に表示する表示情報を決定することができる。従って、搭乗者２００は、複数のメイン画面エリアＥＭＡ〜ＥＭＥのうち、移動したい表示情報が表示されているメイン画面エリアの注視画像Ｘを視認し続けたのち、表示情報を移動させたいメイン画面エリアの注視画像Ｘを視認し続けることで、表示情報をメイン画面エリア間で移動することができるとともに、選択モードＣ１である変更モードに対応して先選択メイン画面エリアＥＭ１に表示する表示情報を決定することができる。これにより、搭乗者２００は、視線の移動という簡単な動作で、１つのメイン画面エリアに表示されている表示情報を他のメイン画面エリアに移動することができるとともに、１つのメイン画面エリアに表示する表示情報を決定することができる。
なお、上記実施形態における車両用表示システム１は、先選択メイン画面エリアＥＭ１に対応する注視画像Ｘを選択後表示態様である選択後注視画像ＸＣに変更するが、この変更時に合わせて先選択メイン画面エリアＥＭ１の外枠の表示態様を制御装置６により変更してもよい。例えば、変更時において、先選択メイン画面エリアＥＭ１の外枠の色を変更したり、外枠を点滅させりしてもよい。これにより、ユーザーは、注視画像Ｘのみならず、先選択メイン画面エリアＥＭ１においても表示態様が変更されるので、先選択メイン画像エリアＥＭ１を選択したことをより認識しやすくすることができる。
また、上記実施形態における車両用表示システム１は、入力部として視線状態検出装置３を用いているが、本発明はこれに限定されるものではなく、入力部としてマイク４および操作部５を用いてもよい。図１５は、変形例における車両用表示システムのメイン画面エリア選択処理を示すフロー図である。図１６は、変形例における車両用表示システムの変更モード選択処理を示すフロー図である。ここで、変形例における車両用表示システム１の基本的動作は、実施形態における車両用表示システム１の基本的動作と同一またはほぼ同一であるので同一ステップは、その説明を省略または簡略化する。
制御装置６は、メイン画面エリア選択処理において、図１５に示すように、視線状態を取得し（ステップＳＴ２０１）、搭乗者２００が複数のメイン画面エリアＥＭＡ〜ＥＭＥに対応する複数の注視画像Ｘのいずれかを視認しているか否かを判定する（ステップＳＴ２０２）。
次に、注視画像出力部６１ａは、搭乗者２００が複数のメイン画面エリアＥＭＡ〜ＥＭＥに対応する複数の注視画像Ｘのいずれかを視認していると判定する（ステップＳＴ２０２：Ｙｅｓ）と、メイン画面エリアＥＭＣに対応する通常注視画像ＸＮを視認中注視画像ＸＬに変更して表示する（ステップＳＴ２２０）。
次に、制御装置６は、操作情報または音声情報を取得する（ステップＳＴ２２１）。ここで、制御装置６は、メイン画面エリアＥＭＣに対応する視認中注視画像ＸＬを表示した後、搭乗者２００が視認中注視画像ＸＬを表示しているメイン画面エリアＥＭＣを選択するために、操作部５を操作することで操作情報を取得、またはマイク４に対して音声を入力することで音声情報を取得する。
次に、制御装置６は、スイッチがＯＮである、または音声認識ができたか否かを判定する（ステップＳＴ２２２）。ここで、制御装置６は、搭乗者２００が視認中注視画像ＸＬを表示しているメイン画面エリアＥＭＣを選択するため、操作部５を操作することで、操作情報がスイッチをＯＮ、すなわち選択するという意志に基づいた情報であるか否かを判定する。また、制御装置６の音声認識部６４は、搭乗者２００が視認中注視画像ＸＬを表示しているメイン画面エリアＥＭＣを選択するため、マイク４に音声を入力することで、音声情報が選択するという意志に基づいた情報であるか否かを判定する。
次に、制御装置６は、スイッチがＯＮである、または音声認識ができたと判定する（ステップＳＴ２２２：Ｙｅｓ）と、選択メイン画面エリアを記憶し（ステップＳＴ２０８）、メイン画面エリアＥＭＣに対応する視認中注視画像ＸＬを選択後注視画像ＸＣに変更して表示し（ステップＳＴ２０９）、メイン画面エリア選択処理を終了する。
また、制御装置６は、スイッチがＯＦＦである、または音声認識ができないと判定する（ステップＳＴ２２２：Ｎｏ）と、メイン画面エリアＥＭＣに対応する視認中注視画像ＸＬを通常注視画像ＸＮに変更して表示し（ステップＳＴ２２３）、メイン画面エリア選択処理を終了する。
また、制御装置６は、搭乗者２００が複数のメイン画面エリアＥＭＡ〜ＥＭＥに対応する複数の注視画像Ｘのいずれかを視認していないと判定すると（ステップＳＴ２０２：Ｎｏ）、メイン画面エリア選択処理を終了する。
制御装置６は、変更モード選択処理において、図１６に示すように、視線状態を取得し（ステップＳＴ３０１）、視線状態に基づいて、搭乗者２００が複数のモードＣＡ〜ＣＤに対応する複数のモード画像ＷＡ〜ＷＤのいずれかを視認しているか否かを判定する（ステップＳＴ３０２）。
次に、変更モード画像出力部６１ｂは、搭乗者２００が複数のモードＣＡ〜ＣＤに対応する複数のモード画像ＷＡ〜ＷＤのいずれかを視認していると判定する（ステップＳＴ３０２：Ｙｅｓ）と、変更モードＣＢに対応する通常モード画像ＷＢＮを視認中モード画像ＷＢＬに変更して表示する（ステップＳＴ３１９）。
次に、制御装置６は、操作情報または音声情報を取得する（ステップＳＴ３２０）。ここで、制御装置６は、変更モードＣＢに対応する視認中モード画像ＷＢＬを表示した後、搭乗者２００が視認中モード画像ＷＢＬを表示している変更モードＣＢを選択するために、操作部５を操作することで操作情報を取得、またはマイク４に対して音声を入力することで音声情報を取得する。
次に、制御装置６は、スイッチがＯＮである、または音声認識ができたか否かを判定する（ステップＳＴ３２１）。ここで、制御装置６は、搭乗者２００が視認中モード画像ＷＢＬを表示している変更モードＣＢを選択するため、操作部５を操作することで、操作情報がスイッチをＯＮ、すなわち選択するという意志に基づいた情報であるか否かを判定する。また、制御装置６の音声認識部６４は、搭乗者２００が視認中モード画像ＷＢＬを表示している変更モードＣＢを選択するため、マイク４に音声を入力することで、音声情報が選択するという意志に基づいた情報であるか否かを判定する。
次に、制御装置６は、スイッチがＯＮである、または音声認識ができたと判定する（ステップＳＴ３２１：Ｙｅｓ）と、選択モードを記憶し（ステップＳＴ３１０）、変更モードＣＢに対応する視認中モード画像ＷＢＬを選択後モード画像ＷＢＣに変更して表示し（ステップＳＴ３１１）、変更モード選択処理を終了する。
また、制御装置６は、スイッチがＯＦＦである、または音声認識ができないと判定する（ステップＳＴ３２１：Ｎｏ）と、変更モードＣＢに対応する視認中モード画像ＷＢＬを通常モード画像ＷＢＮに変更して表示し（ステップＳＴ３２２）、変更モード選択処理を終了する。
また、制御装置６は、搭乗者２００が複数のモードＣＡ〜ＣＤに対応する複数のモード画像ＷＡ〜ＷＤのいずれかを視認していないと判定する（ステップＳＴ３０２：Ｎｏ）と、変更モード選択処理を終了する。
以上のように、変形例における車両用表示システム１においては、搭乗者２００は、複数のメイン画面エリアＥＭＡ〜ＥＭＥのうち、移動したい表示情報が表示されているメイン画面エリアの注視画像Ｘを視認し、簡単な動作である操作部５の操作、またはマイク４に対する音声入力により選択し、表示情報を移動させたいメイン画面エリアの注視画像Ｘを視認し、簡単な動作である操作部５に対する１回の操作、またはマイク４に対する音声入力により選択することで、表示情報をメイン画面エリア間で移動することができる。これにより、搭乗者２００は、操作部５に対する１回の操作、またはマイク４に対する音声入力という簡単な動作で、１つのメイン画面エリアに表示されている表示情報を他のメイン画面エリアに移動することができる。
また、変形例における車両用表示システム１においては、搭乗者２００は、複数のメイン画面エリアＥＭＡ〜ＥＭＥのうち、移動したい表示情報が表示されているメイン画面エリアの注視画像Ｘを視認し、簡単な動作である操作部５の操作、またはマイク４に対する音声入力により選択し、表示情報を移動させたいメイン画面エリアの注視画像Ｘを視認し、簡単な動作である操作部５の操作、またはマイク４に対する音声入力により選択することで、表示情報をメイン画面エリア間で移動することができるとともに、選択モードＣ１である変更モードに対応して先選択メイン画面エリアＥＭ１に表示する表示情報を決定することができる。これにより、搭乗者２００は、視線の移動という簡単な動作で、１つのメイン画面エリアに表示されている表示情報を他のメイン画面エリアに移動することができるとともに、１つのメイン画面エリアに表示する表示情報を決定することができる。
なお、入力部として視線状態検出装置３を用いて、視線Ｌの変化に基づいて、メイン画面エリアおよびモードの選択を行ってもよい。制御装置６は、例えば、視線状態として目をつぶっているか否かに基づいてメイン画面エリアおよびモードの選択を行ってもよい。
なお、入力部としてマイク４を用いて、音声認識の違いに基づいて、メイン画面エリアおよびモードの選択を行ってもよい。制御装置６の記憶部に、予め「入れ替え」、「コピー」、「移動」、「キャンセル」という音声情報を記憶しておき、搭乗者２００が入力した音声が、これら音声情報のいずれかに該当するか否かに基づいてメイン画面エリアおよびモードの選択を行ってもよい。
１ 車両用表示システム
２Ａ〜２Ｅ 表示装置
３ 視線状態検出装置
３１ 赤外線ＬＥＤ
３２ 赤外線カメラ
３３ 視線状態検出部
４ マイク
５ 操作部
６ 制御装置
６１ 画面制御部
６１ａ 注視画像出力部
６１ｂ 変更モード画像出力部
６２ 視認判定部
６２ａ 注視画像視認判定部
６２ｂ 変更モード視認判定部
６３ 選択部
６３ａ 面画面エリア注視画像情報
６３ｂ メニュー画像情報
６４ 音声認識部
６５ 記憶部
６５ａ 注視画像情報
６５ｂ メニュー画像情報
１００ 車両
１０１ 車室
１０２ ウィンドシールド
１０３ インストルメントパネル
２００ 搭乗者
２０１，２０２ 目
ＣＡ〜ＣＣ 変更モード
ＣＤ キャンセルモード
ＥＭＡ〜ＥＭＥ メイン画面エリア
ＥＸＡ〜ＥＸＥ 注視画像エリア
ＥＷＡ〜ＥＷＤ モード画像エリア
ＳＡ〜ＳＥ 表示情報
Ｓ１ 先選択表示情報
Ｓ２ 後選択表示情報
Ｘ 注視画像
ＸＮ 通常注視画像
ＸＬ 視認中注視画像
ＸＣ 選択後注視画像
Ｗ メニュー画像
ＷＡ〜ＷＣ 変更モード画像
ＷＤ キャンセルモード画像
ＷＡＮ〜ＷＤＮ 通常モード画像
ＷＡＬ〜ＷＤＬ 注視中モード画像
ＷＡＣ〜ＷＤＣ 選択後モード画像

Claims (4)

  1. 車両の搭乗者の視線の状態である視線状態を検出する視線状態検出装置と、
    前記搭乗者が視認できる１以上の表示装置と、
    １以上の前記表示装置により構成される複数のメイン画面エリアと、
    前記複数のメイン画面エリアに対する表示制御を行う制御装置と、
    前記搭乗者の決定意志が入力される入力部と、
    を備え、
    前記制御装置は、
    各前記メイン画面エリア内の一部に、注視画像を表示する注視画像表示出力部と、
    前記視線状態に基づいて、前記複数のメイン画面エリアのうち、１つの前記メイン画面エリアの前記注視画像を前記搭乗者が視認している否かを判定する注視画像視認判定部と、
    前記入力部に基づいて、前記搭乗者が視認していると判定された前記注視画像に対応する前記メイン画面エリアを選択するメイン画面エリア選択部と、
    複数の前記メイン画面エリアのうち、１つの前記メイン画面エリアにおいて表示されている表示情報を他の前記メイン画面エリアにおいて表示する画面制御部と、
    を有し、
    前記画面制御部は、前記メイン画面エリア選択部により先に選択された前記メイン画面エリアである先選択メイン画面エリアにおいて表示されている先選択表示情報を、後に選択された前記メイン画面エリアである後選択メイン画面エリアに表示する、
    ことを特徴とする車両用表示システム。
  2. 請求項１に記載の車両用表示システムにおいて、
    前記画面制御部は、
    前記注視画像視認判定部により、前記搭乗者が視認していると判定された前記注視画像の表示態様を、前記搭乗者が視認していると判定される前の表示態様である通常表示態様と異なる視認中表示態様とする、
    車両用表示システム。
  3. 請求項２に記載の車両用表示システムにおいて、
    前記画面制御部は、
    前記メイン画面エリア選択部により、前記メイン画面エリアが選択された場合に、選択された前記メイン画面エリアに対応する前記注視画像の表示態様を、前記通常表示態様および視認中表示態様と異なる選択後表示態様とする、
    車両用表示システム。
  4. 請求項１〜３のいずれか１項に記載の車両用表示システムにおいて、
    制御装置は、
    前記メイン画面エリア選択部により、前記先選択メイン画面エリアが選択されると、前記先選択メイン画面エリア内の一部に、複数の変更モードに対応する変更モード画像を表示する変更モード画像出力部と、
    前記視線状態に基づいて、前記複数の変更モード画像のうち、１つの前記変更モード画像を前記搭乗者が視認している否かを判定する変更モード画像視認判定部と、
    前記入力部に基づいて、前記搭乗者が視認していると判定された前記変更モード画像に対応する変更モードを選択する変更モード選択部と、
    を有し、
    前記画面制御部は、前記先選択表示情報を、前記後選択メイン画面エリアに表示するとともに、前記変更モード選択部により、選択された前記変更モードに基づいて、前記先選択メイン画面エリアにおいて表示される表示情報を変更する、
    車両用表示システム。
JP2018111971A 2018-06-12 2018-06-12 車両用表示システム Active JP6731016B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018111971A JP6731016B2 (ja) 2018-06-12 2018-06-12 車両用表示システム
US16/428,038 US11052761B2 (en) 2018-06-12 2019-05-31 Vehicle display system using gaze interactions with multiple display areas
CN201910477648.0A CN110588514B (zh) 2018-06-12 2019-06-03 车辆用显示系统
EP19177952.9A EP3581423B1 (en) 2018-06-12 2019-06-03 Vehicle display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018111971A JP6731016B2 (ja) 2018-06-12 2018-06-12 車両用表示システム

Publications (2)

Publication Number Publication Date
JP2019215663A JP2019215663A (ja) 2019-12-19
JP6731016B2 true JP6731016B2 (ja) 2020-07-29

Family

ID=66690286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018111971A Active JP6731016B2 (ja) 2018-06-12 2018-06-12 車両用表示システム

Country Status (4)

Country Link
US (1) US11052761B2 (ja)
EP (1) EP3581423B1 (ja)
JP (1) JP6731016B2 (ja)
CN (1) CN110588514B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3089672B1 (fr) * 2018-12-05 2021-12-03 Thales Sa Procédé et système d’affichage et d’interaction embarqué dans une cabine de pilotage
JP2020138553A (ja) * 2019-02-26 2020-09-03 本田技研工業株式会社 車両用表示器の配置構造
JP7433810B2 (ja) * 2019-08-21 2024-02-20 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム及び記憶媒体
CN113031891B (zh) * 2019-12-25 2022-11-25 浙江宇视科技有限公司 一种屏幕选定的方法、装置、设备及存储介质
KR102288091B1 (ko) * 2020-04-23 2021-08-10 주식회사 옐로나이프 운전자의 시점을 기초로한 클러스터 디자인 요소의 시인성 개선 장치 및 방법
JP7560921B2 (ja) 2020-12-16 2024-10-03 パナソニックオートモーティブシステムズ株式会社 表示制御装置、表示制御システム及び表示制御方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05323932A (ja) * 1992-05-26 1993-12-07 Toshiba Corp マルチモニターシステム
JP4281462B2 (ja) * 2003-08-08 2009-06-17 日産自動車株式会社 車両用表示装置
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8150699B2 (en) * 2007-05-17 2012-04-03 Redstart Systems, Inc. Systems and methods of a structured grammar for a speech recognition command system
JP5341402B2 (ja) * 2008-06-04 2013-11-13 トヨタ自動車株式会社 車載表示システム
JP2012174057A (ja) * 2011-02-22 2012-09-10 Sharp Corp 表示装置、テレビジョン受像装置、特定方法、コンピュータプログラム及び記録媒体
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
DE102013225496B4 (de) * 2013-12-10 2022-11-17 Bayerische Motoren Werke Aktiengesellschaft Blickabhängige Steuerung von Menüs in Head-up Displays
GB201322873D0 (en) * 2013-12-23 2014-02-12 Tobii Technology Ab Eye gaze determination
JP2015232811A (ja) * 2014-06-10 2015-12-24 株式会社ニコン 表示装置及びデジタルカメラ
JP2016055801A (ja) * 2014-09-11 2016-04-21 トヨタ自動車株式会社 車載表示装置
JP2016084021A (ja) * 2014-10-27 2016-05-19 三菱電機株式会社 車両用表示装置及び車両用表示システム
GB2535544B (en) * 2015-02-23 2018-10-03 Jaguar Land Rover Ltd Display control apparatus and method
JP6533707B2 (ja) 2015-07-15 2019-06-19 日立オートモティブシステムズ株式会社 運転状態監視方法，装置，およびそれを備えた車両
JP2017123029A (ja) * 2016-01-06 2017-07-13 富士通株式会社 情報通知装置、情報通知方法及び情報通知プログラム
WO2017155219A1 (en) * 2016-03-07 2017-09-14 Lg Electronics Inc. Vehicle control device mounted in vehicle and control method thereof
KR20170141484A (ko) * 2016-06-15 2017-12-26 엘지전자 주식회사 차량용 제어장치 및 그것의 제어방법
JP6236691B1 (ja) * 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP2018010584A (ja) * 2016-07-15 2018-01-18 アイシン・エィ・ダブリュ株式会社 操作支援装置及びコンピュータプログラム
US20180341336A1 (en) * 2017-05-25 2018-11-29 Microsoft Technology Licensing, Llc Optical indication for keyboard input suggestion
GB2567164A (en) * 2017-10-04 2019-04-10 Continental Automotive Gmbh Display system in a vehicle

Also Published As

Publication number Publication date
EP3581423B1 (en) 2020-09-30
US20190375292A1 (en) 2019-12-12
US11052761B2 (en) 2021-07-06
CN110588514A (zh) 2019-12-20
EP3581423A1 (en) 2019-12-18
CN110588514B (zh) 2022-11-01
JP2019215663A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
JP6731016B2 (ja) 車両用表示システム
JP6214752B2 (ja) 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
KR101071777B1 (ko) 차재 기기의 조작장치
WO2007058095A1 (ja) 車両周辺表示装置
CN108621923A (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP5576134B2 (ja) 脇見警報装置
JP5467527B2 (ja) 車載機器制御装置
JP2017024652A (ja) 車両用シート制御装置
JP6197814B2 (ja) 車両用表示装置
JP5588764B2 (ja) 車載機器操作装置
JP2017039373A (ja) 車両用映像表示システム
US20210048884A1 (en) Display Method
US20180297471A1 (en) Support to handle an object within a passenger interior of a vehicle
JP6914730B2 (ja) 運転支援装置および運転支援方法
JP4720979B2 (ja) 車両用監視装置
JP2017125883A (ja) メガネ型情報表示装置
KR20130076215A (ko) 차량의 영상 변화 알림 장치
JP6428691B2 (ja) 車両の室内指標表示装置
JP2023049787A (ja) ミラー位置登録制御装置
JP2022148226A (ja) 画像表示装置
JP7146466B2 (ja) 車両制御システム
KR20130064867A (ko) 사이드 미러 자동 조정 장치 및 방법
JP7117577B2 (ja) 表示システム、表示制御装置、表示制御方法
JP6371589B2 (ja) 車載システム、視線入力受付方法及びコンピュータプログラム
JP2022181669A (ja) 車両用表示制御装置および表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200703

R150 Certificate of patent or registration of utility model

Ref document number: 6731016

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250