WO2017183129A1 - 情報表示方法及び表示制御装置 - Google Patents

情報表示方法及び表示制御装置 Download PDF

Info

Publication number
WO2017183129A1
WO2017183129A1 PCT/JP2016/062491 JP2016062491W WO2017183129A1 WO 2017183129 A1 WO2017183129 A1 WO 2017183129A1 JP 2016062491 W JP2016062491 W JP 2016062491W WO 2017183129 A1 WO2017183129 A1 WO 2017183129A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
information
display unit
visual field
display device
Prior art date
Application number
PCT/JP2016/062491
Other languages
English (en)
French (fr)
Inventor
辻　正文
Original Assignee
日産自動車株式会社
ルノー エス．ア．エス．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社, ルノー エス．ア．エス． filed Critical 日産自動車株式会社
Priority to PCT/JP2016/062491 priority Critical patent/WO2017183129A1/ja
Priority to EP16899402.8A priority patent/EP3447609B1/en
Priority to RU2018140685A priority patent/RU2720591C1/ru
Priority to JP2018512701A priority patent/JP6758788B2/ja
Priority to US16/094,571 priority patent/US10652387B2/en
Priority to MX2018012118A priority patent/MX367701B/es
Priority to CN201911294948.1A priority patent/CN110825237B/zh
Priority to KR1020187030091A priority patent/KR102019619B1/ko
Priority to CN201680084803.7A priority patent/CN109074151B/zh
Priority to BR112018071324-4A priority patent/BR112018071324B1/pt
Priority to MYPI2018703622A priority patent/MY194747A/en
Publication of WO2017183129A1 publication Critical patent/WO2017183129A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0005—Dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an information display method and a display control device.
  • a vehicle display device that displays content on a display unit of a mobile terminal arranged at a predetermined position in a vehicle is known (for example, see Patent Document 1).
  • the reference position in the vehicle and the position of the driver's eyes are recognized by the imaging unit of the portable terminal, and content of the content is determined according to the position of the driver's eyes with respect to the reference position. At least one of the display size and the display position is changed.
  • the display form of information displayed on the display unit does not change in relation to the driver's line of sight. For this reason, information embodied in the display device existing in the peripheral visual field of the driver may be displayed, or only information abstracted may be displayed on the display device existing in the central visual field of the driver. .
  • the problem to be solved by the present invention is to provide an information display method and a display control device capable of appropriately setting information to be displayed on the display device in relation to the line of sight of the user of the display device.
  • a user of a display device is photographed by an imaging device integrated with the display device or provided around the display device, the user's line of sight is detected from the photographed image, and the display unit has a central visual field.
  • the notification information is displayed on the display unit in the first display form, and when the display unit exists in the peripheral visual field, the notification information is displayed in the first display form having a higher abstraction level than the first display form.
  • the information to be displayed on the display device is displayed by changing the abstraction level of the display form of the notification information depending on whether the display device is included in the central visual field region or the peripheral visual field region of the user.
  • FIG. 3 It is a figure showing the outline of the information display system for vehicles concerning one embodiment of the present invention. It is a figure which shows the front surface of the display apparatus of FIG. It is a block diagram which shows the information display system for vehicles of FIG. It is a figure for demonstrating the gaze detection process of the processor of FIG. 3, an estimation process, and an installation position determination process. It is a figure for demonstrating the display information generation process of a processor of FIG. 3, and a display control process. It is a figure for demonstrating the display information generation process of a processor of FIG. 3, and a display control process. It is a flowchart which shows the control procedure of the image display process which the vehicle information display system which concerns on one Embodiment of this invention performs.
  • It is a block diagram which shows schematic structure of the vehicle information display system which concerns on other embodiment of this invention. It is a figure for demonstrating the installation position estimation process of the processor of FIG. It is a flowchart which shows the control procedure of the information display process which the information display system for vehicles which concerns on other embodiment of this invention performs. It is a flowchart which shows the control procedure of the information display process which the information display system for vehicles which concerns on other embodiment of this invention performs. It is a figure which shows the display image corresponding to Disp 1 of other embodiment of this invention.
  • FIG. 1 is a diagram schematically illustrating a vehicle information display system 10 according to an embodiment of the present invention.
  • the vehicle information display system 10 shown in this figure has an installation position and a driver's field of view on a display unit 101 (see FIG. 2) of a display device 100 installed at an arbitrary position in front of the driver's seat in the vehicle 1. It is a system that displays information according to the relationship.
  • the vehicle information display system 10 includes a display device 100, a communication unit 20, and a server 30.
  • the display device 100 can be fixed on the dashboard 2 of the vehicle or in front of the meter panel 3 by the fixing device 4.
  • FIG. 2 is a diagram showing the front surface of the display device 100.
  • the display device 100 is a movable terminal device that includes a display unit 101 and an imaging device 102.
  • portable terminals such as a smart phone, a tablet terminal, and PDA
  • the display device 100 of the present embodiment is a smartphone
  • the display unit 101 is a display such as a liquid crystal or an organic EL
  • the imaging device 102 is an in-camera.
  • the display device 100 is installed with application software for executing processing for causing the display unit 101 to display information corresponding to the relationship between the driver's field of view and the installation position of the display device 100. An image displayed on the display unit 101 according to the relationship between the driver's field of view and the installation position will be described later.
  • the communication unit 20 is connected to an in-vehicle network such as a CAN (Controller Area Network) and receives vehicle information from an in-vehicle device such as an ECU (Engine Control Unit or Electronic Control Unit).
  • vehicle information includes speed, engine speed, brake state, steering state, in-vehicle camera image, blinker state, ON / OFF of headlight switch and vehicle width light switch, ON / OFF of ignition switch. Examples include OFF.
  • the communication unit 20 is connected to the display device 100 via wireless communication such as Bluetooth (registered trademark) or wired communication such as a wired LAN, and the vehicle received from vehicle identification information such as a vehicle identification number or on-vehicle equipment. Information or the like is transmitted to the display device 100.
  • the server 30 is connected to a wireless communication network and transmits / receives information to / from the display device 100.
  • this wireless communication network LTE (Long Term Evolution), 3G and other mobile phone communication networks, WiMAX (registered trademark) and other wireless communication networks, and beacons and other highway traffic network wireless communication networks, etc. Can be illustrated.
  • the server 30 acquires vehicle identification information, vehicle information, and information on the display device 100 from the display device 100, and sends information necessary for information display processing (hereinafter referred to as display processing information) to the display device 100. Send.
  • display processing information information necessary for information display processing
  • processing and function allocation between the server 30 and the display device 100 may be set as appropriate.
  • the server 30 and the display device 100 cooperate such that the server 30 generates information to be displayed on the display unit 101 of the display device 100 based on the information acquired from the display device 100 and transmits the information to the display device 100. May be constructed.
  • FIG. 3 is a block diagram showing a schematic configuration of the vehicle information display system 10.
  • the display device 100 includes a communication unit 104 and a processor 110 in addition to the display unit 101 and the imaging device 102 described above.
  • the communication unit 104 receives the above-described vehicle identification information, vehicle information, and the like from the communication unit 20, transmits vehicle identification information, vehicle information, and the like, and receives display processing information and the like with the server 30.
  • the processor 110 is a computer that includes a ROM 112 that stores a display control program, a CPU 111 as an operation circuit that executes the display control program stored in the ROM 112, and a RAM 113 that functions as an accessible storage device.
  • the processor 110 has a function of executing information acquisition processing, line-of-sight detection processing, visual field region setting processing, display information generation processing, and display control processing, and cooperation between software for realizing each processing and the above-described hardware Thus, each process is executed.
  • the processor 110 acquires vehicle information and vehicle identification information from the communication unit 20, acquires display processing information from the server 30, and acquires captured image information from the imaging device 102.
  • the line-of-sight detection process, the visual field area setting process, the display information generation process, and the display control process will be described later.
  • the server 30 includes a communication unit 301, a database 302, and a processor 310.
  • the communication unit 301 receives vehicle identification information and vehicle information and transmits display processing information and the like with the communication unit 104 of the display device 100.
  • the database 302 stores display processing information.
  • the processor 310 is a computer including a ROM 312 in which a display control program is stored, a CPU 311 as an operation circuit that executes the display control program stored in the ROM 312, and a RAM 313 that functions as an accessible storage device.
  • the processor 310 has a function of executing information acquisition processing and display processing information extraction processing, and executes each processing in cooperation with software for realizing each processing and the above-described hardware.
  • FIG. 4 is a diagram for explaining the line-of-sight detection processing and the visual field region setting processing of the processor 110.
  • the display device 100 when the display device 100 is installed on the dashboard 2 in front of the driver, the driver's face enters the angle of view of the imaging device 102 that is an in-camera. .
  • the display device 100 installed in front of the driver on the dashboard 2 is present in the central visual field region C of the driver.
  • the display device 100 is installed at the right end when viewed from the driver on the dashboard 2 or near the center of the dashboard 2 (left side when viewed from the driver), the display device 100 is operated. Existing in the peripheral vision region P of the person.
  • the processor 110 detects the driver's line of sight by analyzing the face image included in the image captured by the imaging device 102 in the line-of-sight detection process.
  • an embodiment of a method for detecting the driver's line of sight will be described.
  • the facial image acquired by the imaging device 102 is subjected to image processing to extract facial feature points, and the line of sight is extracted from the positional relationship between each part of the face and the eyeball. .
  • a skin color region is extracted from the input image based on the luminance information and the saturation information of the input image of the imaging apparatus 102.
  • the left and right eye heads based on the luminance information and hue information of the input image, the left and right eye heads, the corners of the eyes and the nostrils are extracted.
  • the pupil is extracted using a separability filter.
  • a plane corresponding to the face is created using the extracted three points of the two corners of the eye corner and the middle point of the two nostrils, and the three-dimensional position and orientation of the plane in the camera coordinate system are detected.
  • a local coordinate system associated with the face is set.
  • the straight line that passes through the extracted eyes and corners is taken as the X-axis
  • the straight line that is orthogonal to the X-axis and passes through the eyes is taken as the Y-axis.
  • Difference (pupil movement amount) (X 0 ⁇ X i , Y 0 ⁇ Y i ) between the center position (X i , Y i ) of the extracted pupil and the center position (X 0 , Y 0 ) of the pupil in front view )
  • the line of sight is calculated based on the pupil movement amount and the eyeball radius (default value).
  • the processor 110 sets the central visual field region C and the peripheral visual field region P in the visual field region setting process.
  • the central visual field region C is set to a region at a predetermined angle (for example, 4 to 20 °, which is an effective visual field or a character recognition limit) around the visual line detected in the visual line detection process.
  • the peripheral visual field region P is, for example, a predetermined angle (for example, 100 ° corresponding to the maximum viewing angle) left and right around the line of sight detected in the line-of-sight detection process, and a predetermined angle (for example, the maximum viewing angle) from the line of sight. Corresponding to 50 °), and a predetermined angle (for example, 75 ° corresponding to the maximum viewing angle) downward from the line of sight (except for the central viewing region C).
  • the processor 110 determines whether or not the display device 100 exists in the central visual field region C in the installation position determination process. In this installation position determination process, it is determined whether or not the straight line passing through the pupil extracted in the line-of-sight detection process and the imaging device 102 passes through the central visual field region C set in the visual field region setting process.
  • FIG. 5 and 6 are diagrams for explaining the display information generation process and the display control process of the processor 110.
  • FIG. When the display device 100 exists outside the central visual field region C, the processor 110 performs display information generation processing such as icons (hereinafter referred to as abstract information) as shown in FIG. And the generated abstraction information is displayed on the display unit 101 in the display control process.
  • the processor 110 when the display device 100 exists inside the central visual field C, the processor 110 performs display information (hereinafter, realization information) such as text in the display information generation process as shown in FIG. And display the generated realization information on the display unit 101 in the display control process.
  • display information hereinafter, realization information
  • warning display such as overspeed and sudden braking, display of information about in-vehicle devices such as an air conditioner and audio, and the like can be exemplified.
  • an icon which is information that can be recognized even in the field of view considered as a symbol recognition limit
  • text that is information that can be recognized in the field of view, which is the character recognition limit, is displayed.
  • FIG. 7 is a flowchart showing a control procedure of image display processing executed by the vehicle information display system 10 according to the present embodiment.
  • the processing routine shown in the flowchart of this figure is started when application software installed in the display device 100 is activated.
  • the processor 110 acquires vehicle information and vehicle identification information from the communication unit 20 and acquires captured image information from the imaging device 102.
  • the processor 110 detects the driver's line of sight based on the captured image of the imaging device 102 (step S101).
  • the processor 110 sets a central visual field region C centered on the line of sight detected in step S101, and a straight line passing through the driver's pupil extracted in step S101 and the imaging device 102 defines the central visual field region C. It is determined whether or not it passes (step S102). If an affirmative determination is made in step S102, the process proceeds to step S103, and if a negative determination is made in step S102, the process proceeds to step S104.
  • step S105 the processor 110 determines whether or not an event of displaying an icon, text, or the like on the display unit 101 has occurred based on the vehicle information acquired from the communication unit 20. If an affirmative determination is made in step S105, the process proceeds to step S106, and if a negative determination is made in step S105, the process proceeds to step S109.
  • step S107 the processor 110 generates text information as realization information and causes the display unit 101 to display the text.
  • step S ⁇ b> 108 the processor 110 generates icon image information as abstraction information and causes the display unit 101 to display the icon.
  • step S109 determines whether or not the ignition switch is OFF. If an affirmative determination is made in step S109, the processor 110 ends the application software and ends the process. On the other hand, if a negative determination is made in step S109, the process returns to step S101, and the processes in steps S101 to S110 are repeated.
  • the imaging device 102 integrated with the display device 100 is caused to photograph the driver who is the user of the display device 100, and from the captured image, the driver's information is displayed. Detect gaze. Then, it is determined whether the display unit 101 of the display device 100 exists in the central visual field region C centered on the detected driver's line of sight or the peripheral visual field region P outside thereof. When the display unit 101 exists in the central field C, notification information such as warning information is displayed on the display unit 101 in the first display form. On the other hand, when the display unit 101 is present in the peripheral visual field region P, notification information such as warning information is displayed on the display unit 101 in the second display form having a higher abstraction level than the first display form.
  • the notification information displayed on the display device 100 can be appropriately set in relation to the driver's line of sight.
  • the driver since the first display form of the notification information to be displayed on the display unit 101 includes text, the driver requests the notification information recognized in the central view. The amount of information can be satisfied.
  • the 2nd display form of the notification information displayed on the display part 101 contains an icon, the recognition time of the driver
  • the display device 100 is disposed in front of the driver's seat in the vehicle, and the notification information to be displayed on the display unit 101 is information to notify the driver. is there.
  • the notification information recognized from the central visual field of the driver who drives in front of the vehicle becomes embodied information such as text and satisfies the information request amount of the driver.
  • the notification information recognized in the peripheral visual field of the driver who drives facing the front becomes abstract information such as an icon and enables recognition by the driver in a short time.
  • FIG. 8 is a block diagram showing a schematic configuration of a vehicle information display system 11 according to another embodiment.
  • description is abbreviate
  • the display device 100 includes an acceleration sensor 105 in addition to the display unit 101, the imaging device 102, the communication unit 104, and the processor 110 described above.
  • the acceleration sensor 105 is a MEMS (Micro Electro Mechanical Systems) 3-axis acceleration sensor or the like, and can measure acceleration in three directions of the X-axis, Y-axis, and Z-axis, and can also measure gravity (static acceleration). it can.
  • the communication unit 104 receives the above-described vehicle identification information, vehicle information, and the like from the communication unit 20, transmits vehicle identification information, vehicle information, and the like to the server 30, and display processing information. Etc. are received.
  • the processor 110 according to the present embodiment has a function of executing an installation position estimation process.
  • FIG. 4 and 9 are diagrams for explaining the installation position estimation process of the processor 110.
  • FIG. 4 As shown in FIG. 4, when the display device 100 is installed on the dashboard 2 in front of the driver, the driver's face enters the angle of view of the imaging device 102 that is an in-camera, and the captured image is displayed. Will include the driver's face.
  • the installation position (1) is the installation position near the center (left side when viewed from the driver) on the dashboard 2 in the right-hand drive vehicle, and the installation position in front of the driver on the dashboard 2 is the installation position ( 2)
  • the installation position on the right side when viewed from the driver on the dashboard 2 is referred to as an installation position (3).
  • the display device 100 installed at the installation position (1) and the installation position (3) exists in the peripheral visual field region P of the driver facing the front.
  • the display device 100 installed at the installation position (2) exists in the central visual field region C of the driver facing the front. It is assumed that the rectangular display device 100 is installed sideways.
  • the imaging device 102 is assumed to be located on the left side or the right side of the display unit 101.
  • FIG. 9 shows the position where the driver's face is displayed and the driver when the captured image of the imaging device 102 is displayed on the display unit 101 of the display device 100 installed at the installation positions (1) to (3). It is a figure which shows direction of a face. As shown in this figure, a captured image of the imaging device 102 that is an in-camera is displayed on the display unit 101 as a mirror image.
  • the display device 100 When the display device 100 is installed at the installation position (3) in the upper right as viewed from the driver and when the display device 100 is installed at the installation position (1) in the upper left as viewed from the driver The display position of the driver's face in the unit 101 is reversed left and right. When the display device 100 is installed at the installation position (1), the driver's face is displayed slightly on the right side from the middle of the display unit 101.
  • the driver's face is displayed on the display unit 101 in a direction in which the left face comes out (rightward).
  • the display device 100 is installed at the installation position (3) in the upper right as viewed from the driver, the driver's face is displayed on the display unit 101 in a direction in which the right face comes out (leftward). Is displayed.
  • the display device 100 is installed at the installation position (2) in front of the driver, the driver's face is displayed on the display unit 101 in the front direction.
  • the installation position of the display device 100 there is a correlation between the installation position of the display device 100 and the position and orientation of the driver's face in the captured image of the imaging device 102.
  • the display device 100 is installed at the installation positions (1) to (3), it is assumed that the driver adjusts the orientation of the display device 100 so that the driver can easily see the display unit 101. Is done. Therefore, when the display device 100 is installed at the installation positions (1) to (3), there is a possibility that an identifiable difference does not occur in the position of the driver's face in the captured image of the imaging device 102. . Therefore, the processor 110 acquires shooting information (ranging information and shot images during AF control) of the imaging device 102 in the information acquisition process, and the driver's image in the shot image of the imaging device 102 in the installation position estimation process. The orientation of the face is determined, and the installation position of the display device 100 is estimated based on the determination result.
  • FIGS. 10 and 11 are flowcharts showing a control procedure of image display processing executed by the vehicle information display system 11 according to another embodiment.
  • the processing routines shown in the flowcharts of these drawings are started when application software installed in the display device 100 is activated.
  • description is abbreviate
  • step S ⁇ b> 201 the processor 110 acquires detection information of sensors mounted on the display device 100.
  • the sensor detection information acquired in this step includes acceleration information detected by the acceleration sensor 105.
  • the processor 110 determines whether or not the display device 100 is in a fixed state based on the acceleration information acquired in step S201 (step S202). In this step, the processor 110 determines whether or not the acceleration in the gravity direction (Z-axis direction) detected by the acceleration sensor 105 is equal to or less than a predetermined threshold value. If a negative determination is made in this step, the process returns to step S201, and if an affirmative determination is made in this step, the process proceeds to step S203.
  • step S203 the processor 110 determines whether or not the vehicle 1 is traveling straight on the basis of the vehicle speed and the steering angle. If an affirmative determination is made in this step, the process proceeds to step S204, and if a negative determination is made, step S203 is repeatedly executed.
  • step S203 the processor 110 determines whether or not the vehicle speed is equal to or higher than a predetermined threshold and the steering angle is equal to or lower than the predetermined threshold.
  • the threshold value of the vehicle speed is set to a value at which it can be determined that the vehicle 1 is traveling, such as 10 km / h, for example.
  • the steering angle threshold is set to a value such as 10 °, for example, where it can be determined that the vehicle 1 is traveling straight.
  • step S204 the processor 110 analyzes the captured image of the imaging device 102 to determine the orientation of the driver's face in the captured image of the imaging device 102.
  • the processor 110 determines whether or not the driver's face orientation determined in step S204 is the front orientation (step S205). If an affirmative determination is made in this step, the process proceeds to step S206. If a negative determination is made in this step, the process proceeds to step S207.
  • step S207 the processor 110 determines whether or not the direction of the driver's face determined in step S204 is rightward (direction in which the left face comes forward). If a positive determination is made in this step, the process proceeds to step S208. If a negative determination is made in this step, the process proceeds to step S209.
  • step S206 the processor 110 estimates the installation position of the display device 100 as the installation position (2).
  • step S208 the processor 110 estimates the installation position of the display device 100 as the installation position (1).
  • step S209 the processor 110 estimates the installation position of the display device 100 as the installation position (3). And it transfers to step S101 of FIG. 11 from step S206, S208, S209.
  • the processor 110 estimates the installation position of the display device 100 as the installation position (1).
  • the processor 110 estimates the installation position of the display device 100 as the installation position (3).
  • the processor 110 estimates the installation position of the display device 100 as the installation position (2) when the orientation of the driver's face in the captured image of the imaging device 102 is front-facing.
  • the abstraction information is event occurrence notification information for notifying that an event such as a speed violation has occurred.
  • the realization information is occurrence event content notification information for notifying the content of the event that has occurred.
  • step S ⁇ b> 105 the processor 110 determines whether an event to be displayed and notified on the display unit 101 has occurred based on the vehicle information acquired from the communication unit 20. If an affirmative determination is made in step S105, the process proceeds to step S106, and if a negative determination is made in step S105, the process proceeds to step S109.
  • step S302 the processor 110 determines whether or not the installation position of the display device 100 is one of the installation positions (1) and (3). If an affirmative determination is made in step S302, the process proceeds to step S303, and if a negative determination is made in step S302, the process proceeds to step S306.
  • step S304 the processor 110 determines whether or not a predetermined time (for example, a time of 1 sec or less such as 0.5 sec) has elapsed (step S304). Step S304 is repeated until an affirmative determination is made. If an affirmative determination is made in step S304, the process proceeds to step S305.
  • a predetermined time for example, a time of 1 sec or less such as 0.5 sec
  • step S109 the processor 110 determines whether or not the ignition switch is OFF. If an affirmative determination is made in step S109, the processor 110 ends the application software and ends the process. On the other hand, if a negative determination is made in step S109, the process returns to step S201 in FIG. 10 and the process is repeated.
  • the notification information is displayed on the display unit 101 in the second display form with a high abstraction level, but this is not essential.
  • the notification information may not be displayed on the display unit 101.
  • the notification information is displayed in the second high degree of abstraction such as an icon.
  • the display unit 101 is switched to the first display mode with a high degree of concreteness such as text.
  • the driver can turn his gaze toward the high-specificity event notification information while recognizing the high-level event occurrence notification information in the peripheral visual field.
  • the recognition time for content notification information can be shortened.
  • the driver's face is photographed by photographing the driver's face with the imaging device 102 provided on the side of the display device 101 on which the display unit 101 is provided.
  • the position of the display unit 101 is estimated based on the face orientation.
  • a predetermined time has elapsed since the notification information was displayed on the display unit 101 in the second display form with a high level of abstraction such as an icon.
  • the display unit 101 is displayed by switching to the first display form with high specificity such as text.
  • region P it can prevent performing the switching of the display form of notification information unnecessarily.
  • the imaging device 102 is integrated with the display device 100.
  • the imaging device 102 is provided in a fixing device 4 for fixing the display device 100.
  • the device 100 may be provided around the display device 100 as a separate body. In this case, it is preferable to bring the imaging device 102 close to the display device 100.
  • the imaging device 102 is provided separately from the display device 100 and is provided in the “periphery” or “close”, the relationship between the display device 100 and the user's field of view is that the imaging device 102 is displayed on the display device 100.
  • the distance between the imaging device 102 and the display device 100 may be set so as to be the same as in the case of integrating with the display device 100.
  • the relationship between the display device 100 and the visual field of the user is the same means that the display device 100 is the user's user in both cases where the imaging device 102 is integrated with the display device 100 and separate. It refers to a situation where the display device 100 exists in the central visual field C, or the display device 100 exists in the peripheral visual field P of the user both when the imaging device 102 is integrated with the display device 100 and when the imaging device 102 is separated from the display device 100.
  • peripheral means, for example, that the imaging device 102 is arranged away from the display device at a position where the central visual field and the peripheral visual field with respect to the display device 100 of the user can be grasped.
  • proximity means, for example, that the imaging device 102 is placed next to the display device 100 in contact therewith.
  • the display unit 101 is not limited to a dedicated display of one piece of notification information such as warning information.
  • the display unit 101 displays navigation information and the like as basic information, and temporarily displays notification information such as warning information. Also good.
  • the notification event when the notification event occurs, it is determined whether the display unit 101 exists in the central visual field region C or the peripheral visual field region C, and the display form of the notification information is determined. It is not indispensable.
  • the notification information is displayed on the display unit 101 in a predetermined display form. After the notification event occurs, the display unit 101 changes to either the central visual field region C or the peripheral visual field region P. It may be determined whether it exists, and the display form of the notification information may be switched according to the determination result.
  • the present invention has been described by taking the situation in which the display device 100 is disposed in front of the driver in the vehicle as an example, but other machines other than the vehicle such as a ship, an aircraft, and a construction machine.
  • the present invention can be applied to a situation where it is used in an office.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Position Input By Displaying (AREA)

Abstract

表示部１０１を備える表示装置１００に情報を表示させるプロセッサ１１０を用いて、表示部１０１に情報を表示させる方法であって、表示装置１００と一体の撮像装置１０２により、表示装置１００の使用者を撮影し、撮像装置１０２により撮影された画像から、使用者の視線を検出し、検出した使用者の視線を中心とする中心視野領域Ｃと、中心視野領域Ｃの外側の周辺視野領域Ｐとの何れに、表示装置１００の表示部１０１が存在するかを判定し、表示部１０１が中心視野領域Ｃに存在する場合、通知情報を、第１の表示形態で表示部１０１に表示させ、表示部１０１が周辺視野領域Ｐに存在する場合、通知情報を、第１の表示形態と比較して抽象度の高い第２の表示形態で表示部１０１に表示させる。

Description

情報表示方法及び表示制御装置
　本発明は、情報表示方法及び表示制御装置に関するものである。
　車両内の所定位置に配置された携帯端末の表示部にコンテンツを表示させる車両表示装置が知られている（例えば、特許文献１参照）。特許文献１に記載の車両表示装置では、携帯端末の撮像部により、車両内の基準位置と運転者の目の位置とが認識され、基準位置に対する運転者の目の位置に応じて、コンテンツの表示サイズ及び表示位置の少なくとも一方が変更される。
特開２０１４－９４６４７号公報
　特許文献１に記載の車両表示装置では、表示部に表示される情報の表示形態は、運転者の視線との関係で変化することはない。そのため、運転者の周辺視野領域に存在する表示装置に具現化された情報が表示されたり、運転者の中心視野領域に存在する表示装置に抽象化された情報しか表示されなかったりする場合がある。
　本発明が解決しようとする課題は、表示装置に表示させる情報を、表示装置の使用者の視線との関係で適切に設定できる情報表示方法及び表示制御装置を提供することである。
　本発明は、表示装置と一体の又は前記表示装置の周囲に設けられた撮像装置により、表示装置の使用者を撮影し、撮影された画像から使用者の視線を検出し、表示部が中心視野領域に存在する場合、通知情報を、第１の表示形態で表示部に表示させ、表示部が周辺視野に存在する場合、通知情報を、第１の表示形態と比較して抽象度の高い第２の表示形態で表示部に表示させることにより、上記課題を解決する。
　本発明によれば、表示装置が使用者の中心視野領域及び周辺視野領域の何れに含まれるかによって、通知情報の表示形態の抽象度を異ならせることにより、表示装置に表示させる情報を、表示装置の使用者の視線との関係で適切に設定できるという効果を奏する。
本発明の一実施形態に係る車両用情報表示システムの概略を示す図である。 図１の表示装置の前面を示す図である。 図１の車両用情報表示システムを示すブロック図である。 図３のプロセッサの視線検出処理、推定処理、及び設置位置判定処理を説明するための図である。 図３のプロセッサの表示情報生成処理、及び表示制御処理を説明するための図である。 図３のプロセッサの表示情報生成処理、及び表示制御処理を説明するための図である。 本発明の一実施形態に係る車両用情報表示システムが実行する画像表示処理の制御手順を示すフローチャートである。 本発明の他の実施形態に係る車両用情報表示システムの概略構成を示すブロック図である。 図８のプロセッサの設置位置推定処理を説明するための図である。 本発明の他の実施形態に係る車両用情報表示システムが実行する情報表示処理の制御手順を示すフローチャートである。 本発明の他の実施形態に係る車両用情報表示システムが実行する情報表示処理の制御手順を示すフローチャートである。 本発明の他の実施形態のDisp＝１に対応する表示画像を示す図である。
　以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る車両用情報表示システム１０の概略を示す図である。この図に示す車両用情報表示システム１０は、車両１内の運転席の前方における任意の位置に設置された表示装置１００の表示部１０１（図２参照）に、その設置位置と運転者の視野との関係に応じて情報を表示させるシステムである。この車両用情報表示システム１０は、表示装置１００と、通信ユニット２０と、サーバー３０とを備える。表示装置１００は、固定装置４により、車両のダッシュボード２の上やメーターパネル３の前等に固定することができる。
　図２は、表示装置１００の前面を示す図である。この図に示すように、表示装置１００は、表示部１０１と、撮像装置１０２とを備える移動可能な端末装置である。この表示装置１００としては、スマートフォンやタブレット端末やＰＤＡ等の携帯端末を例示することができる。本実施形態の表示装置１００はスマートフォンであり、表示部１０１は、液晶や有機ＥＬ等のディスプレイであり、撮像装置１０２は、インカメラである。また、表示装置１００には、運転者の視野と表示装置１００の設置位置との関係に応じた情報を表示部１０１に表示させる処理を実行するためのアプリケーションソフトウェアがインストールされている。運転者の視野と設置位置との関係に応じて表示部１０１に表示させる画像については後述する。
　通信ユニット２０は、ＣＡＮ（Controller Area Network）等の車載ネットワークに接続されており、ＥＣＵ（Engine Control Unit又はElectronic Control Unit）等の車載機器から車両情報を受信する。この車両情報としては、速度、エンジンの回転数、ブレーキの状態、ステアリングの状態、車載カメラの撮影画像、ウィンカーの状態、前照灯スイッチや車幅灯スイッチのＯＮ／ＯＦＦ、イグニッションスイッチのＯＮ／ＯＦＦ等を例示することができる。また、通信ユニット２０は、Bluetooth（登録商標）等の無線通信又は有線ＬＡＮ等の有線通信を介して表示装置１００に接続されており、車両識別番号等の車両識別情報や車載機器から受信した車両情報等を表示装置１００に送信する。
　サーバー３０は、無線通信網に接続されており、表示装置１００との間で情報を送受信する。この無線通信網としては、ＬＴＥ（Long Term Evolution）や３Ｇ等の携帯電話用通信回線網、ＷｉＭＡＸ（登録商標）等の無線通信網、及び、ビーコン等の高度道路交通システム用の無線通信網等を例示することができる。本実施形態では、サーバー３０は、表示装置１００から車両識別情報や車両情報や表示装置１００の情報を取得し、情報表示処理に必要な情報（以下、表示処理情報という）を、表示装置１００に送信する。なお、サーバー３０と表示装置１００との間での処理や機能の割り振りは適宜設定すればよい。例えば、サーバー３０が、表示装置１００から取得した情報に基づいて、表示装置１００の表示部１０１に表示させる情報を生成して表示装置１００に送信するように、サーバー３０と表示装置１００との連携を構築してもよい。
　図３は、車両用情報表示システム１０の概略構成を示すブロック図である。この図に示すように、表示装置１００は、上述の表示部１０１、及び撮像装置１０２に加えて、通信部１０４と、プロセッサ１１０とを備える。通信部１０４は、通信ユニット２０から上述の車両識別情報や車両情報等を受信し、サーバー３０との間で、車両識別情報や車両情報等の送信、及び、表示処理情報等の受信を行う。
　プロセッサ１１０は、表示制御プログラムが格納されたＲＯＭ１１２と、ＲＯＭ１１２に格納された表示制御プログラムを実行する動作回路としてのＣＰＵ１１１と、アクセス可能な記憶装置として機能するＲＡＭ１１３とを備えるコンピュータである。プロセッサ１１０は、情報取得処理、視線検出処理、視野領域設定処理、表示情報生成処理、及び表示制御処理を実行する機能を備え、各処理を実現するためのソフトウェアと上述のハードウェアとの協働により、各処理を実行する。
　プロセッサ１１０は、情報取得処理において、通信ユニット２０から車両情報及び車両識別情報を取得し、サーバー３０から表示処理情報を取得し、撮像装置１０２から撮影画像情報を取得する。なお、視線検出処理、視野領域設定処理、表示情報生成処理、及び表示制御処理については後述する。
　サーバー３０は、通信部３０１と、データベース３０２と、プロセッサ３１０とを備える。通信部３０１は、表示装置１００の通信部１０４との間で、車両識別情報や車両情報等の受信、及び、表示処理情報等の送信を行う。データベース３０２は、表示処理情報を格納している。
　プロセッサ３１０は、表示制御プログラムが格納されたＲＯＭ３１２と、ＲＯＭ３１２に格納された表示制御プログラムを実行する動作回路としてのＣＰＵ３１１と、アクセス可能な記憶装置として機能するＲＡＭ３１３とを備えるコンピュータである。プロセッサ３１０は、情報取得処理、及び表示処理情報抽出処理を実行する機能を備え、各処理を実現するためのソフトウェアと上述のハードウェアとの協働により、各処理を実行する。
　図４は、プロセッサ１１０の視線検出処理、及び視野領域設定処理を説明するための図である。図４に示すように、表示装置１００が、運転者の前方のダッシュボード２の上に設置された場合には、インカメラである撮像装置１０２の画角に運転者の顔が入ることになる。特に、ダッシュボード２上における運転者の正面に設置された表示装置１００は、運転者の中心視野領域Ｃに存在することになる。また、表示装置１００が、ダッシュボード２上における運転者から見て右端や、ダッシュボード２上における中央寄り（運転者から見て左側）に設置された場合には、当該表示装置１００は、運転者の周辺視野領域Ｐに存在することになる。
　プロセッサ１１０は、視線検出処理において、撮像装置１０２により撮影された画像に含まれる顔画像を解析することによって、運転者の視線を検出する。以下、運転者の視線を検出する方法の一実施例について説明する。
　一実施例に係る視線検出方法では、撮像装置１０２により取得された顔画像に対して画像処理を行って顔の特徴点を抽出し、顔の各部位と眼球との位置関係から視線を抽出する。まず、撮像装置１０２の入力画像の輝度情報及び彩度情報に基づいて、入力画像から肌色の領域を抽出する。
　次に、入力画像の輝度情報及び色相情報に基づいて、左右の目頭及び目尻と鼻孔とを抽出する。次に、分離度フィルタを使用して瞳孔を抽出する。そして、抽出した目尻２点と鼻孔２点の中間点との３点を用いて顔面に相当する平面を作成し、この平面のカメラ座標系における３次元の位置と向きとを検出する。
　最後に、視線を抽出するところ、まず、顔に付随したローカル座標系を設置する。このローカル座標系では、抽出した目頭と目尻とを通る直線をＸ軸とし、Ｘ軸に直交し目頭を通る直線をＹ軸とする。抽出した瞳孔の中心位置（Ｘi，Ｙi）と、正面視時の瞳孔の中心位置（Ｘ0，Ｙ0）との差（瞳孔移動量）（Ｘ0－Ｘｉ，Ｙ0－Ｙｉ）を算出し、瞳孔移動量と眼球半径（既定値）とに基づいて視線を算出する。
　プロセッサ１１０は、視野領域設定処理において、中心視野領域Ｃ及び周辺視野領域Ｐを設定する。ここで、中心視野領域Ｃは、視線検出処理において検出した視線を中心として上下左右に所定角度（例えば、有効視野あるいは文字の認識限界とされる４～２０°）の領域に設定する。また、周辺視野領域Ｐは、例えば、視線検出処理において検出した視線を中心として左右に所定角度（例えば、最大視野角に相当する１００°）、視線から上に所定角度（例えば、最大視野角に相当する５０°）、視線から下に所定角度（例えば、最大視野角に相当する７５°）の領域（ただし、中心視野領域Ｃを除く）に設定する。
　プロセッサ１１０は、設置位置判定処理において、表示装置１００が、中心視野領域Ｃに存在するか否かを判定する。この設置位置判定処理では、視線検出処理で抽出した瞳孔と撮像装置１０２とを通過する直線が、視野領域設定処理で設定した中心視野領域Ｃを通過するか否かを判定する。
　図５及び図６は、プロセッサ１１０の表示情報生成処理、及び表示制御処理を説明するための図である。表示装置１００が中心視野領域Ｃの外側に存在する場合には、プロセッサ１１０は、表示情報生成処理において、図５に示すように、アイコン等の抽象化した表示情報（以下、抽象化情報という）を生成し、表示制御処理において、生成した抽象化情報を表示部１０１に表示させる。一方、表示装置１００が中心視野領域Ｃの内側に存在する場合には、プロセッサ１１０は、図６に示すように、表示情報生成処理において、テキスト等の具現化した表示情報（以下、具現化情報という）を生成し、表示制御処理において、生成した具現化情報を表示部１０１に表示させる。
　抽象化又は具現化した表示情報としては、速度オーバーや急ブレーキ等の警告表示、及びエアコンやオーディオ等の車載機器についての情報の表示等を例示することができる。例えば、図５及び図６に示すように、速度オーバーの警告表示を表示部１０１に表示させる場合、抽象化情報としては、シンボルの認識限界とされる視野でも認識可能な情報であるアイコンを表示させ、具現化情報としては、文字の認識限界とされる視野で認識可能な情報であるテキストを表示させる。
　図７は、本実施形態に係る車両用情報表示システム１０が実行する画像表示処理の制御手順を示すフローチャートである。この図のフローチャートに示す処理ルーチンは、表示装置１００にインストールされたアプリケーションソフトウェアが起動されると開始される。本処理ルーチンの実行中、プロセッサ１１０は、通信ユニット２０から車両情報及び車両識別情報を取得し、撮像装置１０２から撮影画像情報を取得する。
　まず、プロセッサ１１０は、撮像装置１０２の撮影画像に基づいて、運転者の視線を検出する（ステップＳ１０１）。次に、プロセッサ１１０は、ステップＳ１０１において検出した視線を中心とする中心視野領域Ｃを設定し、ステップＳ１０１において抽出した運転者の瞳孔と撮像装置１０２とを通過する直線が、中心視野領域Ｃを通過するか否かを判定する（ステップＳ１０２）。ステップＳ１０２において肯定判定がされた場合には、ステップＳ１０３に移行し、ステップＳ１０２において否定判定がされた場合には、ステップＳ１０４に移行する。
　ステップＳ１０３において、プロセッサ１１０は、表示部１０１に表示させる情報の設定を、Disp＝１に設定する。一方、ステップＳ１０４において、プロセッサ１１０は、表示部１０１に表示させる情報の設定を、Disp＝２に設定する。
　ステップＳ１０３、Ｓ１０４の次に、プロセッサ１１０は、通信ユニット２０から取得している車両情報に基づいて、表示部１０１にアイコンやテキスト等を表示させて通知する事象が発生したか否かを判定する（ステップＳ１０５）。ステップＳ１０５において肯定判定がされた場合には、ステップＳ１０６に移行し、ステップＳ１０５において否定判定がされた場合には、ステップＳ１０９に移行する。
　ステップＳ１０６において、プロセッサ１１０は、表示部１０１に表示させる情報の設定が、Disp＝１であるか否かを判定する。ステップＳ１０６において肯定判定がされた場合には、ステップＳ１０７に移行し、ステップＳ１０６において否定判定がされた場合には、ステップＳ１０８に移行する。
　ステップＳ１０７において、プロセッサ１１０は、具現化情報としてのテキスト情報を生成してテキストを表示部１０１に表示させる。一方、ステップＳ１０８において、プロセッサ１１０は、抽象化情報としてのアイコンの画像情報を生成してアイコンを表示部１０１に表示させる。
　ステップＳ１０７、Ｓ１０８の次に、プロセッサ１１０は、イグニッションスイッチがＯＦＦであるか否かを判定する（ステップＳ１０９）。ステップＳ１０９において肯定判定がされた場合には、プロセッサ１１０は、アプリケーションソフトウェアを終了して処理を終了する。一方、ステップＳ１０９において否定判定がされた場合には、ステップＳ１０１に戻り、ステップＳ１０１～Ｓ１１０の処理を繰り返す。
　以上説明したように、本実施形態に係る車両用情報表示システム１０では、表示装置１００と一体の撮像装置１０２に、表示装置１００の使用者たる運転者を撮影させ、撮影画像から、運転者の視線を検出する。そして、検出した運転者の視線を中心とする中心視野領域Ｃと、その外側の周辺視野領域Ｐとの何れに、表示装置１００の表示部１０１が存在するかを判定する。表示部１０１が中心野領域Ｃに存在する場合、警告情報等の通知情報を、第１の表示形態で表示部１０１に表示させる。一方、表示部１０１が周辺視野領域Ｐに存在する場合、警告情報等の通知情報を、第１の表示形態と比較して抽象度の高い第２の表示形態で表示部１０１に表示させる。これにより、周辺視野領域Ｐに存在する表示装置１００に表示された通知情報についての運転者の認識時間の長大化を抑制できる。一方、中心視野領域Ｃに存在する表示装置１００に表示された通知情報についての運転者の情報要求量の不足を抑制できる。従って、表示装置１００に表示させる通知情報を、運転者の視線との関係で適切に設定できるという効果を奏する。
　また、本実施形態に係る車両用情報表示システム１０では、表示部１０１に表示させる通知情報の第１の表示形態がテキストを含むので、中心視野で認識する通知情報に対して運転者が要求する情報量を充足することができる。一方、表示部１０１に表示させる通知情報の第２の表示形態がアイコンを含むので、周辺視野領域Ｐに存在する表示装置１００に表示された通知情報についての運転者の認識時間を短縮できる。
　また、本実施形態に係る車両用情報表示システム１０では、表示装置１００は、車両内の運転席の前方に配置され、表示部１０１に表示させる通知情報は、運転者に対して通知する情報である。これにより、正面を向いて運転する運転者の中心視野で認識される通知情報は、テキスト等の具現化情報となって運転者の情報要求量を満足させるものとなる。一方、正面を向いて運転する運転者の周辺視野で認識される通知情報は、アイコン等の抽象化情報となって運転者による短時間での認識を可能とするものとなる。
　図８は、他の実施形態に係る車両用情報表示システム１１の概略構成を示すブロック図である。なお、上述の実施形態に係る車両用情報表示システム１０と同様の構成については説明を省略して上述の説明を援用する。
　図８に示すように、表示装置１００は、上述の表示部１０１、撮像装置１０２、通信部１０４、及びプロセッサ１１０に加えて、加速度センサ１０５を備える。加速度センサ１０５は、ＭＥＭＳ（Micro Electro Mechanical Systems）３軸加速度センサ等であり、Ｘ軸、Ｙ軸、Ｚ軸の３方向の加速度の加速度を計測でき、重力（静的加速度）の計測にも対応できる。また、本実施形態の通信部１０４は、通信ユニット２０から上述の車両識別情報や車両情報等を受信し、サーバー３０との間で、車両識別情報や車両情報等の送信、及び、表示処理情報等の受信を行う。また、本実施形態のプロセッサ１１０は、上述の情報取得処理、視線検出処理、視野領域設定処理、表示情報生成処理、及び表示制御処理に加えて、設置位置推定処理を実行する機能を備える。
　図４及び図９は、プロセッサ１１０の設置位置推定処理を説明するための図である。図４に示すように、表示装置１００が、運転者の前方のダッシュボード２の上に設置された場合には、インカメラである撮像装置１０２の画角に運転者の顔が入り、撮影画像に運転者の顔が含まれることになる。
　以下の説明では、右ハンドル車におけるダッシュボード２上の中央寄り（運転者から見て左側）の設置位置を設置位置（１）、ダッシュボード２上の運転者の正面の設置位置を設置位置（２）、ダッシュボード２上の運転者から見て右側の設置位置を設置位置（３）と称する。設置位置（１）、及び設置位置（３）に設置された表示装置１００は、正面を向いた運転者の周辺視野領域Ｐに存在する。一方、設置位置（２）に設置された表示装置１００は、正面を向いた運転者の中心視野領域Ｃに存在する。なお、矩形状の表示装置１００は、横向きにして設置されているものとする。また、撮像装置１０２は、表示部１０１の左側又は右側に位置するものとする。
　図９は、設置位置（１）～（３）に設置された表示装置１００の表示部１０１に撮像装置１０２の撮影画像を表示させた場合に、運転者の顔が表示される位置及び運転者の顔の向きを示す図である。この図に示すように、インカメラである撮像装置１０２の撮影画像は、鏡像となって表示部１０１に表示される。
　運転者から見て右上の設置位置（３）に表示装置１００が設置されている場合と、運転者から見て左上の設置位置（１）に表示装置１００が設置されている場合とでは、表示部１０１での運転者の顔の表示位置が左右反転する。なお、設置位置（１）に表示装置１００が設置されている場合には、運転者の顔は表示部１０１の真ん中よりやや右側に表示される。
　運転者から見て左側の設置位置（１）に表示装置１００が設置されている場合には、運転者の顔が、左顔が前に出る向き（右向き）で表示部１０１に表示されるのに対して、運転者から見て右上の設置位置（３）に表示装置１００が設置されている場合には、運転者の顔が、右顔が前に出る向き（左向き）で表示部１０１に表示される。また、運転者から見て正面の設置位置（２）に表示装置１００が設置されている場合には、運転者の顔が、正面向きで表示部１０１に表示される。
　以上説明したように、表示装置１００の設置位置と、撮像装置１０２の撮影画像における運転者の顔の位置及び向きとの間には相関関係がある。なお、表示装置１００を設置位置（１）～（３）に設置する場合には、運転者から表示部１０１が見え易いように、運転者が表示装置１００の向きを調整していることが想定される。そのため、表示装置１００が設置位置（１）～（３）に設置されている場合には、撮像装置１０２の撮影画像における運転者の顔の位置には識別可能な差が生じない可能性がある。そこで、プロセッサ１１０は、情報取得処理において、撮像装置１０２の撮影情報（ＡＦ制御時の測距情報、及び撮影画像）を取得し、設置位置推定処理において、撮像装置１０２の撮影画像における運転者の顔の向きを判別し、その判別結果に基づいて、表示装置１００の設置位置を推定する。
　図１０及び図１１は、他の実施形態に係る車両用情報表示システム１１が実行する画像表示処理の制御手順を示すフローチャートである。これらの図のフローチャートに示す処理ルーチンは、表示装置１００にインストールされたアプリケーションソフトウェアが起動されると開始される。なお、上述の実施形態に係る車両用情報表示システム１０と同様の手順については説明を省略して上述の説明を援用する。
　本実施形態に係る画像表示処理では、まず、表示装置１００の設置位置を推定する処理を実行する（ステップＳ２０１～Ｓ２０９）。ステップＳ２０１において、プロセッサ１１０は、表示装置１００に搭載されたセンサの検出情報を取得する。本ステップにおいて取得するセンサの検出情報には、加速度センサ１０５により検出された加速度情報が含まれる。
　次に、プロセッサ１１０は、ステップＳ２０１において取得した加速度情報に基づいて、表示装置１００が固定状態であるか否かを判定する（ステップＳ２０２）。本ステップにおいて、プロセッサ１１０は、加速度センサ１０５により検出された重力方向（Ｚ軸方向）の加速度が、所定の閾値以下であるか否かを判定する。本ステップにおいて否定判定がされた場合には、ステップＳ２０１に戻り、本ステップにおいて肯定判定がされた場合には、ステップＳ２０３に進む。
　ステップＳ２０３において、プロセッサ１１０は、車速と操舵角とに基づいて、車両１が直線走行中であるか否かを判定する。本ステップにおいて肯定判定がされた場合にはステップＳ２０４に移行し、否定判定がされた場合にはステップＳ２０３が繰り返し実行される。ステップＳ２０３において、プロセッサ１１０は、車速が所定の閾値以上であり、且つ、操舵角が所定の閾値以下であるか否かを判定する。ここで、車速の閾値は、例えば１０ｋｍ／ｈ等の車両１が走行中であると判定できる値に設定されている。また、操舵角の閾値は、例えば１０°等の車両１が直進中であると判定できる値に設定されている。
　ステップＳ２０４において、プロセッサ１１０は、撮像装置１０２の撮影画像を解析することにより、撮影装置１０２の撮影画像における運転者の顔の向きを判別する。次に、プロセッサ１１０は、ステップＳ２０４において判別した運転者の顔の向きが正面向きであるか否かを判定する（ステップＳ２０５）。本ステップにおいて肯定判定がされた場合には、ステップＳ２０６に移行し、本ステップにおいて否定判定がされた場合には、ステップＳ２０７に移行する。
　ステップＳ２０７において、プロセッサ１１０は、ステップＳ２０４において判別した運転者の顔の向きが右向き（左顔が前に出る向き）であるか否かを判定する。本ステップにおいて肯定判定がされた場合には、ステップＳ２０８に移行し、本ステップにおいて否定判定がされた場合には、ステップＳ２０９に移行する。
　ステップＳ２０６において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（２）と推定する。一方、ステップＳ２０８において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（１）と推定する。さらに、ステップＳ２０９において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（３）と推定する。そして、ステップＳ２０６、Ｓ２０８、Ｓ２０９から図１１のステップＳ１０１に移行する。
　即ち、撮像装置１０２の撮影画像における運転者の顔の向きが、右向きである場合には、プロセッサ１１０は、表示装置１００の設置位置を設置位置（１）と推定する。一方、撮像装置１０２の撮影画像における運転者の顔の向きが、右顔が左向きである場合には、プロセッサ１１０は、表示装置１００の設置位置を設置位置（３）と推定する。さらに、プロセッサ１１０は、撮像装置１０２の撮影画像における運転者の顔の向きが、正面向きである場合には、表示装置１００の設置位置を設置位置（２）と推定する。
　ステップＳ２０６、Ｓ２０８、Ｓ２０９の次に、上述したステップＳ１０１～Ｓ１０４が実行される。ここで、図１２は、本実施形態のDisp＝１に対応する表示画像を示す図であり、図５は、本実施形態のDisp＝２に対応する表示画像を示す図であり、図６は、後述のDisp＝３に対応する表示画像を示す図である。
　図１２に示すように、本実施形態のDisp＝１に対応する表示画像は、アイコン等の抽象化情報とテキスト等の具現化情報とを含む。一方、図５に示すように、本実施形態のDisp＝２に対応する表示画像は、アイコン等の抽象化情報のみである。さらに、図６に示すように、本実施形態のDisp＝３に対応する表示画像は、テキスト等の具現化情報のみである。ここで、抽象化情報は、スピード違反等の事象が発生したことを通知する事象発生通知情報である。一方、具現化情報は、発生した事象の内容を通知する発生事象内容通知情報である。
　図１１のフローチャートに戻り、ステップＳ１０５において、プロセッサ１１０は、通信ユニット２０から取得している車両情報に基づいて、表示部１０１に表示させて通知する事象が発生したか否かを判定する。ステップＳ１０５において肯定判定がされた場合には、ステップＳ１０６に移行し、ステップＳ１０５において否定判定がされた場合には、ステップＳ１０９に移行する。
　ステップＳ１０６において、プロセッサ１１０は、表示部１０１に表示させる情報の設定が、Disp＝１であるか否かを判定する。ステップＳ１０６において肯定判定がされた場合には、ステップＳ３０１に移行し、ステップＳ１０６において否定判定がされた場合には、ステップＳ３０２に移行する。
　ステップＳ３０１において、プロセッサ１１０は、図１２に示すDisp＝１に対応する画像を生成して表示部１０１に表示させる。一方、ステップＳ３０２において、プロセッサ１１０は、表示装置１００の設置位置が設置位置（１）、（３）の何れか一方であるか否かを判定する。ステップＳ３０２において肯定判定がされた場合にはステップＳ３０３に移行し、ステップＳ３０２において否定判定がされた場合にはステップＳ３０６に移行する。
　ステップＳ３０３において、プロセッサ１１０は、図５に示すDisp＝２に対応する画像を生成して表示部１０１に表示させる。同様に、ステップＳ３０６において、プロセッサ１１０は、Disp＝２に対応する画像を生成して表示部１０１に表示させる。即ち、表示装置１００が周辺視野領域Ｐに存在する場合と周辺視野領域Ｐに存在しない場合との双方で、表示部１０１に抽象化情報（事象発生通知情報）を表示させる。
　ステップＳ３０３の実行後に、プロセッサ１１０は、所定時間（例えば、０．５ｓｅｃ等の１ｓｅｃ以下の時間）が経過したか否かを判定する（ステップＳ３０４）。ステップＳ３０４は、肯定判定がされるまで繰り返され、ステップＳ３０４において肯定判定がされた場合にはステップＳ３０５に移行する。
　ステップＳ３０５において、プロセッサ１１０は、図６に示すDisp＝３に対応する画像を生成して表示部１０１に表示させる。即ち、表示装置１００が運転者の周辺視野領域Ｐに存在する場合には、抽象化情報が表示部１０１に所定時間（１ｓｅｃ以下の時間）表示されてから、表示部１０１の表示情報が抽象化情報から具現化情報に切換えられる。一方、表示装置１００が運転者の中心視野領域Ｃのみならず周辺視野領域Ｐにも存在しない場合には、抽象化情報が表示部１０１に上記所定時間経過後も継続して表示される（ステップＳ３０６）。
　ステップＳ３０１、Ｓ３０５、Ｓ３０６の実行後に、プロセッサ１１０は、イグニッションスイッチがＯＦＦであるか否かを判定する（ステップＳ１０９）。ステップＳ１０９において肯定判定がされた場合には、プロセッサ１１０は、アプリケーションソフトウェアを終了して処理を終了する。一方、ステップＳ１０９において否定判定がされた場合には、図１０のステップＳ２０１に戻り、処理を繰り返す。
　なお、本実施形態では、表示部１０１が周辺視野領域Ｐに存在しない場合にも、通知情報を抽象度の高い第２の表示形態で表示部１０１に表示させたが、これは必須ではなく、表示部１０１が中心視野領域Ｃにも周辺視野領域Ｐにも存在しない場合には、通知情報を表示部１０１に表示させないようにしてもよい。
　以上説明したように、本実施形態に係る車両用情報表示システム１１では、表示装置１００の表示部１０１が周辺視野領域Ｐに含まれる場合、通知情報を、アイコン等の抽象度の高い第２の表示形態で表示部１０１に表示させてから所定時間が経過した後に、テキスト等の具体度の高い第１の表示形態に切換えて表示部１０１に表示させる。これにより、運転者は、周辺視野で抽象度の高い事象発生通知情報を認識した状態で、具体度の高い発生事象内容通0知情報に視線を向けることができるので、具体度の高い発生事象内容通知情報の認識時間を短縮できる。
　また、本実施形態に係る車両用情報表示システム１１では、表示装置１００の表示部１０１が設けられた面の側に備えられた撮像装置１０２により運転者の顔を撮影し、撮影された運転者の顔の向きに基づいて、表示部１０１の位置を推定する。そして、推定した表示部１０１の位置が、周辺視野領域Ｐに含まれる場合、通知情報を、アイコン等の抽象度の高い第２の表示形態で表示部１０１に表示させてから所定時間が経過した後に、テキスト等の具体度の高い第１の表示形態に切換えて表示部１０１に表示させる。これにより、表示部１０１が周辺視野領域Ｐに含まれない場合に、不必要に、通知情報の表示形態の切換が実行されることを防止できる。
　なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態において開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
　例えば、上述の実施形態では、撮像装置１０２を表示装置１００と一体としたが、これは必須ではなく、例えば、撮像装置１０２は、表示装置１００を固定するための固定装置４に設ける等、表示装置１００と別体として表示装置１００の周囲に設けてもよい。この場合、撮像装置１０２を表示装置１００に近接させることが好ましい。ここで、撮像装置１０２を表示装置１００とは別体にして「周囲」に設け又は「近接」させる場合には、表示装置１００と使用者の視野との関係が、撮像装置１０２を表示装置１００と一体とする場合と同じになるように、撮像装置１０２と表示装置１００との距離を設定すればよい。なお、「表示装置１００と使用者の視野との関係が同じ」とは、撮像装置１０２を表示装置１００と一体にする場合と別体にする場合との双方で、表示装置１００が使用者の中心視野Ｃに存在するか、あるいは、撮像装置１０２を表示装置１００と一体にする場合と別体にする場合との双方で、表示装置１００が使用者の周辺視野Ｐに存在する状況を指す。また、「周囲」とは、例えば、使用者の表示装置１００に対する中心視野及び周辺視野を把握可能な位置に、撮像装置１０２を表示装置とは離間して配置することを言う。さらに、「近接」とは、例えば、表示装置１００の隣に撮像装置１０２を接して配置することを言う。
　また、表示部１０１は、警告情報等の１つの通知情報を専用で表示するものには限られず、ナビゲーション情報等を基本情報として表示し、一時的に警告情報等の通知情報を表示するものとしてもよい。
　また、上述の実施形態では、通知事象の発生時に、表示部１０１が中心視野領域Ｃと周辺視野領域Ｃとの何れに存在するかを判定して通知情報の表示形態を決定したが、これは必須ではなく、通知事象の発生時には、通知情報を予め決められた表示形態で表示部１０１に表示させ、通知事象の発生後に、表示部１０１が中心視野領域Ｃと周辺視野領域Ｐとの何れに存在するかを判定し、判定結果に応じて、通知情報の表示形態を切換えるようにしてもよい。
　さらに、上述の実施形態では、表示装置１００が車両内の運転者の前方に配置される状況を例に挙げて本発明を説明したが、船舶や航空機や建設機械等の車両以外の他の機械や、オフィスで使用される状況にも本発明を適用できる。
３０　サーバー
３１０　プロセッサ
１００　表示装置
１０１　表示部
１０２　撮像装置
１１０　プロセッサ

Claims (6)

  1. 　表示部を備える表示装置に情報を表示させる表示制御装置を用いて、前記表示部に情報を表示させる方法であって、
    　前記表示装置と一体の又は前記表示装置の周囲に設けられた撮像装置により、前記表示装置の使用者を撮影し、
    　前記撮像装置により撮影された画像から、前記使用者の視線を検出し、
    　検出した前記使用者の視線を中心とする中心視野領域と、前記中心視野領域の外側の周辺視野領域との何れに、前記表示部が存在するかを判定し、
    　前記表示部が前記中心視野領域に存在する場合、通知情報を、第１の表示形態で前記表示部に表示させ、
    　前記表示部が前記周辺視野領域に存在する場合、前記通知情報を、前記第１の表示形態と比較して抽象度の高い第２の表示形態で前記表示部に表示させる情報表示方法。
  2. 　前記表示部が前記周辺視野領域に存在する場合、前記通知情報を、前記第２の表示形態で前記表示部に表示させてから所定時間が経過した後に、前記第１の表示形態に切換えて前記表示部に表示させる請求項１に記載の情報表示方法。
  3. 　前記撮像装置は、前記表示装置の前記表示部が設けられた面の側に備えられ、
    　前記撮像装置により前記使用者の顔を撮影し、
    　前記撮像装置により撮影された前記使用者の顔の向きに基づいて、前記表示部の位置を推定し、
    　推定した前記表示部の位置が、前記周辺視野領域に存在する場合、前記通知情報を、前記第２の表示形態で前記表示部に表示させてから所定時間が経過した後に、前記第１の表示形態に切換えて前記表示部に表示させる請求項２に記載の情報表示方法。
  4. 　前記第１の表示形態は、テキストを含み、
    　前記第２の表示形態は、アイコンを含む請求項１～３の何れか１項に記載の情報表示方法。
  5. 　前記表示装置は、車両内の運転席の前方に配置され、
    　前記通知情報は、前記車両の運転者に対して通知する情報である請求項１～４の何れか１項に記載の情報表示方法。
  6. 　情報を表示する表示部を備える表示装置に通知情報を表示させるプロセッサを備える表示制御装置であって、
    　前記プロセッサは、
    　前記表示装置と一体の又は前記表示装置の周囲に設けられた撮像装置に、前記表示装置の使用者を撮影させ、
    　前記撮像装置により撮影された画像から、前記使用者の視線を検出し、
    　検出した前記使用者の視線を中心とする中心視野領域と、前記中心視野領域の外側の周辺視野領域との何れに、前記表示装置の表示部が存在するかを判定し、
    　前記表示部が前記中心視野領域に存在する場合、通知情報を、第１の表示形態で前記表示部に表示させ、
    　前記表示部が前記周辺視野領域に存在する場合、前記通知情報を、前記第１の表示形態と比較して抽象度の高い第２の表示形態で前記表示部に表示させる表示制御装置。
PCT/JP2016/062491 2016-04-20 2016-04-20 情報表示方法及び表示制御装置 WO2017183129A1 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
PCT/JP2016/062491 WO2017183129A1 (ja) 2016-04-20 2016-04-20 情報表示方法及び表示制御装置
EP16899402.8A EP3447609B1 (en) 2016-04-20 2016-04-20 Information display method and display control device
RU2018140685A RU2720591C1 (ru) 2016-04-20 2016-04-20 Способ отображения информации и устройство управления отображением
JP2018512701A JP6758788B2 (ja) 2016-04-20 2016-04-20 情報表示方法及び表示制御装置
US16/094,571 US10652387B2 (en) 2016-04-20 2016-04-20 Information display method and display control device
MX2018012118A MX367701B (es) 2016-04-20 2016-04-20 Metodo de despliegue de informacion y dispositivo de control de despliegue.
CN201911294948.1A CN110825237B (zh) 2016-04-20 2016-04-20 信息显示方法和显示控制装置
KR1020187030091A KR102019619B1 (ko) 2016-04-20 2016-04-20 정보 표시 방법 및 표시 제어 장치
CN201680084803.7A CN109074151B (zh) 2016-04-20 2016-04-20 信息显示方法和显示控制装置
BR112018071324-4A BR112018071324B1 (pt) 2016-04-20 Método de exibição de informação e dispositivo de controle de exibição
MYPI2018703622A MY194747A (en) 2016-04-20 2016-04-20 Information display method and display control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062491 WO2017183129A1 (ja) 2016-04-20 2016-04-20 情報表示方法及び表示制御装置

Publications (1)

Publication Number Publication Date
WO2017183129A1 true WO2017183129A1 (ja) 2017-10-26

Family

ID=60115784

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062491 WO2017183129A1 (ja) 2016-04-20 2016-04-20 情報表示方法及び表示制御装置

Country Status (9)

Country Link
US (1) US10652387B2 (ja)
EP (1) EP3447609B1 (ja)
JP (1) JP6758788B2 (ja)
KR (1) KR102019619B1 (ja)
CN (2) CN109074151B (ja)
MX (1) MX367701B (ja)
MY (1) MY194747A (ja)
RU (1) RU2720591C1 (ja)
WO (1) WO2017183129A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023281755A1 (ja) * 2021-07-09 2023-01-12 シャープＮｅｃディスプレイソリューションズ株式会社 表示制御装置、表示制御方法、及びプログラム
JP7432874B2 (ja) 2021-12-23 2024-02-19 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY194747A (en) * 2016-04-20 2022-12-15 Nissan Motor Information display method and display control device
CN110139154B (zh) 2019-05-15 2021-08-31 京东方科技集团股份有限公司 一种显示设备控制方法及装置、系统
JP6825683B1 (ja) * 2019-12-02 2021-02-03 トヨタ自動車株式会社 車両用表示制御装置、車両用表示装置、車両用表示制御方法及びプログラム
JP2023180902A (ja) * 2022-06-10 2023-12-21 トヨタ自動車株式会社 車両用表示制御装置及び表示処理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10104003A (ja) * 1996-09-30 1998-04-24 Mazda Motor Corp ナビゲーション装置
JP2002225592A (ja) * 2001-02-01 2002-08-14 Nissan Motor Co Ltd 車両の情報表示装置
JP2003291688A (ja) * 2002-04-03 2003-10-15 Denso Corp 表示方法、運転支援装置、プログラム
JP2004077862A (ja) * 2002-08-20 2004-03-11 Sony Corp 表示装置および方法、携帯型情報処理端末および方法、記録媒体、並びにプログラム
JP2009282937A (ja) * 2008-05-26 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 情報自動編成提示装置および情報自動編成提示処理プログラム
JP5232922B2 (ja) * 2009-11-04 2013-07-10 本田技研工業株式会社 車両用表示装置
JP2015055999A (ja) * 2013-09-11 2015-03-23 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
JP2015058804A (ja) * 2013-09-19 2015-03-30 アルパイン株式会社 車載システム
JP5808435B2 (ja) * 2012-01-23 2015-11-10 三菱電機株式会社 情報表示装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208932B1 (en) 1996-09-30 2001-03-27 Mazda Motor Corporation Navigation apparatus
JP4042319B2 (ja) * 2000-09-28 2008-02-06 日産自動車株式会社 警報制御装置
JP2002166787A (ja) * 2000-11-29 2002-06-11 Nissan Motor Co Ltd 車両用表示装置
US6812942B2 (en) * 2000-12-28 2004-11-02 International Business Machines Corporation Context-responsive in-vehicle display system
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
JP3982504B2 (ja) * 2004-01-23 2007-09-26 日産自動車株式会社 車両用暗視カメラ装置および表示装置
JP2006163756A (ja) * 2004-12-07 2006-06-22 Honda Lock Mfg Co Ltd 車両の視界補助装置
JP4811259B2 (ja) * 2006-12-11 2011-11-09 日産自動車株式会社 視線方向推定装置及び視線方向推定方法
KR100830752B1 (ko) * 2007-04-19 2008-05-19 한국철도공사 차량용 스크린 장치
JP2009274542A (ja) * 2008-05-14 2009-11-26 Honda Motor Co Ltd ヘッドアップディスプレイ装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
JP5223768B2 (ja) * 2009-04-24 2013-06-26 株式会社デンソー 車両用表示装置
JP2011079428A (ja) * 2009-10-07 2011-04-21 Isuzu Motors Ltd 車両用表示装置
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
JP2012194060A (ja) * 2011-03-16 2012-10-11 Denso Corp 情報提供装置
US9658687B2 (en) 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays
US8994558B2 (en) * 2012-02-01 2015-03-31 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
JP5899021B2 (ja) * 2012-03-28 2016-04-06 本田技研工業株式会社 車両への携帯情報端末の取付位置判別方法
JP5949052B2 (ja) * 2012-03-29 2016-07-06 日産自動車株式会社 車両用表示装置
JP5924579B2 (ja) * 2012-03-30 2016-05-25 大日本印刷株式会社 視点誘導装置および電子書籍端末
CN103507639B (zh) * 2012-06-27 2016-06-01 比亚迪股份有限公司 一种车载显示设备及具有该设备的车辆
JP5847058B2 (ja) 2012-11-08 2016-01-20 本田技研工業株式会社 車両表示装置
JP6094305B2 (ja) * 2013-03-26 2017-03-15 セイコーエプソン株式会社 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6417676B2 (ja) * 2014-03-06 2018-11-07 ソニー株式会社 情報処理装置、情報処理方法、アイウェア端末および認証システム
JP6476644B2 (ja) * 2014-08-11 2019-03-06 トヨタ自動車株式会社 認知補助装置
JP6344417B2 (ja) * 2016-03-18 2018-06-20 トヨタ自動車株式会社 車両用表示装置
MY194747A (en) * 2016-04-20 2022-12-15 Nissan Motor Information display method and display control device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10104003A (ja) * 1996-09-30 1998-04-24 Mazda Motor Corp ナビゲーション装置
JP2002225592A (ja) * 2001-02-01 2002-08-14 Nissan Motor Co Ltd 車両の情報表示装置
JP2003291688A (ja) * 2002-04-03 2003-10-15 Denso Corp 表示方法、運転支援装置、プログラム
JP2004077862A (ja) * 2002-08-20 2004-03-11 Sony Corp 表示装置および方法、携帯型情報処理端末および方法、記録媒体、並びにプログラム
JP2009282937A (ja) * 2008-05-26 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 情報自動編成提示装置および情報自動編成提示処理プログラム
JP5232922B2 (ja) * 2009-11-04 2013-07-10 本田技研工業株式会社 車両用表示装置
JP5808435B2 (ja) * 2012-01-23 2015-11-10 三菱電機株式会社 情報表示装置
JP2015055999A (ja) * 2013-09-11 2015-03-23 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
JP2015058804A (ja) * 2013-09-19 2015-03-30 アルパイン株式会社 車載システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3447609A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023281755A1 (ja) * 2021-07-09 2023-01-12 シャープＮｅｃディスプレイソリューションズ株式会社 表示制御装置、表示制御方法、及びプログラム
WO2023282289A1 (ja) * 2021-07-09 2023-01-12 シャープＮｅｃディスプレイソリューションズ株式会社 表示制御装置、表示制御方法、及びプログラム
JP7432874B2 (ja) 2021-12-23 2024-02-19 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法及びプログラム

Also Published As

Publication number Publication date
KR20180123552A (ko) 2018-11-16
JP6758788B2 (ja) 2020-09-23
US10652387B2 (en) 2020-05-12
CN109074151A (zh) 2018-12-21
MX2018012118A (es) 2019-02-11
MY194747A (en) 2022-12-15
MX367701B (es) 2019-09-03
JPWO2017183129A1 (ja) 2019-03-07
CN109074151B (zh) 2020-01-03
US20190109939A1 (en) 2019-04-11
EP3447609A4 (en) 2019-05-08
EP3447609A1 (en) 2019-02-27
KR102019619B1 (ko) 2019-09-06
RU2720591C1 (ru) 2020-05-12
CN110825237A (zh) 2020-02-21
CN110825237B (zh) 2024-02-23
EP3447609B1 (en) 2020-09-30
BR112018071324A2 (pt) 2019-02-05

Similar Documents

Publication Publication Date Title
WO2017183129A1 (ja) 情報表示方法及び表示制御装置
US20220076577A1 (en) Drive assist device
JP7060031B2 (ja) 運転者監視システム
US9451062B2 (en) Mobile device edge view display insert
EP2826689B1 (en) Mobile terminal
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
JP5482737B2 (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
JP6202550B1 (ja) 事故防止対策機能を備えた携帯型の電子機器
JP2016172526A (ja) 車両用表示装置
JP2016066231A (ja) 衝突防止装置、衝突防止方法、衝突防止プログラムおよび記録媒体
JP2019006183A (ja) 操縦支援装置、操縦支援方法、プログラム
JP2015011456A (ja) 車両用情報提供装置
JP6586226B2 (ja) 端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置
CN111292509A (zh) 异常检测装置、异常检测系统以及记录介质
WO2017150466A1 (ja) 運転者監視システム
CN113044056B (zh) 信息提供装置
JP2015026255A (ja) 運転支援システムおよび運転支援方法
JP2013154836A (ja) 運転支援装置およびプログラム
JP7476866B2 (ja) ウェアラブル端末の画像表示制御装置及び画像表示制御方法及び画像表示システム
JP6224342B2 (ja) 携帯端末装置
JP2019064422A (ja) ヘッドアップディスプレイ装置
BR112018071324B1 (pt) Método de exibição de informação e dispositivo de controle de exibição

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018512701

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20187030091

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112018071324

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: 2016899402

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016899402

Country of ref document: EP

Effective date: 20181120

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16899402

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 112018071324

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20181017