WO2017199524A1 - 車載警告システム - Google Patents

車載警告システム Download PDF

Info

Publication number
WO2017199524A1
WO2017199524A1 PCT/JP2017/007426 JP2017007426W WO2017199524A1 WO 2017199524 A1 WO2017199524 A1 WO 2017199524A1 JP 2017007426 W JP2017007426 W JP 2017007426W WO 2017199524 A1 WO2017199524 A1 WO 2017199524A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
warning
vehicle
voice
detection unit
Prior art date
Application number
PCT/JP2017/007426
Other languages
English (en)
French (fr)
Inventor
菜美 三木
朗浩 小笠原
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US16/099,783 priority Critical patent/US10399494B2/en
Publication of WO2017199524A1 publication Critical patent/WO2017199524A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/006—Indicating maintenance
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Definitions

  • This disclosure relates to an in-vehicle warning system in which a warning light on a meter panel is turned on when an abnormality occurs in a vehicle.
  • a warning light on the meter panel such as a hydraulic warning light or a charging warning light is turned on or blinking.
  • the warning light illuminates or flashes on the meter panel in this way, the driver thinks that something is displayed.
  • Patent Document 1 describes a system that displays a warning description, a countermeasure description, and the like on a display of a navigation device when a warning light on a meter panel is lit.
  • a warning occurs during route guidance by the navigation device
  • a description of the content of the warning, a description of a countermeasure, and the like are suddenly displayed on the display during the route guidance.
  • the driver's mental state may be further confused because the display on the navigation device suddenly changes because the driver's feeling is upset by the lighting of the warning light on the meter panel.
  • An object of the present disclosure is to provide an in-vehicle warning system that can prevent a situation in which a driver is mentally shaken when an abnormality such as lighting of a warning light on a meter panel occurs.
  • a first aspect of the present disclosure is an in-vehicle warning system configured to turn on or blink a warning light on a meter panel when an abnormality occurs in a vehicle, and when the warning light is turned on or blinked,
  • a detection unit that detects the mental sway of the driver, and when the driver's mental sway is detected, the driver is informed of the warning content of the lit or flashing warning light and how to deal with the warning.
  • a notification unit for notification is provided.
  • FIG. 1 is a block diagram of an in-vehicle warning system showing a first embodiment.
  • FIG. 2 is a diagram (part 1) for explaining area division of a cockpit of a vehicle.
  • FIG. 3 is a diagram (part 2) for explaining area division of the cockpit of the vehicle.
  • FIG. 4 is a flowchart of warning presentation control.
  • FIG. 5 is a table showing the relationship between warning lights and warning levels.
  • FIG. 6 is a diagram illustrating an example of a display form of an explanatory text explaining the content of a warning or the like.
  • the in-vehicle warning system 1 of the present embodiment includes a meter ECU 2, a monitoring camera ECU 3, a navigation device 4, and an in-vehicle LAN 5 to which the ECUs 2, 3 and the navigation device 4 are connected.
  • the meter ECU 2 receives various abnormality detection signals transmitted from various ECUs mounted on the vehicle via the in-vehicle LAN 5, and a warning light (for example, a hydraulic warning light or a charge) on the meter panel corresponding to the received abnormality detection signal. Turn on or blink a warning light.
  • the surveillance camera ECU 3 includes a camera that captures the driver's (ie, driver) face and upper body, and an image information processing unit that performs image recognition processing on image data captured by the camera.
  • the surveillance camera ECU 3 detects the driver's line-of-sight direction, face-facing direction, and the like by performing image recognition processing on the driver's image data captured by the camera, and the driver's instrument panel and windshield periphery (I.e., the cockpit) has a function of detecting where the viewpoint is placed.
  • the periphery of the instrument panel and the windshield is divided into a plurality of regions R1 to Rn, and it is determined in which of these regions R1 to Rn the driver's viewpoint is located.
  • the configuration is possible.
  • the driver can determine that the driver is gazing at the meter panel, that is, the warning light.
  • surveillance camera ECU3 is comprised so that detection information, such as a driver
  • the cockpit is divided into a plurality of areas Q1 to Qn, and any of these areas Q1 to Qn is arranged. You may comprise so that it may determine whether a driver
  • the navigation device 4 includes a display unit 6, an operation input unit 7, a position detector 8, a map data input unit 9, a storage unit 10, a voice processing unit 11, a control unit 12, and the like.
  • the display unit 6 is composed of, for example, a liquid crystal display or an organic EL display, and displays various information (for example, various messages, various displays related to navigation, etc.) based on instructions from the control unit 12.
  • a touch switch (for example, a touch panel) is provided on the screen of the display unit 6.
  • the operation input unit 7 includes a touch switch, a mechanical switch provided around the display unit 6, and the like, detects an operation of the switch by the user, and outputs an operation detection signal to the control unit 12.
  • the operation input unit 7 includes a talk switch for starting voice recognition processing.
  • the control unit 12 analyzes the operation detection signal input from the operation input unit 7 and identifies the operation content by the user.
  • the position detector 8 includes a well-known geomagnetic sensor, a gyroscope, a vehicle speed sensor, a GPS receiver, and the like (not shown), and detects the current position of the vehicle with high accuracy. Furthermore, an acceleration sensor that detects acceleration may be added.
  • the position detector 8 outputs information on the detected current position of the vehicle to the control unit 12.
  • the map data input unit 9 inputs road map data, voice recognition dictionary data, etc. using a large-capacity information storage medium such as a CD-ROM, DVD-ROM, hard disk, and nonvolatile semiconductor memory. belongs to.
  • the control unit 12 performs a so-called navigation process based on the current position information of the vehicle given from the position detector 8 and the road map data given from the map data input unit 9.
  • the storage unit 10 is composed of a non-volatile storage medium such as a hard disk drive or an SD memory, and has a storage area for storing various data.
  • the storage unit 10 may be configured to be built in the navigation device 4 or may be configured to use an external storage medium that is removable from the navigation device 4.
  • the audio processing unit 11 is connected with a control unit 12, a microphone 13, and a speaker 14.
  • the audio processing unit 11 performs known audio input processing, audio output processing, music output processing, and the like.
  • the voice processing unit 11 performs voice processing on the input voice data and outputs the voice data to the control unit 12.
  • the voice processing unit 11 receives voice data, music data, sound data, or the like from the control unit 12, the voice processing unit 11 outputs the input voice data, music data, sound data, or the like from the speaker 14.
  • the control unit 12 is mainly composed of a microcomputer having a CPU, a ROM, a RAM, an I / O bus, and the like.
  • the control unit 12 controls the overall operation of the navigation device 4 according to a computer program stored in the built-in ROM, the storage unit 10 or the like.
  • the control unit 12 includes a route search function for searching for a route from the current location of the vehicle to the destination, a route guidance function for guiding a route along the searched and set route, and an operation input unit 7 to operate the destination. It has a destination setting function for setting.
  • control unit 12 receives various abnormality detection signals output from various ECUs mounted on the vehicle via the in-vehicle LAN 5, and whether or not the warning light on the meter panel is turned on or blinked, that is, a warning. Has a warning occurrence determination function for determining whether or not an error has occurred. Further, the control unit 12 has a voice recognition function for performing voice recognition processing on the user's voice input via the microphone 13 and the voice processing unit 11 based on the voice recognition dictionary of the map data input device 9. The voice recognition process is usually performed when the user presses the talk switch. However, when it is determined that the warning has occurred, the voice recognition process is not performed, that is, continuous voice recognition is performed. The mode is turned on, and the speech recognition process is automatically and continuously performed.
  • control unit 12 includes information on the direction of the driver's line of sight detected by the monitoring camera ECU 3 via the in-vehicle LAN 5, information on the direction of the face, and information on where the viewpoint is located in the cockpit. And the like. Further, the control unit 12 recognizes the voice recognition result of the driver's voice, information on the direction of the driver's line of sight, information on the direction of the face, information on where the viewpoint is located in the cockpit, and the like.
  • the driver has a function of detecting that the driver is mentally upset (or confused). And the control part 12 passes the function which shows the content etc. of the said warning with respect to a user, when detecting that the driver
  • control unit 12 utters the driver when the driver's spirit is upset in a situation where the voice recognition result of the driver's utterance is “what is that”, that is, in a situation where a warning is generated. It has a function to judge whether or not it is such a word.
  • the control part 12 is provided with each function as a detection part, an alerting
  • FIG. 4 shows the content of the warning presentation control of the control unit 12.
  • step S10 of FIG. 4 the control unit 12 determines whether or not a warning light on the meter panel is lit or blinked based on an abnormality detection signal received via the vehicle LAN 5, that is, whether or not a warning has occurred. Determine whether. Here, when the warning is not generated, the process proceeds to “NO”, and the determination in step S10 is continued. If a warning occurs in step S10 (YES), the process proceeds to step S20, and the control unit 12 turns on the continuous voice recognition mode and automatically and continuously voices the user's voice input via the microphone 13. Recognition process.
  • step S30 the control part 12 receives the information of the driver
  • the viewpoint, etc. By checking the line of sight, the viewpoint, etc., it is determined whether or not the driver has seen the vicinity of the meter panel for 0.3 seconds or more, for example.
  • the process proceeds to “NO” and the determination in step S30 is repeated.
  • step S30 when the driver views the vicinity of the meter panel, for example, for 0.3 seconds or more (YES), the process proceeds to step S40, and the control unit 12 determines whether the warning level of the generated warning is, for example, 2 or more. Judging.
  • the warning level is set as shown in the table of FIG. 5, for example. Warning level 1 has a high degree of danger, warning level 2 has a medium degree of danger, and warning level 3 has a low degree of danger. .
  • step S40 when the warning level is not 2 or less (NO), the warning level is 1, and the risk of the generated warning is high, so the process proceeds to step S70. The process in step S70 and the subsequent processes will be described later.
  • step S40 when the warning level is 2 or more (YES), the warning level is 2 or 3, and the degree of danger is not high, so the process proceeds to step S50.
  • step S50 the control unit 12 determines the number of panel gazing operations when the driver views the vicinity of the meter panel, for example, for 0.3 seconds or more based on the information such as the driver's viewpoint output from the monitoring camera ECU 3. For example, it is determined whether or not it is 3 times or more in 5 seconds. In the case of this configuration, just because the driver is gazing at the meter panel, the warning content is not immediately presented (for example, displayed or notified by voice), but the set number of times within a predetermined time (for example, 5 seconds). This is because the warning content is presented when the panel gazing operation is executed (for example, three times).
  • step S50 when the number of panel gazing operations when the driver views the vicinity of the meter panel for, for example, 0.3 seconds or more is less than 3 times in 5 seconds (NO), the process returns to step S30.
  • step S50 when the number of panel gazing operations when the driver views the vicinity of the meter panel for 0.3 seconds or more, for example, is 3 times or more in 5 seconds (YES), the process proceeds to step S60.
  • step S60 the control unit 12 determines whether or not the voice recognition result of the driver's utterance is a word such as “that what”. In this case, in addition to “What is that?”, “What is this?”, “What is this warning?”, “What is this warning?”, “Red light?”, Or “Why is it shining? In other words, when the driver's mind is shaken under a situation where a warning is generated, it is determined whether or not the words that the driver utters have been recognized.
  • step S60 when the speech recognition result of the driver's utterance is not a word such as “that what” (NO), the process returns to step S30.
  • step S60 when the speech recognition result of the driver's utterance is a word that the driver utters when the driver's spirit is upset, such as “what?” (YES), step Proceed to S70.
  • step S70 the control unit 12 displays a display mode (for example, a figure, an image, or an explanatory text) explaining the content of the warning, or a display mode (for example, a diagram, a mark, an image, or a description) for explaining how to deal with the warning. Etc.) are presented to the driver.
  • the control unit 12 displays each display mode on the display unit 6 of the navigation device 4.
  • An example of the display mode displayed on the display unit 6 is shown in FIG. As shown in FIG. 6, a warning light that is lit in the meter panel, for example, a mark (for example, a symbol) 15 of a hydraulic warning light is displayed, and “hydraulic warning” is displayed as the content of the warning. “How to stop immediately.
  • the control part 12 is comprised so that the message part in each said display aspect etc. may be output from the speaker 14 with an audio
  • voice In this case, when outputting the message part by voice, it is preferable to output a polite voice so as to suppress the driver's shaking.
  • a word to suppress the driver's sway such as "Warning light is on. Please calm down. I will explain the content of the warning and how to deal with it.” May be output by voice.
  • step S80 the control part 12 judges whether the warning was complete
  • step S80 when the warning ends (YES), the process proceeds to step S90, and the control unit 12 turns off the continuous speech recognition mode. As a result, the continuous speech recognition mode is canceled, and thereafter, when a user (for example, a driver) presses the talk switch, speech recognition processing is performed as usual. After step S90, the process returns to step S10 and the above-described control is repeated.
  • the monitoring camera ECU 3 when detecting the mental sway of the driver, detects the direction of the driver's line of sight, the direction of the face, etc., and the driver's viewpoint gazes at the meter panel.
  • the driver utters when the driver's spirit is shaken by the voice recognized by the driver by the control unit 12 of the navigation device 4. It was configured to detect something. According to this configuration, it is possible to accurately detect the mental sway of the driver.
  • the time when the driver's viewpoint is gazing at the meter panel is a set time, for example, 0.3 seconds or more
  • detection control is performed to determine whether the driver's spirit is upset.
  • the detection control can be prevented from being executed.
  • the warning level of a warning light that is lit or blinking when the warning level has a high warning level (for example, when the warning level is 1), the content of the warning of the warning light that is lit or blinking The driver is immediately notified of how to deal with the warning. According to this configuration, when a warning with a high degree of danger occurs, the driver can quickly know the content.
  • the number of executions of the panel gazing operation when the driver's viewpoint is gazing at the meter panel for a predetermined time or more when the danger level is not a high warning level is a predetermined time (for example, When the set number of times (for example, 3 times) or more is reached within 5 seconds), the detection control of whether the driver's spirit is upset is continued. According to this configuration, it is possible to detect the driver's mental motion more accurately.
  • the number of executions of the panel gazing operation is equal to or more than the set number within a predetermined time, and further, the driver's voice sways the driver's spirit.
  • the driver's voice sways the driver's spirit.
  • the voice recognition process is automatically and continuously executed when the warning light is turned on or blinking, the driver does not have to press the talk switch when a warning occurs.
  • the voice recognition process for the driver's voice can be executed automatically and continuously.
  • the continuous speech recognition mode is turned off when the warning light is turned off, that is, when the warning is finished. Can be prevented.
  • the voice recognition processing function is incorporated in the navigation device 4.
  • the present invention is not limited to this, and a vehicle-mounted ECU dedicated to the voice recognition processing is provided, and this vehicle-mounted ECU is connected to the vehicle-mounted LAN 5. You may comprise so that it may connect.
  • surveillance camera ECU3 was provided separately, it may replace with this and you may comprise so that the function of surveillance camera ECU3 may be incorporated in the navigation apparatus 4.
  • FIG. in the above embodiment, the warning presentation control function is incorporated in the navigation device 4.
  • the present invention is not limited to this, and the warning presentation control function is incorporated in other in-vehicle ECUs. You may comprise so that the display of how to deal with etc. may be displayed on the display of display ECU connected to in-vehicle LAN5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)

Abstract

車両に異常が発生したときにメータパネルの警告灯が点灯または点滅するように構成された車載警告システム（１）であって、警告灯が点灯または点滅したときに、運転者の精神的な動揺を検出する検出部（１２）と、運転者の精神的な動揺が検出されたときに、前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に報知する報知部（１２）とを備えたものである。

Description

車載警告システム 関連出願の相互参照
　本出願は、２０１６年５月１９日に出願された日本出願番号２０１６－１００４６４号に基づくもので、ここにその記載内容を援用する。
　本開示は、車両に異常が発生したときにメータパネルの警告灯が点灯する車載警告システムに関する。
　車両においては、エンジンオイルが不足したり、充電系統に異常が発生したりした場合、メータパネルの警告灯例えば油圧警告灯や充電警告灯等が点灯または点滅する。このようにメータパネルにて警告灯が点灯または点滅すると、運転者は、「何か表示が出ている。気になる。」と思い、運転に集中できない事態が発生していた。
　また、特許文献１には、メータパネルの警告灯が点灯した場合に、ナビゲーション装置のディスプレイに警告の内容説明や対処方法説明等を表示するシステムが記載されている。しかし、上記システムの場合、ナビゲーション装置で経路案内している最中において、警告が発生したときには、経路案内の途中で突然、ディスプレイに警告の内容説明や対処方法説明等が表示される。このため、運転者は、メータパネルの警告灯の点灯で気持ちが動揺している上に、ナビゲーション装置のディスプレイの表示が突然変わることから、運転者の精神状態が更に混乱していく可能性があり、運転等に支障をきたすおそれもあった。
特開２００６－１９３１３８号公報
　本開示の目的は、メータパネルの警告灯の点灯等の異常が発生した場合に、運転者が精神的に動揺するような事態を極力防止できる車載警告システムを提供することにある。
　本開示の第１の態様は、車両に異常が発生したときにメータパネルの警告灯が点灯または点滅するように構成された車載警告システムであって、前記警告灯が点灯または点滅したときに、運転者の精神的な動揺を検出する検出部と、運転者の精神的な動揺が検出されたときに、前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に報知する報知部とを備えたものである。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、第１実施形態を示す車載警告システムのブロック図であり、 図２は、車両のコックピットの領域分割を説明する図（その１）であり、 図３は、車両のコックピットの領域分割を説明する図（その２）であり、 図４は、警告提示制御のフローチャートであり、 図５は、警告灯と警告レベルとの関係を表にして示す図であり、 図６は、警告の内容等を説明する説明文の表示態様の一例を示す図である。
　（第１実施形態）
　以下、第１実施形態について、図１ないし図６を参照して説明する。本実施形態の車載警告システム１は、図１に示すように、メータＥＣＵ２と、監視カメラＥＣＵ３と、ナビゲーション装置４と、これらＥＣＵ２、３及びナビゲーション装置４が接続された車載ＬＡＮ５とを備えている。メータＥＣＵ２は、車載ＬＡＮ５を介して車両に搭載された種々のＥＣＵから送信された種々の異常検出信号を受信し、受信した異常検出信号に対応するメータパネルの警告灯（例えば油圧警告灯や充電警告灯等）を点灯または点滅動作させる。
　監視カメラＥＣＵ３は、運転者（即ち、ドライバ）の顔及び上半身等を撮影するカメラと、カメラで撮影した画像データを画像認識処理する画像情報処理部とを備えている。監視カメラＥＣＵ３は、カメラで撮影した運転者の画像データを画像認識処理することにより、運転者の視線の方向や顔向きの方向等を検出し、運転者が車両のインストルメントパネル及びフロントガラス周辺（即ち、コックピット）のどこに視点を置いているかを検出する機能を有する。この場合、例えば、図２に示すように、インストルメントパネル及びフロントガラス周辺を複数の領域Ｒ１～Ｒｎに分割し、これら領域Ｒ１～Ｒｎのいずれに運転者の視点が位置しているかを判定することが可能な構成となっている。図２に示す構成の場合、領域Ｒ２に運転者の視点が位置していると判定されると、運転者はメータパネル、即ち、警告灯を注視していると判断することができる。そして、監視カメラＥＣＵ３は、運転者の視線の方向や顔向きの方向や視点の位置等の検出情報を車載ＬＡＮ５を介してナビゲーション装置４へ送信するように構成されている。
　尚、コックピット内を図２に示すように領域分割する代わりに、例えば図３に示すように、コックピット内を複数の領域Ｑ１～Ｑｎに分割するように構成し、これら領域Ｑ１～Ｑｎのいずれに運転者の視点が位置しているかを判定するように構成しても良い。
　ナビゲーション装置４は、表示部６、操作入力部７、位置検出器８、地図データ入力器９、記憶部１０、音声処理部１１、制御部１２などを備えている。表示部６は、例えば液晶表示器や有機ＥＬ表示器で構成されており、制御部１２からの指示に基づいて各種の情報（例えば種々のメッセージや、ナビゲーションに関する各種の表示等）を表示する。表示部６の画面上には、タッチスイッチ（例えばタッチパネル）が設けられている。
　操作入力部７は、上記タッチスイッチや表示部６の周囲に設けられたメカニカルスイッチなどを有し、ユーザによる上記スイッチの操作を検知し、その操作検知信号を制御部１２に出力する。尚、操作入力部７には、音声認識処理を開始するためのトークスイッチが含まれている。制御部１２は、操作入力部７から入力された操作検知信号を解析してユーザによる操作内容を特定する。
　位置検出器８は、図示しない周知の地磁気センサ、ジャイロスコープ、車速センサおよびＧＰＳ受信機などを備えており、高精度に車両の現在位置を検出する。さらに、加速度を検出する加速度センサ等を加えてもよい。位置検出器８は、検出した車両の現在位置の情報を制御部１２に出力する。地図データ入力器９は、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、不揮発性の半導体メモリ等のような大容量の情報記憶媒体を利用して道路地図データや音声認識辞書のデータなどを入力するためのものである。制御部１２は、位置検出器８から与えられる車両の現在位置情報と、地図データ入力器９から与えられる道路地図データなどに基づいて、いわゆるナビゲーション処理を行う。
　記憶部１０は、例えばハードディスクドライブやＳＤメモリなどの不揮発性の記憶媒体からなり、各種データを記憶する記憶領域を有して構成されている。記憶部１０は、ナビゲーション装置４に内蔵されている構成であってもよいし、ナビゲーション装置４から取り外し可能な外部記憶媒体を用いる構成であってもよい。
　音声処理部１１には、制御部１２、マイクロホン１３およびスピーカ１４が接続されている。音声処理部１１は、周知の音声入力処理、音声出力処理及び楽曲出力処理等を行う。音声処理部１１は、ユーザ（例えば運転者等）が発した音声をマイクロホン１３から入力すると、その入力した音声データを音声処理して制御部１２へ出力する。また、音声処理部１１は、制御部１２から音声データや楽曲データや音データ等を入力すると、その入力した音声データや楽曲データや音データ等をスピーカ１４から出力する。
　制御部１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏバスなどを有するマイクロコンピュータを主体に構成されている。制御部１２は、内蔵のＲＯＭや記憶部１０などに記憶されているコンピュータプログラムに従って、ナビゲーション装置４の動作全般を制御する。制御部１２は、車両の現在地から目的地までの経路を探索する経路探索機能、探索され且つ設定された経路に沿って経路案内する経路案内機能、および、操作入力部７を操作して目的地を設定する目的地設定機能を有している。
　また、制御部１２は、車載ＬＡＮ５を介して車両に搭載された種々のＥＣＵから出力された種々の異常検出信号を受信し、メータパネルの警告灯が点灯または点滅されたか否か、即ち、警告が発生したか否かを判定する警告発生判定機能を有する。更に、制御部１２は、マイクロホン１３及び音声処理部１１を介して入力したユーザの音声を、地図データ入力器９の音声認識辞書に基づいて音声認識処理する音声認識機能を有する。尚、音声認識処理は、通常、ユーザがトークスイッチを押下したときに実施されるが、上記警告が発生したことが判定されたときには、トークスイッチが押下されていなくても、即ち、連続音声認識モードがオンされて、自動的且つ連続的に音声認識処理が実施されるように構成されている。
　また、制御部１２は、車載ＬＡＮ５を介して監視カメラＥＣＵ３により検出された運転者の視線の方向の情報や顔向きの方向の情報や視点がコックピット内のどこの領域に位置しているかの情報等を受信する機能を有する。また、制御部１２は、運転者の音声の音声認識結果と、運転者の視線の方向の情報や顔向きの方向の情報や視点がコックピット内のどこの領域に位置しているかの情報等とに基づいて、運転者が精神的に動揺（または混乱）していることを検出する機能を有する。そして、制御部１２は、運転者が精神的に動揺していることを検出した場合に、上記警告の内容等をユーザに対して提示する機能を通する。また、制御部１２は、運転者の発話の音声認識結果が「あれ何」等の言葉、即ち、警告が発生した状況下で、運転者の精神が動揺している際に、運転者が発するような言葉であるか否かを判断する機能を有する。制御部１２は、検出部、報知部、注視検出部及び音声検出部としての各機能を備えている。
　次に、上記構成のナビゲーション装置４の動作、即ち、制御部１２の警告提示制御について、図４ないし図６を参照して説明する。図４のフローチャートは、制御部１２の警告提示制御の内容を示す。
　まず、図４のステップＳ１０においては、制御部１２は、車両ＬＡＮ５を介して受信した異常検出信号に基づいてメータパネルの警告灯が点灯または点滅されたか否か、即ち、警告が発生したか否かを判定する。ここで、警告が発生していないときには、「ＮＯ」へ進み、ステップＳ１０の判断を続ける。上記ステップＳ１０において、警告が発生したときには（ＹＥＳ）、ステップＳ２０へ進み、制御部１２は、連続音声認識モードをオンし、マイクロホン１３を介して入力したユーザの音声を自動的且つ連続的に音声認識処理する。
　続いて、ステップＳ３０へ進み、制御部１２は、監視カメラＥＣＵ３から車載ＬＡＮ５を介して送信された運転者の視線の方向や顔向きの方向や視点の位置の情報等を受信して、運転者の視線や視点等を確認することにより、運転者がメータパネル付近を例えば０．３秒以上見たか否かを判断する。ここで、運転者がメータパネル付近を例えば０．３秒以上見ていないときには、「ＮＯ」へ進み、ステップＳ３０の判断を繰り返す。
　上記ステップＳ３０において、運転者がメータパネル付近を例えば０．３秒以上見たときには（ＹＥＳ）、ステップＳ４０へ進み、制御部１２は、発生した警告の警告レベルが例えば２以上であるか否かを判断する。尚、警告レベルは、例えば、図５の表に示すように設定されており、警告レベル１は危険度が高く、警告レベル２は危険度が中ぐらいであり、警告レベル３は危険度が低い。上記ステップＳ４０において、警告レベルが２以下でないときには（ＮＯ）、警告レベルが１であって発生した警告の危険度が高いことから、ステップＳ７０へ進む。尚、ステップＳ７０の処理及びそれ以降の処理については、後述する。
　また、上記ステップＳ４０において、警告レベルが２以上であるときには（ＹＥＳ）、警告レベルが２または３であって危険度が高くないことから、ステップＳ５０へ進む。このステップＳ５０では、制御部１２は、監視カメラＥＣＵ３から出力された運転者の視点等の情報に基づいて、運転者がメータパネル付近を例えば０．３秒以上見たパネル注視動作の回数が、例えば５秒間に３回以上であるか否かを判断する。この構成の場合、運転者がメータパネルを注視しているからといって、即時に警告内容を提示（例えば表示または音声で報知）するのではなく、所定時間（例えば５秒間）内に設定回数（例えば３回）以上パネル注視動作を実行した場合に、警告内容を提示するようにするためである。
　上記ステップＳ５０において、運転者がメータパネル付近を例えば０．３秒以上見たパネル注視動作の回数が、５秒間に３回未満のときには（ＮＯ）、ステップＳ３０へ戻る。また、上記ステップＳ５０において、運転者がメータパネル付近を例えば０．３秒以上見たパネル注視動作の回数が、５秒間に３回以上であるときには（ＹＥＳ）、ステップＳ６０へ進む。
　このステップＳ６０においては、制御部１２は、運転者の発話の音声認識結果が、「あれ何」等の言葉であるか否かを判断する。この場合、「あれ何？」の他に、「これ何？」、「この警告なに？」、「この警告なんだっけ？」、「赤い信号？」、または、「何で光っているの？」等の言葉、即ち、警告が発生した状況下で、運転者の精神が動揺している際に、運転者が発するような言葉が、音声認識されたか否かを判断する。
　上記ステップＳ６０において、運転者の発話の音声認識結果が、「あれ何」等の言葉でなかったときには（ＮＯ）、ステップＳ３０へ戻る。また、上記ステップＳ６０において、運転者の発話の音声認識結果が、「あれ何」等の運転者の精神が動揺している際に運転者が発するような言葉であったときには（ＹＥＳ）、ステップＳ７０へ進む。
　このステップＳ７０においては、制御部１２は、警告の内容を説明する表示態様（例えば図や画像や説明文等）や、警告に対する対処の仕方を説明する表示態様（例えば図やマークや画像や説明文等）等を運転者に提示、即ち、報知する。この場合、制御部１２は、上記各表示態様を、ナビゲーション装置４の表示部６に表示する。表示部６に表示する表示態様の一例を、図６に示す。図６に示すように、メータパネル内で点灯した警告灯、例えば油圧警告灯のマーク（例えば図柄）１５を表示すると共に、警告の内容として「油圧警告」を表示し、更に、警告に対する対処の仕方として「即座に停車してください。エンジンオイルを点検ください。」を表示する。尚、メータパネル内に表示装置が設けられている構成の場合には、メータパネル内の表示装置にも、上記各表示態様等を表示することが好ましい。更に、制御部１２は、上記各表示態様等の中のメッセージ部分を、音声でスピーカ１４から出力するように構成されている。この場合、メッセージ部分を音声出力する際に、丁寧な音声を出力するようにして、運転者の動揺を鎮めるようにすることが好ましい。また、メッセージ部分の音声出力の前に、「警告灯が点灯しました。落ち着いてください。警告の内容及び対処の仕方をご説明します。」というような運転者の動揺を抑制するための言葉を音声で出力するように構成しても良い。
　そして、ステップＳ８０へ進み、制御部１２は、警告が終了したか否か、即ち、警告灯が消灯したか否かを判断する。ここで、警告が継続しているときには（ＮＯ）、ステップＳ３０へ戻り、上述した制御を繰り返す。また、上記ステップＳ８０において、警告が終了したときには（ＹＥＳ）、ステップＳ９０へ進み、制御部１２は、連続音声認識モードをオフする。これにより、連続音声認識モードは解除され、これ以降は、通常通り、ユーザ（例えば運転者）がトークスイッチを押下したときに、音声認識処理が実施されるようになる。このステップＳ９０の後は、ステップＳ１０へ戻り、上述した制御を繰り返す。
　このような構成の本実施形態においては、メータパネルの警告灯が点灯または点滅したときに、運転者の精神的な動揺を検出し、運転者の精神的な動揺が検出されたときに、点灯または点滅した警告灯の警告の内容や警告に対する対処の仕方を運転者に報知するように構成した。この構成によれば、運転者の精神的な動揺が検出されたときに、初めて点灯または点滅した警告灯の警告の内容や警告に対する対処の仕方が運転者に報知されるようになるので、メータパネルの警告灯の点灯等の異常が発生した場合に、運転者が精神的に動揺するような事態を極力防止できる。
　また、上記実施形態では、運転者の精神的な動揺を検出するに際して、監視カメラＥＣＵ３によって、運転者の視線の方向や顔向きの方向等を検出して運転者の視点が前記メータパネルを注視していることを検出し、ナビゲーション装置４の制御部１２によって、運転者の発する音声を音声認識して認識した音声が運転者の精神が動揺している際に運転者が発するような言葉であることを検出するように構成した。この構成によれば、運転者の精神的な動揺を正確に検出することができる。
　また、上記実施形態では、運転者の視点がメータパネルを注視している時間が設定時間例えば０．３秒以上であるときに、運転者の精神が動揺しているどうかの検出制御を実行するように構成したので、運転者がメータパネルをちら見しかしないとき、即ち、運転者があまり動揺していないときには、上記検出制御を実行しないようにすることができる。
　また、上記実施形態では、点灯または点滅した警告灯の警告レベルを考慮して、危険度が高い警告レベル（例えば警告レベルが１のとき）であるときには、点灯または点滅した警告灯の警告の内容や上記警告に対する対処の仕方を運転者に即座に報知するように構成した。この構成によれば、危険度が高い警告が発生した場合、その内容を運転者は速やかに知ることができる。
　また、上記実施形態では、危険度が高い警告レベルでないときであって、運転者の視点がメータパネルを注視している時間が設定時間以上であるパネル注視動作の実行回数が、所定時間（例えば５秒間）内に設定回数（例えば３回）以上となったときに、運転者の精神が動揺しているどうかの検出制御を続行するように構成した。この構成によれば、運転者の精神的な動揺をより一層正確に検出することができる。
　更に、上記実施形態では、危険度が高い警告レベルでないときであって、パネル注視動作の実行回数が所定時間内に設定回数以上となり、更に、運転者の発する音声が運転者の精神が動揺している際に運転者が発するような言葉であることが検出されたときに、運転者の精神的な動揺が検出されたとして、点灯または点滅した警告灯の警告の内容や上記警告に対する対処の仕方を運転者に報知するように構成した。この構成によれば、運転者の精神的な動揺をより一層正確に検出することができると共に、運転者の精神的な動揺を検出したときに、警告の内容や上記警告に対する対処の仕方を運転者に報知することができる。
　また、上記実施形態では、警告灯が点灯または点滅したときに、自動的且つ連続的に音声認識処理を実行するように構成したので、警告が発生したときには、運転者がトークスイッチを押さなくても、運転者の音声の音声認識処理を自動的且つ連続的に実行することができる。更に、上記実施形態では、警告灯が消灯したときに、即ち、警告が終了したときに、連続音声認識モードをオフするように構成したので、高負荷の連続音声認識処理を無駄に続けることを防止できる。
　尚、上記実施形態では、ナビゲーション装置４内に音声認識処理の機能を組み込むように構成したが、これに限られるものではなく、音声認識処理専用の車載ＥＣＵを設け、この車載ＥＣＵを車載ＬＡＮ５に接続するように構成しても良い。また、上記実施形態では、監視カメラＥＣＵ３を別途設けたが、これに代えて、監視カメラＥＣＵ３の機能をナビゲーション装置４内に内蔵するように構成しても良い。また、上記実施形態では、警告提示制御の機能をナビゲーション装置４に組み込むように構成したが、これに限られるものではなく、警告提示制御の機能を他の車載ＥＣＵに組み込むと共に、警告の内容や対処の仕方等の表示は、車載ＬＡＮ５に接続されたディスプレイＥＣＵのディスプレイに表示するように構成しても良い。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
 

Claims (7)

  1. 　車両に異常が発生したときにメータパネルの警告灯が点灯または点滅するように構成された車載警告システム（１）であって、
    　前記警告灯が点灯または点滅したときに、運転者の精神的な動揺を検出する検出部（１２）と、
    　運転者の精神的な動揺が検出されたときに、前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に報知する報知部（１２）と、
    を備えた車載警告システム。
  2. 　前記検出部（１２）は、運転者の視線の方向や顔向きの方向等を検出して運転者の視点が前記メータパネルを注視していることを検出する注視検出部（１２）と、運転者の発する音声を音声認識して認識した音声が運転者の精神が動揺している際に運転者が発するような言葉であることを検出する音声検出部（１２）とを備えた請求項１記載の車載警告システム。
  3. 　前記検出部（１２）は、運転者の視点が前記メータパネルを注視している時間が設定時間以上であるときに、運転者の精神が動揺しているどうかの検出制御を実行するように構成されている請求項２記載の車載警告システム。
  4. 　前記検出部（１２）は、前記点灯または点滅した警告灯の警告レベルを考慮し、危険度が高い警告レベルであるときには、前記報知部（１２）によって前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に即座に報知するように構成されている請求項３記載の車載警告システム。
  5. 　前記検出部（１２）は、危険度が高い警告レベルでないときであって、運転者の視点が前記メータパネルを注視している時間が設定時間以上であるパネル注視動作の実行回数が、所定時間内に設定回数以上となったときに、運転者の精神が動揺しているどうかの検出制御を続行するように構成されている請求項４記載の車載警告システム。
  6. 　前記検出部（１２）は、危険度が高い警告レベルでないときであって、前記パネル注視動作の実行回数が所定時間内に設定回数以上となり、更に、前記音声検出部（１２）によって運転者の発する音声が運転者の精神が動揺している際に運転者が発するような言葉であることを検出したときに、前記報知部（１２）によって前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に報知するように構成されている請求項５記載の車載警告システム。
  7. 　前記音声検出部（１２）は、前記警告灯が点灯または点滅したときに、連続的に音声認識処理を実行するように構成されている請求項２から６のいずれか一項記載の車載警告システム。
PCT/JP2017/007426 2016-05-19 2017-02-27 車載警告システム WO2017199524A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/099,783 US10399494B2 (en) 2016-05-19 2017-02-27 Vehicle-mounted warning system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016100464A JP6512174B2 (ja) 2016-05-19 2016-05-19 車載警告システム
JP2016-100464 2016-05-19

Publications (1)

Publication Number Publication Date
WO2017199524A1 true WO2017199524A1 (ja) 2017-11-23

Family

ID=60326250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007426 WO2017199524A1 (ja) 2016-05-19 2017-02-27 車載警告システム

Country Status (3)

Country Link
US (1) US10399494B2 (ja)
JP (1) JP6512174B2 (ja)
WO (1) WO2017199524A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200072999A (ko) * 2018-12-13 2020-06-23 현대자동차주식회사 운전자 경고 출력 시스템 및 그 제어 방법
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
CN111739192A (zh) * 2020-06-17 2020-10-02 张玲 一种具有散热功能的防抖动智能行车记录仪
CN114071841B (zh) * 2020-08-03 2023-03-28 比亚迪股份有限公司 车辆氛围灯控制系统和方法、车辆及计算机存储介质
WO2023092611A1 (zh) * 2021-11-29 2023-06-01 深圳市大疆创新科技有限公司 一种信息播报方法、通行状态提示方法、装置及车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19952857C1 (de) * 1999-11-03 2001-08-09 Bosch Gmbh Robert Vorrichtung zur fahrerzustandsabhängigen Steuerung
JP2004034893A (ja) * 2002-07-05 2004-02-05 Honda Motor Co Ltd 車両用メータ装置
JP2005004414A (ja) * 2003-06-11 2005-01-06 Nissan Motor Co Ltd 車両用運転支援装置
JP2006256377A (ja) * 2005-03-15 2006-09-28 Suzuki Motor Corp 車両用情報表示装置
JP2007121798A (ja) * 2005-10-31 2007-05-17 Denso Corp 車両用表示装置
JP2008225216A (ja) * 2007-03-14 2008-09-25 Toyota Motor Corp 情報表示装置
JP2010282350A (ja) * 2009-06-03 2010-12-16 Toyota Motor Corp 衝突安全システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5595488A (en) * 1994-08-04 1997-01-21 Vigilant Ltd. Apparatus and method for monitoring and improving the alertness of a subject
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
US6661345B1 (en) * 1999-10-22 2003-12-09 The Johns Hopkins University Alertness monitoring system
JP2006193138A (ja) 2004-12-14 2006-07-27 Denso Corp 車載システム、警告灯詳細情報通知システム及びサーバシステム
JP2011225189A (ja) 2010-04-23 2011-11-10 Kanto Auto Works Ltd 車両故障警告装置及び車両故障警告システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19952857C1 (de) * 1999-11-03 2001-08-09 Bosch Gmbh Robert Vorrichtung zur fahrerzustandsabhängigen Steuerung
JP2004034893A (ja) * 2002-07-05 2004-02-05 Honda Motor Co Ltd 車両用メータ装置
JP2005004414A (ja) * 2003-06-11 2005-01-06 Nissan Motor Co Ltd 車両用運転支援装置
JP2006256377A (ja) * 2005-03-15 2006-09-28 Suzuki Motor Corp 車両用情報表示装置
JP2007121798A (ja) * 2005-10-31 2007-05-17 Denso Corp 車両用表示装置
JP2008225216A (ja) * 2007-03-14 2008-09-25 Toyota Motor Corp 情報表示装置
JP2010282350A (ja) * 2009-06-03 2010-12-16 Toyota Motor Corp 衝突安全システム

Also Published As

Publication number Publication date
US10399494B2 (en) 2019-09-03
JP6512174B2 (ja) 2019-05-15
JP2017206141A (ja) 2017-11-24
US20190135176A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
WO2017199524A1 (ja) 車載警告システム
US10399575B2 (en) Cognitive load driving assistant
JP5106540B2 (ja) 車載情報提供装置
US9925832B2 (en) Alerting device
US11191468B2 (en) Vehicular notification apparatus
JP2017178267A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
JP2018062308A (ja) 運転モード切替制御装置、方法およびプログラム
US10462281B2 (en) Technologies for user notification suppression
JP6515773B2 (ja) 情報処理装置
US20190144003A1 (en) Distracted driving determination apparatus, distracted driving determination method, and program
JP2008176357A (ja) 異常診断システム及び診断情報管理装置
KR20210113070A (ko) 주의 기반 알림
JP2017194948A (ja) 情報提示制御装置、自動運転車、及び自動運転車運転支援システム
WO2019016936A1 (ja) 操作支援装置および操作支援方法
JP2014120111A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2018163112A (ja) 自動駐車制御方法およびそれを利用した自動駐車制御装置、プログラム
US11276313B2 (en) Information processing device, drive assist system, and drive assist method
JP2008040974A (ja) 運転支援装置
US10207584B2 (en) Information providing apparatus for vehicle
JP2016224717A (ja) 運転支援装置及び運転支援方法
US9128517B2 (en) Vehicular terminal with input switching
JP2014120113A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2018151684A (ja) 運転モード切替制御装置、方法およびプログラム
JP2015018146A (ja) 機能管理システム及び機能管理方法
US20220032942A1 (en) Information providing device and information providing method

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17798961

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17798961

Country of ref document: EP

Kind code of ref document: A1