WO2019123803A1 - 居眠り警報装置 - Google Patents
居眠り警報装置 Download PDFInfo
- Publication number
- WO2019123803A1 WO2019123803A1 PCT/JP2018/038668 JP2018038668W WO2019123803A1 WO 2019123803 A1 WO2019123803 A1 WO 2019123803A1 JP 2018038668 W JP2018038668 W JP 2018038668W WO 2019123803 A1 WO2019123803 A1 WO 2019123803A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- alarm
- driver
- preliminary
- drowsiness
- alert
- Prior art date
Links
- 206010041349 Somnolence Diseases 0.000 claims abstract description 122
- 230000004044 response Effects 0.000 claims abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 208000032140 Sleepiness Diseases 0.000 claims abstract description 10
- 230000037321 sleepiness Effects 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000007664 blowing Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 208000033748 Device issues Diseases 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0809—Driver authorisation; Driver identity check
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Definitions
- the present disclosure relates to, for example, a drowsiness alarm device mounted on a vehicle such as a truck or a bus for preventing drowsy driving of a driver.
- a drowsiness alerting device for preventing a driver's drowsy driving
- a drowsiness alerting device described in Patent Document 1 is considered.
- This drowsiness alert device is configured as follows. That is, the driver's face is photographed by a camera, and the drowsiness level of the driver is estimated from the change in the degree of opening of the driver's eyelid and the change in blink pattern by image processing. Then, a preliminary warning is performed at the timing when the sleepiness level exceeds the threshold. This preliminary alarm is performed by outputting white noise from the speaker.
- the driver's reaction to the white noise that is, the change in the driver's expression, or the driver's reaction from the face or the gaze direction is determined. If the driver's reaction is detected within the grace period, the occurrence of this alarm is postponed. This alarm is generated when the driver's reaction is not detected even after the grace period has passed. This can reduce the occurrence of unnecessary alarms.
- the drowsiness of the driver is affected by the individual difference, physical condition, mental condition and the like, and the estimation result is not necessarily consistent with the driver's subjectivity.
- the threshold of the sleepiness level for generating the preliminary alert may not match the driver's subjectivity.
- the pre-alarm is issued while drowsiness progresses, and the timing of the alarm is felt to be too late.
- a preliminary alert is issued with sufficient awakening, which makes the alert bothersome.
- An object of the present disclosure is to provide a drowsiness alert device capable of appropriately providing an alert at a drowsiness level more consistent with the driver's sense of drowsiness.
- a drowsiness alarm device is mounted on a vehicle and is for preventing a drowsy driving of a driver, the drowsiness level determination device determining the drowsiness level of the driver, and the drowsiness level Based on the comparison of the drowsiness level determined by the determination device with the alarm threshold, a preliminary alarm device performing a preliminary alarm when the drowsiness level is higher than the alarm threshold, and after the preliminary alarm by the preliminary alarm device, as necessary
- a warning device for performing a main warning for awakening from drowsiness to the driver and a response detection device for detecting that the driver has performed a predetermined response operation within a predetermined time after the preliminary warning is issued by the preliminary warning device And a threshold value changing device for changing the alarm threshold value to be higher when the response operation is detected by the response detection device.
- the drowsiness level determination device determines the drowsiness level of the driver, and when the drowsiness level becomes higher than the warning threshold, the preliminary warning is performed by the preliminary warning device. Then, if the response detection device detects that the driver has performed a predetermined response operation within a predetermined time after the preliminary alarm device issues a preliminary alarm, the threshold change device causes the alarm threshold to be increased. Changed to be higher. In addition, after the preliminary alarm by the preliminary alarm device, if the response detection device does not detect that the driver has performed a predetermined response operation, the alarm device urges the driver to awaken from the drowsiness. It will be. At this time, the threshold change is not performed by the threshold change device, and the alarm threshold remains as it is.
- the driver When the driver responds to the preliminary alarm, the driver does not have much drowsiness, and it can be said that the alarm threshold that triggered the preliminary alarm was relatively low from the driver's subjectivity.
- the response detection device detects, it can be said that the preliminary alarm that is matched by the sense of the driver can be performed if the subsequent alarm threshold is increased. If there is no detection by the response detection device, it can be said that the driver's drowsiness has progressed, so it can be said that the alarm threshold was appropriate. At this time, this warning is performed by the alarm device, and the driver is urged to wake up. Therefore, regarding the drowsiness level of the driver while driving the vehicle, the alarm threshold can be made more appropriate, and the alarm can be appropriately performed at the drowsiness level that matches the driver's sense.
- FIG. 1 shows an embodiment and is a block diagram schematically showing the electrical configuration of the drowsy alarm device
- FIG. 2 is a flow chart showing a processing procedure of the drowsiness alert performed by the control device
- FIG. 3 is a diagram showing an example of how the drowsiness level changes with the passage of time
- FIG. 4 shows another embodiment and is a diagram for explaining another method of determining validity / invalidity of the alarm determination flag.
- FIG. 1 schematically shows the electrical configuration of the drowsiness alerting device 1 according to the present embodiment, and the drowsiness alerting device 1 is mounted on a vehicle such as a car, a bus, a truck or the like.
- the drowsiness alarm device 1 includes the drowsiness alarm control device 2, and the camera 3, the microphone 4, the operation switch unit 5, the speaker 6, the display device 7, the blower 8 and the like connected to the drowsiness alarm control device 2.
- the drowsy alarm control device 2 is mainly composed of a computer including a CPU, a ROM, a RAM and the like, controls each mechanism by execution of the drowsiness judging warning program, and realizes a function as the drowsy warning device 1.
- the drowsy alarm control device 2 is configured to include the drowsiness level determination unit 9 and the alarm control unit 10.
- the camera 3 is provided, for example, in the vicinity of a meter unit in front of a driver's seat in a passenger compartment, and captures an image of the driver's face, for example, above the chest.
- the camera 3 is controlled by the image processing unit 11, and shooting data of the camera 3 is input to the image processing unit 11 and subjected to image processing.
- the image data processed by the image processing unit 11 is input to the drowsy alarm control device 2.
- the microphone 4 is for the driver to input voice and is provided near the driver's seat.
- the operation switch unit 5 is operated by a driver, and includes, for example, a plurality of mechanical switches and a touch panel, and is provided in the vicinity of a driver's seat such as a center console portion or a steering wheel portion. Signals from the microphone 4 and the operation switch unit 5 are also input to the drowsy alarm control device 2.
- the speaker 6 is provided in the vehicle compartment, outputs sound, and is controlled by the sound control unit 12.
- the voice control unit 12 causes the speaker 6 to output a voice for warning based on a command from the drowsy alert control device 2.
- a voice memory 13 in which voice data used for a preliminary warning described later is stored in the voice control unit 12 is set detachably.
- a serial flash memory or an SD card is adopted as the voice memory 13.
- the display device 7 is provided, for example, in a center console portion and performs various displays to the driver, and based on a command from the drowsy alarm control device 2, performs necessary display regarding the drowsiness alarm.
- the display device 7 and the operation switch unit 5 may be integrated into a unit.
- the blower 8 sends aroma or cold air from the backrest or headrest portion of the driver's seat to the face portion of the driver, for example, to promote awakening to the driver as another device. And cooperate with one another on the basis of a command from the drowsy alarm control device 2.
- the drowsiness level determination unit 9 of the drowsy alarm control device 2 determines the drowsiness level of the driver, and the drowsiness level is the alarm threshold TH (see FIG. 3). Based on the comparison, it is determined whether the drowsiness level is higher than the alarm threshold TH.
- the alarm control unit 10 executes a preliminary alarm when the sleepiness level exceeds the alarm threshold TH, that is, when the alarm determination flag becomes valid.
- the alarm control unit 10 determines whether or not the driver has performed a predetermined response operation within a predetermined time after the preliminary alarm is issued, and if the response operation is not detected within the predetermined time, the driver The main alert for alerting from drowsiness is executed. At the same time, when the response operation is detected within a predetermined time after the preliminary alarm is issued, the drowsiness level determination unit 9 changes the alarm threshold value TH to be higher.
- the drowsiness level determination unit 9 determines the drowsiness level of the driver
- the face of the driver is photographed by the camera 3, and the change in the degree of opening of the driver's eyelid or blinks by image processing from the photographed image data. Change in pattern is determined and the drowsiness level of the driver is determined based on the result.
- the drowsiness level is determined by a numerical value such as 0.0 to 5.0, which increases as the drowsiness level increases.
- the method of determining the drowsiness level is a known technique, and thus the detailed description is omitted.
- the following method is used to determine that the drowsiness level determination unit 9 compares the determined drowsiness level with the alarm threshold value TH and determines that the driver is having a certain level of sleepiness. That is, the determined drowsiness level is buffered every fixed time, for example, every second, the drowsiness level buffered in time series is traced back by the determined time window data of fixed width, and all the drowsiness levels are the alarm threshold TH ( For example, when it exceeds 3.0), the alarm determination flag is made valid. When the alarm determination flag becomes valid, the alarm control unit 10 executes a preliminary alarm on the assumption that the driver is having a certain level of sleepiness. Even if the alarm determination flag is continuously activated, for example, after the previous preliminary alarm is executed, a predetermined time interval (for example, several seconds to several tens of seconds) is left and the next preliminary alarm is executed. Ru.
- a predetermined time interval for example, several seconds to several tens of seconds
- the preliminary warning is executed by asking the driver by voice output based on voice data.
- the alarm control unit 10 outputs a command signal to the sound control unit 12, and the sound control unit 12 reproduces the sound data stored in the sound memory 13, and the sound of the inquiry is output from the speaker 6. Make it output.
- the wording of the question is, for example, "Are you tired?" Or "Are you tired?"
- the voice data stored in the voice memory 13 can be rewritten, the voice of a person who knows the driver, for example, the voice of a family, a lover, a friend, a boss of a company, etc. It is also possible to make a sound of a preliminary warning.
- the driver who has heard the preliminary alarm executes a predetermined response operation within a fixed time (for example, about several seconds) so as not to advance to the main alarm if he / she is awake (less sleepy).
- a predetermined gesture as a response operation of the driver.
- the driver performs a gesture of holding a hand in front of the camera 3, shaking the neck up and down, shaking the neck left and right, and opening the mouth.
- the alarm control unit 10 detects whether or not a predetermined response operation has been performed, that is, whether any of the above-described gestures has been performed, based on image recognition based on image data captured by the camera 3.
- the alarm control unit 10 executes the main alarm when the driver's response operation, that is, the predetermined gesture is not detected even if a predetermined time has elapsed after the preliminary alarm is issued.
- a sound that makes the driver sleepiness wake up for example, a beep
- the blower 8 sends aroma and cold air toward the face portion of the driver. Further, on the screen of the display device 7, for example, a caution display is performed to urge the driver to take a break.
- the drowsiness level determination unit 9 changes the alarm threshold TH to be higher.
- the determination of the preliminary warning from the next time can be made to generate a preliminary warning with deeper sleepiness.
- the numerical value of the alarm threshold TH is increased by, for example, 0.1. If the current alarm threshold TH is 3.0, the alarm threshold TH is set to 3.1 next time.
- the time when the drowsiness alarm control device 2 determines that the determination by the drowsiness level determination unit 9 is equal to or less than the alert threshold TH, that is, even when the alert determination flag remains in an invalid state When a predetermined period of time, for example, 30 minutes or more, continues, a random pre-alarm is performed. This random pre-alarm is also performed in the same manner as the above-described pre-alarm, and if the driver who has heard the pre-alarm performs a predetermined response operation, that is, a predetermined gesture within a predetermined time, the main alarm is not performed. If the driver's response is not detected, the same main alarm as described above is executed.
- a predetermined period of time for example, 30 minutes or more
- the drowsiness level determination unit 9 changes the warning threshold TH to be lower. This makes it possible to issue a preliminary warning with shallow drowsiness for the determination of the preliminary warning from the next time.
- the numerical value of the alarm threshold TH is decreased by, for example, 0.1. If the current alarm threshold TH is 3.0, the alarm threshold TH is set to 2.9 next time.
- the flow chart of FIG. 2 schematically shows the procedure for determining the drowsiness level of the driver and the processing of the alert performed by the drowsiness alert control device 2 while the vehicle is traveling (while the ACC is on). That is, first, in step S1, the drowsiness level of the driver is determined and buffered, and in step S2, the drowsiness levels of a plurality of data within the determination time window of a fixed width are determined. In step S3, it is determined whether all drowsiness levels in the determination time window have exceeded the alarm threshold TH (for example, 3.0). If the drowsiness level does not exceed the warning threshold TH (No in step S3), the process proceeds from step S9 as described later.
- the alarm threshold TH for example, 3.0
- step S3 If the drowsiness level exceeds the alarm threshold TH, that is, if the alarm determination flag becomes valid (Yes in step S3), the preliminary alarm is executed in step S4. As described above, this preliminary warning is issued by asking the driver by voice.
- FIG. 3 shows an example of how the drowsiness level changes with the passage of time.
- the preliminary alarm is issued at time t1, time t2 and time t3.
- a section indicated by hatching in FIG. 3 is a section in which the alarm determination flag is valid.
- a predetermined response operation of the driver it is determined whether or not a predetermined response operation of the driver has not been performed within a predetermined time (for example, about several seconds).
- a predetermined time for example, about several seconds.
- the driver's response operation the driver performs a predetermined gesture, holds the hand in front of the camera 3, shakes the neck up and down, shakes the neck left and right, opens the mouth (or opens and closes) Do what you do.
- the driver is in a state of sufficient awakening, it is possible to hear the sound of the preliminary alarm, that is, to make an answer operation easily.
- a situation may occur in which the user can not immediately make a predetermined gesture even after hearing the preliminary warning.
- step S5 If a predetermined gesture is not made by the driver within a predetermined time after the preliminary alarm is issued, it is determined that there is no response operation (Yes in step S5), and the main alarm is issued in the next step S6. To be executed.
- the main alarm as described above, the output of the alarm sound and the blowing of air to the face portion of the driver are performed, and the driver is urged to wake up.
- step S7 the alarm threshold TH is kept as it is, and the processing from step S1 is repeated.
- step S5 if there is a response operation by the driver within a predetermined time after the preliminary alarm is issued (No at step S5), the process proceeds to step S8, and the alarm threshold TH is 0 .. Changed to be one higher. As a result, the warning threshold TH is changed to a high value so that the next preliminary judgment of the preliminary warning is triggered by the deeper warning. At this time, the process from step S1 is repeated without the main alarm being performed.
- the driver when the driver responds to the preliminary alarm without any difficulty, the driver is not so sleepy and the alarm threshold TH that triggered the preliminary alarm was relatively low from the driver's subjectivity It can be said.
- the response operation to the preliminary alarm when the response operation to the preliminary alarm is detected, it can be said that the preliminary alarm which is matched by the sense of the driver can be performed if the subsequent alarm threshold TH is increased. Therefore, by raising the alarm threshold TH, the alarm threshold TH can be corrected to a value that matches the driver. If there is no detection of the driver's response to the preliminary alarm, it can be said that the driver's drowsiness has progressed, so it can be said that it was an appropriate alarm threshold.
- a random preliminary alarm is performed in step S9. That is, when the drowsiness level of the determined driver is a relatively low value equal to or less than the alarm threshold TH in the above-described step S3 (No in step S3), a random preliminary alarm is performed in step S9. In order to determine whether or not to perform, the time during which the state without the preliminary alarm continues is counted. In the next step S10, it is determined whether a state without a preliminary alarm continues for a predetermined time (for example, 30 minutes to 2 hours) or more. If the process has not continued for a predetermined time or more (No in step S10), the process returns to step S1.
- a predetermined time for example, 30 minutes to 2 hours
- step S10 when the state without the preliminary alarm continues for a predetermined time (Yes in step S10), the preliminary alarm is executed by an inquiry by voice output in step S11.
- step S12 it is determined whether or not a predetermined response operation by the driver, that is, a predetermined gesture has not been performed within a predetermined time. In this case, in most cases, it is considered that the driver is in the awake state, and the driver can easily make a response by listening to the voice (inquiry) of the preliminary alarm. If there is a response operation by the driver within a predetermined time after the preliminary alarm is issued (No in step S12), the process proceeds to step S13, the alarm threshold TH is kept as it is, and the process from step S1 is performed. Repeated.
- step S12 when the driver is drowsy, it may happen that even if he / she hears the preliminary alarm, he / she can not immediately make a predetermined gesture.
- the main alarm is performed in step S14.
- the alarm threshold TH is changed to be lower by 0.1 than the current value.
- the warning threshold TH is changed to a low value so that the preliminary warning is issued with less sleepiness and the determination of the preliminary warning from the next time. Thereafter, the process from step S1 is repeated.
- the alarm threshold TH is corrected to a value that matches the driver.
- the alarm threshold TH is considered to be appropriate because it can be considered that the driver is awake when the driver's response to the random preliminary alarm is detected.
- the drowsiness level of the driver while driving the vehicle is determined in the drowsy alarm control device 2, and when the alarm threshold TH is exceeded, ie, when the alarm determination flag becomes valid, the preliminary alarm is performed. After a preliminary alarm is issued, it is detected whether or not the driver has performed a predetermined response within a predetermined time, and if the response is detected, the alarm threshold TH is changed to be higher. Configured. Therefore, regarding the drowsiness level of the driver while driving the vehicle, it is possible to obtain an excellent effect that the preliminary warning and the main warning can be appropriately performed at the drowsiness level that matches the driver's sense.
- the state where the preliminary warning triggered by the determination of the drowsiness level of the driver, that is, the comparison with the warning threshold TH is not performed, that is, the state where the warning determination flag remains invalid is random at an appropriate timing.
- the alarm is performed to alert the driver to awakening, and the alarm threshold TH is changed to be lower. Therefore, it is possible to make the alarm threshold TH more appropriate.
- the random preliminary alarm is performed after the time when the preliminary alarm is not performed continues for a predetermined time or more, the frequency of the random preliminary alarm being performed is too high and the driver may feel bothersome, or conversely too little. It can suppress becoming meaningless.
- the preliminary alarm is configured to make an inquiry to the driver by means of voice output based on voice data.
- the driver can be stimulated by the inquiry in the preliminary alarm, and can return to the awake state or maintain the awake state.
- the voice data can be rewritable, for example, voices of people who know the driver, such as voices of a family, a lover, a friend, a boss of a company, etc., can be used as the voice of the preliminary warning. It is possible to give a sense of relief and stimulation to the driver and to perform a more effective preliminary warning.
- a predetermined gesture is adopted as a predetermined response operation of the driver to the preliminary alarm. This makes it possible to simplify the response operation by the driver and to maintain the driver's awake state by executing the gesture. Furthermore, in the present embodiment, as the main alarm for prompting the driver to wake up from drowsiness, not only the sound alarm is given, but in addition to that, the other device here, in cooperation with the blower 8, the driver's tactile sense. Etc. can be appealed and become more effective for promoting awakening.
- FIG. 4 shows another embodiment.
- a method of determining whether the drowsiness level of the driver determined by the drowsiness level determination unit 9 exceeds the alarm threshold TH that is, a method of determining whether the alarm determination flag is valid or invalid is different from the above embodiment.
- the drowsiness level determined by the drowsiness level determination unit 9 from the captured image of the face of the driver is buffered in a time series, for example, every one second for every predetermined time.
- the data of a predetermined judgment time window is traced back, as shown in the figure as the judgment time window, the number of data goes back by a fixed amount of data (for example 10). Find the sum.
- the time threshold for example, 12 seconds
- the alarm determination flag is validated and the preliminary alarm is performed. Even in such a configuration, the preliminary warning can be performed as in the above embodiment. Even when the alarm determination flag is continuously activated, for example, after the previous preliminary alarm is performed, the preliminary alarm is executed with a time interval of, for example, several seconds to several tens of seconds.
- the alarm threshold th is changed only by detecting the response operation to the normal preliminary alarm once (steps S5 and S8 in FIG. 2).
- the alarm threshold TH may be changed when the response operation is detected continuously (for example, twice). According to this, the alarm threshold TH is not changed only by detecting one response operation, so that the alarm threshold TH is not changed by, for example, the occurrence of one accidental situation.
- the alarm threshold TH can be changed more appropriately.
- the gesture is adopted as the predetermined response operation of the driver to the preliminary alarm, but the response by the predetermined voice is performed as the response operation, and the predetermined response operation is performed based on the recognition of the voice acquired by the microphone 4 It is good also as composition which detects whether there was.
- the driver performs a predetermined response (for example, "OK”, “not tired”, etc.) by voice as a response operation to the preliminary alarm, so that a so-called conversation is established and a stimulus of talking It can maintain the driver's alertness.
- the driver may perform a predetermined operation in the operation switch unit.
- the timing (time interval) at which the random preliminary alarm is performed can be made according to the circumstances such as the preference and necessity of the driver.
- air blowing by the air blower 8 is used in combination as another device, but as another device, vibration is applied to the driver by providing the backrest portion of the seat or the steering wheel.
- a vibration device to be applied a device for applying a tightening force of a seat belt of a driver, an illumination device for applying light stimulation such as illumination, a head-up display for displaying a prompt for awakening on a windshield, or the like may be considered.
- an alarm threshold TH is provided for each driver.
- an alarm threshold TH is set and stored for each driver, and a driver identification device for identifying the driver by authentication of a face, a fingerprint, a palm print, etc. at the start of driving is provided, and an alert of the driver identified by the driver identification device
- the threshold value TH can be read and used.
- the numerical values of the drowsiness level, the numerical values of the alarm threshold TH, and the numerical values of each time are merely examples, and various modifications are possible. It is also possible to appropriately change and implement the method of judging drowsiness of the driver, the preliminary warning, the mode of the main warning and the like.
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Traffic Control Systems (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Emergency Alarm Devices (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
車両に搭載され、ドライバの居眠り運転を防止するための居眠り警報装置(1)は、ドライバの眠気のレベルを判定する眠気レベル判定装置(9)と、前記眠気レベル判定装置(9)の判定した眠気レベルを警報閾値と比較することに基づき、眠気レベルが警報閾値を越えて高い場合に予備警報を行う予備警報装置(10)と、前記予備警報装置(10)による予備警報後に、必要に応じてドライバに対し眠気からの覚醒を促す本警報を行う警報装置(10)と、前記予備警報装置(10)による予備警報が発せられてから一定時間内に、ドライバが所定の応答動作を行ったことを検出する応答検出装置(10)と、前記応答検出装置(10)により応答動作が検出された場合に、前記警報閾値をより高くするように変更する閾値変更装置(9)を備えている。
Description
本出願は、2017年12月21日に出願された日本出願番号2017-244998号に基づくもので、ここにその記載内容を援用する。
本開示は、例えばトラック、バス等の車両に搭載され、ドライバの居眠り運転を防止するための居眠り警報装置に関する。
ドライバの居眠り運転を防止する居眠り警報装置として、特許文献1に記載された居眠り警報装置が考えられている。この居眠り警報装置は、次のように構成されている。即ち、ドライバの顔をカメラにより撮影し、画像処理によりドライバの瞼の開き度合いの変化や瞬きパターンの変化からドライバの眠気レベルを推定する。そして、眠気レベルが閾値を越えたタイミングで、予備警報を行う。この予備警報は、スピーカからホワイトノイズを出力することにより行われる。予備警報としてのホワイトノイズを発生すると、そのホワイトノイズに対するドライバの反応、即ちドライバの表情の変化、或いは顔や視線方向からドライバの反応を判定する。猶予期間内にドライバの反応を検出した場合には、本警報の発生を見送る。猶予期間が経過してもドライバの反応を検出しなかった場合に、本警報を発生させる。これにより、不要な警報の発生を低減させることができる。
ところで、ドライバの眠気は、個人差、体調や心理状態などが影響し、その推定結果は必ずしもドライバの主観と合致するとは限らない。上記従来の構成の居眠り警報装置では、予備警報を発生する眠気レベルの閾値が、ドライバの主観と合致しない場合が生ずる虞がある。あるドライバにとっては、眠気が進行した状態で予備警報が発せられるため、警報のタイミングが遅すぎると感じる。逆に、別のドライバにとっては、十分に覚醒した状態で予備警報が発せられ、警報を煩わしく感じることになる。
本開示は、ドライバの眠気のレベルに関し、ドライバの感覚により合致した眠気レベルで、警報を適切に行うことができる居眠り警報装置を提供することを目的とする。
本開示の第一の態様において、居眠り警報装置は、車両に搭載され、ドライバの居眠り運転を防止するためのものであって、ドライバの眠気のレベルを判定する眠気レベル判定装置と、前記眠気レベル判定装置の判定した眠気レベルを警報閾値と比較することに基づき、眠気レベルが警報閾値を越えて高い場合に予備警報を行う予備警報装置と、前記予備警報装置による予備警報後に、必要に応じてドライバに対し眠気からの覚醒を促す本警報を行う警報装置と、前記予備警報装置による予備警報が発せられてから一定時間内に、ドライバが所定の応答動作を行ったことを検出する応答検出装置と、前記応答検出装置により応答動作が検出された場合に、前記警報閾値をより高くするように変更する閾値変更装置とを備えている。
これによれば、眠気レベル判定装置により、ドライバの眠気のレベルが判定され、その眠気レベルが警報閾値を越えて高くなった場合に予備警報装置により予備警報が行われる。そして、予備警報装置による予備警報が発せられてから一定時間内に、応答検出装置によりドライバが所定の応答動作を行ったことが検出された場合には、閾値変更装置により、前記警報閾値がより高くなるように変更される。また、予備警報装置による予備警報後に、応答検出装置によりドライバが所定の応答動作を行ったことが検出されなかった場合には、警報装置により、ドライバに対し眠気からの覚醒を促す本警報が行われる。このとき、閾値変更装置による閾値変更は行われず、前記警報閾値は現状のままとする。
予備警報に対し、ドライバが応答動作を行った場合は、ドライバにとって眠気が大きくなく、その予備警報を行うきっかけとなった警報閾値が、ドライバの主観からは比較的低かったということができる。言い換えれば、応答検出装置の検出があった場合には、以降の警報閾値をより高くした方が、ドライバの感覚により合致した予備警報を行うことができると言える。応答検出装置の検出がなかった場合には、ドライバの眠気が進んでいたということができるので、適切な警報閾値であったということができる。このときには、警報装置により、本警報が行われドライバに覚醒が促される。従って、車両運転中のドライバの眠気のレベルに関し、警報閾値をより適切にすることができ、ドライバの感覚により合致した眠気レベルで、警報を適切に行うことができる。
本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、一実施形態を示すもので、居眠り警報装置の電気的構成を概略的に示すブロック図であり、
図2は、制御装置が実行する居眠り警報の処理手順を示すフローチャートであり、
図3は、時間経過に伴う眠気レベルの変動の様子の一例を示す図であり、
図4は、他の実施形態を示すもので、警報判定フラグの有効・無効を決定する別の手法を説明するための図である。
以下、一実施形態について、図1から図3を参照しながら説明する。図1は、本実施形態に係る居眠り警報装置1の電気的構成を概略的に示しており、この居眠り警報装置1は、自動車、バス、トラック等の車両に搭載される。この居眠り警報装置1は、居眠り警報制御装置2を備えると共に、この居眠り警報制御装置2に接続された、カメラ3、マイク4、操作スイッチ部5、スピーカ6、表示装置7、送風装置8などを備えている。
前記居眠り警報制御装置2は、CPU、ROM、RAM等からなるコンピュータを主体として構成され、居眠り判定警報プログラムの実行により、各機構を制御し、居眠り警報装置1としての機能を実現する。このとき、居眠り警報制御装置2は、眠気レベル判定部9、警報制御部10を含んで構成される。前記カメラ3は、例えば車室の運転席の前部のメータ部の近傍に設けられ、ドライバの顔、例えば胸部から上方を撮影する。このカメラ3は、画像処理部11により制御されると共に、カメラ3の撮影データが画像処理部11に入力されて画像処理される。画像処理部11により処理された画像データは、居眠り警報制御装置2に入力される。
前記マイク4は、ドライバが音声入力を行うためのもので、運転席近傍に設けられている。また、前記操作スイッチ部5は、ドライバが操作するもので、例えば複数個のメカスイッチやタッチパネル等からなり、センターコンソール部分やステアリングホイール部分などの運転席近傍に設けられている。これらマイク4や操作スイッチ部5からの信号も、前記居眠り警報制御装置2に入力される。
前記スピーカ6は、車室内に設けられ、音声を出力するもので、音声制御部12により制御される。後述するように、音声制御部12は、居眠り警報制御装置2からの指令に基づいて、スピーカ6から警報のための音声を出力させる。このとき、音声制御部12には、後述する予備警報に用いられる音声データが記憶された音声メモリ13が着脱可能にセットされる。この音声メモリ13としては、例えばシリアルフラッシュメモリやSDカード等が採用される。
前記表示装置7は、例えばセンターコンソール部分に設けられドライバに対して各種の表示を行うもので、居眠り警報制御装置2からの指令に基づいて、居眠り警報に関する必要な表示を行う。この表示装置7と前記操作スイッチ部5とが一体的にユニット化されていても良い。前記送風装置8は、後述する本警報が行われる際に、他の装置として、例えば運転席のシートの背もたれやヘッドレスト部分からドライバの顔部分に向けて香りや冷気を送ってドライバに覚醒を促すもので、居眠り警報制御装置2からの指令に基づいて連携して動作する。
さて、本実施形態では、後の作用説明でも述べるように、居眠り警報制御装置2の眠気レベル判定部9は、ドライバの眠気のレベルを判定し、その眠気レベルを警報閾値TH(図3参照)と比較することに基づき、眠気レベルが警報閾値THを越えた高いものかどうかを判断する。前記警報制御部10は、その眠気レベルが警報閾値THを越えた場合、つまり警報判定フラグが有効となった場合に、予備警報を実行させる。
そして、警報制御部10は、予備警報が発せられてから一定時間内に、ドライバが所定の応答動作を行ったかどうかを判断し、一定時間内に応答動作が検出されなかった場合には、ドライバに対し眠気からの覚醒を促す本警報を実行させる。これと共に、予備警報が発せられてから一定時間内に応答動作が検出された場合には、前記眠気レベル判定部9は、前記警報閾値THをより高くするように変更する。
より具体的には、眠気レベル判定部9がドライバの眠気レベルを判定するにあたっては、カメラ3によりドライバの顔を撮影し、その撮影画像データから画像処理によりドライバの瞼の開き具合の変化や瞬きパターンの変化を求め、その結果に基づいてドライバの眠気レベルを判定する。この場合、眠気レベルは、眠気度合いが大きいほど大きくなるような数値、例えば0.0~5.0までの数値で求められる。この眠気レベルの判定方法については、周知技術なので、詳細な説明を省略する。
前記眠気レベル判定部9が、判定した眠気レベルを警報閾値THと比較してドライバが一定の眠気を催していると判断するにあたっては、本実施形態では、例えば次のような手法が用いられる。即ち、判定された眠気レベルを一定時間毎、例えば1秒毎にバッファリングし、時系列にバッファリングされた眠気レベルを、一定幅の判定時間窓データ分遡り、眠気レベルが全て警報閾値TH(例えば3.0)を越えていた場合に、警報判定フラグを有効とする。警報判定フラグが有効となった場合に、ドライバが一定の眠気を催しているとして、前記警報制御部10が予備警報を実行する。尚、警報判定フラグが例えば連続的に有効となった場合でも、前回の予備警報を実行した後に、所定の時間間隔(例えば数秒~数十秒程度)が空けられて次の予備警報が実行される。
本実施形態では、予備警報は、音声データに基づく音声出力により、ドライバに対する問い掛けを行うことにより実行される。この場合、警報制御部10は、音声制御部12に対して指令信号を出力し、音声制御部12は、音声メモリ13に記憶されている音声データを再生させて、スピーカ6から問い掛けの音声を出力させる。問い掛けの文言としては、例えば「疲れていませんか?」、「お疲れでしょうか?」といったものとなる。このとき、音声メモリ13に記憶されている音声データは、書換えが可能であるため、合成音声等でなく、ドライバの知っている人の声、例えば家族、恋人や友人、会社の上司等の声を、予備警報の音声にすることも可能となる。
予備警報を聞いたドライバは、覚醒状態にある(さほどの眠気がない)場合には、本警報に進まなくて済むように、一定時間内(例えば数秒程度)に所定の応答動作を実行する。ここでは、ドライバの応答動作として、ドライバが所定のジェスチャを行うものとしている。例えば、ドライバは、カメラ3の前に手をかざす、首を上下に振る、首を左右に振る、口をあける、のいずれかのジェスチャを行う。警報制御部10は、カメラ3の撮影した画像データによる画像認識に基づいて、所定の応答動作があったかどうか、つまり上記したいずれかのジェスチャがあったかどうかを検出する。
警報制御部10は、予備警報が発せられてから一定時間が経過しても、ドライバの応答動作、即ち所定のジェスチャが検出されなかった場合には、本警報を実行させる。この本警報では、例えばスピーカ6からドライバの眠気が覚めるような音、例えばビープ音を出力させることが行われる。本実施形態では、それに加えて、送風装置8により、ドライバの顔部分に向けて香りや冷気を送ることが行われる。また、表示装置7の画面には、例えばドライバに休憩を促すような注意表示がなされる。
一方、警報制御部10により、一定時間内のドライバの応答動作が検出された場合には、前記眠気レベル判定部9は、警報閾値THをより高くするように変更する。これにより、次回からの予備警報の判断が、より深い眠気で予備警報が発せられるようになる。具体的には、警報閾値THの数値を、例えば0.1ずつ上げていくことが行われる。今回の警報閾値THが3.0であった場合には、次回は、警報閾値THが3.1とされる。
更に本実施形態では、居眠り警報制御装置2は、前記眠気レベル判定部9による判定が警報閾値TH以下である状態、つまり警報判定フラグが無効のままの状態が継続している状態でも、その時間が所定時間、例えば30分以上継続している場合に、その後に、ランダムな予備警報を実行する。このランダム予備警報も、上記した予備警報と同様に行われ、予備警報を聞いたドライバが一定時間内に所定の応答動作即ち所定のジェスチャを行えば、本警報は行われない。ドライバの応答動作が検出されなかった場合には、上記と同様の本警報が実行される。
但し、このランダム予備警報が実行された場合には、予備警報を聞いたドライバが一定時間内に所定の応答動作(ジェスチャ)を行っても、警報閾値THを高くすることは行われず、警報閾値THの数値は現状のままとなる。そして、ランダム予備警報後に、本警報が実行された場合には、前記眠気レベル判定部9は、警報閾値THをより低くするように変更する。これにより、次回からの予備警報の判断が、より浅い眠気で予備警報が発せられるようになる。具体的には、警報閾値THの数値を、例えば0.1ずつ下げていくことが行われる。今回の警報閾値THが3.0であった場合には、次回は、警報閾値THが2.9とされる。
次に、上記構成の居眠り警報装置1の作用について、図2及び図3も参照して述べる。図2のフローチャートは、車両の走行中(ACCオン中)における、居眠り警報制御装置2が実行する、ドライバの眠気レベルの判定及び警報の処理手順を概略的に示している。即ち、まずステップS1では、ドライバの眠気レベルが判定されバッファリングされ、ステップS2では、一定幅の判定時間窓内の複数個のデータについての眠気レベルが判定される。ステップS3では、判定時間窓内の眠気レベルが全て警報閾値TH(例えば3.0)を越えているかどうかが判断される。尚、眠気レベルが警報閾値THを越えていない場合には(ステップS3にてNo)、後述のように、ステップS9からの処理に進む。
眠気レベルが警報閾値THを越えた場合、つまり警報判定フラグが有効となった場合には(ステップS3にてYes)、ステップS4にて、予備警報が実行される。上記したように、この予備警報は、音声によるドライバに対する問い掛けにより行われる。ここで、図3は、時間経過に伴う眠気レベルの変動の様子の一例を示している。ここで、警報閾値THを越えた眠気レベルが、判定時間窓WN連続した場合に、警報判定フラグが有効になり、予備警報が実行される。図3の場合、時刻t1、時刻t2、時刻t3において予備警報が発せられる。また、図3に斜線を付して示す区間は、警報判定フラグが有効になっている区間である。
次のステップS5では、一定時間内(例えば数秒程度)に、ドライバの所定の応答動作が行われなかったかどうかが判断される。上記のように、ドライバの応答動作として、ドライバが所定のジェスチャ、カメラ3の前に手をかざす、首を上下に振る、首を左右に振る、口を開ける(或いは開け閉めする)、のいずれかを行うものとしている。この場合、ドライバが十分な覚醒状態にあれば、予備警報の音声即ち問い掛けを聞いて容易に応答動作を行うことができる。ところが、ドライバの眠気が大きいと、予備警報を聞いても、すぐには所定のジェスチャを行えない事態が起こる。
予備警報が発せられてから所定時間内にドライバによる所定のジェスチャが行われなかった場合には、応答動作がないと判断され(ステップS5にてYes)、次のステップS6にて、本警報が実行される。この本警報では、上記したように、警報音の出力や、ドライバの顔部分への送風が行われ、ドライバに対して覚醒が促される。また、ステップS7では、前記警報閾値THがそのままとされ、ステップS1からの処理が繰り返される。
これに対し、予備警報が発せられてから所定時間内にドライバによる応答動作があった場合には(ステップS5にてNo)、ステップS8に進み、警報閾値THが、現在の値よりも0.1だけ高くなるように変更される。これにより、次回からの予備警報の判断が、より深い眠気で予備警報が発せられるように、警報閾値THが高く変更される。またこのときには、本警報が行われることなく、ステップS1からの処理が繰返される。
ここで、予備警報に対し、ドライバが難なく応答動作を行った場合は、ドライバにとって眠気がさほど大きくなく、その予備警報を行うきっかけとなった警報閾値THが、ドライバの主観からは比較的低かったということができる。言い換えれば、予備警報に対する応答動作の検出があった場合には、以降の警報閾値THをより高くした方が、ドライバの感覚により合致した予備警報を行うことができると言える。従って、警報閾値THを高くすることにより、そのドライバにあった数値に警報閾値THがいわば補正されるようになる。予備警報に対するドライバの応答動作の検出がなかった場合には、ドライバの眠気が進んでいたということができるので、適切な警報閾値であったということができる。
本実施形態では、上記したドライバの眠気レベルの判定に基づく予備警報の他に、ランダムな予備警報が実行される。即ち、上記したステップS3において、判定されたドライバの眠気レベルが、警報閾値TH以下の比較的低い値であった場合には(ステップS3にてNo)、ステップS9にて、ランダムな予備警報を行うかどうかの判定のために、予備警報のない状態が継続している時間がカウントされる。次のステップS10では、一定時間(例えば30分~2時間)以上、予備警報のない状態が続いているかどうかが判断される。一定時間以上続いていない場合には(ステップS10にてNo)、ステップS1に戻る。
一方、予備警報のない状態が一定時間続いている場合には(ステップS10にてYes)、ステップS11にて、予備警報が音声出力による問い掛けにより実行される。次のステップS12では、一定時間内に、ドライバによる所定の応答動作、即ち所定のジェスチャが行われなかったかどうかが判断される。この場合、ほとんどのケースでドライバが覚醒状態にあると考えられ、ドライバは予備警報の音声(問い掛け)を聞いて容易に応答動作を行うことができる。予備警報が発せられてから所定時間内にドライバによる応答動作があった場合には(ステップS12にてNo)、ステップS13に進み、警報閾値THが現状のままとされ、ステップS1からの処理が繰り返される。
ところが、ドライバに眠気があった場合に、予備警報を聞いても、すぐに所定のジェスチャを行えない事態も起こることがある。ドライバによる応答動作が行われなかったときには(ステップS12にてYes)、ステップS14にて、本警報が実行される。そして、次のステップS15では、警報閾値THが、現在の値よりも0.1だけ低くなるように変更される。これにより、次回からの予備警報の判断が、より浅い眠気で予備警報が発せられるように、警報閾値THが低く変更される。この後、ステップS1からの処理が繰返される。
ここで、ランダムな予備警報に対し、ドライバの応答動作が検出されない場合は、ドライバの眠気が進んでいたと考えられるので、その前に通常の予備警報が行われていなかったということは、ドライバの主観からみれば、それまでの警報閾値THが高すぎたということができる。従って、警報閾値THを低くすることにより、そのドライバにあった数値に警報閾値THがいわば補正されるようになる。ランダムな予備警報に対し、ドライバの応答動作が検出された場合には、ドライバの覚醒状態と考えらえるので、警報閾値THは適切であったと考えられる。
このように本実施形態の居眠り警報装置1によれば、次のような効果を得ることができる。即ち、本実施形態では、居眠り警報制御装置2において、車両運転中のドライバの眠気レベルを判定し、警報閾値THを越えた場合、即ち警報判定フラグが有効となった場合に予備警報を行うに際し、予備警報が発せられてから一定時間内に、ドライバが所定の応答動作を行ったかどうかを検出し、応答動作が検出された場合には、警報閾値THをより高くするように変更するように構成した。従って、車両運転中のドライバの眠気のレベルに関し、ドライバの感覚により合致した眠気レベルで、予備警報及び本警報を適切に行うことができるという優れた効果を得ることができる。
そして、本実施形態では、ドライバの眠気レベルの判定、即ち警報閾値THとの比較をきっかけとした予備警報が行われない状態、つまり警報判定フラグが無効のままの状態でも、適宜のタイミングでランダムに予備警報が行われると共に、ドライバの所定の応答動作が検出されなかった場合に、本警報が行われドライバに覚醒が促されると共に、警報閾値THをより低くように変更するように構成した。従って、警報閾値THをより一層適切にすることが可能となる。また、ランダムな予備警報は、予備警報が行われない時間が所定時間以上継続した後に行われるので、ランダムな予備警報の行われる頻度が多すぎてドライバが煩わしいと感じたり、逆に少なすぎて意味のないものとなったりすることを抑制することができる。
特に本実施形態では、予備警報を、音声データに基づく音声出力により、ドライバに対する問い掛けを行うように構成した。これにより、予備警報における問い掛けによって、ドライバに対し刺激を与えることができ、覚醒状態に戻したり、覚醒状態を維持させたりすることが可能となる。このとき、音声データを書換え可能に構成することにより、例えばドライバの知っている人の声、例えば家族、恋人や友人、会社の上司等の声を、予備警報の音声にすることも可能となり、ドライバに安心感や刺激を与えることができ、より有効な予備警報を行うことができる。
また、特に本実施形態では、予備警報に対するドライバの所定の応答動作として、所定のジェスチャを採用するようにした。これにより、ドライバによる応答動作を簡単に済ませることができると共に、ジェスチャの実行によりドライバの覚醒状態を維持させることができる。更に本実施形態では、ドライバに対し眠気からの覚醒を促すための本警報として、音声による警報を行うだけでなく、それに加えて、他の装置ここでは送風装置8との連携により、ドライバの触覚等の感覚にも訴えることができ、覚醒を促すためにより一層効果的となる。
図4は、他の実施形態を示すものである。この実施形態では、眠気レベル判定部9が判定したドライバの眠気レベルが警報閾値THを越えたかどうかを判断する手法、つまり警報判定フラグの有効・無効を決定する手法が、上記実施形態と異なっている。即ち、本実施形態においても、ドライバの顔の撮影画像から眠気レベル判定部9により判定された眠気レベルを一定時間毎、例えば1秒毎に時系列にバッファリングする。図中、眠気レベルの判定データにおける、「OK」は、眠気がない即ち眠気レベルが警報閾値TH以下であると判定された状態、「NG」は、眠気レベルが警報閾値THを越えていて眠気があると判定された状態、「?」は、ドライバの顔が検知できなかったなど判定が不能な状態である。
そして、出力周期(この場合1秒)毎に、所定の判定時間窓のデータ分、図では判定時間窓としてデータの個数が一定のデータ分(例えば10個)だけ遡り、「NG」の時間の合計を求める。「NG」の時間の合計が、時間閾値(例えば12秒)以上となった場合に、警報判定フラグを有効とし、予備警報を行う。このような構成でも、上記実施形態と同様に予備警報を実行できる。尚、警報判定フラグが例えば連続的に有効となった場合でも、前回の予備警報を実行した後に、例えば数秒~数十秒程度の時間間隔(インターバル)が空けられて予備警報が実行される。
尚、図示は省略するが、実施形態として、以下のような変更も可能である。即ち、上記実施形態では、通常の予備警報に対する応答動作の検出を1回行っただけで、警報閾値thを変更するようにしたが(図2のステップS5、S8)、予備警報に対し、複数回(例えば2回)連続して応答動作を検出した場合に、警報閾値THを変更するように構成しても良い。これによれば、1回の応答動作を検出しただけでは、警報閾値THを変更するに至らないので、例えば1回の偶発的事態の発生で、警報閾値THが変更されてしまうことを排除することができ、警報閾値THの変更がより適切に行われるようになる。
また上記実施形態では、予備警報に対するドライバの所定の応答動作としてジェスチャを採用したが、応答動作として所定の音声による応答を行うようにし、マイク4により取得した音声の認識に基づいて所定の応答動作があったかどうかを検出する構成としても良い。これによれば、ドライバは、予備警報に対する応答動作として、音声による所定の応答(例えば「大丈夫」、「疲れていない」等)を実行することにより、いわば会話が成立し、会話するという刺激によってドライバの覚醒状態を維持することができる。応答動作として、ドライバが操作スイッチ部における所定の操作を行う構成としても良い。
上記実施形態では、予備警報が所定時間以上継続して実行されない場合に、ランダムな予備警報を実行するようにしたが、その所定時間を、ドライバが変更できるような構成としても良い。これにより、ランダムな予備警報が行われるタイミング(時間間隔)を、ドライバの好みや必要性等の事情に応じたものとすることができる。また上記実施形態では、本警報において、他の装置として送風装置8による送風を併用するようにしたが、他の装置として、他にも、シートの背もたれ部分やステアリングホイールに設けられドライバに振動を付与する振動装置、ドライバのシートベルトの締め付け力を与える装置、イルミネーション等の光の刺激を与える照明装置、フロントガラスに覚醒を促すための表示を行うヘッドアップディスプレイ等も考えられる。
1台の車両を、複数のドライバが運転するような場合には、各ドライバ毎に警報閾値THを設けることが好ましい。この場合、ドライバ毎に警報閾値THを設定し記憶させておき、運転開始時に顔や指紋、掌紋等の認証によりドライバを識別するドライバ識別装置を設け、そのドライバ識別装置により識別されたドライバの警報閾値THを読み出して使用することができる。その他、上記実施形態では、眠気レベルの数値や、警報閾値THの数値、各時間等の数値は一例をあげたものに過ぎず、様々な変更が可能である。ドライバの眠気の判断の手法や、予備警報、本警報の態様等についても、適宜変更して実施することが可能である。
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
Claims (10)
- 車両に搭載され、ドライバの居眠り運転を防止するための居眠り警報装置(1)であって、
ドライバの眠気のレベルを判定する眠気レベル判定装置(9)と、
前記眠気レベル判定装置(9)の判定した眠気レベルを警報閾値と比較することに基づき、眠気レベルが警報閾値を越えて高い場合に予備警報を行う予備警報装置(10)と、
前記予備警報装置(10)による予備警報後に、必要に応じてドライバに対し眠気からの覚醒を促す本警報を行う警報装置(10)と、
前記予備警報装置(10)による予備警報が発せられてから一定時間内に、ドライバが所定の応答動作を行ったことを検出する応答検出装置(10)と、
前記応答検出装置(10)により応答動作が検出された場合に、前記警報閾値をより高くするように変更する閾値変更装置(9)を備える居眠り警報装置。 - 前記閾値変更装置(9)は、前記応答検出装置(10)が複数回連続して応答動作を検出した場合に、前記警報閾値を変更する請求項1記載の居眠り警報装置。
- 前記予備警報装置(10)は、音声データに基づく音声出力により、ドライバに対する問い掛けを行うことにより予備警報を実行する請求項1又は2記載の居眠り警報装置。
- 前記音声データは書換え可能に構成されている請求項3記載の居眠り警報装置。
- 前記予備警報に対するドライバの所定の応答動作は、所定のジェスチャからなり、
前記応答検出装置(10)は、カメラ(3)による画像認識に基づいて所定の応答動作があったかどうかを検出する請求項1から4のいずれか一項に記載の居眠り警報装置。 - 前記予備警報に対するドライバの所定の応答動作は、所定の音声による応答からなり、
前記応答検出装置(10)は、マイク(4)により取得した音声の認識に基づいて所定の応答動作があったかどうかを検出する請求項1から4のいずれか一項に記載の居眠り警報装置。 - 前記眠気レベル判定装置(9)による判定が警報閾値以下である状態で、ランダムに予備警報を実行するランダム予備警報装置(10)を備えると共に、
前記閾値変更装置(9)は、ランダムな予備警報後に一定時間内に、前記応答検出装置(10)によりドライバの所定の応答動作が検出されなかった場合に、前記警報閾値をより低くするように変更する請求項1から6のいずれか一項に記載の居眠り警報装置。 - 前記ランダム予備警報装置(10)は、予備警報が行われない時間が所定時間以上継続した後に、ランダムな予備警報を実行すると共に、前記所定時間の変更が可能とされている請求項7記載の居眠り警報装置。
- 前記警報装置(10)は、車両に搭載された他の装置(8)と連携しながらドライバに対し眠気からの覚醒を促す本警報を行う請求項1から8のいずれか一項に記載の居眠り警報装置。
- 前記ドライバを識別するドライバ識別装置を備え、前記警報閾値は、ドライバ毎に設定される請求項1から9のいずれか一項に記載の居眠り警報装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112018005980.4T DE112018005980T5 (de) | 2017-12-21 | 2018-10-17 | Döswarnvorrichtung |
CN201880081905.2A CN111492420B (zh) | 2017-12-21 | 2018-10-17 | 瞌睡报警装置 |
US16/883,803 US11195405B2 (en) | 2017-12-21 | 2020-05-26 | Dozing alert apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017244998A JP6965727B2 (ja) | 2017-12-21 | 2017-12-21 | 居眠り警報装置 |
JP2017-244998 | 2017-12-21 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/883,803 Continuation US11195405B2 (en) | 2017-12-21 | 2020-05-26 | Dozing alert apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019123803A1 true WO2019123803A1 (ja) | 2019-06-27 |
Family
ID=66994047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/038668 WO2019123803A1 (ja) | 2017-12-21 | 2018-10-17 | 居眠り警報装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11195405B2 (ja) |
JP (1) | JP6965727B2 (ja) |
CN (1) | CN111492420B (ja) |
DE (1) | DE112018005980T5 (ja) |
WO (1) | WO2019123803A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112406881A (zh) * | 2019-08-21 | 2021-02-26 | 美光科技公司 | 用于车辆控制的疲劳驾驶检测 |
CN113879318A (zh) * | 2020-07-01 | 2022-01-04 | 丰田自动车株式会社 | 困倦征兆通知系统、困倦征兆通知方法及程序 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220234607A1 (en) * | 2019-05-15 | 2022-07-28 | Nissan Motor Co., Ltd. | Driving Assistance Method and Driving Assistance System |
JP7120258B2 (ja) | 2019-10-16 | 2022-08-17 | 株式会社デンソー | 行動認識装置、及び行動認識方法 |
JP2021089479A (ja) * | 2019-12-02 | 2021-06-10 | 株式会社デンソー | 意識判定装置、及び意識判定方法 |
JP2021105981A (ja) * | 2019-12-26 | 2021-07-26 | パナソニックIpマネジメント株式会社 | 運転者監視装置及び運転者監視方法 |
JP7322745B2 (ja) * | 2020-02-19 | 2023-08-08 | いすゞ自動車株式会社 | 運転支援装置 |
JP7540319B2 (ja) | 2020-12-11 | 2024-08-27 | 株式会社デンソー | 覚醒装置 |
CN113034976B (zh) * | 2021-03-23 | 2022-08-09 | 地平线(上海)人工智能技术有限公司 | 报警方法和装置、计算机可读存储介质、电子设备 |
WO2024142690A1 (ja) * | 2022-12-27 | 2024-07-04 | パナソニックIpマネジメント株式会社 | 姿勢情報通知方法、姿勢情報通知システム、及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09132052A (ja) * | 1995-11-06 | 1997-05-20 | Honda Motor Co Ltd | 車両用運転状況監視装置 |
JP2008035964A (ja) * | 2006-08-02 | 2008-02-21 | Toyota Motor Corp | 眠気判定装置及び眠気判定プログラム |
JP2008204056A (ja) * | 2007-02-19 | 2008-09-04 | Tokai Rika Co Ltd | 運転支援装置 |
JP2008206688A (ja) * | 2007-02-26 | 2008-09-11 | Denso Corp | 居眠り警報装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS562227A (en) | 1979-06-13 | 1981-01-10 | Nissan Motor Co Ltd | Dozing drive alarming device |
JP2002183900A (ja) | 2000-12-14 | 2002-06-28 | Nissan Motor Co Ltd | 居眠り運転警報装置 |
JP4603264B2 (ja) * | 2002-02-19 | 2010-12-22 | ボルボ テクノロジー コーポレイション | 運転者注意負荷の監視と管理とを行なうシステムおよび方法 |
JP4400624B2 (ja) * | 2007-01-24 | 2010-01-20 | トヨタ自動車株式会社 | 居眠り防止装置及び方法 |
CN101763711A (zh) * | 2009-11-20 | 2010-06-30 | 海安县奇锐电子有限公司 | 开车防瞌睡装置 |
DE102015206200A1 (de) * | 2015-04-08 | 2016-10-13 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Aufmerksamkeitserkennung eines Fahrzeugführers |
JP2016199207A (ja) | 2015-04-14 | 2016-12-01 | 株式会社東海理化電機製作所 | シートベルト警告装置 |
CN106364487A (zh) * | 2016-09-30 | 2017-02-01 | 上海沿锋汽车科技股份有限公司 | 一种用于监测驾驶员清醒状况的装置 |
CN206370136U (zh) * | 2017-01-03 | 2017-08-01 | 四川大学 | 一种防瞌睡报警器 |
-
2017
- 2017-12-21 JP JP2017244998A patent/JP6965727B2/ja active Active
-
2018
- 2018-10-17 CN CN201880081905.2A patent/CN111492420B/zh active Active
- 2018-10-17 WO PCT/JP2018/038668 patent/WO2019123803A1/ja active Application Filing
- 2018-10-17 DE DE112018005980.4T patent/DE112018005980T5/de active Pending
-
2020
- 2020-05-26 US US16/883,803 patent/US11195405B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09132052A (ja) * | 1995-11-06 | 1997-05-20 | Honda Motor Co Ltd | 車両用運転状況監視装置 |
JP2008035964A (ja) * | 2006-08-02 | 2008-02-21 | Toyota Motor Corp | 眠気判定装置及び眠気判定プログラム |
JP2008204056A (ja) * | 2007-02-19 | 2008-09-04 | Tokai Rika Co Ltd | 運転支援装置 |
JP2008206688A (ja) * | 2007-02-26 | 2008-09-11 | Denso Corp | 居眠り警報装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112406881A (zh) * | 2019-08-21 | 2021-02-26 | 美光科技公司 | 用于车辆控制的疲劳驾驶检测 |
CN113879318A (zh) * | 2020-07-01 | 2022-01-04 | 丰田自动车株式会社 | 困倦征兆通知系统、困倦征兆通知方法及程序 |
Also Published As
Publication number | Publication date |
---|---|
DE112018005980T5 (de) | 2020-07-30 |
CN111492420A (zh) | 2020-08-04 |
US11195405B2 (en) | 2021-12-07 |
CN111492420B (zh) | 2022-08-26 |
US20200286358A1 (en) | 2020-09-10 |
JP2019113925A (ja) | 2019-07-11 |
JP6965727B2 (ja) | 2021-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019123803A1 (ja) | 居眠り警報装置 | |
US7982618B2 (en) | Wakefulness maintaining apparatus and method of maintaining wakefulness | |
JP5842857B2 (ja) | 覚醒度改善装置 | |
JP4793085B2 (ja) | 車両用居眠り防止装置 | |
WO2019087507A1 (ja) | 漫然運転抑制システム | |
WO2020066757A1 (ja) | 危険運転防止装置 | |
US20140218170A1 (en) | Biometric data-driven application of vehicle operation settings | |
JP2010082377A (ja) | 睡眠制御装置 | |
JP2010020618A (ja) | 運転者覚醒装置 | |
JP6701951B2 (ja) | 運転支援装置 | |
US11430231B2 (en) | Emotion estimation device and emotion estimation method | |
JP2021012409A (ja) | 車載システム | |
JP7540319B2 (ja) | 覚醒装置 | |
JP2017084071A (ja) | 車載機 | |
JP7375691B2 (ja) | 眠気兆候通知システム | |
JP7192668B2 (ja) | 覚醒度判定装置 | |
KR19990084391A (ko) | 졸음 운전 방지 장치 및 방법 | |
JP2008230280A (ja) | 車載制御装置 | |
JP2021144580A (ja) | ドライバ状態推定装置 | |
JP2019012501A (ja) | 運転支援装置、運転支援方法、および運転支援プログラム | |
JP7528649B2 (ja) | オブジェクト認識制御装置およびオブジェクト認識制御方法 | |
WO2022097185A1 (ja) | 眠気検知装置および眠気検知方法 | |
KR20160073556A (ko) | 동공인식 센서를 통한 졸음운전 방지 알람 | |
JP2021111006A (ja) | 車両用監視装置 | |
JP2023114500A (ja) | 状態判定装置、状態判定方法、および、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18891261 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18891261 Country of ref document: EP Kind code of ref document: A1 |