JP6852407B2 - Driver status detector - Google Patents

Driver status detector Download PDF

Info

Publication number
JP6852407B2
JP6852407B2 JP2017006129A JP2017006129A JP6852407B2 JP 6852407 B2 JP6852407 B2 JP 6852407B2 JP 2017006129 A JP2017006129 A JP 2017006129A JP 2017006129 A JP2017006129 A JP 2017006129A JP 6852407 B2 JP6852407 B2 JP 6852407B2
Authority
JP
Japan
Prior art keywords
driver
eyes
vehicle
eye information
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017006129A
Other languages
Japanese (ja)
Other versions
JP2018116428A (en
Inventor
松村　健
健 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017006129A priority Critical patent/JP6852407B2/en
Publication of JP2018116428A publication Critical patent/JP2018116428A/en
Application granted granted Critical
Publication of JP6852407B2 publication Critical patent/JP6852407B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明はドライバ状態検出装置に関する。 The present invention relates to a driver state detection device.

急病等によって車両のドライバが激痛に見舞われた場合、ドライバは車両を適切に運転することができない。このため、ドライバ状態を監視し、ドライバが運転不能状態にあることを検出できることが望ましい。 If the driver of the vehicle suffers severe pain due to a sudden illness or the like, the driver cannot drive the vehicle properly. Therefore, it is desirable to be able to monitor the driver status and detect that the driver is in an inoperable state.

従来、ドライバが運転不能状態にあることを検出するための方法がいくつか提案されている。例えば、特許文献１には、走行中の車両に外力が加えられた後に検出されるドライバの頭部の揺れの振幅の大きさに基づいてドライバの運転不能状態を検出することが開示されている。 Conventionally, several methods have been proposed for detecting that the driver is inoperable. For example, Patent Document 1 discloses that an inoperable state of a driver is detected based on the magnitude of the amplitude of the shaking of the driver's head detected after an external force is applied to a moving vehicle. ..

国際公開第２０１５／１９８５４２号International Publication No. 2015/198542

しかしながら、この方法では、走行中の車両に外力が加えられた場合にしかドライバの運転不能状態を検出することができず、ドライバの運転不能状態を迅速に検出することができない。 However, in this method, the inoperable state of the driver can be detected only when an external force is applied to the moving vehicle, and the inoperable state of the driver cannot be detected quickly.

そこで、本発明の目的は、ドライバの運転不能状態を迅速に検出することができるドライバ状態検出装置を提供することにある。 Therefore, an object of the present invention is to provide a driver state detection device capable of quickly detecting an inoperable state of a driver.

上記課題を解決するために、車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、前記顔画像に基づいて前記ドライバの眼情報を検出する眼情報検出部と、前記眼情報に基づいて前記ドライバの状態を判定するドライバ状態判定部とを備え、前記ドライバ状態判定部は、前記眼情報検出部によって検出された前記ドライバの両眼の開眼度の差が第一閾値以上である場合、又は前記眼情報検出部によって検出された前記ドライバの両眼の高さの差が第二閾値以上である場合に、前記ドライバが運転不能状態にあると判定する、ドライバ状態検出装置が提供される。 In order to solve the above problems, a driver monitor camera that photographs the driver's face of the vehicle and generates the driver's face image, an eye information detection unit that detects the driver's eye information based on the face image, and the like. A driver state determination unit that determines the state of the driver based on the eye information is provided, and the driver state determination unit has a first difference in the degree of eye opening of both eyes of the driver detected by the eye information detection unit. A driver state in which the driver is determined to be in an inoperable state when the value is equal to or greater than the threshold value, or when the difference in height between the eyes of the driver detected by the eye information detection unit is equal to or greater than the second threshold value. A detector is provided.

本発明によれば、ドライバの運転不能状態を迅速に検出することができるドライバ状態検出装置が提供される。 According to the present invention, there is provided a driver state detection device capable of quickly detecting an inoperable state of a driver.

図１は、本発明の実施形態に係るドライバ状態検出装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a driver state detection device according to an embodiment of the present invention. 図２は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。FIG. 2 is a diagram schematically showing the inside of a vehicle equipped with a driver state detection device. 図３は、ドライバの顔画像の一例を示す図である。FIG. 3 is a diagram showing an example of a driver's face image. 図４は、本実施形態における眼情報検出処理の制御ルーチンを示すフローチャートである。FIG. 4 is a flowchart showing a control routine of the eye information detection process in the present embodiment. 図５は、本実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。FIG. 5 is a flowchart showing a control routine of the driver state determination process in the present embodiment.

以下、図面を参照して本発明の実施形態について詳細に説明する。図１は、本発明の実施形態に係るドライバ状態検出装置の構成を示すブロック図である。ドライバ状態検出装置１は、車両に搭載され、車両のドライバの状態を検出する。ドライバ状態検出装置１はドライバモニタカメラ１０と電子制御ユニット（ＥＣＵ）２０とを備える。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a driver state detection device according to an embodiment of the present invention. The driver state detection device 1 is mounted on the vehicle and detects the state of the driver of the vehicle. The driver state detection device 1 includes a driver monitor camera 10 and an electronic control unit (ECU) 20.

図２は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。ドライバモニタカメラ１０は車両８０のドライバの顔を撮影してドライバ画像を生成する。ドライバモニタカメラ１０は車内に設けられる。具体的には、図２に示すように、ドライバモニタカメラ１０は車両８０のステアリングコラム８１の上部に設けられる。なお、ドライバモニタカメラ１０は、車両８０のドライバの顔を撮影することができれば、他の位置に設けられてもよい。例えば、ドライバモニタカメラ１０は、車両８０のステアリング８２、ルームミラー８３、メータパネル、メータフード等に設けられてもよい。また、ドライバ状態検出装置１は複数のドライバモニタカメラ１０を備えていてもよい。 FIG. 2 is a diagram schematically showing the inside of a vehicle equipped with a driver state detection device. The driver monitor camera 10 captures the face of the driver of the vehicle 80 and generates a driver image. The driver monitor camera 10 is provided in the vehicle. Specifically, as shown in FIG. 2, the driver monitor camera 10 is provided above the steering column 81 of the vehicle 80. The driver monitor camera 10 may be provided at another position as long as the driver's face of the vehicle 80 can be photographed. For example, the driver monitor camera 10 may be provided on the steering wheel 82, the rearview mirror 83, the meter panel, the meter hood, or the like of the vehicle 80. Further, the driver state detection device 1 may include a plurality of driver monitor cameras 10.

ドライバモニタカメラ１０はカメラ及び投光器から構成される。例えば、カメラはＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラであり、投光器はＬＥＤ（発光ダイオード）である。また、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影できるように、好ましくは、投光器は近赤外ＬＥＤである。例えば、投光器は、カメラの両側に配置された二個の近赤外ＬＥＤである。また、カメラには可視光カットフィルタのようなフィルタが設けられてもよい。 The driver monitor camera 10 is composed of a camera and a floodlight. For example, the camera is a CMOS (complementary metal oxide semiconductor) camera or a CCD (charge-coupled device) camera, and the floodlight is an LED (light emitting diode). Further, the floodlight is preferably a near-infrared LED so that the driver's face can be photographed without causing discomfort to the driver even in low illuminance such as at night. For example, the floodlight is two near-infrared LEDs located on either side of the camera. Further, the camera may be provided with a filter such as a visible light cut filter.

ＥＣＵ２０は、双方向性バスによって相互に接続された中央演算装置（ＣＰＵ）、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、入力ポート及び出力ポートを備えたマイクロコンピュータである。本実施形態では、一つのＥＣＵ２０が設けられているが、機能毎に複数のＥＣＵが設けられていてもよい。ＥＣＵ２０は、眼情報を検出する眼情報検出部２１と、ドライバの状態を判定するドライバ状態判定部２２と、車両８０の各種アクチュエータ４０を制御する車両制御部２３と、ドライバモニタカメラ１０を制御するカメラ制御部２４とを含む。 The ECU 20 is a microcomputer provided with a central arithmetic unit (CPU), a read-only memory (ROM), a random access memory (RAM), an input port, and an output port connected to each other by a bidirectional bus. In the present embodiment, one ECU 20 is provided, but a plurality of ECUs may be provided for each function. The ECU 20 controls an eye information detection unit 21 that detects eye information, a driver state determination unit 22 that determines the driver status, a vehicle control unit 23 that controls various actuators 40 of the vehicle 80, and a driver monitor camera 10. Includes a camera control unit 24.

ＥＣＵ２０のカメラ制御部２４はドライバモニタカメラ１０を制御してドライバの顔を撮影する。ドライバモニタカメラ１０によって生成されたドライバの顔画像はドライバモニタカメラ１０からＥＣＵ２０に送信される。ＥＣＵ２０の眼情報検出部２１は、ドライバモニタカメラ１０によって生成されたドライバの顔画像に基づいてドライバの眼情報を検出する。具体的には、眼情報検出部２１は、ドライバの顔画像からドライバの視線、開眼度、両眼の開眼度の差及び両眼の高さの差を検出する。斯かる検出は例えば以下のような画像処理によって行われる。 The camera control unit 24 of the ECU 20 controls the driver monitor camera 10 to photograph the driver's face. The driver's face image generated by the driver monitor camera 10 is transmitted from the driver monitor camera 10 to the ECU 20. The eye information detection unit 21 of the ECU 20 detects the driver's eye information based on the driver's face image generated by the driver monitor camera 10. Specifically, the eye information detection unit 21 detects the driver's line of sight, eye opening degree, difference in eye opening degree between both eyes, and difference in height between both eyes from the driver's face image. Such detection is performed by, for example, the following image processing.

眼情報検出部２１は、ドライバの顔画像から顔領域を特定し、眼、鼻、口等の顔部品の特徴点を抽出することによって顔部品を検出する。その後、眼情報検出部２１は、プルキニエ像（角膜反射像）の位置と瞳孔中心の位置とを検出し、プルキニエ像と瞳孔中心との位置関係からドライバの視線を検出する。また、眼情報検出部２１は、眼の上瞼及び下瞼の特徴点を抽出することによって両眼の開眼度を検出し、両眼の開眼度から両眼の開眼度の差を検出する。また、眼情報検出部２１は、顔領域及び顔部品の位置から顔の中心軸線を検出し、顔の中心軸線方向における両眼の距離を両眼の高さの差として検出する。例えば、眼の位置として瞳孔中心を検出する。参考のために、図３にドライバの顔画像における顔の中心軸線Ｘと両眼の高さの差Ｈｄを示す。 The eye information detection unit 21 identifies a face region from the driver's face image and detects the face parts by extracting feature points of the face parts such as eyes, nose, and mouth. After that, the eye information detection unit 21 detects the position of the Purkinje image (corneal reflex image) and the position of the center of the pupil, and detects the line of sight of the driver from the positional relationship between the Purkinje image and the center of the pupil. Further, the eye information detection unit 21 detects the degree of opening of both eyes by extracting the feature points of the upper and lower eyelids of the eye, and detects the difference in the degree of opening of both eyes from the degree of opening of both eyes. Further, the eye information detection unit 21 detects the central axis of the face from the positions of the face region and the facial component, and detects the distance between the eyes in the direction of the central axis of the face as the difference in height between the eyes. For example, the center of the pupil is detected as the position of the eye. For reference, FIG. 3 shows the difference Hd between the center axis X of the face and the height of both eyes in the driver's face image.

ＥＣＵ２０のドライバ状態判定部２２は、眼情報検出部２１によって検出された眼情報に基づいてドライバ状態を判定する。具体的には、ドライバ状態判定部２２は、ドライバの視線が所定時間以上所定範囲外にある場合にはドライバが脇見をしていると判定する。また、ドライバ状態判定部２２は、ドライバの両眼が所定時間以上閉じている場合にはドライバが居眠りをしていると判定する。 The driver state determination unit 22 of the ECU 20 determines the driver state based on the eye information detected by the eye information detection unit 21. Specifically, the driver state determination unit 22 determines that the driver is looking aside when the driver's line of sight is out of the predetermined range for a predetermined time or longer. Further, the driver state determination unit 22 determines that the driver is dozing when both eyes of the driver are closed for a predetermined time or longer.

ところで、くも膜下出血のような急病等によって車両８０のドライバが激痛に見舞われた場合、ドライバは車両８０を適切に運転することができない。また、人は、激痛に見舞われると、痛みで顔を歪ませる。顔が歪んだ場合、典型的には、両眼の開眼度の差及び両眼の高さの差の少なくとも一方が通常時よりも大きくなる。このため、ドライバ状態判定部２２は、ドライバの両眼の開眼度の差が第一閾値以上である場合、又はドライバの両眼の高さの差が第二閾値以上である場合に、ドライバが運転不能状態にあると判定する。このことによって、ドライバ状態検出装置１はドライバの運転不能状態を迅速に検出することができる。 By the way, when the driver of the vehicle 80 suffers severe pain due to a sudden illness such as subarachnoid hemorrhage, the driver cannot drive the vehicle 80 properly. Also, when a person suffers from severe pain, the pain distorts his face. When the face is distorted, typically at least one of the difference in the degree of eye opening and the difference in the height of both eyes is larger than usual. Therefore, the driver state determination unit 22 uses the driver when the difference in the degree of opening of both eyes of the driver is equal to or greater than the first threshold value or when the difference in height between the driver's eyes is equal to or greater than the second threshold value. Determined to be inoperable. As a result, the driver state detection device 1 can quickly detect the inoperable state of the driver.

ドライバ状態判定部２２は、ドライバが脇見又は居眠りをしていると判定した場合には、ドライバに警報を与える。例えば、ドライバ状態判定部２２はヒューマン・マシン・インターフェース（Human Machine Interface（ＨＭＩ））５０を介して視覚的又は聴覚的にドライバに警報を与える。ＨＭＩ５０は、ドライバと車両８０との間で情報の入出力を行うためのインターフェイスである。ＨＭＩ５０は、例えば、文字又は画像情報を表示するディスプレイ、音を発生させるスピーカ、ドライバが入力操作を行うための操作ボタン、タッチパネル、マイク等から構成される。 When the driver status determination unit 22 determines that the driver is looking aside or taking a nap, the driver status determination unit 22 gives an alarm to the driver. For example, the driver state determination unit 22 gives an alarm to the driver visually or audibly via a human machine interface (HMI) 50. The HMI 50 is an interface for inputting / outputting information between the driver and the vehicle 80. The HMI 50 is composed of, for example, a display for displaying character or image information, a speaker for generating sound, an operation button for a driver to perform an input operation, a touch panel, a microphone, and the like.

また、ＥＣＵ２０の車両制御部２３は、ドライバが運転不能状態にあると判定された場合には、車両８０の各種アクチュエータ４０を制御して車両８０を退避させる。例えば、車両制御部２３は、車両８０のハザードランプを点灯させつつ、車速を徐々に低下させて車両８０を路肩に停止させる。 Further, the vehicle control unit 23 of the ECU 20 controls various actuators 40 of the vehicle 80 to retract the vehicle 80 when it is determined that the driver is in an inoperable state. For example, the vehicle control unit 23 turns on the hazard lamp of the vehicle 80 and gradually reduces the vehicle speed to stop the vehicle 80 on the shoulder.

以下、図４及び図５のフローチャートを参照して、ドライバ状態検出装置１を用いてドライバ状態を検出するための制御について詳細に説明する。図４は、本実施形態における眼情報検出処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、車両８０のイグニッションスイッチがオンにされている間、ＥＣＵ２０によって所定の時間間隔で繰り返し実行される。本制御ルーチンでは、ドライバの眼情報が検出される。 Hereinafter, the control for detecting the driver state by using the driver state detection device 1 will be described in detail with reference to the flowcharts of FIGS. 4 and 5. FIG. 4 is a flowchart showing a control routine of the eye information detection process in the present embodiment. This control routine is repeatedly executed by the ECU 20 at predetermined time intervals while the ignition switch of the vehicle 80 is turned on. In this control routine, the driver's eye information is detected.

最初に、ステップＳ１０１において、カメラ制御部２４がドライバモニタカメラ１０を制御してドライバの顔を撮影する。次いで、ステップＳ１０２において、眼情報検出部２１が、ドライバモニタカメラ１０によって生成されたドライバの顔画像に基づいてドライバの眼情報を検出する。具体的には、眼情報検出部２１は、上述した方法によってドライバの視線、両眼の開眼度、両眼の開眼度の差及び両眼の高さの差を検出する。ステップＳ１０２の後、本制御ルーチンは終了する。 First, in step S101, the camera control unit 24 controls the driver monitor camera 10 to photograph the driver's face. Next, in step S102, the eye information detection unit 21 detects the driver's eye information based on the driver's face image generated by the driver monitor camera 10. Specifically, the eye information detection unit 21 detects the driver's line of sight, the degree of opening of both eyes, the difference in the degree of opening of both eyes, and the difference in the height of both eyes by the method described above. After step S102, this control routine ends.

図５は、本実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、車両８０のイグニッションスイッチがオンにされている間、ＥＣＵ２０によって繰り返し実行される。本制御ルーチンでは、眼情報検出処理によって検出された眼情報に基づいてドライバ状態が判定される。 FIG. 5 is a flowchart showing a control routine of the driver state determination process in the present embodiment. This control routine is repeatedly executed by the ECU 20 while the ignition switch of the vehicle 80 is turned on. In this control routine, the driver state is determined based on the eye information detected by the eye information detection process.

最初に、ステップＳ２０１において、ドライバ状態判定部２２が、ドライバが脇見をしているか否かを判定する。ドライバ状態判定部２２は、ドライバの視線が所定時間以上所定範囲外にある場合にはドライバが脇見をしていると判定し、ドライバの視線が所定時間以上所定範囲外にない場合にはドライバが脇見をしていないと判定する。ドライバの視線は図４のステップＳ１０２において検出される。 First, in step S201, the driver state determination unit 22 determines whether or not the driver is looking aside. The driver state determination unit 22 determines that the driver is looking aside when the driver's line of sight is out of the predetermined range for a predetermined time or longer, and when the driver's line of sight is not out of the predetermined range for a predetermined time or longer, the driver Judge that you are not looking aside. The driver's line of sight is detected in step S102 of FIG.

ステップＳ２０１においてドライバが脇見をしていないと判定された場合、本制御ルーチンはステップＳ２０２に進む。ステップＳ２０２では、ドライバ状態判定部２２が、ドライバが居眠りをしているか否かを判定する。ドライバ状態判定部２２は、ドライバの両眼が所定時間以上閉じている場合にはドライバが居眠りをしていると判定し、ドライバの両眼が所定時間以上閉じていない場合にはドライバが居眠りをしていないと判定する。ドライバの両眼の開眼度は図４のステップＳ１０２において検出される。 If it is determined in step S201 that the driver is not looking aside, the control routine proceeds to step S202. In step S202, the driver state determination unit 22 determines whether or not the driver is dozing. The driver status determination unit 22 determines that the driver is dozing when both eyes of the driver are closed for a predetermined time or longer, and the driver is dozing when both eyes of the driver are not closed for a predetermined time or longer. Judge that it is not done. The degree of opening of both eyes of the driver is detected in step S102 of FIG.

ステップＳ２０２においてドライバが居眠りをしていないと判定された場合、本制御ルーチンはステップＳ２０３に進む。ステップＳ２０３では、ドライバ状態判定部２２が、ドライバの両眼の開眼度の差ＥＳｄが第一閾値ＴＨ１以上であるか否かを判定する。第一閾値ＴＨ１は、顔が歪んだときの開眼度の差の最小値になるように予め設定される。開眼度の差ＥＳｄは図４のステップＳ１０２において検出される。 If it is determined in step S202 that the driver has not fallen asleep, the control routine proceeds to step S203. In step S203, the driver state determination unit 22 determines whether or not the difference ESd in the degree of opening of both eyes of the driver is equal to or greater than the first threshold value TH1. The first threshold value TH1 is preset so as to be the minimum value of the difference in the degree of eye opening when the face is distorted. The difference in eye opening degree ESd is detected in step S102 of FIG.

ステップＳ２０３において開眼度の差ＥＳｄが第一閾値ＴＨ１未満であると判定された場合、本制御ルーチンはステップＳ２０４に進む。ステップＳ２０４では、ドライバ状態判定部２２が、ドライバの両眼の高さの差Ｈｄが第二閾値ＴＨ２以上であるか否かを判定する。第二閾値ＴＨ２は、顔が歪んだときの両眼の高さの差の最小値になるように予め設定される。両眼の高さの差Ｈｄは図４のステップＳ１０２において検出される。 If it is determined in step S203 that the difference ESd in eye opening degree is less than the first threshold value TH1, the control routine proceeds to step S204. In step S204, the driver state determination unit 22 determines whether or not the difference Hd in height between the driver's eyes is equal to or greater than the second threshold value TH2. The second threshold value TH2 is preset so as to be the minimum value of the difference in height between the eyes when the face is distorted. The height difference Hd between the eyes is detected in step S102 of FIG.

ステップＳ２０４において両眼の高さの差Ｈｄが第二閾値ＴＨ２未満であると判定された場合、本制御ルーチンはステップＳ２０５に進む。ステップＳ２０５では、ドライバ状態判定部２２が、ドライバ状態が正常であると判定する。ステップＳ２０５の後、本制御ルーチンは終了する。 If it is determined in step S204 that the height difference Hd between the eyes is less than the second threshold TH2, the control routine proceeds to step S205. In step S205, the driver state determination unit 22 determines that the driver state is normal. After step S205, this control routine ends.

一方、ステップＳ２０１においてドライバが脇見をしていると判定された場合、又はステップＳ２０２においてドライバが居眠りしていると判定された場合、本制御ルーチンはステップＳ２０６に進む。ステップＳ２０６では、ドライバ状態判定部２２がドライバに警報を与える。例えば、ドライバ状態判定部２２はＨＭＩ５０を介して視覚的又は聴覚的にドライバに警報を与える。ステップＳ２０６の後、本制御ルーチンは終了する。 On the other hand, if it is determined in step S201 that the driver is looking aside, or if it is determined in step S202 that the driver is dozing, the control routine proceeds to step S206. In step S206, the driver status determination unit 22 gives an alarm to the driver. For example, the driver state determination unit 22 gives an alarm to the driver visually or audibly via the HMI 50. After step S206, this control routine ends.

また、ステップＳ２０３において開眼度の差ＥＳｄが第一閾値ＴＨ１以上であると判定された場合、又はステップＳ２０４において両眼の高さの差Ｈｄが第二閾値ＴＨ２以上であると判定された場合、本制御ルーチンはステップＳ２０７に進む。ステップＳ２０７では、ドライバ状態判定部２２が、ドライバが運転不能状態にあると判定する。 Further, when it is determined in step S203 that the difference ESd in eye opening degree is equal to or greater than the first threshold value TH1, or when it is determined in step S204 that the difference Hd in height between both eyes is equal to or greater than the second threshold value TH2. This control routine proceeds to step S207. In step S207, the driver state determination unit 22 determines that the driver is in an inoperable state.

次いで、ステップＳ２０８において、車両制御部２３が車両８０の各種アクチュエータ４０を制御して車両８０を退避させる。例えば、車両制御部２３は、車両８０のハザードランプを点灯させつつ、車速を徐々に低下させて車両８０を路肩に停止させる。なお、車両８０の走行を自動で制御する自動運転システムが車両８０に備えられていない場合には、ステップＳ２０８において、ハザードランプの点灯のような操作のみが行われる。ステップＳ２０８の後、本制御ルーチンは終了する。なお、ドライバが運転不能状態にあることが明確に通知されなくても、車両８０の退避のような危険回避制御が実行された場合には、実質的に、ドライバが運転不能状態にあると判定されていると言える。 Next, in step S208, the vehicle control unit 23 controls various actuators 40 of the vehicle 80 to retract the vehicle 80. For example, the vehicle control unit 23 turns on the hazard lamp of the vehicle 80 and gradually reduces the vehicle speed to stop the vehicle 80 on the shoulder. If the vehicle 80 is not provided with an automatic driving system that automatically controls the traveling of the vehicle 80, only an operation such as lighting a hazard lamp is performed in step S208. After step S208, this control routine ends. Even if the driver is not clearly notified that the driver is in an inoperable state, it is determined that the driver is substantially in an inoperable state when a danger avoidance control such as evacuation of the vehicle 80 is executed. It can be said that it has been done.

なお、ステップＳ２０７の前にドライバ状態判定部２２がドライバに警報を与えてもよい。この場合、ドライバが警報に反応しなかった場合にステップＳ２０７及びステップＳ２０８が実行され、ドライバが警報に反応した場合には、本制御ルーチンは終了する。 The driver status determination unit 22 may give an alarm to the driver before step S207. In this case, if the driver does not respond to the alarm, steps S207 and S208 are executed, and if the driver responds to the alarm, this control routine ends.

また、第一閾値ＴＨ１は、ドライバの正常時の両眼の開眼度の差を考慮して設定されてもよい。この場合、第一閾値Ｔｔｈ１はドライバ毎に設定される。例えば、ドライバの正常時の両眼の開眼度の差は、車両８０のイグニッションスイッチがオンにされた直後に取得されて更新される。 Further, the first threshold value TH1 may be set in consideration of the difference in the degree of opening of both eyes when the driver is normal. In this case, the first threshold value Tth1 is set for each driver. For example, the difference in the degree of opening of both eyes when the driver is normal is acquired and updated immediately after the ignition switch of the vehicle 80 is turned on.

同様に、第二閾値ＴＨ２は、ドライバの正常時の両眼の高さの差を考慮して設定されてもよい。この場合、第二閾値ＴＨ２はドライバ毎に設定される。例えば、ドライバの正常時の両眼の高さの差は、車両８０のイグニッションスイッチがオンにされた直後に取得されて更新される。 Similarly, the second threshold TH2 may be set in consideration of the difference in height between the eyes when the driver is normal. In this case, the second threshold TH2 is set for each driver. For example, the normal height difference between the eyes of the driver is acquired and updated immediately after the ignition switch of the vehicle 80 is turned on.

また、眼帯等によってドライバの片眼が隠れていることが検出された場合には、ステップＳ２０１及びステップＳ２０２における判定は片眼の眼情報に基づいて行われ、ステップＳ２０３〜ステップＳ２０５、ステップＳ２０７及びステップＳ２０８は省略される。 When it is detected that one eye of the driver is hidden by an eye patch or the like, the determination in step S201 and step S202 is performed based on the eye information of one eye, and steps S203 to S205, steps S207 and Step S208 is omitted.

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and modifications can be made within the scope of the claims.

１ ドライバ状態検出装置
１０ ドライバモニタカメラ
２０ 電子制御ユニット（ＥＣＵ）
２１ 眼情報検出部
２２ ドライバ状態判定部
８０ 車両 1 Driver status detector 10 Driver monitor camera 20 Electronic control unit (ECU)
21 Eye information detection unit 22 Driver status determination unit 80 Vehicle

Claims (1)

車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、
前記顔画像に基づいて前記ドライバの眼情報を検出する眼情報検出部と、
前記眼情報に基づいて前記ドライバの状態を判定するドライバ状態判定部と
を備え、
前記ドライバ状態判定部は、前記眼情報検出部によって検出された前記ドライバの両眼の開眼度の差が第一閾値以上である場合、又は前記眼情報検出部によって前記顔の中心軸線方向における前記ドライバの両眼の距離として検出された前記ドライバの両眼の高さの差が第二閾値以上である場合に、前記ドライバが運転不能状態にあると判定する、ドライバ状態検出装置。 A driver monitor camera that takes a picture of the driver's face of the vehicle and generates a face image of the driver,
An eye information detection unit that detects eye information of the driver based on the face image,
It is provided with a driver state determination unit that determines the state of the driver based on the eye information.
In the driver state determination unit, when the difference in eye opening degree between the eyes of the driver detected by the eye information detection unit is equal to or greater than the first threshold value, or the eye information detection unit detects the driver in the direction of the central axis of the face. A driver state detection device that determines that the driver is in an inoperable state when the difference in height between the eyes of the driver detected as the distance between the eyes of the driver is equal to or greater than a second threshold value.
JP2017006129A 2017-01-17 2017-01-17 Driver status detector Active JP6852407B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017006129A JP6852407B2 (en) 2017-01-17 2017-01-17 Driver status detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017006129A JP6852407B2 (en) 2017-01-17 2017-01-17 Driver status detector

Publications (2)

Publication Number Publication Date
JP2018116428A JP2018116428A (en) 2018-07-26
JP6852407B2 true JP6852407B2 (en) 2021-03-31

Family

ID=62985555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017006129A Active JP6852407B2 (en) 2017-01-17 2017-01-17 Driver status detector

Country Status (1)

Country Link
JP (1) JP6852407B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149507A (en) * 2019-03-14 2020-09-17 本田技研工業株式会社 Occupant observation device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5570698A (en) * 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
JP4162503B2 (en) * 2003-01-31 2008-10-08 富士通株式会社 Eye state determination device, eye state determination method, and computer program
JP2006043429A (en) * 2004-06-28 2006-02-16 Nissan Motor Co Ltd Apparatus for judging load of visual recognition
JP5185743B2 (en) * 2008-09-04 2013-04-17 富士重工業株式会社 Steering support device
JP5917841B2 (en) * 2011-06-15 2016-05-18 日産自動車株式会社 Mood determination device and operation method of mood determination device
JP6075982B2 (en) * 2012-07-03 2017-02-08 大和ハウス工業株式会社 Face frown detection system and face frown detection method
WO2014179558A1 (en) * 2013-05-01 2014-11-06 Musc Foundation For Research Development Monitoring neurological functional status
JP6421714B2 (en) * 2015-07-13 2018-11-14 株式会社デンソー Vehicle control device

Also Published As

Publication number Publication date
JP2018116428A (en) 2018-07-26

Similar Documents

Publication Publication Date Title
US10970572B2 (en) Driver condition detection system
JP4788624B2 (en) Careless warning device, vehicle equipment control method of careless warning device, and vehicle control device program
JP6870660B2 (en) Driver monitoring device
US10604160B2 (en) Driver condition detection system
JP2008199515A (en) Fellow passenger sitting posture detecting/determining apparatus and method
JP2009244959A (en) Driving support device and driving support method
JP2008065776A (en) Doze detection device and doze detection method
Chang et al. An implementation of smartphone-based driver assistance system using front and rear camera
JP6627787B2 (en) Driver status detection device
JP2009166783A (en) Symptom inference device
JP6852407B2 (en) Driver status detector
JP6962141B2 (en) Driver status detector
JP2022149287A (en) Driver monitoring device, driver monitoring method and computer program for driver monitoring
JP7024332B2 (en) Driver monitor system
JP7046748B2 (en) Driver status determination device and driver status determination method
JP5050794B2 (en) Sleepiness detection device, sleepiness detection method
KR102288753B1 (en) Apparatus for monitoring driver and method thereof
JP6689470B1 (en) Information processing apparatus, program, and information processing method
JP2021196941A (en) Driver monitoring system
JP2021152729A (en) Yawn detection device
JP2011170663A (en) Vehicle periphery monitoring device
TWI503083B (en) Anti - sleep warning helmet and power limiting system
JP7149749B2 (en) Driving support device and driving support method
CN112417921A (en) Driver condition detection system
JP2022042239A (en) Object recognition controller and method for controlling object recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210222

R151 Written notification of patent or utility model registration

Ref document number: 6852407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151