JPH10272961A - Doze alarm device - Google Patents
Doze alarm deviceInfo
- Publication number
- JPH10272961A JPH10272961A JP9081534A JP8153497A JPH10272961A JP H10272961 A JPH10272961 A JP H10272961A JP 9081534 A JP9081534 A JP 9081534A JP 8153497 A JP8153497 A JP 8153497A JP H10272961 A JPH10272961 A JP H10272961A
- Authority
- JP
- Japan
- Prior art keywords
- image
- driver
- coordinate position
- eyes
- focal length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、運転者の居眠り
を検出して警報する装置の改良に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an improvement in a device that detects a driver's falling asleep and issues an alarm.
【０００２】[0002]
【従来の技術】運転者の居眠りによる事故を未然に防止
する目的から、運転者の顔を撮影する手段（ＣＣＤカメ
ラやＴＶカメラなど）をインストルパネルに配置し、そ
の画像から得られる目情報をもとに運転者の覚醒度を推
定し、覚醒度が閾値以下になると警報などを作動させる
ようにしたものが知られている（特開平７ー３２９０７
号公報，特開平７ー１５６６８２号公報，三菱電機技報
Vol.70 No.9 1996『居眠り検出技術』）。2. Description of the Related Art In order to prevent an accident caused by a driver falling asleep, means for photographing the driver's face (such as a CCD camera or a TV camera) is arranged on an instrument panel, and eye information obtained from the image is obtained. It is known that a driver's arousal level is estimated based on the driver's arousal level and an alarm or the like is activated when the arousal level falls below a threshold value (Japanese Patent Laid-Open No. 7-32907).
JP, JP-A-7-156682, Mitsubishi Electric Technical Report
Vol.70 No.9 1996 "Drowsiness detection technology").
【０００３】[0003]
【発明が解決しようとする課題】このような従来装置に
おいて、運転者の覚醒度を適確に推定するのに最も重要
なことは、いかに運転者の目情報を精密に捕らえるかに
係っている。従来の方法では、運転者がシートポジショ
ン（運転席の前後方向や上下方向の位置）を変更した
り、運転者が交替したりすると、カメラの捕らえる画像
（視野）から運転者の顔が外れてしまうような可能性が
あり、その対策としてカメラの撮影範囲を広角度に設定
することが要求される。しかし、そのようにカメラの視
野を広角度に設定すると、カメラの画像中に占める運転
者の顔部分が小さくなり、そこから得られる目情報も減
少してしまう。つまり、覚醒度の高い推定精度を確保す
るのが難しいという不具合があった。In such a conventional apparatus, the most important factor for accurately estimating the degree of awakening of a driver is related to how to accurately capture eye information of the driver. I have. In the conventional method, when the driver changes the seat position (the position of the driver's seat in the front-rear direction or the vertical direction) or changes the driver's face, the driver's face deviates from the image (field of view) captured by the camera. As a countermeasure, it is required to set the shooting range of the camera to a wide angle. However, if the field of view of the camera is set to such a wide angle, the driver's face portion occupied in the image of the camera becomes small, and eye information obtained therefrom also decreases. That is, there is a problem that it is difficult to ensure a high estimation accuracy of the arousal level.
【０００４】この発明は、このような問題点の有効な対
策手段の提供を目的とする。An object of the present invention is to provide effective countermeasures against such a problem.
【０００５】[0005]
【課題を解決するための手段】第１の発明では、図５の
ように運転者の顔をズームレンズを通して撮影する手段
ａと、その画像を特殊な画像フイルタを用いてその出力
を２値化する画像処理から目を抽出する手段ｂと、画像
処理で抽出される目をもとに一定時間あたりの閉じ目時
間を計測する手段ｃと、所定の閉じ時間を覚醒度の閾値
として設定する手段ｄと、閉じ時間の計測値が閾値を越
えると運転者の覚醒度の低下を判定する手段ｅと、その
覚醒度の低下判定時に運転室の警報器を作動するよう制
御する手段ｆと、運転者の着座開始時にズームレンジの
焦点距離をワイド側にセットする手段ｍと、画像処理で
抽出される左右の目を結ぶ中心が画像の中心にくるよう
撮影位置を調整する手段ｋと、同じく抽出される目の画
像上の座標位置を計測する手段ｈと、所定のズーム画像
上における目の基準座標位置および偏差の許容値を設定
する手段ｉと、目の計測座標位置と基準座標位置との偏
差がその許容値内に納まるようズームレンズの焦点距離
を調整する手段ｊと、を備える。In the first invention, as shown in FIG. 5, means a for photographing the driver's face through a zoom lens, and binarizing the output of the image using a special image filter. Means b for extracting the eyes from the image processing to be performed, means c for measuring the closed eye time per fixed time based on the eyes extracted in the image processing, and means for setting a predetermined closing time as a threshold value of the arousal level d, means e for determining a decrease in the arousal level of the driver when the measured value of the closing time exceeds a threshold value, means f for controlling an alarm device in the cab when the arousal level is determined to be low, Means for setting the focal length of the zoom range to the wide side at the start of sitting by the user, and means k for adjusting the shooting position so that the center connecting the left and right eyes extracted by the image processing is at the center of the image. Coordinate position on the eye image Measuring means h; means i for setting a reference coordinate position of the eye and an allowable value of deviation on a predetermined zoom image; and zooming such that the deviation between the measured coordinate position of the eye and the reference coordinate position falls within the allowable value. Means j for adjusting the focal length of the lens.
【０００６】第２の発明では、図６のように運転者の顔
に向けて赤外光を照射する手段ｎと、運転者の顔をズー
ムレンズを通して撮影する手段ａと、その画像処理を行
う手段ｂと、網膜反射像をもとに一定時間あたりの閉じ
目時間を計測する手段ｅと、所定の閉じ時間を覚醒度の
閾値として設定する手段ｄと、閉じ時間の計測値が閾値
を越えると運転者の覚醒度の低下を判定する手段ｅと、
その覚醒度の低下判定時に運転室の警報器を作動するよ
う制御する手段ｆと、運転者の着座開始時にズームレン
ジの焦点距離をワイド側にセットする手段ｍと、２点の
網膜反射光を結ぶ中心が画像の中心にくるよう撮影位置
を調整する手段ｋと、網膜反射光の画像上の座標位置を
計測する手段ｈと、所定のズーム画像上における目の基
準座標位置および偏差の許容値を設定する手段ｉと、網
膜反射光の計測座標位置と目の基準座標位置との偏差が
その許容値内に納まるようズームレンズの焦点距離を調
整する手段ｊと、を備える。In the second invention, as shown in FIG. 6, a means n for irradiating infrared light toward the driver's face, a means a for photographing the driver's face through a zoom lens, and image processing thereof are performed. Means b, means e for measuring the closed eye time per fixed time based on the retinal reflection image, means d for setting a predetermined closing time as a threshold value of the arousal level, and the measured value of the closing time exceeds the threshold value And means e for determining a decrease in the arousal level of the driver;
Means f for controlling to activate an alarm in the driver's cab when the arousal level is determined to decrease, means m for setting the focal length of the zoom range to the wide side when the driver starts to sit down, and two points of retinal reflected light. Means k for adjusting the photographing position so that the center of connection is at the center of the image; means h for measuring the coordinate position of the retinal reflected light on the image; and the reference coordinate position of the eye and the allowable value of the deviation on a predetermined zoom image And a means j for adjusting the focal length of the zoom lens such that the deviation between the measured coordinate position of the retina reflected light and the reference coordinate position of the eye falls within the allowable value.
【０００７】第３の発明では、図５または図６におい
て、覚醒度の低下判定時に車両を停止させるよう制御す
る手段ｇを設ける。In the third aspect of the present invention, there is provided a means g for controlling the vehicle to stop at the time of determining a decrease in the arousal level in FIG. 5 or FIG.
【０００８】[0008]
【発明の効果】第１の発明では、運転者の顔はズームレ
ンズを通して撮影され、画像処理により目が抽出され
る。その目をもとに運転者の覚醒度が判定され、覚醒度
の低下時に居眠り警報が作動する。覚醒度は一定時間あ
たりの閉じ目時間から、これが閾値を越えると、意識レ
ベルの低下として判定される。運転者の着座開始時はズ
ームレンズがワイド側にセットされ、その撮影位置は画
像処理で抽出される左右の目を結ぶ中心が画像の中心に
くるよう調整される。そのため、運転者がシートポジシ
ョンを変更したり、交替したりすることにより、顔の位
置が変わっても、広い視野の中で画像の中心に左右の目
の中心がくるよう運転者の顔を適確に捕らえられる。そ
して、両目の画像上の座標位置が計測され、所定のズー
ム画像上における基準座標位置および偏差の許容値に基
づいて、目の計測位置と基準位置との偏差が許容値内に
納まるようズームレンズの焦点距離が調整される。これ
により、運転者の撮影される画像は、両目を中心にして
ズームアップされるため、覚醒度の推定精度を大幅に高
めることができる。According to the first aspect, the driver's face is photographed through the zoom lens, and the eyes are extracted by image processing. The driver's arousal level is determined based on the eyes, and when the arousal level decreases, a dozing alarm is activated. The arousal level is determined as a decrease in the level of consciousness when the awakening degree exceeds a threshold value from the closed time per a certain time. When the driver starts sitting, the zoom lens is set to the wide side, and the shooting position is adjusted so that the center connecting the left and right eyes extracted by the image processing is located at the center of the image. Therefore, even if the driver changes the seat position or changes the seat position, even if the face position changes, the driver's face is adjusted so that the center of the left and right eyes is at the center of the image in a wide field of view. Certainly caught. Then, the coordinate position on the image of both eyes is measured, and based on the reference coordinate position and the allowable value of the deviation on a predetermined zoom image, the zoom lens is adjusted so that the deviation between the measured position of the eye and the reference position falls within the allowable value. Is adjusted. Thus, the image captured by the driver is zoomed up around both eyes, so that the accuracy of estimating the arousal level can be greatly increased.
【０００９】第２の発明では、運転者の顔に赤外光が照
射され、目の網膜反射光がズームレンズを通して撮影さ
れる。その画像上の網膜反射光をもとに運転者の覚醒度
が判定され、覚醒度の低下時に居眠り警報が作動する。
覚醒度は一定時間あたりの閉じ目時間から、これが閾値
を越えると、意識レベルの低下として判定される。運転
者の着座開始時はズームレンズがワイド側にセットさ
れ、その撮影位置は画像上の左右の網膜反射光を結ぶ中
心が画像の中心にくるよう調整される。そのため、運転
者がシートポジションを変更したり、交替したりするこ
とにより、顔の位置が変わっても、広い視野の中で画像
の中心に左右の網膜反射光の中心がくるよう運転者の顔
を適確に捕らえられる。そして、網膜反射光の画像上の
座標位置が計測され、所定のズーム画像上における基準
座標位置および偏差の許容値に基づいて、網膜反射光の
計測位置と基準位置との偏差が許容値内に納まるようズ
ームレンズの焦点距離が調整される。これにより、運転
者の撮影される画像は、両目を中心にしてズームアップ
されるため、覚醒度の推定精度を大幅に高めることがで
きる。In the second aspect, the driver's face is irradiated with infrared light, and the retina reflected light of the eye is photographed through a zoom lens. The driver's arousal level is determined based on the retina reflected light on the image, and when the arousal level decreases, the dozing alarm is activated.
The arousal level is determined as a decrease in the level of consciousness when the awakening degree exceeds a threshold value from the closed time per a certain time. When the driver starts sitting, the zoom lens is set to the wide side, and the shooting position is adjusted so that the center connecting the left and right retinal reflected lights on the image is at the center of the image. Therefore, even if the driver changes the seat position or changes the seat position, even if the face position changes, the driver's face is adjusted so that the center of the left and right retinal reflected light is located at the center of the image in a wide field of view. Can be caught properly. Then, the coordinate position of the retinal reflected light on the image is measured, and the deviation between the measured position of the retinal reflected light and the reference position is within the allowable value based on the reference coordinate position and the allowable value of the deviation on the predetermined zoom image. The focal length of the zoom lens is adjusted to fit. Thus, the image captured by the driver is zoomed up around both eyes, so that the accuracy of estimating the arousal level can be greatly increased.
【００１０】第３の発明では、覚醒度の低下時は車両が
停止するよう制御される。そのため、警報の作動に運転
者が反応しない場合においても、車両は停止状態（停
車）へと至るから、運転者の居眠りに対する安全性の向
上が得られる。In the third aspect, the vehicle is controlled to stop when the arousal level decreases. Therefore, even when the driver does not respond to the activation of the alarm, the vehicle is brought into a stopped state (stop), so that the safety of the driver for falling asleep can be improved.
【００１１】[0011]
【発明の実施の形態】図１において、運転室のインスト
ルメントパネル１に運転者の顔を撮影するＣＣＤカメラ
２と、運転者の覚醒度低下時に作動する警報器３が設置
される。ＣＣＤカメラ２は図２のようにズームレンズ４
が取り付けられ、その回りに近赤外ＬＥＤ５が配設され
る。また、ＣＣＤカメラ２はインストルパネル２に図示
しない支持機構を介して運転者に対向する撮影位置（こ
の例では支持角度）が調整可能に取り付けられる。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In FIG. 1, a CCD camera 2 for photographing the driver's face and an alarm 3 which is activated when the driver's arousal level decreases are installed on an instrument panel 1 in the cab. The CCD camera 2 has a zoom lens 4 as shown in FIG.
Is mounted, and the near-infrared LED 5 is disposed therearound. Further, the CCD camera 2 is mounted on the instrument panel 2 via a support mechanism (not shown) so that a shooting position (support angle in this example) facing the driver can be adjusted.
【００１２】コントローラ１０は、近赤外ＬＥＤ５の照
射を制御する光源制御部１１と、ＣＣＤカメラ２の支持
角度およびズームレンズ４の焦点距離を制御するカメラ
制御部１２と、ＣＣＤカメラ２の画像処理部１３と、運
転者の覚醒度を推定する居眠り検出部１４と、警報器３
の作動を制御する警報部１５と、から構成される。光源
制御部１１は夜間など暗い状態のときにのみ、運転者の
顔へ向けて低照度の近赤外ＬＥＤ５を作動させるよう制
御する。The controller 10 includes a light source controller 11 for controlling the irradiation of the near-infrared LED 5, a camera controller 12 for controlling the support angle of the CCD camera 2 and the focal length of the zoom lens 4, and image processing of the CCD camera 2. Unit 13, a dozing detection unit 14 for estimating the degree of awakening of the driver, and an alarm 3
And an alarming unit 15 for controlling the operation of. The light source control unit 11 controls the near-infrared LED 5 with low illuminance to operate toward the driver's face only in a dark state such as at night.
【００１３】画像処理部１２に特殊な画像フィルタを備
える。画像フィルタは昼間など明るい状態において、Ｃ
ＣＤカメラ２の画像から目を精度よく抽出するために採
用したものであり、カメラで撮影された画像と顔の縦方
向の長さが短い黒領域（目など）を除去した画像との差
を出力する。その出力画像は２値化され、目などを抽出
する２値画像になる。The image processing section 12 has a special image filter. When the image filter is in a bright condition such as daytime, C
This method is used to accurately extract the eyes from the image of the CD camera 2. The difference between the image taken by the camera and the image obtained by removing the black area (such as eyes) having a short vertical length of the face is removed. Output. The output image is binarized and becomes a binary image for extracting eyes and the like.
【００１４】居眠り検出部１３は２値画像をもとに目尻
の傾きの変化から瞬きを検出する。そして、一定時間あ
たりの閉じ目（目尻の傾きが開き目の傾きよりも緩や
か）時間を計測し、その計測時間を覚醒度の閾値と比較
して閾値を越えるときに覚醒度の低下を判定する。The drowsiness detector 13 detects blinking from a change in the inclination of the outer corner of the eye based on the binary image. Then, the closed eye (the inclination of the outer corner of the eye is gentler than the inclination of the open eye) time per fixed time is measured, and the measured time is compared with a threshold of the arousal level, and when the threshold value is exceeded, a decrease in the arousal level is determined. .
【００１５】夜間など暗い状態では、近赤外ＬＥＤ５の
作動により、ＣＣＤカメラ２に目の網膜反射像が撮影さ
れる。居眠り検出部１４は画像処理部１３を介してその
画像上に明るく光っている網膜反射の有無を検出する。
そして、一定時間あたりの閉じ目（網膜反射のない）時
間を計測し、その計測時間を覚醒度の閾値と比較して閾
値を越えるときに覚醒度の低下を判定する。In a dark state such as at night, the operation of the near-infrared LED 5 causes the CCD camera 2 to capture a retinal reflection image of the eye. The dozing detection unit 14 detects the presence or absence of brightly shining retinal reflection on the image via the image processing unit 13.
Then, a closed eye (without retinal reflex) time per fixed time is measured, and the measured time is compared with a threshold value of the arousal level.
【００１６】警報部１５は居眠り検出部１４において、
覚醒度の低下が判定されると、運転室の警報器３を作動
させる。なお、居眠り運転を有効に回避するため、運転
者の覚醒度低下時に車両の停止を制御するようにすると
良い。その停車制御の起動に警報器３への作動信号が利
用できる。The alarming unit 15 is a
When it is determined that the arousal level has decreased, the alarm device 3 in the cab is activated. Note that, in order to effectively avoid drowsy driving, the stop of the vehicle may be controlled when the driver's arousal level decreases. An activation signal to the alarm 3 can be used to activate the stop control.
【００１７】カメラ制御部１２は運転者の着座開始時に
ＣＣＤカメラ２のズームレンズをワイド側にセットす
る。運転者の顔はそのときＣＣＤカメラ２のワイドな画
像の中で小さく捕らえられる。そして、画像処理部１３
の出力データに基づいて、昼間など明るい状態のとき
は、２値画像の両目を結ぶ中心が画像の中心にくるよ
う、ＣＣＤカメラ２の支持角度を調整する。The camera controller 12 sets the zoom lens of the CCD camera 2 to the wide side when the driver starts sitting. The driver's face is then captured small in the wide image of the CCD camera 2. Then, the image processing unit 13
In the case of a bright state such as daytime, the support angle of the CCD camera 2 is adjusted based on the output data so that the center connecting both eyes of the binary image is at the center of the image.
【００１８】カメラ制御部１２のメモリに所定のズーム
画像上における目の基準座標位置および偏差の許容値な
どが設定される。そして、２値画像上の両目の座標位置
を計測し、その計測座標位置と基準座標位置との偏差が
許容値内に納まるよう、ズームレンズ４の焦点距離を調
整する。In the memory of the camera control unit 12, the reference coordinate position of the eye on a predetermined zoom image, the allowable value of the deviation, and the like are set. Then, the coordinate positions of both eyes on the binary image are measured, and the focal length of the zoom lens 4 is adjusted so that the deviation between the measured coordinate position and the reference coordinate position falls within an allowable value.
【００１９】夜間など暗い状態のときは、網膜反射像に
基づいて、同じく両目の中心が画像の中心にくるよう、
ＣＣＤカメラ２の支持角度を調整する一方、網膜反射像
上の両目の座標位置を計測し、基準座標位置との偏差が
許容値内に納まるよう、ズームレンズ４の焦点距離を調
整する。In a dark state, such as at night, based on the retinal reflection image, the center of both eyes is similarly positioned at the center of the image.
While adjusting the support angle of the CCD camera 2, the coordinate positions of both eyes on the retinal reflection image are measured, and the focal length of the zoom lens 4 is adjusted so that the deviation from the reference coordinate position falls within an allowable value.
【００２０】このような構成により、運転者の顔はＣＣ
Ｄカメラ２で撮影される。２値画像または網膜反射像の
目をもとに運転者の覚醒度が判定され、覚醒度の低下時
に居眠り警報が作動する。運転者の着座開始時はズーム
レンズ４がワイド側にセットされ、ＣＣＤカメラ２の支
持角度は２値画像または網膜反射像上の両目を結ぶ中心
が画像の中心にくるよう調整される。そのため、運転者
がシートポジションを変更したり、交替したりすること
により、顔の位置が変わっても、広い視野の中で画像の
中心に両目の中心がくるよう運転者の顔を適確に捕らえ
られる。With such a configuration, the driver's face is CC
Photographed by the D camera 2. The awakening degree of the driver is determined based on the eyes of the binary image or the retinal reflection image, and when the awakening degree decreases, the dozing alarm is activated. When the driver starts sitting, the zoom lens 4 is set to the wide side, and the support angle of the CCD camera 2 is adjusted so that the center connecting both eyes on the binary image or the retinal reflection image is at the center of the image. Therefore, even if the driver changes or changes the seat position, even if the position of the face changes, the driver's face is accurately positioned so that the center of both eyes is in the center of the image in a wide field of view. Be caught.
【００２１】また、両目の画像上の座標位置が計測さ
れ、所定のズーム画像上における基準座標位置および偏
差の許容値に基づいて、目の計測位置と基準位置との偏
差が許容値内に納まるようズームレンズ４の焦点距離が
調整される。運転者の撮影される画像は、両目を中心に
してズームアップされるため、覚醒度の推定精度を大幅
に高めることができる。Further, the coordinate position on the image of both eyes is measured, and the deviation between the measured position of the eye and the reference position falls within the allowable value based on the reference coordinate position and the allowable value of the deviation on a predetermined zoom image. Thus, the focal length of the zoom lens 4 is adjusted. Since the image captured by the driver is zoomed up with both eyes at the center, the estimation accuracy of the arousal level can be greatly increased.
【００２２】図３は明るい状態での制御内容を説明する
フローチャートであり、ステップ１では、運転者の着座
時にＣＣＤカメラ２の焦点距離をワイド側（短め）にセ
ットする。ステップ２では、運転者の顔をＣＣＤカメラ
２で撮影する。ステップ３では、ＣＣＤカメラ２の画像
Ｇ０（原画）から、縦方向の長さが短い黒領域を除去す
る画像Ｇ１を得る。ステップ４では、原画Ｇ０と黒領域
を除去した画像Ｇ１との差Ｇ２を得る。ステップ５で
は、この画像差Ｇ２から原画Ｇ０を引き去る画像Ｇ３を
得る。ステップ６では画像Ｇ３を２値化することにより
目を抽出する。FIG. 3 is a flowchart for explaining the control contents in a bright state. In step 1, the focal length of the CCD camera 2 is set to the wide side (short) when the driver is seated. In step 2, the driver's face is photographed by the CCD camera 2. In step 3, an image G1 is obtained from the image G0 (original image) of the CCD camera 2 in which a black region having a short vertical length is removed. In step 4, a difference G2 between the original image G0 and the image G1 from which the black area has been removed is obtained. In step 5, an image G3 is obtained by subtracting the original image G0 from the image difference G2. In step 6, eyes are extracted by binarizing the image G3.
【００２３】ステップ７，ステップ８において、この２
値画像上の両目を結ぶ中心がが画像の中心にくるよう、
ＣＣＤカメラ２の支持角度を調整する。ステップ９で
は、画像上の両目の座標位置を計測し、基準座標位置と
の偏差を求める。ステップ１０，ステップ１１におい
て、この偏差が許容値内に納まるよう、ＣＣＤカメラ２
の焦点距離をズーム側（長め）に調整する。なお、左右
の偏差はｅｌ，ｅｒの絶対値は、（ｅｌｘ2＋ｅｌｙ2）
1/2，（ｅｒｘ2＋ｅｒｙ2）1/2で与えられる。In steps 7 and 8, this 2
So that the center connecting both eyes on the value image is at the center of the image,
The support angle of the CCD camera 2 is adjusted. In step 9, the coordinate positions of both eyes on the image are measured, and the deviation from the reference coordinate position is determined. In steps 10 and 11, the CCD camera 2 is adjusted so that the deviation falls within an allowable value.
Adjust the focal length of the zoom lens to the zoom side (longer). Note that the left and right deviation is the absolute value of el and er, (elx 2 + ely 2 )
1/2 , (erx 2 + ery 2 ) 1/2 .
【００２４】ステップ１２では、目尻の傾きαを計測す
る。ステップ１３では、αが閾値（閉じ目を判定するた
めの基準値であり、メモリに予め設定される）未満かど
うかを判定する。ｙｅｓのときは、ステップ１４で閉じ
目フラグｆ1を１にする。ｎｏのときは、ステップ１５
で閉じ目フラグｆ1を０にする。ステップ１６では、閉
じ目フラグｆ1＝１かどうかを判定し、ｙｅｓのときは
ステップ１７に進み、ｎｏのときはステップ１８へ飛
ぶ。In step 12, the inclination α of the outer corner of the eye is measured. In step 13, it is determined whether or not α is smaller than a threshold value (a reference value for determining a closed eye, which is preset in a memory). If yes, the closing flag f 1 is set to 1 in step 14. If no, step 15
In a closed eyes flag f 1 to 0. In step 16, it is determined whether or not the closed eye flag f 1 = 1. If yes, the process proceeds to step 17, and if no, the process proceeds to step 18.
【００２５】ステップ１７では、閉じ目の持続時間を計
測し、その時間の累計を行う。ステップ１８，ステップ
１９において、一定時間が経過すると、閉じ目の累計時
間Ｓ-ｆ1が覚醒度の閾値を越えるかどうかを判定する。
ｙｅｓのときは、ステップ２０で覚醒度低下フラグｆ2
を１にする。ｎｏのときは、ステップ２１で覚醒度低下
フラグｆ2を０にする。In step 17, the duration of the closed eye is measured, and the total time is calculated. Determining f 1 is whether exceeds a threshold value of wakefulness - step 18, in step 19, after a certain period of time, closing th cumulative time S.
If yes, at step 20 the arousal level reduction flag f 2
To 1. When no is the awareness decrease flag f 2 to 0 in step 21.
【００２６】ステップ２２では、閉じ目の累計時間Ｓ-
ｆ1を０にすると同時に一定時間のカウントを開始す
る。そして、ステップ２３，ステップ２４において、覚
醒度低下フラグｆ2＝１のときは警報器３（および車両
の停車制御）を作動させる。ステップ２〜ステップ２４
は所定の制御周期で繰り返し実行される。[0026] In step 22, closed eyes of cumulative time S -
the f 1 to start the count for a certain period of time and at the same time to 0. Then, in steps 23 and 24, when the awakening degree decrease flag f 2 = 1, the alarm 3 (and the vehicle stop control) is activated. Step 2 to step 24
Is repeatedly executed at a predetermined control cycle.
【００２７】図４は暗い状態での制御内容を説明するフ
ローチャトであり、ステップ１では、運転者の着座時に
ＣＣＤカメラ２の焦点距離をワイド側（短め）にセット
する。ステップ２では、近赤外ＬＥＤ５を作動させる。
ステップ３では運転者の顔をＣＣＤカメラ２で撮影す
る。ステップ４では、ＣＣＤカメラ２の網膜反射像Ｇ０
（原画）から、明るく光っている点を目として抽出す
る。FIG. 4 is a flowchart for explaining the control contents in a dark state. In step 1, the focal length of the CCD camera 2 is set to the wide side (short) when the driver is seated. In step 2, the near-infrared LED 5 is operated.
In step 3, the driver's face is photographed by the CCD camera 2. In step 4, the retinal reflection image G0 of the CCD camera 2
From the (original image), brightly shining points are extracted as eyes.
【００２８】ステップ５，ステップ６において、この網
膜反射像上の両目を結ぶ中心がが画像の中心にくるよ
う、ＣＣＤカメラ２の支持角度を調整する。ステップ７
では、画像上の両目の座標位置を計測し、基準座標位置
との偏差を求める。ステップ８，ステップ９において、
この偏差が許容値内に納まるよう、ＣＣＤカメラ２の焦
点距離をズーム側（長め）に調整する。なお、左右の偏
差はｅｌ，ｅｒの絶対値は、（ｅｌｘ2＋ｅｌ
ｙ2）1/2，（ｅｒｘ2＋ｅｒｙ2）1/2で与えられる。In steps 5 and 6, the support angle of the CCD camera 2 is adjusted so that the center connecting both eyes on the retinal reflection image is located at the center of the image. Step 7
Then, the coordinate positions of both eyes on the image are measured, and the deviation from the reference coordinate position is determined. In steps 8 and 9,
The focal length of the CCD camera 2 is adjusted to the zoom side (longer) so that this deviation falls within the allowable value. The left and right deviation is the absolute value of el and er, (elx 2 + el
y 2 ) 1/2 and (erx 2 + ery 2 ) 1/2 .
【００２９】ステップ１０では、網膜反射の有かどうか
を判定する。ｙｅｓのときは、ステップ１１で閉じ目フ
ラグｆ1を１にする。ｎｏのときは、ステップ１２で閉
じ目フラグｆ1を０にする。ステップ１３では、閉じ目
フラグｆ1＝１かどうかを判定し、ｙｅｓのときはステ
ップ１４に進み、ｎｏのときはステップ１５へ飛ぶ。In step 10, it is determined whether or not there is retinal reflection. If yes, the closing flag f 1 is set to 1 in step 11. When no is the zero seam flag f 1 at step 12. In step 13, it is determined whether or not the closed eye flag f 1 = 1. If yes, the process proceeds to step 14, and if no, the process jumps to step 15.
【００３０】ステップ１４では、閉じ目の持続時間を計
測し、その時間の累計を行う。ステップ１５，ステップ
１６において、一定時間が経過すると、閉じ目の累計時
間Ｓ-ｆ1が覚醒度の閾値を越えるかどうかを判定する。
ｙｅｓのときは、ステップ１７で覚醒度低下フラグｆ2
を１にする。ｎｏのときは、ステップ１８で覚醒度低下
フラグｆ2を０にする。In step 14, the duration of the closed eye is measured, and the time is accumulated. Determining f 1 is whether exceeds a threshold value of wakefulness - step 15, in step 16, after a certain period of time, closing th cumulative time S.
If yes, at step 17 the arousal level reduction flag f 2
To 1. When no is the awareness decrease flag f 2 to 0 in step 18.
【００３１】ステップ１９では、閉じ目の累計時間Ｓ-
ｆ1を０にすると同時に一定時間のカウントを開始す
る。そして、ステップ２０，ステップ２１において、覚
醒度低下フラグｆ2＝１のときは、警報器３（および車
両の停車制御）を作動させる。ステップ２〜ステップ２
１は所定の制御周期で繰り返し実行される。[0031] In step 19, closed eyes of cumulative time S -
the f 1 to start the count for a certain period of time and at the same time to 0. Then, in steps 20 and 21, when the arousal level reduction flag f 2 = 1, the alarm 3 (and the vehicle stop control) is activated. Step 2 to step 2
1 is repeatedly executed at a predetermined control cycle.
【図１】この発明の実施形態を説明する概要図である。FIG. 1 is a schematic diagram illustrating an embodiment of the present invention.
【図２】同じくＣＣＤカメラの構成図である。FIG. 2 is a configuration diagram of the CCD camera.
【図３】同じく制御内容を説明するフローチャートであ
る。FIG. 3 is a flowchart for explaining control contents.
【図４】同じく制御内容を説明するフローチャートであ
る。FIG. 4 is a flowchart for explaining control contents.
【図５】この発明のクレーム対応図である。FIG. 5 is a diagram corresponding to claims of the present invention.
【図６】この発明のクレーム対応図である。FIG. 6 is a diagram corresponding to claims of the present invention.
２ ＣＣＤカメラ ３ 警報器 ４ ズームレンズ ５ 近赤外ＬＥＤ １０ コントローラ １１ 光源制御部 １２ カメラ制御部 １３ 画像処理部 １４ 居眠り検出部 １５ 警報部 2 CCD camera 3 Alarm 4 Zoom lens 5 Near infrared LED 10 Controller 11 Light source controller 12 Camera controller 13 Image processor 14 Drowsiness detector 15 Alarm unit
Claims (3)
る手段と、その画像を特殊な画像フイルタを用いてその
出力を２値化する画像処理から目を抽出する手段と、画
像処理で抽出される目をもとに一定時間あたりの閉じ目
時間を計測する手段と、所定の閉じ時間を覚醒度の閾値
として設定する手段と、閉じ時間の計測値が閾値を越え
ると運転者の覚醒度の低下を判定する手段と、その覚醒
度の低下判定時に運転室の警報器を作動するよう制御す
る手段と、運転者の着座開始時にズームレンジの焦点距
離をワイド側にセットする手段と、画像処理で抽出され
る左右の目を結ぶ中心が画像の中心にくるよう撮影位置
を調整する手段と、同じく抽出される目の画像上の座標
位置を計測する手段と、所定のズーム画像上における目
の基準座標位置および偏差の許容値を設定する手段と、
目の計測座標位置と基準座標位置との偏差がその許容値
内に納まるようズームレンズの焦点距離を調整する手段
と、を備えたことを特徴とする居眠り警報装置。1. A means for photographing a driver's face through a zoom lens, a means for extracting eyes from image processing for binarizing the output of the image using a special image filter, and a means for extracting the eyes by image processing. Means for measuring the closed eye time per fixed time based on the eyes, means for setting a predetermined closing time as a threshold for the arousal level, and means for measuring the degree of awakening of the driver when the measured value of the closing time exceeds the threshold value. Means for determining a decrease, means for controlling activation of an alarm device in a driver's cab when the degree of awakening is determined to decrease, means for setting a focal length of a zoom range to a wide side when a driver starts sitting, and image processing. Means for adjusting the photographing position so that the center connecting the left and right eyes extracted in step (b) is at the center of the image; means for measuring the coordinate position on the image of the extracted eyes; Reference coordinate position Means for setting the allowable value of the fine difference,
Means for adjusting the focal length of the zoom lens such that the deviation between the measurement coordinate position of the eye and the reference coordinate position falls within an allowable value thereof.
と、運転者の顔をズームレンズを通して撮影する手段
と、その画像処理を行う手段と、網膜反射像をもとに一
定時間あたりの閉じ目時間を計測する手段と、所定の閉
じ時間を覚醒度の閾値として設定する手段と、閉じ時間
の計測値が閾値を越えると運転者の覚醒度の低下を判定
する手段と、その覚醒度の低下判定時に運転室の警報器
を作動するよう制御する手段と、運転者の着座開始時に
ズームレンジの焦点距離をワイド側にセットする手段
と、２点の網膜反射光を結ぶ中心が画像の中心にくるよ
う撮影位置を調整する手段と、網膜反射光の画像上の座
標位置を計測する手段と、所定のズーム画像上における
目の基準座標位置および偏差の許容値を設定する手段
と、網膜反射光の計測座標位置と目の基準座標位置との
偏差がその許容値内に納まるようズームレンズの焦点距
離を調整する手段と、を備えたことを特徴とする居眠り
警報装置。A means for irradiating infrared light toward the driver's face; a means for photographing the driver's face through a zoom lens; a means for performing image processing thereof; Means for measuring the closed eye time per time, means for setting a predetermined closing time as a threshold of the arousal degree, means for determining a decrease in the awakening degree of the driver when the measured value of the closing time exceeds the threshold, Means for controlling to activate an alarm in the driver's cab when the degree of arousal is determined to decrease, means for setting the focal length of the zoom range to the wide side when the driver starts sitting, and a center for connecting two points of retinal reflected light. Means for adjusting the photographing position such that is located at the center of the image, means for measuring the coordinate position of the retinal reflected light on the image, and means for setting the reference coordinate position of the eye and the allowable value of the deviation on a predetermined zoom image And the retinal reflected light measurement site Snooze alarm device deviation between the position and the eye of the reference coordinate position is characterized by comprising a means for adjusting the focal length of the zoom lens to fall within the allowable value.
う制御する手段を設けたことを特徴とする請求項１また
は請求項２に記載の居眠り警報装置。3. The drowsy alarm device according to claim 1, further comprising means for controlling the vehicle to stop when the degree of awakening is determined to be low.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8153497A JP3815842B2 (en) | 1997-03-31 | 1997-03-31 | Dozing alarm device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8153497A JP3815842B2 (en) | 1997-03-31 | 1997-03-31 | Dozing alarm device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10272961A true JPH10272961A (en) | 1998-10-13 |
| JP3815842B2 JP3815842B2 (en) | 2006-08-30 |
Family
ID=13748985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8153497A Expired - Fee Related JP3815842B2 (en) | 1997-03-31 | 1997-03-31 | Dozing alarm device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3815842B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000280858A (en) * | 1999-03-30 | 2000-10-10 | Toshiba Corp | Device and method for controlling on-vehicle apparatus |
| JP2003112580A (en) * | 2001-10-05 | 2003-04-15 | Alpine Electronics Inc | Car-mount camera device |
| JP2007264785A (en) * | 2006-03-27 | 2007-10-11 | Toyota Motor Corp | Drowsiness detection apparatus |
| JP2008171065A (en) * | 2007-01-09 | 2008-07-24 | Denso Corp | Sleepiness detection device |
| US8144002B2 (en) | 2008-03-31 | 2012-03-27 | Hyundai Motor Company | Alarm system for alerting driver to presence of objects |
| CN105516759A (en) * | 2015-12-08 | 2016-04-20 | 北海爱飞数码科技有限公司 | Vehicular television based on eye video collection |
| WO2019097677A1 (en) * | 2017-11-17 | 2019-05-23 | 三菱電機株式会社 | Image capture control device, image capture control method, and driver monitoring system provided with image capture control device |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06227278A (en) * | 1993-02-03 | 1994-08-16 | Nissan Motor Co Ltd | Driver condition sensing device |
| JPH06348980A (en) * | 1993-06-14 | 1994-12-22 | Aisin Seiki Co Ltd | Device for monitoring eyes of driver on vehicle |
| JPH0776235A (en) * | 1993-07-16 | 1995-03-20 | Toyota Motor Corp | Lamp controller for vehicle |
| JPH07218989A (en) * | 1994-02-04 | 1995-08-18 | Mitsubishi Electric Corp | Face image photographing device |
| JPH07249197A (en) * | 1994-03-10 | 1995-09-26 | Mitsubishi Electric Corp | Detecting device for state of person |
| JP2522859B2 (en) * | 1990-12-14 | 1996-08-07 | 日産自動車株式会社 | Eye position detection device |
| JPH1035320A (en) * | 1996-07-24 | 1998-02-10 | Hitachi Ltd | Vehicle condition recognition method, on-vehicle image processor, and memory medium |
| JP3109230B2 (en) * | 1992-03-17 | 2000-11-13 | 日産自動車株式会社 | Eye position detection device for vehicle driver |
-
1997
- 1997-03-31 JP JP8153497A patent/JP3815842B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2522859B2 (en) * | 1990-12-14 | 1996-08-07 | 日産自動車株式会社 | Eye position detection device |
| JP3109230B2 (en) * | 1992-03-17 | 2000-11-13 | 日産自動車株式会社 | Eye position detection device for vehicle driver |
| JPH06227278A (en) * | 1993-02-03 | 1994-08-16 | Nissan Motor Co Ltd | Driver condition sensing device |
| JPH06348980A (en) * | 1993-06-14 | 1994-12-22 | Aisin Seiki Co Ltd | Device for monitoring eyes of driver on vehicle |
| JPH0776235A (en) * | 1993-07-16 | 1995-03-20 | Toyota Motor Corp | Lamp controller for vehicle |
| JPH07218989A (en) * | 1994-02-04 | 1995-08-18 | Mitsubishi Electric Corp | Face image photographing device |
| JPH07249197A (en) * | 1994-03-10 | 1995-09-26 | Mitsubishi Electric Corp | Detecting device for state of person |
| JPH1035320A (en) * | 1996-07-24 | 1998-02-10 | Hitachi Ltd | Vehicle condition recognition method, on-vehicle image processor, and memory medium |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000280858A (en) * | 1999-03-30 | 2000-10-10 | Toshiba Corp | Device and method for controlling on-vehicle apparatus |
| JP2003112580A (en) * | 2001-10-05 | 2003-04-15 | Alpine Electronics Inc | Car-mount camera device |
| JP2007264785A (en) * | 2006-03-27 | 2007-10-11 | Toyota Motor Corp | Drowsiness detection apparatus |
| JP2008171065A (en) * | 2007-01-09 | 2008-07-24 | Denso Corp | Sleepiness detection device |
| US8144002B2 (en) | 2008-03-31 | 2012-03-27 | Hyundai Motor Company | Alarm system for alerting driver to presence of objects |
| CN105516759A (en) * | 2015-12-08 | 2016-04-20 | 北海爱飞数码科技有限公司 | Vehicular television based on eye video collection |
| WO2019097677A1 (en) * | 2017-11-17 | 2019-05-23 | 三菱電機株式会社 | Image capture control device, image capture control method, and driver monitoring system provided with image capture control device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3815842B2 (en) | 2006-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7202792B2 (en) | Drowsiness detection system and method | |
| JP4059224B2 (en) | Driver appearance recognition system | |
| JP4899059B2 (en) | Sleepiness detection device | |
| JP4788624B2 (en) | Careless warning device, vehicle equipment control method of careless warning device, and vehicle control device program | |
| JP5233322B2 (en) | Information processing apparatus and method, and program | |
| US20100214105A1 (en) | Method of detecting drowsiness of a vehicle operator | |
| JP2001010368A (en) | Dozing drive determining method for dozing drive alarming system | |
| JP2002352229A (en) | Face region detector | |
| JPH11316884A (en) | Device for obtaining awakening state | |
| JP2003260933A (en) | Automatic glare controlling device | |
| JP2006248363A (en) | Driver lighting system, driver photographing device and driver monitoring device | |
| JP4677963B2 (en) | Dozing detection device, dozing detection method | |
| JP2002063668A (en) | Device for detecting and reporting person inside vehicle and dangerous state avoiding device | |
| JP2009223752A (en) | Drowsy driving risk determination device | |
| JP2002254956A (en) | Device for detecting falling-off awakened condition | |
| JPH11339200A (en) | Detector for driving vehicle asleep | |
| JP2005108033A (en) | Driver condition determination device and method | |
| JP3815842B2 (en) | Dozing alarm device | |
| JP2006096316A (en) | Monitoring device | |
| JPH08290726A (en) | Doze alarm device | |
| JP5050794B2 (en) | Sleepiness detection device, sleepiness detection method | |
| JP2010100088A (en) | Drive assist system | |
| JP4888382B2 (en) | Abnormality detection apparatus and method, and program | |
| JP7046748B2 (en) | Driver status determination device and driver status determination method | |
| JPH11304428A (en) | Driver monitor device and automobile drive support system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060606 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150616 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |