JPH0939603A - Dozing judgement device - Google Patents
Dozing judgement deviceInfo
- Publication number
- JPH0939603A JPH0939603A JP7195491A JP19549195A JPH0939603A JP H0939603 A JPH0939603 A JP H0939603A JP 7195491 A JP7195491 A JP 7195491A JP 19549195 A JP19549195 A JP 19549195A JP H0939603 A JPH0939603 A JP H0939603A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- time
- driver
- objective
- dozing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
- Y02T10/84—Data processing systems or methods, management, administration
Landscapes
- Emergency Alarm Devices (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、居眠り判定装置に
関し、被験者の眼の開閉状態から被験者の居眠り判定を
行う居眠り判定装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a drowsiness determination device, and more particularly to a drowsiness determination device for determining a subject's drowsiness based on whether the subject's eyes are open or closed.
【０００２】[0002]
【従来の技術】従来より運転者の顔を撮像した顔画像か
ら運転者の瞬きを検出し、この瞬きの状態から運転者の
居眠り等を検出する装置が提案されている。例えば、特
開平６−３２１５４号公報には、運転者の目の縦幅を検
出し、この目の縦幅の最大値及び最小値から閾値を設定
して瞬きを検出し、瞬きの時間変化から閉眼状態が所定
時間以上継続したとき運転者が居眠り状態にあると判定
している。2. Description of the Related Art Conventionally, there has been proposed a device for detecting the blink of the driver from a face image obtained by capturing the face of the driver and detecting the drowsiness of the driver or the like from the state of the blink. For example, in Japanese Unexamined Patent Publication No. 6-32154, the vertical width of a driver's eyes is detected, a threshold is set from the maximum value and the minimum value of the vertical width of the driver's eyes to detect blinks, and the temporal change of the blinks is detected. It is determined that the driver is in a dozing state when the eyes closed state continues for a predetermined time or longer.
【０００３】[0003]
【発明が解決しようとする課題】例えば３０秒等の所定
時間当りの平均瞬き閉眼時間Ｔeav と、意識レベルＬｃ
とは図８に示す関係にある。このため、従来は平均瞬き
閉眼時間Ｔeav が閾値ＴＨ未満のとき居眠りと判定して
いた。Mean blink closing time Teav per predetermined time such as 30 seconds and consciousness level Lc
And have the relationship shown in FIG. For this reason, conventionally, when the average blink-eye closing time Teav is less than the threshold value TH, it is determined to be dozing.
【０００４】ここで、車両運転中の覚醒状態から居眠り
状態へと変化する場合は、瞬き閉眼時間Ｔe 、意識レベ
ルＬｃは図９に示すように変化する。図８に示す意識レ
ベルＬｃが眠いからかなり眠いまでの間は平均瞬き閉眼
時間Ｔeav の変化が大きいのに対し、かなり眠いから居
眠りまでの間は平均瞬き閉眼時間Ｔeav の変化が小さ
い。Here, when the awake state during driving of the vehicle is changed to the dozing state, the blinking eye closing time Te and the consciousness level Lc are changed as shown in FIG. While the consciousness level Lc shown in FIG. 8 changes significantly from the sleepy state to the sleepy state, the average blinking eye closing time Teav changes greatly, while the average blinking eye closing time Teav changes from the considerably sleepy state to the dozing state small.
【０００５】これはかなり眠いから居眠りまでの過程で
は、閉眼時間が比較的長い１〜２秒の瞬きが多発し、平
均値であるＴeav も微増するが、居眠りは突発的に閉眼
時間が２秒以上の瞬きが発生したときにおちいると考え
られるので、平均値であるＴeav は微増にとどまるため
である。従って、従来、閾値ＴＨは１．８秒程度に設定
している。[0005] In the process from quite drowsy to dozing, blinks frequently occur for 1 to 2 seconds with a relatively long eye-closing time, and Teav, which is the average value, slightly increases, but during dozing, the eye-closing time is suddenly 2 seconds. This is because the average value Teav is only slightly increased because it is considered that the blink occurs when the above blink occurs. Therefore, conventionally, the threshold value TH is set to about 1.8 seconds.
【０００６】従来は、平均瞬き閉眼時間Ｔeav が例えば
１．８秒の閾値ＴＨを超えた時点で居眠りと判定し、警
報を行っているが、この時点では運転者はかなり眠いだ
けで未だ居眠りをしているわけではないため、この警報
が運転者の感覚に合わず、わずらわしいという問題があ
った。Conventionally, when the average blink closing time Teav exceeds a threshold TH of 1.8 seconds, for example, it is determined that the driver is dozing and an alarm is issued, but at this time, the driver is quite drowsy and still drowsy. However, there is a problem that this warning does not match the driver's feeling and is troublesome.
【０００７】ところで、閾値ＴＨを２秒と設定すること
も考えられるが、この場合には運転者が居眠りを始め、
閉眼から２秒経過して警報が発せられるため、警報が遅
いという問題がある。本発明は、上記の点に鑑みなされ
たもので、次の閉眼状態の継続時間を予測し、この予測
された次の閉眼時間により居眠り判定を行うことによ
り、居眠りを精度良く判定し、運転者の感覚に合った居
眠りの警報を行うことのできる居眠り判定装置を提供す
ることを目的とする。By the way, although it is possible to set the threshold value TH to 2 seconds, in this case, the driver starts to fall asleep,
There is a problem that the alarm is delayed because the alarm is issued 2 seconds after the eyes are closed. The present invention has been made in view of the above point, predicts the duration of the next eye-closed state, by performing a doze determination by this predicted next eye-closing time, to accurately determine the doze, the driver It is an object of the present invention to provide a drowsiness determination device capable of issuing a drowsiness alarm that matches the feeling of.
【０００８】[0008]
【課題を解決するための手段】請求項１に記載の発明
は、図１（Ａ）に示す如く、検出手段Ｍ１で被験者の眼
の開閉状態を検出し、閉眼状態が所定時間を超えて継続
したとき居眠り判定を行う居眠り判定装置において、過
去の閉眼時間の複数のデータに基づいて、次の閉眼状態
の継続時間を予測する閉眼時間予測手段Ｍ２と、上記予
測された次の閉眼状態の継続時間が所定時間を超えたと
き居眠りと判定する判定手段Ｍ３とを有する。According to the invention described in claim 1, as shown in FIG. 1 (A), the open / closed state of the eye of the subject is detected by the detecting means M1, and the closed eye state continues for a predetermined time or longer. In the drowsiness determination device that performs the drowsiness determination, the eye-closing time predicting unit M2 that predicts the duration of the next eye-closed state based on a plurality of data of the past eye-closing time, and the continuation of the predicted next eye-closed state. And a determining unit M3 that determines to fall asleep when the time exceeds a predetermined time.
【０００９】このため、居眠りに入った場合は、予測さ
れる次の閉眼時間は例えば２秒以上の大きな値となり、
かなり眠い状態では予測される次の閉眼時間は２秒未満
の値となるため、閾値とする所定時間を例えば２秒とす
ることにより、居眠りを精度良く判定でき、かつ、居眠
りが始まる前に判定できる。Therefore, when the person falls asleep, the predicted next eye-closing time becomes a large value of, for example, 2 seconds or more,
In the case of being quite sleepy, the predicted next eye-closing time will be a value of less than 2 seconds, so by setting the predetermined time as the threshold value to, for example, 2 seconds, it is possible to accurately determine drowsiness and to determine before drowsiness begins. it can.
【００１０】請求項２に記載の発明は、図１（Ｂ）に示
す如く、検出手段Ｍ１で被験者の眼の開閉状態を検出
し、閉眼状態が所定時間を超えて継続したとき居眠り判
定を行う居眠り判定装置において、過去の閉眼時間の複
数のデータに基づいて、次の閉眼時期及び閉眼状態の継
続時間を予測する閉眼時期及び時間予測手段Ｍ４と、上
記予測された次の閉眼状態の継続時間が上記所定時間を
超えたとき居眠りと判定する判定手段Ｍ３と、居眠りと
判定されたとき次の閉眼時期に警報を行う警報制御手段
Ｍ５とを有する。According to the second aspect of the present invention, as shown in FIG. 1B, the detection means M1 detects the open / closed state of the subject's eyes, and when the closed eye state continues for more than a predetermined time, a drowsiness determination is performed. In the doze determination device, an eye-closing time and time predicting means M4 for predicting a next eye-closing time and a duration of the eye-closed state based on a plurality of pieces of data of the past eye-closing time, and the predicted duration of the next eye-closed state. Has a determination means M3 for determining that the subject has fallen asleep and the alarm control means M5 for issuing an alarm at the next eye closing time when it has been determined that the subject has fallen asleep.
【００１１】このため、請求項１と同様に居眠りを精度
良く判定でき、かつ居眠りが始まる前に判定できると共
に、居眠りが始まるタイミングで警報を行うことができ
るため、運転者の感覚に合った居眠り警報を行うことが
できる。Therefore, as in the first aspect of the present invention, it is possible to accurately determine the doze, and it is possible to make a determination before the dozing starts, and it is possible to give an alarm at the timing when the dozing starts, so that the dozing suitable for the driver's feeling can be obtained. An alarm can be given.
【００１２】[0012]
【発明の実施の形態】図２は本発明のブロック図を示
す。同図中、運転者を撮像するカメラ１０が車両の所定
位置に設けられ、運転者の顔画像を撮像する。カメラ１
０には画像処理装置１２が接続されており、得られた運
転者の顔画像を画像処理装置１２に供給する。画像処理
装置１２にはＡ／Ｄ変換器、正規化回路及び相関演算回
路を備えており、入力された画像信号をデジタル信号に
変換し、更に濃淡正規化処理を行う。画像処理装置１２
はメモリ１４が接続されている。メモリ１４には標準テ
ンプレート（基準顔テンプレート、標準目近傍テンプレ
ート、標準目テンプレート）及び眉毛や目などの顔要素
の配置データが予め格納されている。配置データの内容
は、「眉毛、目は横方向（ｘ方向）に平行して存在す
る」、「目は眉毛の下方にある」等である。2 shows a block diagram of the present invention. In the figure, a camera 10 for picking up an image of the driver is provided at a predetermined position of the vehicle to take a face image of the driver. Camera 1
An image processing device 12 is connected to 0, and the obtained face image of the driver is supplied to the image processing device 12. The image processing device 12 includes an A / D converter, a normalization circuit, and a correlation calculation circuit, converts the input image signal into a digital signal, and further performs a grayscale normalization process. Image processing device 12
Is connected to the memory 14. The memory 14 stores in advance standard templates (standard face template, standard eye vicinity template, standard eye template) and arrangement data of face elements such as eyebrows and eyes. The contents of the arrangement data are “eyebrows, eyes exist in parallel to the lateral direction (x direction)”, “eyes are below eyebrows”, and the like.
【００１３】画像処理装置１２ではメモリ１４に格納さ
れた標準テンプレートを用いて対象運転者の対象テンプ
レート（対象顔テンプレート、対象目近傍テンプレー
ト、対象目テンプレート）を相関演算により検出する。
対象テンプレートを作成するに際し、メモリ１４に格納
された顔配置データが用いられる。作成された対象テン
プレート２２はメモリ１４に格納され、この対象テンプ
レートを用いて運転者の顔画像から運転者の目の開閉状
態の変化を相関演算により監視する。この結果はＥＣＵ
１６に供給され、運転者の異常状態の有無が判定され、
異常時には警報が出される。The image processing apparatus 12 detects the target template (target face template, target eye vicinity template, target eye template) of the target driver by correlation calculation using the standard template stored in the memory 14.
The face arrangement data stored in the memory 14 is used when creating the target template. The created target template 22 is stored in the memory 14, and changes in the open / closed state of the eyes of the driver are monitored by correlation calculation from the face image of the driver using this target template. This result is ECU
16 to determine whether the driver is in an abnormal state,
An alarm is issued in the event of an abnormality.
【００１４】図３はＥＣＵ１６が実行する居眠り判定処
理のフローチャートを示す。この処理は所定時間毎に繰
り返し実行される。同図中、ステップＳ１０では予測用
マップをロードし、ステップＳ１２で瞬きカウンタｉを
０にリセットする。次にステップＳ１４で瞬きデータを
取得する。ここで、瞬きデータとは、図４に示す如く、
今回の瞬きの閉眼時間Ｔｅ（ｉ）と、前回の瞬きとの間
隔である瞬き間隔Ｉｅ（ｉ）とである。次にステップＳ
１６で瞬きカウンタｉを１だけインクリメントし、ステ
ップＳ１８で瞬きカウンタｉが所定値Ｎ−１未満か否か
を判別する。ｉ＜Ｎ−１の場合はステップＳ１４に進ん
で瞬きデータの取得を繰り返す。FIG. 3 shows a flow chart of the drowsiness determination process executed by the ECU 16. This process is repeatedly executed at predetermined time intervals. In the figure, the prediction map is loaded in step S10, and the blink counter i is reset to 0 in step S12. Next, in step S14, blink data is acquired. Here, the blink data means, as shown in FIG.
It is the eye-closure time Te (i) of this blink and the blink interval Ie (i) which is the interval between the last blink. Next, step S
In step 16, the blink counter i is incremented by 1, and in step S18 it is determined whether or not the blink counter i is less than a predetermined value N-1. If i <N−1, the process proceeds to step S14 and the acquisition of blink data is repeated.
【００１５】ｉ≧Ｎ−１となるとステップＳ２０で瞬き
データを取得した後、ステップＳ２２に進んで瞬きデー
タセット｛Ｔｅ（ｉ），Ｔｅ（ｉ−１），…，Ｔｅ（ｉ
−Ｎ＋１）｝及び｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…，
Ｉｅ（ｉ−Ｎ＋１）｝を作成する。この後、次のステッ
プＳ２４で状態ベクトルＶＴｅ（ｉ），ＶＩｅ（ｉ）か
ら次の瞬きデータＴｅ（ｉ＋１），Ｉｅ（ｉ＋１）を予
測する。この後、ステップＳ２６で予測された次の瞬き
の閉眼時間Ｔｅ（ｉ＋１）が所定の閾値ＴＨＥを超えて
いるかどうかを判別し、Ｔｅ（ｉ＋１）≦ＴＨＥであれ
ばステップＳ２７でｉを１だけインクリメントしてステ
ップＳ２０に進み、瞬きデータの取得及び次の瞬きデー
タの予測を繰り返す。ここで、閾値ＴＨＥは例えば２秒
に相当する値とされている。Ｔｅ（ｉ＋１）＞ＴＨＥで
あればステップＳ２８に進み、予測された次の瞬きまで
の間隔Ｉｅ（ｉ）だけ時間経過後、警報装置１８を用い
て居眠り警報を行って処理を終了する。つまり、この処
理は運転中は全時間動作するものであり、イグニッショ
ンオフ、又は居眠り警報を行ったときに終了する。上記
のステップＳ２４が閉眼時間予測手段Ｍ２又は閉眼時期
及び閉眼時間予測手段Ｍ４に対応し、ステップＳ２６が
判定手段Ｍ３に対応し、ステップＳ２８が警報制御手段
Ｍ５に対応する。When i ≧ N−1, the blink data is acquired in step S20, and then the process proceeds to step S22, in which blink data set {Te (i), Te (i−1), ..., Te (i
-N + 1)} and {Ie (i), Ie (i-1), ...,
Ie (i-N + 1)} is created. Then, in the next step S24, the next blink data Te (i + 1), Ie (i + 1) is predicted from the state vectors VTe (i), VIe (i). Thereafter, it is determined whether or not the eye blink closing time Te (i + 1) predicted for the next blink in step S26 exceeds a predetermined threshold value THE, and if Te (i + 1) ≦ THE, i is incremented by 1 in step S27. Then, the process proceeds to step S20, and the acquisition of blink data and the prediction of the next blink data are repeated. Here, the threshold value THE is set to a value corresponding to, for example, 2 seconds. If Te (i + 1)> THE, the process proceeds to step S28, and after the elapse of the predicted interval Ie (i) until the next blink, the alarm device 18 is used to give a drowsiness alarm and the process ends. In other words, this process operates all the time during driving, and ends when the ignition is turned off or the doze alarm is given. The above step S24 corresponds to the eye closing time predicting means M2 or the eye closing timing and eye closing time predicting means M4, step S26 corresponds to the judging means M3, and step S28 corresponds to the alarm control means M5.
【００１６】次に、ステップＳ２４で実行する瞬きデー
タ予測ルーチンについて説明する。まず、カオス理論に
よる予測を説明する。ｉ番目の瞬きの閉眼時間Ｔｅ
（ｉ），間隔Ｉｅ（ｉ）をタケンスの理論に基づいて埋
め込みを行い、状態ベクトルＶＴｅ（ｉ），ＶＩｅ
（ｉ） ＶＴｅ（ｉ）＝｛Ｔｅ（ｉ），Ｔｅ（ｉ−１），…Ｔｅ（ｉ−Ｎ＋１）｝ ＶＩｅ（ｉ）＝｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…Ｉｅ（ｉ−Ｎ＋１）｝ を図５（Ａ），（Ｂ）に示す状態空間上に変換する。こ
こでＮはフラクタル次元解析により決定される埋め込み
次元であり、例えばＮ＝２である。Next, the blink data prediction routine executed in step S24 will be described. First, the prediction by the chaos theory will be explained. Eye closing time Te of the i-th blink
(I), the interval Ie (i) is embedded based on the Takens theory, and the state vectors VTe (i), VIe
(I) VTe (i) = {Te (i), Te (i-1), ... Te (i-N + 1)} VIe (i) = {Ie (i), Ie (i-1), ... Ie ( i-N + 1)} is transformed into the state space shown in FIGS. Here, N is an embedding dimension determined by fractal dimension analysis, and is N = 2, for example.
【００１７】状態ベクトルＶＴｅ（ｉ）がカオスである
ならば、ＶＴｅ（ｉ）の近傍にある状態ＶＴｅ（ｊ）と
ＶＴｅ（ｉ）とは、ＶＴｅ（ｉ）近傍の状態変化関数Ｆ
ａのヤコビ行列ＤＦａにより次の関係がある。なお、図
５（Ａ）のＦａ（＝〔Ｆａ（ｉ）、…、Ｆａ（ｉ−ｎ＋
１〕）は既に学習済みとする。 ＶＴｅ（ｊ＋１）−ＶＴｅ（ｉ＋１）＝ＤＦａ（ＶＴｅ（ｊ）−ＶＴｅ（ｉ）） …（１）If the state vector VTe (i) is chaotic, the states VTe (j) and VTe (i) in the vicinity of VTe (i) are the state change function F in the vicinity of VTe (i).
The Jacobian matrix DFa of a has the following relationship. Note that Fa (= [Fa (i), ..., Fa (i−n +) in FIG.
1]) is already learned. VTe (j + 1) -VTe (i + 1) = DFa (VTe (j) -VTe (i)) (1)
【００１８】[0018]
【数１】 [Equation 1]
【００１９】従って、ＶＴｅ（ｉ）の次の状態であるＶ
Ｔｅ（ｉ＋１）は、 ＶＴｅ（ｉ＋１）＝ＤＦａ（ＶＴｅ（ｊ）−ＶＴｅ（ｉ））＋ＶＴｅ（ｊ＋１） …（２） と表わされ、この状態ベクトルＶＴｅ（ｉ＋１）の要素
である次の瞬きの閉眼時間Ｔｅ（ｉ＋１）を予測するこ
とができる。Therefore, the next state of VTe (i) is V
Te (i + 1) is expressed as VTe (i + 1) = DFa (VTe (j) −VTe (i)) + VTe (j + 1) (2), and the next blink which is an element of this state vector VTe (i + 1). The eye-closing time Te (i + 1) can be predicted.
【００２０】同様に状態ベクトルＶＩｅ（ｉ）がカオス
であるならば、ＶＩｅ（ｉ）の近傍にある状態ＶＩｅ
（ｊ）とＶＩｅ（ｉ）とは、ＶＩｅ（ｉ）近傍の状態変
化関数Ｆｂのヤコビ行列ＤＦｂにより次の関係がある。
なお、図５（Ｂ）のＦｂは既に学習済みとする。 ＶＩｅ（ｊ＋１）−ＶＩｅ（ｉ＋１）＝ＤＦｂ（ＶＩｅ（ｊ）−ＶＩｅ（ｉ）） …（３）Similarly, if the state vector VIe (i) is chaotic, the state VIe in the vicinity of VIe (i) is
(J) and VIe (i) have the following relationship due to the Jacobian matrix DFb of the state change function Fb near VIe (i).
Note that Fb in FIG. 5B is already learned. VIe (j + 1) -VIe (i + 1) = DFb (VIe (j) -VIe (i)) (3)
【００２１】[0021]
【数２】 [Equation 2]
【００２２】従って、ＶＩｅ（ｉ）の次の状態であるＶ
Ｉｅ（ｉ＋１）は、 ＶＩｅ（ｉ＋１）＝ ＤＦｂｉ（ＶＩｅ（ｊ）−ＶＩｅ（ｉ））＋ＶＩｅ（ｊ＋１） …（４） と表わされ、この状態ベクトルＶＩｅ（ｉ＋１）の要素
である次の瞬きの間隔Ｉｅ（ｉ＋１）を予測することが
できる。Therefore, the next state of VIe (i) is V
Ie (i + 1) is represented as VIe (i + 1) = DFbi (VIe (j) -VIe (i)) + VIe (j + 1) (4), and the next blink which is an element of this state vector VIe (i + 1). The interval Ie (i + 1) can be predicted.
【００２３】図６はカオス理論を用いた瞬きデータ予測
ルーチンのフローチャートを示す。同図中、ステップＳ
３２ではステップＳ２２で作成した瞬きデータセット
｛Ｔｅ（ｉ），Ｔｅ（ｉ−１），…，Ｔｅ（ｉ−Ｎ＋
１）｝，｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…，Ｉｅ（ｉ
−Ｎ＋１）｝を夫々状態ベクトルＶＴｅ（ｉ），ＶＩｅ
（ｉ）とする。次にステップＳ３４で図４（Ａ），
（Ｂ）に示す状態変化関数Ｆａ，Ｆｂ上のＴｅ（ｉ），
Ｉｅ（ｉ）の近傍点Ｔｅ（ｊ），Ｉｅ（ｊ）を設定す
る。ステップＳ３６ではＴｅ（ｉ），Ｉｅ（ｉ）夫々の
ヤコビ行列ＤＦａ，ＤＦｂを計算する。次にステップＳ
３８で（２）式，（４）式を用いて状態ベクトルＶＴｅ
（ｉ＋１），ＶＩｅ（ｉ＋１）夫々を計算し、この状態
ベクトルから次の瞬きの閉眼時間Ｔｅ（ｉ＋１）及び瞬
き間隔Ｉｅ（ｉ＋１）夫々を得て処理を終了する。FIG. 6 shows a flow chart of a blink data prediction routine using chaos theory. In FIG.
In 32, the blink data set {Te (i), Te (i-1), ..., Te (i-N +) created in step S22.
1)}, {Ie (i), Ie (i-1), ..., Ie (i
-N + 1)} are respectively state vectors VTe (i), VIe
(I). Next, in step S34, as shown in FIG.
Te (i) on the state change functions Fa and Fb shown in (B),
The neighboring points Te (j) and Ie (j) of Ie (i) are set. In step S36, the Jacobian matrices DFa and DFb of Te (i) and Ie (i) are calculated. Next, step S
38 using the equations (2) and (4), the state vector VTe
(I + 1) and VIe (i + 1) are calculated, and the eye closing time Te (i + 1) and blink interval Ie (i + 1) of the next blink are obtained from this state vector, and the process is terminated.
【００２４】次に、線形予測法による予測を説明する。
この方法では次に示す線形予測式を用いる。 Ｔｅ（ｉ＋１）＝ａ0 Ｔｅ（ｉ）＋ａ1 Ｔｅ（ｉ−１）… ＋ａN-1 Ｔｅ（ｉ−Ｎ＋１） ＝ｆ（ＶＴｅ（ｉ）） …（５） Ｉｅ（ｉ＋１）＝ｂ0 Ｉｅ（ｉ）＋ｂ1 Ｉｅ（ｉ−１）… ＋ｂN-1 Ｉｅ（ｉ−Ｎ＋１） ＝ｇ（ＶＩｅ（ｉ）） …（６） 上記（５），（６）式の係数ａ0 〜ａN-1 ，ｂ0 〜ｂ
N-1 夫々は予め採取した閉眼時間データセット｛Ｖ
ｘ0 ，…ＶｘM-1 ｝，Ｖｘｉ=(ｘi ，…，ｘi-m1）、瞬
き間隔データセット｛Ｖｙ0 ，…ＶｙN-1 ｝，Ｖｙｉ=
(ｙi ，…，ｙi-m2）但し、ｘｉ，ｙｉ夫々はｉ番目の
瞬きの閉眼時間，瞬き間隔であり、Ｎ，Ｍは例えば１０
００、ｍ１，ｍ２は例えば１００である。各採取データ
を（５），（６）式に当てはめることにより次式の如く
なる。Next, the prediction by the linear prediction method will be described.
This method uses the following linear prediction formula. Te (i + 1) = a 0 Te (i) + a 1 Te (i-1) ... + a N-1 Te (i−N + 1) = f (VTe (i)) (5) Ie (i + 1) = b 0 Ie (I) + b 1 Ie (i−1) ... + b N−1 Ie (i−N + 1) = g (VIe (i)) (6) The coefficients a 0 to a N of the above equations (5) and (6). -1 , b 0 ~ b
N-1 is the eye-closing time data set {V
x 0 , ... Vx M-1 }, Vxi = (x i , ..., x i-m1 ), blink interval data set {Vy 0 , ... Vy N-1 }, Vyi =
(y i , ..., y i-m2 ) where xi and yi are eye closing time and blink interval of the i-th blink, and N and M are, for example, 10
00, m1, and m2 are 100, for example. By applying each sampled data to the equations (5) and (6), the following equation is obtained.
【００２５】 ｘｉ＝ａ0 ｘi-1 ＋ａ1 ｘi-2 ＋…＋ａm1-1ｘi-m1（ｉ
＝０〜Ｍ−１） ｙｉ＝ｂ0 ｙi-1 ＋ｂ1 ｙi-2 ＋…＋ｂm2-1ｙi-m2（ｉ
＝０〜Ｎ−１） ここで、Ｖｘｉのｊ成分Ｘi-j をＸij、Ｖｙｉのｊ成分
ｙi-j をｙijと表わすと以下に示す如くなる。Xi = a 0 x i-1 + a 1 x i-2 + ... + a m1-1 x i-m1 (i
= 0 to M-1) yi = b 0 y i-1 + b 1 y i-2 + ... + b m2-1 y i-m2 (i
= 0 to N−1) Here, the j component X ij of Vxi is represented as X ij , and the j component y ij of Vyi is represented as y ij , as follows.
【００２６】 ｘi0＝ａ0 ｘi1＋ａ1 ｘi2＋…＋ａm1-1ｘim1 ｙi0＝ｂ0 ｙi1＋ｂ1 ｙi2＋…＋ｂm2-1ｙim2 ここで、ａi （i=0,…m1-1）、ｂj （j=0,…m2-1）は次
の（７），（８）式で与えられる。X i0 = a 0 x i1 + a 1 x i2 + ... + a m1-1 x im1 y i0 = b 0 y i1 + b 1 y i2 + ... + b m2-1 y im2 where a i ( i = 0 , ... m1-1 ), b j ( j = 0, ... m2-1 ) are given by the following equations (7) and (8).
【００２７】[0027]
【数３】 (Equation 3)
【００２８】図７は線形予測法を用いたデータ予測ルー
チンのフローチャートを示す。同図中、ステップＳ４２
ではステップＳ２２で作成した瞬きデータセット｛Ｔｅ
（ｉ），Ｔｅ（ｉ−１），…，Ｔｅ（ｉ−Ｎ＋１）｝，
｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…，Ｉｅ（ｉ−Ｎ＋
１）｝を夫々状態ベクトルＶＴｅ（ｉ），ＶＩｅ（ｉ）
とする。次にステップＳ４４で（５），（６）式を用い
て次の瞬きの閉眼時間Ｔｅ（ｉ＋１）及び瞬き間隔Ｉｅ
（ｉ＋１）を計算して処理を終了する。FIG. 7 shows a flow chart of a data prediction routine using the linear prediction method. In the figure, step S42
Then, the blink data set created in step S22 {Te
(I), Te (i-1), ..., Te (i-N + 1)},
{Ie (i), Ie (i-1), ..., Ie (i-N +
1)} are state vectors VTe (i) and VIe (i), respectively.
And Next, in step S44, using the expressions (5) and (6), the eye blink closing time Te (i + 1) and the blink interval Ie of the next blink are calculated.
(I + 1) is calculated, and the process ends.
【００２９】ここで、居眠りに入った場合は予測される
閉眼時間Ｔｅ（ｉ＋１）は例えば２秒以上の大きな値と
なり、かなり眠い状態では予測される次の閉眼時間Ｔｅ
（ｉ＋１）は２秒未満の値となる。このため、閾値ＴＨ
Ｅを例えば２秒とすることにより、かなり眠い状態を居
眠りと判定することなく、居眠りを精度良く判定でき
る。また、この判定は居眠りが始まる前に行われる。更
に、居眠りが始まるタイミングで警報を行うため、運転
者の感覚に合った居眠り警報を行うことができる。When the person falls asleep, the predicted eye-closing time Te (i + 1) becomes a large value of, for example, 2 seconds or more, and in a considerably sleepy state, the next eye-closing time Te (i + 1) predicted.
(I + 1) has a value of less than 2 seconds. Therefore, the threshold TH
By setting E to 2 seconds, for example, it is possible to accurately determine the doze without determining that the state is quite sleepy. Also, this determination is made before the start of dozing. Further, since the alarm is issued at the timing when the drowsiness starts, it is possible to give the drowsiness alarm that suits the driver's sense.
【００３０】[0030]
【発明の効果】上述の如く、請求項１に記載の発明は、
被験者の眼の開閉状態を検出し、閉眼状態が所定時間を
超えて継続したとき居眠り判定を行う居眠り判定装置に
おいて、過去の閉眼時間の複数のデータに基づいて、次
の閉眼状態の継続時間を予測する閉眼時間予測手段と、
上記予測された次の閉眼状態の継続時間が所定時間を超
えたとき居眠りと判定する判定手段とを有する。As described above, the invention according to claim 1 is
Detecting the open / closed state of the subject's eyes, in a dozing determination device that performs a dozing determination when the closed state continues for more than a predetermined time, based on multiple data of the past closed eye time, the duration of the next closed eye state. Eye-closing time predicting means for predicting,
And a determination unit that determines that the subject is asleep when the predicted duration of the next eye-closed state exceeds a predetermined time.
【００３１】このため、居眠りに入った場合は、予測さ
れる次の閉眼時間は例えば２秒以上の大きな値となり、
かなり眠い状態では予測される次の閉眼時間は２秒未満
の値となるため、閾値とする所定時間を例えば２秒とす
ることにより、居眠りを精度良く判定でき、かつ、居眠
りが始まる前に判定できる。Therefore, when the person falls asleep, the predicted next eye-closing time becomes a large value of, for example, 2 seconds or more,
In the case of being quite sleepy, the predicted next eye-closing time will be a value of less than 2 seconds, so by setting the predetermined time as the threshold value to, for example, 2 seconds, it is possible to accurately determine drowsiness and to determine before drowsiness begins. it can.
【００３２】請求項２に記載の発明は、被験者の眼の開
閉状態を検出し、閉眼状態が所定時間を超えて継続した
とき居眠り判定を行う居眠り判定装置において、過去の
閉眼時間の複数のデータに基づいて、次の閉眼時期及び
閉眼状態の継続時間を予測する閉眼時期及び時間予測手
段と、上記予測された次の閉眼状態の継続時間が上記所
定時間を超えたとき居眠りと判定する判定手段と、居眠
りと判定されたとき次の閉眼時期に警報を行う警報制御
手段とを有する。According to a second aspect of the present invention, in a drowsiness determination device that detects an eye open / closed state of a subject and determines a drowsiness when the eye closed state continues for more than a predetermined time, a plurality of data of past eye closing times are stored. Based on, the eye closing timing and time predicting means for predicting the next eye closing time and the duration of the eye closing state, and the determining means for determining dozing when the predicted duration of the next eye closing state exceeds the predetermined time And alarm control means for issuing an alarm at the next eye closing time when it is determined that the subject is dozing.
【００３３】このため、請求項１と同様に居眠りを精度
良く判定でき、かつ居眠りが始まる前に判定できると共
に、居眠りが始まるタイミングで警報を行うことができ
るため、運転者の感覚に合った居眠り警報を行うことが
できる。Therefore, as in the first aspect, it is possible to accurately determine the dozing, and it is possible to make a determination before the dozing starts, and it is possible to give an alarm at the timing when the dozing starts, so that the dozing that suits the driver's sensation can be performed. An alarm can be given.
【図１】本発明の原理図である。FIG. 1 is a principle diagram of the present invention.
【図２】本発明装置のブロック図である。FIG. 2 is a block diagram of the device of the present invention.
【図３】本発明の居眠り判定処理のフローチャートであ
る。FIG. 3 is a flowchart of a dozing determination process according to the present invention.
【図４】閉眼時間と瞬き間隔を示す図である。FIG. 4 is a diagram showing eye-closing time and blink interval.
【図５】カオス理論による居眠り判定を説明するための
図である。FIG. 5 is a diagram for explaining the doze determination based on the chaos theory.
【図６】瞬き予測ルーチンのフローチャートである。FIG. 6 is a flowchart of a blink prediction routine.
【図７】瞬き予測ルーチンのフローチャートである。FIG. 7 is a flowchart of a blink prediction routine.
【図８】平均閉眼時間と意識レベルとの関係を示す図で
ある。FIG. 8 is a diagram showing a relationship between an average eye closing time and a consciousness level.
【図９】平均閉眼時間と意識レベルとの関係を示す図で
ある。FIG. 9 is a diagram showing a relationship between an average eye-closing time and a consciousness level.
１０ カメラ １２ 画像処理装置 １４ メモリ １５ ＥＣＵ １８ 警報装置 Ｍ１ 検出手段 Ｍ２ 閉眼時間予測手段 Ｍ３ 判定手段 Ｍ４ 閉眼時期及び閉眼時間予測手段 Ｍ５ 警報制御手段 10 camera 12 image processing device 14 memory 15 ECU 18 alarm device M1 detecting means M2 eye closing time predicting means M3 determining means M4 eye closing timing and eye closing time predicting means M5 alarm control means
Claims (2)
態が所定時間を超えて継続したとき居眠り判定を行う居
眠り判定装置において、 過去の閉眼時間の複数のデータに基づいて、次の閉眼状
態の継続時間を予測する閉眼時間予測手段と、 上記予測された次の閉眼状態の継続時間が所定時間を超
えたとき居眠りと判定する判定手段とを有することを特
徴とする居眠り判定装置。1. A drowsiness determination device for detecting a subject's eye open / closed state and performing a drowsiness determination when the eye closed state continues for more than a predetermined time, in which a next eye closing is performed based on a plurality of data of past eye closing times. An eye-sleeping determination device, comprising: an eye-closed time predicting unit that predicts a duration of a state; and a determining unit that determines that the user is asleep when the duration of the predicted next eye-closed state exceeds a predetermined time.
態が所定時間を超えて継続したとき居眠り判定を行う居
眠り判定装置において、 過去の閉眼時間の複数のデータに基づいて、次の閉眼時
期及び閉眼状態の継続時間を予測する閉眼時期及び時間
予測手段と、 上記予測された次の閉眼状態の継続時間が上記所定時間
を超えたとき居眠りと判定する判定手段と、 居眠りと判定されたとき次の閉眼時期に警報を行う警報
制御手段とを有することを特徴とする居眠り判定装置。2. A doze determination device for detecting a subject's eye open / closed state and performing a drowsiness determination when the eye closed state continues for more than a predetermined time, in which a next eye closing is performed based on a plurality of data of past eye closing times. Eye closing time and time predicting means for predicting the duration and the duration of the eye-closed state, determination means for determining that the duration of the predicted next eye-closing state exceeds the predetermined time, and determination of dozing, and determination of dozing And a warning control means for warning at the next eye closing time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7195491A JPH0939603A (en) | 1995-07-31 | 1995-07-31 | Dozing judgement device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7195491A JPH0939603A (en) | 1995-07-31 | 1995-07-31 | Dozing judgement device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0939603A true JPH0939603A (en) | 1997-02-10 |
Family
ID=16341978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7195491A Pending JPH0939603A (en) | 1995-07-31 | 1995-07-31 | Dozing judgement device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0939603A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6571002B1 (en) * | 1999-05-13 | 2003-05-27 | Mitsubishi Denki Kabushiki Kaisha | Eye open/close detection through correlation |
| JP2008035964A (en) * | 2006-08-02 | 2008-02-21 | Toyota Motor Corp | Apparatus and program for determination of sleepiness |
| JP2009018091A (en) * | 2007-07-13 | 2009-01-29 | Toyota Motor Corp | Doze detector |
| WO2009054039A1 (en) * | 2007-10-22 | 2009-04-30 | Pioneer Corporation | Volume controller, volume control method, volume control program, and recording medium |
| JP2011086186A (en) * | 2009-10-16 | 2011-04-28 | Aisin Seiki Co Ltd | Sleepiness determination apparatus |
| WO2013031138A1 (en) | 2011-08-26 | 2013-03-07 | Canon Kabushiki Kaisha | Blink measurement device, method therefor and program |
| US8537000B2 (en) | 2007-01-24 | 2013-09-17 | Toyota Jidosha Kabushiki Kaisha | Anti-drowsing device and anti-drowsing method |
-
1995
- 1995-07-31 JP JP7195491A patent/JPH0939603A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6571002B1 (en) * | 1999-05-13 | 2003-05-27 | Mitsubishi Denki Kabushiki Kaisha | Eye open/close detection through correlation |
| JP2008035964A (en) * | 2006-08-02 | 2008-02-21 | Toyota Motor Corp | Apparatus and program for determination of sleepiness |
| US8537000B2 (en) | 2007-01-24 | 2013-09-17 | Toyota Jidosha Kabushiki Kaisha | Anti-drowsing device and anti-drowsing method |
| JP2009018091A (en) * | 2007-07-13 | 2009-01-29 | Toyota Motor Corp | Doze detector |
| WO2009054039A1 (en) * | 2007-10-22 | 2009-04-30 | Pioneer Corporation | Volume controller, volume control method, volume control program, and recording medium |
| JP2011086186A (en) * | 2009-10-16 | 2011-04-28 | Aisin Seiki Co Ltd | Sleepiness determination apparatus |
| WO2013031138A1 (en) | 2011-08-26 | 2013-03-07 | Canon Kabushiki Kaisha | Blink measurement device, method therefor and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107977638B (en) | Video monitoring alarm method, device, computer equipment and storage medium | |
| EP3929824A2 (en) | Robust multimodal sensor fusion for autonomous driving vehicles | |
| US20200334477A1 (en) | State estimation apparatus, state estimation method, and state estimation program | |
| Sigari et al. | A driver face monitoring system for fatigue and distraction detection | |
| Jodoin et al. | Behavior subtraction | |
| CN110297536B (en) | Control method and electronic equipment | |
| WO2008090451A2 (en) | Anti-drowsing device and anti-drowsing method | |
| WO2008127465A1 (en) | Real-time driving danger level prediction | |
| CN1278090A (en) | Method for sensing driver being sleepy for driver sleepy alarming system | |
| US20090177602A1 (en) | Systems and methods for detecting unsafe conditions | |
| CN111936990A (en) | Method and device for waking up screen | |
| JP2008099884A (en) | Condition estimating apparatus | |
| CN111488855A (en) | Fatigue driving detection method, device, computer equipment and storage medium | |
| KR20190083155A (en) | Apparatus and method for detecting state of vehicle driver | |
| JP2008065776A (en) | Doze detection device and doze detection method | |
| JPH0939603A (en) | Dozing judgement device | |
| JP7328089B2 (en) | Eye closure determination device | |
| CN113581209A (en) | Driving assistance mode switching method, device, equipment and storage medium | |
| CN115937830A (en) | Special vehicle-oriented driver fatigue detection method | |
| JP2002279410A (en) | Detector for dozing | |
| JP2011003076A (en) | Risk recognition system | |
| KR20190056873A (en) | Apparatus for detecting object using multi neural network and method thereof, and method for learning detection of object | |
| JP5050794B2 (en) | Sleepiness detection device, sleepiness detection method | |
| EP3680812A1 (en) | Method for classifying an image taken by a sensor | |
| US10945651B2 (en) | Arousal level determination device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |