JP4742921B2 - Awakening level estimation device - Google Patents
Awakening level estimation device Download PDFInfo
- Publication number
- JP4742921B2 JP4742921B2 JP2006067219A JP2006067219A JP4742921B2 JP 4742921 B2 JP4742921 B2 JP 4742921B2 JP 2006067219 A JP2006067219 A JP 2006067219A JP 2006067219 A JP2006067219 A JP 2006067219A JP 4742921 B2 JP4742921 B2 JP 4742921B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- time
- detected
- value
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、覚醒度推定装置に関し、詳細には、車両の運転者等乗員の顔の画像のうち眼の開度状態に基づく覚醒度推定の改良に関するものである。 The present invention relates to an arousal level estimation device, and more particularly, to an improvement in awakening level estimation based on an eye opening state in an image of a face of an occupant such as a driver of a vehicle.
従来より、車両の乗員、特に運転者の覚醒状態を検出し、覚醒状態が低下しているときは、警告音を鳴らす等して、その運転者の覚醒度を強制的に高めることが試みられている。そして、そのような試みにおいては、覚醒度を検出するための覚醒度推定装置が用いられている。 Conventionally, it has been attempted to forcibly increase the driver's arousal level by, for example, sounding a warning sound when the awakening state of a vehicle occupant, particularly the driver, is detected and the awakening state is low. ing. In such an attempt, an arousal level estimation device for detecting the arousal level is used.
この覚醒度推定装置は、乗員の眼の開度に基づいて覚醒度を検出するものであり、例えば、車室内に設置されたカメラ等で撮影された乗員の顔の画像に基づいて眼を検出し、その眼の開度を時系列的に追跡することによって、瞬きの時間(1回の瞬きに要する時間長さ等)に関するヒストグラムを作成し、運転開始直後の眠くない状態(覚醒度が高い状態)における瞬き時間ヒストグラムに基づいて、覚醒度が高い状態における標準的な瞬き時間を求め、その後の運転中の一定期間において検出された瞬きの全回数に占める、標準的な瞬き時間よりも長い瞬き時間の瞬き回数の比率を求め、この比率に基づいて、覚醒度を推定している(特許文献1)。
ところで、車室内の環境光の状態は、車両走行中に大きく変化することがあり、この環境光の変化は、撮影される乗員の顔への照度変化として影響を与えたり、カメラへの直接の入射光として影響を与え、顔画像が適切な露光状態で撮影されなかったり、顔画像から眼の開度を検出する際のノイズとなったりする。 By the way, the state of ambient light in the passenger compartment may change greatly while the vehicle is running, and this change in ambient light may affect the illuminance change on the face of the occupant being photographed, It affects as incident light, and a face image may not be captured in an appropriate exposure state, or may be noise when detecting the opening of the eye from the face image.
また、カメラから入力される画像信号の信号線や、覚醒度推定装置の内部の信号線に、ノイズが重畳した場合にも、顔画像についてのノイズとなり得る。 Further, when noise is superimposed on a signal line of an image signal input from a camera or a signal line inside the arousal level estimation device, it can be a noise regarding a face image.
そして、そのようなノイズが重畳した顔画像に基づいて作成された瞬き時間ヒストグラムを用いて、全ての基準の根幹となる標準的な瞬き時間を設定しても、正しい覚醒度の推定結果を得ることはできず、そのような誤った推定の覚醒度を、外部の居眠り防止装置等に提供したのでは、居眠り防止装置等の誤作動を招き、却って信頼性を損なう虞がある。 Then, using the blink time histogram created based on the face image on which such noise is superimposed, even if a standard blink time that is the basis of all the standards is set, a correct wakefulness estimation result is obtained. However, providing such an erroneous estimated awakening level to an external dozing prevention device or the like may cause malfunction of the dozing prevention device or the like, which may impair reliability.
本発明は上記事情に鑑みなされたものであって、覚醒度の判定結果とともに、眼の開度の検出に関する信頼度の判定結果も併せて提示することができる覚醒度推定装置を提供することを目的とするものである。 The present invention has been made in view of the above circumstances, and provides an arousal level estimation device that can present a determination result of a degree of arousal together with a determination result of a degree of reliability related to detection of an eye opening. It is the purpose.
本発明に係る覚醒度推定装置は、信頼度判定手段が、眼の開度の時系列的推移の状態に応じて、眼の開度の検出結果に対する信頼度を判定することにより、覚醒度の判定結果とともに、眼の開度の検出に関する信頼度の判定結果を併せて提示するものである。 In the wakefulness estimation device according to the present invention, the reliability determination means determines the reliability of the detection result of the eye opening according to the state of the time series transition of the eye opening. Together with the determination result, the determination result of the reliability related to the detection of the opening degree of the eye is also presented.
すなわち、本発明に係る覚醒度推定装置は、画像に含まれる眼の開度を検出する眼開度検出手段と、時系列的に連なる複数の画像を対象として、前記眼開度検出手段により検出された前記眼の開度の時系列的推移を検出する眼開度推移検出手段と、前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移に基づいて覚醒度を判定する覚醒度判定手段と、前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移に基づいて、前記眼開度検出手段による前記眼の開度の検出結果に対する信頼度を判定する信頼度判定手段と、を備え、前記信頼度判定手段は、前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移を時間微分し、得られた時系列的推移の時間微分値の分布について、前記時間微分値の絶対値が所定の閾値を上回る頻度を求め、得られた前記頻度に応じて、前記信頼度を判定するものであることを特徴とする。
That is, the wakefulness estimation device according to the present invention detects eye opening detection means for detecting an eye opening included in an image and a plurality of images that are connected in time series by the eye opening detection means. The eye opening degree transition detecting means for detecting the time series transition of the eye opening and the degree of arousal based on the time series transition of the eye opening detected by the eye opening degree transition detecting means. Based on the time-series transition of the eye opening detected by the awakening degree determining means and the eye opening transition detecting means, the reliability of the detection result of the eye opening by the eye opening detecting means e Bei and a reliability determining means for determining a degree, the reliability determining means, wherein in time differentiating the series changes when the eye opening detected by the eye opening degree changes detection means, resulting For the distribution of time derivative values over time, Seeking the frequency above a predetermined threshold relative value, depending on the frequency of the resultant, wherein the this is to determine the reliability.
ここで、信頼度判定手段が信頼度を判定するに際して用いる「眼の開度の時系列的推移」は、覚醒度判定手段が覚醒度を判定する際に用いる「眼の開度の時系列的推移」と同じであるが、信頼度判定手段が信頼度を判定するための処理と、覚醒度判定手段が覚醒度を判定するための処理とは、その目的が異なるため、互いに異なる処理となる。 Here, the “time-series transition of the eye opening” used when the reliability determination unit determines the reliability is the “time-series transition of the eye opening” used when the arousal level determination unit determines the arousal level. The process for determining the reliability by the reliability determination unit and the process for determining the arousal level by the wakefulness determination unit are different from each other because the purpose thereof is different. .
このように構成された本発明に係る覚醒度推定装置によれば、眼開度検出手段が、時系列的に連なる複数の画像を対象として、各画像ごとに眼の開度を検出し、眼開度推移検出手段が、各画像ごとに得られた眼の開度に基づいて、眼の開度の時系列的な推移(眼の開度の時系列的な変化)を検出し、覚醒度判定手段が、眼の開度の時系列的な推移に基づいて覚醒度を判定する。 According to the arousal level estimation apparatus according to the present invention configured as described above, the eye opening degree detection means detects the eye opening degree for each image for a plurality of images that are connected in time series, and The degree-of-opening detection means detects the time-series transition of the eye opening (time-series change of the eye opening) based on the eye opening obtained for each image, and the degree of arousal The determination means determines the arousal level based on the time-series transition of the eye opening.
一方、信頼度判定手段が、眼開度推移検出手段により検出された眼の開度の時系列的推移に応じて、眼開度検出手段による眼の開度の検出結果に対する信頼度を判定する。 On the other hand, the reliability determination unit determines the reliability of the detection result of the eye opening by the eye opening detection unit according to the time-series transition of the eye opening detected by the eye opening transition detection unit. .
この結果、本発明に係る覚醒度推定装置は、覚醒度とともに、眼の開度の検出結果に対する信頼度を併せて提示することができる。 As a result, the wakefulness level estimation device according to the present invention can present the wakefulness level and the reliability with respect to the detection result of the eye opening.
本発明に係る覚醒度推定装置によれば、覚醒度とともに、この覚醒度の使用可否の判断材料(信頼度)を提供することができる。 According to the arousal level estimation apparatus according to the present invention, it is possible to provide, together with the arousal level, a determination material (reliability) for determining whether or not this arousal level can be used.
したがって、例えば車両乗員用の居眠り防止装置などの装置に、本発明の覚醒度推定装置から出力された覚醒度を用いるか否かを、その覚醒度を導き出すための基データである眼の開度について提示された信頼度に応じて、容易に判定することができる。 Therefore, for example, whether the wakefulness level output from the wakefulness level estimation device of the present invention is used for a device such as a device for preventing a drowsiness for a vehicle occupant, and whether the eye opening is the basic data for deriving the wakefulness level Can be easily determined according to the reliability presented for.
以下、本発明に係る覚醒度推定装置の最良の実施形態について、図面を用いて説明する。 Hereinafter, the best embodiment of the arousal level estimation apparatus according to the present invention will be described with reference to the drawings.
図1は、本発明に係る覚醒度推定装置の一実施形態である覚醒度推定装置100を示すブロック図、図2は、図1に示した覚醒度推定装置100が車両200に搭載された状態を示す模式図である。
FIG. 1 is a block diagram showing an arousal
図示の覚醒度推定装置100は、車両200の車室内に取り付けられたCCDカメラ201によって撮影された、この車両200の運転者10の顔の画像に基づいて、当該顔の画像に含まれる眼の開度を検出する眼開度検出手段101と、時系列的に順次連なる複数の顔の画像を対象として、眼開度検出手段101により検出された眼の開度の時系列的推移を検出する眼開度推移検出手段104と、眼開度推移検出手段104により検出された眼の開度の時系列的推移に基づいて覚醒度を判定する覚醒度判定手段105と、眼開度推移検出手段104により検出された眼の開度の時系列的推移に基づいて、眼開度検出手段101による眼の開度の検出結果に対する信頼度を判定する信頼度判定手段106と、を備えた構成である。
The arousal
ここで、カメラ201は、CCDの他、CMOSなどの他の撮像素子であってもよく、時系列に順次撮影された画像を出力する。
Here, the
なお、カメラ201は、覚醒度推定装置100の構成要素として備えられたものではなく、他の用途のために予め車室内に設けられているものであるが、それらの予め備えられているカメラ201が存在しないときは、別途、カメラ201を覚醒度推定装置100の構成要素として備えればよい。
Note that the
眼開度検出手段101は、眼を検出する眼検出部102と、眼検出部102によって検出された眼に基づいて、眼の開度を検出する眼開度検出部103とを備えている。
The eye
眼検出部102は、CCDカメラ201から入力された顔の画像の濃度分布を、上下方向(縦方向)に主走査、左右方向(横方向)に副走査することにより、画像の全体について、上下方向の濃度変動が所定条件を満たす、相対的に暗くなる濃度部を抽出し、この相対的に暗くなる濃度部に基づいて、眼を検出する。
The
また、眼検出部102は、眼を検出する対象の画像に対して、検出対象の画像と時系列的に連なる直前の画像において検出された眼の位置の近傍範囲に対応する範囲を、検出対象範囲(追跡領域)として設定し、この設定された追跡領域について眼の検出を行う。
In addition, the
ただし、時系列的に連なる直前の画像が存在しないか、もしくは、設定された追跡領域について行った眼の検出処理によっては眼を検出することができないときは、検出対象の画像の全範囲について眼の検出を行う。 However, if there is no immediately preceding image in time series, or if the eye cannot be detected by the eye detection process performed for the set tracking area, the entire range of the detection target image Detection is performed.
眼開度検出部103は、眼検出部102によって検出された眼の上下方向に沿った高さを求め、この求められた高さを、眼の開度として検出するものであるが、その他に、眼検出部102によって検出された眼に外接する矩形の縦横比を求め、この求められた縦横比を、眼の開度として検出するものであってもよいし、眼検出部によって検出された眼の上縁の曲率半径を求め、この求められた曲率半径を、眼の開度として検出するものであってもよい。
The eye opening
信頼度判定手段106は、眼開度推移検出手段104により検出された眼の開度Pの時系列的推移を時間微分し、得られた時系列的推移の時間微分値Kの分布に応じて、信頼度を判定し、その信頼度を出力するものである。
The
詳しくは、時系列的推移の時間微分値Kの分布について、時間微分値Kの絶対値|K|が所定の閾値を上回る頻度を求め、得られた前記頻度に応じて、信頼度を判定するものである。 Specifically, with respect to the distribution of the time differential value K of the time series transition, the frequency at which the absolute value | K | of the time differential value K exceeds a predetermined threshold is obtained, and the reliability is determined according to the obtained frequency. Is.
また、この車両200には、覚醒度推定装置100の覚醒度判定手段105から出力された覚醒度と、信頼度判定手段106から出力された信頼度とに応じて、所定の警報音を発する車両乗員用の居眠り防止装置(警報ブザー等)202が備えられている。
Further, the
次に、本実施形態の覚醒度推定装置100の作用について、図3〜図6に示したフローチャートにしたがって説明する。
Next, the operation of the arousal
まず、図3に示すように、CCDカメラ201により撮影された画像が、眼開度検出手段101に入力される(ステップ301(以下、S301と標記する。))。
First, as shown in FIG. 3, an image photographed by the
眼開度検出手段101の眼検出部102は、まず、眼の追跡領域が設定されているか否かを判定する(S302)。処理の起動直後(時系列的に最初に画像が入力されたとき)は、それ以前に入力された画像が存在しないため、眼の追跡領域が設定されておらず、眼検出部102は、画像の全体を眼の検出領域として、眼の検出を行う(S303)。
The
眼検出部102による眼の検出処理は、例えば図7に示すように、顔の画像の濃度分布を、上下方向(Y軸方向、縦方向)に主走査、左右方向(X軸方向、横方向)に副走査することにより、画像の全体について、上下方向の濃度変動が所定条件を満たす点を、各縦ライン(主走査線)上に抽出する。そして、抽出された点を、図8に示すように2次元座標上に示す。
For example, as shown in FIG. 7, the eye detection process performed by the
なお、図7,8において、符号Xa,Xb,Xc,Xdは、任意の縦ラインのX座標である。また、図8における符号A1は、縦ライン上での走査(Y座標を増加していく方向(座標(X,0)→座標(X,479))への走査)によって、各縦ライン上において最初に上記所定条件を満たした抽出点であり、符号A2は、各縦ライン上において2番目に上記所定条件を満たした抽出点であり、以下、符号A3は3番目、符号A4は4番目をそれぞれ表している。 In FIGS. 7 and 8, symbols Xa, Xb, Xc, and Xd are X coordinates of arbitrary vertical lines. Further, reference numeral A1 in FIG. 8 indicates that the vertical line is scanned on each vertical line (scanning in the direction of increasing the Y coordinate (coordinate (X, 0) → coordinate (X, 479))). First, the extraction point that satisfies the predetermined condition, the symbol A2 is the second extraction point that satisfies the predetermined condition on each vertical line, and hereinafter, the symbol A3 is the third and the symbol A4 is the fourth. Represents each.
次いで、図9に示すように、隣接する縦ライン間で、抽出点同士が上下方向に近接して抽出点を、それらの縦ライン上の抽出点同士をグループ化する。 Next, as shown in FIG. 9, between adjacent vertical lines, the extracted points are close to each other in the vertical direction, and the extracted points are grouped together.
このグループ化は、濃度変動が大きく、横方向に延びた濃度的な特徴、すなわち横方向に延びた濃度エッジを検出する処理であり、比較的簡単な演算処理で、特徴G1,G2,G3,G4,G5,G6を検出することができる。 This grouping is a process for detecting density characteristics having a large density fluctuation and extending in the horizontal direction, that is, density edges extending in the horizontal direction, and the characteristics G1, G2, G3 are detected by a relatively simple calculation process. G4, G5, and G6 can be detected.
その後、各特徴G1,G2,…,G6を、図10に示した、横方向に3つに区分けされたゾーンL,C,Rに対応させ、各ゾーンL,C,Rの範囲内における各特徴G1,G2,…,G6(G1,G2,…,G6の中心(重心)座標を代表点として表示)間の相対的位置関係に基づいて、各特徴G1,G2,…,G6が、顔のどの要素に対応しているかを判定し、要素の一つである眼を特定するとともにその位置を検出する。本実施形態では、符号G1は乗員の右眉、符号G2は左眉、符号G3は右眼、符号G4は左眼、符号G5は鼻、符号G6は口、と特定することができ、各要素の位置を検出することができる。 Thereafter, the features G1, G2,..., G6 are made to correspond to the zones L, C, R divided into three in the horizontal direction shown in FIG. Based on the relative positional relationship between the features G1, G2,..., G6 (representing the center (centroid) coordinates of G1, G2,..., G6 as representative points), each feature G1, G2,. It is determined which element of the eye corresponds, and an eye which is one of the elements is specified and its position is detected. In this embodiment, the sign G1 can be identified as the right eyebrow of the passenger, the sign G2 is the left eyebrow, the sign G3 is the right eye, the sign G4 is the left eye, the sign G5 is the nose, and the sign G6 is the mouth. Can be detected.
眼G4(眼G3であってもよい。以下、同様。)の中心位置1101(座標(Xk,Yk))が検出される(S303)と、眼検出部102は、図11(a)に示すように、眼G4の中心位置1101を中心座標(Xk,Yk))とする所定の矩形領域1103を設定する。
When the center position 1101 (coordinates (Xk, Yk)) of the eye G4 (which may be the eye G3, and so on) is detected (S303), the
この矩形領域1103は、時系列的に連なって次回入力される画像(第(N+1)フレーム)における眼の検出対象範囲(追跡領域)を小領域に限定するものであり、この第Nフレームの画像から検出された眼G3の中心1101を中心座標として、X軸方向±m、Y軸方向±nの矩形領域が追跡領域として設定される。
This
なお、矩形領域は、その左上隅の座標1102(Xk−m,Yk−n)を以て、特定される。 The rectangular area is specified by the coordinates 1102 (Xk−m, Yk−n) of the upper left corner.
ステップ304(S304)において設定された追跡領域1103内で、眼の位置検出を行う(S305)。この処理は、本来は、時系列的に連なって次回入力される第(N+1)フレームの画像における追跡領域として設定されたものであるが、全体領域が検出対象領域とされた(S302の判断において「N」が選択された場合の)第Nフレームの画像に対しても、この追跡領域1103で眼の検出処理を改めて行うことにより、図7における縦ラインの間隔を狭めて眼の中心位置の検出処理を行い、眼の中心位置の検出精度を更に向上させることができる。
The eye position is detected within the
そして、図11(b)に示すように、この追跡領域は、時系列的に連なって次回入力された第(N+1)フレームの画像において眼G4が検出されると、その中心1104を中心座標(Xk−Δx,Yk−Δy)とする、X軸方向±m、Y軸方向±nの矩形領域が、新たな追跡領域1106として設定される。すなわち、追跡領域は、座標1105(Xk−Δx−m,Yk−Δy−n)に更新され、以下、順次入力された画像において検出される眼G4の中心位置(S305,S306)に応じて、追跡領域は同様の処理により順次更新される(S309)。
Then, as shown in FIG. 11B, when the eye G4 is detected in the image of the (N + 1) -th frame that is input next time in time series, the tracking area is centered on a center coordinate ( A rectangular area with X axis direction ± m and Y axis direction ± n, which is Xk−Δx, Yk−Δy), is set as a
眼G4の追跡領域の更新(S309)を行う前に、眼G4の追跡領域内において眼G4の検出に成功したかどうかの判定を行ない(S306)、眼G4の検出に失敗したとき(S306)は、設定されている眼G4の追跡領域を一旦消去し、ステップ302に戻り、画像の全体領域を検出対象領域とした眼G4の検出処理(S303)を実行する。 Before updating the tracking region of the eye G4 (S309), it is determined whether or not the eye G4 has been successfully detected in the tracking region of the eye G4 (S306), and the detection of the eye G4 has failed (S306). Deletes the set tracking region of the eye G4, returns to step 302, and executes the eye G4 detection process (S303) using the entire region of the image as the detection target region.
なお、タイマー制御(S308)については、眼の開閉判定の信頼度の算出と、覚醒度の判定に用いる制御であるため、各々の判定フローの中で説明する。 Note that the timer control (S308) is control used for calculation of the reliability of eye opening / closing determination and determination of arousal level, and will be described in each determination flow.
眼G4の検出に成功したかどうかの判定(S306)において検出に成功したときは、追跡領域の更新(S309)後、眼開度検出部103が眼G4の開度の検出を行う(S310)。
When the detection is successful in the determination of whether or not the eye G4 has been successfully detected (S306), the eye opening
ここで、眼G4の開度の検出処理の例として、以下に3種類の開度検出処理を説明する。 Here, as an example of the detection processing of the opening degree of the eye G4, three types of opening detection processing will be described below.
まず、第1の開度検出処理は、図12(a),(b)に示すように、検出された眼G4の上下方向に沿った高さ(縦幅)Hを求め、この縦幅Hを、眼の開度値として算出する処理である。 First, in the first opening degree detection process, as shown in FIGS. 12A and 12B, the height (vertical width) H along the vertical direction of the detected eye G4 is obtained, and this vertical width H Is calculated as an eye opening value.
この処理においては、図12に示すように、2値化処理を施して眼G4の輪郭形状を鮮明に浮き出させ、縦方向に沿って黒画素(2値化処理により、黒画素と白画素とに区分した場合における黒画素)が連続する数をカウントし、そのカウントの最大値を眼G4の開度値として算出する。 In this process, as shown in FIG. 12, the binarization process is performed to clearly reveal the outline shape of the eye G4, and black pixels along the vertical direction (black and white pixels are separated by the binarization process). The number of consecutive black pixels) is counted, and the maximum value of the count is calculated as the opening value of the eye G4.
眼G4が開いているか否かは、上まぶたの下端縁と下まぶたの上端縁との間の間隔、すなわち眼G4の上下方向に沿った高さによって判断可能である一方、上まぶたの下端縁と下まぶたの上端縁とは、上述したように、顔の画像の濃度の分布を上下方向に沿って走査する簡単な演算処理で検出することができる。 Whether or not the eye G4 is open can be determined by the distance between the lower edge of the upper eyelid and the upper edge of the lower eyelid, that is, the height along the vertical direction of the eye G4, while the lower edge of the upper eyelid As described above, the upper edge of the lower eyelid can be detected by simple arithmetic processing that scans the density distribution of the facial image along the vertical direction.
したがって、眼G4の開度を、眼G4の上下方向に沿った高さとして規定することで、眼G4の開度を簡単な演算処理で求めることができる。なお、縦幅Hが大きいときは開眼している状態であり、そこから縦幅Hが小さくなるにしたがって、眼が閉じる方向に、開眼度が変化するものとする。 Therefore, by defining the opening degree of the eye G4 as the height along the vertical direction of the eye G4, the opening degree of the eye G4 can be obtained by a simple calculation process. In addition, when the vertical width H is large, the eye is open. As the vertical width H becomes smaller, the eye opening degree changes in the direction in which the eyes are closed.
次に、第2の開度検出処理は、図13(a),(b)に示すように、検出された眼G4に外接する矩形の縦横比H/W(なお、Wは横幅を表す。)を求め、この求められた縦横比H/Wを、眼の開度として検出する処理である。縦横比H/Wが大きいときは開眼している状態であり、そこから縦横比H/Wが小さくなるにしたがって、眼が閉じる方向に、開眼度が変化する。 Next, in the second opening degree detection process, as shown in FIGS. 13A and 13B, a rectangular aspect ratio H / W circumscribing the detected eye G4 (W represents a lateral width). ) And the obtained aspect ratio H / W is detected as the eye opening. When the aspect ratio H / W is large, the eye is open, and as the aspect ratio H / W decreases, the eye opening degree changes in the direction of closing the eyes.
この処理は、2値化した眼G4の輪郭に外接する矩形の縦横比H/Wを眼G4の開度として規定しているため、画像間で像倍率が異なるとき、すなわち図13(a),(b)に示すように、画像間で撮影対象の乗員10が同一であっても乗員10とカメラ201との間の距離に差異があっても((a)は(b)よりも距離が近い)、その影響を排除することができ、眼G4の開度を精度よく検出することができる。
Since this process defines the rectangular aspect ratio H / W circumscribing the binarized eye G4 as the opening of the eye G4, when the image magnification differs between images, that is, FIG. As shown in (b), even if the
第3の開度検出処理は、図14(a),(b)に示すように、検出された眼G4の上縁(上まぶたの輪郭線)の曲率半径を求め、この求められた曲率半径を、眼G4の開度として検出する処理である。 In the third opening degree detection process, as shown in FIGS. 14A and 14B, the curvature radius of the detected upper edge of the eye G4 (the contour line of the upper eyelid) is obtained, and the obtained curvature radius. Is detected as the opening degree of the eye G4.
ここでは、輪郭線(抽出点の集合)を放物線近似することにより、曲率半径を算出する。そして、この曲率半径の値が小さいときは開眼している状態(図14(a))であり、そこから曲率半径の値が大きくなるにしたがって、眼が閉じる(図14(b))方向に、開眼度が変化するものとする。 Here, the radius of curvature is calculated by approximating a contour line (a set of extracted points) with a parabola. When the value of the radius of curvature is small, the eye is open (FIG. 14 (a)). As the value of the radius of curvature increases, the eye closes (FIG. 14 (b)). Assume that the degree of eye opening changes.
図14(c)の写真に示すように、眼の部分(図示において矩形枠で囲まれた部分)が日陰になるなどしてコントラストが低下したとき、前出の眼G4の縦幅Hまたは縦横比H/Wに応じた検出処理によっては、眼G4の開度状態を正確に検出しにくいのに対し、曲率半径によるこの検出処理では、コントラストの低下による影響を受けにくく、画像のコントラストが低い場合にも、精度よく眼G4の開度を検出することができる。 As shown in the photograph of FIG. 14 (c), when the contrast of the eye part (the part surrounded by a rectangular frame in the figure) is shaded or the like is lowered, the vertical width H or the vertical and horizontal directions of the eye G4 described above. Depending on the detection process according to the ratio H / W, it is difficult to accurately detect the opening state of the eye G4, whereas this detection process based on the radius of curvature is not easily affected by a decrease in contrast and the contrast of the image is low. Even in this case, the opening degree of the eye G4 can be detected with high accuracy.
上述した処理により眼G4の開度が検出された(S310)後、検出された眼G4の開度は、眼開度推移検出手段104に入力され、眼開度推移検出手段104は、時系列的に連続する複数の画像からそれぞれ得られた眼G4の開度を順次記憶し、この記憶された眼G4の開度の時系列的推移を検出する。 After the opening degree of the eye G4 is detected by the above-described processing (S310), the detected opening degree of the eye G4 is input to the eye opening degree transition detecting means 104, and the eye opening degree transition detecting means 104 is time-series. Then, the opening degree of the eye G4 respectively obtained from a plurality of consecutive images is sequentially stored, and a time-series transition of the stored opening degree of the eye G4 is detected.
ここで、時系列的推移を求めるためには、時系列的に取得された眼G4の開度が複数個必要であり、また、後述する眼G4の開度の微分値を算出する上でも、時系列的に取得された眼G4の開度が複数個必要である。 Here, in order to obtain the time-series transition, a plurality of eye G4 openings obtained in time series are necessary, and also in calculating a differential value of the eye G4 opening described later, A plurality of openings of the eye G4 acquired in time series are necessary.
したがって、次のステップ(S312)において、眼G4の開度の微分値を算出するための眼G4の開度値が眼開度推移検出手段104にメモリされているか否かの判定を行う。
Therefore, in the next step (S312), it is determined whether or not the opening value of the eye G4 for calculating the differential value of the opening of the eye G4 is stored in the eye opening
メモリされていないと判定したときは、眼G4の開度を記憶させた上(S311)で、時系列的に連続する次の画像が入力され(S301)、以上の処理(S311〜S310)を繰り返す。なお、眼開度推移検出手段104は、以上の処理を繰り返している間に、眼開度推移検出手段10に順次記憶されていく、時系列の眼G4の開度に基づいて、眼G4の開度の時系列的推移を求める。
When it is determined that it is not stored, the opening of the eye G4 is stored (S311), the next image that is continuous in time series is input (S301), and the above processing (S311 to S310) is performed. repeat. Note that the eye opening degree
一方、微分値の算出に必要なデータ数だけ、眼G4の開度が記憶されたと判定されたとき(S312)は、記憶されている複数の眼G4の開度のうち、最も記憶時期が古い眼G4の開度を、最新の画像による眼G4の開度で更新する(S313)。 On the other hand, when it is determined that the opening degree of the eye G4 is stored for the number of data necessary for the calculation of the differential value (S312), among the stored opening degrees of the plurality of eyes G4, the oldest memory time is stored. The opening degree of the eye G4 is updated with the opening degree of the eye G4 based on the latest image (S313).
その後、記憶された最新の眼G4の開度を含む複数の眼G4の開度による微分値を算出する(S314)。そして、以後、眼G4の開度の更新(S313)と微分値の算出(S314)とが繰り返されることにより、最新の眼G4の開度に対する微分値の算出が続けられる。 Then, the differential value by the opening degree of several eyes G4 including the opening degree of the newest eye G4 memorize | stored is calculated (S314). Thereafter, the update of the opening degree of the eye G4 (S313) and the calculation of the differential value (S314) are repeated, whereby the calculation of the differential value with respect to the latest opening degree of the eye G4 is continued.
次に、図4に示したフローチャートにより、信頼度判定手段106による、眼G4の開度の検出結果に対する信頼度を判定する処理について説明する。
Next, the process of determining the reliability of the detection result of the opening degree of the eye G4 by the
まず、信頼度判定用のタイマーTAと覚醒度判定用のタイマーTBとのうち、少なくとも一方が停止状態にあるかどうかを判定し(S401)、いずれか一方のタイマーTAまたはTBが停止状態のときは、その停止状態のタイマーTAまたはTBをそれぞれ作動させる(S402)。 First, it is determined whether at least one of the timer TA for reliability determination and the timer TB for arousal determination is in a stopped state (S401), and when either one of the timers TA or TB is in a stopped state Activates the stopped timer TA or TB, respectively (S402).
次いで、信頼度判定用のタイマーTAが所定時間に達するのを待つ(S403,S404)。このタイマーTAと比較対照される所定時間は、眼G4の開度の検出結果に対する信頼度を判定するための時間であり、通常状態(覚醒度の高い状態)における瞬きの発生頻度に基づいて、眼G4の開度の時系列的推移の異常性を判定している。 Next, the process waits for the reliability determination timer TA to reach a predetermined time (S403, S404). The predetermined time compared with the timer TA is a time for determining the reliability of the detection result of the opening degree of the eye G4, and based on the occurrence frequency of blinks in a normal state (a state of high arousal level), The abnormality of the time-series transition of the opening degree of the eye G4 is determined.
具体的には、図15および図16を用いて説明する。図15は、眼G4の縦幅Hを眼の開度Pとして出力するもので、(a)は、縦軸に眼G4の開度P(縦幅H)、横軸に時系列的に連なる画像のフレーム番号(フレーム数)を表した、眼G4の開度Pの時系列的推移を示すグラフ、(b)は、(a)における眼G4の開度Pを時間微分して得られた眼G4の開度Pの時間微分値Kの時系列的推移を示すグラフである。 Specifically, this will be described with reference to FIGS. 15 and 16. FIG. 15 outputs the vertical width H of the eye G4 as the opening degree P of the eye. FIG. 15A shows the opening degree P (vertical width H) of the eye G4 on the vertical axis and time series on the horizontal axis. A graph showing the frame number (number of frames) of the image and showing the time-series transition of the opening degree P of the eye G4, (b) was obtained by time-differentiating the opening degree P of the eye G4 in (a). It is a graph which shows the time-sequential transition of the time differential value K of the opening degree P of the eye G4.
図15(a)は、眼G4の開度の出力が、理想的になされている状態を示しており、開眼状態における眼G4の開度Pの変化幅が小さく、開度Pが下向きに大きく変化している3箇所が、瞬きによる開度推移を示している。 FIG. 15A shows a state where the output of the opening degree of the eye G4 is ideally formed, the change width of the opening degree P of the eye G4 in the open eye state is small, and the opening degree P is large downward. The three places which are changing show the opening degree transition due to blinking.
この図から明らかなように、眼G4の開度Pの検出状態が正常であるときは、被検体である乗員10の個人差を考慮に入れても、所定時間内に発生する瞬きの数(頻度)は限定的である。
As is clear from this figure, when the detection state of the opening degree P of the eye G4 is normal, the number of blinks occurring within a predetermined time (even if the individual difference of the
一方、上述した画像認識による眼G4の開度検出処理に対して悪影響を及ぼす要因として、環境光の変化等や、CCDカメラ201からの出力信号(画像信号)へのノイズの重畳、あるいは、この覚醒度推定装置100の内部における画像信号へのノイズの重畳等があり、これらの要因によって信号処理の状態が不安定になると、眼G4の開度Pの時系列的推移、および眼G4の開度Pの時間微分値Kの時系列的推移は、図15の理想的な検出状態とは全く異なる図16(a),(b)に示すものとなる。
On the other hand, as factors that adversely affect the opening detection processing of the eye G4 by the above-described image recognition, changes in ambient light, superimposition of noise on the output signal (image signal) from the
すなわち、図16(a)に示すように、眼G4の開度Pの変化幅が大きくなり、瞬きとノイズとの峻別が困難になる。したがって、所定時間内に発生する瞬きの数とノイズの数との合計数は、所定時間内に発生する瞬きの限定的な数(頻度)を超えたものとなる。 That is, as shown in FIG. 16A, the change width of the opening P of the eye G4 becomes large, and it becomes difficult to distinguish between blink and noise. Therefore, the total number of blinks and noises occurring within a predetermined time exceeds the limited number (frequency) of blinks occurring within a predetermined time.
さらに、具体的な数値を例示すると、10秒間に発生する瞬き数は10回以下と定義付けることができる。そして、タイマーTAにより監視している所定時間は、この時間区間(=10秒間)を意味している。 Furthermore, if a specific numerical value is illustrated, the number of blinks generated in 10 seconds can be defined as 10 or less. The predetermined time monitored by the timer TA means this time interval (= 10 seconds).
この状態を判定するのに、信頼度判定手段106は、眼G4の開度Pの時間微分値Kの時系列的推移を求める。つまり、タイマーTAが所定時間に達していないとき(S403)、所定範囲(微分値Kの絶対値|K|が例えば5以下の範囲)を超える微分値Kの絶対値|K|の出力回数をカウントアップする(S404)。 In order to determine this state, the reliability determination means 106 obtains a time-series transition of the time differential value K of the opening P of the eye G4. That is, when the timer TA has not reached the predetermined time (S403), the output count of the absolute value | K | of the differential value K exceeding a predetermined range (a range where the absolute value | K | Count up (S404).
つまり、図15に示した正常状態における瞬きを検出対象とした場合は、時間微分値Kの絶対値|K|が所定範囲を超える回数は、瞬き1回当たり、対で発生する正負のピークによる6回であるのに対し、図16(a)に示した眼G4の開度検出が不安定な状態では、瞬きに加えて、微分値Kの絶対値|K|が所定範囲(微分値Kの絶対値|K|が例えば5以下の範囲)を超える出力回数が極めて多く発生する状態となる(図16(b))。 That is, when the blink in the normal state shown in FIG. 15 is set as the detection target, the number of times that the absolute value | K | of the time differential value K exceeds the predetermined range depends on the positive and negative peaks generated in pairs per blink. In contrast to the six times, in the state in which the opening detection of the eye G4 shown in FIG. 16A is unstable, in addition to blinking, the absolute value | K | of the differential value K is within a predetermined range (the differential value K The number of times of output exceeding the absolute value | K | of the range of 5 or less, for example, is extremely high (FIG. 16B).
したがって、タイマーTAによる所定時間の監視の結果(S403)、所定時間が経過したとき(S403→S405)、ステップ404においてカウントアップされた時間微分値Kの絶対値|K|が所定範囲を超える回数に応じて(S406)、眼G4の開度検出に対する信頼度が高い(S407)か、または低い(S408)かを判定することができる。 Therefore, as a result of monitoring the predetermined time by the timer TA (S403), when the predetermined time has passed (S403 → S405), the number of times that the absolute value | K | of the time differential value K counted up in step 404 exceeds the predetermined range Accordingly, it is possible to determine whether the reliability for detecting the opening degree of the eye G4 is high (S407) or low (S408).
なお、信頼度の判定(S406)の前に、タイマーTAは停止してリセットされ(S405)、信頼度の判定(S406)の後に、カウントアップされたカウンタ値はリセットされる(S409)。 Note that before the reliability determination (S406), the timer TA is stopped and reset (S405), and after the reliability determination (S406), the counted-up counter value is reset (S409).
ここで、タイマーTAによって監視されている所定時間と、その所定時間内に発生する、時間微分値Kの絶対値|K|が所定範囲を超える回数の基準値(閾値)とを、どのような値に設定するのが好ましいかについて、図17および図18を用いて説明する。 Here, the predetermined time monitored by the timer TA and the reference value (threshold value) of the number of times that the absolute value | K | of the time differential value K occurs within the predetermined time exceeds the predetermined range. Whether it is preferable to set the value will be described with reference to FIGS. 17 and 18.
図17は、26人の相異なる乗員A〜Zについて、所定時間を30秒間に設定したときと、所定時間を60秒間に設定したときとにおける、各所定時間内の瞬きの発生頻度を調査して一覧表にまとめたものである。 FIG. 17 shows the occurrence frequency of blinks in each predetermined time for 26 different passengers A to Z when the predetermined time is set to 30 seconds and when the predetermined time is set to 60 seconds. Are summarized in a list.
この表に示された結果によれば、瞬き発生頻度は、個人差が大きいことが分かる。ただし、その頻度の最大値は乗員Eによるものであり、欄1701に示すように、30秒区間で27回、60秒区間で52回である。
According to the results shown in this table, it can be seen that the blink occurrence frequency has a large individual difference. However, the maximum value of the frequency depends on the occupant E, and as shown in a
したがって、これ以上の回数(30秒区間で27回を超える回数、または60秒区間で52回を超える回数)のとき、通常の瞬きの計測によるものでない(ノイズが重畳している→信頼度は低い)と判定することができる。 Therefore, when the number of times exceeds this (the number exceeding 27 times in the 30-second interval, or the number exceeding 52 times in the 60-second interval), it is not based on normal blink measurement (noise is superimposed → reliability is Low).
この判定処理の具体例を、図18を参照して説明する。図18(a),(b)はいずれも、眼G4の開度Pの微分値Kの時系列的推移であり、例えば図18(a)に示す状態は、約10秒区間で、眼G4の開度Pの微分値Kの絶対値|K|が所定範囲(=5)を超えるポイント1801の回数は6回であり、この回数は、図17の一覧表に示した「30秒区間で27回」すなわち「10秒に換算した区間では9回程度」という基準を下回っており、この結果、ノイズの重畳がなく、適正に瞬きが検出されていると判定することができる。
A specific example of this determination process will be described with reference to FIG. FIGS. 18A and 18B are time-series transitions of the differential value K of the opening degree P of the eye G4. For example, the state shown in FIG. The number of
一方、図18(b)に示す状態は、約10秒区間で、眼G4の開度Pの微分値Kの絶対値|K|が所定範囲(=5)を超えるポイント1802の回数は40回以上であり、この回数は、「10秒に換算した区間では9回程度」という基準を大きく上回っており、この結果、ノイズの重畳がするなど、正常な眼G4の開度Pの検出が行われていないと判定する。
On the other hand, in the state shown in FIG. 18B, the number of times of the
なお、図18は、眼G4の開度Pの微分値Kを見易くするために、便宜上10秒区間での説明を行ったが、実際の瞬きの発生状態の観点からは、短い時間区間においては、時間の長さと発生回数とは必ずしも正比例の関係にはない。 In FIG. 18, for the sake of easy understanding of the differential value K of the opening degree P of the eye G4, the explanation was made in the 10 second section for convenience. However, from the viewpoint of the actual blink occurrence state, in the short time section, FIG. The length of time and the number of occurrences are not necessarily in direct proportion.
すなわち、30秒区間での発生回数は、10秒区間での発生回数の単純な3倍、ということはない。ただし、時間区間が長くなるにしたがって誤差が減少し、時間区間の長さと発生回数とは略正比例の関係を呈する。 That is, the number of occurrences in the 30-second interval is not simply three times the number of occurrences in the 10-second interval. However, the error decreases as the time interval becomes longer, and the length of the time interval and the number of occurrences exhibit a substantially direct relationship.
したがって、この時間区間は、適宜変更出来るものとしてもよいし、個別の状況に応じて設定することができる。 Therefore, this time interval may be changed as appropriate, or may be set according to individual circumstances.
次に、図5および図6に示したフローチャートを参照して、覚醒度判定手段105による覚醒度の判定処理について説明する。
Next, with reference to the flowcharts shown in FIGS. 5 and 6, the arousal level determination process by the arousal
ここで、図19および図20は、それぞれ(a)が眼G4の開度Pの時系列的推移を示すグラフ、(b)が(a)における眼G4の開度Pを時間微分して得られた眼G4の開度Pの時間微分値Kの時系列的推移を示すグラフであり、図19は、覚醒度が高い状態における通常の瞬き1回を正常に検出している場合、図20は、覚醒度が低下し始めた状態における通常よりも長い瞬き1回を正常に検出している場合を示す。 Here, FIGS. 19 and 20 are graphs in which (a) shows a time-series transition of the opening degree P of the eye G4, and (b) is obtained by time-differentiating the opening degree P of the eye G4 in (a). 19 is a graph showing a time-series transition of the time differential value K of the opening degree P of the obtained eye G4, and FIG. 19 shows a case where one normal blink in a state where the arousal level is high is normally detected. Indicates a case where one blink that is longer than normal in a state in which the awakening level starts to decrease is normally detected.
次に、図5に示したフローチャートを参照して、図19に示した通常状態(覚醒度が高い状態)における瞬きに対応した眼G4の開度Pの微分値Kの出力状態を例に説明する。 Next, with reference to the flowchart shown in FIG. 5, the output state of the differential value K of the opening degree P of the eye G4 corresponding to blinking in the normal state (high arousal level) shown in FIG. 19 will be described as an example. To do.
まず、覚醒度判定手段105が、眼開度推移検出手段104から出力された眼G4の開度Pの時系列的推移に基づいて、眼G4の開度Pの時間微分値Kの時系列的推移を求め、微分値Kの絶対値|K|が所定範囲内(≦L)にあるかどうかを判定する。
First, based on the time series transition of the opening degree P of the eye G4 output from the eye opening degree transition detection means 104, the arousal
この所定範囲Lは、図19における領域1901であり、具体的には例えば≦5の範囲である。
The predetermined range L is a
なお、この領域1901(絶対値|K|≦5)は、信頼度を判定する際の、ポイント1801等をカウントする範囲(絶対値|K|≧5)とは大小関係が反対の範囲として設定されているが、覚醒度を判定するための指標であるLと、信頼度を判定する指標とは、そもそもその目的を異にするため、必ずしもその指標同士が同一値である必要はなく、領域1901を(絶対値|K|≦6)等とし、信頼度を判定する際のポイント1801等をカウントする範囲を(絶対値|K|≧4)等としてもよい。
This region 1901 (absolute value | K | ≦ 5) is set as a range whose magnitude relationship is opposite to the range (absolute value | K | ≧ 5) for counting the
図19(b)における初回の微分値Kは負値(−1)であり、かつ領域1901にあるので、正のフラグ(微分値Kが正であることを規定する)をOFFに設定する(S502→S507→S508)。
Since the initial differential value K in FIG. 19B is a negative value (−1) and is in the
なお、正フラグが既にOFFになっている場合は、このステップ508の処理をスルーして、ステップ509に移行する。 If the positive flag is already OFF, the process of step 508 is bypassed and the process proceeds to step 509.
次いで、微分値Kの時系列的推移のグラフ(図19(b))について、負の範囲の面積値の積算と正の範囲の面積値の積算とをそれぞれ別個に行う(S509)。 Next, with respect to the graph of the time-series transition of the differential value K (FIG. 19B), the integration of the area values in the negative range and the integration of the area values in the positive range are performed separately (S509).
ただし、初回の微分値Kだけでは、時系列的推移のグラフ(区間)を構成しない、すなわち正の範囲も負の範囲も面積を構成しない(面積=0)ので、積算処理(S509)をスルーして、次のステップ510に移行する。 However, since only the first derivative K does not constitute a time-series transition graph (section), that is, neither the positive range nor the negative range constitutes an area (area = 0), the integration process (S509) is bypassed. Then, the process proceeds to the next step 510.
そして、ステップ510では、微分値Kが正から負に切り替わったことをトリガーとして、それ以前の微分値Kの時系列的推移の正の範囲の面積の積算値が、所定の閾値を超えたか否かを判定する。 In step 510, triggered by the fact that the differential value K is switched from positive to negative, whether or not the integrated value of the area in the positive range of the time-series transition of the previous differential value K has exceeded a predetermined threshold value. Determine whether.
所定の閾値を超えている場合(S510)は、各正の範囲の面積を積算し、この正の積算値を記憶したうえで(S513)、微分値Kの時系列的推移の正の範囲の面積値をリセットする(S511)。なお、リセットするのは、積算する分の正の範囲の面積値であり、記憶された正の積算値はそのまま保持される。 When the predetermined threshold value is exceeded (S510), the areas of the respective positive ranges are integrated, the positive integrated values are stored (S513), and the positive range of the time-series transition of the differential value K is determined. The area value is reset (S511). Note that what is reset is an area value in a positive range for integration, and the stored positive integration value is held as it is.
また、所定の閾値を超えていない場合(S510)は、そのまま微分値Kの時系列的推移の正の範囲の面積値をリセットする(S511)。ここでも、リセットするのは、所定の閾値を超えていない正の範囲の面積値であり、既に記憶された正の積算値はそのまま保持される。 If the predetermined threshold value is not exceeded (S510), the area value in the positive range of the time-series transition of the differential value K is reset as it is (S511). In this case as well, the area value in the positive range that does not exceed the predetermined threshold value is reset, and the already stored positive integrated value is held as it is.
ここで、初回の微分値Kのみでは、前述したように時系列的推移のグラフを構成しないため、正の範囲の面積も負の範囲の面積も0であり、上述したステップ510,513,511の処理は、ステップ510→ステップ511の流れとなる。 Here, only the first derivative value K does not constitute a time-series transition graph as described above, and therefore the area of the positive range and the area of the negative range are 0, and the above-described steps 510, 513, and 511 are performed. The process of step 510 is step 510 → step 511.
なお、ステップ510において、微分値Kの時系列的推移の正の範囲の面積を、所定の閾値と比較するのは、微分値Kの時系列的推移の正の範囲の面積が、所定の閾値を超えるような大きな面積の場合は、ステップ513で積算の対象とするが、微分値Kの時系列的推移の正の範囲の面積が、所定の閾値を下回るような小さな面積の場合は、積算の対象とはせずに無視する(ステップ513を経由しない)ためである。 In step 510, the area of the positive range of the time series transition of the differential value K is compared with the predetermined threshold value because the area of the positive range of the time series transition of the differential value K is the predetermined threshold value. If the area exceeds a predetermined threshold, the integration is performed in step 513. If the area of the positive range of the time-series transition of the differential value K is smaller than a predetermined threshold, the integration is performed. This is because they are ignored and not passed through (not via step 513).
2回目の微分値Kも負値(−1)であり、かつ領域1901にあるので、正のフラグをオフに設定し(S502→S507→S508)、微分値Kの時系列的推移(図19(b))について、負の範囲の面積値の積算と正の範囲の面積値の積算とをそれぞれ別個に行う(S509)。
Since the second differential value K is also a negative value (−1) and is in the
ここでも、正の範囲の面積値は0であるため、その積算された値も0のままである(S509)が、負の範囲の面積値は、初回の絶対値Kから2回目の絶対値Kまでの時系列推移のグラフ(区間)が構成されているため、この範囲の面積値(負値)を算出することができる(S509)。 Here, since the area value in the positive range is 0, the integrated value remains 0 (S509), but the area value in the negative range is the second absolute value from the first absolute value K. Since the graph (section) of the time series transition up to K is constructed, the area value (negative value) in this range can be calculated (S509).
そして、ここでも、微分値Kの時系列的推移の正の範囲の面積の積算値が、所定の閾値を超えていない(S510)ため、そのまま微分値Kの時系列的推移の正の範囲の面積値をリセットする(S511)。 Also here, since the integrated value of the area of the positive range of the time series transition of the differential value K does not exceed the predetermined threshold (S510), the positive range of the time series transition of the differential value K as it is. The area value is reset (S511).
3回目の微分値Kは正値(1)であり、かつ領域1901にあるため、正フラグをONにする(S501→S502→S503)。
Since the third differential value K is a positive value (1) and is in the
次いで、微分値Kの時系列的推移のグラフについて、負の範囲の面積値の積算と正の範囲の面積値の積算とをそれぞれ別個に行う(S504)。 Next, with respect to the graph of the time-series transition of the differential value K, the integration of the area values in the negative range and the integration of the area values in the positive range are performed separately (S504).
この処理によって、図19の負の範囲1902の面積が閉じられたため、微分値Kの負の範囲の面積の積算値が所定値を超えたか否かを判定する(S505)。
Since the area of the
所定の閾値を超えている場合(S505)は、各負の範囲の面積を積算し、この負の積算値を記憶したうえで(S514)、微分値Kの時系列的推移の負の範囲の面積値をリセットする(S506)。なお、リセットするのは、積算する分の負の範囲の面積値であり、記憶された負の積算値はそのまま保持される。 When the predetermined threshold value is exceeded (S505), the areas of the respective negative ranges are integrated, the negative integrated values are stored (S514), and the negative range of the time-series transition of the differential value K is determined. The area value is reset (S506). Note that what is reset is the area value in the negative range for integration, and the stored negative integration value is held as it is.
また、所定の閾値を超えていない場合(S505)は、そのまま微分値Kの時系列的推移の負の範囲の面積値をリセットする(S506)。ここでも、リセットするのは、所定の閾値を超えていない負の範囲の面積値であり、既に記憶された負の積算値はそのまま保持される。 If the predetermined threshold value is not exceeded (S505), the area value in the negative range of the time-series transition of the differential value K is reset as it is (S506). Also in this case, the area value in the negative range that does not exceed the predetermined threshold value is reset, and the negative accumulated value that has already been stored is held as it is.
なお、ステップ505において、微分値Kの時系列的推移の負の範囲の面積を、所定の閾値と比較するのは、微分値Kの時系列的推移の負の範囲の面積が、所定の閾値を超えるような大きな面積の場合は、ステップ514で積算の対象とするが、微分値Kの時系列的推移の負の範囲の面積が、所定の閾値を下回るような小さな面積の場合は、積算の対象とはせずに無視する(ステップ514を経由しない)ためである。 In step 505, the area of the negative range of the time series transition of the differential value K is compared with the predetermined threshold value because the area of the negative range of the time series transition of the differential value K is the predetermined threshold value. In the case of a large area exceeding the threshold value, the integration is performed in step 514. However, in the case where the area in the negative range of the time-series transition of the differential value K is smaller than a predetermined threshold, the integration is performed. This is because it is ignored and not passed through (not via step 514).
4回目の微分値Kは0であり、かつ領域1901にあるため、正フラグがONか否かを判定する(S501→S502→S507→S512)。
Since the fourth differential value K is 0 and is in the
正フラグは、3回目の微分値Kに起因した処理の際に、ステップ503でONに設定されているため、判定(S512)の結果、ステップ504に移行し、微分値Kの時系列的推移のグラフについて、負の範囲の面積値の積算と正の範囲の面積値の積算とをそれぞれ別個に行う(S504)。 Since the positive flag is set to ON in step 503 during the process resulting from the third derivative value K, the determination (S512) results in transition to step 504, and the time-series transition of the derivative value K In the graph, integration of area values in the negative range and integration of area values in the positive range are performed separately (S504).
ここで、4回目の微分値Kに起因した処理よりも以前に存在する負の範囲の面積は、3回目の微分値Kに起因した処理の際に、ステップ506でリセットされているため、ステップ505,514,506の処理は、実質的にはスルーされることになる。 Here, since the area of the negative range existing before the process caused by the fourth differential value K is reset in step 506 during the process caused by the third differential value K, step The processes of 505, 514, and 506 are substantially passed through.
以上のようにして、微分値Kの正負が入れ替わる毎に、その正の範囲の面積値が所定値を超えるものを、あるいはその負の範囲の面積値が所定値を超えるものを、対象として積算し、それぞれ記憶していく。 As described above, every time the differential value K is switched between positive and negative values, the positive range area value exceeds the predetermined value, or the negative range area value exceeds the predetermined value is integrated. And remember each one.
また、図19に示す微分値Kの時系列的推移が正の範囲1905,1906の間に、微分値Kの時系列的推移が負となる範囲が存在しない状態では、微分値Kの時系列的推移が正の範囲1905の面積について積算した(S504)の後に、ステップ507を経由した正フラグの判定(S512)によって、微分値Kの時系列的推移が正の範囲1905の面積についての積算(S504)が続けて行われるため、正の範囲の面積の積算値は、正の範囲1905と、これに続く正の範囲1906の各面積が加算されたものとして扱われる。
In addition, when there is no range in which the time-series transition of the differential value K is negative between the
図19に示した覚醒度が低下していない状態であって、通常の瞬きだけが発生している状態では、開眼状態における開度の時系列的推移が比較的小さいため、ステップ513,514の処理を経由して、正負の面積の積算値が記憶されることは稀であり、偶発的に面積の積算値が記憶された場合であっても、図19に示す瞬きによる負の微分値K(MIN:−9)の範囲1910および正の微分値K(MAX:6)の範囲1911は、それぞれ微分値Kの絶対値|K|が、ステップ501の分岐判定で所定範囲Lを超えるため、図6のステップ606に移行して、微分値Kの時系列的推移の正の範囲の面積の積算値と微分値Kの時系列的推移の負の範囲の面積の積算値との合算値がリセットされる。
In the state where the arousal level shown in FIG. 19 is not lowered and only a normal blink occurs, the time series transition of the opening degree in the open eye state is relatively small. It is rare that the integrated value of the positive and negative areas is stored through the processing, and even if the integrated value of the area is accidentally stored, the negative differential value K caused by blinking shown in FIG. In the
また、負の微分値Kの範囲1910に達する以前には、ステップ506の処理またはステップ511の処理の後、図6に示したステップ601の処理に移行し、覚醒度の判定期間を計測しているタイマーTBが所定時間(覚醒度の判定のために設定された期間)に達するまでは、図3に示したステップ301に戻って、時系列的に連なる次の画像が入力される。
Further, before reaching the negative differential
タイマーTBが所定時間に達すると(S601)、タイマーTBをストップおよびリセットした上で(S602)、各別に積算された正の範囲の面積の積算値(S513)と負の範囲の面積の積算値(S514)とが合算され、この合算により得られた合算値が所定の閾値を上回ったか否かが判定される(S603)。 When the timer TB reaches a predetermined time (S601), after the timer TB is stopped and reset (S602), the integrated value of the positive range area (S513) and the integrated value of the negative range area are separately accumulated. (S514) is summed, and it is determined whether or not the sum obtained by this summing exceeds a predetermined threshold (S603).
ここで、覚醒度が低下していない状態であって、通常の瞬きだけが発生している状態では、この合算値は所定の閾値を上回ることがないため、覚醒度が高い状態にあると判定される(S604)。 Here, in a state where the arousal level is not lowered and only a normal blink occurs, it is determined that the awakening level is high because the total value does not exceed a predetermined threshold value. (S604).
そして、覚醒度判定期間の終了毎に微分値の正負の面積の積算値をクリアする(S606)。 Then, the integrated value of the positive and negative areas of the differential value is cleared at the end of the arousal level determination period (S606).
これに対して、覚醒度が低下してくると、眼G4の開度Pの時系列的推移が図20(a)に示すように、普通の瞬きに代わって長い瞬きの発生頻度が多くなるため、眼G4の開度Pの微分値Kがステップ501の処理(図5参照)におけるの指標Lを超えることがなく、しかも瞬き速度も遅くなるため、眼G4の開度Pの微分値Kの時系列的推移である図20(b)に示した、微分値Kが負の閉じられた範囲2001の面積(積算値)は、図19(b)に示した、通常の瞬きで発生する微分値Kが負の閉じられた範囲1904,1907等の面積(積算値)に比べて十分大きく、また、図20(b)に示した、微分値Kが正の閉じられた範囲2002の面積(積算値)は、図19(b)に示した、通常の瞬きで発生する微分値Kが正の閉じられた範囲1903,1905等の面積(積算値)に比べて十分大きいため、いずれも図5のステップ505の処理およびステップ510の処理における所定値を超える。
On the other hand, when the arousal level decreases, the time series transition of the opening degree P of the eye G4 increases the occurrence frequency of long blinks instead of normal blinks as shown in FIG. Therefore, the differential value K of the opening degree P of the eye G4 does not exceed the index L in the process of step 501 (see FIG. 5), and the blinking speed is also slowed. The area (integrated value) of the
これにより、ステップ514,513の各処理で、大きな面積が閉じられた範囲として積算対象とされ、その当該面積は積算されて記憶される。 As a result, in each process of steps 514 and 513, a large area is set as a closed range, and the area is integrated and stored.
したがって、図6のステップ603の判定処理において、各別に積算された正の範囲の面積の積算値と負の範囲の面積の積算値との合算値は、所定の閾値を超え、覚醒度は低い状態にあると判定される(S605)。 Therefore, in the determination process of step 603 in FIG. 6, the sum of the integrated value of the positive range area and the integrated value of the negative range area, which is integrated separately, exceeds a predetermined threshold value, and the arousal level is low. It is determined that it is in a state (S605).
そして、覚醒度判定期間の終了毎に微分値の正負の面積の積算値をクリアする(S606)。 Then, the integrated value of the positive and negative areas of the differential value is cleared at the end of the arousal level determination period (S606).
なお、図3のフローチャートに示したステップ308の処理は、眼の追跡(検出)に失敗した場合(S306)に、画像の全範囲を検出対象としたうえでこの画像の全範囲から眼の位置検出を行うが、その全範囲からの眼の位置検出に要する時間は、追跡領域からの眼の位置検出に要する時間よりも当然長くなるため、画像の全範囲からの眼の位置検出に要する時間を、信頼度判定期間および覚醒度判定期間の時間から除外することを目的として、タイマーTAおよびタイマーTBを停止させるものである。 In the process of step 308 shown in the flowchart of FIG. 3, when eye tracking (detection) fails (S306), the entire range of the image is set as a detection target, and the eye position is determined from the entire range of the image. Although the time required for detecting the eye position from the entire range is naturally longer than the time required for detecting the eye position from the tracking area, the time required for detecting the eye position from the entire range of the image. The timer TA and the timer TB are stopped for the purpose of excluding from the time of the reliability determination period and the arousal determination period.
そして、その後、画像の全体範囲からの眼の検出処理により、眼の検出に成功し、改めて追跡領域が設定されたとき、タイマーTAおよびタイマーTBを再スタートさせる(図4のフローチャートにおいてステップ402)。 Thereafter, when the eye is successfully detected by the eye detection process from the entire range of the image and the tracking area is set again, the timer TA and the timer TB are restarted (step 402 in the flowchart of FIG. 4). .
以上、説明したように、本実施形態に係る覚醒度推定装置100によれば、眼開度検出手段101が、時系列的に連なる複数の画像を対象として、各画像ごとに眼の開度Pを検出し、眼開度推移検出手段104が、各画像ごとに得られた眼の開度Pに基づいて、眼の開度Pの時系列的な推移(眼の開度の時系列的な変化)を検出し、覚醒度判定手段105が、眼の開度Pの時系列的な推移に基づいて覚醒度を判定する。
As described above, according to the arousal
一方、信頼度判定手段106が、眼開度推移検出手段104により検出された眼の開度Pの時系列的推移に応じて、眼開度検出手段101による眼の開度Pの検出結果に対する信頼度を判定する。
On the other hand, the
この結果、本発明に係る覚醒度推定装置100は、覚醒度とともに、この覚醒度の使用可否の判断材料である、眼の開度Pの検出結果に対する信頼度を、併せて提示することができる。
As a result, the arousal
したがって、例えば車両乗員用の居眠り防止装置202などの装置に、本実施形態の覚醒度推定装置100から出力された覚醒度を用いるか否かを、その覚醒度を導き出すための基データである眼の開度Pについて提示された信頼度に応じて、容易に判定することができる。
Therefore, for example, an eye that is basic data for deriving whether or not the wakefulness level output from the wakefulness
図21(a)は、いわゆる伏し目の状態(覚醒度は高いが、視線を下の方に向けた状態)における目の開度Pの時系列的推移、(b)は(a)の時間微分を示す図である。伏し目の状態は、覚醒度が高い場合であっても、覚醒度が低下して長い瞬きが発生したものと誤検出する虞がある。 FIG. 21A shows a time-series transition of the opening degree P of the eye in a so-called prone eye state (a state of high arousal but with the line of sight directed downward), and FIG. 21B shows a time derivative of FIG. FIG. Even if the degree of wakefulness is high, there is a risk of erroneous detection that a long blink has occurred due to a decrease in the wakefulness level.
通常、いわゆる伏し目は、眼を完全に閉じていないため、完全な閉眼状態と区別することが可能である。 In general, so-called down eyes are not completely closed, and thus can be distinguished from a completely closed state.
しかし、完全な閉眼状態ではないが、覚醒度の低下している状態も発生し得るため、完全な閉眼状態だけを、覚醒度の低下した状態と判定したのでは、伏し目の誤検出を防止することはできるものの、完全な閉眼状態ではないが覚醒度の低下している状態を検出洩れする虞がある。 However, although it is not a complete closed eye state, a state in which the degree of arousal is reduced may also occur. Therefore, if it is determined that only the completely closed eye state is a state in which the arousal level is reduced, false detection of the prone eyes is prevented. Although it is possible, there is a possibility that a state in which the degree of arousal is not detected but is not completely closed is missed.
従来は、このトレードオフの関係を解決することができなかったが、本発明に係る覚醒度推定装置は、この問題を解決することができ、以下、本実施形態の覚醒度推定装置100が、この伏し目と覚醒度が実際に低下している状態とを確実に峻別する作用について説明する。 Conventionally, this trade-off relationship could not be solved, but the arousal level estimation apparatus according to the present invention can solve this problem. The action of reliably distinguishing the bound eyes from the state where the arousal level is actually lowered will be described.
図21は、覚醒度は高く、かつ伏し目の発生しうる状態であって、(a)は眼の開度Pの時系列的推移、(b)は(a)の時間微分、をそれぞれ表す。 FIG. 21 shows a state in which the degree of arousal is high and a prone eye can occur, where (a) represents the time-series transition of the eye opening degree P, and (b) represents the time derivative of (a).
図21によれば、伏し目状態になると、再び真正面を見た瞬間に、瞬きをしていることが分かる。これは、焦点距離が大きく変化した(伏し目状態(距離が近い部分を見ている状態)から真正面を見た状態(距離が遠い部分を見ている状態)に変化した等)際に、眼を一旦閉じるという人間の眼の習性が現れたものであり、特別に意識をすることなく、高い確率で発生する。 According to FIG. 21, it turns out that it is blinking at the moment of seeing a head-on again when it becomes a bound state. This is because when the focal length has changed significantly (for example, when it has changed from a bounded state (a state in which a distance is viewed) to a state in which it is viewed in front (a state in which a distance is viewed)), The human eye's habit of closing once appears, and it occurs with a high probability without special consciousness.
そして、上述した実施形態の覚醒度推定装置100は、目の開度Pの微分値Kの時系列的推移により、この現象を、簡単かつ的確に捕らえることができる。
And the arousal
すなわち、図21(b)に示す眼の開度Pの微分値Kの時系列的推移の負の範囲2101,2102では、それらの微分値Kの絶対値|K|が大きいことにより、図5のステップ501の判定処理において絶対値|K|は所定範囲Lを上回り、覚醒度判定区間の終了毎に微分値の正負の面積の積算値がリセットされる(図6のステップ606)。
That is, in the
したがって、覚醒度が低い状態であるという誤った推定結果が出力されるのを回避することができる。すなわち、伏し目状態に起因した誤判定を排除することもできる。 Therefore, it is possible to avoid outputting an erroneous estimation result that the degree of arousal is low. That is, it is possible to eliminate erroneous determination caused by the bound-eye state.
また、本実施形態に係る覚醒度推定装置100は、眼検出部102が、眼を検出する対象である第(N+1)フレームの画像に対して、検出対象である第(N+1)フレームの画像と時系列的に連なる直前の第Nフレームの画像において検出された眼の位置の近傍範囲に対応する範囲を、検出対象範囲1103,1106(図11)として設定し、この設定された検出対象範囲について眼の検出を行う。
In addition, in the arousal
時系列的に連なる複数の画像においては、眼の位置は、相前後する画像間で大きく異なることはなく、任意の画像における眼の位置は、通常は、その時系列的に連なる直前の画像において検出された眼の位置の近傍範囲に存在する。 In a plurality of images that are connected in time series, the eye position does not differ greatly between successive images, and the eye position in any image is usually detected in the immediately preceding image that is connected in time series. It exists in the range near the position of the eye.
したがって、時系列的に連なる直前の画像(第(N+1)フレームに対する第Nフレームなど)において検出された眼の位置の近傍範囲に対応する範囲を、眼を検出する対象範囲(追跡領域)として設定することで、画像全体を対象範囲として眼の検出処理を行う場合に比べて、処理時間を大幅に短縮することができる。 Therefore, a range corresponding to the vicinity range of the eye position detected in the immediately preceding image (such as the Nth frame with respect to the (N + 1) th frame) connected in time series is set as the target range (tracking region) for detecting the eye. As a result, the processing time can be significantly reduced as compared with the case where the eye detection process is performed with the entire image as the target range.
一方、時系列的に連なる直前の第Nフレームの画像が存在しないか、もしくは、設定された検出対象範囲1103,1106等について行った眼の検出操作により眼を検出することができないことが稀に起こりうる。 On the other hand, it is rare that the image of the Nth frame immediately before in time series does not exist or the eye cannot be detected by the eye detection operation performed on the set detection target ranges 1103 and 1106 and the like. It can happen.
そのような場合に、設定された範囲のみを眼の検出対象として処理を行っただけでは、画像のいずれかの部分に存在する眼を検出することができない事態が生じる。 In such a case, a situation occurs in which eyes existing in any part of the image cannot be detected only by performing processing with only the set range as an eye detection target.
しかるに、本実施形態に係る覚醒度推定装置100は、まず、時系列的に連なる直前の画像において検出された眼の位置の近傍範囲に対応する範囲について眼の検出を行い、その検出対象範囲について眼の検出ができないときは、画像の全範囲について眼の検出を行うことで、検出処理時間の短縮と検出の確率の向上とを両立することができる。
However, the arousal
また、本実施形態に係る覚醒度検出装置100は、信頼度判定手段106が、眼開度推移検出手段104により検出された眼の開度Pの時系列的推移を時間微分し、得られた時系列的推移の時間微分値Kの分布に応じて、信頼度を判定する。
In addition, the arousal
車室内の環境光の状態の変化を始めとして画像信号にノイズが生じているときは、眼の開度Pの時系列的推移が短時間のうちに急激に変動する。 When noise is generated in the image signal including a change in the state of ambient light in the passenger compartment, the time-series transition of the eye opening P changes rapidly in a short time.
そこで、信頼度判定手段106が、眼の開度Pの時系列的推移の時間微分Kの分布を求めて、その分布に応じて信頼度を判定すると、画像信号にノイズが生じているときと、ノイズが生じていないときとを、明確に峻別することができ、簡単な演算処理で、かつ的確に信頼度を判定することができる。
Therefore, when the
さらに、本実施形態に係る覚醒度検出装置100は、信頼度判定手段106が、時系列的推移の時間微分値Kの分布について、時間微分値Kの絶対値|K|が所定の閾値を上回る頻度を求め、得られた頻度に応じて、信頼度を判定するものである。
Furthermore, in the arousal
画像信号にノイズが生じているときは、眼の開度Pの時間微分値Kの絶対値|K|が大きくなるため、時間微分値Kの絶対値|K|が所定の閾値を上回ることを検出することにより、画像信号にノイズが生じているときを検出することができるが、画像信号にノイズが生じていないときにも、時間微分値Kの絶対値|K|が所定の閾値を上回ることはあり得る。 When noise occurs in the image signal, the absolute value | K | of the time differential value K of the opening degree P of the eye increases, so that the absolute value | K | of the time differential value K exceeds a predetermined threshold value. By detecting, it is possible to detect when noise is generated in the image signal, but even when no noise is generated in the image signal, the absolute value | K | of the time differential value K exceeds a predetermined threshold value. It is possible.
しかし、その時間微分値Kの絶対値|K|が所定の閾値を上回る回数は、画像信号にノイズが生じているときと、ノイズが生じていないときとで、明確に差異がある。 However, the number of times that the absolute value | K | of the time differential value K exceeds a predetermined threshold is clearly different between when the noise is generated in the image signal and when no noise is generated.
したがって、時間微分値Kの絶対値|K|が所定の閾値を上回る頻度に応じて信頼度を判定することにより、画像信号にノイズが生じているときと、ノイズが生じていないときとを、明確、かつ確実に信頼度を判定することができる。 Therefore, by determining the reliability according to the frequency with which the absolute value | K | of the time differential value K exceeds a predetermined threshold, when the noise is generated in the image signal, and when the noise is not generated, The reliability can be determined clearly and reliably.
なお、信頼度判定手段106は、信頼度を判定する基準となる頻度(閾値)を求めるための基準時間間隔、または該頻度に応じた信頼度の判定を行うための基準頻度の値に対して、検出対象となる画像に写る運転者10(被検体)の個体差に応じた補正を施すようにしてもよい。
Note that the
ここで、個体差に応じた補正量は、実験等により予め求めておけばよい。 Here, the correction amount corresponding to the individual difference may be obtained in advance by experiments or the like.
このように構成された覚醒度推定装置100によれば、被検体の個体差の影響を排除することができ、これにより、個体差に拘わらず信頼度を的確に判定することができる。
According to the arousal
なお、眼の開度Pの微分値Kの時系列的推移に基づいた信頼度の判定と覚醒度の判定との組合わせ方は、一般的な誤警報を抑える傾向とする場合は、覚醒度が低いと判定されても信頼度が低い場合については、覚醒度が低いことに起因して、車両乗員用の居眠り防止装置(警報ブザー等)202が発報する警報の出力を制限したり、発報・報知の種類を変更する(音量や音程、音の種類やリズムを変更する)などを適用することもできる。 Note that the combination of the determination of the reliability based on the time-series transition of the differential value K of the eye opening P and the determination of the arousal level is a wakefulness level when the tendency to suppress a general false alarm is used. If the reliability is low even if it is determined that the vehicle is low, due to the low wakefulness, the alarm output that the vehicle occupant prevention device (alarm buzzer etc.) 202 issues is limited, It is also possible to change the type of notification / notification (change the volume, pitch, type of sound, and rhythm).
また、本実施形態に係る覚醒度検出装置100は、(1)信頼度判定手段106による信頼度の判定結果が高く、(2)眼開度推移検出手段104により検出された眼の開度Hの時系列的推移を時間微分して得られた時系列的推移の時間微分値Kの分布について、時間微分値Kが負となる範囲のうち、または時間微分値Kが正となる範囲のうち、各範囲の面積の絶対値が所定値を上回り、かつ、時間微分値Kの絶対値が所定の基準範囲内(|K|≦L)である積算面積範囲の面積を逐次積算し、(3)積算面積範囲の面積を逐次積算して得られた積算値が、所定の期間(覚醒度判定期間)内に、所定値を超えたとき、覚醒度判定手段105は、覚醒度が低下していると判定するところ、覚醒度が高い状態における通常の瞬きは、時間微分値が負となる範囲のうち、または時間微分値Kが正となる範囲のうち、範囲の面積の絶対値が所定値を下回ることが多いか、または所定値を上回ったとしても、時間微分値Kが所定の基準範囲を超えるため、簡単な演算処理で、的確に覚醒度の低下状態を判定することができる。
Further, in the arousal
100 覚醒度推定装置
101 眼開度検出手段
102 眼検出部
103 眼開度検出部
104 眼開度推移検出部
105 覚醒度判定手段
106 信頼度判定手段
200 車両
201 CCDカメラ
202 居眠り防止装置
DESCRIPTION OF
Claims (8)
時系列的に連なる複数の画像を対象として、前記眼開度検出手段により検出された前記眼の開度の時系列的推移を検出する眼開度推移検出手段と、
前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移に基づいて覚醒度を判定する覚醒度判定手段と、
前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移に基づいて、前記眼開度検出手段による前記眼の開度の検出結果に対する信頼度を判定する信頼度判定手段と、を備え、
前記信頼度判定手段は、前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移を時間微分し、得られた時系列的推移の時間微分値の分布について、前記時間微分値の絶対値が所定の閾値を上回る頻度を求め、得られた前記頻度に応じて、前記信頼度を判定するものであることを特徴とする覚醒度推定装置。 Eye opening degree detecting means for detecting an eye opening degree included in the image;
Eye opening transition detecting means for detecting a time series transition of the eye opening detected by the eye opening detecting means for a plurality of time series images,
Arousal degree determination means for determining arousal level based on a time-series transition of the opening degree of the eye detected by the eye opening degree transition detection means;
Reliability determination means for determining the reliability of the detection result of the eye opening by the eye opening detection means based on the time-series transition of the eye opening detected by the eye opening change detection means and, the Bei example,
The reliability determination means time-differentiates the time-series transition of the eye opening detected by the eye-opening transition detection means, and the distribution of the time-differential value of the obtained time-series transition is the time seeking the frequency the absolute value of the differential value exceeds a predetermined threshold value, depending on the frequency obtained, the reliability awakening level estimation apparatus according to claim and this is intended to determine.
前記信頼度を判定する基準となる前記頻度を求めるための基準時間間隔、または該頻度に応じた前記信頼度の判定を行うための基準頻度の値に対して、前記検出対象となる画像に写る被検体の個体差に応じた補正を施すことを特徴とする請求項1から6のうちいずれか1項に記載の覚醒度推定装置。 The reliability determination means includes
A reference time interval for obtaining the frequency serving as a reference for determining the reliability, or a reference frequency value for performing the reliability determination according to the frequency is reflected in the image to be detected. The arousal level estimation apparatus according to any one of claims 1 to 6, wherein correction according to individual differences of subjects is performed .
(2)前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移を時間微分して得られた時系列的推移の時間微分値の分布について、前記時間微分値が負となる範囲のうち、または前記時間微分値が正となる範囲のうち、該範囲の面積の絶対値が所定値を上回り、かつ、前記時間微分値が所定の基準範囲内である積算面積範囲の面積を逐次積算し、
(3)前記積算面積範囲の面積を逐次積算して得られた積算値が、所定の期間内に、所定値を超えたとき、
前記覚醒度判定手段は、覚醒度が低下していると判定することを特徴とする請求項1から7のうちいずれか1項に記載の覚醒度推定装置。 (1) The reliability determination result by the reliability determination means is high,
(2) With respect to the distribution of the time differential value of the time series transition obtained by time differentiation of the time series transition of the eye opening detected by the eye opening transition detection means, the time differential value is negative. Of the integrated area range in which the absolute value of the area of the range exceeds a predetermined value and the time differential value is within a predetermined reference range. Accumulate area sequentially,
(3) When the integrated value obtained by sequentially integrating the areas of the integrated area range exceeds a predetermined value within a predetermined period,
The wakefulness level determination unit according to any one of claims 1 to 7, wherein the wakefulness level determination unit determines that the wakefulness level has decreased .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006067219A JP4742921B2 (en) | 2006-03-13 | 2006-03-13 | Awakening level estimation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006067219A JP4742921B2 (en) | 2006-03-13 | 2006-03-13 | Awakening level estimation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007241937A JP2007241937A (en) | 2007-09-20 |
JP4742921B2 true JP4742921B2 (en) | 2011-08-10 |
Family
ID=38587370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006067219A Expired - Fee Related JP4742921B2 (en) | 2006-03-13 | 2006-03-13 | Awakening level estimation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4742921B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4582137B2 (en) | 2007-10-11 | 2010-11-17 | 株式会社デンソー | Sleepiness level determination device |
JP5005492B2 (en) * | 2007-10-17 | 2012-08-22 | 富士重工業株式会社 | Safe driving support system |
JP5055166B2 (en) * | 2008-02-29 | 2012-10-24 | キヤノン株式会社 | Eye open / closed degree determination device, method and program, and imaging device |
JP5191306B2 (en) * | 2008-08-08 | 2013-05-08 | 本田技研工業株式会社 | Vehicle driving support device |
JP4957711B2 (en) * | 2008-12-02 | 2012-06-20 | オムロン株式会社 | Detection apparatus and method, and program |
JP5177011B2 (en) * | 2009-02-25 | 2013-04-03 | 株式会社デンソー | Eye opening degree identification device |
JP2010217955A (en) * | 2009-03-13 | 2010-09-30 | Omron Corp | Detection device, evaluation device and method, and program |
JP5493593B2 (en) * | 2009-08-26 | 2014-05-14 | アイシン精機株式会社 | Sleepiness detection apparatus, sleepiness detection method, and program |
JP5327064B2 (en) * | 2010-01-08 | 2013-10-30 | 株式会社デンソー | Awakening support device |
JP5871290B2 (en) * | 2014-04-11 | 2016-03-01 | 学校法人 名古屋電気学園 | Communication system and blink determination method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000199703A (en) * | 1999-01-06 | 2000-07-18 | Niles Parts Co Ltd | Device for detecting state of eyes and device for warning on dozing at wheel |
JP2001199296A (en) * | 2000-01-17 | 2001-07-24 | Matsushita Electric Ind Co Ltd | Warning device, driver's seat having vibrating body, and mobile body equipped with warning device on vehicle |
JP2004041485A (en) * | 2002-07-12 | 2004-02-12 | Tokai Rika Co Ltd | Closed/open eye monitoring device |
JP2004192551A (en) * | 2002-12-13 | 2004-07-08 | Nissan Motor Co Ltd | Eye opening/closing determining apparatus |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3286887B2 (en) * | 1995-11-28 | 2002-05-27 | 三菱電機株式会社 | Face image processing apparatus and face image processing method |
-
2006
- 2006-03-13 JP JP2006067219A patent/JP4742921B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000199703A (en) * | 1999-01-06 | 2000-07-18 | Niles Parts Co Ltd | Device for detecting state of eyes and device for warning on dozing at wheel |
JP2001199296A (en) * | 2000-01-17 | 2001-07-24 | Matsushita Electric Ind Co Ltd | Warning device, driver's seat having vibrating body, and mobile body equipped with warning device on vehicle |
JP2004041485A (en) * | 2002-07-12 | 2004-02-12 | Tokai Rika Co Ltd | Closed/open eye monitoring device |
JP2004192551A (en) * | 2002-12-13 | 2004-07-08 | Nissan Motor Co Ltd | Eye opening/closing determining apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2007241937A (en) | 2007-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4742921B2 (en) | Awakening level estimation device | |
US10336188B2 (en) | Vehicle display system and method of controlling vehicle display system | |
US20180268230A1 (en) | Vehicle display system and method of controlling vehicle display system | |
EP1933256B1 (en) | Eye closure recognition system and method | |
JP5109922B2 (en) | Driver monitoring device and program for driver monitoring device | |
US7835834B2 (en) | Method of mitigating driver distraction | |
Ahmed et al. | Robust driver fatigue recognition using image processing | |
JP5466610B2 (en) | Gaze estimation device | |
JP2016537934A (en) | Camera covering state recognition method, camera system, and automobile | |
JP6870660B2 (en) | Driver monitoring device | |
EP1798688A2 (en) | Method of locating a human eye in a video image | |
JP2822799B2 (en) | Driver status detection device | |
JP2009219555A (en) | Drowsiness detector, driving support apparatus, drowsiness detecting method | |
JP2004192551A (en) | Eye opening/closing determining apparatus | |
JP2936943B2 (en) | Driver status detection device | |
JP2009125518A (en) | Driver's blink detection method, driver's awakening degree determination method, and device | |
JP3531503B2 (en) | Eye condition detection device and drowsy driving alarm device | |
JP2020194227A (en) | Face hiding determination device, face hiding determination method, face hiding determination program, and occupant monitoring system | |
CN113879321B (en) | Driver monitoring device and driver monitoring method | |
JP4888707B2 (en) | Suspicious person detection device | |
JPH11161798A (en) | Vehicle driver monitoring device | |
JP2000301962A (en) | Eye condition detecting device and alarm device for sleep during driving | |
JP4973613B2 (en) | Driver status detection device | |
JPH10143669A (en) | Dozing state detecting device | |
US20200290544A1 (en) | Occupant observation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101228 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110425 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |