JP4623044B2 - Eye open / closed state detection device - Google Patents

Eye open / closed state detection device Download PDF

Info

Publication number
JP4623044B2
JP4623044B2 JP2007105162A JP2007105162A JP4623044B2 JP 4623044 B2 JP4623044 B2 JP 4623044B2 JP 2007105162 A JP2007105162 A JP 2007105162A JP 2007105162 A JP2007105162 A JP 2007105162A JP 4623044 B2 JP4623044 B2 JP 4623044B2
Authority
JP
Japan
Prior art keywords
eye
subject
calculated
closed state
vertical width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007105162A
Other languages
Japanese (ja)
Other versions
JP2008262417A (en
Inventor
健一 大上
健太郎 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2007105162A priority Critical patent/JP4623044B2/en
Publication of JP2008262417A publication Critical patent/JP2008262417A/en
Application granted granted Critical
Publication of JP4623044B2 publication Critical patent/JP4623044B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、被験者の眼の開閉状態を検出する眼の開閉状態検出装置に関する。   The present invention relates to an eye open / closed state detection device that detects the open / closed state of a subject's eye.

従来から、被験者の眼の上瞼と眉毛との間の縦幅に基づいて眼の開閉状態を検出する技術が知られている(例えば、特許文献1参照)。
特開2001−307076号公報
Conventionally, a technique for detecting the open / closed state of the eye based on the vertical width between the upper eyelid and the eyebrows of the subject's eye is known (see, for example, Patent Document 1).
JP 2001-307076 A

しかしながら、上記の特許文献1に記載されるような構成では、被験者が、眼の上瞼と眉毛との間にアイシャドーをつけていると、アイシャドーの上端位置が眼の上瞼位置と誤検出される虞がある。アイシャドーの上端位置は、上瞼位置とは異なり、被験者の眼の開閉に関わらず変化しないことから、かかる誤検出が生ずると、眼の開閉状態を精度良く検出することができないという問題が生ずる。   However, in the configuration described in Patent Document 1 above, if the subject wears an eye shadow between the upper eyelid of the eye and the eyebrows, the upper end position of the eye shadow is mistaken for the upper eyelid position of the eye. There is a risk of detection. Unlike the upper eyelid position, the upper end position of the eye shadow does not change regardless of whether the subject's eyes are opened or closed. Therefore, if such an erroneous detection occurs, the eye opening / closing state cannot be accurately detected. .

そこで、本発明は、被験者がアイシャドーを付けている場合でも被験者の眼の開閉状態を精度良く検出することができる眼の開閉状態検出装置の提供を目的とする。   Therefore, an object of the present invention is to provide an eye open / closed state detection device capable of accurately detecting the open / closed state of the subject's eye even when the subject wears an eye shadow.

上記目的を達成するため、第1の発明は、被験者の顔を撮像する撮像手段と、
前記撮像された画像のエッジを抽出するエッジ抽出手段とを備え、
前記抽出されたエッジに基づいて被験者の眼球位置における白領域の縦幅を、眼球周囲の白領域における画像垂直ライン方向の最も上方位置と、下瞼により境界付けられる眼球底辺との間の画像垂直ライン方向の距離から算出し、該算出した白領域の縦幅に基づいて、眼の開閉状態を検出することを特徴とする。
In order to achieve the above object, the first invention comprises imaging means for imaging the face of a subject,
Edge extraction means for extracting an edge of the captured image,
Based on the extracted edge, the vertical width of the white area at the eyeball position of the subject is determined based on the vertical image position between the uppermost position in the image vertical line direction in the white area around the eyeball and the base of the eyeball bounded by the lower eyelid. It is calculated from the distance in the line direction, and the eye open / closed state is detected based on the calculated vertical width of the white area.

第2の発明は、被験者の顔を撮像する撮像手段と、
前記撮像された画像のエッジを抽出するエッジ抽出手段と、
前記抽出されたエッジに基づいて被験者の眼の上瞼と眉毛との間にアイシャドーが付けられているか否かを判定する判定手段と、
アイシャドーが付けられている場合には、前記抽出されたエッジに基づいて被験者の眼球位置における白領域の縦幅を算出し、該算出した白領域の縦幅に基づいて、眼の開閉状態を検出し、アイシャドーが付けられていない場合には、前記抽出されたエッジに基づいて眼の上瞼と眉毛との間の縦幅を算出し、該算出した縦幅に基づいて、眼の開閉状態を検出することを特徴とする。
The second invention comprises imaging means for imaging the face of the subject;
Edge extraction means for extracting an edge of the captured image;
Determining means for determining whether an eye shadow is attached between the upper eyelid and eyebrows of the eye of the subject based on the extracted edge;
When the eye shadow is attached, the vertical width of the white area at the eyeball position of the subject is calculated based on the extracted edge, and the open / closed state of the eye is determined based on the calculated vertical width of the white area. If no eye shadow is detected, the vertical width between the upper eyelid and the eyebrows is calculated based on the extracted edge, and the eye opening / closing is calculated based on the calculated vertical width. It is characterized by detecting a state.

本発明によれば、被験者がアイシャドーを付けている場合でも被験者の眼の開閉状態を精度良く検出することができる眼の開閉状態検出装置が得られる。   According to the present invention, it is possible to obtain an eye open / closed state detection device that can accurately detect the open / closed state of the subject's eye even when the subject wears an eye shadow.

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。   The best mode for carrying out the present invention will be described below with reference to the drawings.

図1は、本発明の眼の開閉状態検出装置の一実施例の主要構成を示す構成図である。本実施例の眼の開閉状態検出装置1は、被験者の顔を撮像する顔検出カメラ10と、画像処理ECU20とを備える。画像処理ECU20には、CAN(controller area network)などの適切な通信ラインを介して、ミリ波レーダ30と、衝突判断ECU40と、ブレーキECU50と、メータ60とが接続されている。衝突判断ECU40は、ミリ波レーダ30から得られる車両周辺の障害物と車両との相対関係に基づいて、衝突の可能性があると判定した場合には、メータ60を介して警告を出力し、更に衝突が不可避であると判定した場合には、ブレーキECU50により介入制動を行う。   FIG. 1 is a configuration diagram showing the main configuration of an embodiment of the eye open / closed state detection device of the present invention. The eye open / closed state detection apparatus 1 according to the present embodiment includes a face detection camera 10 that captures an image of a subject's face and an image processing ECU 20. The image processing ECU 20 is connected to a millimeter wave radar 30, a collision determination ECU 40, a brake ECU 50, and a meter 60 via an appropriate communication line such as a CAN (controller area network). When the collision determination ECU 40 determines that there is a possibility of a collision based on the relative relationship between the obstacle around the vehicle obtained from the millimeter wave radar 30 and the vehicle, the collision determination ECU 40 outputs a warning via the meter 60, Further, when it is determined that a collision is unavoidable, the brake ECU 50 performs intervention braking.

顔検出カメラ10は、例えばCCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等を撮像素子としたセンサアレイを備えるカメラであってよい。顔検出カメラ10は、濃淡画像(例えば256階調の濃淡画像)を取得するものであってよい。顔検出カメラ10は、運転者の前面(例えば運転者の顔部を前方から)を捕捉可能なように、車両の適切な箇所に設けられる。例えば、顔検出カメラ10は、ステアリングコラム又はメータ内に配置される。顔検出カメラ10は、車両走行中にリアルタイムに運転者の顔部の画像(以下、「顔画像」という)を取得し、典型的には30fps (frame per second)のストリーム形式で、画像処理装置20に供給するものであってよい。   The face detection camera 10 may be a camera including a sensor array using, for example, a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) as an image sensor. The face detection camera 10 may acquire a grayscale image (for example, a grayscale grayscale image). The face detection camera 10 is provided at an appropriate location of the vehicle so that the front surface of the driver (for example, the driver's face from the front) can be captured. For example, the face detection camera 10 is disposed in a steering column or a meter. The face detection camera 10 acquires an image of the driver's face (hereinafter referred to as a “face image”) in real time while the vehicle is running, and is typically an image processing device in a stream format of 30 fps (frame per second). 20 may be supplied.

画像処理装置20は、ハードウェア構成としては、適切なプロセッサ(例えばDSP:digital signal processor)ないしマイクロコンピューターを中心に構成され、以下で説明する各種画像処理を行うCPUや、以下で説明する各種画像処理を行うために用いられるプログラム及びデータが格納されたROM、演算結果等を格納する読書き可能なRAM、タイマ、カウンタ、入力インターフェイス、及び出力インターフェイス等を有する。   The image processing apparatus 20 is configured with an appropriate processor (for example, DSP: digital signal processor) or a microcomputer as a hardware configuration, and performs various image processing described below, and various images described below. It includes a ROM storing programs and data used for processing, a readable / writable RAM storing operation results, a timer, a counter, an input interface, an output interface, and the like.

図2は、画像処理装置20により実行される主要処理の一例を示すフローチャートである。図3は、顔画像のおける眼付近の領域を模式的に示す図である。   FIG. 2 is a flowchart illustrating an example of main processing executed by the image processing apparatus 20. FIG. 3 is a diagram schematically showing a region near the eye in the face image.

ステップ100では、顔画像のおける鼻の位置が検出される。鼻の位置は、例えば鼻の穴(2つ)を特徴として検出されてよい。   In step 100, the position of the nose in the face image is detected. The position of the nose may be detected using, for example, two nostrils.

ステップ102では、検出された鼻の位置に基づいて、眼ウインドウの位置が決定される。眼ウインドウの位置は、鼻と眼の幾何学的な位置関係に基づいて適切に決定される。例えば、眼ウインドウは、鼻の位置を中心として画像の上方向両側に2箇所設定される。眼ウインドウは、眼の全体範囲をカバーできるようなサイズを有するが、顔における鼻に対する眼の相対位置に個人差があることや、同一の運転者においても顔向きの相違に応じて同相対位置が変化しうることを考慮して、ある程度の余裕分を有したサイズに設定される。   In step 102, the position of the eye window is determined based on the detected position of the nose. The position of the eye window is appropriately determined based on the geometric positional relationship between the nose and the eye. For example, two eye windows are set on both upper sides of the image with the nose position as the center. The eye window has a size that can cover the entire range of the eye, but there are individual differences in the relative position of the eyes with respect to the nose in the face, and even in the same driver according to the difference in face orientation Is set to a size having a certain margin.

ステップ104では、眼ウインドウ内の領域に対してエッジ抽出処理が実行される。エッジ抽出処理は、例えばSobelのエッジ検出アルゴリズムを適用して実行されてよい。例えば、一般的な3×3のエッジ抽出用フィルタ(例えばSobelフィルタ)を用いて眼ウインドウ内の横エッジ及び縦エッジが抽出される。   In step 104, edge extraction processing is performed on the region in the eye window. The edge extraction process may be executed by applying, for example, Sobel's edge detection algorithm. For example, the horizontal edge and the vertical edge in the eye window are extracted using a general 3 × 3 edge extraction filter (for example, Sobel filter).

ステップ106では、上記のステップ104で抽出されたエッジに基づいて、眼球の箇所が特定される。眼球の箇所は、横方向に探索を行った際に白、黒、白と変化することに起因して抽出されるエッジに基づいて特定される。即ち、水平ライン上で横方向に探索を行った際に、眼球のある領域では、濃淡値が白から黒への遷移し、次いで、濃淡値の黒から白へと遷移するので、この特徴を検出することにより、眼球の箇所が特定される。或いは、眼球の箇所は、眼球が丸い形状を有しているという特徴を利用して、曲率に基づいて特定されてもよい。   In step 106, the location of the eyeball is specified based on the edge extracted in step 104 above. The location of the eyeball is specified based on the edge extracted due to the change from white to black to white when searching in the horizontal direction. That is, when searching in the horizontal direction on the horizontal line, in the region where the eyeball is located, the gray value transitions from white to black, and then the gray value from black to white. By detecting, the location of the eyeball is specified. Alternatively, the location of the eyeball may be specified based on the curvature using the feature that the eyeball has a round shape.

ステップ108では、眼球周囲の白領域で最もY軸方向の高いポイント(図3のA点参照)が特定される。即ち、眼球周囲の白領域における垂直ライン方向の最も上方位置にあるポイントが特定される。   In step 108, the highest point in the Y-axis direction (see point A in FIG. 3) is specified in the white region around the eyeball. That is, the point at the uppermost position in the vertical line direction in the white region around the eyeball is specified.

ステップ110では、上記ステップ108で特定されたポイントと、眼球底辺との間のY軸方向の距離L(図3参照)が算出される。即ち、眼球周囲の白領域の縦幅の最大値が算出される。   In step 110, a distance L (see FIG. 3) in the Y-axis direction between the point specified in step 108 and the base of the eyeball is calculated. That is, the maximum value of the vertical width of the white area around the eyeball is calculated.

ステップ112では、上記ステップ110で算出された距離Lを、眼の開度とみなして、被験者の眼の状態が評価される。例えば、上記ステップ110で算出された距離L(眼の開度)が所定値以下であるか否かを判定することにより、運転者の眼が閉じられているか否かが判定される。尚、この判定結果は、警報制御に利用されてよい。例えば運転者の眼の閉じた時間の長さを検出し、当該時間の長さが所定時間以上となった場合に運転者の覚醒度が低下したと判断して、例えばメータ60に警報を出力してよい。或いは、この判定結果は、衝突判断ECU40によるプリクラッシュ制御に利用されてよい。例えば運転者の眼の閉じた時間の長さを検出し、当該時間の長さが所定時間以上となった場合に運転者の覚醒度が低下したと判断して、衝突の危険性があると判定した場合に実行する警報の出力タイミングを早めてもよい(即ち警報前出しを実行してもよい)。   In step 112, the distance L calculated in step 110 is regarded as the eye opening, and the eye state of the subject is evaluated. For example, it is determined whether or not the driver's eyes are closed by determining whether or not the distance L (eye opening) calculated in step 110 is equal to or less than a predetermined value. This determination result may be used for alarm control. For example, the length of time when the driver's eyes are closed is detected, and when the length of the time exceeds a predetermined time, it is determined that the driver's arousal level has decreased, and an alarm is output to the meter 60, for example. You can do it. Alternatively, this determination result may be used for pre-crash control by the collision determination ECU 40. For example, if the length of time that the driver's eyes are closed is detected, and the length of the time exceeds a predetermined time, it is determined that the driver's arousal level has decreased, and there is a risk of a collision. An alarm output timing to be executed when the determination is made may be advanced (that is, an alarm warning may be executed).

ここで、図4乃至図6を参照して、上述の本実施例による眼の開閉状態検出装置1の効果について説明する。   Here, with reference to FIG. 4 thru | or FIG. 6, the effect of the eye open / closed state detection apparatus 1 by the above-mentioned present Example is demonstrated.

図4及び図5は、被験者の眼の開閉状態が被験者の眼の上瞼と眉毛との間の縦幅に基づいて検出される比較例による検出方法の説明図である。具体的には、図4(A)は、アイシャドー(化粧品)を付けていない被験者の眼が開いている状態を示し、図4(B)は、アイシャドーを付けていない被験者の眼が閉じかけている状態(覚醒度が低い状態)を示している。図5(A)は、アイシャドーを付けた被験者の眼が開いている状態を示し、図5(B)は、アイシャドーを付けた被験者の眼が閉じかけている状態を示している。   4 and 5 are explanatory diagrams of a detection method according to a comparative example in which the open / closed state of the subject's eye is detected based on the vertical width between the upper eyelid and the eyebrows of the subject's eye. Specifically, FIG. 4 (A) shows a state in which the eye of a subject not wearing eye shadow (cosmetics) is open, and FIG. 4 (B) shows that the eye of a subject not wearing eye shadow is closed. It shows a state of being applied (a state of low arousal level). FIG. 5A shows a state where the eye of the subject wearing the eye shadow is open, and FIG. 5B shows a state where the eye of the subject wearing the eye shadow is closing.

図6は、本実施例による検出方法の説明図であり、図6(A)は、アイシャドーを付けた被験者の眼が開いている状態を示し、図6(B)は、アイシャドーを付けた被験者の眼が閉じかけている状態を示している。   6A and 6B are explanatory diagrams of the detection method according to the present embodiment. FIG. 6A shows a state in which the eye of the subject wearing the eye shadow is open, and FIG. 6B shows the eye shadow attached. This shows a state in which the subject's eyes are closing.

比較例によれば、被験者がアイシャドーを付けていない場合には、図4(A)及び図4(B)に示すように、眼の開閉に伴って、被験者の眼の上瞼と眉毛との間の縦幅Dが変化するので、被験者の眼の開閉状態を精度良く検出することは可能である。しかしながら、被験者がアイシャドーを付けている場合には、アイシャドーの部分の画素の濃淡値が黒に近いので、アイシャドーの上端位置が、被験者の眼の上瞼位置として誤検出され易くなる。かかる誤検出が生ずると、アイシャドーの上端位置と眉毛との間の縦幅Dが、図5(A)及び図5(B)に示すように、被験者の眼の上瞼と眉毛との間の縦幅として誤って算出される。この場合、アイシャドーの上端位置は、図5(A)及び図5(B)に示すように、眼の開閉に伴って変化しないので、被験者の眼の開閉状態を精度良く検出することができなくなる。   According to the comparative example, when the subject does not have an eye shadow, as shown in FIGS. 4A and 4B, the upper eyelid and eyebrows of the subject's eyes Since the vertical width D changes between the two, it is possible to accurately detect the open / closed state of the eye of the subject. However, when the subject wears an eye shadow, the gray value of the pixel in the eye shadow portion is close to black, so that the upper end position of the eye shadow is likely to be erroneously detected as the upper eyelid position of the subject's eyes. When such a false detection occurs, the vertical width D between the upper end position of the eye shadow and the eyebrows is between the upper eyelid and the eyebrows of the eye of the subject as shown in FIGS. 5 (A) and 5 (B). Is calculated incorrectly as the vertical width of. In this case, as shown in FIGS. 5 (A) and 5 (B), the upper end position of the eye shadow does not change with the opening and closing of the eyes, so that the open / closed state of the subject's eyes can be detected with high accuracy. Disappear.

これに対して、本実施例によれば、上述の如く、被験者の白目領域の縦幅Lに基づいて、被験者の眼の開閉状態が評価される。被験者の白目領域の縦幅Lは、図6(A)及び図6(B)に示すように、被験者がアイシャドーを付けている場合であっても、眼の開閉に伴って変化するので、被験者の眼の開閉状態を精度良く検出することができる。即ち、本実施例によれば、アイシャドーの有無に影響を受けることなく、被験者の眼の開閉状態を精度良く検出することができる。   On the other hand, according to the present embodiment, as described above, the open / closed state of the subject's eyes is evaluated based on the vertical width L of the subject's white eye region. The vertical width L of the subject's white eye region changes with the opening and closing of the eyes, even when the subject is wearing an eye shadow, as shown in FIGS. 6 (A) and 6 (B). The open / closed state of the eye of the subject can be detected with high accuracy. That is, according to the present embodiment, it is possible to accurately detect the open / closed state of the subject's eyes without being affected by the presence or absence of eye shadow.

図7は、画像処理装置20により実行される主要処理のその他の一例を示すフローチャートである。図7の処理に関して、上述の図2を参照して説明した処理と同一であってよい処理については、同一のステップ番号を付して説明を省略する。   FIG. 7 is a flowchart showing another example of main processing executed by the image processing apparatus 20. Regarding the processing in FIG. 7, processing that may be the same as the processing described with reference to FIG. 2 described above is denoted by the same step number and description thereof is omitted.

ステップ114では、上記のステップ104で抽出されたエッジに基づいて、被験者がアイシャドーを付けているか否かが判定される。例えば、眼球周囲の白領域の上端位置と、垂直ラインに沿った上方向に延びる黒領域R(図6(A)参照)の上端位置との間のY軸方向の距離d(図6(A)参照)を算出し、該算出した距離dが所定値以上の場合に、被験者がアイシャドーを付けていると判定し、距離dが所定値未満の場合には、被験者がアイシャドーを付けていないと判定する。黒領域Rは、縦方向に探索を行った際に白、黒、白と変化することに起因して抽出されるエッジに基づいて特定されてよい。被験者がアイシャドーを付けていると判定した場合には、ステップ120に進み、それ以外の場合には、ステップ116に進む。   In step 114, it is determined whether or not the subject is wearing an eye shadow based on the edge extracted in step 104 above. For example, the distance d (FIG. 6A) between the upper end position of the white area around the eyeball and the upper end position of the black area R (see FIG. 6A) extending upward along the vertical line. If the calculated distance d is greater than or equal to a predetermined value, it is determined that the subject is wearing an eye shadow. If the distance d is less than the predetermined value, the subject is wearing an eye shadow. Judge that there is no. The black region R may be specified based on the edge extracted due to the change from white to black to white when searching in the vertical direction. If it is determined that the subject is wearing an eye shadow, the process proceeds to step 120. Otherwise, the process proceeds to step 116.

ステップ116では、上述の図2のステップ106乃至110の処理と同様の態様で、眼球周囲の白領域の縦幅Lが算出される。   In step 116, the vertical width L of the white region around the eyeball is calculated in the same manner as the processing in steps 106 to 110 in FIG.

ステップ118では、上述の図2のステップ112の処理と同様の態様で、上記ステップ116で算出された距離Lを、眼の開度とみなして、被験者の眼の状態が評価される。この評価結果は、上述の図2のステップ112の評価結果と同様、警報制御やプリクラッシュ制御に利用されてよい。   In step 118, the eye state of the subject is evaluated in the same manner as the process in step 112 of FIG. 2 described above, regarding the distance L calculated in step 116 as the eye opening. This evaluation result may be used for alarm control and pre-crash control, similar to the evaluation result in step 112 of FIG.

ステップ120では、上記のステップ104で抽出されたエッジに基づいて、被験者の眼の上瞼と眉毛との間の縦幅D(図4(A)参照)が算出される。   In step 120, based on the edge extracted in step 104 above, a vertical width D (see FIG. 4A) between the upper eyelid and eyebrows of the subject's eye is calculated.

ステップ122では、上記ステップ120で算出された縦幅Dに基づいて、被験者の眼の状態が評価される。例えば、上記ステップ120で算出された縦幅Dが所定値以下であるか否かを判定することにより、運転者の眼が閉じられているか否かが判定される。尚、この判定結果は、上述の図2のステップ112(又は図7のステップ118)の判定結果と同様、警報制御やプリクラッシュ制御に利用されてよい。   In step 122, the eye state of the subject is evaluated based on the vertical width D calculated in step 120. For example, it is determined whether or not the driver's eyes are closed by determining whether or not the vertical width D calculated in step 120 is equal to or less than a predetermined value. This determination result may be used for alarm control or pre-crash control, similar to the determination result in step 112 of FIG. 2 (or step 118 of FIG. 7).

この図7に示す処理によれば、被験者がアイシャドーを付けているか否かに応じて、被験者の眼の状態の評価方法が可変されるので、アイシャドーの有無に応じて精度良く被験者の眼の状態を検出することができる。特に、被験者がアイシャドーを付けていない場合には、検出が容易な被験者の眼の上瞼と眉毛との間の縦幅Dに基づいて、精度良く被験者の眼の状態を検出することができる。   According to the process shown in FIG. 7, since the method for evaluating the eye state of the subject is variable depending on whether or not the subject is wearing eye shadow, the eye of the subject can be accurately determined according to the presence or absence of eye shadow. The state of can be detected. In particular, when the subject does not have an eye shadow, the eye state of the subject can be accurately detected based on the vertical width D between the upper eyelid and eyebrows of the subject's eye, which is easy to detect. .

尚、上述の実施例においては、添付の特許請求の範囲における「エッジ抽出手段」は、画像処理装置20が図2又は図7のステップ104の処理を実行することにより実現され、同特許請求の範囲における「判定手段」は、画像処理装置20が図7のステップ114の処理を実行することにより実現されている。   In the above-described embodiments, the “edge extraction means” in the appended claims is realized by the image processing apparatus 20 executing the process of step 104 in FIG. 2 or FIG. The “determination means” in the range is realized by the image processing apparatus 20 executing the process of step 114 in FIG.

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。   The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.

本発明の開閉状態検出装置1の一実施例の主要構成を示す構成図である。It is a block diagram which shows the main structures of one Example of the opening / closing state detection apparatus 1 of this invention. 画像処理装置20により実行される主要処理の一例を示すフローチャートである。4 is a flowchart illustrating an example of main processing executed by the image processing apparatus 20. 顔画像のおける眼付近の領域を模式的に示す図である。It is a figure which shows typically the area | region near the eye which a face image can have. 比較例の説明図であり、図4(A)は、アイシャドーを付けていない被験者の眼が開いている状態を示し、図4(B)は、アイシャドーを付けていない被験者の眼が閉じかけている状態を示す図である。4A and 4B are explanatory diagrams of a comparative example, in which FIG. 4A shows a state in which the eye of a subject not wearing an eye shadow is open, and FIG. 4B shows that the eye of a subject not wearing an eye shadow is closed. It is a figure which shows the state which has applied. 比較例の説明図であり、図5(A)は、アイシャドーを付けた被験者の眼が開いている状態を示し、図5(B)は、アイシャドーを付けた被験者の眼が閉じかけている状態を示す図である。5A and 5B are explanatory diagrams of a comparative example, in which FIG. 5A shows a state in which the eye of a subject with an eye shadow is open, and FIG. 5B shows that the eye of the subject with an eye shadow is closed. FIG. 本実施例の説明図であり、図6(A)は、アイシャドーを付けた被験者の眼が開いている状態を示し、図6(B)は、アイシャドーを付けた被験者の眼が閉じかけている状態を示す図である。FIG. 6A is an explanatory diagram of the present embodiment, and FIG. 6A shows a state where the eye of the subject with the eye shadow is open, and FIG. 6B shows that the eye of the subject with the eye shadow is closed. FIG. 画像処理装置20により実行される主要処理のその他の一例を示すフローチャートである。12 is a flowchart illustrating another example of main processing executed by the image processing apparatus 20.

符号の説明Explanation of symbols

10 顔検出カメラ
20 画像処理ECU
30 ミリ波レーダ
40 衝突判断ECU
50 ブレーキECU
60 メータ
10 face detection camera 20 image processing ECU
30 Millimeter wave radar 40 Collision judgment ECU
50 Brake ECU
60 meters

Claims (2)

被験者の顔を撮像する撮像手段と、
前記撮像された画像のエッジを抽出するエッジ抽出手段とを備え、
前記抽出されたエッジに基づいて被験者の眼球位置における白領域の縦幅を、眼球周囲の白領域における画像垂直ライン方向の最も上方位置と、下瞼により境界付けられる眼球底辺との間の画像垂直ライン方向の距離から算出し、該算出した白領域の縦幅に基づいて、眼の開閉状態を検出することを特徴とする、眼の開閉状態検出装置。
Imaging means for imaging the face of the subject;
Edge extraction means for extracting an edge of the captured image,
Based on the extracted edge, the vertical width of the white area at the eyeball position of the subject is determined based on the vertical image position between the uppermost position in the image vertical line direction in the white area around the eyeball and the base of the eyeball bounded by the lower eyelid. An eye open / closed state detection device that calculates an open / closed state of an eye based on the calculated vertical width of a white region, calculated from a distance in a line direction .
被験者の顔を撮像する撮像手段と、
前記撮像された画像のエッジを抽出するエッジ抽出手段と、
前記抽出されたエッジに基づいて被験者の眼の上瞼と眉毛との間にアイシャドーが付けられているか否かを判定する判定手段と、
アイシャドーが付けられている場合には、前記抽出されたエッジに基づいて被験者の眼球位置における白領域の縦幅を算出し、該算出した白領域の縦幅に基づいて、眼の開閉状態を検出し、アイシャドーが付けられていない場合には、前記抽出されたエッジに基づいて眼の上瞼と眉毛との間の縦幅を算出し、該算出した縦幅に基づいて、眼の開閉状態を検出することを特徴とする、眼の開閉状態検出装置。
Imaging means for imaging the face of the subject;
Edge extraction means for extracting an edge of the captured image;
Determining means for determining whether an eye shadow is attached between the upper eyelid and eyebrows of the eye of the subject based on the extracted edge;
When the eye shadow is attached, the vertical width of the white area at the eyeball position of the subject is calculated based on the extracted edge, and the open / closed state of the eye is determined based on the calculated vertical width of the white area. If no eye shadow is detected, the vertical width between the upper eyelid and the eyebrows is calculated based on the extracted edge, and the eye opening / closing is calculated based on the calculated vertical width. An eye open / closed state detecting device, characterized by detecting a state.
JP2007105162A 2007-04-12 2007-04-12 Eye open / closed state detection device Expired - Fee Related JP4623044B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007105162A JP4623044B2 (en) 2007-04-12 2007-04-12 Eye open / closed state detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007105162A JP4623044B2 (en) 2007-04-12 2007-04-12 Eye open / closed state detection device

Publications (2)

Publication Number Publication Date
JP2008262417A JP2008262417A (en) 2008-10-30
JP4623044B2 true JP4623044B2 (en) 2011-02-02

Family

ID=39984839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007105162A Expired - Fee Related JP4623044B2 (en) 2007-04-12 2007-04-12 Eye open / closed state detection device

Country Status (1)

Country Link
JP (1) JP4623044B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11212483B2 (en) 2020-02-14 2021-12-28 Perfect Mobile Corp. Systems and methods for event-based playback control during virtual application of makeup effects

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469085B (en) * 2023-03-30 2024-04-02 万联易达物流科技有限公司 Monitoring method and system for risk driving behavior

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178676A (en) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd Arousal level decision apparatus

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143819B2 (en) * 1994-05-20 2001-03-07 株式会社豊田中央研究所 Eyelid opening detector

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178676A (en) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd Arousal level decision apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11212483B2 (en) 2020-02-14 2021-12-28 Perfect Mobile Corp. Systems and methods for event-based playback control during virtual application of makeup effects

Also Published As

Publication number Publication date
JP2008262417A (en) 2008-10-30

Similar Documents

Publication Publication Date Title
EP2074550B1 (en) Eye opening detection system and method of detecting eye opening
JP6220327B2 (en) Traveling lane marking recognition device, traveling lane marking recognition program
JP5078815B2 (en) Eye opening degree estimation device
JP5790762B2 (en) 瞼 Detection device
JP5737401B2 (en) 瞼 Detection device
KR20120089528A (en) System and method for warning lane departure
US9367751B2 (en) Object detection device for area around vehicle
JP2010013090A (en) Driver's condition monitoring system
US9619717B2 (en) Lane-line recognition apparatus
KR20000076473A (en) Face-image processing apparatus
JP4989249B2 (en) Eye detection device, dozing detection device, and method of eye detection device
US9542607B2 (en) Lane boundary line recognition device and computer-readable storage medium storing program of recognizing lane boundary lines on roadway
JP2019087170A (en) Eyelid opening determination device and sleepiness detector
JP4795281B2 (en) Vehicle safety device
JP2008257575A (en) Sleeping state detecting method, sleeping state detector, sleeping state detecting system and computer program
JP4623044B2 (en) Eye open / closed state detection device
JP2004192551A (en) Eye opening/closing determining apparatus
JP5493676B2 (en) Eye position recognition device
JP4978574B2 (en) Eye detection device
JP4781292B2 (en) Closed eye detection device, dozing detection device, closed eye detection method, and closed eye detection program
EP2579229A1 (en) Vehicle surroundings monitoring device
JP5957315B2 (en) In-vehicle lane recognition system
JP4622710B2 (en) Face orientation detection apparatus and face orientation detection method
JP5129094B2 (en) Vehicle periphery monitoring device
JP2007257332A (en) Opened/closed eye determining method and its device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101018

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees