JP5435013B2 - 目開閉判定装置およびプログラム - Google Patents
目開閉判定装置およびプログラム Download PDFInfo
- Publication number
- JP5435013B2 JP5435013B2 JP2011251750A JP2011251750A JP5435013B2 JP 5435013 B2 JP5435013 B2 JP 5435013B2 JP 2011251750 A JP2011251750 A JP 2011251750A JP 2011251750 A JP2011251750 A JP 2011251750A JP 5435013 B2 JP5435013 B2 JP 5435013B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- open
- processing unit
- region
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
図1は、目開閉判定システムの動作を示すフローチャートである。図1を参照しながら、目開閉判定システムの動作について説明する。この目開閉判定システムの動作は、以下に説明する本発明の第1の実施形態〜第3の実施形態の前提となる動作である。なお、以下において、画像には被写体の顔が映されており、画像を構成する複数の画素の各々の値を単に「画素」と言う場合もある。
まず、本発明の第1の実施形態について説明する。図2は、第1の実施形態に係る目開閉判定装置10Aの機能構成を示すブロック図である。図2に示すように、第1の実施形態に係る目開閉判定装置10Aは、勾配抽出処理部110、瞼候補領域抽出処理部120および開閉判定処理部130を備える。勾配抽出処理部110、瞼候補領域抽出処理部120および開閉判定処理部130の各々が有する機能の詳細は、後に説明する。
続いて、各処理の詳細と処理結果の例について説明する。
まず、顔検出処理(S10)の詳細と処理結果の例について説明する。顔検出処理(S10)には様々な手法が応用可能である。例えば、P.Viola and M.Jones, “Rapid object Detection using a Boosted Cascade of
Simple Features”, Proc.of IEEE
Conf.CVPR,1,pp.511-518,2001.に記載されている手法などが利用できる。顔検出処理(S10)の処理結果の例を図4に示す。図4には、画像から検出された開眼状態の顔領域を含む矩形領域の輪郭F1と画像から検出された閉眼状態の顔領域を含む矩形領域の輪郭F2とが示されている。顔検出処理(S10)により輪郭F1または輪郭F2が検出される。
続いて、目領域検出処理(S20)の詳細と処理結果の例について説明する。目領域検出処理(S20)には様々な手法が応用可能である。例えば、T.F.Cootes, G.J.Edwards, and C.J.Taylor, “Active
Appearance Models”, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE
INTELLIGENCE, VOL.23,NO.6, JUNE 2001,pp.681-685に記載されている手法などが利用できる。目領域検出処理(S20)の処理結果の例を図5に示す。図5には、開眼状態の右目領域E11と開眼状態の左目領域E12とが示されている。また、図5には、閉眼状態の右目領域E21と閉眼状態の左目領域E22とが示されている。
続いて、目開閉判定処理(S30)の詳細と処理結果の例について説明する。目開閉判定処理(S30)では、目領域検出処理(S20)により検出された目領域に対して目開閉状態の判定が行われる。上記したように、目開閉判定処理(S30)には、ノイズ除去処理(S110)、勾配抽出処理(S120)、瞼候補領域抽出処理(S130)および開閉判定処理(S140)が含まれている。各処理の詳細と処理結果の例について説明する。
続いて、ノイズ除去処理(S110)の詳細と処理結果の例について説明する。ノイズ除去処理(S110)には様々な手法が応用可能である。例えば、ノイズ除去処理にはガウシアンフィルタやメディアンフィルタなどが利用できる。ノイズ除去処理の処理結果の例を図6に示す。図6には、開眼状態の右目領域E11に対するノイズ除去処理の処理結果が目領域E111として示され、閉眼状態の右目領域E21に対するノイズ除去処理の処理結果が目領域E211として示されている。なお、上記したように、ノイズ除去処理(S110)は、目開閉状態の判定精度を向上させるために実行されるため、特に実行されなくてもよい。
続いて、勾配抽出処理(S120)の詳細と処理結果の例について説明する。勾配抽出処理部110は、画像を構成する複数の画素の各々の濃度勾配方向を抽出する。より詳細には、勾配抽出処理部110は、画像を構成する複数の画素の各々に関して、隣接画素との差分に基づいて濃度勾配を求めて濃度勾配を複数方向のいずれかに分類することにより濃度勾配方向を抽出する。濃度勾配の分類には以下の手法を利用することができる。
・左上方向、右上方向、左下方向、右下方向の4方向のいずれかに分類する手法
・上方向、下方向、左上方向、右上方向、左下方向、右下方向の6方向のいずれかに分類する手法
・上記4方向をさらに2つに分割し、8方向のいずれかに分類する手法
・dyの絶対値がdxの絶対値以上でありdyが0以上の場合、下方向に分類
・dyの絶対値がdxの絶対値未満でありdxが0未満の場合、左方向に分類
・dyの絶対値がdxの絶対値未満でありdxが0以上の場合、右方向に分類
続いて、瞼候補領域抽出処理(S130)の詳細と処理結果の例について説明する。閉眼状態では横方向または斜め方向のエッジ部分が長く続く領域が現れ、開眼状態では横方向または斜め方向に続くエッジ部分が分散して複数現れる。瞼候補領域抽出処理(S130)では、この横方向または斜め方向のエッジ部分が長く続く領域の有無を判定するために、隣接画素間での濃度勾配方向の変化を得点化し、この得点を瞼候補領域らしさとすることで1または複数の瞼候補領域を抽出する。すなわち、瞼候補領域抽出処理部120は、勾配抽出処理部110により抽出された複数の画素の各々の濃度勾配方向に基づいて1または複数の瞼候補領域を抽出する。
続いて、開閉判定処理(S140)の詳細と処理結果の例について説明する。開閉判定処理(S140)では、抽出された1または複数の瞼候補領域に基づいて目開閉状態を判定する。より詳細には、開閉判定処理(S140)では、抽出された1または複数の瞼候補領域から高得点が付与された画素が横方向に長く連続する領域の検出の成否によって、目開閉状態を判定する。すなわち、開閉判定処理部130は、1または複数の瞼候補領域の中から横幅の最も長い領域を瞼領域として検出し、瞼領域の横幅に基づいて目の開閉状態を判定する。
以上に説明したように、画像に存在する目の開閉状態を判定する目開閉判定装置10Aは、画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部110を備えている。また、目開閉判定装置10Aは、複数の画素の各々の濃度勾配方向に基づいて1または複数の瞼候補領域を抽出する瞼候補領域抽出処理部120と、1または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部130と、をさらに備えている。
続いて、本発明の第2の実施形態について説明する。本発明の第2の実施形態に係る目開閉判定システムの動作は、図1に示した本発明の第1の実施形態に係る目開閉判定システムの動作と同様になされる。図13は、第2の実施形態に係る目開閉判定装置10Bの機能構成を示すブロック図である。図13に示すように、第2の実施形態に係る目開閉判定装置10Bは、第1の実施形態に係る目開閉判定装置10Aが備える機能ブロックの他に、瞼候補領域補正処理部121を備える。瞼候補領域補正処理部121が有する機能の詳細は、後に説明する。
続いて、瞼候補領域補正処理の詳細と処理結果の例について説明する。
瞼候補領域補正処理(S131)では、目領域中に目以外のものが含まれる場合に対応するために、1または複数の瞼候補領域のいずれかを補正する。目領域中に含まれる目以外のものとしては、髪の毛、眼鏡、環境の眼鏡への映り込みなどが考えられる。このような場合、本来であれば瞼候補領域に含まれると判定されるべき画素が瞼候補領域に含まれないと判定されることがある。瞼候補領域抽出処理の処理結果(補正前)の例を図15に示す。図15には、閉眼状態における右目の目領域に対する瞼候補領域抽出処理の処理結果(補正前)として目領域E215が示されている。
以上に説明したように、目開閉判定装置10Bは、1または複数の瞼候補領域のいずれかを補正する瞼候補領域補正処理部121をさらに備えている。かかる構成によれば、目領域中に目以外のものが含まれる場合に対応した目開閉状態の判定を行うことが可能となる。
続いて、本発明の第3の実施形態について説明する。本発明の第3の実施形態に係る目開閉判定システムの動作は、図1に示した本発明の第1の実施形態に係る目開閉判定システムの動作と同様になされる。図17は、第3の実施形態に係る目開閉判定装置10Cの機能構成を示すブロック図である。図17に示すように、第3の実施形態に係る目開閉判定装置10Cは、第1の実施形態に係る目開閉判定装置10Aが備える機能ブロックの他に、左右統合判定処理部140を備える。左右統合判定処理部140が有する機能の詳細は、後に説明する。
続いて、左右統合判定処理の詳細と処理結果の例について説明する。
左右統合判定処理(S150)では、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する処理である。左右統合判定処理(S150)では、左右の判定結果間において不均衡がある場合に対応するために、左右の判定結果を統合した目開閉状態判定を行う。例えば、画像中で左右に大きな環境の違いがある場合などは、左右の目開閉状態の判定結果の信頼性が異なる。
以上に説明したように、目開閉判定装置10Cは、開閉判定処理部130により、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する左右統合判定処理部140をさらに備えている。かかる構成によれば、左右の不均衡に対応した目開閉状態判定を行うことが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
110 勾配抽出処理部
120 瞼候補領域抽出処理部
121 瞼候補領域補正処理部
130 開閉判定処理部
140 左右統合判定処理部
Claims (7)
- 顔領域の画像から検出された目領域の画像に存在する目の開閉状態を判定する目開閉判定装置において、
前記画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部と、
前記勾配抽出処理部により抽出された前記複数の画素の各々の濃度勾配方向に基づいて1または複数の瞼候補領域を抽出する瞼候補領域抽出処理部と、
前記瞼候補領域抽出処理部により抽出された1または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部と、
を備え、
前記開閉判定処理部は、
前記1または複数の瞼候補領域の中から横幅の最も長い領域を瞼領域として検出し、前記瞼領域の横幅が閾値以上である場合に閉眼状態であると判定する、
ことを特徴とする、目開閉判定装置。 - 前記勾配抽出処理部は、
前記複数の画素の各々に関して、隣接画素との差分に基づいて濃度勾配を求めて前記濃度勾配を複数方向のいずれかに分類することにより前記濃度勾配方向を抽出する、
ことを特徴とする、請求項1に記載の目開閉判定装置。 - 前記瞼候補領域抽出処理部は、
前記複数の画素の各々に対して、隣接画素との間における前記濃度勾配方向の変化に応じた得点を付与し、前記複数の画素のうち所定の得点よりも高い得点が付与された画素により構成される領域を前記1または複数の瞼候補領域として抽出する、
ことを特徴とする、請求項1または2に記載の目開閉判定装置。 - 前記瞼候補領域抽出処理部は、
前記濃度勾配方向の変化が縦方向の場合には、前記濃度勾配方向の変化が斜め方向および横方向の場合よりも高い得点を付与する、
ことを特徴とする、請求項3に記載の目開閉判定装置。 - 前記目開閉判定装置は、
前記1または複数の瞼候補領域のいずれかを補正する瞼候補領域補正処理部をさらに備える、
ことを特徴とする、請求項1から4のいずれか一項に記載の目開閉判定装置。 - 前記目開閉判定装置は、
前記開閉判定処理部により、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する左右統合判定処理部をさらに備える、
ことを特徴とする、請求項1から5のいずれか一項に記載の目開閉判定装置。 - コンピュータを、
顔領域の画像から検出された目領域の画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部と、
前記勾配抽出処理部により抽出された前記複数の画素の各々の濃度勾配方向に基づいて1または複数の瞼候補領域を抽出する瞼候補領域抽出処理部と、
前記瞼候補領域抽出処理部により抽出された1または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部と、
を備え、
前記開閉判定処理部は、
前記1または複数の瞼候補領域の中から横幅の最も長い領域を瞼領域として検出し、前記瞼領域の横幅が閾値以上である場合に閉眼状態であると判定する、目開閉判定装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011251750A JP5435013B2 (ja) | 2011-11-17 | 2011-11-17 | 目開閉判定装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011251750A JP5435013B2 (ja) | 2011-11-17 | 2011-11-17 | 目開閉判定装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013109401A JP2013109401A (ja) | 2013-06-06 |
JP5435013B2 true JP5435013B2 (ja) | 2014-03-05 |
Family
ID=48706122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011251750A Expired - Fee Related JP5435013B2 (ja) | 2011-11-17 | 2011-11-17 | 目開閉判定装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5435013B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4529635B2 (ja) * | 2004-10-22 | 2010-08-25 | 日産自動車株式会社 | 開閉眼判定装置 |
JP4710679B2 (ja) * | 2006-03-23 | 2011-06-29 | 日産自動車株式会社 | 開閉眼判定方法及びその装置 |
JP5262243B2 (ja) * | 2008-03-31 | 2013-08-14 | アイシン精機株式会社 | 眼開閉判別装置、及びプログラム |
JP2010050703A (ja) * | 2008-08-21 | 2010-03-04 | Fujifilm Corp | 撮像装置、方法およびプログラム |
JP5296458B2 (ja) * | 2008-08-27 | 2013-09-25 | 安川情報システム株式会社 | 瞼開度検出装置、瞼開度検出方法および瞼開度検出プログラム |
JP2011043961A (ja) * | 2009-08-20 | 2011-03-03 | Toyota Motor Corp | 運転者監視装置 |
-
2011
- 2011-11-17 JP JP2011251750A patent/JP5435013B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013109401A (ja) | 2013-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106557726B (zh) | 一种带静默式活体检测的人脸身份认证系统及其方法 | |
CN106557723B (zh) | 一种带交互式活体检测的人脸身份认证系统及其方法 | |
JP5010905B2 (ja) | 顔認証装置 | |
JP2018032391A (ja) | ライブネス検査方法及び装置 | |
Boehnen et al. | A fast multi-modal approach to facial feature detection | |
JP3695990B2 (ja) | 顔画像処理装置 | |
US20090135188A1 (en) | Method and system of live detection based on physiological motion on human face | |
US20070291983A1 (en) | Method of tracking a human eye in a video image | |
JP4533836B2 (ja) | 変動領域検出装置及びその方法 | |
CN109145742A (zh) | 一种行人识别方法及系统 | |
Min et al. | Eyelid and eyelash detection method in the normalized iris image using the parabolic Hough model and Otsu’s thresholding method | |
US10521659B2 (en) | Image processing device, image processing method, and image processing program | |
JP2013061802A (ja) | 画像認識装置、画像認識方法及びプログラム | |
KR101769741B1 (ko) | 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치 | |
KR101523765B1 (ko) | 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법 | |
Devadethan et al. | Face detection and facial feature extraction based on a fusion of knowledge based method and morphological image processing | |
Feng et al. | Iris localization with dual coarse-to-fine strategy | |
Szczepański et al. | Pupil and iris detection algorithm for near-infrared capture devices | |
KR101669447B1 (ko) | 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법 | |
Guan | Robust eye detection from facial image based on multi-cue facial information | |
Guo et al. | Iris extraction based on intensity gradient and texture difference | |
JP5435013B2 (ja) | 目開閉判定装置およびプログラム | |
Soelistio et al. | Circle-based eye center localization (CECL) | |
Karnowski et al. | Locating the optic nerve in retinal images: comparing model-based and Bayesian decision methods | |
Mandal et al. | Human visual system inspired object detection and recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5435013 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |