JP3969894B2 - 顔画像処理装置 - Google Patents

顔画像処理装置 Download PDF

Info

Publication number
JP3969894B2
JP3969894B2 JP14272199A JP14272199A JP3969894B2 JP 3969894 B2 JP3969894 B2 JP 3969894B2 JP 14272199 A JP14272199 A JP 14272199A JP 14272199 A JP14272199 A JP 14272199A JP 3969894 B2 JP3969894 B2 JP 3969894B2
Authority
JP
Japan
Prior art keywords
image
face
valued
eye
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP14272199A
Other languages
English (en)
Other versions
JP2000331159A (ja
Inventor
貴幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP14272199A priority Critical patent/JP3969894B2/ja
Priority to US09/444,577 priority patent/US6718050B1/en
Priority to KR1020000003229A priority patent/KR100362327B1/ko
Publication of JP2000331159A publication Critical patent/JP2000331159A/ja
Application granted granted Critical
Publication of JP3969894B2 publication Critical patent/JP3969894B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Description

【0001】
【発明の属する技術分野】
この発明は、検出対象者の顔多値画像から開閉眼を判定する顔画像処理装置に関するものである。
【0002】
【従来の技術】
検出対象者の顔面を照射する照明手段をもつ従来の顔画像処理装置としては、特開平9−198508号公報に記載されたものがある。
図7は、特開平9−198508号公報に開示された従来の目状態検出装置を簡略化して示す構成図である。
図において、1は検出対象者、2は検出対象者1を撮影するCCDカメラ、3はカメラ2によって撮影された画像を記憶する多値画像メモリ、4は多値画像を2値化する2値化手段、5は2値化画像を記憶する2値化画像メモリ、6は2値化画像から特徴を抽出する2値化画像特徴抽出手段、7は2値化画像の特徴によって目の開閉を判定する開閉判定手段である。8はLED光源、9はLED光源8に電流を送るLED駆動回路である。
図8は、特開平9−198508号公報における検出対象者の顔多値画像及び網膜反射像2値化画像であり、図8(a)は多値画像、図8(b)は2値化画像を示している。
図において、10は多値画像、11は2値化画像であり、14は網膜反射像、15は網膜反射像2値化領域である。
【0003】
このような従来の顔画像処理装置で検出対象者1の顔面を撮影すると、図8(a)のように、検出対象者1の瞳孔は眼球部の網膜からの反射光により、あたかも瞳孔が光っているかのように撮影される。これは、網膜が入射光と同一方向に反射光を返す性質をもっているためである。この網膜反射像14は、顔の他の部分より著しく明るく撮影されるため、撮影された多値画像全体に対する2値化処理で、図8(b)のように輝度の高い領域を瞳孔領域として抽出することができる。この瞳孔領域すなわち網膜反射像2値化領域15の有無により、目の開閉状態を判定するものである。
【0004】
図9は、特開平9−198508号公報に記載された顔画像処理装置の目抽出アルゴリズムを示すフローチャートである。
ステップS1にて撮影された顔画像は、ステップS2で多値画像メモリに1フレームの間保存する。ステップS3の2値化処理で、ステップS2で取込まれた2値化画像メモリより出力される多値画像を2値化閾値を用いて2値化する。ステップS3の2値化処理結果をステップS4で2値化画像メモリに1フレームの間保存する。ステップS5で目候補2値化領域設定において、2値化画像メモリより出力される2値化領域の中から、目候補となる領域を設定し、ステップS6において、ステップS5にて設定された目候補領域の中から目2値化領域を選択する。ステップS6において目2値化領域が選択されていれば、ステップS7開閉判定にて網膜反射像あり、すなわち開状態と判定される。逆に、ステップS6において目2値化領域が選択されなければ、ステップS7の開閉判定にて網膜反射像なし、すなわち閉状態と判定される。
【0005】
テンプレートを用いた従来の顔画像処理装置としては、例えば、特開平8−175218号公報に記載されたものがある。これは、撮像された画像に対して、予め設定されている標準顔テンプレートを上下左右に順次移動させて相関演算を行い、その検出対象者用の対象テンプレートを作成するテンプレート作成手段と、その対象テンプレートを用いて相関演算を行い、検出対象者の目領域を検出する目領域検出手段を有することを特徴とした運転状態検出装置である。
図10は、特開平8−175218号公報に開示された運転状態検出装置を簡略化した構成図である。
検出対象者1を撮影するカメラ2に画像処理装置17が接続されており、検出対象者1の顔画像を画像処理装置17に供給する。画像処理装置17は、A/D変換器、正規化回路及び相関演算回路を備えており、入力された画像信号をディジタル信号に変換し、さらに濃淡正規化処理を行う。画像処理装置17には、メモリ18が接続されている。メモリ18には標準テンプレート及び目・眉などの顔要素の配置データが予め格納されている。画像処理装置17は、さらに電子制御装置ECU19に接続されており、処理結果をECU19に供給する。ECU19は、処理結果から検出対象者1の運転状態を判別し、警報装置20に制御信号を出力して警報を発する構成である。
【0006】
また、輝度分布を用いた従来の顔画像処理装置としては、例えば、特開平6−348980号公報に記載されたものがある。これは、黒目部分が画面上の最暗点にあたることに着目して目位置を特定し、最暗点近傍の最大最小輝度値の平均値を輝度閾値として、目領域を抽出することを特徴とした車両上ドライバの眼を監視する装置である。
具体的には、画面上に目位置と仮定される位置にサンプリング点を複数設定し、各サンプリング点を暗い方向にシフトさせ、黒目部分に収束するサンプリング点から目位置を特定し、周辺輝度分布から目領域を抽出するものである。
図11は、特開平6−348980号公報に開示された輝度分布を用いて車両上ドライバの眼を監視する装置の目領域抽出を説明する図である。
図11は、目位置周辺の最大輝度T(max)、最小輝度T(min)の平均輝度T_avを閾値として、黒目部分を抽出し、目幅Wを求めるものである。
【0007】
【発明が解決しようとする課題】
網膜反射像を用いた従来の目状態検出装置では、2値化画像特徴抽出手段6において多値画像を2値化して画像処理を行っていたため、多値画像の濃淡情報を破棄していた。そのため、網膜反射像を抽出するには、撮影された検出対象者顔画像の明るさに応じて2値化閾値を制御しなければならず、この2値化閾値により特徴抽出結果が大きく左右されるものとなっていた。
図12は、従来の検出対象者の網膜反射像を含む2値化画像であり、図12(a)は、網膜反射膜のみを2値化したもの、図12(b)は、ノイズを含む2値化画像である。
図において、11、15は図8におけるものと同一のものである。21はノイズである。
図13は、従来の検出対象者の顔多値画像で、両目間距離及び水平度の説明図である。
図において、1、10は図8におけるものと同一のものである。
【0008】
例えば、顔多値画像全体を一意的な2値化閾値により2値化してしまうため、網膜反射像が暗い場合や顔全体が明るい場合など、画像そのものが低コントラストになると、網膜反射像が2値化領域として抽出されないことがあった。
また、本来2値化画像では図12(a)のように網膜反射像のみが2値化領域として抽出されるのが望ましい。しかしながら、輝度帯域が網膜反射像と同じ領域が存在する場合、図12(b)に示すように網膜反射像と同様に2値化されてノイズ21として残存するため、多数の2値化領域の中から、両目として成立する間隔や水平度などの相対的な位置関係により、網膜反射像抽出を行う必要があった。ただし、そういった位置関係も顔が斜めになると、図13のように水平度条件が成立しなくなり、誤抽出を誘発する原因となっていた。
【0009】
テンプレートを用いた従来の運転状態検出装置では、顔が上下方向に動いても目と眉の上下方向の位置関係は不変であるので、対象目近傍領域を用いて目近傍領域が検出されると、その内の上方の黒色部分は眉、下方の黒色部分は目であるというように、目領域を確実に特定できた。しかしながら、顔の動きを考慮すると画像に対して広い範囲を走査してテンプレートマッチングを行わなければならず、相関演算の処理時間の増大を招くこととなっていた。
【0010】
輝度分布を用いた従来の車両上ドライバの眼を監視する装置における目領域抽出では、最暗点のサンプリング点に目領域を確実に含めるため、サンプリング点を多数設定する必要があり、その結果、眉・髪の毛などの黒い領域が含まれ、これら多数の注目点を対象に処理が行われるため、処理時間増大を招くこととなっていた。
処理時間低減のために、検出対象者の顔像域を限定する手段として温度測定装置TMDを使用しているが、システム構造が複雑かつコストアップにつながっていた。
【0011】
この発明は、上述のような課題を解決するためになされたものであり、開閉眼の判定が確実にできる顔画像処理装置を得ることを目的としている。
【0012】
【課題を解決するための手段】
この発明に係わる顔画像処理装置においては、検出対象者の顔を照射する照明手段、この照明手段によって照射された検出対象者の顔を撮影し、マトリクス状に配置された多数の画素によって表示された多値顔画像を入力する画像入力手段、この画像入力手段によって入力された多値顔画像中の注目画素の輝度とこの注目画素の顔水平方向の前後の所定数の画素の最小輝度を前後それぞれに算出し、この算出した注目画素の輝度と最小輝度との差が所定の範囲内にある注目画素を抽出し、抽出された注目画素を用いて目領域を抽出する多値画像特徴抽出手段、この多値画像特徴抽出手段によって抽出される目領域の有無により開閉眼の判定を行う開閉判定手段を備えたものである。
【0013】
また、昼間の検出対象者の顔を撮影し、マトリクス状に配置された多数の画素によって表示された多値顔画像を入力する画像入力手段、この画像入力手段によって入力された多値顔画像中の注目画素の輝度とこの注目画素の顔水平方向の前後の所定数の画素の最大輝度を前後それぞれに算出し、この算出した最大輝度と注目画素の輝度との差が所定の範囲内にある注目画素を抽出し、抽出された注目画素を用いて目領域を抽出する多値画像特徴抽出手段、この多値画像特徴抽出手段によって抽出される目領域の有無により開閉眼の判定を行う開閉判定手段を備えたものである。
【0014】
また、目領域は、網膜反射像を含むものである。
【0015】
【発明の実施の形態】
以下、この発明の実施の形態を図に基づいて説明する。
【0016】
実施の形態1.
図1は、この発明の実施の形態1による顔画像処理装置を簡略化して示す構成図である。
図1において、1は検出対象者、2は検出対象者1の顔画像を撮影して、マトリクス状に配置された多数の画素によって表示されるように構成された顔画像を入力するための撮影手段あるいは画像入力手段としてのCCDカメラ、3はCCDカメラ2から出力される多値画像を一時的に記憶する多値画像メモリ、5は抽出された2値化画像を一時的に記憶する抽出画像保存手段を構成する2値化画像メモリ、7は2値化画像メモリ5の2値化画像を用いて目2値化領域の有無により目の開閉判定を行う開閉判定手段である。8はLED光源、9はLED光源8に電流を送るLED駆動回路であり、これらは照明手段を構成する。23は多値画像より相対的輝度分布を用いて目領域を抽出する多値画像特徴抽出手段で、多値画像特徴抽出結果は2値化画像メモリ5に保存される。ここで、多値画像特徴抽出手段23及び開閉判定手段7はマイクロコンピュータなどによりソフトウェア的に実行されるものである。
【0017】
図2は、この発明の実施の形態1による顔画像処理装置の目領域抽出アルゴリズムを示すフローチャートである。
図2では、従来例と異なり、多値画像に対して1次元抽出フィルタを用いて注目画素の輝度値及び注目画素前後との相対的輝度分布から目領域を選択し、目2値化領域として抽出する。
図3は、この発明の実施の形態1による顔画像処理装置の1次元フィルタ処理を示す説明図であり、図3(a)は原画像、図3(b)は原画像の輝度分布を表す図である。
図において、10、14、15は、図8におけるものと同一のものである。
図4は、この発明の実施の形態1による顔画像処理装置のフィルタパス画素のラベリングの説明図である。
【0018】
以下、顔多値画像からの、多値画像特徴抽出手段23を用いた目領域抽出方法について、図2を用いて説明する。
ステップS1の顔画像撮影、ステップS2の多値画像メモリ取り込みは従来例と同じである。
ステップS2にて取り込んだ多値画像メモリより出力される多値画像を対象に、ステップS8で1次元抽出フィルタをかけることにより、目領域ここでは網膜反射像2値化領域を抽出する。図3は、ステップS8の1次元抽出フィルタにより抽出される画素を表している。
網膜反射像周辺の原画像は、図3(a)のように、網膜反射像部分が白く明るく、それを環状に囲む瞳孔部分が最暗部となり、白目部分は通常とは逆に暗くなる。そのため、輝度分布は図3(b)に示すように、網膜反射像中心部が最大輝度、瞳孔部分が最小輝度となる。
図3(b)において、注目点を○印とすると、顔水平方向前後10画素が対象範囲となる。対象範囲よりそれぞれの最小輝度temp2を求める。ただし、図3(b)では、図の簡略化のため前後temp2は同じ値としている。
【0019】
注目点がフィルタパスする条件は、注目点前後対象範囲において、注目点輝度値tempが
temp2+clip<temp<temp2+th_max
かつ
temp2<valuel
を満たすことである。ここで、clipは注目点輝度の下限を設定するオフセット値、th_maxは注目点輝度の上限を設定するオフセット値である。valuelは、対象範囲の最小輝度値の上限を設定する閾値である。
このフィルタパス条件の目的は、「網膜反射像は明るく、網膜反射像の水平方向前後の範囲は瞳孔及び白目輝度反転のため暗い」ことに着目して網膜反射像のみを抽出することである。
【0020】
このように注目画素を1画素ずつ走査し、1次元フィルタ処理を行う。ただし、対象範囲に含まれる画素はフィルタパスとは無関係で参照するだけである。
図2のステップS8において、注目点がフィルタパスした場合は、ステップS4において、注目点画素の2値化画像メモリ5における座標の輝度値を書き換えることにより、フィルタ処理結果を2値化画像メモリ5に格納する。例えば、2値化画像メモリ5の全画素を輝度値0で初期化しておき、フィルタパスした画素を輝度値255としておけば、輝度値を参照することでフィルタ処理結果を得られる。ただし、カメラから原画像の輝度値データが書き込まれた多値画像メモリ3は、参照のみで書き換えは行わない。
ここでは、フィルタ処理結果を輝度2値で2値化画像メモリ5に格納したが、格納先が画像メモリであれば、2値に限定することなく、フィルタパスの信憑性に応じて、輝度を3、4値で格納することも考えられる。
ステップS9において、2値化画像メモリ5を走査し、ステップS8で抽出された隣接するフィルタパス画素をまとめて一個の領域としてラベリングする。このとき、1〜2画素からなる孤立した画素は領域として設定しないことにより、ノイズ除去を同時に行う。
【0021】
以下、ラベリングについて説明する。
図4は、ラベリングの様子を示したものである。X方向が顔上下方向、Y方向が顔水平方向を表す。2値化画像メモリ5の輝度値データを走査し、フィルタパス画素に当たると、Aに示すように、テーブルep_tblb[12]で指定される参照領域内の既走査画素に既にラベリングされた画素があるかを調べる。ラベリングされた領域がなければ、Bに示すように、現在の注目画素に新規に領域No.を設定する。図のようにラベリングされた領域があれば、Cにて同じ領域No.を設定する。今回は、輝度値の下位ビットを領域No.として書き換えることで、領域No.を格納した。
また、今回のテーブルep_tblb[12]は注目画素近傍12画素を参照するものだったが、既走査の範囲であれば、もっと大きく設定してもかまわない。ただし、参照範囲が広がるほど、近接領域との結合がなされ、領域数は減少する。
図2のステップS6の目2値化領域選択において、2値化画像メモリ5の輝度値下位ビットで指定される領域No.を参照し、目2値化領域を選択する。
ステップS6における目2値化領域の有無すなわち網膜反射像の有無により、ステップS7の開閉判定処理において目の開閉状態を判定する。
【0022】
実施の形態1では、網膜反射像を抽出対象とした夜間画像であったが、多値画像特徴抽出手段23の1次元抽出フィルタにおいて、輝度閾値条件を昼間の画像に合わせて反転させれば、昼間の顔画像において夜間の顔画像と同様の処理を行うことができる。
【0023】
実施の形態2.
実施の形態2は、実施の形態1の多値画像特徴抽出手段23の1次元フィルタ処理において、専用ハードウェアを用いて注目点の水平方向前後10画素の対象範囲における最小輝度を求めることでアルゴリズムを高速化することを目的とする。
図5は、この発明の実施の形態2による顔画像処理装置のフィルタ処理を示す説明図であり、図5(a)は原画像、図5(b)は原画像の輝度分布、図5(c)は専用ハードウェアPLDを示す図である。
図において、10、14、15は図3におけるものと同一のものである。25はPLDである。
図6は、この発明の実施の形態2による顔画像処理装置のフィルタ処理のアルゴリズムを示すフローチャートである。
【0024】
次に動作について説明する。
図5は、専用ハードウェアPLD25を備えた1次元抽出フィルタの処理過程を示すもので、図5(c)に示すようにPLD25への入力は1画素ずつ行う。0〜10画素がREFDATAより順に入力された輝度値を表す。PLD25内の処理は、2、4画素を比較して輝度値の小さいほうを残し、同様に6、8画素を比較して輝度値の小さいほうを残すトーナメント方式により、8データ内の最小輝度値を求め、MMDATA8へ出力する。これは、1画素おきの8画素中の最小輝度値であるが、10画素中の最小輝度値とみなす。また、0画素の輝度値をREFDATAPへ出力する。
次に、図5(b)について説明する。
注目点が図5(c)における10位置にあると考えると、PLD出力MMDATA8は、注目点の前対象範囲における最小輝度値を表している。注目点は10位置にあるため、注目点輝度値は多値画像メモリより直接読み出せる。このとき、注目点輝度値及び最小輝度値がフィルタパス条件を満たすならば、フラグをセットしておき、注目点が0位置にきたときに参照する。
注目点が図5(c)における0位置にあると考えると、PLD出力MMDATA8は、注目点の後対象範囲における最小輝度値を表している。このとき、注目点輝度値及び最小輝度値がフィルタパス条件を満たし、かつフラグセットされていれば、注目点はフィルタパス画素となる。
したがって、PLD25の最小輝度出力1個を2個の注目点に対するそれぞれ前と後の対象範囲の最小輝度として参照するため、アルゴリズムの高速化を計るものである。
【0025】
次に図6の1次元抽出フィルタのフローチャートについて説明する。
ステップS10において、PLD25への入力としてREFDATA入力を10画素先行して行う。このため、多値画像メモリは処理結果を格納する2値化画像メモリに対して、10画素先行することになる。注目点0位置と注目点10位置のそれぞれの処理は、ステップS11とステップS16に相当する。
ステップS12において、ステップS18で設定したフラグを参照し、フラグセットされていれば、ステップS13において、注目点0位置輝度値REFDATAP及び後対象範囲最小輝度値MMDATA8がフィルタパス条件を満たせば、ステップS14において2値化画像メモリの輝度値を書き換えることで、処理結果を格納する。ステップS15において、多値画像メモリ及び2値化画像メモリのアドレスをインクリメントする。ステップS17において、注目点10位置輝度値REFDATA及び前対象範囲最小輝度値MMDATA8がフィルタパス条件を満たせば、ステップS18においてフラグセットを行う。フィルタパス条件を満たさない場合は、ステップS19においてフラグをクリアする。
ステップS20において、多値画像メモリよりPLD25へ入力する輝度値をREFDATAに入力し、ステップS12へ戻る。
【0026】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
検出対象者の顔を照射する照明手段、この照明手段によって照射された検出対象者の顔を撮影し、マトリクス状に配置された多数の画素によって表示された多値顔画像を入力する画像入力手段、この画像入力手段によって入力された多値顔画像中の注目画素の輝度とこの注目画素の顔水平方向の前後の所定数の画素の最小輝度を前後それぞれに算出し、この算出した注目画素の輝度と最小輝度との差が所定の範囲内にある注目画素を抽出し、抽出された注目画素を用いて目領域を抽出する多値画像特徴抽出手段、この多値画像特徴抽出手段によって抽出される目領域の有無により開閉眼の判定を行う開閉判定手段を備えたので、目の開閉状態を正しく判定できる。
【0027】
また、昼間の検出対象者の顔を撮影し、マトリクス状に配置された多数の画素によって表示された多値顔画像を入力する画像入力手段、この画像入力手段によって入力された多値顔画像中の注目画素の輝度とこの注目画素の顔水平方向の前後の所定数の画素の最大輝度を前後それぞれに算出し、この算出した最大輝度と注目画素の輝度との差が所定の範囲内にある注目画素を抽出し、抽出された注目画素を用いて目領域を抽出する多値画像特徴抽出手段、この多値画像特徴抽出手段によって抽出される目領域の有無により開閉眼の判定を行う開閉判定手段を備えたので、目の開閉状態を正しく判定できる。
【0028】
また、目領域は、網膜反射像を含むので、確実に開閉を判定できる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による顔画像処理装置を簡略化して示す構成図である。
【図2】 この発明の実施の形態1による顔画像処理装置の目抽出アルゴリズムを示すフローチャートである。
【図3】 この発明の実施の形態1による顔画像処理装置の1次元フィルタ処理を示す説明図である。
【図4】 この発明の実施の形態1による顔画像処理装置のフィルタパス画素のラベリングの説明図である。
【図5】 この発明の実施の形態2による顔画像処理装置のフィルタ処理を示す説明図である。
【図6】 この発明の実施の形態2による顔画像処理装置のフィルタ処理のアルゴリズムを示すフローチャートである。
【図7】 従来の目状態検出装置を簡略化して示す構成図である。
【図8】 従来の検出対象者の顔多値画像及び網膜反射像2値化画像である。
【図9】 従来の顔画像処理装置の目抽出アルゴリズムを示すフローチャートである。
【図10】 従来のテンプレートマッチングを用いた運転状態検出装置を簡略化して示す構成図である。
【図11】 従来の輝度分布を用いた車両上ドライバの眼を監視する装置の目抽出を示す図である。
【図12】 従来の検出対象者の網膜反射像を含む2値化画像である。
【図13】 従来の検出対象者の顔多値画像で、両目間距離及び水平度の説明図である。
【符号の説明】
1 検出対象者、 2 カメラ、 3 多値画像メモリ、
5 2値化画像メモリ、 7 開閉判定手段、 8 LED光源、
9 LED駆動回路、 10 多値画像、 11 2値化画像、
14 網膜反射像、 15 網膜反射像2値化領域、
23 多値画像特徴抽出手段、 25 PLD。

Claims (3)

  1. 検出対象者の顔を照射する照明手段、この照明手段によって照射された検出対象者の顔を撮影し、マトリクス状に配置された多数の画素によって表示された多値顔画像を入力する画像入力手段、この画像入力手段によって入力された多値顔画像中の注目画素の輝度とこの注目画素の顔水平方向の前後の所定数の画素の最小輝度を上記前後それぞれに算出し、この算出した注目画素の輝度と最小輝度との差が所定の範囲内にある注目画素を抽出し、抽出された注目画素を用いて目領域を抽出する多値画像特徴抽出手段、この多値画像特徴抽出手段によって抽出される目領域の有無により開閉眼の判定を行う開閉判定手段を備えたことを特徴とする顔画像処理装置。
  2. 昼間の検出対象者の顔を撮影し、マトリクス状に配置された多数の画素によって表示された多値顔画像を入力する画像入力手段、この画像入力手段によって入力された多値顔画像中の注目画素の輝度とこの注目画素の顔水平方向の前後の所定数の画素の最大輝度を上記前後それぞれに算出し、この算出した最大輝度と注目画素の輝度との差が所定の範囲内にある注目画素を抽出し、抽出された注目画素を用いて目領域を抽出する多値画像特徴抽出手段、この多値画像特徴抽出手段によって抽出される目領域の有無により開閉眼の判定を行う開閉判定手段を備えたことを特徴とする顔画像処理装置。
  3. 目領域は、網膜反射像を含むことを特徴とする請求項記載の顔画像処理装置。
JP14272199A 1999-05-24 1999-05-24 顔画像処理装置 Expired - Fee Related JP3969894B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP14272199A JP3969894B2 (ja) 1999-05-24 1999-05-24 顔画像処理装置
US09/444,577 US6718050B1 (en) 1999-05-24 1999-11-19 Face-image processing apparatus
KR1020000003229A KR100362327B1 (ko) 1999-05-24 2000-01-24 안화상 처리장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14272199A JP3969894B2 (ja) 1999-05-24 1999-05-24 顔画像処理装置

Publications (2)

Publication Number Publication Date
JP2000331159A JP2000331159A (ja) 2000-11-30
JP3969894B2 true JP3969894B2 (ja) 2007-09-05

Family

ID=15322044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14272199A Expired - Fee Related JP3969894B2 (ja) 1999-05-24 1999-05-24 顔画像処理装置

Country Status (3)

Country Link
US (1) US6718050B1 (ja)
JP (1) JP3969894B2 (ja)
KR (1) KR100362327B1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259814A (ja) * 1999-03-11 2000-09-22 Toshiba Corp 画像処理装置及びその方法
DE60119418T2 (de) * 2000-03-22 2007-05-24 Kabushiki Kaisha Toshiba, Kawasaki Gesichtsbildaufnehmendes Erkennungsgerät und Passüberprüfungsgerät
EP1211640A3 (en) * 2000-09-15 2003-10-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face and other objects in an image
EP1288859A1 (de) * 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
US7324246B2 (en) * 2001-09-27 2008-01-29 Fujifilm Corporation Apparatus and method for image processing
US7110582B1 (en) * 2001-11-09 2006-09-19 Hay Sam H Method for determining binocular balance and disorders of binocularity of an individual or clinical groups of individuals
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US20080080744A1 (en) * 2004-09-17 2008-04-03 Mitsubishi Electric Corporation Face Identification Apparatus and Face Identification Method
JP4397414B2 (ja) * 2005-02-17 2010-01-13 富士通株式会社 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
JP2006260397A (ja) * 2005-03-18 2006-09-28 Konica Minolta Holdings Inc 開眼度推定装置
US7423540B2 (en) * 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
JP4895797B2 (ja) * 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
US8436907B2 (en) 2008-05-09 2013-05-07 Honeywell International Inc. Heterogeneous video capturing system
US8630464B2 (en) 2009-06-15 2014-01-14 Honeywell International Inc. Adaptive iris matching using database indexing
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8742887B2 (en) 2010-09-03 2014-06-03 Honeywell International Inc. Biometric visitor check system
US10007845B2 (en) * 2015-07-06 2018-06-26 Pixart Imaging Inc. Eye state detecting method and eye state detecting system
CN113422928B (zh) * 2021-05-28 2022-02-18 佛山市诚智鑫信息科技有限公司 一种安全监控抓拍方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
JPH06348980A (ja) 1993-06-14 1994-12-22 Aisin Seiki Co Ltd 車両上ドライバの眼を監視する装置
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
JPH08175218A (ja) 1994-12-26 1996-07-09 Toyota Motor Corp 運転状態検出装置
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JPH09198508A (ja) 1996-01-17 1997-07-31 Mitsubishi Electric Corp 目状態検出装置
KR19990016896A (ko) * 1997-08-20 1999-03-15 전주범 얼굴영상에서 눈영역 검출방법

Also Published As

Publication number Publication date
KR100362327B1 (ko) 2002-11-23
JP2000331159A (ja) 2000-11-30
KR20000076514A (ko) 2000-12-26
US6718050B1 (en) 2004-04-06

Similar Documents

Publication Publication Date Title
JP3969894B2 (ja) 顔画像処理装置
ES2275474T3 (es) Metodo de segmentacion de caracteres para reconocimiento de placas de matricula de vehiculos.
US8102417B2 (en) Eye closure recognition system and method
KR100476019B1 (ko) 침입물체검출용 감시방법 및 침입물체검출용 감시장치
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
JP4004634B2 (ja) 顔映像の目位置検出装置及び方法
JP3695990B2 (ja) 顔画像処理装置
JP3636927B2 (ja) 顔画像処理装置
US20070291983A1 (en) Method of tracking a human eye in a video image
JPH07313459A (ja) まぶたの開度検出装置
JP3063504B2 (ja) 画像データの特徴量検出装置
KR100617777B1 (ko) 졸음운전 경고 장치에서 운전자의 눈 영상 검출 장치 및 방법
JP3294468B2 (ja) 映像監視装置における物体検出方法
JP3057996B2 (ja) 車両運転者の眼球位置検出装置
JP2007257242A (ja) 白線認識装置
JP3671460B2 (ja) ランプ点灯検出方法およびストップランプ点灯検出装置
JPH09331519A (ja) 自動監視装置
JP3175509B2 (ja) 道路白線検出装置
JP3500891B2 (ja) 居眠り状態検出装置
JPH07101265A (ja) 運転状態検出装置
JPH08235302A (ja) 車番読取装置
JP3111645B2 (ja) 眼位置検出装置
JP2773871B2 (ja) 画像データの2値化方式
JP3629164B2 (ja) 顔画像処理装置
JPH1091798A (ja) 駐車車両検出方法およびその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20020225

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20020225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070605

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees