JP3768735B2 - 顔画像処理装置 - Google Patents
顔画像処理装置 Download PDFInfo
- Publication number
- JP3768735B2 JP3768735B2 JP19295899A JP19295899A JP3768735B2 JP 3768735 B2 JP3768735 B2 JP 3768735B2 JP 19295899 A JP19295899 A JP 19295899A JP 19295899 A JP19295899 A JP 19295899A JP 3768735 B2 JP3768735 B2 JP 3768735B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- nostril
- candidates
- face image
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力顔画像より２次元テンプレートを用いて、より正確に鼻孔および目の抽出を行う顔画像処理装置に関するものである。
【０００２】
【従来の技術】
従来の運転者のテンプレートを用いた顔画像処理装置としては、例えば特開平８−１７５２１８号公報等に記載されているものがある。この従来例の装置全体の構成は、図２４のブロック図に示されている。この従来の顔画像処理装置は、運転者を撮像するカメラ１２と、Ａ／Ｄ変換器、正規化回路及び相関演算回路を備えた画像処理装置１３と、標準テンプレート及び眉毛や目などの顔要素配置データが予め格納されているメモリ１６と、画像処理装置１３の処理結果から運転者の運転状態を判別し、警報装置１５に制御信号を出力して警報を発する電子制御ユニット（ＥＣＵ）１４からなる。
【０００３】
また、この装置の動作すなわち処理のフローは図２６に示されている。図２６において、ステップＳ１０１により運転者の顔画像が撮像され、得られた顔画像は、ステップＳ１０２にて、最大輝度を２５６、最小輝度を１とする濃淡正規化が行われる。正規化処理が行われた後、ステップＳ１０３にて標準テンプレートを用いて対象テンプレートが検出される。すなわち、図２５における、撮像された画像に対して、予め設定されている標準テンプレートを用いて相関演算を行い、テンプレート作成手段Ｍ２により運転者用の対象テンプレートを作成する。
【０００４】
テンプレート作成手段Ｍ２は、撮像された画像内で運転者の対象顔領域を設定する対象顔領域設定手段Ｍ５と、その対象顔領域内で１つの目及び１つの眉を含む顔の縦方向に長い対象目近傍領域を設定する対象目近傍領域設定手段Ｍ６と、その対象目近傍領域内で目を含む対象目領域を設定する対象目領域設定手段を備えており、対象顔領域及び対象目近傍領域及び対象目領域それぞれを対象テンプレートとする。対象テンプレートが検出された後、再びカメラにより運転者の顔画像が撮影され、ステップＳ１０４にて濃淡正規化が行われる。そして、この正規化顔画像に対し、ステップＳ１０５にて対象テンプレートによる相関演算にて目領域の検出が行われる。Ｓ１０６において、ＥＣＵ１４は、順次入力される目領域の画像に基づいて運転者の目の状態を判定する。そしてステップＳ１０７で運転者の目状態に異常があると判定された場合には、運転者が居眠りしていると判定して、Ｓ１０８にて警報装置を作動させ、運転者に注意を促す。
【０００５】
【発明が解決しようとする課題】
しかしながら、画像を多値データのままで処理を行うと非常に時間がかかり、また眼鏡装着の有無や天候・髪等の付属情報によって顔の状態（眉と目の関係等）は変化し、不安定である。ところが、上記した従来の顔画像処理装置では、眉と目を含む情報量の多いテンプレートを用いて相関演算を行っているため、入力画像総てを検索するには非常に時間がかかる上、個人情報を持たない標準テンプレートにより検索を開始するため、通常とは違った付属情報の影響下における画像では、鼻孔や目の検出が不可能となる恐れがある。
【０００６】
この発明は、上記のような問題点を解決するためになされたもので、情報量は少ないが鼻孔および目の特徴を的確に表した２次元テンプレートを一つ或いは複数用いることにより、付属情報に左右されることなく精度よく、高速に鼻孔および目を抽出することができる顔画像処理装置を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
この発明の一側面に係る顔画像処理装置は、顔画像を入力する顔画像入力手段と、入力した顔画像より目候補が存在する領域を推定する目領域設定手段と、目領域内で目候補を複数の輝度値を有するデータに変換する目候補抽出手段と、抽出された候補内で目およびその位置を確定する目確定手段とを備え、目候補抽出手段は、予め設定されている２次元テンプレートおよび少なくとも一つの閾値を用いて、注目画素と周辺画素との相対輝度に対する簡易マッチングを行うとともに、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくものである。
【０００８】
この発明の他の側面に係る顔画像処理装置は、顔画像を入力する顔画像入力手段と、入力した顔画像より鼻孔候補が存在する領域を推定する鼻孔領域設定手段と、鼻孔領域内で鼻孔候補を複数の輝度値を有するデータに変換する鼻孔候補抽出手段と、抽出された鼻孔候補内で鼻孔を確定する鼻孔確定手段と、確定した鼻孔より目候補が存在する領域を推定する目領域設定手段と、目領域内で目候補を複数の輝度値を有するデータに変換する目候補抽出手段と、目候補抽出手段により抽出された候補内で目候補およびその位置を確定する目確定手段とを備え、鼻孔候補抽出手段もしくは目候補抽出手段は、予め設定されている２次元テンプレートおよび少なくとも一つの閾値を用いて、注目画素と周辺画素との相対輝度に対する簡易マッチングを行うとともに、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくものである。
【００１０】
この発明の１つの実施態様においては、鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可変抽出輝度閾値を用いて、マッチングを行う対象を限定することを特徴とするものである。
【００１１】
この発明の他の実施態様においては、鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可変抽出輝度閾値または２次元テンプレートを複数用いることを特徴とするものである。
【００１２】
この発明の更に他の実施態様においては、鼻孔候補抽出手段もしくは目候補抽出手段は、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくことを特徴とするものである。
【００１３】
【発明の実施の形態】
以下、添付図面により本発明の実施の形態について詳細に説明する。
【００１４】
実施の形態１．
図１はこの発明の実施の形態１に係る顔画像処理装置の第１の構成例を示す。第１の構成例における顔画像処理装置は、顔画像を撮影するＣＣＤカメラ１とＣＣＤカメラから出力された顔画像の画像データを記憶する画像メモリ２と、画像メモリ２から画像データを読み出して、その画像データに基づいて画像処理を行うＣＰＵ３とで構成される。
【００１５】
図２は図１におけるＣＰＵ３内の処理の概要を示す機能ブロック図である。図２において、ＣＰＵ３は、画像メモリ２から画像データを読み出して入力する顔画像入力手段４と、顔画像入力手段４に入力された画像データに基づいて目領域を設定する目領域設定手段５と、目領域設定手段５の出力に基づいて目候補を抽出する目候補抽出手段６と、目候補抽出手段６の出力に基づいて目とその存在位置を確定する目確定手段７とを備える。これらの手段は、ＣＰＵ３がプログラムを実行してソフト的に処理する内容を機能的に表したものである。
【００１６】
まず、ＣＰＵ３は、画像メモリ２より顔画像の画像データを読み込んで顔画像入力手段４に入力し、目領域設定手段５により入力画像内で目が存在すると思われる領域を推定し、目候補抽出手段６により輝度変換を行って目候補を抽出する。この際、輝度変換をしたデータは入力画像とは別のメモリに保存し、入力画像データも後で参照できるようにしておく。さらに、抽出された領域から、目確定手段７により目候補および目位置を確定する。以下、各手段について詳細に説明する。
【００１７】
図３はＣＣＤカメラ１により撮影された顔画像８を示した図である。入力画像内で目候補が存在すると思われる領域を推定する目領域設定手段５では、例えば目検索モード中は図８に示すような顔全体をカバーする比較的大きな矩形の目検索領域５ｒを設定し、また目追跡モード中は目のみをカバーする比較的小さな矩形の目追跡領域５ｒｌ、５ｒｒを設定する。目検索モードとは目位置学習が未だ行われていない（未だ目を見つけていない）状態を指し、目追跡モードとは目学習済の（目を見つけた）状態を指す。検索領域５ｒは画面内で通常の運転姿勢で顔が入る範囲に限定して設定される。追跡領域５ｒｌ、５ｒｒは、目学習位置（又は目前回位置）５ｇｌ、５ｇｒから所定幅の領域を設定する。ここでは、両目に対し目領域を設定したが、左右どちらか一方でも構わない。
【００１８】
次に、目候補抽出手段６について説明する。図４のフローチャートに示すように、ステップＳ１において、目候補抽出手段６は、予め用意した目形状を簡単かつ的確に表した２次元テンプレート６ｔ（例えば図５の（ａ）参照）を用いて、目領域内で簡易マッチングを行い、目候補と思われる要素を抽出する（図５の（ｂ））。目候補抽出手段６では、目領域設定手段５により設定した領域内で、注目画素６ｃをＸ、Ｙ方向に順次移動させ、注目画素６ｃの周辺画素のうち目判定要素画素（＝２次元テンプレートで指し示す点）の条件を確認し、注目画素６ｃが目候補画素であるかどうかの判定を行う。
【００１９】
判定基準は、条件Ａ（注目画素に対し、目判定要素画素総ての輝度値が所定閾値６ｔｈ以上であること）である。
【００２０】
図６に示した注目点（網掛け画素）の輝度値に対し、目判定要素画素（白画素）総ての輝度値が＋６ｔｈを上回れば（図４でＹＥＳ：実線）、注目点は目候補画素であると判定し（図６断面図）、ステップＳ２において、注目点の画素すなわち注目画素を輝度値１に設定し、また、ステップＳ１での判定結果が「ＮＯ」（図４で破線）（目判定要素画素総ての輝度値が＋６ｔｈ以下）であれば、ステップＳ３で注目画素を輝度値０に設定する。次いで、ステップＳ４において、全画素について検索済みか否かを判定し、「ＮＯ」であれば次の画素に移り、「ＹＥＳ」（実線）であれば処理を終了する（図６において、斜線画素＝周辺画素、黒画素＝目候補画素）。ここで目が抽出でき、眉が抽出されにくい理由は、図７に示すように、眉上部には髪、下部には目があり、また眉の形状から目形状の２次元テンプレートでは、眉は条件Ａを総て満たすのが困難であるためである。
【００２１】
次に、目確定手段７により上記で抽出した領域中の目候補および目位置を確定する。目候補抽出手段６によって抽出された領域に対し、図８の（ｂ）に示すように、各Ｘ座標ごとにそのＹ軸上に存在する黒画素数を数えてその数値をＸ軸に投影し、所定幅７ｗ・所定高さ７ｈを持つものを帯状領域として認め、さらにその帯状領域内の各Ｙ座標ごとにそのＸ軸上に存在する黒画素数を数えてその数値をＹ軸に投影し、所定幅７ｗ'・所定高さ７ｈ'を持つものを目候補領域とする。目候補領域推定後にラベリングを行い、目候補を確定する。但し、通常のラベリングでは、図１０の（ｂ）に示すように、各画素につき８方のラベル確認と、全画素がラベル済みになるまでのループを要するため時間がかかる。そこで、図１０の（ａ）に示すように、７方のラベル確認と１ループでの処理に限定し、ラベリングを簡単化して行う。図９にラベリングのフローチャートを示す。図９において、（ａ）は本発明のラベリング処理フロー、（ｂ）は通常（従来）のラベリング処理フローである。
【００２２】
次に、本発明によるラベリング処理について、図９（ａ）により説明する。
（１）２値化後の画像の所定領域に対し、例えば領域の左上部より注目画素を順次移動し、まず注目画素が黒色画素であるか判定する（ステップＳＴ１）。黒色画素であれば、ラベル済みであるかを判定し（ステップＳＴ２）、ラベル済みでなければ新しいラベル番号（NO.R）をふる（ステップＳＴ３）。
【００２３】
（２）その後、ラベル開始位置（＝現在位置）を記憶し（ステップＳＴ４）、図１０(a)に示すように、ラベル開始位置より走査方向に順次走査する。すなわち、全画素検索済みか判定し（ステップＳＴ５）、ＮＯであれば次の画素へ進み（ステップＳＴ６）、黒色画素か判定（ステップＳＴ７）する。走査中は注目画素の周辺７画素のラベル状態を判定する。注目画素が黒色画素であり（ステップＳＴ７でＹＥＳ）、かつ周辺７画素にラベル済みのものが有れば（ステップＳＴ８でＹＥＳ）、注目画素にラベル番号（NO.R）をふる（ステップＳＴ９）。（このとき新しいラベル番号（NO）になることはない。）それ以外はラベルをふらない。すなわち、周囲７画素中１画素がラベル済みであれば、その時点で注目画素にラベルをふり、次の画素へ進む。
【００２４】
（３）検索領域終了まで行ったら（すなわち全画素検索済みになったら（ステップＳＴ５でＹＥＳ））、ラベル開始位置へ戻り（ステップＳＴ１０）、ラベル番号（NO.R）を更新（インクリメント）し（ステップＳＴ１１）、全画素検索済みか判定し（ステップＳＴ１２）、検索済みでなければ（ＮＯ）、次の画素へ進み（ステップＳＴ１３）、ステップＳＴ１に戻って前記走査を繰り返す。
【００２５】
（４）検索領域内すべての点に対し、（１）〜（３）の走査がすめば（ステップＳＴ１２でＹＥＳ）、処理を終了する（ステップＳＴ１４）。
【００２６】
これに対して、通常の（すなわち従来より知られている）動作は、図９（ｂ）に示す通りである。すなわち、
（Ａ）２値化後の画像の所定領域に対し、例えば領域の左上部より注目画素を順次移動し、まず注目画素が黒色画素であるかを判定する（ステップＳＴ２１）。黒色画素であれば、ラベル済みであるかどうかを判定し（ステップＳＴ２２）、ラベル済みでなければ新しいラベル番号（NO.R）をふる（ステップＳＴ２３）。ステップＳＴ２１で黒色画素でないか、或いはステップＳＴ２２でラベル済みと判定されれば、全画素検索済みであるか（ステップＳＴ３４）、および黒色画素が全てラベル済みであるかを判定し（ステップＳＴ３５）、全画素検索済みでないか、或いは全画素がラベル済みでなければ次の画素へ進んで（ステップＳＴ３７）、再びステップＳＴ２１へ戻る。
【００２７】
（Ｂ）ステップＳＴ２３の後、図１０(b)に示すように、注目画素の周囲８画素を確認し（ステップＳＴ２４）、ラベル済みでなければ、次の周辺画素へ移り（ステップＳＴ２５）、これが黒色画素であるかを判定し（ステップＳＴ２６）、黒画素で有れば、注目画素と同じラベル番号（NO.R）を各周辺画素にふり、ラベル数RCTをカウントする（ステップＳＴ２７）。
【００２８】
（Ｃ）次いで（Ｂ）（ステップＳＴ２４乃至２７）を走査方向に順次行い、ステップＳＴ２４で周囲８画素がラベル済みとなったら、全画素検索済みか判定し（ステップＳＴ２８）、この判定結果がＮＯで有れば、次の画素へ進んで（ステップＳＴ２９）、ラベル済みかを判定し（ステップＳＴ３０）、ラベル済みで有ればステップＳＴ２４へ進み、ラベル済みでなければステップＳＴ２８へ進む。このようにして、ラベルすべきものがなくなるまで前記走査を繰り返す。
【００２９】
（Ｄ）このようにして（Ｃ）まで終了すれば、すなわちステップＳＴ２８で全画素検索済みになれば、領域開始位置へ戻り（ステップＳＴ３１）、ラベル数RCTカウントが零であるかを判定し（ステップＳＴ３２）、零でなければステップＳＴ３０へ進み、零で有ればラベル番号（NO.R）を更新（インクリメント）し（ステップＳＴ３３）、（Ａ）〜（Ｃ）を繰り返す。
【００３０】
（Ｅ）検索領域内すべての黒色画素に対し、（Ａ）〜（Ｄ）の走査が済めば、すなわちステップＳＴ３５で全黒色画素ラベル済みに達したら、処理を終了する（ステップＳＴ３８）。
【００３１】
さらに上記ラベリング処理においてラベル中にそのＸ・Ｙ方向重心位置を演算し、目位置とする。但し、ラベルされた候補のＸ・Ｙ方向幅や面積などから目とは判定できない場合には目未検出とし、もしくは要素が２つ以上ある場合などは要素のＸ・Ｙ方向幅や面積などから最も目らしいもの１候補を抽出し、その重心を目位置とする。図１１の（ａ）乃至（ｃ）には、このような３つの例が示されている。（ａ）は目が１つの連続した領域で表される場合を示しており、目領域が「１」として連続的にラベリングされており、（ｂ）は反射等で目が数個に分断された場合を示しており、この例では３つに分断された連続領域がそれぞれ「１」、「２」、「３」としてラベリングされており、また（ｃ）は目が一部分分断された場合を示しており、２つに分離された領域がそれぞれ「１」、「２」で示されている。（ｂ）及び（ｃ）では、「２」とトラベルされた領域が目候補として抽出される。
【００３２】
また、目確定手段７により確定した目位置はメモリ内に保存し、目追跡モード時の目領域設定に用いる。
【００３３】
図１２乃至１６は本発明の実施の形態１に関連した第２の構成例を示すものである。第２の構成例は、図１２に示すように、第１の構成例（図２参照）に、鼻孔領域設定手段９、鼻孔候補抽出手段１０および鼻孔確定手段１１を追加し、それと同時に目領域設定手段５を変更したものである。
【００３４】
先ず、入力画像内で鼻孔候補が存在すると思われる領域を推定する鼻孔領域設定手段９について述べる。鼻孔領域設定手段９では、例えば鼻孔検索モード中には、図１５に示すように、目から顎までを含む比較的大きな矩形の鼻孔検索領域９ｒ、鼻孔追跡モード中には鼻のみを含む比較的小さな矩形の鼻孔追跡領域９ｒｒをそれぞれ設定する。ここで、鼻孔検索モードとは、鼻孔位置学習が未（すなわち未だ鼻孔を目を見つけていない状態）を指し、鼻孔追跡モードとは、鼻孔学習済の状態を指す。鼻孔検索領域９ｒは画面内で通常の運転姿勢で顔が入る範囲に限定して設定する。また、鼻孔追跡領域９ｒｒは、鼻孔学習位置（又は、鼻孔前回位置）９ｇｒから所定幅の領域を設定する。
【００３５】
鼻孔候補抽出手段１０は、例えば図１３の（ａ）に示すような２次元テンプレート１０ｔで鼻孔領域内で簡易マッチングを行い、図１３の（ｂ）に示すような鼻孔候補と思われる要素を抽出する。具体的には、鼻孔候補抽出手段１０では、図１４の（ａ）に示すように、鼻孔領域設定手段９により設定した領域内で、注目画素１０ｃをＸ、Ｙ方向に順次移動させ、注目画素１０ｃの周辺画素のうち鼻孔判定要素画素（＝２次元テンプレートで指し示す点）の条件を確認し、注目画素１０ｃが鼻孔候補画素であるかどうかの判定を行う。判定基準は条件Ａ（注目画素に対し、鼻孔判定要素画素総ての輝度値が所定閾値１０ｔｈ以上であること）である。図１４の（ａ）の断面図である図１４の（ｂ）に示すように、注目点（網掛け画素）１０ｃの輝度値に対し、鼻孔判定要素画素（白画素）総ての輝度値が＋１０ｔｈを上まわれば、注目点は鼻孔候補画素であると判定し、次の画素に移る。図１４の（ａ）及び（ｂ）において、斜線画素＝周辺画素、黒画素＝目候補画素である。
【００３６】
次に、鼻孔確定手段１１により上記のように抽出した領域中の鼻孔候補および鼻孔位置を確定する。鼻孔候補抽出手段１０によって抽出された領域に対してラベリングを行い、鼻孔候補を確定する。ラベリングは上記第１の構成例と同様に行う。
【００３７】
さらに、上記ラベリング処理におけるラベル付け中に抽出領域のＸ・Ｙ方向重心位置を演算し、鼻孔候補位置とする。鼻孔候補は、図１６に示すように、顔横方向に大きさと形状（楕円に近いもの）の近いものが２つ並ぶものを検索し、鼻孔とする。鼻孔位置は２つの候補の中点とする。ラベル付けされた要素のＸ・Ｙ方向幅や面積などから鼻孔とは判定できない場合には鼻孔未検出とし、もしくは候補が２つ以上ある場合などは候補のＸ・Ｙ方向幅や面積などから最も鼻孔らしいもの１候補を抽出し、その重心中点を鼻孔位置とする。
【００３８】
鼻孔確定手段１１により確定した鼻孔位置はメモリ内に保存し、鼻孔追跡モード時の鼻孔領域設定に用いる。
【００３９】
図１７および１８は本発明の実施の形態１に関連した第３の構成例を示すものである。第３の構成例は、上記第１、第２の構成例の鼻孔候補抽出手段１０および目候補抽出手段６において、可変抽出輝度閾値を用いるものである。
【００４０】
具体的には、図１７のフローチャートに示すように、図１のステップＳ１と同様のテンプレートの条件を判定するステップＳ１の前に、ステップＳ６で、上記第１、第２の構成例の鼻孔候補抽出手段１０および目候補抽出手段６において、注目画素の輝度値を可変抽出輝度閾値（鼻孔と目はそれぞれ違う閾値）により評価し、２次元テンプレートによる評価を行うか否かを判定する。判定基準は、図１８に示すように、条件Ｂ（注目画素の輝度値が、可変抽出輝度閾値６１０ｔｈ以下であること）である。ここで、注目点画素を減少させることにより、処理速度がより早くなる。また可変抽出輝度閾値６１０ｔｈは、前画面までの２次元テンプレート通過画素の輝度値により可変に制御することで、固定値にした場合よりさらに画像に適した値を得ることが可能である。
【００４１】
可変抽出輝度閾値は、例えば、推定閾値を設定し、目（或いは鼻孔）を検索後、抽出可であれば閾値が適当であるとして、その閾値を継続して用いる。抽出不可であれば推定閾値は不適当すなわち目（或いは鼻孔）画素が範囲外として閾値を段階的に緩めていく。また、抽出可の際の閾値は前述のように継続しても良いが、２次元テンプレート通過画素の平均輝度値または最大輝度値などを利用して再設定すると、より適当な閾値が得られる。
【００４２】
図１９および２０は本発明の実施の形態１に関連した第４の構成例を示すものである。第４の構成例は、上記第１、第２、第３の構成例の鼻孔候補抽出手段１０および目候補抽出手段６において、２次元テンプレートを複数用いるものである。
【００４３】
上記第１、第２、第３の構成例では、鼻孔候補抽出手段１０および目候補抽出手段６において２次元テンプレート６ｔ、９ｔを使用したが、図１９に示すように、ステップＳ１で、最初の２次元テンプレート６ｔ、９ｔが条件Ａを満たさない場合には、ステップＳ７において、次の２次元テンプレート６ｔ'、９ｔ'がその条件Ａを満たしているか否かを判定し、満たせば通過画素とするものである。
【００４４】
また、複数テンプレートには色々考えられるが、例えば図２０（Ａ）では、注目画素とテンプレート画素の距離が変わるだけであるが、（３）及び（４）に示すように、左側のテンプレートだけでは眼鏡フレームなどの位置によっては、注目点と目下側テンプレートの距離が長いために通過不可（（３）参照）である可能性があり、また（１）及び（２）に示すように、右側のテンプレートだけでは眉と目の間隔が狭い人では通過不可（（２）参照）になる可能性がある。
【００４５】
すなわち、図２０（Ｂ）のように、テンプレートと注目点との距離やテンプレートの大きさの大小で個人差をカバーすることが可能である。ここでは、テンプレートと注目点との距離の異なる２つ目のテンプレート（１）、（２）及び大きさの異なる２つの鼻孔のテンプレート（３）、（４）を示しているが、これらはどちらにも言えることで、目のテンプレートを大小２種類にすることでの個人差をカバーしたり、鼻孔のテンプレートを大きさは同じで注目点とテンプレートとの距離を変えることで髭などがあっても鼻孔を検出できるようにすることも考えられる。システムの処理速度にもよるが、テンプレートは２種に限らず、数種あればそれだけ対応できるものが多くなる。
【００４６】
図２１および２２は本発明の実施の形態１に関連した第５の構成例を示すものである。第５の構成例は、上記第１乃至４の構成例の鼻孔候補抽出手段１０および目候補抽出手段６において、可変抽出輝度閾値を複数用いるものである。
【００４７】
第５の構成例では、上記第１乃至４の構成例の鼻孔候補抽出手段１０および目候補抽出手段６において、注目画素の輝度値を評価するための可変抽出輝度閾値を複数持つことにより、注目画素の輝度範囲限定による速度アップまたは入力画像の輝度変化への対応を行うものである。例えば、２つの可変抽出輝度閾値６１０ｔｈ、６１０ｔｈ'（６１０ｔｈ'＞６１０ｔｈ）を持つ場合には、入力画像の輝度変化により第１の可変抽出輝度閾値６１０ｔｈによる条件Ｂを満たす画素が無い或いは少なかった場合、第１の可変抽出輝度閾値６１０ｔｈよりも小さな第２の可変抽出輝度閾値６１０ｔｈ'を用いて再度評価して輝度を３値化した画像を得る。すなわち、図２１のフローチャートに示すように、ステップＳ６の判定結果が「ＮＯ」のとき、ステップＳ８で注目画素が第２の可変抽出輝度閾値６１０ｔｈ'以下であるか否かを判定して、判定結果が「ＹＥＳ」であれば、ステップＳ７で追加のテンプレートが条件Ａをクリアしているか否か判定して、この判定結果が「ＹＥＳ」であれば、ステップＳ９で注目画素をテンプレート通過画素として、輝度値２を設定する。また、ステップＳ８或いはステップＳ７において、判定結果が「ＮＯ」であれば、ステップＳ３で注目画素の輝度値を「０」とする。
【００４８】
図２２に示すように、眼鏡反射などで目画像の輝度値が上がっている場合には、第１の可変抽出輝度閾値６１０ｔｈのみを用いた場合では目の形状が崩れていて目と認識できなかったものが（図２２の左側）、第２の可変抽出輝度閾値６１０ｔｈ'を用いることにより、目として認識できることがある（図２２の右側）。第２の可変抽出輝度閾値６１０ｔｈ'は第３の構成例の可変抽出輝度閾値６１０ｔｈと同様、前画面までの２次元テンプレート通過画素の輝度値により制御することも可能であるし、第１の可変抽出輝度閾値６１０ｔｈの値によって制御することも可能である。
【００４９】
図２３は本発明の実施の形態１の特徴部を示すものである。本発明の実施の形態１は、上記第１乃至５の構成例の鼻孔候補抽出手段１０或いは目候補抽出手段６或いはそれら両方の手段において、２次元テンプレートを画像抽出度合いにより緩和していくものである。
すなわち、２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくことにより、付属情報の変化（眼鏡反射や髪等）に対応して、さらに精度よく顔要素を抽出することを可能にする。
【００５０】
上記第１乃至５の構成例の鼻孔候補抽出手段１０或いは目候補抽出手段６或いはそれら両手段において、条件Ａを満たすことが困難な状況において、２次元テンプレートを緩和することで対応する。２次元テンプレート６ｔ、９ｔを用いて抽出を行った際の通過画素が無い或いは少ない場合、条件Ａにおいて、テンプレート非通過画素を０点−＞１点−＞２点...と順次ループごとに緩和（２次元テンプレートの構成画素（＝周辺画素）の数を軽減）していく（上限は設定する）ことにより、鼻孔候補或いは目候補或いはそれら両者を抽出する。
【００５１】
具体的には、図２３のフローチャートに示すように、まず最初に、ステップＳ１０において、注目画素が輝度変換済みか否かを判定し、判定結果が「ＹＥＳ」であれば、ステップＳ６へ進み、以下ステップＳ４までの処理は図４のフローチャートの処理と同じである。ステップＳ１０の判定結果が「ＮＯ」であれば、ステップＳ４へ進み、そこで全画素について検索済みか否かを判定し、「ＮＯ」であれば、ステップＳ５で処理対象を次の注目画素に移してステップＳ１０に戻る。
【００５２】
ステップＳ４の判定結果が「ＹＥＳ」であれば、ステップＳ１１で通過が素が不十分でないか否かを判定し、「ＹＥＳ」であれば、ステップＳ１２で条件Ａの緩和数（回数）が所定の上限値を超えていないか否かを判定し、この判定結果が「ＹＥＳ」であれば（超えていなければ）、緩和数を更新して（例えば１だけ増加させて）から開始位置であるステップＳ１０へ戻る。また、ステップＳ１１或いはステップＳ１２において判定結果が「ＮＯ」の場合には、処理を終了する。
【００５３】
【発明の効果】
以上から明らかなように、この発明の一側面に係る顔画像処理装置は、顔画像を入力する顔画像入力手段と、入力した顔画像より目候補が存在する領域を推定する目領域設定手段と、目領域内で目候補を複数の輝度値を有するデータに変換する目候補抽出手段と、抽出された候補内で目およびその位置を確定する目確定手段とを備え、目候補抽出手段は、予め設定されている２次元テンプレートおよび少なくとも一つの閾値を用いて、注目画素と周辺画素との相対輝度に対する簡易マッチングを行うとともに、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくようにしたので、２次元テンプレートを用いて直接目領域の輝度変換を行うことによって、鼻孔やその他の補助的な要素を利用することなく、高速に目領域を抽出することができ、また、２次元テンプレートを用いることにより、一般的なテンプレートマッチングにおける相関演算を用いないため、精度良く、高速に顔要素を抽出することができるうえ、付属情報の変化（眼鏡反射や髪等）に対応して、さらに精度よく顔要素を抽出することができる。
【００５４】
また、この発明の他の側面に係る顔画像処理装置は、顔画像を入力する顔画像入力手段と、入力した顔画像より鼻孔候補が存在する領域を推定する鼻孔領域設定手段と、鼻孔領域内で鼻孔候補を複数の輝度値を有するデータに変換する鼻孔候補抽出手段と、抽出された鼻孔候補内で鼻孔を確定する鼻孔確定手段と、確定した鼻孔より目候補が存在する領域を推定する目領域設定手段と、目領域内で目候補を複数の輝度値を有するデータに変換する目候補抽出手段と、目候補抽出手段により抽出された候補内で目候補およびその位置を確定する目確定手段とを備え、鼻孔候補抽出手段もしくは目候補抽出手段は、予め設定されている２次元テンプレートおよび少なくとも一つの閾値を用いて、注目画素と周辺画素との相対輝度に対する簡易マッチングを行うとともに、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくようにしたので、２次元テンプレートを用いて鼻孔抽出を行い、抽出された鼻孔を用いて目存在領域の推定を行うことにより精度良く、目領域を抽出することができ、また、２次元テンプレートを用いることにより、一般的なテンプレートマッチングにおける相関演算を用いないため、精度良く、高速に顔要素を抽出することができるうえ、付属情報の変化（眼鏡反射や髪等）に対応して、さらに精度よく顔要素を抽出することができる。
【００５６】
この発明の１つの実施態様においては、鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可変抽出輝度閾値を用いて、マッチングを行う対象を限定するので、可変抽出輝度閾値を併用することにより２次元テンプレートを用いる領域を限定して、さらに高速に顔要素を抽出することができる。
【００５７】
この発明の他の実施態様においては、鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可変抽出輝度閾値または２次元テンプレートを複数用いるので、２次元テンプレートおよび可変抽出輝度閾値を複数併用することにより、個人差による顔要素の違いをカバーして、さらに精度良く顔要素を抽出することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る顔画像処理装置の第１の構成例を示す図である。
【図２】 図１の顔画像処理装置の機能的構成を示すフローチャートである。
【図３】 本発明におけるカメラからの入力画像を示す図である。
【図４】 本発明の実施の形態１に関連した第１、第２の構成例における目抽出手段又は鼻孔抽出手段の処理の流れを示すブロック図である。
【図５】 本発明における目抽出手段のテンプレートである。
【図６】 その目抽出手段の説明図である。
【図７】 その目抽出手段による、眉選択時の様子を示す図である。
【図８】 本発明における目領域設定手段の説明図である。
【図９】 本発明の目確定手段のラベリング処理の流れを示すフローチャートである。
【図１０】 本発明及び従来のラベリング時の走査方向を表す説明図である。
【図１１】 ３例のラベリングの状態を表す説明図である。
【図１２】 本発明の実施の形態１に関連した顔画像処理装置の第２の構成例の機能的構成を示すブロック図である。
【図１３】 本発明の鼻孔抽出手段のテンプレートである。
【図１４】 その鼻孔抽出手段の説明図である。
【図１５】 その鼻孔領域設定手段の説明図である。
【図１６】 その鼻孔確定手段のラベリングの説明図である。
【図１７】 本発明の実施の形態１に関連した第３の構成例における目抽出手段、鼻孔抽出手段の処理の流れを示すフローチャートである。
【図１８】 本発明の実施の形態１に関連した第３の構成例における目抽出手段又は鼻孔抽出手段の説明図である。
【図１９】 本発明の実施の形態１に関連した第４の構成例における目抽出手段又は鼻孔抽出手段の処理の流れを示すフローチャートである。
【図２０】 本発明の実施の形態１に関連した第４の構成例における目抽出手段又は鼻孔抽出手段のテンプレートである。
【図２１】 本発明の実施の形態１に関連した第５の構成例における目抽出手段又は鼻孔抽出手段の処理の流れを示すフローチャートである。
【図２２】 本発明の実施の形態１に関連した第５の構成例における目抽出手段又は鼻孔抽出手段の説明図である。
【図２３】 本発明の実施の形態１における目抽出手段又は鼻孔抽出手段の処理の流れを示すフローチャートである。
【図２４】 従来例の顔画像処理装置の全体構成を示す図である。
【図２５】 従来例の顔画像処理装置のテンプレート作成手段の詳細を示す図である。
【図２６】 従来例の顔画像処理装置の動作の流れを示すフローチャートである。
【符号の説明】
１ カメラ、２ 画像メモリ、３ ＣＰＵ、４ 顔画像入力手段、５ 目領域設定手段、６ 目候補抽出手段、７ 目確定手段、９ 鼻孔領域設定手段、１０ 鼻孔候補抽出手段、１１ 鼻孔確定手段。
【発明の属する技術分野】
この発明は、入力顔画像より２次元テンプレートを用いて、より正確に鼻孔および目の抽出を行う顔画像処理装置に関するものである。
【０００２】
【従来の技術】
従来の運転者のテンプレートを用いた顔画像処理装置としては、例えば特開平８−１７５２１８号公報等に記載されているものがある。この従来例の装置全体の構成は、図２４のブロック図に示されている。この従来の顔画像処理装置は、運転者を撮像するカメラ１２と、Ａ／Ｄ変換器、正規化回路及び相関演算回路を備えた画像処理装置１３と、標準テンプレート及び眉毛や目などの顔要素配置データが予め格納されているメモリ１６と、画像処理装置１３の処理結果から運転者の運転状態を判別し、警報装置１５に制御信号を出力して警報を発する電子制御ユニット（ＥＣＵ）１４からなる。
【０００３】
また、この装置の動作すなわち処理のフローは図２６に示されている。図２６において、ステップＳ１０１により運転者の顔画像が撮像され、得られた顔画像は、ステップＳ１０２にて、最大輝度を２５６、最小輝度を１とする濃淡正規化が行われる。正規化処理が行われた後、ステップＳ１０３にて標準テンプレートを用いて対象テンプレートが検出される。すなわち、図２５における、撮像された画像に対して、予め設定されている標準テンプレートを用いて相関演算を行い、テンプレート作成手段Ｍ２により運転者用の対象テンプレートを作成する。
【０００４】
テンプレート作成手段Ｍ２は、撮像された画像内で運転者の対象顔領域を設定する対象顔領域設定手段Ｍ５と、その対象顔領域内で１つの目及び１つの眉を含む顔の縦方向に長い対象目近傍領域を設定する対象目近傍領域設定手段Ｍ６と、その対象目近傍領域内で目を含む対象目領域を設定する対象目領域設定手段を備えており、対象顔領域及び対象目近傍領域及び対象目領域それぞれを対象テンプレートとする。対象テンプレートが検出された後、再びカメラにより運転者の顔画像が撮影され、ステップＳ１０４にて濃淡正規化が行われる。そして、この正規化顔画像に対し、ステップＳ１０５にて対象テンプレートによる相関演算にて目領域の検出が行われる。Ｓ１０６において、ＥＣＵ１４は、順次入力される目領域の画像に基づいて運転者の目の状態を判定する。そしてステップＳ１０７で運転者の目状態に異常があると判定された場合には、運転者が居眠りしていると判定して、Ｓ１０８にて警報装置を作動させ、運転者に注意を促す。
【０００５】
【発明が解決しようとする課題】
しかしながら、画像を多値データのままで処理を行うと非常に時間がかかり、また眼鏡装着の有無や天候・髪等の付属情報によって顔の状態（眉と目の関係等）は変化し、不安定である。ところが、上記した従来の顔画像処理装置では、眉と目を含む情報量の多いテンプレートを用いて相関演算を行っているため、入力画像総てを検索するには非常に時間がかかる上、個人情報を持たない標準テンプレートにより検索を開始するため、通常とは違った付属情報の影響下における画像では、鼻孔や目の検出が不可能となる恐れがある。
【０００６】
この発明は、上記のような問題点を解決するためになされたもので、情報量は少ないが鼻孔および目の特徴を的確に表した２次元テンプレートを一つ或いは複数用いることにより、付属情報に左右されることなく精度よく、高速に鼻孔および目を抽出することができる顔画像処理装置を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
この発明の一側面に係る顔画像処理装置は、顔画像を入力する顔画像入力手段と、入力した顔画像より目候補が存在する領域を推定する目領域設定手段と、目領域内で目候補を複数の輝度値を有するデータに変換する目候補抽出手段と、抽出された候補内で目およびその位置を確定する目確定手段とを備え、目候補抽出手段は、予め設定されている２次元テンプレートおよび少なくとも一つの閾値を用いて、注目画素と周辺画素との相対輝度に対する簡易マッチングを行うとともに、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくものである。
【０００８】
この発明の他の側面に係る顔画像処理装置は、顔画像を入力する顔画像入力手段と、入力した顔画像より鼻孔候補が存在する領域を推定する鼻孔領域設定手段と、鼻孔領域内で鼻孔候補を複数の輝度値を有するデータに変換する鼻孔候補抽出手段と、抽出された鼻孔候補内で鼻孔を確定する鼻孔確定手段と、確定した鼻孔より目候補が存在する領域を推定する目領域設定手段と、目領域内で目候補を複数の輝度値を有するデータに変換する目候補抽出手段と、目候補抽出手段により抽出された候補内で目候補およびその位置を確定する目確定手段とを備え、鼻孔候補抽出手段もしくは目候補抽出手段は、予め設定されている２次元テンプレートおよび少なくとも一つの閾値を用いて、注目画素と周辺画素との相対輝度に対する簡易マッチングを行うとともに、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくものである。
【００１０】
この発明の１つの実施態様においては、鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可変抽出輝度閾値を用いて、マッチングを行う対象を限定することを特徴とするものである。
【００１１】
この発明の他の実施態様においては、鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可変抽出輝度閾値または２次元テンプレートを複数用いることを特徴とするものである。
【００１２】
この発明の更に他の実施態様においては、鼻孔候補抽出手段もしくは目候補抽出手段は、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくことを特徴とするものである。
【００１３】
【発明の実施の形態】
以下、添付図面により本発明の実施の形態について詳細に説明する。
【００１４】
実施の形態１．
図１はこの発明の実施の形態１に係る顔画像処理装置の第１の構成例を示す。第１の構成例における顔画像処理装置は、顔画像を撮影するＣＣＤカメラ１とＣＣＤカメラから出力された顔画像の画像データを記憶する画像メモリ２と、画像メモリ２から画像データを読み出して、その画像データに基づいて画像処理を行うＣＰＵ３とで構成される。
【００１５】
図２は図１におけるＣＰＵ３内の処理の概要を示す機能ブロック図である。図２において、ＣＰＵ３は、画像メモリ２から画像データを読み出して入力する顔画像入力手段４と、顔画像入力手段４に入力された画像データに基づいて目領域を設定する目領域設定手段５と、目領域設定手段５の出力に基づいて目候補を抽出する目候補抽出手段６と、目候補抽出手段６の出力に基づいて目とその存在位置を確定する目確定手段７とを備える。これらの手段は、ＣＰＵ３がプログラムを実行してソフト的に処理する内容を機能的に表したものである。
【００１６】
まず、ＣＰＵ３は、画像メモリ２より顔画像の画像データを読み込んで顔画像入力手段４に入力し、目領域設定手段５により入力画像内で目が存在すると思われる領域を推定し、目候補抽出手段６により輝度変換を行って目候補を抽出する。この際、輝度変換をしたデータは入力画像とは別のメモリに保存し、入力画像データも後で参照できるようにしておく。さらに、抽出された領域から、目確定手段７により目候補および目位置を確定する。以下、各手段について詳細に説明する。
【００１７】
図３はＣＣＤカメラ１により撮影された顔画像８を示した図である。入力画像内で目候補が存在すると思われる領域を推定する目領域設定手段５では、例えば目検索モード中は図８に示すような顔全体をカバーする比較的大きな矩形の目検索領域５ｒを設定し、また目追跡モード中は目のみをカバーする比較的小さな矩形の目追跡領域５ｒｌ、５ｒｒを設定する。目検索モードとは目位置学習が未だ行われていない（未だ目を見つけていない）状態を指し、目追跡モードとは目学習済の（目を見つけた）状態を指す。検索領域５ｒは画面内で通常の運転姿勢で顔が入る範囲に限定して設定される。追跡領域５ｒｌ、５ｒｒは、目学習位置（又は目前回位置）５ｇｌ、５ｇｒから所定幅の領域を設定する。ここでは、両目に対し目領域を設定したが、左右どちらか一方でも構わない。
【００１８】
次に、目候補抽出手段６について説明する。図４のフローチャートに示すように、ステップＳ１において、目候補抽出手段６は、予め用意した目形状を簡単かつ的確に表した２次元テンプレート６ｔ（例えば図５の（ａ）参照）を用いて、目領域内で簡易マッチングを行い、目候補と思われる要素を抽出する（図５の（ｂ））。目候補抽出手段６では、目領域設定手段５により設定した領域内で、注目画素６ｃをＸ、Ｙ方向に順次移動させ、注目画素６ｃの周辺画素のうち目判定要素画素（＝２次元テンプレートで指し示す点）の条件を確認し、注目画素６ｃが目候補画素であるかどうかの判定を行う。
【００１９】
判定基準は、条件Ａ（注目画素に対し、目判定要素画素総ての輝度値が所定閾値６ｔｈ以上であること）である。
【００２０】
図６に示した注目点（網掛け画素）の輝度値に対し、目判定要素画素（白画素）総ての輝度値が＋６ｔｈを上回れば（図４でＹＥＳ：実線）、注目点は目候補画素であると判定し（図６断面図）、ステップＳ２において、注目点の画素すなわち注目画素を輝度値１に設定し、また、ステップＳ１での判定結果が「ＮＯ」（図４で破線）（目判定要素画素総ての輝度値が＋６ｔｈ以下）であれば、ステップＳ３で注目画素を輝度値０に設定する。次いで、ステップＳ４において、全画素について検索済みか否かを判定し、「ＮＯ」であれば次の画素に移り、「ＹＥＳ」（実線）であれば処理を終了する（図６において、斜線画素＝周辺画素、黒画素＝目候補画素）。ここで目が抽出でき、眉が抽出されにくい理由は、図７に示すように、眉上部には髪、下部には目があり、また眉の形状から目形状の２次元テンプレートでは、眉は条件Ａを総て満たすのが困難であるためである。
【００２１】
次に、目確定手段７により上記で抽出した領域中の目候補および目位置を確定する。目候補抽出手段６によって抽出された領域に対し、図８の（ｂ）に示すように、各Ｘ座標ごとにそのＹ軸上に存在する黒画素数を数えてその数値をＸ軸に投影し、所定幅７ｗ・所定高さ７ｈを持つものを帯状領域として認め、さらにその帯状領域内の各Ｙ座標ごとにそのＸ軸上に存在する黒画素数を数えてその数値をＹ軸に投影し、所定幅７ｗ'・所定高さ７ｈ'を持つものを目候補領域とする。目候補領域推定後にラベリングを行い、目候補を確定する。但し、通常のラベリングでは、図１０の（ｂ）に示すように、各画素につき８方のラベル確認と、全画素がラベル済みになるまでのループを要するため時間がかかる。そこで、図１０の（ａ）に示すように、７方のラベル確認と１ループでの処理に限定し、ラベリングを簡単化して行う。図９にラベリングのフローチャートを示す。図９において、（ａ）は本発明のラベリング処理フロー、（ｂ）は通常（従来）のラベリング処理フローである。
【００２２】
次に、本発明によるラベリング処理について、図９（ａ）により説明する。
（１）２値化後の画像の所定領域に対し、例えば領域の左上部より注目画素を順次移動し、まず注目画素が黒色画素であるか判定する（ステップＳＴ１）。黒色画素であれば、ラベル済みであるかを判定し（ステップＳＴ２）、ラベル済みでなければ新しいラベル番号（NO.R）をふる（ステップＳＴ３）。
【００２３】
（２）その後、ラベル開始位置（＝現在位置）を記憶し（ステップＳＴ４）、図１０(a)に示すように、ラベル開始位置より走査方向に順次走査する。すなわち、全画素検索済みか判定し（ステップＳＴ５）、ＮＯであれば次の画素へ進み（ステップＳＴ６）、黒色画素か判定（ステップＳＴ７）する。走査中は注目画素の周辺７画素のラベル状態を判定する。注目画素が黒色画素であり（ステップＳＴ７でＹＥＳ）、かつ周辺７画素にラベル済みのものが有れば（ステップＳＴ８でＹＥＳ）、注目画素にラベル番号（NO.R）をふる（ステップＳＴ９）。（このとき新しいラベル番号（NO）になることはない。）それ以外はラベルをふらない。すなわち、周囲７画素中１画素がラベル済みであれば、その時点で注目画素にラベルをふり、次の画素へ進む。
【００２４】
（３）検索領域終了まで行ったら（すなわち全画素検索済みになったら（ステップＳＴ５でＹＥＳ））、ラベル開始位置へ戻り（ステップＳＴ１０）、ラベル番号（NO.R）を更新（インクリメント）し（ステップＳＴ１１）、全画素検索済みか判定し（ステップＳＴ１２）、検索済みでなければ（ＮＯ）、次の画素へ進み（ステップＳＴ１３）、ステップＳＴ１に戻って前記走査を繰り返す。
【００２５】
（４）検索領域内すべての点に対し、（１）〜（３）の走査がすめば（ステップＳＴ１２でＹＥＳ）、処理を終了する（ステップＳＴ１４）。
【００２６】
これに対して、通常の（すなわち従来より知られている）動作は、図９（ｂ）に示す通りである。すなわち、
（Ａ）２値化後の画像の所定領域に対し、例えば領域の左上部より注目画素を順次移動し、まず注目画素が黒色画素であるかを判定する（ステップＳＴ２１）。黒色画素であれば、ラベル済みであるかどうかを判定し（ステップＳＴ２２）、ラベル済みでなければ新しいラベル番号（NO.R）をふる（ステップＳＴ２３）。ステップＳＴ２１で黒色画素でないか、或いはステップＳＴ２２でラベル済みと判定されれば、全画素検索済みであるか（ステップＳＴ３４）、および黒色画素が全てラベル済みであるかを判定し（ステップＳＴ３５）、全画素検索済みでないか、或いは全画素がラベル済みでなければ次の画素へ進んで（ステップＳＴ３７）、再びステップＳＴ２１へ戻る。
【００２７】
（Ｂ）ステップＳＴ２３の後、図１０(b)に示すように、注目画素の周囲８画素を確認し（ステップＳＴ２４）、ラベル済みでなければ、次の周辺画素へ移り（ステップＳＴ２５）、これが黒色画素であるかを判定し（ステップＳＴ２６）、黒画素で有れば、注目画素と同じラベル番号（NO.R）を各周辺画素にふり、ラベル数RCTをカウントする（ステップＳＴ２７）。
【００２８】
（Ｃ）次いで（Ｂ）（ステップＳＴ２４乃至２７）を走査方向に順次行い、ステップＳＴ２４で周囲８画素がラベル済みとなったら、全画素検索済みか判定し（ステップＳＴ２８）、この判定結果がＮＯで有れば、次の画素へ進んで（ステップＳＴ２９）、ラベル済みかを判定し（ステップＳＴ３０）、ラベル済みで有ればステップＳＴ２４へ進み、ラベル済みでなければステップＳＴ２８へ進む。このようにして、ラベルすべきものがなくなるまで前記走査を繰り返す。
【００２９】
（Ｄ）このようにして（Ｃ）まで終了すれば、すなわちステップＳＴ２８で全画素検索済みになれば、領域開始位置へ戻り（ステップＳＴ３１）、ラベル数RCTカウントが零であるかを判定し（ステップＳＴ３２）、零でなければステップＳＴ３０へ進み、零で有ればラベル番号（NO.R）を更新（インクリメント）し（ステップＳＴ３３）、（Ａ）〜（Ｃ）を繰り返す。
【００３０】
（Ｅ）検索領域内すべての黒色画素に対し、（Ａ）〜（Ｄ）の走査が済めば、すなわちステップＳＴ３５で全黒色画素ラベル済みに達したら、処理を終了する（ステップＳＴ３８）。
【００３１】
さらに上記ラベリング処理においてラベル中にそのＸ・Ｙ方向重心位置を演算し、目位置とする。但し、ラベルされた候補のＸ・Ｙ方向幅や面積などから目とは判定できない場合には目未検出とし、もしくは要素が２つ以上ある場合などは要素のＸ・Ｙ方向幅や面積などから最も目らしいもの１候補を抽出し、その重心を目位置とする。図１１の（ａ）乃至（ｃ）には、このような３つの例が示されている。（ａ）は目が１つの連続した領域で表される場合を示しており、目領域が「１」として連続的にラベリングされており、（ｂ）は反射等で目が数個に分断された場合を示しており、この例では３つに分断された連続領域がそれぞれ「１」、「２」、「３」としてラベリングされており、また（ｃ）は目が一部分分断された場合を示しており、２つに分離された領域がそれぞれ「１」、「２」で示されている。（ｂ）及び（ｃ）では、「２」とトラベルされた領域が目候補として抽出される。
【００３２】
また、目確定手段７により確定した目位置はメモリ内に保存し、目追跡モード時の目領域設定に用いる。
【００３３】
図１２乃至１６は本発明の実施の形態１に関連した第２の構成例を示すものである。第２の構成例は、図１２に示すように、第１の構成例（図２参照）に、鼻孔領域設定手段９、鼻孔候補抽出手段１０および鼻孔確定手段１１を追加し、それと同時に目領域設定手段５を変更したものである。
【００３４】
先ず、入力画像内で鼻孔候補が存在すると思われる領域を推定する鼻孔領域設定手段９について述べる。鼻孔領域設定手段９では、例えば鼻孔検索モード中には、図１５に示すように、目から顎までを含む比較的大きな矩形の鼻孔検索領域９ｒ、鼻孔追跡モード中には鼻のみを含む比較的小さな矩形の鼻孔追跡領域９ｒｒをそれぞれ設定する。ここで、鼻孔検索モードとは、鼻孔位置学習が未（すなわち未だ鼻孔を目を見つけていない状態）を指し、鼻孔追跡モードとは、鼻孔学習済の状態を指す。鼻孔検索領域９ｒは画面内で通常の運転姿勢で顔が入る範囲に限定して設定する。また、鼻孔追跡領域９ｒｒは、鼻孔学習位置（又は、鼻孔前回位置）９ｇｒから所定幅の領域を設定する。
【００３５】
鼻孔候補抽出手段１０は、例えば図１３の（ａ）に示すような２次元テンプレート１０ｔで鼻孔領域内で簡易マッチングを行い、図１３の（ｂ）に示すような鼻孔候補と思われる要素を抽出する。具体的には、鼻孔候補抽出手段１０では、図１４の（ａ）に示すように、鼻孔領域設定手段９により設定した領域内で、注目画素１０ｃをＸ、Ｙ方向に順次移動させ、注目画素１０ｃの周辺画素のうち鼻孔判定要素画素（＝２次元テンプレートで指し示す点）の条件を確認し、注目画素１０ｃが鼻孔候補画素であるかどうかの判定を行う。判定基準は条件Ａ（注目画素に対し、鼻孔判定要素画素総ての輝度値が所定閾値１０ｔｈ以上であること）である。図１４の（ａ）の断面図である図１４の（ｂ）に示すように、注目点（網掛け画素）１０ｃの輝度値に対し、鼻孔判定要素画素（白画素）総ての輝度値が＋１０ｔｈを上まわれば、注目点は鼻孔候補画素であると判定し、次の画素に移る。図１４の（ａ）及び（ｂ）において、斜線画素＝周辺画素、黒画素＝目候補画素である。
【００３６】
次に、鼻孔確定手段１１により上記のように抽出した領域中の鼻孔候補および鼻孔位置を確定する。鼻孔候補抽出手段１０によって抽出された領域に対してラベリングを行い、鼻孔候補を確定する。ラベリングは上記第１の構成例と同様に行う。
【００３７】
さらに、上記ラベリング処理におけるラベル付け中に抽出領域のＸ・Ｙ方向重心位置を演算し、鼻孔候補位置とする。鼻孔候補は、図１６に示すように、顔横方向に大きさと形状（楕円に近いもの）の近いものが２つ並ぶものを検索し、鼻孔とする。鼻孔位置は２つの候補の中点とする。ラベル付けされた要素のＸ・Ｙ方向幅や面積などから鼻孔とは判定できない場合には鼻孔未検出とし、もしくは候補が２つ以上ある場合などは候補のＸ・Ｙ方向幅や面積などから最も鼻孔らしいもの１候補を抽出し、その重心中点を鼻孔位置とする。
【００３８】
鼻孔確定手段１１により確定した鼻孔位置はメモリ内に保存し、鼻孔追跡モード時の鼻孔領域設定に用いる。
【００３９】
図１７および１８は本発明の実施の形態１に関連した第３の構成例を示すものである。第３の構成例は、上記第１、第２の構成例の鼻孔候補抽出手段１０および目候補抽出手段６において、可変抽出輝度閾値を用いるものである。
【００４０】
具体的には、図１７のフローチャートに示すように、図１のステップＳ１と同様のテンプレートの条件を判定するステップＳ１の前に、ステップＳ６で、上記第１、第２の構成例の鼻孔候補抽出手段１０および目候補抽出手段６において、注目画素の輝度値を可変抽出輝度閾値（鼻孔と目はそれぞれ違う閾値）により評価し、２次元テンプレートによる評価を行うか否かを判定する。判定基準は、図１８に示すように、条件Ｂ（注目画素の輝度値が、可変抽出輝度閾値６１０ｔｈ以下であること）である。ここで、注目点画素を減少させることにより、処理速度がより早くなる。また可変抽出輝度閾値６１０ｔｈは、前画面までの２次元テンプレート通過画素の輝度値により可変に制御することで、固定値にした場合よりさらに画像に適した値を得ることが可能である。
【００４１】
可変抽出輝度閾値は、例えば、推定閾値を設定し、目（或いは鼻孔）を検索後、抽出可であれば閾値が適当であるとして、その閾値を継続して用いる。抽出不可であれば推定閾値は不適当すなわち目（或いは鼻孔）画素が範囲外として閾値を段階的に緩めていく。また、抽出可の際の閾値は前述のように継続しても良いが、２次元テンプレート通過画素の平均輝度値または最大輝度値などを利用して再設定すると、より適当な閾値が得られる。
【００４２】
図１９および２０は本発明の実施の形態１に関連した第４の構成例を示すものである。第４の構成例は、上記第１、第２、第３の構成例の鼻孔候補抽出手段１０および目候補抽出手段６において、２次元テンプレートを複数用いるものである。
【００４３】
上記第１、第２、第３の構成例では、鼻孔候補抽出手段１０および目候補抽出手段６において２次元テンプレート６ｔ、９ｔを使用したが、図１９に示すように、ステップＳ１で、最初の２次元テンプレート６ｔ、９ｔが条件Ａを満たさない場合には、ステップＳ７において、次の２次元テンプレート６ｔ'、９ｔ'がその条件Ａを満たしているか否かを判定し、満たせば通過画素とするものである。
【００４４】
また、複数テンプレートには色々考えられるが、例えば図２０（Ａ）では、注目画素とテンプレート画素の距離が変わるだけであるが、（３）及び（４）に示すように、左側のテンプレートだけでは眼鏡フレームなどの位置によっては、注目点と目下側テンプレートの距離が長いために通過不可（（３）参照）である可能性があり、また（１）及び（２）に示すように、右側のテンプレートだけでは眉と目の間隔が狭い人では通過不可（（２）参照）になる可能性がある。
【００４５】
すなわち、図２０（Ｂ）のように、テンプレートと注目点との距離やテンプレートの大きさの大小で個人差をカバーすることが可能である。ここでは、テンプレートと注目点との距離の異なる２つ目のテンプレート（１）、（２）及び大きさの異なる２つの鼻孔のテンプレート（３）、（４）を示しているが、これらはどちらにも言えることで、目のテンプレートを大小２種類にすることでの個人差をカバーしたり、鼻孔のテンプレートを大きさは同じで注目点とテンプレートとの距離を変えることで髭などがあっても鼻孔を検出できるようにすることも考えられる。システムの処理速度にもよるが、テンプレートは２種に限らず、数種あればそれだけ対応できるものが多くなる。
【００４６】
図２１および２２は本発明の実施の形態１に関連した第５の構成例を示すものである。第５の構成例は、上記第１乃至４の構成例の鼻孔候補抽出手段１０および目候補抽出手段６において、可変抽出輝度閾値を複数用いるものである。
【００４７】
第５の構成例では、上記第１乃至４の構成例の鼻孔候補抽出手段１０および目候補抽出手段６において、注目画素の輝度値を評価するための可変抽出輝度閾値を複数持つことにより、注目画素の輝度範囲限定による速度アップまたは入力画像の輝度変化への対応を行うものである。例えば、２つの可変抽出輝度閾値６１０ｔｈ、６１０ｔｈ'（６１０ｔｈ'＞６１０ｔｈ）を持つ場合には、入力画像の輝度変化により第１の可変抽出輝度閾値６１０ｔｈによる条件Ｂを満たす画素が無い或いは少なかった場合、第１の可変抽出輝度閾値６１０ｔｈよりも小さな第２の可変抽出輝度閾値６１０ｔｈ'を用いて再度評価して輝度を３値化した画像を得る。すなわち、図２１のフローチャートに示すように、ステップＳ６の判定結果が「ＮＯ」のとき、ステップＳ８で注目画素が第２の可変抽出輝度閾値６１０ｔｈ'以下であるか否かを判定して、判定結果が「ＹＥＳ」であれば、ステップＳ７で追加のテンプレートが条件Ａをクリアしているか否か判定して、この判定結果が「ＹＥＳ」であれば、ステップＳ９で注目画素をテンプレート通過画素として、輝度値２を設定する。また、ステップＳ８或いはステップＳ７において、判定結果が「ＮＯ」であれば、ステップＳ３で注目画素の輝度値を「０」とする。
【００４８】
図２２に示すように、眼鏡反射などで目画像の輝度値が上がっている場合には、第１の可変抽出輝度閾値６１０ｔｈのみを用いた場合では目の形状が崩れていて目と認識できなかったものが（図２２の左側）、第２の可変抽出輝度閾値６１０ｔｈ'を用いることにより、目として認識できることがある（図２２の右側）。第２の可変抽出輝度閾値６１０ｔｈ'は第３の構成例の可変抽出輝度閾値６１０ｔｈと同様、前画面までの２次元テンプレート通過画素の輝度値により制御することも可能であるし、第１の可変抽出輝度閾値６１０ｔｈの値によって制御することも可能である。
【００４９】
図２３は本発明の実施の形態１の特徴部を示すものである。本発明の実施の形態１は、上記第１乃至５の構成例の鼻孔候補抽出手段１０或いは目候補抽出手段６或いはそれら両方の手段において、２次元テンプレートを画像抽出度合いにより緩和していくものである。
すなわち、２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくことにより、付属情報の変化（眼鏡反射や髪等）に対応して、さらに精度よく顔要素を抽出することを可能にする。
【００５０】
上記第１乃至５の構成例の鼻孔候補抽出手段１０或いは目候補抽出手段６或いはそれら両手段において、条件Ａを満たすことが困難な状況において、２次元テンプレートを緩和することで対応する。２次元テンプレート６ｔ、９ｔを用いて抽出を行った際の通過画素が無い或いは少ない場合、条件Ａにおいて、テンプレート非通過画素を０点−＞１点−＞２点...と順次ループごとに緩和（２次元テンプレートの構成画素（＝周辺画素）の数を軽減）していく（上限は設定する）ことにより、鼻孔候補或いは目候補或いはそれら両者を抽出する。
【００５１】
具体的には、図２３のフローチャートに示すように、まず最初に、ステップＳ１０において、注目画素が輝度変換済みか否かを判定し、判定結果が「ＹＥＳ」であれば、ステップＳ６へ進み、以下ステップＳ４までの処理は図４のフローチャートの処理と同じである。ステップＳ１０の判定結果が「ＮＯ」であれば、ステップＳ４へ進み、そこで全画素について検索済みか否かを判定し、「ＮＯ」であれば、ステップＳ５で処理対象を次の注目画素に移してステップＳ１０に戻る。
【００５２】
ステップＳ４の判定結果が「ＹＥＳ」であれば、ステップＳ１１で通過が素が不十分でないか否かを判定し、「ＹＥＳ」であれば、ステップＳ１２で条件Ａの緩和数（回数）が所定の上限値を超えていないか否かを判定し、この判定結果が「ＹＥＳ」であれば（超えていなければ）、緩和数を更新して（例えば１だけ増加させて）から開始位置であるステップＳ１０へ戻る。また、ステップＳ１１或いはステップＳ１２において判定結果が「ＮＯ」の場合には、処理を終了する。
【００５３】
【発明の効果】
以上から明らかなように、この発明の一側面に係る顔画像処理装置は、顔画像を入力する顔画像入力手段と、入力した顔画像より目候補が存在する領域を推定する目領域設定手段と、目領域内で目候補を複数の輝度値を有するデータに変換する目候補抽出手段と、抽出された候補内で目およびその位置を確定する目確定手段とを備え、目候補抽出手段は、予め設定されている２次元テンプレートおよび少なくとも一つの閾値を用いて、注目画素と周辺画素との相対輝度に対する簡易マッチングを行うとともに、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくようにしたので、２次元テンプレートを用いて直接目領域の輝度変換を行うことによって、鼻孔やその他の補助的な要素を利用することなく、高速に目領域を抽出することができ、また、２次元テンプレートを用いることにより、一般的なテンプレートマッチングにおける相関演算を用いないため、精度良く、高速に顔要素を抽出することができるうえ、付属情報の変化（眼鏡反射や髪等）に対応して、さらに精度よく顔要素を抽出することができる。
【００５４】
また、この発明の他の側面に係る顔画像処理装置は、顔画像を入力する顔画像入力手段と、入力した顔画像より鼻孔候補が存在する領域を推定する鼻孔領域設定手段と、鼻孔領域内で鼻孔候補を複数の輝度値を有するデータに変換する鼻孔候補抽出手段と、抽出された鼻孔候補内で鼻孔を確定する鼻孔確定手段と、確定した鼻孔より目候補が存在する領域を推定する目領域設定手段と、目領域内で目候補を複数の輝度値を有するデータに変換する目候補抽出手段と、目候補抽出手段により抽出された候補内で目候補およびその位置を確定する目確定手段とを備え、鼻孔候補抽出手段もしくは目候補抽出手段は、予め設定されている２次元テンプレートおよび少なくとも一つの閾値を用いて、注目画素と周辺画素との相対輝度に対する簡易マッチングを行うとともに、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、注目画素との相対輝度のマッチングを行う周辺画素の数を軽減していくようにしたので、２次元テンプレートを用いて鼻孔抽出を行い、抽出された鼻孔を用いて目存在領域の推定を行うことにより精度良く、目領域を抽出することができ、また、２次元テンプレートを用いることにより、一般的なテンプレートマッチングにおける相関演算を用いないため、精度良く、高速に顔要素を抽出することができるうえ、付属情報の変化（眼鏡反射や髪等）に対応して、さらに精度よく顔要素を抽出することができる。
【００５６】
この発明の１つの実施態様においては、鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可変抽出輝度閾値を用いて、マッチングを行う対象を限定するので、可変抽出輝度閾値を併用することにより２次元テンプレートを用いる領域を限定して、さらに高速に顔要素を抽出することができる。
【００５７】
この発明の他の実施態様においては、鼻孔候補抽出手段もしくは目候補抽出手段は、さらに可変抽出輝度閾値または２次元テンプレートを複数用いるので、２次元テンプレートおよび可変抽出輝度閾値を複数併用することにより、個人差による顔要素の違いをカバーして、さらに精度良く顔要素を抽出することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る顔画像処理装置の第１の構成例を示す図である。
【図２】 図１の顔画像処理装置の機能的構成を示すフローチャートである。
【図３】 本発明におけるカメラからの入力画像を示す図である。
【図４】 本発明の実施の形態１に関連した第１、第２の構成例における目抽出手段又は鼻孔抽出手段の処理の流れを示すブロック図である。
【図５】 本発明における目抽出手段のテンプレートである。
【図６】 その目抽出手段の説明図である。
【図７】 その目抽出手段による、眉選択時の様子を示す図である。
【図８】 本発明における目領域設定手段の説明図である。
【図９】 本発明の目確定手段のラベリング処理の流れを示すフローチャートである。
【図１０】 本発明及び従来のラベリング時の走査方向を表す説明図である。
【図１１】 ３例のラベリングの状態を表す説明図である。
【図１２】 本発明の実施の形態１に関連した顔画像処理装置の第２の構成例の機能的構成を示すブロック図である。
【図１３】 本発明の鼻孔抽出手段のテンプレートである。
【図１４】 その鼻孔抽出手段の説明図である。
【図１５】 その鼻孔領域設定手段の説明図である。
【図１６】 その鼻孔確定手段のラベリングの説明図である。
【図１７】 本発明の実施の形態１に関連した第３の構成例における目抽出手段、鼻孔抽出手段の処理の流れを示すフローチャートである。
【図１８】 本発明の実施の形態１に関連した第３の構成例における目抽出手段又は鼻孔抽出手段の説明図である。
【図１９】 本発明の実施の形態１に関連した第４の構成例における目抽出手段又は鼻孔抽出手段の処理の流れを示すフローチャートである。
【図２０】 本発明の実施の形態１に関連した第４の構成例における目抽出手段又は鼻孔抽出手段のテンプレートである。
【図２１】 本発明の実施の形態１に関連した第５の構成例における目抽出手段又は鼻孔抽出手段の処理の流れを示すフローチャートである。
【図２２】 本発明の実施の形態１に関連した第５の構成例における目抽出手段又は鼻孔抽出手段の説明図である。
【図２３】 本発明の実施の形態１における目抽出手段又は鼻孔抽出手段の処理の流れを示すフローチャートである。
【図２４】 従来例の顔画像処理装置の全体構成を示す図である。
【図２５】 従来例の顔画像処理装置のテンプレート作成手段の詳細を示す図である。
【図２６】 従来例の顔画像処理装置の動作の流れを示すフローチャートである。
【符号の説明】
１ カメラ、２ 画像メモリ、３ ＣＰＵ、４ 顔画像入力手段、５ 目領域設定手段、６ 目候補抽出手段、７ 目確定手段、９ 鼻孔領域設定手段、１０ 鼻孔候補抽出手段、１１ 鼻孔確定手段。
Claims (4)
- 顔画像を入力する顔画像入力手段と、
入力した顔画像より目候補が存在する領域を推定する目領域設定手段と、
前記目領域内で目候補を複数の輝度値を有するデータに変換する目候補抽出手段と、
抽出された候補内で目およびその位置を確定する目確定手段と、
を備え、
前記目候補抽出手段は、予め設定されている２次元テンプレートおよび少なくとも一つの閾値を用いて、注目画素と周辺画素との相対輝度に対する簡易マッチングを行うとともに、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、前記注目画素との相対輝度のマッチングを行う前記周辺画素の数を軽減していくことを特徴とする顔画像処理装置。 - 顔画像を入力する顔画像入力手段と、
入力した顔画像より鼻孔候補が存在する領域を推定する鼻孔領域設定手段と、
前記鼻孔領域内で鼻孔候補を複数の輝度値を有するデータに変換する鼻孔候補抽出手段と、
抽出された鼻孔候補内で鼻孔を確定する鼻孔確定手段と、
確定した鼻孔より目候補が存在する領域を推定する目領域設定手段と、
目領域内で目候補を複数の輝度値を有するデータに変換する目候補抽出手段と、
前記目候補抽出手段により抽出された候補内で目候補およびその位置を確定する目確定手段と、
を備え、
前記鼻孔候補抽出手段もしくは前記目候補抽出手段は、予め設定されている２次元テンプレートおよび少なくとも一つの閾値を用いて、注目画素と周辺画素との相対輝度に対する簡易マッチングを行うとともに、さらに２次元テンプレートおよび少なくとも一つの閾値によって抽出される鼻孔候補もしくは目候補の数が所定値以下の場合には、前記注目画素との相対輝度のマッチングを行う前記周辺画素の数を軽減していくことを特徴とする顔画像処理装置。 - 前記鼻孔候補抽出手段もしくは前記目候補抽出手段は、さらに可変抽出輝度閾値を用いて、マッチングを行う対象を限定することを特徴とする請求項１又は請求項２に記載の顔画像処理装置。
- 前記鼻孔候補抽出手段もしくは前記目候補抽出手段は、さらに可変抽出輝度閾値または２次元テンプレートを複数用いることを特徴とする請求項１から請求項３までのいずれか１項に記載の顔画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19295899A JP3768735B2 (ja) | 1999-07-07 | 1999-07-07 | 顔画像処理装置 |
| US09/449,610 US6094498A (en) | 1999-07-07 | 1999-11-30 | Face image processing apparatus employing two-dimensional template |
| KR10-2000-0004191A KR100377531B1 (ko) | 1999-07-07 | 2000-01-28 | 2차원 템플레이트를 사용한 안화상처리장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19295899A JP3768735B2 (ja) | 1999-07-07 | 1999-07-07 | 顔画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001022933A JP2001022933A (ja) | 2001-01-26 |
| JP3768735B2 true JP3768735B2 (ja) | 2006-04-19 |
Family
ID=16299872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19295899A Expired - Fee Related JP3768735B2 (ja) | 1999-07-07 | 1999-07-07 | 顔画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6094498A (ja) |
| JP (1) | JP3768735B2 (ja) |
| KR (1) | KR100377531B1 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
| EP1229486A1 (en) * | 2001-01-31 | 2002-08-07 | GRETAG IMAGING Trading AG | Automatic image pattern detection |
| US7239726B2 (en) * | 2001-12-12 | 2007-07-03 | Sony Corporation | System and method for effectively extracting facial feature information |
| US6873714B2 (en) * | 2002-02-19 | 2005-03-29 | Delphi Technologies, Inc. | Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution |
| KR20030081539A (ko) * | 2002-04-11 | 2003-10-22 | (주)엠앤제이코퍼레이션 | 얼굴 구성 요소 추출 시스템 및 방법 |
| CN100465985C (zh) * | 2002-12-31 | 2009-03-04 | 佳能株式会社 | 人眼探测方法及设备 |
| US7421097B2 (en) * | 2003-05-27 | 2008-09-02 | Honeywell International Inc. | Face identification verification using 3 dimensional modeling |
| WO2006030519A1 (ja) * | 2004-09-17 | 2006-03-23 | Mitsubishi Denki Kabushiki Kaisha | 顔認証装置及び顔認証方法 |
| US7444017B2 (en) * | 2004-11-10 | 2008-10-28 | Eastman Kodak Company | Detecting irises and pupils in images of humans |
| KR100590572B1 (ko) | 2004-12-15 | 2006-06-19 | 삼성전자주식회사 | 눈 위치 검출 방법 및 장치 |
| JP4397414B2 (ja) * | 2005-02-17 | 2010-01-13 | 富士通株式会社 | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム |
| JP4628839B2 (ja) * | 2005-03-29 | 2011-02-09 | 株式会社足立ライト工業所 | 顔画像認識装置 |
| JP4692447B2 (ja) * | 2006-09-08 | 2011-06-01 | トヨタ自動車株式会社 | 居眠り検知装置、居眠り検知方法 |
| KR100903096B1 (ko) | 2007-06-27 | 2009-06-16 | 포항공과대학교 산학협력단 | 눈 검증 및 눈 위치 보정을 이용한 눈 검출 방법 |
| JP4663699B2 (ja) * | 2007-09-27 | 2011-04-06 | 富士フイルム株式会社 | 画像表示装置、及び画像表示方法 |
| US9662977B2 (en) * | 2008-01-02 | 2017-05-30 | Hi Tech Robotic Systemz Ltd. | Driver state monitoring system |
| US8189879B2 (en) * | 2008-02-14 | 2012-05-29 | Iristrac, Llc | System and method for animal identification using IRIS images |
| JP5336939B2 (ja) * | 2009-06-15 | 2013-11-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN101853397A (zh) * | 2010-04-21 | 2010-10-06 | 中国科学院半导体研究所 | 一种基于人类视觉特性的仿生人脸检测方法 |
| JP5367037B2 (ja) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | 顔向き検出装置 |
| KR20130054636A (ko) * | 2011-11-17 | 2013-05-27 | 현대모비스 주식회사 | 적외선 카메라 및 3ｄ 모델링을 이용한 운전자 자세 감시 장치 및 방법 |
| JP5418579B2 (ja) * | 2011-12-06 | 2014-02-19 | 株式会社デンソー | 開閉眼検出装置 |
| US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
| US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
| JP6256165B2 (ja) | 2014-04-09 | 2018-01-10 | 富士通株式会社 | 視線検出装置、視線検出プログラム及び視線検出方法 |
| CN105279764B (zh) | 2014-05-27 | 2020-09-11 | 北京三星通信技术研究有限公司 | 眼睛图像处理设备和方法 |
| KR20160073866A (ko) * | 2014-12-17 | 2016-06-27 | 삼성전자주식회사 | 홍채 인식 장치, 이를 포함하는 홍채 인식 시스템 및 상기 홍채 인식 시스템의 동작 방법 |
| JP6651911B2 (ja) | 2016-03-07 | 2020-02-19 | オムロン株式会社 | 顔画像処理装置 |
| EP4016489A1 (en) * | 2017-02-27 | 2022-06-22 | Tobii AB | Determining eye openness with an eye tracking device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01158579A (ja) * | 1987-09-09 | 1989-06-21 | Aisin Seiki Co Ltd | 像認識装置 |
| JPH08175218A (ja) * | 1994-12-26 | 1996-07-09 | Toyota Motor Corp | 運転状態検出装置 |
| JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
| JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
-
1999
- 1999-07-07 JP JP19295899A patent/JP3768735B2/ja not_active Expired - Fee Related
- 1999-11-30 US US09/449,610 patent/US6094498A/en not_active Expired - Lifetime
-
2000
- 2000-01-28 KR KR10-2000-0004191A patent/KR100377531B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001022933A (ja) | 2001-01-26 |
| KR20010014458A (ko) | 2001-02-26 |
| US6094498A (en) | 2000-07-25 |
| KR100377531B1 (ko) | 2003-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3768735B2 (ja) | 顔画像処理装置 | |
| EP1426898B1 (en) | Human detection through face detection and motion detection | |
| US7912253B2 (en) | Object recognition method and apparatus therefor | |
| JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| JP5675233B2 (ja) | 情報処理装置、その認識方法及びプログラム | |
| JP6234762B2 (ja) | 眼部検出装置、方法、およびプログラム | |
| JPH0944685A (ja) | 顔画像処理装置 | |
| US20060008173A1 (en) | Device and method for correcting image including person area | |
| KR19990013317A (ko) | 얼굴 화상 처리 장치 | |
| JP2008243093A (ja) | 辞書データの登録装置及び辞書データの登録方法 | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| CN109033955A (zh) | 一种人脸跟踪方法和系统 | |
| US20220156959A1 (en) | Image processing device, image processing method, and recording medium in which program is stored | |
| JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
| JP4082203B2 (ja) | 開閉眼判定装置 | |
| JP6444331B2 (ja) | 対象識別装置 | |
| JP4011426B2 (ja) | 顔検出装置、顔検出方法および顔検出プログラム | |
| JP3088880B2 (ja) | 人物認識装置 | |
| JP3444115B2 (ja) | 居眠り状態検出装置 | |
| KR20220151165A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
| US8144946B2 (en) | Method of identifying symbolic points on an image of a person's face | |
| JP4123076B2 (ja) | 運転者状態検出装置 | |
| JP2005013626A (ja) | 覚醒状態検出装置 | |
| JP3629164B2 (ja) | 顔画像処理装置 | |
| JP2004341953A (ja) | 顔部位追跡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060202 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |