JP4521086B2 - 顔画像認識装置及び顔画像認識方法 - Google Patents
顔画像認識装置及び顔画像認識方法 Download PDFInfo
- Publication number
- JP4521086B2 JP4521086B2 JP2000069235A JP2000069235A JP4521086B2 JP 4521086 B2 JP4521086 B2 JP 4521086B2 JP 2000069235 A JP2000069235 A JP 2000069235A JP 2000069235 A JP2000069235 A JP 2000069235A JP 4521086 B2 JP4521086 B2 JP 4521086B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- person
- recognition
- recognized
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、入力画像より顔画像を抽出して、当該顔画像に基づいて所定の登録や認証を行う顔画像認識装置及び顔画像認識方法に関する。
【０００２】
【従来の技術】
今日、顔画像認識技術は、セキュリティシステムやヒューマンインターフェースの構築に有用であるとの認識の下、種々の技術が開発されている。
【０００３】
一般に、顔画像により個人を認証する個人認証装置は、ＩＤカードや暗証番号等に対応した顔特微量とカメラの前にいる１名の人物の顔特微量とを比較した結果に基づいて機器の制御をしている。そして、顔による個人認証用の辞書登録においては、顔画像を何度か取り直し、その際、特に動きを指定せずに、ある程度のバリエーションがある画像が数枚集まれば登録終了としている。また、写真撮影時の所謂「なりすまし」による不正を防止すべく、写真撮影時に瞬きをしてもらい、顔の動きのチェックをする技術も存在した。
【０００４】
以下、具体的な先行文献を挙げて従来技術を説明する。
【０００５】
例えば、特開平１１−３１６８３６号公報（以下、先行文献１と称する）では、本人の特定に伴って再識別処理をするとき、当該再識別処理に適した画像取得条件に設定変更して特定者を確実に識別する本人特定装置に関する技術が開示されている。即ち、同技術では、特に認証時に本人である事が認識できない場合には、照明条件を変更したり人の向きを変えさせることを特徴としている。
【０００６】
一方、例えば、特開平１０−２３２９３４号公報（以下、先行文献２と称する）では、認識対象の動作をチェックしながら顔画像の登録を行う顔画像登録装置及びその方法に関する技術が開示されている。すなわち、同技術では、顔画像の登録の際に、認証対象者が別の機器の操作をしているか等といった、顔認証とは何ら関係のない動作のチェックをしている。
【０００７】
さらに、特許番号第２９１５０１３号公報（以下、先行文献３と称する）では、監視区域内で視聴する個々のメンバーを特定する画像認識装置に関する技術が開示されている。即ち、同技術では、隠し照明器具及びビデオセンサの両者を使用して、監視領域内の認識対象者たる視聴者の中から所定の個人を識別する。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来技術には、以下のような問題が存在した。
【０００９】
即ち、危険物や極秘物件等といった重要度の高いものに対して様々なセキュリティが設置されているが、近年開発中の顔による個人認証装置では、写真での所謂「成りすまし」やビデオ画像のすり替え等、悪意のある人物の検出が困難であった。また、顔画像の認証が終了した後においては、不正行為を取り締まるすべはなく、顔認証システム自体の問題が存在していた。また、顔認証等を利用せず特定の管理者が鍵を補完して希望のあった時に対応する方法でも、鍵を紛失したり盗まれる等といった別の問題も生じていた。
【００１０】
また、所定年齢以上でないと売買できないことが望まれる自動販売機に係る技術分野でも、時間で売買を制限する技術しか存在せず、人目さえ避ければ年齢に関係無く売買できているのが現状である。商店等では、所定年齢以上でないと売買できない物を当該年齢に満たない者が購入する際には、親の同意書や同伴者を要求するが、完全自動化することは困難であった。
【００１１】
さらに、数枚程度の顔画像情報で登録されている場合、認証時に顔の向きのばらつきに対しては得られた顔画像を利用して補正する手法がとられていたが、完全に補正することは難しかった。また、特殊機器を使わずにバリエーションのある顔の向きを辞書登録時に集めるには、単純に「顔を動かしてください」程度の案内を出すことしかできず、登録者の顔の動かし方の上記案内に対応した均一化は図れていなかった。
【００１２】
また、写真撮影時の所謂「成りすまし」を防止するために、写真撮影時に瞬きをさせる顔画像認証装置に関する技術もあるが、瞬きの判定精度には限度があり、例えば写真の眼の部分を手等で歪ませる等といった操作をすれば、「成りすまし」といった不正行為が成立するといった可能性が残されていた。また、人物によっては顔の検出精度が低い等といった問題が存在した。
【００１３】
以上のほか、上記先行文献１では、予め登録時に認識し易い向きや認識し難い向きという情報を獲得し、当該情報に合わせて指示を出すといったことは何ら示唆すらされていなかった。上記先行文献２にかかる技術では、顔認証向けの顔画像自体が良好か否かについてはチェックしていなかった。上記先行文献３では、認識の目的が視聴者の存在であるにすぎず、機器の操作の許可／不許可の判定については何ら示唆されていなかった。
【００１４】
本発明は、上記問題に鑑みてなされたもので、その目的とするところは、認証時における不正行為を防止し、高精度の顔画像認識を実現する顔画像認識装置及び顔画像認識方法を提供することにある。
【００１５】
【課題を解決する為の手段】
上記目的を達成するために、本発明では、認識対象者の画像を入力する画像入力手段と、上記画像入力手段を介して得られた画像における認識対象者の顔領域を抽出する顔領域抽出手段と、上記顔領域抽出手段により抽出された顔領域に係る情報に基づいて、認識対象者の顔の個人差を示す特徴量を計算する特徴量抽出手段と、上記特徴量抽出手段により計算された複数の認識対象者の顔の個人差を示す特徴量を予め格納する登録情報保持手段と、上記特徴量抽出手段により得られた認識対象者の顔の特徴量と、上記登録情報保持手段に予め登録された特徴量との類似度を計算して、認識対象者を認識する人物認識手段と、上記人物認識手段の認識結果に基づいて、所定の操作を許可するか否かを制御する制御手段と、を具備し、上記登録情報保持手段は、各年齢層を推定するために、複数の顔画像から各年齢層毎に計算した基準特徴量を予め保持し、上記制御手段は、上記特徴量抽出手段により抽出された特徴量と、上記登録情報保持手段に予め格納された各年齢層毎の基準特徴量とを比較して、最も類似度が高いとされた年齢層をその被験者の年齢と判定し、上記認識対象者の中に所定年齢以上の者が少なくとも含まれていると判断した場合に、所定の操作を許可するように制御する、ことを特徴とした顔画像認識装置が提供される。
【００１６】
また、本発明では、認識対象者の画像を入力するステップと、上記画像における認識対象者の顔領域を抽出するステップと、上記顔領域に係る情報に基づいて、認識対象者の顔の個人差を示す特徴量を計算するステップと、複数の認識対象者の顔の個人差を示す特徴量を予め格納するステップと、上記認識対象者の顔の特徴量と、上記予め登録された特徴量との類似度を計算して、認識対象者を認識するステップと、上記認識結果に基づいて、所定の操作を許可するか否かを制御するステップと、各年齢層を推定するために、複数の顔画像から各年齢層毎に計算した基準特徴量を予め保持するステップと、抽出された特徴量と、予め格納された各年齢層毎の基準特徴量とを比較して、最も類似度が高いとされた年齢層をその被験者の年齢と判定し、上記認識対象者の中に所定年齢以上の者が少なくとも含まれていると判断した場合に、所定の操作を許可するように制御するステップと、を具備することを特徴とした顔画像認識方法が提供される。
【００１９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２０】
ここでは、カメラで撮像され得られた入力画像中に含まれる一人又は複数人の顔を認識する顔画像認識装置及び方法の各種実施の形態について説明する。
【００２１】
即ち、第１の実施の形態では、全ての実施の形態に共通する顔画像認識装置の構成及び作用について説明する。そして、これを前提として、第２の実施の形態では、顔の方向・証明を変更させる顔の登録・認証を中心に説明し、第３の実施の形態では、複数の顔の認識に係る制御を中心に説明し、第４の実施の形態では、年齢推定に係る制御を中心に説明する。
【００２２】
先ず、本発明の第１の実施の形態について説明する。
【００２３】
図１は第１の実施の形態に係る顔画像認識装置の適用例の構成図である。
【００２４】
図１（ａ）は通路のドアや金庫のような扉の開閉の制御に顔画像認識装置を適用したものであり（以下、扉制御型と称する）、図１（ｂ）は自動販売機に顔画像認識装置を適用したものである（以下、自動販売機型と称する）。
【００２５】
図１（ａ）に示されるように、扉制御型では、その上部に案内用モニタ１が配置されており、その下部には３つのＣＣＤカメラ２が配置されている。さらに、制御部３、全体の制御を司るパーソナルコンピュータ（又はワークステーション）４が配置されている。一方、図１（ｂ）に示されるように、自動販売機型も同様に、その上部に案内用モニタ１が配置されており、その下部には３つのＣＣＤカメラ２が配置されている。さらに、制御部３、全体の制御を司るパーソナルコンピュータ（又はワークステーション）４が配置されている。
【００２６】
このように、第１の実施の形態の適用例では、上記制御部３において、詳細は後述するような各種アプリケーションに合わせて、顔による個人認証の結果に基づく所定の制御が行われることになる。
【００２７】
図２は、第１の実施の形態に係る顔画像認識装置の構成を示すブロック図である。この図２に示されるように、カメラ等を有する画像入力部１１の出力は、顔領域検出部１２の入力に接続され、この顔領域検出部１２の出力は、顔方向判定部１３の入力に接続されている。上記顔方向判定部１３の出力は、顔部位抽出部１４の入力に接続され、この顔部位抽出部１４の出力は、人物認識部１５の入力に接続されている。更に、この人物認識部１５は、登録情報保持部１６と機器制御部１８と相互に通信自在に接続されている。以上の他、上記各部１２乃至１５の各出力は、案内出力部１７の入力に接続されている。
【００２８】
このような構成の顔画像認識装置の作用を概説すると、次のようになる。
【００２９】
すなわち、上記画像入力部１１は、一つ又は複数のカメラから入力されたディジタル画像データをメモリに格納する。さらに、顔領域検出部１２は、各画像に対して画像内に存在する人物全員の顔領域を検出する。これと同時に、顔方向判定部１３は、各顔の向いている方向を判定する。
【００３０】
上記顔部位抽出部１４は、各顔領域において、例えば目鼻口等の顔部位を検出し、それらの位置関係を基に顔の傾きや大きさの正規化を行う。そして、上記人物認識部１５は、得られた正規化顔画像を時系列で蓄積した結果を利用して登録情報保持部６に予め登録されている各個人の顔の特徴量と類似度を計算し、画像内に存在する各人物が誰であるかを識別する。
【００３１】
以上の処理で得られた結果は案内出力部７に出力されるほか、人物認識部１５によって所望の操作が許可された場合には機器制御部１８において対象となる機器の制御が行われる。また、顔の認証時には、顔方向判定部１３が各人物の顔の向きを判定し、登録時に認識し難い顔の向きであった場合や、写真での所謂「成りすまし」のように顔の動きがない場合においては、案内出力部１７において顔の方向を変えさせるといった案内を出力する。
【００３２】
以下、上記各部１１乃至１８による処理を具現化して詳細に説明する。
【００３３】
上記画像入力部１１は、ＣＣＤカメラ等により顔画像を撮像し、Ａ／Ｄ変換を行った後、装置本体内にあるメモリ内に上記顔画像をデジタルデータとして記録する。尚、上記ＣＣＤカメラの数は１つでもよいし複数あってもよく、複数のＣＣＤカメラによって取り込まれたメモリ内の画像に対して、後述するような各部１２乃至１８による処理をそれぞれ繰り返すことになる。
【００３４】
上記顔領域検出部１２は、画像中から予め用意された平均的な顔のテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を得た場所を顔領域とする。また、複数に対応する場合には局所領域内での最高点（ローカルピーク）を求め、その相関値が所定の閾値を越した場合に顔領域として追加をする。その他、相関値ではなく、固有空間法や部分空間法を利用した顔抽出法等を適用することもできる。
【００３５】
上記顔方向判定部１３では、上記顔領域検出部１２において抽出された全顔領域に対し、予め多数の人物の顔画像から作られた上下左右斜めなど顔の方向に合わせたテンプレートを用意しておき、どの方向を向いているかを推定する。また特開平９−１４７１１９号公報で述べられているような顔の部品の位置を検出する方法を採用することも可能である。
【００３６】
上記顔部位抽出部１４では、得られた各顔領域内から目、鼻、口といった顔部品を検出する。この顔部品の検出方法については、文献（福井和広、山口修：「形状抽出とパターン称号の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），vol.Ｊ80・D・II，No.８，pp2177・・2177（1997）で説明されるように、分離度フィルタを用いることで実現可能である。
【００３７】
次に検出された顔の部品の位置を基に、顔領域を一定の大きさ、形状に切出し、傾きや大きさを補正してｍ×ｎピクセルの領域を作成する。以下、このｍ×ｎ次元の情報を顔特徴ベクトルとして用いる。
【００３８】
ここで、目鼻など顔の部品が検出しにくく現在とは別の顔の向きにすれば顔が検出し易い等の情報が予め辞書に保持してある場合や、検出はできているが写真等のように全く変動がないといった場合、後述の案内出力部１７から「所定の方向を向いてください」といった案内を出力する。
【００３９】
続いて、人物認識部１５では、次の処理を行う。
【００４０】
ここで、図３は顔の特徴量情報の一例を示す図である。
【００４１】
図３の左図は、入力画像を顔領域検出部１２によって処理し得られた顔領域画像を時系列で貯め込んだデータを示したものであり、図３の右図は、時系列画像データに対してＫ−Ｌ展開による正規直交ベクトルを求めることにより部分空間を計算し、その固有ベクトルを画像化して表示したものである。
【００４２】
この部分空間は、人物の同定を行うための識別辞書、及び入力画像内の顔の特徴として利用する。予め登録しておいた辞書の部分空間と、入力画像から作成された部分空間を認識に用いれば良い。
【００４３】
本実施の形態では、認識方法としては、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），vol.J68-D，No.３，pp345−352(1985)）や、特開平９−２５１５３４号公報に記載されている相互部分空間法を採用する。
【００４４】
以上のような流れで、各個人毎の辞書データと特徴量とを比較することで、カメラにより撮影された人物が誰であるかを識別し、又は該当人物であるかどうかを同定することになる。ここで、人物を識別する為には、どの人物の辞書に最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を識別結果とすればよい。また、カードや登録番号、暗証番号、鍵等を用いて、顔による認証を行う場合には、各人物のカードや番号等の個人情報に対応する認識データとの類似度を計算し、予め閾値を設定し、上記類似度が該閾値を越えた場合に該当人物と同定することになる。
【００４５】
上記登録情報保持部１６は、人物を同定するために利用する顔の特徴量（本実施例では部分空間または相関行列など）や、顔の登録時に記録された「認識しやすい顔の向き」、「認識しにくい顔の向き」といった情報を同時に保持する。また登録の際の時刻、日時、場所、人物の性別、年齢、身長、ＩＤ番号などの状況情報なども同時に蓄積できる。入力された顔の画像データ自体でもよい。
【００４６】
また、一人の人物に対して複数用意することも可能で、例えば、眼鏡をかけている場合、眼鏡を外した場合のように著しく変動が起こる場合に、２つの認識データを用意しておき、いずれかのデータと同定出来た場合に照合できたとする。
尚、眼鏡に限られず、女性の場合は化粧の有無等にも利用できる。
【００４７】
上記機器制御部１８は、人物認識部１５において特定人物だと識別された場合に、その人物が予め所定の操作の許可を得ているものである場合には、制御対象機器に対して操作許可の信号を送る。例えば、上述した適用例である扉制御型では、扉のロックを解除して扉を開けられるように駆動制御したり、特定の物を出し入れできるようにしたりするとことが挙げられる。
【００４８】
また、カードや登録番号、暗証番号、鍵などを用いて、ある特定ＩＤに対しての操作の許可を得るための認証を行う場合には、それぞれの人物のカードや番号等の個人情報に対応する認識データとの類似度が所定の閾値を超えた場合にその操作を許可することになる。
【００４９】
次に本発明の第２の実施の形態について説明する。
【００５０】
第２の実施の形態に係る顔画像認識装置は、第１の実施の形態の機能に加えて、顔の方向を指定しながら顔画像の登録を行い、且つ目鼻の検出が難い顔の向きや検出し易い顔の向きを辞書に登録する機能を有する点に特徴がある。
【００５１】
尚、この第２の実施の形態の適用例は先に説明した図１と同様であり、基本構成についても第１の実施の形態において説明した図２と同様である。そこで、以下の説明では、図1及び図２を適宜参照しつつ、顔の方向を確認しながら顔画像登録処理について詳細に説明する。
【００５２】
以下、図５のフローチャートを参照して、第２の実施の形態に係る顔画像認識装置による顔画像の登録処理について詳述する。
【００５３】
尚、下記の閾値は、０＜Ｔｈ１＜Ｔｈ２の関係があるものとする。
【００５４】
新規に顔画像を登録しようとする時には、システムの管理者が登録用のシステムを起動する。登録対象者は画像入力部１１及び案内出力部１７の前に立って、案内出力部１７からの指示通りに顔の向きを変化させる。
【００５５】
このとき、図４に示されるような案内出力画面が表示される。
【００５６】
この図４に示されるように、案内用モニタ１には、カメラ２２により撮像された画像と、人物の顔が検出できたか否かを出力する顔検出結果表示部２０と、予め定めたタイムテーブルに合わせて顔の向きを指示する顔方向指定案内部２１とが表示され、予め定めたタイムテーブルに顔を向けるべき方向の指定が随時変更される。このタイムテーブルは、上下左右斜め等、多種多様な方向の顔画像が得られるように予め作成されている（ステップＳ１）。
【００５７】
続いて、カメラ２２による顔画像の取り込みがなされ（ステップＳ２）、顔方向の判定が行われる（ステップＳ２）。そして、案内出力部１７で指示した方向を向いて撮像が行われたか否かが判定される（ステップＳ４）。ここで、指示した方向を向いて撮像が行われた場合には、ステップＳ５に移行し、指示した方向を向いて撮像が行われなかった場合には、ステップＳ８に移行する。
【００５８】
ステップＳ５では、所定方向の顔画像が所定の閾値Th1以内の時間Countで検出できか否かが判定される。そして、所定方向の顔画像が所定の閾値Th1以内の時間Countで検出ができた場合には（ステップＳ５）、その方向が検出し易い顔の方向であると判定して、顔の辞書に「顔を検出しやすい方向」として登録した後にステップＳ７に移行する（ステップＳ６）。これに対して、所定方向の顔画像が所定の閾値Th1以内の時間Countで検出できなかった場合には登録は行わずにステップＳ７に移行する（ステップＳ５）。
【００５９】
一方、ステップＳ８では、所定閾値Th2以上の時間Countを経過しても顔画像を検出できない方向があったか否かが判定される。そして、所定閾値Th2以上の時間Countを経過しても顔画像を検出できない方向があった場合には逆に「顔を検出しにくい方向」として辞書に登録した後にステップＳ７に移行する（ステップＳ９）。これに対して、所定閾値Th2以上の時間Countを経過しても顔画像を検出できない方向がなかった場合には、上記時間Countをインクリメントした後、上記ステップＳ２に戻る（ステップＳ１０）。
【００６０】
こうして、タイムテーブルの終了の可否を判断し（ステップＳ７）タイムテーブル終了となれば全ての登録を終了し、終了していなければ、次のタイムテーブルに合わせて案内出力部１７から顔方向の指定すると共に、時間Countを０に初期化して（ステップＳ１１）、上記ステップＳ２に戻り、上記同様の動作を繰り返すことになる。
【００６１】
このようにして登録された顔の向きの情報は、認証時に利用される。
【００６２】
即ち、ＩＤカードや暗証番号と併用する時などにおいては、認証対象者の辞書が特定されている場合には、当該辞書に登録されている「検出し易い顔の方向」を利用し、仮に認証対象者の顔を検出できないときや「検出しにくい方向」として登録されている方向を向いていると顔方向判定部１３で認識された場合には「検出しやすい方向」を向くように案内出力部１７にて指示する。
【００６３】
また、顔の方向が所定時間以上変化しないような場合にも案内出力部１７から所定方向を向くように示唆することで、写真による所謂「成りすまし」といった不正を未然防止することが可能となる。
【００６４】
次に、本発明の第３の実施の形態について説明する。
【００６５】
第３の実施の形態に係る顔画像認識装置は、前述した第１の実施の形態の機能に加えて、危険物や貴重品を取り扱う場合などにおいては、特定の管理者グループに所属する人物の同伴を伴う中、二人以上の顔を認識できたときのみ所定の操作を許可するといった機能を有する点に特徴がある。
【００６６】
尚、この第３の実施の形態の適用例は先に説明した図１と同様であり、基本構成についても第１の実施の形態において説明した後述する点以外は図２と同様である。そこで、以下の説明では、図1及び図２を適宜参照しつつ、顔の方向を確認しながら顔画像認証処理について詳細に説明する。
【００６７】
この第３の実施の形態では、図２の人物認識部１５及び機器制御部１８び機能に変更が加えられている。即ち、管理者グループに所属する人物を含む複数名の顔を認識できたときのみ、若しくは所定人数以上の存在を認識できたときのみ、所定の操作の許可を与えるような制御がなされている。
【００６８】
さらに、画像入力部１１では、複数の者が同時に撮影できるように広角カメラを利用してもよく、複数のカメラを設置して同時に処理をしてもよい。
【００６９】
また、登録情報保持部１６は、全ての登録人物の情報以外に、各個人が管理者の同伴を必要とする操作をするときのため、管理者グループに所属しているか否か等の情報も予め保持されている。
【００７０】
以下、図６のフローチャートを参照して、第３の実施の形態に係る顔画像認識装置による認証処理について詳述する。
【００７１】
認識処理を開始すると、画像入力部１１で得られた入力画像内の各人物の認識を行う（ステップＳ２１）。ここでは、入力画像内に存在する全ての人物の顔画像を抽出し、各顔画像に相当する人物を、登録保持部１６に予め保持されている情報に基づいて特定する。続いて、操作しようとしている者が、管理者の同伴を必要とする者であるか否かが判断される（ステップＳ２２）。
【００７２】
このステップＳ２２において、管理者の同伴を必要とする者であると判断された場合には、入力画像中に複数名の人物が存在するか（ステップＳ２３）、管理者の存在が必要な操作か（ステップＳ２４）、複数名の中に管理者が存在するか（ステップＳ２５）が判定される。以下、これを詳述する。
【００７３】
上記ステップＳ２３にて、入力画像中に複数名の人物が存在しないと判断された場合には、操作は拒否される（ステップＳ２９）。
【００７４】
上記ステップＳ２３において入力画像中に複数名の人物が存在していると判断された場合において、ステップＳ２４において管理者の存在が必要な操作でないと判断された場合、所定の閾値以上の人数が存在するかが判定される（ステップＳ２７）。このステップＳ２７において、所定の閾値以上の人数が存在しないと判断された場合には操作は拒否され（ステップＳ２９）、存在と判断された場合には操作が許可される（ステップＳ２８）。
【００７５】
上記ステップＳ２４で管理者の存在が必要な操作であると判断された場合において、ステップＳ２５で複数名の中に管理者が存在しないと判断された場合には操作は拒否され（ステップＳ２９）、存在すると判断された場合には操作が許可される（ステップＳ２８）。
【００７６】
このように、第３の実施の形態では、同伴者の存在は必要なく予め登録されている人物であれば一人でも操作を許可する「第１のモード」、登録された人物であれば組合せは問わないが所定の人数以上が同時に存在する場合にのみ操作を許可する「第２のモード」、予め管理者として登録されている一部の人物が同伴している時のみ操作を許可する「第３のモード」に応じて、許可／不許可の判断を行っている。上記モードは、アプリケーションによって変更自在である。
【００７７】
次に、本発明の第４の実施の形態について説明する。
【００７８】
第４の実施の形態に係る顔画像認識装置は、前述した第１の実施の形態の機能に加えて、人物の年齢を推定することで所定年齢以下の人物が操作をしようとしたときに所定年齢以上の者の同伴があるかどうかを確認することによって自動的に操作の許可の判定をするといった機能を有する点に特徴がある。
【００７９】
尚、この第３の実施の形態の適用例は先に説明した図１と同様であり、基本構成についても第１の実施の形態において説明した後述する点以外は図２と同様である。そこで、以下の説明では、図1及び図２を適宜参照しつつ、年齢推定処理について詳細に説明する。
【００８０】
この第４の実施の形態に係る顔画像認識装置では、人物の特定をする必要はなく、年齢だけが推定できればよいため、図７に示されるように、図２の顔方向判定部１３及び人物認識部１５が、特徴量抽出部２３及び年齢推定部２４に置換されている。尚、画像入力部１１は、複数名が同時に撮影できるような広角なカメラを利用してもよいし、複数のカメラを設置して同時に処理をしてもよい。
【００８１】
また、登録情報保持部１６では、各種年齢層別の平均顔画像、又は同じ年齢層の多数の顔画像をＫ−Ｌ展開することによって得られる各年齢層の特徴を示す固有ベクトル等を保持し、前述の実施の形態までのように個人の特徴を保持する辞書は必要ない。個人の特定辞書を入れることで、個人に対する年齢情報を正確に出力できるといった手段でも実現可能である。
【００８２】
以下、図８のフローチャートを参照して、第４の実施の形態に係る顔画像認識装置による年齢推定処理について説明する。
【００８３】
処理を開始すると、上記画像入力部１１で得られた入力画像中に存在する全ての人物の顔画像を抽出する。そして、年齢推定部２２は、各顔画像に対し、登録情報保持部１６に予め保持された年齢情報を参照しつつ、一番類似度が高いと判定された年齢層によりその人物の年齢を推定する（ステップＳ３１）。
【００８４】
次いで、操作しようとしている対象が、所定年齢以上の同伴者が必要なものであるか否かが判断される（ステップＳ３２）。
【００８５】
そして、所定年齢以上の同伴者が必要なものでない場合には、操作を許可し（ステップＳ３５）、所定年齢以上の同伴者が必要なものである場合には、複数人物の中に所定年齢以上の者が存在するか否かが判断される（ステップＳ３３）。
【００８６】
そして、所定年齢以上の者が存在すれば操作が許可され（ステップＳ３５）、存在しなければ操作が拒否される（ステップＳ３４）。
【００８７】
このように、第４の実施の形態では、所定年齢以上の同伴者は必要なく誰でも操作を許可する第１のモード、一人または複数の人物の中に所定年齢以上の人物がいると判定された場合のみ操作を許可する第２のモード、に応じて操作の許可／拒否が判断されている。上記モードはアプリケーションによって適宜変更可能である。
【００８８】
以上説明した本発明によれば、以下の効果が奏される。
【００８９】
（１）管理者付き複数顔認証における効果
実際に所望の操作をしたいと思っている顔認証希望者と予め登録された管理者や同伴者など所定の条件を満たす同伴の人物とともに同時に複数の顔認証を行い、認証結果の組合せによって所定の操作の許可をすることができる。そのため、鍵などの媒体を管理者が持ち歩く必要もなく、必要なときのみ管理者が同伴して認証を行えばよいようになるほか、自動認証を終えた後でも管理者による監視があるために操作に一定の制限をつけることが可能となる。
【００９０】
（２）年齢推定における効果
操作をしようとししている人物の年齢を推定することにより所定年齢以下の者が現れたときでも所定年齢以上の同伴者がいないと操作を許可しないようにすることができる。
【００９１】
（３）顔登録における効果
顔認証装置における顔画像の登録時において、かつ正しくその方向を向いているかの顔方向判定を行いながら顔の向きを指示することで、多くの方向を向いた顔画像を有効かる無駄がなく集められ、精度良く顔画像の登録をすることができる。また登録時にうまく顔や顔の部位が抽出できない顔の方向があったら個人の特徴を示す辞書と同時に記録しておく。
【００９２】
（４）顔認証における効果
認証の時に所定方向を向いてもらい、認証の度に向かせる方向を変えたり複数方向を向かせることによって写真による所謂「成りすまし」を防止する他、顔の登録時に同時に保存してある顔の特徴の出やすい方向、出にくい方向を個人別に持つことによって精度良い顔認証をすることができる。
【００９３】
【発明の効果】
本発明によれば、認証時における不正行為を防止し、高精度の顔画像認識を実現する顔画像認識装置及び顔画像認識方法を提供することができる。
【図面の簡単な説明】
【図１】（ａ）は通路のドアや金庫のような扉の開閉の制御に第１の実施の形態に係る顔画像認識装置を適用した場合の構成を示す図であり、（ｂ）は自動販売機に第１の実施の形態に係る顔画像認識装置を適用した場合の構成を示す図である。
【図２】第１の実施の形態に係る顔画像認識装置の構成を示すブロック図である。
【図３】第１の実施の形態に係る顔画像認識装置にて抽出された顔の特徴量情報の一例を示す図である。
【図４】第２の実施の形態に係る顔画像認識装置による案内出力画面の一例を示す図である。
【図５】第２の実施の形態に係る顔画像認識装置による顔画像の登録処理について詳述するためのフローチャートである。
【図６】第３の実施の形態に係る顔画像認識装置による認証処理について詳述するためのフローチャートである。
【図７】第４の実施の形態に係る顔画像認識装置の構成を示すブロック図である。
【図８】第４の実施の形態に係る顔画像認識装置による年齢推定処理について説明するためのフローチャートである。
【符号の説明】
１ 案内用モニタ
２ カメラ
３ 制御部
４ パーソナルコンピュータ
１１ 画像入力部
１２ 顔領域検出部
１３ 顔方向判定部
１４ 顔部位抽出部
１５ 人物認識部
１６ 登録情報保持部
１７ 案内出力部
１８ 機器制御部
【発明の属する技術分野】
本発明は、入力画像より顔画像を抽出して、当該顔画像に基づいて所定の登録や認証を行う顔画像認識装置及び顔画像認識方法に関する。
【０００２】
【従来の技術】
今日、顔画像認識技術は、セキュリティシステムやヒューマンインターフェースの構築に有用であるとの認識の下、種々の技術が開発されている。
【０００３】
一般に、顔画像により個人を認証する個人認証装置は、ＩＤカードや暗証番号等に対応した顔特微量とカメラの前にいる１名の人物の顔特微量とを比較した結果に基づいて機器の制御をしている。そして、顔による個人認証用の辞書登録においては、顔画像を何度か取り直し、その際、特に動きを指定せずに、ある程度のバリエーションがある画像が数枚集まれば登録終了としている。また、写真撮影時の所謂「なりすまし」による不正を防止すべく、写真撮影時に瞬きをしてもらい、顔の動きのチェックをする技術も存在した。
【０００４】
以下、具体的な先行文献を挙げて従来技術を説明する。
【０００５】
例えば、特開平１１−３１６８３６号公報（以下、先行文献１と称する）では、本人の特定に伴って再識別処理をするとき、当該再識別処理に適した画像取得条件に設定変更して特定者を確実に識別する本人特定装置に関する技術が開示されている。即ち、同技術では、特に認証時に本人である事が認識できない場合には、照明条件を変更したり人の向きを変えさせることを特徴としている。
【０００６】
一方、例えば、特開平１０−２３２９３４号公報（以下、先行文献２と称する）では、認識対象の動作をチェックしながら顔画像の登録を行う顔画像登録装置及びその方法に関する技術が開示されている。すなわち、同技術では、顔画像の登録の際に、認証対象者が別の機器の操作をしているか等といった、顔認証とは何ら関係のない動作のチェックをしている。
【０００７】
さらに、特許番号第２９１５０１３号公報（以下、先行文献３と称する）では、監視区域内で視聴する個々のメンバーを特定する画像認識装置に関する技術が開示されている。即ち、同技術では、隠し照明器具及びビデオセンサの両者を使用して、監視領域内の認識対象者たる視聴者の中から所定の個人を識別する。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来技術には、以下のような問題が存在した。
【０００９】
即ち、危険物や極秘物件等といった重要度の高いものに対して様々なセキュリティが設置されているが、近年開発中の顔による個人認証装置では、写真での所謂「成りすまし」やビデオ画像のすり替え等、悪意のある人物の検出が困難であった。また、顔画像の認証が終了した後においては、不正行為を取り締まるすべはなく、顔認証システム自体の問題が存在していた。また、顔認証等を利用せず特定の管理者が鍵を補完して希望のあった時に対応する方法でも、鍵を紛失したり盗まれる等といった別の問題も生じていた。
【００１０】
また、所定年齢以上でないと売買できないことが望まれる自動販売機に係る技術分野でも、時間で売買を制限する技術しか存在せず、人目さえ避ければ年齢に関係無く売買できているのが現状である。商店等では、所定年齢以上でないと売買できない物を当該年齢に満たない者が購入する際には、親の同意書や同伴者を要求するが、完全自動化することは困難であった。
【００１１】
さらに、数枚程度の顔画像情報で登録されている場合、認証時に顔の向きのばらつきに対しては得られた顔画像を利用して補正する手法がとられていたが、完全に補正することは難しかった。また、特殊機器を使わずにバリエーションのある顔の向きを辞書登録時に集めるには、単純に「顔を動かしてください」程度の案内を出すことしかできず、登録者の顔の動かし方の上記案内に対応した均一化は図れていなかった。
【００１２】
また、写真撮影時の所謂「成りすまし」を防止するために、写真撮影時に瞬きをさせる顔画像認証装置に関する技術もあるが、瞬きの判定精度には限度があり、例えば写真の眼の部分を手等で歪ませる等といった操作をすれば、「成りすまし」といった不正行為が成立するといった可能性が残されていた。また、人物によっては顔の検出精度が低い等といった問題が存在した。
【００１３】
以上のほか、上記先行文献１では、予め登録時に認識し易い向きや認識し難い向きという情報を獲得し、当該情報に合わせて指示を出すといったことは何ら示唆すらされていなかった。上記先行文献２にかかる技術では、顔認証向けの顔画像自体が良好か否かについてはチェックしていなかった。上記先行文献３では、認識の目的が視聴者の存在であるにすぎず、機器の操作の許可／不許可の判定については何ら示唆されていなかった。
【００１４】
本発明は、上記問題に鑑みてなされたもので、その目的とするところは、認証時における不正行為を防止し、高精度の顔画像認識を実現する顔画像認識装置及び顔画像認識方法を提供することにある。
【００１５】
【課題を解決する為の手段】
上記目的を達成するために、本発明では、認識対象者の画像を入力する画像入力手段と、上記画像入力手段を介して得られた画像における認識対象者の顔領域を抽出する顔領域抽出手段と、上記顔領域抽出手段により抽出された顔領域に係る情報に基づいて、認識対象者の顔の個人差を示す特徴量を計算する特徴量抽出手段と、上記特徴量抽出手段により計算された複数の認識対象者の顔の個人差を示す特徴量を予め格納する登録情報保持手段と、上記特徴量抽出手段により得られた認識対象者の顔の特徴量と、上記登録情報保持手段に予め登録された特徴量との類似度を計算して、認識対象者を認識する人物認識手段と、上記人物認識手段の認識結果に基づいて、所定の操作を許可するか否かを制御する制御手段と、を具備し、上記登録情報保持手段は、各年齢層を推定するために、複数の顔画像から各年齢層毎に計算した基準特徴量を予め保持し、上記制御手段は、上記特徴量抽出手段により抽出された特徴量と、上記登録情報保持手段に予め格納された各年齢層毎の基準特徴量とを比較して、最も類似度が高いとされた年齢層をその被験者の年齢と判定し、上記認識対象者の中に所定年齢以上の者が少なくとも含まれていると判断した場合に、所定の操作を許可するように制御する、ことを特徴とした顔画像認識装置が提供される。
【００１６】
また、本発明では、認識対象者の画像を入力するステップと、上記画像における認識対象者の顔領域を抽出するステップと、上記顔領域に係る情報に基づいて、認識対象者の顔の個人差を示す特徴量を計算するステップと、複数の認識対象者の顔の個人差を示す特徴量を予め格納するステップと、上記認識対象者の顔の特徴量と、上記予め登録された特徴量との類似度を計算して、認識対象者を認識するステップと、上記認識結果に基づいて、所定の操作を許可するか否かを制御するステップと、各年齢層を推定するために、複数の顔画像から各年齢層毎に計算した基準特徴量を予め保持するステップと、抽出された特徴量と、予め格納された各年齢層毎の基準特徴量とを比較して、最も類似度が高いとされた年齢層をその被験者の年齢と判定し、上記認識対象者の中に所定年齢以上の者が少なくとも含まれていると判断した場合に、所定の操作を許可するように制御するステップと、を具備することを特徴とした顔画像認識方法が提供される。
【００１９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２０】
ここでは、カメラで撮像され得られた入力画像中に含まれる一人又は複数人の顔を認識する顔画像認識装置及び方法の各種実施の形態について説明する。
【００２１】
即ち、第１の実施の形態では、全ての実施の形態に共通する顔画像認識装置の構成及び作用について説明する。そして、これを前提として、第２の実施の形態では、顔の方向・証明を変更させる顔の登録・認証を中心に説明し、第３の実施の形態では、複数の顔の認識に係る制御を中心に説明し、第４の実施の形態では、年齢推定に係る制御を中心に説明する。
【００２２】
先ず、本発明の第１の実施の形態について説明する。
【００２３】
図１は第１の実施の形態に係る顔画像認識装置の適用例の構成図である。
【００２４】
図１（ａ）は通路のドアや金庫のような扉の開閉の制御に顔画像認識装置を適用したものであり（以下、扉制御型と称する）、図１（ｂ）は自動販売機に顔画像認識装置を適用したものである（以下、自動販売機型と称する）。
【００２５】
図１（ａ）に示されるように、扉制御型では、その上部に案内用モニタ１が配置されており、その下部には３つのＣＣＤカメラ２が配置されている。さらに、制御部３、全体の制御を司るパーソナルコンピュータ（又はワークステーション）４が配置されている。一方、図１（ｂ）に示されるように、自動販売機型も同様に、その上部に案内用モニタ１が配置されており、その下部には３つのＣＣＤカメラ２が配置されている。さらに、制御部３、全体の制御を司るパーソナルコンピュータ（又はワークステーション）４が配置されている。
【００２６】
このように、第１の実施の形態の適用例では、上記制御部３において、詳細は後述するような各種アプリケーションに合わせて、顔による個人認証の結果に基づく所定の制御が行われることになる。
【００２７】
図２は、第１の実施の形態に係る顔画像認識装置の構成を示すブロック図である。この図２に示されるように、カメラ等を有する画像入力部１１の出力は、顔領域検出部１２の入力に接続され、この顔領域検出部１２の出力は、顔方向判定部１３の入力に接続されている。上記顔方向判定部１３の出力は、顔部位抽出部１４の入力に接続され、この顔部位抽出部１４の出力は、人物認識部１５の入力に接続されている。更に、この人物認識部１５は、登録情報保持部１６と機器制御部１８と相互に通信自在に接続されている。以上の他、上記各部１２乃至１５の各出力は、案内出力部１７の入力に接続されている。
【００２８】
このような構成の顔画像認識装置の作用を概説すると、次のようになる。
【００２９】
すなわち、上記画像入力部１１は、一つ又は複数のカメラから入力されたディジタル画像データをメモリに格納する。さらに、顔領域検出部１２は、各画像に対して画像内に存在する人物全員の顔領域を検出する。これと同時に、顔方向判定部１３は、各顔の向いている方向を判定する。
【００３０】
上記顔部位抽出部１４は、各顔領域において、例えば目鼻口等の顔部位を検出し、それらの位置関係を基に顔の傾きや大きさの正規化を行う。そして、上記人物認識部１５は、得られた正規化顔画像を時系列で蓄積した結果を利用して登録情報保持部６に予め登録されている各個人の顔の特徴量と類似度を計算し、画像内に存在する各人物が誰であるかを識別する。
【００３１】
以上の処理で得られた結果は案内出力部７に出力されるほか、人物認識部１５によって所望の操作が許可された場合には機器制御部１８において対象となる機器の制御が行われる。また、顔の認証時には、顔方向判定部１３が各人物の顔の向きを判定し、登録時に認識し難い顔の向きであった場合や、写真での所謂「成りすまし」のように顔の動きがない場合においては、案内出力部１７において顔の方向を変えさせるといった案内を出力する。
【００３２】
以下、上記各部１１乃至１８による処理を具現化して詳細に説明する。
【００３３】
上記画像入力部１１は、ＣＣＤカメラ等により顔画像を撮像し、Ａ／Ｄ変換を行った後、装置本体内にあるメモリ内に上記顔画像をデジタルデータとして記録する。尚、上記ＣＣＤカメラの数は１つでもよいし複数あってもよく、複数のＣＣＤカメラによって取り込まれたメモリ内の画像に対して、後述するような各部１２乃至１８による処理をそれぞれ繰り返すことになる。
【００３４】
上記顔領域検出部１２は、画像中から予め用意された平均的な顔のテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を得た場所を顔領域とする。また、複数に対応する場合には局所領域内での最高点（ローカルピーク）を求め、その相関値が所定の閾値を越した場合に顔領域として追加をする。その他、相関値ではなく、固有空間法や部分空間法を利用した顔抽出法等を適用することもできる。
【００３５】
上記顔方向判定部１３では、上記顔領域検出部１２において抽出された全顔領域に対し、予め多数の人物の顔画像から作られた上下左右斜めなど顔の方向に合わせたテンプレートを用意しておき、どの方向を向いているかを推定する。また特開平９−１４７１１９号公報で述べられているような顔の部品の位置を検出する方法を採用することも可能である。
【００３６】
上記顔部位抽出部１４では、得られた各顔領域内から目、鼻、口といった顔部品を検出する。この顔部品の検出方法については、文献（福井和広、山口修：「形状抽出とパターン称号の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），vol.Ｊ80・D・II，No.８，pp2177・・2177（1997）で説明されるように、分離度フィルタを用いることで実現可能である。
【００３７】
次に検出された顔の部品の位置を基に、顔領域を一定の大きさ、形状に切出し、傾きや大きさを補正してｍ×ｎピクセルの領域を作成する。以下、このｍ×ｎ次元の情報を顔特徴ベクトルとして用いる。
【００３８】
ここで、目鼻など顔の部品が検出しにくく現在とは別の顔の向きにすれば顔が検出し易い等の情報が予め辞書に保持してある場合や、検出はできているが写真等のように全く変動がないといった場合、後述の案内出力部１７から「所定の方向を向いてください」といった案内を出力する。
【００３９】
続いて、人物認識部１５では、次の処理を行う。
【００４０】
ここで、図３は顔の特徴量情報の一例を示す図である。
【００４１】
図３の左図は、入力画像を顔領域検出部１２によって処理し得られた顔領域画像を時系列で貯め込んだデータを示したものであり、図３の右図は、時系列画像データに対してＫ−Ｌ展開による正規直交ベクトルを求めることにより部分空間を計算し、その固有ベクトルを画像化して表示したものである。
【００４２】
この部分空間は、人物の同定を行うための識別辞書、及び入力画像内の顔の特徴として利用する。予め登録しておいた辞書の部分空間と、入力画像から作成された部分空間を認識に用いれば良い。
【００４３】
本実施の形態では、認識方法としては、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），vol.J68-D，No.３，pp345−352(1985)）や、特開平９−２５１５３４号公報に記載されている相互部分空間法を採用する。
【００４４】
以上のような流れで、各個人毎の辞書データと特徴量とを比較することで、カメラにより撮影された人物が誰であるかを識別し、又は該当人物であるかどうかを同定することになる。ここで、人物を識別する為には、どの人物の辞書に最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を識別結果とすればよい。また、カードや登録番号、暗証番号、鍵等を用いて、顔による認証を行う場合には、各人物のカードや番号等の個人情報に対応する認識データとの類似度を計算し、予め閾値を設定し、上記類似度が該閾値を越えた場合に該当人物と同定することになる。
【００４５】
上記登録情報保持部１６は、人物を同定するために利用する顔の特徴量（本実施例では部分空間または相関行列など）や、顔の登録時に記録された「認識しやすい顔の向き」、「認識しにくい顔の向き」といった情報を同時に保持する。また登録の際の時刻、日時、場所、人物の性別、年齢、身長、ＩＤ番号などの状況情報なども同時に蓄積できる。入力された顔の画像データ自体でもよい。
【００４６】
また、一人の人物に対して複数用意することも可能で、例えば、眼鏡をかけている場合、眼鏡を外した場合のように著しく変動が起こる場合に、２つの認識データを用意しておき、いずれかのデータと同定出来た場合に照合できたとする。
尚、眼鏡に限られず、女性の場合は化粧の有無等にも利用できる。
【００４７】
上記機器制御部１８は、人物認識部１５において特定人物だと識別された場合に、その人物が予め所定の操作の許可を得ているものである場合には、制御対象機器に対して操作許可の信号を送る。例えば、上述した適用例である扉制御型では、扉のロックを解除して扉を開けられるように駆動制御したり、特定の物を出し入れできるようにしたりするとことが挙げられる。
【００４８】
また、カードや登録番号、暗証番号、鍵などを用いて、ある特定ＩＤに対しての操作の許可を得るための認証を行う場合には、それぞれの人物のカードや番号等の個人情報に対応する認識データとの類似度が所定の閾値を超えた場合にその操作を許可することになる。
【００４９】
次に本発明の第２の実施の形態について説明する。
【００５０】
第２の実施の形態に係る顔画像認識装置は、第１の実施の形態の機能に加えて、顔の方向を指定しながら顔画像の登録を行い、且つ目鼻の検出が難い顔の向きや検出し易い顔の向きを辞書に登録する機能を有する点に特徴がある。
【００５１】
尚、この第２の実施の形態の適用例は先に説明した図１と同様であり、基本構成についても第１の実施の形態において説明した図２と同様である。そこで、以下の説明では、図1及び図２を適宜参照しつつ、顔の方向を確認しながら顔画像登録処理について詳細に説明する。
【００５２】
以下、図５のフローチャートを参照して、第２の実施の形態に係る顔画像認識装置による顔画像の登録処理について詳述する。
【００５３】
尚、下記の閾値は、０＜Ｔｈ１＜Ｔｈ２の関係があるものとする。
【００５４】
新規に顔画像を登録しようとする時には、システムの管理者が登録用のシステムを起動する。登録対象者は画像入力部１１及び案内出力部１７の前に立って、案内出力部１７からの指示通りに顔の向きを変化させる。
【００５５】
このとき、図４に示されるような案内出力画面が表示される。
【００５６】
この図４に示されるように、案内用モニタ１には、カメラ２２により撮像された画像と、人物の顔が検出できたか否かを出力する顔検出結果表示部２０と、予め定めたタイムテーブルに合わせて顔の向きを指示する顔方向指定案内部２１とが表示され、予め定めたタイムテーブルに顔を向けるべき方向の指定が随時変更される。このタイムテーブルは、上下左右斜め等、多種多様な方向の顔画像が得られるように予め作成されている（ステップＳ１）。
【００５７】
続いて、カメラ２２による顔画像の取り込みがなされ（ステップＳ２）、顔方向の判定が行われる（ステップＳ２）。そして、案内出力部１７で指示した方向を向いて撮像が行われたか否かが判定される（ステップＳ４）。ここで、指示した方向を向いて撮像が行われた場合には、ステップＳ５に移行し、指示した方向を向いて撮像が行われなかった場合には、ステップＳ８に移行する。
【００５８】
ステップＳ５では、所定方向の顔画像が所定の閾値Th1以内の時間Countで検出できか否かが判定される。そして、所定方向の顔画像が所定の閾値Th1以内の時間Countで検出ができた場合には（ステップＳ５）、その方向が検出し易い顔の方向であると判定して、顔の辞書に「顔を検出しやすい方向」として登録した後にステップＳ７に移行する（ステップＳ６）。これに対して、所定方向の顔画像が所定の閾値Th1以内の時間Countで検出できなかった場合には登録は行わずにステップＳ７に移行する（ステップＳ５）。
【００５９】
一方、ステップＳ８では、所定閾値Th2以上の時間Countを経過しても顔画像を検出できない方向があったか否かが判定される。そして、所定閾値Th2以上の時間Countを経過しても顔画像を検出できない方向があった場合には逆に「顔を検出しにくい方向」として辞書に登録した後にステップＳ７に移行する（ステップＳ９）。これに対して、所定閾値Th2以上の時間Countを経過しても顔画像を検出できない方向がなかった場合には、上記時間Countをインクリメントした後、上記ステップＳ２に戻る（ステップＳ１０）。
【００６０】
こうして、タイムテーブルの終了の可否を判断し（ステップＳ７）タイムテーブル終了となれば全ての登録を終了し、終了していなければ、次のタイムテーブルに合わせて案内出力部１７から顔方向の指定すると共に、時間Countを０に初期化して（ステップＳ１１）、上記ステップＳ２に戻り、上記同様の動作を繰り返すことになる。
【００６１】
このようにして登録された顔の向きの情報は、認証時に利用される。
【００６２】
即ち、ＩＤカードや暗証番号と併用する時などにおいては、認証対象者の辞書が特定されている場合には、当該辞書に登録されている「検出し易い顔の方向」を利用し、仮に認証対象者の顔を検出できないときや「検出しにくい方向」として登録されている方向を向いていると顔方向判定部１３で認識された場合には「検出しやすい方向」を向くように案内出力部１７にて指示する。
【００６３】
また、顔の方向が所定時間以上変化しないような場合にも案内出力部１７から所定方向を向くように示唆することで、写真による所謂「成りすまし」といった不正を未然防止することが可能となる。
【００６４】
次に、本発明の第３の実施の形態について説明する。
【００６５】
第３の実施の形態に係る顔画像認識装置は、前述した第１の実施の形態の機能に加えて、危険物や貴重品を取り扱う場合などにおいては、特定の管理者グループに所属する人物の同伴を伴う中、二人以上の顔を認識できたときのみ所定の操作を許可するといった機能を有する点に特徴がある。
【００６６】
尚、この第３の実施の形態の適用例は先に説明した図１と同様であり、基本構成についても第１の実施の形態において説明した後述する点以外は図２と同様である。そこで、以下の説明では、図1及び図２を適宜参照しつつ、顔の方向を確認しながら顔画像認証処理について詳細に説明する。
【００６７】
この第３の実施の形態では、図２の人物認識部１５及び機器制御部１８び機能に変更が加えられている。即ち、管理者グループに所属する人物を含む複数名の顔を認識できたときのみ、若しくは所定人数以上の存在を認識できたときのみ、所定の操作の許可を与えるような制御がなされている。
【００６８】
さらに、画像入力部１１では、複数の者が同時に撮影できるように広角カメラを利用してもよく、複数のカメラを設置して同時に処理をしてもよい。
【００６９】
また、登録情報保持部１６は、全ての登録人物の情報以外に、各個人が管理者の同伴を必要とする操作をするときのため、管理者グループに所属しているか否か等の情報も予め保持されている。
【００７０】
以下、図６のフローチャートを参照して、第３の実施の形態に係る顔画像認識装置による認証処理について詳述する。
【００７１】
認識処理を開始すると、画像入力部１１で得られた入力画像内の各人物の認識を行う（ステップＳ２１）。ここでは、入力画像内に存在する全ての人物の顔画像を抽出し、各顔画像に相当する人物を、登録保持部１６に予め保持されている情報に基づいて特定する。続いて、操作しようとしている者が、管理者の同伴を必要とする者であるか否かが判断される（ステップＳ２２）。
【００７２】
このステップＳ２２において、管理者の同伴を必要とする者であると判断された場合には、入力画像中に複数名の人物が存在するか（ステップＳ２３）、管理者の存在が必要な操作か（ステップＳ２４）、複数名の中に管理者が存在するか（ステップＳ２５）が判定される。以下、これを詳述する。
【００７３】
上記ステップＳ２３にて、入力画像中に複数名の人物が存在しないと判断された場合には、操作は拒否される（ステップＳ２９）。
【００７４】
上記ステップＳ２３において入力画像中に複数名の人物が存在していると判断された場合において、ステップＳ２４において管理者の存在が必要な操作でないと判断された場合、所定の閾値以上の人数が存在するかが判定される（ステップＳ２７）。このステップＳ２７において、所定の閾値以上の人数が存在しないと判断された場合には操作は拒否され（ステップＳ２９）、存在と判断された場合には操作が許可される（ステップＳ２８）。
【００７５】
上記ステップＳ２４で管理者の存在が必要な操作であると判断された場合において、ステップＳ２５で複数名の中に管理者が存在しないと判断された場合には操作は拒否され（ステップＳ２９）、存在すると判断された場合には操作が許可される（ステップＳ２８）。
【００７６】
このように、第３の実施の形態では、同伴者の存在は必要なく予め登録されている人物であれば一人でも操作を許可する「第１のモード」、登録された人物であれば組合せは問わないが所定の人数以上が同時に存在する場合にのみ操作を許可する「第２のモード」、予め管理者として登録されている一部の人物が同伴している時のみ操作を許可する「第３のモード」に応じて、許可／不許可の判断を行っている。上記モードは、アプリケーションによって変更自在である。
【００７７】
次に、本発明の第４の実施の形態について説明する。
【００７８】
第４の実施の形態に係る顔画像認識装置は、前述した第１の実施の形態の機能に加えて、人物の年齢を推定することで所定年齢以下の人物が操作をしようとしたときに所定年齢以上の者の同伴があるかどうかを確認することによって自動的に操作の許可の判定をするといった機能を有する点に特徴がある。
【００７９】
尚、この第３の実施の形態の適用例は先に説明した図１と同様であり、基本構成についても第１の実施の形態において説明した後述する点以外は図２と同様である。そこで、以下の説明では、図1及び図２を適宜参照しつつ、年齢推定処理について詳細に説明する。
【００８０】
この第４の実施の形態に係る顔画像認識装置では、人物の特定をする必要はなく、年齢だけが推定できればよいため、図７に示されるように、図２の顔方向判定部１３及び人物認識部１５が、特徴量抽出部２３及び年齢推定部２４に置換されている。尚、画像入力部１１は、複数名が同時に撮影できるような広角なカメラを利用してもよいし、複数のカメラを設置して同時に処理をしてもよい。
【００８１】
また、登録情報保持部１６では、各種年齢層別の平均顔画像、又は同じ年齢層の多数の顔画像をＫ−Ｌ展開することによって得られる各年齢層の特徴を示す固有ベクトル等を保持し、前述の実施の形態までのように個人の特徴を保持する辞書は必要ない。個人の特定辞書を入れることで、個人に対する年齢情報を正確に出力できるといった手段でも実現可能である。
【００８２】
以下、図８のフローチャートを参照して、第４の実施の形態に係る顔画像認識装置による年齢推定処理について説明する。
【００８３】
処理を開始すると、上記画像入力部１１で得られた入力画像中に存在する全ての人物の顔画像を抽出する。そして、年齢推定部２２は、各顔画像に対し、登録情報保持部１６に予め保持された年齢情報を参照しつつ、一番類似度が高いと判定された年齢層によりその人物の年齢を推定する（ステップＳ３１）。
【００８４】
次いで、操作しようとしている対象が、所定年齢以上の同伴者が必要なものであるか否かが判断される（ステップＳ３２）。
【００８５】
そして、所定年齢以上の同伴者が必要なものでない場合には、操作を許可し（ステップＳ３５）、所定年齢以上の同伴者が必要なものである場合には、複数人物の中に所定年齢以上の者が存在するか否かが判断される（ステップＳ３３）。
【００８６】
そして、所定年齢以上の者が存在すれば操作が許可され（ステップＳ３５）、存在しなければ操作が拒否される（ステップＳ３４）。
【００８７】
このように、第４の実施の形態では、所定年齢以上の同伴者は必要なく誰でも操作を許可する第１のモード、一人または複数の人物の中に所定年齢以上の人物がいると判定された場合のみ操作を許可する第２のモード、に応じて操作の許可／拒否が判断されている。上記モードはアプリケーションによって適宜変更可能である。
【００８８】
以上説明した本発明によれば、以下の効果が奏される。
【００８９】
（１）管理者付き複数顔認証における効果
実際に所望の操作をしたいと思っている顔認証希望者と予め登録された管理者や同伴者など所定の条件を満たす同伴の人物とともに同時に複数の顔認証を行い、認証結果の組合せによって所定の操作の許可をすることができる。そのため、鍵などの媒体を管理者が持ち歩く必要もなく、必要なときのみ管理者が同伴して認証を行えばよいようになるほか、自動認証を終えた後でも管理者による監視があるために操作に一定の制限をつけることが可能となる。
【００９０】
（２）年齢推定における効果
操作をしようとししている人物の年齢を推定することにより所定年齢以下の者が現れたときでも所定年齢以上の同伴者がいないと操作を許可しないようにすることができる。
【００９１】
（３）顔登録における効果
顔認証装置における顔画像の登録時において、かつ正しくその方向を向いているかの顔方向判定を行いながら顔の向きを指示することで、多くの方向を向いた顔画像を有効かる無駄がなく集められ、精度良く顔画像の登録をすることができる。また登録時にうまく顔や顔の部位が抽出できない顔の方向があったら個人の特徴を示す辞書と同時に記録しておく。
【００９２】
（４）顔認証における効果
認証の時に所定方向を向いてもらい、認証の度に向かせる方向を変えたり複数方向を向かせることによって写真による所謂「成りすまし」を防止する他、顔の登録時に同時に保存してある顔の特徴の出やすい方向、出にくい方向を個人別に持つことによって精度良い顔認証をすることができる。
【００９３】
【発明の効果】
本発明によれば、認証時における不正行為を防止し、高精度の顔画像認識を実現する顔画像認識装置及び顔画像認識方法を提供することができる。
【図面の簡単な説明】
【図１】（ａ）は通路のドアや金庫のような扉の開閉の制御に第１の実施の形態に係る顔画像認識装置を適用した場合の構成を示す図であり、（ｂ）は自動販売機に第１の実施の形態に係る顔画像認識装置を適用した場合の構成を示す図である。
【図２】第１の実施の形態に係る顔画像認識装置の構成を示すブロック図である。
【図３】第１の実施の形態に係る顔画像認識装置にて抽出された顔の特徴量情報の一例を示す図である。
【図４】第２の実施の形態に係る顔画像認識装置による案内出力画面の一例を示す図である。
【図５】第２の実施の形態に係る顔画像認識装置による顔画像の登録処理について詳述するためのフローチャートである。
【図６】第３の実施の形態に係る顔画像認識装置による認証処理について詳述するためのフローチャートである。
【図７】第４の実施の形態に係る顔画像認識装置の構成を示すブロック図である。
【図８】第４の実施の形態に係る顔画像認識装置による年齢推定処理について説明するためのフローチャートである。
【符号の説明】
１ 案内用モニタ
２ カメラ
３ 制御部
４ パーソナルコンピュータ
１１ 画像入力部
１２ 顔領域検出部
１３ 顔方向判定部
１４ 顔部位抽出部
１５ 人物認識部
１６ 登録情報保持部
１７ 案内出力部
１８ 機器制御部
Claims (6)
- 認識対象者の画像を入力する画像入力手段と、
上記画像入力手段を介して得られた画像における認識対象者の顔領域を抽出する顔領域抽出手段と、
上記顔領域抽出手段により抽出された顔領域に係る情報に基づいて、認識対象者の顔の個人差を示す特徴量を計算する特徴量抽出手段と、
上記特徴量抽出手段により計算された複数の認識対象者の顔の個人差を示す特徴量を予め格納する登録情報保持手段と、
上記特徴量抽出手段により得られた認識対象者の顔の特徴量と、上記登録情報保持手段に予め登録された特徴量との類似度を計算して、認識対象者を認識する人物認識手段と、
上記人物認識手段の認識結果に基づいて、所定の操作を許可するか否かを制御する制御手段と、
を具備し、
上記登録情報保持手段は、各年齢層を推定するために、複数の顔画像から各年齢層毎に計算した基準特徴量を予め保持し、
上記制御手段は、上記特徴量抽出手段により抽出された特徴量と、上記登録情報保持手段に予め格納された各年齢層毎の基準特徴量とを比較して、最も類似度が高いとされた年齢層をその被験者の年齢と判定し、上記認識対象者の中に所定年齢以上の者が少なくとも含まれていると判断した場合に、所定の操作を許可するように制御する、
ことを特徴とした顔画像認識装置。 - 上記登録情報保持手段には、所定の操作を許可する特定者に係る情報が予め保持されており、上記制御手段は、上記人物認識手段の認識の結果、上記認識対象者の中に当該特定者が少なくとも含まれていると判断した場合に、所定の操作を許可するよう制御する、ことを特徴とする請求項１に記載の顔画像認識装置。
- 上記顔領域抽出手段により抽出された顔領域に係る情報に基づいて、認識対象者の顔が向いている方向を判定する顔方向判定手段と、
上記人物認識手段の認識結果及び所定の指示を少なくとも案内出力する案内出力手段と、
を更に具備し、
認識対象者の顔画像登録時においては、上記案内出力手段により認識対象者に複数の方向に顔を向けるよう案内出力し、上記顔方向判定手段により認識対象者の顔が上記案内通りに向いているかを確認しつつ、上記特徴量抽出手段により各方向ごとの特徴量を計算し、当該特徴量と上記顔方向判定手段による顔方向の検出精度に係る情報とを上記登録情報保持手段に格納し、
認識対象者の認証時においては、上記登録情報保持手段に格納されている検出精度に係る情報に基づいて、認識対象者の顔方向が検出精度の高い方向を向くように上記案内出力手段を介して案内出力する、
ことを特徴とする請求項１に記載の顔画像認識装置。 - 認識対象者の画像を入力するステップと、
上記画像における認識対象者の顔領域を抽出するステップと、
上記顔領域に係る情報に基づいて、認識対象者の顔の個人差を示す特徴量を計算するステップと、
複数の認識対象者の顔の個人差を示す特徴量を予め格納するステップと、
上記認識対象者の顔の特徴量と、上記予め登録された特徴量との類似度を計算して、認識対象者を認識するステップと、
上記認識結果に基づいて、所定の操作を許可するか否かを制御するステップと、
各年齢層を推定するために、複数の顔画像から各年齢層毎に計算した基準特徴量を予め保持するステップと、
抽出された特徴量と、予め格納された各年齢層毎の基準特徴量とを比較して、最も類似度が高いとされた年齢層をその被験者の年齢と判定し、上記認識対象者の中に所定年齢以上の者が少なくとも含まれていると判断した場合に、所定の操作を許可するように制御するステップと、
を具備することを特徴とした顔画像認識方法。 - 所定の操作を許可する管理者に係る情報を予め保持するステップと、
上記認識対象者の中に当該管理者が少なくとも含まれていると判断した場合に、所定の操作を許可するよう制御するステップと、
を更に有することを特徴とする請求項４に記載の顔画像認識方法。 - 登録時において、認識対象者に複数の方向に顔を向けるよう案内出力し、認識対象者の顔が上記案内通りに向いているかを確認しつつ、各方向ごとの特徴量を計算し、当該特徴量と顔方向の検出精度に係る情報とを格納するステップと、
認証時において、上記検出精度に係る情報に基づいて、認識対象者の顔方向が検出精度の高い方向を向くように案内出力するステップと、
を更に有することを特徴とする請求項４に記載の顔画像認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000069235A JP4521086B2 (ja) | 2000-03-13 | 2000-03-13 | 顔画像認識装置及び顔画像認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000069235A JP4521086B2 (ja) | 2000-03-13 | 2000-03-13 | 顔画像認識装置及び顔画像認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001256496A JP2001256496A (ja) | 2001-09-21 |
| JP4521086B2 true JP4521086B2 (ja) | 2010-08-11 |
Family
ID=18588159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000069235A Expired - Lifetime JP4521086B2 (ja) | 2000-03-13 | 2000-03-13 | 顔画像認識装置及び顔画像認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4521086B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11023713B2 (en) | 2017-01-05 | 2021-06-01 | Nec Corporation | Suspiciousness degree estimation model generation device |
| US11182466B2 (en) | 2019-09-18 | 2021-11-23 | Soliton Systems K.K. | User authentication apparatus and recording media |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003242486A (ja) * | 2002-02-21 | 2003-08-29 | Japan Science & Technology Corp | 人物属性推定装置 |
| JP3860552B2 (ja) | 2003-03-25 | 2006-12-20 | 富士通株式会社 | 撮影装置 |
| JP4501531B2 (ja) * | 2004-05-25 | 2010-07-14 | カシオ計算機株式会社 | 画像認識装置およびプログラム |
| JP2006236244A (ja) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | 顔認証装置および入退場管理装置 |
| JP4548218B2 (ja) * | 2005-05-24 | 2010-09-22 | パナソニック電工株式会社 | 顔認証装置 |
| JP4956967B2 (ja) * | 2005-11-17 | 2012-06-20 | コニカミノルタホールディングス株式会社 | 認証システム、認証方法およびプログラム |
| DE602007010523D1 (de) | 2006-02-15 | 2010-12-30 | Toshiba Kk | Vorrichtung und Verfahren zur Personenidentifizierung |
| EP1990770B1 (en) * | 2006-03-01 | 2012-08-08 | NEC Corporation | Face authentication device, face authentication method, and program |
| JP4910717B2 (ja) * | 2007-01-22 | 2012-04-04 | オムロン株式会社 | 年齢確認装置、年齢確認方法、及び年齢確認プログラム |
| JP4544282B2 (ja) | 2007-09-14 | 2010-09-15 | ソニー株式会社 | データ処理装置、およびデータ処理方法、並びにプログラム |
| JP5844044B2 (ja) * | 2007-11-21 | 2016-01-13 | クアルコム，インコーポレイテッド | デバイスアクセス制御 |
| CN102845076B (zh) | 2010-03-26 | 2014-04-02 | 夏普株式会社 | 显示装置、控制装置、电视接收机、显示装置的控制方法、程序及记录介质 |
| JP5920894B2 (ja) | 2013-11-07 | 2016-05-18 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および顔識別用データの登録方法 |
| JP6320075B2 (ja) | 2014-02-19 | 2018-05-09 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| EP3240467A4 (en) * | 2014-12-31 | 2018-12-26 | Morphotrust Usa, LLC | Detecting facial liveliness |
| JP7360997B2 (ja) * | 2020-06-18 | 2023-10-13 | 京セラ株式会社 | 情報処理システム、情報処理装置、および情報処理方法 |
-
2000
- 2000-03-13 JP JP2000069235A patent/JP4521086B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11023713B2 (en) | 2017-01-05 | 2021-06-01 | Nec Corporation | Suspiciousness degree estimation model generation device |
| US11023712B2 (en) | 2017-01-05 | 2021-06-01 | Nec Corporation | Suspiciousness degree estimation model generation device |
| US11023714B2 (en) | 2017-01-05 | 2021-06-01 | Nec Corporation | Suspiciousness degree estimation model generation device |
| US11182466B2 (en) | 2019-09-18 | 2021-11-23 | Soliton Systems K.K. | User authentication apparatus and recording media |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001256496A (ja) | 2001-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4521086B2 (ja) | 顔画像認識装置及び顔画像認識方法 | |
| AU2007245887B2 (en) | Procedure for identifying a person by eyelash analysis | |
| JP3469031B2 (ja) | 顔画像登録装置及びその方法 | |
| US7158657B2 (en) | Face image recording system | |
| EP1629415B1 (en) | Face identification verification using frontal and side views | |
| US8582833B2 (en) | Method and apparatus for detecting forged face using infrared image | |
| US20070291998A1 (en) | Face authentication apparatus, face authentication method, and entrance and exit management apparatus | |
| US8493178B2 (en) | Forged face detecting method and apparatus thereof | |
| JP4760049B2 (ja) | 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体 | |
| US20100158319A1 (en) | Method and apparatus for fake-face detection using range information | |
| US20050063569A1 (en) | Method and apparatus for face recognition | |
| JP5932317B2 (ja) | 顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラム | |
| JP2004192378A (ja) | 顔画像処理装置およびその方法 | |
| JP2002183734A (ja) | 顔認証装置および顔認証方法 | |
| WO2020115890A1 (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
| JP5730044B2 (ja) | 顔画像認証装置 | |
| KR100825689B1 (ko) | 얼굴 위장 판별 방법 | |
| KR101596363B1 (ko) | 얼굴 인식에 의한 출입관리장치 및 방법 | |
| JP2007206898A (ja) | 顔認証装置および入退場管理装置 | |
| JP2003233816A (ja) | アクセスコントロールシステム | |
| KR20110006971A (ko) | 출입통제시스템의 출입인증 사용자에 대한 출입허가용 정면얼굴 영상 검출 방법 | |
| CN115516502A (zh) | 生物体判定装置以及生物体判定方法 | |
| JP2004078686A (ja) | 個人認証装置、個人認証方法、通行制御装置および通行制御方法 | |
| JP2003099780A (ja) | アクセスコントロールシステム | |
| KR102431711B1 (ko) | 출입 대상자에 대한 출입인증 처리장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100524 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4521086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 4 |
|
| EXPY | Cancellation because of completion of term |