JP5748421B2

JP5748421B2 - 認証装置、認証方法、及び認証プログラム、並びに記録媒体

Info

Publication number: JP5748421B2
Application number: JP2010140529A
Authority: JP
Inventors: 松山　一郎; 一郎松山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-06-21
Filing date: 2010-06-21
Publication date: 2015-07-15
Anticipated expiration: 2030-06-21
Also published as: JP2012003686A

Description

本発明は、認証装置、認証方法、及び認証プログラム、並びに記録媒体に関し、特に、画像データから顔領域を検出して個人や個体の認証を行う技術に関する。

一般に、顔検出機能を用いて個人認証を行う技術が知られている。この技術では、顔画像データから個人毎に異なる顔領域の特徴データを抽出して、予め登録した特徴データと抽出した特徴データとを比較する。そして、この比較結果によって顔画像データが登録されている人物であるか否かを識別する。

ところで、特徴データは顔領域の表情、向き、及び照明条件等の状態によって影響を受ける。このため、特徴データの登録時と顔画像データから特徴データを抽出する時の状態が異なると、個人認証の精度が低下してしまうことがある。

このような個人認証の精度低下を回避するため、例えば、顔領域の表情を検知して、当該表情に応じた特徴データが登録されている個人データベースを用いて認証を行うことがある。そして、未登録の表情であれば、当該特徴データを追加登録するようにしている（特許文献１参照）。

さらに、人物を連続的に撮影した複数枚の顔画像と予め個人データベースに登録されている同一人物の複数枚の顔画像とを、これら顔画像の中から選んだ基準画像と比較する。そして、比較結果から複数枚の顔画像を選択して、個人データベースの顔画像を更新するようにしたものがある（特許文献２参照）。

特開２０１０−２７０３５号公報特開２００７−１７９２２４号公報

ところが、特許文献１に開示された構成においては、人物の認証がすでにできている上で、その人物から、その人物の特徴データが未登録である表情が検出できた場合のみ追加登録が行われる。その結果、検知できない表情の変化及び顔の向き、そして、照明条件等の他の条件の変化に関しては認証精度を上げることができないという課題がある。

一方、特許文献２に開示された構成においては、基準画像の選び方によって選択される顔画像が変わってしまう。このため、認証精度が安定しない。また、人物（つまり、顔）を撮影する都度、個人データベースの更新処理が行われる結果、処理負荷が大きくなってしまうという課題がある。

従って、本発明の目的は、顔領域の状態のいかなる変化に対しても、小さな処理負荷で認証の精度を向上させることができる認証装置、認証方法、及び認証プログラム、並びに記録媒体を提供することにある。

上記課題を解決するために、本発明による認証装置は、画像データに含まれる顔領域に応じて認証を行う認証装置において、複数のフレームを有する画像データを受け、前記フレームの各々において顔領域を検出して、当該顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出手段と、前記認証の際に用いられる前記特徴データが登録された記憶手段と、前記記憶手段に登録された特徴データと前記抽出特徴データとを比較し、前記抽出特徴データと前記記憶手段に登録された特徴データとの差分が予め定められた第１の閾値よりも小さい第２の閾値よりも小さいと、前記抽出特徴データと前記記憶手段に登録された特徴データとは同一の個人又は個体であるとして認証を行う認証手段と、第１のフレーム及び当該第１のフレームのフレームと異なる第２のフレームにおいて同一の前記顔領域を特定する追尾手段と、前記追尾手段によって前記第１のフレームと前記第２のフレームにおいて同一の前記顔領域であると特定されているにも拘わらず、前記認証手段によって前記第１のフレームにおいて前記差分が第２の閾値よりも小さいと判定された後、前記第２のフレームにおいて前記差分が前記第１の閾値を越えると判定された場合、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶手段に登録する登録手段とを有することを特徴とする。

本発明による認証方法は、画像データに含まれる顔領域に応じて認証を行うための認証装置で用いられる認証方法において、前記認証装置には、前記認証の際に用いられる前記顔領域の特徴データが登録特徴データとして登録された記憶装置が備えられており、複数のフレームを有する画像データを受け、前記フレームの各々において顔領域を検出して、当該顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出ステップと、前記記憶装置に登録された特徴データと前記抽出特徴データとを比較し、前記抽出特徴データと前記記憶装置に登録された特徴データとの差分が予め定められた第１の閾値よりも小さい第２の閾値よりも小さいと、前記抽出特徴データと前記記憶装置に登録された特徴データとは同一の個人又は個体であるとして認証を行う認証ステップと、第１のフレーム及び当該第１のフレームのフレームと異なる第２のフレームにおいて同一の前記顔領域を特定する追尾ステップと、前記追尾ステップによって前記第１のフレームと前記第２のフレームにおいて同一の前記顔領域であると特定されているにも拘わらず、前記認証ステップによって前記第１のフレームにおいて前記差分が第２の閾値よりも小さいと判定された後、前記第２のフレームにおいて前記差分が前記第１の閾値を越えると判定された場合、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶装置に登録する登録ステップとを有することを特徴とする。

本発明による認証プログラムは、画像データに含まれる顔領域に応じて認証を行うための認証装置で用いられる認証プログラムにおいて、前記認証装置には、前記認証の際に用いられる前記顔領域の特徴データが登録特徴データとして登録された記憶装置が備えられており、前記認証装置が備えるコンピュータに、複数のフレームを有する画像データを受け、前記フレームの各々において顔領域を検出して、当該顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出ステップと、前記記憶装置に登録された特徴データと前記抽出特徴データとを比較し、前記抽出特徴データと前記記憶装置に登録された特徴データとの差分が予め定められた第１の閾値よりも小さい第２の閾値よりも小さいと、前記抽出特徴データと前記記憶装置に登録された特徴データとは同一の個人又は個体であるとして認証を行う認証ステップと、第１のフレーム及び当該第１のフレームのフレームと異なる第２のフレームにおいて同一の前記顔領域を特定する追尾ステップと、前記追尾ステップによって前記第１のフレームと前記第２のフレームにおいて同一の前記顔領域であると特定されているにも拘わらず、前記認証ステップによって前記第１のフレームにおいて前記差分が第２の閾値よりも小さいと判定された後、前記第２のフレームにおいて前記差分が前記第１の閾値を越えると判定された場合、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶装置に登録する登録ステップとを実行させることを特徴とする。

本発明による記録媒体は、上記の認証プログラムが記録されたコンピュータに読み取り可能な記録媒体である。

本発明によれば、複数のフレームを有する画像データを受けて認証を行う場合であっても、認証対象となる被写体の撮影条件が変化する場合に対する認証の精度を向上させることができるという効果がある。

本発明の第１の実施形態による個人認証装置の一例を示すブロック図である。図１に示す個人認証装置で用いられる特徴データの一例を示す図であり、（ａ）は正面を向いた際の特徴データを構成する特徴点の座標を示す図、（ｂ）は人物の表情が変化した際の特徴データを構成する特徴点の座標を示す図、（ｃ）は人物の向きが変化した際の特徴データを構成する特徴点の座標を示す図である。図１に示す個人データベース部に登録される個人認証用の特徴データの一例を示す図である。図１に示す個人認証装置の動作の一例を説明するためのフローチャートである。図１に示す個人認証装置で処理される動画像データの一例を示す図であり、（ａ）は動画像データにおける１フレームを示す図、（ｂ）は（ａ）に連続するフレームの一例を示す図、（ｃ）は（ａ）に連続するフレームの他の例を示す図である。図４で説明した個人認証における処理を詳細に説明するためのフローチャートである。本発明の第２の実施形態による個人認証装置における個人認証結果の変化を示す図である。

以下、本発明の実施の形態による個人認証装置について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による個人認証装置の一例を示すブロック図である。

図１を参照して、図示の個人認証装置は、画像入力部１０１を有している。画像入力部１０１から、少なくとも人物の顔を撮影した結果得られた画像データが入力される。そして、この画像データは画像入力部１０１から顔検出部１０２及び正規化部１０３に与えられる。

顔検出部１０２は画像データから人物の顔領域の位置及びサイズを検出する。例えば、顔検出部１０２は、入力された画像データから、鼻、口、及び目等の顔領域の構成要素に相当する形状を抽出する。そして、顔検出部１０２は両目の中間を通過する延長線上に鼻及び口が存在する領域を検出する。そして、顔検出部１０２は両目の大きさと両目間の距離から顔の大きさを推定して、鼻の中心に相当する位置を基準として、推定した大きさの領域で囲んだ領域を顔領域として検出する。この顔領域は顔領域検出データとして顔検出部１０２から正規化部１０３及び追尾部１０５に与えられる。

正規化部１０３は、顔領域検出データに応じて画像データから顔領域を切り出し、当該顔領域が、例えば、傾いていると、この傾きをなくすように顔領域を回転する。さらに、正規化部１０３は、例えば、両目間が所定の距離となる所定のサイズに顔領域を拡大縮小して、顔領域を所定の角度・大きさの顔画像データとして正規化する（以下正規化顔画像データと呼ぶ）。そして、正規化部１０３はこの正規化顔画像データを特徴データ生成部１０４及び登録部１０９に与える。

特徴データ生成部１０４は、正規化顔画像データから特徴データを抽出する。この特徴データは、例えば、特開２００５−２６６９８１号公報に記載されているように、口、目、眉毛、及び鼻等の顔の構成要素の具体的な形状及びこれらの構成要素の位置に関する情報を含む。そして、特徴データは特徴データ生成部１０４から認証部１０６に与えられる。

ここで、特徴データは、正規化顔画像データから、例えば、ニューラルネットワーク又は空間フィルタを用いたエッジ検出等の手法を用いて抽出することができる。なお、形状及び位置に関する情報だけでなく、彩度及び色相に関する情報も特徴データに含めるようにしてもよい。１つの顔における特徴データが多いほど、その顔の様子を詳細に解析することが可能となり、この特徴データを用いた個人認証の精度が向上する。

ところで、動画像のように複数のフレームを有する画像データにおいては、所定の周期でフレーム毎に顔領域が検出されることになる。つまり、顔検出部１０２は所定の周期のフレーム毎に顔領域を検出することになる。追尾部１０５は１つのフレームで検出された顔領域と別のフレームのいずれかの領域が同一人物の顔領域であるかを判定する。

追尾部（追尾手段）１０５は、例えば、１つのフレームの画像データから複数の顔が検出され、別のフレームの画像データからも１つ又は複数の顔が検出された場合に、それぞれの顔のサイズと位置が類似するものを同一人物であるとみなす。さらに、追尾部１０５は、１つのフレームで検出された顔領域と類似する顔領域が別のフレームで検出できない場合には、前者の顔領域と輝度及び色差のパターンが類似している周辺領域を検索して追尾を行う。そして、追尾部１０５における判定結果は認証部１０６及び結果出力部１０７に与えられる。

個人データベース部（記憶手段又は記憶装置）１０８には個人認証用の複数の特徴データが正規化顔画像データとともに登録特徴データとして登録されている。認証部（認証手段）１０６は、個人データベース部１０８をアクセスして個人認証用の特徴データ（登録特徴データ）を読み出す。そして、認証部１０６は登録特徴データと特徴データ生成部１０４によって抽出された顔領域の特徴データ（以下抽出特徴データと呼ぶ）とを比較・照合して個人認証を行う。この照合結果は認証部１０６から結果出力部１０７に与えられる。結果出力部１０７は照合結果に応じて認証結果を出力する。

認証部１０６は比較・照合の際、追加登録を行うか否かを判定して、追加登録を行うべきであると判定すると、登録部１０９に当該抽出特徴データを与える。そして、登録部１０９は認証部１０６が追加登録すべきと判断した特徴データを、正規化顔画像データとともに個人データベース部１０８に追加登録する。

なお、認証部１０６は追尾部１０５から与えられる判定結果に応じて認証を行い、結果出力部１０７は追尾部１０５から与えられる判定結果に応じて認証結果を出力する。

ところで、図示の個人認証装置は単体の装置で構成されても、複数の装置からなるシステムで構成されていてもよい。例えば、デジタルカメラ又はデジタルビデオカメラ単体の内部に図示の個人認証装置の全て構成要素を備えるようにしてもよい。

一方、画像入力部１０１のみをデジタルカメラ又はデジタルビデオカメラ内部に配置して、個人認証装置の他の構成要素をデジタルカメラ又はデジタルビデオカメラと通信可能な外部のコンピュータに備えるようにしてもよい。

さらには、図示の個人認証装置の構成要素について、ネットワーク上の複数のコンピュータに分担して配置し、画像入力部１０１を備えたコンピュータが別の外部機器又は記録メディアから画像データを受け取るように構成してもよい。

図２は、図１に示す個人認証装置で用いられる特徴データの一例を示す図である。そして、図２（ａ）は正面を向いた際の特徴データを構成する特徴点の座標を示す図であり、図２（ｂ）は人物の表情が変化した際の特徴データを構成する特徴点の座標を示す図である。また、図２（ｃ）は人物の向きが変化した際の特徴データを構成する特徴点の座標を示す図である。

図２を参照して、ここでは、個人認証用の特徴データとして、図２（ａ）に示すように、合計２３点の特徴点の座標が用いられる。実際に個人認証を行うためには多数の特徴点が必要とされるが、ここでは説明を簡略化するため、合計２３点の特徴点を用いるものとして説明を行う。

これら２３点の特徴点の座標は、抽出された目、鼻、口、及び眉等の位置について、両目間の距離で正規化された顔画像データを用いて算出される。これらの座標は、例えば、鼻の端点の位置を基準とする。認証部１０６は、入力された画像データから算出された各特徴点の座標をＰｉ（ｉ＝１，２，・・・，２３）とする。そして、認証部１０６は、予め個人データベース部１０８に登録された顔領域の特徴点である座標Ｐ’ｉと座標Ｐｉとの差分の絶対値和Ｓ＝Σ｜Ｐｉ−Ｐ’ｉ｜を求める。

この絶対値和Ｓが小さい程、認証部１０６は検出対象となった人物（つまり、顔領域）と予め登録された人物とが同一人物の可能性が高いと判断する。認証部１０６は特徴データの比較・照合において、最も可能性が高いと判定された人物に関する絶対値和Ｓが、予め設定された閾値以下であると当該人物であると判定する。一方、絶対値和Ｓが閾値より大きい場合には、認証部１０６は該当者なしと判定する。

なお、上述の絶対値和Ｓを用いる手法は、個人認証を行う手法の１つの例であって、別の手法を用いて個人認証を行うようにしてもよい。例えば、表情が変化する際の目及び口の位置、そして、形状の変化のパターンから個人を識別するようにしてもよい。

また、複数の特徴データに対する比較・照合結果に応じて、総合的に最終的な個人認証結果を求めるようにしてもよい。つまり、予め個人データベース部１０８に登録された特徴データを用いて照合を行い、最も可能性の高い人物であると判定する構成であれば、他の手法であっても、上述の例と同様の効果を得ることができる。

ところで、上述の個人認証では画像データから抽出した特徴点を用いて個人認証を行っているため、図２（ｂ）又は図２（ｃ）に示すように、人物（つまり、顔）の表情又は向きが変化した場合には、特徴点の座標が変化してしまうことになる。この結果、前述の絶対値和Ｓの値が大きく変動してしまい、個人認証の精度が低下してしまう。

また、照明条件及び背景等様々な撮影条件の変化が個人認証の精度に影響を与える。そこで、同一の人物を様々な条件で撮影した複数の特徴データを、予め個人データベース部１０８に登録しておき、これら複数の特徴データについてそれぞれ絶対値和Ｓを求めるようにすれば、撮影条件が変わっても人物の認証をより高い精度で行うことができる。

しかしながら、予め様々な条件下で人物を撮影しておくことは時間及び手間がかかる上に、場合によっては照明等の設備も必要となる。これに対して、図示の例では、１つの条件下で撮影した人物の特徴データを個人データベースに登録しておけば、次のようにして個人認証と特徴データの追加登録とを自動的に行い、認証精度を向上することができる。

図３は、図１に示す個人データベース部１０８に登録される個人認証用の特徴データの一例を示す図である。

図３において、個人データベース部１０８には個人に対して複数の特徴データが登録される。個人データベース部１０８に登録された個人毎に個人ＩＤを割り当る。そして、個人ＩＤに対して複数の特徴データを登録して、特徴データ毎に登録ＩＤを割り当てる。

図示の例において、登録ＩＤ＝１については、ユーザーが予め登録した特徴データであって、登録ＩＤ＝０は特徴データが未登録であることを示している。それ以外の登録ＩＤについては、図１に示す個人認証装置が自動的に追加登録した特徴データを示している。

前述したように、ここでは、個人データベース部１０８には特徴データ毎に正規化部１０３で正規化された顔画像データも登録されており、ユーザーは顔画像データを確認して不要な特徴データを消去することができる。例えば、個人ＩＤ＝１の「こうたろう」の登録ＩＤ＝１における正規化された顔画像データはＡ１１であり、この顔画像データＡ１１から抽出された特徴データがＣ１１である。

なお、顔画像データと特徴データとは、そのいずれかが登録されていれば個人認証は可能であって、顔画像データから特徴データを生成しつつ個人認証を行うことができる。また、図示の例では、個人ＩＤ毎に登録ＩＤの上限数を「３」としているが、この上限数は「２」以上であればよい。さらに、上限数を個人ＩＤ毎でなく、個人データベース部１０８全体で設定するようにしてもよい。

図４は、図１に示す個人認証装置の動作の一例を説明するためのフローチャートである。

図１及び図４を参照して、個人認証装置において、画像入力部１０１に画像データが入力されると図４に示す動作が開始される。画像入力部１０１がカメラであれば、カメラにおける撮影の結果得られた画像データ又はカメラに装着された記録メディアから読み出した画像データが個人認証装置に入力されることになる。また、画像入力部１０１がパーソナルコンピュータであれば、記録メディアから読み出した画像又はネットワークを介して受け取った画像データが個人認証装置に入力されることになる。

以下の説明では、画像入力部１０１に動画像データが入力され、個人認証に要する時間に応じたフレーム間隔で連続的に個人認証を行うものとする。

まず、顔検出部１０２は、画像入力部１０１から動画像データの１フレーム分の画像データを受け取って、人物の顔領域の検出を行う（ステップＳ２０１）。そして、顔検出部１０２は顔領域の検出ができたか否かについて判定する（ステップＳ２０２）。少なくとも１つの顔領域が検出できると（ステップＳ２０２において、ＹＥＳ）、正規化部１０３は顔検出部１０２における検出結果に基づいて、画像データから切り出した顔領域の各々を正規化する（ステップＳ２０３）。

続いて、特徴データ生成部１０４は、正規化顔画像データに応じて図５で説明した特徴点の座標を含む特徴データを算出する（ステップＳ２０４）。追尾部１０５は、顔検出部１０２から顔領域の検出結果を受け取り、異なるフレームにおいて検出あるいは判定された顔領域のうち、顔の中心位置及びサイズに基づいて同一人物と見なせる顔があるか否かについて判定する（顔の追尾：ステップＳ２０５）。

このために、追尾部１０５は、各フレームで検出された各顔領域の中心位置及びサイズを比較して、連続するフレーム間で顔領域の中心位置の距離及びサイズの変化の総和が最も小さいものを同一人物の顔領域であると推定する。例えば、追尾部１０５は第１のフレームとこの第１のフレームと異なる第２のフレームとにおいて検出された顔領域を比較して同一人物（個人）の顔領域を特定することになる。

但し、上記の総和が最も小さくともその値が予め設定した閾値の範囲に入っていないのであれば、追尾部１０５は同一人物ではないと判定する。

なお、ステップＳ２０２において、顔領域の検出ができないと（ステップＳ２０２において、ＮＯ）、処理はステップＳ２０２からステップＳ２０５に進む。

この場合、追尾部１０５は、処理対象としているフレームから、それよりも前のフレームで顔検出部１０２によって検出された顔領域及び前のフレームで追尾部１０５によって顔領域と判定された領域のいずれかと類似する領域を検出し、同一人物の顔領域として判定する。具体的には、輝度及び色差のパターンの類似度が最も高く、かつ、その値が予め設定した閾値の範囲に入っている領域を、その前のフレームにおける顔領域と同一人物の顔領域であると判定する。

図５は、図１に示す個人認証装置で処理される動画像データの一例を示す図である。そして、図５（ａ）は動画像データにおける１フレームを示す図であり、図５（ｂ）は図５（ａ）に連続するフレームの一例を示す図である。また、図５（ｃ）は図５（ａ）に連続するフレームの他の例を示す図である。

いま、図５（ａ）においては人物５０１の顔領域が検出され、図５（ｂ）においては人物５０１及び５０２の顔領域がそれぞれ検出されているものとする。追尾部１０５は図５（ｂ）において検出された人物５０１及び人物５０２の顔領域を、図５（ａ）において検出された人物５０１の顔領域と比べる。その結果、追尾部１０５は、顔領域の中心位置及びサイズの変化がほとんど無く、予め設定した閾値の範囲に入っている図５（ｂ）に示す人物５０１の顔領域と図５（ａ）に示す人物５０１の顔領域とが同一人物であると判定する。

一方、顔領域が検出されてないか又は同一人物と判定される顔領域が見つからない場合には、追尾部１０５は異なるフレームにおいて顔検出部１０２が検出した顔領域と輝度及び色差のパターンが類似している周辺領域を検索する。

いま、図５（ａ）においては、人物５０１の顔領域のみが検出され、図５（ｃ）においては人物５０２の顔領域のみが検出されているものとする。追尾部１０５は、図５（ｃ）に示す人物５０２の顔領域を、図５（ａ）に示す人物５０１の顔領域と比べる。その結果、両者は顔の中心位置及びサイズの変化が大きく、予め設定した閾値の範囲に入らないため、追尾部１０５は別人物であると判定する。

そこで、追尾部１０５は、図５（ａ）において検出した人物５０１の顔領域と輝度及び色差のパターンが類似している周辺領域を図５（ｃ）のフレームから検索する。そして、検索の結果、追尾部１０５は類似度が最も高い領域に同一人物の顔領域があるものと推定する。但し、類似度が予め設定した閾値の範囲に入っていないと、追尾部１０５は、同一人物は存在しないと判定することになる。なお、図５（ｃ）における人物５０１は後ろを向いており、図５（ａ）における人物５０１との類似度が閾値の範囲から外れてしまうため、図５（ｃ）では人物５０１は存在しないと判定されることになる。

さらに、追尾部１０５は、連続した複数のフレームを通じて同一人物と判定した人物毎にユニークな人物ＩＤを割り当てる。この人物ＩＤは新しい人物が検出される毎に新しく割り当てられ、存在しなくなった人物の人物ＩＤついては削除される。

例えば、図５（ａ）及び（ｂ）に示す連続フレームにおいて、図５（ａ）に示す人物５０１については既に人物ＩＤが割り当てられており、図５（ｂ）において検出された人物５０２の顔領域は新しい人物として、人物１とは異なる新しい人物ＩＤが割り当てられることになる。

再び図１及び図４を参照して、認証部１０６は顔領域の検出結果及び追尾結果に基づいて人物が存在するか否かについては判定する（ステップＳ２０６）。画像データに人物がひとりでも存在すると判定すると（ステップＳ２０６において、ＹＥＳ）、認証部１０６は、追尾部１０５が割り当てた人物ＩＤ毎に、顔領域の特徴データと個人データベース部１０８に登録された特徴データとの比較・照合を行う。そして、認証部１０６は各顔領域が誰であるか個人の認証を行う（ステップＳ２０７）。

後述するように、認証部１０６は人物ＩＤと個人ＩＤとの対応関係を保持している。認証部１０６は、各人物ＩＤに対して個人データベース部１０８に登録されている個人ＩＤ毎及び登録ＩＤ毎に照合を行い、該当する個人が特定された場合には人物ＩＤに対する個人ＩＤを更新する。

また、認証部１０６は、人物ＩＤの特徴データを個人データベース部１０８に追加登録すべきか否かについて判定する。なお、ステップＳ２０７における個人認証処理については後述する。

続いて、結果出力部１０７は、認証部１０６から個人認証の結果を受け、当該認証結果を、認証の対象となった画像データから生成された画像に重畳して表示する（ステップＳ２０８）。

なお、認証結果の表示については、上記の表示手法に限られるものでなく、様々な手法を用いることができる。また、複数の顔領域について個人認証を同時に実行した場合には、各認証結果がいずれの顔領域に対応するものであるのかを明確にすることが望ましい。

さらに、認証部１０６は個人データベース部１０８に追加登録すべき特徴データを有する人物ＩＤがあるか否かについて判定する（ステップＳ２０９）。追加登録すべき特徴データを有する人物ＩＤがあると（ステップＳ２０９において、ＹＥＳ）、登録部１０９は、追加登録すべきと判定された特徴データを追加特徴データとして個人データベース部１０８に追加登録する（ステップＳ２１０）。

続いて、画像入力部１０１は画像データに別フレームが存在するか否かについて判定する（ステップＳ２１１）。別フレームの画像データが存在すると（ステップＳ２１１において、ＹＥＳ）、画像入力部１０１は別フレームに画像データを更新する（ステップＳ２１２）。そして、処理はステップＳ２０１に戻り、顔検出部１０２が更新した画像データに対して顔検出を行う。一方、別フレームの画像データが存在しなければ、処理は終了する。

なお、ステップＳ２０６において、画像データに人物が存在しないと判定されると（ステップＳ２０６において、ＮＯ）、処理はステップＳ２１１に移行する。また、ステップＳ２０９において、追加登録すべき特徴データを有する人物ＩＤがないと（ステップＳ２０９において、ＮＯ）、処理はステップＳ２１１に移行する。

図６は、図４で説明した個人認証における処理を詳細に説明するためのフローチャートである。

図１及び図６を参照して、認証部１０６は、追尾部１０５で割り当てられた人物ＩＤと個人データベース部１０８に登録された個人ＩＤとを対応付け、その対応関係を連続するフレームに亘って管理する。また、認証部１０６は、個人データベース部１０８に人物ＩＤに対応する特徴データを追加登録すべきか否かについて判定する。

まず、認証部１０６は、処理中のフレームにおいて、人物ＩＤに対する特徴データが検出されているか否かについて判定する（ステップＳ３０１）。ここで、特徴データが検出されていない場合とは、顔検出部１０２において顔領域の検出ができず、追尾部１０５による追尾によって顔のある領域を判定した場合をいう。

特徴データが検出されている場合には（ステップＳ３０１において、ＹＥＳ）、認証部１０６は、顔領域の特徴データ（抽出特徴データ）と個人データベース部１０８に登録された特徴データ（登録特徴データ）とを比較・照合して、個人の認証を行う（ステップＳ３０２）。そして、認証部１０６は個人認証が行えたか（不可か否か）、つまり、個人の特定ができたか否かについて判定する（ステップＳ３０３）。

個人の特定ができると（ステップＳ３０３において、ＹＥＳ）、認証部１０６は個人の認証結果に基づいて人物ＩＤと個人ＩＤの対応関係を更新する（ステップＳ３０４）。そして、認証部１０６は、処理中のフレームに対して追尾部１０５によって割り当てられた人物ＩＤのうちで、認証処理を行っていないものが残っているか否かについて判定する（ステップＳ３０５）。

認証処理を行っていない人物ＩＤが存在すると（ステップＳ３０５において、ＹＥＳ）、認証部１０６は処理対象である人物ＩＤを更新して（ステップＳ３０６）、ステップＳ３０１に戻り、人物ＩＤに対する特徴データの有無の判定を行う。一方、全ての人物ＩＤに対する認証処理が終わっていると（ステップＳ３０５において、ＮＯ）、認証部１０６は処理を終了する。そして、処理は図４で説明したステップＳ２０８に移行することになる。

ステップＳ３０３において、個人の特定ができないと（ステップＳ３０３において、ＮＯ）、認証部１０６は、人物ＩＤに対応付けられた個人ＩＤが存在するか否かについて判定する（ステップＳ３０７）。人物ＩＤに対応付けられた個人ＩＤが存在すれば（ステップＳ３０７において、ＹＥＳ）、認証部１０６は、処理中のフレームにおける人物ＩＤに係る特徴データを、個人データベース部１０８に追加登録すべきと判定する（ステップＳ３０８）。つまり、認証部１０６は特徴データを登録対象と判定することになる。そして、認証部１０６はステップＳ３０５に進む。

人物ＩＤに対応付けられた個人ＩＤが存在するということは、その人物ＩＤは、処理中のフレームよりも前のフレームにおいて、すでに個人認証に成功しているということである。それにも関わらず、処理中のフレームにおいて、認証部１０６がその人物ＩＤに対する個人認証に失敗したということは、処理中のフレームにおける抽出特徴データが、その人物の登録特徴データではカバーできないものであることを示す。従って、この処理中のフレームにおける抽出特徴データを、その個人ＩＤに対応する新たな登録特徴データとして個人データベース部１０８に追加登録することで、個人認証の精度を高めることができる。

よって、照明条件や顔の向きが変化することによって、すでに前のフレームで個人認証に成功している人物ＩＤに対して認証部１０６が個人認証に失敗するたびに、個人データベース部１０８に新たな特徴データが追加登録されることになる。そのため、様々な照明条件や顔の向きに対応した特徴データが個人データベース部１０８に追加登録されることになり、撮影条件が変化しても、容易に個人認証の精度を向上させることができるようになる。

ステップＳ３０８において、例えば、図３で説明した個人データベース部１０８に対して、個人ＩＤ＝２が対応づけられた人物ＩＤの特徴データを追加登録する場合、登録部１０９は個人ＩＤ＝２に係る登録ＩＤ＝０の要素の１つを、登録ＩＤ＝２と上書きして正規化された画像データととともに人物ＩＤの特徴データを登録する。

人物ＩＤに対応付けられた個人ＩＤが存在しないと（ステップＳ３０７において、ＮＯ）、認証部１０６は、ステップＳ３０５に進む。人物ＩＤに対応付けられた個人ＩＤが存在しない場合とは、当該人物ＩＤに関して個人データベース部１０８によって該当する個人が一度も認証できていない場合をいう。なお、ステップＳ３０１において、特徴データが検出されていない場合には（ステップＳ３０１において、ＮＯ）、認証部１０６はステップＳ３０５に進む。

以上ように、第１の実施形態によれば、撮影条件が変化しても、容易に個人認証の精度を向上させることができる。

［第２の実施形態］
次に、第２の実施形態として、個人認証の信頼度が高い人物の特徴データのみを追加登録する場合について説明する。ここでは、個人認証装置は、個人に対して誤った人物の特徴データを登録しないように、個人認証の信頼度がより高い人物の特徴データのみ追加登録する。なお、個人認証装置自体の構成は図１に示す個人認証装置と同様である。

第２の実施形態における個人認証装置においては、認証部１０６は、互いに異なる２つの閾値を用いて、認証結果の信頼度を異ならせている。つまり、認証部１０６は２つの閾値を用いて特徴データの比較・照合を行って、認証結果の信頼度が高い特徴データのみを追加登録の対象とする。

具体的には、図６で説明した個人認証処理のステップＳ３０２において、認証部１０６は、顔領域の特徴データと個人データベース部１０８に登録された特徴データとの比較・照合を行う際に、認証結果の信頼度が異なる２つの閾値Ａ及びＢを用いる。ここでは、閾値Ａ（第２の閾値）＜閾値Ｂ（第１の閾値）である。

第２の実施形態における個人認証装置において、認証部１０６は、第１の実施形態と同様にして、個人認証の際、特徴点の座標の差分の絶対値和Ｓを算出する。そして、認証部１０６は、最も可能性が高いと判定された人物に係る絶対値和Ｓが閾値Ｂよりも小さければ、当該人物であると判定する。

さらに、認証部１０６は絶対値和Ｓが閾値Ａ（＜閾値Ｂ）よりも小さければ、より高い信頼度で当該人物であると判定する。一度でも高い信頼度で個人が認証された人物ＩＤについては、認証部１０６は、その対応する個人ＩＤが変化しない限り、高い信頼度を保持する。

また、図６で説明した個人認証処理のステップＳ３０８において、認証部１０６は、人物ＩＤに係る特徴データを、個人データベース部１０８に追加登録すべきであると判定する際に、当該人物ＩＤが高い信頼度で個人認証されていることを条件とする。当該人物ＩＤが高い信頼度で個人認証されていない場合には、認証部１０６は個人データベース部１０８への追加登録を登録部１０９に指示しない。

図７は、本発明の第２の実施形態による個人認証装置における個人認証結果の変化を示す図である。

図１、図３、及び図７を参照して、図７では、連続する７枚のフレームにおいて、追尾部１０５が同一人物と判定した人物ＩＤの顔領域の特徴データと個人データベース部１０８に登録された特徴データとの差分の絶対値和Ｓの変化が示されている。

黒四角７０１〜７０７は、連続する７枚のフレームにおいて人物ＩＤの顔領域の特徴データと特徴データＣ２１（図３）との差分の絶対値和Ｓを示している。つまり、黒四角７０１〜７０７は、特徴点の座標の差分の絶対値和Ｓを示している。ここで、黒四角７０１〜７０６については、個人データベース部１０８に登録された特徴データの中で特徴データＣ２１との絶対値和Ｓが最小であるものとする。

黒四角７０１に注目すると、黒四角７０１は、その絶対値和Ｓが閾値Ｂよりも小さい。従って、黒四角７０１に対応するフレームではその人物は個人ＩＤ＝２と認証される。さらに、黒四角７０２においては、その絶対値和Ｓが閾値Ａより小さい。このため、黒四角７０２に対応するフレーム以降のフレームにおいては追尾部１０５によって当該人物が追尾されている限り、個人認証の信頼度が高い人物として扱われることになる。

一方、黒四角７０６においては、その絶対値和Ｓが閾値Ｂより大きくなったため、認証部１０６は、黒四角７０６に対応するフレームにおいて検出した人物に係る顔領域の特徴データを、個人データベース部１０８に追加登録すべきであると判定する。この特徴データをＣ２２、正規化顔画像データをＡ２２とすると、登録部１０９は特徴データＣ２２を、個人ＩＤ＝２の登録ＩＤ＝２として、正規化顔画像データＡ２２とともに個人データベース部１０８に追加登録することになる。

図７において黒丸７０６’及び７０７’は、人物ＩＤに係る顔領域の特徴データと黒四角７０６に対応するフレームにおいて追加登録された特徴データＣ２２との差分の絶対値和Ｓを示している。黒丸７０７’に対応するフレームにおいては、特徴データＣ２１に代わって、追加登録された特徴データＣ２２に係る絶対値和Ｓが個人データベース部１０８に登録されている特徴データの中で最小となる。

第２の実施形態においては、個人認証の信頼度が異なる２つの閾値Ａ及びＢを絶対値和Ｓに対する閾値として用いているが、個人認証の信頼度が測れるものであれば、他の指標に関する閾値であってもよい。

また、絶対値和Ｓが閾値Ｂを下回った段階で、その人物であると判定しているが、誤った人物として判定結果が出力されることを避けるため、閾値Ａを下回った段階で初めて、その人物として判定結果が結果出力部１０７から出力されるようにしてもよい。

さらに、第２の実施形態においては、ユーザーの指示によって登録された特徴データと追加登録された特徴データとを同等に扱っているが、誤った人物として追加登録されることを避けるため、前者の特徴データに対して高い信頼度で個人認証が行われた場合のみ追加登録を行うようにしてもよい。

以上のように、第２の実施形態によれば、信頼性の高い特徴データのみを追加登録して、より個人認証の精度を向上させることができることになる。

［第３の実施形態］
続いて、第３の実施形態として、個人データベース部１０８にユーザーの指示によって予め登録された特徴データと個人データベース部１０８に追加登録された特徴データとを区別して個人認証を行う場合について説明する。ここでは、個人認証装置はユーザーの指示によって予め登録された特徴データ（指示登録データ）のみを用いて個人認証を行い、一致する人物が見つからなかった場合に、追加登録された特徴データ（追加登録データ）を用いて個人認証を行う。なお、個人認証装置自体の構成は図１に示す個人認証装置と同様である。

具体的には、第３の実施形態における個人認証装置は、ユーザーから特徴データの登録を指示する指示部（図１には示されていない）を備えている。指示部からの指示に応じて、認証部１０６は指示されたフレームにおいて顔検出部１０２が検出した顔領域の中から指示された顔領域を選択する。そして、登録部１０９はその特徴データを個人の名前及び正規化顔画像データとともに個人データベース部１０８に登録する。ここで登録された特徴データは登録ＩＤ＝１となる。

また、図６で説明した個人認証処理のステップＳ３０２において、認証部１０６は、まず、顔領域の特徴データ（抽出特徴データ）と個人データベース部１０８に登録された登録ＩＤ＝１の特徴データとの比較・照合を行う。ここで、一致する特徴データが見つからなかった場合にのみ、認証部１０６は個人データベース部１０８に追加登録された登録ＩＤ＞１の特徴データと抽出特徴データとの比較・照合を行う。

以上のように、第３の実施形態によれば、一致する特徴データが見つからなかった場合に、再度追加登録された特徴データを用いて比較・照合を行うようにしたので、誤った人物として認証してしまう頻度を低く抑えることができる。

［第４の実施形態］
次に、第４の実施形態として個人データベース部１０８に登録できる特徴データの数が既に上限に達している場合について説明する。ここでは、個人データベース部１０８に登録された特徴データ毎に利用頻度が合わせて登録されている。そして、登録部１０９は新しく追加登録する特徴データを利用頻度の低い特徴データに上書きする。なお、個人認証装置自体の構成は図１に示す個人認証装置と同様である。

具体的には、図３で説明した個人データベース部１０８に登録された個人認証用の特徴データに関して、顔検出部１０２によって検出された顔領域の特徴データと一致した回数（一致回数）と最後に一致した日時（最終一致日時）とが特徴データ毎に登録される。

また、図６で説明した個人認証処理のステップＳ３０４において、認証部１０６は人物ＩＤに対応する個人ＩＤを更新する際に、個人データベース部１０８の特徴データの利用頻度を更新する。

利用頻度の更新は、人物ＩＤに対して新たな個人ＩＤ又は前回と異なる個人ＩＤが割り当てられる場合に行われる。この場合に、認証部１０６は人物ＩＤの特徴データと一致した個人データベース部１０８の特徴データについて、一致回数をインクリメントして、さらに、最終一致日時を現在日時に更新する。

さらに、図４で説明した全体処理のステップＳ２１２において、登録部１０９は、特徴データを個人データベース部１０８に追加登録する際に、登録できる特徴データの数が既に上限に達していると、利用頻度が低い特徴データに上書きして追加登録を行う。つまり、登録部１０９は、追加特徴データを新たに登録する際、個人データベース部１０８に登録可能な特徴データの数が予め規定された上限に達していると、利用頻度の低い登録特徴データを抹消して追加特徴データを登録することになる。

ここでは、一致回数が予め定められた閾値以下の特徴データの中で最終一致日時が最も古い特徴データを利用頻度が低い特徴データとする。なお、利用頻度の重み付けは、最終一致日時を一致回数よりも優先して判断するようにしてもよく、検出された顔領域の特徴データと一致した際の認証の信頼度の履歴等を用いるようにしてもよい。

但し、ユーザーが登録した登録ＩＤ＝１の特徴データは上書きの対象としないものとする。このため、利用頻度の更新と利用頻度の低い特徴データの検索とは、登録ＩＤ＞１の追加登録された特徴データに対してのみ行えばよいことになる。

以上のように、第４の実施形態によれば、個人データベース部１０８に登録できる特徴データの数が限られている場合においても、登録されている個人を認証できる頻度を高くすることができる。

なお、上述の説明から明らかなように、画像入力部１０１、顔検出部１０２、正規化部１０３及び特徴データ生成部１０４が集合的に特徴データ抽出手段として機能する。また、認証部１０６及び登録部１０９が集合的に登録手段として機能することになる。

また、人物の顔領域を用いた個人認証を例にあげて説明を行ったが、これに限られるものではない。一部のデジタルカメラに搭載されてきたペットである動物の顔領域を検出する機能を利用すれば、上述した説明と同様の処理を、動物の個体認証において実行することも可能である。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を個人認証方法として、この個人認証方法を、コンピュータ等に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを個人認証プログラムとして、この個人認証プログラムを個人認証装置が備えるコンピュータに実行させるようにしてもよい。

この際、個人認証方法及び個人認証プログラムは、少なくとも特徴データ抽出ステップ、認証ステップ、追尾ステップ、及び登録ステップを有することになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１画像入力部
１０２顔検出部
１０３正規化部
１０４特徴データ生成部
１０５追尾部
１０６認証部
１０７結果出力部
１０８個人データベース部
１０９登録部

Claims

画像データに含まれる顔領域に応じて認証を行う認証装置において、
複数のフレームを有する画像データを受け、前記フレームの各々において顔領域を検出して、当該顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出手段と、
前記認証の際に用いられる前記特徴データが登録された記憶手段と、
前記記憶手段に登録された特徴データと前記抽出特徴データとを比較し、前記抽出特徴データと前記記憶手段に登録された特徴データとの差分が予め定められた第１の閾値よりも小さい第２の閾値よりも小さいと、前記抽出特徴データと前記記憶手段に登録された特徴データとは同一の個人又は個体であるとして認証を行う認証手段と、
第１のフレーム及び当該第１のフレームのフレームと異なる第２のフレームにおいて同一の前記顔領域を特定する追尾手段と、
前記追尾手段によって前記第１のフレームと前記第２のフレームにおいて同一の前記顔領域であると特定されているにも拘わらず、前記認証手段によって前記第１のフレームにおいて前記差分が第２の閾値よりも小さいと判定された後、前記第２のフレームにおいて前記差分が前記第１の閾値を越えると判定された場合、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶手段に登録する登録手段とを有することを特徴とする認証装置。
前記追尾手段は、前記第１のフレーム及び前記第２のフレームの各々において前記顔領域のうち顔の中心位置及びサイズに基づいて当該顔領域が同一であるか否かを判定することを特徴とする請求項１に記載の認証装置。
前記認証手段は、前記認証に当たって予め前記記憶手段に登録された前記特徴データを用いて前記認証を実行し、前記記憶手段に予め登録された特徴データによる認証ができないと、前記追加特徴データを用いて前記認証をさらに実行することを特徴とする請求項１又は２に記載の認証装置。
前記認証手段による前記認証の際、前記登録手段は前記記憶手段に登録された特徴データの利用頻度を前記記憶手段に登録しており、
前記登録手段は、前記追加特徴データを新たに登録する際、前記記憶手段に登録可能な特徴データの数が予め規定された上限に達していると、前記利用頻度の低い特徴データを抹消して前記追加特徴データを登録することを特徴とする請求項１〜３のいずれか１項記載の認証装置。
画像データに含まれる顔領域に応じて認証を行うための認証装置で用いられる認証方法において、
前記認証装置には、前記認証の際に用いられる前記顔領域の特徴データが登録特徴データとして登録された記憶装置が備えられており、
複数のフレームを有する画像データを受け、前記フレームの各々において顔領域を検出して、当該顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出ステップと、
前記記憶装置に登録された特徴データと前記抽出特徴データとを比較し、前記抽出特徴データと前記記憶装置に登録された特徴データとの差分が予め定められた第１の閾値よりも小さい第２の閾値よりも小さいと、前記抽出特徴データと前記記憶装置に登録された特徴データとは同一の個人又は個体であるとして認証を行う認証ステップと、
第１のフレーム及び当該第１のフレームのフレームと異なる第２のフレームにおいて同一の前記顔領域を特定する追尾ステップと、
前記追尾ステップによって前記第１のフレームと前記第２のフレームにおいて同一の前記顔領域であると特定されているにも拘わらず、前記認証ステップによって前記第１のフレームにおいて前記差分が第２の閾値よりも小さいと判定された後、前記第２のフレームにおいて前記差分が前記第１の閾値を越えると判定された場合、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶装置に登録する登録ステップとを有することを特徴とする認証方法。
画像データに含まれる顔領域に応じて認証を行うための認証装置で用いられる認証プログラムにおいて、
前記認証装置には、前記認証の際に用いられる前記顔領域の特徴データが登録特徴データとして登録された記憶装置が備えられており、
前記認証装置が備えるコンピュータに、
複数のフレームを有する画像データを受け、前記フレームの各々において顔領域を検出して、当該顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出ステップと、
前記記憶装置に登録された特徴データと前記抽出特徴データとを比較し、前記抽出特徴データと前記記憶装置に登録された特徴データとの差分が予め定められた第１の閾値よりも小さい第２の閾値よりも小さいと、前記抽出特徴データと前記記憶装置に登録された特徴データとは同一の個人又は個体であるとして認証を行う認証ステップと、
第１のフレーム及び当該第１のフレームのフレームと異なる第２のフレームにおいて同一の前記顔領域を特定する追尾ステップと、
前記追尾ステップによって前記第１のフレームと前記第２のフレームにおいて同一の前記顔領域であると特定されているにも拘わらず、前記認証ステップによって前記第１のフレームにおいて前記差分が第２の閾値よりも小さいと判定された後、前記第２のフレームにおいて前記差分が前記第１の閾値を越えると判定された場合、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶装置に登録する登録ステップとを実行させることを特徴とする認証プログラム。
請求項６に記載の認証プログラムが記録されたコンピュータに読み取り可能な記録媒体。