JP4314016B2

JP4314016B2 - 人物認識装置および通行制御装置

Info

Publication number: JP4314016B2
Application number: JP2002320156A
Authority: JP
Inventors: 寛助川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-11-01
Filing date: 2002-11-01
Publication date: 2009-08-12
Anticipated expiration: 2022-11-01
Also published as: EP1416427A2; KR100550739B1; US20040086157A1; KR20040038617A; JP2004157602A; CN1494037A; TW200407792A; TWI254254B; US7266224B2; CA2438980A1; EP1416427A3

Description

【０００１】
【発明の属する技術分野】
本発明は、たとえば、セキュリティ管理などにおいて、人物の顔画像、指紋画像、虹彩情報、掌形画像、指画像、音声情報などの生体情報を用いて当該人物を認識する人物認識装置に関する。
また、本発明は、上記人物認識装置を用いて通行者の通行（たとえば、重要施設の入退場など）を制御する通行制御装置に関する。
【０００２】
【従来の技術】
一般に、この種の人物認識装置は、認識対象となる人物の生体情報を取得し、この取得した生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき当該人物を認識するようになっている。
【０００３】
このような人物認識装置において、経年変化や認識ごとのばらつき（たとえば、顔画像の照合における人物の姿勢や顔の向きなど）による本人の誤排除の軽減対策として、あらかじめ本人の生体的な特徴情報が登録情報として記録されている辞書（登録情報保持手段）の自動更新に関する技術が提案されている。
【０００４】
たとえば、認証閾値とは別に当該認証閾値よりも高い再登録用閾値を設定しておき、照合時に求めた類似度が当該再登録用閾値よりも高いときに登録情報（辞書）の更新を行なう技術が開示されている（たとえば、特許文献１参照）。
また、ＩＤ番号や暗証番号の入力と組合わせて認証閾値を下げる仕組みを持ち、認証閾値を下げずに照合成功したときに、登録情報（辞書）の更新を行なう技術が開示されている（たとえば、特許文献２参照）。
【０００５】
【特許文献１】
特開平１１−１６７６３２号公報
【０００６】
【特許文献２】
特開平１０−３１２４６２号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献１や特許文献２の方法では、充分に本人であることが確認された場合にのみ、登録情報（辞書）の更新を行なう仕組みとなっているため、学習されている内容により近いデータのみが自動更新によって登録情報に学習されていくこととなる。
【０００８】
また、本人の誤排除を軽減させるのに効果的な情報は、認証閾値に対して充分の優位性を持っている部分ではなく、認証閾値に近い点数となるようなデータであるため、前述した特許文献１や特許文献２による自動更新方法では効果が小さい。また、その方法を利用して認証閾値に近い点数を学習させようとすると、本当に本人であるかどうかの確認が行なわれていないため、誤って他人を学習してしまう可能性がある。
【０００９】
そこで、本発明は、経年変化や認証時の入力情報のばらつきに対して本人の誤排除率を低下させることができる人物認識装置および通行制御装置を提供することを目的とする。
【００１０】
また、本発明は、認識対象者の負担を増やすことなく効果的な登録情報（辞書）の学習を行なうことができる人物認識装置および通行制御装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の人物認識装置は、認識対象となる人物の生体情報を取得する生体情報取得手段と、あらかじめ認識対象となる複数の人物の生体情報を登録情報として保持する登録情報保持手段と、前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている複数の登録情報とをそれぞれ照合することにより複数の類似度を求め、この求めた複数の類似度に基づき前記人物の認識を行なう認識手段と、この認識手段において求められた複数の類似度の中で複数の類似度の差があらかじめ定められた所定の閾値以上であるか否かを判定し、当該複数の類似度の差が所定の閾値以上であるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段とを具備している。
【００１２】
また、本発明の人物認識装置は、認識対象となる人物の生体情報を取得する生体情報取得手段と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識手段と、この認識手段における認識時に得られる類似度に対して登録情報の更新を行なう範囲、登録情報の更新を行なわない範囲、登録情報の更新を行なうか否かを後で確認する範囲それぞれをあらかじめ設定しておき、当該類似度が登録情報の更新を行なう範囲である場合には、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新し、当該類似度が登録情報の更新を行なわない範囲である場合には登録情報の更新は行なわず、当該類似度が登録情報の更新を行なうか否かを後で確認する範囲である場合には、前記生体情報取得手段により取得された対応する生体情報を履歴情報として保存する第１の登録情報更新手段と、この第１の登録情報更新手段により保存された生体情報を確認した後、当該生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する第２の登録情報更新手段とを具備している。
【００１３】
さらに、本発明の通行制御装置は、通行者を認識して前記通行者の通行を制御する通行制御装置において、前記通行者の生体情報を取得する生体情報取得手段と、あらかじめ認識対象となる複数の通行者の生体情報を登録情報として保持する登録情報保持手段と、前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている複数の登録情報とをそれぞれ照合することにより複数の類似度を求め、この求めた複数の類似度に基づき前記通行者の認識を行なう認識手段と、この認識手段において求められた複数の類似度の中で複数の類似度の差があらかじめ定められた所定の閾値以上であるか否かを判定し、当該複数の類似度の差が所定の閾値以上であるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段とを具備している。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
なお、以下の説明では、人物の生体情報として顔画像を用いた場合を例として述べるが、顔画像以外に、指紋画像、虹彩情報、掌形画像、指画像、音声情報などの他の生体情報を用いても同様に実施できる。
【００１５】
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る人物認識装置の構成を概略的に示すものである。この人物認識装置は、認識対象者（以下、人物ともいう）１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ１０１、認識対象者１００に対して入力された顔画像や各種案内などを表示する表示手段としての表示部１０２、認識対象者１００を特定するＩＤ番号や暗証番号などの識別情報を入力する識別情報入力手段としての入力部１０３、および、カメラ１０１から入力された顔画像を処理して顔画像の認識処理などを行なう処理部１０４から構成されている。
【００１６】
なお、図示は省略しているが、必要に応じて、カメラ１０１の近傍（たとえば、右上方あるいは左上方）から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する照明手段が設けられる。
【００１７】
また、以下の説明では、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の時刻、日時、場所などの状況情報、暗証番号、ＩＤコードなどの個人情報の各情報が登場してくる。そして、認識データと言うときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、登録情報と言うときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは登録情報に含まれる。
【００１８】
カメラ１０１は、認識対象者１００の生体情報として顔画像を下方から所定角度で撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。
【００１９】
表示部１０２は、カメラ１０１で撮影されている認識対象者１００の顔画像や各種ガイダンス、処理結果などを表示するモニタであり、カメラ１０１の近傍、たとえば、カメラ１０１の上部で、ほぼ認識対象者１００の顔部分と相対応する位置に設けられている。
【００２０】
入力部１０３は、認識対象者１００が本人であることを確認する際に用いる暗証番号などを入力したり、多数登録されている生体情報の中のどの生体情報であるかを特定する識別情報などを入力するもので、具体的には、たとえば、テンキーやタッチパネル、あるいは、ＩＣカードや磁気カードあるいは無線カードを読取るカードリーダなどによって実現可能である。
【００２１】
処理部１０４は、カメラ１０１からの顔画像を入力する画像入力部１０５、画像入力部１０５から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部品の位置を検出する顔検出手段としての顔検出部１０６、顔検出部１０６の出力に基づき濃淡情報あるいは部分空間情報などの顔の特徴量を抽出する特徴量抽出手段としての特徴量抽出部１０７、人物情報登録時には、特徴量抽出部１０７で抽出された顔の特徴量を認識データ（登録情報）として保持する登録情報保持手段としての登録情報保持部（辞書）１０８、人物認識時には、特徴量抽出部１０７で抽出された顔の特徴量と登録情報保持部１０８に登録されている認識データ（登録情報）とを照合することにより認識対象者１００の顔を認識する認識手段としての認識部１０９、画像入力部１０５から得られた画像や特徴量抽出部１０７で抽出された顔の特徴量を履歴情報として記録しておく履歴情報記憶手段としての履歴情報記憶部１１０、更新すべき範囲を設定して登録情報を更新すべきかどうかを判定し、登録情報保持部１０８に保持されている登録情報を更新する登録情報更新手段としての登録情報更新部１１１、表示部１０２を制御する表示制御部１１２、および、入力部１０３を制御する入力制御部１１３により構成されている。
【００２２】
画像入力部１０５は、カメラ１０１からの顔画像を入力し、Ａ／Ｄ変換してデジタル化した後、顔検出部１０６へ送る。
顔検出部１０６は、まず、画像入力部１０５で入力された顔画像から認識対象者１００の顔の領域を検出する。たとえば、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。
【００２３】
顔検出部１０６は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−II，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いてよい。
【００２４】
ここで、顔のテンプレートによる顔検出と、目、鼻などの顔部品の検出座標の相対位置によって顔の方向を調べることも可能になる。たとえば、図２に示すように、顔検出結果の中心座標を顔の中心座標（ｆｘ，ｆｙ）、顔の大きさを（ｆｗ，ｆｈ）とし、左右の目と鼻の検出結果をそれぞれ（ＥｙｅＬｘ，ＥｙｅＬｙ）、（ＥｙｅＲｘ，ＥｙｅＲｙ）、（ＮｏｓｅＬｘ，ＮｏｓｅＬｙ）、（ＮｏｓｅＲｘ，ＮｏｓｅＲｙ）とすれば、以下の方法で顔の方法を示す指標が得られる。
顔の方向（Ｘ方向）＝（（ＥｙｅＲｘ＋ＥｙｅＬｘ）／２−ｆｘ）／ｆｗ
顔の方向（Ｙ方向）＝（（ＥｙｅＲｙ＋ＥｙｅＬｙ）／２−ｆｙ）／ｆｈ
これらの座標の原点が画面左上だとした場合、数値は顔が右下に向くほど大きくなる値となる。
【００２５】
特徴量抽出部１０７は、顔検出部１０６で検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を顔の特徴量として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。
【００２６】
図３は、入力画像を特徴量抽出部１０７により処理して得られた顔画像データであり、時系列的に得られたものである。これらのデータに対し特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算方法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。
【００２７】
本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列
【数１】

と対角化して、固有ベクトルのΦを求める。この部分空間は、人物の同定を行なうための認識辞書として利用する。この情報をあらかじめ登録しておいて、それを辞書として登録しておけばよい。
また、後で述べるように、認識を行なうための入力データとして部分空間自身を利用してもよい。したがって、部分空間を算出した結果は、認識部１０９および登録情報保持部１０８に送られる。
【００２８】
登録情報保持部１０８は、認識対象者１００を同定するために利用する部分空間（または、相関行列など）、および、認識対象者１００を特定するＩＤ番号などの識別情報を対応させて蓄積する。また、登録の際の時刻、日時、場所などの状況情報なども蓄積できる。なお、部分空間に限らず、入力された顔画像や抽出された顔の特徴量そのものを蓄積してもよい。
【００２９】
認識部１０９は、登録情報保持部１０８に蓄えられた認識データ（部分空間）と特徴量抽出部１０７で得られた特徴量（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１０１に写っている認識対象者１００が誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。
【００３０】
また、ＩＤ番号、暗証番号、鍵などの個人の識別情報を用いて、顔画像による認識を行なう場合には、それぞれの人物の識別情報に対応する認識データとの類似度を計算して、設定した認証閾値と照合し、その認証閾値を越えた場合に、その人物と同定する。
これらＩＤ番号、暗証番号、鍵など個人の識別情報は、入力部１０３を用いて入力すればよい。
【００３１】
認識の方法としては、特徴量抽出部１０７の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である相互部分空間法を用いる。
【００３２】
この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、
【数２】

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ、Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。
【００３３】
なお、本実施の形態においては、登録された生体情報との一致性は「類似度」を用いた例を用いているが、相関値やユークリッド距離といったものを利用してもかまわない。
【００３４】
認識部１０９において人物を認識する場合には、登録情報保持部１０８に蓄えられた全ての部分空間情報（登録情報）との類似度を求め、最も高い類似度となる人物の類似度があらかじめ定められた認証閾値以上となった場合に、その人物が本人であると認識する。最高となる類似度が認証閾値よりも低い場合には、あらかじめ登録を行なっている人物ではないと判定できる。この認識方法を本発明では「１：Ｎ照合」として定義し、以降の説明で繰返し利用することとする。
【００３５】
一方、ＩＤ番号など、どの人物であるかの識別情報が入力部１０３から入力された場合には、その識別情報に対応する部分空間との類似度のみを計算し、その類似度があらかじめ定められた認証閾値以上となった場合に、その人物が本人であると認識する。この認識方法を本発明では「１：１照合」として定義し、以降の説明で繰返し利用することとする。
【００３６】
また、「１：１照合」と「１：Ｎ照合」との中間に位置する「１：ｎ照合」については、登録者全体の中の複数の人物に共通する識別情報が入力された場合を想定し、この識別情報が入力された場合には、その識別情報に対応する１名または複数名の登録者の登録情報との類似度を計算し、最高となる類似度が認証閾値よりも高い場合に、その識別情報に相当する登録者がきたこととする。
【００３７】
たとえば、複数の人物に共通するグループ番号を識別情報として入力し、そのグループに属する人物であるかどうかを判定する場合などに用いる。基本的に、登録者全員との類似度を計算するのではなく、その中の一部の複数人物との照合を行なうということであって、全体的な動作は「１：Ｎ照合」の動作と共通であるため、本実施の形態においては「１：Ｎ照合」の説明に包含して説明することとする。
【００３８】
履歴情報記憶部１１０は、認識部１０９で得られる認識結果や認識を行なった時間や場所、入力された識別情報などとともに、画像入力部１０５から入力された入力画像そのものや、特徴量抽出部１０７から得られた顔の特徴情報などを履歴情報として記憶する。
【００３９】
以上の方法で人物を認識するだけでなく、その認識結果に応じて通行の制御を行なったりアクセスの制御を行なうことにも応用が可能であるが、顔画像を用いた人物認識装置の場合、図４に示すように、人物の立ち位置や姿勢の経年変化、経時変化により、認識率の低下を引き起こしてしまう。図４において、破線で示す枠ａが登録時の顔の大きさ（顔サイズ）を示している。
【００４０】
たとえば、図４（ａ）に示すように、登録時と同じ状態で認識時（照合時）も顔が画像内に存在している場合には、登録時と近い状態で特徴情報が抽出できるために登録情報（辞書）との類似度が高くなりやすいが、図４（ｂ）、（ｃ）に示すように、登録時よりも顔が大きかったり小さかったりした場合や、図には示されていないが顔の向きなどが異なる場合に類似度が低下しやすくなる。
こういった問題を解決するために、登録情報保持部１０８に保持されている生体情報に対して情報を追加したり一部を書換えることによって、類似度の低下を軽減させることが必要となる。
【００４１】
そこで、登録情報更新部１１１では、認識部１０９において登録者であるかどうかの判定基準である「認証閾値」とは独立して、登録情報（辞書）の更新を行なうべきかどうかを判定する基準を設ける。この基準としては、１つまたは複数の範囲で定められた類似度であったときに登録情報の更新を行なうものとすることで実現する。図５にその一例を示す。
【００４２】
該当する特徴情報とは別の人物の特徴情報を学習させることを防止する必要があるため、本実施の形態では類似度が「認証閾値Ｔｈ」以上であることを１つの条件とする。図５では、「更新範囲下限閾値ＵｐｄａｔｅＴｈ＿Ｌｏｗ」と「認証閾値Ｔｈ」は異なる値としている例であるが、ここで説明しているように同じ値に設定しても構わない。
【００４３】
また、一般に既に登録情報（辞書）に学習されている特徴情報に類似した情報を更に学習させた場合の学習効果は小さく、かつ、そういった情報は特徴情報との類似度が高くでることから、登録情報の更新を行なう範囲に対して上限となる閾値も設定する。図５における「更新範囲下限閾値ＵｐｄａｔｅＴｈ＿Ｈｉｇｈ」に相当し、図５の網掛けした範囲ｂが本例の登録情報更新範囲に相当する。
【００４４】
この結果、できるだけ類似度の値の低い特徴情報を学習させることにより、少ない登録情報の更新回数でも効果的な更新を行なうことができる。本実施の形態では、１つの上限、下限の組合わせで定められる範囲を１つ定義する例をあげて説明を行なったが、複数の範囲で定められる範囲にしても構わないし、上限や下限を類似度の上限値と下限値と同じ値にしても構わない。
【００４５】
登録情報（辞書）の更新を行なう際には、入力された顔の特徴情報から得られる相関行列の値を登録情報として保存されている値に加算を行なった上で再度、Ｋ−Ｌ展開して求めた部分空間を更新後の登録情報として保存する。
【００４６】
なお、第１の実施の形態では、登録情報の内容を書換える方法については特に依存性がないため、登録情報の更新は顔の特徴情報の一部を特定の比率で書換えしたり、全部の内容を入力された顔の特徴情報に完全に書換えしたり、登録情報保持部１０８に１人あたり複数のテンプレートを保持させることでも実現が可能である。登録情報の更新を行なう対象は、「１：１照合」であれば認識対象の登録情報、「１：Ｎ照合」であれば最も高い類似度を与える登録情報に対して更新を行なうこととする。
【００４７】
また、説明した登録情報更新部１１１では、登録された人物の全員で共通の更新範囲を設定しているが、「１：１照合」の場合であれば、入力されたＩＤ番号ごとに範囲を個別に設定したり、「１：Ｎ照合」の場合では１位とされるＩＤ番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
以上説明した処理の流れを図６のフローチャートに示す。
【００４８】
次に、第２の実施の形態について説明する。
なお、第２の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第１の実施の形態と同様であるため説明は省略する。
第２の実施の形態は、認識時に得られた類似度の値によって登録情報更新時の重み（比率）を変更する点を特徴としていて、そのために登録情報更新部１１１の機能が第１の実施の形態と若干異なっており、以下それについて説明する。
【００４９】
登録情報更新部１１１は、認識部１０９の認識結果や履歴情報記憶部１１０内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部１０８の登録情報を更新する。
【００５０】
登録情報更新部１１１において、登録情報の更新を判断する基準は任意のものを利用してよい。ここでは、第１の実施の形態で用いている認識時の類似度が更新範囲であるかどうかを例にあげて説明を行なうが、第３の実施の形態以降で説明を行なう判断手法を用いてもよいし、入力部１０３によって暗証番号のように本人しか知りえない識別情報の入力を促して、本人確認ができた場合にのみ登録情報の更新を行なうといった方法を利用しても構わない。
【００５１】
また、本実施の形態においては、簡単に説明するために登録情報の更新比率を認識部１０９で得られる類似度を用いて２つの更新比率を変更する例をあげているが、更新比率は多段階であってもよいし、更新比率を計算する関数を利用して変更しても構わないことは明らかである。
【００５２】
以下、登録情報更新部１１１において、認識部１０９から得られる類似度によって登録情報の更新比率を変更する方法について図７を用いて説明する。
本実施の形態においては、登録情報の更新を行なう際には、入力された顔の特徴情報から得られる相関行列の値を登録情報として保存されている値に対し加算を行なった上で、再度、Ｋ−Ｌ展開して求めた部分空間を更新後の顔の特徴情報（登録情報）として保存する。
【００５３】
この際、登録されている顔の特徴情報（登録情報）に対して新たに加算する相関行列の値の重みを、認識部１０９によって得られた類似度に応じて変更するものとする。たとえば、図７に示すように、更新範囲上限閾値Ｂ未満であり、更新範囲下限閾値Ｂ以上であった場合、更新比率Ｂを利用して登録情報の更新を行なうものとする。同様に、更新範囲上限閾値Ａ未満であり、更新範囲下限閾値Ａ以上であった場合、更新比率Ａを利用して登録情報の更新を行なう。
【００５４】
ここでは、登録情報との類似度が低くなっている更新比率Ｂの方の重みを高く設定することにより、登録情報の内容からの変動が大きくなってきたときに登録情報の内容を多めに変更するようにする。具体的には、更新比率Ｂ（０≦Ｂ≦１）を利用して登録情報の更新を行なう場合、既存の特徴情報に対しては重みを（１−Ｂ）、加算をすることになる入力側の特徴情報に対しては重みをＢにして相関行列の加算を行なうようにする。
【００５５】
次に、第３の実施の形態について説明する。
なお、第３の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第１の実施の形態と同様であるため説明は省略する。
第３の実施の形態は、他人の登録情報との類似度差（１位−２位差）が一定値以上であるかどうかで登録情報更新の判定を行なう点を特徴としていて、そのために登録情報更新部１１１の機能が第１の実施の形態と若干異なっており、以下それについて説明する。
【００５６】
登録情報更新部１１１は、認識部１０９によって得られた１つまたは複数の類似度を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部１０８の登録情報を更新する。第３の実施の形態においては、登録者全員分の登録情報との類似度を求める「１：Ｎ照合」のみならず、「１：１照合」および「１：ｎ照合」の場合でも登録者全員との類似度を計算することとする。
【００５７】
まず、「１：１照合」の場合の更新判定方法について図８を用いて説明する。「１：１照合」の場合には、本人に相当する類似度がわかっている。その場合、本人以外との類似度として、「他人類似度」が１つまたは複数計算されることになるが、その中で最も高い類似度を与える「他人１位類似度」を求め、本人類似度と「他人１位類似度」との差が充分であれば、本当に本人であると判定して登録情報の自動更新を行なう。
【００５８】
仮に、登録されている他人が認証した場合には、「他人１位類似度」として本来は「本人」となるべき類似度が得られるため、「他人１位類似度」が高くでるようになり、登録されていない人物が認証した場合には、全ての類似度が低くなるため、本人類似度自体が低くなる。共に本人が認証を行なった場合と違って、本人類似度と「他人１位類似度」との差が小さくなりやすいといったことを利用して、他人を誤って登録情報に学習してしまうことを防ぐことができる。勿論、本人の類似度が一定の値の範囲に入っているといった第１の実施の形態における手法と併用をすることは可能である。
【００５９】
また、「１：１照合」においては、「他人１位類似度」の代わりに「他人全員の類似度の平均値」との差を利用することによって、未登録者が登録情報を更新しようとした場合の誤学習を防ぐことも可能である。
【００６０】
また、類似度の差ではなく、全体の類似度の中で最も高い類似度に次ぐ「２位類似度」単独の値だけで判定することも可能である。この場合、仮に他人が１位となってしまった場合、本人の類似度もある程度の高い類似度をとることが予想され、「２位類似度」が高い場合は他人か未登録者が認証しているとみなすことが可能になる。
【００６１】
次に、「１：Ｎ照合」、「１：ｎ照合」の場合の更新判定方法について図９を用いて説明する。「１：Ｎ照合」、「１：ｎ照合」の場合には、あらかじめ識別情報が入力されていないため、「本人」に相当する類似度がないことから、全員との類似度を計算した中で最も高い類似度「１位類似度」とそれに次ぐ類似度「２位類似度」を利用する。
【００６２】
図９（ａ）に示すように、本人が正しく１位となっていれば、２位類似度との差が大きくなるため、「１位類似度」と「２位類似度」との差である「１位―２位類似度差」が充分に大きくなることから、この値が所定の閾値よりも大きい場合、あるいは、複数の閾値で定められた範囲に入っていれば、１位類似度を与える登録情報に対して入力された顔の特徴情報を利用して更新を行なう。
【００６３】
一方、図９（ｂ）に示すように、仮に本人に相当する類似度が低くなって、２位以下となった場合には、他人の登録情報に対応する類似度が「１位類似度」として計算されるが、この場合、本人類似度が２位、あるいは、それよりも高い更に別の他人の類似度が２位となるため、本人が１位となった場合と比べて「１位―２位類似度差」が小さくなる。この場合も、この判断基準のみならず、第１の実施の形態で示したように、「１位類似度」が所定の類似度になっているかどうかの検証を併用することが可能である。
【００６４】
「１：１照合」のときと同様、「２位類似度」だけを評価対象として、「２位類似度」が所定の閾値以下であった場合、あるいは、複数の閾値で定められる類似度の範囲内であった場合に登録情報の更新を行なうといった方法も利用できる。
【００６５】
また、説明した登録情報更新部１１１では、登録された人物の全員で共通の更新範囲を設定しているが、「１：１照合」の場合であれば、入力されたＩＤ番号ごとに範囲を個別に設定したり、「１：Ｎ照合」、「１：ｎ照合」の場合では１位とされるＩＤ番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
【００６６】
なお、第２の実施の形態までと同様、ここで用いる閾値や類似度範囲は全員共通でも個別でも構わないこととする。
【００６７】
次に、第４の実施の形態について説明する。
なお、第４の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第１の実施の形態と同様であるため説明は省略する。
第４の実施の形態は、個人別の履歴情報との照合を行なって平均的に高い類似度となるかどうかで登録情報更新の判定を行なう点を特徴としていて、そのために登録情報更新部１１１の機能が第１の実施の形態と若干異なっており、以下それについて説明する。
【００６８】
登録情報更新部１１１は、認識部１０９の認識結果や履歴情報記憶部１１０内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部１０８の登録情報を更新する。
【００６９】
登録情報更新部１１１においては、認識部１０９において登録者であるかどうかの判定を行なった後、特徴量抽出部１０７で得られた顔の特徴情報を利用して登録情報を更新した場合に作成される「仮の登録情報（仮辞書）」を作成する。これは、「１：１照合」の場合であれば、本人に相当する登録情報を基に「仮の登録情報」を作成し、「１：ｎ照合」や「１：Ｎ照合」の場合には、最も高い類似度を与える登録情報に対して登録情報の更新をした場合に作成される「仮の登録情報」を作成する。
【００７０】
「仮の登録情報」は、実際に登録情報保持部１０８に保持されている登録情報を直接書換えるのではなく、一時的なものとして登録情報と別に作成するものとする。この仮の登録情報の作成を行なう際には、入力された顔の特徴情報から得られる相関行列の値を登録情報として保存されている値に加算を行なった上で、再度、Ｋ−Ｌ展開して求めた部分空間を更新後の仮の登録情報とする。
【００７１】
なお、第４の実施の形態では、登録情報の内容を書換える方法については特に依存性がないため、登録情報の更新は顔の特徴情報の一部を特定の比率で書換えしたり、全部の内容を入力された顔の特徴情報に完全に書換えしたり、登録情報保持部１０８に１人あたり複数のテンプレートを保持させることでも実現が可能である。
【００７２】
仮の登録情報が作成されると、「１：１照合」では、履歴情報記憶部１１０に履歴情報として保存されている、入力部１０３から入力された識別情報に対応する過去に入力された１つまたは複数の顔の特徴情報、「１：ｎ照合」や「１：Ｎ照合」では、１位となる類似度に対応する履歴情報として、履歴情報記憶部１１０に保存されている過去に入力された１つまたは複数の顔の特徴情報との類似度を計算する。同様に、登録情報保持部１０８に保持されている既存の登録情報も同じ処理を行なって類似度を計算する。その結果、過去に入力された１つまたは複数の特徴情報との平均類似度が、仮の登録情報の方が高くなるようであれば、登録情報保持部１０８に保持されている登録情報を仮の登録情報と置き換え、仮の登録情報を本来の辞書として登録する。
【００７３】
以上説明した処理の流れを図１０のフローチャートに示す。
【００７４】
なお、上記説明では、過去の履歴情報との平均類似度で比較を行なったが、最低類似度であっても、最高類似度であっても、本発明を実現することが可能であることは自明である。
【００７５】
次に、第５の実施の形態について説明する。
なお、第５の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第１の実施の形態と同様であるため説明は省略する。
第５の実施の形態は、登録情報を更新すべきか判定しにくい場合は、入力画像または顔の特徴情報を保存しておき、後から選別して登録情報の更新を行なう点を特徴としていて、そのために登録情報更新部１１１の機能が第１の実施の形態と若干異なっており、以下それについて説明する。
【００７６】
登録情報更新部１１１は、認識部１０９の認識結果や履歴情報記憶部１１０内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部１０８の登録情報を更新する。
【００７７】
登録情報更新部１１１では、たとえば、図１１に示すように、自動更新を行なう範囲ｃと、自動更新を行なわない範囲ｄと、これらとは別に、後で確認を行なって更新するかしないかを確定するために特徴情報を保存する範囲ｅを設けることとする。たとえば、第１の実施の形態でも説明したように、登録情報の更新を行なうと効果的であると判断できるデータであっても、本当に登録情報の登録者本人であるかの確証が得られない場合には、そのときの入力画像または顔の特徴情報を履歴情報記憶部１１０に保存しておき、後からそれを目視確認をすることによって追加で登録情報の更新を可能とする。
【００７８】
認識部１０９において得られた類似度が、自動更新を行なう範囲ｃであった場合には、第４の実施の形態までに説明した手法と同様に登録情報の更新を行なうことが可能である。また、同様に、登録された人物全員で共通の更新範囲を設定しているが、「１：１照合」の場合であれば、入力されたＩＤ番号ごとに範囲を個別に設定したり、「１：Ｎ照合」の場合では、１位とされるＩＤ番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
【００７９】
以上の処理の流れによって更新すべきかどうか確認が必要な情報であるとして履歴情報記憶部１１０に保存された情報については、たとえば、表示部１０２を利用して履歴情報の内容を表示しながら確認を行なうことを想定して説明を行なうが、履歴情報記憶部１１０の内容を他の端末装置に転送して、その場で確認や指示を行なうようにしても構わない。
【００８０】
表示部１０２における画面構成は、たとえば、図１２に示すように、本来の登録者の顔画像ｆと確認が必要となる情報の入力画像ｇとを並べて表示するようにし、両方の人物が同一人物であると確認できた場合に、登録情報保持部１０８内の登録情報に対し追加して学習させることとする。勿論、このような表示でないと本実施の形態が実現できなくなるわけではないため、顔の特徴情報そのものを表示しても構わないし、連続したデータを用いて顔照合を行なう場合には、入力された複数の顔画像や動画像を表示するといったことで実現しても構わない。
【００８１】
次に、第６の実施の形態について説明する。
なお、第６の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第１の実施の形態と同様であるため説明は省略する。
第６の実施の形態は、認識にかかった時間や認識のリトライ回数に応じて登録情報を更新するかどうかを判定する点を特徴としていて、そのために登録情報更新部１１１の機能が第１の実施の形態と若干異なっており、以下それについて説明する。
【００８２】
登録情報更新部１１１は、認識部１０９の認識結果や履歴情報記憶部１１０内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部１０８の登録情報を更新する。
【００８３】
また、第６の実施の形態は、認識部１０９において、最終的な認識結果が得られるまで認識処理を繰返すことを前提としており、「類似度が認証閾値を越さない場合には規定された回数まで認識処理を繰返す」、「類似度が認証閾値を越した時点で認識処理を完了」といった方法をとることとする。勿論、第１の実施の形態から第５の実施の形態までにおいても同様の技術を利用することは可能であったが、本実施の形態ではこの繰返しを行なった回数や時間を利用するため、必ずこの方法をとることとする。
【００８４】
本実施の形態における認識処理の打ち切りについては図１３のフローチャートに示す通りであるが、認証失敗とする判断基準は、認識を行なった繰返し回数（リトライ回数）のみならず、認識処理開始からの経過時間を利用しても構わない。
【００８５】
以下、登録情報更新部１１１において登録情報の更新を行なう方法について説明する。
図１３のフローチャートに示すように、認証が完了した時点で認証が成功となるまでの認識リトライ回数が得られる。このリトライ回数があらかじめ定められた回数（更新閾値）よりも多い場合には、「本人であるものの登録情報に学習されていないデータが入力されており認証に長時間かかった」と判定して登録情報の更新を行なう。一方、上記リトライ回数があらかじめ定められた回数（更新閾値）よりも少ない場合には、「登録情報と非常に類似したデータが入力されたため短時間で認証が終わった」と判定して登録情報の更新を行なわない。
ここに、図１４のグラフは、上述した登録情報更新の判定条件を説明するものである。
【００８６】
なお、上記説明では、認識のリトライ回数を判断基準として用いているが、認識処理開始からの経過時間を基に判断しても構わない。
また、説明した登録情報更新部１１１では、登録された人物の全員で共通の更新範囲を設定しているが、「１：１照合」の場合であれば、入力されたＩＤ番号ごとに範囲を個別に設定したり、「１：Ｎ照合」の場合では１位とされるＩＤ番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
【００８８】
なお、第６の実施の形態では、登録情報の内容を書換える方法については特に依存性がないため、登録情報の更新は顔の特徴情報の一部を特定の比率で書換えしたり、全部の内容を入力された顔の特徴情報に完全に書換えしたり、登録情報保持部１０８に１人あたり複数のテンプレートを保持させることでも実現が可能である。
【００８９】
また、繰返して認識を行なった場合には、入力された顔の特徴情報が１つまたは複数個存在するため、登録情報の更新時には全ての情報を登録情報に加算する。なお、全ての情報を利用せずに規定の数で制限しても構わないし、登録情報との類似度の推移を利用して選別して更新に利用しても構わない。
【００９０】
次に、第７の実施の形態について説明する。
第７の実施の形態は、たとえば、第１の実施の形態で説明した人物認識装置を、通行者の顔画像を認識して通行者の通行を制御する通行制御装置に適用した場合の例である。
【００９１】
図１５は、第７の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設（セキュリティ重視の部屋など）への入退室管理を行なうもので、利用者（通行者）の顔画像を認識して、その認識結果に基づき重要施設の入退室用ドアの開閉制御を行なうものであり、カメラ１０１、表示部１０２、入力部１０３、処理部１０４、および、認識部１０９の認識結果に応じて重要施設２０１の入退室用ドア２０２の開閉制御を行なう通行制御手段としてのドア制御部１１４から構成されている。
なお、図１５において、ドア制御部１１４以外は図１の人物認識装置と同じ構成であるので、同一符号を付して、その説明は省略する。
【００９２】
認識部１０９は、たとえば、求めた類似度が認証閾値よりも大きかった場合、ドア制御部１１４に「ドア開」の信号を出力し、求めた類似度が認証閾値よりも小さかった場合、ドア制御部１１４に「ドア閉」の信号を出力する。ドア制御部１１４は、認識部１０９から「ドア開」の信号を受取ると、入退室用ドア２０２を開状態に制御して、認識対象者（この場合は通行者）１００の入室を許可し、「ドア閉」の信号を受取ると、入退室用ドア２０２を閉状態に保持して、通行者１００の入室を拒否する。
このように、第７の実施の形態によれば、第１の実施の形態で説明した人物認識装置を用いて通行者の通行を制御することができる。
【００９３】
なお、第７の実施の形態では、代表として、第１の実施の形態で説明した人物認識装置を適用した場合について説明したが、第２〜第６の実施の形態で説明した人物認識装置を適用することも可能であることは説明するまでもないことである。
【００９４】
以上説明したように、上記実施の形態によれば、人物の認識に用いる登録情報（辞書）を、認識対象者への負担をかけずに効率的な学習を行なうことによって、経年変化や認証時の入力情報のばらつきに対して本人の誤排除率を低下させることができる。
また、認証閾値に対する優位差のない認証データ（ぎりぎり認証成功になったデータ）も利用した自動更新を行なうことによって、認識対象者の負担を増やすことなく効果的な登録情報の学習を行なうことができる。
【００９５】
【発明の効果】
以上詳述したように本発明によれば、経年変化や認証時の入力情報のばらつきに対して本人の誤排除率を低下させることができる人物認識装置および通行制御装置を提供できる。
【００９６】
また、本発明によれば、認識対象者の負担を増やすことなく効果的な登録情報（辞書）の学習を行なうことができる人物認識装置および通行制御装置を提供できる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る人物認識装置の構成を概略的に示すブロック図。
【図２】顔検出部の処理を説明するための図。
【図３】特徴量抽出部の処理を説明するための図。
【図４】登録時との状態変化を説明するための図。
【図５】自動的に登録情報の更新を行なう範囲を説明するための図。
【図６】自動的に登録情報の更新を行なう処理の流れを説明するフローチャート。
【図７】第２の実施の形態に係る人物認識装置における登録情報更新方法の判断基準を説明するための図。
【図８】第３の実施の形態に係る人物認識装置における登録情報更新の判定方法を説明するための図。
【図９】第３の実施の形態に係る人物認識装置において他人が本人よりも高い類似度になった場合の説明図。
【図１０】第４の実施の形態に係る人物認識装置における登録情報更新処理の流れを説明するフローチャート。
【図１１】第５の実施の形態に係る人物認識装置における登録情報更新の判定方法を説明するための図。
【図１２】第５の実施の形態に係る人物認識装置における登録情報の目視確認更新方法を説明するための図。
【図１３】第６の実施の形態に係る人物認識装置における登録情報更新処理の流れを説明するフローチャート。
【図１４】第６の実施の形態に係る人物認識装置における登録情報更新の判定条件を説明するための図。
【図１５】第７の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。
【符号の説明】
１００…認識対象者（人物、通行者）、１０１…カメラ（画像入力手段）、１０２…表示部、１０３…入力部（識別情報入力手段）、１０４…処理部、１０５…画像入力部（画像入力手段）、１０６…顔検出部（顔検出手段）、１０７…特徴量抽出部（特徴量抽出手段）、１０８…登録情報保持部（登録情報保持手段）、１０９…認識部（認識手段）、１１０…履歴情報記憶部（履歴情報記憶手段）、１１１…登録情報更新部（登録情報更新手段）、１１２…表示制御部、１１３…入力制御部（識別情報入力手段）、１１４…ドア制御部（通行制御手段）、２０１…重要施設、２０２…入退室用ドア。

Claims

認識対象となる人物の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる複数の人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている複数の登録情報とをそれぞれ照合することにより複数の類似度を求め、この求めた複数の類似度に基づき前記人物の認識を行なう認識手段と、
この認識手段において求められた複数の類似度の中で複数の類似度の差があらかじめ定められた所定の閾値以上であるか否かを判定し、当該複数の類似度の差が所定の閾値以上であるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
前記複数の類似度の差は、最も高い類似度とその次に高い類似度との差であることを特徴とする請求項１記載の人物認識装置。
前記複数の類似度の差は、あらかじめ認識対象となる人物の識別情報が入力されている場合には、その識別情報に対応する登録情報に対する類似度と、それ以外の登録情報に対する類似度の中で最も高い類似度との差であることを特徴とする請求項１記載の人物認識装置。
前記複数の類似度の差は、あらかじめ認識対象となる人物の識別情報が入力されている場合には、その識別情報に対応する登録情報に対する類似度と、それ以外の登録情報に対する類似度の中の一部または全ての類似度によって求められる評価値との差であることを特徴とする請求項１記載の人物認識装置。
認識対象となる人物の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識手段と、
この認識手段における認識時に得られる類似度に対して登録情報の更新を行なう範囲、登録情報の更新を行なわない範囲、登録情報の更新を行なうか否かを後で確認する範囲それぞれをあらかじめ設定しておき、当該類似度が登録情報の更新を行なう範囲である場合には、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新し、当該類似度が登録情報の更新を行なわない範囲である場合には登録情報の更新は行なわず、当該類似度が登録情報の更新を行なうか否かを後で確認する範囲である場合には、前記生体情報取得手段により取得された対応する生体情報を履歴情報として保存する第１の登録情報更新手段と、
この第１の登録情報更新手段により保存された生体情報を確認した後、当該生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する第２の登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる複数の通行者の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている複数の登録情報とをそれぞれ照合することにより複数の類似度を求め、この求めた複数の類似度に基づき前記通行者の認識を行なう認識手段と、
この認識手段において求められた複数の類似度の中で複数の類似度の差があらかじめ定められた所定の閾値以上であるか否かを判定し、当該複数の類似度の差が所定の閾値以上であるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
を具備したことを特徴とする通行制御装置。