JP3621245B2

JP3621245B2 - 人物認識装置、人物認識方法、および、人物認識プログラムの記録媒体

Info

Publication number: JP3621245B2
Application number: JP34261897A
Authority: JP
Inventors: 修山口; 和広福井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-12-12
Filing date: 1997-12-12
Publication date: 2005-02-16
Anticipated expiration: 2017-12-12
Also published as: JPH11175718A; US6697505B2; US20030194113A1; US6608914B1

Description

【０００１】
【発明の属する技術の分野】
本発明は、人物認識装置及びその方法に関する。
【０００２】
【従来の技術】
近年、セキュリティへの関心が高まっている。人間の生体情報を利用する個人認識法は、顔、声紋、指紋、虹彩から特徴量を識別することによって人物の同定を行う。
【０００３】
中でも顔を利用した場合は、利用者に精神的、肉体的負担をかけることなく認識でき、カメラなどで容易にデータが取得出来るといった特徴がある。
【０００４】
顔の認識方法については、さまざまな研究報告、文献があるが、サーベイ文献として、文献（赤松茂：「コンピュータによる顔の認識の研究動向」電子情報通信学会誌Ｖｏｌ．８０Ｎｏ．３ｐｐ．２５７−２６６（１９９７））がある。この文献では、登録された顔画像から時間をあけて撮影された場合に、識別率が４０％〜６０％に落ち込むことが報告されている。
【０００５】
特開平９−１３８８５１号では、カードに顔の情報を書き込むことにより、カードの所有者かどうかを同定する方法がある。
【０００６】
カードの盗用を防ぐためにもカードの顔の特徴情報を書き換えることを行っている。この方法では、随時、認識時のデータと完全な置き換えを行っているので、次回の認識まで時間間隔は自動的に短くなるが、それだけでは認識の精度を落してしまうという問題がある。
【０００７】
【発明が解決しようとする課題】
人間を識別する場合、一般に指紋などの変化しないものを利用するのが好ましい。しかし、指紋などは利用者に精神的な不快感を与えるなどの問題がある。
【０００８】
非接触に認識を行うことできるものとして、声紋や顔などがあげられ、人間を識別するための情報として有効かつ、利用者に負担をかけなくて良い。
【０００９】
しかし、顔の場合には、髪型、化粧、髭、体調などを起因とする経時変化や、成長、老化といった経年変化がある。さらに、表情変化、顔の向きの変化などの変動要因もある。
【００１０】
声紋などに関しても、経時変化がみられる。
【００１１】
図２は、ある人物の登録データとの類似度を時間方向に模式的に表したものである。横軸が登録からの日数、縦軸が類似度を０．０〜１．０で表し、１．０が全く同じであることを表す。図のように、日数が経過する毎に、類似度が低下していくのが一般的であり、正確な認証を行うためにはただ一度の登録だけでは不十分である。
【００１２】
そこで本発明は、経時変化、経年変化の影響を軽減することができる人物認識装置及びその方法を提供する。
【００１３】
【課題を解決するための手段】
請求項１の発明は、認識すべき対象である人物から得られる特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段が抽出した特徴量から相関行列を求め、この相関行列から部分空間を計算する認識情報算出手段と、過去の相関行列とこの過去の相関行列に対応する部分空間とを少なくとも含む登録認識情報を複数保持する登録情報保持手段と、前記認識情報算出手段が算出した部分空間、または、前記特徴量抽出手段が抽出した特徴量と、前記登録情報保持手段に保持された登録認識情報の部分空間を用いて前記人物の認識を行う認識手段と、前記認識情報算出手段が求めた相関行列と、前記登録情報保持手段に保持された前記人物に関する相関行列とを加算して新たな相関行列を計算して、前記人物に関する登録認識情報を更新する登録情報更新手段とを備えたことを特徴とする人物認識装置である。
【００１４】
請求項２の発明は、前記登録情報更新手段は、前記登録情報保持手段の登録認識情報の更新に関する所定の更新方法を求める更新判断手段と、新たに更新する登録認識情報を、前記更新判断手段によって求めた更新方法に基づいて、生成する更新情報生成手段からなることを特徴とする請求項１記載の人物認識装置である。
【００１５】
請求項３の発明は、前記登録情報保持手段は、一人の対象人物、または、一つのグループに関して複数の登録認識情報を保持し、前記認識手段は、前記登録情報保持手段の前記一人の対象人物、または、前記一つのグループにに関する複数の登録認識情報を用いて認識を行うことを特徴とする請求項１記載の人物認識装置である。
【００１６】
請求項４の発明は、前記更新判断手段は、前記認識情報算出手段が算出した認識情報の中で所定の規則に基づいて更新の対象となる認識情報を選択し、前記更新情報生成手段は、前記更新判断手段によって選択された認識情報を用いて、新たな登録認識情報を生成することを特徴とする請求項２記載の人物認識装置である。
【００１７】
請求項５の発明は、前記更新判断手段は、前記認識手段によって用いられた登録認識情報の登録時、または、更新時の時期に基づいて更新条件を求め、前記更新情報生成手段は、前記更新判断手段によって求めた更新条件に基づいて、新たな登録認識情報を生成することを特徴とする請求項２記載の人物認識装置である。
【００１８】
請求項６の発明は、前記認識手段は、一の類似度計算方法によって認識を行い、前記更新判断手段は、認識情報の選択を行うために、前記認識手段の一の類似度計算方法とは異なる他の類似度計算方法を用いることを特徴とする請求項４記載の人物認識装置である。
【００１９】
請求項７の発明は、認識すべき対象である人物から得られる特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出手段が抽出した特徴量から相関行列を求め、この相関行列から部分空間を計算する認識情報算出ステップと、過去の相関行列とこの過去の相関行列に対応する部分空間とを少なくとも含む登録認識情報を複数保持する登録情報保持ステップと、前記認識情報算出ステップで算出した部分空間、または、前記特徴量抽出ステップで抽出した特徴量と、前記登録情報保持ステップにおいて保持された登録認識情報の部分空間を用いて前記人物の認識を行う認識ステップと、前記認識情報算出ステップで求めた相関行列と、前記登録情報保持ステップにおいて保持された前記人物に関する相関行列とを加算して新たな相関行列を計算して、前記人物に関する登録認識情報を更新する登録情報更新ステップとを備えたことを特徴とする人物認識方法である。
【００２０】
請求項８の発明は、前記登録情報更新ステップは、前記登録情報保持ステップにおいて登録認識情報の更新に関する所定の更新方法を求める更新判断ステップと、新たに更新する登録認識情報を、前記更新判断ステップによって求めた更新方法に基づいて、生成する更新情報生成ステップからなることを特徴とする請求項７記載の人物認識方法である。
【００２１】
請求項９の発明は、前記登録情報保持ステップは、一人の対象人物、または、一つのグループに関して複数の登録認識情報を保持し、前記認識ステップは、前記登録情報保持ステップにおける前記一人の対象人物、または、前記一つのグループに関する複数の登録認識情報を用いて認識を行うことを特徴とする請求項７記載の人物認識方法である。
【００２２】
請求項１０の発明は、前記更新判断ステップは、前記認識情報算出ステップが算出した認識情報の中で所定の規則に基づいて更新の対象となる認識情報を選択し、前記更新情報生成ステップは、前記更新判断ステップによって選択された認識情報を用いて、新たな登録認識情報を生成することを特徴とする請求項８記載の人物認識方法である。
【００２３】
請求項１１の発明は、前記更新判断ステップは、前記認識ステップにおいて用いられた登録認識情報の登録時、または、更新時の時期に基づいて更新条件を求め、前記更新情報生成ステップは、前記更新判断ステップによって求めた更新条件に基づいて、新たな登録認識情報を生成することを特徴とする請求項９記載の人物認識方法である。
【００２４】
請求項１２の発明は、前記認識ステップは、一の類似度計算方法によって認識を行い、前記更新判断ステップは、認識情報の選択を行うために、前記認識ステップの一の類似度計算方法とは異なる他の類似度計算方法を用いることを特徴とする請求項１０記載の人物認識方法である。
【００２５】
請求項１３の発明は、認識すべき対象である人物から得られる特徴量を抽出する特徴量抽出機能と、前記特徴量抽出手段が抽出した特徴量から相関行列を求め、この相関行列から部分空間を計算する認識情報算出機能と、過去の相関行列とこの過去の相関行列に対応する部分空間とを少なくとも含む登録認識情報を複数保持する登録情報保持機能と、前記認識情報算出機能で算出した部分空間、または、前記特徴量抽出機能で抽出した特徴量と、前記登録情報保持機能において保持された登録認識情報の部分空間を用いて前記人物の認識を行う認識機能と、前記認識情報算出機能で求めた相関行列と、前記登録情報保持機能において保持された前記人物に関する相関行列とを加算して新たな相関行列を計算して、前記人物に関する登録認識情報を更新する登録情報更新機能とをコンピュータで実現するプログラムを記録したことを特徴とする人物認識プログラムの記録媒体である。
【００２６】
請求項１、７または１３記載の発明であると、登録認識情報を更新して経時変化を抑制できる。
【００２７】
請求項２または８記載の発明であると、認証時に自動的に更新を行うことで、面倒な再登録の必要性をなくし、さらに経時変化に対する認識率の低下を防ぐ。請求項３または９記載の発明であると、ある一人に対して、複数の登録認識情報による識別が可能になり、認証時に、人間が常に同じ状態に調整しなくてよく、対象人物の特徴量の大きな変動に対応できる。また、複数の登録認識情報のいずれかを用いて認識できるようになり、より利便性が向上する。
【００２８】
【発明の実施の形態】
以下に本発明の一実施例について説明する。
【００２９】
ここでは、認識対象を人間の顔として、ＴＶカメラから画像を入力し、顔を検出して認証を行う人物認識装置１０を例として説明する。人物認識装置１０は、図１の構成図が示すように、特徴量抽出部１２、部分空間算出部１４、認識部１６、登録情報保持部１８、登録情報更新部２０とからなる。
【００３０】
そして、これらの構成は、ＴＶカメラを接続したパソコンによって実現可能であり、上記構成の機能を動作させるために、ハードディスク、ＣＤ−ＲＯＭ、ＭＤ、または、ＦＤにこの機能を実現するためのプログラムを記憶させておく。
【００３１】
以下の説明では、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の際の時刻、日時、場所などの状況情報、暗証番号、ＩＤコードなどの個人情報の各情報が出てくる。そして、認識データと言うときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、登録情報と言うときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは登録情報に含まれる。
【００３２】
（特徴量抽出部１２）
特徴量抽出部１２は、対象から特徴量を取出すためのもので、ここでは、図４に示すように、画像認識による顔画像解析を行う。
【００３３】
図３は、特徴量抽出部１２の構成を示し、画像入力部１２１、顔領域検出部１２２、顔部品検出部１２３、特徴量生成部１２４とからなる。
【００３４】
画像入力部１２１では、ＩＴＶカメラから顔画像を入力し、Ａ／Ｄ変換が行われた後、顔領域検出部１２２に送られる。
【００３５】
顔領域検出部１２２では、画像中から顔の領域を検出する。
【００３６】
顔領域検出部１２２での検出方法は、予め用意されたテンプレートと画像中を移動させながら相関値を求めることにより、最も高い相関値をもった場所を顔領域とする。
【００３７】
その他に固有空間法や部分空間法を利用した顔抽出法などの顔検出手段でもよい。
【００３８】
次に、顔部品検出部１２３では、目、鼻、口といった顔部品を検出する。
【００３９】
顔部品検出部１２３では、検出された顔領域の部分の中から、目、鼻の位置を検出する。検出方法は、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−−２１７７（１９９７））などの方法を用いて良い。
【００４０】
次に、特徴量生成部１２４では、検出された部品の位置をもとに、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。
【００４１】
図４の上の図は、入力画像を特徴量抽出部１２によって処理し得られた顔画像データであり、時系列的に得られたものである。
【００４２】
（部分空間算出部１４）
部分空間算出部１４は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。
【００４３】
部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。
【００４４】
本実施例では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃｄ＝Φｄ Λｄ Φｄ ^Ｔと対角化して、固有ベクトルの行列Φを求める。
【００４５】
図４は、入力画像を特徴量抽出部１２によって処理し得られた顔画像データである。これらのデータを特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。
【００４６】
図４の下の図は、その固有ベクトルを画像化して表示したものである。
【００４７】
この部分空間は、人物の同定を行うための識別辞書として利用する。
【００４８】
予め登録しておいて、それを辞書として登録しておけば良い。
【００４９】
また、後で述べるように、部分空間自身を識別を行うための入力データとしてもよい。よって、部分空間算出部１４での計算結果は、認識部１６、また、登録情報保持部１８に送られる。
【００５０】
（認識部１６）
次に、認識部１６について説明する。
【００５１】
認識部１６は、登録情報保持部１８に蓄えられた認識データ（部分空間）と特徴量抽出部１２で得られた特徴量、または部分空間算出部１４で得られる部分空間とを比較することにより、カメラに写っている人物が誰であるかを識別、または、該当人物であるかどうかを同定する。
【００５２】
人物を識別するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を識別結果とすればよい。
【００５３】
また、カードや登録番号、暗証番号、鍵などを用いて、顔による認証を行う場合には、それぞれの人物のカードや番号などの個人情報に対応する認識データとの類似度を計算し、設定した閾値を設定し、その閾値を越えた場合に、その人物と同定する。
【００５４】
認識の方法としては、特徴量抽出部１２の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。
【００５５】
本実施例での認識方法は、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−−３５２（１９８５））にある相互部分空間法を用いる。
【００５６】
この方法では、予め蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。
【００５７】
入力データ列に対して同様に相関行列Ｃｉｎを求め、Ｃｉｎ＝ΦｉｎΛｉｎΦｉｎ^Ｔと対角化し、固有ベクトルΦｉｎを求める。
【００５８】
二つのΦｉｎ，Φｄで表される部分空間の部分空間間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。
【００５９】
認識部１６は、図５のように動作する。
【００６０】
まず、認識部１６は、識別作業を行うか、同定作業を行うかによって動作が異なる（ステップ１）。
【００６１】
同定動作を行う場合は、まず対象とする人物のＩＤコードを読み込む（ステップ２）。
【００６２】
次に対象とするＩＤコードに対応した登録情報（部分空間）を登録情報保持部１８より読み出す（ステップ３）。
【００６３】
次に、上述したように、部分空間法等により認識を行うため、各登録情報の部分空間と、入力ベクトル（特徴量抽出部１２からの固有ベクトル）、または、入力部分空間との類似度を計算する（ステップ４）。
【００６４】
次にその類似度を設定している閾値を比較し（ステップ５，６）、認識結果を出力する（ステップ７）。
【００６５】
識別作業を行う場合、識別対象となるデータをすべて登録情報保持部１８より読み出す（ステップ８）。
【００６６】
そして、それぞれの登録情報との類似度を計算する（ステップ９）。
【００６７】
次に計算された類似度のなかから最大のものを選択し（ステップ１０）、それを認識結果として出力する（ステップ１２）。
【００６８】
図５の破線で囲んだステップ１１のように、最大類似度を閾値判定することによって、認識結果が正しいかどうかを検証することもできる（ステップ１３）。例えば類似度があまりに低い場合には、どの識別対象でもないと判断することもできる。
【００６９】
ここで計算された類似度、判定結果などは、登録情報更新部２０にも送られ、更新のための情報として利用される。
【００７０】
（登録情報保持部１８）
登録情報保持部１８は、人物を同定するために利用する部分空間（または相関行列など）や、また登録の際の時刻、日時、場所などの状況情報などを蓄積できる。画像入力データや抽出した特徴量などでもよい。
【００７１】
本実施例では、部分空間を保持するだけでなく、部分空間を計算するための前段階の相関行列も保持する形態での説明を行う。
【００７２】
登録情報保持部１８は、一人の人物、またはあるＩＤコードに対応して、一つまたは複数の認識データを保持する。部分空間は、その取得された時間などの付帯情報とともに記憶される。また、これらの登録情報は、登録情報更新部２０の指示により、新規作成、変更、削除などが行われる。
【００７３】
複数を保持する理由として、ある一人の人物に対応した複数の部分空間を同時に、認識部１６に渡して認識を行うことが挙げられる。
【００７４】
図６（ａ）では、一人の人物に対して複数用意している例で、例えば、眼鏡をかけている場合、眼鏡をはずした場合のように著しく変動が起こる場合に、２つの認識データを用意しておき、いずれかのデータと同定出来た場合に、照合できたとする。
【００７５】
眼鏡だけでなく、女性の場合の化粧の有無などにも利用できる。
【００７６】
これにより、わざわざ眼鏡を外して認証しなければならないなどの利用者の負担も軽減される。
【００７７】
また、図７のように、取得された日時が異なるデータから新たに一つの部分空間を計算し、その部分空間を用いて認識を行うことを実現するために、複数のデータを保持する。これについては、登録情報更新部２０にて説明する。
【００７８】
また、別の実施形態として、図６（ｂ）は、一つのコードに対して複数認識データを用意している例で、例えば、「家族で使用できるカード」のセキュリティとして、顔認証を用いる場合、複数の顔情報に対応しなければならない。
【００７９】
この場合、そのカードを識別する番号に対して、家族の人数分の認識データを用意しておき、いずれかに同定できる場合に、照合できたとする。
【００８０】
これにより利便性の向上が計られる。もちろん家族の場合には限らない。
【００８１】
（登録情報更新部２０）
登録情報更新部２０は、登録情報保持部１８の登録情報を必要に応じて更新する。登録情報更新部２０は、更新の方法、条件を決定する更新判断部２０１と、この決定された方法、条件によって登録情報の更新を行う更新情報生成部２０２からなる。
【００８２】
＜更新判断部２０１＞
更新判断部２０１の一実施例として、図９のようなフローチャートで動作する。
【００８３】
［時間経過に基づいた更新判断］
更新判断部２０１は、認識部１６で行われた認識の結果（入力データと類似度）を受け取る（ステップ９１）。
【００８４】
次に、認識が行われた認識データの情報を登録情報保持部１８から得る（ステップ９２）。これは、どの認識データが使われたかということ知るほかに、以前に認識が行われた時間からの経過時間などの情報を得る。
【００８５】
認識されたデータと辞書更新が行われた経過時間の大きさと認識の類似度の大きさから判断し、更新を行うかどうかを決定する。まず、経過時間がＴｓよりも大きいかを検定し（ステップ９３）、経過時間が比較的短い場合は、更新パラメータを短期間用に設定する（ステップ９４）。このパラメータについては後で説明するが、このパラメータとは後の説明におけるα，β，γｉを言う。
【００８６】
同様に、経過時間がＴｌよりも大きいかを検定し（ステップ９５）、長い期間認識が行われていなかった場合には、長期間用のパラメータを設定する（ステップ９６）。さらに長い期間認識が行われていなかった場合には、大きな変動があったとして、認識データを複数個にする多重化を行っても良い（ステップ９７）。このようにして認識データの更新方法を決定する。なお、Ｔｓ、Ｔｌは実験的に決定する。
【００８７】
［データレベルの更新判断］
ステップ９１で受け取った、認識に使われた入力情報は、その入力データと辞書との類似度が求められている。認識に用いられた入力データの中で、類似度が十分に得られているデータや、変動が大きすぎる入力データや画像処理を誤った検出データなど、更新の際に使用しない方がよいデータを取捨選択する（ステップ９３）。
【００８８】
まず、各入力データを類似度の大きさに応じて次の３種類に大別する。
【００８９】
Ａ．認識を行うための閾値を大きく越えている入力データ（この入力データの場合には、類似度が高いため、あえて新データを使用して更新を行う必要がないために、ここで挙げられている）
Ｂ．認識を誤る可能性をもち、辞書に含まれていないバターンである入力データ
Ｃ．明らかに誤った認識が行われている入力データ
図１０は時系列に入力されるデータ（図中黒丸）に対して、部分空間法によって類似度をそれぞれ求め、その時間的変化をグラフにしたものである。
【００９０】
図１０に示したように類似度の高いデータや低いデータがそれぞれあり、上述した３種類のデータに関して、Ａ、Ｂに属するもの、またはＢだけに属するもの、といったようにデータを選択する。
【００９１】
例えば、先の時間経過による更新判断の際、経過時間が長い場合はＡ，Ｂのデータを両方使って更新し、経過時間が短い楊合はＢに属するデータのみを用いるといったような構成も可能である。それらの相関行列、または部分空間を計算し、これを更新情報生成部２０２に送る。
【００９２】
もちろん、認識部１６とは独立に検定のために予め評価基準（認識法）を用いて類似度を求めてもよい。
【００９３】
例えば、認識部１６では、人物の同定、認識を行うための類似度を計算するために相互部分空間法を用い、検定のために部分空間法を用いる、といったように異なるアルゴリズムを用いて類似度を計算し、それぞれの特徴量の選択を行ってよい。
【００９４】
この認識アルゴリズムの実装については、認識部１６に複数のアルゴリズムを計算する手段を有してもよいし、認識部１６と更新判断部２０１のそれぞれにアルゴリズムを計算する手段があってもよく、形態は問わない。また、この検定では、このような各特徴量（入力データ）のレベルでの検証でもよいし、部分空間で表現されているレベルで検証しても構わない。
【００９５】
＜更新情報生成部２０２＞
更新情報生成部２０２は、既に登録されているデータと認証時に使われたデータを用いて新たな登録情報を生成する。
【００９６】
更新の方法は、
１）ある部分空間を更新する方法、
２）新たな部分空間を合成する方法、
３）認識に使われた部分空間を追加する方法
などが挙げられる。以下、順番に説明する。
【００９７】
１）ある一つの部分空間を更新する方法
本実施例においては、認識データに相関行列も保持しているため、次のように更新する。
【００９８】
認識データの相関行列をＣｄ、入力データの相関行列をＣｉｎとする。
【００９９】
これらから計算される新たな認識データ（相関行列）は、
Ｃｉｎ＝αＣｄ＋βＣｉｎ
で計算する。ここで、（α，β）の設定を変えることで、更新の方法を調整することが出来る。
【０１００】
（α＝１．０，β＝１．０）とすれば、逐次加算されていくことになり、それまで収集したデータすべてを用いて認識データを構成することになる。
【０１０１】
（α＝０．５，β＝０．５）とすれば、現在の認識データによる更新の割合も少なくなるが、回数を重ねることで、時間が経過したデータの寄与が減少する。例えばｎ回更新を行うと、初回の認識データの寄与率は１／２^ｎとなる。
【０１０２】
このように（α，β）を時間経過等を考慮して、調整すればよい。
【０１０３】
２）新たな部分空間を合成する方法
別の実施形態として、認識（顔の撮影）を行った時間毎に、複数の相関行列を保持しておいて、認識に使用する辞書の部分空間は、これらの複数の相関行列から新たに計算する。
【０１０４】
例えば、認識の度に蓄えられた相関行列Ｃｉと重み係数γｉを用いて、
【数１】

行列Ｄを用いて部分空間を計算しそれを辞書とする。
【０１０５】
重み係数γｉは、図８のように、シグモイド関数などを使って、時間経過を考慮して、決定する。もちろんこの重み係数を決定するための関数は、別のものを選んでもよく、実験的な重み係数テーブルを用意しても良い。また、相関行列Ｃｉの数も固定されるものではない。
【０１０６】
もちろん、部分空間の合成法は、上述した和演算だけでなく、部分空間同士の共通部分を計算するような方法を用いてもよい。
【０１０７】
３）認識に使われた部分空間を追加する方法
また、認識データを複数に多重化することを自動的に行っても良い。
【０１０８】
例えば、認識時に閾値は越えたものの、あまりに類似度が低い場合には、先にのべたような更新を行うのではなく、Ｃｉｎをそのまま認識データとして追加して、数を増やしてもよい。
【０１０９】
なお、部分空間を計算するために、相関行列も保持するとしているが、相関行列を持たずに部分空間を表す固有ベクトル行列Φを用いて、行列Φ^ＴΦを計算し、相関行列の代りとして良い。
【０１１０】
この場合、相関行列を保持するのと比較して、記憶容量を削減することができる。
【０１１１】
これらの方法を、適宜、併用、組み合わせて部分空間の更新を行なうことで、辞書の精度を保ち、経時、経年変化を抑制した認識を行う。
【０１１２】
（変形例）
本実施例は顔を用いた認識例で説明を行ったが、声紋などを特徴量として用いてもよい。また、その他の特徴量を用いてよい。
【０１１３】
以上、本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である。
【０１１４】
【発明の効果】
本発明によれば、少なくとも部分空間含む認識情報を用いることにより、面倒な登録情報の更新を自動的に行うことができ、さらに変動に強く、経時経年変化に対応し、認識率を維持することが可能になる。すなわち、登録情報を随時更新することにより、経時変化、経年変化の影響を軽減することができる。
【０１１５】
また、経時、経年変化とは異なる、表情変化や顔の向きの変化といった短時間に起こる変化の影響を除去するために、登録情報として特徴量から計算される部分空間を用いて認識を行なうことで、これらの変動に柔軟に対応できる。
【０１１６】
登録情報の更新は、明示的に行うのではなく、認識時の情報を用いて、自動的に更新を行う機構を設けることにより、人間に負担をかけることなく、認識率の低下を防ぐことができる。
【０１１７】
さらに、眼鏡の有無、化粧の有無などの大きな変動に対処するためにも、複数の登録データを保持することにより、それらの複数データと照合を行うことによって、利便性を高くし認識率も向上させることができる。
【図面の簡単な説明】
【図１】人物認識装置１０の構成図である。
【図２】経時変化の模式図である。
【図３】特徴量抽出部１２の構成図である。
【図４】特徴量の例の図である。
【図５】認識部１６のフローチャートである。
【図６】認識データの多重化の説明図である。
【図７】認識データの合成の説明図である。
【図８】重み係数の説明図である。
【図９】更新方法のフローチャートである。
【図１０】類似度と時間との関係を示すグラフの図である。

Claims

認識すべき対象である人物から得られる特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出した特徴量から相関行列を求め、この相関行列から部分空間を計算する認識情報算出手段と、
過去の相関行列とこの過去の相関行列に対応する部分空間とを少なくとも含む登録認識情報を複数保持する登録情報保持手段と、
前記認識情報算出手段が算出した認識時の部分空間、または、前記特徴量抽出手段が抽出した認識時の特徴量と、前記登録情報保持手段に保持された登録認識情報の過去の部分空間を用いて前記人物の認識を行う認識手段と、
前記認識情報算出手段が求めた認識時の相関行列と、前記登録情報保持手段に保持された前記人物に関する過去の相関行列とを加算して新たな相関行列を計算して、前記人物に関する登録認識情報を更新する登録情報更新手段とを備えた
ことを特徴とする人物認識装置。
前記登録情報更新手段は、
前記登録情報保持手段の登録認識情報の更新に関する所定の更新方法を求める更新判断手段と、
新たに更新する登録認識情報を、前記更新判断手段によって求めた更新方法に基づいて、生成する更新情報生成手段からなる
ことを特徴とする請求項１記載の人物認識装置。
前記登録情報保持手段は、一人の対象人物、または、一つのグループに関して複数の登録認識情報を保持し、
前記認識手段は、前記登録情報保持手段の前記一人の対象人物、または、前記一つのグループに関する複数の登録認識情報を用いて認識を行う
ことを特徴とする請求項１記載の人物認識装置。
前記更新判断手段は、前記認識情報算出手段が算出した認識情報の中で所定の規則に基づいて更新の対象となる認識情報を選択し、
前記更新情報生成手段は、前記更新判断手段によって選択された認識情報を用いて、新たな登録認識情報を生成する
ことを特徴とする請求項２記載の人物認識装置。
前記更新判断手段は、前記認識手段によって用いられた登録認識情報の登録時、または、更新時の時期に基づいて更新条件を求め、
前記更新情報生成手段は、前記更新判断手段によって求めた更新条件に基づいて、新たな登録認識情報を生成する
ことを特徴とする請求項２記載の人物認識装置。
前記認識手段は、一の類似度計算方法によって認識を行い、
前記更新判断手段は、認識情報の選択を行うために、前記認識手段の一の類似度計算方法とは異なる他の類似度計算方法を用いる
ことを特徴とする請求項４記載の人物認識装置。
認識すべき対象である人物から得られる特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出手段が抽出した特徴量から相関行列を求め、この相関行列から部分空間を計算する認識情報算出ステップと、
過去の相関行列とこの過去の相関行列に対応する部分空間とを少なくとも含む登録認識情報を複数保持する登録情報保持ステップと、
前記認識情報算出ステップで算出した認識時の部分空間、または、前記特徴量抽出ステップで抽出した認識時の特徴量と、前記登録情報保持ステップにおいて保持された登録認識情報の過去の部分空間を用いて前記人物の認識を行う認識ステップと、
前記認識情報算出ステップで求めた認識時の相関行列と、前記登録情報保持ステップにおいて保持された前記人物に関する過去の相関行列とを加算して新たな相関行列を計算して、前記人物に関する登録認識情報を更新する登録情報更新ステップとを備えた
ことを特徴とする人物認識方法。
前記登録情報更新ステップは、
前記登録情報保持ステップにおいて登録認識情報の更新に関する所定の更新方法を求める更新判断ステップと、
新たに更新する登録認識情報を、前記更新判断ステップによって求めた更新方法に基づいて、生成する更新情報生成ステップからなる
ことを特徴とする請求項７記載の人物認識方法。
前記登録情報保持ステップは、一人の対象人物、または、一つのグループに関して複数の登録認識情報を保持し、
前記認識ステップは、前記登録情報保持ステップにおける前記一人の対象人物、または、前記一つのグループに関する複数の登録認識情報を用いて認識を行う
ことを特徴とする請求項７記載の人物認識方法。
前記更新判断ステップは、前記認識情報算出ステップが算出した認識情報の中で所定の規則に基づいて更新の対象となる認識情報を選択し、
前記更新情報生成ステップは、前記更新判断ステップによって選択された認識情報を用いて、新たな登録認識情報を生成する
ことを特徴とする請求項８記載の人物認識方法。
前記更新判断ステップは、前記認識ステップにおいて用いられた登録認識情報の登録時、または、更新時の時期に基づいて更新条件を求め、
前記更新情報生成ステップは、前記更新判断ステップによって求めた更新条件に基づいて、新たな登録認識情報を生成する
ことを特徴とする請求項９記載の人物認識方法。
前記認識ステップは、一の類似度計算方法によって認識を行い、
前記更新判断ステップは、認識情報の選択を行うために、前記認識ステップの一の類似度計算方法とは異なる他の類似度計算方法を用いる
ことを特徴とする請求項１０記載の人物認識方法。
認識すべき対象である人物から得られる特徴量を抽出する特徴量抽出機能と、
前記特徴量抽出手段が抽出した特徴量から相関行列を求め、この相関行列から部分空間を計算する認識情報算出機能と、
過去の相関行列とこの過去の相関行列に対応する部分空間とを少なくとも含む登録認識情報を複数保持する登録情報保持機能と、
前記認識情報算出機能で算出した認識時の部分空間、または、前記特徴量抽出機能で抽出した認識時の特徴量と、前記登録情報保持機能において保持された登録認識情報の過去の部分空間を用いて前記人物の認識を行う認識機能と、
前記認識情報算出機能で求めた認識時の相関行列と、前記登録情報保持機能において保持された前記人物に関する過去の相関行列とを加算して新たな相関行列を計算して、前記人物に関する登録認識情報を更新する登録情報更新機能とをコンピュータで実現するプログラムを記録した
ことを特徴とする人物認識プログラムの記録媒体。