JP5008269B2 - 情報処理装置、情報処理方法 - Google Patents

Description

本発明は、個人認識技術に関するものである。

個人の照合を行う認証技術としてバイオメトリクスがあり、指紋認証（特許文献１を参照）、虹彩認証（特許文献２を参照）、声紋認証（特許文献３を参照）、顔認証（特許文献４を参照）などが用いられている。

その高精度化のために複数の照合用特徴を用いて認証を行う方式（特許文献５，６を参照）がある。

例えば、特許文献７に記載の個体識別装置では、顔画像認識とアイリス認識を併用している。

特許文献８に開示される生態的特徴の認証方法及び装置、記録媒体では、複数の生体特徴の照合スコアを統合して得られる特徴空間での識別規則に基づいて認証を行っている。

特許文献９の本人認証システムでは指紋、顔、音声、筆跡のうち、2種類以上の認証方式を組み合せて確率的に認証を行う構成を開示している。

特許文献１０の個人認証装置では、１次認証で異なる複数方式による認証処理を行い、その結果を融合して最終的に判定を行う方式を開示している。

特許文献１１の個人認証システムでは、生体情報として音声、顔画像の一部若しくは全体、及び体臭を用い、第１の生体情報の類似度（または特徴量）と第２の生体情報の類似度とを用いて認証の判断を行っている。

特許文献１２に示される生態情報による本人認証システムでは、顔紋情報の適合率が閾値以上の登録対象者が複数存在するときに声紋情報を用いて適合率の評価を行うか、顔紋情報の適合率と声紋情報の適合率とを掛け合わせて閾値処理するなどして認証評価を行っている。
特開平１１−９６３６３号公報 特開平１１−１３１６４号公報 特開平１１−７３１９６号公報 特開平１１−１６１７９１号公報 特開２００１−３３１８０１号公報 特開２００３−１８６８４７号公報 特開２０００−１０２５２４号公報 特開平１１−２５３４２６号公報 特開２０００−２４２７８６号公報 特開２００１−１０９８５５号公報 特開２０００−１４８９８５号公報 特開２００１−３３８２９５号公報

しかしながら上述の複数の照合用特徴を用いて認証を行う技術では、照合に用いる特徴の検出信号の品質を考慮していないため、例えば特徴の計測条件が良好でなくSN比が悪い場合などでは、品質のよい特徴検出信号だけを用いて照合する場合と比べて誤り発生率が高くなるという問題を少なからず残している。

例えば、同一人物であっても見る角度や距離、その人物の心身の状態、照明条件によって見え方が大きく異なる。また、撮影条件が良好でない場合にも人物の認識をする必要がある場合、顔やその他の生体情報を一元的に組み合せて、或いは決まった方法で認識対象を絞り込むようにして認識を行っても精度が高くならないことが多い。

また従来では、認証のために対象者をカメラの前に正対させたり、音声指示に従って声を出したりするなど認証されている事を意識させる状況を作り出すことが必要となっており、様々な条件下で被認証者に負担を掛けずに自然に人物認識（認証）を高い精度で行うことが出来なかった。

本発明は以上の問題に鑑みてなされたものであり、認証の対象人物から得られる特徴検出信号の有効性などを評価し、照明条件や環境の変動にロバストであってかつ照合精度を高く維持するために、適切な特徴の選択を行う人物認識技術を提供することを目的とする。

また、この有効性に基づいて認識対象の絞込みを効率的に行う認識技術を提供する。

また、本発明は人物の歩き方、しぐさ、身振り、咳払い、くしゃみなど動作に関する特徴も人物認識の補助情報として絞込みに用いることにより認証に要する時間を短縮し、かつ認識精度を向上させる技術を提供することも目的とする。

更に、自然にかつ認証されていることを意識させずに高精度な個人識別を行う人物認識技術を提供する。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

即ち、個人毎に各クラスの画像特徴量を保持手段に保持し、個人認識処理を行う情報処理装置であって、
人が存在する空間の環境情報として、該空間の画像情報を連続的に取得する取得手段と、
前記保持手段に個人ごとの各クラスの画像特徴量を登録した後で前記取得手段が取得した画像情報から、個人認識を行うための複数クラスの画像特徴量と、それぞれのクラスの有効度と、を求める計算手段と、
前記複数クラスから、前記複数クラスの画像特徴量によって構成される特徴空間において画像特徴量間の距離が閾値以上となる画像特徴量のクラスを選択し、該選択されたクラスの画像特徴量から前記有効度が所定値以上のクラスの画像特徴量を選択する選択手段と、
前記選択手段が選択したクラスの画像特徴量と、前記保持手段に保持された個人毎の各クラスの画像特徴量と、を照合して個人認識処理を行う認識手段と
を備えることを特徴とする。

本発明の構成により、認証の対象人物から得られる特徴検出信号の有効性などを評価し、照明条件や環境の変動にロバストであってかつ照合精度を高く維持するために、適切な特徴の選択を行うことができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図２は、人物像の画像や音声を取得し、取得した画像、音声に基づいて人物を認識するためのシステムの機能構成を示すブロック図である。同図に示す如く、本実施形態に係るシステムは、センサ部１１１、認識処理装置１０００とで構成されており、且つこの認識処理装置１０００は人物検出部１５０、特徴情報検出部１１２、学習分類部１１３、データベース部１１５、照合部１１８、２次的認証部１１９により構成されている。

センサ部１１１は現実空間の画像情報、音声情報を収集するためのものであり、より具体的には、現実空間の画像（動画像／静止画像）を撮像するためのビデオカメラや、現実空間中の音声を収集する為のマイクなどにより構成されている。本実施形態では現実空間における環境情報として画像情報と音声情報とを収集すべく、センサ部１１１は図９に示す如く、現実空間の画像情報を収集する画像センシング部１１１１と、現実空間中の音声情報を収集する音声センシング部１１１２とで構成されている。図９は、本実施形態に係るセンサ部１１１の機能構成を示すブロック図である。

なお、現実空間の画像情報、音声情報を収集する手段についてはこれに限定するものではなく、例えば外部装置に保持されている現実空間の画像情報、音声情報を収集するようにしても良い。

図２に戻って、人物検出部１５０は、センサ部１１１によって取得した画像から、人物像の領域を特定する処理を行う。図７は、人物検出部１５０の機能構成を示す図である。同図に示す如く、人物検出部１５０は階層型のニューラルネットワーク（階層的神経回路網モデルの一つであるConvolutionalネットワークの構造(LeCun, Y. and Bengio, Y., 1995, “Convolutional Networks for Images Speech, and Time Series”in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp. 255-258)）により構成されている。

データ入力層７０１にはセンサ部１１１によって取得した画像が入力される。ｊ番目の特徴検出層（１，ｊ）は、前段の層からの入力パターン中の局所的な特徴（一種類以上）を所定の解像度で検出するニューロン素子（検出予定の特徴量の種類によって決まる共通の局所受容野構造を有する）から構成される。

ｋ番目の特徴統合（特徴プーリング）層（２，ｋ）は、所定の受容野構造（以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する）を有するニューロン素子からなり、特徴検出層からの複数ニューロン出力（特徴統合層ニューロンの局所受容野内）の統合処理として局所平均化、最大出力抽出等によるサブサンプリングなどの演算を行う。特徴統合層各ニューロンの各受容野も検出される特徴クラスに対応する各モジュール内で共通の構造を有している。詳細は、特開2002−8032号公報、特開2002−358500号公報などを参照されたい。そして最終出力層からは、画像中の人物の検出位置情報が出力される。

特徴情報検出部１１２は、人物検出部１５０が特定した位置における人物像を個人認識するために適したクラスの特徴量、上記音声センシング部１１１２から取得した音声情報から個人認識する為に適したクラスの特徴量を求める処理を行う。特徴情報検出部１１２は図３に示す如く、特徴検出部１１２０、特徴有効度評価部１１２１、特徴選択部１１２２により構成されている。図３は特徴情報検出部１１２の機能構成を示すブロック図である。

特徴検出部１１２０は、人物検出部１５０が特定した位置における人物像に係る様々な特徴量、音声センシング部１１１２から取得した音声情報から個人認識を行うための必要な様々な特徴量を求める。

特徴有効度評価部１１２１は、特徴検出部１１２０が求めたそれぞれの特徴量に対して有効値を求める。

特徴選択部１１２２は、特徴有効度評価部１１２１が求めたそれぞれの特徴量の有効値に基づいて、人物検出部１５０が特定した位置における人物（音声センシング部１１１２から取得した音声情報に含まれている人物）を個人認識する為に用いる特徴量を決定する。

照合部１１８は、特徴情報検出部１１２によって得られた特徴量（特徴選択部１１２２が決定した特徴量）と、データベース部１１５に個人毎に登録されている特徴量とを照合して、個人認識する。当然、特徴情報検出部１１２によって得られた特徴量（特徴選択部１１２２が決定した特徴量）が、データベース部１１５に個人毎に登録されている特徴量の何れにも該当しない場合には、「人物検出部１５０が特定した位置における人物像はデータベース部１１５には登録されていない」と判断するのであるが、このような場合には、学習分類部１１３は、特徴情報検出部１１２によって得られた特徴量をデータベース部１１５に登録すると共に、特徴情報検出部１１２にこの特徴量を用いて人物検出部１５０が特定した位置における人物像を学習させ、その学習結果をデータベース部１１５に登録する。これにより、次回、この特徴量を照合部１１８に提示するとこの人物が認識できるようにする。

データベース部１１５は、それぞれの個人について、クラス毎に特徴量が登録されている。クラスとしては、複数の角度から見た人物の顔画像、もしくは、顔の３次元形状モデルと離散的な角度から見た顔画像、人物の服装、所持品、髪型に関する画像特徴、身振り、歩き方に関する画像特徴、及び、発話、笑い、咳、くしゃみなどでの音声特徴などを含み、それぞれのクラスにおける特徴量が個人毎にデータベース部１１５に登録されている。

本実施形態で用いられるクラスとしては、顔、髪型、後姿、体型、姿勢、服装、持ち物などについて目や口など人体構成パーツの局所的形状、輪郭形状、色成分特徴、テクスチャ特徴量、目や口など人体構成パーツの配置情報等の各クラスに関する静止画ベース画像特徴、および身振り・歩き方などに関する人体構成パーツの時空間ドメインでの軌跡情報などの動画ベースの画像特徴、更には、咳やくしゃみなどの非言語音声、発話時の音声に関する声紋等の音声特徴などが用いられる。声紋を用いた個人識別は、本出願人による特開平7−302351号公報などに記載の技術を用いればよい。

また、照合部１１８についてさらに説明すると、照合部１１８は画像情報についてデータベース部１１５と照合する処理と、音声情報についてデータベース部１１５と照合する処理とを行う。

画像情報の照合については、顔、髪型、後ろ姿、体型、服装、持ち物などの静止画ベース特徴、身振り・歩き方のくせなどの動画ベース特徴について照合を行い、これらの特徴について個人認識を行う。例えば、服装特徴の認識においては、服装のテクスチャ特徴、色成分特徴、服装の型（ワンピース、ズボン、スカート、シャツ、セーター、コートなどの各クラス）の輪郭若しくは特定視点位置からの画像について局所特徴の空間配置情報（本出願人の特許第3078166号公報参照）などが照合の際に用いられる特徴クラスである。持ち物やその他の静止画ベース照合も同様にして行う。身振りや歩き方のくせに関する特徴検出方法は、公知の技術（例えば、特開2002−8042号公報、特開2002−344946号公報など）を用いればよく、ここでの主眼とするところではないのでその説明は省略する。

２次的認証部１１９は、照合部１１８が個人を認識すると、更にその個人についてより詳細に認識処理を行うべく、その他の特徴量を用いて認識処理を行う。

図６は、上記認識処理装置１０００の基本構成を示すブロック図である。認識処理装置１０００としては一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）などが適用可能であるが、これに限ったものではない。

同図において８０１はＣＰＵで、ＲＡＭ８０２やＲＯＭ８０３に格納されているプログラムやデータを用いて本装置全体の制御を行うと共に、認識処理装置１０００が行う後述の各処理を実行する。なお図２に示した人物検出部１５０、特徴情報検出部１１２、学習分類部１１３、照合部１１８、２次的認証部１１９は何れもＣＰＵ８０１が有する機能一部として動作する。

８０２はＲＡＭで、外部記憶装置８０６からロードされたプログラムやデータ、インターフェース８０７を介して受信したプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ８０１が各種の処理を実行する際に使用するワークエリアも備える。

８０３はＲＯＭで、本装置の設定データやブートプログラムなどを格納する。

８０４は操作部で、キーボードやマウスなどにより構成されており、本装置の操作者が操作することで各種の指示をＣＰＵ８０１に対して入力することができる。

８０５は表示部で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ８０１による処理結果を画像や文字などもでって表示することができる。

８０６は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置により構成されており、ここにＯＳ（オペレーティングシステム）やＣＰＵ８０１に、認識処理装置１０００が行う後述の各処理を実行させるためのプログラムやデータが保存されている。また、ここには図２に示したデータベース部１１５が保持する情報群、即ち、それぞれの個人について、クラス毎の特徴量が登録されている。そしてこれらの一部若しくは全部はＣＰＵ８０１の制御に従ってＲＡＭ８０２にロードされ、ＣＰＵ８０１の処理対象となる。

８０７はＩ／Ｆで、本装置が外部機器とのデータ通信を行うために使用するものであり、例えばここに上記ビデオカメラやマイクなどを接続することができるし、その他にも、現実空間の画像情報や音声情報を保持する装置にネットワークを介して接続することもできる。

８０８は上述の各部を繋ぐバスである。

次に、上記構成を備える認識処理装置１０００が行う本実施形態に係る個人認識処理について、同処理のフローチャートを示す図１を用いて以下、説明する。なお、同図のフローチャートに従った処理をＣＰＵ８０１に実行させるためのプログラムやデータは外部記憶装置８０６に保存されており、これを適宜ＣＰＵ８０１の制御に従ってＲＡＭ８０２にロードし、ＣＰＵ８０１がこれを用いて処理を行うことで、本装置は以下説明する各処理を実行することになる。

先ず、センサ部１１１から認識処理装置１０００に対して画像情報、音声情報（まとめてセンシングデータと呼称する場合がある）が入力されるので、ＣＰＵ８０１はこれを検知してこれらの情報をＲＡＭ８０２に一時的に記憶する（ステップＳ１）。

次にＣＰＵ８０１は人物検出部１５０として機能し、ＲＡＭ８０２に記憶した画像から人物の頭部、若しくは顔面の位置を主として検出し、検出した位置に基づいて画像中における人物領域を特定する（ステップＳ２）。

次に、ＣＰＵ８０１は特徴情報検出部１１２として機能し、ステップＳ２で特定した人物領域から予め決まったクラス毎の特徴量を検出すると共に、センサ部１１１から取得した音声情報から予め決まったクラス毎の特徴量を検出し（ステップＳ３）、検出したそれぞれの特徴量毎に有効値を求め（ステップＳ４）、求めたそれぞれの有効値に基づいて以下の処理で使用する特徴量を選別する（ステップＳ５）。

ステップＳ３では、顔面、髪型、腕や手、脚部、服装、持ち物などの静止画ベースの特徴量、身振り・歩き方などの動画ベースの特徴量、音声情報を検出する。なお、これらの抽出は全て完全に行われる必要は無く、他の物体による遮蔽や照明条件などによって抽出されなくてもよい。

次に、上記ステップＳ４における処理について説明する。本ステップでは上述の通り、特徴量毎に有効値なるものを求めるのであるが、その求める方法の一例について以下に説明する。

先ず、図７に示した階層型ニューラルネットワークの最終層において、クラスｉ（１≦ｉ≦Ｎ）の特徴量を検出するためのモジュールの出力レベルＶｉ（０（最小）から１（最大）に正規化したもの）を取得する処理を全てのクラス（全てのｉ）について行う。本実施形態では音声情報についてはこのような階層型ニューラルネットワークを用いていないが、このような処理を行う場合には、音声情報について予め決められたクラスを認識するような階層型ニューラルネットワークを用意しておき、これに取得した音声情報を入力する。これにより、音声情報のそれぞれの暮らすにおける出力レベルを求めることができる。これはその他の情報（例えば生体情報）についても同様である。

次に、全てのクラスの出力レベルの総和Ｓ（Ｓ＝Ｖ_１＋Ｖ_２＋、、、、Ｖ_Ｎ）を求める。また、それぞれのクラスについて、予め出現頻度を求めておき、そしてクラスｉの特徴量に対する有効値Ｙｉを、クラスｉの出現頻度をｋｉとすると、
Ｙｉ＝ｋｉ×Ｖｉ／Ｓ
を計算することにより求めることができる。これにより、それぞれのクラスについて相対的な有効度（＝有効値）を求めることができる。なお、それぞれのクラスについて有効値を求める方法についてはこれに限定するものではない。

例えば、上記ニューラルネットワークにおいて、自己組織化マップで得られた隣接、若しくは近接する各クラスの代表的局所特徴は、人間が視覚的に認識しても互いに類似度が高い場合がある。そこで（所定の特徴空間で互いに直交するような）互いに類似度の低い代表的クラスを選択する。具体的には、特徴の類似度を評価するための距離尺度（特徴ベクトル空間のユークリッド距離など）を導入して互いに所定閾値以上に離れた特徴を選択するか、或いは人間の視覚認識により代表的な特徴を選択する。この結果得られるそれぞれの特徴クラスにはある程度異なる変動（サイズ変動、向き変動、照明変動など）下での複数の局所特徴が含まれている。

よってこのようにして以下の処理で用いる特徴量を選択するようにしても良い。

次に、上記ステップＳ５における処理について説明する。本ステップでは上述の通り、ステップＳ４で求めた各クラスの有効値に基づいて、以下の処理で用いる特徴量を選択するのであるが、例えば、所定の閾値以上の有効値を有する特徴量を以下の処理で用いる特徴量として選択する。このとき用いる閾値は、それぞれの有効値の分布の統計量（平均値、分散値など）を調べて適応的に設定しても良い。本実施形態では、有効度の分布の平均値を閾値として用いる。

有効値を用いた特徴量の選択の例としては、遠方から人物が歩いて近づいて来るような場合では、顔画像は顔のサイズが小さすぎて人物の識別には適さないことが多い。そのような場合には、顔特徴クラスは有効度が低く、歩き方や容姿全体、髪型、服装などの特徴は有効度が高くなり、歩き方をはじめとする特徴を用いて対象人物を絞り込むことが可能である。

また、人物の後ろ姿しか観測されない場合には正面顔などから得られる特徴の有効度は低いことは言うまでもない。このように予めどのような順番で特徴の選択と絞込みを行うかは決まっておらず、環境の条件やセンシング情報取得の条件、認識対象人物の置かれた状況などによって決まる上述した有効度を評価することにより決まる。

図１に戻って次にＣＰＵ８０１は照合部１１８として機能し、ステップＳ５で選択した特徴量が誰のものであるのかを特定するために、ステップＳ５で選択した特徴量とデータベース部１１５に登録されている個人毎の特徴量との照合処理を行う（ステップＳ６）。ステップＳ５で選択した特徴量には画像特徴と音声特徴とがあるが、画像特徴の照合については、特徴クラスが静止画ベースか動画ベースかによらずに画像データの入力は動画で行う。時系列データとして複数の画像データを入力して照合を行い、例えば特定人物と判定された画像データ数の割合が所定値以上であれば残りは特徴抽出が良好に行われなかったための誤判定とみなす。これは、撮影条件の変動に伴う誤認識発生の低減を図るためである。

そしてこの照合処理の結果、データベース部１１５に登録されている個人毎の特徴量の何れにもステップＳ５で選択した特徴量が合致していない場合には処理をステップＳ７を介してステップＳ８に進め、ＣＰＵ８０１は２次的認証部１１９として機能し、２次的認証処理を開始する（ステップＳ８）。即ち、データベース部１１５に登録されている個人毎の特徴量の何れにもステップＳ５で選択した特徴量が合致していないかどうかは判定誤差があるために、厳密には判定できない。そこで更に、認証処理（２次的認証処理）を行うことで、より厳密に判定する。

２次的認証では虹彩認証、遺伝子配列に基づく認証、指紋認証などの生体情報ベースで行う認証、パスワードや生年月日その他本人確認のための属性情報を示すテキスト情報を用いた認証を行う。このテキスト情報は、非登録人物と判定された人物に対して入力指示などを行って入力する。

そしてこの２次的認証処理の結果、データベース部１１５に登録されている個人毎の特徴量の何れかにステップＳ５で選択した特徴量が合致している場合には、ステップＳ５で選択した特徴量をデータベース部１１５に登録し（ステップＳ９）、更に、ステップＳ５で選択した特徴量が、この特徴量に合致する個人（特定個人）の特徴量として認識するように、認識モデルに対する学習処理を行う（ステップＳ１０）。この学習処理については、公知の手法（特開平5−89076号公報、特開平5−108596号公報など参照）を用いればよい。このとき、照明条件、湿度、温度などを計測するセンサ出力を環境情報としてデータベースに格納してもよい。これは特徴選択部１１２２が選択した特徴が環境情報（例えば、照度が低いため顔画像データが人物認識に有用でない場合など）を考慮すると不適切と判断できる場合に対応して、後で同様な環境条件で人物認識する場合に特徴選択を適切に行えるようにする為である。即ち、特徴選択部１１２２は、特徴クラスの有効度と環境情報の両者を参照して認識に用いる特徴クラスを選択してもよい。どの環境情報を格納するかは、照合に用いた特徴クラスに依存する。例えば、顔画像から抽出される特徴クラスの場合には、照度及び露光量などの撮影条件が環境情報として用いられる。

以上の説明により、本実施形態によって、照明条件や環境の変動にロバストであってかつ照合精度を高く維持することができる。また認識対象の絞込みを効率的に行うことができる。
また、本発明は人物の歩き方、しぐさ、身振り、咳払い、くしゃみなど動作に関する特徴も人物認識の補助情報として絞込みに用いることにより認証に要する時間を短縮し、かつ認識精度を向上させることができる。

なお、本実施形態では現実空間における環境情報として画像情報、音声情報を収集し、それぞれの情報の特徴量のうち使用する特徴量を決定したが、環境情報として用いる情報はこれに限定するものではなく、画像情報のみ、音声情報のみであっても良いし、その他の情報と適宜組み合わせて用いるようにしても良い。

また、本実施形態では図２に示した一部はＣＰＵ８０１が有する機能として説明したが、各部を専用のハードウェアでもって構成するようにしても良い。

［第２の実施形態］
本実施形態では、家庭内などの生活環境やオフィスなどの特定環境において通常若しくは一定時間帯にその場所に居る人物の認識、或いはその人物の状況（正常／異常）認識を行う場合について説明する。

より詳しくは、顔画像などの画像ベース特徴の検出手段（撮像装置など）や声紋などの音声ベース特徴の検出手段（マイクロフォンなど）、及び以下に例示する生体情報の検出手段（センサ手段）を環境内に分散して設置する。ここで生体情報としては、虹彩パターン、指紋パターン、静脈パターン、遺伝子配列情報、臭気の少なくとも一つを用い、個々に対応するセンサからのセンシングデータを処理して抽出する。これらはいずれも個人を特定する生体センシングデータとして従来から扱われてきた（匂いに基づく個体識別技術は、特開平9−131335号公報等を参照）。人物の状況認識は主に撮像装置から得られる画像データを処理して行う。

人物の認識や人物の状況認識は、それらセンサから得られるセンシングデータと第１の実施形態で説明した画像情報、音声情報を併用して行う。

図４は、本実施形態に係る個人認識システムの機能構成を示すブロック図である。同図に示す如く、本実施形態に係るシステムは、画像入力部２２１０、音声入力部２２１１、認識処理装置４００、そして生体情報入力部２３０とで構成されており、且つこの認識処理装置４００は、人物検出部２２５０、特徴情報検出部２５１２、学習分類部２５１３、データベース部２５１５、照合部２５１８により構成されている。

画像入力部２２１０、音声入力部２２１１はそれぞれ画像センシング部１１１１、音声センシング部１１１２と同様のものであり、それぞれ画像情報、音声情報を収集するためのものである。生体情報入力部２３０は同図に示す如く、虹彩パターン入力部２２１２、指紋パターン入力部２２１３、静脈パターン入力部２２１４、臭気入力部２２１５、遺伝子配列情報入力部２２１６を有する。なお、生体情報入力部２３０はこれら全てによって構成されることに限定するものではなく、何れか１つのみを用いるようにしても良いし、複数個のものを適宜組み合わせて構成するようにしても良い。また、これ以外の生体情報をセンシングするセンサを生体情報入力部２３０に加えるようにしても良い。

認識処理装置４００の構成は認識処理装置１０００の基本構成から２次的認証部１１９を省いた構成となっており、且つ認識処理装置４００を構成する各部は基本的には認識処理装置１０００を構成する各部と同様の処理を行う。よって特徴情報検出部２５１２は第１の実施形態と同様に、図３に示す構成を有する。また、認識処理装置４００の基本構成については第１の実施形態と同様に、図６に示した構成を有する。

図５は、認識処理装置４００が行う個人認識処理のフローチャートである。先ず、上記ステップＳ１，Ｓ２における処理を行って、画像入力部２２１０から得た画像中における人物領域を特定する（ステップＳ２１）。また第１の実施形態と同様に音声情報を音声入力部２２１１によって取得している。

次に、生体情報入力部２３０によって空間中に存在する人物からの生体情報を収集する（ステップＳ２２）。

そしてステップＳ２３〜ステップＳ２６の処理はそれぞれ上記ステップＳ３〜ステップＳ６の処理と同様にして行う。なお、ステップＳ２３〜ステップＳ２６の処理では画像情報、音声情報に加えて生体情報が加わっている点が第１の実施形態とは異なる。よってステップＳ２３では、以下に説明するように特定種類のパターンの検出を行ってもよい。

本実施形態では、対象人物に本システムによって認識がなされていることを意識させないために特別な動作をこの人物に要求せず、また各種センサの動作状態は通常の被認識対象である人物には分からないようにしておく。人物の居る環境の中で取得可能なセンシングデータのみを用いて人物の認識を行うものとする。

そのために有効度評価部２１２１は各センサからのセンシングデータから有用な信号が取り込まれたか否かをモニタリングする機能も有する。例えば有効度評価部２１２１は、虹彩パターン入力部２２１２から虹彩に相当するパターンが入力されたかを判定する虹彩判定部、画像入力部２２１０からの出力に対しては顔検出部、後ろ姿検出部、髪検出部、服装検出部等を備え、それぞれの検出レベルが閾値以上の時だけ個人識別の為の特徴検出レベルの有効度評価を行う。なお、各検出部は、対応するセンサ部に内蔵されるように設定されていても良い。

なお、画像を撮像するセンサ、指紋センサ、虹彩画像入力を行うセンサは、小型であって壁面や家具、事務機、机、マウス、キーボード、リモコンなどに埋め込まれている。静脈パターン、遺伝子配列のセンシング部等はその機能に応じて専用センシング部として設置されていてもよい。

例えば、遺伝子配列のセンシング部は、対象人物の体毛、爪、体液などを自動的に採取する装置により採取されたサンプルを用いて遺伝子配列の解析を行う。例えばこの人物から自然に抜け落ちた髪の毛を採取して遺伝子配列の解析を行う。採取されたサンプルがこの人物のものであることの確認は、特徴検出部２１２０に内蔵される画像認識部により行い、例えばその人物から髪の毛が抜け落ちた瞬間を識別して行う。なお、遺伝子配列情報の解析部は遠隔地にあり、採取部のみがこの人物の存在する環境に備わっているものでもよい。採取部の例としては、小型の掃除ロボットやハンド・アイ協調動作ロボットなどの形態がある。

静脈パターンのセンシング部の構成としては（特開2001−184507号公報など参照）例えば、マウスの表面が所定の受光部をなし、所定の位置に設定された光源からの光を通じて静脈パターンに対応する透過光の分布を受光するなどの構成でよい。虹彩パターンのセンシング部としては、自律移動ロボットの目その他の画像入力部が用いられる。

特徴選択部２１２２は、有効度評価値に基づいて第１の実施形態と同様に個人識別用の特徴の選択を行う。

図８は、図１若しくは図５に示したシステムを搭載する信号処理装置（例えば、カメラ、ビデオカメラ、スキャナ、複写機、プリンタなど）の基本構成を示す図である。

同図において９は装置本体で、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系９２、ＣＣＤ又はＣＭＯＳイメージセンサ９３、撮像パラメータの計測部９４、映像信号処理回路９５、記憶部９６、画像入力動作の制御、画像入力条件の制御などの制御用信号を発生する制御信号発生部９７、表示ディスプレイ９８、センサ情報やユーザの操作情報を入力する入力部９９、記録媒体９１０、そして図２若しくは図４に示したシステム（人物認識装置）９１を備える。

この信号処理装置は、入力部９９からのセンサ情報に基づいて、人物認識装置９１により特定のユーザを認識し、そのユーザだけに使用許可を与える機能、ユーザごとに使える機能を制限できる機能を備える。予め登録された人物との照合を行う際に用いられるのは、顔など頭部の認識、指紋認証、虹彩認証、声紋認証などである。制御信号発生部９７は、その人物の認識結果に基づき、本装置に対するアクセス制御（ユーザごとの扱える機能の制限など）を行う制御信号を発生する。なお、顔などを認識対象とする場合は、認識対象の画像を結像光学系９２から入力するようにしてもよい。

そして人物認識装置９１の動作は第１の実施形態、第２の実施形態の何れの動作であっても良い。例えば、図１に示す処理フローにおいて各種特徴の有効度が評価され、顔画像ベース特徴が選択され、個人識別が行われた結果、非登録人物と判定された場合、制御信号発生部９７は、２次認証処理としてディスプレイ９８に、この人物のパスワードを入力部９９のテンキーボタンなどから入力するように指示する表示制御信号や、指紋認証を行うように指示する表示制御信号を発生してもよい。このとき、個人識別用の特徴クラスの追加学習を行う。

また、非登録人物と判定された場合に本装置の機能を自動停止するような制御信号を発生しても良い。

また、本装置の不正使用防止ほか、入退室管理など様々な用途に用いることができる。特に、以上説明したような制御を行うことにより、ユーザとしての人物を確実に認識し、不正使用や盗難を防止することができる。

［その他の実施形態］
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る個人認識処理のフローチャートである。 人物像の画像や音声を取得し、取得した画像、音声に基づいて人物を認識するためのシステムの機能構成を示すブロック図である。 特徴情報検出部１１２の機能構成を示すブロック図である。 本発明の第２の実施形態に係る個人認識システムの機能構成を示すブロック図である。 本発明の第２の実施形態に係る個人認識処理のフローチャートである。 認識処理装置１０００の基本構成を示すブロック図である。 人物検出部１５０の機能構成を示す図である。 図１若しくは図５に示したシステムを搭載する信号処理装置（例えば、カメラ、ビデオカメラ、スキャナ、複写機、プリンタなど）の基本構成を示す図である。 本発明の第１の実施形態に係るセンサ部１１１の機能構成を示すブロック図である。

Claims (7)

1. 個人毎に各クラスの画像特徴量を保持手段に保持し、個人認識処理を行う情報処理装置であって、
   人が存在する空間の環境情報として、該空間の画像情報を連続的に取得する取得手段と、
   前記保持手段に個人ごとの各クラスの画像特徴量を登録した後で前記取得手段が取得した画像情報から、個人認識を行うための複数クラスの画像特徴量と、それぞれのクラスの有効度と、を求める計算手段と、
   前記複数クラスから、前記複数クラスの画像特徴量によって構成される特徴空間において画像特徴量間の距離が閾値以上となる画像特徴量のクラスを選択し、該選択されたクラスの画像特徴量から前記有効度が所定値以上のクラスの画像特徴量を選択する選択手段と、
   前記選択手段が選択したクラスの画像特徴量と、前記保持手段に保持された個人毎の各クラスの画像特徴量と、を照合して個人認識処理を行う認識手段と
   を備えることを特徴とする情報処理装置。
2. 前記計算手段は、人物の容姿もしくは人物の動作に関する画像特徴量を求めることを特徴とする請求項１に記載の情報処理装置。
3. 更に、前記選択手段が選択した画像特徴量が、前記保持手段が保持するそれぞれの個人の画像特徴量群の何れとも合致しなかった場合には、前記選択手段が選択した画像特徴量を前記保持手段に登録する登録手段を備えることを特徴とする請求項１に記載の情報処理装置。
4. 前記選択手段が選択した画像特徴量が、前記保持手段が保持するそれぞれの個人の画像特徴量群の何れとも合致しなかった場合に、前記認識手段が、該選択した画像特徴量とは異なる画像特徴量に基づく認識を行なうことを特徴とする請求項１に記載の情報処理装置。
5. 個人毎に各クラスの画像特徴量を保持手段に保持し、個人認識処理を行う情報処理装置が行う情報処理方法であって、
   前記情報処理装置の取得手段が、人が存在する空間の環境情報として、該空間の画像情報を連続的に取得する取得工程と、
   前記情報処理装置の計算手段が、前記保持手段に個人ごとの各クラスの画像特徴量を登録した後で前記取得工程で取得した画像情報から、個人認識を行うための複数クラスの画像特徴量と、それぞれのクラスの有効度と、を求める計算工程と、
   前記情報処理装置の選択手段が、前記複数クラスから、前記複数クラスの画像特徴量によって構成される特徴空間において画像特徴量間の距離が閾値以上となる画像特徴量のクラスを選択し、該選択されたクラスの画像特徴量から前記有効度が所定値以上のクラスの画像特徴量を選択する選択工程と、
   前記情報処理装置の認識手段が、前記選択工程で選択したクラスの画像特徴量と、前記保持手段に保持された個人毎の各クラスの画像特徴量と、を照合して個人認識処理を行う認識工程と
   を備えることを特徴とする情報処理方法。
6. コンピュータを、請求項１乃至４の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images