JP6410450B2 - オブジェクト識別装置、オブジェクト識別方法及びプログラム - Google Patents

Description

本発明は、特に、変動要因の違いを取り除いてオブジェクトを識別するために用いて好適なオブジェクト識別装置、オブジェクト識別方法及びプログラムに関する。

入力された画像を、予め登録された画像と比較することにより、入力された画像に表現されるオブジェクトが、予め登録されているどのカテゴリに属するかを識別する技術が多く提案されている。そのオブジェクトを識別する具体例として、人物認証がある。これは顔や指紋など個人に固有の特徴を用いて人物の識別を行うものであり、それぞれ顔認証、指紋認証などと呼ばれている。

人物認証におけるカテゴリとは、個人を特定できる名前やＩＤである。人物認証などオブジェクトを識別するためには、識別したいオブジェクトの画像を登録画像として事前に名前やＩＤと併せて登録しておく必要があり、事前に登録画像を登録することにより、識別を実際に運用することができる。識別すべきオブジェクトの画像（以下、入力画像）が入力されると、予め登録されている登録画像それぞれと識別し、合致する登録画像がある場合には、その登録画像に対応する登録済みオブジェクトを識別結果として出力する。一方、合致する登録画像がない場合には、該当オブジェクトなしとして出力する。以下、オブジェクトのカテゴリを識別することとは、オブジェクトの個体の違い（例えば、人物の違い）を判断することを意味する。

顔画像から人物を識別する最も単純な技術的な方法として、顔画像そのものの画素を特徴量として求め、それらの特徴量同士を直接比較する方法がある。ただし、この方法では、顔の向き・表情・照明などの変動要因が２つの顔で異なるときに、変動要因の違いによる画素値の変動が、人物の違いによる特徴量の差よりも強くなる場合がある。すなわち、異なる変動要因の同一人物の顔画像の間の類似度よりも、異なる人物であって変動要因が同じである場合の類似度のほうが高いという現象が起こりうる。先行技術として変動要因の違いを取り除いた特徴量を用いて比較する技術などが多く提案されている（例えば非特許文献１参照）が、十分に問題を解決できていない。

また、上述した問題に対する別の考え方として、変動要因に応じて類似度を正規化する技術なども提案されている（例えば特許文献１及び非特許文献２参照）。この方法は、変動要因ごとに事前に求めておいた類似度の変換モデルにより変動要因の間で類似度の大小を正規化する。その結果、異なる変動要因の同じ人物の顔画像の間の類似度より、同じ変動要因の異なる人物の間の類似度のほうが高いという現象を回避しようとしている。

特開２００７−１４０８２３号公報

Face Recognition with Local Binary Patterns: T. Ahonen and A. Hadid, M. Pietikainen: 1994 Multi-Subregion Based Probabilistic Approach Toward Pose Invariant Face Recognition: T. Kanade and A. Yamada: 2003 Support vector machine based multi-view face detection and recognition: Y. Li, S. Gong, J. Sherrah, and H. Liddell: 2004 Active Shape Models - Their Training and Application: T.F. Cootes, C.J. Taylor, D. Cooper, and J. Graham: 1998

変動要因によらずオブジェクトのカテゴリを正確に識別するためには、照合したい画像双方の変動要因の組み合わせを求めて、その変動要因の組み合わせに対応する類似度の変換モデルを選ぶことが考えられる。ところが、例えばオブジェクトが撮影される向きを変動要因とした場合、オブジェクトの向きの組み合わせの分だけ変換モデルが必要となる。また、オブジェクトが取りうる向きが広ければ広いほど、変動要因の組み合わせは加速度的に多くなり、変換モデルの数も増加する。あるいは、オブジェクトの向きだけでなく例えばオブジェクトを照らす光源の向きも考慮する場合、向きの組み合わせと照明の向きの組み合わせとをさらに組み合わせた数だけ変換モデルが必要となる。そのため、変換モデルの数が増加することによって、変換モデルを格納する記録装置の容量を圧迫してしまう。

本発明は前述の問題点に鑑み、変動要因によらず正確にオブジェクトを識別できるようにすることを目的としている。

本発明に係るオブジェクト識別装置は、オブジェクトを含む画像であって、予め登録されている第１の画像と、識別する対象である第２の画像とを取得する取得手段と、前記第１の画像及び前記第２の画像からそれぞれ特徴を抽出する特徴抽出手段と、前記特徴抽出手段によって抽出された特徴を照合して前記第１の画像及び前記第２の画像に含まれるオブジェクトの類似度を算出する類似度算出手段と、前記類似度算出手段によって算出された類似度を、前記第１の画像及び前記第２の画像に係る変動要因の差において同一のオブジェクトの間の照合で類似度が生起する確率と、相違するオブジェクトの間の照合で類似度が生起する確率とを予め備えたモデルを用いて変換する変換手段と、前記変換手段によって変換された類似度に基づいて、前記第１の画像及び前記第２の画像に含まれるオブジェクトが同一であるか否かの結果を出力する出力手段とを有することを特徴とする。

本発明によれば、変動要因によらず正確にオブジェクトを識別することができる。

実施形態に係るオブジェクト識別装置の機能構成例を示すブロック図である。 実施形態において、顔画像を識別する処理手順の一例を示すフローチャートである。 実施形態において、カテゴリ判定処理の詳細な手順の一例を示すフローチャートである。 画像識別部の詳細な構成例を示すブロック図である。 実施形態において、同一人物かどうかを表す類似度を得る詳細な手順の一例を示すフローチャートである。 登録画像の顔角度、及び入力画像の顔角度の２次元量として表現した場合の類似度の変換モデルを説明するための図である。 実施形態において、顔角度の差に基づいた類似度の変換モデルを説明するための図である。 登録画像と入力画像とで顔角度が同じ条件及び異なる条件である場合の類似度の確率分布の一例を示す図である。 登録画像と入力画像とで顔角度の差が同じ条件である場合の類似度の確率分布の一例を示す図である。 第２の実施形態における変動要因検出部の詳細な構成例を示す図である。 第２の実施形態において、顔角度の差及び照明角度の差の２次元量として表現した場合の類似度の変換モデルを説明するための図である。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳細に説明する。本実施形態では、オブジェクトの見え方に係る変動要因としてオブジェクトと撮像装置との位置関係によって生じる見えの異なりを扱う。具体的には画像中のオブジェクトの向きや、画像中に写るオブジェクトの解像度（画像中のオブジェクトの大きさ）が挙げられるが、本実施形態ではYaw方向のオブジェクトを例として説明する。また、本実施形態では、オブジェクトとして人物の顔を用い、オブジェクトのカテゴリとして人物の違いを画像から識別する顔認証を例に説明する。

＜全体の構成＞
図１は、本実施形態に係るオブジェクト識別装置１００の機能構成例を示すブロック図である。
図１に示すように、オブジェクト識別装置１００は、画像を入力する画像入力部１１０、画像を識別する画像識別部１２０、登録画像を保持する登録画像記録部１３０、及びオブジェクトの識別結果および属性判定結果を出力する外部出力部１４０を備えている。

画像入力部１１０は、識別すべき画像を供給する装置であれば特に限定しない。光学レンズと映像センサとを備えた撮像装置でも構わないし、画像が保持され読み出し可能な半導体メモリでもよい。また、画像入力部１１０は、時刻で連続して識別すべき画像が供給される。画像識別部１２０は、例えば専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）などである。また、単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。画像識別部１２０の詳細な構成に関しては後述する。

登録画像記録部１３０は、画像入力部１１０から登録画像として入力された画像を辞書として記録して保持する。登録画像記録部１３０は、典型的には、繰り返し書き換え可能な半導体メモリであり、画像を数十枚もしくはそれ以上を保持するために十分な大容量を持つことが望ましいが、画像識別部１２０で使用する情報のみ保持しておいてもよい。この情報の詳細については後述する。

外部出力部１４０は、画像識別部１２０の出力結果、つまり入力画像に対応するカテゴリを適切な形で外部に出力する。外部出力部１４０は、典型的にはＴＦＴ液晶などのモニタであり、画像入力部１１０から取得した画像を表示する。または、画像識別部１２０の出力結果を画像に重畳表示する。また、それらの結果を電子データとして外部の記憶媒体などに出力してもよく、紙媒体に印刷してもよい。なお、出力の手段は上に挙げた限りではなく、さらに複数の手段を同時に行使してもよい。

＜識別フロー＞
図２は、本実施形態におけるオブジェクト識別装置１００の画像識別部１２０による顔画像を識別する処理手順の一例を示すフローチャートである。以下、図２を参照しながら、本実施形態に係るオブジェクト識別装置１００が顔画像を識別する実際の処理について説明する。
始めに、画像入力部１１０は、処理すべき全体画像（撮像画像）を取得する（Ｓ２０１）。続いて、画像識別部１２０は、取得した全体画像に対して顔検出処理を行う（Ｓ２０２）。なお、顔検出の方法としては公知の技術を用いるものとする。

次に、画像識別部１２０は、全体画像中に顔が存在するか否かを判定する（Ｓ２０３）。この判定の結果、全体画像に顔が存在しない場合（Ｓ２０３でNoの場合）には、Ｓ２０１に戻り、次の全体画像を取得する。一方、全体画像に顔が存在する場合（Ｓ２０３でYesの場合）は、画像識別部１２０は、検出された顔に係る顔画像を入力画像として全体画像から切り出し、顔のカテゴリすなわち人物を判定する処理を行う（Ｓ２０４）。Ｓ２０４のカテゴリ判定処理の詳細については後述するが、カテゴリ判定処理では、登録画像それぞれについて、入力画像とどれほど同一人物らしいかを表す類似度を算出する。それら類似度を比較して、最も類似度が高い登録画像を選択し、その登録人物のカテゴリとして入力画像のカテゴリを判定する。

続いて、画像識別部１２０は、処理すべき全体画像の中の全ての顔について処理を行ったか否かを判定する（Ｓ２０５）。この判定の結果、まだ全体画像の中に判定していない顔が残っている場合には、Ｓ２０４に戻り、次の顔画像に対してカテゴリ判定処理（Ｓ２０４）を繰り返す。一方、Ｓ２０５の判定の結果、全ての顔について処理を行った場合（Ｓ２０５でYesの場合）は、次の時刻の撮像画像（全体画像）を取得する（Ｓ２０１）。なお、これら一連の処理はリアルタイムで実行され、外部出力部１４０にリアルタイムでカテゴリ判定結果を出力することもできる。図２に示す一連の処理は、ユーザが操作部材を操作することによって終了させることができるよう、操作を受け付けるようにしてもよい。

図３は、図２のＳ２０４における画像識別部１２０によるカテゴリ判定処理の詳細な手順の一例を示すフローチャートである。以下、図３を参照しながら、オブジェクト識別装置１００が入力画像のカテゴリを判定する処理について説明する。
まず、入力データとして、全体画像から顔検出された顔画像を取得する（Ｓ３０１）。この入力画像は静止画であり、人物の顔が１つだけ捉えられていることとする。次に、登録データとして、オブジェクト識別装置１００の登録画像記録部１３０に予め登録されている顔画像（登録画像）を１つ取得する（Ｓ３０２）。

続いて、入力画像と登録画像とを識別し、同一人物かどうかを表す類似度を得る（Ｓ３０３）。この識別処理の詳細については後述する。そして、記憶媒体に保持されている全ての登録画像と識別を行ったか否かを判定する（Ｓ３０４）。この判定の結果、比較していない登録画像がある場合（Ｓ３０４でNoの場合）はＳ３０２に戻り、次の登録画像を１つ取得する。

一方、全ての登録画像について入力画像に対する類似度を得た場合（Ｓ３０４でYesの場合）は、最も大きい類似度と予め定められた閾値とを比較し、カテゴリを最終的に判定する（Ｓ３０５）。最も高い類似度が閾値以上である場合には、入力画像のカテゴリを類似度に対応する登録画像が属するカテゴリであるものと判定する。一方、類似度が閾値未満である場合には、入力画像が属するカテゴリは無いものとして判定される。この閾値は予め目的に応じて調整しておくとよい。閾値が低いと登録されている人物を認識できる可能性が高まるが、誤認識する可能性も高まる。逆に閾値を高くすると、登録されていない人物を誤認識する可能性は減るが、登録されている人物を認識できない可能性も高まる。

＜識別処理：概要＞
次に、図３の識別処理（Ｓ３０３）について概要を説明する。図４は、画像識別部１２０の詳細な構成例を示すブロック図である。また、図５は、図３のＳ３０３の詳細な手順の一例を示すフローチャートである。以下、図４及び図５を参照しながら説明する。なお、前述した顔検出及び全体画像から顔画像を切り出す処理は、特徴抽出部４０１により行われるものとする。

まず、特徴抽出部４０１は、入力画像及び登録画像のそれぞれから特徴量を抽出する（Ｓ５０１）。次に、類似度算出部４０２は、入力画像及び登録画像の特徴量を比較し、類似度を算出する（Ｓ５０２）。続いて変動要因検出部４０３は、顔画像（入力画像及び登録画像）の変動要因を検出する（Ｓ５０３）。そして、類似度変換部４０５は、Ｓ５０３で検出した変動要因から類似度の変換方法を決定し、類似度変換モデル記録部４０４から必要な変換モデルを取得する（Ｓ５０４）。さらに、取得した変換モデルを用いて類似度を変換する（Ｓ５０５）。それぞれの各工程の処理の詳細については後述する。

なお、図５のＳ５０１及びＳ５０３では、登録画像に対しても特徴量及び変動要因を取得したが、登録画像については特徴量及び変動要因を予め取得しておき、顔画像とともに登録画像記録部１３０に記録しておくことが望ましい。これにより、Ｓ５０１及びＳ５０３では、入力画像のみが対象となるため、処理量をより抑えることができる。

＜識別処理：特徴抽出＞
ここで、図５における特徴抽出処理（Ｓ５０１）について説明する。この処理では、入力画像から個人の識別に必要な特徴量を抽出する。本実施形態ではこれ以降の説明を簡易にするため、以下のように特徴量を抽出する。まず、特徴量を抽出する矩形領域を顔画像に設定する。領域の大きさは任意であるが、個人の特徴をよく表す目や口などの器官がもれなく入り、かつ背景などは入らないように、一辺が目幅のおおよそ１．５倍程度の正方形を顔の中央に配置するとよい。続いて、矩形領域内の画素値を左上から右下に向かって順に取り出し、一列につなげてベクトルとし、これを特徴量とする。

＜識別処理：類似度算出＞
次に、図５における類似度算出処理（Ｓ５０２）について説明する。この処理では、入力画像の特徴量と登録画像の特徴量とを照合し、類似度を算出する。その方法は任意であるが、類似度が大きいほど、特徴量が似ていることを表すような方法を選ぶ。例えば、特徴量のベクトル同士が成す角度のコサインを類似度としてもよく、特徴量のベクトル間のユークリッド距離の逆数を類似度としてもよい。

＜識別処理：変動要因検出＞
次に、図５における変動要因の検出処理（Ｓ５０３）について説明する。この処理では、入力画像から変動要因を検出する。特に本実施形態では顔のYaw回転について検出する例について説明する。これ以降、本実施形態では顔のYaw方向の回転角度を単に顔角度と呼ぶこととする。

また、顔角度を検出する方法については特に限定しないが、例えば非特許文献３に記載の方法を用いるとよい。この方法では、個人差や照明条件を除いて顔向きを判定し得る情報を顔画像から取り出すために、縦及び横のSobelフィルタでエッジを検出し、エッジの強度画像を特徴量とする。そして、この特徴量を予め学習されたSupport Vector Machineに入力して、顔角度に回帰させる。なお、顔角度として連続量の数値が得られる方法で説明したが、検出器の精度が高くなく、顔角度を連続値で出力しても信頼できない場合には、例えば顔角度を１０度単位で丸めて出力してもよい。あるいはもっと粗く、右・左・正面などおおまかなクラスを出力する方法でも構わない。以下、説明を簡略化するため、変動要因検出部４０３は１０度ごとに丸められた角度を変動要因として検出するものとして説明する。

＜識別処理：類似度変換モデル取得＞
次に、図５における類似度の変換モデルを取得する処理（Ｓ５０４）について説明する。この処理では、入力画像の変動要因と登録画像の変動要因との組み合わせに基づいて、類似度変換モデル記録部４０４から、適切な類似度の変換モデルを選択する。

まず、類似度変換モデル記録部４０４が保持する変換モデル群の構成について説明する。本実施形態では変動要因として顔角度を扱い、類似度変換モデル記録部４０４は、顔角度の組み合わせに応じた変換モデルを予め保持している。ここで、顔角度の組み合わせを表現する方法の例として、一般的には［登録画像の顔角度、入力画像の顔角度］の２次元量として表現する方法が考えられる。

図６に示すように、この２次元量それぞれに対応する変換モデルを保持すると、変換モデルの数は変動要因の数の２乗となる。そのため、顔角度が取りうる範囲を広げたり（±３０度から±６０度までするなど）、変換モデルを保持する粒度を細かくしたりする（顔角度を１０度ごとから５度ごとするなど）と、変動要因が取りうる値の数が増え、変換モデルの数が加速度的に増加する。

そこで本実施形態では、図７に示すように、登録画像の変動要因と入力画像の変動要因との差、すなわち顔角度の差を変換モデルとして用いる。この方法を用いると変動要因の差に対応する数の変換モデルを保持するだけでよいので、変換モデルの数は変動要因の数と等しく、変換モデル数が加速度的に増加することはない。

類似度変換部４０５は、変動要因検出部４０３から登録画像及び入力画像の顔角度を取得し、顔角度の差を算出する。そして、顔角度の差に対応した変換モデルを類似度変換モデル記録部４０４から１つ取得する。なお、変換モデルを１つだけ取得するのではなく、複数の変換モデルを取得してもよい。例えば変動要因検出部４０３の処理精度が低いような場合は、顔角度の差に対応した変換モデルと、それに近い複数の変換モデルとを重み付きで選択してもよい。複数の変換モデルを選択する場合は、次のＳ５０５の処理において、変換後の類似度が複数得られるため、それらに重みをかけて線形和を最終的な類似度として求めればよい。なお、本実施形態では以降の説明を簡略化するため、顔角度の差に対応した変換モデルを１つ取得するものとして説明する。

＜識別処理：類似度変換＞
次に、図５における類似度変換処理（Ｓ５０５）について説明する。まず、処理を説明する前に、類似度変換部４０５で行う処理の目的について説明する。前述した類似度とは、登録画像と入力画像とが物理的にどれほど類似しているかを表す値である。ここで、類似度そのものを用いて人物を判断する場合の課題を、図８を参照しながら説明する。

図８（ａ）は、登録画像と入力画像とで顔角度が同じ条件である場合の類似度の確率分布を示している。なお、実線が本人同士の照合で得られる類似度であり、破線が他人同士の照合で得られる類似度を表している。また、図８（ｂ）は、登録画像と入力画像とで顔角度が異なる条件である場合の類似度の確率分布を示している。

図８に示すように、登録画像と入力画像とで顔角度が同じ条件である場合も、顔角度が異なる条件である場合も、本人間の類似度は他人間の類似度よりも高い値が得られることには変わりない。ただし、顔角度が異なると、人物の違いによる特徴量の変動だけでなく顔角度の違いによる特徴量の変動も加わるため、本人間の類似度も他人間の類似度も、総じて低い値が得られる傾向がある。そうなると、図８（ｂ）に示す本人間の類似度より、図８（ａ）に示す他人間の類似度のほうが高くなり、誤認証が生じる可能性がある。したがって、類似度を変換する目的は、画像間の物理的な類似度を、変動要因に依る大小関係の逆転がないようにするためである。

類似度変換部４０５は、登録画像と入力画像との間の顔角度の差に応じて取得した変換モデルを用いて類似度を変換する。変換の具体的な方法は特に限定されないが、本実施形態では、非特許文献２に記載の方法を用いるものとする。以下、その手順について説明する。

顔角度の差に対応する変換モデルは、登録画像及び入力画像の顔角度の差をφとし、類似度をｓとしたとき、本人間の類似度の生起確率分布Ｐ（ｓ｜same，φ）と相違する他人間の類似度の生起確率分布Ｐ（ｓ｜diff，φ）とを保持している。そして以下の式（１）により、物理的な類似度ｓを、本人間で得られた類似度である確率Ｐ（same｜ｓ，φ）に変換する。この値は物理的な類似度と同様に、値が大きいほど本人間の照合であると判断できる値である。なおこれら生起確率分布Ｐ（ｓ｜same，φ）、Ｐ（ｓ｜diff，φ）は、装置の運用前に多数の顔画像を用いて統計的に予め求めておくことが好ましい。この生起確率分布Ｐ（ｓ｜same，φ）、Ｐ（ｓ｜diff，φ）をどのような形式で保持するかは特に限定されないが、記録できるパラメータの容量によって、いくつか方法がある。生起確率分布を正規分布と近似して、平均値と分散とのパラメータだけを保持しもよく、生起確率分布を有限個に量子化したルックアップテーブルを保持してもよい。

以上のように本実施形態では、登録画像及び入力画像の変動要因の組み合わせを、［登録画像の変動要因、入力画像の変動要因］の２次元量ではなく、［登録画像及び入力画像の変動要因の差］としている。その結果、複数の変動要因組み合わせに対応する変換モデルを１つに集約することにより、変換モデルの数を削減することができる。

また、このような実施形態が成り立つ理由は、登録画像の変動要因及び入力画像の変動要因そのものによらず、変動要因の差が同じであれば、類似度の生起確率分布（以降、類似度分布）がほぼ同じである現象が、実験的に成り立つからである。例えば図９に示すように、変動要因（顔角度）の差が３０度である場合に、［登録画像の変動要因、入力画像の変動要因］としては、図９（ａ）に示す［−１５度，＋１５度］や図９（ｂ）に示す［０度，３０度］など複数の組み合わせが存在する。ところが、図９（ａ）に示す生起確率分布も図９（ｂ）に示す生起確率分布も厳密には一致しないもののほぼ同じであり、１つに集約できることがわかる。そこで、前述した正規分布やルックアップテーブルなどで類似度分布を近似表現した場合に、許容できる差に収まることが実験的に成り立つことを利用して、本実施形態では変換モデルを１つに集約している。

（第２の実施形態）
第１の実施形態では、顔角度の差のみを変動要因の組み合わせとして扱った。これに対して本実施形態では、変動要因としてオブジェクトと撮像装置との位置関係によって生じる見えの異なり（顔角度の差）だけではなく、さらに、オブジェクトが置かれた環境による見えの異なりも考慮する。具体的には本実施形態では、第１の実施形態で説明した顔角度と、さらに照明条件（光源の方向）とに応じて類似度を変換する。以下、識別処理で行う処理の内容で第１の実施形態と異なる部分について説明する。なお、それ以外の処理や構成などは第１の実施形態と同様であるため、説明は省略する。

＜識別処理：変動要因検出＞
まず、図４に示した変動要因検出部４０３、及び図５における変動要因の検出処理（Ｓ５０３）について説明する。図１０は、本実施形態における変動要因検出部４０３の詳細な構成例を示すブロック図である。図１０に示すように、変動要因検出部４０３は、顔角度検出部１００１と、照明角度検出部１００２とを備えている。顔角度検出部１００１は、顔角度として第１の実施形態で説明した顔のYaw角度を検出するものである。処理については第１の実施形態と同様であるため説明は省略する。

照明角度検出部１００２は、照明条件として、特に顔を照らす光源のYaw方向の角度について検出する。以下、本実施形態では光源のYaw方向の角度を単に照明角度と呼ぶこととする。

顔画像から照明角度を検出する方法については特に限定されないが、例えば以下のような方法で行うことができる。まず、顔画像を低解像度に縮小する。このとき、目や口の詳細な特徴が消えて個人を特定できなくなるが、顔の陰影や側光はかろうじて確認できる程度まで縮小することが望ましい。続いて、縮小された顔画像の各画素値を画像ベクトルとみなし、予め求めておいた固有ベクトルと、縮小した低解像度の画像ベクトルとの内積値を算出する。この内積値が顔の照明の状態を表す属性情報である。

なお、固有ベクトルは、光が様々な方向から当たっている顔画像を予め多数収集しておき、それらに主成分分析を行って構成される。典型的には、固有値が特に大きいものに対応する固有ベクトル数個のうちの１つが、照明角度として表現することができる。様々な照明角度を持つ多数の画像群に対して内積値を求めたときに、内積値の分散が典型的に極めて大きくなることを利用して照明角度として表現できる固有ベクトルを見つけることができる。

また、本実施形態では照明の方向を検出するものとして固有ベクトルを用いたが、同様の方法で固有ベクトルを選択することにより、照明の強さや、カラー画像を用いた場合には照明の色なども検出することができ。以下、説明を簡略化するため、照明角度検出部１００２は求めた内積値を丸めて、照明角度を１０度ごとに出力するものとして説明する。

＜識別処理：類似度変換モデル取得＞
次に、図５における類似度の変換モデルを取得する処理（Ｓ５０４）について説明する。この処理では、入力画像の変動要因と登録画像の変動要因との組み合わせに基づいて、類似度変換モデル記録部４０４から変換モデルを選択する。以下、類似度変換モデル記録部４０４が保持する変換モデル群の構成について、第１の実施形態と異なる点について説明する。

本実施形態では、変動要因として顔角度と照明角度とを用いており、類似度変換モデル記録部４０４は、顔角度と照明角度との組み合わせに応じた変換モデルを予め保持している。顔角度と照明角度との組み合わせを表現する方法の例として、［登録画像の顔角度、入力画像の顔角度、登録画像の照明角度、入力画像の照明角度］の４次元量として表現する方法が１つは考えられる。しかしこの方法を用いると変換モデルの数は変動要因の数の４乗であるため、変換モデルの数が非常に多くなってしまうことが考えられる。そこで本実施形態では、図１１に示すように、登録画像と入力画像との変動要因の差、つまり本実施形態では、［顔角度の差、照明角度の差］の２次元量として表現する。この方法を用いると変換モデルの数は顔角度の数×照明角度の数と等しいため、変換モデルの数を抑えることができる。

類似度変換部４０５は、変動要因検出部４０３から登録画像及び入力画像の顔角度を取得し、顔角度の差を算出する。同様に登録画像及び入力画像の照明角度を取得し、照明角度の差を算出する。そして［顔角度の差、照明角度の差］に対応した変換モデルを類似度変換モデル記録部４０４から１つ取得する。

＜識別処理：類似度変換＞
次に、図５における類似度変換処理（Ｓ５０５）について説明する。本実施形態における類似度変換部４０５は、登録画像と入力画像との間の［顔角度の差、照明角度の差］に応じて取得した変換モデルを用いて類似度を変換する。本実施形態での変換モデルは、登録画像及び入力画像の顔角度の差φかつ照明角度の差ρにおいて、類似度をｓとしたとき、本人間の類似度の生起確率分布Ｐ（ｓ｜same，φ，ρ）と他人間の類似度の生起確率分布Ｐ（ｓ｜diff，φ，ρ）とを保持する。そして以下の式（２）により、物理的な類似度ｓを、本人間で得られた類似度である確率Ｐ（same｜ｓ，φ，ρ）に変換する。この値は物理的な類似度と同様に、値が大きいほど本人間の照合であると判断できる。なお、これら生起確率分布Ｐ（ｓ｜same，φ，ρ）、Ｐ（ｓ｜diff，φ，ρ）は、装置の運用前に多数の顔画像を用いて統計的に求めておく。

本実施形態では、顔角度及び照明角度の２つの変動要因を複合した例について説明した。さらに変動要因が３つ以上の場合も、変動要因ごとに差を取ることにより本実施形態と同じ方法で拡張することができる。また、本実施形態の説明では顔角度及び照明角度の２つであったが、他の変動要因でも本実施形態と同様の方法が利用できる。例えば人物の顔を識別する場合には、Yaw方向だけでなくPitch方向の顔角度、特定の表情の有無、などを変動要因として用いることができる。

（第３の実施形態）
第１及び第２の実施形態では、顔画像から単一の特徴量を抽出し、これらを照合して単一の類似度を得て、その後、その類似度を変換していた。本実施形態では、顔画像から複数の特徴量を抽出して照合し、複数の類似度を求め、それらの類似度を変換する例について説明する。以下、識別処理で行う処理の内容で第１の実施形態と異なる部分について説明する。なお、それ以外の処理や構成などは第１の実施形態と同様であるため、説明は省略する。

＜識別処理：特徴抽出＞
まず、図５における特徴抽出処理（Ｓ５０１）について説明する。この処理では、入力画像から個人の識別に必要な特徴量を抽出する。第１の実施形態では、一辺が目幅のおおよそ１．５倍程度の正方形を１つ顔領域に設定して画素値を取り出した。これに対して本実施形態では、顔のうち個人差が現れる部分だけに局所領域を複数個配置して、それぞれの局所領域から特徴量を抽出する。

ここで、局所領域の大きさや、形、場所は任意であるが、１つの例として以下のようにするとよい。個人の特徴がよく現れる目や口などの器官に重なるように、器官とほぼ同じ大きさの矩形領域を設定する。矩形領域を設定する座標は全ての顔画像で固定、共通の座標を用いてもよいが、顔の向きや個人差による顔の形で、かならず矩形に器官が収まるとはいえない。そこで例えば非特許文献４に記載されている顔器官検出方法を用いて、目・鼻・口など、顔器官の位置を検出する。そして検出された器官位置を中心に局所領域を設定する。

また、顔器官以外の場所にも局所領域を設定したい場合には、２つの顔器官の位置を結ぶ線分を求め、線分を予め定められた比で分割する位置を中心に局所領域を設定する。この方法により、個人差や年齢による顔器官の相対的な位置関係によらず、適切な場所に局所領域を設定できる。

続いて、局所領域内の画素値を左上から右下に向かって順に取り出し、一列につなげてベクトルとする。これを１つの局所特徴量として、各局所領域から局所特徴量を抽出する。本実施形態では、Ｎ個の局所特徴量を得るものとして説明する。

＜識別処理：類似度算出＞
次に、図５における類似度算出処理（Ｓ５０２）について説明する。この処理では、入力画像の局所特徴量と登録画像の局所特徴量とを照合し、局所類似度ｓ_j（ｊ＝１・・・Ｎ）を算出する。なお、類似度を算出する方法は第１の実施形態と同様であるため説明は省略する。

＜識別処理：類似度変換モデル取得＞
次に、図５における類似度の変換モデルを取得する処理（Ｓ５０４）について説明する。この処理では、入力画像の変動要因と登録画像の変動要因との組み合わせに基づいて、類似度変換モデル記録部４０４から変換モデルを選択する。類似度変換モデル記録部４０４が保持する変換モデル群の構成は第１の実施形態と同様であるが、本実施形態ではＮ個の局所類似度を変換するために、Ｎ個の変換モデルを選択する。

Ｓ５０１で得た各局所特徴量は顔に設定される位置がそれぞれ異なるため、顔角度の変動で受ける類似度分布の変動が異なる。そのため、本実施形態では、図７に示す変換モデル群の構成を局所特徴量それぞれに対応するように独立して保持している。類似度変換部４０５は、局所特徴量に対してそれぞれで、顔角度の差に応じた変換モデルを１つ選び、Ｎ個の変換モデルを類似度変換モデル記録部４０４から取得する。

＜識別処理：類似度変換＞
次に、図５における類似度変換処理（Ｓ５０５）について説明する。類似度変換部４０５は、登録画像及び入力画像の顔角度の差φに応じて取得した変換モデルを用いて、類似度を変換する。ここでの処理は基本的には第１の実施形態と同様であるが、本実施形態ではＮ個の局所類似度それぞれを独立して変換する。ここで、ｊ番目（ｊ＝１・・・Ｎ）の局所類似度ｓ_jについて、顔角度の差φに対応する変換モデルは、本人間の類似度の生起確率分布Ｐ_j（ｓ_j｜same，φ）と他人間の類似度の生起確率分布Ｐ_j（ｓ_j｜diff，φ）とを保持している。そして、以下の式（３）により、物理的な類似度ｓ_jを、本人間で得られた類似度である確率Ｐ_j（same｜ｓ_j，φ）に変換する。この値は物理的な類似度と同様に、値が大きいほど本人間の照合であると判断できる。なおこれら生起確率分布Ｐ_j（ｓ_j｜same，φ）、Ｐ_j（ｓ_j｜diff，φ）は第１の実施形態と同様に、装置の運用前に多数の顔画像を用いて得た局所類似度ｓ_jを統計して求めておく。

最後に、Ｎ個得られたＰ_j（same｜ｓ_j，φ）を１つに統合して、本人間で得られた類似度である最終的な確率Ｐ（same｜ｓ_j，φ）に変換する。この方法については特に限定されないが、例えば非特許文献２に記載の方法に従って、全てのＰ_j（same｜ｓ_j，φ）の和としてもよい。以上のように本実施形態によれば、複数の類似度を求めた場合であっても、変換モデルの数を削減することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１０ 画像入力部
１２０ 画像識別部
１３０ 登録画像記録部
１４０ 外部出力部

Claims (10)

1. オブジェクトを含む画像であって、予め登録されている第１の画像と、識別する対象である第２の画像とを取得する取得手段と、
   前記第１の画像及び前記第２の画像からそれぞれ特徴を抽出する特徴抽出手段と、
   前記特徴抽出手段によって抽出された特徴を照合して前記第１の画像及び前記第２の画像に含まれるオブジェクトの類似度を算出する類似度算出手段と、
   前記類似度算出手段によって算出された類似度を、前記第１の画像及び前記第２の画像に係る変動要因の差において同一のオブジェクトの間の照合で類似度が生起する確率と、相違するオブジェクトの間の照合で類似度が生起する確率とを予め備えたモデルを用いて変換する変換手段と、
   前記変換手段によって変換された類似度に基づいて、前記第１の画像及び前記第２の画像に含まれるオブジェクトが同一であるか否かの結果を出力する出力手段とを有することを特徴とするオブジェクト識別装置。
2. 前記変換手段は、前記同一のオブジェクトの間の照合で類似度が生起する確率と、前記相違するオブジェクトの間の照合で類似度が生起する確率とを、正規分布の平均及び分散の値として予め備えたモデルを用いて類似度を変換することを特徴とする請求項１に記載のオブジェクト識別装置。
3. 前記変換手段は、前記同一のオブジェクトの間の照合で類似度が生起する確率と、前記相違するオブジェクトの間の照合で類似度が生起する確率とを、有限個に量子化されたルックアップテーブルとして予め備えたモデルを用いて類似度を変換することを特徴とする請求項１に記載のオブジェクト識別装置。
4. 前記第１の画像及び前記第２の画像の変動要因を検出する検出手段をさらに有し、
   前記変換手段は、前記検出手段によって検出された前記第２の画像及び前記第２の変動要因の差に基づいて、前記類似度算出手段によって算出された類似度を変換することを特徴とする請求項１〜３の何れか１項に記載のオブジェクト識別装置。
5. 前記変動要因は、オブジェクトの向き又は解像度を含むことを特徴とする請求項１〜４の何れか１項に記載のオブジェクト識別装置。
6. 前記変動要因は、オブジェクトに対する照明の向き又は強さを含むことを特徴とする請求項１〜５の何れか１項に記載のオブジェクト識別装置。
7. 前記特徴抽出手段は、前記第１の画像及び前記第２の画像からそれぞれ複数の特徴を抽出し、
   前記類似度算出手段は、前記特徴抽出手段によって算出された複数の特徴それぞれに対して類似度を算出し、
   前記変換手段は、前記類似度算出手段によって算出された複数の類似度を変換し、前記変換された複数の類似度を１つの類似度に統合することを特徴とする請求項１〜６の何れか１項に記載のオブジェクト識別装置。
8. 前記オブジェクトは人物の顔であることを特徴とする請求項１〜７の何れか１項に記載のオブジェクト識別装置。
9. オブジェクトを含む画像であって、予め登録されている第１の画像と、識別する対象である第２の画像とを取得する取得工程と、
   前記第１の画像及び前記第２の画像からそれぞれ特徴を抽出する特徴抽出工程と、
   前記特徴抽出工程において抽出された特徴を照合して前記第１の画像及び前記第２の画像に含まれるオブジェクトの類似度を算出する類似度算出工程と、
   前記類似度算出工程において算出された類似度を、前記第１の画像及び前記第２の画像に係る変動要因の差において同一のオブジェクトの間の照合で類似度が生起する確率と、相違するオブジェクトの間の照合で類似度が生起する確率とを予め備えたモデルを用いて変換する変換工程と、
   前記変換工程において変換された類似度に基づいて、前記第１の画像及び前記第２の画像に含まれるオブジェクトが同一であるか否かの結果を出力する出力工程とを有することを特徴とするオブジェクト識別方法。
10. オブジェクトを含む画像であって、予め登録されている第１の画像と、識別する対象である第２の画像とを取得する取得工程と、
    前記第１の画像及び前記第２の画像からそれぞれ特徴を抽出する特徴抽出工程と、
    前記特徴抽出工程において抽出された特徴を照合して前記第１の画像及び前記第２の画像に含まれるオブジェクトの類似度を算出する類似度算出工程と、
    前記類似度算出工程において算出された類似度を、前記第１の画像及び前記第２の画像に係る変動要因の差において同一のオブジェクトの間の照合で類似度が生起する確率と、相違するオブジェクトの間の照合で類似度が生起する確率とを予め備えたモデルを用いて変換する変換工程と、
    前記変換工程において変換された類似度に基づいて、前記第１の画像及び前記第２の画像に含まれるオブジェクトが同一であるか否かの結果を出力する出力工程とをコンピュータに実行させることを特徴とするプログラム。

Images