JP4582702B2

JP4582702B2 - 画像認識装置

Info

Publication number: JP4582702B2
Application number: JP2004337465A
Authority: JP
Inventors: 賢治松尾; 真幸橋本; 淳小池
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2004-11-22
Filing date: 2004-11-22
Publication date: 2010-11-17
Anticipated expiration: 2024-11-22
Also published as: JP2006146673A

Description

本発明は、画像認識装置に関し、特に、画像を用いて人物の認証や検索、物体の照合や識別などに用いられ、それを高い信頼性で行うことができる画像認識装置に関する。

近年、店頭で携帯電話を使った電子決済が可能になり、今後利用者が増えることが予想される。携帯電話はその紛失時の悪用を防ぐために４桁数字によるダイヤルロック機能を備えているが、これが電子決済などの利用されることに伴い、より高度なセキュリティを確保することが望まれる。

より高度なセキュリティを確保するために、携帯電話のカメラで撮影された顔画像を画像認識して所有者認証を行う方法が考えられる。この場合、携帯電話や組み込み機器などのＣＰＵ処理能力やメモリ容量は限られているので必要とする計算量と使用するメモリ量は可能な限り少なく、処理負荷の低い画像認識方法が望まれる。また、携帯電話に限らず、高機能なＰＣにおいても認識処理の高速化の観点から処理負荷が低減された画像認識方法が求められている。

従来、処理負荷が低く、高速で認識処理が可能な画像認識方法として、２枚の画像の相関値Cを測定し、その相関値Cの値の大小で判定を行なう画像認識方法が存在する。ここで、ベクトルを〈〉付き文字で表すと、２枚の画像の相関値Cは、各画像をベクトル〈u〉、〈v〉とみなし、次式で表される。
C＝(〈u〉,〈v〉)／｛｜〈u〉｜｜〈v〉｜｝ -1≦C≦1
ここで、(〈u〉,〈v〉)は、ベクトル〈u〉、〈v〉の内積を表し、｜〈u〉｜、｜〈v〉｜はそれぞれ、ベクトル〈u〉、〈v〉の大きさを表す。つまり、２枚の画像の相関値Cは、各画像のベクトル〈u〉、〈v〉の内積を、ベクトル〈u〉、〈v〉それぞれの大きさの積で除したものとして定義される。

相関値Cは、-1〜1の範囲の値を持ち、この値が１に近いほど、ベクトル〈u〉、〈v〉は類似している、すなわち２枚の画像が類似していることを意味する。従って、入力された画像と予め登録された画像の相関値Cを求め、その値が１に近いかどうかで２枚の画像の類似性を判定することができる。具体的には、顔画像を対象として人物の異同判定を行う場合、相関値Cが設定されたしきい値以上であれば両画像の人物は同じ（本人）と判定でき、しきい値未満ならば両画像の人物は異なる（他人）と判定することができる。

図３は、顔画像認証に適用した従来の画像認識装置のブロック構成図である。この画像認識装置は、ある人物の顔を提影して得られる顔画像から、その人物が本人であるか否かを照合もしくはその人物が誰であるかを識別するものであり、機能からすると、予め辞書データを作成して登録する辞書データ作成処理部１と、入力画像から人物の照合および識別を行う画像認識処理部２に大別される。

辞書データ作成処理部１は、データベース１４へ登録するための辞書データを作成する。辞書データの作成に際しては、まず、識別情報IDを持った１名の人物を撮影し、該人物の顔画像を入力する。正規化処理部１１は、入力された顔画像の位置、領域、大きさ、輝度レベルなどを正規化した正規化画像〈ｘ_ＩＤ〉を出力する。

辞書データ作成部１３は、入力された正規化画像〈ｘ_ＩＤ〉に該人物の識別情報IDを添えた辞書データAを作成する。辞書データ作成部１３で作成された辞書データAは、データベース１４に蓄積される。データべース１４には、同様にして作成された他の人物の辞書データB, C,・・・も蓄積される。

以上のようにして各人物の辞書データA, B, C,・・・をデータベース１４に蓄積した後、不特定の人物の顔を撮影し、これにより得られた１枚の顔画像を画像認識処理部２に入力する。正規化処理部２１は、辞書データ登録時と同様に、入力画像を位置、領域、大きさ、輝度などに関して正規化して正規化画像〈ｘ〉を出力する。この正規化画像〈ｘ〉は相関値計算部２３に入力される。

相関値計算部２３は、正規化処理部２１から入力された正規化画像〈ｘ〉とデータベース１４に蓄積されている辞書データA,B,C,・・・内の登録画像を比較し、照合または識別処理を行うための相関値Cを計算する。

照合処理の場合、照合を行ないたい人物の識別情報ID_ｓを指定し、正規化処理部２１から入力された正規化画像〈ｘ〉とデータベース１４に蓄積されている識別情報ID_ｓの人物の辞書データ内の登録画像の相関値Cを求め、その値をしきい値判定部２４に出力する。しきい値判定部２４は、入力された相関値Cがしきい値T以上であれば入力画像の人物が当該人物である(OK)と判定し、しきい値T未満であれば当該人物でない(NG)と判定する。

識別処理の場合には、正規化処理部２１から入力された正規化画像〈ｘ〉とデータベース１４に蓄積されている各人物の辞書データA,B,C,・・・内の登録画像の相関値Cを求め、最大の相関値を示す人物の識別情報ID_ｒとその相関値Cを識別結果として出力する。

下記特許文献１には、入力顔画像をその特徴点がデータベース部の基準顔画像の特徴点と一致するように変形させた後、両画像間の相関を求めることにより、顔の表情や向きが変化したとしても高精度の個人認識を可能にした画像認識装置が記載されている。
特開平１１−１６１７９１号公報

しかしながら、従来の画像認識装置では、元来高い相関を持つような種類の画像を認識の対象とする場合、認識分離するためのしきい値の設定が微妙となり、十分な信頼性で認識分離されるようにしきい値を設定することが困難であるという課題がある。

例えば、顔画像を認識の対象とする場合、顔画像は異なる人物間であっても元来0.9〜0.95程度の比較的高い相関値を示す。したがって、顔画像の相関値のうちのほぼ大半が人物の違いに依存しない共通成分に起因する値で占められており、個人の特徴は残りのわずか0.05〜0.1程度と非常に小さい範囲に含まれていることがわかる。

そのため、顔画像を対象として認識を行う場合、人物間の分離度は低く、識別の合否を判定するための最適なしきい値を設定することは容易ではない。また、個人の特徴よりも照明や表情の変化などが相関値に与える影響の方が相対的に大きくなる場合があり、誤判定を起こしやすいという課題がある。

本発明の目的は、上記課題を解決し、顔画像のように元来高い相関を持つような種類の画像を認識対象とする場合であっても、誤判定を起こすことなく、高い信頼性で画像認識することができる画像認識装置を提供することにある。

上記課題を解決するために、本発明は、予め多数の画像を含んだ基準画像集合から、共通する成分を抽出して低次元の基準画像集合の部分空間を作成する部分空間作成処理部と、対象物認識用辞書データの登録の際に撮影された画像を前記基準画像集合の部分空間に投射し、該画像と該画像が部分空間に投射された成分とのベクトル差である補空間上のベクトルを求めて対象物認識用辞書データを作成し登録する辞書データ作成処理部と、撮影された対象物画像を前記基準画像集合の部分空間に投射し該対象物画像と該対象物画像が部分空間に投射された成分とのベクトル差である補空間上のベクトルを求めて、前記辞書データ作成処理部により登録された対象物認識用辞書データとの相関値を求めることにより対象物を認識する画像認識処理部とを備えたことを特徴としている。

ここで、前記部分空間作成処理部を、照明条件を様々に変えて撮影された画像を含む基準画像集合から低次元の基準画像集合の部分空間を作成するものとすることができる。また、認識処理の対象を人物の顔画像とすることができる。

本発明では、対象物の特徴を多く含む成分である補空間上のベクトルの相関値を求め、該相関値により対象物を認識するので、元来高い相関を持つような種類の画像を認識対象とする場合であっても対象物間の認識分離度を高くすることができ、認識精度を向上させることができる。すなわち画像を用いて人物の認証や検索および物体の照合や識別などを行う画像認識装置において、認識の信頼性を高めることができる。特に人物の顔画像は、異なる人物間であっても元来高い相関値を持つので本発明を適用して有効である。

また、照明条件を様々に変えて撮影された画像を基準画像集合に含ませることにより、照明などの撮影条件の変化に耐性のある画像認識を可能にすることができる。

以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る画像認識装置の一実施形態を示すブロック図であり、図３と同一あるいは同等部分には同じ符号を付してある。以下では、人物の顔画像を認識の対象とした場合を例として説明するが、本発明における認識の対象は、人物の顔画像に限定されず、その他の任意の画像とすることができる。

図１の画像認識装置は、機能からすると、予め多数の顔画像からそれらに共通する成分を抽出する基準顔画像集合の部分空間作成処理部３と、予め辞書データを作成して登録する辞書データ作成処理部１、と入力画像から人物を照合および識別する画像認識処理部２に大別される。

基準顔画像集合の部分空間作成処理部３は、予め多数の人物の顔画像集合に共通する成分、すなわち固有ベクトル〈e1〉,〈e2〉,・・・を抽出して低次元の部分空間を作成する。

そのために、まず、撮影された多数の人物の顔画像〈yi〉を正規化処理部３１に入力する。正規化処理部３１は、入力された顔画像〈yi〉の位置、領域、大きさ、輝度レベルなどを正規化した正規化画像を出力する。これらを基準画像集合と定義する。

次に、基準画像集合を自己相関行列作成部３２に入力して、基準画像集合の自己相関行列［R］を求める。ここでは行列を［］付き文字で表すこととする。
自己相関行列［R］は、次式で定義できる。なお、式中の「T」は転置操作を意味する。

次に、自己相関行列［R］を固有ベクトル算出部３３に入力する。固有ベクトル算出部３３は、入力された自己相関行列［R］から基準画像集合の部分空間を張る固有ベクトル〈e1〉,〈e2〉,・・・を算出して低次元の部分空間を作成する。

ここで、図２に示すように、基準画像集合の部分空間と正規化された顔画像〈ｘ〉をその部分空間に投射した場合の補空間上のベクトル〈Δｘ〉を考える。

この場合、正規化された顔画像〈ｘ〉を基準画像集合の部分空間に投射することにより得られるベクトルは、正規化された顔画像〈ｘ〉の中の基準画像集合内の全ての人物の顔画像に共通する成分に相当するので、正規化された顔画像〈ｘ〉から該ベクトルを差し引けば、この部分空間上に投射された基準画像集合内の全ての人物の顔画像に共通する成分を取り除くことができる。

すなわち、正規化された顔画像〈ｘ〉から全ての人物の顔画像に共通する成分（部分空間上に投射されたベクトル）を取いた結果、その残差は基準顔画像集合の部分空間の補空間上に含まれる。そして、その残差である補空間上のベクトル〈Δｘ〉は個人の特徴を多く含む成分となるので、補空間上のベクトル〈Δｘ〉を相関値算出の対象とすることによって、顔画像が元来高い相関を持つにも拘わらず、人物間を良好に認識分離することができる。

照明条件を様々に変えて撮影した顔画像を基準画像集合に含めた場合、照明変動を吸収できる部分空間を作成することができる。すなわち、補空間上のベクトル〈Δｘ〉は、常にその部分空間と垂直なベクトルとして算出されるため、照明変動の成分を含まないベクトルとなる。したがって、補空間上のベクトル〈Δｘ〉を用いることによって、照明などの撮影条件の変化に耐性のある顔画像認識が可能となる。

補空間への投射部１２は、入力された正規化画像〈ｘ_ＩＤ〉を基準画像集合の部分空間作成処理部３で作成された部分空間に投射して、その補空間上のベクトル〈Δｘ_ＩＤ〉を求める。補空間上のベクトル〈Δｘ_ＩＤ〉は辞書データ作成部１３の入力となる。

具体的には、補空間上のベクトル〈Δｘ_ＩＤ〉は、基準画像集合の部分空間作成処理部２の固有ベクトル算出部２３で求められた固有ベクトル〈e1〉,〈e2〉,・・・を用いて次式によって求めることができる。
〈Δｘ_ＩＤ〉＝(〈Δｘ_ＩＤ〉,〈e1〉)〈e1〉+(〈Δｘ_ＩＤ ^１〉,〈e2〉)〈e2〉+(〈Δｘ_ＩＤ ^２〉,〈e3〉)〈e3〉+・・・+(〈Δｘ_ＩＤ ^ｉ−１〉,〈ei〉)〈ei〉+・・・
〈Δｘ_ＩＤ ^１〉＝(〈Δｘ_ＩＤ〉,〈e1〉)〈e1〉
〈Δｘ_ＩＤ ^２〉＝(〈Δｘ_ＩＤ ^１〉,〈e2〉)〈e2〉
・・・
〈Δｘ_ＩＤ ^ｉ〉＝(〈Δｘ_ＩＤ ^ｉ−１〉,〈ei〉)〈ei〉
・・・

辞書データ作成部１３は、入力された補空間上のベクトル〈Δｘ_ＩＤ〉に該人物の識別情報IDを添えた辞書データAを作成する。辞書データ作成部１３で作成された辞書データAは、データベース１４に蓄積される。データベース１４には、同様にして作成された他の人物の辞書データB, C,・・・も蓄積される。

以上のようにして各人物の辞書データA, B, C,・・・をデータベース１４に蓄積した後、不特定の人物の顔を撮影し、これにより得られた１枚の顔画像を画像認識処理部２に入力する。正規化処理部２１は、辞書データ登録時と同様に、入力画像を位置、領域、大きさ、輝度などに関して正規化して正規化画像〈ｘ〉を出力する。この正規化画像〈ｘ〉は、補空間への投射部２２に入力される。

補空間への投射部２２は、辞書データ作成処理部１と同様に、入力された正規化画像〈ｘ_ＩＤ〉を基準画像集合の部分空間作成処理部３で作成された部分空間に投射して、その補空間上のベクトル〈Δｘ_ＩＤ〉を求める。この補空間上のベクトル〈Δｘ_ＩＤ〉は相関値計算２３に入力される。

相関値計算部２３は、補空間への投射部２２から入力された補空間上のベクトル〈Δｘ_ＩＤ〉とデータベース１４に蓄積されている辞書データA,B,C,・・・内の登録ベクトルを比較し、照合または識別処理を行うための相関値Cを計算する。

照合処理の場合、照合を行ないたい人物の識別情報ID_ｓを指定し、補空間への投射部２２から入力された補空間上のベクトル〈Δｘ_ＩＤ〉とデータベース１４に蓄積されている識別情報ID_ｓの人物の辞書データ内の登録ベクトルの相関値Cを求め、その値Cをしきい値判定部２４に出力する。しきい値判定部２４は、入力された相関値Cがしきい値T以上であれば入力画像の人物が当該人物である(OK)と判定し、しきい値T未満であれば当該人物でない(NG)と判定する。

識別処理の場合には、補空間への投射部２２から入力された補空間上のベクトル〈Δｘ_ＩＤ〉とデータベース１４に蓄積されている各人物の辞書データA,B,C,・・・内の登録ベクトルの相関値Cを求め、最大の相関値を示す人物の識別情報ID_ｒとその相関値Cを識別結果として出力する。

本発明は、画像を基準画像集合部分空間に投射し、その補空間上のベクトルを利用し、しかもその相関値を求めて画像認識するので、携帯電話や組み込み機器などでＣＰＵ処理能力やメモリ容量は限られている場合でも問題のない画像認識を実現することができるとともに、画像認識の精度を高めることができる。

本発明を携帯電話のカメラで撮影された顔画像を利用した所有者認証に適用すれば、バイオメトリック認証という高度な所有者認証を高い信頼性で行うことができ、携帯電話紛失時の悪用を防ぐことができる。

また、本発明は、１人の人物の表情を精度よく分析する表情分析などにも適用できる。これは、１人の人物の多様な顔画像を基準画像集合とし、上記と同様に補間空間上のベクトルを利用して、笑い顔、泣き顔、怒り顔などについての辞書データの作成および画像認識を行うことで実現できる。

本発明に係る画像認識装置の一実施形態を示すブロック図である。基準画像集合の部分空間とその補空間上のベクトルの説明図である。従来の画像認識装置を示すブロック図である。

符号の説明

１・・・辞書データ作成処理部、２・・・画像認識処理部、３・・・基準画像集合の部分空間作成処理部、１１，２１，３１・・・正規化処理部、１２，２２・・・補空間への投射部、１３・・・辞書データ作成部、１４・・・データベース、２３・・・相関値計算部、２４・・・しきい値判定部、３２・・・自己相関行列作成部、３３・・・固有ベクトル算出部

Claims

予め多数の画像を含んだ基準画像集合から共通する成分を抽出して低次元の基準画像集合の部分空間を作成する部分空間作成処理部と、
対象物認識用辞書データの登録の際に撮影された画像を前記基準画像集合の部分空間に投射し、該画像と該画像が部分空間に投射された成分とのベクトル差である補空間上のベクトルを求めて対象物認識用辞書データを作成し登録する辞書データ作成処理部と、
撮影された対象物画像を前記基準画像集合の部分空間に投射し該対象物画像と該対象物画像が部分空間に投射された成分とのベクトル差である補空間上のベクトルを求めて、前記辞書データ作成処理部により登録された対象物認識用辞書データとの相関値を求めることにより対象物を認識する画像認識処理部とを備えたことを特徴とする画像認識装置。
前記部分空間作成処理部は、照明条件を様々に変えて撮影された画像を含む基準画像集合から低次元の基準画像集合の部分空間を作成することを特徴とする請求項１に記載の画像認識装置。
認識処理の対象を人物の顔画像とすることを特徴とする請求項１または２に記載の画像認識装置。