JP6626259B2 - 画像認識装置、画像認識方法、及び画像認識プログラム - Google Patents

Description

本発明は、画像認識装置、画像認識方法、及び画像認識プログラムに関するものである。

画像内に存在する物体の位置を特定した上で、その大きさを揃える位置合わせ技術は画像認識全般で非常に重要である。例えば、顔の位置や大きさを一定に揃えるために非特許文献６のように、目尻や目頭など顔表面のより細かな特徴点を抽出し、抽出した特徴点に基づいて顔の大きさや位置を一定に揃えるような技術がある。

このような位置合わせ技術をベースとした画像認識技術の中に、映像中の顔が誰かを特定する顔認証技術がある。例えば、非特許文献１のように、顔の位置や大きさを一定に揃えた入力輝度顔画像からLocal Binary Pattern（以下、ＬＢＰ特徴）と呼ばれる特徴量を抽出する。そして、入力輝度顔画像から抽出した特徴量と、予め登録しておいた輝度顔画像から抽出した特徴量とを比較することで、入力された顔が誰かを特定するものである。

なお、特徴量を抽出する領域は画像を均等に分割するのではなく、目尻や目頭など顔表面のより細かな特徴点を基準として設定した方が顔の向きなどにも頑健になる。このような顔認証技術は、これまでデジタルカメラのオートシャッターや入退出管理に見られるように、撮像装置から被写体までの距離が近いなど比較的に良好な撮影条件で用いられてきた。

近年では、監視カメラで取得されるような遠方にある小さい顔やボケなどが生じている低解像顔画像に対する顔認証の研究がなされており、これに対応する１つの手段として画像の高解像化がある。つまり、低解像顔画像を前処理で高解像化し、情報量を回復させた上で顔認証を行うというものである。画像の高解像化技術は、例えば、非特許文献２のように、ある人物の顔を別人の顔の線形和で近似するhallucinationという技術が提案されている。

T. Pajdla, and J. Matas, "Face Recognition with Local Binary Patterns", ECCV, pp. 469 − 481, 2004 K. Huang, R. Hu, "Face hallucination via K−selection mean constrained sparse representation", ICIP, pp. 882 − 885, 2012 M. Turk, A. Pentland, Eigenfaces for Recognition, Journal of Cognitive Neurosicence, Vol. 3, No. 1, 1991, pp. 71−86 B. Li, H. Chang, "Hallucinating Facial Images and Features", ICPR, pp. 1−4, 2008 P. Viola, M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", in Proc. Of CVPR, vol.1, pp.511−518, December, 2001 T. F. Cootes， C. J. Taylor, D. H. Cooper, and J. Graham, "Active Shape Models −Their Training and Application", Computer Vision and Image Understanding, Vol. 61, No. 1, January, pp. 38 − 59, 1995 I. Kemelmacher−Shlizerman, "3D Face Reconstruction from a Single Image Using a Single Reference Face Shape", PAMI, pp. 394 − 405, 2011

上述したhallucination技術のような画像の高解像化技術は、画像を複数のブロックに分割し、分割されたブロックごとに高解像化を行っているため、顔の位置や大きさを一定に揃える必要がある。しかしながら、高解像化される前の低解像度の画像（低解像画像）は情報量が大きく失われているため、顔や目などの位置を正確に検出することは期待できないという問題があった。本発明は上記課題に鑑みなされたものであり、遠方にあるような小さい顔やボケ、更にはノイズが含まれる顔画像に対しても正確な位置合わせをすることができるとともに、高精度な顔認証を実現することができる技術を提供することを目的とする。

上記目的を達成するために、本発明の画像認識装置は、
複数の登録画像を、前記登録画像に写っている各顔器官の顔器官位置と関連付けて記憶する登録手段と、
入力画像の顔領域全体と前記複数の登録画像の各登録画像の顔領域全体とを比較して、前記入力画像と前記登録画像との顔類似度を算出し、前記顔類似度に基づいて前記入力画像に対応する前記登録画像を探索し、当該対応する登録画像に関連付けて記憶されている前記顔器官位置を、前記入力画像の顔器官位置として設定する設定手段と、
前記設定手段が設定した前記顔器官位置に基づいて前記入力画像の各顔器官の特徴量を抽出し、かつ、前記登録手段が記憶している前記顔器官位置に基づいて前記各登録画像の各顔器官の特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段が抽出した前記入力画像の各顔器官の特徴量と前記各登録画像の各顔器官の特徴量との顔器官類似度を算出し、算出された前記顔器官類似度に基づいて前記入力画像に写っている顔と前記各登録画像に写っている顔が同一人物の顔か識別する顔識別手段と、
を備えることを特徴とする。

本発明により、遠方にあるような小さい顔やボケ、更にはノイズが含まれる顔画像に対しても正確な位置合わせをすることができるとともに、高精度な顔認証を実現することができる。

第１の実施形態の画像認識装置の構成を示すブロック図である。 第１の実施形態の全体処理及び顔画像登録モードにおける処理を示すフローチャートである。 第１の実施形態の顔識別モードにおける処理を示すフローチャートである。 ステップＳ１４０１における顔器官位置設定処理の詳細を示すフローチャートである。 ステップＳ１４１１における変換画像生成処理を解説する図である。 ステップＳ１４１２における変換画像と登録画像のペアを探索する処理を解説する図である。 ステップＳ１４１３における登録画像の顔器官位置を変換画像の顔器官位置に設定する処理を解説する図である。 ステップＳ１７０１における変換画像の顔器官の特徴量と登録画像の顔器官の特徴量との類似度を算出する処理を解説する図である。 第２の実施形態の画像認識装置の構成を示すブロック図である。 第２の実施形態の顔識別モードにおける処理を示すフローチャートである。 第２の実施形態における登録画像、変換画像、高解像化した変換画像、登録画像の関係を解説する図である。 hallucination技術により低解像顔画像から高解像顔画像を生成した時の高解像顔画像の破綻を示す図である。 第３の実施形態の画像認識装置の構成を示すブロック図である。 第３の実施形態の顔識別モードにおける処理を示すフローチャートである。 第３の実施形態のステップＳ２４０１からステップＳ２８０１までの処理を詳細に示すフローチャートである。 第３の実施形態の特徴を示す図である。 第３の実施形態における登録画像、変換画像、２回変換画像の関係を解説する図である。 第３の実施形態における２回変換画像、２回変換高解像画像、登録画像の関係を解説する図である。 第３の実施形態における２回変換高解像画像、登録画像の関係を解説する図である。 本発明の第１〜第３の実施形態に係る画像認識装置のハードウェア構成の一例を示す図である。

顔認証技術全体の処理に注目すると、顔認証では予め特定したい人物の顔画像を登録する登録処理が存在する。登録処理で登録される顔画像は、その場で撮影して取得する場合や既に撮影した顔画像をフラッシュメモリなどのインターフェイスを介して取得する場合が多く、比較的に高解像な顔画像であることが多い。
本発明では、従来のように入力された低解像顔画像に対して顔特徴点検出技術を適用して位置合わせをするのではなく、登録処理で登録された顔画像から検出した顔特徴点を入力された低解像顔画像に適用することで位置合わせを行う。
また、これに加え、高解像化技術に対して位置ズレに頑健な本発明の技術を組み込むことで、低解像顔画像に対する顔認証精度を大幅に向上させることができる。

［第１の実施形態］
第１の実施形態では、登録処理で登録された顔画像から検出した顔器官位置を入力低解像顔画像の顔器官位置に設定し、顔認識を実行する。以下で、その詳細を説明する。

＜ハードウェア構成＞
図１４に、本実施形態における画像認識装置のハードウェア構成の一例を示す。画像認識装置１４００は、ＣＰＵ（Central Processing Unit）１４０１、ＲＯＭ（Read Only Memory）１４０２、ＲＡＭ（Random Access Memory）１４０３を備える。更に、二次記憶装置１４０４、表示部１４０５、操作部１４０６、ネットワーク通信部１４０７、ネットワーク接続部１４０８、ＵＳＢ通信部１４０９、ＵＳＢ接続部１４１０、および接続バス１４１１を備える。
ＣＰＵ１４０１は、ＲＯＭ１４０２やＲＡＭ１４０３に格納された制御プログラムを実行することにより、本装置全体の制御を行う。

ＲＯＭ１４０２は、不揮発性メモリであり、制御プログラムや各種パラメタデータを記憶する。制御プログラムは、ＣＰＵ１４０１で実行され、後述する各処理を実行するための手段として、当該装置を機能させる。
ＲＡＭ１４０３は、揮発性メモリであり、画像データや制御プログラムおよびその実行結果を一時的に記憶する。

二次記憶装置１４０４は、ハードディスクやフラッシュメモリなどの書き換え可能な二次記憶装置であり、ＯＳ（Operating System）、アプリケーションプログラム、画像データなどを記憶する。
ＣＰＵ１４０１は、二次記憶装置１４０４に記憶されているプログラムやＯＳをメモリ１４０３に読み出す。そして、メモリ１４０３上で当該プログラムを実行することで、画像認識装置の各種の機能を実現することができる。

なお、プログラムの実行は、１つのプロセッサにより行われてもよいし、複数のプロセッサが協働することでプログラムが実行される場合であってもよい。また特定の処理を実行するための専用回路（ＡＳＩＣ）を設け、その特定の処理については、専用回路が実行する場合であってもよい。
また、後述する処理を記述したソフトウェア（プログラム）をネットワークまたは各種記憶媒体を介して取得して実行してもよい。

表示部１４０５は、ＬＣＤ等の表示装置から構成される。操作部１４０６は、キーボードやマウス等の入力装置から構成される。ネットワーク通信部１４０７は、画像認識装置をネットワークに接続して各種通信を行う。ネットワーク接続部１４０８は、ネットワーク通信部１４０７をネットワーク媒体に接続する。

ネットワーク通信部１４０７とネットワーク接続部１４０８は、有線ＬＡＮと無線ＬＡＮの内、少なくともいずれかに対応する。これらの具体的な形態は、対応ＬＡＮに応じて必要な機能及び形態をとる。ＵＳＢ通信部１４０９は、各種周辺装置とＵＳＢインターフェイスを介して通信する。ＵＳＢ接続部１４１０は、ＵＳＢコネクタから構成される。
接続バス１４１１は、ＣＰＵ１４０１、ＲＯＭ１４０２、ＲＡＭ１４０３、二次記憶装置１４０４などを接続して相互にデータの入出力を行う。

＜機能構成＞
図１は、第１の実施形態における画像認識装置の機能構成の一例を示したブロック図である。図１に示すように、本実施形態の機能構成は、画像取得部１１０、顔位置検出部１２０、顔器官位置検出部１３０、顔器官位置設定部１４０、特徴抽出部１５０、顔画像登録部１６０、及び顔識別部１７０を含む。

画像取得部１１０は、複数の登録用の画像を取得する。登録用の画像または登録された画像を、登録画像とも記載する。
また、画像取得部１１０は、登録画像と一致するか判断される対象となる画像（以下、「入力画像」とも記載する）を取得する。
顔位置検出部１２０は、入力画像および登録画像に写っている顔の位置を検出する。

顔器官位置検出部１３０は、登録画像に関しては、登録画像に写っている各顔器官（右目、左目、口など）の位置を検出する。
顔器官位置検出部１３０は、入力画像に関しては、入力画像に写っている各顔器官の位置は検出しない。

顔器官位置設定部１４０は、入力画像の顔領域全体と複数の登録画像の各登録画像の顔領域全体とを比較して、入力画像と登録画像との顔類似度を算出し、入力画像と対応するペアとなる登録画像を探索する。ここでは、入力画像との顔類似度が最も高くなる登録画像を探索する。そして、顔類似度が最も高くなる登録画像に関連付けて記憶されている顔器官位置を、入力画像の顔器官位置として設定する。なお、この探索は、特徴を抽出する基準となる顔器官位置を設定するためのものであり、顔類似度が最も高くなる登録画像ではなく、顔類似度が所定の閾値より高い登録画像を探索するようにしてもよい。以下の探索でも同様である。

また顔器官位置設定部１４０は、
入力画像から顔の大きさ、顔の位置、顔の向きの少なくとも１つが異なる複数の変換画像を生成し、生成された複数の変換画像のそれぞれと、複数の登録画像のそれぞれとの顔類似度を算出し、
顔類似度が最も高くなる変換画像と登録画像とのペアを探索し、
顔類似度が最も高くなる登録画像に関連付けて記憶されている顔器官位置を、顔類似度が最も高くなる変換画像の顔器官位置として設定する、ことが好ましい。

特徴抽出部１５０は、登録画像に関しては、顔器官位置検出部１３０が検出した顔器官位置に基づいて、登録画像の各顔器官の特徴量を抽出する。
特徴抽出部１５０は、入力画像に関しては、顔器官位置設定部１４０が設定した顔器官位置に基づいて、入力画像の変換画像から各顔器官の特徴量を抽出する。

顔画像登録部１６０は、複数の登録画像を、各登録画像に写っている各顔器官の位置と、各顔器官の特徴量（右目の特徴量、左目の特徴量、口の特徴量など）と、関連付けて記憶する。
例えば、
第１の登録画像を、
第１の登録画像に写っている右目の位置、左目の位置、口の位置と、
第１の登録画像に写っている右目の特徴量、左目の特徴量、口の特徴量と、
関連付けて記憶する。

顔識別部１７０は、特徴抽出部１５０が抽出した入力画像の各顔器官の特徴量と、特徴抽出部１５０が抽出し、顔画像登録部１６０が記憶している各登録画像の各顔器官の特徴量との顔器官類似度を算出する。そして、算出された顔器官類似度に基づいて入力画像に写っている顔と各登録画像に写っている顔が同一人物の顔か識別する。

図２および図３は、本発明の第１の実施形態の全体フローを示しており、以下では、この全体フローを利用して第１の実施形態を詳細に説明する。
図２（ａ）のステップＳ１００１では、まず、登録モードが選択されているかどうかを判定する。登録モードが選択されている場合には、顔画像登録モードに進む。

＜顔画像登録モード＞
図２（ｂ）のステップＳ１１０１では、画像取得部１１０において、登録画像を取得する。画像取得部１１０は、レンズなどの集光素子、光を電気信号に変換するＣＭＯＳやＣＣＤなどの撮像素子、アナログ信号をデジタル信号に変換するＡＤ変換器を通過することによって、得られたデジタル画像データを取得する。また、間引き処理等を行うことによって、例えば、ＶＧＡ（６４０×４８０［ｐｉｘｅｌ］）やＱＶＧＡ（３２０×２４０［ｐｉｘｅｌ］）に変換した顔画像を取得することも可能である。また、撮影の他もフラッシュメモリなどを通じて登録画像を取得することもできる。従って、登録画像は比較的に高解像度の顔画像が登録される。

ステップＳ１２０１では、顔位置検出部１２０が、非特許文献５のような技術を利用して顔や左右の目や口などの重心位置を検出する。
ステップＳ１２０２では、ステップＳ１２０１で検出した顔や左右の目や口などの重心位置からアフィン変換などを利用して顔の大きさが所定のサイズ、顔の向きが正立するような第１の正規化画像を生成する。なお、顔の大きさは左右の目の間のユークリッド距離として定義する方法などがある。

ステップＳ１３０１では、顔器官位置検出部１３０が、ステップＳ１２０１で生成した第１の正規化画像に対して、非特許文献６のような技術を利用して目尻や目頭などのより細かな顔器官位置を検出する。
ステップＳ１３０２では、ステップＳ１３０１で検出した目尻や目頭などのより細かな特徴点の重心位置を利用して顔の大きさが所定のサイズ、顔の向きが正立するような第２の正規化画像を生成する。

ステップＳ１５０１では、ステップＳ１３０１で検出した顔器官位置に基づいて、ステップＳ１３０２で生成された第２の正規化画像に対して特徴抽出領域を設定し、その領域から非特許文献１のようなＬＢＰ特徴を抽出する。
ステップＳ１６０１では、顔画像登録部１６０が、個人ＩＤ、ステップＳ１３０１で検出された顔器官位置、ステップＳ１３０２で生成された第２の正規化画像、ステップＳ１５０１で生成された特徴量をメモリなどに記憶する。
なお、従来の顔認証ではステップＳ１６０１においては、ステップＳ１３０１で検出された顔器官位置やステップＳ１３０２で生成された第２の正規化画像は記憶せず、個人ＩＤと特徴量だけを記憶するケースが一般的である。

以上の処理が顔画像登録モードで実施される登録処理である。なお、ステップＳ１５０１では正規化画像に対して特徴抽出を行い、ステップＳ１６０１で抽出した特徴量もメモリに記憶している。しかし、個人ＩＤ、ステップＳ１３０１で検出された顔器官位置、ステップＳ１３０２で生成された正規化画像までを記憶しておき、登録処理では特徴抽出を行わないでおく。そして、顔識別モード時に、入力画像から特徴抽出を行うと共に、登録画像からも特徴抽出を行うようにしても良い。

＜顔識別モード＞
図２（ａ）のステップＳ１００１で、顔識別モードが選択された場合には、顔識別モードに進む。
図３のステップＳ１１０２からステップＳ１２０４までの処理は、顔画像登録モードにおけるステップＳ１１０１からステップＳ１２０２までの処理と同じため、説明を省略する。但し、本発明の第１の実施形態では、顔識別モードで取得される顔画像は、遠方にある小さい顔やぼけている顔などの低解像顔画像としている。

ステップＳ１４０１では、本実施形態のポイントとなる顔器官位置設定部１４０における顔器官位置設定処理について説明する。
図４は、ステップＳ１４０１における顔器官位置設定処理の詳細な処理フローを示している。
図５は、ステップＳ１４１１における変換画像生成処理を解説した図である。
ステップＳ１４１１では、図５に示すようにステップＳ１２０４で生成された第１の正規化画像からスケール（サイズ）、シフト量、回転量の異なる複数の変換画像を生成する。スケール、シフト量、回転量の異なる複数の変換画像は、例えば、アフィン変換を用いて生成する。

図６Ａは、ステップＳ１４１２における変換画像と登録画像とのペアを探索する処理を解説した図である。
ステップＳ１４１２では、図６Ａに示すようにステップＳ１４１１で生成されたスケール、シフト量、回転量の異なる複数の変換画像と、登録画像とのマッチングを行うことで最も類似度の高くなる変換画像と登録画像とのペアを探索する。マッチングには、例えば、正規化相互相関などを用いる。

なお、スケール変換によって複数の変換画像が生成される。シフト変換によっても、回転変換によっても複数の変換画像が生成される。また、スケール変換、シフト変換、回転変換は適宜組み合わせても良い。スケール変換し、かつシフト変換しても良い。また、回転変換し、かつスケール変換し、かつシフト変換しても良い。

図６Ｂは、ステップＳ１４１３における登録画像の顔器官位置を変換画像の顔器官位置に設定する処理を解説した図である。
ステップＳ１４１３では、図６Ｂに示すようにステップＳ１４１２で探索された登録画像（図６Ｂの例では第１の登録画像）の顔器官位置を、変動画像（図６Ｂの例では第１の変換画像）の顔器官位置として設定する。なお、登録画像の顔器官位置は上述のようにステップＳ１３０１での顔器官位置検出の結果である。

従来の顔認証では、ステップＳ１２０４で生成された第１の正規化画像に対してステップＳ１３０１と同様に顔器官位置検出を行っていた。しかしながら、ステップＳ１２０４で生成された第１の正規化画像が低解像画像である場合には、顔器官位置検出を実施しても正しい位置が得られない。但し、低解像画像であっても顔の輪郭情報など比較的に低周波成分の情報だけは残されている。

従って、本実施形態では、ステップＳ１２０４で生成された第１の正規化画像に対しては顔器官位置検出を実施しない。その代わりに、ステップＳ１２０４で生成された第１の正規化画像との顔全体の見た目のマッチングを行うことで、変換画像と最も類似度の高い登録画像を探索し、最も類似度が高い登録画像の顔器官位置検出結果を、変換画像の顔器官位置として利用する。

ステップＳ１５０２では、ステップＳ１４１３で設定された登録画像の顔器官位置検出の結果を利用して、特徴抽出領域を設定し、その領域に対して特徴抽出を行う。
ステップＳ１７０１では、ステップＳ１５０２で抽出された特徴量と、ステップＳ１６０１で記憶された特徴量との類似度（顔器官類似度）を算出し、個人を識別する。
例えば、図６Ｃに示すように、第１の変換画像の各顔器官と第１の登録画像の各顔器官の類似度、第１の変換画像の各顔器官と第２の登録画像の各顔器官の類似度を算出する。そして、算出された顔器官類似度に基づいて、第１の入力画像に写っている人物と第１の登録画像に写っている人物とが同一人物か、第１の入力画像に写っている人物と第２の登録画像に写っている人物とが同一人物かを識別する。

［第２の実施形態］
第２の実施形態では、入力画像の顔器官位置を設定した後に、入力画像の変換画像を高解像化する。そしで、高解像化した変換画像の各顔器官と、登録画像の各顔器官の類似度を算出し、算出された類似度（顔器官類似度）に基づいて、入力画像に写っている人物と登録画像に写っている人物が同一人物かを識別する。

＜機能構成＞
図７Ａは、第２の実施形態における画像認識装置の機能構成の一例を示したブロック図である。図７Ａに示すように、本実施形態の機能構成２００は、画像取得部１１０、顔位置検出部１２０、顔器官位置検出部１３０、顔器官位置設定部１４０、特徴抽出部１５１、顔画像登録部１６０、及び顔識別部１７１、並びに高解像顔画像生成部２１０を含む。

図７Ａに示す第２の実施形態における画像認識装置２００と、図１に示す第１の実施形態における画像認識装置１００との違いは以下のとおりである。
画像認識装置２００は高解像顔画像生成部２１０を有するが、画像認識装置１００は高解像顔画像生成部２１０に相当する機能部は有しない。
高解像顔画像生成部２１０は、顔類似度が最も高くなる変換画像から高解像顔画像を生成する。

特徴抽出部１５１は、入力画像に関しては、顔器官位置設定部１４０が設定した顔器官位置に基づいて、入力画像の変換画像を高解像化した画像（高解像化された変換画像）から各顔器官の特徴量を抽出する。
顔識別部１７１は、高解像顔画像の各顔器官の特徴量と、各登録画像の各顔器官の特徴量との顔器官類似度を算出し、算出された顔器官類似度に基づいて、入力画像に写っている顔と各登録画像に写っている顔が同一人物の顔か識別する。

図７Ｂは、第２の実施形態における顔識別モードにおける処理の流れを示すフローチャートである。図７ＢのステップＳ１１０２からステップＳ１４０１までの処理は、図３のステップＳ１１０２からステップＳ１４０１までの処理と同じため、説明を省略する。
図７Ｃは、第２の実施形態における一連の処理の流れを示すフローチャートである。

ステップＳ１４５０では、高解像顔画像生成部２１０が変換画像を高解像化する。高解像化される変換画像は、前記のマッチングの結果、顔器官位置設定部１４０が変換画像と登録画像とのペアの中で最も類似度（顔類似度）が高いと判断したペアの変換画像である。
ステップＳ１５０２では、特徴抽出部１５１が高解像化された変換画像から特徴量を抽出する。
ステップＳ１７０１では、特徴抽出部１５１が高解像化された変換画像から抽出した特徴量と、特徴抽出部１５１によって登録画像から抽出され顔画像登録部１６０に記憶されている特徴量との類似度（顔器官類似度）が算出される。そして、算出された顔器官類似度に基づいて、顔識別部１７０が入力画像に写っている人物と登録画像に写っている人物とが同一人物かを識別する。

［第３の実施形態］
まず、始めに高解像顔画像生成技術であるhallucination技術について説明する。
・hallucination技術の説明
hallucination技術は、低解像顔画像から高解像顔画像を生成する技術である。その原理の概要は、入力された低解像顔画像を他人の高解像顔画像で近似するというものである。詳細を説明する。

まずは、予め様々な人物の顔画像を利用して高解像と低解像がペアとなっている高解像化辞書（数式１）を学習により用意する。
高解像と低解像のペアは数式２に示すように複数格納されている。
また、高解像化辞書を構成する第１のペア、第１のペアを構成する低解像辞書、第１のペアを構成する高解像辞書のそれぞれを数式３のように記述すると、高解像化辞書と低解像辞書と高解像辞書との関係は数式４のとおりである。

高解像化辞書Ｄとして輝度画像を用いる場合には、高解像の輝度画像と低解像の輝度画像がペアとなって格納される。例えば、高解像の輝度画像は、映像中の顔が誰かを特定することが十分に可能なくらい鮮明な画像である。一方、低解像の輝度画像は、顔が小さすぎるために又は顔がボケているために映像中の顔が誰かを特定するのが難しい画像となる。

次に、入力された低解像顔画像Ｉ_Ｌから低解像部分画像を切り出し、この低解像部分画像を高解像化辞書Ｄに記憶されている高解像と低解像のペア辞書のうち、低解像辞書の線形和で近似する。数式５は近似の結果である。
これにより、低解像部分画像を近似する低解像辞書と結合係数α（α１、α２、α３、．．．）が求まり、そして、低解像辞書に対応する高解像辞書と結合係数α（α１、α２、α３、．．．）を用いて高解像部分画像を生成する。数式６は生成された高解像部分画像を表す式である。

なお、高解像化辞書Ｄは輝度画像ではなく、エッジなどのような顔画像に共通な基底画像を利用しても良い。基底画像の例としては、非特許文献３のように主成分分析による固有顔などがある。

次にhallucination技術の問題点を説明する。
・hallucination技術の問題点
hallucination技術では、低解像顔画像を複数のブロックに分割し、各ブロック毎に高解像化辞書Ｄを利用して高解像化を行うため、目や口などの位置を所定の位置に合わせるような高精度な位置合わせが必要である。もし、高精度な位置合わせができていない場合には、生成された高解像顔画像が部分的に破綻してしまい、十分な顔認証精度を実現できない可能性がある。

例えば、図８のように低解像顔画像１８００１から高解像度の画像（高解像画像）１８００３を生成した時に、ブロック１８００２に含まれる人の目（左目）は、ブロック１８００２に対応するブロック１８００４においても人の目として認識できる。しかし、ブロック８０１及び８０２にまたがる人の目（右目）は、ブロック８０１及び８０２に対応するブロック８０３及び８０４においては破綻してしまい、人の目として認識することができない。

一方、低解像顔画像１８００１の顔位置を左にシフトした低解像顔画像１８００５から高解像画像１８００７を生成した時には、ブロック１８００６に含まれる人の目（右目）は、当該ブロックに対応するブロック１８００８においても人の目として認識できる。しかし、ブロック８０５及び８０６にまたがる人の目（左目）は、ブロック８０５及び８０６に対応するブロック８０７及び８０８においては破綻してしまい、人の目として認識することができない、というような現象が発生する。
以上のように、hallucination技術では目や口などの位置を所定の位置に合わせることが非常に重要であり、これができていない場合には画像の一部が破綻してしまうような現象が発生する。しなしながら、低解像顔画像に対して高精度な位置合わせをすることは困難である。そこで、第３の実施形態では、高解像化処理で複数の高解像顔画像を生成し、その中から最も類似度が高い領域を利用することによって、破綻していない領域だけを利用して顔認証を行う。以下で、その詳細を説明する。

図９は、第３の実施形態における画像認識装置の機能構成の一例を示したブロック図である。図９に示すように、本実施形態の機能構成は、画像取得部１１０、顔位置検出部１２０、顔器官位置検出部１３０、顔器官位置設定部１４０、特徴抽出部１５２、及び顔画像登録部１６０、並びに高解像画像生成部３１０及び顔識別部３４０を含む。顔識別部３４０は、類似度算出部３２０及び類似度統合部３３０を含む。

画像取得部１１０、顔位置検出部１２０、顔器官位置検出部１３０、顔器官位置設定部１４０、及び顔画像登録部１６０は、第１の実施形態又は第２の実施形態における画像取得部１１０等と同様であるから説明を省略する。

高解像顔画像生成部３１０は、顔類似度が最も高くなる変換画像から、顔の大きさ、顔の位置、顔の向きの少なくとも１つが異なる複数の２回変換画像を生成する。そして、複数の２回変換画像の各２回変換画像から２回変換高解像顔画像（以下では、単に高解像顔画像とも言う）を生成する。

特徴抽出部１５２は、
顔器官位置設定部１４０が設定した顔器官位置に基づいて、２回変換高解像顔画像の各顔器官の特徴量を抽出し、
顔画像登録部１６０が記憶している顔器官位置に基づいて、各登録画像の各顔器官の特徴量を抽出する。

類似度算出部３２０は、２回変換高解像顔画像の各顔器官の特徴量と、各登録画像の各顔器官の特徴量との顔器官類似度を算出する。

類似度統合部３３０は、少なくとも
第１の２回変換高解像顔画像を用いて算出された第１の顔器官についての顔器官類似度の最高値と、
第２の２回変換高解像顔画像を用いて算出された第２の顔器官についての顔器官類似度の最高値と、を統合して統合顔器官類似度を得る。
第１の顔器官とは、例えば右目であり、第２の顔器官とは例えば左目である。

ここで、「少なくとも」とは
第３の２回変換高解像顔画像を用いて算出された第３の顔器官（例えば、口）についての顔器官類似度の最高値や、
第４の２回変換高解像顔画像を用いて算出された第４の顔器官（右目、左目、口以外の顔器官）についての顔器官類似度の最高値と、を統合して統合顔器官類似度を得るとしても良い、という意味である。

「第１の２回変換高解像顔画像」とは「当該画像の第１の顔器官と登録画像の第１の顔器官との組合せ」から「第１の顔器官についての顔器官類似度の最高値」が得られた２回変換高解像画像ということを意味する。
また、「第２の２回変換高解像顔画像」とは「当該画像の第２の顔器官と登録画像の第２の顔器官との組合せ」から「第２の顔器官についての顔器官類似度の最高値」が得られた２回変換高解像画像ということを意味する。

ある「２回変換高解像顔画像」から「第１の顔器官についての顔器官類似度の最高値」が得られ、かつ
これと同じ「２回変換高解像顔画像」から「第２の顔器官についての顔器官類似度の最高値」が得られることもあり得る。この場合、「第１の２回変換高解像顔画像」と「第２の２回変換高解像顔画像」とは同一の「２回変換高解像顔画像」となる。

顔識別部３４０は、類似度統合部３３０が得た統合顔器官類似度（統合類似度）に基づいて、前記入力画像に写っている顔と前記各登録画像に写っている顔が同一人物の顔か識別する。

図１０、および図１１は、本発明の第３の実施形態における顔識別モードの処理の流れを示している。
顔登録モードは第１の実施形態の顔登録モード同様であるので、説明を省略する。

＜顔識別モード＞
図１０のステップＳ２１０２からステップＳ２３０２までの処理は図２のステップＳ１１０１からステップＳ１２０２までの処理と同様である。
ステップＳ２３０３以降を説明する前に本発明の第３の実施形態でのポイントを説明する。

＜第３の実施形態のポイント＞
上述で説明した通り、hallucination技術を用いた場合、目や口などの位置を所定の位置に合わせることができず、画像の一部が破綻してしまうような現象が発生する。そこで、第３の実施形態では、ステップＳ２３０３でシフト量、スケール、回転量の異なる複数の変換画像を生成し、生成した複数の変換画像に対して高解像化処理を行い、登録画像との類似度が高い領域だけを利用して顔認識を行う。その結果、破綻していない領域だけを利用して顔認証を行うことになる。

図１２は、複数の変換画像から高解像顔画像を生成し、生成した高解像顔画像のうちの破綻していない領域（ブロック）を利用して顔認証を実施するという処理の流れの概要を示す図である。
変換画像１８００１と変換画像１８００５はシフト量が異なる変換画像の例である。変換画像１８００１から生成した高解像顔画像１８００３のブロック１８００４と、変換画像１８００５から生成した高解像顔画像１８００７のブロック１８００８とは、登録画像との顔器官類似度が高い（つまり、破綻していない）領域の例である。

破綻していないブロック１８００４の位置と登録画像１８００９のブロック１８０１１の位置が対応し、破綻していないブロック１８００８の位置とブロック１８０１０の位置とが対応する。そして、ブロック１８００４から抽出される特徴とブロック１８０１１から抽出される特徴との類似度、及びブロック１８００８から抽出される特徴とブロック１８０１０から抽出される特徴との類似度に基づいて顔を識別する。
以上が、第３の実施形態のポイントである。
続いて、第３の実施形態における処理を順次説明する。

＜第３の実施形態における処理の流れ＞
ステップＳ２３０３では、ステップＳ２３０２で生成された正規化画像からシフト量、スケール、回転量の異なる複数の変換画像を生成する。例えば、アフィン変換などを用いる。
図１３Ａに示すように、入力画像からスケール変換、シフト変換、回転変換などにより第１〜第３の変換画像を生成する。なお、スケール変換、シフト変換、回転変換のそれぞれによって複数の変換画像が生成されること、各変換を適宜組み合わせても良いことは第１、第２の実施形態と同様である。

＜ペアの探索＞
ステップＳ２３０４では、図４のステップＳ１４０２と同様に、類似度が最も高くなる変換画像と登録画像とのペアを探索する。

＜２回変換画像の生成＞
ステップＳ２３０５では、ステップＳ２３０４で類似度が最も高くなると判断されたペアの変換画像からシフト量、スケール、回転量の異なる複数の変換画像（以下、「２回変換画像」とも記載する）を生成する。
図１３Ａに示す例では、第１の変換画像が類似度が最も高くなった変換画像であり、その第１の変換画像から、第１の２回変換画像、第２の２回変換画像を生成している。
図１０のステップＳ２３０５におけるシフト量、スケール、回転量は、ステップＳ２３０３におけるシフト量、スケール、回転量よりも小さい。ステップＳ２３０３は顔全体の類似度を比較するための前処理であるのに対し、ステップＳ２３０５は顔全体と比べて小さい顔器官の類似度を比較するための前処理だからである。例えば、ステップＳ２３０３では１ｃｍ単位でシフトさせ、ステップＳ２３０５では１ｍｍ単位でシフトさせる。

ステップＳ２４０１では、ステップＳ２３０５で生成した複数の変換画像に対して、上述したようなhallucination技術を適用することにより高解像化を行う。
図１３Ｂに示す例では、第１の２回変換画像を高解像化して第１の２回変換高解像画像とし、第２の２回変換画像を高解像化して第２の２回変換高解像画像とした。

＜特徴の抽出＞
ステップＳ２５０２では、ステップＳ２４０１で生成された全ての高解像顔画像に対して非特許文献１に記載されているようなＬＢＰ特徴を抽出する。
＜類似度の算出＞
ステップＳ２７０１では、高解像顔画像のあるブロックからステップＳ２５０２で抽出したＬＢＰ特徴と、ステップＳ１６０１（図２）で記憶した顔画像の同じブロックから抽出したＬＢＰ特徴との類似度をそれぞれ算出する。

図１３Ｂに示す例では、
第１の２回変換画像のブロック１８０２２から抽出したＬＢＰ特徴と、第１の登録画像のブロック１８０１０から抽出したＬＢＰ特徴との類似度を算出し、
第２の２回変換画像のブロック１８００８から抽出したＬＢＰ特徴と、第１の登録画像のブロック１８０１０から抽出したＬＢＰ特徴との類似度を算出する。

図１３Ｃに示す例では、
第１の２回変換画像のブロック１８００４から抽出したＬＢＰ特徴と、第１の登録画像のブロック１８０１１から抽出したＬＢＰ特徴との類似度を算出し、
第２の２回変換画像のブロック１８０１２から抽出したＬＢＰ特徴と、第１の登録画像のブロック１８０１１から抽出したＬＢＰ特徴との類似度を算出する。

＜類似度の統合＞
ステップＳ２７０２では、ブロック位置が同じ複数のペアの類似度の中から最も類似度の高いペアの類似度を選択し、選択された類似度を統合する。
例えば、図１３Ｂの高解像顔画像１８００３のブロック１８０２２と、登録画像１８００９のブロック１８０１０との類似度（顔器官類似度）と、
高解像顔画像１８００７のブロック１８００８と、登録画像１８００９のブロック１８０１０との類似度（顔器官類似度）と、の中から最も類似度の高いペア（ブロック１８００８とブロック１８０１０とのペア）の類似度を選択する。

同様に、図１３Ｃの高解像顔画像１８００３のブロック１８００４と、登録画像１８００９のブロック１８０１１との類似度（顔器官類似度）と、
高解像顔画像１８００７のブロック１８０１２と、登録画像１８００９のブロック１８０１１との類似度（顔器官類似度）と、の中から最も類似度の高いペア（ブロック１８００４とブロック１８０１１とのペア）の類似度を選択する。
そして、選択された類似度（ブロック１８００８とブロック１８０１０とのペアの類似度、ブロック１８００４とブロック１８０１１とのペアの類似度）を統合する。

高解像顔画像１８００７のブロック１８００８と登録画像１８００９のブロック１８０１０とのペアの類似度を選択し、選択された類似度について後述する類似度統合を行う。
ステップＳ２８０１では、統合された類似度に基づいて顔識別を実行する。

＜特徴抽出から類似度統合まで＞
図１１を用いてステップＳ２５０２〜ステップＳ２７０２について、詳しく説明する。
まず、ステップＳ３０１０では、顔器官の特徴を抽出する。
ステップＳ３０１１では、顔器官の類似度を算出する。
ステップＳ３０１２では、全ての２回変換高解像画像について顔器官類似度を算出していなければステップＳ３０１０に戻り、新たな２回変換高解像画像についてステップＳ３０１０以降の処理を繰り返す。全ての２回変換高解像画像について顔器官類似度を算出していればステップＳ３０１３に進む。

例えば、２回変換高解像画像として第１の２回変換高解像画像から第ｎの２回変換高解像画像までが生成されたとする（ｎは任意の自然数）。
この場合、
第１の２回変換高解像画像の右目と第１の登録画像の右目との第１の類似度を算出し、
第２の２回変換高解像画像の右目と第１の登録画像の右目との第２の類似度を算出し、
：
第（ｎ−１）の２回変換高解像画像の右目と第１の登録画像の右目との第（ｎ−１）の類似度を算出し、
第ｎの２回変換高解像画像の右目と第１の登録画像の右目との第ｎの類似度を算出したら、ステップＳ３０１３に進む。

ステップＳ３０１３では、顔器官類似度の最高値を記憶する。
例えば、前記の如く、２回変換高解像画像として第１の２回変換高解像画像から第ｎの２回変換高解像画像までが生成されたとする（ｎは任意の自然数）。
この場合、
右目についての第１の類似度、第２の類似度、・・・、第（ｎ−１）の類似度、第ｎの類似度の中での最高値を記憶する。

ステップＳ３０１４では、全ての顔器官について顔器官類似度の最高値を記憶していなければステップＳ３０１０に戻り、新たな顔器官に関して、ステップＳ３０１０以降の処理を繰り返す。
例えば、右目、左目及び口に関して、顔器官類似度を算出し、その最高値を記憶し、統合して顔識別をする場合に、右目に関しては最高値の記憶をしたが、左目に関してはまだ最高値を記憶していないとする。

この場合、
第１の２回変換高解像画像の左目と第１の登録画像の左目との第１の類似度を算出し、
第２の２回変換高解像画像の左目と第１の登録画像の左目との第２の類似度を算出し、
：
第ｎの２回変換高解像画像の左目と第１の登録画像の左目との第ｎの類似度を算出したら、左目についての第１の類似度、第２の類似度、・・・、第（ｎ−１）の類似度、第ｎの類似度の中での最高値を記憶する。

その後、ステップＳ３０１０に戻り、口に関して、ステップＳ３０１０以降の処理を繰り返す。第１の２回変換高解像画像の口と第１の登録画像の口との第１の類似度、・・・第ｎの２回変換高解像画像の口と第１の登録画像の口との第ｎの類似度を算出し、第１〜第ｎの類似度の中での最高値を記憶する。

全ての顔器官について顔器官類似度の最高値を記憶していればステップＳ３０１５に進む。
ステップＳ３０１５では、顔器官類似度を統合する。
例えば、右目についての顔器官類似度の最高値と、左目についての顔器官類似度の最高値と、口についての顔器官類似度の最高値とを合計する。

各顔器官類似度の最高値が、第１〜第ｎの２回変換高解像画像のどれとの組合せによって得られるかは顔器官に応じて異なり得る。
例えば、右目については、第１の２回変換高解像画像と第１の登録画像との類似度が最高値となり、
左目については第１の２回変換高解像画像と第１の登録画像との類似度が最高値となり、
口については第３の２回変換高解像画像と第１の登録画像との類似度が最高値となり得る。
又は、右目については、第１の２回変換高解像画像と第１の登録画像との類似度が最高値となり、
左目については第３の２回変換高解像画像と第１の登録画像との類似度が最高値となり、
口については第５の２回変換高解像画像と第１の登録画像との類似度が最高値となり得る。

ステップＳ３０１６では、全ての登録画像について顔器官類似度を統合していなければステップＳ３０１０に戻り、新たな登録画像に関して、ステップＳ３０１０以降の処理を繰り返す。
全ての登録画像について、全ての顔器官について、全ての変換画像との組み合わせについて顔器官類似度を統合したら、ステップＳ２８０１に進み、顔識別を実行する。

前記の如く、第３の実施形態では、高解像化処理で複数の高解像顔画像を生成し、その中から最も類似度が高い領域を利用することによって、破綻していない領域だけを利用して顔認証を行う。それによって、正確な位置合わせが困難なために、hallucination技術を適用した、画像の一部が破綻してしまうような現象が発生した場合であっても、高精度の顔認証が可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ 画像取得部
１２０ 顔位置検出部
１３０ 顔器官位置検出部
１４０ 顔器官位置設定部
１５０ 特徴抽出部
１６０ 顔画像登録部
１７０ 顔識別部

Claims (7)

1. 複数の登録画像を、前記登録画像に写っている各顔器官の顔器官位置と関連付けて記憶する登録手段と、
   入力画像の顔領域全体と前記複数の登録画像の各登録画像の顔領域全体とを比較して、前記入力画像と前記登録画像との顔類似度を算出し、前記顔類似度に基づいて前記入力画像に対応する前記登録画像を探索し、当該対応する登録画像に関連付けて記憶されている前記顔器官位置を、前記入力画像の顔器官位置として設定する設定手段と、
   前記設定手段が設定した前記顔器官位置に基づいて前記入力画像の各顔器官の特徴量を抽出し、かつ、前記登録手段が記憶している前記顔器官位置に基づいて前記各登録画像の各顔器官の特徴量を抽出する特徴抽出手段と、
   前記特徴抽出手段が抽出した前記入力画像の各顔器官の特徴量と前記各登録画像の各顔器官の特徴量との顔器官類似度を算出し、算出された前記顔器官類似度に基づいて前記入力画像に写っている顔と前記各登録画像に写っている顔が同一人物の顔か識別する顔識別手段と、
   を備えることを特徴とする画像認識装置。
2. 前記設定手段は、
   前記入力画像から顔の大きさ、顔の位置、顔の向きの少なくとも１つが異なる複数の変換画像を生成し、前記生成された複数の変換画像のそれぞれと、前記複数の登録画像のそれぞれとの顔類似度を算出し、
   前記顔類似度に基づいて前記変換画像と前記登録画像との対応するペアを探索し、
   前記ペアとなる登録画像に関連付けて記憶されている前記顔器官位置を、前記ペアとなる変換画像の顔器官位置として設定し、
   前記特徴抽出手段は、
   前記設定手段が設定した前記顔器官位置に基づいて、前記ペアとなる変換画像の各顔器官の特徴量を抽出し、
   前記登録手段が記憶している前記顔器官位置に基づいて、前記各登録画像の各顔器官の特徴量を抽出し、
   前記顔識別手段は、
   前記特徴抽出手段が抽出した前記変換画像の各顔器官の特徴量と
   前記特徴抽出手段が抽出した前記各登録画像の各顔器官の特徴量との顔器官類似度を算出し、
   算出された前記顔器官類似度に基づいて、前記入力画像に写っている顔と前記各登録画像に写っている顔が同一人物の顔か識別することを特徴とする請求項１に記載の画像認識装置。
3. 前記入力画像は低解像、前記登録画像は高解像であることを特徴とする請求項１又は２に記載の画像認識装置。
4. 前記ペアとなる変換画像から高解像顔画像を生成する生成手段をさらに備え、
   前記特徴抽出手段は、
   前記設定手段が設定した前記顔器官位置に基づいて、前記高解像顔画像の各顔器官の特徴量を抽出し、
   前記登録手段が記憶している前記顔器官位置に基づいて、前記各登録画像の各顔器官の特徴量を抽出し、
   前記顔識別手段は、
   前記高解像顔画像の各顔器官の特徴量と
   前記各登録画像の各顔器官の特徴量との顔器官類似度を算出し、
   算出された前記顔器官類似度に基づいて、前記入力画像に写っている顔と前記各登録画像に写っている顔が同一人物の顔か識別することを特徴とする請求項２に記載の画像認識装置。
   
5. 前記生成手段は、
   前記顔類似度が最も高くなる前記変換画像から、顔の大きさ、顔の位置、顔の向きの少なくとも１つが異なる複数の２回変換画像を生成し、
   前記複数の２回変換画像の各２回変換画像から高解像顔画像を生成し、
   前記特徴抽出手段は、
   前記設定手段が設定した前記顔器官位置に基づいて、前記高解像顔画像の各顔器官の特徴量を抽出し、
   前記登録手段が記憶している前記顔器官位置に基づいて、前記各登録画像の各顔器官の特徴量を抽出し、
   前記顔識別手段は、
   前記高解像顔画像の各顔器官の特徴量と
   前記各登録画像の各顔器官の特徴量との顔器官類似度を算出し、
   少なくとも
   第１の高解像顔画像を用いて算出された第１の顔器官についての顔器官類似度と、
   第２の高解像顔画像を用いて算出された第２の顔器官についての顔器官類似度と、を統合して得られる統合類似度に基づいて、前記入力画像に写っている顔と前記各登録画像に写っている顔が同一人物の顔か識別することを特徴とする請求項４に記載の画像認識装置。
6. 複数の登録画像を、前記登録画像に写っている各顔器官の顔器官位置と関連付けて記憶する登録工程と、
   入力画像の顔領域全体と前記複数の登録画像の各登録画像の顔領域全体とを比較して、前記入力画像と前記登録画像との顔類似度を算出し、前記顔類似度に基づいて前記入力画像に対応する前記登録画像を探索し、当該対応する登録画像に関連付けて記憶されている前記顔器官位置を、前記入力画像の顔器官位置として設定する設定工程と、
   前記設定工程において設定された前記顔器官位置に基づいて前記入力画像の各顔器官の特徴量を抽出し、かつ、前記登録工程において記憶された前記顔器官位置に基づいて前記各登録画像の各顔器官の特徴量を抽出する特徴抽出工程と、
   前記特徴抽出工程において抽出された前記入力画像の各顔器官の特徴量と前記各登録画像の各顔器官の特徴量との顔器官類似度を算出し、算出された前記顔器官類似度に基づいて前記入力画像に写っている顔と前記各登録画像に写っている顔が同一人物の顔か識別する顔識別工程と
   を含むことを特徴とする画像認識方法。
7. 請求項１乃至５の何れか１項に記載の画像認識装置の各手段としてコンピュータを機能させるためのプログラム。