JP6225460B2

JP6225460B2 - 画像処理装置、画像処理方法、制御プログラムおよび記録媒体

Info

Publication number: JP6225460B2
Application number: JP2013080565A
Authority: JP
Inventors: 淳入江
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2013-04-08
Filing date: 2013-04-08
Publication date: 2017-11-08
Anticipated expiration: 2033-04-08
Also published as: JP2014203353A; EP2790127A3; US9239963B2; CN104102897A; CN104102897B; EP2790127A2; US20140301650A1

Description

本発明は、登録画像と入力画像との間で、画像上の物体の部位点の比較特徴量を比較して、当該物体の認証を実行する、または、当該物体の属性もしくは状態を推定する画像処理装置、画像処理方法、制御プログラムおよび記録媒体に関するものである。

従来、登録された顔画像に基づいて、個人を認証する顔認証技術がある。一般的な顔認証技術では、まず、認証対象の被写体を撮影し、その撮影画像から顔を検出する。次に、検出された顔の器官（目、鼻、口等）の部位点（目頭、目尻、口の輪郭点等）を特定する。そして、撮影画像（入力画像）において特定した部位点の特徴量と、登録画像のそれとを比較して、個人を認証する。

特表２００９−５２８１１７号公報（２００９年８月６日公開）国際公開２００８／０７２１４０号（２００８年６月１９日公開）

しかしながら、部位点を特定する技術は、精度が１００％ではないため、正しい位置で部位点を特定できない場合がある。具体的には、部位点特定技術は、一般的に正面の顔画像等に対しては精度良く部位点を特定することができるが、人の違い、顔の表情、顔の向き、照明または装飾品（メガネ等）により、部位点の位置がずれてしまうことがある。すなわち、登録画像から検出された部位点および入力画像から検出された部位点が、それぞれ、正しい位置からずれて特定されている場合がある。これにより、図６に示すように、同じ人物を撮影した画像であるにもかかわらず、登録画像の左目尻の特徴量と、入力画像の左目尻の特徴量が大きく異なる場合がある。この場合、入力画像から抽出した特徴量が登録画像の特徴量とは異なるため、認証装置は同一人物ではないと判定する。すなわち、認証が正しく行われないという問題が生じる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、正しい位置からずれて部位点が特定されたとしても、安定して精度の高い認証を実行する画像処理装置、画像処理方法、制御プログラムおよび記録媒体を実現することにある。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、登録画像と入力画像との間で、画像上の物体の部位点の比較特徴量を比較して、当該物体の認証を実行する、または、当該物体の属性もしくは状態の推定を実行する画像処理装置であって、上記物体の部位点を特定する部位点特定手段と、上記部位点特定手段が特定した部位点と、当該部位点以外の少なくとも１つの画像上の点とを含む複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から１または複数の特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記部位点に対する候補特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段が抽出した候補特徴量を用いて、所定の基準に基づいて、上記部位点に対する１または複数の上記比較特徴量を特定する特徴量特定手段と、を備えている。

また、上記の課題を解決するために、本発明の一態様に係る画像処理方法は、登録画像と入力画像との間で、画像上の物体の部位点の比較特徴量を比較して、当該物体の認証を実行する、または、当該物体の属性もしくは状態の推定を実行する画像処理方法であって、上記物体の部位点を特定する部位点特定ステップと、上記部位点特定ステップにおいて特定された部位点と、当該部位点以外の少なくとも１つの画像上の点とを含む複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から１または複数の特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記部位点に対する候補特徴量を抽出する特徴量抽出ステップと、上記特徴量抽出ステップにおいて抽出された候補特徴量を用いて、所定の基準に基づいて、上記部位点に対する１または複数の上記比較特徴量を特定する特徴量特定ステップと、を含む。

本発明の一態様によれば、正しい位置からずれて部位点が特定されたとしても、安定して精度の高い認証を実行することができるという効果を奏する。

本発明の実施形態を示すものであり、画像認証装置の要部構成を示すブロック図である。部位点に対する複数のサンプリング点の位置を示す図である。画素群から特徴量を抽出するためのフィルタの一例を示す図である。登録画像および入力画像において、或る部位点の比較特徴量の一例を示す図である。上記画像認証装置が実行する認証処理の流れを示すフローチャートである。従来技術を示すものであり、登録画像および入力画像において、或る部位点から抽出した特徴量の一例を示す図である。

本発明の一実施形態について図１から図５に基づいて説明すると以下の通りである。

〔画像認証装置の構成〕
図１は、画像認証装置１の要部構成の一例を示すブロック図である。画像認証装置１は、予め登録された登録画像と入力された入力画像との間で、画像上の物体の部位点の特徴量を比較して、当該物体の認証を実行するものである。

画像認証装置１は、例えば、ＰＣ、デジタルカメラ、デジタルビデオカメラ、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などであってよい。

本実施形態では、認証対象の物体として、人間の顔を想定しているが、これに限るものではない。物体は、画像上の有形物であればどのようなものでもよく、例えば、人間の全身、犬若しくは猫等の動物、携帯電話機若しくはテレビ等の機器、建造物、または、植物等であってもよい。

また、本実施形態では、物体の認証を行っているが、本発明を、物体の属性もしくは状態の推定に用いてもよい。例えば、予め登録された登録画像と入力された入力画像との間で、画像上の物体（人間）の部位点の特徴量を比較して、年齢推定、性別推定または表情推定等を行ってもよい。また、予め機械学習により求めた学習結果と、入力画像との間で、画像上の物体（人間）の部位点の特徴量を比較して、年齢推定、性別推定または表情推定等を行ってもよい。すなわち、本発明は、画像上の物体の部位点を検出する工程と、検出した部位点の特徴量を比較する工程とを含む、任意の画像処理方法に適用可能である。また、本発明は、画像上の物体の部位点を検出し、検出した部位点の特徴量を比較する、任意の画像処理装置に適用可能である。

物体の部位点とは、画像上における物体の領域内の点である。具体的には、例えば物体が人間の顔の場合、目の輪郭点や瞳点などである。

画像認証装置１は、図１に示すように、制御部１１、記憶部１２および画像入力部１３を備えている。なお、画像認証装置１は、操作部、通信部、表示部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。

画像入力部１３は、外部の画像提供装置（不図示）から画像を取得するためのインターフェースである。画像提供装置は、保持している画像または取得した画像を他の装置に提供する装置であれば何でもよい。例えば、画像提供装置は、デジタルカメラ、デジタルビデオカメラ、携帯電話機、スマートフォン、ＰＤＡ、ゲーム機、ＵＳＢ（Universal Serial Bus）メモリ等の記憶装置などである。なお、画像認証装置１は、画像入力部１３の代わりに、カメラを搭載していてもよい。

制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、画像認証装置１が備える各部を統括的に制御するものである。

本実施形態では、制御部１１は、機能ブロックとして、画像取得部２１、部位点特定部（部位点特定手段）２２、サンプリング点特定部２３、候補特徴量抽出部（特徴量抽出手段）２４、比較特徴量特定部（特徴量生成手段）２５、および認証実行部２６を備える構成である。これらの制御部１１の各機能ブロック（２１〜２７）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。

画像取得部２１は、画像入力部１３を介して登録画像および入力画像を取得するものである。画像取得部２１は、取得した登録画像および入力画像を部位点特定部２２に出力する。なお、記憶部１２に画像が記憶されている場合、画像取得部２１は、記憶部１２から登録画像および入力画像を読み出してもよい。

部位点特定部２２は、登録画像および入力画像のそれぞれについて、物体の部位点を特定するものである。本実施形態では、人間の顔画像に基づいて、個人認証を行うため、部位点特定部２２は、まず、画像から顔を検出する。そして、部位点特定部２２は、検出した顔の部位点、例えば、目尻点、目頭点もしくは瞳点、または、口、鼻、耳等の輪郭点を特定する。

部位点特定部２２は、登録画像および入力画像から、同じ種別の部位点を特定する。また、部位点特定部２２は、登録画像および入力画像から、それぞれ、１または複数の部位点を特定する。

なお、画像から物体の部位点を特定する方法は任意でよい。部位点特定部２２は、従来の検出技術等を用いて、所定の部位点を特定すればよい。

サンプリング点特定部２３は、登録画像および入力画像のそれぞれについて、部位点特定部２２が特定した部位点に対する複数のサンプリング点を特定するものである。具体的には、サンプリング点特定部２３は、図２に示すように、部位点特定部２２が特定した部位点を中心とする矩形の領域内に含まれる画素の位置をサンプリング点として特定してもよい。また、サンプリング点特定部２３は、部位点特定部２２が特定した部位点を中心とする円形の領域内に含まれる画素の位置をサンプリング点として特定してもよい。

また、サンプリング点特定部２３は、部位点特定部２２が特定した部位点を含む所定の領域内に含まれる全画素の位置をサンプリング点として特定してもよいし、上記領域内の画素のうち、一部の画素の位置をサンプリング点として特定してもよい。

また、サンプリング点特定部２３は、部位点特定部２２が特定した部位点の画素と、当該部位点の画素から上下左右斜めに所定数ピクセル離れた画素との合計９つの画素をサンプリング点としてもよい。また、サンプリング点特定部２３は、部位点特定部２２が特定した部位点の画素と、当該部位点の画素から上下左右にＮピクセル離れた画素との合計５つの画素をサンプリング点としてもよい（Ｎは自然数）。

このように、サンプリング点特定部２３は、部位点特定部２２が特定した部位点と、当該部位点以外の画像上の少なくとも１つの点とをサンプリング点として特定すればよく、そのサンプリング点の特定方法は任意でよい。ただし、サンプリング点特定部２３は、部位点毎に、登録画像および入力画像に対して、同じ特定方法を用いるものとする。

候補特徴量抽出部２４は、サンプリング点特定部２３が特定した複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から１または複数の特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、部位点に対する候補特徴量（特徴量ｐｏｏｌ）を抽出する。

具体的には、候補特徴量抽出部２４は、サンプリング点の画素を中心とする３×３の画素または４×４画素に対して、図３に示すフィルタ等を用いて特徴量を算出する。なお、候補特徴量抽出部２４が抽出する特徴量は、図３に示すSobel filter、Haar-like filterに限らず、任意でよい。例えば、輝度値、エッジ情報、周波数特性（Gabor、Haar等）、輝度勾配特徴量（SIFT、HOG等）またはそれらの組み合わせを特徴量としてもよい。また、フィルタの形状は、図３に示す３×３の画素または４×４画素に限らず、任意でよい。例えば、２×２画素でもよいし、５×５画素等でもよい。

ここで、候補特徴量抽出部２４は、１種のフィルタを用いて特徴量を算出して、１つのサンプリング点につき、１つの特徴量を抽出してもよいし、複数種類のフィルタを用いて特徴量を算出して、１つのサンプリング点につき、複数の特徴量を抽出してもよい。例えば、候補特徴量抽出部２４は、１つのサンプリング点の画素または画素群から、輝度値およびHaar値を特徴量としてそれぞれ抽出してもよい。また、候補特徴量抽出部２４は、サンプリング点を中心とする３×３画素の画素群から輝度値を特徴量として抽出すると共に、同じサンプリング点を中心とする４×４画素の画素群から輝度値を特徴量として抽出し、２種類の特徴量を抽出してもよい。

また、候補特徴量抽出部２４は、サンプリング点の画素のみから特徴量を抽出してもよいし、サンプリング点の画素と、当該画素以外の少なくとも１つの画素とを含む画素群から特徴量を抽出してもよい。

また、候補特徴量抽出部２４は、サンプリング点の画素を含む画素群から特徴量を抽出する場合、画素群に含まれる全画素の値の平均値または中央値に基づいて特徴量を抽出してもよい。また、この場合、候補特徴量抽出部２４は、画素群に含まれる１または複数の画素に基づいて特徴量を抽出してもよい。例えば、候補特徴量抽出部２４は、サンプリング点を中心とする３×３画素の９つの画素を含む画素群から特徴量を抽出する場合、９つの画素の値の平均値または中央値に基づいて特徴量を抽出してもよい。また、候補特徴量抽出部２４は、９つの画素のうちの１または複数の画素に基づいて特徴量を抽出してもよい。

このように、候補特徴量抽出部２４が実行する特徴量抽出方法は、任意でよい。ただし、候補特徴量抽出部２４は、部位点毎に、登録画像および入力画像に対して、同じ特徴量抽出方法を用いるものとする。

比較特徴量特定部２５は、部位点毎に、候補特徴量抽出部２４が抽出した候補特徴量から、登録画像と入力画像とが一致または類似しているか否かを判定するための比較特徴量を特定するものである。比較特徴量特定部２５は、１つの部位点に対して、１または複数の比較特徴量を特定する。比較特徴量特定部２５は、換言すると、候補特徴量抽出部２４が抽出した候補特徴量を用いて、所定の基準に基づいて、上記部位点に対する１または複数の上記比較特徴量を生成する特徴量生成手段とも言える。

具体的には、比較特徴量特定部２５は、候補特徴量抽出部２４が抽出した候補特徴量の中から、所定の基準に基づいて、部位点に対する１または複数の比較特徴量を選択してもよい。例えば、比較特徴量特定部２５は、候補特徴量の中から、最大値、最小値または中央値等の特徴量を比較特徴量として選択してもよい。また、比較特徴量特定部２５は、候補特徴量の中から、特徴量の値が大きいものまたは小さいものから３つを比較特徴量として選択してもよい。また、比較特徴量特定部２５は、候補特徴量の中から、絶対値の最大値、最小値または中央値等の特徴量を比較特徴量として選択してもよい。また、比較特徴量特定部２５は、候補特徴量の特徴量の値の正負を反転させて、その中から、最大値、最小値または中央値等の特徴量を比較特徴量として選択してもよい。また、比較特徴量特定部２５は、候補特徴量のうち、特徴量を正負で分類し、正の値の最大値、最小値または中央値等の特徴量、または、負の値の最大値、最小値または中央値等の特徴量を比較特徴量として選択してもよい。

また、比較特徴量特定部２５は、候補特徴量抽出部２４が抽出した候補特徴量を用いて１または複数の上記比較特徴量を算出してもよい。例えば、比較特徴量特定部２５は、候補特徴量の平均値またはＮ乗平均値等を比較特徴量として算出してもよい。また、比較特徴量特定部２５は、候補特徴量の絶対値の平均値またはＮ乗平均値等を比較特徴量として算出してもよい。また、比較特徴量特定部２５は、候補特徴量の特徴量の値の正負を反転させて、その反転した候補特徴量の平均値またはＮ乗平均値等を比較特徴量として算出してもよい。また、比較特徴量特定部２５は、候補特徴量のうち、特徴量を正負で分類し、正の値の平均値もしくはＮ乗平均値等、または、負の値の平均値もしくはＮ乗平均値等を比較特徴量として算出してもよい。

ここで、比較特徴量特定部２５が、１または複数の部位点に対してそれぞれ比較特徴量として特定した１または複数の特徴量を並べたものを特徴量ベクトル（第１ベクトル）と称する。すなわち、特徴量ベクトルは、各部位点について候補特徴量から選択または算出された特徴量を並べたものである。例えば、比較特徴量特定部２５が１０個の部位点に対してそれぞれ３個の比較特徴量を特定した場合、特徴量ベクトルは３０次元の一次ベクトルである。

また、比較特徴量特定部２５は、上記特徴量ベクトルに対して所定の基準で変換した変換ベクトル（第２ベクトル）を比較特徴量としてもよい。例えば、比較特徴量特定部２５は、特徴量ベクトルの次元を拡張または圧縮したベクトルを変換ベクトルとしてもよい。より具体的には、比較特徴量特定部２５は、３０次元の特徴量ベクトルから５次元のベクトルを生成して、これを比較特徴量としてもよい。

認証実行部２６は、部位点毎に、登録画像の比較特徴量と、入力画像の比較特徴量とを比較して、認証を実行するものである。なお、部位点の特徴量に基づいて、個人または物等を認証する方法は任意でよい。

例えば、認証実行部２６は、図４に示すように、登録画像の比較特徴量と、入力画像の比較特徴量との差分が所定値以下であれば、部位点の特徴が一致または類似していると判定してもよい。ここで、１つの部位点に対する比較特徴量が複数種類ある場合、全ての比較特徴量の差分が所定値以下の場合に、当該部位点の特徴が一致または類似していると判定してもよいし、比較特徴量の差分が所定値以下のものが所定数以上ある場合に、当該部位点の特徴が一致または類似していると判定してもよい。また、認証実行部２６は、物体の部位点が複数ある場合、全ての部位点の特徴が一致または類似していると判定した場合に、登録画像の人物と入力画像の人物とが同一人物であると判定してもよいし、所定数以上の部位点に対して、部位点の特徴が一致または類似していると判定した場合に、登録画像の人物と入力画像の人物とが同一人物であると判定してもよい。

また、認証実行部２６は、上記の特徴量ベクトルまたは変換ベクトル間の距離（例えば、ユーグリット距離またはマハラノビス距離）を類似度として算出し、算出した類似度に基づいて部位点の特徴が一致または類似しているか否かを判定してもよい。また、認証実行部２６は、上記の特徴量ベクトルまたは変換ベクトルの内積を類似度として算出し、算出した類似度に基づいて部位点の特徴が一致または類似しているか否かを判定してもよい。

なお、登録画像の比較特徴量は、従来と同様に、部位点の画素または画素群から抽出した特徴量を用いてもよい。

また、登録画像の比較特徴量を認証ごとに特定するのではなく、認証の前に予め登録画像の比較特徴量を特定しておき、記憶部１２に登録画像の比較特徴量を格納しておいてもよい。この場合、認証実行部２６は、記憶部１２から登録画像の比較特徴量を読み出して認証を実行する。

記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記の登録画像、登録画像の比較特徴量、部位点特定方法、サンプリング点特定方法、特徴量抽出方法、比較特徴量特定方法等を格納している。

〔画像認証装置が実行する認証処理〕
次に、画像認証装置１が実行する認証処理について図５に基づいて説明する。図５は、画像認証装置１が実行する認証処理の流れを示すフローチャートである。

図５に示すように、まず、画像取得部２１は、画像入力部１３を介して登録画像および入力画像を取得する（Ｓ１）。次に、部位点特定部２２は、登録画像および入力画像からそれぞれ顔を検出する（Ｓ２）。そして、部位点特定部２２は、登録画像および入力画像のそれぞれについて、検出した顔の部位点、例えば、目尻点、目頭点もしくは瞳点、または、口、鼻、耳等の輪郭点を特定する（Ｓ３）。

次に、サンプリング点特定部２３は、登録画像および入力画像のそれぞれについて、部位点特定部２２が特定した部位点に対する複数のサンプリング点を特定する（Ｓ４）。候補特徴量抽出部２４は、サンプリング点特定部２３が特定した複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から１または複数の特徴量を抽出して、部位点に対する候補特徴量を抽出する（Ｓ５）。比較特徴量特定部２５は、部位点毎に、候補特徴量抽出部２４が抽出した候補特徴量から、比較特徴量を特定する（Ｓ６）。

そして、認証実行部２６は、部位点毎に、登録画像の比較特徴量と、入力画像の比較特徴量とを比較して、認証を実行する（Ｓ７）。

〔ソフトウェアによる実現例〕
画像認証装置１の制御ブロック（特に制御部１１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、画像認証装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る画像処理装置は、登録画像と入力画像との間で、画像上の物体の部位点の比較特徴量を比較して、当該物体の認証を実行する、または、当該物体の属性もしくは状態の推定を実行する画像処理装置であって、上記物体の部位点を特定する部位点特定手段と、上記部位点特定手段が特定した部位点と、当該部位点以外の少なくとも１つの画像上の点とを含む複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から１または複数の特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記部位点に対する候補特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段が抽出した候補特徴量を用いて、所定の基準に基づいて、上記部位点に対する１または複数の上記比較特徴量を生成する特徴量生成手段と、を備えている。

上記の構成によれば、特徴量抽出手段は、部位点と、当該部位点以外の少なくとも１つの画像上の点とから特徴量を抽出して、部位点に対する候補特徴量とする。そして、特徴量生成手段が、候補特徴量から比較特徴量を生成する。これにより、正しい位置からずれて部位点が特定されたとしても、部位点の比較特徴量が大きく変動することなく、安定した値を比較特徴量として生成することができる。よって、正しい位置からずれて部位点が特定されたとしても、安定して精度の高い認証を実行することができるという効果を奏する。

本発明の態様２に係る画像処理装置は、上記態様１において、上記特徴量生成手段は、上記特徴量抽出手段が抽出した候補特徴量の中から、所定の基準に基づいて、上記部位点に対する１または複数の上記比較特徴量を選択してもよい。

上記の構成によれば、上記特徴量生成手段は、上記候補特徴量の何れかを上記比較特徴量として選択する。そのため、簡易な処理で比較特徴量を生成することができる。

本発明の態様３に係る画像処理装置は、上記態様１または２において、上記特徴量生成手段は、上記特徴量抽出手段が抽出した候補特徴量を用いて、上記部位点に対する１または複数の上記比較特徴量を算出してもよい。

本発明の態様４に係る画像処理装置は、上記態様１〜３において、上記部位点特定手段が複数の部位点を特定し、上記特徴量生成手段は、上記複数の部位点について上記候補特徴量を用いて特定した１または複数の特徴量を並べた特徴量ベクトルを生成し、生成した特徴量ベクトルを変換した変換ベクトルを比較特徴量として生成してもよい。

本発明の態様５に係る画像処理方法は、登録画像と入力画像との間で、画像上の物体の部位点の比較特徴量を比較して、当該物体の認証を実行する、または、当該物体の属性もしくは状態の推定を実行する画像処理方法であって、上記物体の部位点を特定する部位点特定ステップと、上記部位点特定ステップにおいて特定された部位点と、当該部位点以外の少なくとも１つの画像上の点とを含む複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から１または複数の特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記部位点に対する候補特徴量を抽出する特徴量抽出ステップと、上記特徴量抽出ステップにおいて抽出された候補特徴量を用いて、所定の基準に基づいて、上記部位点に対する１または複数の上記比較特徴量を生成する特徴量生成ステップと、を含む。

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像を用いて人間や物等を認証する画像認証装置に利用することができる。

１画像認証装置（画像処理装置）
２１画像取得部
２２部位点特定部（部位点特定手段）
２３サンプリング点特定部
２４候補特徴量抽出部（特徴量抽出手段）
２５比較特徴量特定部（特徴量生成手段）
２６認証実行部

Claims

登録画像と入力画像との間で、画像上の物体の部位点の比較特徴量を比較して、当該物体の認証を実行する、または、当該物体の属性もしくは状態の推定を実行する画像処理装置であって、
上記物体の部位点を特定する部位点特定手段と、
上記部位点特定手段が特定した部位点と、当該部位点以外の少なくとも１つの画像上の点とを含む複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から１または複数の特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記部位点に対する候補特徴量を抽出する特徴量抽出手段と、
上記特徴量抽出手段が抽出した候補特徴量を用いて、所定の基準に基づいて、上記部位点に対する複数の上記比較特徴量を生成する特徴量生成手段と、
複数の上記比較特徴量を用いて認証を実行する認証実行手段とを備えることを特徴とする画像処理装置。
上記認証実行手段は、生成された複数の上記比較特徴量のうち、差分が所定値以下のものが所定数以上ある場合に、上記部位点の特徴が一致または類似していると判定することを特徴とする請求項１に記載の画像処理装置。
上記認証実行手段は、生成された全ての上記比較特徴量の差分が所定値以下の場合に、上記部位点の特徴が一致または類似していると判定することを特徴とする請求項１または２に記載の画像処理装置。
上記特徴量生成手段は、上記特徴量抽出手段が抽出した候補特徴量の中から、所定の基準に基づいて、上記部位点に対する１または複数の上記比較特徴量を選択することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
上記特徴量生成手段は、上記特徴量抽出手段が抽出した候補特徴量を用いて、上記部位点に対する１または複数の上記比較特徴量を算出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
上記部位点特定手段が複数の部位点を特定し、
上記特徴量生成手段は、上記複数の部位点について上記候補特徴量を用いて特定した１または複数の特徴量を並べた特徴量ベクトルを生成し、生成した特徴量ベクトルを変換した変換ベクトルを比較特徴量として生成することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
登録画像と入力画像との間で、画像上の物体の部位点の比較特徴量を比較して、当該物体の認証を実行する、または、当該物体の属性もしくは状態の推定を実行する画像処理方法であって、
上記物体の部位点を特定する部位点特定ステップと、
上記部位点特定ステップにおいて特定された部位点と、当該部位点以外の少なくとも１つの画像上の点とを含む複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から１または複数の特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記部位点に対する候補特徴量を抽出する特徴量抽出ステップと、
上記特徴量抽出ステップにおいて抽出された候補特徴量を用いて、所定の基準に基づいて、上記部位点に対する複数の上記比較特徴量を生成する特徴量生成ステップと、
複数の上記比較特徴量を用いて認証を実行する認証実行ステップと、を含むことを特徴とする画像処理方法。
請求項１〜６の何れか１項に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
請求項８に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。