JP5791361B2 - パターン識別装置、パターン識別方法およびプログラム - Google Patents
パターン識別装置、パターン識別方法およびプログラム Download PDFInfo
- Publication number
- JP5791361B2 JP5791361B2 JP2011104621A JP2011104621A JP5791361B2 JP 5791361 B2 JP5791361 B2 JP 5791361B2 JP 2011104621 A JP2011104621 A JP 2011104621A JP 2011104621 A JP2011104621 A JP 2011104621A JP 5791361 B2 JP5791361 B2 JP 5791361B2
- Authority
- JP
- Japan
- Prior art keywords
- partial
- input
- registered
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
このような、パターン(具体的には人物の顔)の識別を行う装置および方法において、識別性能を低下させる要因として、入力パターンと登録パターン間における照明条件の違いが挙げられる。照明条件が異なることで、顔全体の明暗の変化や顔の陰影の付き方が変化することで、識別性能が大幅に低下してしまう。
(第1の実施形態)
図1は、本実施形態に係るパターン識別装置100の構成を示すブロック図である。パターン識別装置100は、結像光学系1、撮像部2、撮像制御部3、画像記録部4、パターン登録部5、入力パターン識別部6、パターン識別結果を出力する外部出力部7、各構成要素の制御・データ接続を行うための接続バス8を含んで構成されている。なお、パターン登録部5および入力パターン識別部6は、典型的には、それぞれ専用回路(ASIC)、プロセッサ(リコンフィギュラブルプロセッサ、DSP、CPUなど)であってもよい。また、単一の専用回路および汎用回路(PC用CPU)内部において実行されるプログラムとして存在してもよい。
撮像部2の映像センサとしては、典型的にはCCDまたはCMOSイメージセンサが用いられる。撮像部2は、不図示のセンサ駆動回路からの読み出し制御信号により所定の映像信号(例えば、サブサンプリング、ブロック読み出しして得られる信号)を画像データとして出力する。
撮像制御部3は、撮影者からの指示(画角調整指示、シャッター押下など)およびパターン登録部5または入力パターン識別部6からの情報に基づいて、実際に撮影が行われるタイミングを制御する。
パターン登録部5は、画像データから識別の対象とするオブジェクトの情報を抽出し、記録・保持する。パターン登録部5のより詳細な構成および実際に行われる処理の具体的な内容については、後述する。
入力パターン識別部6は、画像データおよびパターン登録部5から取得したデータに基づいて、パターン、より典型的には、画像データ中のオブジェクトの識別を行う。入力パターン識別部6に関して、具体的な構成および行われる処理の詳細については、後述する。
接続バス8は、上記構成要素間の制御・データ接続を行うためのバスである。
図2は、本実施形態に係るパターン識別装置の全体処理の一例を示すフローチャートである。図2を参照しながら、パターン識別装置100が、入力パターンの識別を行う実際の処理について説明する。なお、以下では、識別するパターンが人物の顔である場合について説明するが、本発明の対象はこれに限るものではない。
始めに、入力パターン識別部6は、画像記録部4から画像データを取得する(S1)。続いて、入力パターン識別部6は、取得した画像データに対して、人の顔の検出処理を行う(S02)。画像中から、人物の顔を検出する方法については、公知の技術を用いればよい。例えば、「特許3078166号公報」や「特開2002−8032号公報」で提案されているような技術を用いることができる。
入力パターン識別部6は、入力パターン識別処理の結果から、登録済みの人物に該当する顔があるか判定する(S5)。入力パターン識別部6はS1で検出された顔と同一人物が、登録済みの人物の中にあるか否かを判定し(S4)、ある場合(S5でYesの場合)、S8の処理に進む。検出された顔が登録済み人物の誰とも一致しない場合(S5でNoの場合)、入力パターン識別部6は、その人物を登録するかを判定する(S6)。これは、予め設定されている場合もあるが、例えばユーザが外部インターフェースやGUIなどを通じて、その場で登録するかどうか決定するようにしても良い。
パターン登録処理(S7)の後およびS6で登録を行わない場合、入力パターン識別部6は、検出されたパターン全てについて処理が終了したか否かを判定する(S8)。未処理のパターンがある場合(S8でNoの場合)、S4に戻る。検出された全てのパターンについて処理が終了した場合(S8でYesの場合)入力パターン識別部6は、一連の入力パターン識別処理の結果を外部出力部7に出力する。
以上が、本実施形態に係るパターン識別装置100の全体の処理フローである。
パターン登録処理について説明する。図3は、パターン登録部5の構成の一例を示すブロック図である。図3に示すように、パターン登録部5は、登録パターン辞書データ生成部21、登録パターン辞書データ保持部22、登録パターン辞書データ選択部23を含んで構成されている。
図4は、登録パターン辞書データ生成部21の構成の一例を示すブロック図である。図4に示すように、登録パターン辞書データ生成部21は、変動画像生成部30、画像変換用パラメタ保持部31、部分領域設定部32、特徴ベクトル抽出部33、特徴ベクトル変換部34、特徴ベクトル変換用データ保持部35を含んで構成されている。図5は、登録パターン辞書データ生成部21における処理の模式図を示しており、説明の補助として合わせて用いる。
特徴ベクトルの変換方法にPCAを用いた場合、その基底数(特徴ベクトルの次元削減数)や、どの基底を用いるか、などのパラメタが存在する。基底数の代わりに、基底ベクトルに対応する固有値の和、すなわち累積寄与率を指標としてもよい。これらのパラメタを部分領域毎に異なったものにしてもよいし、変動画像毎に異なったものにしてもよい。実際にどのようなパラメタを設定するかは、予め機械学習によって決めることができる。
以上のような処理を行って、部分領域を設定し、特徴ベクトルを抽出した後に、特徴ベクトルを変換したデータを、登録パターン辞書データ生成部21の出力として、登録パターン辞書データ保持部22に格納する。
次に、入力パターン識別処理について説明する。図8は、入力パターン識別部6の構成の一例を示すブロック図である。図8に示すように、入力パターン識別部6は、入力パターン識別用データ生成部41、登録パターン辞書データ取得部42、入力パターン識別演算部43を含んで構成されている。
入力パターン識別用データ生成部41は、画像記録部4から取得した画像データから対象パターンの識別に必要な情報の抽出を行う。
登録パターン辞書データ取得部42は、パターン登録部5から入力パターンの識別に必要な辞書データを取得する。
入力パターン識別演算部43は、入力パターン識別用データ生成部41から取得した識別用データと、登録パターン辞書データ取得部42から取得した辞書データとから入力パターンの識別処理を行う。ここで行われる処理については、後述する。
図10は、入力パターン識別用データ生成部41の構成の一例を示すブロック図である。図10に示すように、入力パターン識別用データ生成部41は、変動画像生成部50、画像変換用パラメタ保持部51、部分領域設定部52、特徴ベクトル抽出部53、特徴ベクトル変換部54、特徴ベクトル変換用データ保持部55を含んで構成されている。入力パターン識別用データ生成部41の構成およびそこで行われる処理は、登録パターン辞書データ生成部21とほぼ同じであるので、詳細の説明は割愛する。相違点として、変動画像生成部30で生成される画像を変動入力画像と呼び、特徴ベクトル抽出部53で抽出される特徴ベクトルを入力部分特徴と呼ぶ点が異なる。
入力パターン識別演算処理について説明する。ここでは、一例として、入力パターンの識別を対応する部分特徴間の類似性に基づいて判定する場合について説明する。図11は、入力パターン識別演算部43の構成の一例を示すブロック図である。入力パターン識別演算部43は、入力パターン識別用データ取得部61、登録パターン辞書データ取得部62、部分特徴類似度算出部63、部分特徴類似度統合部64、識別結果算出部65を含んで構成されている。
まず、入力パターン識別用データ取得部61は、入力パターン識別用データを取得する(S40)。次に、登録パターン辞書データ取得部62は、登録パターンの辞書データを取得する(S41)。続いて、部分特徴類似度算出部63は、S40およびS41で取得した入力パターン識別用データと登録パターン辞書データとのそれぞれの特徴ベクトルから、部分特徴類似度を算出する(S42)。この特徴ベクトルは上述の通り、変動画像の部分領域から抽出した特徴量に変換を施したベクトルである。ここでは、類似度算出の方法として特徴ベクトル間の内積に基づくコサイン類似度を使用する。すなわち、入力パターン識別用データの特徴ベクトルをVI、登録パターン辞書データの特徴ベクトルをVR、VIとVRがなす角をθとすると、コサイン類似度Sは、以下の式で表わされる。
最後に、識別結果算出部65は、全ての辞書データについて識別の演算が終了したか否かを判定する(S46)。演算が終了していない登録パターン辞書データがある場合(S46でNoの場合)、S41に戻り、登録パターン辞書データ取得部62は、まだ処理の完了していない人物の登録パターン辞書データに対して処理を行う。全ての人物の登録パターン辞書データの処理が終了している場合(S46でYesの場合)、識別結果算出部65は、識別類似度を保持する(S47)。ここでは、入力パターン識別用データと各登録パターン辞書データ間の類似度を類似度最大のものを識別結果として保持する。他にも、全ての類似度をリストで保持する方法が考えられる。以上が、パターン識別演算処理の説明である。
次に、部分特徴類似度統合処理について説明する。図13は、部分特徴類似度統合部64で行われる処理(S44)の一例を示すフローチャートである。
まず、部分特徴類似度統合部64は、部分特徴類似度データを取得する(S51)。
次に、部分特徴類似度統合部64は、複数ある部分特徴類似度を一つの値に統合する処理を行う(S52)。ここでは、類似度最大基準での統合を行う。すなわち、取得した複数の部分特徴類似度の中から類似度最大のものを選択し、部分特徴類似度統合部64は、それを統合結果として出力する。一般に、顔認証のような画像の詳細をマッチングする処理の場合には、他人同士の類似度が偶然高くなることは考えにくい。そのため、統合処理として、この類似度最大の選択を行うことにより、入力画像と登録画像間の照明変動差を軽減するような変換を施した上で、本当に本人同士ならば高い類似度、他人同士ならば低い類似度が得られることが期待できる。
最後に、部分特徴類似度統合部64は、統合した部分特徴類似度のデータを保持する(S53)。以上が、部分類似度統合処理の説明である。
本実施形態は、第1の実施形態の特徴ベクトル抽出部33、入力パターン識別用データ生成部41、入力パターン識別演算部43および部分特徴類似度統合部64が異なる。具体的には、第1の実施形態の特徴ベクトル抽出部33は、抽出する特徴ベクトルの種類は1種類だけであったのに対して、第2の実施形態では複数種類の特徴ベクトルを抽出する点が異なる。また、複数種類の特徴ベクトルに応じた入力パターン識別演算および部分特徴類似度統合を行う点も第1の実施形態とは異なる。
また、本実施形態においても便宜上、識別対象のパターンを、画像中の人物の顔としているが、識別対象をその他のオブジェクトとしてもよい。
図14は、複数特徴の登録パターン辞書データ生成部70の構成の一例を示すブロック図である。複数特徴の登録パターン辞書データ生成部70は、変動画像生成部71、画像変換パラメタ保持部72、部分領域設定部73、複数特徴ベクトル抽出部74、特徴ベクトル変換部75、特徴ベクトル変換用データ保持部76を含んで構成されている。図15は、複数特徴の登録パターン辞書データ生成部70における処理を説明するための模式図であり、合わせて説明に用いる。変動画像生成部71における処理は、第1の実施形態とほぼ同じであるため、省略する(図15に示す「画像取得」および「変動画像生成」)。
以上が、複数特徴の登録パターン辞書データ生成部70の説明である。
図17は、複数特徴の入力パターン生成部80の構成の一例を示すブロック図である。ここでの処理は<複数特徴の登録パターン辞書データ生成>とほぼ同じであるため詳細の説明は省略する。
図18は、複数特徴の入力パターン識別演算部90の構成の一例を示すブロック図である。複数特徴の入力パターン識別演算部90は、入力パターン識別用データ取得部91、登録パターン辞書データ取得部92、同種部分特徴類似度算出部93、特徴量別類似度統合部94、部分特徴類似度統合部95、識別結果算出部96を含んで構成される。入力パターン識別用データ取得部91と登録パターン辞書データ取得部92の処理は、第1の実施形態と同様の処理であるため、省略する。
まず、入力パターン識別用データ取得部91は、入力パターン識別用データを取得する(S70)。次に、登録パターン辞書データ取得部92は、登録パターンの辞書データを取得する(S71)。これらのデータは上述の通り、特徴ベクトルおよび特徴ベクトルの種類、抽出元の変動画像生成に用いたパラメタ、抽出した部分領域の情報、およびそれらの組み合わせ毎に抽出した特徴ベクトルを関連づけて記憶したデータである。同種部分特徴類似度算出部93は、部分特徴類似度を算出する(S72)。このとき、同種部分特徴類似度算出部93は、異なる種類の特徴ベクトル間では計算できないため、同種類の特徴ベクトル間でのみ演算を行う。具体的には、同種部分特徴類似度算出部93は、まず、登録パターン辞書データおよび入力パターン識別用データから処理を行う部分領域を選択し、その部分領域において同種類の特徴ベクトル間の類似度を算出する。そして、全ての部分領域ついてこの処理を行う。
S72では部分特徴類似度が変動画像の数だけ算出されるため、特徴量別類似度統合部94は、これらの複数の値を一つの値にまとめる統合を行う(S74)。ここでは、第1の実施形態と同じように、類似度の最大値を選択することで統合する。統合により、特徴ベクトルの種類の数だけ類似度が算出されるので、これをさらに次の処理で統合する。
Claims (6)
- 入力画像のパターンが属するカテゴリを識別するパターン識別装置であって、
前記入力画像及び登録画像に対して所定の複数のフィルタ処理のそれぞれを行って複数の変動入力画像および複数の変動登録画像を生成する変動画像生成手段と、
前記複数の変動入力画像の互いに対応する入力部分領域から複数の入力部分特徴を抽出し、前記複数の変動登録画像の前記入力部分領域に対応する登録部分領域から複数の登録部分特徴を抽出する部分特徴抽出手段と、
前記複数の入力部分特徴と前記複数の登録部分特徴との部分特徴類似度を、前記複数の入力部分特徴の1つと前記複数の登録部分特徴の1つとの所定の複数の組み合わせについて、組み合わせ毎に算出する部分特徴類似度算出手段と、
前記部分特徴類似度算出手段で算出された、前記所定の複数の組み合わせに対する部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合手段と、
複数の入力部分領域に対する前記統合部分特徴類似度を所定の基準で統合し、前記入力画像および前記登録画像間の識別類似度を算出する識別類似度算出手段と、を有することを特徴とするパターン識別装置。 - 前記部分特徴類似度統合手段は、前記所定の複数の組み合わせに対する部分特徴類似度の最大値を前記統合部分特徴類似度とすることを特徴とする請求項1に記載のパターン識別装置。
- 前記部分特徴抽出手段は、前記入力部分領域から複数種類の入力部分特徴を抽出し、前記登録部分領域から前記複数種類の入力部分特徴に対応する複数種類の登録部分特徴を抽出し、
前記部分特徴類似度算出手段は、部分特徴類似度を入力部分特徴の種類毎に算出し、
前記部分特徴類似度統合手段は、前記変動画像生成手段によるフィルタ処理で加えた変動の大きさを基準として前記種類毎の部分特徴類似度を統合することを特徴とする請求項1に記載のパターン識別装置。 - 前記部分特徴類似度算出手段において、前記複数の組み合わせは、前記複数の入力部分特徴と前記複数の登録部分特徴との総当たりであることを特徴とする請求項1に記載のパターン識別装置。
- 入力画像のパターンが属するカテゴリを識別するパターン識別方法であって、
前記入力画像及び登録画像に対して所定の複数のフィルタ処理のそれぞれを行って複数の変動入力画像および複数の変動登録画像を生成する変動画像生成工程と、
前記複数の変動入力画像の互いに対応する入力部分領域から複数の入力部分特徴を抽出し、前記複数の変動登録画像の前記入力部分領域に対応する登録部分領域から複数の登録部分特徴を抽出する部分特徴抽出工程と、
前記複数の入力部分特徴と前記複数の登録部分特徴との部分特徴類似度を、前記複数の入力部分特徴の1つと前記複数の登録部分特徴の1つとの所定の複数の組み合わせについて、組み合わせ毎に算出する部分特徴類似度算出工程と、
前記部分特徴類似度算出工程で算出された、前記所定の複数の組み合わせに対する部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合工程と、
複数の入力部分領域に対する前記統合部分特徴類似度を所定の基準で統合し、前記入力画像および前記登録画像間の識別類似度を算出する識別類似度算出工程と、を有することを特徴とするパターン識別方法。 - 入力画像のパターンが属するカテゴリを識別するパターン識別するためのプログラムであって、
前記入力画像及び登録画像に対して所定の複数のフィルタ処理のそれぞれを行って複数の変動入力画像および複数の変動登録画像を生成する変動画像生成工程と、
前記複数の変動入力画像の互いに対応する入力部分領域から複数の入力部分特徴を抽出し、前記複数の変動登録画像の前記入力部分領域に対応する登録部分領域から複数の登録部分特徴を抽出する部分特徴抽出工程と、
前記複数の入力部分特徴と前記複数の登録部分特徴との部分特徴類似度を、前記複数の入力部分特徴の1つと前記複数の登録部分特徴の1つとの所定の複数の組み合わせについて、組み合わせ毎に算出する部分特徴類似度算出工程と、
前記部分特徴類似度算出工程で算出された、前記所定の複数の組み合わせに対する部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合工程と、
複数の入力部分領域に対する前記統合部分特徴類似度を所定の基準で統合し、前記入力画像および前記登録画像間の識別類似度を算出する識別類似度算出工程と、をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011104621A JP5791361B2 (ja) | 2011-05-09 | 2011-05-09 | パターン識別装置、パターン識別方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011104621A JP5791361B2 (ja) | 2011-05-09 | 2011-05-09 | パターン識別装置、パターン識別方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012234500A JP2012234500A (ja) | 2012-11-29 |
JP5791361B2 true JP5791361B2 (ja) | 2015-10-07 |
Family
ID=47434731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011104621A Active JP5791361B2 (ja) | 2011-05-09 | 2011-05-09 | パターン識別装置、パターン識別方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5791361B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104239359B (zh) * | 2013-06-24 | 2017-09-01 | 富士通株式会社 | 基于多模态的图像标注装置以及方法 |
JP2018142074A (ja) * | 2017-02-27 | 2018-09-13 | 三菱重工業株式会社 | 特徴量算出装置、画像類似度判定装置、画像検索装置、特徴量算出方法及びプログラム |
CN111126102A (zh) * | 2018-10-30 | 2020-05-08 | 富士通株式会社 | 人员搜索方法、装置及图像处理设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5709410B2 (ja) * | 2009-06-16 | 2015-04-30 | キヤノン株式会社 | パターン処理装置及びその方法、プログラム |
-
2011
- 2011-05-09 JP JP2011104621A patent/JP5791361B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012234500A (ja) | 2012-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6544900B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
US8819015B2 (en) | Object identification apparatus and method for identifying object | |
US9053388B2 (en) | Image processing apparatus and method, and computer-readable storage medium | |
JP5174045B2 (ja) | 分類器チェーンを用いた照明検出 | |
JP5424819B2 (ja) | 画像処理装置、画像処理方法 | |
US10146992B2 (en) | Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type | |
JP5361524B2 (ja) | パターン認識システム及びパターン認識方法 | |
US9727585B2 (en) | Image processing apparatus and method for controlling the same | |
JP6456031B2 (ja) | 画像認識装置、画像認識方法およびプログラム | |
JP6071002B2 (ja) | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム | |
JP2012038106A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP5241606B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
JP6410450B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
JP6157165B2 (ja) | 視線検出装置及び撮像装置 | |
JP5971712B2 (ja) | 監視装置及び方法 | |
JP5791361B2 (ja) | パターン識別装置、パターン識別方法およびプログラム | |
JP5653003B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
JP7269897B2 (ja) | データ登録装置、生体認証装置、およびデータ登録プログラム | |
JP2012234497A (ja) | オブジェクト識別装置、オブジェクト識別方法、及びプログラム | |
JP2019046184A (ja) | 画像処理装置、訓練画像処理装置、画像識別装置、訓練画像処理方法、画像識別方法、及びプログラム | |
JP7103443B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2014203132A (ja) | 情報処理装置、情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150804 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5791361 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |