JP6560852B2

JP6560852B2 - 画像処理装置、方法、及びプログラム

Info

Publication number: JP6560852B2
Application number: JP2014209222A
Authority: JP
Inventors: 之人渡邉; 豪入江; 新井　啓之; 啓之新井; 行信谷口
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2014-10-10
Filing date: 2014-10-10
Publication date: 2019-08-14
Anticipated expiration: 2034-10-10
Also published as: JP2016081131A

Description

本発明は、画像処理装置、方法、及びプログラムに係り、特に、入力画像に類似する参照画像を求める画像処理装置、方法、及びプログラムに関する。

デジタルカメラ、スマートホン等の携帯撮影デバイスの普及により、一個人が撮影するデジタル写真の枚数が急速に増大した。それに伴い、画像を利用したコミュニケーションが発達し、WWW(World Wide Web)上には大量の画像が蓄積されている。例えば、あるソーシャルメディアサイトでは、毎月25億の画像がアップロードされている。

ユーザはこのような豊富な画像を見て楽しむことができる一方で、画像中の未知の物体に興味を持っても、その情報を取得することが困難であるという課題が存在する。例えば、画像中のある商品に興味を持っても、ユーザがその商品名、外見等の知識を持っていない場合には、その商品に関する情報を取得することは困難である。

上記問題を解決するためには、画像が何を写しているのかといった情報を画像から特定することが必要となるが、画像に対して1枚ずつ目視で判別を行うことは、極めて手間のかかる作業である。従って、画像中の物体の自動的な特定への要望が高まっている。

従来の方法として、画像内に含まれる物体を推定する画像認識方法がある。例えば、画像中の物体の名称が既知である画像(以下、参照画像とする)によりあらかじめデータセットを構築し、新たに入力された画像(以下、入力画像とする)に含まれる物体の名称を推定する画像認識方法が提案されている（非特許文献１）。

このような画像認識方法においては、画像の特性を表現する画像特徴を算出し、入力画像と参照画像のそれぞれの画像特徴の類似度を計算することで、入力画像と類似する参照画像を発見し、その名称を正解とする。

画像間の類似度を計算する方法としては、例えば、SIFT(Scale Invariant Feature Transform)特徴量のマッチングに基づく方法がある（非特許文献２）。この方法では、まず入力画像、参照画像それぞれの画像中から特徴点を検出し、特徴点毎にSIFT特徴量を算出する。

次に、得られたそれぞれのSIFT特徴量間の距離を計算し、その距離が一定値以下となる特徴点の個数(マッチング数)を算出する。このマッチング数が多いほど、類似度が大きいことになる。

しかしながら、図１８に示す商品１と商品２のような、外見が類似する場合には、正しく参照画像を発見することが困難となる。図１８は、全体が類似するが、異なる部分を有する別の物体を例示する図である。いうまでもなく、全体が類似する場合には、異なる物体であっても多数の特徴点がマッチしてしまう。全体が類似する、異なる物体を見分けるためには、これら物体の差異となる部分から特徴量を算出する必要がある。

通常、SIFT等による特徴点の検出は画像毎に行われる。すなわち、必ずしも類似する物体の差異となる部分から特徴点が検出されるとは限らない。これに対し、検出する特徴点の数を大きくすれば、差異となる部分から検出される特徴点の増加が期待できるが、類似する部分から検出される特徴点も増加する可能性があり、類似する物体を見分けやすくなるとは限らない。

さらに、検出する特徴点の数を大きくすると、特徴量間の距離計算回数が増加し、多くの計算時間がかかってしまう。特に、データセットに類似する参照画像と類似しない参照画像が混在している場合、すなわち特定が困難な参照画像と特定が容易な参照画像が混在している場合、特定が容易であった参照画像における距離計算の多くが不必要なものとなる。

このような課題に対して、画像中の特徴的な領域を発見することで、効率的に類似した画像を発見する技術に関する取り組みがなされてきた。この課題を解決するため、従来いくつかの発明がなされ、開示されてきている。

従来技術では、参照画像から検出した特徴点を、その位置情報に基づきクラスタリングし、求められた主要なクラスタを画像の主要な領域とする（特許文献１）。さらに入力画像中の部分領域を利用者に指定させ、指定された領域中の特徴点と、主要な領域の特徴点との類似度を計算することで、精度のよい入力画像の特定を図っている。

また、他の従来技術においては、参照画像のランダムな領域から算出した特徴量をクラスタリングし、各クラスタを、WWWから無造作に取得した画像と比較し、特徴的な領域を発見する。領域を発見後、発見した領域を、例えば、bag of visual wordsにおけるvisual words（非特許文献３）として用いる（非特許文献４）。そして、学習データをvisual wordsに分解し、visual wordsのヒストグラムを作成する。このヒストグラムを画像の特徴量として用いる。

特開２０１１−１１８７９０号公報

T. Antonio, F. Rob and W. Freeman: 80 million tiny images: a large dataset for non-parametric object and scene recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008. 本道貴行，黄瀬浩一，"大規模画像認識のための局所特徴量の性能比較"，画像の認識・理解シンポジウム（ＭＩＲＵ２００８）論文集，ＩＳ５−６，ｐｐ．５５０−５５５，２００８． S. Lazebnik, C. Schmid and J. Ponce: Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories. In: CVPR, 2006. S. Singh, A. Gupta and A.A. Efros: Unsupervised Discovery of Mid-Level Discriminative Patches.In European Conference on Computer Vision,2012.

上記特許文献１の技術は、参照画像から主要な領域を抽出し、利用者に注目する領域を指定させることにより、画像の全体ではなく画像の局所的な類似性を重視した分析が可能である。しかしながら、特徴点をその位置情報に従ってクラスタリングするため、画像間の差異となる領域が散在している場合、捉えることが困難となるという問題がある。また、利用者が注目する領域を指定する必要があるため実用上課題となる。

また、上記非特許文献３の技術は、全参照画像から抽出した領域をクラスタリングするため、参照画像群中で十分頻繁に現れ、かつ他の領域と十分に異なる部分領域を発見することができる。しかしながら、例えばある特定の物体にのみ存在する部分領域等、画像間の差異となる領域が参照画像群中で頻繁に現れなかった場合には、捉えることが困難となるという問題がある。

本発明では、上記問題を解決するために成されたものであり、入力画像に類似する参照画像を高精度に求めることができる画像処理装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る画像処理装置は、画像の内容を表す情報が予め付与された複数の参照画像の各々について、特徴量を算出する特徴量算出部と、前記参照画像の各々について、前記特徴量算出部により算出された前記参照画像の特徴量と、前記特徴量算出部により算出された、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の特徴量とに基づいて、前記参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定する部分領域決定部と、前記参照画像の各々について、前記部分領域決定部により決定された前記参照画像の部分領域について、特徴量を算出する部分特徴量算出部と、入力画像から特徴量を算出する入力画像特徴量算出部と、前記参照画像の各々について、前記入力画像特徴量算出部により算出された前記入力画像の特徴量と、前記部分特徴量算出部により算出された前記参照画像の部分領域の特徴量とに基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出部と、前記類似度算出部により算出された類似度の各々に基づいて、前記入力画像に類似する前記参照画像を出力する出力部と、を含んで構成されている。

第２の発明に係る画像処理方法は、特徴量算出部と、部分領域決定部と、部分特徴量算出部と、入力画像特徴量算出部と、類似度算出部と、出力部と、を含む画像処理装置における画像処理方法であって、前記特徴量算出部は、画像の内容を表す情報が予め付与された複数の参照画像の各々について、特徴量を算出し、前記部分領域決定部は、前記参照画像の各々について、前記特徴量算出部により算出された前記参照画像の特徴量と、前記特徴量算出部により算出された、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の特徴量とに基づいて、前記参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、前記部分特徴量算出部は、前記参照画像の各々について、前記部分領域決定部により決定された前記参照画像の部分領域について、特徴量を算出し、前記入力画像特徴量算出部は、入力画像から特徴量を算出し、前記類似度算出部は、前記参照画像の各々について、前記入力画像特徴量算出部により算出された前記入力画像の特徴量と、前記部分特徴量算出部により算出された前記参照画像の部分領域の特徴量とに基づいて、前記入力画像と前記参照画像との類似度を算出し、前記出力部は、前記類似度算出部により算出された類似度の各々に基づいて、前記入力画像に類似する前記参照画像を出力する。

第１及び第２の発明によれば、特徴量算出部により、複数の参照画像の各々について、特徴量を算出し、部分領域決定部により、参照画像の各々について、参照画像の特徴量と、参照画像以外の参照画像であって、かつ参照画像と類似する参照画像の各々の特徴量とに基づいて、参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、部分特徴量算出部により、参照画像の各々について、参照画像の部分領域について、特徴量を算出し、入力画像特徴量算出部により、入力画像から特徴量を算出し、類似度算出部により、参照画像の各々について、入力画像の特徴量と、参照画像の部分領域の特徴量とに基づいて、入力画像と参照画像との類似度を算出し、出力部により、類似度の各々に基づいて、入力画像に類似する参照画像を出力する。

このように、複数の参照画像の各々について、特徴量を算出し、参照画像の各々について、参照画像の特徴量と、参照画像以外の参照画像であって、かつ参照画像と類似する参照画像の各々の特徴量とに基づいて、参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、参照画像の各々について、参照画像の部分領域について、特徴量を算出し、入力画像から特徴量を算出し、参照画像の各々について、入力画像の特徴量と、参照画像の部分領域の特徴量とに基づいて、入力画像と参照画像との類似度を算出し、類似度の各々に基づいて、入力画像に類似する参照画像を出力することにより、入力画像に類似する参照画像を高精度に求めることができる。

また、第１及び第２の発明において、前記参照画像の各々について、前記参照画像の複数の初期部分領域の各々を作成する初期部分領域作成部と、前記参照画像の各々について、前記初期部分領域作成部により作成された前記参照画像の初期部分領域毎の特徴量を算出し、前記参照画像の各々について、前記参照画像の初期部分領域毎の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域毎の特徴量とに基づいて、前記参照画像の初期部分領域の各々に対し、前記初期部分領域の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域の特徴量との最小距離を算出する最小距離算出部と、を更に含み、前記部分領域決定部は、前記参照画像の各々について、前記最小距離算出部により前記参照画像について算出された前記初期部分領域の各々に対する最小距離に基づいて、前記参照画像の部分領域を決定してもよい。

また、第１及び第２の発明において、前記部分領域決定部は、前記参照画像の各々について、前記最小距離算出部により前記参照画像について算出された前記初期部分領域の各々に対する最小距離に基づいて、前記参照画像の各ピクセルに最小距離を割り振り、前記参照画像の各ピクセルについて、前記ピクセルに割り振られた最小距離と、閾値とを比較して、前記ピクセルが部分領域であるか否かを判定することにより、前記参照画像の部分領域を決定してもよい。

また、本発明のプログラムは、コンピュータを、上記の画像処理装置を構成する各部として機能させるためのプログラムである。

以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、複数の参照画像の各々について、特徴量を算出し、参照画像の各々について、参照画像の特徴量と、参照画像以外の参照画像であって、かつ参照画像と類似する参照画像の各々の特徴量とに基づいて、参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、参照画像の各々について、参照画像の部分領域について、特徴量を算出し、入力画像から特徴量を算出し、参照画像の各々について、入力画像の特徴量と、参照画像の部分領域の特徴量とに基づいて、入力画像と参照画像との類似度を算出し、類似度の各々に基づいて、入力画像に類似する参照画像を出力することにより、入力画像に類似する参照画像を高精度に求めることができる。

本発明の第１の実施の形態に係る画像処理装置における機能的構成を示すブロック図である。部分領域の例を示す図である。最小距離算出の例を示す図である。最小距離の割り振り結果の例を示す図である。部分領域の決定の例を示す図である。本発明の第１の実施の形態に係る画像処理装置における部分特徴量算出処理ルーチンを示すフローチャート図である。本発明の第１の実施の形態に係る画像処理装置における部分領域抽出処理ルーチンを示すフローチャート図である。本発明の第１の実施の形態に係る画像処理装置における部分領域抽出処理ルーチンを示すフローチャート図である。本発明の第１の実施の形態に係る画像処理装置における入力画像判定処理ルーチンを示すフローチャート図である。距離計算回数削減例を示す図である。距離計算回数削減例を示す図である。距離計算回数削減例を示す図である。本発明の第２の実施の形態に係る画像処理装置における機能的構成を示すブロック図である。本発明の第２の実施の形態に係る画像処理装置における部分特徴量算出処理ルーチンを示すフローチャート図である。本発明の第２の実施の形態に係る画像処理装置における部分領域有無情報取得処理ルーチンを示すフローチャート図である。本発明の第２の実施の形態に係る画像処理装置における部分領域有無情報取得処理ルーチンを示すフローチャート図である。図である。本発明の第２の実施の形態に係る画像処理装置における入力画像判定処理ルーチンを示すフローチャート図である。全体像が類似しているが細部が異なる物体の例を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の第１の実施の形態に係る画像処理装置の構成＞
次に、本発明の第１の実施の形態に係る画像処理装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る画像処理装置１００は、ＣＰＵと、ＲＡＭと、後述する部分特徴量算出処理ルーチン、及び入力画像判定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この画像処理装置は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０と、を含んで構成されている。

入力部１０は、画像の内容を表す情報が予め付与された複数の参照画像を受け付け、参照画像記憶部２２に記憶する。また、入力部１０は、処理対象となる入力画像を受け付ける。

演算部２０は、参照画像記憶部２２と、部分領域抽出部３０と、部分特徴量算出部５０と、部分特徴量記憶部５２と、入力画像特徴量算出部６０と、類似度算出部６２と、並べ替え部６４と、を含んで構成されている。

参照画像記憶部２２には、入力部１０において受け付けた複数の参照画像が記憶されている。

部分領域抽出部３０は、参照画像記憶部２２に記憶されているＣ枚の参照画像のうち、ランダムに任意のＮ枚（Ｉ_１、Ｉ_２、・・・Ｉ_Ｎ）を抽出対象の参照画像として取得し、当該Ｎ枚の参照画像の各々について、他の参照画像との間で差異となる、すなわち他の画像と類似しない部分領域を抽出する。また、部分領域抽出部３０は、特徴量算出部３２と、初期部分領域作成部３４と、類似画像選択部３６と、最小距離算出部３８と、部分領域決定部４０と、を含んで構成されている。ここで、Ｃは入力画像と比較を行う参照画像の総枚数、Ｎは部分領域の抽出を行う画像の総枚数であり、Ｃは自然数であり、ＮはＣ以下の自然数である。また、部分領域抽出部３０により抽出される部分領域とは、図２に示すような各画像と同サイズのマスク画像であり、当該画像の一部分の領域を部分領域として示す画像である。なお、マスク画像は、各ピクセルに１又は０の値を持ち、１の値の場合、対応するピクセルが部分領域に該当し、０の値の場合、対応するピクセルが部分領域に該当しないことを示す。また、第１の実施の形態においては、画像全体も部分領域として設定され得る。

特徴量算出部３２は、抽出対象のＮ枚の参照画像の各々について、特徴点の各々を検出し、検出された特徴点の各々から当該参照画像の特徴量を算出する。特徴点の検出方法、及び特徴点からの特徴量の算出方法としては、例えば、SIFT(Scale Invariant Feature Transform)（非特許文献５：D.G. Lowe: Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 2004）、SURF(Speeded Up Robust Features)（非特許文献６：H. Bay, T. Tuytelaars and L.V. Gool: SURF: Speeded Up Robust Features. Lecture Notes in Computer Science, 2006）などの方法を用いれば良い。

初期部分領域作成部３４は、抽出対象のＮ枚の参照画像の各々について、当該参照画像から複数の初期部分領域の各々を作成する。初期部分領域を作成する方法は、例えば、参照画像に対してＳ種類の任意の大きさの窓をずらしながら当てはめ、各窓領域を初期部分領域として生成する。ここで、Ｓは、例えば３等の自然数とする。また、第１の実施の形態においては、参照画像毎及び窓の種類Ｓ毎にＲ個の初期部分領域を作成する。この場合、参照画像Ｎ枚全体において、Ｎ×Ｓ×Ｒ個の初期部分領域が作成される。

類似画像選択部３６は、抽出対象のＮ枚の参照画像の各々について、当該参照画像を抽出対象の参照画像の全てから除いたＮ−１枚の参照画像から当該参照画像の類似画像をＭ枚選択する。ここで、ＭはＮ−１以下の自然数である。類似画像の選択は公知の方法を用いることができる。例えば、特徴量算出部３２において検出した特徴点毎に特徴量間のユークリッド距離を算出し、その距離が一定値以下となる特徴点の個数(マッチング数)が大きい順にＮ−１枚の参照画像からＭ枚選択すればよい。

最小距離算出部３８は、抽出対象のＮ枚の参照画像毎に、当該参照画像について作成されたＳ×Ｒ個の初期部分領域の各々と、Ｍ枚の類似画像の各々とにおける最小距離を算出する。ここで、最小距離とは、参照画像の初期部分領域と、類似画像中のＳ×Ｒ個の初期部分領域のうちの最も類似する初期部分領域との距離である。具体的には、参照画像の初期部分領域の各々について、当該参照画像の類似画像ｍ（ｍ＝１〜Ｍ）及び窓の種類ｓ（ｓ＝１〜Ｓ）毎に、当該初期部分領域と、当該参照画像の類似画像中のＲ個の初期部分領域ｒ（ｒ＝１〜Ｒ）の各々との距離を算出し、算出された距離のうち最小値となるものを、当該初期部分領域と当該類似画像との最小距離とする。

また、参照画像の初期部分領域と、当該参照画像の類似画像の初期部分領域との距離の計算処理では、例えば、特徴量算出部３２においてSIFT、SURFなどの特徴点を用いた特徴量を算出している場合には、参照画像の初期部分領域中に存在する特徴点から算出した特徴量と、当該参照画像の類似画像の初期部分領域中に存在する特徴点から算出した特徴量とのユークリッド距離を計算し、その距離が一定値以下となる特徴点の個数（マッチング数）を算出した上で、マッチングしない数を、初期部分領域中に存在する特徴点の数で割った値を、距離として算出する。このとき、初期部分領域中に特徴点が存在しなければ、例えば０など、距離が取り得る範囲の任意の数値を、距離とすればよい。図３に最小距離算出の例を示す。

部分領域決定部４０は、抽出対象の参照画像の各々について、他画像との差異となる、すなわち他画像との距離が大きい部分領域を決定する。具体的に、まず、抽出対象となる参照画像について、当該参照画像の類似画像ｍ及び窓の種類ｓ毎に、当該参照画像の初期部分領域ｒの各々に対し、当該初期部分領域ｒと、当該参照画像の類似画像ｍにおける当該窓の種類ｓに対応する初期部分領域ｒの各々との間において算出された最小距離を、当該初期部分領域に含まれる参照画像の各ピクセルに割り振る。なお、最小距離の割り振りの処理は、窓の種類ｓ毎で行われるため、１つの類似画像ｍに対してＳ種類の割り振り結果が取得できる。ここで、ピクセルが複数の初期部分領域に含まれる場合には、例えば、最小距離の平均値又は最大値を当該ピクセルに割り振るようにすればよい。また、参照画像の初期部分領域の各々と、当該参照画像の類似画像との最小距離の算出処理は、当該参照画像の類似画像数であるＭ回繰り返されるため、当該参照画像に含まれるピクセル毎にＳ×Ｍ個の最小距離が割り振られる。図４に最小距離の割り振り結果の例を示す。

次に、抽出対象となる参照画像の各々について、取得した類似画像ｍ毎の、窓の種類ｓ毎の当該参照画像の各ピクセルの最小距離の割り振り結果に基づいて、類似画像ｍ及び窓の種類ｓ毎の当該参照画像の各ピクセルが部分領域か否か判定し、類似画像ｍ及び窓の種類ｓ毎に、当該参照画像の各ピクセルに部分領域有無情報を付加する。ここで、各ピクセルが部分領域か否かの判定は、例えば、当該ピクセルに割り振られた最小距離が任意の一定値（閾値）Ｔ以上の場合に、当該ピクセルを部分領域であるとし、当該ピクセルに割り振られた最小距離がＴ未満の場合に、当該ピクセルを部分領域ではないとする。一定値には、例えば最小距離の平均値を用いればよい。また、部分領域有無情報は、例えば、部分情報で有る場合には１の値を、部分情報で無い場合には０の値を情報として付加するように二値の値を付加すればよい。

次に、参照画像の各々について、類似画像ｍ及び窓の種類ｓ毎の当該参照画像の各ピクセルの判定結果に基づいて、類似画像ｍ及び窓の種類ｓ毎の当該参照画像の各ピクセルの判定結果を統合し、統合した結果に基づいて、当該参照画像の部分領域を決定する。ここで、統合は、例えば、ピクセル毎に部分領域有無情報の論理和、論理積等をとり、当該ピクセルの値が１であるピクセルを部分領域として決定し、当該ピクセルの値が０であるピクセルを部分領域でない領域として決定する。これにより、抽出対象の参照画像の各々について、当該参照画像と同ピクセル数の部分領域有無情報から構成される部分領域が得られる。図５に、部分領域の決定の例を示す。

部分特徴量算出部５０は、参照画像記憶部２２に記憶されているＣ枚の参照画像の各々について、当該参照画像の部分領域から特徴点を検出し、当該検出された特徴点から特徴量を算出し、当該部分領域に対応する参照画像と、当該部分領域の特徴量とを併せて部分特徴量記憶部５２に記憶する。具体的には、まず、部分領域抽出部３０において処理の対象とならなかったＣ−Ｎ枚の参照画像の各々について、当該参照画像全体の領域を当該参照画像の部分領域と決定する。次に、部分領域の抽出処理の対象となったＮ枚の参照画像の各々については、部分領域決定部４０において取得した部分領域を当該参照画像の部分領域とする。そして、Ｃ枚の参照画像の各々について、当該参照画像の部分領域の特徴量を算出する。ここで、特徴点の検出方法、及び特徴点からの特徴量の算出方法としては、例えば、SIFT(Scale Invariant Feature Transform)（非特許文献５）、SURF(Speeded Up Robust Features)（非特許文献６）などの方法を用いれば良い。

部分特徴量記憶部５２には、部分特徴量算出部５０において取得した部分領域の特徴量と、当該部分領域に対応する参照画像とのペアが複数記憶されている。

入力画像特徴量算出部６０は、入力部１０において受け付けた処理対象となる入力画像について、部分特徴量算出部５０において算出した特徴量と同様の特徴量を算出する。

類似度算出部６２は、入力画像特徴量算出部６０において取得した入力画像の特徴量と、部分特徴量記憶部５２に記憶されている部分領域の特徴量の各々と、に基づいて、入力画像と部分領域の各々との類似度を算出する。具体的には、例えば、入力画像の特徴量と、部分領域の特徴量との間のユークリッド距離を算出し、算出した距離が一定値以下となる特徴点の個数（マッチング数）を算出し、当該マッチング数を類似度とする。また、算出した特徴点の数でマッチング数を割った値を類似度としてもよい。

並べ替え部６４は、類似度算出部６２において算出された入力画像と部分領域の各々との類似度に基づいて、類似度の高い部分領域順に、当該部分領域に対応する参照画像のソートを行い、上位Ｙ個の参照画像の各々に付与されている物体の名称、又は、上位Ｙ個の参照画像の各々を出力部９０に出力する。なお、ＹはＣ以下の自然数である。

＜本発明の第１の実施の形態に係る画像処理装置の作用＞
次に、第１の実施の形態に係る画像処理装置１００の作用について説明する。まず、入力部１０において、複数の参照画像を受け付け、参照画像記憶部２２に記憶する。そして、参照画像記憶部２２からＣ枚の参照画像を読み込むと、画像処理装置１００によって、図６に示す部分特徴量算出処理ルーチンが実行される。また、部分特徴量算出処理ルーチンの終了後に、入力部１０において、入力画像を受け付けると、画像処理装置１００によって、図９に示す入力画像判定処理ルーチンを実行する。

まず、図６に示す、部分特徴量算出処理ルーチンについて説明する。

図６における、ステップＳ１００では、読み込んだＣ枚の参照画像のうちから、部分領域を抽出する対象となるＮ枚の参照画像を取得する。

次に、ステップＳ１０２では、ステップＳ１００において取得したＮ枚の参照画像の各々について、部分領域を抽出する。

次に、ステップＳ１０４では、読み込んだＣ枚の参照画像の各々について部分領域を設定する。ステップＳ１００において取得したＮ枚の参照画像の各々については、ステップＳ１０２において抽出した部分領域を設定し、それ以外のＣ−Ｎ枚については、参照画像全体を部分領域として設定する。

次に、ステップＳ１０６では、Ｃ枚の参照画像の各々について、ステップＳ１０４において取得した当該参照画像の部分領域の特徴量を算出する。

次に、ステップＳ１０８では、ステップＳ１０６において取得した参照画像の各々の部分領域の特徴量と、当該参照画像の各々をペアにして部分特徴量記憶部５２に記憶し、部分特徴量算出処理ルーチンを終了する。

上記ステップＳ１０２の部分領域の抽出処理について、図７及び図８の部分領域抽出処理ルーチンにおいて詳細に説明する。

図７における、ステップＳ２００では、ステップＳ１００において取得したＮ枚の参照画像Ｉ_ｎ（ｎ＝１〜Ｎ）の各々について、特徴量を算出する。

次に、ステップＳ２０２では、Ｎ枚の参照画像の各々について、当該参照画像をＳ種類の窓で分割し、Ｓ種類の窓毎にＲ個の初期部分領域の各々を作成する。

次に、ステップＳ２０４では、ｎの値を１の値に設定する。

次に、ステップＳ２０６では、参照画像Ｉ_ｎについて、ステップＳ１００において取得したＮ枚の参照画像から当該参照画像Ｉ_ｎを除いたＮ−１枚の参照画像の各々から、ステップＳ２００において取得した参照画像Ｉ_ｎの特徴量及びＮ−１枚の参照画像各々の特徴量に基づいて、参照画像Ｉ_ｎに類似する類似画像ｍをＭ枚選択する。

次に、ステップＳ２０８では、ｍの値に１の値を設定する。

次に、ステップＳ２１０では、ｓの値に１の値を設定する。

次に、ステップＳ２１２では、ｒの値に１の値を設定する。

次に、ステップＳ２１４では、ｓ´の値に１の値を設定する。

次に、ステップＳ２１６では、ｒ´の値に１の値を設定する。

次に、ステップＳ２１８では、参照画像Ｉ_ｎについて、参照画像Ｉ_ｎのｓ番目の窓においてｒ番目に作成した初期部分領域と、類似画像ｍのｓ´番目の窓においてｒ´番目に作成した初期部分領域との距離を、ステップＳ２００において取得した参照画像Ｉ_ｎの特徴量及び類似画像ｍの特徴量に基づいて、算出する。

次に、ステップＳ２２０では、ｒ´の値がＲの値であるか否かを判定する。ｒ´の値がＲの値で無い場合には、ステップＳ２２２へ移行し、ｒ´の値がＲの値である場合には、ステップＳ２２４へ移行する。

ステップＳ２２２では、ｒ´の値にｒ´＋１の値を設定し、ステップＳ２１８へ移行する。

ステップＳ２２４では、ｓ´の値がＳの値であるか否かを判定する。ｓ´の値がＳの値で無い場合には、ステップＳ２２６へ移行し、ｓ´の値がＳの値である場合には、ステップＳ２２８へ移行する。

ステップＳ２２６では、ｓ´の値にｓ´＋１の値を設定し、ステップＳ２１６へ移行する。

ステップＳ２２８では、ステップＳ２１８において取得した、初期部分領域間の距離の各々に基づいて、参照画像Ｉ_ｎのｓ番目の窓においてｒ番目に作成した初期部分領域と、類似画像ｍとの最小距離を決定する。

ステップＳ２３０では、ｒの値がＲの値であるか否かを判定する。ｒの値がＲの値で無い場合には、ステップＳ２３２へ移行し、ｒの値がＲの値である場合には、ステップＳ２３４へ移行する。

次に、ステップＳ２３２では、ｒの値にｒ＋１の値を設定し、ステップＳ２１４へ移行する。

ステップＳ２３４では、ｓの値がＳの値であるか否かを判定する。ｓの値がＳの値で無い場合には、ステップＳ２３６へ移行し、ｓの値がＳの値である場合には、ステップＳ２３８へ移行する。

ステップＳ２３６では、ｓの値にｓ＋１の値を設定し、ステップＳ２１２へ移行する。

ステップＳ２３８では、ｍの値がＭの値であるか否かを判定する。ｍの値がＭの値で無い場合には、ステップＳ２４０へ移行し、ｍの値がＭの値である場合には、図８のステップＳ３００へ移行する。

ステップＳ２４０では、ｍの値にｍ＋１の値を設定し、ステップＳ２１０へ移行する。

図８のステップＳ３００では、ｍの値に１の値を設定する。

次に、ステップＳ３０２では、ｓの値に１の値を設定する。

次に、ステップＳ３０４では、ステップＳ２３０又はステップＳ２３３において取得した、参照画像Ｉ_ｎのｓ番目の窓において作成した初期部分領域の各々と、類似画像ｍとの最小距離を、参照画像Ｉ_ｎの対象となるピクセルの各々について割り振り、類似画像ｍに対する、ｓ番目の窓において作成した初期部分領域の結果として取得する。

次に、ステップＳ３０６では、ｓの値がＳの値であるか否かを判定する。ｓの値がＳの値で無い場合には、ステップＳ３０８へ移行し、ｓの値がＳの値である場合には、ステップＳ３１０へ移行する。

ステップＳ３０８では、ｓの値にｓ＋１の値を設定し、ステップＳ３０４へ移行する。

ステップＳ３１０では、ｍの値がＭの値であるか否かを判定する。ｍの値がＭの値で無い場合には、ステップＳ３１２へ移行し、ｍの値がＭの値である場合には、ステップＳ３１４へ移行する。

ステップＳ３１２では、ｍの値にｍ＋１の値を設定し、ステップＳ３０２へ移行する。

次に、ステップＳ３１４では、ｍの値に１の値を設定する。

次に、ステップＳ３１６では、ｓの値に１の値を設定する。

次に、ステップＳ３１８では、ステップＳ３０４において取得した、類似画像ｍに対する、ｓ番目の窓において作成した初期部分領域の結果に基づいて、参照画像Ｉ_ｎの処理対象となるピクセルが部分領域であるか否かを判定し、当該結果を類似画像ｍに対する、ｓ番目の窓において作成した処理対象のピクセルの判定結果とする。

次に、ステップＳ３２０では、参照画像Ｉ_ｎに含まれる全てのピクセルについて、同一のｍ及びｓの値において、ステップＳ３１８の処理を終了したか否かを判定する。全てのピクセルについてステップＳ３１８の処理を終了している場合には、ステップＳ３２２へ移行し、全てのピクセルについてステップＳ３１８の処理を終了していない場合には、処理対象となるピクセルを変更し、ステップＳ３１８へ移行し、ステップＳ３１８の処理を繰り返す。

次に、ステップＳ３２２では、ｓの値がＳの値であるか否かを判定する。ｓの値がＳの値で無い場合には、ステップＳ３２４へ移行し、ｓの値がＳの値である場合には、ステップＳ３２６へ移行する。

ステップＳ３２４では、ｓの値にｓ＋１の値を設定し、ステップＳ３１８へ移行する。

ステップＳ３２６では、ｍの値がＭの値であるか否かを判定する。ｍの値がＭの値で無い場合には、ステップＳ３２８へ移行し、ｍの値がＭの値である場合には、ステップＳ３３０へ移行する。

ステップＳ３２８では、ｍの値にｍ＋１の値を設定する。

ステップＳ３３０では、ステップＳ３１８において取得した、参照画像Ｉ_ｎの類似画像ｍに対する、ｓ番目の窓において作成した各ピクセルの判定結果の各々に基づいて、参照画像Ｉ_ｎに含まれる各ピクセルにおける部分領域有無情報を統合する。

次に、ステップＳ３３２では、ステップＳ３３０において取得した参照画像Ｉ_ｎに含まれる各ピクセルの部分領域有無情報に基づいて、参照画像Ｉ_ｎの部分領域を決定する。

次に、ステップＳ３３４では、ｎの値がＮの値か否かを判定する。ｎの値がＮの値で無い場合には、図７のステップＳ２４２へ移行し、ｎの値がＮの値である場合には、部分領域抽出処理ルーチンを終了する。

次に、図９に示す入力画像判定処理ルーチンについて説明する。

まず、ステップＳ４００では、部分特徴量記憶部５２に記憶されている部分領域の各々の特徴量、及び当該部分領域に対応する参照画像を読み込む。

次に、ステップＳ４０２では、入力部１０において受け付けた入力画像について、ステップＳ１０６と同様の特徴量を算出する。

次に、ステップＳ４０４では、ステップＳ４０２において取得した入力画像の特徴量と、ステップＳ４００において取得した部分領域の各々の特徴量とに基づいて、入力画像と、部分領域の各々との類似度を算出する。

次に、ステップＳ４０６では、ステップＳ４０４において取得した入力画像と部分領域の各々との類似度に基づいて、類似度の高い部分領域順に、当該部分領域に対応する参照画像のソートを行う。

次に、ステップＳ４０８では、ステップＳ４０６において取得した参照画像のソート結果に基づいて、上位Ｙ個の参照画像の各々に付加されている物体の名称、又は上位Ｙ個の参照画像の各々を出力部９０に出力し、入力画像判定処理ルーチンを終了する。

以上説明したように、本発明の第１の実施の形態に係る画像処理装置によれば、複数の参照画像の各々について、特徴量を算出し、参照画像の各々について、参照画像の特徴量と、参照画像以外の参照画像であって、かつ参照画像と類似する参照画像の各々の特徴量とに基づいて、参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、参照画像の各々について、参照画像の部分領域について、特徴量を算出し、入力画像から特徴量を算出し、参照画像の各々について、入力画像の特徴量と、参照画像の部分領域の特徴量とに基づいて、入力画像と参照画像との類似度を算出し、類似度の各々に基づいて、入力画像に類似する参照画像を高精度に求めることができる。

また、参照画像間の差異となる領域を算出することにより、入力画像中に含まれる物体の名称を、高精度かつ高速に得ることができる。

また、類似する参照画像から初期部分領域を作成して比較することにより、差異となる領域が画像中に散在していても捉えることができる。

また、類似する参照画像を１対１で比較することにより、差異となる領域が参照画像群中で頻繁に現れなかった場合でも捉えることができる。

また、類似した画像を比較することで差異となる領域を抽出し、抽出した部分的な差異に基づく詳細な画像の自動特定を実現することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、第１の実施の形態においては、Ｃ枚の参照画像のうち、任意のＮ枚をランダムに抽出する場合について説明したが、これに限定されるものではなく、予め抽出対象の参照画像をＮ枚定めておいてもよい。

また、第１の実施の形態においては、特徴量を算出する際に、特徴点を検出してから、当該特徴点に基づいて、特徴量を算出する場合について説明したが、これに限定されるものではない。例えば、HOG(Histograms of Oriented Gradients)や色ヒストグラム（非特許文献７：N. Dalal and B. Triggs: Histograms of oriented gradients for human detection. In CVPR, 2005）など、特徴点を用いず画像全域から算出する特徴量を用いても良い。

また、第１の実施の形態においては、初期部分領域を作成する際に、参照画像毎、及び窓の種類Ｓ毎（Ｓは固定値）にＲ個の初期部分領域を作成する場合について説明したが、これに限定されるものではない。例えば、窓の大きさ及びＳは、参照画像毎に変更してもよいし、また、参照画像に対して窓を当てはめる際に、ずらしながら窓の大きさ変更してもよい。

また、第１の実施の形態においては、初期部分領域を作成する際に、窓をずらしながら参照画像を分割する場合について説明したが、これに限定されるものではない。例えば、参照画像群に含まれる参照画像の各々について、SIFT等の特徴点を用いる特徴量を算出している場合、参照画像について窓を用いて初期部分領域の作成を行わず、特徴点そのものを初期部分領域としてもよい。

また、第１の実施の形態においては、類似画像の選択を行う際に、特徴量算出部３２において検出した特徴点毎に特徴量間のユークリッド距離を算出する場合について説明したが、これに限定されるものではない。例えば、特徴量算出部３２にいて算出した特徴量が特徴点を用いないものであった場合、例えば、算出した特徴量間のユークリッド距離を算出し、その距離が小さい順に画像群からＭ枚選択すればよい。

また、第１の実施の形態においては、参照画像の初期部分領域と、当該参照画像の類似画像の初期部分領域との距離の計算において、特徴点を用いる場合について説明したが、これに限定されるものではない。例えば、特徴量算出部３２において、HOG、色ヒストグラムなどの特徴点を用いない特徴量を算出している場合、参照画像および当該参照画像の類似画像の初期部分領域から特徴量を算出し、これらのユークリッド距離を計算し、これを距離として用いればよい。

また、第１の実施の形態においては、参照画像の初期部分領域の各々と、当該参照画像の類似画像の各々との最小距離を算出する際に、参照画像の初期部分領域の各々と、当該参照画像の類似画像のＳ×Ｒ個の全ての初期部分領域の各々との距離を算出する場合について説明したが、これに限定されるものではない。例えば、図１０に示すように、参照画像の初期部分領域と、当該参照画像の類似画像の当該参照画像の初期部分領域と同箇所の初期部分領域のみとの距離を算出してもよい。また、図１１に示すように、参照画像の初期部分領域と、当該参照画像の類似画像の当該参照画像の初期部分領域と同箇所の初期部分領域、及び当該参照画像の初期部分領域の周辺に位置する初期部分領域のみとの距離を算出してもよい。また、図１２に示すように、参照画像の初期部分領域と、当該参照画像の類似画像全体との距離を算出してもよい。また、特徴点そのものを初期部分領域としている場合、１つの初期部分領域中に存在する特徴点は１つとなるため、例えば、参照画像の初期部分領域中に存在する特徴点から算出した特徴量と、当該参照画像の類似画像の初期部分領域中に存在する特徴点から算出した特徴量とのユークリッド距離を計算し、初期部分領域間の距離としてもよい。このようにすることによって、距離計算の処理回数を減らすことができる。

また、第１の実施の形態においては、一定値Ｔを最小距離の平均値を用いる場合について説明したが、これに限定されるものではない。例えば、部分領域の面積が、参照画像の面積の５０％等の任意の割合となるようにＴを決定しても良い。また、特徴量としてSIFT、SURFなどの特徴点を用いた特徴量を用いた場合には、部分領域中に存在する特徴点の数が、参照画像全体に存在する特徴点の数の５０％等の任意の割合になるようにＴを決定しても良い。なお、当該場合には、判定の処理とＴの決定の処理とを繰り返し行うことによりＴの値を決定する。

また、第１の実施の形態においては、部分領域有無情報の統合について、ピクセル毎に部分領域有無情報の論理和、又は論理積等をとる場合について説明したが、これに限定されるものではない。例えば、ピクセル毎に部分領域有無情報を加算し、例えば、平均値等の一定値を超えるピクセルを部分領域とするように統合を行ってもよい。この統合の際に、全てを１票とするのではなく、窓の種類ｓ毎又は類似画像ｍ毎に任意の値に変更してもよい。任意の値としては、例えば、窓の種類ｓの面積、類似画像ｍを選択する際に用いた類似度を用いることができる。

また、第１の実施の形態においては、部分特徴量算出部において参照画像の全てについて同様の処理に基づいて、特徴量を算出する場合について説明したが、これに限定されるものではない。例えば、部分領域抽出部において、部分領域が抽出されているＮ枚の参照画像については、特徴量算出部３２において算出した特徴量を利用してもよい。具体的には、参照画像全体から抽出した特徴点について、部分領域に含まれる特徴点のみに着目し、当該特徴点から算出した特徴量を用いてもよい。

次に、第２の実施の形態に係る画像処理装置について説明する。

第２の実施の形態においては、部分領域有無情報を、多値で表現している点が第１の実施の形態と異なる。なお、第１の実施の形態に係る画像処理装置１００と同様の構成及び作用については、同一の符号を付して説明を省略する。

＜本発明の第２の実施の形態に係る画像処理装置の構成＞
次に、本発明の第２の実施の形態に係る画像処理装置の構成について説明する。図１３に示すように、本発明の第２の実施の形態に係る画像処理装置２００は、ＣＰＵと、ＲＡＭと、後述する部分特徴量算出処理ルーチン、及び入力画像判定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この画像処理装置は、機能的には図１３に示すように入力部１０と、演算部２２０と、出力部９０と、を含んで構成されている。

演算部２２０は、参照画像記憶部２２と、部分領域抽出部２３０と、部分特徴量算出部２５０と、部分特徴量記憶部２５２と、入力画像特徴量算出部６０と、類似度算出部２６２と、並べ替え部６４と、を含んで構成されている。

部分領域決定部２４０は、抽出対象の参照画像の各々について、当該参照画像に含まれる各ピクセルの部分領域らしさを表す部分領域有無情報を取得する。具体的に、まず、抽出対象となる参照画像の各々について、当該参照画像の窓の種類ｓ毎の初期部分領域ｒの各々と、当該参照画像の類似画像ｍの各々との間において算出された最小距離を、当該初期部分領域ｒに含まれる参照画像の各ピクセルに割り振る。なお、第２の実施の形態においては、各ピクセルに割り振られた値が部分領域有無情報となり、当該部分領域有無情報が、当該ピクセルが部分領域らしさを表す度合いとなる。

次に、抽出対象となる参照画像の各々について、取得した類似画像ｍ及び窓の種類ｓ毎の当該参照画像の各ピクセルの最小距離の割り振り結果に基づいて、類似画像ｍ毎及び窓の種類ｓ毎の当該参照画像の各ピクセルの部分領域有無情報を統合する。ここで、統合は、例えば、ピクセル毎に部分領域有無情報の各々の加算、又は部分領域有無情報の各々の平均をすることにより行う。これにより、抽出対象の参照画像の各々について、当該参照画像と同ピクセル数の部分領域有無情報が得られる。

部分特徴量算出部２５０は、参照画像記憶部２２に記憶されているＣ枚の参照画像の各々について、当該参照画像の部分領域から特徴点を検出し、当該検出された特徴点から特徴量を算出し、当該部分領域に対応する参照画像と、当該部分領域の特徴量とを併せて部分特徴量記憶部２５２に記憶する。具体的には、まず、Ｃ枚の参照画像の各々について、当該参照画像全体の領域を当該参照画像の部分領域と決定する。そして、Ｃ枚の参照画像の各々について、当該参照画像の部分領域の特徴量を算出する。

部分特徴量記憶部２５２には、部分特徴量算出部２５０において取得した部分領域の特徴量と、当該部分領域に対応する参照画像との複数のペアと、部分領域抽出部２３０において取得したＮ枚の参照画像に対応する部分領域有無情報とが記憶されている。なお、Ｎ枚の参照画像に対応する部分領域有無情報は、当該参照画像が対応する部分領域の特徴量と紐づいている。

類似度算出部２６２は、入力画像特徴量算出部６０において取得した入力画像の特徴量と、部分特徴量記憶部２５２に記憶されている部分領域の特徴量の各々、及びＮ枚の参照画像に対応する部分領域有無情報の各々と、に基づいて、入力画像と部分領域の各々との類似度を算出する。具体的には、例えば、まず、入力画像の特徴量と、部分領域の特徴量との間のユークリッド距離を算出し、次に、算出した距離が一定値以下となる特徴点を検出し、当該特徴点が検出されたピクセルの部分領域有無情報と、当該ピクセルにおいて検出された特徴点の数との積を算出し、算出された総和を類似度とする。なお、Ｃ−Ｎ枚の参照画像に対応する部分領域と、入力画像との類似度は、第１の実施の形態と同様に算出する。

＜本発明の第２の実施の形態に係る画像処理装置の作用＞
次に、第２の実施の形態に係る画像処理装置２００の作用について説明する。まず、入力部１０において、複数の参照画像を受け付け、参照画像記憶部２２に記憶する。そして、参照画像記憶部２２から参照画像の各々を読み込むと、画像処理装置２００によって、図１４に示す部分特徴量算出処理ルーチンが実行される。また、部分特徴量算出処理ルーチンの終了後に、入力部１０において、入力画像を受け付けると、画像処理装置２００によって、図１７に示す入力画像判定処理ルーチンを実行する。

まず、図１４に示す、部分特徴量算出処理ルーチンについて説明する。

図１４における、ステップＳ５０２では、ステップＳ１００において取得したＮ枚の参照画像の各々について、部分領域有無情報を取得する。

次に、ステップＳ５０４では、読み込んだＣ枚の参照画像の各々について、当該参照画像の全体を部分領域として設定する。

上記ステップＳ５０２の部分領域有無情報の取得処理について、図１５及び図１６の部分領域有無情報取得処理ルーチンにおいて詳細に説明する。

図１６における、ステップＳ６３０では、ステップＳ３０４において取得した、参照画像Ｉ_ｎの類似画像ｍに対する、ｓ番目の窓において作成した各ピクセルの割り振り結果の各々に基づいて、参照画像Ｉ_ｎに含まれる各ピクセルにおける部分領域有無情報を統合する。

次に、図１７に示す入力画像判定処理ルーチンについて説明する。

まず、ステップＳ７００では、部分特徴量記憶部２５２に記憶されている部分領域の各々の特徴量、及び当該部分領域に対応する参照画像と、Ｎ枚の参照画像の各々の部分領域有無情報とを読み込む。

次に、ステップＳ７０４では、Ｃ−Ｎ枚の参照画像に対応する部分領域については、ステップＳ４０２において取得した入力画像の特徴量と、ステップＳ７００において取得した部分領域の各々特徴量とに基づいて、Ｎ枚の参照画像に対応する部分領域については、ステップＳ４０２において取得した入力画像の特徴量と、ステップＳ７００において取得した部分領域の各々特徴量、及び当該部分領域の部分領域有無情報とに基づいて、入力画像と、部分領域の各々との類似度を算出する。

以上説明したように、本発明の第２の実施の形態に係る画像処理装置によれば、複数の参照画像の各々について、特徴量を算出し、参照画像の各々について、参照画像の特徴量と、参照画像以外の参照画像であって、かつ参照画像と類似する参照画像の各々の特徴量とに基づいて、参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、参照画像の各々について、参照画像の部分領域について、特徴量を算出し、入力画像から特徴量を算出し、参照画像の各々について、入力画像の特徴量と、参照画像の部分領域の特徴量と、に基づいて、入力画像と参照画像との類似度を算出し、類似度の各々に基づいて、入力画像に類似する参照画像を出力することにより、入力画像に類似する参照画像を高精度に求めることができる。

例えば、第２の実施の形態においては、各ピクセルの部分領域有無情報を最小距離とする場合について説明したが、これに限定されるものではなく、最小距離をその最大値で割った値を、ピクセルの部分領域有無情報としてもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

また、本願明細書中において、本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではない。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

１０入力部
２０演算部
２２参照画像記憶部
３０部分領域抽出部
３２特徴量算出部
３４初期部分領域作成部
３６類似画像選択部
３８最小距離算出部
４０部分領域決定部
５０部分特徴量算出部
５２部分特徴量記憶部
６０入力画像特徴量算出部
６２類似度算出部
６４並べ替え部
９０出力部
１００画像処理装置
２００画像処理装置
２２０演算部
２３０部分領域抽出部
２４０部分領域決定部
２５０部分特徴量算出部
２５２部分特徴量記憶部
２６２類似度算出部

Claims

画像の内容を表す情報が予め付与された複数の参照画像の各々について、特徴量を算出する特徴量算出部と、
前記参照画像の各々について、窓の大きさが異なる、複数種類の初期部分領域を、各々作成する初期部分領域作成部と、
前記参照画像の各々について、前記初期部分領域作成部により作成された前記参照画像の初期部分領域毎の特徴量を算出し、前記参照画像の各々について、前記参照画像の初期部分領域毎の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域毎の特徴量とに基づいて、前記参照画像の初期部分領域の各々に対し、前記初期部分領域の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域の特徴量との最小距離を算出する最小距離算出部と、
前記参照画像の各々について、前記最小距離算出部により前記参照画像について算出された前記初期部分領域の各々に対する最小距離に基づいて、前記参照画像の各ピクセルに最小距離を割り振り、前記参照画像の各ピクセルについて、前記ピクセルに割り振られた最小距離と、閾値とを比較して、前記ピクセルが部分領域であるか否かを判定することにより、前記参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定する部分領域決定部と、
前記参照画像の各々について、前記部分領域決定部により決定された前記参照画像の部分領域について、特徴量を算出する部分特徴量算出部と、
入力画像から特徴量を算出する入力画像特徴量算出部と、
前記参照画像の各々について、前記入力画像特徴量算出部により算出された前記入力画像の特徴量と、前記部分特徴量算出部により算出された前記参照画像の部分領域の特徴量とに基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出部と、
を含む、画像処理装置。
特徴量算出部と、初期部分領域作成部と、最小距離算出部と、部分領域決定部と、部分特徴量算出部と、入力画像特徴量算出部と、類似度算出部とを含む画像処理装置における画像処理方法であって、
前記特徴量算出部は、画像の内容を表す情報が予め付与された複数の参照画像の各々について、特徴量を算出し、
前記初期部分領域作成部は、前記参照画像の各々について、窓の大きさが異なる、複数種類の初期部分領域を、各々作成し、
前記最小距離算出部は、前記参照画像の各々について、前記初期部分領域作成部により作成された前記参照画像の初期部分領域毎の特徴量を算出し、前記参照画像の各々について、前記参照画像の初期部分領域毎の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域毎の特徴量とに基づいて、前記参照画像の初期部分領域の各々に対し、前記初期部分領域の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域の特徴量との最小距離を算出し、
前記部分領域決定部は、前記最小距離算出部により前記参照画像について算出された前記初期部分領域の各々に対する最小距離に基づいて、前記参照画像の各ピクセルに最小距離を割り振り、前記参照画像の各ピクセルについて、前記ピクセルに割り振られた最小距離と、閾値とを比較して、前記ピクセルが部分領域であるか否かを判定することにより、前記参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、
前記部分特徴量算出部は、前記参照画像の各々について、前記部分領域決定部により決定された前記参照画像の部分領域について、特徴量を算出し、
前記入力画像特徴量算出部は、入力画像から特徴量を算出し、
前記類似度算出部は、前記参照画像の各々について、前記入力画像特徴量算出部により算出された前記入力画像の特徴量と、前記部分特徴量算出部により算出された前記参照画像の部分領域の特徴量とに基づいて、前記入力画像と前記参照画像との類似度を算出する、
画像処理方法。
コンピュータを、請求項１記載の画像処理装置を構成する各部として機能させるためのプログラム。