JP7362568B2 - 画像検索装置、画像検索方法、およびプログラム - Google Patents

Description

本発明の実施形態は、画像検索装置、画像検索方法、およびプログラムに関する。

商標画像は、企業や商品を表す目的で法的に登録または定められたマークまたは文字を含む画像である。商標を登録する利点は、商標の所有者に市場においてこの商標を使用する独占権が保証されることである。またこの独占権は、他者による商標の使用を禁止する権利を保証する。登録された商標画像が複製されたりコピーされたりすることを防ぐためには、類似した商標画像が特許庁のデータベースに既に存在するか否かを確認することが必要となる。これによって、著作権を侵害してしまうことを防ぎ、新しく登録された商標画像を新商品に対して付与することができる。

上述したように商標画像は、画像を構成する部分としてマークまたは文字などを含む。従来の画像検索装置を用いて、新しい商標画像と類似した商標画像をデータベースに登録された商標画像の中から検索する場合に、検索対象の新しい商標画像と部分が類似している商標画像が検索結果として選択されないことがあった。

特開２０１９－１７５４６３号公報

本発明が解決しようとする課題は、検索対象と少なくとも一部分が類似している画像を検索できる画像検索装置、画像検索方法、及びプログラムを提供することである。

実施形態の画像検索装置は、検索対象画像取得部と、抽出画像抽出部と、類似度算出部と、選択部とを持つ。検索対象画像取得部は、検索対象画像を取得する。抽出画像抽出部は、前記検索対象画像の一部を切り出した部分画像を第１抽出画像として１以上抽出する。類似度算出部は、記憶部に記憶された複数の候補画像を参照し、前記第１抽出画像と、複数の前記候補画像それぞれの一部が切り出された部分画像を含む第２抽出画像との類似の程度に基づく類似度を複数の前記候補画像毎に算出する。選択部は、複数の前記候補画像の中から、前記類似度に基づいて前記検索対象画像に類似する候補画像を選択する。

実施形態の画像検索システム１の機能構成例を示す図。 実施形態の端末装置１００の機能構成例を示す図。 実施形態の画像検索装置２００の機能構成例を示す図。 実施形態の学習処理の一例を示す図。 実施形態の特徴量抽出処理の一例を示すフローチャート。 実施形態の特徴量抽出処理の一例を示す図。 実施形態の前処理の一例を示す図。 実施形態のセグメンテーション処理の一例を示す図。 実施形態の水平方向統合処理の概要の一例を示す図。 実施形態の垂直方向統合処理の概要の一例を示す図。 実施形態の大きさ統合処理の概要の一例を示す図。 実施形態の形状統合処理の概要の一例を示す図。 実施形態の水平方向統合処理の一例を示すフローチャート。 実施形態の水平方向統合処理における第１条件の一例を示す図。 実施形態の水平方向統合処理における第２条件の一例を示す図。 実施形態の水平方向統合処理における第３条件の一例を示す図。 実施形態の水平方向統合処理における第４条件の一例を示す図。 実施形態の大きさ統合処理の一例を示すフローチャート。 実施形態の大きさ統合処理における部分画像の状態の一例を示す図。 実施形態の大きさ統合処理における部分画像の状態の一例を示す図。 実施形態の大きさ統合処理における部分画像の状態の一例を示す図。 実施形態の大きさ統合処理における部分画像の状態の一例を示す図。 実施形態の大きさ統合処理における部分画像の状態の一例を示す図。 実施形態の大きさ統合処理における部分画像の状態の一例を示す図。 実施形態の大きさ統合処理における部分画像の状態の一例を示す図。 実施形態の形状統合処理における部分画像の状態の一例を示す図。 実施形態の形状統合処理における部分画像の状態の一例を示す図。 実施形態の形状統合処理における部分画像の状態の一例を示す図。 実施形態の形状統合処理における部分画像の状態の一例を示す図。 実施形態の形状統合処理における部分画像の状態の一例を示す図。 実施形態の形状統合処理における部分画像の状態の一例を示す図。 実施形態の形状統合処理における部分画像の状態の一例を示す図。 実施形態の検索処理の一例を示すフローチャート。 実施形態の検索処理の一例を示す図。 実施形態の類似度の算出方法の一例を示す図。 実施形態の類似度にレイアウトスコアを付加した場合と付加しない場合との検索結果の一例を示す図。

以下、実施形態の画像検索装置、画像検索方法、およびプログラムを、図面を参照して説明する。

［画像検索システムの構成］
図１は、実施形態の画像検索システム１の機能構成例を示す図である。画像検索システム１は、例えば、一以上の端末装置１００－１～１００－ｎ（ｎは自然数）と、画像検索装置２００とを備える。端末装置１００と、画像検索装置２００とは、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を含むネットワークＮＷを介して通信する。なお、以下の説明において、端末装置１００－１～１００－ｎは、それぞれ同様の構成とし、何れの端末装置であるかを区別しないときは、何れの端末装置であるかを示すハイフン以降の符号を省略し、「端末装置１００」と称して説明する。

画像検索システム１は、検索対象である商標画像と類似した画像を検索するシステムである。商標画像とは、企業や商品の登録商標、ロゴ、マーク、エンブレム等の画像である。端末装置１００は、検索対象画像の入力を受け付ける。画像検索装置２００は、端末装置１００から検索対象画像を取得すると、取得した検索対象画像と類似した画像を検索する。端末装置１００は、検索対象である商標画像に画像の全体だけでなく画像の部分が類似している画像を含めて検索する。以下の説明では、検索対象である商標画像を検索対象画像という。また、検索対象画像と類似する画像の候補を、候補画像という。

［端末装置の構成］
図２は、実施形態の端末装置１００の機能構成例を示す図である。端末装置１００は、端末装置側通信部１１０と、端末装置側表示部１２０と、検索画像受付部１３０と、検索指示部１４０と、類似画像選択部１５０とを備える。端末装置側通信部１１０を除く各構成要素は、それぞれ、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のハードウェア（回路部；ｃｉｒｃｕｉｔｒｙを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め端末装置１００の記憶部（不図示）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで端末装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

端末装置側通信部１１０は、ネットワークインタフェースである。端末装置側通信部１１０は、ネットワークＮＷを介して画像検索装置２００と通信を行う。

端末装置側表示部１２０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置等である。端末装置側表示部１２０は、検索画像受付部１３０により受け付けられた検索対象画像、画像検索装置２００による検索結果、及びＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）オブジェクト等を表示する。画像検索装置２００による検索結果は、候補画像のうち検索対象画像と類似する画像として選択された１以上の候補画像を含む。検索結果では、一例として、選択された１以上の候補画像が、検索対象画像と類似する類似度の順に表示される。類似度とは、候補画像と検索対象画像とが類似している程度を示す指標である。
ＧＵＩオブジェクトには、例えば、ボタンやチェックボックス、スライドバー、スイッチ、アイコン等の各種オブジェクトが含まれる。また、ＧＵＩオブジェクトは、画像や文字情報等が含まれてもよい。端末装置側表示部１２０は、例えば、タッチパネル等のように入力と出力とが一体に形成された装置でもよい。

検索画像受付部１３０は、画像検索装置２００に記憶された画像ＤＢ（Ｄａｔａｂａｓｅ）から類似する候補画像を検索する検索対象画像の入力を受け付ける。検索画像受付部１３０は、端末装置１００の記憶部（不図示）により記憶された画像のうち、利用者により選択された画像を検索対象画像として受け付ける。なお、検索画像受付部１３０は、端末装置１００に搭載されたカメラ等の撮像部（不図示）により撮像された画像を検索対象画像として受け付けてもよい。

検索指示部１４０は、検索画像受付部１３０により受け付けられた検索対象画像に基づく検索指示を受け付ける。

類似画像選択部１５０は、画像検索装置２００による検索結果に含まれる候補画像のうち、類似度が高い候補画像に比べて検索対象画像により類似している類似度が低い候補画像を類似画像として選択する操作を受け付ける。類似度が低い候補画像が、類似度が高い候補画像に比べて検索対象画像により類似しているか否かは、ユーザによって判定される。類似画像選択部１５０は、選択された類似画像を示す情報を画像検索装置２００に送信する。選択された類似画像を示す情報は、画像検索装置２００の検索処理に反映される。

［画像検索装置の構成］
図３は、実施形態の画像検索装置２００の機能構成例を示す図である。画像検索装置２００は、検索装置側通信部２１０と、候補画像取得部２２０と、検索画像取得部２３０と、検索装置側表示部２４０と、表示制御部２５０と、学習部２６０と、検索部２７０と、記憶部２８０とを備える。検索装置側通信部２１０および記憶部２８０を除く各構成要素は、それぞれ、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；ｃｉｒｃｕｉｔｒｙを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め画像検索装置２００の記憶部２８０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで画像検索装置２００のＨＤＤやフラッシュメモリにインストールされてもよい。

検索装置側通信部２１０は、例えば、ネットワークインタフェースである。検索装置側通信部２１０は、例えば、ネットワークＮＷを介して端末装置１００と通信を行う。

候補画像取得部２２０は、候補画像ＤＢ２８３から候補画像を取得する。
検索画像取得部２３０は、端末装置１００から検索対象画像を取得する。

検索装置側表示部２４０は、例えば、ＬＣＤや有機ＥＬ表示装置等である。検索装置側表示部２４０は、表示制御部２５０による制御により、候補画像取得部２２０が取得した候補画像、検索画像取得部２３０が取得した検索対象画像、及び検索部２７０によって検索された結果などを表示する。

表示制御部２５０は、端末装置１００に表示させる検索対象画像を入力させるための入力画面を生成する。また、表示制御部２５０は、検索部２７０によって検索された結果に関する情報を、端末装置１００に表示させる検索結果画面を生成する。生成される画像には、例えば、ＧＵＩオブジェクトが含まれてよい。

学習部２６０は、一例として、深層学習に基づいて候補画像及び検索対象画像からそれぞれ特徴量を抽出するための学習を実行する。学習部２６０は、深層学習のモデルとして図４に示す学習モデル２８２を用いる。

図４は、実施形態の学習処理の一例を示す図である。学習部２６０は、学習画像ＤＢ２８１から学習画像を取得する。学習画像は、相互に類似している画像と、相互に類似していない画像とを含む複数の画像である。学習部２６０は、取得した学習画像を組にして用いる。それぞれの組には、互いに類似している画像の組と、互いに類似していない画像の組とがある。

学習モデル２８２は、一例として、１組のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む。１組のＣＮＮは、互いに重み及びバイアスのパラメータを共有している。学習モデル２８２は、いわゆるシャム（Ｓｉａｍｅｓｅ）ネットワークである。ＣＮＮは、例えば、ＶＧＧ１６である。学習モデル２８２に含まれるＣＮＮは、画像が入力されると、入力された画像の特徴量を出力する。

学習部２６０は、学習画像の組に含まれる画像の一方を、一方のＣＮＮに入力し、他方を他のＣＮＮに入力する。学習部２６０は、１組のＣＮＮからそれぞれ出力される画像の特徴量同士の損失関数を算出する。この損失関数は、例えば、Ｃｏｎｔｒａｓｔｉｖｅ Ｌｏｓｓである。学習部２６０は、損失関数を最小化するようにＣＮＮのパラメータを変更する。学習部２６０は、学習を実行すると、記憶部２８０に記憶される学習モデル２８２を、学習済みの学習モデル２８２によって更新する。学習済みのＣＮＮから出力される特徴量同士の距離は、検索対象画像と候補画像との類似度の算出に用いられる。類似度の詳細については後述する。

学習部２６０は、画像検索システム１において検索が行われる前に、上述した学習を予め実行する。また、学習部２６０は、検索装置側通信部２１０が端末装置１００から類似画像を示す情報を受信すると、学習を再度実行する。学習部２６０は、受信された情報が示す類似画像を用いて学習モデル２８２のＣＮＮのパラメータを変更する。

図３に戻って画像検索装置２００の構成の説明を続ける。
検索部２７０は、検索処理を実行する。検索部２７０は、前処理部２７１と、抽出画像抽出部２７２と、特徴量抽出部２７３と、類似度算出部２７４と、選択部２７５とを備える。

前処理部２７１は、候補画像、及び検索対象画像のそれぞれに前処理を実行する。前処理部２７１は、前処理によって、候補画像、及び検索対象画像のそれぞれから不要な部分を除去する。不要な部分とは、例えば、商標画像に含まれるマークや文字の周囲の余白の部分である。

抽出画像抽出部２７２は、検索対象画像の一部を切り出した部分画像を第１抽出画像として１以上抽出する。さらに抽出画像抽出部２７２は、検索対象画像から部分画像に加えて検索対象画像の全体画像を第１抽出画像として抽出する。つまり、第１抽出画像には、検索対象画像から抽出された部分画像と、全体画像とが含まれる。抽出画像抽出部２７２は、第１抽出画像のうち部分画像同士を統合し、統合した画像を前記第１抽出画像として１以上抽出する。

また、抽出画像抽出部２７２は、候補画像の一部を切り出した部分画像を第２抽出画像として１以上抽出する。さらに抽出画像抽出部２７２は、複数の候補画像から部分画像に加えて複数の候補画像の全体画像をそれぞれ第２抽出画像として抽出する。つまり、第２抽出画像には、複数の候補画像からそれぞれ抽出された部分画像と、複数の候補画像からそれぞれ抽出された全体画像とが含まれる。抽出画像抽出部２７２は、第２抽出画像のうち部分画像同士を統合し、統合した部分画像を第２抽出画像として１以上抽出する。

なお、画像の全体画像とは、画像そのものである。
なお、抽出画像抽出部２７２が画像の一部を切り出した部分画像を１以上抽出し、部分画像同士を統合する処理を、セグメンテーションともいう。

特徴量抽出部２７３は、第１抽出画像、及び第２抽出画像のそれぞれから特徴量を抽出する。特徴量抽出部２７３は、学習済みの学習モデル２８２を用いて特徴量を抽出する。特徴量抽出部２７３は、第２抽出画像から抽出した特徴量を特徴量ＤＢ２８４として記憶部２８０に記憶させる。

類似度算出部２７４は、記憶部２８０に記憶された複数の候補画像を参照し、第１抽出画像と、複数の候補画像それぞれの一部が切り出された部分画像を含む第２抽出画像との類似の程度に基づく類似度を複数の候補画像毎に算出する。類似度算出部２７４は、第１抽出画像と、第２抽出画像とのそれぞれから抽出された特徴量同士の距離に基づいて類似度を算出する。複数の候補画像は、記憶部２８０において候補画像ＤＢ２８３として記憶されている。

選択部２７５は、複数の候補画像の中から、類似度算出部２７４が算出した類似度に基づいて検索対象画像に類似する候補画像を選択する。

記憶部２８０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により構成される。記憶部２８０には、例えば、学習画像ＤＢ２８１、学習モデル２８２、候補画像ＤＢ２８３、及び特徴量ＤＢ２８４などが記憶される。

［特徴量抽出処理］
図５から図３２を参照し、画像検索装置２００による特徴量抽出処理について説明する。なお、特徴量抽出処理は、検索処理が実行されるより前に予め実行される。
図５は、実施形態の特徴量抽出処理の一例を示すフローチャートである。図６は、実施形態の特徴量抽出処理の一例を示す図である。図６におけるステップＳ１０２、ステップＳ１０４、及びステップＳ１０６は、図５におけるステップＳ１０２、ステップＳ１０４、及びステップＳ１０６にそれぞれ対応する。

候補画像取得部２２０は、候補画像ＤＢ２８３から複数の候補画像を取得する（ステップＳ１００）。前処理部２７１は、候補画像取得部２２０が取得した複数の候補画像それぞれに前処理を実行する（ステップＳ１０２）。抽出画像抽出部２７２は、前処理部２７１によって前処理が行われた複数の候補画像のそれぞれから一部を切り出した部分画像と、複数の候補画像のそれぞれの全体画像とを第２抽出画像として１以上抽出する（ステップＳ１０４）。図６に示す例では、４つの部分画像（部分画像ＰＩ１～ＰＩ４）と、全体画像とが抽出されている。抽出画像抽出部２７２は、第２抽出画像のうち候補画像の一部を切り出した部分画像同士を統合する（ステップＳ１０６）。抽出画像抽出部２７２は、統合した部分画像を第２抽出画像として１以上抽出する。

特徴量抽出部２７３は、複数の第２抽出画像から特徴量をそれぞれ抽出する（ステップＳ１０８）。ここで特徴量抽出部２７３は、学習済みの学習モデル２８２を用いて特徴量を抽出する。図６に示す例では、４つの部分画像（部分画像ＰＩ１～ＰＩ４）から特徴量Ｆ１からＦ４がそれぞれ抽出され、全体画像から特徴量Ｆ０が抽出されている。特徴量抽出部２７３は、複数の第２抽出画像から抽出した特徴量を特徴量ＤＢ２８４として記憶部２８０に記憶させる（ステップＳ１１０）。以上で、画像検索装置２００は、特徴量抽出処理を終了する。

［前処理］
ここで図７を参照し、ステップＳ１０２の前処理の詳細について説明する。図７は、実施形態の前処理の一例を示す図である。前処理部２７１は、第２抽出画像に対してグレースケール変換処理を実行する（ステップＳ２００）。前処理部２７１は、グレースケール変換処理において、ＲＧＢ画像である第２抽出画像の各画素値をグレースケールに変換する。

前処理部２７１は、グレースケールに変換された第２抽出画像の画素について、各行及び各列それぞれの画素値の合計値を算出する（ステップＳ２０２）。ここで前処理部２７１は、各行及び各列それぞれについて算出した合計値を、算出した合計値の最大値によってそれぞれ除算することによって規格化する。

前処理部２７１は、各行及び各列の画素値の合計値に基づいて変化点を判定する（ステップＳ２０４）。ここで変化点とは、各行または各列の画素値の合計値が、隣接する行または列同士において所定の値以上変化する点である。前処理部２７１は、列方向について第２抽出画像の一方の行の端から他方の行の端へと各行の合計値について隣接する行同士の差を算出する。前処理部２７１は、算出した差が所定の閾値以上である場合、隣接する行の境界を列方向についての画素値の変化点として判定する。前処理部２７１は、同様の処理を、行方向についても行い、隣接する列の境界を、行方向についての画素値の変化点として判定する。

前処理部２７１は、判定した行方向についての変化点、及び列方向についての変化点に基づいて、第２抽出画像から余白を除去する（ステップＳ２０６）。ここで前処理部２７１は、行方向及び列方向のそれぞれについて画像の端から変化点までを余白として除去する。ここで余白が除去された第２抽出画像の形状は、長方形である。前処理部２７１は、複数の第２抽出画像について、余白を除去した後、画素をグレースケールからＲＧＢ画素へと戻す。あるいは、前処理部２７１は、ＲＧＢ画像である第２抽出画像から余白を除去してもよい。以上で、前処理部２７１は、前処理を終了する。

［セグメンテーション］
次に図８を参照し、ステップＳ１０４の第２抽出画像を抽出する処理、及びステップＳ１０６の部分画像を統合する処理（セグメンテーション処理）について説明する。図８は、実施形態のセグメンテーション処理の一例を示す図である。

抽出画像抽出部２７２は、輪郭抽出処理を実行する（ステップＳ３００）。ステップＳ３００の輪郭抽出処理は、ステップＳ１０４において第２抽出画像として部分画像を抽出する処理に対応する。輪郭抽出処理において、まず、抽出画像抽出部２７２は、候補画像に含まれる各部分画像の輪郭を判定する（ステップＳ３０２）。抽出画像抽出部２７２は、例えば、エッジ検出の技術を用いて輪郭を判定する。さらに抽出画像抽出部２７２は、判定した輪郭に外接する矩形を部分画像の輪郭とする。輪郭抽出処理において、次に、抽出画像抽出部２７２は、輪郭を判定した部分画像について、面積が所定の面積以下である部分画像を、第２抽出画像の中から除去する（ステップＳ３０４）。

抽出画像抽出部２７２は、統合処理を実行する（ステップＳ３０６）。抽出画像抽出部２７２は、統合処理において、水平方向統合処理（ステップＳ３０８）、垂直方向統合処理（ステップＳ３１０）、大きさ統合処理（ステップＳ３１２）、及び形状統合処理（ステップＳ３１４）をそれぞれ並行して実行する。

統合処理のうち水平方向統合処理及び垂直方向統合処理は、部分画像のうち文字を含む部分画像同士を統合する処理である。水平方向統合処理及び垂直方向統合処理では、文字列が抽出される。
一方、統合処理のうち大きさ統合処理及び形状統合処理は、部分画像のうち文字以外の画像を含む部分画像同士を統合する処理である。ここで文字以外の画像とは、例えば、マーク、図形、模様などである。大きさ統合処理及び形状統合処理では、複数の図形の集まりである図形が抽出される。

ここで図９から図１２を参照し、統合処理の概要について説明する。
図９は、実施形態の水平方向統合処理の概要の一例を示す図である。図９では、候補画像において、色が類似している部分画像ＳＧ１１～ＳＧ１８が水平方向に直線状に並んでいる。抽出画像抽出部２７２は、水平方向に直線状に並んでいる部分画像ＳＧ１１～ＳＧ１８同士を統合して、部分画像ＳＧ１９を生成する。ここで抽出画像抽出部２７２は、水平方向に直線状に並んでいる部分画像のうち、色が類似している部分画像同士を統合する。

図１０は、実施形態の垂直方向統合処理の概要の一例を示す図である。図９では、候補画像において、色が類似している部分画像ＳＧ２１～ＳＧ２７が垂直方向に直線状に並んでいる。抽出画像抽出部２７２は、垂直方向に直線状に並んでいる部分画像ＳＧ２１～ＳＧ２７同士を統合して、部分画像ＳＧ２８を生成する。ここで抽出画像抽出部２７２は、垂直方向に直線状に並んでいる部分画像のうち、色が類似している部分画像同士を統合する。

図１１は、実施形態の大きさ統合処理の概要の一例を示す図である。図１１では、候補画像において、部分画像ＳＧ３１～ＳＧ３５が円形に並んでいる。抽出画像抽出部２７２は、部分画像ＳＧ３１～ＳＧ３５のうち、輪郭の面積、及び輪郭の周囲の長さが同程度であり、かつ互いに距離が近い部分画像同士を統合して、部分画像ＳＧ３６、及び部分画像ＳＧ３７を生成する。

図１２は、実施形態の形状統合処理の概要の一例を示す図である。図１２では、候補画像において、形状が類似している複数の図形の集まりである部分画像ＳＧ４１が並んでいる。部分画像ＳＧ４１では、形状が類似している図形とは、様々な大きさの複数の円である。抽出画像抽出部２７２は、部分画像ＳＧ４１を構成する形状が類似しており、かつ互いに距離が近い複数の図形同士を統合して部分画像ＳＧ４２を生成する。

［水平方向統合処理］
図１３から図１７を参照し、水平方向統合処理の詳細について説明する。図１３は、実施形態の水平方向統合処理の一例を示すフローチャートである。抽出画像抽出部２７２は、部分画像それぞれに初期値のＩＤを付与する（ステップＳ４００）。

抽出画像抽出部２７２は、部分画像それぞれについて初期値のＩＤをもつ部分画像があるか否かを判定する（ステップＳ４０２）。抽出画像抽出部２７２は、初期値のＩＤをもつ部分画像があると判定する場合（ステップＳ４０２；ＹＥＳ）、ステップＳ４０４の処理を実行する。一方、抽出画像抽出部２７２は、初期値のＩＤをもつ部分画像がないと判定する場合（ステップＳ４０２；ＮＯ）、水平方向統合処理を終了する。

抽出画像抽出部２７２は、初期値のＩＤをもついずれかの部分画像のＩＤを更新し、処理対象を別の部分画像に変更する（ステップＳ４０４）。
抽出画像抽出部２７２は、処理対象が初期値のＩＤをもつ部分画像であるか否かを判定する（ステップＳ４０６）。抽出画像抽出部２７２は、処理対象が初期値のＩＤをもつ部分画像であると判定する場合（ステップＳ４０６；ＹＥＳ）、ステップＳ４０８の処理を実行する。一方、抽出画像抽出部２７２は、処理対象が初期値のＩＤをもつ部分画像でないと判定する場合（ステップＳ４０６；ＮＯ）、ステップＳ４１６の処理を実行する。

抽出画像抽出部２７２は、ＩＤを更新した部分画像と、初期値のＩＤをもつ部分画像とについて所定の条件が満たされているか否かを判定する（ステップＳ４０８）。ここで抽出画像抽出部２７２は、例えば、所定の条件として第１条件から第４条件の４種類の条件を判定する。

ここで図１４から図１７を参照しながら、ステップＳ４０８における所定の条件について説明する。
ステップＳ４０８において抽出画像抽出部２７２が判定する第１条件は、部分画像同士の中心点の水平方向の距離が所定の距離以上であることである。ここで中心点とは、例えば、重心である。図１４に示すように、部分画像ＳＧ５１の中心点Ｐ５１と、部分画像ＳＧ５２の中心点Ｐ５２との水平方向の距離は、所定の距離以上である。一方、部分画像ＳＧ５３の中心点Ｐ５３と、部分画像ＳＧ５４の中心点Ｐ５４との水平方向の距離は、所定の距離未満である。部分画像同士の中心点の水平方向の距離は遠い方が、複数の部分画像が文字列として抽出される精度は高い。部分画像同士の中心点の水平方向の距離が近い場合は、部分画像のうちいずれか一方の部分画像が他方の部分画像内に含まれている場合がある。

ステップＳ４０８において抽出画像抽出部２７２が判定する第２条件は、部分画像同士の中心点の垂直方向の距離が所定の距離未満であることである。図１５に示すように、部分画像ＳＧ６１の中心点Ｐ６１と、部分画像ＳＧ６２の中心点Ｐ６２との垂直方向の距離は、所定の距離未満である。一方、部分画像ＳＧ６３の中心点Ｐ６３と、部分画像ＳＧ６４の中心点Ｐ６４との垂直方向の距離は、所定の距離以上である。部分画像同士の中心点の垂直方向の距離は近い方が、複数の部分画像が文字列として抽出される精度は高い。部分画像同士の中心点の垂直方向の距離が遠い場合、それらの部分画像は直線状に並んでいない場合がある。

ステップＳ４０８において抽出画像抽出部２７２が判定する第３条件は、部分画像同士の色のヒストグラムの距離が所定の距離未満であることである。図１６に示すように、部分画像ＳＧ７１の色のヒストグラムと、部分画像ＳＧ７２の色のヒストグラムとの距離は、所定の距離未満である。一方、部分画像ＳＧ７３の色のヒストグラムと、部分画像ＳＧ７４の色のヒストグラムとの距離は、所定の距離以上である。部分画像同士の色のヒストグラムの距離は近い方が、複数の部分画像が文字列として抽出される精度は高い。つまり、部分画像に含まれる文字は似た色である方が、部分画像同士が統合されて文字列として抽出される精度は高い。

ステップＳ４０８において抽出画像抽出部２７２が判定する第４条件は、部分画像同士の面積の差が所定の値未満であることである。図１７に示すように、部分画像ＳＧ８１の面積と部分画像ＳＧ８２の面積とは同程度であり、部分画像ＳＧ８１の面積と、部分画像ＳＧ８２の面積との差は、所定の値未満である。一方、部分画像ＳＧ８３の面積は部分画像ＳＧ８４の面積に比べて大きく、部分画像ＳＧ８３の面積と、部分画像ＳＧ８４の面積との差は、所定の値以上である。部分画像同士の面積の差は小さい方が、複数の部分画像が文字列として抽出される精度は高い。つまり、部分画像に含まれる文字は同程度の大きさである方が、部分画像同士が統合されて文字列として抽出される精度は高い。

図１３に戻って、水平方向統合処理の説明を続ける。
特徴量抽出部２７３は、ＩＤを更新した部分画像と、初期値のＩＤをもつ部分画像とについて、上述した全ての所定の条件が満たされているか否かを判定する（ステップＳ４１０）。特徴量抽出部２７３は、全ての所定の条件が満たされていると判定する場合（ステップＳ４１０；ＹＥＳ）、ステップＳ４１２の処理を実行する。一方、特徴量抽出部２７３は、全ての所定の条件が満たされていないと判定する場合（ステップＳ４１０；ＮＯ）、ステップＳ４１６の処理を実行する。

特徴量抽出部２７３は、ＩＤを更新した部分画像のＩＤと同じＩＤを、初期値のＩＤをもつ部分画像に付与する（ステップＳ４１２）。
特徴量抽出部２７３は、全ての部分画像を処理対象としたか否かを判定する（ステップＳ４１４）。特徴量抽出部２７３は、全ての部分画像を処理対象としたと判定する場合（ステップＳ４１４；ＹＥＳ）、ステップＳ４０２の処理を再度実行する。一方、特徴量抽出部２７３は、全ての部分画像を処理対象としていないと判定する場合（ステップＳ４１４；ＮＯ）、ステップＳ４１６の処理を実行する。

特徴量抽出部２７３は、処理対象を別の部分画像に変更する（ステップＳ４１６）。その後、特徴量抽出部２７３は、ステップＳ４０６の処理を再度実行する。
以上で、特徴量抽出部２７３は、水平方向統合処理を終了する。

［垂直方向統合処理］
垂直方向統合処理と、上述した水平方向統合処理とでは、ステップＳ４０８において抽出画像抽出部２７２が判定する所定の条件が異なる以外は、処理の内容は同様である。そのため、垂直方向統合処理の説明では、水平方向統合処理と異なる点を説明する。
垂直方向統合処理では、上述した所定の条件のうち、第１条件と、第２条件とが異なる。垂直方向統合処理では、第１条件は、部分画像同士の中心点の垂直方向の距離が所定の距離以上であることである。また、垂直方向統合処理では、第２条件は、部分画像同士の中心点の水平方向の距離が所定の距離未満であることである。垂直方向統合処理では、第３条件及び第４条件は、水平方向統合処理の場合と同様である。

上述したように、抽出画像抽出部２７２は、候補画像の一部を切り出した部分画像同士を、候補画像内の所定の方向の位置に基づいて統合し、統合した部分画像を第１抽出画像として１以上抽出し、検索対象画像の一部を切り出した部分画像同士を、検索対象画像内の所定の方向の位置に基づいて統合し、統合した部分画像を第２抽出画像として１以上抽出する。ここで所定の方向とは、画像において水平方向、または垂直方向である。なお、所定の方向は、画像において斜めの方向であってもよい。

なお、抽出画像抽出部２７２は、統合処理の実行前に、例えば、候補画像の一部を切り出した部分画像のうち文字を示す文字部分画像を判定してもよい。抽出画像抽出部２７２は、判定した文字部分画像について、水平方向統合処理及び垂直方向統合処理を実行する。一方、抽出画像抽出部２７２は、候補画像の一部を切り出した部分画像のうち、文字部分画像と判定しなかった部分画像について、大きさ統合処理及び形状統合処理を実行する。
その場合、抽出画像抽出部２７２は、判定した文字部分画像同士を、候補画像内の所定の方向の位置に基づいて統合し、統合した文字部分画像を第２抽出画像として１以上抽出し、検索対象画像の一部を切り出した部分画像のうち文字を示す文字部分画像像同士を、検索対象画像内の所定の方向の位置に基づいて統合し、統合した文字部分画像を第１抽出画像として１以上抽出する。

なお、文字部分画像が判定される場合、抽出画像抽出部２７２は、判定した文字部分画像同士を、候補画像内の所定の方向の位置に基づいて統合する処理を、文字部分画像に含まれる文字の意味に基づいて実行してもよい。例えば、抽出画像抽出部２７２は、文字部分画像同士を所定の方向に統合して得られる部分画像に含まれる文字列が、意味をもつ文字列であるか否かを判定する。抽出画像抽出部２７２は、部分画像に含まれる文字列が意味をもたない場合には、この部分画像を除外する。この場合、抽出画像抽出部２７２が参照する文字列の意味のデータベースは、例えば、記憶部２８０、または外部データベースに記憶される。

［大きさ統合処理］
図１８から図２５を参照し、大きさ統合処理の詳細について説明する。図１８は、実施形態の大きさ統合処理の一例を示すフローチャートである。抽出画像抽出部２７２は、部分画像それぞれに初期値のＩＤ及びフラグを付与する（ステップＳ５００）。フラグは、大きさ統合処理における処理の状態を示す。フラグには、「初期状態」であることを示す「０」、「統合中」であることを示す「１」、及び「統合完了」であることを示す「２」がある。図１９は、部分画像ＳＧ９１からＳＧ９５それぞれに初期値のＩＤ及びフラグが付与された状態を示す。図１９では、部分画像ＳＧ９１からＳＧ９５それぞれにフラグとして「０」が付与されている。

抽出画像抽出部２７２は、部分画像それぞれについて初期値のＩＤをもつ部分画像があるか否かを判定する（ステップＳ５０２）。抽出画像抽出部２７２は、初期値のＩＤをもつ部分画像があると判定する場合（ステップＳ５０２；ＹＥＳ）、ステップＳ５０４の処理を実行する。一方、抽出画像抽出部２７２は、初期値のＩＤをもつ部分画像がないと判定する場合（ステップＳ５０２；ＮＯ）、大きさ統合処理を終了する。

抽出画像抽出部２７２は、初期値のＩＤをもついずれかの部分画像のＩＤを更新しかつこの部分画像のフラグを「統合完了」を示すフラグによって更新し、処理対象を別の部分画像に変更する（ステップＳ５０４）。図２０は、部分画像ＳＧ９１からＳＧ９５のうち、部分画像ＳＧ９１のＩＤが「０」から「１」へと更新され、部分画像ＳＧ９１に「統合完了」を示すフラグとして「２」が付与された状態を示す。

抽出画像抽出部２７２は、処理対象が「初期状態」を示すフラグをもつ部分画像であるか否かを判定する（ステップＳ５０６）。抽出画像抽出部２７２は、処理対象が「初期状態」を示すフラグをもつ部分画像であると判定する場合（ステップＳ５０６；ＹＥＳ）、ステップＳ５０８の処理を実行する。一方、抽出画像抽出部２７２は、処理対象が「初期状態」を示すフラグをもつ部分画像でないと判定する場合（ステップＳ５０６；ＮＯ）、ステップＳ５１６の処理を実行する。

抽出画像抽出部２７２は、ＩＤを更新した部分画像と、「初期状態」を示すフラグをもつ部分画像とについて所定の条件が満たされているか否かを判定する（ステップＳ５０８）。ここで抽出画像抽出部２７２は、例えば、所定の条件として、第５条件、第６条件、及び第７条件を判定する。第５条件とは、部分画像同士の中心点の距離が所定の距離未満であることである。第６条件とは、部分画像同士の面積の差が所定の値未満であることである。第７条件とは、部分画像同士の輪郭の長さの差が所定の値未満であることである。

特徴量抽出部２７３は、ＩＤを更新した部分画像と、「初期状態」を示すフラグをもつ部分画像とについて、上述した全ての所定の条件が満たされているか否かを判定する（ステップＳ５１０）。特徴量抽出部２７３は、全ての所定の条件が満たされていると判定する場合（ステップＳ５１０；ＹＥＳ）、ステップＳ５１２の処理を実行する。一方、特徴量抽出部２７３は、全ての所定の条件が満たされていないと判定する場合（ステップＳ５１０；ＮＯ）、ステップＳ５１６の処理を実行する。
図２０では、「初期状態」を示すフラグをもつ部分画像ＳＧ９２からＳＧ９５のうち、部分画像ＳＧ９２及び部分画像ＳＧ９５が、部分画像ＳＧ９１に対して上述した全ての所定の条件を満たす。

特徴量抽出部２７３は、ＩＤを更新した部分画像のＩＤと同じＩＤ、及び「統合中」を示すフラグを、「初期状態」を示すフラグをもつ部分画像に付与する（ステップＳ５１２）。図２１は、部分画像ＳＧ９１に対して、全ての所定の条件を満たす部分画像ＳＧ９２及び部分画像ＳＧ９５に、部分画像ＳＧ９１と同じＩＤ、及び「統合中」を示すフラグが付与された状態を示す。さらに、ＩＤが更新された部分画像ＳＧ９２及び部分画像ＳＧ９５のうち部分画像ＳＧ９５と、「初期状態」を示すフラグをもつ部分画像ＳＧ９３及び部分画像ＳＧ９４との間で、所定の条件が満たされているかが判定される。
図２２は、図２１において「初期状態」を示すフラグをもっていた部分画像ＳＧ９４のフラグが「統合中」を示すフラグによって更新された状態を示す。

特徴量抽出部２７３は、「統合中」を示すフラグをもつ部分画像がないか否かを判定する（ステップＳ５１４）。特徴量抽出部２７３は、「統合中」を示すフラグをもつ部分画像がないとしたと判定する場合（ステップＳ５１４；ＹＥＳ）、ステップＳ５０２の処理を再度実行する。一方、特徴量抽出部２７３は、「統合中」を示すフラグをもつ部分画像があると判定する場合（ステップＳ５１４；ＮＯ）、ステップＳ５１６の処理を実行する。

特徴量抽出部２７３は、処理対象を別の部分画像に変更する（ステップＳ５１６）。その後、特徴量抽出部２７３は、ステップＳ５０６の処理を再度実行する。
以上で、特徴量抽出部２７３は、大きさ統合処理を終了する。

図２３は、部分画像ＳＧ９１からＳＧ９５のフラグがそれぞれ「統合完了」を示すフラグによって更新された状態を示す。
図２４は、部分画像ＳＧ９１からＳＧ９５について大きさ統合処理が完了した後、「初期状態」を示すフラグをもつ部分画像ＳＧ１０１からＳＧ１０３がある状態を示す。図２５は、部分画像ＳＧ１０１からＳＧ１０３に対して、上述したステップＳ５０４からステップＳ５１４までの処理が実行されて、それぞれのフラグが「統合完了」を示すフラグによって更新された状態を示す。

上述したように、抽出画像抽出部２７２は、候補画像から抽出した部分の画像同士を、部分の画像に含まれる図形の大きさに基づいて統合し、統合した画像を第２抽出画像として１以上抽出し、検索対象画像から抽出した部分の画像同士を、部分の画像に含まれる図形の大きさに基づいて統合し、統合した画像を第１抽出画像として１以上抽出する。

［形状統合処理］
形状統合処理と、上述した大きさ統合処理とでは、ステップＳ５０８において抽出画像抽出部２７２が判定する所定の条件が異なる以外は、処理の内容は同様である。そのため、形状統合処理の説明では、大きさ統合処理と異なる点を説明する。

形状統合処理では、上述した所定の条件のうち、第６条件及び第７条件の代わりに第８条件が判定される点が異なる。つまり、形状統合処理では、図１８に示したステップＳ５０において、所定の条件として第５条件及び第８条件が判定される。第８条件とは、部分画像同士の形状の差が所定の値未満であることである。抽出画像抽出部２７２は、部分画像同士の形状の差を、構造的類似性を測る指標であるＳＳＩＭや、勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ：ＨＯＧ）などの画像特徴量に基づいて算出する。

図２６から図３０は、部分画像ＳＧ１１１からＳＧ１１５に対して形状統合処理が実行される過程をそれぞれ示す。最初に、部分画像ＳＧ１１１のフラグが「初期状態」から「統合完了」に更新される。「初期状態」を示すフラグをもつ部分画像ＳＧ１１２からＳＧ１１５のうち、部分画像ＳＧ１１１と距離及び形状が近い部分画像が判定される。判定の結果、部分画像ＳＧ１１２及び部分画像ＳＧ１１５のＩＤは、部分画像ＳＧ１１１のＩＤによって更新され、フラグは「統合中」を示すフラグに更新される。さらに、部分画像ＳＧ１１５のフラグが「統合中」から「統合完了」に更新される。「初期状態」を示すフラグをもつ部分画像ＳＧ１１３及び部分画像ＳＧ１１４のうち、部分画像ＳＧ１１５と距離及び形状が近い部分画像が判定される。判定の結果、部分画像ＳＧ１１４のＩＤは、部分画像ＳＧ１１５のＩＤによって更新され、フラグは「統合中」を示すフラグに更新される。
さらに図３１及び図３２は、部分画像ＳＧ１１１からＳＧ１１５について形状統合処理が完了した後、部分画像ＳＧ１２１からＳＧ１２３に対して形状統合処理が実行される過程をそれぞれ示す。

上述したように、抽出画像抽出部２７２は、候補画像から抽出した部分の画像同士を、部分の画像に含まれる図形の形状に基づいて統合し、統合した画像を第２抽出画像として１以上抽出し、検索対象画像から抽出した部分の画像同士を、部分の画像に含まれる図形の形状に基づいて統合し、統合した画像を第１抽出画像として１以上抽出する。

図８に戻ってセグメンテーションの処理の説明を続ける。
抽出画像抽出部２７２は、重複除去処理を実行する（ステップＳ３１６）。上述したステップＳ３０６の統合処理では、互いに類似した複数の部分画像が重複して生成される場合がある。抽出画像抽出部２７２は、重複除去処理によって、互いに類似した複数の部分画像を除去する。

抽出画像抽出部２７２は、重複除去処理のうち、ステップＳ３１８、ステップＳ３２２、及びステップＳ３２６の処理をそれぞれ並行して実行する。また、抽出画像抽出部２７２は、重複除去処理のうち、ステップＳ３２０、ステップＳ３２４、及びステップＳ３２８の処理をそれぞれ並行して実行する。ステップＳ３１６の説明では、上述した水平方向統合処理、垂直方向統合処理、大きさ統合処理、及び形状統合処理によってそれぞれ統合された部分画像を、それぞれ水平統合部分画像、垂直統合部分画像、大きさ統合部分画像、及び形状統合部分画像という。

抽出画像抽出部２７２は、形状統合部分画像内に含まれる形状統合部分画像を除去する（ステップＳ３１８）。ステップＳ３１８を実行した後、抽出画像抽出部２７２は、水平統合部分画像、垂直統合部分画像、及び大きさ統合部分画像内に含まれる形状統合部分画像を除去する（ステップＳ３２０）。
抽出画像抽出部２７２は、大きさ統合部分画像内に含まれる水平統合部分画像、垂直統合部分画像、及び形状統合部分画像を除去する（ステップＳ３２２）。ステップＳ３２０及びステップＳ３２２を実行した後、抽出画像抽出部２７２は、形状統合部分画像内に含まれる水平統合部分画像、及び垂直統合部分画像を除去する（ステップＳ３２４）。
抽出画像抽出部２７２は、水平統合部分画像、垂直統合部分画像、及び大きさ統合部分画像内に含まれる部分画像を除去する（ステップＳ３２６）。ステップＳ３２０及びステップＳ３２６を実行した後、抽出画像抽出部２７２は、形状統合部分画像内に含まれる大きさ統合部分画像内を除去する（ステップＳ３２８）。
以上で、抽出画像抽出部２７２は、重複除去処理を終了する。

抽出画像抽出部２７２は、後処理を実行する（ステップＳ３３２）。後処理において、まず、抽出画像抽出部２７２は、アスペクト比フィルター処理を実行する（ステップＳ３３４）。アスペクト比フィルター処理において、抽出画像抽出部２７２は、アスペクト比が所定の値以上である部分画像を除外する。
次に、抽出画像抽出部２７２は、重なりフィルター処理実行する（ステップＳ３３４）。重なりフィルター処理において、抽出画像抽出部２７２は、部分画像同士が重なっている面積を算出する。抽出画像抽出部２７２は、算出した面積が所定の値以上である場合、互いに重なっている部分画像のうち面積が小さい方を除外する。

抽出画像抽出部２７２は、上述した処理の後に残った部分画像について、部分画像の数が所定の数以上であるか否かを判定する（ステップＳ３３６）。抽出画像抽出部２７２は、部分画像の数が所定の数以上であると判定する場合（ステップＳ３３６；ＹＥＳ）、ステップＳ３３８の処理を実行する。一方、抽出画像抽出部２７２は、部分画像の数が所定の数以上ではないと判定する場合（ステップＳ３３６；ＮＯ）、ステップＳ３４０の処理を実行する。

抽出画像抽出部２７２は、面積の大きい順に所定の数だけ部分画像を選択する（ステップＳ３３８）。その後、抽出画像抽出部２７２は、部分画像の組を確定する（ステップＳ３４０）。抽出画像抽出部２７２は、確定した部分画像の組に含まれる部分画像について、相互に同じ所定の大きさの画像となるように拡大または縮小を行う。
以上で、抽出画像抽出部２７２は、セグメンテーションの処理を終了する。

［検索処理］
図３３から図３６を参照し、画像検索装置２００による検索処理について説明する。
図３３は、実施形態の検索処理の一例を示すフローチャートである。図３４は、実施形態の検索処理の一例を示す図である。図３４におけるステップＳ６０２、ステップＳ６０４、ステップＳ６０６、ステップＳ６１０、及びステップＳ６１４は、図３３におけるステップＳ６０２、ステップＳ６０４、ステップＳ６０６、ステップＳ６１０、及びステップＳ６１４にそれぞれ対応する。
なお、ステップＳ６０２、ステップＳ６０４、ステップＳ６０６、及びステップＳ６０８の各処理は、図５におけるステップＳ１０２、ステップＳ１０４、ステップＳ１０６、及びステップＳ１０８の各処理と、処理対象が候補画像の代わりに検索対象画像である点以外は同様であるため、説明を省略する。

検索画像取得部２３０は、端末装置１００から検索対象画像を取得する（ステップＳ６００）。

類似度算出部２７４は、類似度を算出する（ステップＳ６１０）。ここで類似度算出部２７４は、検索画像取得部２３０が取得した検索対象画像から抽出された１以上の第２抽出画像と、候補画像から抽出された１以上の第１抽出画像との全ての組合せについて個別類似度を算出する。類似度算出部２７４は、算出した個別類似度に基づいて、類似度を複数の候補画像毎に算出する。ここで個別類似度とは、第１抽出画像と第２抽出画像との類似の程度を示す指標である。一方、類似度は、検索対象画像と候補画像との類似の程度を示す指標である。類似度算出部２７４は、算出した類似度を候補画像ＤＢ２８３に含まれる候補画像にそれぞれ付与する。

図３５は、実施形態の類似度の算出方法の一例を示す図である。全体画像Ｉｑ０、部分画像Ｉｑ１、部分画像Ｉｑ２、及び部分画像Ｉｑ３は、検索対象画像から抽出された１以上の第２抽出画像である。全体画像Ｉｄｂ０、部分画像Ｉｄｂ１、部分画像Ｉｄｂ２、及び部分画像Ｉｄｂ３は、候補画像から抽出された１以上の第１抽出画像である。上述したように、類似度算出部２７４は、１以上の第２抽出画像と、１以上の第１抽出画像との全ての組合せについて個別類似度を算出する。個別類似度は、第１抽出画像と第２抽出画像との類似の程度を示す指標である。

類似度算出部２７４は、式（１）によって示される距離に基づいて類似度を算出する。

式（１）においてＣＤは抽出画像間距離を示す。抽出画像間距離は個別類似度に対応し、個別類似度は抽出画像間距離が小さいほど高くなる。式（１）が示す通り、類似度は、検索対象画像から抽出された１以上の第２抽出画像と、候補画像から抽出された１以上の第１抽出画像との全ての組合せについての抽出画像間距離の最小値である。検索対象画像と候補画像とが類似しているほど、式（１）によって示される距離は小さくなる。類似度算出部２７４は、式（１）によって示される距離が小さいほど、類似度を高く算出する。例えば、類似度算出部２７４は、式（１）によって示される距離の逆数として類似度を算出する。
抽出画像間距離は、式（２）によって示されるコサイン距離に対応する。

式（２）において、Ａｋは、第１抽出画像から抽出された特徴量を示す。一方、Ｂｋは、第２抽出画像から抽出された特徴量を示す。それぞれの特徴量の次元は共通である。特徴量の次元は、例えば、４０９６次元である。抽出画像間距離は、ユークリッド距離などコサイン距離以外の距離に基づいて算出されてもよい。第１抽出画像と、第２抽出画像とが類似しているほど、式（２）によって示されるコサイン距離は小さくなる。上述したように抽出画像間距離は個別類似度に対応するため、抽出画像間距離を算出することは個別類似度を算出することに対応する。個別類似度は抽出画像間距離が小さいほど高くなるように算出される。例えば、類似度算出部２７４は、抽出画像間距離の逆数として個別類似度を算出する。

なお、類似度算出部２７４は、複数の候補画像の中から、第１抽出画像と第２抽出画像との抽出画像間距離と、候補画像の全体の画像と検索対象画像の全体の画像との抽出画像間距離に所定の重みづけがされた値とに基づいて、類似度を複数の候補画像毎に算出してもよい。換言すれば、類似度算出部２７４は、複数の候補画像の中から、第１抽出画像と第２抽出画像との個別類似度と、候補画像の全体の画像と検索対象画像の全体の画像との個別類似度に所定の重みづけがされた値とに基づいて、類似度を複数の候補画像毎に算出してもよい。その場合、類似度は、式（３）によって示される距離に基づいて算出される。

式（３）において、第１項は式（１）と同じであり、第２項はレイアウトスコアに対応する。レイアウトスコアとは、全体画像同士の抽出画像間距離に重みを乗じた値である。ＣＤ（Ｉｑ０、Ｉｄｂ０）は、全体画像Ｉｑ０と全体画像Ｉｄｂ０との抽出画像間距離であるレイアウトスコアを示す。重みＫは定数である。

レイアウトスコアを付加することによって、複数の候補画像が検索対象画像に対して部分画像同士が同程度類似している場合に、それらの複数の候補画像の中から検索対象画像に対して全体画像が似ている候補画像が検索結果において上位となる。

ここで図３６を参照し、レイアウトスコアを付加した場合の類似度と付加しない場合の類似度との違いについて説明する。図３６は、実施形態の類似度にレイアウトスコアを付加した場合と付加しない場合との検索結果の一例を示す図である。
検索対象画像と候補画像とにおいて、同一の図形が部分画像として抽出されると、それらの検索対象画像と候補画像とから抽出される特徴量は同じになる。図３６に示す例では、検索対象画像Ｑ１からマークＭＱ１が部分画像として抽出され、候補画像Ｄ１からマークＭＤ１が部分画像として抽出されている。

マークＭＱ１と、マークＭＤ１とは同一の図形である。そのため、検索対象画像Ｑ１から抽出される特徴量と、候補画像Ｄ１から抽出される特徴量とが同じになる。上述したように、類似度は、検索対象画像から抽出された１以上の第２抽出画像と、候補画像から抽出された１以上の第１抽出画像との全ての組合せについての抽出画像間距離の最小値である。その結果、検索対象画像Ｑ１と候補画像Ｄ１との類似度は、検索対象画像Ｑ１と候補画像Ｄ２との類似度、検索対象画像Ｑ１と候補画像Ｄ３との類似度に比べて高くなる。これに応じて、候補画像Ｄ１は、検索結果において候補画像Ｄ２、候補画像Ｄ３よりも上位となる。このように、類似度をそのままスコアにすると、全体的に類似している画像が、全体的に類似していない画像よりも検索結果において下位になる場合がある。

そのため、全体画像同士の類似度に重みを乗じたレイアウトスコアを加えることによって、検索対象画像と全体が類似する候補画像が検索結果において上位になりやすくなる。図３６では、候補画像Ｄ１は、候補画像Ｄ３に比べて検索対象画像Ｑ１に類似している。全体画像同士の類似度に重みを乗じたレイアウトスコアを加えたことによって、候補画像Ｄ１が候補画像Ｄ３よりも検索結果において上位となっている。

図３３に戻って検索処理の説明を続ける。
選択部２７５は、複数の候補画像の中から、類似度算出部２７４が算出した類似度に基づいて検索対象画像に類似する候補画像を選択する（ステップＳ６１２）。
検索装置側表示部２４０は、選択部２７５によって選択された候補画像を表示する（ステップＳ６１４）。ここで検索装置側表示部２４０は、検索部２７０によって検索された結果として、候補画像を端末装置１００の端末装置側表示部１２０に表示させる。
以上で、画像検索装置２００は、検索処理を終了する。

なお、図３３に示した検索処理においては、類似度算出部２７４が、１以上の第２抽出画像と、１以上の第１抽出画像との全ての組合せについて算出した個別類似度に基づいて、類似度を複数の候補画像毎に算出する場合の一例について説明したが、これに限らない。類似度算出部２７４は、１以上の第２抽出画像と、１以上の第１抽出画像との組み合わせのうち一部について算出した個別類似度に基づいて、類似度を複数の候補画像毎に算出してもよい。

例えば、類似度算出部２７４は、第１抽出画像と第２抽出画像との中から所定の条件を満たす部分画像を選択し、選択した部分画像について第１抽出画像と第２抽出画像との組み合わせについて個別類似度を算出してもよい。所定の条件とは、例えば、部分画像が文字または文字列を含むこと、部分画像に含まれる文字の数が部分画像の中で最大であること、文字または文字列以外のマーク、図形、模様などを含むこと、矩形の部分画像内に占める余白以外の部分の画素数が、部分画像全体の画素数に対する割合が所定の値以上であること、この割合が部分画像の中で最大であることなどである。

以上で説明した少なくとも一つの実施形態によれば、画像検索装置２００は、候補画像取得部２２０と、抽出画像抽出部２７２と、類似度算出部２７４と、選択部２７５とを持つ。候補画像取得部２２０は、検索対象画像を取得する。抽出画像抽出部２７２は、検索対象画像の一部を切り出した部分画像を第１抽出画像として１以上抽出する。類似度算出部２７４は、記憶部２８０に記憶された複数の候補画像を参照し、第１抽出画像と、複数の候補画像それぞれの一部が切り出された部分画像を含む第２抽出画像との類似の程度に基づく類似度を複数の候補画像毎に算出する。選択部２７５は、複数の候補画像の中から、類似度に基づいて検索対象画像に類似する候補画像を選択する。これによって画像検索装置２００は、検索対象の画像と少なくとも一部分が類似している画像を検索できる。

なお、上述した実施形態においては、端末装置１００と画像検索装置２００とが別体として備えられる場合の一例について説明したが、これに限らない。端末装置１００と画像検索装置２００とは、一体の装置として備えられてもよい。その場合、例えば、画像検索装置２００は、端末装置１００の検索画像受付部１３０、検索指示部１４０、及び類似画像選択部１５０を備える。

なお、上述した実施形態においては、画像検索装置２００が、学習部２６０を備える場合の一例について説明したが、これに限らない。学習処理は、画像検索装置２００以外の外部装置によって実行されてもよい。その場合、画像検索装置２００は、外部装置によって実行された学習結果を取得し、記憶部２８０に学習モデル２８２として記憶させる。

また、上述した実施形態においては、画像検索装置２００が、候補画像から抽出した特徴量を抽出する場合の一例について説明したが、これに限らない。外部装置によって候補画像から特徴量が抽出されてもよい。その場合、画像検索装置２００は、外部装置によって抽出された特徴量を取得し、記憶部２８０に特徴量ＤＢ２８４として記憶させる。その場合、候補画像ＤＢ２８３は、記憶部２８０に記憶されている必要はなく、候補画像ＤＢ２８３は外部装置によって記憶されてよい。

上述した実施形態においては、商標画像が検索対象である場合の一例について説明したが、これに限らない。検索対象は商標画像以外の画像、または文章であってもよい。く、検索対象が文章である場合、検索装置は、検索対象の文章と、少なくとも一部分が類似している文章を検索する。また、検索対象は、テキスト、音声データ、動画像など様々な種類のデータであってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

２００…画像検索装置、２３０…検索画像取得部、２７２…抽出画像抽出部、２７４…類似度算出部、２７５…選択部、２８０…記憶部、２８３…候補画像ＤＢ

Claims (12)

1. 検索対象画像を取得する検索対象画像取得部と、
   前記検索対象画像の一部を切り出した部分画像を第１抽出画像として１以上抽出する抽出画像抽出部と、
   記憶部に記憶された複数の候補画像を参照し、前記第１抽出画像と、複数の前記候補画像それぞれの一部が切り出された部分画像を含む第２抽出画像との類似の程度に基づく類似度を複数の前記候補画像毎に算出する類似度算出部と、
   複数の前記候補画像の中から、前記類似度に基づいて前記検索対象画像に類似する候補画像を選択する選択部と、
   を備え、
   前記抽出画像抽出部は、前記候補画像の一部を切り出した部分画像を前記第２抽出画像として１以上抽出し、
   前記抽出画像抽出部は、前記候補画像から抽出した部分の画像同士を、部分の画像に含まれる図形の大きさに基づいて統合し、統合した画像を前記第２抽出画像として１以上抽出し、前記検索対象画像から抽出した部分の画像同士を、部分の画像に含まれる図形の大きさに基づいて統合し、統合した画像を前記第１抽出画像として１以上抽出する
   画像検索装置。
2. 検索対象画像を取得する検索対象画像取得部と、
   前記検索対象画像の一部を切り出した部分画像を第１抽出画像として１以上抽出する抽出画像抽出部と、
   記憶部に記憶された複数の候補画像を参照し、前記第１抽出画像と、複数の前記候補画像それぞれの一部が切り出された部分画像を含む第２抽出画像との類似の程度に基づく類似度を複数の前記候補画像毎に算出する類似度算出部と、
   複数の前記候補画像の中から、前記類似度に基づいて前記検索対象画像に類似する候補画像を選択する選択部と、
   を備え、
   前記抽出画像抽出部は、前記候補画像の一部を切り出した部分画像を前記第２抽出画像として１以上抽出し、
   前記抽出画像抽出部は、前記候補画像から抽出した部分の画像同士を、部分の画像に含まれる図形の形状に基づいて統合し、統合した画像を前記第２抽出画像として１以上抽出し、前記検索対象画像から抽出した部分の画像同士を、部分の画像に含まれる図形の形状に基づいて統合し、統合した画像を前記第１抽出画像として１以上抽出する
   画像検索装置。
3. 前記抽出画像抽出部は、前記候補画像の一部を切り出した部分画像同士を統合し、統合した部分画像を前記第２抽出画像として１以上抽出し、前記検索対象画像の一部を切り出した部分画像同士を統合し、統合した画像を前記第１抽出画像として１以上抽出する
   請求項１または請求項２に記載の画像検索装置。
4. 前記抽出画像抽出部は、前記候補画像の一部を切り出した部分画像同士を、前記候補画像内の所定の方向の位置に基づいて統合し、統合した部分画像を前記第１抽出画像として１以上抽出し、前記検索対象画像の一部を切り出した部分画像同士を、前記検索対象画像内の所定の方向の位置に基づいて統合し、統合した部分画像を前記第２抽出画像として１以上抽出する
   請求項３に記載の画像検索装置。
5. 前記抽出画像抽出部は、前記候補画像の一部を切り出した部分画像のうち文字を示す文字部分画像を判定し、判定した前記文字部分画像同士を、前記候補画像内の所定の方向の位置に基づいて統合し、統合した文字部分画像を前記第２抽出画像として１以上抽出し、前記検索対象画像の一部を切り出した部分画像のうち文字を示す文字部分画像像同士を、前記検索対象画像内の所定の方向の位置に基づいて統合し、統合した文字部分画像を前記第１抽出画像として１以上抽出する
   請求項４に記載の画像検索装置。
6. 前記類似度算出部は、前記検索対象画像から抽出された１以上の前記第２抽出画像と、前記候補画像から抽出された１以上の前記第１抽出画像との全ての組合せについて個別類似度を算出し、算出した前記個別類似度に基づいて前記類似度を複数の前記候補画像毎に算出する
   請求項１から請求項５のいずれか一項に記載の画像検索装置。
7. 前記抽出画像抽出部は、複数の前記候補画像から前記部分画像に加えて複数の前記候補画像の全体画像をそれぞれ前記第２抽出画像として抽出し、前記検索対象画像から前記部分画像に加えて前記検索対象画像の全体画像を前記第１抽出画像として抽出する
   請求項１から請求項６のいずれか一項に記載の画像検索装置。
8. 前記類似度算出部は、複数の前記候補画像の中から、前記第１抽出画像と前記第２抽出画像との個別類似度と、前記候補画像の全体の画像と前記検索対象画像の全体の画像との個別類似度に所定の重みづけがされた値とに基づいて、前記類似度を前記複数の候補画像毎に算出する
   請求項７に記載の画像検索装置。
9. 画像検索装置が、
   検索対象画像を取得し、
   前記検索対象画像の一部を切り出した部分画像を第１抽出画像として１以上抽出し、
   記憶部に記憶された複数の候補画像を参照し、前記第１抽出画像と、複数の前記候補画像それぞれの一部が切り出された部分画像を含む第２抽出画像との類似の程度に基づく類似度を複数の前記候補画像毎に算出し、
   複数の前記候補画像の中から、前記類似度に基づいて前記検索対象画像に類似する候補画像を選択し、
   前記候補画像の一部を切り出した部分画像を前記第２抽出画像として１以上抽出し、
   前記候補画像から抽出した部分の画像同士を、部分の画像に含まれる図形の大きさに基づいて統合し、統合した画像を前記第２抽出画像として１以上抽出し、前記検索対象画像から抽出した部分の画像同士を、部分の画像に含まれる図形の大きさに基づいて統合し、統合した画像を前記第１抽出画像として１以上抽出する
   画像検索方法。
10. 画像検索装置が、
    検索対象画像を取得し、
    前記検索対象画像の一部を切り出した部分画像を第１抽出画像として１以上抽出し、
    記憶部に記憶された複数の候補画像を参照し、前記第１抽出画像と、複数の前記候補画像それぞれの一部が切り出された部分画像を含む第２抽出画像との類似の程度に基づく類似度を複数の前記候補画像毎に算出し、
    複数の前記候補画像の中から、前記類似度に基づいて前記検索対象画像に類似する候補画像を選択し、
    前記候補画像の一部を切り出した部分画像を前記第２抽出画像として１以上抽出し、
    前記候補画像から抽出した部分の画像同士を、部分の画像に含まれる図形の形状に基づいて統合し、統合した画像を前記第２抽出画像として１以上抽出し、前記検索対象画像から抽出した部分の画像同士を、部分の画像に含まれる図形の形状に基づいて統合し、統合した画像を前記第１抽出画像として１以上抽出する
    画像検索方法。
11. 画像検索装置に、
    検索対象画像を取得させ、
    前記検索対象画像の一部を切り出した部分画像を第１抽出画像として１以上抽出させ、
    記憶部に記憶された複数の候補画像を参照し、前記第１抽出画像と、複数の前記候補画像それぞれの一部が切り出された部分画像を含む第２抽出画像との類似の程度に基づく類似度を複数の前記候補画像毎に算出させ、
    複数の前記候補画像の中から、前記類似度に基づいて前記検索対象画像に類似する候補画像を選択させ、
    前記候補画像の一部を切り出した部分画像を前記第２抽出画像として１以上抽出させ、
    前記候補画像から抽出した部分の画像同士を、部分の画像に含まれる図形の大きさに基づいて統合し、統合した画像を前記第２抽出画像として１以上抽出し、前記検索対象画像から抽出した部分の画像同士を、部分の画像に含まれる図形の大きさに基づいて統合し、統合した画像を前記第１抽出画像として１以上抽出させる
    プログラム。
12. 画像検索装置に、
    検索対象画像を取得させ、
    前記検索対象画像の一部を切り出した部分画像を第１抽出画像として１以上抽出させ、
    記憶部に記憶された複数の候補画像を参照し、前記第１抽出画像と、複数の前記候補画像それぞれの一部が切り出された部分画像を含む第２抽出画像との類似の程度に基づく類似度を複数の前記候補画像毎に算出させ、
    複数の前記候補画像の中から、前記類似度に基づいて前記検索対象画像に類似する候補画像を選択させ、
    前記候補画像の一部を切り出した部分画像を前記第２抽出画像として１以上抽出させ、
    前記候補画像から抽出した部分の画像同士を、部分の画像に含まれる図形の形状に基づいて統合し、統合した画像を前記第２抽出画像として１以上抽出し、前記検索対象画像から抽出した部分の画像同士を、部分の画像に含まれる図形の形状に基づいて統合し、統合した画像を前記第１抽出画像として１以上抽出させる
    プログラム。

Images