JP6736988B2 - 画像検索システム、画像処理システム及び画像検索プログラム - Google Patents

Description

本発明は、画像検索システム、画像処理システム及び画像検索プログラムに関する。

従来、例えば、スマートフォンに代表される携帯情報端末を用いたユーザによる購買活動において、撮影画像に類似した画像を抽出して利用することが行われている。具体的には、ユーザが店頭において実物の商品を撮影し、又はカタログの商品写真を撮影することで、その商品の情報（商品名、品番、価格、仕様等）を、その場で表示する処理を行うものがある。ユーザは、画面に出力された情報を参照して、その商品購入の判断に利用することができる。
しかし、画像検索の精度が悪いために正しい商品が検出されなかったり、検索に時間がかかったり、色違いの商品を検出したり、というような、様々な不具合が生じている。

上述の処理を行うための画像検索方法として、例えば、１つの検索元の画像に対して、複数の画像を比較し、その類似度を測る手法を用いることができる。例えば、画像に関係するキーワードによる検索方法や、画像内容に基づく検索技術（以下、ＣＢＩＲ（Ｃｏｎｔｅｎｔ Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ）技術という。）が用いられる。
ここで、従来のＣＢＩＲ技術の代表的な技術としては、画像が持つカラー情報を元にしてカラーヒストグラムを比較する方法（例えば、特許文献１〜３参照）や、画像の持つグレースケール情報を元にした局所特徴量を比較する方法（ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）等）がある。

特開平７−０７３１９５号公報 特開２０００−０９０２３９号公報 特開２００３−３３７９４５号公報

特許文献１〜３に記載されているカラーヒストグラムを用いた手法は、明るさの変化や画像内に表現された物体（被写体）の位置ズレや背景の違い等、いわゆるロバスト性に弱い。また、色分布さえ似ていれば類似していると誤検出してしまうという欠点がある。
他方、局所特徴量を用いた手法は、ロバスト性には強いが、カラーヒストグラム手法に比べて、計算量が非常に多くなり、検索時に一般的に時間を要する。また、色違いの画像を区別することが難しい。

そこで、本発明は、検索対象の画像に類似する画像を精度よく検索することができる画像検索システム、画像辞書生成システム、画像処理システム及びプログラムを提供することを目的とする。

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、検索対象の画像である検索画像に類似する基準画像に紐づけられた情報を出力する画像検索システムであって、検索画像の色成分を生成する色成分生成手段と、生成された前記色成分から明度成分の特徴量である明度特徴量を算出する明度特徴量算出手段と、生成された前記色成分から色相成分の特徴量である色相特徴量を算出する色相特徴量算出手段と、基準画像と、前記基準画像の前記明度特徴量と、前記基準画像の前記色相特徴量とを対応付けた基準画像情報を複数記憶した画像データベースと、前記検索画像の前記明度特徴量と、前記画像データベースに記憶された複数の前記基準画像情報に含まれる各基準画像の前記明度特徴量との類似度を算出する明度類似度算出手段と、前記検索画像の前記色相特徴量と、前記画像データベースに記憶された複数の前記基準画像情報に含まれる各基準画像の前記色相特徴量との類似度を算出する色相類似度算出手段と、前記明度類似度算出手段により算出された類似度と、前記色相類似度算出手段により算出された類似度とに基づき、両方の類似度の高い基準画像を特定する類似画像特定手段と、を備えること、を特徴とする画像検索システムである。
第２の発明は、第１の発明の画像検索システムにおいて、前記明度類似度算出手段により算出された類似度に基づき、類似度の高い基準画像を絞り込む明度絞込み手段を備え、前記色相類似度算出手段は、前記検索画像の前記色相特徴量と、前記明度絞込み手段により絞り込み後の各基準画像の前記色相特徴量との類似度を算出し、前記類似画像特定手段は、前記色相類似度算出手段により算出された類似度に基づき、類似度の高い基準画像を特定すること、を特徴とする画像検索システムである。
第３の発明は、第２の発明の画像検索システムにおいて、前記明度絞込み手段により絞り込み後の各基準画像を出力する明度類似画像出力手段を備えること、を特徴とする画像検索システムである。
第４の発明は、第１の発明から第３の発明までのいずれかの画像検索システムにおいて、前記類似画像特定手段により特定された前記基準画像を出力する類似画像出力手段を備えること、を特徴とする画像検索システムである。
第５の発明は、第１の発明から第４の発明までのいずれかの画像検索システムにおいて、前記画像データベースは、前記基準画像に関する情報を、前記基準画像に対応付けて記憶しており、前記類似画像特定手段により特定された前記基準画像に対応する前記基準画像に関する情報を前記画像データベースから抽出して出力する情報出力手段を備えること、を特徴とする画像検索システムである。
第６の発明は、第１の発明から第５の発明までのいずれかの画像検索システムにおいて、前記色成分生成手段は、前記検索画像にＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）変換をすることで、ＨＳＶ表色系による色成分を生成すること、を特徴とする画像検索システムである。
第７の発明は、第１の発明から第６の発明までのいずれかの画像検索システムにおいて、画像処理装置と、出力装置とにより構成され、前記画像処理装置は、前記色成分生成手段、前記明度特徴量算出手段、前記色相特徴量算出手段、前記画像データベース、前記明度類似度算出手段、前記色相類似度算出手段及び前記類似画像特定手段のうち少なくともいずれかを備え、前記出力装置は、前記基準画像及び必要に応じて前記基準画像に関する情報を出力する出力手段を少なくとも備えること、を特徴とする画像検索システムである。
第８の発明は、画像検索で使用する複数の基準画像に関する画像データベースを生成する画像辞書生成システムであって、基準画像の色成分を生成する色成分生成手段と、生成された前記色成分から明度成分の特徴量である明度特徴量を算出する明度特徴量算出手段と、生成された前記色成分から色相成分の特徴量である色相特徴量を算出する色相特徴量算出手段と、前記基準画像と、前記明度特徴量と、前記色相特徴量とを対応付けて前記画像データベースに記憶させる記憶制御手段と、を備えること、を特徴とする画像辞書生成システムである。
第９の発明は、第８の発明の画像辞書生成システムにおいて、前記色成分生成手段は、前記基準画像にＨＳＶ変換をすることで、ＨＳＶ表色系による色成分を生成すること、を特徴とする画像辞書生成システムである。
第１０の発明は、第１の発明から第７の発明までのいずれかの画像検索システムと、第８の発明又は第９の発明の画像辞書生成システムと、を備える画像処理システムである。
第１１の発明は、第１の発明から第７の発明までのいずれかの画像検索システムとしてコンピュータを機能させるための画像検索プログラムである。
第１２の発明は、第８の発明又は第９の発明の画像辞書生成システムとしてコンピュータを機能させるための画像辞書生成プログラムである。

本発明によれば、検索対象の画像に類似する画像を精度よく検索することができる画像検索システム、画像辞書生成システム、画像処理システム及びプログラムを提供することができる。

本実施形態に係る画像処理システムの機能ブロック図である。 本実施形態に係る画像辞書生成サーバの記憶部の例を示す図である。 本実施形態に係る画像辞書生成サーバでの基準画像特徴量算出処理を示すフローチャートである。 本実施形態に係る携帯情報端末での画像検索処理を示すフローチャートである。 本実施形態に係る携帯情報端末での画像検索処理を示すフローチャートである。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜画像処理システム１００＞
図１は、本実施形態に係る画像処理システム１００の機能ブロック図である。
図２は、本実施形態に係る画像辞書生成サーバ１の記憶部２０の例を示す図である。
図１に示す画像処理システム１００は、画像辞書生成サーバ１と、携帯情報端末４とを備え、各々が通信ネットワークＮを介して接続されている。そして、画像処理システム１００は、画像辞書生成サーバ１が、複数の画像に関する特徴を記憶したＤＢ（データベース）を生成し、携帯情報端末４が、生成されたＤＢを使用して、検索対象の画像に類似する画像を特定するシステムである。

＜画像辞書生成サーバ１＞
画像辞書生成サーバ１は、例えば、画像の検索サービスを行う企業が有するサーバである。
画像辞書生成サーバ１は、複数の画像について、各画像を分析してその特徴量を算出し、画像と、算出した特徴量とを対応付けた画像特徴量ＤＢ２３を生成する。以下、画像辞書生成サーバ１で処理をする画像を、基準画像という。
なお、基準画像は、例えば、インターネット上に公開されている画像であってもよいし、画像の検索サービスを行う企業が有する画像であってもよい。また、基準画像は、例えば、画像の検索サービスを行う企業に依頼する依頼主が有する画像であってもよい。

画像辞書生成サーバ１は、制御部１０と、記憶部２０と、通信インタフェース部２９とを備える。
制御部１０は、画像辞書生成サーバ１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。

制御部１０は、画像変換部１２（色成分生成手段）と、色成分分離部１３と、明度特徴量算出部１４（明度特徴量算出手段）と、色相特徴量算出部１７（色相特徴量算出手段）と、記憶制御部１９（記憶制御手段）とを備える。
画像変換部１２は、基準画像に対してＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）変換をして、ＨＳＶ表色系の基準画像を生成する。
色成分分離部１３は、画像変換部１２による変換後の基準画像から各色成分に分離する。この処理により、変換後の基準画像から色相成分データ（Ｈ）、彩度成分データ（Ｓ）、明度成分データ（Ｖ）の３つの色成分のデータが生成される。
明度特徴量算出部１４は、色成分分離部１３により生成された明度成分データ（Ｖ）から、その明度成分データ（Ｖ）の特徴量である明度特徴量を算出する。
色相特徴量算出部１７は、色成分分離部１３により生成された色相成分データ（Ｈ）から、その色相成分データ（Ｈ）の特徴量である色相特徴量を算出する。
記憶制御部１９は、算出した明度特徴量と、色相特徴量とを画像特徴量ＤＢ２３に記憶させる。
なお、各処理の詳細については、後述する。

記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部２０は、プログラム記憶部２１と、画像ＤＢ２２と、画像特徴量ＤＢ２３とを備える。
プログラム記憶部２１は、各種プログラムを記憶する記憶領域である。プログラム記憶部２１は、辞書生成プログラム２１ａ（画像辞書生成プログラム）を記憶している。辞書生成プログラム２１ａは、画像辞書生成サーバ１の制御部１０が実行する各種機能を行うためのプログラムである。

画像ＤＢ２２は、基準画像の画像辞書データベースである。図２（Ａ）に示すように、画像ＤＢ２２は、画像ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）と、画像関連データと、済フラグとを対応付けて記憶する。画像ＩＤは、基準画像を特定する識別情報である。画像関連データは、基準画像に関する情報であり、例えば、画像が商品を撮影したものである場合に、その商品名や商品のスペック等を示す情報である。済フラグは、基準画像に対する特徴量の算出処理を行ったか否かを表す。基準画像の画像データは、例えば、ＲＧＢ色空間やＣＭＹＫ色空間で表されたデータとして記憶されている。画像ＤＢ２２に基準画像を登録したときには、済フラグは、初期値として０が設定される。そして、制御部１０が基準画像に対する特徴量の算出処理を行った場合には、済フラグに１が設定される。画像ＤＢ２２には、複数の基準画像が記憶されている。

画像特徴量ＤＢ２３は、画像辞書生成サーバ１の制御部１０による処理結果として算出した基準画像の特徴量を記憶するデータベースである。図２（Ｂ）に示すように、画像特徴量ＤＢ２３は、画像ＩＤと、明度特徴量と、色相特徴量とを対応付けて記憶する。
通信インタフェース部２９は、通信ネットワークを介して携帯情報端末４との通信を行うためのインタフェース部である。

＜携帯情報端末４＞
携帯情報端末４は、例えば、スマートフォンに代表されるコンピュータの機能を併せ持った携帯型の装置である。携帯情報端末４は、その他、タブレット端末等でもよいし、パーソナルコンピュータ（ＰＣ）等であってもよい。
携帯情報端末４は、制御部４０と、記憶部６０と、カメラ部６５と、タッチパネルディスプレイ６７と、通信インタフェース部６９とを備える。
制御部４０は、携帯情報端末４の全体を制御するＣＰＵである。制御部４０は、記憶部６０に記憶されているＯＳやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。

制御部４０は、画像取得部４１と、画像変換部４２（色成分生成手段）と、色成分分離部４３と、明度特徴量算出部４４（明度特徴量算出手段）と、明度特徴量比較部４５（明度類似度算出手段）と、画像絞込部４６（明度絞込み手段）と、色相特徴量算出部４７（色相特徴量算出手段）と、色相特徴量比較部４８（色相類似度算出手段）と、画像特定部４９（類似画像特定手段）と、結果出力部５０（明度類似画像出力手段、類似画像出力手段、情報出力手段、出力手段）とを備える。
画像取得部４１は、例えば、カメラ部６５を介して画像を取得する。ここで取得した画像を、以下において検索画像という。
画像変換部４２は、検索画像に対してＨＳＶ変換をして、ＨＳＶ表色系の検索画像を生成する。
色成分分離部４３は、画像変換部４２による変換後の検索画像から各色成分データに分離する。この処理により、変換後の検索画像から色相成分データ（Ｈ）、彩度成分データ（Ｓ）、明度成分データ（Ｖ）の３つの色成分のデータが生成される。

明度特徴量算出部４４は、色成分分離部４３により生成された明度成分データ（Ｖ）から明度特徴量を算出する。
明度特徴量比較部４５は、画像特徴量ＤＢ２３に記憶された各基準画像の明度特徴量と、明度特徴量算出部４４が算出した明度特徴量とを比較する。
画像絞込部４６は、明度特徴量比較部４５による比較の結果、類似度が一定値以上の基準画像に絞り込む。
色相特徴量算出部４７は、色成分分離部４３により生成された色相成分データ（Ｈ）から色相特徴量を算出する。
色相特徴量比較部４８は、画像特徴量ＤＢ２３に記憶された各基準画像のうち、絞り込まれた各基準画像の色相特徴量と、色相特徴量算出部４７が算出した色相特徴量とを比較する。
画像特定部４９は、色相特徴量比較部４８による比較の結果、類似度が一定値以上の基準画像を特定する。
結果出力部５０は、特定した基準画像と、その基準画像の画像関連データとを、タッチパネルディスプレイ６７に出力する。
なお、各処理の詳細については、後述する。

記憶部６０は、制御部４０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
記憶部６０は、プログラム記憶部６１を備える。
プログラム記憶部６１は、各種プログラムを記憶する記憶領域である。プログラム記憶部６１は、画像検索プログラム６１ａを記憶している。画像検索プログラム６１ａは、携帯情報端末４の制御部４０が実行する各種機能を行うためのプログラムである。画像検索プログラム６１ａは、予め携帯情報端末４にインストールされているものとする。

カメラ部６５は、撮影装置である。カメラ部６５は、例えば、被写体の画像データを取得する。
タッチパネルディスプレイ６７は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部としての機能とを有する。
通信インタフェース部６９は、通信ネットワークを介して画像辞書生成サーバ１との通信を行うためのインタフェース部である。

＜画像辞書生成サーバ１の処理＞
次に、画像辞書生成サーバ１の処理について説明する。
図３は、本実施形態に係る画像辞書生成サーバ１での基準画像特徴量算出処理を示すフローチャートである。
以下に示す基準画像特徴量算出処理は、例えば、画像ＤＢ２２に基準画像が新たに登録されたタイミング等の適宜のタイミングで行われる。
ステップＳ（以下、「Ｓ」という。）１０において、画像辞書生成サーバ１の制御部１０は、画像ＤＢ２２から未処理の基準画像を１つ抽出する。ここで、制御部１０は、画像ＤＢ２２を参照し、済フラグが０である基準画像の画像データを、未処理の基準画像であるとして抽出する。

Ｓ１１において、制御部１０（画像変換部１２）は、画像変換処理を行う。基準画像の画像データは、上述したように、一般的に、ＲＧＢ表色系のデータや、ＣＭＹＫ表色系のデータである場合が多い。そこで、制御部１０は、画像変換処理により、基準画像の画像データをＨＳＶ表色系の画像データにする。なお、基準画像の画像データがＨＳＶ表色系のデータである場合には、本処理を行わなくてよい。

ＲＧＢ表色系のデータを、ＨＳＶ表色系のデータに変換する具体的な処理としては、例えば、以下のような方法がある。
前提として、ＲＧＢ値は、各々０から２５５までの値を取る。
まず、ＲＧＢの３つの値から最大値と最小値を求める。

次に、各成分データの値を算出する。
まず、色相成分データ（Ｈ）は、以下の式により算出する（なお、Ｈは、０から３６０までの値を返す。）

ここで、上から２番目に示す式は、負の値になるのを回避するために、３６０を加算し、その剰余を求める式になっている。

次に、彩度成分データ（Ｓ）は、以下の式により算出する（なお、Ｓは、０から２５５までの値を返す。）

最後に、明度成分データ（Ｖ）は、ＲＧＢ値の最大値とする（なお、Ｖは、０から２５５までの値を返す。）

制御部１０が上述した処理を行うことによって、基準画像の画像データをＨＳＶ表色系の基準画像に変換することができる。

Ｓ１２において、制御部１０（色成分分離部１３）は、ＨＳＶ表色系の基準画像の画像データから、明度成分データ（Ｖ）と、色相成分データ（Ｈ）との２つのデータを別々に抽出する。そして、制御部１０は、明度成分データ（Ｖ）と色相成分データ（Ｈ）をそれぞれ２５６階調の画像データに変換する。例えば、明度成分データ（Ｖ）が０〜２５５の値であるならば、それを２５６階調の画像データとし、色相成分データ（Ｈ）が０〜３６０の値であるならば、０〜２５５の値に変換して、２５６階調の画像データを作成する。制御部１０は、それぞれの画像データを作成し、以降の処理を行う。
Ｓ１３において、制御部１０（明度特徴量算出部１４、色相特徴量算出部１７）は、明度成分データ（Ｖ）と、色相成分データ（Ｈ）とを用いて、明度特徴量と、色相特徴量とを算出する。

ここで、以下、明度特徴量の具体的な算出方法について説明する。なお、色相特徴量の算出については、明度成分データ（Ｖ）に代えて色相成分データ（Ｈ）を用いること以外は、明度特徴量の算出と同様である。
まず、制御部１０は、明度成分データ（Ｖ）を元にした２５６階調の画像データから特徴点の検出を行う。特徴点の検出方法としては、特に方法を特定しないが、例えば、従来から類似画像検索によく用いられており、環境光影響や回転及び拡縮等のロバスト性に強いＤＯＧ（Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ Ｇａｕｓｓｉａｎ）を利用したＳＩＦＴや、近似Ｈｅｓｓｉａｎ−Ｌａｐｌａｃｅを利用したＳＵＲＦ、決定木を利用したＦＡＳＴといった局所特徴量技術を用いることができる。
例えば、ＳＩＦＴによる特徴点の検出では、制御部１０は、２５６階調の画像データからエッジ部分（周囲と濃淡差が大きいエリア）を抽出する。次に、制御部１０は、画像を特徴付ける情報として、この抽出されたエッジの一部を特徴点（局所特徴量）として演算及び定義する。

次に、制御部１０は、検出した特徴点について、特徴量として定量化を行う。検出した特徴点の定量化方法としては、特に方法を特定しないが、ＳＩＦＴの他、例えば、輝度勾配方向ヒストグラムを利用したＦＡＳＴや、積分画像の輝度勾配を利用したＳＵＲＦ、２点間の輝度差をバイナリ化したＢＲＩＥＦ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ）、さらにこの改良であるＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）やＢＲＩＳＫ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｖａｒｉａｎｔ Ｓｃａｌａｂｌｅ Ｋｅｙｐｏｉｎｔｓ）といった局所特徴量技術を用いることができる。
なお、ＳＩＦＴ、ＳＵＲＦ等は、画像処理ライブラリであるＯｐｅｎＣＶにて提供される。
例えば、ＳＩＦＴによる特徴量の定量化では、制御部１０は、演算処理の負荷軽減や高速化のため、特徴点を削除することで特徴点数を減らす。次に、制御部１０は、各特徴点の向きを算出する。ここで、向きとは、特徴点の周囲画素との輝度変化が最も大きな方向である。そして、制御部１０は、各特徴点の周囲の１６分割ブロックについて、８方向輝度変化を算出して、１２８次元（４×４×８）の特徴量とし、さらに、特徴量の大きさを１に正規化する。

Ｓ１４において、制御部１０（記憶制御部１９）は、Ｓ１３で算出した明度特徴量と、色相特徴量とを、基準画像の画像ＩＤに対応付けて画像特徴量ＤＢ２３に記憶させる。
Ｓ１５において、制御部１０は、画像ＤＢ２２に記憶されている全ての基準画像について処理を行ったか否かを判断する。全ての基準画像について処理を行った場合（Ｓ１５：ＹＥＳ）には、制御部１０は、本処理を終了する。他方、全ての基準画像について処理を行っていない場合（Ｓ１５：ＮＯ）には、制御部１０は、処理をＳ１０に移す。

この処理によって、画像処理システム１００は、画像検索で使用する基準画像について、予め画像の特徴量を算出して画像特徴量ＤＢ２３に記憶させることができる。よって、基準画像の画像の特徴量を記憶した画像特徴量ＤＢ２３を生成できる。

次に、携帯情報端末４を用いた画像検索処理について説明する。
図４及び図５は、本実施形態に係る携帯情報端末４での画像検索処理を示すフローチャートである。
Ｓ２０において、携帯情報端末４の制御部４０（画像取得部４１）は、検索画像を取得する。ここで、画像取得部４１は、カメラ部６５を介して取得した画像を、検索画像としてもよい。また、画像取得部４１は、記憶部６０に記憶されている画像から１つの画像を取得して、それを検索画像としてもよい。
Ｓ２１において、制御部４０（画像変換部４２）は、画像変換処理を行う。画像変換処理は、基準画像で説明した図３のＳ１１と同じ処理である。

Ｓ２２において、制御部４０（色成分分離部４３）は、ＨＳＶ表色系の検索画像の画像データから、明度成分データ（Ｖ）と、色相成分データ（Ｈ）を別々に抽出する。そして、制御部４０は、明度成分データ（Ｖ）と、色相成分データ（Ｈ）をそれぞれ２５６階調の画像データに変換して、以降の処理を行う。
Ｓ２３において、制御部４０（明度特徴量算出部４４）は、検索画像の明度特徴量を算出する。この算出処理は、基準画像の明度特徴量の算出処理（図３のＳ１３）と同じである。

Ｓ２４において、制御部４０（明度特徴量比較部４５）は、検索画像の明度特徴量と、画像辞書生成サーバ１の画像特徴量ＤＢ２３に記憶されている各基準画像の明度特徴量とを比較する。そして、制御部４０（明度特徴量比較部４５）は、検索画像と、各基準画像との明度特徴量の類似度を算出する。
具体的には、制御部４０は、検索画像の明度特徴量と、画像特徴量ＤＢ２３から抽出した１つの基準画像の明度特徴量との比較を、対応点間のユークリッド距離を算出することで行う。明度特徴量の類似度は、ユークリッド距離により表すことができる。この処理を、画像特徴量ＤＢ２３に記憶されている全ての基準画像に対して繰り返して行う。
具体的に説明すると、検索画像をＩ１とし、ある基準画像をＩ２とすると、対応点間のユークリッド距離ｄは、例えば、以下のように算出できる。

ここで、ユークリッド距離ｄが最小になる点が、対応点である。そして、ユークリッド距離ｄが閾値以内であれば、検索画像の特徴点と、基準画像の特徴点とが対応するとし、その対応点の数が、検索画像に対する基準画像の類似度を示す。よって、対応点の数が多いほど、類似度が高いと判断できる。

Ｓ２５において、制御部４０（明度特徴量比較部４５）は、明度特徴量の類似度が所定以上の基準画像があるか否かを判断する。具体的には、制御部４０は、各基準画像に対して、Ｓ２４で算出した対応点の数が閾値より多いか否かを判断する。そして、制御部４０は、対応点の数が閾値より多い基準画像があるか否かを判断する。明度特徴量の類似度が所定以上の基準画像がある場合（Ｓ２５：ＹＥＳ）には、制御部４０は、処理をＳ２７に移す。他方、明度特徴量の類似度が所定以上の基準画像がない場合（Ｓ２５：ＮＯ）には、制御部４０は、処理をＳ２６に移す。

Ｓ２６において、制御部４０（結果出力部５０）は、検索結果として類似する基準画像がない旨を、タッチパネルディスプレイ６７に出力する。明度特徴量の類似度が所定以上の基準画像がないということは、つまり、検索画像に類似する画像が基準画像にないことを示す。その後、制御部４０は、本処理を終了する。
Ｓ２７において、制御部４０（画像絞込部４６）は、以降の処理対象にする基準画像を、Ｓ２５で類似度が所定以上であった基準画像に絞り込む。

図５のＳ２８において、制御部４０（色相特徴量算出部４７）は、検索画像の色相特徴量を算出する。この算出処理は、基準画像の色相特徴量の算出処理（図３のＳ１３）と同じである。
Ｓ２９において、制御部４０（色相特徴量比較部４８）は、検索画像の色相特徴量と、画像辞書生成サーバ１の画像特徴量ＤＢ２３に記憶されている各基準画像のうち、Ｓ２７の処理による絞込み後の基準画像の色相特徴量とを比較する。そして、制御部４０（色相特徴量比較部４８）は、検索画像と、各基準画像との色相特徴量の類似度を算出する。この色相特徴量の類似度算出処理は、明度特徴量に代えて色相特徴量を用いる以外は、上述した明度特徴量の類似度算出処理（図４のＳ２４）と同様である。

Ｓ３０において、制御部４０（色相特徴量比較部４８）は、色相特徴量の類似度が所定以上の基準画像があるか否かを判断する。色相特徴量の類似度が所定以上の基準画像がある場合（Ｓ３０：ＹＥＳ）には、制御部４０は、処理をＳ３１に移す。他方、色相特徴量の類似度が所定以上の基準画像がない場合（Ｓ３０：ＮＯ）には、制御部４０は、処理をＳ３２に移す。
Ｓ３１において、制御部４０（画像特定部４９、結果出力部５０）は、Ｓ３０の処理による色相特徴量の類似度が所定以上の基準画像を特定し、特定した基準画像を、検索画像に類似する画像としてタッチパネルディスプレイ６７に出力する。その際、制御部４０は、画像ＤＢ２２を参照し、画像関連データをあわせて出力する。その後、制御部４０は、本処理を終了する。
他方、Ｓ３２において、制御部４０（画像特定部４９、結果出力部５０）は、Ｓ２５の処理による明度特徴量の類似度が所定以上の基準画像に絞り込んだ、絞り込み後の基準画像を、検索画像に類似する色違い画像としてタッチパネルディスプレイ６７に出力する。その後、制御部４０は、本処理を終了する。

このように、本実施形態の画像処理システム１００によれば、以下のような効果がある。
（１）画像辞書生成サーバ１は、基準画像の色成分データを生成して、明度成分データ（Ｖ）と、色相成分データ（Ｈ）とから各々特徴量を算出し、画像特徴量ＤＢ２３に、基準画像に各特徴量を対応付けて記憶する。よって、基準画像を分析して生成した画像検索で使用するデータを、予め生成して記憶できるので、検索時の処理効率を向上できる。
（２）画像処理システム１００では、画像をＨＳＶ変換したＨＳＶ表色系を用いて処理をする。これにより、明度成分データ（Ｖ）と、色相成分データ（Ｈ）との２つのパラメータによる処理に置き換えることができる。そのため、ＲＧＢ表色系のように３つのパラメータによる処理が必要なものに比べて、処理効率が向上し、処理時間の短縮を図ることができる。

（３）携帯情報端末４は、検索画像から明度特徴量と、色相特徴量とを算出し、検索画像及び基準画像の明度特徴量と、色相特徴量と用いて、検索画像に類似する基準画像を特定する。よって、明度と色相という色成分の２つの特徴量を用いて処理を行うため、検索画像に類似する基準画像を、精度よく特定できる。
そして、携帯情報端末４は、検索画像に類似する基準画像を出力するので、ユーザは、検索画像と基準画像との類似度合いを確認できる。
（４）携帯情報端末４は、検索画像に類似の基準画像に関する画像関連データを、基準画像と共に出力するので、出力された情報に基づいて、検索画像と基準画像との類似度合いをより明確に確認できる。

（５）携帯情報端末４は、明度特徴量に類似する基準画像を抽出後に、抽出した基準画像に絞って、色相特徴量に類似する基準画像を特定する。よって、色相特徴量による比較を、基準画像を絞って行うことができるため、処理効率を向上できる。
（６）携帯情報端末４は、明度特徴量に類似する基準画像を出力することで、明度特徴量が類似する、いわゆる色違いの基準画像を出力できる。よって、ユーザは、色違いのバリエーション画像を確認できる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

（変形形態）
（１）本実施形態では、画像辞書生成サーバが基準画像に関する画像特徴量ＤＢを生成し、携帯情報端末では、画像特徴量ＤＢを用いて検索画像に類似する基準画像を検索する処理をするものを示したが、これに限定されず、様々なシステム構成によっても実現できる。
例えば、携帯情報端末（出力装置）は、画像取得部と、結果出力部とを備え、その他の処理を、画像辞書生成サーバで行ってもよいし、携帯情報端末及び画像特徴量ＤＢに通信接続された処理装置（画像処理装置）が行ってもよい。
また、携帯情報端末は、画像取得部と、結果出力部との他に、一部の処理を行うようにし、残りの処理を、画像辞書生成サーバ又は処理装置が行ってもよい。
さらに、携帯情報端末に、画像辞書生成サーバの各機能を有し、全ての処理を携帯情報端末が行ってもよい。

（２）本実施形態では、検索画像の明度特徴量を用いて比較をした後に、検索画像の色相特徴量を用いて比較をするものとして説明したが、これに限定されない。検索画像の明度特徴量を用いた比較と、色相特徴量を用いた比較とを同時に行ってもよいし、色相特徴量を用いた比較を、明度特徴量を用いた比較より先に行ってもよい。
（３）本実施形態では、類似度が所定以上の基準画像を、検索画像に類似する画像としてタッチパネルディスプレイに出力するものを例に説明したが、これに限定されない。基準画像自身は出力せず、基準画像に関連するものであってもよく、例えば、基準画像のファイル名や、ユニークな番号等であってもよい。

１ 画像辞書生成サーバ
４ 携帯情報端末
１０，４０ 制御部
１２，４２ 画像変換部
１３、４３ 色成分分離部
１４，４４ 明度特徴量算出部
１７，４７ 色相特徴量算出部
１９ 記憶制御部
２０，６０ 記憶部
２１ａ 辞書生成プログラム
２２ 画像ＤＢ
２３ 画像特徴量ＤＢ
４５ 明度特徴量比較部
４６ 画像絞込部
４８ 色相特徴量比較部
４９ 画像特定部
５０ 結果出力部
６１ａ 画像検索プログラム
６７ タッチパネルディスプレイ
１００ 画像処理システム

Claims (8)

1. 検索対象の画像である検索画像に類似する基準画像に紐づけられた情報を出力する画像検索システムであって、
   検索画像の色成分を生成する色成分生成手段と、
   生成された前記色成分から明度成分の特徴量である明度特徴量を算出する明度特徴量算出手段と、
   生成された前記色成分から色相成分の特徴量である色相特徴量を算出する色相特徴量算出手段と、
   基準画像と、前記基準画像の前記明度特徴量と、前記基準画像の前記色相特徴量とを対応付けた基準画像情報を複数記憶した画像データベースと、
   前記検索画像の前記明度特徴量と、前記画像データベースに記憶された複数の前記基準画像情報に含まれる各基準画像の前記明度特徴量との類似度を算出する明度類似度算出手段と、
   前記明度類似度算出手段により算出された類似度に基づき、類似度の高い基準画像を絞り込む明度絞込み手段と、
   前記検索画像の前記色相特徴量と、前記明度絞込み手段により絞り込み後の各基準画像の前記色相特徴量との類似度を算出する色相類似度算出手段と、
   前記色相類似度算出手段により算出された類似度に基づき、類似度の高い基準画像を特定する類似画像特定手段と、
   を備える画像検索システム。
2. 請求項１に記載の画像検索システムにおいて、
   前記明度絞込み手段により絞り込み後の各基準画像を出力する明度類似画像出力手段を備える、画像検索システム。
3. 請求項１又は請求項２に記載の画像検索システムにおいて、
   前記類似画像特定手段により特定された前記基準画像を出力する類似画像出力手段を備える、画像検索システム。
4. 請求項１から請求項３までのいずれかに記載の画像検索システムにおいて、
   前記画像データベースは、前記基準画像に関する情報を、前記基準画像に対応付けて記憶しており、
   前記類似画像特定手段により特定された前記基準画像に対応する前記基準画像に関する情報を前記画像データベースから抽出して出力する情報出力手段を備える、画像検索システム。
5. 請求項１から請求項４までのいずれかに記載の画像検索システムにおいて、
   前記色成分生成手段は、前記検索画像にＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）変換をすることで、ＨＳＶ表色系による色成分を生成する、画像検索システム。
6. 請求項１から請求項５までのいずれかに記載の画像検索システムにおいて、
   画像処理装置と、出力装置とにより構成され、
   前記画像処理装置は、前記色成分生成手段、前記明度特徴量算出手段、前記色相特徴量算出手段、前記画像データベース、前記明度類似度算出手段、前記色相類似度算出手段及び前記類似画像特定手段のうち少なくともいずれかを備え、
   前記出力装置は、前記基準画像及び必要に応じて前記基準画像に関する情報を出力する出力手段を少なくとも備える、画像検索システム。
7. 請求項１から請求項６までのいずれかに記載の画像検索システムと、
   画像検索で使用する複数の基準画像に関する画像データベースを生成する画像辞書生成システムであって、
   基準画像の色成分を生成する色成分生成手段と、
   生成された前記色成分から明度成分の特徴量である明度特徴量を算出する明度特徴量算出手段と、
   生成された前記色成分から色相成分の特徴量である色相特徴量を算出する色相特徴量算出手段と、
   前記基準画像と、前記明度特徴量と、前記色相特徴量とを対応付けて前記画像データベースに記憶させる記憶制御手段と、
   を備える画像辞書生成システムと、
   を備える画像処理システム。
8. 請求項１から請求項６までのいずれかに記載の画像検索システムとしてコンピュータを機能させるための画像検索プログラム。

Images