JP7134593B2 - 画像検索装置、画像検索方法、およびプログラム - Google Patents

Description

本発明は、データベース等に格納されている多数の画像データから所望のデータを検索する技術に関する。

画像を検索する手段として、キーワードによる検索（キーワード検索）が知られている（例えば、Ｇｏｏｇｌｅ（登録商標）検索）。これは、あらかじめ画像に対してメタデータとしてキーワードを付加しておき、検索時に検索クエリとそのメタデータを参照し、一致するものを返す処理である。
特許文献１においても、キーワードにより精度良好に画像検索を可能とする画像検索装置等が開示されている。

また、近年、画像を検索キーとして入力し、画像認識技術を用いて、データベース上の類似画像を検索（類似画像検索）する技術が実用化されている（例えば、Ｇｏｏｇｌｅ（登録商標）画像検索）。類似画像検索であれば、適切な検索キーワードがなくても、類似する画像があれば、検索することが可能である。

特開２０１１－１１３１３０号公報

Laurent Itti, Christof Koch ,"Asaliency-based search mechanism for overt and covert shifts of visualattention",[online],[平成２９年１月２７日検索], インターネット〈URL：http://ilab.usc.edu/publications/doc/Itti_Koch00vr.pdf〉

しかしながら、上記したキーワード検索では、検索時にキーワードの入力が必要であるが、絵画（特に印象画）のようなものでは、適切なキーワードを探すことが難しい、という問題がある。
また、上記した類似画像検索では、検索キーとして入力するべき画像と類似する画像がない場合、所望の画像を検索することができない、という問題がある。

本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、画像データの検索において、適切なキーワードがない場合や類似画像がない場合でも、所望の画像を検索することが可能な、画像検索装置、画像検索方法、およびプログラムを提供することである。

前述した目的を達成するための第１の発明は、画像の顕著性を考慮して作成された、単一の色又は複数の色の情報である色情報と、当該色情報と同一又は類似の色情報を有する１又は複数の画像と、を対応付けて色情報ごとに記憶する記憶手段と、色情報の選択を受け付ける色選択手段と、選択された色情報に基づいて前記記憶手段から１又は複数の画像を検索する検索手段と、を備え、前記色情報を算出する際に、画像に対して顕著性を抽出した顕著性画像を生成して、顕著性の高い部分に加重を加えた重み付きヒストグラムを抽出し、当該重み付きヒストグラムに基づいて前記色情報を算出し、前記記憶手段に記憶される色情報を生成するための学習用の画像群を入力する画像入力手段と、入力された画像に対して減色処理を行い、画像を代表する単一の色又は複数の色からなる代表色を抽出する代表色算出手段と、抽出した各画像の代表色をクラスタリングし、クラスタに属する代表色に基づいてクラスタを代表する色を算出し、算出したクラスタを代表する色を前記色情報として生成する色情報生成手段と、を更に備えることを特徴とする画像検索装置である。第１の発明によって、画像データの検索において、適切なキーワードがない場合や類似画像がない場合でも、所望の画像を検索することが可能となる。

第１の発明において、前記記憶手段に新規に登録する画像を入力する画像入力手段と、前記画像から抽出した代表色が属するクラスタを識別し、識別したクラスタに対応する色情報に対応付けて前記画像を前記記憶手段に登録する画像登録手段と、を更に備えるようにしてもよい。
また、前記記憶手段に記憶される色情報を更新するための画像を入力する画像入力手段、を備え、前記色情報生成手段は、前記画像から抽出した新たな代表色と抽出済みの代表色を合わせてクラスタリングし、クラスタに属する代表色に基づいてクラスタを代表する色を算出し、前記色情報を更新するようにしてもよい。
また、第１または第２の発明において、前記記憶手段は、単一の色又は複数の色の情報である関連色情報を前記色情報と対応付けて記憶し、関連色情報の選択を受け付ける関連色選択手段、を備え、前記色選択手段は、選択された前記関連色情報に対応する前記色情報を取得し、前記検索手段は、取得した前記色情報に基づいて前記記憶手段から１又は複数の画像を検索するようにしてもよい。これによって、関連色情報を検索画面等で指定することで、関連色情報と相性の良い色情報を有する画像を検索できる。例えば、関連色情報として部屋の壁紙の色を指定することで、壁紙の色と相性の良い装飾用の絵や写真などの画像を検索することができる。

第１の発明において、前記色選択手段又は前記関連色選択手段は、各色情報又は各関連色情報を、各色情報又は各関連色情報から受ける印象に応じたカラーイメージスケール上の位置に選択可能に表示するようにしてもよい。これによって、所望とするイメージの色情報又は関連色情報を容易に選択することができる。
また、前記色選択手段又は前記関連色選択手段は、カラーパレット上で、色情報又は関連色情報を構成する色の選択を受け付けるようにしてもよい。これによって、マニュアルで色情報又は関連色情報を作成することができる。

第１の発明において、画像の入力を受け付ける画像入力手段と、前記色選択手段は、その機能の一部として前記画像の色情報を抽出する色抽出手段と、を備え、前記色抽出手段により抽出された色情報を受け付け、前記検索手段は、抽出された色情報に基づいて前記記憶手段から１又は複数の画像を検索するようにしてもよい。これによって、入力された画像と印象の近い画像を検索することができる。

前述した目的を達成するための第２の発明は、記憶手段が、画像の顕著性を考慮して作成された、単一の色又は複数の色の情報である色情報と、当該色情報と同一又は類似の色情報を有する１又は複数の画像と、を対応付けて色情報ごとに記憶する記憶ステップと、色選択手段が、色情報の選択を受け付ける組合せ色選択ステップと、検索手段が、選択された色情報に基づいて前記記憶手段から１又は複数の画像を検索する検索ステップと、を含み、前記色情報を算出する際に、画像に対して顕著性を抽出した顕著性画像を生成して、顕著性の高い部分に加重を加えた重み付きヒストグラムを抽出し、当該重み付きヒストグラムに基づいて前記色情報を算出し、前記記憶ステップにおいて、画像入力手段が、前記記憶手段に記憶される色情報を生成するための学習用の画像群を入力する画像入力ステップと、代表色算出手段が、入力された画像に対して減色処理を行い、画像を代表する単一の色又は複数の色からなる代表色を抽出する代表色算出ステップと、色情報生成手段が、抽出した各画像の代表色をクラスタリングし、クラスタに属する代表色に基づいてクラスタを代表する色を算出し、算出したクラスタを代表する色を前記色情報として生成する色情報生成ステップと、を更に含むことを特徴とする画像検索方法である。第２の発明によって、画像データの検索において、適切なキーワードがない場合や類似画像がない場合でも、所望の画像を検索することが可能となる。

前述した目的を達成するための第３の発明は、コンピュータを、請求項１から請求項７のいずれかに記載の画像検索装置として機能させることを特徴とするプログラムである。第３の発明のプログラムを汎用のコンピュータにインストールすることによって、第１の発明の画像検索装置を得ることができる。

本発明により、画像データの検索において、適切なキーワードがない場合や類似画像がない場合でも、所望の画像を検索することが可能となる。

第１の実施形態に係る画像検索装置１０の構成を示すブロック図 第１の実施形態に係る画像検索装置１０の他の構成を示すブロック図 色画像テーブル５０の具体例を示す図 色画像テーブル作成部１８の構成を示すブロック図 学習処理の流れを示すフローチャート 色変換処理の例を示す図 フィルタ処理の例を示す図 顕著性抽出の例を示す図 顕著性の高い部分に加重を加えた重み付きヒストグラムＨを抽出する例を示す図 重み付きヒストグラムＨにＧＭＭ（混合正規分布）をフィッティングする例を示す図 フィッティング後のＧＭＭ（混合正規分布）から代表色を算出する例を示す図 代表色分布３００を示す図 代表色分布３００に対してクラスタリング（k-means）を実行し、Ｋ個にクラスタリングされた代表色分布３００を生成する例を示す図 代表色分布３００のクラスタ３００－１から組合せ色４－１を求める例を示す図 学習された組合せ色識別器５の例を示す図 識別処理の流れを示すフローチャート 識別処理の例を示す図 追加学習処理の流れを示すフローチャート 追加画像２Ａの代表色３Ａを含む再生成された代表色分布３００Ａを示す図 代表色分布３００Ａのクラスタ３００Ａ－１の組合せ色４Ａ－１を求める例を示す図 再学習された組合せ色識別器５Ａの例を示す図 画像検索処理の流れを示すフローチャート 検索画面（色選択画面）の一例を示す図 検索画面（色選択画面）の別例を示す図 第２の実施形態に係る画像検索装置１０ａの構成を示すブロック図 色言語テーブル８０の具体例を示す図 画像検索処理の動作を示すフローチャート 第３の実施形態に係る画像検索装置１０ｂの構成を示すブロック図 色対応テーブル１００の具体例を示す図 画像検索装置１０ｂの検索処理の流れを示すフローチャート 検索画面（色選択画面）の一例を示す図 第４の実施形態に係る画像検索装置１０ｃの構成を示すブロック図 画像検索処理の流れを示すフローチャート

以下図面に基づいて、本発明の実施形態を詳細に説明する。

［第１の実施形態］
（画像検索装置１０の構成）
図１は、本発明の第１の実施形態に係る画像検索装置１０の構成を示すブロック図である。画像検索装置１０は、画像を検索する装置であって、一般的なコンピュータで実現される。

図に示すように、画像検索装置１０は、色選択部１１、検索部１３、記憶部１５（色画像テーブル５０）、出力部１７、色画像テーブル作成部１８等から構成される。
色選択部１１は、検索画面（色選択画面）（図２３、２４）を表示して、ユーザから色情報の選択を受け付ける。色情報は、単一の色又は複数の色の情報からなる。
検索部１３は、色画像テーブル５０（図３）を参照し、色選択部１１により選択された色情報に基づいて所望の画像を検索する。

出力部１７は、検索部１３により検索された検索画像を出力する。例えば、出力部１７は、ディスプレイ装置、プリンタ、通信制御装置等から構成され、検索部１３により検索された検索画像を表示したり、検索画像を印刷したり、検索画像を他のコンピュータに送信したりする。
色画像テーブル作成部１８は、色画像テーブル５０（図３）を作成する。

色選択部１１、検索部１３、および色画像テーブル作成部１８は、ＣＰＵ（Central Processing Unit）及び、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部１５、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バスを介して接続された各装置を駆動制御し、画像検索装置１０が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、画像検索装置１０のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、ＣＰＵが各種処理を行う為に使用するワークエリアを備える。

記憶部１５は、ＨＤＤ（Hard
Disk Drive）、フラッシュメモリ等であり、ＣＰＵが実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をＣＰＵに実行させるためのアプリケーションプログラムが格納されている。各プログラムコードは、ＣＰＵにより必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
本実施形態では、記憶部１５は、色情報と画像群とが対応付けられている色画像テーブル５０（図３）を記憶する。

図２は、本発明の第１の実施形態に係る画像検索装置の他の構成を示すブロック図である。図２に示す画像検索装置２０は、ユーザが使用する端末装置３０と、端末装置３０とネットワークを介して接続されるサーバ４０とによって構成される。

端末装置３０は、スマートフォン、タブレット等の携帯端末やＰＣ（Personal Computer）等であり、ユーザから色情報の選択を受け付ける色選択部１１と、選択された色情報の情報をサーバ４０に送信する送信部３９ａと、検索された検索画像をサーバ４０から受信する受信部３９ｂと、検索画像を出力する出力部３７と、を備える。

サーバ４０は、端末装置３０から色情報を受信する受信部４９ｂと、色情報に基づいて画像を検索する検索部３３と、色情報と画像群とが対応付けられている色画像テーブル５０を記憶する記憶部３５と、色画像テーブル５０を作成する色画像テーブル作成部３８と、検索部３３により検索された検索画像を端末装置３０に送信する送信部４９ａと、を備える。

色選択部３１、検索部３３、記憶部３５、出力部３７、色画像テーブル作成部３８は、それぞれ、図１に示す色選択部１１、検索部１３、出力部１７、色画像テーブル作成部１８と同様の構成であって、同様の機能を有する。

送信部３９ａは、通信回線２１ａを介し、サーバ４０にデータを送信する。受信部３９ｂは、通信回線２１ｂを介し、サーバ４０からデータを受信する。送信部４９ａは、通信回線２１ｂを介し、端末装置３０にデータを送信する。受信部４９ｂは、通信回線２１ａを介し、端末装置３０からデータを受信する。

以下では、図１に示す画像検索装置１０の構成及び動作の詳細について説明する。尚、図２に示す画像検索装置２０も、データの送受信を除き、同様の構成及び動作を行うため、画像検索装置２０については説明を省略する。

（色画像テーブル５０）
図３は、色画像テーブル５０の具体例を示す図である。図３に示すように、色画像テーブル５０においては、色情報ＩＤ５１、単色ＩＤ５２、画像ＩＤ５３が対応付けられている。図３の例では、色情報は、複数の色（配色１、配色２、配色３）の情報からなる。複数の色からなる色情報を特に「組合せ色」とも表記する。

色情報ＩＤ５１は、色情報を識別するためのＩＤである。
単色ＩＤ５２は、色情報を構成する配色１、配色２及び配色３の各単色を識別するためのＩＤである。例えば、色情報ＩＤ５１が「１０」の色情報の単色ＩＤ５２は、配色１の単色ＩＤ５２が「ｃ２１３４」、配色２の単色ＩＤ５２が「ｃ１３２３」、配色３の単色ＩＤ５２が「ｃ０１２３」である。

図示は省略するが、単色ＩＤで特定される単色は、所定の色空間における座標値で表される。特に人間の感覚に近いＬ＊ａ＊ｂ色空間を用いるのが好適であるが、ＲＧＢ色空間、Ｌ＊ｕ＊ｖ色空間、ＸＹＺ色空間等の色空間を用いてもよい。

画像ＩＤ５３は、各色情報に紐づく画像のＩＤである。各色情報には、当該色情報と同一又は類似の色情報（後述する「代表色」）を有する１又は複数の画像が紐づけられる。例えば、図に示すように、色情報ＩＤ５１が「１」の色情報に紐づく画像は、画像ＩＤ「Ｉｍ０００９」「Ｉｍ００３０」…の画像群であり、色情報ＩＤ５１が「１」の色情報と同一又は類似の色情報（代表色）を有する画像群である。また、色情報ＩＤ５１が「２」の色情報に紐づく画像は画像ＩＤ「Ｉｍ０００２」「Ｉｍ００２０」…の画像群であり、色情報ＩＤ５１が「２」の色情報と同一又は類似の色情報（代表色）を有する画像群である。なお、画像データの実体は、画像ＩＤ５３と紐づけて記憶部１５の記憶領域に記憶されている。

色画像テーブル５０に登録される色情報は次の要件を満たすように、色画像テーブル作成部１８によって作成される。
（１）色情報は、Ｃｎ個（Ｃｎは１以上の整数）の色数で構成される。
（２）色情報は、単純な色の累積分布のパターンではなく、人間が感じるものに近い形で実現する。例えば、人間は背景でなく対象物の方により重点的に着目する。後述するように、画像の顕著性を考慮することで、人間の感じるものに近い色情報を作成する。
（３）ユーザが選択可能な色情報の個数をＫ個に制限する。あまりに多いと検索時にユーザの負担となるためである。例えばＫ＝３０程度が適当である。

以下、図４～図２１を参照しながら、画像検索装置１０（色画像テーブル作成部１８）が色画像テーブル５０を作成する好適な例を説明する。なお、本実施形態では、色情報が組合せ色の場合（Ｃｎ≧２）の例を説明するが、色情報が単色の場合も同様の手順で色画像テーブルを作成することができる。
図４は、色画像テーブル作成部１８の内部構成を示すブロック図である。図に示すように、色画像テーブル作成部１８は、画像入力部１８ａと、学習部１８ｂと、識別部１８ｃと、追加学習部１８ｄと、から構成される。

画像入力部１８ａは、画像群２（学習用画像群、新規入力画像、追加画像など）を入力する。
学習部１８ｂは、学習用の画像群である学習用画像群２を用いて、組合せ色群４と組合せ色を識別する組合せ色識別器５を学習する。学習した各組合せ色４の情報（色情報ＩＤ５１と組合せ色を構成する単色ＩＤ５２）は、色画像テーブル５０に登録される。

識別部１８ｃは、新規入力画像２の組合せ色を組合せ色識別器５により識別し、色画像テーブル５０の該当する色情報ＩＤ５１に紐づけて検索対象画像として登録する。
追加学習部１８ｄは、追加学習用の画像である追加画像２を用いて、組合せ色４と組合せ色識別器５を追加学習（再学習）する。

以下、学習部１８ｂが実行する「学習処理」、識別部１８ｃが実行する「識別処理」、追加学習部１８ｄが実行する「追加学習処理」について順に説明する。

（学習処理）
まず、図５～図１５を参照して、学習部１８ｂが実行する学習処理について説明する。
図５は、学習処理の流れを示すフローチャートである。
画像検索装置１０（学習部１８ｂ）は、画像入力部１８ａにより入力されたＮ枚の学習用画像群２（２－１、…、２－Ｎ）それぞれに対して、図５のステップＳ１０１～Ｓ１０７の処理を実行し、学習用画像２（２－１、…、２－Ｎ）の代表色群３（３－１、…、３－Ｎ）を算出する。代表色とは、画像に対して減色処理を施すことによって抽出される、画像を代表する単一の色又は複数の色のことをいう。ステップＳ１０１～Ｓ１０７の代表色を算出する処理は、本発明の「減色処理」の一例である。なお「減色処理」は、本実施形態の例に限定されず、例えば、特願２０１５－１９３７３６号に記載の方法を用いてもよい。

簡単のため、ある１つの学習用画像２（入力画像２と表記）について代表色３を算出する処理を説明する。まず、画像検索装置１０（学習部１８ｂ）は、入力画像２に対して色変換処理を実行する（ステップＳ１０２）。具体的には、図６に示すように、ＲＧＢ色空間で表される入力画像２を人間の感覚に近いＬ＊ａ＊ｂ色空間に変換する。Ｌ＊ａ＊ｂ空間に変換された入力画像を入力画像２Ｌと表記する。

次に、画像検索装置１０（学習部１８ｂ）は、図７に示すように、Ｌ＊ａ＊ｂ色空間に変換後の入力画像２Ｌに対して、メディアンフィルタを適用し、メディアン画像２Ｍを生成する（ステップＳ１０３）。これにより、入力画像２Ｌの局所的なエッジ、影、孤立点やノイズを除去されたメディアン画像２Ｍが生成される。

一方、画像検索装置１０（学習部１８ｂ）は、図８に示すように、Ｌ＊ａ＊ｂ色空間の入力画像２Ｌに対して顕著性を抽出し、顕著性画像２Ｓを生成する（ステップＳ１０３）。顕著性を抽出するアルゴリズムは、例えば非特許文献１に記載の方法を利用すればよい。図８の顕著性画像２Ｓの中で白い部分は顕著性が高く、黒い部分は顕著性が低いことを示す。

次に、画像検索装置１０（学習部１８ｂ）は、ステップＳ１０３において生成したフィルタ処理後のメディアン画像２Ｍと、ステップＳ１０４において生成した顕著性画像２Ｓと、を用いて、重み付きヒストグラムＨを抽出する（ステップＳ１０５）。具体的には、各画素における投票ポイント（Vote Point）を算出し、顕著性の高い部分に加重を加えた重み付きヒストグラムＨを抽出する。

図９は、顕著性の高い部分に加重を加えた重み付きヒストグラムＨを抽出する例を示す図である。図に示すように、各画素の投票ポイント（Vote Point）を次の式１で算出する。

θは顕著性（Saliency
Value）の重みを調整するパラメータ

式１によれば顕著性（Saliency
Value）が高いほど投票ポイント（Vote
Point）が大きな値となる。
例えば図９の場合、画素１（顕著性画像２Ｓの黒い部分）の顕著性は低いため投票ポイント（Vote Point）が「１」であり、画素２（顕著性画像２Ｓの白い部分）は顕著性が高いため投票ポイント（Vote Point）が「５」である。
このように各画素について投票ポイント（Vote Point）を算出し、図９に示すように投票ポイント（Vote Point）による重み付けをした重み付きヒストグラムＨを抽出する。
なお、図９の重み付きヒストグラムＨは作図の便宜上、１次元の図で表示しているが、実際は３次元である。

次に、画像検索装置１０（学習部１８ｂ）は、ステップＳ１０５において抽出した重み付きヒストグラムＨに基づいて代表色を算出する（ステップＳ１０６）。
具体的には、まず、重み付きヒストグラムＨを式（２）のようにＣｎ個の混合正規分布（Gaussian Mixture Model: GMM）で表す。

続いて、式（３）に示すフィッティング式で重み付きヒストグラムＨをフィッティングする。なおフィッティングの最適化に公知のＥＭアルゴリズムを用いる。

図１０は、重み付きヒストグラムＨにＧＭＭ（混合正規分布）をフィッティングした例を示す図である。図に示すように、２次元分布で表示した重み付きヒストグラムＨに対してＧＭＭ（混合正規分布）がフィッティングされる。なお、作図の便宜上、２次元の図で表示しているが、実際は３次元である。

続いて、フィッティング後のＧＭＭ（混合正規分布）の各ガウシアン関数の平均値の値（ガウシアン関数の局大点）をその画像における代表色として算出する。
図１１は、フィッティング後のＧＭＭ（混合正規分布）から代表色を算出する例を示す図である。図に示すように、ＧＭＭ（混合正規分布）のガウシアン関数の局大点に相当する色Ｃ１、色Ｃ２、色Ｃ３を抽出し、抽出した各色をＧＭＭ（混合正規分布）の平均値が小さい順に並べて代表色３（配色パターン）を構成する。なお、代表色が単色の場合は、例えば、式（２）を正規分布に置き換え、フィッティング後の正規分布の局大点に相当する色を抽出すればよい。

以上の処理（ステップＳ１０２～Ｓ１０６）をＮ枚の学習用画像群２（２－１、…、２－Ｎ）に対して実行し、各画像２の代表色を算出し、代表色群３（３－１、…、３－Ｎ）を生成する。画像検索装置１０（学習部１８ｂ）は、生成された代表色群３（３－１、…、３－Ｎ）を記憶部１５に保存する。

次に、画像検索装置１０（学習部１８ｂ）は、図５のステップＳ１０８～ステップＳ１１０の処理を実行し、生成した代表色群３（３－１、…、３－Ｎ）に基づいて組合せ色群４（４－１、…、４－Ｋ）と各組合せ色４を識別する組合せ色識別器５を生成する。

まず、画像検索装置１０（学習部１８ｂ）は、各画像２の代表色を３×Ｃｎ次元ベクトルとして、３×Ｃｎ次元空間にプロットし、代表色分布３００を生成する（ステップＳ１０８）。
図１２は、代表色分布３００を示す図である。プロットされた各データは、各画像の代表色を示す。例えば、３－１は入力画像２－１の代表色を示し、代表色３－２は入力画像２－２の代表色を示す。
なお、作図の便宜上、３次元の図で表示しているが、実際は３×Ｃｎ次元である（以降の代表色分布の図についても同様である）。

次に、画像検索装置１０（学習部１８ｂ）は、代表色分布３００に基づいて、Ｋ個の組合せ色４（４－１、…、４－Ｋ）を生成する（ステップＳ１０９）。
具体的にはまず、図１３に示すように、代表色分布３００に対してクラスタリング手法であるk-meansを適用し、代表色分布３００をＫ個のクラスタに分割する。

続いて、クラスタリング後の代表色分布３００について、Mean Shiftを適用し、頻度分布の局大点を求める。
そして、各頻度分布の局大点に相当する色を、各クラスタの基準となる色（組合せ色）とする。
図１４は、代表色分布３００のあるクラスタ３００－１の組合せ色４－１を求める例を示す図である。右図に示すように、クラスタ３００－１にMean Shiftを適用し、分布の局大点Ｐｎを求める。そして局大点Ｐｎに相当する色を、クラスタ３００－１の組合せ色４－１とする。

次に、画像検索装置１０（学習部１８ｂ）は、各画像２（２－１、…、２－Ｎ）の代表色３（３－１、…、３－Ｎ）に対して、色情報ＩＤ５１（「１」「２」…「Ｋ」）を教師情報とし、one vs oneマルチクラスSVM（Support
Vector Machine）を用いて組合せ色（クラスタ）の識別を行う組合せ色識別器５を学習する。
図１５は、学習された組合せ色識別器５の例を示す図である。図の例では、組合せ色識別器５の識別面５－１によって、組合せ色４－１（クラスタ３００－１）と組合せ色４－２（クラスタ３００－２）とが識別されることを示している。
なお、作図の便宜上、２次元の図で表示しているが、実際は３×Ｃｎ次元である。

以上の処理（ステップＳ１０８～Ｓ１１０）により、組合せ色群４（４－１、…、４－Ｋ）と各組合せ色を識別する組合せ色識別器５が学習生成される。画像検索装置１０（学習部１８ｂ）は、生成された組合せ色群４（４－１、…、４－Ｋ）と組合せ色識別器５を記憶部１５に保存する。
また、画像検索装置１０（学習部１８ｂ）は、生成された組合せ色４（４－１、…、４－Ｋ）の情報（色情報ＩＤ５１と組合せ色を構成する単色ＩＤ５２）を色画像テーブル５０に登録する。
なお、学習処理に使用した各画像２は、検索対象の画像として、色情報ＩＤ５１と対応付けて色画像テーブル５０に登録してもよい。

（識別処理）
次に、図１６～図１７を参照して、識別部１８ｃが実行する識別処理について説明する。
図１６は、識別処理の流れを示すフローチャートである。
画像検索装置１０（識別部１８ｃ）は、画像入力部１８ａにより色画像テーブル５０に新規に登録する新規入力画像２が入力されると、学習処理により生成された組合せ色識別器５を記憶部１５からロードする（ステップＳ１２１）。

次に、画像検索装置１０（識別部１８ｃ）は、新規入力画像２に対して色変換処理（ステップＳ１２２）およびフィルタ処理（ステップＳ１２３）を適用しメディアン画像２Ｍを生成し、また、色変換処理後の新規入力画像２に対して顕著性を抽出し顕著性画像２Ｓを生成する。このステップＳ１２２、Ｓ１２３、Ｓ１２４の処理は図５のステップＳ１０２、Ｓ１０３、Ｓ１０４の処理と同様であるため説明を省略する。

次に、画像検索装置１０（識別部１８ｃ）は、生成したメディアン画像２Ｍと顕著性画像２Ｓを用いて、重み付きヒストグラムＨを抽出し（ステップＳ１２５）、この重み付きヒストグラムＨに基づいて新規入力画像２の代表色３を算出する（ステップＳ１２６）。このステップＳ１２５、Ｓ１２６の処理も図５のステップＳ１０５、Ｓ１０６の処理と同様であるため説明を省略する。

次に、画像検索装置１０（識別部１８ｃ）は、新規入力画像２の代表色３を求めた後、組合せ色識別器５（SVM識別器）を用いて組合せ色４（色情報ＩＤ５１）を識別する（ステップＳ１２７）。
図１７は、識別処理の例を示す図である。図に示すように、新規入力画像２から代表色３を算出し、この代表色３を組合せ色識別器５に入力し、組合せ色４を識別する。図の例では、新規入力画像２の代表色３が組合せ色４－１のクラスタ内に属する。このため、新規入力画像２の組合せ色は、組合せ色４－１（色情報ＩＤ５１＝「１０」）と識別される。

そして、画像検索装置１０（識別部１８ｃ）は、新規入力画像２の画像ＩＤを該当する色情報ＩＤ５１と対応付けて色画像テーブル５０（図３参照）に登録する（ステップＳ１２８）。
例えば、図１７のように、色情報ＩＤ５１が「１０」と識別された場合、図３の色画像テーブル５０の組合せ色の色情報ＩＤ５１「１０」に対応する画像ＩＤ５３に新規入力画像２の画像ＩＤを登録する。
このようにして、新規入力画像２の代表色３と同一又は類似の組合せ色４（色情報）が識別され、識別された組合せ色４（色情報）に新規入力画像２を紐づけて色画像テーブル５０に登録する。
以上の識別処理により、検索対象となる画像を色画像テーブル５０に随時登録していくことができる。

（追加学習処理）
次に、図１８～図２１を参照して、追加学習部１８ｄが実行する追加学習処理について説明する。追加学習処理とは、追加画像２Ａ（例えば識別処理で入力した新規入力画像２）を用いて、学習処理により既に生成している代表色群３、組合せ色群４、組合せ色識別器５をアップデートする処理である。

図１８は、追加学習処理の流れを示すフローチャートである。
まず、画像検索装置１０（追加学習部１８ｄ）は、記憶部１５から既存の代表色群３をロードする（ステップＳ１３１）。

次に、画像検索装置１０（追加学習部１８ｄ）は、図１９に示すように、追加画像２Ａの代表色３Ａを代表色分布に追加プロットし代表色分布を再生成する（ステップＳ１３３）。再生成された代表色分布を代表色分布３Ａと表記する。

次に、画像検索装置１０（追加学習部１８ｄ）は、再生成された代表色分布３００Ａに基づいて、Ｋ個の組合せ色４Ａ（４Ａ－１、…、４Ａ－Ｋ）を再生成する（ステップＳ１３４）。
具体的にはまず、再生成された代表色分布３Ａに対してクラスタリング手法であるk-meansを適用し、代表色分布３００ＡをＫ個のクラスタに分割する。続いて、クラスタリング後の代表色分布３００Ａについて、Mean Shiftを適用し、頻度分布の局大点を求める。そして、各頻度分布の局大点に相当する色を、各クラスタの組合せ色とする。

図２０は、代表色分布３００Ａのクラスタ３００Ａ－１（追加した代表色３Ａが含まれる）の組合せ色４Ａ－１を求める例を示す図である。右図に示すように、クラスタ３００Ａ－１にMean Shiftを適用し、分布の局大点Ｐｎを求める。そして局大点Ｐｎに相当する色を、クラスタ３００Ａ－１の組合せ色４Ａ－１とする。

なお、再生成された組合せ色４Ａ（４Ａ－１、…、４Ａ－Ｋ）を構成する各色の情報は更新され、色画像テーブル５０（図３）の配色１の単色ＩＤ５２、配色２の単色ＩＤ５２、配色３の単色ＩＤ５２に反映される。

次に、画像検索装置１０（追加学習部１８ｄ）は、各画像（既存の各画像２（２－１、…、２－Ｎ）と追加画像２Ａを含む）の代表色（既存の代表色３（３－１、…、３－Ｎ）と追加の代表色３Ａを含む）に対して、色情報ＩＤ５１（「１」「２」…「Ｋ」）を教師情報とし、one vs oneマルチクラスSVM（Support
Vector Machine）を用いて組合せ色識別器を再学習する（ステップＳ１３５）。

図２１は、再学習された組合せ色識別器５Ａを示す図である。図の例では、再学習された組合せ色識別器５Ａの識別面５Ａ－１によって、組合せ色４Ａ－１（クラスタ３００Ａ－１）と組合せ色４Ａ－２（クラスタ３００Ａ－２）とが識別されることを示している。
なお、作図の便宜上、２次元の図で表示しているが、実際は３×Ｃｎ次元である。

以上の処理により、既存の組合せ色群４（４－１、…、４－Ｋ）と組合せ色識別器５が、組合せ色群４Ａ（４Ａ－１、…、４Ａ－Ｋ）と組合せ色識別器５Ａにアップデートされる。アップデート後に、前記した識別処理により新規の画像を色画像テーブル５０に登録する場合は、アップデートされた組合せ色識別器５Ａを用いて組合せ色を識別することになる。
なお、追加学習に使用した追加画像２Ａは、検索対象の画像として、色情報ＩＤ５１と対応付けて色画像テーブル５０に登録してもよい。

以上説明した学習処理、識別処理、追加学習処理によって、組合せ色と検索対象の画像が登録された色画像テーブル５０が作成される。画像検索装置１０は、この色画像テーブル５０を参照することで、所望の画像を検索する。
なお、本実施形態では、色情報が組合せ色の例を説明したが、色情報が単色の場合も同様の手順で色画像テーブル５０を作成することができる。

（画像検索処理）
次に、画像検索装置１０が実行する画像検索処理について具体的に説明する。

図２２は、画像検索処理の流れを示すフローチャートである。
まず、画像検索装置１０（色選択部１１）は、検索画面（色選択画面）を表示し、ユーザから色情報の選択を受け付ける（ステップＳ１１）。

図２３は、色情報が組合せ色である場合の検索画面（色選択画面）の一例である。図の検索画面（色選択画面）６０では、色画像テーブル５０のＫ個の組合せ色に対応するＫ個の組合せ色選択ボタン６１がカラーイメージスケール６２上に配置し表示されている。
図のカラーイメージスケール６２は、組合せ色から受ける印象（配色イメージ）をモノトーン－鮮やか、暗い－明るいの座標軸で表したものであり、各組合せ色選択ボタン６１は、各組合せ色の印象（配色イメージ）に応じた位置に配置されている。
例えば、図３の色情報ＩＤ５１「１」に対応する組合せ色選択ボタン６１ａは、カラーイメージスケール６２の右上（第１象限）に配置されており、色情報ＩＤ５１「２」に対応する組合せ色選択ボタン６１ｂは、カラーイメージスケール６２の右下（第４象限）に配置されている。
カラーイメージスケール６２上のいずれかの組合せ色選択ボタン６１が選択された状態で、検索ボタン６３が押下されると、選択した組合せ色に基づいて画像検索が実行される。

なお、カラーイメージスケール６２は、図２３の例に限定されず、例えば特願２０１５－１９３７３６号のように、大衆的－高揚感、オーソドックス－個性的の座標軸で表現してもよいし、フォーマル－カジュアル、静－動の座標軸で表現してもよい。
また必ずしもカラーイメージスケール６２上に組合せ色選択ボタン６１を配置する必要はなく、単に、組合せ色選択ボタン６１を縦方向や横方向に並べて配置するのでもよい。
また図示は省略するが、色情報が単色の場合には、各単色を選択するＫ個の選択ボタンが、各単色から受ける印象に応じた所定のカラーイメージスケール上の位置に配置し表示される。

図２４は、色情報が組合せ色である場合の検索画面（色選択画面）の別例である。図の検索画面（色選択画面）７０には、カラーパレット７１が表示され、ユーザはこのカラーパレット７１上で任意の３色を選択して任意の組合せ色を作成することができる。組合せ色表示エリア７２には、カラーパレット７１上でユーザが選択した３色が表示される。図の例では、ユーザがカラーパレット７１上で単色ｃ１、単色ｃ２、単色ｃ３を順に選択した状態を示している。これにより、単色ｃ１、単色ｃ２、単色ｃ３からなる組合せ色が画像の検索キーとして作成されたことになる。この状態で、検索ボタン７３が押下されると、作成した組合せ色に基づいて画像検索が実行される。
なお図示は省略するが、色情報が単色の場合には、後述する図３１のように任意の単色を選択できるカラーパレットが表示される。

検索ボタン（６３、７３）が押下されると、画像検索装置１０（検索部１３）は、ステップＳ１１において選択された色情報に基づいて色画像テーブル５０から１又は複数の画像を検索する（ステップＳ１２）。
そして、画像検索装置１０（出力部１７）は、検索画像を出力（例えば表示画面に検索画像を表示）して処理を終了する（ステップＳ１３）。

例えば、図２３の検索画面（色選択画面）６０において組合せ色選択ボタン６１ａが選択され、検索ボタン６３が押下されたとする。この場合、画像検索装置１０（検索部１３）は、図３の色画像テーブル５０を参照し、組合せ色選択ボタン６１ａに対応する色情報ＩＤ５１「１」に対応する画像ＩＤ５３（「Ｉｍ０００９」「Ｉｍ００３０」…）を取得し、取得した画像ＩＤ５３に対応する画像データを検索画像として記憶部１５から読込み出力する。

また、図２４の検索画面（色選択画面）７０においてカラーパレット７１からマニュアルで３色が選択され、検索ボタン７３が押下されたとする。この場合、画像検索装置１０（検索部１３）は、図３の色画像テーブル５０を参照し、カラーパレット７１からマニュアルで作成された組合せ色を構成する各単色と、色画像テーブル５０に既登録されている組合せ色を構成する各単色とを対比し、その色値の差（色空間上の距離）が一定の閾値以下となる色画像テーブル５０の組合せ色を特定する。

例えば、マニュアルで作成された組合せ色を構成する色が、単色５２ａ、単色５２ｂ、及び単色５２ｃから構成され、色画像テーブル５０の組合せ色ＩＤ５１が「ｋ」の組合せ色（組合せ色４－ｋ）を構成する配色１の単色ＩＤ５２が「ｋａ」（単色ｋａ）、配色２の単色ＩＤ５２が「ｋｂ」（単色ｋｂ）、配色３の単色ＩＤが「ｋｃ」（単色ｋｃ）であるとする。

この場合、マニュアルで作成された組合せ色を構成する単色と、色画像テーブル５０の組合せ色４－ｋを構成する単色を対比すると、対比する単色の組合せは以下の６通りである。
（１）単色５２ａ―単色ｋａ、単色５２ｂ－単色ｋｂ、単色５２ｃ－単色ｋｃ
（２）単色５２ａ―単色ｋａ、単色５２ｂ－単色ｋｃ、単色５２ｃ－単色ｋｂ
（３）単色５２ａ―単色ｋｂ、単色５２ｂ－単色ｋａ、単色５２ｃ－単色ｋｃ
（４）単色５２ａ―単色ｋｂ、単色５２ｂ－単色ｋｃ、単色５２ｃ－単色ｋａ
（５）単色５２ａ―単色ｋｃ、単色５２ｂ－単色ｋａ、単色５２ｃ－単色ｋｂ
（６）単色５２ａ―単色ｋｃ、単色５２ｂ－単色ｋｂ、単色５２ｃ－単色ｋａ
そして、（１）～（６）の組合せにおいて、対比する単色の色値の差が全て言って一定の閾値以下となるものが存在すれば、その組合せ色４－ｋは、マニュアルで作成された組合せ色と同一または近似する組合せ色となる。
画像検索装置１０（検索部１３）は、色画像テーブル５０を参照し、マニュアルで作成された組合せ色と同一または近似する組合せ色に属する画像ＩＤ５３を取得し、取得した画像ＩＤ５３に対応する画像データを検索画像として記憶部１５から読込み出力する。

以上、第１の実施形態によれば、画像検索装置１０は、色情報と、当該色情報と同一又は類似の色情報（代表色）を有する１又は複数の画像と、を対応付けた色画像テーブル５０を保持しており、ユーザから色情報の選択を受け付け（ステップＳ１１）、選択された色情報に基づいて色画像テーブル５０から１又は複数の画像を検索し（ステップＳ１２）、検索画像を出力する（ステップＳ１３）。
これによって、画像データの検索において、適切なキーワードがない場合や類似画像がない場合でも、所望の画像を検索することが可能となる。特に第１の実施形態によれば、選択した色情報と近い色や配色パターン（配色イメージ）を有する画像を好適に検索することができる。

［第２の実施形態］
次に、図２５～図２７を参照して、本発明の第２の実施形態を説明する。第２の実施形態では、ユーザから色情報の選択を受け付け、この色情報に対応する言語情報に基づいて画像検索を実行する。

（画像検索装置１０ａの構成）
図２５は、本発明の第２の実施形態に係る画像検索装置１０ａの構成を示すブロック図である。図に示すように、画像検索装置１０ａは、色選択部１１、検索部１３、記憶部１５（色言語テーブル８０、画像リソース９０）、出力部１７等から構成される。

色選択部１１は、検索画面（色選択画面）（図２３、２４）を表示して、ユーザから色情報の選択を受け付ける。
検索部１３は、色言語テーブル８０（図２６）を参照し、色選択部１１により選択された色情報に対応する言語情報を取得する。そして、取得した言語情報に基づいて画像リソース９０から所望の画像を検索する。

記憶部１５は、色情報と言語情報とが対応付けられている色言語テーブル８０、画像リソース９０等を記憶する。
出力部１７は、検索部１３により検索された検索画像を出力する。

画像リソース９０は、あらかじめメタデータとしてキーワード情報が付加された画像データを多数格納するデータベースである。画像リソース９０は、画像検索装置１０の記憶部１５に保持されていてもよいし、画像検索装置１０とネットワークを介して接続されるサーバ等の外部の記憶領域に保持されていてもよい。

（色言語テーブル８０）
図２６は、色言語テーブル８０の具体例を示す図である。図２６に示すように、色言語テーブル８０においては、色情報ＩＤ５１、単色ＩＤ５２、言語８１及び関連語８２（言語情報）が対応付けられている。図２６の例では、色情報は、複数の色からなる組合せ色である。

色情報ＩＤ５１は、色情報を識別するためのＩＤである。
単色ＩＤ５２は、色情報（組合せ色）を構成する配色１、配色２及び配色３の各単色を識別するためのＩＤである。

言語８１は、色情報から受ける印象（イメージ）を表現した言語である。
関連語８２は、言語８１に関連する言語や言語８１から連想される言語である。例えば、図２６の例では、組合せ色ＩＤ５１が「２」の組合せ色に対応する言語８１は「涼しげな」であり、その関連語８２は「清涼感のある」である。
なお、関連語は、色言語テーブル８０に対応付けて記憶することもできるが、たとえばインターネット上のＷｅｂページをクローリングすることで取得することも可能である。
また、図２６の例では、１つの組合せ色に対して、１つの言語、１つの関連語が対応付けられているが、１つの組合せ色に対して、複数の言語、複数の関連語が対応付けられてもよい。

（画像検索処理）
次に、画像検索装置１０ａが実行する画像検索処理について説明する。

図２７は、画像検索処理の流れを示すフローチャートである。
まず、画像検索装置１０ａ（色選択部１１）は、検索画面（色選択画面）を表示し、ユーザから色情報の選択を受け付ける（ステップＳ２１）。表示する検索画面（色選択画面）は、図２３、図２４と同様である。

次に、画像検索装置１０ａ（検索部１３）は、色言語テーブル８０を参照し、ステップＳ２１により選択された色情報に対応する言語情報を取得する（ステップＳ２２）。

次に、画像検索装置１０ａ（検索部１３）は、ステップＳ２２において取得された言語情報に基づいて画像リソース９０から１又は複数の画像を検索する（ステップＳ２３）。

例えば、図２３の検索画面（色選択画面）６０において組合せ色選択ボタン６１ｂが選択され、検索ボタン６３が押下されたとする。この場合、画像検索装置１０ａ（検索部１３）は、図２６の色言語テーブル８０を参照し、組合せ色選択ボタン６１ｂに対応する組合せ色ＩＤ５１「２」の言語８１「涼しげな」やその関連語８２「清涼感のある」を取得する。そして、画像検索装置１０ａ（検索部１３）は、取得した「涼しげな」「清涼感のある」の言語に基づいて、メタデータとして「涼しげな」「清涼感のある」を含むキーワードが付加された画像データを画像リソース９０から検索する。

そして、画像検索装置１０ａ（出力部１７）は、検索画像を出力（例えば表示画面に検索画像を表示）して処理を終了する（ステップＳ２４）。

以上、第２の実施形態によれば、画像検索装置１０ａは、色情報と言語情報と、を対応付けた色言語テーブル１００と、あらかじめメタデータとしてキーワード情報が付加された画像データを多数格納する画像リソース９０と、を保持しており、ユーザから色情報の選択を受け付け（ステップＳ２１）、選択された色情報に対応する言語情報を色言語テーブル８０から取得し（ステップＳ２２）、取得した言語情報に基づいて画像リソース９０から１又は複数の画像を検索し（ステップＳ２３）、検索画像を出力する（ステップＳ２４）。
これによって、画像データの検索において、適切なキーワードがない場合や類似画像がない場合でも、所望の画像を検索することが可能となる。特に第２の実施形態によれば、色情報から受ける印象（イメージ）を表現する言語やその関連語に基づいて画像検索を実行できる。

なお、図示は省略するが、第２の実施形態においても、第１の実施形態と同様に、画像検索装置１０ａを、端末装置、端末装置とネットワークを介して接続されるサーバとによって構成することができる（図２参照）。
この場合、端末装置が、ユーザから色情報の選択を受け付ける色選択部と、選択された色情報の情報をサーバに送信する送信部と、検索された検索画像をサーバから受信する受信部と、検索画像を出力する出力部と、を備える。
またサーバが、色情報と言語情報とが対応付けられている色言語テーブルとキーワード情報が付加された画像データを格納する画像リソースとを記憶する記憶部と、端末装置から色情報を受信する受信部と、色情報に対応する言語情報を色言語テーブルから取得し、言語情報に基づいて画像リソースから画像を検索する検索部と、検索部により検索された検索画像を端末装置に送信する送信部と、を備える。
上記した構成は、データの送受信を除き、図２５と同様である。

［第３の実施形態］
次に、図２８～図３１を参照して、本発明の第３の実施形態を説明する。第３の実施形態では、関連色情報の選択を受け付け、この関連色情報と紐づく色情報に基づいて画像検索を実行する。

（画像検索装置１０ｂの構成）
図２８は、本発明の第３の実施形態に係る画像検索装置１０ｂの構成を示すブロック図である。図に示すように、画像検索装置１０ｂは、関連色選択部１２、色選択部１１、検索部１３、記憶部１５（色対応テーブル１００、色画像テーブル５０）、出力部１７、色画像テーブル作成部１８等から構成される。

関連色選択部１２は、検索画面（色選択画面）（図３１）を表示して、ユーザから関連色情報の選択を受け付ける。関連色情報は、単一の色又は複数の色の情報からなる。
色選択部１１は、色対応テーブル１００（図２９）を参照し、関連色選択部１２により選択された関連色情報に対応する色情報を取得する。
検索部１３は、色画像テーブル５０（図３）を参照し、組合せ色選択部１１により取得された色情報に基づいて所望の画像を検索する。

記憶部１５は、関連色情報と色情報とが対応付けられている色対応テーブル１００（図２９）と、色情報と画像群とが対応付けられている色画像テーブル５０（図３）と、を記憶する。
出力部１７は、検索部１３により検索された検索画像を出力する。
色画像テーブル作成部１８は、色画像テーブル５０（図３）を作成する。

（色対応テーブル１００）
図２９は、色対応テーブル１００の具体例を示す図である。図２９に示すように、色対応テーブル１００においては、関連色情報ＩＤ１０１と色情報ＩＤ５１とが対応付けられている。関連色情報を構成する色は、対応づけられた色情報を構成する色と一般的に相性の良いとされる色であることが望ましい。
関連色情報ＩＤは、関連色情報を識別するためのＩＤである。
色情報ＩＤは、色情報を識別するためのＩＤである。例えば、図２９の例では、単色である関連色情報ＩＤ１０１「ｃ０００１」と組合せ色である色情報ＩＤ５１「２」、単色である関連色情報ＩＤ１０１「ｃ０００２」と組合せ色である色情報ＩＤ５１「１」、単色である関連色情報ＩＤ１０１「ｃ００２０」と組合せ色である色情報ＩＤ５１「１０」、が対応づいている。
なお、図２９は、関連色情報が単色の例であるが、関連色情報は複数の色を組み合わせた組合せ色でもよい。

（画像検索処理）
次に、画像検索装置１０ｂが実行する画像検索処理について説明する。

図３０は、画像検索処理の流れを示すフローチャートである。
まず、画像検索装置１０ｂ（関連色選択部１２）は、検索画面（色選択画面）を表示して、ユーザから関連色情報の選択を受け付ける（ステップＳ３１）。

図３１は、関連色情報が単色である場合の検索画面（色選択画面）の例を示す図である。図の検索画面（色選択画面）９０には、カラーパレット９１が表示され、ユーザはこのカラーパレット９１上で任意の関連色情報（単色）を選択する。図の特定色表示エリア９２には、カラーパレット９１上でユーザが選択した関連色情報（単色）が表示される。図の例では、ユーザがカラーパレット９１上で単色Ｃ１を選択した状態を示している。この状態で、検索ボタン９３が押下されると、画像検索が実行される。

なお、図示は省略するが、検索画面（色選択画面）として、図２３のようなカラーイメージスケール画面を用いてもよい。この場合、各関連色情報を選択する関連色選択ボタンがカラーイメージスケール上の適切な位置（特定色の印象に応じたカラーイメージスケール上の位置）に配置し表示される。カラーイメージスケールは、図２３と同様に、関連色のイメージをモノトーン－鮮やか、暗い－明るいの座標軸で表したものでもよいし、他の座標軸で表したものでもよい。

検索ボタン９３が押下されると、画像検索装置１０ｂ（色選択部１１）は、色対応テーブル１００を参照し、ステップＳ３１において選択された関連色情報に対応する色情報を取得する（ステップＳ３２）。

次に、画像検索装置１０ｂ（検索部１３）は、ステップＳ３２において取得された色情報に基づいて色画像テーブル５０から１又は複数の画像を検索する（ステップＳ３３）。
そして、画像検索装置１０ｂ（出力部１７）は、検索画像を出力（例えば表示画面に検索画像を表示）して処理を終了する（ステップＳ３４）。

例えば、ステップＳ３１において、関連色情報ＩＤ「ｃ０００１」の関連色情報（単色）が選択されたとする。この場合、ステップＳ３２において、画像検索装置１０ｂは、図２９の色対応テーブル１００を参照し、単色の関連色情報ＩＤ「ｃ０００１」に対応する組合せ色の色情報ＩＤ５１「２」を取得する。そして、ステップＳ３３において、画像検索装置１０ｂは、図３の色画像テーブル５０を参照し、色情報ＩＤ５１「２」に対応する画像ＩＤ５３（「Ｉｍ０００２」「Ｉｍ００２０」…）を取得し、取得した画像ＩＤ５３に対応する画像データを検索画像として記憶部１５から読込み出力する。

以上、第３の実施形態によれば、画像検索装置１０ｂは、色情報と関連色情報を対応付けた色対応テーブル１００を保持しており、ユーザから関連色情報の選択を受け付け（ステップＳ３１）、選択された関連色情報に対応する色情報を色対応テーブル１００から取得し（ステップＳ３２）、取得した色情報に基づいて色画像テーブル５０から１又は複数の画像を検索し（ステップＳ３３）、検索画像を出力する（ステップＳ３４）。
これによって、画像データの検索において、適切なキーワードがない場合や類似画像がない場合でも、所望の画像を検索することが可能となる。
特に第３の実施形態によれば、関連色情報を検索画面等で指定することで、関連色情報と相性の良い色情報を有する画像を検索できる。例えば、関連色情報として部屋の壁紙の色を指定することで、壁紙の色と相性の良い装飾用の絵や写真などの画像を検索することができる。

なお、図示は省略するが、第３の実施形態においても、第１の実施形態と同様に、画像検索装置１０ｂを、端末装置、端末装置とネットワークを介して接続されるサーバとによって構成することができる（図２参照）。
この場合、端末装置が、ユーザから関連色情報の選択を受け付ける関連色選択部と、選択された関連色情報をサーバに送信する送信部と、検索された検索画像をサーバから受信する受信部と、検索画像を出力する出力部と、を備える。
またサーバが、関連色情報と色情報とが対応付けられている色対応テーブルと色情報と画像群とが対応付けられている色画像テーブルとを記憶する記憶部と、端末装置から関連色情報を受信する受信部と、関連色情報に対応する色情報を色対応テーブルから取得する色選択部と、色情報に基づいて色画像テーブルから画像を検索する検索部と、検索部により検索された検索画像を端末装置に送信する送信部と、色画像テーブルを作成する色画像テーブル作成部と、を備える。
上記した構成は、データの送受信を除き、図２８と同様である。

［第４の実施形態］
次に、図３２、図３３を参照して、本発明の第４の実施形態を説明する。第４の実施形態では、入力画像から組合せ色を抽出し、抽出した組合せ色に基づいて画像検索を実行する。

（画像検索装置１０ｃの構成）
図３２は、本発明の第４の実施形態に係る画像検索装置１０ｃの構成を示すブロック図である。図に示すように、画像検索装置１０ｃは、画像入力部１４、色抽出部１１ａ（色選択部１１の機能の一部）、検索部１３、記憶部１５（色画像テーブル５０）、出力部１７、色画像テーブル作成部１８等から構成される。

画像入力部１４は、検索キーとなる画像の入力を受け付ける。入力される画像（入力画像）は、例えば、画像検索装置１０ｃの内蔵カメラで撮影した画像、外部カメラで撮影した画像、他のコンピュータから受信した画像、などのような画像でもよい。入力画像は、画像検索装置１０ｃのＲＡＭ（Random Access Memory）に一時的に保存される。

色抽出部１１ａ（色選択部１１）は、画像入力部１４により入力された入力画像から色情報を抽出する。すなわち、第４の実施形態では、第１、第２の実施形態のように色情報がユーザによって選択されるのではなく、画像処理によって入力画像から自動抽出される。
検索部１３は、色画像テーブル５０（図３）を参照し、色抽出部１６により抽出された色情報に基づいて所望の画像を検索する。

記憶部１５は、色情報と画像群とが対応付けられている色画像テーブル５０（図３）等を記憶する。
出力部１７は、検索部１３により検索された検索画像を出力する。
色画像テーブル作成部１８は、色画像テーブル５０（図３）を作成する。

（画像検索処理）
次に、画像検索装置１０ｃが実行する画像検索処理について説明する。

図３３は、画像検索処理の流れを示すフローチャートである。
まず、画像検索装置１０ｃ（画像入力部１４）は、検索キーとなる画像の入力を受け付ける（ステップＳ４１）。

次に、画像検索装置１０ｃ（色抽出部１１ａ）は、ステップＳ４１において入力された画像（入力画像）から色情報を抽出する（ステップＳ４２）。具体的には、入力画像に対して、図１６のステップＳ１２１～ステップＳ１２７の処理を施し、色情報を抽出（識別）する。

次に、画像検索装置１０ｃ（検索部１３）は、ステップＳ４２において抽出された色情報に基づいて色画像テーブル５０から１又は複数の画像を検索する（ステップＳ４３）。
そして、画像検索装置１０ｃ（出力部１７）は、検索画像を出力（例えば表示画面に検索画像を表示）して処理を終了する（ステップＳ４４）。

例えば、ステップＳ４２において入力画像から抽出（識別）された色情報が図３の色情報ＩＤ５１「１０」の色情報であるとする。この場合、画像検索装置１０ｃ（検索部１３）は、図３の色画像テーブル５０を参照し、色情報ＩＤ５１「１０」に対応する画像ＩＤ５３（「Ｉｍ０１１２」「Ｉｍ０２３２」…）を取得し、取得した画像ＩＤ５３に対応する画像データを検索画像として記憶部１５から読込み出力する。

以上、第４の実施形態によれば、画像検索装置１０ｃは、ユーザから画像の入力を受け付け（ステップＳ４１）、入力画像から色情報を抽出し（ステップＳ４２）、抽出された色情報に基づいて色画像テーブル５０から１又は複数の画像を検索し（ステップＳ４３）、検索画像を出力する（ステップＳ４４）。
これによって、画像データの検索において、適切なキーワードがない場合や類似画像がない場合でも、所望の画像を検索することが可能となる。
特に第４の実施形態によれば、入力画像と印象の近い画像を好適に検索することができる。

なお、第２の実施形態のように、色言語テーブル８０を参照し、入力された画像から抽出された色情報に対応する言語情報を取得し、言語情報に基づいて画像リソース９０から所望の画像を検索するようにしてもよい。

また、図示は省略するが、第４の実施形態においても、第１の実施形態と同様に、画像検索装置１０ｃを、端末装置、端末装置とネットワークを介して接続されるサーバとによって構成することができる（図２参照）。
この場合、端末装置が、検索キーとなる画像の入力を受け付ける画像入力部と、入力された画像（入力画像）をサーバに送信する送信部と、検索された検索画像をサーバから受信する受信部と、検索画像を出力する出力部と、を備える。
またサーバが、色情報と画像群とが対応付けられている色画像テーブルを記憶する記憶部と、端末装置から入力画像を受信する受信部と、入力画像から色情報を抽出する色抽出部と、抽出された色情報に基づいて色画像テーブルから画像を検索する検索部と、検索部により検索された検索画像を端末装置に送信する送信部と、色画像テーブルを作成する色画像テーブル作成部と、を備える。
上記した構成は、データの送受信を除き、図３２と同様である。

以上、添付図面を参照しながら、本発明に係る画像検索装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

２；画像（画像群）
３；代表色（代表色群）
４；組合せ色（組合せ色群）
５；組合せ色識別器
７；特定色
１０、１０ａ、１０ｂ、１０ｃ、２０；画像検索装置
１１、３１；色選択部
１２；関連色選択部
１３、３３；検索部
１４；画像入力部
１５、３５；記憶部
１６；色抽出部
１７、３７；出力部
１８、３８；色画像テーブル作成部
１８ａ；画像入力部
１８ｂ；学習部
１８ｃ；識別部
１８ｄ；追加学習部
２１ａ、２１ｂ；通信回線
３０；端末装置
３９ａ、４０ａ；送信部
３９ｂ、４９ｂ；受信部
４０；サーバ
５０；色画像テーブル
６１（６１ａ、６１ｂ）；組合せ色選択ボタン
７１、９１；カラーパレット
７２；組合せ色表示エリア
８０；色言語テーブル
８１；言語
８２；関連語
９０；画像リソース
９２；特定色表示エリア
１００；色対応テーブル
３００；代表色分布

Claims (9)

1. 画像の顕著性を考慮して作成された、単一の色又は複数の色の情報である色情報と、当該色情報と同一又は類似の色情報を有する１又は複数の画像と、を対応付けて色情報ごとに記憶する記憶手段と、
   色情報の選択を受け付ける色選択手段と、
   選択された色情報に基づいて前記記憶手段から１又は複数の画像を検索する検索手段と、
   を備え、
   前記色情報を算出する際に、画像に対して顕著性を抽出した顕著性画像を生成して、顕著性の高い部分に加重を加えた重み付きヒストグラムを抽出し、当該重み付きヒストグラムに基づいて前記色情報を算出し、
   前記記憶手段に記憶される色情報を生成するための学習用の画像群を入力する画像入力手段と、
   入力された画像に対して減色処理を行い、画像を代表する単一の色又は複数の色からなる代表色を抽出する代表色算出手段と、
   抽出した各画像の代表色をクラスタリングし、クラスタに属する代表色に基づいてクラスタを代表する色を算出し、算出したクラスタを代表する色を前記色情報として生成する色情報生成手段と、
   を更に備えることを特徴とする画像検索装置。
2. 前記記憶手段に新規に登録する画像を入力する画像入力手段と、
   前記画像から抽出した代表色が属するクラスタを識別し、識別したクラスタに対応する色情報に対応付けて前記画像を前記記憶手段に登録する画像登録手段と、
   を更に備えることを特徴とする請求項１に記載の画像検索装置。
3. 前記記憶手段に記憶される色情報を更新するための画像を入力する画像入力手段、を備え、
   前記色情報生成手段は、前記画像から抽出した新たな代表色と抽出済みの代表色を合わせてクラスタリングし、クラスタに属する代表色に基づいてクラスタを代表する色を算出し、前記色情報を更新する
   ことを特徴とする請求項１または請求項２に記載の画像検索装置。
4. 前記記憶手段は、単一の色又は複数の色の情報である関連色情報を前記色情報と対応付けて記憶し、
   関連色情報の選択を受け付ける関連色選択手段、を備え、
   前記色選択手段は、選択された前記関連色情報に対応する前記色情報を取得し、
   前記検索手段は、取得した前記色情報に基づいて前記記憶手段から１又は複数の画像を検索する
   ことを特徴とする請求項１から請求項３のいずれかに記載の画像検索装置。
5. 前記色選択手段又は前記関連色選択手段は、各色情報又は各関連色情報を、各色情報又は各関連色情報から受ける印象に応じたカラーイメージスケール上の位置に選択可能に表示する
   ことを特徴とする請求項１から請求項４のいずれかに記載の画像検索装置。
6. 前記色選択手段又は前記関連色選択手段は、カラーパレット上で、色情報又は関連色情報を構成する色の選択を受け付ける
   ことを特徴とする請求項１から請求項４のいずれかに記載の画像検索装置。
7. 画像の入力を受け付ける画像入力手段と、
   前記色選択手段は、その機能の一部として前記画像の色情報を抽出する色抽出手段と、を備え、前記色抽出手段により抽出された色情報を受け付け、
   前記検索手段は、抽出された色情報に基づいて前記記憶手段から１又は複数の画像を検索する
   ことを特徴とする請求項１から請求項４のいずれかに記載の画像検索装置。
8. 記憶手段が、画像の顕著性を考慮して作成された、単一の色又は複数の色の情報である色情報と、当該色情報と同一又は類似の色情報を有する１又は複数の画像と、を対応付けて色情報ごとに記憶する記憶ステップと、
   色選択手段が、色情報の選択を受け付ける組合せ色選択ステップと、
   検索手段が、選択された色情報に基づいて前記記憶手段から１又は複数の画像を検索する検索ステップと、
   を含み、
   前記色情報を算出する際に、画像に対して顕著性を抽出した顕著性画像を生成して、顕著性の高い部分に加重を加えた重み付きヒストグラムを抽出し、当該重み付きヒストグラムに基づいて前記色情報を算出し、
   前記記憶ステップにおいて、
   画像入力手段が、前記記憶手段に記憶される色情報を生成するための学習用の画像群を入力する画像入力ステップと、
   代表色算出手段が、入力された画像に対して減色処理を行い、画像を代表する単一の色又は複数の色からなる代表色を抽出する代表色算出ステップと、
   色情報生成手段が、抽出した各画像の代表色をクラスタリングし、クラスタに属する代表色に基づいてクラスタを代表する色を算出し、算出したクラスタを代表する色を前記色情報として生成する色情報生成ステップと、
   を更に含むことを特徴とする画像検索方法。
9. コンピュータを、請求項１から請求項７のいずれかに記載の画像検索装置として機能させることを特徴とするプログラム。

Images