JP4850652B2 - 画像検索装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、画像検索装置及びその制御方法、プログラム、記憶媒体に関し、特に、クエリ画像に類似する画像を、カラー画像とグレー画像が含まれる複数の比較対象画像の中から検索する技術に関する。

従来より、色情報や輝度情報を画像特徴量として用いる画像検索技術が多く提案されている。しかし、色情報を利用した類似画像検索（以下、色情報検索）では、色特徴抽出を行って登録処理をし、色を考慮した比較による検索しか行っていなかった。また、或いは、輝度情報を利用した類似画像検索（以下、輝度情報検索）では、輝度特徴抽出を行って登録処理をし、輝度を考慮した比較による検索しか行っていなかった。このように、色情報検索や輝度情報検索はそれぞれ別個の処理として利用され、個別に検索結果を出力していた。このため、従前はそれぞれの検索技術の長所を生かして統一的に検索を行うことができなかった。

但し、その不便さを解消するために、検索元画像がグレー画像である場合に、比較対象画像がカラー画像であってもその輝度情報を抽出する事により、比較対象画像がカラー画像でもグレー画像でも検索を行うことが可能な構成が知られている（特許文献１）。
特開２００４−３３４３３５号公報

しかしながら、従来の構成においては、検索元画像がカラー画像である場合には、比較対象画像はカラー画像のみでグレー画像が存在しても比較を行わなかった。このため、単一の検索技術によって統一的に画像を検索することができなかった。

特許文献１に開示された構成では、比較対象画像がグレー画像の場合、このグレー画像をカラー画像と見立ててカラーの特徴を抽出（正味はグレー特徴）し記憶する。グレー画像は、カラー画像として扱うと、ＲＧＢそれぞれのカラーチャンネルが同じ値であり、色味に関する特徴は得られず、カラー画像との類似度が極端に下がる。このため、特許文献１に開示された構成によっては、正確な類似画像の検索を行うことができなかった。

本発明は上記問題に鑑みなされたものであり、比較対象の画像にカラー画像とグレー画像が混在する場合においても、高精度に類似画像を検索することを可能にする技術を提供することを目的とする。

上記目的を達成するため、本発明による画像検索装置は以下の構成を備える。即ち、
クエリ画像に類似する画像を、複数の比較対象画像の中から検索する画像検索装置であって、
前記クエリ画像の色特徴量及び輝度特徴量を抽出する抽出手段と、
前記クエリ画像の前記色特徴量と、カラーの前記比較対象画像の前記色特徴量とを比較して、類似性を示す色類似度を求める色類似度導出手段と、
前記クエリ画像の前記輝度特徴量と、カラー及びグレーの前記比較対象画像の前記輝度特徴量とを比較して、類似性を示す輝度類似度を求める輝度類似度導出手段と、
カラーの前記比較対象画像の、前記色類似度と前記輝度類似度との比較に基づいて、色類似度と輝度類似度との対応関係を示す対応情報を生成する生成手段と、
グレーの前記比較対象画像と前記クエリ画像との前記輝度類似度を、前記カラーの比較対象画像の前記色類似度と前記輝度類似度との対応関係に基づいて統合した、統合類似度に変換する変換手段と、
前記色類似度導出手段で求めたカラーの前記比較対象画像の色類似度と、前記変換手段で変換したグレーの前記比較対象画像の統合類似度との比較に基づいて、前記比較対象画像を類似度順に出力する出力手段と、
を備える。

また、本発明による画像検索装置の制御方法は以下の構成を備える。即ち、
クエリ画像に類似する画像を、複数の比較対象画像の中から検索する画像検索装置の制御方法であって、
抽出手段が、前記クエリ画像の色特徴量及び輝度特徴量を抽出する抽出工程と、
色類似度導出手段が、前記クエリ画像の前記色特徴量と、カラーの前記比較対象画像の前記色特徴量とを比較して、類似性を示す色類似度を求める色類似度導出工程と、
輝度類似度導出手段が、前記クエリ画像の前記輝度特徴量と、カラー及びグレーの前記比較対象画像の前記輝度特徴量とを比較して、類似性を示す輝度類似度を求める輝度類似度導出工程と、
生成手段が、カラーの前記比較対象画像の、前記色類似度と前記輝度類似度との比較に基づいて、色類似度と輝度類似度との対応関係を示す対応情報を生成する生成工程と、
変換手段が、グレーの前記比較対象画像と前記クエリ画像との前記輝度類似度を、前記カラーの比較対象画像の前記色類似度と前記輝度類似度との対応関係に基づいて統合した、統合類似度に変換する変換工程と、
出力手段が、前記色類似度導出工程で求めたカラーの前記比較対象画像の色類似度と、前記変換工程で変換したグレーの前記比較対象画像の統合類似度との比較に基づいて、前記比較対象画像を類似度順に出力する出力工程と、
を備える。

本発明によれば、比較対象の画像にカラー画像とグレー画像が混在する場合においても、高精度に類似画像を検索することを可能にする技術を提供することができる。

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

＜＜第１実施形態＞＞
（画像検索装置のハードウェア構成）
まず、本実施形態に係る画像検索装置のハードウェア構成について、図２３を参照して説明する。図２３は、本実施形態に係る画像検索装置のハードウェア構成を模式的に示したブロック図である。尚、本実施形態に係る画像検索装置は、例えば、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）、携帯情報端末（ＰＤＡ）等で実現される。

図２３において、９９０はＣＰＵである。ＣＰＵ９９０は、後述するハードディスク装置９９５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ９９２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。

９９１はＲＯＭであり、内部には基本Ｉ／Ｏプログラム等のプログラム、基本処理において使用するフォントデータ、テンプレート用データ等の各種データを記憶する。９９２は各種データを一時記憶するためのＲＡＭであり、ＣＰＵ９９０の主メモリ、ワークエリア等として機能する。

９９３は記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）９９４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア９９４には、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＰＣカード、ＤＶＤ、ＩＣメモリカード、ＭＯ、メモリスティック等が含まれる。

９９５は外部記憶装置であり、本実施形態では大容量メモリとして機能するハードディスク装置（以下、ＨＤと呼ぶ）を用いている。ＨＤ９９５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。

９９６は指示入力装置であり、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。指示入力装置９９６を用いて、ユーザは、本実施形態に係る画像検索装置に対して、装置を制御するコマンド等を入力指示する。

９９７はディスプレイであり、指示入力装置９９６から入力されたコマンドや、それに対する画像検索装置の応答出力等を表示したりするものである。

９９９はシステムバスであり、画像検索装置内のデータの流れを司るものである。９９８はインターフェイス（以下、Ｉ／Ｆという）であり、このＩ／Ｆ９９８を介して外部装置とのデータのやり取りを行う。

尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

本実施形態では、メディア９９４から本実施形態に係るプログラム及び関連データを直接ＲＡＭ９９２にロードして実行させる例を示すが、これに限られない。例えば、本実施形態に係るプログラムを動作させる度に、既にプログラムがインストールされているＨＤ９９５からＲＡＭ９９２にロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭ９９１に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ９９０で実行することも可能である。

また、本実施形態では、説明の便宜のため、本実施形態に係る画像検索装置を１つの装置で実現した構成について述べるが、複数の装置にリソースを分散した構成によって実現してもよい。例えば、記憶や演算のリソースを複数の装置に分散した形に構成してもよい。或いは、画像検索装置上で仮想的に実現される構成要素毎にリソースを分散し、並列処理を行うようにしてもよい。

（画像検索装置の機能構成）
次に、上記の画像検索装置による類似画像検索のための機能構成について、図１を参照して説明する。図１は、本実施形態における画像検索装置による処理システムの機能構成を模式的に示すブロック図である。この図１を参照して、画像登録処理、画像検索処理、検索結果表示処理の順に、本実施形態の説明を行う。

図１に示される各機能ブロックは、図２３を参照して上述した情報処理装置のＣＰＵ９９０がＲＡＭ９９２にロードされたプログラムを実行し、図２３に示される各ハードウェアと協働することによって実現される。もちろん機能ブロックの一部或いは全てが専用のハードウェアで実現されてもよい。

類似画像検索は、特徴を抽出しこれを記憶する登録処理と、類似比較元画像を抽出或いは登録済みの特徴量を読み出し登録済みの特徴量と比較を行う検索処理が含まれる。これらの処理の後、検索結果画像を表示する検索結果表示処理を実行する。尚、本実施形態では、特徴抽出に関して画像を複数の領域に分割するが、縦横ブロック数をアスペクト比や大きさに関わらず同一とし、検索時の検索元画像の特徴抽出する際も同じ縦横ブロック数で特徴を抽出する場合について例示的に説明する。

図１において、ユーザインタフェース（ＵＩ）部１０１は、ユーザに操作可能なインタフェースを提供して、ユーザからの指示の受け付けや結果表示等を行う機能要素である。ＵＩ部１０１は、例えば、指示入力装置９９６とディスプレイ９９７等によって実現することができる。ＵＩ部１０１がユーザから指示入力を受け付けると、その内容に応じて本実施形態に係る画像検索装置は、画像登録処理と画像検索処理に分岐して所定の処理を実行する。図１のＵＩ部１０１以外の機能要素については、各処理の説明においてその役割・機能を説明する。

［画像登録処理］
画像登録処理では、まず、画像入力処理部１０２が画像入力処理を行い、メモリ上に画像を読み込む。次いで、画像蓄積処理部１０３が、メモリ上の画像を画像蓄積部へ記憶格納し、そのファイル名を記憶する。続いて、画像管理情報処理部１０４は、画像管理ＤＢ（データベース）において、画像に対してユニークな画像ＩＤを発番し、図２に示すように、画像ＩＤ、ファイル名および日付を記憶する。ただし、図２は、画像管理ＤＢの記憶内容を例示する図である。

ところで、カラー画像判定処理部１０５が実行する登録画像がカラー画像かグレー画像かどうかの判定は、例えば、データフォーマットを解析することにより実行することができる。即ち、データフォーマットの観点からカラー画像であるか或いはモノクロ、グレースケール画像であるかを知ることが出来る。例えば、Windows（登録商標）で用いられる汎用的な画像データフォーマットのＤＩＢフォーマットでは、データヘッダ中の構造体BITMAPINFOHEADERのメンバーのbiBitCountは１ピクセルを表すためのビット数を示す。このため、biBitCountを参照することにより、画像がカラーか、グレースケールか、モノクロかを知ることができる。例えば、biBitCountが２４である場合にはフルカラーであり、biBitCountが１の場合には白黒２値、biBitCountが８の場合には２５６色カラー或いはグレースケールを表す。なお、biBitCountが８の場合に、データヘッダー中の構造体BITMAPINFOのメンバーbmiColorsの内容を見て、カラーパレットの内容がグレースケール表現か２５６色に減色したものかを判別する事ができる。即ち、カラーパレットの内容に基づいて、２５６色カラー或いはグレースケールの判断が可能である。なお、本実施形態においては、グレー画像にはモノクロ画像（二値画像）も含まれる。特に、濃度保存されたニ値画像は画像処理（縮小）により、グレー画像とほぼ等価なものになる。

カラー画像判定処理部１０５は、このカラーグレー判定結果を、図２の文書管理ＤＢスキーマにおけるカラー画像フラグのフィールドへ記憶制御する。本実施形態では、フラグの値が１であればカラー画像、フラグの値が０であればグレー画像であるとする。

グレー画像であれば、輝度特徴抽出処理部１０６により輝度特徴抽出処理のみを行い、カラー画像であれば、輝度特徴抽出処理部１０６による輝度特徴抽出処理と色特徴情報抽出処理部１０７による色特徴情報抽出処理の両方を行うように制御する。そして、図３および図４に示す様なスキーマで画像ＩＤと対にして夫々輝度情報インデックスおよび色情報インデックスへ追加記憶する。ただし、図３は、輝度情報インデックスの例を模式的に示す図である。また、図４は、色情報インデックスの例を模式的に示す図である。なお、画像ＩＤはユニークに用いられるものであり、先の画像管理ＤＢのレコードとは画像ＩＤを介して対応がとられる。

（輝度特徴抽出処理）
次に、輝度特徴抽出処理部１０６が実行する輝度特徴抽出処理の詳細を説明する。即ち、画像を複数の領域に分割したそれぞれの領域における輝度ヒストグラムによる最頻輝度を持つ階級を代表輝度としてそれぞれ領域の位置と対応付けた特徴を抽出する処理について、図５〜７を参照して説明する。ただし、図５は、輝度特徴抽出処理の流れを示すフローチャートである。図６は、画像を複数のブロックに分割した例を示す模式図である。図７は、８ビットの輝度信号を均等階級化するテーブル例を示す図である。

まず、ステップＳ５０１において、登録処理の冒頭における、画像がカラー画像かどうかの判定の結果を参照する。ただし、この判定は、上述のように、例えば画像のデータフォーマットに基づいて行うことができる。

カラー画像であった場合（ステップＳ５０１でＹＥＳ）には、ステップＳ５０２においてカラー画像をグレースケール画像へ変換する。この変換演算は公知のＲＧＢカラーマトリックスを用いて行うことができる。例えば、ＹＣｂＣｒ色空間を用いると、輝度Ｙの値は２４ビットＲＧＢ値との関係は以下の式１で表される。

Ｙ ＝ ０．２９９００×Ｒ＋０．５８７００×Ｇ＋０．１１４００×Ｂ （式１）
従って、上式により輝度としてＹの値を求めれば良い。

ステップＳ５０２の処理を終えるとステップＳ５０３へ進む。一方、ステップＳ５０１においてカラー画像でない場合もステップＳ５０３へ進む。

次に、ステップＳ５０３において、図６の様に画像を縦横複数のグリッドに分割する。本例では表記の都合上９×９ブロックに分割しているが、実際には８×８から１５×１５ブロック前後が好ましい。

以下、分割したブロックのそれぞれに対してステップＳ５０６〜Ｓ５０８の処理を実行する。このため、ステップＳ５０４で、処理を開始するブロックを設定する。

ステップＳ５０４においては、処理対象のブロックとして着目する画像分割ブロックを、例えば、左上端に設定する。ただし、図８に示すように予め対象とする分割ブロックの順番を設定しておくと良い。図８は、ブロックスキャン順番の例を示す図である。図８の例では、画像の対角線と平行な方向に順に操作する場合を例示している。ただし、対象とするブロックの順序はこれに限られない。例えば、左上端から右へ走査し、その行を終えると次の行の左端から右へスキャンするように走査順序を設定してもよい。

次に、ステップＳ５０５において、まだ処理を行っていないブロックが存在するか否かを判定する。未処理のブロックが無ければ（ステップＳ５０５でＮＯ）処理を終了し、有れば（ステップＳ５０５でＹＥＳ）ステップＳ５０６へ進む。

ステップＳ５０６においては、処理対象ブロックの全画素の値を図７のテーブルと比較し、図７のテーブルの階級に対してヒストグラムを取る。ただし、図７において、７０１は輝度の階級を示す階級ＩＤである。７０２は、各階級の輝度の範囲を示している。例えば、輝度が４０の画素は、輝度の階級２に該当する。ステップＳ５０６では、処理対象ブロックに含まれる全ての画素について、このようにして輝度の階級を求め、各階級ＩＤに該当する画素数（度数）を求める。

そして、ステップＳ５０７において、最も頻度（度数）の高い階級に対応する階級ＩＤをその画像分割ブロックの代表輝度と決定する。なお、代表輝度と決定する階級ＩＤは、処理対象ブロックの輝度の傾向を示せばよく、度数が最大のものに限られない。例えば、処理対象ブロックに含まれる各画素の輝度の平均値に対応する階級を、代表輝度としてもよい。但し、代表輝度を頻度で選ぶか平均で選ぶかは一貫している必要がある。

次に、ステップＳ５０８において、処理対処ブロックを図８の並びに従って次のブロックへ移す。このようにして、再びステップＳ５０５の処理を行い、未処理のブロックが無くなるまで繰り返す。

このような処理により、着目画像の輝度特徴情報を得ることが出来る。この様にして得た輝度特徴を、図３に示すスキーマ、例えば、画像ＩＤと輝度特徴情報を対にした形で輝度情報インデックスへ記憶する。

なお、上記の輝度特徴情報は一例であり、輝度に基づいて画像の特徴を示す値であれば、どのようなものでも輝度特徴情報として利用することができる。

（色特徴情報抽出処理）
次に、色特徴情報抽出処理部１０７が実行する色特徴情報抽出処理について説明を行う。この処理は、直感的には、先の輝度情報の特徴抽出処理を３次元に拡張したものと考えることができる。例えば、輝度特徴情報抽出では図７の１次元の階級テーブルを用いたが、色特徴情報抽出処理では図９の様な色空間を立体的に複数の部分空間、いわゆる色ビンに分割したものを用いてヒストグラムを算出する事になる。ただし、図９は、色（３色）特徴量空間上の色ビンを模式的に示す図である。

色特徴情報抽出処理においては、画像を複数の領域に分割したそれぞれの領域における色ヒストグラムによる最頻色を持つ色ビンのＩＤを代表色としてそれぞれ領域の位置と対応付けた特徴を抽出する。当該処理について、図９，１０を参照して説明する。ただし、図１０は、色特徴情報抽出処理の流れを示すフローチャートである。なお、図６は画像分割ブロック例を示しており、図９はＲＧＢ色空間を３×３×３＝２７ビンへ均等階級化する例を図示している。しかし、実際には６×６×６＝２１６程度の色ビンがある方が好ましいが、紙面の都合上この様にする。

まず、図１０のステップＳ１００１において、図６の様に画像を縦横複数のグリッドに分割する。本例では９×９＝８１ブロックであるが、実際にはある程度のブロック数、例えば、１５×１５＝２２５ブロック程度であることが好ましい。

以下、分割したブロックのそれぞれに対してステップＳ１００４〜Ｓ１００６の処理を実行する。このため、ステップＳ１００２で、処理を開始するブロックを設定する。

ステップＳ１００２において、着目する画像分割ブロックを例えば左上端に設定する。ただし、図８に示すように予め対象とする分割ブロックの順番を決定しておくと良い。図８の例では、画像の対角線と平行な方向に順に操作する場合を例示している。ただし、対象とするブロックの順序はこれに限られない。例えば、左上端から右へ走査し、その行を終えると次の行の左端から右へスキャンするように走査順序を設定してもよい。 次に、ステップＳ１００３において、未処理のブロックが存在するか否かを判定する。未処理のブロックが無ければ（ステップＳ１００３でＮＯ）処理を終了し、有れば（ステップＳ１００３でＹＥＳ）ステップＳ１００４に進む。

ステップＳ１００４においては、処理対象ブロックの全画素の値を図９の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対するヒストグラムを取る。即ち、処理対象ブロックに含まれる全ての画素について、どの色ビンに含まれるかを判定し、各色ビンに該当する画素数（度数）を求める。

そして、ステップＳ１００５において、最も頻度（度数）の高い色ビンに対応する色ビンＩＤをその画像分割ブロックの代表色と決定する。なお、代表色と決定する色ビンＩＤは、処理対象ブロックの色の傾向を示せばよく、度数が最大のものに限られない。例えば、処理対象ブロックに含まれる各画素の色の平均値に対応する階級を、代表色としてもよい。但し、代表色を頻度で選ぶか平均で選ぶかは一貫している必要がある。

次に、ステップＳ１００６において、処理対処ブロックを図８の並びに従って次のブロックへ移す。このようにして、再びステップＳ１００３の処理を行い、未処理のブロックが無くなるまで繰り返す。

このような処理により、着目画像の色特徴情報を得ることが出来る。この様にして得た輝度特徴を図４に示すスキーマ、例では画像ＩＤと色特徴情報を対にした形で色情報インデックスへ記憶する。

なお、上記の色特徴情報は一例であり、色に基づいて画像の特徴を示す値であれば、どのようなものでも色特徴情報として利用することができる。

［画像検索処理］
画像検索処理時には、まず、比較元画像入力処理部１０８が、ユーザにより指定された比較元画像（クエリ画像）を入力する。本実施形態では、検索処理を、比較元画像がカラー画像である場合について例示的に説明する。画像検索においては、比較元のカラー画像から、登録時と同様に色特徴情報と輝度特徴情報を抽出し、それぞれの特徴を用いて類似画像検索を行う。即ち、色情報比較処理部１０９において色に関する特徴情報を用いて比較先画像との類似比較を行い、更に輝度情報比較処理部１１０において輝度に関する特徴情報を用いて比較を行う。次に、色情報比較処理部１０９および輝度情報比較処理部１１０の説明を行う。

（色特徴による検索処理）
まず、色情報比較処理部１０９が実行する色特徴情報のマッチングの処理について、図１１を参照して説明する。図１１は、色特徴による検索処理の流れを示すフローチャートである。なお、以下の処理は、カラーの比較元画像についてそれぞれ行う。

まず、ステップＳ１１０１において、色特徴インデックスから比較元画像の色特徴を読み出す。以下の、ステップＳ１１０２〜Ｓ１１１０では、比較元画像とその他の画像との比較を行い、画像の類似性を示す類似距離を求める処理を実行する。

次に、ステップＳ１１０２で比較対象の登録画像が存在するか否かを判定する。存在しなければ（ステップＳ１１０２でＮＯ）、ステップＳ１１１１において既に求めてある類似距離により画像ＩＤを昇順ソートし、ソートした画像ＩＤと類似距離の対を検索結果として出力する。ステップＳ１１０２で比較対象の登録画像が存在する場合（ステップＳ１１０２でＹＥＳ）はステップＳ１１０３へ進む。

ステップＳ１１０３においては、既に登録した画像のうちまだ比較していないものの画像ＩＤと色特徴を、色情報インデックスから読み出す。次に、ステップＳ１１０４において着目する分割ブロックを、例えば、先頭に設定し、ステップＳ１１０５において類似距離を零にリセットしておく。

画像の類似距離の導出は、分割された各ブロックの特徴を比較することによって行う。このため、分割された各ブロックについてステップＳ１１０７〜Ｓ１１０９の処理を実行する。

次に、ステップＳ１１０６において、未比較の画像分割ブロックが存在するか否かを判定する。未比較の画像分割ブロックが存在する場合（ステップＳ１１０６でＹＥＳ）はステップＳ１１０７へ進み、存在しない場合（ステップＳ１１０６でＮＯ）はステップＳ１１１０へ進む。

ステップＳ１１０７においては、比較元検索と比較先画像のそれぞれの色情報から着目ブロックの色ビンＩＤを取り出す。

次に、ステップＳ１１０８において、ステップＳ１１０７で取り出した２つの色ビンＩＤの距離を求め、類似距離に加算する。ただし、２つの色ビンＩＤの距離は、例えば、色ビン同士の色の類似具合を表す色ビンＩＤ間のペナルティマトリックスを参照することにより行うことができる。

図１２は、色ビンＩＤ間のペナルティマトリックスを例示的に示す模式図である。図１２において、１２０１はそれぞれ比較対照の一方の色ビンＩＤ、１２０２はもう一方の色ビンＩＤを示しており、マトリックス中に記載された数字１２０３は、２つの色ビンＩＤの距離を示す数値である。図１２のように、ペナルティマトリックスは、同一色ビンＩＤでは０、似ていないものほど大きな値を持つマトリックスである。同じ色ビンＩＤの対角位置は全て０であり、対角位置を境に対象性を持っている。このように、ペナルティマトリックスを参照して色ビンＩＤの距離を求める場合、２つの色ビンの類似距離がテーブル参照だけで算出されるので処理を高速に実行することができる。

ステップＳ１１０８においては、色ビンＩＤ間のペナルティマトリックスをＳ１１０７で取り出した２つの色ビンＩＤを用いて参照し、着目ブロックの局所的類似距離を得て、これを類似距離に加算する。

次に、ステップＳ１１０９において、処理対象として着目するブロックを次のブロックへシフトする。

他方、上述のように、ステップＳ１１０６において未比較の画像分割ブロックが無い場合（ステップＳ１１０６でＮＯ）には、ステップＳ１１１０へ進む。ステップＳ１１１０においては、算出した類似距離を画像ＩＤと対にして記憶し、再びステップＳ１１０２で比較する画像の有無をチェックする。ステップＳ１１０２において、もう比較する画像が無ければ（ステップＳ１１０２でＮＯ）は、ステップＳ１１１１へ進む。ステップＳ１１１１では、類似距離の昇順で画像ＩＤをソートし、ソートした画像ＩＤと類似距離の対を色特徴類似比較結果として色情報インデックスに一時記憶する。

なお、上記の色特徴による検索処理は一例を示したものであり、色特徴情報に基づいて画像検索を行うのであれば、どのような検索処理を用いてもよい。

（輝度特徴による検索処理）
次に、色情報比較処理部１１０が実行する輝度特徴情報のマッチングの処理について、図１３を参照して説明する。図１３は、輝度特徴による検索処理の流れを示すフローチャートである。なお、以下の処理は、カラー及びグレーの比較元画像についてそれぞれ行う。

まず、ステップＳ１３０１において、輝度情報インデックスから比較元画像の輝度特徴を読み出す。以下の、ステップＳ１３０２〜Ｓ１３１０では、比較元画像とその他の画像との比較を行い、画像の類似性を示す類似距離を求める処理を実行する。

次に、ステップＳ１３０２で比較対象の登録画像が存在するか否かを判定する。存在しなければ（ステップＳ１３０２でＮＯ）、ステップＳ１３１１において既に求めてある類似距離により画像ＩＤを昇順ソートし、ソートした画像ＩＤと類似距離の対を検索結果として出力する。ステップＳ１３０２で比較対象の登録画像が存在する場合（ステップＳ１３０２でＹＥＳ）は、ステップＳ１３０３へ進む。

ステップＳ１３０３においては、既に登録した画像のうちまだ比較していないものの画像ＩＤと輝度特徴を輝度情報インデックスから読み出す。次に、ステップＳ１３０４において着目する分割ブロックを、例えば、先頭に設定し、ステップＳ１３０５において類似距離を零にリセットしておく。

画像の類似距離の導出は、分割された各ブロックの特徴を比較することによって行う。このため、分割された各ブロックについてステップＳ１３０７〜Ｓ１３０９の処理を実行する。

次に、ステップＳ１３０６において、未比較の画像分割ブロックが存在するか否かを判定する。未比較の画像ブロックが存在する場合（ステップＳ１３０６でＹＥＳ）はステップＳ１３０７へ進み、存在しない場合（ステップＳ１３０６でＮＯ）はステップＳ１３１０へ進む。

ステップＳ１３０７においては、比較元検索と比較先画像のそれぞれの色情報から着目ブロックの輝度階級ＩＤを取り出す。

次に、ステップＳ１３０８において、ステップＳ１３０７で取り出した２つの輝度階級ＩＤの距離を求め、類似距離に加算する。ただし、２つの輝度階級ＩＤの距離は、例えば、輝度階級ＩＤ同士の輝度の類似具合を表す色ビン輝度階級ＩＤ間のペナルティマトリックスを参照することにより行うことができる。

図１４は、輝度階級ＩＤ間のペナルティマトリックスを例示的に示す模式図である。これは図７の量子化テーブルを元に作成される。１４０１はそれぞれ比較対照の一方の輝度階級ＩＤ、１４０２はもう一方の輝度階級ＩＤを示しており、マトリックス中に記載された数字１４０３は、２つの輝度階級ＩＤの距離を示す数値である。図１２のように、ペナルティマトリックスは、同一輝度階級ＩＤでは０、似ていないものほど大きな値を持つマトリックスである。同じ輝度階級ＩＤの対角位置は全て０であり、対角位置を境に対象性を持っている。このように、ペナルティマトリックスを参照して輝度階級ＩＤの距離を求める場合、２つの輝度階級ＩＤの類似距離がテーブル参照だけで算出されるので処理を高速に実行することができる。

ステップＳ１３０８においては、輝度階級ＩＤ間のペナルティマトリックスをＳ１３０７で取り出した２つの輝度階級ＩＤを用いて参照し、着目ブロックの局所的類似距離を得て、これを類似距離に加算する。

次に、ステップＳ１３０９において、処理対象として着目するブロックを次のブロックへシフトする。

他方、上述のように、ステップＳ１３０６において未比較の画像分割ブロックが無い場合（ステップＳ１３０６でＮＯ）には、ステップＳ１３１０へ進む。ステップＳ１３１０においては、算出した類似距離を画像ＩＤと対にして記憶し、再びステップＳ１３０２で比較する画像の有無をチェックする。ステップＳ１３０２において、もう比較する画像が無ければ（ステップＳ１３０２でＮＯ）ステップＳ１３１１へ進む。ステップＳ１３１１では、類似距離の昇順で画像ＩＤをソートし、ソートした画像ＩＤと類似距離の対を輝度特徴類似比較結果として輝度情報インデックスに一時記憶する。

なお、上記の輝度特徴による検索処理は一例を示したものであり、輝度特徴情報に基づいて画像検索を行うのであれば、どのような検索処理を用いてもよい。

（比較結果の統合）
次に、色特徴類似比較結果と輝度特徴類似比較結果の統合に関して説明する。具体的には、図１の輝度類似度・カラー類似度変換関数生成処理部（以下、変換関数生成処理部と呼ぶ）１１１が実行する処理について、図１５を参照して説明する。図１５は、変換関数生成処理部１１１が実行する、輝度類似度・カラー類似度変換関数生成処理の流れを示すフローチャートである。

まず、ステップＳ１５０１にて、カラー検索結果（色特徴類似比較結果）と輝度検索結果（輝度特徴類似比較結果）を読み込む。読み込んだ情報は、ＲＡＭ９９２等の記憶装置に一時的に記憶制御する。

次に、ステップＳ１５０２にてカラー検索第１位の画像Ａの類似度ＳＣaを読み出す。ただし、画像の類似度は、その値が大きいほど比較元画像との類似性が高い性質を有するパラメータであり、色特徴又は輝度特徴による検索処理において算出された類似距離に基づいて求められる。従って、ステップＳ１５０２では、カラー検索結果に含まれる最も大きい類似度の値をＳＣａとして読み出すことになる。なお、類似度は、例えば、所定の定数値から類似距離を減算したり、または、所定の定数値を類似距離で割り算することによって求めることができる。

次に、ステップＳ１５０３において、予め定められた係数Ｃ（１.０未満）を用いて、以下の（式２）によりカラー類似度の閾値ＴＨを求める。

ＴＨ ＝ Ｃ・ＳＣa （式２）
後述するように、閾値ＴＨは、色類似度と輝度類似度との対応関係を示す変換関数を導出するためのサンプル画像（例えば、後述の画像Ｂ）の選択に用いる。このサンプル画像は、ある程度検索元画像と類似度の高いものを用いたほうが良いため、Ｃの値は少なくとも０.８以上の値である事が好ましい。

ステップＳ１５０４にて、類似度が閾値ＴＨ以上で、且つ、画像Ａと類似度が最も近い画像Ｂを選択する。そして、その色特徴類似比較類似度をＳＣbとする。この場合、
ＳＣa ＞ ＳＣb （式３）
が必ず成り立つ。

次に、ステップＳ１５０５において、輝度検索結果から、画像Ａおよび画像Ｂの輝度類似度を読み出す。画像Ａの輝度類似度、画像Ｂの輝度類似度を、それぞれＳＢa、ＳＢbとする。

次に、ステップＳ１５０６にて
ＳＢa ＞ ＳＢb （式４）
が成立するか否かを判定する。成立する場合（ステップＳ１５０６でＹＥＳ）はステップＳ１５０７へ進み、成立しない場合（ステップＳ１５０６でＮＯ）はステップＳ１５０８へ進む。

ステップＳ１５０７においては、輝度類似度−カラー類似度変換式を作成する。輝度類似度ＳＢからの色類似度ＳＣへの変換関数は２点（ＳＢa，ＳＣa）、（ＳＢb，ＳＣb）を通る直線の式として求められる。即ち、下記の式５として作成する。

ＳＣ ＝ α・ＳＢ ＋ β （式５）
但し、 α ＝ (ＳＣb − ＳＣa)／(ＳＢb − ＳＢa)
β ＝ (ＳＣa・ＳＢb − ＳＣb・ＳＢa)／(ＳＢb − ＳＢa)
（ＳＣは０から１００の間で飽和（正規化）処理を行なう。）
と表す事ができる。

図１６は、ステップＳ１５０８で求められる輝度類似度−カラー類似度変換式を模式的に示す図である。この画像Ａと画像Ｂにより決定される直線により、輝度類似度がカラー類似度へ好ましく変換される。もちろん、類似度は０から１００の値しか取り得ないので、この範囲を超える場合には飽和（正規化）処理を行なう。ステップＳ１５０７の処理を終了するとステップＳ１５１１へ進む。

一方、Ｓ１５０６にて式４が成り立たないと判断した場合（ステップＳ１５０６でＮＯ）には、ステップＳ１５０８において、画像Ｂはカラー類似比較検索で２位の画像に達しているか否かを判定する。達している場合（ステップＳ１５０８でＹＥＳ）にはステップＳ１５０９へ進み、達していない場合（ステップＳ１５０８でＮＯ）にはステップＳ１５１０へ進む。

画像Ｂはカラー類似比較検索で２位の画像に達しており、カラー類似度の大小関係がＳＣａ＞ＳＣｂであるのに、輝度類似度がＳＢａ≦ＳＢｂである場合には、カラー類似度の低いものは輝度類似度も低いという相関関係が仮定できない。従って、式５の変換式が作成できない。このため、ステップＳ１５０９では、
ＳＣ ＝ ＳＢ （式６）
とする。つまり、輝度類似度とカラー類似度を同等に扱う。そして、ステップＳ１５１１へ進む。

ステップＳ１５０８にて画像Ｂがカラー類似比較検索で２位の画像に達していない場合（ステップＳ１５０８でＮＯ）には、Ｓ１５１０にて現在の画像Ｂより１つ上のカラー類似比較検索順位の画像を新たな画像Ｂとし、再びＳ１５０５に戻る。

Ｓ１５１１からＳ１５１６では、図１の検索結果統合処理部１１２による検索結果の統合処理を実行する。

ステップＳ１５０７およびステップＳ１５０９にて輝度類似度−カラー類似度変換式を定めた後、ステップＳ１５１１において、輝度類似比較結果から、グレー画像に関するものだけを抽出し、その個数Ｎgを得る。もちろん、カラー画像フラグを参照し、予め輝度特徴の中でも画像がグレー画像のものだけで予め検索を行っておく事も可能である。

次に、ステップＳ１５１２にて、処理カウンターＩを零にリセットする。この処理カウンターＩは、処理対象のグレー画像に対応する。

次に、ステップＳ１５１３においてＩ＜Ｎgが成り立つか否かを判定する。成り立つ、即ち、まだ全てのグレー画像について処理を行っていない場合（ステップＳ１５１３でＹＥＳ）はステップＳ１５１４へ進む。成り立たない、即ち、全てのグレー画像について処理を完了した場合（ステップＳ１５１３でＮＯ）は処理を終了する。

ステップＳ１５１４においては、グレー検索結果のグレー画像のＩ個目の類似度を、輝度類似度−カラー類似度変換関数を用いて、カラー類似度へ変換する。

そして、ステップＳ１５１５で、変換後のカラー類似度で、カラー類似比較検索の結果に類似度の降順で画像ＩＤと該類似度を挿入し、カラー画像の検索結果に、グレー画像の検索結果を統合して行く。

ステップＳ１５１６にて処理ループカウンタを１つ増やし、再びステップＳ１５１３にてＩ＜Ｎg を満たさなくなるまで、即ち全てのグレー画像の結果をカラー類似比較検索の結果に統合するまで処理を行った後、統合処理を終了する。

ところで、輝度類似度−カラー類似度変換式の決定においては、もちろん、（式２）の代わりに、カラー類似度の閾値ＴＨを固定値にしても良い。但し、登録画像内容によってはＳＣaそのものがＴＨを超えない場合や、やはり画像Ｂが定まらない場合がある。そのような場合には、例外処理として例えば（式６）を用いることができる。

また、予め定めたカラー類似比較検索順位の画像を画像Ｂとして用いてもよい。ただし、登録画像数を考慮に入れる事が好ましい。また、登録画像に類似するものが少ない場合には、よい検索結果が得られない場合がある。

また、上記例においては、輝度類似度を色類似度へ等価変換するための変換関数を求めるための基準画像を画像Ａおよび画像Ｂの２個としたが、これに限られない。当然、３個以上の画像とする事も可能である。３個の基準画像を用いる場合は、基準画像の画像Ａ、画像Ｂ、画像Ｃについて、
ＳＣa ＞ ＳＣb ＞ ＳＣc （７）
ＳＢa ＞ ＳＢb ＞ ＳＢc
が成り立つ必要がある。等価変換関数は３点（ＳＢa，ＳＣa）、（ＳＢb，ＳＣb）、（ＳＢc，ＳＣc）を通る近似多項式、例えばスプライン関数やベジエ関数などの非線形関数用いれば良い。

図１７は、３個の基準画像を用いた場合における、輝度類似度−カラー類似度変換関数を例示する模式図である。図１７では、更に原点を通るよう場合が例示されている。この画像Ａ、画像Ｂ、画像Ｃおよび原点により決定される曲線により、輝度類似度がカラー類似度へ好ましく変換される。

［検索結果表示処理］
図１の検索結果表示処理部１１３は、類似度が高い順、即ち類似距離の昇順に画像ＩＤとその類似度の対がソートされた情報を元に、図２に示す画像管理ＤＢを参照する。そして、画像ＩＤ該当するレコードを取り出し、そのファイルのフルパス情報を得て、画像蓄積部から画像を読み出し、検索した画像の表示を行う。その処理のフローを図１８に示す。図１８は、検索結果表示処理の流れを示すフローチャートである。

まず、ステップＳ１８０１において、検索ヒット個数Ｍと類似度が高い順、即ち類似距離の昇順に画像ＩＤとその類似度の対がソートされた情報を得る。

次に、ステップＳ１８０２にて、表示画面の表示可能な画像の個数Ｎを取得する。表示可能な画像の個数Ｎは、例えば、ディスプレイ９９７の表示可能な領域のサイズやその形状等と、画像のサイズや形状等との比較に基づいて決定することができる。

次に、ステップＳ１８０３にて検索ヒット個数ＭとＮの小さいほうを画像表示個数Ｒに設定する。

以下、ステップＳ１８０４〜Ｓ１８０８で、Ｒ個の画像を順に表示する処理を行う。まず、ステップＳ１８０４で読み出し画像順位に相当する変数Ｋを１に初期化する。

次に、ステップＳ１８０５にてＫ≦Ｒを満たすか否かを判定する。Ｋ≦Ｒを満たす場合（ステップＳ１８０５でＹＥＳ）はステップＳ１８０６へ進み、ステップＳ１８０６〜ステップＳ１８０８の画像表示処理を行う。Ｋ≦Ｒを満たさない場合（ステップＳ１８０５でＮＯ）には表示処理を終了する。

ステップＳ１８０６では、変数Ｋに対応する画像の表示位置を決定する。図１９は、類似画像検索結果の表示例を示す模式図である。図１９において、１９０１は表示画像であり、１９０２は画像の類似度を示す値である。図１９の例では、検索結果表示領域に検索でヒットした画像に縮小画像を類似距離の昇順に左から右へ並べ、右端にきたら次の行の左端に移り、再び右に並ぶように表示を行っている。ステップＳ１８０６では、例えば、この様なルールで、Ｋに対応する画像の表示位置を決定することができる。

次に、ステップＳ１８０７において、順位Ｋの画像ＩＤに対応する画像ファイルのフルパス情報を画像管理ＤＢから取得する。そして、ステップＳ１８０８において、フルパス情報からファイルを開いて画像を読み出し、ステップＳ１８０６で決定した表示位置に縮小した画像を表示する。１９０２のように、類似度に関しても、画像の下に類似距離を表示すると、どの程度類似しているかを知る上で都合が良い。

上記のように、本実施形態に係る構成においては、色情報に基づく画像検索結果と、輝度情報に基づく画像検索結果とを、色情報に基づく類似度と輝度情報に基づく類似度との対応関係に基づいて統合する。このため、本実施形態に係る構成によれば、比較対象の画像にカラー画像とグレー画像が混在する場合においても、統一的かつ高精度に画像検索を行うことができる。

また、カラーの比較対象画像の色情報に基づく類似度と輝度情報に基づく類似度に基づいて、これらの対応関係を示す関数を生成し、グレーの比較対象画像について、この関数に基づいて輝度情報に基づく類似度を色情報に基づく類似度に変換する。そして、変換された色情報に基づく類似度に基づいて、検索結果を統合する。このため、色情報に基づく画像検索の精度に基づいて、高精度に画像検索を行うことができる。

また、本実施形態においては、色情報に基づく類似度が予め定められた閾値以上である、カラーの比較対象画像の、色情報に基づく類似度と輝度情報に基づく類似度との対応関係に基づいて、変換関数を求める。このため、グレー画像の輝度情報に基づく類似度を、色情報に基づく類似度へ適切に変換することができる。更に、このとき、色情報に基づく類似度が最も大きいカラーの比較対象画像を使用するため、適切な変換が可能である。

なお、本実施形態では、輝度類似度・カラー類似度変換関数が数式として与えられる場合について例示的に説明したが、これに限られない。例えば、テーブルとして与えられてもよい。

＜＜第２実施形態＞＞
本実施形態では、第１実施形態において実行した、図１の輝度類似度・カラー類似度変換関数生成処理部１１１による輝度類似度・カラー類似度変換関数生成処理を行わない。また、本実施形態では、検索結果統合処理部１１２による検索結果統合処理の内容を変更した例について説明する。従って、それ以外の部分に関する説明は割愛し、第１実施形態と相違する部分についてのみ説明を行う。即ち、従って、画像検索装置のハードウェア構成、画像登録処理、画像表示処理、更に、画像検索処理に含まれる、色特徴による検索処理、輝度特徴による検索処理等は、第１実施形態と同様であるため、説明を省略する。

第１実施形態では、輝度類似度・カラー類似度変換関数を生成し、輝度類似度をカラー類似度へ等価変換する事によりカラー類似比較検索結果へグレー画像の輝度類似比較検索結果を挿入した。これに対して、本実施形態では、カラー類似比較検索結果と輝度類似比較検索結果の対応を検証し、輝度類似比較検索のみでヒットしたグレー画像をカラー類似比較検索結果のどこに挿入するかを決定する。

（比較結果の統合）
本実施形態における、色特徴類似比較結果と輝度特徴類似比較結果の統合の処理について、図２２を参照して説明する。図２２は、輝度類似検索結果とカラー類似検索結果統合処理の流れを示すフローチャートである。

まず、ステップＳ２２０１において、カラー類似比較検索結果を読み込み、ＲＡＭ９９２等の記憶装置に一時的に記憶する。次に、ステップＳ２２０２において輝度類似比較検索結果を読み込み、同様にＲＡＭ９９２等の記憶装置に一時記憶する。

次に、ステップＳ２２０３において、輝度類似度に基づいて登録画像がソートされている輝度類似比較検索結果において、連続するグレー画像群を類似度の降順（グループ番号が若いほど類似度が高い）でそれぞれグループ化する。例えば、カラー画像Ｃ１、Ｃ２、Ｃ３と、グレー画像Ｇ１、Ｇ２、Ｇ３が、輝度類似度に基づいて、Ｃ１、Ｇ２、Ｃ３、Ｇ１、Ｇ３、Ｃ２とソートされている（ここでは、Ｃ１の輝度類似度が最も大きい）とする。この場合、連続するグレー画像Ｇ２、Ｇ３を１つのグループ（例えば、第１グループ）、Ｇ３を１つのグループ（例えば、第２グループ）とすることになる。以下、ステップＳ２２０３で生成されるグループは全部でＮ個とする。各グループ内のグレー画像順位も輝度類似度の降順でデータを保持する。

図２０は、上段にカラー類似比較検索による検索結果を示し、下段に輝度類似比較検索による検索結果を示す模式図である。図２０において、Ｃ１、Ｃ２およびＣ３はカラー画像であり、カラー画像に関しては色特徴と輝度特徴を抽出するため、色特徴による検索結果と輝度特徴の検索の両方にＣ１、Ｃ２およびＣ３が出現する。他方、グレー画像Ｇ１およびＧ２は輝度特徴のみを抽出するため、輝度類似比較検索の検索結果にしか現れない。図２０の例では、グループは１個で、第１グループに画像Ｇ１、Ｇ２が入っている。

次に、ステップＳ２２０４にてグループカウンタＩを零に初期化する。次に、ステップＳ２２０５において、Ｉ＜Ｎが成立するか否かを判定する。成立する場合（ステップＳ２２０５でＹＥＳ）はステップＳ２２０６へ進み、成立しない場合（ステップＳ２２０５でＮＯ）は処理を終了する。つまり、ＩがＮを超えない間、即ち処理すべきグループが存在する間だけ、ステップＳ２２０６〜ステップＳ２２１１の処理を行い、処理するグループが無くなった時点でカラー／輝度類似比較検索結果の統合を終了する。

ステップＳ２２０６では、第Ｉグループの近傍前後のカラー画像の対を輝度類似比較検索結果から探索し、類似度の大きい方から画像Ａ、画像Ｂとする。図２０の例ではＣ１が画像Ａ、Ｃ２が画像Ｂとなっている。

次に、ステップＳ２２０７にて、画像Ａおよび画像Ｂのカラー類似度ＳＣaおよびＳＣbを得る。そして、ステップＳ２２０９へ進む。ステップＳ２２０９では、ＳＣa≧ＳＣbが成立するか否かを判定する。成立する場合（ステップＳ２２０９でＹＥＳ）はステップＳ２２１０へ進み、成立しない場合（ステップＳ２２０９でＮＯ）はステップＳ２２０８へ進む。

図２０の例ではステップＳ２２０９の条件を満たすので、ステップＳ２２１０に進む。ステップＳ２２１０では、ＳＣaとＳＣbの平均類似度Aveを求める。そして、ステップＳ２２１１にて画像Ｂの直前にグループＩ、即ちＧ１、Ｇ２の順番で類似度Aveでカラー検索結果に挿入する。これは、グループＩの色類似度をＳＣaとＳＣbの平均類似度Aveとすることに相当する。

ステップＳ２２１１にて画像Ｂの直前に挿入するのは、例えば図２１の様に、着目しているＧ１およびＧ２の前後近傍画像がＣ１、Ｃ３であり、カラー検索においてＣ２がＣ１とＣ３の間にある場合を想定している。図２１は、上段にカラー類似比較検索による検索結果を示し、下段に輝度類似比較検索による検索結果を示す模式図である。つまり、色特徴検索の方が情報量が多いので、Ｇ１とＧ２の挿入位置はＣ２の後ろとする事が好ましく、更に輝度類似比較検索で高い類似度のグループから統合処理を行うため、後のグループほど低い順位に挿入すべきであるからである。

もし、ステップＳ２２０９にて条件が成立しない場合（ステップＳ２２０９でＮＯ）には、ステップＳ２２０８において今回の画像Ａと画像Ｂとは別の組み合わせの近傍前後のカラー画像の対を求める。そして、再びステップＳ２２０７の処理に戻り最適な近傍前後のカラー画像を求め処理を行う。

ステップＳ２２１１でグループＩの検索結果統合が終わると、再びステップＳ２２０５に戻り残りのグループがあるかどうかを判断し、未処理のグループが無くなるまで処理を行う。

上記のように、本実施形態においては、輝度類似度に基づいて登録画像がソートされている輝度類似比較検索結果において、連続するグレー画像群に隣接するカラー画像の色情報に基づく類似度に基づいて、このグレー画像群をカラー検索結果に挿入する。このため、本実施形態によれば、比較対象の画像にカラー画像とグレー画像が混在する場合においても、統一的かつ高精度に画像検索を行うことができる。

＜＜その他の実施形態＞＞
第１実施形態では輝度類似度・カラー類似度変換関数生成のための基準画像を２個用いる例と４個用いる例を示したが、その個数の制約は無い。また、基準画像を２個用いる場合にも、線形ではなく非線形な輝度類似度・カラー類似度変換関数を生成しても良い。更に、基準画像の１つをカラー類似比較検索第１位の画像にする例を示したが、必ずしも第１位である必要は無い。

第２実施形態では、処理の効率化のために、輝度類似比較検索結果において連続するグレー画像をグループ化して処理を行う例を示したが、例えば、個々のグレー画像単位で処理を行なうようにしてもよい。

以上、本発明の実施形態例について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

尚、本発明は、前述した実施形態の機能を実現するプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含む。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、次のものが含まれる。即ち、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）等が含まれる。

その他、プログラムの供給形態としては、次のようなものも考えられる。即ち、クライアント装置のブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明に係るコンピュータプログラム、或いは、圧縮され自動インストール機能を含むファイルをＨＤ等の記録媒体にダウンロードする形態も考えられる。また、本発明に係るプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、次のような供給形態も考えられる。即ち、まず、本発明に係るプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報の使用により暗号化されたプログラムを実行してコンピュータにインストールさせて本発明に係る構成を実現する。このような供給形態も可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、次のような実現形態も想定される。即ち、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づいても前述した実施形態の機能が実現される。即ち、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

画像検索装置による処理システムの機能構成を模式的に示すブロック図である。 画像管理ＤＢの記憶内容を例示する図である。 輝度情報インデックスの例を模式的に示す図である。 色情報インデックスの例を模式的に示す図である。 輝度特徴抽出処理の流れを示すフローチャートである。 画像を複数のブロックに分割した例を示す模式図である。 ８ビットの輝度信号を均等階級化するテーブル例を示す図である。 ブロックスキャン順番の例を示す図である。 色特徴量空間上の色ビンを模式的に示す図である。 色特徴情報抽出処理の流れを示すフローチャートである。 色特徴による検索処理の流れを示すフローチャートである。 色ビンＩＤ間のペナルティマトリックスを例示的に示す模式図である。 輝度特徴による検索処理の流れを示すフローチャートである。 輝度階級ＩＤ間のペナルティマトリックスを例示的に示す模式図である。 輝度類似度・カラー類似度変換関数生成処理の流れを示すフローチャートである。 輝度類似度−カラー類似度変換式を模式的に示す図である。 ３個の基準画像を用いた場合における、輝度類似度−カラー類似度変換関数を例示する模式図である。 検索結果表示処理の流れを示すフローチャートである。 類似画像検索結果の表示例を示す模式図である。 上段にカラー類似比較検索による検索結果を示し、下段に輝度類似比較検索による検索結果を示す模式図である。 上段にカラー類似比較検索による検索結果を示し、下段に輝度類似比較検索による検索結果を示す模式図である。 輝度類似検索結果とカラー類似検索結果統合処理の流れを示すフローチャートである。 画像検索装置のハードウェア構成を模式的に示したブロック図である。

Claims (9)

1. クエリ画像に類似する画像を、複数の比較対象画像の中から検索する画像検索装置であって、
   前記クエリ画像の色特徴量及び輝度特徴量を抽出する抽出手段と、
   前記クエリ画像の前記色特徴量と、カラーの前記比較対象画像の前記色特徴量とを比較して、類似性を示す色類似度を求める色類似度導出手段と、
   前記クエリ画像の前記輝度特徴量と、カラー及びグレーの前記比較対象画像の前記輝度特徴量とを比較して、類似性を示す輝度類似度を求める輝度類似度導出手段と、
   カラーの前記比較対象画像の、前記色類似度と前記輝度類似度との比較に基づいて、色類似度と輝度類似度との対応関係を示す対応情報を生成する生成手段と、
   グレーの前記比較対象画像と前記クエリ画像との前記輝度類似度を、前記対応情報に基づいて統合した統合類似度に変換する変換手段と、
   前記色類似度導出手段で求めたカラーの前記比較対象画像の色類似度と、前記変換手段で変換したグレーの前記比較対象画像の統合類似度との比較に基づいて、前記比較対象画像を類似度順に出力する出力手段と、
   を備えることを特徴とする画像検索装置。
2. 前記生成手段は、
   前記色類似度が予め定められた閾値以上である、２以上の前記カラーの比較対象画像を選択し、当該選択されたカラーの前記比較対象画像の、前記色類似度と前記輝度類似度との対応関係に基づいて、前記対応情報を生成する
   ことを特徴とする請求項１に記載の画像検索装置。
3. 前記生成手段は、前記色類似度が最も大きい前記カラーの比較対象画像を選択する
   ことを特徴とする請求項２に記載の画像検索装置。
4. 前記変換手段は、
   グレーの前記比較対象画像の前記輝度類似度が、第１の前記カラーの比較対象画像の前記輝度類似度と、第２の前記カラーの比較対象画像の前記輝度類似度との間にある場合、当該グレーの前記比較対象画像の前記統合類似度を、該第１のカラーの比較対象画像の前記色類似度と、該第２のカラーの比較対象画像の前記色類似度との間の値に決定する
   ことを特徴とする請求項１に記載の画像検索装置。
5. 前記第１のカラーの比較対象画像の前記輝度類似度と、前記第２のカラーの比較対象画像の前記輝度類似度と、の大小関係は、前記第１のカラーの比較対象画像の前記色類似度と、前記第２のカラーの比較対象画像の前記色類似度と、の大小関係と一致する
   ことを特徴とする請求項４に記載の画像検索装置。
6. 前記出力手段において出力された前記類似度順に基づいて、前記比較対象画像を表示手段に一覧表示させる表示制御手段を更に備える
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像検索装置。
7. クエリ画像に類似する画像を、複数の比較対象画像の中から検索する画像検索装置の制御方法であって、
   抽出手段が、前記クエリ画像の色特徴量及び輝度特徴量を抽出する抽出工程と、
   色類似度導出手段が、前記クエリ画像の前記色特徴量と、カラーの前記比較対象画像の前記色特徴量とを比較して、類似性を示す色類似度を求める色類似度導出工程と、
   輝度類似度導出手段が、前記クエリ画像の前記輝度特徴量と、カラー及びグレーの前記比較対象画像の前記輝度特徴量とを比較して、類似性を示す輝度類似度を求める輝度類似度導出工程と、
   生成手段が、カラーの前記比較対象画像の、前記色類似度と前記輝度類似度との比較に基づいて、色類似度と輝度類似度との対応関係を示す対応情報を生成する生成工程と、
   変換手段が、グレーの前記比較対象画像と前記クエリ画像との前記輝度類似度を、前記カラーの比較対象画像の前記色類似度と前記輝度類似度との対応関係に基づいて統合した、統合類似度に変換する変換工程と、
   出力手段が、前記色類似度導出工程で求めたカラーの前記比較対象画像の色類似度と、前記変換工程で変換したグレーの前記比較対象画像の統合類似度との比較に基づいて、前記比較対象画像を類似度順に出力する出力工程と、
   を備えることを特徴とする画像検索装置の制御方法。
8. コンピュータを請求項１乃至６のいずれか１項に記載の画像検索装置として機能させるためのプログラム。
9. 請求項８に記載のプログラムを格納したコンピュータで読み取り可能な記憶媒体。

Images