JP4160050B2 - 画像検索プログラム - Google Patents

Description

本発明は、キー画像データに基づいて、画像データベースから所望の画像データを検索する画像検索プログラムに関するものであり、特に、検索精度を高めることができる画像検索プログラムに関するものである。

従来より、大量の画像データが蓄積された画像データベースからユーザが検索要求として与えたキー画像データに類似する画像データを類似する順に取出し、表示することで、ユーザが所望の画像データを効率的に見つけ出すための画像検索装置が数多く開発されている。

かかる画像検索装置においては、類似画像検索技術が用いられており、キー画像データと検索対象の画像データとの類似度を数値的に計算するため、画像データの特徴を数値的に表す特徴量が定義されている。この特徴量は、画像の類似度計算に用いられる。

ここで、上記特徴量には、画像が持っている色のレイアウト、テクスチャ（グラフィックスなどにおいて、図形の表面に付けられた模様や、質感を表わすための描き込みを指す）や、画像中に存在する物体の輪郭の形状など、特徴を捉える観点によって分けられるタイプがある。

このことより、従来では、それぞれの特徴量のタイプごとに人間の類似性に関する感覚に合致することを目指して多くの有効な定義とその抽出方法が提案されている（例えば、非特許文献１を参照）。

従って、従来の画像検索装置では、様々な観点から類似画像を検索するため、複数のタイプの特徴量を用意しておき、ユーザにより目的に合った特徴量のタイプが指定された後、検索が実行される。

片山紀生、佐藤真一著 「類似検索のための索引技術」 情報処理学会誌 Ｖｏｌ．４２ Ｎｏ．１０ ｐｐ．９５８−９６４（２００１）

しかしながら、従来の画像検索装置においては、画像の特徴量に関する知識を持たない一般ユーザにとって、検索の目的に合った特徴量のタイプを選択することは容易ではない。

この結果、特徴量のタイプを試行錯誤的に決めて検索することを繰り返す必要があり、検索作業に要するユーザの労力が大きいという問題があった。

さらに、これらの特徴量を用いて計算した類似度が人間の持つ類似性に関する感覚に合致するためには、対象とする画像データの内容が特徴量のタイプごとに定まる一定の条件を満たしている必要があった。

このため、条件に合わない画像データが検索対象に含まれている場合、類似度計算が人間の感覚とずれることがあり、ユーザにとってキー画像との類似性が著しく欠如していると感じる画像データが検索結果に含まれてしまうことになる。この問題は、検索対象の画像データを用いる特徴量のタイプの条件に合致したものだけに制限できる場合には生じない。

しかし、近年普及しているインターネットを活用して収集した画像データなど様々な内容の画像データが混在している画像データの集まりを検索対象とする場合には特徴量のタイプの条件に合致しない画像データも多く含まれることになり、検索精度が低下するという問題があった。

本発明は、上記に鑑みてなされたもので、検索精度を高めることができる画像検索プログラムを提供することを目的としている。

上記目的を達成するために、本発明は、コンピュータを、キー画像から複数タイプの特徴量を抽出する特徴量抽出手段、前記特徴量抽出手段により抽出された特徴量のタイプについて、人間の類似感覚に合致した類似度が計算されるか否かを決定する所定の条件に基づいて、キー画像との適合性の有無を判定し、適合性が有ると判定した特徴量のタイプと検索対象の各画像との間で適合性の有無を判定する適合性判定手段、前記適合性判定手段により前記特徴量のタイプと検索対象の各画像との間で適合性の有無が判定された結果、適合性が無いと判定された画像については検索対象から除外したうえで、前記キー画像との適合性があると判定されたタイプの特徴量を用いて、前記キー画像と検索対象の各画像との類似度を計算する類似度計算手段、前記類似度に対応する画像を検索結果として出力する検索結果出力手段、として機能させるための画像検索プログラムである。

この発明によれば、キー画像から抽出された各特徴量のタイプについて、人間の類似感覚に合致する類似度が算出されるか否かを決定する所定の条件に基づいて、キー画像との適合性の有無を判定し、さらに、適合性が有ると判定した特徴量のタイプと検索対象の各画像との間で適合性の有無を判定し、その結果、適合性が無いと判定された画像については検索対象から除外したうえで、キー画像との適合性があると判定されたタイプの特徴量を用いて、キー画像と検索対象の各画像との類似度を計算し、類似度に対応する画像を検索結果として出力することとしたので、類似度を計算する際に適用される特徴量のタイプの選択ミスが防止され、検索精度を高めることができる。

以下、図面を参照して本発明にかかる一実施の形態について詳細に説明する。第１図は、本発明にかかる一実施の形態の構成を示すブロック図である。

同図に示した画像検索装置１００は、キー画像データと、後述する画像データベース１１０内の画像データとの間の類似度を計算するために用いられる複数の特徴量（色レイアウト特徴量、テクスチャ特徴量、形状特徴量等）の中から、人間の類似感覚と合致する可能性が高い特徴量を選択し、この特徴量を用いて画像検索を行う装置である。

画像検索装置１００において、入力部１０１は、類似画像検索の検索キーとなるキー画像データの入力や、各種キー入力に用いられる入力デバイスであり、ディジタルカメラ、スキャナ、インターネット通信機器や、キーボード、マウス等である。

表示部１０２は、ＬＣＤ（Liquid Crystal Display ）やＣＲＴ（Cathode Ray Tube）等であり、画像検索に関する検索結果画面（第１６図〜第１８図参照）により、キー画像データと類似度が高い順に所定件数の検索結果（画像データ）をユーザに表示する。

画像データベース１１０は、磁気記憶装置や半導体メモリ上に構成されており、検索対象となる画像データを格納するデータベースである。具体的には、画像データベース１１０は、第２図に示したように、画像ＩＤおよびアドレスというフィールドを備えている。画像ＩＤは、検索対象となる各画像データやキー画像データを識別するための識別子である。アドレスは、画像データが実際に格納されている場所を表す。

例えば、画像ＩＤが”００００００１”の画像データは、第８図（ｂ）に示した検索対象の画像データ１１１₁ に対応している。この画像データ１１１₁ は、縦縞模様の壁紙画像を表している。

また、画像ＩＤが”００００００２”の画像データは、第８図（ｃ）に示した検索対象の画像データ１１１₂ に対応している。この画像データ１１１₂ は、上記画像データ１１１₁ と同様にして、縦縞模様の壁紙画像を表している。

また、画像ＩＤが”００００００３”の画像データは、第８図（ｄ）に示した検索対象の画像データ１１１₃ に対応している。この画像データ１１１₃ は、森の木立と家を撮影した写真画像を表している。

特徴量データベース１２０は、画像データベース１１０（第２図参照）に格納された画像データ（例えば、画像データ１１１₁ 〜１１１₃（第８図（ｂ）〜（ｄ）参照））や、キー画像データ（例えば、キー画像データ２００（第８図（ａ）参照））のそれぞれの特徴を数値的に表す特徴量データを格納するデータベースである。

ここで、一実施の形態においては、画像の特徴量のタイプとして、以下の（１）〜（３）の三種類を例示する。
（１）色レイアウト特徴量
（２）テクスチャ特徴量
（３）形状特徴量

上記（１）色レイアウト特徴量は、画像データ上における色の空間的な分布状態を表す特徴量である。（２）テクスチャ特徴量は、画像データにおける模様や、質感を表わすための描き込みを表す特徴量である。（３）形状特徴量は、画像データに存在する物体の輪郭の形状を表す特徴量である。

具体的には、特徴量データベース１２０は、第３図に示したように、色レイアウト特徴量データテーブル１２１、テクスチャ特徴量データテーブル１２２および形状特徴量データテーブル１２３から構成されている。

これらの色レイアウト特徴量データテーブル１２１、テクスチャ特徴量データテーブル１２２および形状特徴量データテーブル１２３のそれぞれは、画像ＩＤおよび特徴量データというフィールドを備えている。画像ＩＤは、画像データベース１１０（第２図参照）の画像ＩＤに対応している。

色レイアウト特徴量データテーブル１２１の特徴量データは、画像ＩＤに対応する画像データに関する色レイアウト特徴量を表すデータである。テクスチャ特徴量データテーブル１２２の特徴量データは、画像ＩＤに対応する画像データに関するテクスチャ特徴量を表すデータである。形状特徴量データテーブル１２３の特徴量データは、画像ＩＤに対応する画像データに関する形状特徴量を表すデータである。

第１図に戻り、特徴量データ抽出部１０３は、画像データベース１１０に格納された検索対象の各画像データやキー画像データから、上述した三種類の特徴量（色レイアウト特徴量、テクスチャ特徴量、形状特徴量）にそれぞれ対応する特徴量データを抽出し、これらを特徴量データベース１２０（第４図参照）に格納する。

これらの特徴量データは、キー画像データと検索対象の画像データとの類似度を計算する場合に用いられる。

適合性判定部１０４は、キー画像データと検索対象としての画像データとの間の類似度を数値的に計算する際に用いられる特徴量データについて、類似度の計算を行った場合に、人間が持つ類似感覚（類似性）に合致した類似度が計算されるか否かを、特徴量データ（特徴量）と与えられたキー画像データ（画像データ）との適合性の有無として判定する。

類似度計算部１０５は、適合性が有りと判定された、キー画像データの特徴量データに対応するベクトル値と、検索対象の各画像データの特徴量データに対応するベクトル値との間のユークリッド距離に基づいて、キー画像データに対する検索対象の各画像データの類似度を計算する。検索部１０６は、画像検索に関する処理を実行する。

つぎに、一実施の形態の動作について、第４図〜第７図に示したフローチャートを参照しつつ説明する。第１図に示した画像データベース１１０には、第２図に示したように、検索対象の複数の画像データが予め格納されているものとする。

この状態で、第４図に示したステップＳＡ１では、ユーザより特徴量データの格納に関する要求があるか否かが判断され、この場合、判断結果が「Ｎｏ」とされる。

ステップＳＡ２では、ユーザより画像検索に関する要求があるか否かが判断され、この場合、判断結果が「Ｎｏ」とされる。以後、ステップＳＡ１またはステップＳＡ２の判断結果が「Ｙｅｓ」となるまで、ステップＳＡ１およびステップＳＡ２の判断が繰り返される。

そして、ユーザより、特徴量データの格納に関する要求があると、ステップＳＡ１の判断結果が「Ｙｅｓ」とされる。ステップＳＡ３では、画像データベース１１０に格納された画像データから、前述した三種類の特徴量（色レイアウト特徴量、テクスチャ特徴量および形状特徴量）に対応する特徴量データを抽出し、これらを特徴量データベース１２０に格納するための特徴量データ格納処理が実行される。

具体的には、第５図に示したステップＳＢ１では、特徴量データ抽出部１０３は、画像データベース１１０（第２図参照）から、一つの画像データ（例えば、画像データ１１１₁（第８図（ｂ）参照））を取得する。ステップＳＢ２では、特徴量データ抽出部１０３は、ステップＳＢ１で取得した画像データから、三種類の特徴量（色レイアウト特徴量、テクスチャ特徴量および形状特徴量）にそれぞれ対応する特徴量データを抽出する。

以下では、色レイアウト特徴量、テクスチャ特徴量および形状特徴量のそれぞれに対応する特徴量データの抽出方法について、詳述する。

（色レイアウト特徴量）
はじめに、色レイアウト特徴量に対応する特徴量データの抽出方法について説明する。

色レイアウト特徴量は、例えば、第９図に示したように、画像データを縦横に適当な数で格子状に分割したときの、各部分画像データＩ_ij の色値の平均を一次元的に並べた値として表現される。

ここで、部分画像データＩ_ij の色値の平均は、ＲＧＢ色空間におけるＲ(赤)、Ｇ(緑)、Ｂ(青)の強度を成分とする三次元ベクトルで表される。

また、部分画像データＩ_ij の色値の平均を（Ｒ_ij，Ｇ_ij，Ｂ_ij）とした場合に、色レイアウトは（Ｒ₁₁，Ｇ₁₁，Ｂ₁₁，Ｒ₁₂，Ｇ₁₂，Ｂ₁₂，Ｒ₄₄，Ｇ₄₄，Ｂ₄₄ ）というベクトルで表される。

色レイアウト特徴量が意味を持つためには、つぎの二つの条件（１Ａ）および（２Ａ）を満たす部分画像データが所定数以上必要となる。
・条件(１Ａ)
画像データに一定値以上の割合で含まれる色があること
・条件(２Ａ)
条件(１Ａ)を満たす色を持つ画素が空間的に集中していること

これらの二つの条件（１Ａ）および（２Ａ）は、部分画像データの色値の平均が、その部分画像データ全体の色を近似していることを表すための条件である。

例えば、画像データに多くの色が少しずつ存在している場合には、その色値の平均をとっても良い近似にはならない。

また、画像データに一定以上の割合である色が存在していても、当該色が細かい領域に分断され、散在している場合には、人間にとって顕著な色と感じない。従って、画像データにおいて空間的に画素が集中していることが条件となる。

上記条件（１Ａ）および（２Ａ）を満たすか否かは、つぎの方法で判定される。

（条件(１Ａ)の判定方法）
まず、ＲＧＢ色空間が部分色空間に分割される。つぎに、各部分色空間における部分画像データに含まれる画素の数がカウントされた後、部分画像の総画素数に対する計算結果の画素数の割合値が部分色空間ごとに計算される。

この割合値が所定値以上の部分色空間がある場合には、その部分色空間が代表する色値がその部分画像に対する部分画像の代表色とされる。

部分画像の代表色の決め方としては、例えば、対応する部分色空間の重心位置にある色とする方法がある。この部分画像の代表色が存在する場合には、条件(１Ａ)が満たされる。

（条件(２Ａ)の判定方法）
条件(１Ａ)の判定の過程で得られた部分画像の代表色について、つぎの方法で集中度が計算される。まず、第１２図に示したように部分画像Ｍ上の全ての画素について、その画素が中心にくるようにｗ×ｈの大きさの窓ｍを当てはめ、その窓ｍ中にある部分画像の代表色に対応する画素の数ＲＣ_xy をカウントする。

このとき、図１３図に示した（１）式により集中度ＳＣを計算する。（１）式において、ＲＣは、部分画像の代表色に対応する画素の総数、Ｎは、所定の値である。

この集中度ＳＣが所定値以上の部分画像の代表色を持つ場合には、条件(２Ａ)が満たされる。

（テクスチャ特徴量）
つぎに、テクスチャ特徴量に対応する特徴量データの抽出方法について説明する。

テクスチャ特徴量に対応する特徴量データの抽出に際しては、画像データ全体が一様なテクスチャ（模様）で覆われていることが前提とされる場合が大半を占める。従って、一様なテクスチャで覆われていない画像データの場合には、その計算方法が意図した特徴量データが抽出されないことがある。

この結果、画像検索に際して、一様なテクスチャで覆われていないキー画像データが与えられたとき、検索対象の画像データの中で、人間の感覚としてより類似しているように感じる画像データよりも、そうでない画像データの方が高い類似度を示す場合がある。

類似度が高い順に画像検索結果が表示された場合には、人間の感覚では似ていないと感じる画像データが、キー画像データに似ていると感じる画像よりも上位になることで、検索の効率を低下させることになる。

例えば、画像検索のキー画像として第８図（ａ）に示したキー画像データ２００が与えられたとする。一方、検索対象は、第８図（ｂ）、（ｃ）および（ｄ）に示した画像データ１１１₁ 、１１１₂ および１１１₃であるとする。

キー画像データ２００および画像データ１１１₃ は、木立の中に家がある風景を撮影した写真画像である。一方、画像データ１１１₁ および１１１₂ は、一様なテクスチャで覆われた壁紙画像に対応している。

なお、テクスチャ特徴量は、周知の田村の方法(H.Tamura, S.Mori, and T.Yamawaki, "Texture Features Corresponding Visual Perception," IEEE Trans. System Man and Cybernetics, Vol.8, No.6, (1978).)により計算される。

田村の方法では、テクスチャ特徴量を「粗さ(coarseness)」、「コントラスト(contrast)」、「方向性(directionality)」という三つの成分で表し、各成分の度合いをそれぞれ数値で表した三次元ベクトルとして画像データから抽出される。

「粗さ」は、画像データ中に現れるパターンのスケールの大きさを表すものであり、スケールが大きいほど大きな値となる。「コントラスト」は、輝度値のばらつきの度合いを表すものであり、ばらつきが大きいほど大きな値となる。

「方向性」は、画像データ中のエッジ成分の方向が一定方向に集中している度合いを表すものであり、エッジ成分の方向の中で最も頻度の高い方向における頻度が大きいほど大きな値となる。

この田村の方法でキー画像データ２００（第８図（ａ）参照）からテクスチャ特徴量に対応する特徴量データを抽出した場合、キー画像データ２００は、「粗さ」、「コントラスト」、「方向性」のいずれにおいても、画像データ１１１₃ よりも、画像データ１１１₁ 、画像データ１１１₂ の方が高い類似度を示す。

しかしながら、上記画像検索でユーザが風景画像を検索しているとすれば、検索結果に画像データ１１１₁ および１１１₂ が含まれるのは不適切である。このような不適切な画像データが検索結果の上位にくることで、目的の画像データを見つけるために不要な画像データを多く見ることになり、検索効率の低下を招くことになる。

そこで、こうしたキー画像データについてはテクスチャの一様性を計算し、一様性の高さが所定の値より小さい場合は適合性がないと判定してテクスチャ特徴を検索に使わないことができる。

テクスチャの一様性の計算方法について説明する。まず、計算対象の画像を縦横に分割する。例えば、第１４図（ａ）や第１４図（ｂ）に示したように、画像データ（キー画像データ２００等）を縦横二等分で四分割する。

つぎに、分割された各部分画像からテクスチャ特徴をベクトルとして抽出する。このときのテクスチャ特徴の計算方法としては、類似度計算で用いる特徴を計算した方法と同じ方法でも良いし、別の方法でも良い。

ここでは、同じ方法である田村の方法を用いるとすれば、各部分画像から三次元ベクトルの特徴が抽出される。ここで、テクスチャの一様性は、抽出された特徴ベクトルのばらつきの度合いによって表すことができる。

一様であるほどばらつきは小さくなる。そこで、部分画像から得られた四つの特徴ベクトルに対し、ばらつきの度合いとして分散値を計算し、分散値が所定の値より大きい場合は一様性が低い、すなわち、適合性がないと判定する。第１４図（ａ）の例では、キー画像データ２００の場合に右下の部分画像は他の三つと比べて「粗さ」、「コントラスト」、「方向性」のいずれも大きく異なるので、分散値は高くなり、適合性なしと判定することができる。

（形状特徴量）
つぎに、形状特徴量に対応する特徴量データの抽出方法について説明する。

形状特徴量に対応する特徴量データの抽出においては、画像データから予め輪郭線が抽出されている場合の方法と、抽出されていない場合の方法とがあるが、インターネットから収集した画像データを扱うような場合、輪郭線が予め抽出されていない場合が大半であるため、後者の方法が用いられる。

一方、任意の画像データを対象とする場合、画像データに存在する物体の輪郭線を抽出するのが技術的に困難であるため、物体の輪郭線が画像データ中で強いエッジ成分となることを利用して、局所的なエッジ成分の方向別の頻度分布として近似的に形状特徴量を表すことになる。

このような形状特徴量に対応する特徴量データの抽出方法では、つぎの条件（３Ａ）が前提となる。
条件（３Ａ）
単色の背景で、画像データの特定部分に物体が存在すること。

特定部分としては、例えば画像データの中心付近がある。

ここで、条件（３Ａ）に基づく適合性判定の方法はつぎの通りである。まず、第１５図（ａ）および（ｂ）に示したように画像データの中心から所定の角度ごとに放射状に引いた線分に沿って、画像データの中心に向かう方向で画素を走査する。

走査の過程で連続する画素の輝度値の差分を逐次計算し、所定の値を超える差分に出会った点の座標値（ｘ、ｙ）を記憶する。

この処理を各走査線分について行った結果から得られる座標値について、隣り合う走査線分間の座標値の距離を積算する。この積算値を基準とし、所定の値より大きい場合は適合性なしと判定する。第１５図（ａ）のように前提条件を満たしている画像データ２１０の場合には、記憶した座標値間の距離が小さくなる。

一方、第１５図（ｂ）に示したキー画像データ２００については、対象物(家)以外の背景にも別の物体が描かれており、このような画像から形状特徴を抽出した場合、対象物以外の輪郭線等の影響が大きいため意味のある形状特徴は得られない。

このような画像データの場合には、記憶した座標値間の距離は相対的に大きくなるため、この判定方法により適合性なしと判定できる。

第５図に戻り、ステップＳＢ３では、特徴量データ抽出部１０３は、ステップＳＢ２で抽出された各特徴量データ（色レイアウト特徴量、テクスチャ特徴量および形状特徴量）を特徴量データベース１２０（第３図参照）に格納する。

ステップＳＢ４では、特徴量データ抽出部１０３は、画像データベース１１０における全ての画像データを処理（特徴量データの抽出、格納）したか否かを判断し、この場合、判断結果を「Ｎｏ」とする。以後、残りの画像データについて上述した処理が実行される。

そして、処理が終了すると、ステップＳＢ４の判断結果が「Ｙｅｓ」とされ、特徴量データ格納処理が終了する。

そして、ユーザより画像検索に関する要求があると、第４図に示したステップＳＡ２の判断結果が「Ｙｅｓ」とされる。ステップＳＡ４では、キー画像データに類似する画像データを検索するための検索処理が実行される。

具体的には、第６図に示したステップＳＣ１では、ユーザは、入力部１０１より、例えば、第８図（ａ）に示したキー画像データ２００を入力する。このキー画像データ２００は、第８図（ｄ）に示した画像データ１１１₃ と同じ場所の風景を異なる角度から撮影した写真画像に対応している。

ステップＳＣ２では、キー画像データ２００について、色レイアウト特徴量、テクスチャ特徴量、形状特徴量の各々に対する適合性を判定するための適合性判定処理が実行される。

具体的には、第７図に示したステップＳＤ１では、適合性判定部１０４は、色レイアウト特徴量の適合性を判定する。すなわち、適合性判定部１０４は、キー画像データ２００を縦横に分割する。

ここでは、キー画像データ２００が、第９図に示したように、縦を４等分、横を４等分した１６個の部分画像データ（Ｉ₁₁ 〜Ｉ₄₄ ）に分割されたものとする。

つぎに、適合性判定部１０４は、キー画像データ２００の部分画像（Ｉ₁₁ 〜Ｉ₄₄ ）ごとに、ＲＧＢ色空間のＲ、Ｇ、Ｂを各々４等分したときの各部分色空間に含まれる画素数の割合値を計算し、最大の割合値を持つ部分色空間の割合値を第１０図に示す値として求める。

ここで、割合値は、［０．０，１．０］の範囲をとり、値が大きいほど割合が大きいとする。

また、色レイアウト特徴量について、前述した条件(１Ａ)の判定方法における部分画像代表色であるための割合値の閾値が０．３とすると、すべての部分画像は、閾値以上の割合値を持つ部分色空間を持ち、部分画像の代表色を持つことになる。

また、色レイアウト特徴量の条件(２Ａ)の判定方法における集中度ＳＣを求めるための（１）式（第１３図参照）のＮを６として、第１０図の割合値を持つ部分画像代表色の集中度ＳＣを計算した結果、第１１図に示した値になったとする。集中度ＳＣは、［０．０，１．０］の範囲をとり、値が大きいほど集中しているとする。

ここで、色レイアウト特徴量の条件(２Ａ)の判定方法における集中度ＳＣの閾値を０．６とすると、第１１図に示した右下の部分画像以外は、閾値以上の集中度を持つため条件(２Ａ)を満たす。同右下の部分画像は、条件(２Ａ)を満たさないということになる。

最後に、色レイアウト特徴との適合性を判定する基準である条件(１Ａ)と条件(２Ａ)を共に満たす部分画像数の閾値を１４個とした場合、キー画像データ２００は、第１１図に示した右下の部分画像を除く１５個の部分画像について条件(１Ａ)と条件(２Ａ)をともに満たすので、色レイアウト特徴との適合性があると判定される。

第７図に示したステップＳＤ２では、適合性判定部１０４は、テクスチャ特徴量の適合性を判定する。すなわち、適合性判定部１０４は、第１４図（ａ）に示したように、キー画像データ２００を縦横二等分で四分割し、各部分画像からテクスチャ特徴量をベクトル値として抽出する。

つぎに、適合性判定部１０４は、各ベクトル値の間の分散値を、例えば、０．７として計算する。

ここで、分散値は、［０．０，１．０］の範囲をとり、値が大きいほど分散が大きいとする。

ここで、キー画像データ２００とテクスチャ特徴量との適合性を判定する分散値に対する閾値が０．６であったとすると、キー画像データ２００の分散値が閾値以上である。従って、この場合には、キー画像データ２００は、テクスチャの一様性がないということで、テクスチャ特徴量との適合性がないと判定される。

第７図に示したステップＳＤ３では、適合性判定部１０４は、形状特徴量の適合性を判定する。すなわち、適合性判定部１０４は、第１５図（ｂ）に示したように、キー画像データ２００の中心から角度が22.5度ごとに放射状に引いた線分に沿って、画像中心に向かう方向で画素を走査する。

ここで、適合性判定部１０４は、走査の過程で連続する画素の輝度値の差分を逐次計算し、所定の閾値を超える差分となった画素の座標値(x,y)を記憶する。差分の閾値は、例えば、差分の値の範囲が［０．０，１．０］である場合、０．８である。

以上を各走査線分について行った結果から得られる座標値について、隣り合う走査線分間の座標値の距離を積算した結果が１１５０であったとする。ここで、この積算値に対する閾値が１０００であったとすると、キー画像データ２００は、閾値より大きい積算値を持つことになり、形状特徴量に対する適合性がないと判定される。

以上より、キー画像データ２００については、色レイアウト特徴量とは適合性があるが、テクスチャ特徴量と形状特徴量とは適合性がないと判定される。

第６図に戻り、ステップＳＣ３では、特徴量データ抽出部１０３は、キー画像データ２００から、適合性があるタイプ（この場合、上記色レイアウト特徴量）に対応する特徴量データを抽出する。

ステップＳＣ４では、特徴量データ抽出部１０３は、ステップＳＣ３で抽出された特徴量データ（色レイアウト特徴量）を、キー画像データ２００に対応する画像ＩＤ（＝００００００４）と対応付けて、特徴量データベース１２０の色レイアウト特徴量データテーブル１２１（第３図参照）へ格納する。

なお、第３図では、テクスチャ特徴量データテーブル１２２および形状特徴量データテーブル１２３において、画像ＩＤ（＝００００００４）に対応する特徴量データが格納されているが、実際には格納されていない。

第６図に示したステップＳＣ５では、類似度計算部１０５は、第３図に示した色レイアウト特徴量データテーブル１２１から、画像ＩＤ（＝００００００４）に対応する特徴量データ（キー画像データ２００の色レイアウト特徴量）を取得する。この特徴量データは、ステップＳＣ２で、キー画像データ２００と適合性があると判定されたタイプ（色レイアウト特徴量）に対応している。

つぎに、適合性判定部１０４は、上記タイプ（色レイアウト特徴量）と、画像データベース１１０に格納されている検索対象の各画像データとの間で適合性の有無を判定する。

具体的には、適合性判定部１０４は、第７図に示したステップＳＤ１と同様にして、上記色レイアウト特徴量と各画像データとの間で適合性の有無を判定する。

なお、上記タイプがテクスチャ特徴量である場合、適合性判定部１０４は、第７図に示したステップＳＤ２と同様にして、上記テクスチャ特徴量と各画像データとの間で適合性の有無を判定する。

また、上記タイプが形状特徴量である場合、適合性判定部１０４は、第７図に示したステップＳＤ３と同様にして、上記形状特徴量と各画像データとの間で適合性の有無を判定する。

つぎに、類似度計算部１０５は、検索対象の全画像データの中から、上記適合性判定部１０４で適合性が無いと判定された画像データを除外し、適合性が有りと判定された画像データ（例えば、画像ＩＤ（＝００００００１、００００００２、００００００３）に対応する画像データ）に検索対象を絞り込む。

つぎに、類似度計算部１０５は、上記画像ＩＤ（＝００００００１、００００００２、００００００３）に対応する特徴量データ（画像データ１１１₁ 、１１１₂ および１１１₃ の色レイアウト特徴量）を取得する。

つぎに、類似度計算部１０５は、キー画像データ２００に対応する特徴量データ（色レイアウト特徴量）と、キー画像データ１１１₁ 、１１１₂ および１１１₃ にそれぞれ対応する特徴量データ（色レイアウト特徴量）との間のユークリッド距離を計算する。小数点第二位以下を四捨五入すると、結果（ユークリッド距離）は、次のようになる。
・キー画像データ２００と画像データ１１１₁：１１１．６
・キー画像データ２００と画像データ１１１₂：１０１．７
・キー画像データ２００と画像データ１１１₃： ７．１

上記結果においては、ユークリッド距離が短いほど、キー画像データ２００と検索対象の画像データとの類似度が高い。

従って、キー画像データ２００（色レイアウト特徴量）に対する類似度の順序は、第一位が画像データ１１１₃（第８図（ｄ）参照）、第二位が画像データ１１１₂（第８図（ｃ）参照）、第三位が画像データ１１１₁（第８図（ｂ））参照となる。

第６図に示したステップＳＣ６では、検索部１０６は、ステップＳＣ５で求められた類似度の順序で、画像データベース１１０（第２図参照）から検索結果としての画像データ１１１₃ 、画像データ１１１₂ および画像データ１１１₁ を取得する。

つぎに、検索部１０６は、表示部１０２に、第１６図に示した検索結果画面３００を表示させる。この検索結果画面３００では、色レイアウト特徴量を利用した場合の検索結果を表しており、同図左から右にかけて、キー画像データ２００、類似度が高い順に画像データ１１１₃ 、画像データ１１１₂ および画像データ１１１₁ が表示されている。

また、検索結果画面３００からわかるように、キー画像データ２００（風景写真）に対して、人間にとってより似ていると感じる画像データ１１１₃ （風景写真）が最も類似度が高い位置に表示され、似ていると感じられない画像データ１１１₂ および画像データ１１１₃ がその後に表示される。

ここで、仮に、前述した適合性判定をせずに、テクスチャ特徴量に対応する特徴量データを利用して画像検索を行った場合には、テクスチャ特徴量データテーブル１２２（第３図参照）に格納された特徴量データ（テクスチャ特徴量）を用いて、キー画像データ２００と検索対象画像データ（画像データ１１１₁ 〜１１１₃ ）との間のユークリッド距離は次のようになる。
・キー画像データ２００と画像データ１１１₁： ９．２
・キー画像データ２００と画像データ１１１₂：１２．８
・キー画像データ２００と画像データ１１１₃：６４．７

従って、キー画像データ２００（テクスチャ特徴量）に対する類似度の順序は、第一位が画像データ１１１₁（第８図（ｂ）参照）、第二位が画像データ１１１₂（第８図（ｃ）参照）、第三位が画像データ１１１₃（第８図（ｄ）参照）となる。

この場合、検索部１０６は、表示部１０２に、第１７図に示した検索結果画面３１０を表示させる。この検索結果画面３１０では、テクスチャ特徴量を利用した場合の検索結果を表しており、同図左から右にかけて、キー画像データ２００、類似度が高い順に画像データ１１１₁ 、画像データ１１１₂ および画像データ１１１₃ が表示されている。

また、検索結果画面３１０からわかるように、キー画像データ２００（風景写真）に対して、人間にとって似ていると感じられない画像データ１１１₁ が最も類似度が高い位置に表示され、より似ていると感じられる画像データ１１１₃ が最も類似度が低い位置に表示される。

また、仮に、前述した適合性判定をせずに、形状特徴量に対応する特徴量データを利用して画像検索を行った場合には、形状特徴量データテーブル１２３（第３図参照）に格納された特徴量データ（形状特徴量）を用いて、キー画像データ２００と検索対象画像データ（画像データ１１１₁ 〜１１１₃ ）との間のユークリッド距離は次のようになる。
・キー画像データ２００と画像データ１１１₁： ３．７
・キー画像データ２００と画像データ１１１₂：６６．３
・キー画像データ２００と画像データ１１１₃：３１．７

従って、キー画像データ２００（形状特徴量）に対する類似度の順序は、第一位が画像データ１１１₁（第８図（ｂ）参照）、第二位が画像データ１１１₃（第８図（ｄ）参照）、第三位が画像データ１１１₂（第８図（ｃ）参照）となる。

この場合、検索部１０６は、表示部１０２に、第１８図に示した検索結果画面３２０を表示させる。この検索結果画面３２０では、形状特徴量を利用した場合の検索結果を表しており、同図左から右にかけて、キー画像データ２００、類似度が高い順に画像データ１１１₁ 、画像データ１１１₃ および画像データ１１１₂ が表示されている。

また、検索結果画面３２０からわかるように、キー画像データ２００（風景写真）に対して、人間にとって似ていると感じられない画像データ１１１₁ が類似度が高い位置に表示され、より似ていると感じられる画像データ１１１₃ が類似度が中の位置に表示される。

以上説明したように、一実施の形態によれば、キー画像データ２００から抽出された各特徴量のタイプ（色レイアウト特徴量、テクスチャ特徴量、形状特徴量）について、人間の類似感覚に合致した類似度が計算されるか否かを適合性の有無として判定し、この判定結果に基づいて、キー画像データ２００と検索対象の各画像データとの類似度を計算し、類似度に対応する画像データを検索結果（第１６図〜第１８図参照）として出力することとしたので、類似度を計算する際に適用される特徴量のタイプの選択ミスが防止され、検索精度を高めることができる。

また、一実施の形態によれば、第６図に示したステップＳＣ５で、キー画像２００について適合性が有ると判定された特徴量のタイプと検索対象の各画像データとの適合性の有無を判定し、各画像データについて適合性が無しと判定された画像データを検索対象から除外し、適合性が有ると判定された各画像データを検索対象として絞り込み、タイプの特徴量を用いて、キー画像２００と該検索対象の各画像データとの類似度を計算することとしたので、検索対象の絞り込みにより、さらに検索精度や検索効率を高めることができる。

以上本発明にかかる一実施の形態について図面を参照して詳述してきたが、具体的な構成例はこの一実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。

例えば、前述した一実施の形態においては、第１図に示した画像検索装置１００の機能を実現するためのプログラムを第１９図に示したコンピュータ読み取り可能な記録媒体５００に記録して、この記録媒体５００に記録されたプログラムをコンピュータ４００に読み込ませ、実行することにより画像検索装置１００の機能を実現してもよい。

コンピュータ４００は、上記プログラムを実行するＣＰＵ（Central Processing Unit）４１０と、キーボード、マウス等の入力装置４２０と、各種データを記憶するＲＯＭ（Read Only Memory）４３０と、演算パラメータ等を記憶するＲＡＭ（Random Access Memory）４４０と、記録媒体５００からプログラムを読み取る読取装置４５０と、ディスプレイ、プリンタ等の出力装置４６０と、装置各部を接続するバス４７０とから構成されている。

ＣＰＵ４１０は、読取装置４５０を経由して記録媒体５００に記録されているプログラムを読み込んだ後、プログラムを実行することにより、画像検索装置１００の機能を実現する。なお、記録媒体５００としては、光ディスク、フレキシブルディスク、ハードディスク等が挙げられる。

また、一実施の形態においては、適合性判定部１０４により適合性が有ると判定されたタイプ（色レイアウト特徴量、テクスチャ特徴量等）が複数存在する場合、類似度計算部１０５で、タイプ毎に計算された類似度を統合した結果を類似度の計算結果とするように構成してもよい。

この構成によれば、適合性が有ると判定されたタイプが複数存在する場合、タイプ毎に計算された類似度を統合した結果を類似度の計算結果とすることとしたので、総合的な観点より検索精度を高めることができる。

また、一実施の形態では、適合性判定部１０４により適合性が有ると判定されたタイプ（色レイアウト特徴量、テクスチャ特徴量等）が複数存在する場合、複数のタイプの中から一つのタイプをユーザに選択させ、ユーザにより選択されたタイプの特徴量を用いて、キー画像データ２００と検索対象の各画像データとの類似度を類似度計算部１０５で計算するように構成してもよい。

また、一実施の形態では、適合性判定部１０４における適合性の判定結果についてユーザに承認させ、ユーザの承認を受けた判定結果に基づいて、キー画像データ２００と検索対象の各画像データとの類似度を類似度計算部１０５で計算するように構成してもよい。

かかる構成によれば、ユーザに対して、最適な特徴量のタイプの選択に関する支援を行うことができ、画像検索にかかるユーザインタフェースを向上させることができる。

以上説明したように、本発明によれば、キー画像から抽出された各特徴量のタイプについて、人間の類似感覚に合致した類似度が計算されるか否かを適合性の有無として判定し、この判定結果に基づいて、キー画像と検索対象の各画像との類似度を計算し、類似度に対応する画像を検索結果として出力することとしたので、類似度を計算する際に適用される特徴量のタイプの選択ミスが防止され、検索精度を高めることができるという効果を奏する。

また、本発明によれば、キー画像について適合性が有ると判定された特徴量のタイプと検索対象の各画像との適合性の有無を判定し、各画像について適合性が無しと判定された画像を検索対象から除外し、適合性が有ると判定された各画像を検索対象として絞り込み、タイプの特徴量を用いて、キー画像と該検索対象の各画像との類似度を計算することとしたので、検索対象の絞り込みにより、さらに検索精度や検索効率を高めることができるという効果を奏する。

また、本発明によれば、適合性が有ると判定されたタイプが複数存在する場合、タイプ毎に計算された類似度を統合した結果を類似度の計算結果とすることとしたので、総合的な観点より検索精度を高めることができるという効果を奏する。

また、本発明によれば、適合性が有ると判定されたタイプが複数存在する場合、複数のタイプの中から一つのタイプをユーザに選択させ、選択されたタイプの特徴量を用いて、キー画像と検索対象の各画像との類似度を計算することとしたので、ユーザに対して、最適な特徴量のタイプの選択に関する支援を行うことができ、画像検索にかかるユーザインタフェースを向上させることができるという効果を奏する。

また、本発明によれば、適合性の判定結果についてユーザに承認させ、承認を受けた判定結果に基づいて、キー画像と検索対象の各画像との類似度を計算することとしたので、ユーザに対して、最適な特徴量のタイプの選択に関する支援を行うことができ、画像検索にかかるユーザインタフェースを向上させることができるという効果を奏する。

以上のように、本発明にかかる画像検索プログラムは、複数タイプ（例えば、色レイアウト特徴量、テクスチャ特徴量、形状特徴量）の特徴量データを用いた画像検索に対して有用である。

第１図は、本発明にかかる一実施の形態の構成を示すブロック図である。 第２図は、第１図に示した画像データベース１１０のテーブル構造を示す図である。 第３図は、第１図に示した特徴量データベース１２０のテーブル構造を示す図である。 第４図は、同一実施の形態の動作を説明するフローチャートである。 第５図は、第４図に示した特徴量データ格納処理を説明するフローチャートである。 第６図は、第４図に示した検索処理を説明するフローチャートである。 第７図は、第６図に示した適合性判定処理を説明するフローチャートである。 第８図は、第６図に示した検索処理を説明する図である。 第９図は、同一実施の形態における色レイアウト特徴量に関する適合性判定を説明する図である。 第１０図は、同一実施の形態における色レイアウト特徴量に関する適合性判定を説明する図である。 第１１図は、同一実施の形態における色レイアウト特徴量に関する適合性判定を説明する図である。 第１２図は、同一実施の形態における色レイアウト特徴量を説明する図である。 第１３図は、同一実施の形態における色レイアウト特徴量に関する適合性判定に用いられる計算式を示す図である。 第１４図は、同一実施の形態におけるテクスチャ特徴量に関する適合性判定を説明する図である。 第１５図は、同一実施の形態における形状特徴量に関する適合性判定を説明する図である。 第１６図は、同一実施の形態において色レイアウト特徴量を利用した場合の検索結果画面３００を示す図である。 第１７図は、同一実施の形態においてテクスチャ特徴量を利用した場合の検索結果画面３１０を示す図である。 第１８図は、同一実施の形態において形状特徴量を利用した場合の検索結果画面３２０を示す図である。 第１９図は、同一実施の形態の変形例の構成を示すブロック図である。

Claims (4)

1. コンピュータを、
   キー画像から複数タイプの特徴量を抽出する特徴量抽出手段、
   前記特徴量抽出手段により抽出された特徴量のタイプについて、人間の類似感覚に合致した類似度が計算されるか否かを決定する所定の条件に基づいて、キー画像との適合性の有無を判定し、適合性が有ると判定した特徴量のタイプと検索対象の各画像との間で適合性の有無を判定する適合性判定手段、
   前記適合性判定手段により前記特徴量のタイプと検索対象の各画像との間で適合性の有無が判定された結果、適合性が無いと判定された画像については検索対象から除外したうえで、前記キー画像との適合性があると判定されたタイプの特徴量を用いて、前記キー画像と検索対象の各画像との類似度を計算する類似度計算手段、
   前記類似度に対応する画像を検索結果として出力する検索結果出力手段、
   として機能させるための画像検索プログラム。
2. 前記類似度計算手段は、前記適合性判定手段により適合性が有ると判定されたタイプが複数存在する場合、タイプ毎に計算された類似度を統合した結果を類似度の計算結果とすることを特徴とする請求の範囲第１項に記載の画像検索プログラム。
3. 前記適合性判定手段は、前記適合性判定手段により適合性が有ると判定されたタイプが複数存在する場合、複数のタイプの中から一つのタイプをユーザに選択させ、
   前記類似度計算手段は、前記ユーザにより選択されたタイプの特徴量を用いて、前記キー画像と検索対象の各画像との類似度を計算することを特徴とする請求の範囲第１項記載の画像検索プログラム。
4. 前記適合性判定手段は、前記適合性の判定結果についてユーザに承認させ、
   前記類似度計算手段は、前記ユーザの承認を受けた判定結果に基づいて、前記キー画像と検索対象の各画像との類似度を計算することを特徴とする請求の範囲第１項に記載の画像検索プログラム。

Images