JP4340367B2 - Image classification apparatus and computer-readable recording medium storing a program for causing a computer to function as the apparatus - Google Patents

Description

【００７０】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【００７１】
Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図５の画像表示欄２０２に表示する（Ｓ１０４）。ここでは、総合類似度として、検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【００７２】
なお、画像表示欄２０２には検索対象の画像を全て表示する必要はなく、予め定めた数の画像のみを表示したり、予め定めた閾値以下（総合類似度が画像間の距離で表されている場合）の総合類似度を得た画像のみを表示することにしても良い。すなわち、検索結果をどのように表示するかについては任意に設定・変更することが可能である（以下の実施の形態においても同様）。
【００７３】
また、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、画像表示欄２０２に表示された画像をマウス１０５でクリックすることにより、画像を拡大して表示する処理を行うことも可能である。
【００７４】
このように、実施の形態１に係る画像検索装置によれば、問合せ画像および検索対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの問合せ画像を指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を対応する種類の特徴量を用いて求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。
【００７５】
例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。
【００７６】
なお、実施の形態１の説明において、全ての種類の特徴量にそれぞれ対応して問合せ画像を指定することにしたが、必ず全ての種類の特徴量に対応して問合せ画像を指定する必要はない。また、色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類および数を限定することを意図したものではない。
【００７７】
〔実施の形態２〕
実施の形態２に係る画像検索装置は、実施の形態１の場合と同様に、単に問合せ画像を検索条件として指定するのみでは問合せ画像とユーザが検索結果として希望する画像との類似観点を装置に伝えられないという点を考慮したものであって、複数の問合せ画像と検索に使用する特徴量の種類とを指定することによって、ユーザが適切と考える仮想的な一つの問合せ画像を表現できるようにしたものである。なお、実施の形態２に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。
【００７８】
図７は検索時に使用される検索ウインドウを示す説明図であり、図８は実施の形態２に係る画像検索処理を示すフローチャートである。図２のＵ／Ｉ部１５１は、画像検索処理を実行する際に図７に示す検索ウインドウ２００ｂを図１に示したモニタ１０６上に画面表示する。検索ウインドウ２００ｂは、複数の問合せ画像を指定するための画像指定欄Ａ，ＢおよびＣと、各画像指定欄に指定した問合せ画像毎に、検索対象の画像との類似度を求める際に使用する特徴量の種類を指定するための特徴量指定ボタン２０３と、画像検索処理の実行を指定するための検索ボタン２０１と、検索結果の画像を表示する画像表示欄２０２と、を備えている。
【００７９】
実施の形態１で説明したように、前提として、ユーザが検索結果として希望する画像を適切に表現した一枚の画像は存在しないが、例えば、検索結果として希望する画像に画像の配色の雰囲気が似た画像Ａ，画像の構造の雰囲気が似た画像Ｂおよび画像中のテクスチャの雰囲気が似た画像Ｃが見つかったものとする。
【００８０】
ユーザは、図７に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定する（Ｓ２０１）。
【００８１】
具体的に、ユーザは、図７に示すように３枚の画像Ａ，ＢおよびＣを画像指定欄Ａ，ＢおよびＣに問合せ画像として指定する。そして、ユーザは、検索結果として希望する画像に画像の配色の雰囲気が似ている問合せ画像Ａについては、特徴量指定ボタン２０３において「色」を指定する。同様に、検索結果として希望する画像に画像の構造の雰囲気が似ている問合せ画像Ｂについては「構造」を、画像中のテクスチャの雰囲気が似ている問合せ画像Ｃについては「テクスチャ」を指定する。
【００８２】
このように、単に問合せ画像を複数指定するだけでなく、指定した各問合せ画像毎にユーザが重視する画像の特徴に該当する特徴量を指定することにより、ユーザが適切と考える仮想的な一つの問合せ画像を表現できると共に、検索に対するユーザの意図を装置側に正確に伝えることが可能となる。したがって、後述する検索処理によって、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【００８３】
ただし、図７においては、各問合せ画像に対してそれぞれ異なる種類の特徴量を指定することにしたが、同一種類の特徴量を指定しても良い。すなわち、複数の問合せ画像全てに同一種類の特徴量を指定しても良い。
【００８４】
そして、ユーザが図７の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣ，ならびに特徴量の種類を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから指定された種類の特徴量を抽出する処理を実行する（Ｓ２０２）。すなわち、特徴抽出エンジン１５２は、問合せ画像Ａから色の特徴量を、問合せ画像Ｂから構造の特徴量を、問合せ画像Ｃからテクスチャの特徴量を抽出する。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【００８５】
なお、問合せ画像Ａ，ＢおよびＣから抽出した特徴量が画像特徴ＤＢ１０９に登録されている場合には、図８のステップＳ２０２の処理をスキップすることができる。
【００８６】
続いて、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、ユーザが指定した種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ２０３）。
【００８７】
このステップＳ２０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。この画像間の距離が、二つの画像の類似度に該当し、距離が短いほど二つの画像が色の特徴において類似していることになる。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求めると共に、テクスチャの特徴量に基づいて検索対象の画像と問合せ画像Ｃとの距離を求める。
【００８８】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、特徴量ｊの画像間の距離式をＤ_j（）、ｋ番目の画像の特徴量ｊの指定の有無をｔ_jk（指定されていれば１、指定されていなければ０）とすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。
【００８９】
【数２】

【００９０】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【００９１】
Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図７の画像表示欄２０２に表示する（Ｓ２０４）。ここでは、総合類似度として、検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【００９２】
なお、画像表示欄２０２には検索対象の全ての画像を表示する必要はなく、予め定めた数の画像のみを表示したり、予め定めた閾値以下（総合類似度が画像間の距離で表されている場合）の総合類似度を得た画像のみを表示することにしても良い。
【００９３】
また、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、画像表示欄２０２に表示された画像をマウス１０５でクリックすることにより、画像を拡大して表示する処理を行うことも可能である。
【００９４】
このように、実施の形態２に係る画像検索装置によれば、問合せ画像を複数指定すると共に、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定し、検索対象の画像毎に、指定された種類の特徴量を用いて各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。
【００９５】
例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。加えて、指定した各問合せ画像毎にユーザが希望する特徴量を指定することができるため、実施の形態１に係る画像検索装置に比べ、検索条件を自由に設定することができる。
【００９６】
なお、実施の形態２の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。すなわち、問合せ画像を１枚のみ指定しても同様の方法で検索処理を行うことができるが、実施の形態２においては複数枚指定することに意味がある。また、色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類を限定することを意図したものではない。
【００９７】
〔実施の形態３〕
実施の形態３に係る画像検索装置は、実施の形態２の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。
【００９８】
図９は、実施の形態３に係る画像検索装置において用いられる検索ウインドウ２００ｃを示す説明図である。図９に示す検索ウインドウ２００ｃは、図７に示した検索ウインドウ２００ｂの構成に加えて、画像指定欄Ａ，ＢおよびＣに指定された問合せ画像毎に相対的な重要度を指定するための重要度指定バー２０４を備えている。
【００９９】
実施の形態１および２で説明したように、前提として、ユーザが検索結果として希望する画像を適切に表現した一枚の画像は存在しないが、例えば、検索結果として希望する画像に画像の配色の雰囲気が似た画像Ａ，画像の構造の雰囲気が似た画像Ｂおよび画像中のテクスチャの雰囲気が似た画像Ｃが見つかったものとする。
【０１００】
ユーザは、図９に示すように、これら３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに問合せ画像Ａ，ＢおよびＣとして指定する。つぎにユーザは、検索結果として希望する画像に画像の配色の雰囲気が似ている問合せ画像Ａについては特徴量指定ボタン２０３において「色」を指定する。同様に、検索結果として希望する画像に画像の構造の雰囲気が似ている問合せ画像Ｂについては「構造」を、画像中のテクスチャの雰囲気が似ている問合せ画像Ｃについては「テクスチャ」を指定する。
【０１０１】
続いて、ユーザは重要度指定バー２０４を用いて各問合せ画像に重要度を指定する。この重要度指定バー２０４は、一例として、各問合せ画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することができるように構成されている。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０１０２】
例えば、問合せ画像Ａ，ＢおよびＣのうち、検索結果として希望する画像に類似する配色を持った問合せ画像Ａが最も重要である、即ち、検索結果として問合せ画像Ａのような配色の画像が特に欲しいとユーザが感じる場合、ユーザは重要度指定バー２０４を「＋」方向の所望の位置に移動させ、問合せ画像Ａは重要であることを指定する。このようにして重要度が指定されると、後述する検索時において、検索対象の画像と問合せ画像Ａとの類似度に対し、問合せ画像Ａに対して指定された重要度に応じた「＋」の重み付けが行われる。
【０１０３】
なお、例えば、問合せ画像Ｃのようなテクスチャの画像は検索結果として欲しくないとユーザが感じる場合、ユーザは重要度指定バー２０４を「−」方向の所望の位置に移動させる。すなわち、「−」方向の重要度を指定することによりＮＯＴ条件を問合せ画像に付与することができる。したがって、こんな特徴を有する画像は検索結果として欲しくないとユーザが考える画像を問合せ画像として指定することも可能である。この場合、検索対象の画像と問合せ画像Ｃとの類似度に対し、問合せ画像Ｃに対して指定された重要度に応じた「−」の重み付けが行われることになる。
【０１０４】
このように、問合せ画像毎にユーザが重要度を指定することを可能にすることにより、検索に対するユーザの意図を検索条件として正確に表現することが可能となる。すなわち、後述する検索処理によって、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。なお、必ず重要度を指定しなければならないわけではなく、ユーザが希望する場合に、希望する問合せ画像に対して指定すれば良い。
【０１０５】
つぎに、実施の形態３に係る画像検索装置による画像検索処理について説明する。図１０は、実施の形態３に係る検索処理を示すフローチャートである。ユーザは、図９に示した各画像指定欄に問合せ画像を複数指定し、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定すると共に、必要に応じて重要度を指定する（Ｓ３０１）。図９に示したように、ユーザは、問合せ画像Ａ，ＢおよびＣを指定し、各問合せ画像Ａ，ＢおよびＣ毎に特徴量の種類および重要度を指定したものとする。
【０１０６】
続いて、ユーザが図９の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣ，ならびに特徴量の種類を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから指定された種類の特徴量を抽出する処理を実行する（Ｓ３０２）。すなわち、特徴抽出エンジン１５２は、問合せ画像Ａから色の特徴量を、問合せ画像Ｂから構造の特徴量を、問合せ画像Ｃからテクスチャの特徴量を抽出する。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０１０７】
続いて、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、ユーザが指定した種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ３０３）。
【０１０８】
このステップＳ３０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、重要度指定バー２０４で指定された問合せ画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求め、求めた距離に対して問合せ画像Ｂの重要度に応じた重み付けを行うと共に、テクスチャの特徴量に基づいて検索対象の画像と問合せ画像Ｃとの距離を求め、求めた距離に対して問合せ画像Ｃの重要度に応じた重み付けを行う。
【０１０９】
なお、重み付けの対象となる類似度は画像同士の特徴量間の距離であるため、「＋」の重要度に基づく「＋」の重み付けは画像間の距離を短くする方向に働き、「−」の重要度に基づく「−」の重み付けは画像間の距離を長くする方向に働くことになる。
【０１１０】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、特徴量ｊの画像間の距離式をＤ_j（）、ｋ番目の画像の特徴量ｊの重要度をｗ_jk（該当する特徴が指定されていなければ０）とすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。
【０１１１】
【数３】

【０１１２】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１１３】
Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図９の画像表示欄２０２に表示する（Ｓ３０４）。ここでは、総合類似度として、検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１１４】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、画像表示欄２０２に表示された画像をマウス１０５でクリックすることにより、画像を拡大して表示する処理を行うことも可能である。
【０１１５】
このように、実施の形態３に係る画像検索装置によれば、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０１１６】
なお、実施の形態３の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。ただし、実施の形態３においては、問合せ画像毎に重要度を指定するため、複数枚の問合せ画像を指定することに意味がある。
【０１１７】
また、詳細な説明については省略するが、実施の形態１で説明した画像検索装置においても、実施の形態３で説明したように各問合せ画像毎に重要度を指定することができるようにしても良い。
【０１１８】
〔実施の形態４〕
実施の形態４に係る画像検索装置は、ユーザの意図を検索条件として正確に表現するための一つの手法として、ＡＮＤ検索を実行可能にするものである。なお、実施の形態４に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。
【０１１９】
図１１は、実施の形態４に係る画像検索装置において用いられる検索ウインドウ２００ｄを示す説明図である。この検索ウインドウ２００ｄは、画像指定欄Ａ，ＢおよびＣ，検索ボタン２０１ならびに画像表示欄２０２に加え、ＡＮＤ検索の実行を指定するためのＡＮＤ指定ボタン２０５およびＯＲ検索の実行を指定するためのＯＲ指定ボタン２０６を備えている。ＯＲ検索については、後述する実施の形態８において詳細に説明することにし、ここではＡＮＤ検索についてのみ説明する。また、検索の際に用いる特徴量は一種類であるものとするが、当然、複数種類の特徴量を用いることにしても良い。
【０１２０】
続いて、実施の形態４に係る画像検索装置による画像検索処理について説明する。図１２は、実施の形態４に係る画像検索処理を示すフローチャートである。ユーザは、図１１に示した各画像指定欄に問合せ画像を複数指定し、ＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ４０１）。図１１に示したように、ユーザは、３枚の問合せ画像Ａ，ＢおよびＣを指定したものとする。
【０１２１】
続いて、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ４０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０１２２】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ４０３）。
【０１２３】
このステップＳ４０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求めると共に、検索対象の画像と問合せ画像Ｃとの距離を求める。
【０１２４】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、画像間の距離式をＤ（）とすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。
【０１２５】
【数４】

【０１２６】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１２７】
なお、複数種類の特徴量を用いて検索を行う場合は、各種類の特徴量毎に検索対象の画像および各問合せ画像の類似度（距離）を求め、検索対象の画像毎に、特徴量毎に求めた各問合せ画像との類似度の全てを合計して総合類似度を求めれば良い。
【０１２８】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ４０４）。ここでの総合類似度は、問合せ画像Ａ，ＢおよびＣの全てに対する検索対象の各画像の類似度を意味しているため、画像のＡＮＤ検索が実行されたことになる。ただし、ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１２９】
そして、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０１３０】
このように、実施の形態４に係る画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ＡＮＤ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。
【０１３１】
なお、実施の形態４の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。
【０１３２】
〔実施の形態５〕
実施の形態５に係る画像検索装置は、実施の形態４の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。
【０１３３】
図１３は、実施の形態５に係る画像検索装置において用いられる検索ウインドウ２００ｅを示す説明図である。図１３に示す検索ウインドウ２００ｅは、図１１に示した検索ウインドウ２００ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各問合せ画像毎に相対的な重要度を指定する重要度指定バー２０７を備えている。
【０１３４】
この重要度指定バー２０７は、実施の形態３で説明したように、各問合せ画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。したがって、ユーザが重要と考える問合せ画像に対して「＋」の重要度を指定し、このような画像に類似する画像は検索結果として欲しくないと考える場合は該当する問合せ画像に対して「−」の重要度を指定することができる。指定した重要度は、求めた類似度に対する重み付けとして検索結果に反映される。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０１３５】
つぎに、実施の形態５に係る画像検索装置による画像検索処理について説明する。図１４は、実施の形態５に係る検索処理を示すフローチャートである。ユーザは、図１３に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に必要に応じて重要度を指定し、さらにＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ５０１）。図１３に示したように、ユーザは、問合せ画像Ａ，ＢおよびＣを指定し、指定した各問合せ画像Ａ，ＢおよびＣ毎に任意の重要度を指定したものとする。
【０１３６】
そして、ユーザが図１３の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ５０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０１３７】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ５０３）。
【０１３８】
このステップＳ５０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｅにおいて指定された問合せ画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を求め、求めた距離に対して問合せ画像Ｂの重要度に応じた重み付けを行うと共に、検索対象の画像と問合せ画像Ｃとの距離を求め、求めた距離に対して問合せ画像Ｃの重要度に応じた重み付けを行う。
【０１３９】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、画像間の距離式をＤ（）、ｋ番目の画像の重要度をｗ_kとすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。
【０１４０】
【数５】

【０１４１】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１４２】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１３の画像表示欄２０２に表示する（Ｓ５０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１４３】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０１４４】
このように、実施の形態５に係る画像検索装置によれば、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０１４５】
なお、実施の形態５の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。
【０１４６】
〔実施の形態６〕
実施の形態６に係る画像検索装置は、実施の形態４の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。
【０１４７】
図１５は、実施の形態６に係る画像検索装置において用いられる検索ウインドウ２００ｆを示す説明図である。図１５に示す検索ウインドウ２００ｆは、図１１に示した検索ウインドウ２００ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各問合せ画像Ａ，ＢおよびＣ毎に、検索に使用される特徴量の種類毎の重要度を指定する重要度指定バー２０８を備えている。なお、検索に使用される特徴量としては、一例として、色，構造およびテクスチャの３種類を用いるものとする。
【０１４８】
重要度指定バー２０８は、各種類の特徴量毎の重要度を各問合せ画像毎に指定することを可能とするものであって、実施の形態３の重要度指定バー２０４（図９参照）で説明したように「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０１４９】
具体的に、この重要度の指定方法を図１５の問合せ画像Ａを例にとって説明する。例えば、問合せ画像Ａにおける配色は検索結果として希望する画像に近いと考える場合、ユーザは色の重要度指定バー２０８を操作して「＋」の重要度を指定する。一方、問合せ画像Ａにおける構造は検索結果として希望する画像とはほとんど似ていないと考える場合、ユーザは構造の重要度指定バー２０８を操作して「−」の重要度を指定する。
【０１５０】
そして、後に説明する検索処理において、問合せ画像Ａと検索対象の画像の類似度が色の特徴量，構造の特徴量およびテクスチャの特徴量毎に求められる。上記例においては、色の特徴量に「＋」の重要度が、構造の特徴量に「−」の特徴量が指定されているため、色の特徴量を用いて求めた類似度に対して「＋」の重要度に応じた「＋」の重み付けが行われ、構造の特徴量を用いて求めた類似度に対して「−」の重要度に応じた「−」の重み付けが行われる。この処理は、検索対象の各画像との類似度に対して実行される。
【０１５１】
問合せ画像ＢおよびＣについても、上述した特徴量毎の重要度を指定することにより、問合せ画像Ａのような処理が実行されることになる。
【０１５２】
このように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することにより、検索に対するユーザの意図を確実に装置側に伝えることが可能となる。そして、検索処理によって、重要度は各種類の特徴量毎に求めた類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。なお、必ず重要度を指定しなければならないわけではなく、ユーザが希望する場合に、希望する問合せ画像の任意の特徴量に対して指定すれば良い。
【０１５３】
つぎに、実施の形態６に係る画像検索装置による画像検索処理について説明する。図１６は、実施の形態６に係る検索処理を示すフローチャートである。ユーザは、図１５に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に特徴量の種類毎の重要度を指定し、さらにＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ６０１）。図１５に示したように、ユーザは、問合せ画像Ａ，ＢおよびＣを指定し、各種類の特徴量毎の重要度を各問合せ画像Ａ，ＢおよびＣ毎に指定したものとする。
【０１５４】
そして、ユーザが図１５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ６０２）。その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０１５５】
続いて、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ６０３）。
【０１５６】
このステップＳ６０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｆにおいて問合せ画像Ａに対して指定された色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、検索ウインドウ２００ｆで問合せ画像Ａに対して指定された構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０１５７】
マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。
【０１５８】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、特徴量ｊの画像間の距離式をＤ_j（）、ｋ番目の画像の特徴量ｊの重要度をｗ_jkとすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。
【０１５９】
【数６】

【０１６０】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１６１】
Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１５の画像表示欄２０２に表示する（Ｓ６０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１６２】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０１６３】
このように、実施の形態６に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、問合せ画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することが可能であり、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０１６４】
なお、実施の形態６の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０１６５】
〔実施の形態７〕
実施の形態７に係る画像検索装置は、実施の形態４の画像検索装置において、検索に対するユーザの意図を装置側が汲み取ることができるようにしたものである。
【０１６６】
前述した実施の形態５および６においては、ユーザが問合せ画像の重要度または問合せ画像毎に各特徴量の重要度を指定する必要があったが、実施の形態７に係る画像検索装置においては、画像検索に使用する特徴量を用いてユーザによって指定された問合せ画像間の類似度を求め、求めた特徴量毎の類似度に基づいて各問合せ画像間における特徴量毎の重要度を装置側で決定し、類似度に対する重み付けとして反映するという点が特徴となる。ここでは、例として、色，構造およびテクスチャの３種類の特徴量を用いて検索処理を行うものとし、検索条件を指定するための検索ウインドウは図１１に示した検索ウインドウ２００ｄと同一であるものとする。
【０１６７】
つぎに、実施の形態７に係る画像検索装置による画像検索処理について説明する。図１７は、実施の形態７に係る検索処理を示すフローチャートである。ユーザは、図１１に示した検索ウインドウ２００ｄを表示させ、各画像指定欄に問合せ画像を複数指定すると共に、ＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ７０１）。ユーザは、問合せ画像Ａ，ＢおよびＣを指定したものとする。
【０１６８】
そして、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ７０２）。
【０１６９】
続いて、特徴抽出エンジン１５２は、抽出した３種類の特徴量毎に、各問合せ画像Ａ，ＢおよびＣ同士の距離（類似度）を求め、求めた各特徴量毎の距離に基づいて各問合せ画像Ａ，ＢおよびＣ間における特徴量毎の重要度を決定する（Ｓ７０３）。
【０１７０】
具体的に、特徴抽出エンジン１５２は、３種類の特徴量毎に、問合せ画像同士の特徴間距離を求める。各特徴量毎に求めた距離の分散が大きい場合にはその特徴量についてはユーザは関知していないことを意味し、分散が小さい場合にはユーザはその特徴量を重視していると判断できる。したがって、分散が大きい特徴量の場合には重要度を小さくし、分散が小さい場合には重要度を大きくするように設定する。
【０１７１】
例えば、σ²を特徴ｉにおける全ての問合せ画像間の距離の分散とするとｉ番目の特徴量の重要度ｗ_kは以下の式で決定することができる。ｋはｗ_kが適正な値に収まるようにするための任意の係数である。
【０１７２】
【数７】

【０１７３】
なお、距離の分散の程度に応じて、前述した実施の形態３，５および６で説明したように、「＋」の重要度や「−」の重要度を設定することも可能である。
【０１７４】
その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量および対応する重要度をマッチング・エンジン１５３に渡す。
【０１７５】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ７０４）。
【０１７６】
このステップＳ７０４における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０１７７】
マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。
【０１７８】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１７９】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ７０５）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１８０】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０１８１】
このように、実施の形態７に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎に各問合せ画像間の類似度を求め、求めた各種類の特徴量毎の類似度に基づいて各問合せ画像間における各種類の特徴量毎の重要度を決定し、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、決定した各種類の特徴量毎の重要度に応じた重み付けを行うことにより、装置側でユーザが指定した問合せ画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った検索結果を返すことが可能となる。したがって、ユーザが望む通りの検索処理を実現することができ、ユーザが望む検索結果を得ることができる。
【０１８２】
なお、実施の形態７の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０１８３】
〔実施の形態８〕
実施の形態８に係る画像検索装置は、ユーザの意図を検索条件として正確に表現するための一つの手法として、ＯＲ検索を実行可能にするものである。実施の形態８に係る画像検索装置による画像検索処理は、実施の形態４で説明に用いた図１１の検索ウインドウ２００ｄにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。
【０１８４】
図１８は、実施の形態８に係る画像検索処理を示すフローチャートである。ユーザは、図１１に示した各画像指定欄に問合せ画像を複数指定し、ＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ８０１）。ユーザは、図１１に示すように３枚の問合せ画像Ａ，ＢおよびＣを指定したものとする。
【０１８５】
そして、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ８０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０１８６】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ８０３）。
【０１８７】
このステップＳ８０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求めると共に、検索対象の画像と問合せ画像Ｃとの距離を求める。
【０１８８】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。換言すれば、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択する。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、画像間の距離式をＤ（）とすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。
【０１８９】
【数８】

【０１９０】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１９１】
なお、複数種類の特徴量を用いて検索を行う場合は、各種類の特徴量毎に検索対象の画像および各問合せ画像の類似度（距離）を求め、検索対象の画像毎に、各種類の特徴量毎に求めた各問合せ画像との類似度の中から最も高い類似性を示す類似度（最も短い距離）を選択して総合類似度とすれば良い。
【０１９２】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ８０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１９３】
なお、実施の形態８においては、検索対象の画像が問合せ画像Ａ，ＢおよびＣのいずれか一つと類似していれば、高い類似性を示す総合類似度が得られる。したがって、ＯＲ検索が実現されることになる。
【０１９４】
また、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０１９５】
このように、実施の形態８に係る画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度の中から最も高い類似性を示す類似度を選択し、選択した類似度に基づいて検索結果を出力することにより、ＯＲ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。
【０１９６】
なお、実施の形態８の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。
【０１９７】
〔実施の形態９〕
実施の形態９に係る画像検索装置は、実施の形態８の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。実施の形態９に係る画像検索装置による画像検索処理は、実施の形態５で説明に用いた図１３の検索ウインドウ２００ｅにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。
【０１９８】
図１９は、実施の形態９に係る画像検索処理を示すフローチャートである。ユーザは、図１３に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に必要に応じて重要度を指定し、さらにＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ９０１）。ユーザは、図１３に示したように問合せ画像Ａ，ＢおよびＣを指定し、指定した各問合せ画像Ａ，ＢおよびＣ毎に任意の重要度を指定したものとする。
【０１９９】
そして、ユーザが図１３の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ９０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０２００】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ９０３）。
【０２０１】
このステップＳ９０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｅで指定された問合せ画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を求め、求めた距離に対して問合せ画像Ｂの重要度に応じた重み付けを行うと共に、検索対象の画像と問合せ画像Ｃとの距離を求め、求めた距離に対して問合せ画像Ｃの重要度に応じた重み付けを行う。
【０２０２】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、画像間の距離式をＤ（）、ｋ番目の画像の重要度をｗ_kとすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。
【０２０３】
【数９】

【０２０４】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０２０５】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１３の画像表示欄２０２に表示する（Ｓ９０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０２０６】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０２０７】
このように、実施の形態９に係る画像検索装置によれば、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０２０８】
なお、実施の形態９の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。
【０２０９】
〔実施の形態１０〕
実施の形態１０に係る画像検索装置は、実施の形態８の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。実施の形態１０に係る画像検索装置による画像検索処理は、実施の形態６で説明に用いた図１５の検索ウインドウ２００ｆにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。
【０２１０】
図２０は、実施の形態１０に係る画像検索処理を示すフローチャートである。ユーザは、図１５に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像に特徴量の種類毎の重要度を指定し、さらにＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ１００１）。ユーザは、図１５に示したように問合せ画像Ａ，ＢおよびＣを指定し、各種類の特徴量毎の重要度を各問合せ画像Ａ，ＢおよびＣ毎に指定したものとする。
【０２１１】
そして、ユーザが図１５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ１００２）。その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０２１２】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ１００３）。
【０２１３】
このステップＳ１００３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｆにおいて問合せ画像Ａに対して指定された色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、検索ウインドウ２００ｆで問合せ画像Ａに対して指定された構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０２１４】
マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。
【０２１５】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、特徴量ｊの画像間の距離式をＤ_j（）、ｋ番目の画像の特徴量ｊの重要度をｗ_jkとすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。
【０２１６】
【数１０】

【０２１７】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０２１８】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１５の画像表示欄２０２に表示する（Ｓ１００４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０２１９】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０２２０】
このように、実施の形態１０に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、問合せ画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することが可能であり、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０２２１】
なお、実施の形態１０の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０２２２】
〔実施の形態１１〕
実施の形態１１に係る画像検索装置は、実施の形態８の画像検索装置において、検索に対するユーザの意図を装置側が汲み取ることができるようにしたものである。実施の形態１１に係る画像検索装置による画像検索処理は、実施の形態８（実施の形態４）で説明に用いた図１１の検索ウインドウ２００ｄにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。
【０２２３】
図２１は、実施の形態１１に係る画像検索処理を示すフローチャートである。ユーザは、図１１に示した各画像指定欄に問合せ画像を複数指定すると共に、ＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ１１０１）。ユーザは、図１１に示したように問合せ画像Ａ，ＢおよびＣを指定したものとする。
【０２２４】
その後、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ１１０２）。
【０２２５】
続いて、特徴抽出エンジン１５２は、抽出した３種類の特徴量毎に、各問合せ画像Ａ，ＢおよびＣ同士の距離（類似度）を求め、求めた各特徴量毎の距離に基づいて各問合せ画像Ａ，ＢおよびＣ間における特徴量毎の重要度を決定する（Ｓ１１０３）。
【０２２６】
具体的に、特徴抽出エンジン１５２は、３種類の特徴量毎に、ユーザが指定した複数の問合せ画像同士の特徴間距離を求める。各特徴量毎に求めた距離の分散が大きい場合にはその特徴量についてはユーザは関知していないことを意味し、分散が小さい場合にはユーザはその特徴量を重視していると判断できる。したがって、分散が大きい特徴量の場合には重要度を小さくし、分散が小さい場合には重要度を大きくするように設定する。例えば、各特徴量の重要度は、実施の形態７で示した数７を用いて決定することができる。
【０２２７】
その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量および対応する重要度をマッチング・エンジン１５３に渡す。
【０２２８】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ１１０４）。
【０２２９】
このステップＳ１１０４における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０２３０】
マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。
【０２３１】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０２３２】
Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎の総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ１１０５）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０２３３】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０２３４】
このように、実施の形態１１に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎に各問合せ画像間の類似度を求め、求めた各種類の特徴量毎の類似度に基づいて各問合せ画像間における各種類の特徴量毎の重要度を決定し、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、決定した各種類の特徴量毎の重要度に応じた重み付けを行うことにより、装置側でユーザが指定した問合せ画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った検索結果を返すことが可能となる。したがって、ユーザが望む通りの検索処理を実現することができ、ユーザが望む検索結果を得ることができる。
【０２３５】
なお、実施の形態１１の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０２３６】
〔実施の形態１２〕
実施の形態１２に係る画像検索装置は、前述した実施の形態１〜１１と異なる視点で画像検索を行うことを可能にするものである。なお、実施の形態１２に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。
【０２３７】
実施の形態１２に係る画像検索装置は、検索時に使用する特徴量の粗さのレベル（視点の細かさ）をユーザが指定できるようにし、ユーザによって指定された粗さのレベルに対応する特徴量を利用して、問合せ画像および検索対象の画像の類似度を求めるというものである。ここで、特徴量の粗さとは、画像から抽出された特徴量が、抽出対象の画像の所定の特徴をどの程度忠実に表現しているかの度合いを示すものであると定義することにする。そこで、以下では、
１．特徴量抽出処理
２．画像検索処理
の順で実施の形態１２に係る画像検索装置によって実行される処理について説明する。
【０２３８】
１．特徴量抽出処理
ここでは、検索対象の画像については粗さの異なる複数の特徴量を予め抽出しておくことにし、問合せ画像のうち、特徴量が抽出されていない問合せ画像については検索実行時に特徴量を抽出することにする。検索対象の画像から特徴量を抽出するタイミングは、実施の形態１で説明したように、検索対象の画像を画像ＤＢ１０８に登録するときとする。そこで、図３を参照しつつ各画像から特徴量を抽出する処理について説明する。
【０２３９】
図２の特徴抽出エンジン１５２は、Ｕ／Ｉ部１５１を介して登録対象となる画像を入力し（Ｓ１１）、入力した画像から特徴量を抽出する処理を実行する（Ｓ１２）。
【０２４０】
実施の形態１２においては、例えば、少なくとも画像を何分割するかを表す分割数を特徴量の粗さのレベルとして段階的に定義した抽出基準に基づいて、特徴抽出エンジン１５２が画像から粗さの異なる特徴量を抽出できるようにしている。具体的に、抽出基準として例えば以下のような特徴量の粗さのレベルが定義されており、特徴抽出エンジン１５２は、ステップＳ１１で入力した画像から同一の特徴（色，構造等）について異なる粗さのレベルの特徴量を抽出する。なお、抽出される特徴量は粗さが異なるのみであって、特徴量の種類（例えば、色，構造等）は同一である
【０２４１】
・レベル１：図２２（ａ）に示すように、画像全体から特徴量１を抽出する。
・レベル２：図２２（ｂ）に示すように、画像を４分割して分割画像Ａ〜Ｄを生成し、各分割画像Ａ〜Ｄからそれぞれ特徴量Ａ〜Ｄを抽出することにより、一つの画像から特徴量Ａ〜Ｄからなる特徴量２（特徴量群）を抽出する。
・レベル３：図２２（ｃ）に示すように、画像を８分割して分割画像Ａ〜Ｈを生成し、各分割画像Ａ〜Ｈからそれぞれ特徴量Ａ〜Ｈを抽出することにより、一つの画像から特徴量Ａ〜Ｈからなる特徴量３（特徴量群）を抽出する。
・レベル４：図２２（ｄ）に示すように、画像を１６分割して分割画像Ａ〜Ｐを生成し、各分割画像Ａ〜Ｐからそれぞれ特徴量Ａ〜Ｐを抽出することにより、一つの画像から特徴量Ａ〜Ｐからなる特徴量４（特徴量群）を抽出する。
【０２４２】
ここで、画像の構造（エッジ）および色（色ヒストグラム）を特徴量として抽出する処理を例にとって、画像からレベル１〜４の特徴量を抽出する処理を具体的に説明する。
【０２４３】
（１）構造
▲１▼ レベル１
例えばｓｏｂｅｌのようなエッジ抽出フィルタを用いて、ステップＳ１１で入力した画像からエッジ情報を抽出する。抽出したエッジ情報から、エッジの位置，エッジの強度および方向を得ることができる。エッジの強度については適当な閾値で２値化し、上下左右斜め方向のエッジ成分のエッジ画像データを得る。一例として、図２３に示す画像から得た上下左右斜め方向のエッジ成分のエッジ画像データを図２４（ａ）〜図２４（ｄ）に示す。
【０２４４】
図２４（ａ）〜図２４（ｄ）のエッジ画像データについて、エッジ部分を黒画素、その他を白画素と仮定し、
・画像全体に対する黒画素の割合
・黒画素の重心
・黒画素の分散
・黒画素の連結矩形のサイズの平均
・黒画素の連結矩形のサイズの分散
というようなエッジ情報を各エッジ画像データから抽出し、これを画像全体の構造の特徴量１とする。
【０２４５】
▲２▼ レベル２
図２４（ａ）〜図２４（ｄ）のエッジ画像データをそれぞれ図２２（ｂ）に示すように分割画像Ａ〜Ｄに分割し（４分割）、各分割画像Ａ〜Ｄから▲１▼で説明したエッジ情報を抽出して分割画像単位の構造の特徴量Ａ〜Ｄを得る。その結果、特徴量Ａ〜Ｄからなる特徴量２を画像から抽出することができる。
【０２４６】
▲３▼ レベル３および４
また、レベル３については図２４（ａ）〜図２４（ｄ）のエッジ画像データをそれぞれ図２２（ｃ）に示したように分割画像Ａ〜Ｈに分割し（８分割）、レベル４については図２２（ｄ）に示したように分割画像Ａ〜Ｐに分割し（１６分割）、レベル２の場合と同様の方法でそれぞれ特徴量Ａ〜Ｈからなる特徴量３および特徴量Ａ〜Ｐからなる特徴量４を画像から抽出することができる。
【０２４７】
（２）色
つぎに、画像の色（色ヒストグラム）を特徴量として抽出する処理を説明する。
【０２４８】
▲１▼ レベル１
適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶ等）を選択して複数の領域に分割し、ステップＳ１１で入力した画像の各ピクセルが色空間中のどの領域に対応するかを調べ、領域毎のピクセル数を画像全体のピクセル数で正規化することによって図２２（ａ）に示した画像全体を対象とした特徴量１を抽出する。
【０２４９】
▲２▼ レベル２
適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶ等）を選択して複数の領域に分割すると共に、ステップＳ１１で入力した画像を図２２（ｂ）に示したように分割画像Ａ〜Ｄに分割する（４分割）。そして、分割画像Ａの各ピクセルが色空間中のどの領域に対応するかを調べ、領域毎のピクセル数を分割画像Ａ全体のピクセル数で正規化することによって特徴量Ａを抽出することができる。他の分割画像Ｂ〜Ｄについても同様な処理を行ってそれぞれ特徴量Ｂ〜Ｄを抽出し、特徴量Ａ〜Ｄからなる特徴量２をステップＳ１１で入力した画像から抽出する。
【０２５０】
▲３▼ レベル３およびレベル４
レベル３についてはステップＳ１１で入力した画像を図２２（ｃ）に示したように分割画像Ａ〜Ｈに分割し（８分割）、レベル４については図２２（ｄ）に示したように分割画像Ａ〜Ｐに分割し（１６分割）、レベル２の場合と同様の方法でそれぞれ特徴量Ａ〜Ｈからなる特徴量３および特徴量Ａ〜Ｐからなる特徴量４を画像から抽出する。
【０２５１】
このように、分割数を変化させて同一の画像から特徴量を抽出することにより、例えば、ある画像は全体的には青であるが、詳細に見ると青と少しの赤が混じっているといったような、視点の細かさに依存した特徴量を抽出することができる。例えば、青を中心とする画像中のいずれの位置に赤が分散しているかという情報を含む特徴量を抽出することができる。
【０２５２】
このようにして、ステップＳ１１で入力した画像から各レベルの特徴量を抽出した後、図３のフローチャートに示すように、特徴抽出エンジン１５２は、画像ＤＢ１０８に登録する元の画像に関連付けて、抽出した特徴量を画像特徴ＤＢ１０９に登録する（Ｓ１３）。
【０２５３】
なお、ここでは、画像の構造および色の特徴を特徴量として抽出することを例にとって説明したが、他の種類の特徴を特徴量として抽出することにしても良い。また、例えば画像を４分割するといった場合であっても、図２２（ｂ）に示した分割方法以外にも様々な方法が考えられる（例えば、画像を縦長または横長に４分割する等）。したがって、分割方法は任意に設定することが可能である。
【０２５４】
２．画像検索処理
図２５は、実施の形態１２に係る画像検索装置で使用される検索ウインドウ２００ｇの一例を示す説明図である。検索ウインドウ２００ｇは、画像指定欄Ａ〜Ｃ，検索ボタン２０１および画像表示欄２０２に加え、検索に使用する特徴量の種類を指定する特徴指定欄２０９と、特徴指定欄２０９で指定された種類の特徴量のうち、いずれのレベル（粗さ）の特徴量を用いるかを指定する粗さレベル指定欄２１０と、を備えている。特徴指定欄２０９では、例えば構造の特徴量および色の特徴量のいずれか一方または両方を指定することができ、粗さレベル指定欄２１０では、例えばレベル１〜４の少なくとも一つを指定することができるものとする。粗さレベル指定欄２１０で指定可能なレベルは、前述した特徴量の抽出基準の各レベルに対応している。
【０２５５】
なお、特徴指定欄２０９において、いずれの特徴量も指定されなかった場合には、構造および色の両方の特徴量を用いて検索処理が行われるものとし、粗さレベル指定欄２１０においていずれのレベルも指定されなかった場合には、全てのレベルの特徴量を用いて検索処理が行われるものとする。また、使用可能な種類の特徴量を全て指定できるようにするため、特徴指定欄２０９に「全て」というボタンを用意することにしても良い。同様に、レベルを全て指定できるようにするため、粗さレベル指定欄２１０に「全て」というボタンを用意することにしても良い。
【０２５６】
続いて、実施の形態１２に係る画像検索処理について説明する。なお、ここでは、検索ウインドウ２００ｇにおける検索条件の指定の仕方に応じて異なる処理が行われることになることから、最初に図２６のフローチャートを参照しつつ画像検索処理の概略を説明した後、異なる検索条件毎に場合分けして個別に説明することにする。
【０２５７】
（１）画像検索処理の概略
まず、実施の形態１２に係る画像検索処理の概略を説明する。ユーザは、図２５に示した画像指定欄に問合せ画像を少なくとも一つ指定すると共に、特徴指定欄２０９および粗さレベル指定欄２１０において、検索時に使用する特徴量の種類および使用する特徴量の粗さのレベルを指定する（Ｓ１２０１）。
【０２５８】
続いて、ユーザが図２５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像，特徴量の種類および粗さのレベルの種類を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、指定された特徴量の種類および粗さのレベルに応じて問合せ画像から特徴量を抽出する（Ｓ１２０２）。ただし、ユーザによって指定された問合せ画像から既に特徴量が抽出されている場合には、このステップＳ１２０２の処理をスキップすることができる。また、検索対象の画像について特徴量を抽出していない場合は、この時点で特徴量を抽出することにしても良い。その後、特徴抽出エンジン１５２は、抽出した問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０２５９】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、検索ウインドウ２００ｇにおいて指定されたレベルの特徴量を用いて問合せ画像との類似度を求める処理を実行する（Ｓ１２０３）。すなわち、マッチング・エンジン１５３は、該当するレベルの特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像との距離を各特徴毎に定義された距離定義式を用いて求める。
【０２６０】
特徴量Ｆは通常、ベクトルとしてＦ＝｛ｆ１，ｆ２，ｆ３，・・・，ｆｎ｝であらわされ、画像ａ、ｂから抽出した特徴量をそれぞれＦａ、Ｆｂとすると、以下の数１１で示す差分距離式Ｄ（Ｆａ，Ｆｂ）が一般に距離定義式として用いられる。
【０２６１】
【数１１】

【０２６２】
「構造」、「色」の特徴量の場合にもこの距離式が利用できるが、「構造」での「画像全体に対する黒画素の割合」をヒストグラムとして特徴量とした場合には、画像中のエッジが十分にある場合には適切な類似度を得ることが可能であるが、画像中のエッジが少ない場合には適切な類似度を得られない。
【０２６３】
人間のエッジに対する類似感覚では、たとえば画像中にエッジがない画像と少しでもある画像の場合には大きな違いを感じるが、画像が十分にエッジを持っている場合には、その量が多少異なっていてもその違いには鈍感である。そこで、差分距離式よりも距離の精度を高めるためにヒストグラムを全エッジ画素数で正規化する（正規化距離式）ことによって、この問題を解決することが可能である。
【０２６４】
つまり、ヒストグラムの要素は以下の式で与えられる。
ｆｏｉ＝ｆｉ／Ｎ
なお、ｆｏｉは正規化されたヒストグラムの要素である。また、全画素数Ｎは、数１２の式で与えられる。
【０２６５】
【数１２】

【０２６６】
なお、ベクトル要素がすべて０でＳ＝０の時は正規化はおこなわない。つまり、正規化距離式は数１３の式で与えられる。
【０２６７】
【数１３】

【０２６８】
画像中のエッジが少ない場合には上記式が有効であるが、多い場合には従来のヒストグラムの方が適切な類似度を得ることができる。そこで、エッジが多い場合には従来式に近い計算式になり、少ない場合には上記式に近い計算式になるような数１４の式を考案した。
【０２６９】
【数１４】

【０２７０】
なお、正規化のための値を全画素数により以下の数１５のように変動させる。
【０２７１】
【数１５】

ｋは定数であり、対象とする画像集合によって適宜指定する。
【０２７２】
以上のような計算を検索時に行うだけでなく、予め特徴量の抽出時に正規化や半正規化で得られるベクトルに変換してデータベースに登録することで、検索時には単純な差分式を用いて距離を求めることができ、高速な検索をおこなうことも可能である。
【０２７３】
上記半正規化式により画像中のエッジの多い少ないに関わらず適切な類似度を算出することができるが、検索時に計算する場合には式が複雑な分、時間がかかるという問題がある。そこで、エッジ数および要求される検索速度に従い従来の差分距離式と正規化距離式を選択し算出する。
【０２７４】
たとえば、以下のように場合分けが可能である。
１）両方の画像のエッジ割合がある閾値Ａ以上の場合
差分距離式を選択
２）どちらか一方が閾値Ａより下の場合
ａ）高速性が要求される場合
差分距離式を選択
ｂ）高速性が要求されない場合
正規化距離式を利用
【０２７５】
ただし、この方式では場合分けにより、異なる式を選択するので結果として得られる距離空間は距離の公理を満たさない。距離の公理を満たす必要がある場合には半正規化式が望ましい。
【０２７６】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。ただし、ここでは類似度として検索対象の画像と問合せ画像との特徴量間の距離を用いているため、実際には、類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、類似度は０以上の値を持ち、類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０２７７】
（２）画像検索処理の具体例
つぎに、前述した図２６のフローチャートに対応させつつ、
▲１▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル１」が指定された場合
▲２▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル２」が指定された場合
▲３▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして二つ以上のレベルが指定された場合
▲４▼ 複数種類の特徴量が指定された場合
▲５▼ 複数の問合せ画像が指定された場合
の順で具体的に実施の形態１２に係る画像検索処理を説明する。
【０２７８】
▲１▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル１」が指定された場合
図２５に示した検索ウインドウ２００ｇにおいて、ユーザが、一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル１」を指定したものとする（Ｓ１２０１）。
【０２７９】
特徴抽出エンジン１５２は、図２２（ａ）に示すように、問合せ画像全体を対象として、特徴量「色」について「レベル１」に該当する特徴量である「特徴量１」を抽出する（Ｓ１２０２）。
【０２８０】
そして、マッチング・エンジン１５３は、特徴抽出エンジン１５２において抽出された問合せ画像および検索対象の画像の特徴量１に基づいて、検索対象の画像毎に問合せ画像との類似度を求める（Ｓ１２０３）。具体的には、該当する特徴量１に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像との距離を各特徴毎に定義された距離定義式を用いて求める。
【０２８１】
その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。
【０２８２】
このように、レベル１のような粗さの特徴量を選択して画像検索処理を実行することができるようにすることにより、例えば、色の特徴量を用いて検索を
場合にあっては、全体的に青い画像を検索するというような検索処理を実行することが可能となる。
【０２８３】
なお、詳細な説明については省略するが、特徴量として「構造」や他の種類の特徴量が指定された場合であっても、同様な処理で検索処理を行うことができる。
【０２８４】
▲２▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル２」が指定された場合
図２５に示した検索ウインドウ２００ｇにおいて、ユーザが、一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル２」を指定したものとする（Ｓ１２０１）。
【０２８５】
特徴抽出エンジン１５２は、図２２（ｂ）に示すように、問合せ画像を分割画像Ａ〜Ｄに分割し、各分割画像Ａ〜Ｄからそれぞれ「色」の特徴量Ａ〜Ｄを抽出する（Ｓ１２０２）。その結果、特徴量「色」について「レベル２」に該当する特徴量であって、特徴量Ａ〜Ｄからなる「特徴量２」が問合せ画像から抽出されることになる。
【０２８６】
そして、マッチング・エンジン１５３は、特徴抽出エンジン１５２において抽出された問合せ画像および検索対象の画像の特徴量２に基づいて、検索対象の画像毎に問合せ画像との類似度を求める（Ｓ１２０３）。具体的には、検索対象の画像および問合せ画像の分割画像Ａ同士，分割画像Ｂ同士，分割画像Ｃ同士および分割画像Ｄ同士の類似度を求める。より詳細には、特徴抽出エンジン１５２において抽出された特徴量２に基づいて、図４に示した特徴量空間中にプロットされた分割画像Ａ同士，分割画像Ｂ同士，分割画像Ｃ同士および分割画像Ｄ同士の距離を各特徴毎に定義された距離定義式を用いて求める。ここでは分割画像Ａ〜Ｄのそれぞれについて類似度を求めることになるため、４つの類似度を得ることになる。
【０２８７】
続いて、マッチング・エンジン１５３は、求めた４つの類似度を用いて、検索対象の画像および問合せ画像の類似度を決定する。類似度の決定方法としては、例えば以下のような方法が考えられる。
▲２▼−１ ４つの類似度の二乗和により検索対象の画像および問合せ画像の類似度を決定する。
▲２▼−２ ４つの類似度を合計することにより、検索対象の画像および問合せ画像の類似度を決定する（ＡＮＤ検索参照）。
▲２▼−３ ４つの類似度の中から最も高い（値の小さい）類似度を選択することにより、検索対象の画像および問合せ画像の類似度を決定する（ＯＲ検索参照）。
なお、▲２▼−１〜▲２▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。
【０２８８】
その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。
【０２８９】
このように、レベル２のような粗さの特徴量を選択して画像検索処理を実行することができるようにすることにより、例えば、色の特徴量を用いて検索を行う場合にあっては、全体的に青いがある部分には赤が混じっている画像を検索するというような検索処理を実行することが可能となる。すなわち、どの色が画像のどの位置に存在するかを踏まえた検索処理が可能となり、画像全体を対象として抽出した特徴量（レベル１）を用いた検索では行うことができない細かい視点で検索処理を行うことができる。
【０２９０】
なお、詳細な説明については省略するが、特徴量として「構造」や他の種類の特徴量が指定された場合にあっても、同様な処理で検索処理を行うことができる。また、粗さレベルのレベル３および４が指定された場合であっても、前述したレベル２の処理と同様な処理で検索処理を行うことが可能であるため、ここでは説明を省略する。
【０２９１】
▲３▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして二つ以上のレベルが指定された場合
ここでは、粗さレベルとして二つ以上のレベルが指定された場合の一例として、粗さレベルが全て指定された場合に基づいて画像検索処理を説明する。そこで、図２５に示した検索ウインドウ２００ｇにおいて、ユーザが、一つの問合せ画像，特徴量として「色」および全ての粗さレベルを指定したものとする（Ｓ１２０１）。前述したように、粗さレベル指定欄２１０においていずれのレベルも指定しない場合または全てのレベルを指定した場合に、粗さレベルを全て指定したことになる。
【０２９２】
特徴抽出エンジン１５２は、図２２（ａ）〜図２２（ｄ）に示すように、検索ウインドウ２００ｇにおいて指定された問合せ画像から、レベル１〜４に応じて特徴量１〜４を抽出する（Ｓ１２０２）。なお、レベル１に対応する特徴量１は▲１▼の項で説明した方法で、レベル２〜４に対応する特徴量２〜４は▲２▼の項で説明した方法で抽出することができる。
【０２９３】
そして、マッチング・エンジン１５３は、特徴抽出エンジン１５２において抽出された問合せ画像および検索対象の画像の特徴量１〜４を用いて、検索対象の画像毎に問合せ画像との類似度を求める（Ｓ１２０３）。ここでは、各特徴量（レベル）毎に検索対象の画像および問合せ画像の類似度を求めることになり、その結果、検索対象の画像毎に問合せ画像に対する４つの類似度が得られることになる。なお、特徴量１（レベル１）を用いて検索対象の画像および問合せ画像の類似度を求める処理は、▲１▼の項で説明した処理と同様である。また、特徴量２〜４（レベル２〜４）を用いて検索対象の画像および問合せ画像の類似度を求める処理は、それぞれ▲２▼の項で説明した処理と同様である。
【０２９４】
続いて、マッチング・エンジン１５３は、検索対象の画像毎に各レベルに応じて求めた問合せ画像との４つの類似度を用いて、問合せ画像との最終的な類似度を決定する。最終的な類似度の決定方法としては、例えば以下のような方法が考えられる。
▲３▼−１ ４つの類似度の二乗和により、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲３▼−２ ４つの類似度を合計することにより、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索を参照）。
▲３▼−３ ４つの類似度の中から最も高い（値の小さい）類似度を選択することにより、問合せ画像との最終的な類似度を決定する（ＯＲ検索を参照）。
【０２９５】
▲３▼−１および▲３▼−２の方法で問合せ画像との最終的な類似度を決定することにする場合にあっては、例えば、全体的に青く、かつ、ある部分に赤が混じっている画像を検索するというような検索処理（ＡＮＤ検索）を実行することが可能となる。すなわち、全ての（二つ以上の）粗さのレベルの特徴量を用いるため、特定のレベルの特徴量のみを用いて検索を行う場合に比べて、高い精度で希望する画像を検索することができる。また、▲３▼−３の方法で問合せ画像との最終的な類似度を決定することにする場合にあっては、例えば、全体的に青い画像および全体的に青くある部分に赤が混じっている画像のいずれかを検索するというような検索処理（ＯＲ検索）を実行することが可能となる。
【０２９６】
なお、▲３▼−１〜▲３▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。
【０２９７】
その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。
【０２９８】
このように、粗さの異なる特徴量を複数選択して画像検索処理を実行することができるようにすることにより、特定の粗さの特徴量を一つ用いる場合に比べて、検索に対する視点が異なる様々な方法で検索処理を実行することが可能となる。なお、詳細な説明については省略するが、特徴量として「構造」や他の種類の特徴量が指定された場合にあっても、同様な処理で検索処理を行うことができる。
【０２９９】
▲４▼ 複数種類の特徴量が指定された場合
特徴指定欄２０９において複数種類の特徴量が指定された場合、特徴抽出エンジン１５２は、検索ウインドウ２００ｇで指定された種類およびレベルの特徴量を問合せ画像からそれぞれ抽出する（Ｓ１２０２）。例えば、構造および色の特徴量が指定された場合、特徴抽出エンジン１５２は、問合せ画像から、構造の特徴量について該当する粗さレベルの特徴量を抽出すると共に、色の特徴量について該当するレベルの特徴量を抽出する（図２２参照）。
【０３００】
そして、マッチング・エンジン１５３は、検索対象の画像毎に、問合せ画像との類似度を特徴量の種類毎に求め、求めた特徴量の種類毎の類似度を用いて、問合せ画像との最終的な類似度を決定する（Ｓ１２０３）。
【０３０１】
最終的な類似度の決定方法としては、例えば以下のような方法が考えられる。
▲４▼−１ 特徴量の種類毎に求めた類似度の二乗和により、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲４▼−２ 特徴量の種類毎に求めた類似度を合計することにより、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索を参照）。この方法を用いる場合は、複数種類の特徴量に応じたＡＮＤ検索を実行することが可能となる。
▲４▼−３ 特徴量の種類毎に求めた類似度の中から最も高い（値の小さい）類似度を選択することにより、問合せ画像との最終的な類似度を決定する（ＯＲ検索を参照）。この方法を用いる場合は、複数種類の特徴量に応じたＯＲ検索を実行することが可能となる。
なお、▲４▼−１〜▲４▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。
【０３０２】
また、例えば、問合せ画像が一つ、構造および色の特徴量ならびに粗さレベル１および２が指定された場合には、検索対象の画像毎に、レベル１の構造の特徴量を用いて得た類似度，レベル２の構造の特徴量を用いて得た類似度，レベル１の色の特徴量を用いて得た類似度およびレベル２の色の特徴量を用いて得た類似度が得られることになる。このような場合、得られた全ての類似度を合計して問合せ画像との最終的な類似度を決定することにしても良いし（▲４▼−２（▲４▼−１）の方法を参照）、得られた類似度の中から最も高い（値の小さい）類似度を選択して問合せ画像との最終的な類似度を決定することにしても良い（▲４▼−３の方法を参照）。また、これに代えて、特徴量の種類毎に各レベルの類似度を合計し、または各レベルの類似度の中から最も高い（値の小さい）類似度を選択して、特徴量の種類毎の問合せ画像に対する類似度を求めた後、前述した▲４▼−１〜▲４▼−３のいずれかの方法を用いて問合せ画像との最終的な類似度を決定することにしても良い。
【０３０３】
その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。
【０３０４】
▲５▼ 複数の問合せ画像が指定された場合
複数の問合せ画像が指定された場合、特徴抽出エンジン１５２は、検索ウインドウ２００ｇで指定された種類およびレベルの特徴量を各問合せ画像からそれぞれ抽出する（Ｓ１２０２）。そして、マッチング・エンジン１５３は、▲１▼〜▲４▼のいずれかの項で説明したようにして検索対象の画像毎に各問合せ画像との類似度を求めた後、検索対象の画像の総合類似度を求める（Ｓ１２０３）。
【０３０５】
総合類似度を求める方法としては、例えば以下のような方法がある。
▲５▼−１ 各検索対象の画像毎に、各問合せ画像との類似度の二乗和を総合類似度とする（ＡＮＤ検索の変形）。
▲５▼−２ 各検索対象の画像毎に、各問合せ画像との類似度を合計して総合類似度とする（ＡＮＤ検索を参照）。この方法を用いる場合は、ＡＮＤ検索を実行することが可能となる。
▲５▼−３ 各検索対象の画像毎に、各問合せ画像との類似度の中から最も高い（値の小さい）類似度を選択して総合類似度とする（ＯＲ検索を参照）。この方法を用いる場合は、ＯＲ検索を実行することが可能となる。
【０３０６】
なお、▲５▼−１〜▲５▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。
場合
【０３０７】
その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。
【０３０８】
以上説明したように、実施の形態１２に係る画像検索装置によれば、問合せ画像を少なくとも一つ指定すると共に、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定し、抽出基準に基づいて、問合せ画像および複数の検索対象の画像から少なくとも指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出し、検索対象の画像毎に、指定された粗さのレベルに応じた特徴量を用いて問合せ画像との類似度を求め、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索精度の異なる複数種類の検索処理を実行することが可能となる。すなわち、ユーザが検索に使用する特徴量の粗さのレベルを少なくとも一つ指定することができるため、検索に対するユーザの視点の細かさを検索条件として表現でき、ユーザの意図を検索条件として正確に表現することができる。したがって、ユーザが望む通りの画像検索処理を行うことが可能となる。
【０３０９】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、特徴量の種類を構造および色としたが、構造のみ、または色のみを用いることにしても良いし、他の種類の特徴量を用いることにしても良い。また、複数の問合せ画像や複数種類の特徴量を指定する場合に、他の実施の形態で説明したように重要度を指定することができるようにしても良い。
【０３１０】
また、実施の形態１２においては、画像を何分割するかによって特徴量の粗さを定義することにしたが、画像のみではなく、画像中に存在するオブジェクトも特徴量の抽出対象とし、オブジェクトを何分割するかによってオブジェクト単位の特徴量の粗さを定義することにしても良い。画像中に存在するオブジェクトも特徴量の抽出対象とする場合の検索処理は、前述した検索処理と同様であるため、ここでは詳細な説明を省略する。
【０３１１】
さらに、前述したように、画像を分割して得た分割画像毎に特徴量を抽出することを利用して、以下のような画像検索処理を実現することも可能である。ここでは、説明の便宜上、画像を４分割する場合を例として、実施の形態１２に係る画像検索装置の変形例を説明する。
【０３１２】
（変形例１）
前述した実施の形態１２においては、問合せ画像および検索対象の画像の分割画像をそれぞれ一対一対応で比較して類似度を求めることにより、問合せ画像および検索対象の画像の類似度を求めていた。これに対し、変形例１は、例えば、図２７に示すように問合せ画像の分割画像の一つを指定し、指定した分割画像と検索対象の画像の各分割画像との類似度を求めることにより、検索対象の画像の中から、問合せ画像の特定の分割画像と類似する分割画像を有する画像を探し出すことができるようにするものである。
【０３１３】
（変形例２）
変形例２は、例えば、図２８に示すように、問合せ画像全体と検索対象の画像の各分割画像との類似度を求めることにより、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができるようにするものである。
【０３１４】
詳細な説明については省略するが、このような変形例１および変形例２のような検索処理を可能とすることにより、様々な方法で画像の検索を行うことが可能となる。
【０３１５】
〔実施の形態１３〕
実施の形態１３に係る画像検索装置は、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができるようにすることにより、前述した実施の形態１〜１２と異なる視点で画像検索を行うことを可能にするものである。なお、実施の形態１３に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。
【０３１６】
具体的に、実施の形態１３に係る画像検索装置は、問合せ画像を少なくとも一つ指定し、検索対象の画像毎に、検索対象の画像中の所定のサイズの領域と問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理を検索対象の画像全体にわたって繰り返し実行することにより、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができるようにするものである。
【０３１７】
実施の形態１３に係る画像検索装置において、検索対象の画像中の所定のサイズの領域と問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理については様々な手法を用いることが可能であるが、ここでは図２９および図３０に示すような手法を用いることにする。例えば、図２９に示すように、問合せ画像を４分割して分割画像ａ〜ｄを生成し、各分割画像から所定の種類の特徴量を抽出し、また、検索対象の画像を１６分割して分割画像Ａ〜Ｐを生成し、各分割画像から問合せ画像の場合と同様の種類の特徴量を抽出する。ただし、問合せ画像および検索対象の画像の分割数を、それぞれ８および１６に限定するものではなく、問合せ画像の分割数＜検索対象の画像の分割数という関係にあれば良い。そして、各分割画像から抽出した特徴量を用いて、図３０（ａ）〜図３０（ｉ）に示すように、問合せ画像と検索対象の画像の一部との類似度を順次求める。図３０は、それぞれ図２９に示した検索対象の画像を示し、検索対象の画像中の斜線部分は問合せ画像と比較されている領域に該当する。なお、問合せ画像および検索対象の画像の分割数を逆にすれば（例えば、問合せ画像を１６分割し、検索対象の画像を８分割する。すなわち、問合せ画像の分割数＞検索対象の画像の分割数）、問合せ画像中に含まれている画像を検索することが可能となる。
【０３１８】
以下、実施の形態１３に係る画像検索装置による画像検索処理について具体的に説明する。なお、前提として、少なくとも検索対象の画像については、図２９に示したように各分割画像からそれぞれ特徴量が抽出されているものとする。特徴量を抽出する具体的な処理については、実施の形態１２で説明した通りであるため、ここでは詳細な説明を省略する。また、抽出する特徴量の種類は、色，構造等いかなるものであっても良い。
【０３１９】
図３１は、実施の形態１３に係る画像検索処理のフローチャートであり、図３２は、検索ウインドウ２００ｈの一例を示す説明図である。ユーザは、図３２に示す画像指定欄Ａ〜Ｃのいずれかに問合せ画像を少なくとも一つ指定する（Ｓ１３０１）。ここでは、説明を単純にするために、問合せ画像が一つ指定されたものとする。
【０３２０】
続いて、ユーザが図３２の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、問合せ画像から所定の種類の特徴量を抽出する（Ｓ１３０２）。特徴抽出エンジン１５２は、図２９に示したように、問合せ画像を分割して分割画像ａ〜ｄを生成し、各分割画像から所定の種類の特徴量を抽出する。ただし、ユーザによって指定された問合せ画像から既に特徴量が抽出されている場合には、このステップＳ１３０２の処理をスキップすることができる。
【０３２１】
そして、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、特徴抽出エンジン１５２で抽出した特徴量を用い、検索対象の画像中の所定の領域と問合せ画像との類似度を求める処理を検索対象の画像の全体にわたって実行し、問合せ画像との類似度を求める（Ｓ１３０３）。
【０３２２】
このステップＳ１３０３において実行される処理の一例について、図３０を参照しつつ詳細に説明する。例えば、図３０（ａ）に着目して説明すると、マッチング・エンジン１５３は、特徴抽出エンジン１５２で予め抽出した問合せ画像および検索対象の画像の各分割画像の特徴量を用いて、
・問合せ画像の分割画像ａと検索対象の画像の分割画像Ａとの類似度
・問合せ画像の分割画像ｂと検索対象の画像の分割画像Ｂとの類似度
・問合せ画像の分割画像ｃと検索対象の画像の分割画像Ｅとの類似度
・問合せ画像の分割画像ｄと検索対象の画像の分割画像Ｆとの類似度
をそれぞれ求める。換言すれば、図４に示した特徴量空間中にプロットされた分割画像同士の距離を各特徴毎に定義された距離定義式を用いて求める。ここでは４つの分割画像毎に類似度を求めるため、４つの類似度が得られることになる。
【０３２３】
続いて、マッチング・エンジン１５３は、求めた４つの類似度を用いて、図３０（ａ）に示した検索対象の画像の領域と問合せ画像との類似度を決定する。類似度の決定方法としては、例えば以下のような方法が考えられる。
▲１▼−１ ４つの類似度の二乗和により検索対象の画像の領域と問合せ画像との類似度を決定する。
▲１▼−２ ４つの類似度を合計することにより、検索対象の画像の領域と問合せ画像との類似度を決定する（ＡＮＤ検索を参照）。
▲１▼−３ ４つの類似度の中から最も高い（値の小さい）類似度を選択することにより、検索対象の画像の領域と問合せ画像との類似度を決定する（ＯＲ検索を参照）。
なお、▲１▼−１〜▲１▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。
【０３２４】
マッチング・エンジン１５３は、図３０（ｂ）〜図３０（ｉ）に示す場合についても前述した処理を実行し、検索対象の画像の各領域と問合せ画像との類似度を決定する。
【０３２５】
図３０（ａ）〜図３０（ｉ）のように、検索対象の画像の各領域と問合せ画像との類似度を求めた結果、検索対象の画像毎に、問合せ画像との９つの類似度が得られることになる。そこで、マッチング・エンジン１５３は、検索対象の画像毎に、９つの類似度を用いて問合せ画像との最終的な類似度を決定する処理を実行する。最終的な類似度の決定方法としては、例えば以下のような方法が考えられる。
【０３２６】
▲２▼−１ ９つの類似度の二乗和により、検索対象の画像と問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲２▼−２ ９つの類似度を合計することにより、検索対象の画像と問合せ画像との最終的な類似度を決定する（ＡＮＤ検索を参照）。
▲２▼−３ ９つの類似度の中から最も高い（値の小さい）類似度を選択することにより、検索対象の画像と問合せ画像との最終的な類似度を決定する（ＯＲ検索を参照）。
なお、▲２▼−１〜▲２▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。
【０３２７】
図３１のフローチャートの説明に戻り、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との最終的な類似度を参照し、例えば類似度の高い順に検索対象の画像を図３２の画像表示欄２０２に表示する（Ｓ１３０４）。ここでは類似度として検索対象の画像と問合せ画像との特徴量間の距離を用いているため、実際には、類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、類似度は０以上の値を持ち、類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０３２８】
なお、以上の説明は、指定された問合せ画像が一つで検索に用いられる特徴量の種類も一種類であったが、複数種類の特徴量を用いることもできるし、問合せ画像を複数指定することもできる。
【０３２９】
そこで、複数種類の特徴量を用いる場合の処理の一例を簡単に説明する。マッチング・エンジン１５３は、前述したように、同一種類の特徴量毎に検索対象の画像と問合せ画像との類似度を求める。そして、マッチング・エンジン１５３は、例えば以下のような方法で異なる種類の特徴量毎に求めた類似度を用いて、検索対象の画像毎に、問合せ画像との類似度を決定することができる。
【０３３０】
▲３▼−１ 特徴量の種類毎に求めた類似度の二乗和により、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲３▼−２ 特徴量の種類毎に求めた類似度を合計することにより、問合せ画像との最終的な類似度を決定する。この方法を用いる場合は、複数種類の特徴量に応じたＡＮＤ検索を実行することが可能となる。
▲３▼−３ 特徴量の種類毎に求めた類似度の中から最も高い（値の小さい）類似度を選択することにより、問合せ画像との最終的な類似度を決定する。この方法を用いる場合は、複数種類の特徴量に応じたＯＲ検索を実行することが可能となる。
なお、▲３▼−１〜▲３▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。
【０３３１】
また、複数の問合せ画像が指定された場合の処理の一例を簡単に説明する。マッチング・エンジン１５３は、前述したように、検索対象の画像と各問合せ画像との類似度を求める。そして、マッチング・エンジン１５３は、例えば以下のような方法を用いて、検索対象の画像毎に、各問合せ画像に対する検索対象の画像の類似度を決定することができる。
【０３３２】
▲４▼−１ 各検索対象の画像毎に、各問合せ画像との類似度の二乗和を検索対象の画像の総合類似度とする（ＡＮＤ検索の変形）。この方法を用いると、問合せ画像としての複数の画像を含む画像を検索することが可能となる。
▲４▼−２ 各検索対象の画像毎に、各問合せ画像との類似度を合計して検索対象の画像の総合類似度とする。この方法を用いる場合は、複数の問合せ画像を用いたＡＮＤ検索を実行することが可能となる。すなわち、問合せ画像としての複数の画像を含む画像を検索することが可能となる。
▲４▼−３ 各検索対象の画像毎に、各問合せ画像との類似度の中から最も高い（値の小さい）類似度を選択して検索対象の画像の総合類似度とする。この方法を用いる場合は、複数の問合せ画像を用いたＯＲ検索を実行することが可能となる。すなわち、問合せ画像としての複数の画像のいずれかを含む画像を検索することができる。
なお、▲４▼−１〜▲４▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。
【０３３３】
以上説明したように、実施の形態１３に係る画像検索装置によれば、問合せ画像を少なくとも一つ指定し、検索対象の画像毎に、検索対象の画像中の所定のサイズの領域と指定された問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理を検索対象の画像全体にわたって繰り返し実行し、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができる。したがって、ユーザの意図するような画像検索を実現する一つの手法を提供することができる。
【０３３４】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、複数の問合せ画像や複数種類の特徴量を指定する場合に、他の実施の形態で説明したように重要度を指定することができるようにしても良い。
【０３３５】
〔実施の形態１４〕
続いて、本発明に係る画像分類装置について説明する。この画像分類装置は、前述した画像検索装置と同様に、画像間の類似度を用いて画像を分類するものである。画像を予め分類しておくことで、分類を辿るだけでユーザが所望する画像を探し出すことができる。こうすることで画像検索とは異なる方法で容易にユーザの所望する画像を探すことが可能となる。
【０３３６】
本発明の実施の形態１４に係る画像分類装置は、実施の形態１で説明した画像検索処理を応用して画像を分類するものである。したがって、実施の形態１で説明した点と共通する点については適宜説明を省略することにする。
【０３３７】
図３３は、実施の形態１４に係る画像分類装置のブロック構成図である。図３３において、図１に示した画像検索装置と同一の構成については同一の符号を付し、ここでは異なる点についてのみ説明する。図３３に示す画像分類装置は、図１に示した画像検索装置と異なる点として、本発明の画像分類装置としての機能をＣＰＵ１０１（コンピュータ１００）に実行させるための画像分類ソフト３０１と、分類項目（後述するフォルダ），分類対象の画像を各分類項目に分類するための分類条件，分類した結果の画像情報等が登録される分類木ＤＢ３０２と、を備えている。
【０３３８】
図３４は、図３３に示した画像分類装置において実行される処理を示すブロック図であり、図２に対応するものである。ユーザ・インターフェイス（Ｕ／Ｉ）部１５１（本発明の設定手段，指定手段および表示手段に該当する）は、ユーザに対して画像分類を行うための分類項目設定画面，分類結果表示画面等を表示して、分類条件の入力，分類結果の出力処理等を実行する。特徴抽出エンジン１５２は、画像ＤＢ１０８に登録する画像（分類対象の画像）および後述する分類基準として設定される画像から画像の特徴量を抽出する処理を実行する。さらに、マッチング・エンジン１５３（本発明の演算手段，決定手段，分類手段および検索手段に該当する）は、基準画像と分類対象の画像との類似度を求め、求めた類似度に基づいて分類対象の画像の分類先となる分類項目を決定する処理（例えば、分類木ＤＢ３０２に登録された分類項目に画像のＩＤを登録して分類する）を実行する。
【０３３９】
つぎに、前述した構成を有する画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。ここでは画像ＤＢ１０８に登録された複数の画像を分類対象の画像とする。また、画像を分類する際に用いる特徴量は画像の色，構造およびテクスチャであり、画像ＤＢ１０８中の分類対象の画像からは、図３を用いて実施の形態１で説明した処理によって既に各種類の特徴量が抽出されているものとする。
【０３４０】
（１）分類項目設定処理
図３５は、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウ３５０ａの一例を示す説明図である。図３４のＵ／Ｉ部１５１は、ユーザによって画像分類ウインドウ３５０ａの表示が指定されると、図３５に示すような画像分類ウインドウ３５０ａを表示し、ユーザの指示に応じて後述するフォルダの作成や分類条件の設定等の処理を実行する。
【０３４１】
この図３５には、既に画像を管理するための項目（以下「フォルダ」と記述する）が設定されている様子が示されているが、ここではルートに当たる画像ＤＢフォルダ３５１のみが存在しているものと仮定し、各フォルダを設定する処理を説明する。
【０３４２】
図３５中の画像ＤＢフォルダ３５１は、画像ＤＢ１０８中に登録された画像の全てを管理するフォルダである。なお、この画像ＤＢフォルダ３５１の設定を変更することにより、分類対象の画像を画像ＤＢ中の画像から別の画像に変更することができる。例えば、実施の形態１〜１３で説明した画像検索装置で検索した結果の画像を指定して分類することも可能である。
【０３４３】
ユーザは、この画像ＤＢフォルダ３５１の下位に画像ＤＢ１０８の画像を分類する分類先となる新たなフォルダを設定する。例えば、ユーザは、図示しないメニューから「フォルダ作成」を選択し、画像ＤＢフォルダ３５１の下位にフォルダ３５２を作成する。
【０３４４】
そして、ユーザは、フォルダ３５２に分類対象の画像（画像ＤＢ１０８中の画像）を分類するための分類条件を設定するため、フォルダ３５２を選択すると共に、図示しないメニューから「分類条件設定」を選択し、図３５に示されている分類条件設定ウィンドウ３６０ａを表示させる。
【０３４５】
分類条件設定ウインドウ３６０ａは、図５に示した検索ウインドウ２００ａの一部とほぼ同一の構成であり、分類条件設定ウインドウ３６０ａには、実施の形態１で説明した検索条件と同様の方法で分類条件を設定することができる。分類条件設定ウインドウ３６０ａは、画像を分類する際に使用される例えば色，構造およびテクスチャの特徴量毎に、分類対象の画像を分類するための基準として用いられる複数の基準画像（画像検索の問合せ画像に該当する）を指定するための画像指定欄Ａ，ＢおよびＣと、所望のフォルダに対して分類条件の設定を指定するための設定ボタン３６１と、を備えている。
【０３４６】
基準画像として指定する画像としては、例えば、スキャナで読み取った画像，ディジタルカメラで撮像した画像，ネットワーク１１２を介してダウンロードした画像，予めハードディスク１１０に記憶されていた画像，画像ＤＢ１０８に登録されている画像等、いかなるものであっても良い。
【０３４７】
ユーザは、実施の形態１で説明したように、例えば３枚の画像を各種類の特徴量に対応させ、それぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定する。また、図示することは省略するが、分類条件設定ウインドウ３６０ａからフォルダ毎に、基準画像および検索対象の画像の類似度の閾値を設定することができる。後述するように、フォルダに設定された基準画像との類似度が閾値を超えた分類対象の画像がそのフォルダに分類されることになる。ここではフォルダ毎に閾値を設定することにするが、フォルダ全体を対象として一つの閾値を設定することにしても良い。
【０３４８】
そして、ユーザが設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、指定された基準画像および閾値を分類条件としてフォルダ３５２に設定する。なお、基準画像として設定された画像から特徴量を抽出していない場合にあっては、分類条件をフォルダに設定する際に特徴抽出エンジン１５２が特徴量を抽出する処理を行うことにしても良い。もちろん、画像を分類する処理を行う際に各基準画像から必要な特徴量を抽出することにしても良い。
【０３４９】
なお、ユーザは、フォルダ３５４〜３５７のように、作成したフォルダ（例えばフォルダ３５３）に分類される画像をさらに分類するためのフォルダ（例えば、フォルダ３５３に対してフォルダ３５４および３５５）を作成し、同様に分類条件を設定することができる。
【０３５０】
このようにして、図３５に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。Ｕ／Ｉ部１５１は、作成したフォルダや対応する分類条件をフォルダ情報として、フォルダの階層構造に関する情報と共に分類木ＤＢ３０２に登録する。
【０３５１】
実施の形態１で説明したように、各フォルダ毎に単に基準画像を複数指定するだけでなく、画像を分類する際に使用される各種類の特徴量に対応させて各問合せ画像を指定できるため、ユーザが適切と考える仮想的な一つの基準画像を表現できると共に、分類に対するユーザの意図を分類基準として正確に表現することが可能となる。したがって、後述する分類処理によって、ユーザの意図が反映された分類結果の画像を得ることが可能となる。
【０３５２】
（２）画像分類処理
図３６は、実施の形態１４の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、対応する種類の特徴量を用いて各基準画像および分類対象の画像との類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１４０１）。
【０３５３】
このステップＳ１４０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図３５の分類条件設定ウインドウ３６０ａを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、テクスチャの特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求める。
【０３５４】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数１を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０３５５】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１４０１で求めた分類対象の画像の総合類似度が閾値を超えるか否かを判定する（Ｓ１４０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０３５６】
そして、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１４０３）。すなわち、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超える場合、そのフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０３５７】
以上説明したステップＳ１４０１〜Ｓ１４０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。なお、フォルダ毎に得られた総合類似度に応じて、分類対象の画像は２以上のフォルダに分類されることもあり得る。
【０３５８】
図３７は、画像ＤＢ１０８中の画像を各フォルダ３５２〜３５８に分類した後の画像分類ウインドウ３５０ａの様子を示す説明図である。各フォルダ３５２〜３５８には、マッチング・エンジン１５３によって選択された代表画像が表示されている。また、ユーザが特定のフォルダを選択すると、そのフォルダに分類された画像が画像分類ウインドウ３５０ａの右側に一覧表示される。
【０３５９】
このように、実施の形態１４に係る画像分類装置によれば、分類項目を設定し、設定した分類項目それぞれに対し、基準画像および分類対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの基準画像を設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を対応する種類の特徴量を用いて求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。
【０３６０】
例えば、基準画像として適切な画像が存在しない場合であっても、分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの問合せ画像として使用することができる。
【０３６１】
なお、ここでは色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類を限定することを意図したものではない。
【０３６２】
また、図３７に示したように、フォルダ毎に代表画像を表示することにしたが、これに代えて、フォルダ名を表示したり、フォルダに設定した基準画像を表示することにしても良い。
【０３６３】
さらに、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。
【０３６４】
〔実施の形態１５〕
実施の形態１５に係る画像分類装置は、実施の形態２で説明した画像検索処理を応用して画像を分類するものである。なお、実施の形態１５に係る画像分類装置において、実施の形態１４で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像分類装置の動作についても共通する点については適宜説明を省略する。
【０３６５】
以下に、実施の形態１５に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０３６６】
（１）分類項目設定処理
図３８は、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウ３５０ｂの一例を示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図３８に示すような分類条件設定ウインドウ３６０ｂを表示させる。
【０３６７】
図３８に示す分類条件設定ウインドウ３６０ｂは、図７に示した検索ウインドウ２００ｂの一部とほぼ同一の構成であり、分類条件設定ウインドウ３６０ｂには、実施の形態２で説明した検索条件と同様の方法で分類条件を設定することができる。分類条件設定ウインドウ３６０ｂは、分類対象の画像を分類するための基準として用いられる複数の基準画像（画像検索の問合せ画像に該当する）を指定するための画像指定欄Ａ，ＢおよびＣと、各画像指定欄に指定した基準画像毎に、分類対象の画像との類似度を求める際に使用する特徴量の種類を指定する特徴量指定ボタン３６２と、対応するフォルダに対して分類条件の設定を指定するための設定ボタン３６１と、を備えている。
【０３６８】
ユーザは、実施の形態２で説明したように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、各基準画像Ａ，ＢおよびＣ毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を指定する。図３８に示す分類条件設定ウインドウ３６０ｂは、一例として色・構造・テクスチャの中から所望の特徴量を指定することができるようになっている。
【０３６９】
また、図示することは省略するが、分類条件設定ウインドウ３６０ｂからフォルダ毎に、基準画像および検索対象の画像の類似度の閾値を設定することができる。後述するように、フォルダに設定された基準画像との類似度が閾値を超えた分類対象の画像がそのフォルダに分類されることになる。ここではフォルダ毎に閾値を設定することにするが、フォルダ全体を対象として一つの閾値を設定することにしても良い。
【０３７０】
そして、ユーザが設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、指定された基準画像，特徴量の種類および閾値を分類条件としてフォルダ３５２に設定する。なお、基準画像として設定された画像から特徴量を抽出していない場合にあっては、分類条件をフォルダに設定する際に特徴抽出エンジン１５２が特徴量を抽出する処理を行うことにしても良い。もちろん、画像を分類する処理を行う際に各基準画像から必要な特徴量を抽出することにしても良い。
【０３７１】
なお、ユーザは、フォルダ３５４〜３５７のように、作成したフォルダ（例えばフォルダ３５３）に分類される画像をさらに分類するためのフォルダ（例えば、フォルダ３５３に対してフォルダ３５４および３５５）を作成し、同様に分類条件を設定することができる。
【０３７２】
このようにして、図３８に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。Ｕ／Ｉ部１５１は、作成したフォルダや対応する分類条件をフォルダ情報として、フォルダの階層構造に関する情報と共に分類木ＤＢ３０２に登録する。
【０３７３】
実施の形態２で説明したように、各フォルダ毎に単に基準画像を複数指定するだけでなく、指定した各基準画像毎にユーザが重視する画像の特徴に該当する特徴量を指定できるため、ユーザが適切と考える仮想的な一つの基準画像を表現できると共に、分類に対するユーザの意図を分類基準として正確に表現することが可能となる。したがって、後述する分類処理によって、ユーザの意図が反映された分類結果の画像を得ることが可能となる。
【０３７４】
（２）画像分類処理
実施の形態１５の画像分類処理について図３６を参照しつつ説明する。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ユーザが指定した種類の特徴量を用いて各基準画像および分類対象の画像との類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１４０１）。
【０３７５】
このステップＳ１４０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図３８の分類条件設定ウインドウ３６０ｂを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、テクスチャの特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求める。
【０３７６】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数２を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０３７７】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１４０１で求めた分類対象の画像の総合類似度が閾値を超えるか否かを判定する（Ｓ１４０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０３７８】
そして、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１４０３）。すなわち、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超える場合、そのフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０３７９】
以上説明したステップＳ１４０１〜Ｓ１４０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。なお、フォルダ毎に得られた総合類似度に応じて、分類対象の画像は２以上のフォルダに分類されることもあり得る。画像の分類処理が実行されると、図３８の画像分類ウインドウ３５０ｂの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０３８０】
このように、実施の形態１５に係る画像分類装置によれば、フォルダを設定し、設定したフォルダ毎に、基準画像を複数設定すると共に、設定した各基準画像毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を設定し、フォルダ毎に、設定された種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して総合類似度を求め、フォルダ毎に求めた総合類似度および予め設定された分類先決定基準に基づいて分類対象の画像の分類先となるフォルダを決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。
【０３８１】
例えば、基準画像として適切な画像が存在しない場合であっても、分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの問合せ画像として使用することができる。
【０３８２】
なお、ここでは色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類を限定することを意図したものではない。
【０３８３】
さらに、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。
【０３８４】
〔実施の形態１６〕
実施の形態１６に係る画像分類装置は、実施の形態１５の画像分類装置において、実施の形態３で説明した画像検索処理を応用することにより、分類に対するユーザの意図をさらに正確に表現できるようにしたものである。なお、実施の形態１６において、実施の形態１４で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像分類装置の動作についても共通する点については適宜説明を省略する。
【０３８５】
以下に、実施の形態１６に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０３８６】
（１）分類項目設定処理
図３９は、実施の形態１６に係る画像分類装置において用いられる画像分類ウインドウ３５０ｃを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図３９に示すような分類条件設定ウインドウ３６０ｃを表示させる。
【０３８７】
図３９に示す分類条件設定ウインドウ３６０ｃは、図３８に示したものに加えて（実施の形態３の検索ウインドウ２００ｃに示すように）、画像指定欄Ａ，ＢおよびＣに指定された各基準画像毎に相対的な重要度を指定する重要度指定バー３６３を備えている。
【０３８８】
ユーザは、図３９に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、指定した基準画像Ａ，ＢおよびＣ毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を指定する。
【０３８９】
続いて、実施の形態３の重要度指定バー２０４で説明したように、ユーザは重要度指定バー３６３を用いて各基準画像に重要度を指定する。この重要度指定バー３６３は、各基準画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能とするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０３９０】
このように、基準画像毎にユーザが重要度を指定することにより、分類に対するユーザの意図を正確に表現することが可能となる。すなわち、後述する分類処理によって、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された分類結果の画像を得ることが可能となる。
【０３９１】
さらに、ユーザはフォルダ３５２の閾値を指定し、設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、基準画像，特徴量の種類，重要度および閾値を分類条件としてフォルダ３５２に設定する。
【０３９２】
このような処理を各フォルダに対して行うことにより、図３９に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。設定されたフォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。
【０３９３】
（２）画像分類処理
図４０は、実施の形態１６の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ユーザが指定した種類の特徴量を用いて各基準画像および分類対象の画像との類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１６０１）。
【０３９４】
このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図３９の分類条件設定ウインドウ３６０ｃを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが指定した基準画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求め、求めた距離に対して基準画像Ｂの重要度に応じた重み付けを行うと共に、テクスチャの特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求め、求めた距離に対して基準画像Ｃの重要度に応じた重み付けを行う。
【０３９５】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数３を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０３９６】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０３９７】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０３９８】
以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図３９の画像分類ウインドウ３５０ｃの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０３９９】
このように、実施の形態１６に係る画像分類装置によれば、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、フォルダ毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０４００】
なお、詳細な説明については省略するが、実施の形態１４で説明した画像分類装置においても、実施の形態１６で説明したように各問合せ画像毎に重要度を指定することができるようにしても良い。
【０４０１】
〔実施の形態１７〕
実施の形態１７に係る画像分類装置は、ユーザの意図を分類条件として正確に表現するための一つの手法として、実施の形態４で説明したＡＮＤ検索を応用した画像分類処理を行うものである。なお、実施の形態１７に係る画像分類装置において、実施の形態１４で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像分類装置の動作についても共通する点については適宜説明を省略する。また、実施の形態１７に係る画像分類装置においては、画像間の類似度を求める際に用いる特徴量は一種類であるものとするが、当然、複数種類の特徴量を用いることにしても良い。
【０４０２】
以下に、実施の形態１７に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０４０３】
（１）分類項目設定処理
図４１は、実施の形態１７に係る画像分類装置において用いられる画像分類ウインドウ３５０ｄを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４１に示すような分類条件設定ウインドウ３６０ｄを表示させる。
【０４０４】
図４１に示す分類条件設定ウインドウ３６０ｄは、画像指定欄Ａ，ＢおよびＣ，ならびに設定ボタン３６１に加え、ＡＮＤ条件を指定するためのＡＮＤ指定ボタン３６４およびＯＲ条件を指定するためのＯＲ指定ボタン３６５が設けられている点である。なお、ＯＲ条件については、後述する実施の形態２１において詳細に説明する。
【０４０５】
ユーザは、図４１に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、ＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定する。さらに、ユーザがフォルダ３５２の閾値を指定し、設定ボタン３６１を指定すると、Ｕ／Ｉ部１５１は、基準画像，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。
【０４０６】
このような処理を各フォルダに対して行うことにより、図４１に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定されたフォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。
【０４０７】
（２）画像分類処理
実施の形態１７の画像分類処理について図３６を参照しつつ説明する。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１４０１）。
【０４０８】
このステップＳ１４０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、分類対象の画像と基準画像Ｃとの距離を求める。
【０４０９】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数４を参照）。なお、複数種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求める場合は、各種類の特徴量毎に分類対象の画像および各基準画像の類似度（距離）を求め、分類対象の画像毎に、各基準画像に対する全ての類似度を合計して総合類似度を求めれば良い。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４１０】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１４０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１４０２）。ただし、ここでは、類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４１１】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１４０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４１２】
以上説明したステップＳ１４０１〜Ｓ１４０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ検索対象の画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４１３】
このように、実施の形態１７に係る画像分類装置によれば、フォルダを設定し、設定したフォルダ毎に、基準画像を複数設定し、フォルダ毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して総合類似度を求め、フォルダ毎に求めた総合類似度および予め設定された分類先決定基準に基づいて分類対象の画像の分類先となるフォルダを決定するため、ＡＮＤ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０４１４】
なお、実施の形態１７においては、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。
【０４１５】
さらに、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。
【０４１６】
〔実施の形態１８〕
実施の形態１８に係る画像分類装置は、実施の形態１７の画像分類装置において、実施の形態５で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。
【０４１７】
以下に、実施の形態１８に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０４１８】
（１）分類項目設定処理
図４２は、実施の形態１８に係る画像分類装置において用いられる画像分類ウインドウ３５０ｅを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４２に示すような分類条件設定ウインドウ３６０ｅを表示させる。
【０４１９】
図４２に示す分類条件設定ウインドウ３６０ｅは、図４１に示した分類条件設定ウインドウ３６０ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各基準画像間の相対的な重要度を指定する重要度指定バー３６６を備えている。
【０４２０】
ユーザは、図４２に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定すると共に、重要度指定バー３６６を用いて基準画像Ａ，ＢおよびＣ毎に重要度を指定する。この重要度指定バー３６６は、実施の形態５の重要度指定バー２０７で説明したように、各基準画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０４２１】
このように、基準画像毎にユーザが重要度を指定することにより、分類に対するユーザの意図を正確に表現することが可能となる。すなわち、後述する分類処理によって、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された分類結果の画像を得ることが可能となる。
【０４２２】
さらに、ユーザがＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定すると共に、フォルダ３５２の閾値を指定した後、設定ボタン３６１を指定すると、Ｕ／Ｉ部１５１は、基準画像，重要度，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。
【０４２３】
このような処理を各フォルダに対して行うことにより、図４２に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定された各フォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。
【０４２４】
（２）画像分類処理
実施の形態１８の画像分類処理について図４０を参照しつつ説明する。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像との類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して総合類似度を求める処理を実行する（Ｓ１６０１）。
【０４２５】
このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４２の分類条件設定ウインドウ３６０ｅを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが指定した基準画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求め、求めた距離に対して基準画像Ｂの重要度に応じた重み付けを行うと共に、所定の特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求め、求めた距離に対して基準画像Ｃの重要度に応じた重み付けを行う。
【０４２６】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数５を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４２７】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４２８】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４２９】
以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４２の画像分類ウインドウ３５０ｅの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４３０】
このように、実施の形態１８に係る画像分類装置によれば、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、フォルダ毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０４３１】
〔実施の形態１９〕
実施の形態１９に係る画像分類装置は、実施の形態１７の画像分類装置において、実施の形態６で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。なお、実施の形態１９に係る画像分類装置においては、例として、色，構造およびテクスチャの３種類の特徴量を用いて分類処理を行うものとする。
【０４３２】
以下に、実施の形態１９に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０４３３】
（１）分類項目設定処理
図４３は、実施の形態１９に係る画像分類装置において用いられる画像分類ウインドウ３５０ｆを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４３に示すような分類条件設定ウインドウ３６０ｆを表示させる。
【０４３４】
図４３に示す分類条件設定ウインドウ３６０ｆは、図４１に示した分類条件設定ウインドウ３６０ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各基準画像毎に、分類対象の画像との類似度を求める際に使用される特徴量の種類毎の重要度を指定するための重要度指定バー３６７を備えている。
【０４３５】
ユーザは、図４３に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、指定した基準画像Ａ，ＢおよびＣ毎に、特徴量の種類毎の重要度を指定する。この重要度指定バー３６７は、実施の形態６で説明したように、各基準画像の特徴量の種類毎に、「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０４３６】
このように、各種類の特徴量毎の重要度を各基準画像毎に指定することにより、分類に対するユーザの意図を正確に表現することが可能となる。すなわち、後述する分類処理によって、重要度は各種類の特徴量毎に求めた類似度に対する重み付けとして反映されるため、ユーザの意図が反映された分類結果の画像を得ることが可能となる。
【０４３７】
さらに、ユーザは、ＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定すると共に、フォルダ３５２の閾値を指定した後、設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、基準画像，重要度，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。
【０４３８】
このような処理を各フォルダに対して行うことにより、図４３に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定された各フォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。
【０４３９】
（２）画像分類処理
実施の形態１９に係る画像分類処理について図４０を参照しつつ説明する。ユーザが分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１６０１）。
【０４４０】
このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４３の分類条件設定ウインドウ３６０ｆを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが基準画像Ａに対して指定した色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａとの距離を構造の特徴量およびテクスチャの特徴量を用いてそれぞれ求め、求めた各距離に対し、ユーザが基準画像Ａに対して指定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０４４１】
マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。
【０４４２】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数６を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４４３】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４４４】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４４５】
以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４３の画像分類ウインドウ３５０ｆの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４４６】
このように、実施の形態１９に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、フォルダそれぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０４４７】
なお、特徴量の種類は、色，構造およびテクスチャの３種類に限定するものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０４４８】
〔実施の形態２０〕
実施の形態２０に係る画像分類装置は、実施の形態１７の画像分類装置において、実施の形態７で説明した画像検索処理を応用することにより、分類に対するユーザの意図を装置側が汲み取ることができるようにしたものである。なお、実施の形態２０に係る画像分類装置は、例として、色，構造およびテクスチャの３種類の特徴量を用いて分類処理を行うものとする。
【０４４９】
前述した実施の形態１８および１９においては、ユーザが基準画像の重要度または各基準画像に特徴量毎の重要度を指定する必要があったが、実施の形態２０に係る画像分類装置においては、ユーザによってフォルダ毎に指定された基準画像間の類似度を、基準画像および分類対象の画像の類似度を求める際に使用する特徴量を用いて求め、求めた特徴量毎の類似度に基づいて各基準画像間における特徴量毎の重要度を装置側で決定し、類似度に対する重み付けとして反映するという点が特徴となる。
【０４５０】
以下に、実施の形態２０に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０４５１】
（１）分類項目設定処理
図４１を用いて分類項目設定処理について説明する。ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４１に示すような分類条件設定ウインドウ３６０ｄを表示させる。
【０４５２】
ユーザは、図４１に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、ＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定する。さらに、ユーザがフォルダ３５２の閾値を指定し、設定ボタン３６１を選択すると、特徴抽出エンジン１５２は、色，構造およびテクスチャの３種類の特徴量毎に、各基準画像Ａ，ＢおよびＣ間の距離（類似度）を求め、求めた各特徴量毎の距離に基づいて各基準画像Ａ，ＢおよびＣ間における特徴量毎の重要度を決定する。
【０４５３】
具体的に、特徴抽出エンジン１５２は、３種類の特徴量毎に、基準画像同士の特徴間の距離を求める。各特徴量毎に求めた距離の分散が大きい場合にはその特徴量についてはユーザは関知していないことを意味し、分散が小さい場合にはユーザはその特徴量を分類基準として重視していると判断できる。したがって、分散が大きい特徴量の場合には重要度を小さくし、分散が小さい場合には重要度を大きくするようにする（数７を参照）。
【０４５４】
特徴抽出エンジン１５２は、３種類の特徴量毎の重要度をＵ／Ｉ部１５１に入力し、Ｕ／Ｉ部１５１は、基準画像，特徴抽出エンジン１５２で決定された重要度，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。
【０４５５】
このような処理を各フォルダに対して行うことにより、図４１に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定されたフォルダのフォルダ情報は分類木ＤＢ３０２に登録される。
【０４５６】
（２）画像分類処理
つぎに、実施の形態２０の画像分類処理について図４０を参照しつつ説明する。ユーザが分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１６０１）。
【０４５７】
このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離を求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０４５８】
マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。
【０４５９】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４６０】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４６１】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４６２】
以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４６３】
このように、実施の形態２０に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、分類項目毎に、設定された各基準画像間の類似度を各種類の特徴量毎に求め、各種類の特徴量毎に求めた類似度に基づいて各基準画像間における各特徴量毎の重要度を決定し、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、決定された重要度に応じた重み付けを行うことにより、装置側でユーザが指定した基準画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った画像の分類結果を返すことが可能となる。したがって、ユーザが望む通りの分類処理を実現することができ、ユーザが望む分類結果を得ることができる。
【０４６４】
なお、特徴量の種類は、色，構造およびテクスチャの３種類に限定するものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０４６５】
〔実施の形態２１〕
実施の形態２１に係る画像分類装置は、ユーザの意図を分類条件として正確に表現するための一つの手法として、実施の形態８で説明したＯＲ検索を応用した画像分類処理を行うものである。
【０４６６】
実施の形態２１に係る画像分類装置による画像の分類処理は、実施の形態１７で説明に用いた図４１の分類条件設定ウインドウ３６０ｄにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態１７における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。
【０４６７】
なお、ＯＲ条件の指定と共に、図４１に示したフォルダ３５２には、実施の形態１７の場合と同様に基準画像Ａ，ＢおよびＣ，ならびに閾値が分類条件として設定されたものとする。
【０４６８】
図４４は、実施の形態２１の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２１０１）。
【０４６９】
このステップＳ２１０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、分類対象の画像と基準画像Ｃとの距離を求める。
【０４７０】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度を求める（数８を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に最も高い類似性を示す類似度を選択して総合類似度を求める。
【０４７１】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ２１０１で選択した類似度が閾値を超えるか否かを判定する（Ｓ２１０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４７２】
そして、マッチング・エンジン１５３は、選択した類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２１０３）。すなわち、マッチング・エンジン１５３は、選択した類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４７３】
以上説明したステップＳ２１０１〜Ｓ２１０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い類似度（ステップＳ２１０１で選択された類似度のことであり、距離で表現すれば最も小さい類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４７４】
なお、実施の形態２１の画像分類処理においては、分類対象の画像が、あるフォルダに設定された各基準画像のいずれかに対して閾値以上の類似度が得られる程類似していればそのフォルダに分類されることになる。したがって、実施の形態２１の画像分類処理にＯＲ検索が応用されていることがわかる。
【０４７５】
このように、実施の形態２１に係る画像分類装置によれば、フォルダを設定し、設定したフォルダ毎に、基準画像を複数設定し、フォルダ毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度の中から最も高い類似性を示す類似度を選択し、各フォルダ毎に選択した類似度および予め設定された分類先決定基準に基づいて分類対象の画像の分類先となるフォルダを決定するため、ＯＲ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０４７６】
なお、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。
【０４７７】
〔実施の形態２２〕
実施の形態２２に係る画像分類装置は、実施の形態２１の画像分類装置において、実施の形態９で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。
【０４７８】
実施の形態２２に係る画像分類装置による画像の分類処理は、実施の形態１８で説明に用いた図４２の分類条件設定ウインドウ３６０ｅにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態１８における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。
【０４７９】
なお、ＯＲ条件の指定と共に、図４２に示したフォルダ３５２には、実施の形態１８の場合と同様に基準画像Ａ，ＢおよびＣ，各基準画像の重要度ならびに閾値が分類条件として設定されたものとする。
【０４８０】
図４５は、実施の形態２２の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像との類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２２０１）。
【０４８１】
このステップＳ２２０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４２の分類条件設定ウインドウ３６０ｅを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが指定した基準画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求め、求めた距離に対して基準画像Ｂの重要度に応じた重み付けを行うと共に、所定の特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求め、求めた距離に対して基準画像Ｃの重要度に応じた重み付けを行う。
【０４８２】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度を求める（数９を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４８３】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ２２０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ２２０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４８４】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２２０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４８５】
以上説明したステップＳ２２０１〜Ｓ２２０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４２の画像分類ウインドウ３５０ｅの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４８６】
このように、実施の形態２２に係る画像分類装置によれば、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、フォルダ毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０４８７】
〔実施の形態２３〕
実施の形態２３に係る画像分類装置は、実施の形態２１の画像分類装置において、実施の形態１０で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。
【０４８８】
実施の形態２３に係る画像分類装置による画像の分類処理は、実施の形態１９で説明に用いた図４３の分類条件設定ウインドウ３６０ｆにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態１９における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。
【０４８９】
なお、ＯＲ条件の指定と共に、図４３に示したフォルダ３５２には、実施の形態１９の場合と同様に基準画像Ａ，ＢおよびＣ，各基準画像について特徴量の種類毎に指定された重要度ならびに閾値が分類条件として設定されたものとする。
【０４９０】
つぎに、実施の形態２３に係る画像分類処理について図４５を参照しつつ説明する。ユーザが画像分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２２０１）。
【０４９１】
このステップＳ２２０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４３の分類条件設定ウインドウ３６０ｆを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが基準画像Ａに対して指定した色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａとの距離を構造の特徴量およびテクスチャの特徴量を用いて求め、求めた各距離に対し、ユーザが基準画像Ａに対して指定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０４９２】
マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。
【０４９３】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする（数１０を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４９４】
続いて、マッチング・エンジン１５３は、分類木ＤＢ３０２を参照して、フォルダ３５２〜３５８毎に、ステップＳ２２０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ２２０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４９５】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２２０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４９６】
以上説明したステップＳ２２０１〜Ｓ２２０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４３の画像分類ウインドウ３５０ｆの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４９７】
このように、実施の形態２３に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、フォルダそれぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０４９８】
〔実施の形態２４〕
実施の形態２４に係る画像分類装置は、実施の形態２１の画像分類装置において、実施の形態１１で説明した画像検索処理を応用することにより、分類に対するユーザの意図を装置側が汲み取ることができるようにしたものである。
【０４９９】
実施の形態２４に係る画像分類装置による画像の分類処理は、実施の形態２０で説明に用いた図４１の分類条件設定ウインドウ３６０ｄにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態２０における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。
【０５００】
なお、ＯＲ条件の指定と共に、図４１に示したフォルダ３５２には、実施の形態２０の場合と同様に基準画像Ａ，ＢおよびＣ，特徴量の種類毎に特徴抽出エンジン１５２で決定された重要度ならびに閾値が分類条件として設定されたものとする。
【０５０１】
つぎに、実施の形態２４の画像分類処理について図４５を参照しつつ説明する。ユーザが画像分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２２０１）。
【０５０２】
このステップＳ２２０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離を求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０５０３】
マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。
【０５０４】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度を求める。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０５０５】
続いて、マッチング・エンジン１５３は、分類木ＤＢ３０２を参照して、フォルダ３５２〜３５８毎に、ステップＳ２２０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ２２０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０５０６】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２２０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０５０７】
以上説明したステップＳ２２０１〜Ｓ２２０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０５０８】
このように、実施の形態２４に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、分類項目毎に、設定された各基準画像間の類似度を各種類の特徴量毎に求め、各種類の特徴量毎に求めた類似度に基づいて各基準画像間における各特徴量毎の重要度を決定し、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、決定された重要度に応じた重み付けを行うことにより、装置側でユーザが指定した基準画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザが望む通りの画像分類処理を実現することができ、ユーザが望む画像の分類結果を得ることができる。
【０５０９】
〔実施の形態２５〕
つぎに、実施の形態２５に係る画像分類装置について説明する。実施の形態２５に係る画像分類装置は、ユーザが希望する基準で画像を動的に分類していき、所望の画像を探し出すことができるようにするものである。
【０５１０】
なお、実施の形態２５に係る画像分類装置の構成および画像分類ソフトの構成は図３３および図３４の通りであるため、ここではこれらについての説明を省略し、画像分類処理についてのみ説明することにする。また、分類対象となる画像は、ここでは画像ＤＢ１０８に登録されている画像であるものとし、これらの画像からは色，構造およびテクスチャの特徴量が抽出されて画像特徴ＤＢ１０９に登録されているものとする。
【０５１１】
図４６〜図４８は、実施の形態２５における画像分類処理の説明図である。ユーザが図示しないメニューから「画像分類処理」を選択すると、図３４のＵ／Ｉ部１５１は、図４６に示す画像分類ウインドウ４００を画面表示する。
【０５１２】
図４６に示す画像分類ウインドウ４００には、初期状態として、画像ＤＢ１０８中の全ての画像を対象とした分類項目４０１と、画像ＤＢ１０８中に登録された画像を動的に分類していく際に使用する特徴量の種類を表す分類項目４０２ａ，４０３ａおよび４０４ａとが示されている。ユーザが分類項目４０２ａ，４０３ａおよび４０４ａのいずれかを選択することにより、画像ＤＢ１０８中の画像が動的に分類されることになる。
【０５１３】
ここで、分類項目４０２ａは、色の特徴量を用いて画像を分類する際に使用する項目であり、分類項目４０３ａは、構造の特徴量を用いて画像を分類する際に使用する項目であり、分類項目４０４ａは、テクスチャの特徴量を用いて画像を分類するための項目である。
【０５１４】
図４６において、ユーザが分類項目４０２ａを指定したものとすると、Ｕ／Ｉ部１５１は、色の特徴量が指定されたことをマッチング・エンジン１５３に通知する。マッチング・エンジン１５３は、色の特徴空間（図４参照）において画像ＤＢ１０８中の画像をNearest Neighbor法やＫ−平均アルゴリズム等の一般的なクラスタリング手法を用いてクラスタリングする（類似する画像同士のグループに分類する）と共に、個々のクラスタから代表画像を選択する。なお、代表画像については、例えばクラスタの中心の画像を代表画像として選択する等、代表画像同士が非類似であれば選択方法はいかなるものであっても良い。
【０５１５】
そして、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３からクラスタリングの結果を入力し、図４７に示すように、ユーザによって選択された分類項目４０２ａに関連付けて代表画像４０５〜４０８を表示する。図４７においては、代表画像が４枚表示されているため、画像ＤＢ１０８の画像が色の特徴量により４つのクラスタに分類されたことが示されている。つまり、実施の形態２５においては、特徴量の種類を指定することによって生成されるクラスタが実質的な分類項目ということになる。ユーザは必要に応じて代表画像以外の各クラスタに属する画像を表示して見ることができる。
【０５１６】
図４８は、代表画像４０７のクラスタを色の特徴空間でさらにクラスタリングして分類した結果を示している。このように、段階的に特徴量の種類を指定していくことにより、ユーザは目的の画像にたどり着くことができる。
【０５１７】
なお、色以外の特徴量については詳細な説明を省略するが、構造やテクスチャの特徴量が選択された場合であっても、同様に特徴空間でクラスタリングが行われ、画像が分類されていくことになる。
【０５１８】
このように、実施の形態２５に係る画像分類装置によれば、特徴量の種類が指定されると、指定された種類の特徴量を用いて分類対象の各画像間の類似度を求め、求めた分類対象の各画像間の類似度に基づいて、分類対象の各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示し、さらに、表示された代表画像の一つが指定されるとと共に、特徴量の種類が指定されると、指定された種類の特徴量を用いて代表画像の属するグループに分類された各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示することにより、画像を分類したい時にユーザが希望する基準で画像を動的に分類していくことが可能となるため、画像の分類を利用して所望の画像を探し出すことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０５１９】
また、特徴量の種類を分類項目４０２，４０３および４０４として画面表示し、指定された分類項目に関連付けて、分類された各グループの代表画像を画面表示することにより、図４８に示すように画像ＤＢ１０８中の画像を分類した結果を木構造で画面表示できるため、ユーザが画像分類処理の様子を一目で認識でき、動的な画像分類処理の利便性の向上を図ることができる。
【０５２０】
なお、実施の形態２５の画像分類処理によって画像を分類した結果を、例えば分類履歴として分類木ＤＢ３０２に登録しておくことにより、再利用することができる。
【０５２１】
また、分類対象の画像は画像ＤＢ１０８中の画像に限定されるものではなく、例えば実施の形態１〜１３の画像検索装置で検索した結果の複数の画像を分類対象の画像として用いることもできる。
【０５２２】
〔実施の形態２６〕
つぎに、実施の形態２６の画像分類装置について説明する。実施の形態２６に係る画像分類装置は、実施の形態１４〜２５で説明した画像分類装置の一部または全てを一つの画像分類装置として統合したものである。すなわち、実施の形態１４〜２５における説明から明らかなように、これらの装置は図３３および図３４に示したような共通の構成で実現可能なものであるため、容易に統合することができる。
【０５２３】
実施の形態１４〜２５で説明した画像分類装置を一つに統合することにより、各フォルダ毎に異なる方法で分類条件を設定することができる。例えば、図３５において、フォルダ３５２には実施の形態１４で説明した分類条件を、フォルダ３５３には実施の形態１７で説明した分類条件を、フォルダ３５８には実施の形態２１で説明した分類条件をそれぞれ設定することができる。
【０５２４】
なお、分類条件の設定処理や画像の分類処理については各実施の形態の項で説明した通りであるため、ここでは説明を省略する。
【０５２５】
このように、実施の形態１４〜２５で説明した画像分類装置を一つに統合することにより、さまざまな視点で分類条件を設定することができ、分類条件の設定に関する自由度を増すことができる。
【０５２６】
なお、画像分類装置の場合と同様の理由で、実施の形態１〜１３で説明した画像検索装置を一つの装置として統合することも可能である。これにより、異なる検索方法を組み合わせて所望の画像を検索することが可能となる。
【０５２７】
〔実施の形態２７〕
さらに、実施の形態１〜２５で説明した画像検索装置および画像分類装置の一部または全てを一つの装置として統合することもできる（画像検索装置または画像分類装置のマッチング・エンジン１５３に画像検索処理および画像分類処理の両方の機能を持たせるということ）。つまり、本発明の実施の形態で説明した画像検索処理および画像分類処理においては、図２および図３４に示したマッチング・エンジン１５３が画像から抽出した特徴量を用いて画像間の類似度を求めることが基本となっていることから、実施の形態１〜２５で説明した画像検索装置および画像分類装置を一つの装置に容易に統合することが可能である。
【０５２８】
詳細な説明については省略するが、実施の形態１〜２５で説明した画像検索装置および画像分類装置を一つの装置に統合することによって以下のような処理を行うことが可能となる。
【０５２９】
（１）実施の形態１４〜２５で説明したいずれかの画像分類処理で各フォルダ（分類項目）に分類した画像の中から選択した画像を問合せ画像として指定して、実施の形態１〜１３で説明したいずれかの画像検索処理で画像検索を行うことができる。
（２）実施の形態１〜１３で説明したいずれかの画像検索処理で検索された検索結果の画像を分類対象とし、実施の形態１４〜２５（または２６）で説明したいずれかの画像分類処理で分類することができる。
（３）実施の形態１４〜２５で説明したいずれかの画像分類処理で特定のフォルダ（分類項目）に分類された複数の画像を検索対象とし、実施の形態１〜１３で説明したいずれかの画像検索処理で所望の画像を検索することができる。
【０５３０】
このように、実施の形態１〜２５で説明した画像検索装置および画像分類装置の一部または全てを一つの装置に統合することにより、自由に画像検索処理や画像分類処理を実行することが可能となる。
【０５３１】
以上説明したように、本発明に係る画像処理装置および画像分類装置は、各フローチャートに基づく手順に従って、予め用意されたプログラムをコンピュータで実行することによって実現される。このプログラムは、前述した各実施の形態毎、または任意に組み合わせて提供することが可能である。
【０５３２】
このプログラムは、ハードディスク，フロッピーディスク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。そして、図４９（ａ）に示すように、プログラムは、記録媒体４５０からＣＰＵ１０１（コンピュータ１００）によって読み出され、ＣＰＵ１０１がプログラムに基づく処理を実行することによって本発明に係る画像検索装置および／または画像分類装置が実現される。
【０５３３】
また、このプログラムは、図４９（ｂ）に示すように、サーバ４５１の記録媒体からインターネットやＬＡＮのようなネットワークを介してダウンロードし、ＣＰＵ１０１に読み込むという形態においても実行可能なものである。また、ネットワークではなく、例えば放送波でプログラムを配信することによってもダウンロードして実行することができる。
【０５３４】
また、前述した各実施の形態においては特に言及しなかったが、本発明の画像検索装置および画像分類装置は、静止画に限らず、動画像にも適用することができる。これは、動画像は連続する静止画からなるものであるからである。
【０５３５】
また、実施の形態１〜３で説明した画像検索処理は実施の形態４〜７で説明したＡＮＤ検索と同様の手法を用いたものであるといえ、それらに対して実施の形態８〜１１で説明したＯＲ検索を適用することも可能であることから、検索ウインドウ２００ａ，２００ｂおよび２００ｃ（図５，図７および図９）において、ＡＮＤ条件およびＯＲ条件を指定できるようにしても良い。実施の形態１４〜１６で説明した画像分類装置においても、同様に、分類条件の一つしてＡＮＤ条件およびＯＲ条件を指定できるようにしても良い。
【０５３６】
また、実施の形態４〜７で説明した画像検索装置，実施の形態８〜１１で説明した画像検索装置，実施の形態１７〜２０で説明した画像分類装置，および実施の形態２１〜２４で説明した画像分類装置においては、それぞれＡＮＤ条件またはＯＲ条件を指定することにしているが、ＡＮＤ条件またはＯＲ条件の指定は必須のものではない。換言すれば、ＡＮＤ条件またはＯＲ条件を指定しなくても、各実施の形態で説明した処理を実行するように装置を構成することができる。
【０５３７】
また、詳細な説明については省略するが、実施の形態１４〜２４で説明した画像分類装置において、例えば図３５に示したフォルダ３５４に画像を分類する処理を実行するタイミングは、フォルダ３５３に画像が分類された後となる。なぜなら、フォルダ３５４はフォルダ３５３に分類された画像をさらに分類するためのものであるからである。加えて、画像を分類するためのフォルダの追加・削除や、フォルダに設定した分類条件の変更等の処理を自由に行うこともできる。
【０５３８】
さらに、詳細な説明については省略するが、例えばクライアント・サーバシステムにおいて、サーバに各実施の形態で説明した画像検索装置または画像分類装置の機能を持たせるようにして、クライアントから検索条件を指定したり、分類された画像をクライアントの画面に表示させたりすることが可能であることは明らかである。
【０５３９】
（１）以上説明したように、上記実施形態の画像検索装置によれば、問合せ画像および検索対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの問合せ画像を指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を対応する種類の特徴量を用いて求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。具体的には、例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。
【０５４０】
（２）また、上記実施形態の画像検索装置によれば、問合せ画像を複数指定すると共に、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定し、検索対象の画像毎に、指定された種類の特徴量を用いて各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。具体的には、例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。
【０５４１】
（３）また、上記実施形態の画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて、検索結果を出力することにより、ＡＮＤ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。
【０５４２】
（４）また、上記実施形態の画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて、検索結果を出力することにより、ＯＲ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。
【０５４３】
（５）また、上記実施形態の画像検索装置によれば、さらに、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０５４４】
（６）また、上記実施形態の画像検索装置によれば、さらに、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、問合せ画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することが可能であり、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０５４５】
（７）また、上記実施形態の画像検索装置によれば、さらに、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎に、指定された各問合せ画像間の類似度を求め、求めた各種類の特徴量毎の類似度に基づいて各問合せ画像間における各種類の特徴量毎の重要度を決定し、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、決定した各種類の特徴量毎の重要度に応じた重み付けを行った後、総合類似度を求めることにより、装置側でユーザが指定した問合せ画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った検索結果を返すことが可能となる。したがって、ユーザが望む通りの検索処理を実現することができ、ユーザが望む検索結果を得ることができる。
【０５４６】
（８）また、上記実施形態の画像検索装置によれば、問合せ画像を少なくとも一つ指定すると共に、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定し、抽出基準に基づいて、問合せ画像および複数の検索対象の画像から少なくとも指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出し、検索対象の画像毎に、指定された粗さのレベルに応じた特徴量を用いて問合せ画像との類似度を求め、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索精度の異なる複数種類の検索処理を実行することが可能となる。すなわち、ユーザが検索に使用する特徴量の粗さのレベルを少なくとも一つ指定することができるため、検索に対するユーザの視点の細かさを検索条件として表現でき、ユーザの意図を検索条件として正確に表現することができる。したがって、ユーザが望む通りの画像検索処理を行うことが可能となる。
【０５４７】
（９）また、上記実施形態の画像検索装置によれば、さらに、抽出基準が、少なくとも画像を何分割するかを表す分割数を粗さのレベルとして段階的に定義しており、段階的に定義された粗さのレベルのいずれか一つに応じて特徴量を抽出する場合、該当する分割数に基づいて画像を分割して複数の分割画像を生成し、生成した各分割画像から特徴量をそれぞれ抽出することにより、問合せ画像および検索対象の画像から分割画像単位の特徴量からなる特徴量群を抽出し、特徴量群を利用して問合せ画像および検索対象の画像の類似度を求める場合、問合せ画像および検索対象の画像の対応する分割画像毎の類似度を該当する特徴量を用いてそれぞれ求めることにより、問合せ画像および検索対象の画像の類似度を求めるようにしたため、画像の分割数で特徴量の粗さのレベルを容易に定義することができ、各分割画像毎に類似度を求めることによって画像検索に画像特徴の位置関係という概念を導入することが可能となる。したがって、精度の高い画像検索処理を実行することが可能となる。
【０５４８】
（１０）また、上記実施形態の画像検索装置によれば、さらに、抽出基準が、段階的に定義された粗さのレベル中の最も粗い特徴量を示すレベルとして、画像を分割することなく、画像全体を特徴量の抽出対象とするレベルを含み、画像全体を特徴量の抽出対象とするレベルに応じて特徴量を抽出する場合、問合せ画像および検索対象の画像から画像全体を対象として特徴量を抽出するため、画像特徴の位置関係を無視した単純なレベルでの検索処理を含めることが可能となる。
【０５４９】
（１１）また、上記実施形態の画像検索装置によれば、さらに、抽出基準が、画像中に存在するオブジェクトを特徴量の抽出対象とする場合に、オブジェクトから抽出する特徴量の粗さのレベルの定義を含むため、さらに異なる視点で検索条件を指定することが可能となり、ユーザの意図を検索条件として正確に表現することができる。
【０５５０】
（１２）また、上記実施形態の画像検索装置によれば、さらに、複数の検索対象の画像については抽出基準で定義された全ての粗さのレベルに応じた特徴量を予め抽出しておき、指定された問合せ画像のうち、特徴量が抽出されていない問合せ画像については類似度を求める処理を実行する前に指定された粗さのレベルに応じた特徴量を抽出するようにしたため、画像検索処理の高速化を図ることができる。
【０５５１】
（１３）また、上記実施形態の画像検索装置によれば、さらに、問合せ画像を少なくとも一つ指定し、検索対象の画像毎に、検索対象の画像中の所定のサイズの領域と指定された問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理を検索対象の画像全体にわたって繰り返し実行し、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができる。したがって、ユーザの意図するような画像検索を実現する一つの手法を提供することができる。
【０５５２】
（１４）また、上記実施形態の画像検索装置によれば、さらに、検索結果の画像を問合せ画像として指定できるため、さらに詳細な絞込み検索を行うことができ、ユーザが望む通りの検索処理を実現することができる。
【０５５３】
（１５）また、上記実施形態のコンピュータ読み取り可能な記録媒体によれば、上記実施形態のいずれか１つに記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを記録したため、このプログラムをコンピュータに実行させることにより、検索条件を指定する際にユーザの視点を確実に装置に伝えることを可能とすると共に、ユーザの視点に合った検索結果を返すことを可能とする画像検索装置を実現することが可能となる。すなわち、ユーザが望む通りの検索処理を実現することができる画像検索装置を実現することが可能となる。
【０５５４】
（１６）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目それぞれに対し、基準画像および分類対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの基準画像を設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を対応する種類の特徴量を用いて求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。すなわち、基準画像として適切な画像が存在しない場合であっても、例えば分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの基準画像として使用するため、分類条件を指定する際にユーザの視点を確実に装置に伝えることができると共に、このような基準画像を使用して分類処理を実行するため、ユーザの望む分類先に画像を適切に分類することが可能となる。
【０５５５】
（１７）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目毎に、基準画像を複数設定すると共に、設定した各基準画像毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を設定し、分類項目毎に、設定された種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。すなわち、基準画像として適切な画像が存在しない場合であっても、例えば分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの基準画像として使用するため、分類条件を指定する際にユーザの視点を確実に装置に伝えることができると共に、このような基準画像を使用して分類処理を実行するため、ユーザの望む分類先に画像を適切に分類することが可能となる。
【０５５６】
（１８）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目毎に、基準画像を複数設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定するため、ＡＮＤ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０５５７】
（１９）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目毎に、基準画像を複数設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定するため、ＯＲ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０５５８】
（２０）また、上記実施形態の画像分類装置によれば、さらに、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、分類項目毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０５５９】
（２１）また、上記実施形態の画像分類装置によれば、さらに、複数種類の特徴量を用いて基準画像および分類対象の画像の類似度を求める場合に、求めた類似度に対し、基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、設定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０５６０】
（２２）また、上記実施形態の画像分類装置によれば、さらに、複数種類の特徴量を用いて基準画像および分類対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、分類項目毎に、設定された各基準画像間の類似度を各種類の特徴量毎に求め、各種類の特徴量毎に求めた類似度に基づいて各基準画像間における各特徴量毎の重要度を決定し、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、決定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、装置側でユーザが指定した基準画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った画像の分類結果を返すことが可能となる。したがって、ユーザが望む通りの分類処理を実現することができ、ユーザが望む分類結果を得ることができる。
【０５６１】
（２３）また、上記実施形態の画像分類装置によれば、さらに、分類項目毎に分類された画像をさらに分類するための分類項目を設定できるため、詳細な画像の分類処理を実行することが可能となる。
【０５６２】
（２４）また、上記実施形態の画像分類装置によれば、特徴量の種類が指定されると、指定された種類の特徴量を用いて分類対象の各画像間の類似度を求め、求めた分類対象の各画像間の類似度に基づいて、分類対象の各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示し、さらに、表示された代表画像の一つを指定すると共に、特徴量の種類を指定すると、指定された種類の特徴量を用いて代表画像の属するグループに分類された各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示することにより、画像を分類したい時にユーザが希望する基準で画像を動的に分類していくことが可能となるため、画像の分類を利用して所望の画像を探し出すことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０５６３】
（２５）また、上記実施形態の画像分類装置によれば、さらに、指定可能な特徴量の種類を画面表示し、指定された特徴量の種類に関連付けて各グループの代表画像を画面表示し、分類対象の複数の画像を分類した結果を木構造で画面表示するため、ユーザが画像分類処理の様子を一目で認識でき、動的な画像分類処理の利便性の向上を図ることができる。
【０５６４】
（２６）また、上記実施形態の画像分類装置によれば、さらに、分類項目毎に分類された任意の画像を問合せ画像として用いて、問合せ画像と同一または類似の画像を検索するため、装置の利便性の向上を図ることができる。
【０５６５】
（２７）また、上記実施形態の画像分類装置によれば、さらに、上記実施形態のいずれか一つに記載の画像検索装置を用いて検索を行うため、検索条件を指定する際にユーザの視点を確実に装置に伝えることが可能となると共に、ユーザの視点に合った検索結果を返すことが可能となり、装置の利便性の向上を図ることができる。
【０５６６】
（２８）また、上記実施形態の画像分類装置によれば、さらに、分類対象の画像が検索結果の画像であるため、例えば、画像の分類を検索結果の絞込みに応用することが可能となる。
（２９）また、上記実施形態のコンピュータ読み取り可能な記録媒体によれば、上記実施形態のいずれか一つに記載の画像分類装置の各手段としてコンピュータを機能させるためのプログラムを記録したため、このプログラムを実行することにより、分類条件を指定する際にユーザの視点を確実に装置に伝えることを可能とすると共に、ユーザの視点に合った分類項目に画像を分類することを可能とする画像分類装置を実現することが可能となる。すなわち、ユーザの望む分類先に画像を適切に分類することが可能となる画像分類装置を実現することができる。
【０５６７】
【発明の効果】
本発明の画像分類装置によれば、問合せ画像を少なくとも一つ指定すると共に、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定し、抽出基準に基づいて、問合せ画像および複数の検索対象の画像から少なくとも指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出し、検索対象の画像毎に、指定された粗さのレベルに応じた特徴量を用いて問合せ画像との類似度を求め、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索精度の異なる複数種類の検索処理を実行することが可能となる。すなわち、ユーザが検索に使用する特徴量の粗さのレベルを少なくとも一つ指定することができるため、検索に対するユーザの視点の細かさを検索条件として表現でき、ユーザの意図を検索条件として正確に表現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像検索装置のブロック構成図である。
【図２】本発明の実施の形態１に係る画像検索装置において実行される処理を示すブロック図である。
【図３】本発明の実施の形態１に係る画像検索装置において実行される画像登録処理の概略を示すフローチャートである。
【図４】本発明に係る画像検索装置において、画像から抽出した特徴量に応じて各画像を特徴空間にマップした様子を示す説明図である。
【図５】本発明の実施の形態１に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図６】本発明の実施の形態１に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図７】本発明の実施の形態２に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図８】本発明の実施の形態２に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図９】本発明の実施の形態３に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図１０】本発明の実施の形態３に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１１】本発明の実施の形態４に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図１２】本発明の実施の形態４に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１３】本発明の実施の形態５に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図１４】本発明の実施の形態５に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１５】本発明の実施の形態６に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図１６】本発明の実施の形態６に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１７】本発明の実施の形態７に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１８】本発明の実施の形態８に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１９】本発明の実施の形態９に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図２０】本発明の実施の形態１０に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図２１】本発明の実施の形態１１に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図２２】本発明の実施の形態１２に係る画像検索装置において、問合せ画像および検索対象の画像から抽出する特徴量の粗さのレベルを説明する説明図である。
【図２３】本発明の実施の形態１２に係る画像検索装置における特徴量抽出処理（エッジ特徴の抽出）を説明する説明図である。
【図２４】本発明の実施の形態１２に係る画像検索装置における特徴量抽出処理（エッジ特徴の抽出）を説明する説明図である。
【図２５】本発明の実施の形態１２に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図２６】本発明の実施の形態１２に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図２７】本発明の実施の形態１２に係る画像検索装置において実行される画像検索処理の変形例１を示す説明図である。
【図２８】本発明の実施の形態１２に係る画像検索装置において実行される画像検索処理の変形例２を示す説明図である。
【図２９】本発明の実施の形態１３に係る画像検索装置において実行される画像検索処理の概略を説明するための説明図である。
【図３０】本発明の実施の形態１３に係る画像検索装置において実行される画像検索処理の概略を説明するための説明図である。
【図３１】本発明の実施の形態１３に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図３２】本発明の実施の形態１３に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図３３】本発明の実施の形態１４に係る画像分類装置のブロック構成図である。
【図３４】本発明の実施の形態１４に係る画像分類装置において実行される処理を示すブロック図である。
【図３５】本発明の実施の形態１４に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図３６】本発明の実施の形態１４に係る画像分類装置において実行される画像分類処理を示すフローチャートである。
【図３７】本発明の実施の形態１４に係る画像分類装置において、画像が分類された後の画像分類ウインドウの様子を示す説明図である。
【図３８】本発明の実施の形態１５に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図３９】本発明の実施の形態１６に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図４０】本発明の実施の形態１６に係る画像分類装置において実行される画像分類処理を示すフローチャートである。
【図４１】本発明の実施の形態１７に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図４２】本発明の実施の形態１８に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図４３】本発明の実施の形態１９に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図４４】本発明の実施の形態２１に係る画像分類装置において実行される画像分類処理を示すフローチャートである。
【図４５】本発明の実施の形態２２に係る画像分類装置において実行される画像分類処理を示すフローチャートである。
【図４６】本発明の実施の形態２５に係る画像分類装置において実行される画像分類処理を示す説明図である。
【図４７】本発明の実施の形態２５に係る画像分類装置において実行される画像分類処理を示す説明図である。
【図４８】本発明の実施の形態２５に係る画像分類装置において実行される画像分類処理を示す説明図である。
【図４９】本発明に係る画像検索装置および／または画像分類装置を実現するプログラムを記録した記録媒体およびプログラムの配布形態を示す説明図である。
【符号の説明】
１００ コンピュータ
１０７ 画像検索ソフト
１０８ 画像ＤＢ
１０９ 画像特徴ＤＢ
１５１ Ｕ／Ｉ部
１５２ 特徴抽出エンジン
１５３ マッチング・エンジン
２００ａ〜２００ｈ 検索ウインドウ
２０１ 検索ボタン
２０２ 画像表示欄
２０３，３６２ 特徴量指定ボタン
２０４，２０７，２０８，３６３，３６６，３６７ 重要度指定バー
２０５，３６４ ＡＮＤ指定ボタン
２０６，３６５ ＯＲ指定ボタン
２０９ 特徴指定欄
２１０ 粗さレベル指定欄
３０１ 画像分類ソフト
３０２ 分類木ＤＢ
３５０ａ〜３５０ｆ 画像分類ウインドウ
３５１〜３５８ フォルダ
３６０ａ〜３６０ｆ 分類条件設定ウィンドウ
３６１ 設定ボタン
４００ 画像分類ウインドウ
４０１，４０２ａ〜４０４ａ，４０２ｂ〜４０４ｂ 分類項目
４０５〜４１２ 代表画像
４５０ 記録媒体
４５１ サーバ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image search device for searching for an image desired by a user from a large number of images and an image classification device for classifying a large number of images into a predetermined classification destination. The present invention relates to an image search device and an image classification device capable of performing search processing and image classification processing.
[0002]
[Prior art]
In recent years, with the development of computer technology and image processing technology, attempts to build an image database by accumulating a large amount of electronic images have been actively conducted. What is important when constructing an image database is an image search device for easily obtaining an image to be used from among a large amount of accumulated images.
[0003]
As one of the image search devices, a search key using words is assigned to each image, and the input keyword is matched with the search key attached to the image in the same way as the document search to match the keyword. In some cases, an image with a search key to be returned is returned as a search result.
[0004]
However, since the impression that a person receives from an image varies from person to person, it cannot be said that the search key attached to the image expresses all the impression that the person receives from the image. Therefore, in the image search using the search key by words, In many cases, a satisfactory image cannot be obtained. This is because the shape features and positional relationships of things (hereinafter referred to as “objects”) such as humans, animals, and buildings that appear in the image cannot often be expressed in appropriate words.
[0005]
Therefore, instead of searching for an image by matching a keyword with a search key by words, a specific image (hereinafter referred to as “query image”) is given as a search condition, and an image similar to the query image is stored in the image database. It is desirable to be able to search from within. In order to realize such a search device, feature quantities representing image features are extracted from the query image and the search target image, respectively, and the similarity between the query image feature quantity and the search target image feature quantity is determined. A method has been proposed in which an image having a feature amount similar to the feature amount of the inquiry image is returned as a search result. That is, this image search apparatus searches for similar images by regarding the similarity between features as the similarity of the images themselves.
[0006]
Also, instead of using the image itself as an inquiry image, the image color (color histogram), texture, object shape, etc. are extracted as a database and stored in a database, and when searching for an image, A search device that searches for an image having a specified feature amount by specifying the feature amount of the image in the database as a search condition has also been proposed (Myron Flickner et al, “Query by Imageand Video Content: The QBIC System , ”Computer, September 1995, pp23-32).
[0009]
[Problems to be solved by the invention]
  However,The conventional image search apparatus is inconvenient in that there is no degree of freedom in specifying search conditions and the user's intention cannot be accurately expressed as search conditions. Therefore, it is difficult to accurately convey the user's intention to the apparatus side, and it is difficult to accurately obtain an image desired by the user. Furthermore, in order to accurately convey the user's intention to the device side and perform the search process as intended by the user, various search methods are prepared so that the user can perform the search process in a desired manner. There must be.
[0011]
  The present invention has been made in view of the above, and is an image search apparatus capable of accurately expressing a user's intention as a search condition and performing high-precision image search processing.Image classification device that applies image search processing to image classification processing, and can accurately express user's intention as a classification condition that is a reference for image classification, and can perform highly accurate image classification processingThe purpose is to provide.
[0031]
[Means for Solving the Problems]
  The image classification device of the present invention sets a reference image that is a classification reference for the classification target image for each classification item that is a classification destination of the classification target image, and the reference image set for each of the classification items and the By using at least one type of feature amount representing the characteristics of the images extracted from the images to be classified, the similarity between the reference image and the image to be classified is obtained for each classification item, and based on the obtained similarity An image classification device for classifying the image to be classified into one of the classification items, wherein the classification item is set, and the similarity between the reference image and the classification target image is set for each of the set classification items. Setting means for setting one reference image for each type of feature amount used when obtaining, and each reference image and classification target image set by the setting means for each classification item And calculating the total similarity of the images to be classified by calculating the similarities using the corresponding types of feature quantities, and calculating the similarity for each classification item by the calculation means Determination means for determining a classification item to be a classification destination of the classification target image based on a total similarity of the classification target image and a preset classification destination determination criterion, and an arbitrary classification for each classification item A search unit that searches for an image that is the same as or similar to the query image by using the image as a query image, and the search unit includes:Specify at least one query image, and further determine the roughness of the feature quantity used for the search based on the extraction criteria that define the level of roughness of the feature quantity extracted from the image stepwise from coarse to fine. A designation means for designating at least one level, and a roughness designated by at least the designation means based on the extraction criteria when extracting at least one type of feature quantity from the inquiry image and a plurality of search target images; A feature extraction unit that extracts a feature amount corresponding to the level of the image at a predetermined timing, and at least one feature amount extracted according to the roughness level designated by the designation unit for each image to be searched Search means for obtaining the similarity to the query image using the search means, and output means for outputting the search result based on the similarity obtained for each image to be searched by the search means. It was.
[0032]
  BookThe image classification device of the invention sets a reference image that is a classification reference of the classification target image for each classification item that is a classification destination of the classification target image, and the reference image set for each of the classification items and the classification By using at least one type of feature amount representing the feature of the image extracted from each target image, the similarity between the reference image and the classification target image is obtained for each classification item, and based on the obtained similarity An image classification apparatus for classifying the image to be classified into any of the classification items, wherein the classification item is set, a plurality of reference images are set for each set classification item, and each set reference image is set Setting means for setting the type of feature amount used when obtaining the similarity to the image to be classified for each time, and each reference using the feature amount of the type set by the setting means for each classification item Calculating the similarity between the image and the image to be classified, and calculating the total similarity of the images to be classified by adding the obtained similarities, and the classification object obtained for each classification item by the calculating means Determination means for determining a classification item to be a classification destination of the image to be classified based on the overall similarity of the images and a preset classification destination determination criterion, and an arbitrary image classified for each classification item A search unit that searches for an image that is the same as or similar to the query image by using it as a query image;Specify at least one query image, and further determine the roughness of the feature quantity used for the search based on the extraction criteria that define the level of roughness of the feature quantity extracted from the image stepwise from coarse to fine. A designation means for designating at least one level, and a roughness designated by at least the designation means based on the extraction criteria when extracting at least one type of feature quantity from the inquiry image and a plurality of search target images; A feature extraction unit that extracts a feature amount corresponding to the level of the image at a predetermined timing, and at least one feature amount extracted according to the roughness level designated by the designation unit for each image to be searched Search means for obtaining the similarity to the query image using the search means, and output means for outputting the search result based on the similarity obtained for each image to be searched by the search means. It was.
[0033]
  BookThe image classification device of the invention sets a reference image that is a classification reference of the classification target image for each classification item that is a classification destination of the classification target image, and the reference image set for each of the classification items and the classification By using at least one type of feature amount representing the feature of the image extracted from each target image, the similarity between the reference image and the classification target image is obtained for each classification item, and based on the obtained similarity An image classification device for classifying the image to be classified into any of the classification items, wherein the classification item is set, setting means for setting a plurality of reference images for each set classification item, and the classification item Calculation means for obtaining the similarity between each reference image set by the setting means and the image to be classified for each time, and calculating the total similarity of the images to be classified by adding the obtained similarities And determining a classification item to be a classification destination of the classification target image based on a total similarity of the classification target image obtained for each classification item by the computing unit and a preset classification destination determination criterion. And a search unit that searches for an image that is the same as or similar to the query image by using an arbitrary image classified for each classification item as a query image, the search unit includes:Specify at least one query image, and further determine the roughness of the feature quantity used for the search based on the extraction criteria that define the level of roughness of the feature quantity extracted from the image stepwise from coarse to fine. A designation means for designating at least one level, and a roughness designated by at least the designation means based on the extraction criteria when extracting at least one type of feature quantity from the inquiry image and a plurality of search target images; A feature extraction unit that extracts a feature amount corresponding to the level of the image at a predetermined timing, and at least one feature amount extracted according to the roughness level designated by the designation unit for each image to be searched Search means for obtaining the similarity to the query image using the search means, and output means for outputting the search result based on the similarity obtained for each image to be searched by the search means. It was.
[0034]
  BookThe image classification device of the invention sets a reference image that is a classification reference of the classification target image for each classification item that is a classification destination of the classification target image, and the reference image set for each of the classification items and the classification By using at least one type of feature amount representing the feature of the image extracted from each target image, the similarity between the reference image and the classification target image is obtained for each classification item, and based on the obtained similarity An image classification device for classifying the image to be classified into any of the classification items, wherein the classification item is set, setting means for setting a plurality of reference images for each set classification item, and the classification item Every time, the similarity between each reference image set by the setting means and the image of the classification target is obtained, and the similarity indicating the highest similarity is selected from the obtained similarities, and the classification target is selected. Based on the calculation means for obtaining the overall similarity of the images, the total similarity of the classification target images obtained for each of the classification items by the calculation means, and a preset classification destination determination criterion, the classification target images A determination unit that determines a classification item to be a classification destination; and a search unit that searches for an image that is the same as or similar to the inquiry image by using an arbitrary image classified for each classification item as an inquiry image. The search means includesSpecify at least one query image, and further determine the roughness of the feature quantity used for the search based on the extraction criteria that define the level of roughness of the feature quantity extracted from the image stepwise from coarse to fine. A designation means for designating at least one level, and a roughness designated by at least the designation means based on the extraction criteria when extracting at least one type of feature quantity from the inquiry image and a plurality of search target images; A feature extraction unit that extracts a feature amount corresponding to the level of the image at a predetermined timing, and at least one feature amount extracted according to the roughness level designated by the designation unit for each image to be searched Search means for obtaining the similarity to the query image using the search means, and output means for outputting the search result based on the similarity obtained for each image to be searched by the search means. It was.
[0039]
  BookThe image classification device of the invention extracts at least one type of feature amount representing the feature of an image from a plurality of images to be classified, and uses the extracted feature amount to group the images to be classified into groups of similar images. An image classification apparatus for classifying, wherein a designation unit that designates a type of the feature quantity, and a feature quantity type designated by the designation unit, the feature type of the classification target is used to designate the classification target Classification means for obtaining similarity between images and classifying the images to be classified into groups of similar images based on the obtained similarity between the images to be classified, and classified by the classification means The display means for selecting a representative image representing the group from each group and displaying it on the screen, and using any image classified for each group as the inquiry image, can be the same as the inquiry image. Search means for searching for similar images, wherein the specifying means further specifies one of the representative images displayed by the display means, and can specify the type of the feature quantity, and the classification When the designation unit designates the type of the representative image and the feature quantity, the means uses the designated type of feature quantity to compare images classified into the group to which the representative image belongs. The display means selects a representative image representing the group from each group classified by the classification means and displays it on the screen, and the search meansSpecify at least one query image, and further determine the roughness of the feature quantity used for the search based on the extraction criteria that define the level of roughness of the feature quantity extracted from the image stepwise from coarse to fine. A designation means for designating at least one level, and a roughness designated by at least the designation means based on the extraction criteria when extracting at least one type of feature quantity from the inquiry image and a plurality of search target images; A feature extraction unit that extracts a feature amount corresponding to the level of the image at a predetermined timing, and at least one feature amount extracted according to the roughness level designated by the designation unit for each image to be searched Search means for obtaining the similarity to the query image using the search means, and output means for outputting the search result based on the similarity obtained for each image to be searched by the search means. It was.
[0044]
  The recording medium of the present invention also includes any one of the image classification devices of the present invention.A program for operating the computer as each means was recordedComputer-readable recording mediumIt is.
[0045]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an image search device and an image classification device according to the present invention will be described below in detail with reference to the accompanying drawings.
[0046]
[Embodiment 1]
First, an image search apparatus according to the present invention will be described. FIG. 1 is a block configuration diagram of the image search apparatus according to the first embodiment. The image search apparatus shown in FIG. 1 includes a computer 100 such as a personal computer or a workstation, and includes a CPU 101 that controls the whole, a ROM 102 that stores a boot program, and a RAM 103 that is used as a work area of the CPU 101. A keyboard 104 and a mouse 105 for inputting a query image, a search execution command, and the like; a monitor 106 such as a CRT or a liquid crystal display for displaying a search result image; and a function as an image search device of the present invention. A hard disk 110 storing image search software 107 for causing the CPU 101 (computer 100) to execute, an image DB 108 in which a plurality of images are registered, an image feature DB 109 in which feature amounts extracted from images in the image DB 108 are registered, and the like Enter an image An interface (I / F) 111 for connecting a scanner or a digital camera, a network adapter 113 for connecting the computer 100 (image search device) to a network 112 such as the Internet or a LAN, and the above-described units. And a bus 114 to be connected.
[0047]
FIG. 2 is a block diagram showing processing executed in the image search apparatus shown in FIG. Although details of the processing will be described later, in FIG. 2, a user interface (U / I) unit 151 (corresponding to the designation unit and output unit of the present invention) A search condition input screen, a search result display screen, and the like are displayed, and search condition input, search result output processing, and the like are executed. The feature extraction engine 152 (corresponding to the importance determination unit and the feature extraction unit of the present invention) extracts the feature amount of the image from the image (search target image) registered in the image DB 108 and the query image specified at the time of the search. Execute the process. Further, the matching engine 153 (corresponding to the search means of the present invention) compares the feature quantity extracted from the query image with the feature quantity of the image in the image DB 108 registered in the image feature DB 109, and determines the query image. A process of searching for an image having a feature corresponding to the feature is executed.
[0048]
In FIG. 2, a U / I unit 151, a feature extraction engine 152, and a matching engine 153 mean modules that constitute the image search software 107 shown in FIG. The processing by these units is realized by the CPU 101 shown in FIG.
[0049]
Next, regarding processing executed by the image search apparatus having the above-described configuration,
(1) Feature extraction processing
(2) Image search processing
This will be explained in the order.
[0050]
(1) Feature extraction processing
First, a process for extracting a feature amount representing a feature of an image from each image will be described using a process for registering an image to be searched in the image DB 108 as an example. Here, as an example, it is assumed that color features (color histogram) of images, edge features of images, and texture features in images that are well known in the past are extracted as feature amounts.
[0051]
FIG. 3 is a flowchart showing an outline of an image registration process executed in the image search apparatus according to the first embodiment. The feature extraction engine 152 shown in FIG. 2 inputs an image to be registered via the U / I unit 151 (S11). The input image may be any image such as an image read by a scanner, an image captured by a digital camera, an image downloaded via the network 112, or an image stored in the hard disk 110 in advance.
[0052]
Then, the feature extraction engine 152 executes a process of extracting a feature amount from the input image (S12). In step S12, the three types of feature values are extracted from each image. These three types of feature amounts can be extracted from each image using a conventionally known method as described below.
[0053]
An image color histogram (hereinafter simply referred to as “color”) is divided into a plurality of regions by selecting an appropriate color space (eg, Lab, Luv, HSV, etc.), and each pixel of the image is colored. It can be obtained by examining which region in the space corresponds and normalizing the number of pixels in each region by the total number of pixels. An edge of an image (hereinafter referred to as “structure”) can be obtained by using an edge extraction filter such as a sobel. Furthermore, the texture can be obtained by texture extraction based on the co-occurrence matrix (reference: Mikio Takagi, supervised by Yoshihisa Shimoda, “Image Analysis Handbook”, The University of Tokyo Press, 1991).
[0054]
After extracting the feature amount from the image in step S12, the feature extraction engine 152 registers the extracted feature amount in the image feature DB 109 in association with the original image registered in the image DB 108 (S13). The original image is also registered in the image DB 108.
[0055]
From the viewpoint of speeding up the image search, it is preferable to extract the feature amount in advance and register it in the image feature DB 109 at the time of registration for the search target image registered in the image DB 108. However, when feature amounts are to be extracted from each search target image during image search, it is not necessary to extract feature amounts in advance.
[0056]
By executing the processing shown in FIG. 3, the image registered in the image DB 108 is mapped to a feature space as shown in FIG. 4 for each type of extracted feature quantity. At the time of image search, the feature amount of the image is extracted from the inquiry image as will be described later, and is mapped to the feature space shown in FIG. The points (black dots) shown in FIG. 4 indicate images mapped to the feature space, and the distance between the points of the inquiry image and the points of each image is the image similarity. Note that most image feature amounts are vector data, and vector distance definition formulas such as Euclidean distance are generally used to calculate the distance between points that are similarities. It is also possible to define a unique distance according to the type of feature amount of the image.
[0057]
(2) Image search processing
Next, image search processing executed in the image search device according to Embodiment 1 will be described. The image search device according to the first embodiment takes into consideration that the similarity point between the query image and the image desired by the user as a search result cannot be transmitted to the device simply by specifying the query image as a search condition. By designating an inquiry image for each type of feature amount used for search, a virtual inquiry image considered appropriate by the user can be expressed. As described above, the types of feature quantities that can be used here are three types of color, structure, and texture, and the search target image is an image registered in the image DB 108.
[0058]
FIG. 5 is an explanatory diagram showing a search window used at the time of search, and FIG. 6 is a flowchart showing image search processing according to the first embodiment. The U / I unit 151 in FIG. 2 displays the search window 200a shown in FIG. 5 on the monitor 106 shown in FIG. 1 when executing the image search process. The search window 200a is used to specify the image designation fields A, B, and C for designating one query image for each color, structure, and texture feature amount used for image retrieval, and to designate execution of image retrieval processing. A search button 201 and an image display field 202 for displaying a search result image are provided.
[0059]
The user designates an inquiry image for each type of feature amount in each image designation field shown in FIG. 5 (S101). The image designated as the inquiry image may be any image such as an image read by a scanner, an image captured by a digital camera, an image downloaded via the network 112, or an image stored in the hard disk 110 in advance. .
[0060]
Here, a method for specifying an inquiry image will be described in detail. As a premise, there is no single image that appropriately represents an image desired by the user as a search result. For example, an image A, an image structure (object that is similar to the image color desired in the search result, and an object It is assumed that an image B having a similar atmosphere and an image C having a similar texture atmosphere in the image are found.
[0061]
As shown in FIG. 5, the user designates these three images A, B, and C as inquiry images in the image designation columns A, B, and C, respectively. Specifically, an inquiry image A whose image color atmosphere is similar to the desired image as a search result is designated in the image designation field A corresponding to the feature amount “color”. Similarly, an inquiry image B whose image structure atmosphere is similar to the desired image as a search result is displayed in the image designation field B corresponding to the feature quantity “structure”, and an inquiry image C whose texture atmosphere in the image is similar. Is designated in the image designation field C corresponding to the feature amount “texture”.
[0062]
In the following description, the image designated in the image designation field A is the query image A, the image designated in the image designation field B is the query image B, and the image designated in the image designation field C is the query image C. I will call it.
[0063]
In this way, not only simply specifying multiple query images, but also specifying a query image for each type of feature quantity used for image search, a single virtual query image considered appropriate by the user is expressed. In addition, the user's intention for the search can be accurately transmitted to the device side. Therefore, it is possible to obtain an image of a search result reflecting the user's intention by a search process described later.
[0064]
Returning to the flowchart of FIG. When the user designates the search button 201 in FIG. 5, the U / I unit 151 inputs the query images A, B, and C to the feature extraction engine 152, and the feature extraction engine 152 extracts the query images A, B, and C from each query image A, B, and C. A process of extracting the corresponding type of feature quantity is executed (S102). That is, the feature extraction engine 152 extracts a color feature amount from the query image A, a structure feature amount from the query image B, and a texture feature amount from the query image C. After that, the feature extraction engine 152 passes the extracted feature amount of each inquiry image to the matching engine 153 (maps to the feature space of FIG. 4).
[0065]
Note that if the feature amount extracted from the query images A, B, and C is registered in the image feature DB 109, the process of step S102 in FIG. 6 can be skipped.
[0066]
Subsequently, the matching engine 153 obtains the similarity to each of the query images A, B, and C using the corresponding feature amount for each search target image registered in the image DB 108 and obtains each obtained query. A process of calculating the total similarity of the search target images by summing up the similarities with the images A, B, and C is executed (S103).
[0067]
The processing in step S103 will be specifically described taking one search target image as an example. The matching engine 153 obtains the similarity between the search target image and the query image A using the color feature amount. That is, the matching engine 153 determines the distance between the search target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the query image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. The distance between the images corresponds to the similarity between the two images, and the shorter the distance is, the more similar the two images are in color characteristics. Similarly, the matching engine 153 obtains the distance between the image to be searched and the query image B based on the feature amount of the structure, and calculates the distance between the image to be searched and the query image C based on the feature amount of the texture. Ask.
[0068]
Thereafter, the matching engine 153 sums the distances between the search target image and each of the query images A, B, and C, and sets the total value of the distances as the overall similarity. Here, the number of feature quantity types is N, and the query image of the feature quantity j is Q._j, Select the image to be searched_i, The distance formula between images of feature quantity j_jIf (), the total similarity S for each image to be searched_iIs expressed as follows.
[0069]
[Expression 1]

[0070]
In this way, the matching engine 153 obtains the total similarity for each image to be searched, and outputs the total similarity for each image to be searched to the U / I unit 151.
[0071]
The U / I unit 151 refers to the total similarity obtained for each search target image by the matching engine 153, and displays the search target images in the image display column 202 in FIG. (S104). Here, since the total distance between the feature amounts of the image to be searched and the query images A, B, and C is used as the overall similarity, the search target is actually in ascending order of the value of the overall similarity. An image is displayed in the image display field 202. That is, the total similarity has a value of 0 or more, and when the total similarity is 0, it means that the feature amount of each query image and the feature amount of the search target image are equal.
[0072]
Note that it is not necessary to display all the images to be searched in the image display field 202. Only a predetermined number of images are displayed, or less than a predetermined threshold (total similarity is represented by the distance between images). Only the images that have obtained the overall similarity may be displayed. That is, it is possible to arbitrarily set / change how the search result is displayed (the same applies to the following embodiments).
[0073]
As a result of referring to the image of the search result displayed in the image display field 202, if it is desired to perform a narrowed search, the image displayed in the image display field 202 is designated as an inquiry image and the same search process is performed. You can also It is also possible to perform a process of enlarging and displaying the image by clicking the image displayed in the image display field 202 with the mouse 105.
[0074]
Thus, according to the image search device according to the first embodiment, one query image is designated for each type of feature amount used when obtaining the similarity between the query image and the search target image. For each search target image, the similarity to each specified query image is obtained using the corresponding type of feature amount, and the similarity to each obtained query image is totaled to obtain the overall similarity of the search target image Since the user's intention can be accurately expressed as a search condition by outputting the search result based on the total similarity obtained for each image to be searched, it is possible to accurately convey the user's intention to the device. In addition, the user's intention for the search can be surely communicated to the apparatus, so that a search result accurately reflecting the user's intention for the search can be obtained, and a highly accurate image as desired by the user can be obtained. It is possible to perform the search process.
[0075]
For example, even if an appropriate image does not exist as an inquiry image, an image having a color atmosphere similar to an image desired as a search result or an image having an object shape atmosphere is specified as an inquiry image. Can be used as one query.
[0076]
In the description of the first embodiment, the query image is specified corresponding to all types of feature amounts, but it is not always necessary to specify the query image corresponding to all types of feature amounts. . In addition, although three types of feature quantities of color, structure, and texture are used, these are merely examples, and are not intended to limit the types and number of feature quantities.
[0077]
[Embodiment 2]
As in the case of the first embodiment, the image search apparatus according to the second embodiment gives the apparatus a similar viewpoint between the query image and the image desired by the user as a search result simply by specifying the query image as a search condition. In consideration of the fact that it cannot be transmitted, by specifying multiple query images and the types of features used for the search, it is possible to represent a single virtual query image that the user thinks appropriate. It is a thing. Note that in the image search device according to the second embodiment, the same reference numerals are used for the configurations already described in the first embodiment, and detailed description thereof is omitted, and common points regarding the image search processing are also described as appropriate. Is omitted.
[0078]
FIG. 7 is an explanatory view showing a search window used at the time of search, and FIG. 8 is a flowchart showing image search processing according to the second embodiment. The U / I unit 151 in FIG. 2 displays the search window 200b shown in FIG. 7 on the screen 106 shown in FIG. 1 when executing the image search process. The search window 200b is used to obtain the similarity between the image designation fields A, B, and C for designating a plurality of query images and the query target image for each query image designated in each image designation field. A feature amount designation button 203 for designating the type of feature amount, a search button 201 for designating execution of image search processing, and an image display column 202 for displaying an image of the search result are provided.
[0079]
As described in the first embodiment, as a premise, there is no single image that appropriately represents an image that the user desires as a search result. For example, an image color arrangement atmosphere exists in the image that is desired as a search result. Assume that a similar image A, an image B having a similar image structure atmosphere, and an image C having a similar texture atmosphere in the image are found.
[0080]
The user designates a plurality of inquiry images in each image designation field shown in FIG. 7 and designates the type of feature amount used for obtaining the similarity with the image to be searched for each designated inquiry image ( S201).
[0081]
Specifically, the user designates three images A, B, and C as inquiry images in the image designation fields A, B, and C as shown in FIG. Then, the user designates “color” with the feature amount designation button 203 for the inquiry image A in which the atmosphere of the color arrangement of the image is similar to the desired image as the search result. Similarly, “Structure” is designated for the query image B whose image structure atmosphere is similar to the desired image as the search result, and “Texture” is designated for the query image C whose texture atmosphere in the image is similar. .
[0082]
In this way, not only simply specifying a plurality of query images, but specifying a feature quantity corresponding to the feature of the image that the user places importance on for each specified query image, a virtual one that the user considers appropriate It is possible to express an inquiry image and accurately convey the user's intention for the search to the apparatus side. Therefore, it is possible to obtain an image of a search result reflecting the user's intention by a search process described later.
[0083]
However, in FIG. 7, different types of feature amounts are designated for each inquiry image, but the same type of feature amounts may be designated. That is, the same type of feature amount may be specified for all of the plurality of inquiry images.
[0084]
Then, when the user designates the search button 201 in FIG. 7, the U / I unit 151 inputs the query images A, B, and C and the type of feature amount to the feature extraction engine 152, and the feature extraction engine 152 A process of extracting a specified type of feature quantity from the query images A, B, and C is executed (S202). That is, the feature extraction engine 152 extracts a color feature amount from the query image A, a structure feature amount from the query image B, and a texture feature amount from the query image C. After that, the feature extraction engine 152 passes the extracted feature amount of each inquiry image to the matching engine 153 (maps to the feature space of FIG. 4).
[0085]
If the feature amounts extracted from the query images A, B, and C are registered in the image feature DB 109, the process of step S202 in FIG. 8 can be skipped.
[0086]
Subsequently, the matching engine 153 obtains the similarity with each of the query images A, B, and C using the type of feature specified by the user for each search target image registered in the image DB 108. A process of calculating the total similarity of the search target images by summing up the similarities with the obtained inquiry images A, B and C (S203).
[0087]
The processing in step S203 will be specifically described taking one search target image as an example. The matching engine 153 obtains the similarity between the search target image and the query image A using the color feature amount. That is, the matching engine 153 determines the distance between the search target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the query image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. The distance between the images corresponds to the similarity between the two images, and the shorter the distance is, the more similar the two images are in color characteristics. Similarly, the matching engine 153 obtains the distance between the image to be searched and the query image B based on the feature amount of the structure, and calculates the distance between the image to be searched and the query image C based on the feature amount of the texture. Ask.
[0088]
Thereafter, the matching engine 153 sums the distances between the search target image and each of the query images A, B, and C, and sets the total value of the distances as the overall similarity. Here, the number of feature amounts is N, the number of query images is M, and the kth query image is Q._k, Select the image to be searched_i, The distance formula between images of feature quantity j_j(), Whether or not the feature quantity j of the k-th image is designated t_jk(1 if specified, 0 if not specified) The total similarity S for each image to be searched_iIs expressed as follows.
[0089]
[Expression 2]

[0090]
In this way, the matching engine 153 obtains the total similarity for each image to be searched, and outputs the total similarity for each image to be searched to the U / I unit 151.
[0091]
The U / I unit 151 refers to the overall similarity obtained for each search target image by the matching engine 153, and displays the search target images in the image display column 202 in FIG. (S204). Here, since the total distance between the feature amounts of the image to be searched and the query images A, B, and C is used as the overall similarity, the search target is actually in ascending order of the value of the overall similarity. An image is displayed in the image display field 202. That is, the total similarity has a value of 0 or more, and when the total similarity is 0, it means that the feature amount of each query image and the feature amount of the search target image are equal.
[0092]
Note that it is not necessary to display all the images to be searched in the image display field 202. Only a predetermined number of images are displayed, or less than a predetermined threshold (total similarity is represented by the distance between images). In this case, it is possible to display only the images that have obtained the overall similarity.
[0093]
As a result of referring to the image of the search result displayed in the image display field 202, if it is desired to perform a narrowed search, the image displayed in the image display field 202 is designated as an inquiry image and the same search process is performed. You can also It is also possible to perform a process of enlarging and displaying the image by clicking the image displayed in the image display field 202 with the mouse 105.
[0094]
As described above, according to the image search device according to the second embodiment, a plurality of query images are specified, and the type of feature amount used when obtaining the similarity with the search target image for each specified query image For each image to be searched, the similarity with each query image is calculated using the specified type of feature amount, and the total similarity is obtained by summing the similarities with each obtained query image. The user's intention can be accurately expressed as a search condition by outputting the search result based on the overall similarity obtained for each image to be searched, so that the user's intention can be accurately transmitted to the device, Since the user's intention for the search can be reliably transmitted to the apparatus, a search result that accurately reflects the user's intention for the search can be obtained, and the image search process can be performed with high accuracy as desired by the user. It is possible.
[0095]
For example, even if an appropriate image does not exist as an inquiry image, an image having a color atmosphere similar to an image desired as a search result or an image having an object shape atmosphere is specified as an inquiry image. Can be used as one query. In addition, since the feature quantity desired by the user can be specified for each specified inquiry image, the search condition can be freely set as compared with the image search apparatus according to the first embodiment.
[0096]
In the description of the second embodiment, three images are used as inquiry images. However, the number of inquiry images is not limited to three. That is, even if only one inquiry image is specified, the search process can be performed in the same way, but in the second embodiment, it is meaningful to specify a plurality of images. In addition, although three types of feature quantities of color, structure, and texture are used, these are merely examples and are not intended to limit the types of feature quantities.
[0097]
[Embodiment 3]
The image search device according to the third embodiment is configured so that the user's intention for the search can be expressed more accurately in the image search device of the second embodiment.
[0098]
FIG. 9 is an explanatory diagram showing a search window 200c used in the image search device according to the third embodiment. In addition to the configuration of the search window 200b shown in FIG. 7, the search window 200c shown in FIG. 9 is important for specifying the relative importance for each inquiry image specified in the image specification fields A, B, and C. A degree designation bar 204 is provided.
[0099]
As described in the first and second embodiments, as a premise, there is no single image that appropriately represents an image desired by the user as a search result. Assume that an image A having a similar atmosphere, an image B having a similar image structure atmosphere, and an image C having a similar texture atmosphere in the image are found.
[0100]
The user designates these three images as inquiry images A, B, and C in the image designation columns A, B, and C, respectively, as shown in FIG. Next, the user designates “color” with the feature amount designation button 203 for the inquiry image A in which the atmosphere of the color scheme of the image is similar to the desired image as the search result. Similarly, “Structure” is designated for the query image B whose image structure atmosphere is similar to the desired image as the search result, and “Texture” is designated for the query image C whose texture atmosphere in the image is similar. .
[0101]
Subsequently, the user uses the importance designation bar 204 to designate the importance for each inquiry image. As an example, the importance level designation bar 204 is configured so that the importance level of “+” and the importance level of “−” can be designated centering on “0” for each inquiry image. Note that it is possible to designate not only both the “+” direction and the “−” direction but also the “+” direction or the “−” direction as the importance.
[0102]
For example, among the query images A, B, and C, the query image A having a color scheme similar to the desired image as the search result is the most important, that is, an image with a color scheme such as the query image A as the search result is particularly important. If the user feels desired, the user moves the importance designation bar 204 to a desired position in the “+” direction and designates that the inquiry image A is important. When the importance is specified in this way, “+” corresponding to the importance specified for the query image A is used for the similarity between the image to be searched and the query image A at the time of a search described later. Is weighted.
[0103]
For example, when the user feels that a texture image such as the query image C is not desired as a search result, the user moves the importance designation bar 204 to a desired position in the “−” direction. That is, the NOT condition can be given to the inquiry image by designating the importance in the “−” direction. Therefore, an image that the user thinks that an image having such characteristics is not desired as a search result can be designated as an inquiry image. In this case, the similarity between the search target image and the query image C is weighted with “−” according to the importance specified for the query image C.
[0104]
As described above, by enabling the user to designate the importance level for each inquiry image, the user's intention for the search can be accurately expressed as the search condition. That is, since the importance is reflected as a weighting on the similarity by a search process described later, it is possible to obtain a search result image reflecting the user's intention. Note that it is not always necessary to specify the degree of importance. When the user desires, the degree of importance may be specified for the desired inquiry image.
[0105]
Next, image search processing by the image search apparatus according to Embodiment 3 will be described. FIG. 10 is a flowchart showing search processing according to the third embodiment. The user designates a plurality of inquiry images in each image designation field shown in FIG. 9 and designates the type of feature amount used when obtaining the similarity with the image to be searched for each designated inquiry image, The importance is designated as necessary (S301). As shown in FIG. 9, it is assumed that the user designates inquiry images A, B, and C, and designates the type and importance of the feature amount for each inquiry image A, B, and C.
[0106]
Subsequently, when the user designates the search button 201 in FIG. 9, the U / I unit 151 inputs the query images A, B, and C and the type of feature quantity to the feature extraction engine 152. A process of extracting a specified type of feature amount from each of the query images A, B, and C is executed (S302). That is, the feature extraction engine 152 extracts a color feature amount from the query image A, a structure feature amount from the query image B, and a texture feature amount from the query image C. After that, the feature extraction engine 152 passes the extracted feature amount of each inquiry image to the matching engine 153 (maps to the feature space of FIG. 4).
[0107]
Subsequently, the matching engine 153 obtains the degree of similarity with each of the query images A, B, and C using the type of feature amount designated by the user for each image to be searched that is registered in the image DB 108. Then, weighting is performed on each similarity according to the importance, and a process of obtaining the total similarity of the search target images by summing the similarities with the query images A, B, and C is executed (S303).
[0108]
The processing in step S303 will be specifically described taking one search target image as an example. The matching engine 153 obtains the similarity between the search target image and the query image A using the color feature amount. That is, the matching engine 153 determines the distance between the search target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the query image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Subsequently, the matching engine 153 weights the obtained distance according to the importance of the inquiry image A designated by the importance designation bar 204. Similarly, the matching engine 153 obtains the distance between the image to be searched and the query image B based on the feature amount of the structure, weights the obtained distance according to the importance of the query image B, and The distance between the image to be searched and the inquiry image C is obtained based on the feature amount of the texture, and the obtained distance is weighted according to the importance of the inquiry image C.
[0109]
Since the similarity to be weighted is the distance between the feature amounts of the images, the weighting of “+” based on the importance of “+” works in the direction of shortening the distance between the images, and “−”. The weighting of “−” based on the importance level of the function works in the direction of increasing the distance between images.
[0110]
Thereafter, the matching engine 153 sums the distances between the search target image and each of the query images A, B, and C, and sets the total value of the distances as the overall similarity. Here, the number of feature amounts is N, the number of query images is M, and the kth query image is Q._k, Select the image to be searched_i, The distance formula between images of feature quantity j_j(), The importance of the feature quantity j of the kth image is w_jkIf it is (0 if no corresponding feature is specified), the total similarity S for each image to be searched_iIs expressed as follows.
[0111]
[Equation 3]

[0112]
In this way, the matching engine 153 obtains the total similarity for each image to be searched, and outputs the total similarity for each image to be searched to the U / I unit 151.
[0113]
The U / I unit 151 refers to the total similarity obtained for each search target image by the matching engine 153, and displays the search target images in the image display column 202 in FIG. (S304). Here, since the total distance between the feature amounts of the image to be searched and the query images A, B, and C is used as the overall similarity, the search target is actually in ascending order of the value of the overall similarity. An image is displayed in the image display field 202. That is, the total similarity has a value of 0 or more, and when the total similarity is 0, it means that the feature amount of each query image and the feature amount of the search target image are equal.
[0114]
As a result of referring to the image of the search result displayed in the image display column 202, if a narrowed search is desired, the image displayed in the image display column 202 is designated as an inquiry image and the same search process is performed. You can also It is also possible to perform a process of enlarging and displaying the image by clicking the image displayed in the image display field 202 with the mouse 105.
[0115]
As described above, according to the image search device according to the third embodiment, the degree of importance is set for each inquiry image so that the obtained similarity can be arbitrarily weighted according to the type of inquiry image. By specifying the degree of similarity with each query image for each image to be searched and weighting the degree of similarity with each obtained query image according to the specified importance Since the user's intention can be accurately expressed as a search condition, it is possible to accurately convey the user's intention to the apparatus, and the importance is reflected as a weight for the similarity, so the user's intention is reflected. An image as a search result can be obtained.
[0116]
In the description of the third embodiment, three images are used as inquiry images. However, the number of inquiry images is not limited to three. However, in the third embodiment, it is meaningful to specify a plurality of inquiry images because the importance is specified for each inquiry image.
[0117]
Although detailed description is omitted, the image search apparatus described in the first embodiment can also specify the importance for each inquiry image as described in the third embodiment. good.
[0118]
[Embodiment 4]
The image search device according to the fourth embodiment enables AND search to be executed as one technique for accurately expressing the user's intention as a search condition. Note that in the image search device according to the fourth embodiment, the same reference numerals are used for the configurations already described in the first embodiment, and detailed description thereof is omitted, and common points regarding the image search processing are also described as appropriate. Is omitted.
[0119]
FIG. 11 is an explanatory diagram showing a search window 200d used in the image search device according to the fourth embodiment. The search window 200d includes an AND designation button 205 for designating execution of an AND search and an OR for designating execution of an OR search in addition to the image designation columns A, B and C, the search button 201 and the image display column 202. A designation button 206 is provided. The OR search will be described in detail in an embodiment 8 to be described later, and only the AND search will be described here. In addition, although the feature amount used in the search is assumed to be one type, naturally, a plurality of types of feature amounts may be used.
[0120]
Next, image search processing by the image search apparatus according to Embodiment 4 will be described. FIG. 12 is a flowchart showing image search processing according to the fourth embodiment. The user designates a plurality of inquiry images in each image designation field shown in FIG. 11, selects the AND designation button 205, and designates an image search process based on an AND condition (S401). As shown in FIG. 11, it is assumed that the user designates three inquiry images A, B, and C.
[0121]
Subsequently, when the user designates the search button 201 in FIG. 11, the U / I unit 151 inputs the query images A, B, and C to the feature extraction engine 152, and the feature extraction engine 152 selects each query image A, B. And a process of extracting a predetermined feature amount from C (S402). After that, the feature extraction engine 152 passes the extracted feature amount of each inquiry image to the matching engine 153 (maps to the feature space of FIG. 4).
[0122]
The matching engine 153 obtains a similarity to each of the query images A, B, and C using a predetermined feature amount for each search target image registered in the image DB 108, and obtains each query image A, A process of calculating the total similarity of the search target images by summing the similarities with B and C is executed (S403).
[0123]
The processing in step S403 will be specifically described by taking one image to be searched as an example. The matching engine 153 obtains a similarity between the search target image and the query image A using a predetermined feature amount. That is, the matching engine 153 determines the distance between the search target image plotted in the feature amount space shown in FIG. 4 and the query image A based on a predetermined feature amount, for example, a vector distance definition formula such as a Euclidean distance. Find using. Similarly, the matching engine 153 obtains the distance between the image to be searched and the inquiry image B based on a predetermined feature amount, and obtains the distance between the image to be searched and the inquiry image C.
[0124]
Thereafter, the matching engine 153 sums the distances between the search target image and each of the query images A, B, and C, and sets the total value of the distances as the overall similarity. Here, the number of inquiry images is M, and the kth inquiry image is Q._k, Select the image to be searched_iWhen the distance formula between images is D (), the total similarity S for each image to be searched_iIs expressed as follows.
[0125]
[Expression 4]

[0126]
In this way, the matching engine 153 obtains the total similarity for each image to be searched, and outputs the total similarity for each image to be searched to the U / I unit 151.
[0127]
When performing a search using a plurality of types of feature amounts, the similarity (distance) between the search target image and each query image is obtained for each type of feature amount, and for each feature amount for each search target image. The total similarity can be obtained by summing all the similarities with the respective query images obtained in the above.
[0128]
Subsequently, the U / I unit 151 refers to the overall similarity obtained for each image to be searched by the matching engine 153, and for example, the images to be searched are displayed in the image display column 202 in FIG. (S404). Here, the total similarity means the similarity of each image to be searched with respect to all of the query images A, B, and C. Therefore, the AND search of the images is executed. However, since the total distance between the feature amounts of the image to be searched and the query images A, B, and C is used as the total similarity here, the search target is actually in ascending order of the value of the total similarity. An image is displayed in the image display field 202. That is, the total similarity has a value of 0 or more, and when the total similarity is 0, it means that the feature amount of each query image and the feature amount of the search target image are equal.
[0129]
As a result of referring to the image of the search result displayed in the image display column 202, if a narrow search is to be performed, the image displayed in the image display column 202 is designated as an inquiry image and the same search process is performed. You can also.
[0130]
As described above, according to the image search device according to the fourth embodiment, a plurality of query images are specified, and for each search target image, the similarity with each specified query image is obtained, and each obtained query image is obtained. Since the total similarity is obtained by summing the similarities and the search result is output based on the overall similarity obtained for each image to be searched, an AND search can be performed. Can be provided as a search condition.
[0131]
In the description of the fourth embodiment, three images are used as inquiry images. However, the number of inquiry images is not limited to three. Also, the type of feature quantity is not particularly shown, but any type of feature quantity such as color, structure, texture, etc. can be used alone or in combination.
[0132]
[Embodiment 5]
The image search device according to the fifth embodiment is such that the user's intention for the search can be expressed more accurately in the image search device of the fourth embodiment.
[0133]
FIG. 13 is an explanatory diagram showing a search window 200e used in the image search device according to the fifth embodiment. In addition to the search window 200d shown in FIG. 11, the search window 200e shown in FIG. 13 is an importance designation bar for designating relative importance for each inquiry image designated in the image designation fields A, B and C. 207.
[0134]
As described in the third embodiment, the importance designation bar 207 can designate the importance of “+” and the importance of “−” with “0” as the center for each inquiry image. To do. Therefore, when an importance level of “+” is designated for an inquiry image that the user considers important, and when an image similar to such an image is not desired as a search result, “−” is obtained for the corresponding inquiry image. The importance of can be specified. The designated importance is reflected in the search result as a weight for the obtained similarity. Note that it is possible to designate not only both the “+” direction and the “−” direction but also the “+” direction or the “−” direction as the importance.
[0135]
Next, image search processing by the image search apparatus according to Embodiment 5 will be described. FIG. 14 is a flowchart showing search processing according to the fifth embodiment. The user designates a plurality of inquiry images in each image designation field shown in FIG. 13 and designates the importance as necessary for each designated inquiry image. Further, the user selects an AND designation button 205 and selects the AND condition. An image search process is designated (S501). As shown in FIG. 13, it is assumed that the user designates inquiry images A, B, and C, and designates an arbitrary importance degree for each designated inquiry image A, B, and C.
[0136]
When the user designates the search button 201 in FIG. 13, the U / I unit 151 inputs the query images A, B, and C to the feature extraction engine 152, and the feature extraction engine 152 A process of extracting a predetermined feature amount from C is executed (S502). After that, the feature extraction engine 152 passes the extracted feature amount of each inquiry image to the matching engine 153 (maps to the feature space of FIG. 4).
[0137]
The matching engine 153 obtains the similarity with each of the query images A, B, and C using a predetermined feature amount for each search target image registered in the image DB 108, and for each obtained similarity Weighting is performed in accordance with the importance, and the processing for obtaining the total similarity of the search target images by summing the similarities with the query images A, B, and C is executed (S503).
[0138]
The processing in step S503 will be specifically described taking one search target image as an example. The matching engine 153 obtains a similarity between the search target image and the query image A using a predetermined feature amount. That is, the matching engine 153 determines the distance between the search target image plotted in the feature amount space shown in FIG. 4 and the query image A based on a predetermined feature amount, for example, a vector distance definition formula such as a Euclidean distance. Find using. Subsequently, the matching engine 153 weights the obtained distance according to the importance of the query image A specified in the search window 200e. Similarly, the matching engine 153 obtains the distance between the image to be searched and the query image B, weights the obtained distance according to the importance of the query image B, and also searches the image to be searched and the query image. The distance to C is obtained, and the obtained distance is weighted according to the importance of the inquiry image C.
[0139]
Thereafter, the matching engine 153 sums the distances between the search target image and each of the query images A, B, and C, and sets the total value of the distances as the overall similarity. Here, the number of inquiry images is M, and the kth inquiry image is Q._k, Select the image to be searched_i, The distance formula between images is D (), and the importance of the kth image is w_kThen, the total similarity S for each image to be searched_iIs expressed as follows.
[0140]
[Equation 5]

[0141]
In this way, the matching engine 153 obtains the total similarity for each image to be searched, and outputs the total similarity for each image to be searched to the U / I unit 151.
[0142]
Subsequently, the U / I unit 151 refers to the overall similarity obtained for each image to be searched by the matching engine 153, and for example, the images to be searched are displayed in the image display column 202 in FIG. (S504). Since the total distance between the feature amounts of the image to be searched and the query images A, B, and C is used as the overall similarity here, the images to be searched are actually in ascending order of the value of the overall similarity. It will be displayed in the image display field 202. That is, the total similarity has a value of 0 or more, and when the total similarity is 0, it means that the feature amount of each query image and the feature amount of the search target image are equal.
[0143]
As a result of referring to the image of the search result displayed in the image display column 202, if a narrowed search is desired, the image displayed in the image display column 202 is designated as an inquiry image and the same search process is performed. You can also
[0144]
As described above, according to the image search device according to the fifth embodiment, the importance is set for each inquiry image so that the obtained similarity can be arbitrarily weighted according to the type of the inquiry image. By specifying the degree of similarity with each query image for each image to be searched and weighting the degree of similarity with each obtained query image according to the specified importance Since the user's intention can be accurately expressed as a search condition, it is possible to accurately convey the user's intention to the apparatus, and the importance is reflected as a weight for the similarity, so the user's intention is reflected. An image as a search result can be obtained.
[0145]
In the description of the fifth embodiment, three images are used as inquiry images. However, the number of inquiry images is not limited to three. Also, the type of feature quantity is not particularly shown, but any type of feature quantity such as color, structure, texture, etc. can be used alone or in combination.
[0146]
[Embodiment 6]
The image search device according to the sixth embodiment is such that the user's intention for the search can be expressed more accurately in the image search device of the fourth embodiment.
[0147]
FIG. 15 is an explanatory diagram showing a search window 200f used in the image search apparatus according to the sixth embodiment. The search window 200f shown in FIG. 15 is a feature used for the search for each of the inquiry images A, B, and C specified in the image specification fields A, B, and C in addition to the search window 200d shown in FIG. An importance level designation bar 208 for designating the importance level for each type of quantity is provided. Note that, as an example of the feature amount used for the search, three types of color, structure, and texture are used.
[0148]
The importance level designation bar 208 enables designation of the importance level for each type of feature amount for each inquiry image. The importance level designation bar 204 (see FIG. 9) of the third embodiment is used. As described above, it is possible to designate the importance of “+” and the importance of “−” around “0”. Note that it is possible to designate not only both the “+” direction and the “−” direction but also the “+” direction or the “−” direction as the importance.
[0149]
Specifically, the importance designation method will be described with reference to the inquiry image A in FIG. For example, when it is considered that the color arrangement in the inquiry image A is close to the desired image as a search result, the user operates the color importance designation bar 208 to designate the importance of “+”. On the other hand, when the structure in the query image A is considered to be almost similar to the desired image as a search result, the user operates the structure importance designation bar 208 to designate the importance of “−”.
[0150]
In the search processing described later, the similarity between the query image A and the search target image is obtained for each color feature, structure feature, and texture feature. In the above example, the importance level of “+” is specified for the color feature amount, and the feature amount of “−” is specified for the structure feature amount. “+” Is weighted according to the importance of “+”, and “−” is weighted according to the importance of “−” with respect to the similarity obtained using the structural feature amount. This process is executed for the similarity to each image to be searched.
[0151]
As for the query images B and C, the process like the query image A is executed by designating the importance for each feature amount described above.
[0152]
In this way, by specifying the importance for each type of feature amount for each inquiry image, it is possible to reliably convey the user's intention for the search to the apparatus side. Then, since the importance is reflected as a weighting on the similarity obtained for each type of feature amount by the search process, it is possible to obtain an image of a search result reflecting the user's intention. Note that it is not always necessary to specify the importance level. If the user desires, the importance level may be specified for an arbitrary feature amount of the desired query image.
[0153]
Next, image search processing by the image search apparatus according to Embodiment 6 will be described. FIG. 16 is a flowchart showing search processing according to the sixth embodiment. The user designates a plurality of inquiry images in each image designation field shown in FIG. 15, designates the importance for each type of feature amount for each designated inquiry image, and further selects an AND designation button 205 to select AND. An image search process according to a condition is designated (S601). As shown in FIG. 15, it is assumed that the user designates inquiry images A, B, and C, and designates the importance for each type of feature amount for each inquiry image A, B, and C.
[0154]
Then, when the user designates the search button 201 in FIG. 15, the U / I unit 151 inputs the query images A, B, and C to the feature extraction engine 152. Processing for extracting three types of feature values of color, structure, and texture from C is executed (S602). Thereafter, the feature extraction engine 152 passes the feature amounts of each inquiry image extracted for each of the three types of feature amounts to the matching engine 153 (each mapped to the feature space of FIG. 4).
[0155]
Subsequently, the matching engine 153 obtains similarities between the query images A, B, and C using the three types of feature amounts for each search target image registered in the image DB 108, and obtains each similarity obtained. The degree of importance is weighted according to the degree of importance, and the degree of similarity between each of the query images A, B, and C is summed up to obtain the total degree of similarity of the search target images (S603).
[0156]
The processing in step S603 will be specifically described taking one search target image as an example. The matching engine 153 obtains the similarity between the search target image and the query image A using the color feature amount. That is, the matching engine 153 determines the distance between the search target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the query image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Subsequently, the matching engine 153 weights the obtained distance according to the importance of the color feature amount designated for the inquiry image A in the search window 200f. Further, the matching engine 153 obtains the distance using the structural feature amount and the texture feature amount for the image to be searched and the query image A, and the search window 200f for the obtained distance to the query image A. On the other hand, weighting is performed in accordance with the importance of the feature quantity of the designated structure and the importance of the feature quantity of the texture.
[0157]
Similarly, the matching engine 153 obtains the distance between the image to be searched and the query image B for each of the three types of feature amounts, and for each feature amount designated for the query image B for each of the obtained distances. Weighting is performed according to the importance of. Further, the distance between the image to be searched and the inquiry image C is obtained for each of the three types of feature amounts, and the obtained distances are weighted according to the importance for each feature amount designated for the inquiry image C. I do.
[0158]
Thereafter, the matching engine 153 sums the distances between the search target images obtained for each of the three types of feature quantities and the query images A, B, and C, and sets the total distance as the total similarity. Here, the number of feature amounts is N, the number of query images is M, and the kth query image is Q._k, Select the image to be searched_i, The distance formula between images of feature quantity j_j(), The importance of the feature quantity j of the kth image is w_jkThen, the total similarity S for each image to be searched_iIs expressed as follows.
[0159]
[Formula 6]

[0160]
In this way, the matching engine 153 obtains the total similarity for each image to be searched, and outputs the total similarity for each image to be searched to the U / I unit 151.
[0161]
The U / I unit 151 refers to the total similarity obtained for each search target image by the matching engine 153, and displays the search target images in the image display column 202 in FIG. (S604). Since the total distance between the feature amounts of the image to be searched and the query images A, B, and C is used as the overall similarity here, the images to be searched are actually in ascending order of the value of the overall similarity. It will be displayed in the image display field 202. That is, the total similarity has a value of 0 or more, and when the total similarity is 0, it means that the feature amount of each query image and the feature amount of the search target image are equal.
[0162]
As a result of referring to the image of the search result displayed in the image display column 202, if a narrowed search is desired, the image displayed in the image display column 202 is designated as an inquiry image and the same search process is performed. You can also
[0163]
As described above, according to the image search device according to the sixth embodiment, when the similarity between the query image and the search target image is determined using a plurality of types of feature amounts, the query image and Importance for each feature type can be specified for each query image so that arbitrary weighting can be performed according to the type of feature amount. By calculating the similarity with each query image for each feature amount, and weighting the similarity with each query image determined for each type of feature amount according to the specified importance, Since the intention can be accurately expressed as a search condition, it is possible to accurately convey the user's intention to the apparatus, and the importance is reflected as a weight for the similarity, so that the search result reflecting the user's intention is reflected. Images can be obtained of.
[0164]
In the description of the sixth embodiment, three images are used as inquiry images. However, the number of inquiry images is not limited to three. Also, the types of feature values are not limited to the three types of color, structure, and texture, and may be any type of combination of feature values.
[0165]
[Embodiment 7]
The image search device according to the seventh embodiment is the image search device according to the fourth embodiment, in which the device side can capture the user's intention for the search.
[0166]
In Embodiments 5 and 6 described above, the user needs to specify the importance of the query image or the importance of each feature amount for each query image. In the image search apparatus according to Embodiment 7, The similarity between the query images specified by the user is obtained using the feature amount used for the image search, and the importance for each feature amount between the query images is calculated on the device side based on the obtained similarity for each feature amount. This is characterized in that it is determined and reflected as a weight for similarity. Here, as an example, it is assumed that search processing is performed using three types of feature quantities of color, structure, and texture, and the search window for specifying search conditions is the same as the search window 200d shown in FIG. And
[0167]
Next, image search processing by the image search apparatus according to Embodiment 7 will be described. FIG. 17 is a flowchart showing search processing according to the seventh embodiment. The user displays the search window 200d shown in FIG. 11, designates a plurality of inquiry images in each image designation field, and selects an AND designation button 205 to designate an image search process based on an AND condition (S701). It is assumed that the user designates inquiry images A, B, and C.
[0168]
When the user designates the search button 201 in FIG. 11, the U / I unit 151 inputs the query images A, B, and C to the feature extraction engine 152, and the feature extraction engine 152 Processing for extracting three types of feature values of color, structure, and texture from C is executed (S702).
[0169]
Subsequently, the feature extraction engine 152 obtains the distance (similarity) between the query images A, B, and C for each of the extracted three types of feature amounts, and performs each query based on the obtained distance for each feature amount. The importance for each feature amount between the images A, B and C is determined (S703).
[0170]
Specifically, the feature extraction engine 152 obtains the inter-feature distance between the query images for each of the three types of feature amounts. If the variance of the distance obtained for each feature quantity is large, it means that the user is not aware of the feature quantity, and if the variance is small, it can be judged that the user attaches importance to the feature quantity. . Therefore, the importance is set to be small when the feature amount is large and the importance is set to be large when the variance is small.
[0171]
For example, σ²Is the variance of the distance between all query images in feature i, the importance w of the i-th feature quantity_kCan be determined by the following equation. k is w_kIs an arbitrary coefficient for keeping the value within a proper value.
[0172]
[Expression 7]

[0173]
Note that, as described in the third, fifth, and sixth embodiments, the importance level of “+” and the importance level of “−” can be set according to the degree of dispersion of the distance.
[0174]
Thereafter, the feature extraction engine 152 passes the feature amount of each inquiry image extracted for each of the three types of feature amounts and the corresponding importance to the matching engine 153.
[0175]
The matching engine 153 obtains the similarity to each of the query images A, B, and C using three types of feature amounts for each search target image registered in the image DB 108, and for each obtained similarity Then, weighting is performed in accordance with the importance, and the similarity with each of the query images A, B, and C is summed to execute processing for obtaining the total similarity of the search target images (S704).
[0176]
The processing in step S704 will be specifically described by taking one image to be searched as an example. The matching engine 153 obtains the similarity between the search target image and the query image A using the color feature amount. That is, the matching engine 153 determines the distance between the search target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the query image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Subsequently, the matching engine 153 performs weighting on the obtained distance according to the importance determined by the feature extraction engine 152 for the color feature amount. Further, the matching engine 153 obtains the distance using the structural feature amount and the texture feature amount for the search target image and the query image A, and the structure determined by the feature extraction engine 152 for each obtained distance. The weighting is performed according to the importance of the feature quantity and the importance of the texture feature quantity.
[0177]
Similarly, the matching engine 153 obtains the distance between the image to be searched and the inquiry image B for each of the three types of feature amounts, and sets the importance determined for each type of feature amount for each of the obtained distances. Perform the corresponding weighting. Further, the distance between the image to be searched and the inquiry image C is determined for each of the three types of feature amounts, and the determined distances are weighted according to the importance determined for each type of feature amount.
[0178]
Thereafter, the matching engine 153 sums the distances between the search target images obtained for each of the three types of feature quantities and the query images A, B, and C, and sets the total distance as the total similarity. In this way, the matching engine 153 obtains the total similarity for each image to be searched, and outputs the total similarity for each image to be searched to the U / I unit 151.
[0179]
Subsequently, the U / I unit 151 refers to the overall similarity obtained for each image to be searched by the matching engine 153, and for example, the images to be searched are displayed in the image display column 202 in FIG. (S705). Since the total distance between the feature amounts of the image to be searched and the query images A, B, and C is used as the overall similarity here, the images to be searched are actually in ascending order of the value of the overall similarity. It will be displayed in the image display field 202. That is, the total similarity has a value of 0 or more, and when the total similarity is 0, it means that the feature amount of each query image and the feature amount of the search target image are equal.
[0180]
As a result of referring to the image of the search result displayed in the image display column 202, if a narrowed search is desired, the image displayed in the image display column 202 is designated as an inquiry image and the same search process is performed. You can also
[0181]
As described above, according to the image search device according to the seventh embodiment, when the similarity between the query image and the search target image is obtained using a plurality of types of feature amounts, the feature amount is compared with the obtained similarity. The degree of similarity between each query image is calculated for each type of feature quantity so that arbitrary weighting can be performed according to the type, and between each query image based on the obtained degree of similarity for each type of feature quantity The degree of importance for each type of feature quantity is determined, and for each search target image, the similarity to each query image is obtained for each type of feature quantity, and each query image obtained for each type of feature quantity is obtained. By determining the importance of each type of feature amount between the query images specified by the user on the device side, by weighting the degree of similarity with the degree of importance for each type of feature amount determined, Reflect the importance of the judgment in the similarity between images Thereby Therefore, it is possible to return search results that match the user's intention. Therefore, the search process as desired by the user can be realized, and the search result desired by the user can be obtained.
[0182]
In the description of the seventh embodiment, three images are used as inquiry images. However, the number of inquiry images is not limited to three. Also, the types of feature values are not limited to the three types of color, structure, and texture, and may be any type of combination of feature values.
[0183]
[Embodiment 8]
The image search device according to the eighth embodiment enables an OR search to be executed as one technique for accurately expressing the user's intention as a search condition. Image search processing by the image search apparatus according to the eighth embodiment is executed when the OR specification button 206 is specified instead of the AND specification button 205 in the search window 200d of FIG. 11 used in the description of the fourth embodiment. Is done.
[0184]
FIG. 18 is a flowchart illustrating image search processing according to the eighth embodiment. The user designates a plurality of inquiry images in each image designation field shown in FIG. 11, selects the OR designation button 206, and designates an image search process based on the OR condition (S801). Assume that the user designates three inquiry images A, B, and C as shown in FIG.
[0185]
When the user designates the search button 201 in FIG. 11, the U / I unit 151 inputs the query images A, B, and C to the feature extraction engine 152, and the feature extraction engine 152 A process of extracting a predetermined feature amount from C is executed (S802). After that, the feature extraction engine 152 passes the extracted feature amount of each inquiry image to the matching engine 153 (maps to the feature space of FIG. 4).
[0186]
The matching engine 153 obtains a similarity to each of the query images A, B, and C using a predetermined feature amount for each search target image registered in the image DB 108, and obtains each query image A, A process of selecting the similarity indicating the highest similarity from the similarities to B and C and executing the process of obtaining the total similarity of the search target images is executed (S803).
[0187]
The processing in step S803 will be specifically described taking one search target image as an example. The matching engine 153 obtains a similarity between the search target image and the query image A using a predetermined feature amount. That is, the matching engine 153 determines the distance between the search target image plotted in the feature amount space shown in FIG. 4 and the query image A based on a predetermined feature amount, for example, a vector distance definition formula such as a Euclidean distance. Find using. Similarly, the matching engine 153 obtains the distance between the image to be searched and the inquiry image B based on a predetermined feature amount, and obtains the distance between the image to be searched and the inquiry image C.
[0188]
Thereafter, the matching engine 153 selects the shortest distance from the distances between the search target image and each of the query images A, B, and C to obtain the overall similarity. In other words, the matching engine 153 selects the similarity indicating the highest similarity from the similarities between the search target image and each of the query images A, B, and C. Here, the number of inquiry images is M, and the kth inquiry image is Q._k, Select the image to be searched_iWhen the distance formula between images is D (), the total similarity S for each image to be searched_iIs expressed as follows.
[0189]
[Equation 8]

[0190]
In this way, the matching engine 153 obtains the total similarity for each image to be searched, and outputs the total similarity for each image to be searched to the U / I unit 151.
[0191]
When searching using a plurality of types of feature amounts, the similarity (distance) between the search target image and each query image is obtained for each type of feature amount, and each type of feature amount is determined for each search target image. What is necessary is just to select the similarity (shortest distance) which shows the highest similarity from the similarity with each inquiry image calculated | required for every feature-value, and let it be a total similarity.
[0192]
Subsequently, the U / I unit 151 refers to the overall similarity obtained for each image to be searched by the matching engine 153, and for example, the images to be searched are displayed in the image display column 202 in FIG. (S804). Here, since the distance between the feature amounts of the image to be searched and any one of the query images A, B, and C is used as the total similarity, in practice, the search target is in ascending order of the value of the total similarity. An image is displayed in the image display field 202. That is, the overall similarity has a value of 0 or more, and when the overall similarity is 0, it means that the feature amount of any one of the query images and the feature amount of the search target image are equal.
[0193]
In the eighth embodiment, if the search target image is similar to any one of the query images A, B, and C, an overall similarity indicating high similarity is obtained. Therefore, OR search is realized.
[0194]
As a result of referring to the image of the search result displayed in the image display field 202, if it is desired to perform a narrowed search, the image displayed in the image display field 202 is designated as an inquiry image and the same search process is performed. You can also
[0195]
Thus, according to the image search device according to the eighth embodiment, a plurality of query images are specified, and for each search target image, the degree of similarity with each specified query image is obtained, and each obtained query image is obtained. By selecting the similarity that shows the highest similarity from among the similarities and outputting the search result based on the selected similarity, it is possible to perform an OR search, so the user's intention is searched It is possible to provide one method for accurately expressing as a condition.
[0196]
In the description of the eighth embodiment, three images are used as inquiry images. However, the number of inquiry images is not limited to three. Also, the type of feature quantity is not particularly shown, but any type of feature quantity such as color, structure, texture, etc. can be used alone or in combination.
[0197]
[Embodiment 9]
The image search device according to the ninth embodiment is such that the user's intention for the search can be expressed more accurately in the image search device of the eighth embodiment. The image search process by the image search apparatus according to the ninth embodiment is executed when the OR specification button 206 is specified instead of the AND specification button 205 in the search window 200e of FIG. 13 used in the description of the fifth embodiment. Is done.
[0198]
FIG. 19 is a flowchart illustrating image search processing according to the ninth embodiment. The user designates a plurality of inquiry images in each image designation field shown in FIG. 13 and designates the importance as necessary for each designated inquiry image. Further, the user selects an OR designation button 206 according to the OR condition. An image search process is designated (S901). Assume that the user designates inquiry images A, B, and C as shown in FIG. 13, and designates an arbitrary importance degree for each designated inquiry image A, B, and C.
[0199]
When the user designates the search button 201 in FIG. 13, the U / I unit 151 inputs the query images A, B, and C to the feature extraction engine 152, and the feature extraction engine 152 A process of extracting a predetermined feature amount from C is executed (S902). After that, the feature extraction engine 152 passes the extracted feature amount of each inquiry image to the matching engine 153 (maps to the feature space of FIG. 4).
[0200]
The matching engine 153 obtains the similarity with each of the query images A, B, and C using a predetermined feature amount for each search target image registered in the image DB 108, and for each obtained similarity Weighting is performed in accordance with the importance, and the processing for obtaining the overall similarity of the search target images by selecting the similarity indicating the highest similarity from the similarities to the query images A, B, and C is executed. (S903).
[0201]
The processing in step S903 will be specifically described taking one search target image as an example. The matching engine 153 obtains a similarity between the search target image and the query image A using a predetermined feature amount. That is, the matching engine 153 determines the distance between the search target image plotted in the feature amount space shown in FIG. 4 and the query image A based on a predetermined feature amount, for example, a vector distance definition formula such as a Euclidean distance. Find using. Subsequently, the matching engine 153 weights the obtained distance according to the importance of the inquiry image A specified in the search window 200e. Similarly, the matching engine 153 obtains the distance between the image to be searched and the query image B, weights the obtained distance according to the importance of the query image B, and also searches the image to be searched and the query image. The distance to C is obtained, and the obtained distance is weighted according to the importance of the inquiry image C.
[0202]
Thereafter, the matching engine 153 selects the shortest distance from the distances between the search target image and each of the query images A, B, and C to obtain the overall similarity. Here, the number of inquiry images is M, and the kth inquiry image is Q._k, Select the image to be searched_i, The distance formula between images is D (), and the importance of the kth image is w_kThen, the total similarity S for each image to be searched_iIs expressed as follows.
[0203]
[Equation 9]

[0204]
In this way, the matching engine 153 obtains the total similarity for each image to be searched, and outputs the total similarity for each image to be searched to the U / I unit 151.
[0205]
Subsequently, the U / I unit 151 refers to the overall similarity obtained for each image to be searched by the matching engine 153, and for example, the images to be searched are displayed in the image display column 202 in FIG. Is displayed (S904). Here, since the distance between the feature amounts of the image to be searched and any one of the query images A, B, and C is used as the total similarity, in practice, the search target is in ascending order of the value of the total similarity. An image is displayed in the image display field 202. That is, the overall similarity has a value of 0 or more, and when the overall similarity is 0, it means that the feature amount of any one of the query images and the feature amount of the search target image are equal.
[0206]
As a result of referring to the image of the search result displayed in the image display column 202, if a narrowed search is desired, the image displayed in the image display column 202 is designated as an inquiry image and the same search process is performed. You can also
[0207]
As described above, according to the image search device according to the ninth embodiment, the degree of importance is set for each inquiry image so that the obtained similarity can be arbitrarily weighted according to the type of inquiry image. By specifying the degree of similarity with each query image for each image to be searched and weighting the degree of similarity with each obtained query image according to the specified importance Since the user's intention can be accurately expressed as a search condition, it is possible to accurately convey the user's intention to the apparatus, and the importance is reflected as a weight for the similarity, so the user's intention is reflected. An image as a search result can be obtained.
[0208]
In the description of the ninth embodiment, three images are used as inquiry images. However, the number of inquiry images is not limited to three. Also, the type of feature quantity is not particularly shown, but any type of feature quantity such as color, structure, texture, etc. can be used alone or in combination.
[0209]
[Embodiment 10]
The image search device according to the tenth embodiment is configured so that the user's intention for the search can be expressed more accurately in the image search device according to the eighth embodiment. The image search processing by the image search apparatus according to the tenth embodiment is executed when the OR specification button 206 is specified instead of the AND specification button 205 in the search window 200f of FIG. 15 used in the description of the sixth embodiment. Is done.
[0210]
FIG. 20 is a flowchart showing image search processing according to the tenth embodiment. The user designates a plurality of inquiry images in each image designation field shown in FIG. 15, designates the importance for each type of feature amount in each designated inquiry image, and further selects an OR designation button 206 to select an OR condition. The image search process by is designated (S1001). Assume that the user designates query images A, B, and C as shown in FIG. 15, and designates the importance for each type of feature amount for each query image A, B, and C.
[0211]
Then, when the user designates the search button 201 in FIG. 15, the U / I unit 151 inputs the query images A, B, and C to the feature extraction engine 152. Processing for extracting three types of feature values of color, structure, and texture from C is executed (S1002). Thereafter, the feature extraction engine 152 passes the feature amounts of each inquiry image extracted for each of the three types of feature amounts to the matching engine 153 (each mapped to the feature space of FIG. 4).
[0212]
The matching engine 153 obtains the similarity to each of the query images A, B, and C using three types of feature amounts for each search target image registered in the image DB 108, and for each obtained similarity Weighting according to importance, and selecting the similarity indicating the highest similarity from the similarities to the query images A, B, and C, and executing the process of obtaining the overall similarity of the search target images (S1003).
[0213]
The processing in step S1003 will be specifically described taking one search target image as an example. The matching engine 153 obtains the similarity between the search target image and the query image A using the color feature amount. That is, the matching engine 153 determines the distance between the search target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the query image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Subsequently, the matching engine 153 weights the obtained distance according to the importance of the color feature amount designated for the inquiry image A in the search window 200f. Further, the matching engine 153 obtains the distance using the structural feature amount and the texture feature amount for the image to be searched and the query image A, and the search window 200f for the obtained distance to the query image A. On the other hand, weighting is performed in accordance with the importance of the feature quantity of the designated structure and the importance of the feature quantity of the texture.
[0214]
Similarly, the matching engine 153 obtains the distance between the image to be searched and the query image B for each of the three types of feature amounts, and for each feature amount designated for the query image B for each of the obtained distances. Weighting is performed according to the importance of. Further, the distance between the image to be searched and the inquiry image C is obtained for each of the three types of feature amounts, and the obtained distances are weighted according to the importance for each feature amount designated for the inquiry image C. I do.
[0215]
After that, the matching engine 153 selects the shortest distance from the distances between the search target images obtained for each of the three types of feature amounts and the query images A, B, and C to obtain the total similarity. Here, the number of feature amounts is N, the number of query images is M, and the kth query image is Q._k, Select the image to be searched_i, The distance formula between images of feature quantity j_j(), The importance of the feature quantity j of the kth image is w_jkThen, the total similarity S for each image to be searched_iIs expressed as follows.
[0216]
[Expression 10]

[0217]
In this way, the matching engine 153 obtains the total similarity for each image to be searched, and outputs the total similarity for each image to be searched to the U / I unit 151.
[0218]
Subsequently, the U / I unit 151 refers to the overall similarity obtained for each image to be searched by the matching engine 153, and for example, the images to be searched are displayed in the image display column 202 in FIG. (S1004). Here, since the distance between the feature amounts of the image to be searched and any one of the query images A, B, and C is used as the total similarity, in practice, the search target is in ascending order of the value of the total similarity. An image is displayed in the image display field 202. That is, the overall similarity has a value of 0 or more, and when the overall similarity is 0, it means that the feature amount of any one of the query images and the feature amount of the search target image are equal.
[0219]
As a result of referring to the image of the search result displayed in the image display column 202, if a narrowed search is desired, the image displayed in the image display column 202 is designated as an inquiry image and the same search process is performed. You can also
[0220]
As described above, according to the image search device according to the tenth embodiment, when the similarity between the query image and the search target image is determined using a plurality of types of feature amounts, the query image and Importance for each feature type can be specified for each query image so that arbitrary weighting can be performed according to the type of feature amount. By calculating the similarity with each query image for each feature amount, and weighting the similarity with each query image determined for each type of feature amount according to the specified importance, Since the intention can be accurately expressed as a search condition, it is possible to accurately convey the user's intention to the device, and the importance is reflected as a weight for the similarity, so that the search reflecting the user's intention is performed. It is possible to obtain an image of the fruit.
[0221]
In the description of the tenth embodiment, three images are used as inquiry images. However, the number of inquiry images is not limited to three. Also, the types of feature values are not limited to the three types of color, structure, and texture, and may be any type of combination of feature values.
[0222]
[Embodiment 11]
The image search apparatus according to the eleventh embodiment is such that the apparatus side can fetch the user's intention for the search in the image search apparatus according to the eighth embodiment. The image search process by the image search apparatus according to the eleventh embodiment is performed by using the OR designation button 206 instead of the AND designation button 205 in the search window 200d of FIG. It is executed when specified.
[0223]
FIG. 21 is a flowchart showing image search processing according to the eleventh embodiment. The user designates a plurality of inquiry images in each image designation column shown in FIG. 11, and selects the OR designation button 206 to designate image search processing based on the OR condition (S1101). Assume that the user designates inquiry images A, B, and C as shown in FIG.
[0224]
Thereafter, when the user designates the search button 201 in FIG. 11, the U / I unit 151 inputs the query images A, B, and C to the feature extraction engine 152, and the feature extraction engine 152 Processing for extracting three types of feature values of color, structure, and texture from C is executed (S1102).
[0225]
Subsequently, the feature extraction engine 152 obtains the distance (similarity) between the query images A, B, and C for each of the extracted three types of feature amounts, and performs each query based on the obtained distance for each feature amount. The importance for each feature amount between the images A, B and C is determined (S1103).
[0226]
Specifically, the feature extraction engine 152 obtains a distance between features of a plurality of inquiry images designated by the user for each of the three types of feature amounts. If the variance of the distance obtained for each feature quantity is large, it means that the user is not aware of the feature quantity, and if the variance is small, it can be judged that the user attaches importance to the feature quantity. . Therefore, the importance is set to be small when the feature amount is large and the importance is set to be large when the variance is small. For example, the importance of each feature amount can be determined using Equation 7 shown in the seventh embodiment.
[0227]
Thereafter, the feature extraction engine 152 passes the feature amount of each inquiry image extracted for each of the three types of feature amounts and the corresponding importance to the matching engine 153.
[0228]
The matching engine 153 obtains the similarity to each of the query images A, B, and C using three types of feature amounts for each search target image registered in the image DB 108, and for each obtained similarity Weighting according to importance, and selecting the similarity indicating the highest similarity from the similarities to the query images A, B, and C, and executing the process of obtaining the overall similarity of the search target images (S1104).
[0229]
The processing in step S1104 will be specifically described taking one search target image as an example. The matching engine 153 obtains the similarity between the search target image and the query image A using the color feature amount. That is, the matching engine 153 determines the distance between the search target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the query image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Subsequently, the matching engine 153 performs weighting on the obtained distance according to the importance determined by the feature extraction engine 152 for the color feature amount. Further, the matching engine 153 obtains the distance using the structural feature amount and the texture feature amount for the search target image and the query image A, and the structure determined by the feature extraction engine 152 for each obtained distance. The weighting is performed according to the importance of the feature quantity and the importance of the texture feature quantity.
[0230]
Similarly, the matching engine 153 obtains the distance between the image to be searched and the inquiry image B for each of the three types of feature amounts, and sets the importance determined for each type of feature amount for each of the obtained distances. Perform the corresponding weighting. Further, the distance between the image to be searched and the inquiry image C is determined for each of the three types of feature amounts, and the determined distances are weighted according to the importance determined for each type of feature amount.
[0231]
After that, the matching engine 153 selects the shortest distance from the distances between the search target images obtained for each of the three types of feature amounts and the query images A, B, and C to obtain the total similarity. In this way, the matching engine 153 obtains the total similarity for each image to be searched, and outputs the total similarity for each image to be searched to the U / I unit 151.
[0232]
The U / I unit 151 refers to the total similarity for each image to be searched by the matching engine 153, and displays, for example, the search target images in the image display column 202 in FIG. 11 in descending order of the total similarity (S1105). . Here, since the distance between the feature amounts of the image to be searched and any one of the query images A, B, and C is used as the total similarity, in practice, the search target is in ascending order of the value of the total similarity. An image is displayed in the image display field 202. That is, the overall similarity has a value of 0 or more, and when the overall similarity is 0, it means that the feature amount of any one of the query images and the feature amount of the search target image are equal.
[0233]
As a result of referring to the image of the search result displayed in the image display column 202, if a narrowed search is desired, the image displayed in the image display column 202 is designated as an inquiry image and the same search process is performed. You can also
[0234]
As described above, according to the image search device according to the eleventh embodiment, when the similarity between the query image and the search target image is obtained using a plurality of types of feature amounts, the feature amount is compared with the obtained similarity. The degree of similarity between each query image is calculated for each type of feature quantity so that arbitrary weighting can be performed according to the type, and between each query image based on the obtained degree of similarity for each type of feature quantity The degree of importance for each type of feature quantity is determined, and for each search target image, the similarity to each query image is obtained for each type of feature quantity, and each query image obtained for each type of feature quantity is obtained. By determining the importance of each type of feature amount between the query images specified by the user on the device side, by weighting the degree of similarity with the degree of importance for each type of feature amount determined, Determining the degree of importance against the similarity between images In order to, it is possible to return search results that match the user's intention. Therefore, the search process as desired by the user can be realized, and the search result desired by the user can be obtained.
[0235]
In the description of the eleventh embodiment, three images are used as inquiry images. However, the number of inquiry images is not limited to three. Also, the types of feature values are not limited to the three types of color, structure, and texture, and may be any type of combination of feature values.
[0236]
[Embodiment 12]
The image search apparatus according to the twelfth embodiment makes it possible to perform an image search from a viewpoint different from those of the first to eleventh embodiments. Note that in the image search device according to the twelfth embodiment, the same reference numerals are used for the configurations already described in the first embodiment, and detailed description thereof is omitted, and common points regarding the image search processing are also described as appropriate. Is omitted.
[0237]
The image search apparatus according to the twelfth embodiment enables the user to specify the roughness level (the fineness of the viewpoint) of the feature amount used during the search, and the feature amount corresponding to the roughness level specified by the user Is used to obtain the similarity between the query image and the search target image. Here, the roughness of the feature amount is defined to indicate the degree to which the feature amount extracted from the image faithfully represents a predetermined feature of the image to be extracted. So, in the following,
1. Feature extraction processing
2. Image search processing
Processing executed by the image search apparatus according to Embodiment 12 will be described in this order.
[0238]
1. Feature extraction processing
Here, a plurality of feature quantities having different roughnesses are extracted in advance for the search target image, and among query images, feature quantities are extracted at the time of search execution for query images from which feature quantities have not been extracted. I will decide. The timing for extracting the feature amount from the search target image is set when the search target image is registered in the image DB 108 as described in the first embodiment. A process for extracting feature amounts from each image will be described with reference to FIG.
[0239]
The feature extraction engine 152 of FIG. 2 inputs an image to be registered via the U / I unit 151 (S11), and executes a process of extracting a feature amount from the input image (S12).
[0240]
In the twelfth embodiment, for example, the feature extraction engine 152 calculates the roughness of an image from the image based on an extraction criterion that defines stepwise the number of divisions representing at least how many the image is to be divided as the roughness level of the feature amount. Different feature values can be extracted. Specifically, for example, the following feature level roughness levels are defined as extraction criteria, and the feature extraction engine 152 determines different roughness for the same feature (color, structure, etc.) from the image input in step S11. The feature amount of the level is extracted. Note that the extracted feature quantities differ only in roughness, and the types of feature quantities (for example, color, structure, etc.) are the same.
[0241]
Level 1: As shown in FIG. 22A, feature value 1 is extracted from the entire image.
Level 2: As shown in FIG. 22B, the image is divided into four to generate divided images A to D, and feature amounts A to D are extracted from the divided images A to D, respectively. A feature amount 2 (a feature amount group) composed of feature amounts A to D is extracted from the image.
Level 3: As shown in FIG. 22C, the image is divided into eight to generate divided images A to H, and feature amounts A to H are extracted from the divided images A to H, respectively. A feature amount 3 (a feature amount group) composed of feature amounts A to H is extracted from the image.
Level 4: As shown in FIG. 22 (d), an image is divided into 16 to generate divided images A to P, and feature amounts A to P are extracted from the divided images A to P, respectively. A feature amount 4 (a feature amount group) composed of feature amounts A to P is extracted from the image.
[0242]
Here, the process of extracting the feature quantities of levels 1 to 4 from the image will be specifically described by taking as an example the process of extracting the structure (edge) and color (color histogram) of the image as the feature quantity.
[0243]
(1) Structure
▲ 1 ▼ Level 1
For example, edge information is extracted from the image input in step S11 using an edge extraction filter such as sobel. From the extracted edge information, the edge position, edge strength and direction can be obtained. The edge intensity is binarized with an appropriate threshold value, and edge image data of edge components in the vertical and horizontal directions is obtained. As an example, edge image data of edge components in the vertical and horizontal directions obtained from the image shown in FIG. 23 are shown in FIGS.
[0244]
24A to 24D, assuming that the edge portion is a black pixel and the others are white pixels,
-Ratio of black pixels to the entire image
・ Black pixel center of gravity
・ Dispersion of black pixels
-Average size of connected rectangles of black pixels
・ Distribution of the size of the connected rectangle of black pixels
Such edge information is extracted from each edge image data, and this is used as the feature amount 1 of the structure of the entire image.
[0245]
▲ 2 ▼ Level 2
The edge image data shown in FIGS. 24A to 24D is divided into divided images A to D (four divisions) as shown in FIG. 22B, and each divided image A to D is changed to (1). The described edge information is extracted to obtain the feature amounts A to D of the structure in units of divided images. As a result, the feature amount 2 composed of the feature amounts A to D can be extracted from the image.
[0246]
(3) Levels 3 and 4
For level 3, the edge image data in FIGS. 24A to 24D is divided into divided images A to H as shown in FIG. 22C, respectively (8 divisions). As shown in FIG. 22 (d), the image is divided into divided images A to P (16 divisions), and from the feature quantity 3 and the feature quantities A to P each consisting of the feature quantities A to H in the same manner as in level 2. The feature quantity 4 can be extracted from the image.
[0247]
(2) Color
Next, a process of extracting the image color (color histogram) as a feature amount will be described.
[0248]
▲ 1 ▼ Level 1
An appropriate color space (for example, Lab, Luv, HSV, etc.) is selected and divided into a plurality of regions, and it is examined which region in the color space each pixel of the image input in step S11 corresponds to. The feature quantity 1 for the entire image shown in FIG. 22A is extracted by normalizing the number of pixels with the number of pixels of the entire image.
[0249]
▲ 2 ▼ Level 2
An appropriate color space (for example, Lab, Luv, HSV, etc.) is selected and divided into a plurality of regions, and the image input in step S11 is divided into divided images A to D as shown in FIG. (4 divisions). Then, it is possible to extract the feature amount A by examining which region in the color space each pixel of the divided image A corresponds to and normalizing the number of pixels for each region with the number of pixels of the entire divided image A. . Similar processing is performed on the other divided images B to D to extract the feature amounts B to D, respectively, and the feature amount 2 including the feature amounts A to D is extracted from the image input in step S11.
[0250]
(3) Level 3 and Level 4
For level 3, the image input in step S11 is divided into divided images A to H as shown in FIG. 22C (eight divisions), and for level 4, the divided images are shown as shown in FIG. A feature amount 3 consisting of feature amounts A to H and a feature amount 4 consisting of feature amounts A to P are extracted from the image in the same manner as in level 2 (16 divisions).
[0251]
In this way, by extracting feature values from the same image by changing the number of divisions, for example, an image is entirely blue, but blue and a little red are mixed in detail. Thus, it is possible to extract a feature amount depending on the fineness of the viewpoint. For example, it is possible to extract a feature amount including information indicating at which position in the image centered on blue that red is dispersed.
[0252]
In this manner, after extracting the feature amount of each level from the image input in step S11, the feature extraction engine 152 extracts the image in association with the original image registered in the image DB 108 as shown in the flowchart of FIG. The obtained feature amount is registered in the image feature DB 109 (S13).
[0253]
Here, the description has been made by taking as an example the extraction of the image structure and the color feature as the feature amount, but other types of features may be extracted as the feature amount. For example, even when an image is divided into four, various methods other than the dividing method shown in FIG. 22B are conceivable (for example, an image is divided into four vertically or horizontally). Therefore, the division method can be arbitrarily set.
[0254]
2. Image search processing
FIG. 25 is an explanatory diagram showing an example of a search window 200g used in the image search device according to the twelfth embodiment. The search window 200g includes, in addition to the image designation columns A to C, the search button 201, and the image display column 202, a feature designation column 209 that designates the type of feature amount used for the search, and the types designated in the feature designation column 209. And a roughness level designation field 210 for designating which level (roughness) of the feature quantity is to be used. In the feature designation field 209, for example, one or both of the structural feature quantity and the color feature quantity can be designated. In the roughness level designation field 210, for example, at least one of levels 1 to 4 can be designated. Shall be able to. The levels that can be designated in the roughness level designation column 210 correspond to the levels of the feature quantity extraction criteria described above.
[0255]
If no feature quantity is designated in the feature designation field 209, the search processing is performed using both the structure quantity and the feature quantity, and any level in the roughness level designation field 210 is assumed. If neither is specified, the search process is performed using the feature amounts of all levels. In addition, in order to be able to specify all of the available types of feature quantities, a button “all” may be prepared in the feature specification field 209. Similarly, a button “all” may be prepared in the roughness level designation field 210 so that all levels can be designated.
[0256]
Subsequently, an image search process according to Embodiment 12 will be described. Here, since different processing is performed depending on how the search condition is specified in the search window 200g, the outline of the image search processing is first described with reference to the flowchart of FIG. Each search condition will be explained separately for each case.
[0257]
(1) Outline of image search processing
First, an outline of the image search processing according to the twelfth embodiment will be described. The user designates at least one inquiry image in the image designation field shown in FIG. 25, and in the feature designation field 209 and the roughness level designation field 210, the type of feature quantity used at the time of search and the rough value of the feature quantity to be used. A level is designated (S1201).
[0258]
Subsequently, when the user designates the search button 201 in FIG. 25, the U / I unit 151 inputs the inquiry image, the type of feature amount, and the type of roughness level to the feature extraction engine 152, and the feature extraction engine 152 The feature quantity is extracted from the inquiry image in accordance with the designated feature quantity type and roughness level (S1202). However, when the feature amount has already been extracted from the inquiry image designated by the user, the processing in step S1202 can be skipped. Further, when the feature amount is not extracted for the search target image, the feature amount may be extracted at this point. Thereafter, the feature extraction engine 152 passes the extracted feature amount of the query image to the matching engine 153 (maps to the feature space of FIG. 4).
[0259]
The matching engine 153 executes a process for obtaining the similarity with the query image using the feature amount of the level specified in the search window 200g for each image to be searched registered in the image DB 108 (S1203). That is, the matching engine 153 determines the distance between the image to be searched and the query image plotted in the feature amount space shown in FIG. 4 based on the feature amount of the corresponding level for each feature. Obtained using an equation.
[0260]
The feature amount F is normally expressed as a vector F = {f1, f2, f3,..., Fn}, and the feature amounts extracted from the images a and b are represented by the following formula 11, respectively. The differential distance formula D (Fa, Fb) is generally used as the distance definition formula.
[0261]
## EQU11 ##

[0262]
This distance formula can also be used in the case of “structure” and “color” feature quantities. However, when the “ratio of black pixels to the whole image” in “structure” is used as a feature quantity as a histogram, An appropriate similarity can be obtained when there are enough edges, but an appropriate similarity cannot be obtained when there are few edges in the image.
[0263]
In the sense of similarity to human edges, for example, an image with no edges is slightly different from an image with little edges, but if the image has enough edges, the amount is slightly different. But the difference is insensitive. Therefore, this problem can be solved by normalizing the histogram with the number of all edge pixels (normalized distance equation) in order to increase the accuracy of the distance than the difference distance equation.
[0264]
That is, the elements of the histogram are given by the following formula.
foi = fi / N
Note that foi is a normalized histogram element. Further, the total number of pixels N is given by the equation (12).
[0265]
[Expression 12]

[0266]
Note that normalization is not performed when the vector elements are all 0 and S = 0. That is, the normalized distance formula is given by the formula (13).
[0267]
[Formula 13]

[0268]
When the number of edges in the image is small, the above formula is effective, but when the number is large, the conventional histogram can obtain a more appropriate similarity. Therefore, the formula of formula 14 is devised so that the formula becomes close to the conventional formula when there are many edges, and the formula becomes close to the above formula when there are few edges.
[0269]
[Expression 14]

[0270]
Note that the value for normalization is changed as shown in the following equation 15 depending on the total number of pixels.
[0271]
[Expression 15]

k is a constant and is appropriately specified depending on the target image set.
[0272]
In addition to performing the above calculation at the time of search, it is converted into a vector obtained by normalization or semi-normalization at the time of feature extraction in advance and registered in the database. It is also possible to perform a high-speed search.
[0273]
Although the above-mentioned semi-normalized expression can calculate an appropriate similarity regardless of the number of edges in the image, there is a problem that it takes time because the expression is complicated when calculating at the time of retrieval. Therefore, the conventional differential distance formula and the normalized distance formula are selected and calculated according to the number of edges and the required search speed.
[0274]
For example, cases can be classified as follows.
1) When the edge ratio of both images is greater than or equal to a threshold A
Select differential distance formula
2) When either one is below threshold A
a) When high speed is required
Select differential distance formula
b) When high speed is not required
Use normalized distance formula
[0275]
However, in this method, different formulas are selected depending on the case, so that the resulting metric space does not satisfy the distance axiom. If it is necessary to satisfy the distance axiom, a semi-normalized expression is desirable.
[0276]
Subsequently, the U / I unit 151 refers to the similarity with the query image obtained for each image to be searched by the matching engine 153, and displays the images to be searched in the order of the similarity, for example, in the image display of FIG. It is displayed in the column 202 (S1204). However, since the distance between the feature amounts of the search target image and the query image is used as the similarity here, the search target images are actually displayed in the image display column 202 in ascending order of the similarity value. Will be. That is, the similarity has a value of 0 or more. When the similarity is 0, it means that the feature amount of each query image and the feature amount of the search target image are equal.
[0277]
(2) Specific example of image search processing
Next, while corresponding to the flowchart of FIG.
(1) When one query image, “color” as the feature quantity and “level 1” as the roughness level are specified
(2) When one query image, “color” as the feature quantity and “level 2” as the roughness level are specified
(3) When one query image, “color” as the feature quantity and two or more levels as the roughness level are specified
(4) When multiple types of features are specified
(5) When multiple inquiry images are specified
The image search processing according to the twelfth embodiment will be specifically described in this order.
[0278]
(1) When one query image, “color” as the feature quantity and “level 1” as the roughness level are specified
In the search window 200g shown in FIG. 25, it is assumed that the user designates one inquiry image, “color” as the feature amount, and “level 1” as the roughness level (S1201).
[0279]
As shown in FIG. 22A, the feature extraction engine 152 extracts “feature amount 1” that is a feature amount corresponding to “level 1” for the feature amount “color” for the entire inquiry image (S1202). ).
[0280]
Then, the matching engine 153 obtains a similarity to the query image for each search target image based on the query image extracted by the feature extraction engine 152 and the feature quantity 1 of the search target image (S1203). Specifically, the distance between the image to be searched and the query image plotted in the feature amount space shown in FIG. 4 based on the corresponding feature amount 1 is used using a distance definition formula defined for each feature. Ask.
[0281]
Thereafter, the U / I unit 151 refers to the similarity with the query image obtained for each image to be searched by the matching engine 153, and displays the images to be searched in the order of, for example, the highest similarity (smallest value). 25 images are displayed in the image display field 202 (S1204).
[0282]
As described above, by selecting a feature amount of roughness such as level 1 and performing an image search process, for example, a search using a feature amount of color is performed.
In that case, it is possible to execute a search process such as searching for a blue image as a whole.
[0283]
Although a detailed description is omitted, even if “structure” or another type of feature quantity is specified as the feature quantity, the search process can be performed by the same process.
[0284]
(2) When one query image, “color” as the feature quantity and “level 2” as the roughness level are specified
In the search window 200g shown in FIG. 25, it is assumed that the user designates one inquiry image, “color” as the feature amount, and “level 2” as the roughness level (S1201).
[0285]
As shown in FIG. 22B, the feature extraction engine 152 divides the inquiry image into divided images A to D, and extracts feature values A to D of “color” from the divided images A to D, respectively (S1202). ). As a result, the feature amount corresponding to “level 2” for the feature amount “color” and “feature amount 2” including the feature amounts A to D is extracted from the inquiry image.
[0286]
Then, the matching engine 153 obtains the similarity with the query image for each search target image based on the query image extracted by the feature extraction engine 152 and the feature quantity 2 of the search target image (S1203). Specifically, the similarity between the divided images A, the divided images B, the divided images C, and the divided images D of the search target image and the inquiry image is obtained. More specifically, based on the feature amount 2 extracted by the feature extraction engine 152, the divided images A, the divided images B, the divided images C, and the divided images plotted in the feature amount space shown in FIG. The distance between D is obtained using a distance definition formula defined for each feature. Here, since the similarity is obtained for each of the divided images A to D, four similarities are obtained.
[0287]
Subsequently, the matching engine 153 determines the similarity between the search target image and the query image using the obtained four similarities. As a method for determining the similarity, for example, the following method can be considered.
(2) -1 The similarity between the search target image and the query image is determined by the sum of squares of the four similarities.
{Circle around (2)}-2 The sum of the four similarities is used to determine the similarity between the search target image and the query image (see AND search).
(2) -3 By selecting the highest (smallest value) similarity among the four similarities, the similarity between the search target image and the query image is determined (see OR search).
Note that it may be possible to specify in the search window 200g which method (2) -1 to (2) -3 is to be used.
[0288]
Thereafter, the U / I unit 151 refers to the similarity with the query image obtained for each image to be searched by the matching engine 153, and displays the images to be searched in the order of, for example, the highest similarity (smallest value). 25 images are displayed in the image display field 202 (S1204).
[0289]
In this way, by selecting the feature quantity of roughness such as level 2 and performing the image search process, for example, when performing a search using the color feature quantity, Thus, it is possible to execute a search process such as searching for an image in which red is mixed in a portion where blue is present as a whole. In other words, search processing based on which color is located at which position in the image is possible, and search processing is performed from a fine viewpoint that cannot be performed by search using the feature amount (level 1) extracted for the entire image. It can be carried out.
[0290]
Although detailed description is omitted, even when “structure” or another type of feature quantity is designated as the feature quantity, the search process can be performed by the same process. Further, even when the roughness levels 3 and 4 are designated, the search process can be performed by the same process as the process of the level 2 described above, and thus the description thereof is omitted here.
[0291]
(3) When one query image, “color” as the feature quantity and two or more levels as the roughness level are specified
Here, as an example of the case where two or more levels are designated as the roughness level, the image search process will be described based on the case where all the roughness levels are designated. Therefore, it is assumed that in the search window 200g shown in FIG. 25, the user designates one inquiry image, “color” as a feature amount, and all roughness levels (S1201). As described above, when none of the levels is designated in the roughness level designation column 210 or when all levels are designated, all the roughness levels are designated.
[0292]
As shown in FIGS. 22A to 22D, the feature extraction engine 152 extracts feature quantities 1 to 4 according to levels 1 to 4 from the query image specified in the search window 200g (S1202). ). The feature quantity 1 corresponding to level 1 can be extracted by the method described in the section (1), and the feature quantities 2 to 4 corresponding to levels 2 to 4 can be extracted by the method described in the section (2). .
[0293]
Then, the matching engine 153 uses the query image extracted by the feature extraction engine 152 and the feature amounts 1 to 4 of the search target image to obtain a similarity with the query image for each search target image (S1203). . Here, the similarity between the search target image and the query image is obtained for each feature amount (level), and as a result, four similarities with respect to the query image are obtained for each search target image. The process for obtaining the similarity between the search target image and the query image using the feature amount 1 (level 1) is the same as the process described in the item (1). The processing for obtaining the similarity between the search target image and the query image using the feature amounts 2 to 4 (levels 2 to 4) is the same as the processing described in the item (2).
[0294]
Subsequently, the matching engine 153 determines the final similarity with the query image using the four similarities with the query image obtained according to each level for each image to be searched. As a final similarity determination method, for example, the following method can be considered.
(3) -1 The final similarity with the query image is determined by the sum of squares of the four similarities (deformation of AND search).
(3) -2 The final similarity with the query image is determined by summing the four similarities (see AND search).
(3) -3 By selecting the highest (smallest value) similarity from the four similarities, the final similarity with the query image is determined (see OR search).
[0295]
When the final similarity to the inquiry image is determined by the methods (3) -1 and (3) -2, for example, the whole image is blue and a certain portion is mixed with red. It is possible to execute a search process (AND search) such as searching for a current image. In other words, since feature values of all (two or more) roughness levels are used, a desired image can be searched with higher accuracy than when searching using only feature values of a specific level. it can. Also, in the case of determining the final similarity with the inquiry image by the method of (3) -3, for example, red is mixed in an overall blue image and an overall blue portion. It is possible to execute a search process (OR search) such as searching for any of the existing images.
[0296]
It should be noted that any one of methods (3) -1 to (3) -3 may be used in the search window 200g.
[0297]
Thereafter, the U / I unit 151 refers to the similarity with the query image obtained for each image to be searched by the matching engine 153, and displays the images to be searched in the order of, for example, the highest similarity (smallest value). 25 images are displayed in the image display field 202 (S1204).
[0298]
As described above, by selecting a plurality of feature quantities having different roughnesses and performing the image search process, the viewpoint for the search can be compared with a case where one feature quantity having a specific roughness is used. Search processing can be executed by various different methods. Although detailed description is omitted, even when “structure” or another type of feature quantity is designated as the feature quantity, the search process can be performed by the same process.
[0299]
(4) When multiple types of features are specified
When a plurality of types of feature values are specified in the feature specification field 209, the feature extraction engine 152 extracts the types and levels of feature values specified in the search window 200g from the query image (S1202). For example, when structure and color feature quantities are specified, the feature extraction engine 152 extracts feature quantities having a roughness level corresponding to the structure feature quantities from the query image, and also applies levels corresponding to the color feature quantities. Are extracted (see FIG. 22).
[0300]
Then, the matching engine 153 obtains the similarity to the query image for each type of feature amount for each image to be searched, and finally uses the similarity for each type of feature amount to obtain the final query image. The similarity is determined (S1203).
[0301]
As a final similarity determination method, for example, the following method can be considered.
(4) -1 The final similarity with the query image is determined based on the sum of squares of the similarity obtained for each type of feature quantity (deformation of AND search).
{Circle around (4) -2} The final similarity with the query image is determined by summing up the similarities obtained for each type of feature amount (see AND search). When this method is used, an AND search according to a plurality of types of feature amounts can be executed.
(4) -3 The final similarity with the query image is determined by selecting the highest similarity (smallest value) from the similarities obtained for each type of feature amount (see OR search) ). When this method is used, an OR search corresponding to a plurality of types of feature amounts can be executed.
Note that it may be possible to specify in the search window 200g which method (4) -1 to (4) -3 is to be used.
[0302]
Further, for example, when one query image is specified and the feature amount of structure and color and roughness levels 1 and 2 are specified, the feature amount of the structure of level 1 is obtained for each image to be searched. Similarity, similarity obtained using level 2 structure features, similarity obtained using level 1 color features, and similarity obtained using level 2 color features It will be. In such a case, all the similarities obtained may be summed to determine the final similarity with the query image (the method of (4) -2 (4) -1). Reference), the highest similarity (smallest value) may be selected from the obtained similarities, and the final similarity with the inquiry image may be determined (method (4) -3). reference). Alternatively, the similarity of each level is totaled for each type of feature quantity, or the highest (smallest value) similarity is selected from the similarity levels of each level, and each feature quantity type is selected. After obtaining the similarity to the query image, the final similarity to the query image may be determined using any one of the methods (4) -1 to (4) -3 described above.
[0303]
Thereafter, the U / I unit 151 refers to the overall similarity obtained for each image to be searched by the matching engine 153, and, for example, selects the images to be searched in descending order of the overall similarity (value is small). The image is displayed in the image display field 202 (S1204).
[0304]
(5) When multiple inquiry images are specified
When a plurality of query images are designated, the feature extraction engine 152 extracts the feature quantity of the type and level designated in the search window 200g from each query image (S1202). Then, the matching engine 153 obtains the similarity to each inquiry image for each image to be searched as described in any one of items (1) to (4), and then combines the images to be searched. The similarity is obtained (S1203).
[0305]
As a method for obtaining the overall similarity, for example, there are the following methods.
(5) -1 For each image to be searched, the sum of squares of the similarity with each query image is set as the total similarity (deformation of AND search).
{Circle around (5)}-2 For each image to be searched, the similarity with each query image is totaled to obtain the total similarity (see AND search). When this method is used, an AND search can be executed.
(5) -3 For each image to be searched, the highest similarity (smallest value) is selected from the similarities to the respective query images to obtain the total similarity (see OR search). When this method is used, an OR search can be executed.
[0306]
It should be noted that any one of methods (5) -1 to (5) -3 may be specified in the search window 200g.
Case
[0307]
Thereafter, the U / I unit 151 refers to the overall similarity obtained for each image to be searched by the matching engine 153, and, for example, selects the images to be searched in descending order of the overall similarity (value is small). The image is displayed in the image display field 202 (S1204).
[0308]
As described above, according to the image search device according to the twelfth embodiment, at least one inquiry image is specified, and the roughness level of the feature amount extracted from the image is gradually increased from coarse to fine. Based on the defined extraction criteria, specify at least one roughness level of the feature quantity used for the search, and based on the extraction criteria, specify at least the roughness level specified from the query image and multiple search target images The feature amount corresponding to is extracted at a predetermined timing, the similarity with the query image is obtained for each search target image using the feature amount according to the specified roughness level, and for each search target image. Since the search result is output based on the obtained similarity, it is possible to execute a plurality of types of search processes with different search accuracy. In other words, since the user can specify at least one level of roughness of the feature amount used for the search, the fineness of the user's viewpoint for the search can be expressed as a search condition, and the user's intention can be accurately set as the search condition. Can be expressed. Therefore, it is possible to perform image search processing as desired by the user.
[0309]
As a result of referring to the image of the search result displayed in the image display column 202, if a narrowed search is desired, the image displayed in the image display column 202 is designated as an inquiry image and the same search process is performed. You can also Further, although the type of feature amount is the structure and color, only the structure or only the color may be used, or another type of feature amount may be used. Further, when a plurality of inquiry images or a plurality of types of feature quantities are designated, the importance may be designated as described in other embodiments.
[0310]
In the twelfth embodiment, the roughness of the feature amount is defined depending on how many images are divided. However, not only the image but also an object existing in the image is a feature amount extraction target, You may decide to define the roughness of the feature-value of an object unit by how many parts are divided | segmented. The search process when an object existing in an image is also a feature amount extraction target is the same as the search process described above, and thus detailed description thereof is omitted here.
[0311]
Further, as described above, it is possible to realize the following image search processing by using the feature amount extraction for each divided image obtained by dividing the image. Here, for convenience of explanation, a modification of the image search device according to the twelfth embodiment will be described using an example in which an image is divided into four.
[0312]
(Modification 1)
In the above-described twelfth embodiment, the similarity between the inquiry image and the search target image is obtained by comparing the inquiry image and the divided images of the search target image in a one-to-one correspondence to obtain the similarity. On the other hand, in the first modification, for example, as shown in FIG. 27, one of the divided images of the inquiry image is designated, and the similarity between the designated divided image and each divided image of the search target image is obtained. Thus, an image having a divided image similar to the specific divided image of the inquiry image can be found from the search target images.
[0313]
(Modification 2)
In the second modification, for example, as shown in FIG. 28, an image including the query image is searched from the search target images by obtaining the similarity between the entire query image and each divided image of the search target image. Is to be able to.
[0314]
Although detailed description is omitted, by enabling such search processing as in the first modification and the second modification, it is possible to search for an image by various methods.
[0315]
[Embodiment 13]
The image search device according to the thirteenth embodiment enables an image search from a different viewpoint from the above-described first to twelfth embodiments by enabling an image including an inquiry image to be found from among search target images. It is possible to do. Note that in the image search device according to the thirteenth embodiment, the same reference numerals are used for the configurations already described in the first embodiment, and detailed description thereof is omitted, and common points regarding the image search processing are also described as appropriate. Is omitted.
[0316]
Specifically, the image search device according to the thirteenth embodiment designates at least one inquiry image, and for each search target image, determines the similarity between a region of a predetermined size in the search target image and the query image. By repeatedly executing the processing to be obtained using a predetermined feature amount extracted in advance over the entire image to be searched, an image including an inquiry image can be found from the images to be searched.
[0317]
In the image search device according to the thirteenth embodiment, various methods are used for the process of obtaining the similarity between a predetermined size area in a search target image and a query image using a predetermined feature amount extracted in advance. Here, a technique as shown in FIGS. 29 and 30 is used. For example, as shown in FIG. 29, the query image is divided into four to generate divided images a to d, a predetermined type of feature amount is extracted from each divided image, and the search target image is divided into 16 parts. The divided images A to P are generated, and the same type of feature quantity as that of the query image is extracted from each divided image. However, the number of divisions of the query image and the search target image is not limited to 8 and 16, respectively, but may be a relationship that the number of query image divisions <the number of search target image divisions. Then, using the feature amount extracted from each divided image, as shown in FIGS. 30A to 30I, the similarity between the query image and a part of the search target image is sequentially obtained. FIG. 30 shows the image to be searched shown in FIG. 29, and the hatched portion in the image to be searched corresponds to an area compared with the query image. Note that if the number of divisions of the query image and the search target image is reversed (for example, the query image is divided into 16 and the search target image is divided into 8. That is, the number of query image divisions> division of the search target image Number), it is possible to search for an image included in the inquiry image.
[0318]
The image search process performed by the image search apparatus according to Embodiment 13 will be specifically described below. As a premise, it is assumed that at least an image to be searched has feature values extracted from each divided image as shown in FIG. The specific processing for extracting the feature amount is as described in the twelfth embodiment, and thus detailed description thereof is omitted here. Further, the type of feature quantity to be extracted may be any color, structure, or the like.
[0319]
FIG. 31 is a flowchart of image search processing according to the thirteenth embodiment, and FIG. 32 is an explanatory diagram showing an example of a search window 200h. The user designates at least one inquiry image in any of the image designation fields A to C shown in FIG. 32 (S1301). Here, in order to simplify the description, it is assumed that one inquiry image is designated.
[0320]
Subsequently, when the user designates the search button 201 in FIG. 32, the U / I unit 151 inputs an inquiry image to the feature extraction engine 152, and the feature extraction engine 152 extracts a predetermined type of feature amount from the inquiry image. (S1302). As shown in FIG. 29, the feature extraction engine 152 divides the inquiry image to generate divided images a to d, and extracts a predetermined type of feature amount from each divided image. However, when the feature amount has already been extracted from the inquiry image designated by the user, the processing in step S1302 can be skipped.
[0321]
Then, the matching engine 153 uses the feature amount extracted by the feature extraction engine 152 for each search target image registered in the image DB 108, and uses the similarity between a predetermined region in the search target image and the query image. Is performed over the entire search target image, and the similarity to the query image is obtained (S1303).
[0322]
An example of the process executed in step S1303 will be described in detail with reference to FIG. For example, with reference to FIG. 30A, the matching engine 153 uses the feature amount of each divided image of the query image and the search target image extracted in advance by the feature extraction engine 152, and
The similarity between the divided image a of the inquiry image and the divided image A of the search target image
The similarity between the divided image b of the inquiry image and the divided image B of the search target image
The similarity between the divided image c of the inquiry image and the divided image E of the search target image
The similarity between the divided image d of the inquiry image and the divided image F of the search target image
For each. In other words, the distance between the divided images plotted in the feature amount space shown in FIG. 4 is obtained using the distance definition formula defined for each feature. Here, since the similarity is obtained for each of the four divided images, four similarities are obtained.
[0323]
Subsequently, the matching engine 153 determines the similarity between the area of the search target image shown in FIG. 30A and the query image using the obtained four similarities. As a method for determining the similarity, for example, the following method can be considered.
(1) -1 The similarity between the area of the image to be searched and the query image is determined by the sum of squares of the four similarities.
{Circle around (1)}-2 The sum of the four similarities is used to determine the similarity between the image area to be searched and the query image (see AND search).
(1) -3 By selecting the highest (smallest value) similarity among the four similarities, the similarity between the area of the image to be searched and the query image is determined (see OR search).
Note that it may be possible to specify in the search window 200h which method (1) -1 to (1) -3 is to be used.
[0324]
The matching engine 153 also performs the above-described processing for the cases shown in FIGS. 30B to 30I, and determines the similarity between each region of the search target image and the query image.
[0325]
As shown in FIGS. 30A to 30I, as a result of obtaining the similarity between each region of the search target image and the query image, nine similarities with the query image are obtained for each search target image. Will be obtained. Therefore, the matching engine 153 executes a process of determining the final similarity with the query image using nine similarities for each image to be searched. As a final similarity determination method, for example, the following method can be considered.
[0326]
{Circle around (2)}-1 The final similarity between the search target image and the query image is determined based on the sum of squares of nine similarities (deformation of AND search).
(2) -2 The final similarity between the search target image and the query image is determined by adding the nine similarities (see AND search).
(2) -3 The final similarity between the search target image and the query image is determined by selecting the highest (smallest value) similarity among the nine similarities (see OR search). .
Note that it may be possible to specify in the search window 200h which method (2) -1 to (2) -3 is to be used.
[0327]
Returning to the description of the flowchart in FIG. 31, the U / I unit 151 refers to the final similarity with the query image obtained for each image to be searched by the matching engine 153, and performs a search, for example, in descending order of similarity. The target image is displayed in the image display field 202 of FIG. 32 (S1304). Here, since the distance between the feature quantities of the search target image and the query image is used as the similarity, the search target images are actually displayed in the image display column 202 in ascending order of the similarity value. become. That is, the similarity has a value of 0 or more. When the similarity is 0, it means that the feature amount of each query image and the feature amount of the search target image are equal.
[0328]
In the above description, only one specified query image is used and one type of feature amount is used for the search. However, a plurality of types of feature amounts can be used, and a plurality of query images are specified. You can also
[0329]
Therefore, an example of processing when a plurality of types of feature amounts are used will be briefly described. As described above, the matching engine 153 obtains the similarity between the search target image and the query image for each feature quantity of the same type. Then, the matching engine 153 can determine the similarity to the query image for each image to be searched, using the similarity obtained for each of different types of feature amounts by the following method, for example.
[0330]
(3) -1 The final similarity with the query image is determined based on the sum of squares of the similarity obtained for each type of feature quantity (deformation of AND search).
(3) -2 The final similarity to the inquiry image is determined by summing up the similarities obtained for each type of feature quantity. When this method is used, an AND search according to a plurality of types of feature amounts can be executed.
(3) -3 The final similarity with the query image is determined by selecting the highest similarity (smallest value) from the similarities obtained for each type of feature quantity. When this method is used, an OR search corresponding to a plurality of types of feature amounts can be executed.
Note that it may be possible to specify in the search window 200h which method (3) -1 to (3) -3 is to be used.
[0331]
An example of processing when a plurality of inquiry images are specified will be briefly described. As described above, the matching engine 153 obtains the similarity between the search target image and each query image. The matching engine 153 can determine the similarity of the search target image with respect to each query image for each search target image, for example, using the following method.
[0332]
(4) -1 For each image to be searched, the sum of squares of the similarity with each query image is set as the total similarity of the images to be searched (deformation of AND search). By using this method, it is possible to search for an image including a plurality of images as an inquiry image.
(4) -2 For each image to be searched, the similarity with each query image is summed to obtain the total similarity of the images to be searched. When this method is used, an AND search using a plurality of query images can be executed. That is, it is possible to search for an image including a plurality of images as an inquiry image.
(4) -3 For each image to be searched, the highest similarity (with a small value) is selected from the similarities to each query image to obtain the total similarity of the images to be searched. When this method is used, an OR search using a plurality of inquiry images can be executed. That is, it is possible to search for an image including any one of a plurality of images as an inquiry image.
It should be noted that any one of the methods (4) -1 to (4) -3 may be specified in the search window 200h.
[0333]
As described above, according to the image search device according to the thirteenth embodiment, at least one query image is specified, and each search target image is specified as a region of a predetermined size in the search target image. In order to repeatedly execute the process of obtaining the similarity with the query image using a predetermined feature amount extracted in advance over the entire image to be searched, and to output a search result based on the similarity obtained for each image to be searched. An image including the inquiry image can be found from the search target images. Therefore, it is possible to provide one method for realizing an image search as intended by the user.
[0334]
As a result of referring to the image of the search result displayed in the image display column 202, if a narrowed search is desired, the image displayed in the image display column 202 is designated as an inquiry image and the same search process is performed. You can also Further, when a plurality of inquiry images or a plurality of types of feature quantities are designated, the importance may be designated as described in other embodiments.
[0335]
[Embodiment 14]
Next, the image classification device according to the present invention will be described. This image classification device classifies images using similarity between images, as in the image search device described above. By classifying images in advance, it is possible to search for a desired image by simply following the classification. By doing so, it is possible to easily search for an image desired by the user by a method different from the image search.
[0336]
The image classification device according to the fourteenth embodiment of the present invention classifies images by applying the image search processing described in the first embodiment. Therefore, description of points that are the same as those described in Embodiment 1 will be omitted as appropriate.
[0337]
FIG. 33 is a block configuration diagram of an image classification device according to the fourteenth embodiment. 33, the same components as those in the image search apparatus shown in FIG. 1 are denoted by the same reference numerals, and only different points will be described here. The image classification apparatus shown in FIG. 33 differs from the image search apparatus shown in FIG. 1 in that image classification software 301 for causing the CPU 101 (computer 100) to execute the function as the image classification apparatus of the present invention, and classification items (Folder described later), a classification condition for classifying images to be classified into classification items, and a classification tree DB 302 in which image information of the classification result is registered.
[0338]
34 is a block diagram showing processing executed in the image classification apparatus shown in FIG. 33, and corresponds to FIG. A user interface (U / I) unit 151 (corresponding to the setting means, specifying means, and display means of the present invention) displays a classification item setting screen, a classification result display screen, etc. for performing image classification for the user. Then, classification condition input, classification result output processing, and the like are executed. The feature extraction engine 152 executes a process of extracting image feature amounts from images registered in the image DB 108 (classification target images) and images set as classification criteria described later. Further, the matching engine 153 (corresponding to the calculation means, determination means, classification means, and search means of the present invention) obtains the similarity between the reference image and the image to be classified, and classifies the object based on the obtained similarity. A process for determining a classification item to be a classification destination of the image (for example, registering and classifying an image ID in a classification item registered in the classification tree DB 302) is executed.
[0339]
Next, regarding the operation of the image classification apparatus having the above-described configuration,
(1) Classification item setting processing
(2) Image classification processing
This will be explained in the order. Here, a plurality of images registered in the image DB 108 are classified images. Further, the feature amounts used when classifying the images are the color, structure and texture of the image. From the images to be classified in the image DB 108, the types of features have already been obtained by the processing described in the first embodiment with reference to FIG. It is assumed that the feature amount is extracted.
[0340]
(1) Classification item setting processing
FIG. 35 is an explanatory diagram showing an example of an image classification window 350a for performing processing for setting image classification items and displaying images after classification. When the display of the image classification window 350a is designated by the user, the U / I unit 151 in FIG. 34 displays an image classification window 350a as shown in FIG. Processing such as classification condition setting is executed.
[0341]
FIG. 35 shows a state in which items for managing images (hereinafter referred to as “folders”) are already set. Here, only the image DB folder 351 corresponding to the root exists. Assuming that this is the case, a process for setting each folder will be described.
[0342]
An image DB folder 351 in FIG. 35 is a folder for managing all the images registered in the image DB 108. Note that by changing the setting of the image DB folder 351, the image to be classified can be changed from the image in the image DB to another image. For example, it is also possible to specify and classify the images obtained as a result of retrieval by the image retrieval apparatus described in the first to thirteenth embodiments.
[0343]
The user sets a new folder as a classification destination for classifying the images in the image DB 108 under the image DB folder 351. For example, the user selects “create folder” from a menu (not shown), and creates a folder 352 under the image DB folder 351.
[0344]
Then, the user selects the folder 352 and sets “classification condition setting” from a menu (not shown) in order to set a classification condition for classifying the images to be classified (images in the image DB 108) in the folder 352. Then, the classification condition setting window 360a shown in FIG. 35 is displayed.
[0345]
The classification condition setting window 360a has substantially the same configuration as that of a part of the search window 200a shown in FIG. 5, and the classification condition setting window 360a has the same classification method as the search condition described in the first embodiment. Can be set. The classification condition setting window 360a includes, for example, a plurality of reference images (image search queries) used as a reference for classifying images to be classified for each feature amount of color, structure, and texture used when classifying images. Image designation fields A, B, and C for designating (corresponding to an image), and a setting button 361 for designating classification condition settings for a desired folder.
[0346]
As an image to be designated as a reference image, for example, an image read by a scanner, an image taken by a digital camera, an image downloaded via the network 112, an image stored in advance on the hard disk 110, or registered in the image DB 108 Any image or the like may be used.
[0347]
As described in the first embodiment, the user associates, for example, three images with each type of feature amount, and designates them as the reference images A, B, and C in the image designation fields A, B, and C, respectively. Although not shown, a threshold value of similarity between the reference image and the search target image can be set for each folder from the classification condition setting window 360a. As will be described later, an image to be classified whose similarity with a reference image set in a folder exceeds a threshold is classified into that folder. Here, a threshold value is set for each folder, but one threshold value may be set for the entire folder.
[0348]
When the user selects the setting button 361, the U / I unit 151 sets the designated reference image and threshold value in the folder 352 as a classification condition. In the case where the feature amount is not extracted from the image set as the reference image, the feature extraction engine 152 may perform the process of extracting the feature amount when setting the classification condition in the folder. . Of course, a necessary feature amount may be extracted from each reference image when performing the process of classifying the images.
[0349]
The user creates folders (for example, folders 354 and 355 with respect to the folder 353) for further classifying the images classified into the created folder (for example, the folder 353) like the folders 354 to 357, Similarly, classification conditions can be set.
[0350]
In this way, a plurality of folders 352 to 358 as shown in FIG. 35 are set as classification items for classifying the images to be classified. The U / I unit 151 registers the created folder and the corresponding classification condition as folder information in the classification tree DB 302 together with information related to the hierarchical structure of the folder.
[0351]
As described in the first embodiment, it is possible not only to specify a plurality of reference images for each folder, but also to specify each inquiry image corresponding to each type of feature amount used when classifying the images. It is possible to express one virtual reference image that the user considers appropriate, and to accurately express the user's intention for classification as a classification reference. Therefore, it is possible to obtain an image of the classification result reflecting the user's intention by the classification process described later.
[0352]
(2) Image classification processing
FIG. 36 is a flowchart illustrating image classification processing according to the fourteenth embodiment. When the user instructs the start of the classification process, the matching engine 153 in FIG. 34 obtains the similarity between each reference image and the classification target image using the corresponding type of feature amount for each of the folders 352 to 358. Then, a process for obtaining the total similarity of the images to be classified by summing the obtained similarities is executed (S1401).
[0353]
The processing in step S1401 will be specifically described taking the folder 352 as an example. The matching engine 153 refers to the folder information in the classification tree DB 302 and uses the similarity between the reference image A (see the classification condition setting window 360a in FIG. 35) set in the folder 352 and the image to be classified as a color feature amount. Find using. That is, the matching engine 153 determines the distance between the classification target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the reference image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Similarly, the matching engine 153 obtains the distance between the image to be classified and the reference image B based on the feature amount of the structure, and calculates the distance between the image to be classified and the reference image C based on the feature amount of the texture. Ask.
[0354]
Thereafter, the matching engine 153 sums the distances between the images to be classified and the reference images A, B, and C, and sets the total distance as the total similarity (see Equation 1). The matching engine 153 obtains the total similarity for each of the folders 352 to 358 in this way.
[0355]
Subsequently, the matching engine 153 determines, for each of the folders 352 to 358, whether or not the total similarity of the classification target images obtained in step S1401 exceeds a threshold value (S1402). However, here, distance is used as the similarity, and the shorter the distance (the smaller the distance value), the higher the similarity. Therefore, is the total similarity actually less than or equal to the threshold (or less)? It will be determined whether or not.
[0356]
Then, the matching engine 153 classifies the images to be classified into folders whose total similarity of the images to be classified exceeds a threshold value (S1403). That is, when the total similarity of the images to be classified exceeds the threshold, the matching engine 153 determines the folder as a classification destination of the images to be classified, and folder information of the corresponding folder registered in the classification tree DB 302. The ID of the image to be classified (assumed to be set in advance) is registered in the classification tree DB 302 in association with.
[0357]
By executing the processes in steps S1401 to S1403 described above for each image registered in the image DB 108, the images in the image DB 108 can be classified. In addition, the matching engine 153 selects an image having the highest overall similarity (the lowest overall similarity in terms of distance) from among the images classified in the folders 352 to 358 as a representative image. It is registered in the classification tree DB 302 in association with the folder information. Note that the images to be classified may be classified into two or more folders according to the total similarity obtained for each folder.
[0358]
FIG. 37 is an explanatory diagram showing the state of the image classification window 350a after the images in the image DB 108 are classified into folders 352 to 358. In each of the folders 352 to 358, representative images selected by the matching engine 153 are displayed. When the user selects a specific folder, the images classified into the folder are displayed in a list on the right side of the image classification window 350a.
[0359]
As described above, according to the image classification device according to the fourteenth embodiment, the classification items are set, and each type used when obtaining the similarity between the reference image and the classification target image for each of the set classification items. For each feature item, one reference image is set, and for each classification item, the similarity between each set reference image and the classification target image is obtained using the corresponding type of feature amount, and the obtained similarity To determine the total similarity of the images to be classified, and based on the total similarity of the images to be classified obtained for each classification item and a preset classification destination determination criterion, By determining the classification item, the user's intention can be accurately expressed as a classification condition, so that the user's intention can be accurately transmitted to the device, and the user's intention for the classification can be reliably transmitted to the device. It is possible, it is possible to obtain a classification result that accurately reflects the intention of the user for the classification, it is possible to realize the classification process as the user desires.
[0360]
For example, even when an appropriate image does not exist as a reference image, an image having a color atmosphere similar to a desired image or an image having an object shape atmosphere similar to a desired image as a classification result is designated as the reference image. Can be used as one inquiry image.
[0361]
Here, three types of feature quantities of color, structure, and texture are used, but these are merely examples, and are not intended to limit the types of feature quantities.
[0362]
In addition, as shown in FIG. 37, the representative image is displayed for each folder, but instead of this, the folder name may be displayed or the reference image set for the folder may be displayed.
[0363]
Further, although detailed description is omitted, when a new image is registered in the image DB 108, the image in the image DB 108 can always be kept in a classified state by performing the classification process on the image. For example, if the U / I unit 151 monitors the state of the image DB 108, it is possible to keep the images in the image DB 108 always in a classified state without requiring human intervention.
[0364]
[Embodiment 15]
The image classification apparatus according to the fifteenth embodiment classifies images by applying the image search process described in the second embodiment. Note that in the image classification device according to the fifteenth embodiment, the same reference numerals are used for the configurations already described in the fourteenth embodiment, and detailed description thereof is omitted, and the operations of the image classification device are also common. The description will be omitted as appropriate.
[0365]
Hereinafter, the operation of the image classification device according to the fifteenth embodiment will be described.
(1) Classification item setting processing
(2) Image classification processing
This will be explained in the order.
[0366]
(1) Classification item setting processing
FIG. 38 is an explanatory diagram showing an example of an image classification window 350b for performing processing for setting image classification items and displaying images after classification. Here, it is assumed that the user has created the folder 352, and in order to set the classification condition in the folder 352, the classification condition setting window 360b as shown in FIG. 38 is displayed.
[0367]
The classification condition setting window 360b shown in FIG. 38 has substantially the same configuration as part of the search window 200b shown in FIG. 7, and the classification condition setting window 360b has the same search conditions as those described in the second embodiment. Classification conditions can be set by the method. The classification condition setting window 360b includes image designation fields A, B, and C for designating a plurality of reference images (corresponding to query images for image search) used as a reference for classifying images to be classified. For each reference image designated in the image designation field, a feature quantity designation button 362 for designating the type of feature quantity used when obtaining the similarity to the image to be classified, and setting of classification conditions for the corresponding folder A setting button 361 for designating.
[0368]
As described in the second embodiment, the user designates, for example, three images as the reference images A, B, and C in the image designation fields A, B, and C, respectively, for each reference image A, B, and C. Specifies the type of feature amount used when obtaining the similarity to the image to be classified. As an example, the classification condition setting window 360b shown in FIG. 38 can specify a desired feature amount from among color, structure, and texture.
[0369]
Although not shown, a threshold value of similarity between the reference image and the search target image can be set for each folder from the classification condition setting window 360b. As will be described later, an image to be classified whose similarity with a reference image set in a folder exceeds a threshold is classified into that folder. Here, a threshold value is set for each folder, but one threshold value may be set for the entire folder.
[0370]
When the user selects the setting button 361, the U / I unit 151 sets the designated reference image, the type of feature amount, and the threshold value in the folder 352 as the classification condition. In the case where the feature amount is not extracted from the image set as the reference image, the feature extraction engine 152 may perform the process of extracting the feature amount when setting the classification condition in the folder. . Of course, a necessary feature amount may be extracted from each reference image when performing the process of classifying the images.
[0371]
The user creates folders (for example, folders 354 and 355 with respect to the folder 353) for further classifying the images classified into the created folder (for example, the folder 353) like the folders 354 to 357, Similarly, classification conditions can be set.
[0372]
In this way, a plurality of folders 352 to 358 as shown in FIG. 38 are set as classification items for classifying the images to be classified. The U / I unit 151 registers the created folder and the corresponding classification condition as folder information in the classification tree DB 302 together with information related to the hierarchical structure of the folder.
[0373]
As described in the second embodiment, the user can specify not only a plurality of reference images for each folder but also a feature amount corresponding to the feature of the image that the user attaches importance to for each specified reference image. It is possible to express one virtual reference image that is considered appropriate, and to accurately express the user's intention for classification as a classification reference. Therefore, it is possible to obtain an image of the classification result reflecting the user's intention by the classification process described later.
[0374]
(2) Image classification processing
The image classification process according to the fifteenth embodiment will be described with reference to FIG. When the user instructs the start of the classification process, the matching engine 153 in FIG. 34 determines the similarity between each reference image and the classification target image for each of the folders 352 to 358 using the type of feature amount designated by the user. At the same time, a process of calculating the total similarity of the images to be classified is executed by summing the calculated similarities (S1401).
[0375]
The processing in step S1401 will be specifically described taking the folder 352 as an example. The matching engine 153 refers to the folder information in the classification tree DB 302 and uses the similarity between the reference image A (see the classification condition setting window 360b in FIG. 38) set in the folder 352 and the classification target image as a color feature amount. Find using. That is, the matching engine 153 determines the distance between the classification target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the reference image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Similarly, the matching engine 153 obtains the distance between the image to be classified and the reference image B based on the feature amount of the structure, and calculates the distance between the image to be classified and the reference image C based on the feature amount of the texture. Ask.
[0376]
Thereafter, the matching engine 153 sums the distances between the images to be classified and the reference images A, B, and C, and sets the total distance as the total similarity (see Expression 2). The matching engine 153 obtains the total similarity for each of the folders 352 to 358 in this way.
[0377]
Subsequently, the matching engine 153 determines, for each of the folders 352 to 358, whether or not the total similarity of the classification target images obtained in step S1401 exceeds a threshold value (S1402). However, here, distance is used as the similarity, and the shorter the distance (the smaller the distance value), the higher the similarity. Therefore, is the total similarity actually less than or equal to the threshold (or less)? It will be determined whether or not.
[0378]
Then, the matching engine 153 classifies the images to be classified into folders whose total similarity of the images to be classified exceeds a threshold value (S1403). That is, when the total similarity of the images to be classified exceeds the threshold, the matching engine 153 determines the folder as a classification destination of the images to be classified, and folder information of the corresponding folder registered in the classification tree DB 302. The ID of the image to be classified (assumed to be set in advance) is registered in the classification tree DB 302 in association with.
[0379]
By executing the processes in steps S1401 to S1403 described above for each image registered in the image DB 108, the images in the image DB 108 can be classified. In addition, the matching engine 153 selects an image having the highest overall similarity (the lowest overall similarity in terms of distance) from among the images classified in the folders 352 to 358 as a representative image. It is registered in the classification tree DB 302 in association with the folder information. Note that the images to be classified may be classified into two or more folders according to the total similarity obtained for each folder. When the image classification processing is executed, representative images are displayed in the folders 352 to 358 of the image classification window 350b of FIG. 38 as shown in FIG.
[0380]
Thus, according to the image classification device according to the fifteenth embodiment, a folder is set, a plurality of reference images are set for each set folder, and each set reference image is similar to an image to be classified. Set the type of feature value used when calculating the degree, calculate the similarity of each reference image and the image to be classified using the set type of feature value for each folder, and total the calculated similarity The user's intention is determined based on the classification condition by determining the folder that is the classification destination of the image to be classified based on the total similarity obtained for each folder and a preset classification destination determination criterion. Since the user's intention can be accurately transmitted to the device and the user's intention for the classification can be reliably transmitted to the device, the user's intention for the classification can be expressed. It is possible to obtain a classification result that accurately reflects the, it is possible to realize the classification process as the user desires.
[0381]
For example, even when an appropriate image does not exist as a reference image, an image having a color atmosphere similar to a desired image or an image having an object shape atmosphere similar to a desired image as a classification result is designated as the reference image. Can be used as one inquiry image.
[0382]
Here, three types of feature quantities of color, structure, and texture are used, but these are merely examples, and are not intended to limit the types of feature quantities.
[0383]
Further, although detailed description is omitted, when a new image is registered in the image DB 108, the image in the image DB 108 can always be kept in a classified state by performing the classification process on the image. For example, if the U / I unit 151 monitors the state of the image DB 108, it is possible to keep the images in the image DB 108 always in a classified state without requiring human intervention.
[0384]
[Embodiment 16]
The image classification apparatus according to the sixteenth embodiment can express the user's intention for classification more accurately by applying the image search process described in the third embodiment to the image classification apparatus according to the fifteenth embodiment. It is a thing. Note that in the sixteenth embodiment, the same reference numerals are used for the configurations already described in the fourteenth embodiment, and detailed descriptions thereof are omitted, and descriptions of points common to the operations of the image classification device are omitted as appropriate. .
[0385]
Hereinafter, the operation of the image classification apparatus according to the sixteenth embodiment will be described.
(1) Classification item setting processing
(2) Image classification processing
This will be explained in the order.
[0386]
(1) Classification item setting processing
FIG. 39 is an explanatory diagram showing an image classification window 350c used in the image classification device according to the sixteenth embodiment. Here, it is assumed that the user has created the folder 352, and in order to set the classification condition in the folder 352, the classification condition setting window 360c as shown in FIG. 39 is displayed.
[0387]
The classification condition setting window 360c shown in FIG. 39 is in addition to that shown in FIG. 38 (as shown in the search window 200c of the third embodiment), and each reference image designated in the image designation columns A, B, and C. An importance level designation bar 363 for designating a relative importance level is provided for each.
[0388]
As shown in FIG. 39, the user designates, for example, three images as reference images A, B, and C in the image designation fields A, B, and C, respectively, and classifies them for each designated reference image A, B, and C. Specifies the type of feature value used when obtaining the similarity to the image.
[0389]
Subsequently, as described in the importance level designation bar 204 of the third embodiment, the user designates the importance level for each reference image using the importance level designation bar 363. The importance level designation bar 363 is capable of designating the importance level of “+” and the importance level of “−” with “0” as the center for each reference image. Note that it is possible to designate not only both the “+” direction and the “−” direction but also the “+” direction or the “−” direction as the importance.
[0390]
As described above, when the user designates the importance level for each reference image, it is possible to accurately express the user's intention for the classification. That is, since the importance is reflected as a weighting on the similarity by the classification process described later, an image of the classification result reflecting the user's intention can be obtained.
[0390]
Further, when the user designates the threshold value of the folder 352 and selects the setting button 361, the U / I unit 151 sets the reference image, the type of feature amount, the importance level, and the threshold value in the folder 352 as classification conditions.
[0392]
By performing such processing for each folder, a plurality of folders 352 to 358 as shown in FIG. 39 are set as classification items for classifying the images to be classified. The folder information of the set folder is registered in the classification tree DB 302.
[0393]
(2) Image classification processing
FIG. 40 is a flowchart showing image classification processing according to the sixteenth embodiment. When the user instructs the start of the classification process, the matching engine 153 in FIG. 34 determines the similarity between each reference image and the classification target image for each of the folders 352 to 358 using the type of feature amount designated by the user. The obtained similarity is weighted according to the importance, and a process for obtaining the total similarity of the images to be classified is executed by summing up the similarities (S1601).
[0394]
The processing in step S1601 will be specifically described taking the folder 352 as an example. The matching engine 153 refers to the folder information in the classification tree DB 302 and uses the similarity between the reference image A (see the classification condition setting window 360c in FIG. 39) set in the folder 352 and the classification target image as a color feature amount. Use to find. That is, the matching engine 153 determines the distance between the classification target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the reference image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Subsequently, the matching engine 153 weights the obtained distance according to the importance of the reference image A designated by the user. Similarly, the matching engine 153 obtains the distance between the image to be classified and the reference image B based on the feature amount of the structure, weights the obtained distance according to the importance of the reference image B, and The distance between the image to be classified and the reference image C is obtained based on the texture feature amount, and the obtained distance is weighted according to the importance of the reference image C.
[0395]
Thereafter, the matching engine 153 sums the distances between the images to be classified and the reference images A, B, and C, and sets the total distance as the total similarity (see Expression 3). The matching engine 153 obtains the total similarity for each of the folders 352 to 358 in this way.
[0396]
Subsequently, the matching engine 153 determines, for each of the folders 352 to 358, whether or not the total similarity obtained in step S1601 exceeds a threshold value (S1602). However, here, distance is used as the similarity, and the shorter the distance (the smaller the distance value), the higher the similarity. Therefore, is the total similarity actually less than or equal to the threshold (or less)? It will be determined whether or not.
[0397]
Then, the matching engine 153 classifies the images to be classified into folders whose calculated overall similarity exceeds the threshold (S1603). That is, the matching engine 153 determines a folder whose total similarity obtained exceeds the threshold as a classification destination of the image to be classified, and associates the folder with the folder information of the corresponding folder registered in the classification tree DB 302 as a classification target. The image ID (assumed to be set in advance) is registered in the classification tree DB 302.
[0398]
By executing the processes in steps S1601 to S1603 described above for each image registered in the image DB 108, the images in the image DB 108 can be classified. In addition, the matching engine 153 selects an image having the highest overall similarity (the lowest overall similarity in terms of distance) from among the images classified in the folders 352 to 358 as a representative image. It is registered in the classification tree DB 302 in association with the folder information. When the image classification process is executed, representative images are displayed in the folders 352 to 358 of the image classification window 350c of FIG. 39 as shown in FIG.
[0399]
Thus, according to the image classification device according to the sixteenth embodiment, the degree of importance is set for each reference image so that the obtained similarity can be arbitrarily weighted according to the type of the reference image. It is possible to set the user's intention by calculating the similarity between each reference image and the image to be classified for each folder and weighting the obtained similarity according to the set importance. Can be accurately expressed as a classification condition, so it is possible to accurately convey the user's intention to the device, and the importance is reflected as a weighting to the similarity, so the image classification result that reflects the user's intention Can be obtained.
[0400]
Although not described in detail, the image classification apparatus described in the fourteenth embodiment also allows the importance to be specified for each inquiry image as described in the sixteenth embodiment. good.
[0401]
[Embodiment 17]
The image classification apparatus according to the seventeenth embodiment performs an image classification process applying the AND search described in the fourth embodiment as one technique for accurately expressing the user's intention as a classification condition. Note that in the image classification device according to the seventeenth embodiment, the same reference numerals are used for the configurations already described in the fourteenth embodiment, and detailed descriptions thereof are omitted, and the operations of the image classification device are also common. The description will be omitted as appropriate. In the image classification device according to the seventeenth embodiment, one feature amount is used when obtaining the similarity between images. Of course, a plurality of feature amounts may be used. .
[0402]
Hereinafter, the operation of the image classification device according to the seventeenth embodiment will be described.
(1) Classification item setting processing
(2) Image classification processing
This will be explained in the order.
[0403]
(1) Classification item setting processing
FIG. 41 is an explanatory diagram showing an image classification window 350d used in the image classification device according to the seventeenth embodiment. Here, it is assumed that the user has created the folder 352, and in order to set the classification condition in the folder 352, the classification condition setting window 360d as shown in FIG. 41 is displayed.
[0404]
A classification condition setting window 360d shown in FIG. 41 includes an AND designation button 364 for designating an AND condition and an OR designation button 365 for designating an OR condition in addition to the image designation fields A, B and C and the setting button 361. Is a point provided. The OR condition will be described in detail in a 21st embodiment to be described later.
[0405]
As shown in FIG. 41, the user designates, for example, three images as reference images A, B, and C in the image designation fields A, B, and C, respectively, selects an AND designation button 364, and designates an AND condition. . Further, when the user designates the threshold value of the folder 352 and designates the setting button 361, the U / I unit 151 sets the reference image, the designation of the AND condition, and the threshold value as the classification condition in the folder 352.
[0406]
By performing such processing for each folder, a plurality of folders 352 to 358 as shown in FIG. 41 are set as classification items for classifying the images to be classified. Note that the folder information of the set folder is registered in the classification tree DB 302.
[0407]
(2) Image classification processing
The image classification process according to the seventeenth embodiment will be described with reference to FIG. When the user instructs the start of the classification process, the matching engine 153 in FIG. 34 obtains the similarity between each reference image and the image to be classified using a predetermined feature amount for each of the folders 352 to 358, and the obtained similarity. Processing for obtaining the total similarity of the images to be classified by summing the degrees is executed (S1401).
[0408]
The processing in step S1401 will be specifically described taking the folder 352 as an example. The matching engine 153 refers to the folder information in the classification tree DB 302 and uses the similarity between the reference image A (see the classification condition setting window 360d in FIG. 41) set in the folder 352 and the image to be classified as a predetermined feature amount. Find using. That is, the matching engine 153 determines the distance between the image to be classified and the reference image A plotted in the feature amount space shown in FIG. 4 based on a predetermined feature amount, for example, a vector distance definition formula such as a Euclidean distance. Find using. Similarly, the matching engine 153 obtains the distance between the image to be classified and the reference image B based on a predetermined feature amount, and obtains the distance between the image to be classified and the reference image C.
[0409]
Thereafter, the matching engine 153 sums the distances between the images to be classified and the reference images A, B, and C, and sets the total distance as the total similarity (see Expression 4). In addition, when obtaining the similarity between each reference image and the classification target image using a plurality of types of feature amounts, the similarity (distance) between the classification target image and each reference image is obtained for each type of feature amount, For each image to be classified, all similarities with respect to each reference image may be summed to obtain an overall similarity. The matching engine 153 obtains the total similarity for each of the folders 352 to 358 in this way.
[0410]
Subsequently, the matching engine 153 determines, for each of the folders 352 to 358, whether or not the total similarity obtained in step S1401 exceeds a threshold value (S1402). However, here, distance is used as the similarity, and the shorter the distance (the smaller the value of the distance), the higher the similarity. Therefore, the total similarity is actually less than (or less than) the threshold. It will be determined whether or not.
[0411]
Then, the matching engine 153 classifies the images to be classified into folders whose calculated overall similarity exceeds the threshold (S1403). That is, the matching engine 153 determines a folder whose total similarity obtained exceeds the threshold as a classification destination of the image to be classified, and associates the folder with the folder information of the corresponding folder registered in the classification tree DB 302 as a classification target. The image ID (assumed to be set in advance) is registered in the classification tree DB 302.
[0412]
By executing the processes in steps S1401 to S1403 described above for each image registered in the image DB 108, the images in the image DB 108 can be classified. In addition, the matching engine 153 selects, as a representative image, a search target image having the highest overall similarity (the lowest overall similarity in terms of distance) from among the images classified in the folders 352 to 358. , It is registered in the classification tree DB 302 in association with the corresponding folder information. When the image classification process is executed, representative images are displayed in the folders 352 to 358 of the image classification window 350d in FIG. 41 as shown in FIG.
[0413]
Thus, according to the image classification device according to the seventeenth embodiment, a folder is set, a plurality of reference images are set for each set folder, and each set reference image and classification target image are set for each folder. The total similarity is obtained by summing the obtained similarities, and becomes a classification destination of the image to be classified based on the total similarity obtained for each folder and a preset classification destination determination criterion. In order to determine the folder, it is possible to perform image classification processing using AND search processing. Therefore, it is possible to provide an image classification device that can classify images by a new classification method.
[0414]
In the seventeenth embodiment, the type of feature quantity is not particularly shown, but any type of feature quantity such as color, structure, texture, etc. can be used alone or in combination.
[0415]
Further, although detailed description is omitted, when a new image is registered in the image DB 108, the image in the image DB 108 can always be kept in a classified state by performing the classification process on the image. For example, if the U / I unit 151 monitors the state of the image DB 108, it is possible to keep the images in the image DB 108 always in a classified state without requiring human intervention.
[0416]
[Embodiment 18]
The image classification apparatus according to the eighteenth embodiment can accurately express the user's intention for classification by applying the image search processing described in the fifth embodiment to the image classification apparatus according to the seventeenth embodiment. Is.
[0417]
The operation of the image classification device according to Embodiment 18 is as follows.
(1) Classification item setting processing
(2) Image classification processing
This will be explained in the order.
[0418]
(1) Classification item setting processing
FIG. 42 is an explanatory diagram showing an image classification window 350e used in the image classification device according to the eighteenth embodiment. Here, it is assumed that the user has created the folder 352, and in order to set the classification condition in the folder 352, the classification condition setting window 360e as shown in FIG. 42 is displayed.
[0419]
The classification condition setting window 360e shown in FIG. 42 designates the relative importance between the reference images designated in the image designation fields A, B and C in addition to the classification condition setting window 360d shown in FIG. An importance level designation bar 366 is provided.
[0420]
As shown in FIG. 42, the user designates, for example, three images as reference images A, B, and C in the image designation fields A, B, and C, respectively, and uses the importance degree designation bar 366 to reference image A, The importance is designated for each of B and C. As described with respect to the importance level designation bar 207 of the fifth embodiment, the importance level designation bar 366 indicates the importance level of “+” and the importance level of “−” with respect to “0” for each reference image. It is possible to specify. Note that it is possible to designate not only both the “+” direction and the “−” direction but also the “+” direction or the “−” direction as the importance.
[0421]
As described above, when the user designates the importance level for each reference image, it is possible to accurately express the user's intention for the classification. That is, since the importance is reflected as a weighting on the similarity by the classification process described later, an image of the classification result reflecting the user's intention can be obtained.
[0422]
Further, when the user selects the AND designation button 364 to designate the AND condition and designates the threshold value of the folder 352 and then designates the setting button 361, the U / I unit 151 causes the reference image, the importance, the AND condition to be specified. And a threshold value are set in the folder 352 as a classification condition.
[0423]
By performing such processing for each folder, a plurality of folders 352 to 358 as shown in FIG. 42 are set as classification items for classifying the images to be classified. Note that the folder information of each set folder is registered in the classification tree DB 302.
[0424]
(2) Image classification processing
The image classification process according to the eighteenth embodiment will be described with reference to FIG. When the user instructs the start of the classification process, the matching engine 153 in FIG. 34 obtains the similarity between each reference image and the image to be classified for each folder 352 to 358 using a predetermined feature amount. Each similarity is weighted according to the importance, and a process for obtaining the total similarity by adding the similarities is executed (S1601).
[0425]
The processing in step S1601 will be specifically described taking the folder 352 as an example. The matching engine 153 refers to the folder information in the classification tree DB 302 and uses the similarity between the reference image A (see the classification condition setting window 360e in FIG. 42) set in the folder 352 and the image to be classified as a predetermined feature amount. Find using. That is, the matching engine 153 determines the distance between the image to be classified and the reference image A plotted in the feature amount space shown in FIG. 4 based on a predetermined feature amount, for example, a vector distance definition formula such as a Euclidean distance. Find using. Subsequently, the matching engine 153 weights the obtained distance according to the importance of the reference image A designated by the user. Similarly, the matching engine 153 obtains the distance between the image to be classified and the reference image B based on a predetermined feature amount, weights the obtained distance according to the importance of the reference image B, The distance between the image to be classified and the reference image C is obtained based on a predetermined feature amount, and the obtained distance is weighted according to the importance of the reference image C.
[0426]
Thereafter, the matching engine 153 sums the distances between the images to be classified and the reference images A, B, and C, and sets the total distance as the total similarity (see Expression 5). The matching engine 153 obtains the total similarity for each of the folders 352 to 358 in this way.
[0427]
Subsequently, the matching engine 153 determines, for each of the folders 352 to 358, whether or not the total similarity obtained in step S1601 exceeds a threshold value (S1602). However, here, distance is used as the similarity, and the shorter the distance (the smaller the distance value), the higher the similarity. Therefore, is the total similarity actually less than or equal to the threshold (or less)? It will be determined whether or not.
[0428]
Then, the matching engine 153 classifies the images to be classified into folders whose calculated overall similarity exceeds the threshold (S1603). That is, the matching engine 153 determines a folder whose total similarity obtained exceeds the threshold as a classification destination of the image to be classified, and associates the folder with the folder information of the corresponding folder registered in the classification tree DB 302 as a classification target. The image ID (assumed to be set in advance) is registered in the classification tree DB 302.
[0429]
By executing the processes in steps S1601 to S1603 described above for each image registered in the image DB 108, the images in the image DB 108 can be classified. In addition, the matching engine 153 selects an image having the highest overall similarity (the lowest overall similarity in terms of distance) from among the images classified in the folders 352 to 358 as a representative image. It is registered in the classification tree DB 302 in association with the folder information. When the image classification processing is executed, representative images are displayed in the folders 352 to 358 of the image classification window 350e in FIG. 42 as shown in FIG.
[0430]
Thus, according to the image classification device according to the eighteenth embodiment, the degree of importance is set for each reference image so that the obtained similarity can be arbitrarily weighted according to the type of the reference image. It is possible to set the user's intention by calculating the similarity between each reference image and the image to be classified for each folder and weighting the obtained similarity according to the set importance. Can be accurately expressed as a classification condition, so it is possible to accurately convey the user's intention to the device, and the importance is reflected as a weighting to the similarity, so the image classification result that reflects the user's intention Can be obtained.
[0431]
[Embodiment 19]
The image classification apparatus according to the nineteenth embodiment can accurately express the user's intention for classification by applying the image search processing described in the sixth embodiment to the image classification apparatus according to the seventeenth embodiment. Is. In the image classification apparatus according to the nineteenth embodiment, for example, the classification process is performed using three types of feature amounts of color, structure, and texture.
[0432]
The operation of the image classification device according to Embodiment 19 is as follows.
(1) Classification item setting processing
(2) Image classification processing
This will be explained in the order.
[0433]
(1) Classification item setting processing
FIG. 43 is an explanatory diagram showing an image classification window 350f used in the image classification device according to the nineteenth embodiment. Here, it is assumed that the user has created the folder 352, and in order to set the classification condition in the folder 352, a classification condition setting window 360f as shown in FIG. 43 is displayed.
[0434]
The classification condition setting window 360f shown in FIG. 43 is similar to the classification target image for each reference image designated in the image designation fields A, B, and C in addition to the classification condition setting window 360d shown in FIG. An importance level designation bar 367 is provided for designating the importance level for each type of feature quantity used when determining the level.
[0435]
As shown in FIG. 43, the user designates, for example, three images as reference images A, B, and C in the image designation fields A, B, and C, respectively, and features for each designated reference image A, B, and C. Specify the importance for each type of quantity. As described in the sixth embodiment, the importance level designation bar 367 displays the importance level of “+” and the importance level of “−” with “0” as the center for each type of feature amount of each reference image. It is possible to specify. Note that it is possible to designate not only both the “+” direction and the “−” direction but also the “+” direction or the “−” direction as the importance.
[0436]
Thus, by specifying the importance for each type of feature amount for each reference image, it is possible to accurately represent the user's intention for the classification. That is, since the importance is reflected as a weighting on the similarity obtained for each type of feature amount by the classification process described later, an image of the classification result reflecting the user's intention can be obtained.
[0437]
Further, when the user selects the AND designation button 364 to designate an AND condition, designates the threshold value of the folder 352, and then selects the setting button 361, the U / I unit 151 causes the reference image, importance, AND The designation of the condition and the threshold are set in the folder 352 as the classification condition.
[0438]
By performing such processing for each folder, a plurality of folders 352 to 358 as shown in FIG. 43 are set as classification items for classifying the images to be classified. Note that the folder information of each set folder is registered in the classification tree DB 302.
[0439]
(2) Image classification processing
The image classification process according to Embodiment 19 will be described with reference to FIG. When the user designates the start of the classification process, the matching engine 153 in FIG. 34 obtains the similarity between each reference image and the image to be classified using three types of feature amounts for each of the folders 352 to 358. Weighting is performed on each similarity according to importance, and processing for obtaining the total similarity of the images to be classified is performed by summing up the similarities (S1601).
[0440]
The processing in step S1601 will be specifically described taking the folder 352 as an example. The matching engine 153 refers to the folder information in the classification tree DB 302 and uses the similarity between the reference image A (see the classification condition setting window 360f in FIG. 43) set in the folder 352 and the classification target image as a color feature amount. Use to find. That is, the matching engine 153 determines the distance between the classification target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the reference image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Subsequently, the matching engine 153 weights the obtained distance according to the importance of the feature amount of the color designated by the user for the reference image A. Further, the matching engine 153 obtains the distance between the image to be classified and the reference image A by using the structural feature amount and the texture feature amount, and the user calculates the distance from the reference image A for each of the obtained distances. Weighting is performed according to the importance of the feature amount of the specified structure and the importance of the feature amount of the texture.
[0441]
Similarly, the matching engine 153 obtains the distance between the image to be classified and the reference image B for each of the three types of feature amounts, and for each feature amount designated for the reference image B for each of the obtained distances. Weighting is performed according to the importance of. Further, the distance between the image to be classified and the reference image C is obtained for each of the three types of feature amounts, and the obtained distances are weighted according to the importance for each feature amount designated for the reference image C. I do.
[0442]
Thereafter, the matching engine 153 sums the distances between the images to be classified obtained for each of the three types of feature amounts and the reference images A, B, and C, and the total value of the distances is used as the total similarity (Equation 6 See). The matching engine 153 obtains the total similarity for each of the folders 352 to 358 in this way.
[0443]
Subsequently, the matching engine 153 determines, for each of the folders 352 to 358, whether or not the total similarity obtained in step S1601 exceeds a threshold value (S1602). However, here, distance is used as the similarity, and the shorter the distance (the smaller the distance value), the higher the similarity. Therefore, is the total similarity actually less than or equal to the threshold (or less)? It will be determined whether or not.
[0444]
Then, the matching engine 153 classifies the images to be classified into folders whose calculated overall similarity exceeds the threshold (S1603). That is, the matching engine 153 determines a folder whose total similarity obtained exceeds the threshold as a classification destination of the image to be classified, and associates the folder with the folder information of the corresponding folder registered in the classification tree DB 302 as a classification target. The image ID (assumed to be set in advance) is registered in the classification tree DB 302.
[0445]
By executing the processes in steps S1601 to S1603 described above for each image registered in the image DB 108, the images in the image DB 108 can be classified. In addition, the matching engine 153 selects an image having the highest overall similarity (the lowest overall similarity in terms of distance) from among the images classified in the folders 352 to 358 as a representative image. It is registered in the classification tree DB 302 in association with the folder information. When the image classification processing is executed, representative images are displayed in the folders 352 to 358 of the image classification window 350f of FIG. 43 as shown in FIG.
[0446]
As described above, according to the image classification device according to the nineteenth embodiment, when the similarity between the reference image and the search target image is obtained using a plurality of types of feature amounts, Importance for each type of feature can be set for each reference image so that arbitrary weighting can be performed according to the type of feature, and each type of feature for each folder The similarity of each reference image and classification target image is obtained for each type, and the user's intention is classified according to the set importance by weighting the similarity obtained for each type of feature amount. Therefore, it is possible to accurately convey the user's intention to the device, and since the importance is reflected as a weight for the similarity, the classification result of the image reflecting the user's intention is displayed. Rukoto is possible.
[0447]
Note that the types of feature quantities are not limited to the three types of color, structure, and texture, but may be any kind of combination of feature quantities.
[0448]
[Embodiment 20]
In the image classification device according to the twentieth embodiment, by applying the image search process described in the seventh embodiment to the image classification device according to the seventeenth embodiment, the device side can fetch the user's intention for the classification. It is a thing. Note that, for example, the image classification device according to the twentieth embodiment performs classification processing using three types of feature amounts of color, structure, and texture.
[0449]
In Embodiments 18 and 19 described above, the user needs to specify the importance of the reference image or the importance for each feature amount in each reference image. In the image classification device according to Embodiment 20, The similarity between the reference images designated for each folder by the user is obtained using the feature amount used when obtaining the similarity between the reference image and the classification target image, and based on the obtained similarity for each feature amount. The feature is that the importance for each feature amount between the reference images is determined on the device side and reflected as a weighting for the similarity.
[0450]
The operation of the image classification device according to Embodiment 20 is as follows.
(1) Classification item setting processing
(2) Image classification processing
This will be explained in the order.
[0451]
(1) Classification item setting processing
The classification item setting process will be described with reference to FIG. It is assumed that the user has created the folder 352, and in order to set the classification condition in the folder 352, a classification condition setting window 360d as shown in FIG. 41 is displayed.
[0452]
As shown in FIG. 41, the user designates, for example, three images as reference images A, B, and C in the image designation fields A, B, and C, respectively, selects an AND designation button 364, and designates an AND condition. . Further, when the user designates the threshold value of the folder 352 and selects the setting button 361, the feature extraction engine 152 causes the distance between the reference images A, B, and C for each of the three types of feature amounts of color, structure, and texture. (Similarity) is obtained, and the importance for each feature amount between the reference images A, B, and C is determined based on the obtained distance for each feature amount.
[0453]
Specifically, the feature extraction engine 152 obtains the distance between the features of the reference images for each of the three types of feature amounts. If the variance of the distance obtained for each feature amount is large, it means that the user is not aware of the feature amount. If the variance is small, the user attaches importance to the feature amount as a classification standard. It can be judged. Therefore, the importance is decreased when the feature amount has a large variance, and the importance is increased when the variance is small (see Equation 7).
[0454]
The feature extraction engine 152 inputs the importance for each of the three types of feature amounts to the U / I unit 151. The U / I unit 151 specifies the reference image, the importance determined by the feature extraction engine 152, and the AND condition. The threshold value is set in the folder 352 as the classification condition.
[0455]
By performing such processing for each folder, a plurality of folders 352 to 358 as shown in FIG. 41 are set as classification items for classifying the images to be classified. The folder information of the set folder is registered in the classification tree DB 302.
[0456]
(2) Image classification processing
Next, the image classification process of the twentieth embodiment will be described with reference to FIG. When the user designates the start of the classification process, the matching engine 153 in FIG. 34 obtains the similarity between each reference image and the image to be classified using three types of feature amounts for each of the folders 352 to 358. Weighting is performed on each similarity according to importance, and processing for obtaining the total similarity of the images to be classified is performed by summing up the similarities (S1601).
[0457]
The processing in step S1601 will be specifically described taking the folder 352 as an example. The matching engine 153 refers to the folder information in the classification tree DB 302 and uses the similarity between the reference image A (see the classification condition setting window 360d in FIG. 41) set in the folder 352 and the classification target image as a color feature amount. Find using. That is, the matching engine 153 determines the distance between the classification target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the reference image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Subsequently, the matching engine 153 performs weighting on the obtained distance according to the importance determined by the feature extraction engine 152 for the color feature amount. Further, the matching engine 153 obtains a distance using the structural feature quantity and the texture feature quantity for the classification target image and the reference image A, and for each of the obtained distances, the structure of the structure determined by the feature extraction engine 152 is obtained. Weighting is performed according to the importance of the feature quantity and the importance of the texture feature quantity.
[0458]
Similarly, the matching engine 153 obtains the distance between the image to be classified and the reference image B for each of the three types of feature amounts, and sets the importance determined for each type of feature amount for each of the obtained distances. Perform the corresponding weighting. Further, the distance between the image to be classified and the reference image C is determined for each of the three types of feature amounts, and the determined distances are weighted according to the importance determined for each type of feature amount.
[0459]
Thereafter, the matching engine 153 sums the distances between the images to be classified and the reference images A, B, and C obtained for each of the three types of feature amounts, and sets the total value of the distances as the overall similarity. The matching engine 153 obtains the total similarity for each of the folders 352 to 358 in this way.
[0460]
Subsequently, the matching engine 153 determines, for each of the folders 352 to 358, whether or not the total similarity obtained in step S1601 exceeds a threshold value (S1602). However, here, distance is used as the similarity, and the shorter the distance (the smaller the distance value), the higher the similarity. Therefore, is the total similarity actually less than or equal to the threshold (or less)? It will be determined whether or not.
[0461]
Then, the matching engine 153 classifies the images to be classified into folders whose calculated overall similarity exceeds the threshold (S1603). That is, the matching engine 153 determines a folder whose total similarity obtained exceeds the threshold as a classification destination of the image to be classified, and associates the folder with the folder information of the corresponding folder registered in the classification tree DB 302 as a classification target. The image ID (assumed to be set in advance) is registered in the classification tree DB 302.
[0462]
By executing the processes in steps S1601 to S1603 described above for each image registered in the image DB 108, the images in the image DB 108 can be classified. In addition, the matching engine 153 selects an image having the highest overall similarity (the lowest overall similarity in terms of distance) from among the images classified in the folders 352 to 358 as a representative image. It is registered in the classification tree DB 302 in association with the folder information. When the image classification process is executed, representative images are displayed in the folders 352 to 358 of the image classification window 350d in FIG. 41 as shown in FIG.
[0463]
Thus, according to the image classification device according to the twentieth embodiment, when the similarity between the reference image and the search target image is obtained using a plurality of types of feature amounts, the feature amount is compared with the obtained similarity degree. For each classification item, the similarity between each set reference image is obtained for each type of feature quantity, and the similarity obtained for each type of feature quantity so that arbitrary weighting can be performed according to the type. The degree of importance for each feature amount between each reference image is determined based on the degree, and for each classification item, the similarity between each reference image and the classification target image is obtained for each type of feature amount, and each type of feature is determined. The importance obtained by determining the importance of each type of feature between the reference images specified by the user on the device side by weighting the similarity obtained for each quantity according to the determined importance. To reflect the degree in the similarity between images You can return the result of classification suits image the user's intention to become. Therefore, the classification process as desired by the user can be realized, and the classification result desired by the user can be obtained.
[0464]
Note that the types of feature quantities are not limited to the three types of color, structure, and texture, but may be any kind of combination of feature quantities.
[0465]
[Embodiment 21]
The image classification apparatus according to the twenty-first embodiment performs an image classification process using the OR search described in the eighth embodiment as one method for accurately expressing the user's intention as a classification condition.
[0466]
In the image classification processing by the image classification device according to the twenty-first embodiment, the OR designation button 365 is selected instead of the AND designation button 364 in the classification condition setting window 360d of FIG. 41 used for the description in the seventeenth embodiment. If executed. In view of “(1) classification item setting process” in the seventeenth embodiment, assuming that the OR designation button 365 is selected, the image classification process based on the OR condition will be described below.
[0467]
It is assumed that reference images A, B, and C, and threshold values are set as classification conditions in the folder 352 shown in FIG. 41 together with the designation of the OR condition, as in the case of the seventeenth embodiment.
[0468]
FIG. 44 is a flowchart showing image classification processing according to the twenty-first embodiment. When the user instructs the start of the classification process, the matching engine 153 in FIG. 34 obtains the similarity between each reference image and the image to be classified for each folder 352 to 358 by using a predetermined feature amount. A process of selecting the similarity indicating the highest similarity from the similarities and obtaining the total similarity of the images to be classified is executed (S2101).
[0469]
The processing in step S2101 will be specifically described taking the folder 352 as an example. The matching engine 153 refers to the folder information in the classification tree DB 302 and uses the similarity between the reference image A (see the classification condition setting window 360d in FIG. 41) set in the folder 352 and the image to be classified as a predetermined feature amount. Find using. That is, the matching engine 153 determines the distance between the image to be classified and the reference image A plotted in the feature amount space shown in FIG. 4 based on a predetermined feature amount, for example, a vector distance definition formula such as a Euclidean distance. Find using. Similarly, the matching engine 153 obtains the distance between the image to be classified and the reference image B based on a predetermined feature amount, and obtains the distance between the image to be classified and the reference image C.
[0470]
Thereafter, the matching engine 153 selects the shortest distance from the distances between the images to be classified and the reference images A, B, and C to obtain the overall similarity (see Expression 8). In this way, the matching engine 153 selects the similarity indicating the highest similarity for each of the folders 352 to 358 and obtains the total similarity.
[0471]
Subsequently, the matching engine 153 determines whether the similarity selected in step S2101 exceeds the threshold for each of the folders 352 to 358 (S2102). However, here, distance is used as the similarity, and the shorter the distance (the smaller the distance value), the higher the similarity. Therefore, is the total similarity actually less than or equal to the threshold (or less)? It will be determined whether or not.
[0472]
Then, the matching engine 153 classifies the images to be classified into folders whose selected similarity exceeds the threshold (S2103). That is, the matching engine 153 determines the folder whose selected similarity exceeds the threshold as the classification destination of the image to be classified, and associates it with the folder information of the corresponding folder registered in the classification tree DB 302 to classify the image. Are registered in the classification tree DB 302.
[0473]
By executing the processes in steps S2101 to S2103 described above for each image registered in the image DB 108, the images in the image DB 108 can be classified. In addition, the matching engine 153 has the highest similarity (the similarity selected in step S2101 from among the images classified in each of the folders 352 to 358, and the lowest similarity expressed in terms of distance). ) Are selected as representative images and registered in the classification tree DB 302 in association with the corresponding folder information. When the image classification process is executed, representative images are displayed in the folders 352 to 358 of the image classification window 350d in FIG. 41 as shown in FIG.
[0474]
In the image classification process according to the twenty-first embodiment, if the image to be classified is similar to a reference image set in a certain folder so that a similarity equal to or higher than a threshold is obtained, the folder It will be classified into. Therefore, it can be seen that the OR search is applied to the image classification process of the twenty-first embodiment.
[0475]
Thus, according to the image classification device according to the twenty-first embodiment, a folder is set, a plurality of reference images are set for each set folder, and each set reference image and classification target image are set for each folder. And selecting the similarity showing the highest similarity from the obtained similarities, and selecting the image to be classified based on the similarity selected for each folder and a preset classification destination determination criterion Therefore, it is possible to perform image classification processing using OR search processing. Therefore, it is possible to provide an image classification device that can classify images by a new classification method.
[0476]
Although a detailed description is omitted, when a new image is registered in the image DB 108, the image in the image DB 108 can always be kept in a classified state by performing a classification process on the image. For example, if the U / I unit 151 monitors the state of the image DB 108, it is possible to keep the images in the image DB 108 always in a classified state without requiring human intervention.
[0477]
[Embodiment 22]
The image classification apparatus according to the twenty-second embodiment can accurately represent the user's intention for classification by applying the image search processing described in the ninth embodiment to the image classification apparatus according to the twenty-first embodiment. Is.
[0478]
In the image classification processing by the image classification apparatus according to the twenty-second embodiment, the OR designation button 365 is selected instead of the AND designation button 364 in the classification condition setting window 360e of FIG. 42 used for the explanation in the eighteenth embodiment. If executed. Thus, in the description of “(1) Classification item setting process” in the eighteenth embodiment, assuming that the OR designation button 365 is selected, the image classification process based on the OR condition will be described below.
[0479]
In addition to the designation of the OR condition, in the folder 352 shown in FIG. 42, as in the case of the eighteenth embodiment, the reference images A, B and C, the importance level and threshold value of each reference image are set as the classification conditions. Shall.
[0480]
FIG. 45 is a flowchart showing image classification processing according to the twenty-second embodiment. When the user instructs the start of the classification process, the matching engine 153 in FIG. 34 obtains the similarity between each reference image and the image to be classified for each folder 352 to 358 using a predetermined feature amount. Weighting is performed on each similarity according to the importance, and processing for obtaining the overall similarity of the images to be classified is executed by selecting the similarity indicating the highest similarity among the similarities (S2201). .
[0481]
The processing in step S2201 will be specifically described taking the folder 352 as an example. The matching engine 153 refers to the folder information in the classification tree DB 302 and uses the similarity between the reference image A (see the classification condition setting window 360e in FIG. 42) set in the folder 352 and the image to be classified as a predetermined feature amount. Find using. That is, the matching engine 153 determines the distance between the image to be classified and the reference image A plotted in the feature amount space shown in FIG. 4 based on a predetermined feature amount, for example, a vector distance definition formula such as a Euclidean distance. Find using. Subsequently, the matching engine 153 weights the obtained distance according to the importance of the reference image A designated by the user. Similarly, the matching engine 153 obtains the distance between the image to be classified and the reference image B based on a predetermined feature amount, weights the obtained distance according to the importance of the reference image B, The distance between the image to be classified and the reference image C is obtained based on a predetermined feature amount, and the obtained distance is weighted according to the importance of the reference image C.
[0482]
Thereafter, the matching engine 153 selects the shortest distance from the distances between the images to be classified and the reference images A, B, and C to obtain the overall similarity (see Expression 9). The matching engine 153 obtains the total similarity for each of the folders 352 to 358 in this way.
[0483]
Subsequently, the matching engine 153 determines, for each of the folders 352 to 358, whether or not the total similarity calculated in step S2201 exceeds a threshold value (S2202). However, here, distance is used as the similarity, and the shorter the distance (the smaller the distance value), the higher the similarity. Therefore, is the total similarity actually less than or equal to the threshold (or less)? It will be determined whether or not.
[0484]
Then, the matching engine 153 classifies the images to be classified into folders whose calculated overall similarity exceeds the threshold (S2203). That is, the matching engine 153 determines a folder whose total similarity obtained exceeds the threshold as a classification destination of the image to be classified, and associates the folder with the folder information of the corresponding folder registered in the classification tree DB 302 as a classification target. The image ID (assumed to be set in advance) is registered in the classification tree DB 302.
[0485]
By executing the processes in steps S2201 to S2203 described above for each image registered in the image DB 108, the images in the image DB 108 can be classified. In addition, the matching engine 153 selects an image having the highest overall similarity (the lowest overall similarity in terms of distance) from the images classified in the folders 352 to 358 as a representative image, The information is registered in the classification tree DB 302 in association with the corresponding folder information. When the image classification processing is executed, representative images are displayed in the folders 352 to 358 of the image classification window 350e in FIG. 42 as shown in FIG.
[0486]
As described above, according to the image classification device according to the twenty-second embodiment, the importance is set for each reference image so that the obtained similarity can be arbitrarily weighted according to the type of the reference image. It is possible to set the user's intention by calculating the similarity between each reference image and the image to be classified for each folder and weighting the obtained similarity according to the set importance. Can be accurately expressed as a classification condition, so it is possible to accurately convey the user's intention to the device, and the importance is reflected as a weighting to the similarity, so the image classification result that reflects the user's intention Can be obtained.
[0487]
[Embodiment 23]
The image classification device according to the twenty-third embodiment can accurately express the user's intention for classification by applying the image search processing described in the tenth embodiment to the image classification device of the twenty-first embodiment. Is.
[0488]
In the image classification processing by the image classification device according to the twenty-third embodiment, the OR designation button 365 is selected instead of the AND designation button 364 in the classification condition setting window 360f of FIG. 43 used for the explanation in the nineteenth embodiment. If executed. In view of “(1) classification item setting process” in the nineteenth embodiment, assuming that the OR designation button 365 is selected, an image classification process based on an OR condition will be described below.
[0489]
In addition to the specification of the OR condition, in the folder 352 shown in FIG. 43, as in the case of the nineteenth embodiment, the reference images A, B and C, the importance specified for each type of feature amount for each reference image In addition, it is assumed that a threshold is set as a classification condition.
[0490]
Next, an image classification process according to Embodiment 23 will be described with reference to FIG. When the user designates the start of the image classification process, the matching engine 153 in FIG. 34 obtains the similarity between each reference image and the image to be classified by using three types of feature amounts for each of the folders 352 to 358. Then, weighting is performed on each similarity according to the importance, and the processing for obtaining the total similarity of the images to be classified by selecting the similarity that shows the highest similarity from the similarities is executed (S2201). ).
[0491]
The processing in step S2201 will be specifically described taking the folder 352 as an example. The matching engine 153 refers to the folder information in the classification tree DB 302 and uses the similarity between the reference image A (see the classification condition setting window 360f in FIG. 43) set in the folder 352 and the classification target image as a color feature amount. Use to find. That is, the matching engine 153 determines the distance between the classification target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the reference image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Subsequently, the matching engine 153 weights the obtained distance according to the importance of the feature amount of the color designated by the user for the reference image A. Further, the matching engine 153 obtains the distance between the image to be classified and the reference image A using the structural feature amount and the texture feature amount, and the user designates the reference image A for each of the obtained distances. Weighting is performed according to the importance of the feature amount of the structure and the importance of the feature amount of the texture.
[0492]
Similarly, the matching engine 153 obtains the distance between the image to be classified and the reference image B for each of the three types of feature amounts, and for each feature amount designated for the reference image B for each of the obtained distances. Weighting is performed according to the importance of. Further, the distance between the image to be classified and the reference image C is obtained for each of the three types of feature amounts, and the obtained distances are weighted according to the importance for each feature amount designated for the reference image C. I do.
[0493]
Thereafter, the matching engine 153 selects the shortest distance from the distances between the images to be classified obtained for each of the three types of feature amounts and the reference images A, B, and C to obtain the total similarity (several 10). The matching engine 153 obtains the total similarity for each of the folders 352 to 358 in this way.
[0494]
Subsequently, the matching engine 153 refers to the classification tree DB 302 and determines whether or not the total similarity obtained in step S2201 exceeds the threshold for each of the folders 352 to 358 (S2202). However, here, distance is used as the similarity, and the shorter the distance (the smaller the distance value), the higher the similarity. Therefore, is the total similarity actually less than or equal to the threshold (or less)? It will be determined whether or not.
[0495]
Then, the matching engine 153 classifies the images to be classified into folders whose calculated overall similarity exceeds the threshold (S2203). That is, the matching engine 153 determines a folder whose total similarity obtained exceeds the threshold as a classification destination of the image to be classified, and associates the folder with the folder information of the corresponding folder registered in the classification tree DB 302 as a classification target. The image ID (assumed to be set in advance) is registered in the classification tree DB 302.
[0496]
By executing the processes in steps S2201 to S2203 described above for each image registered in the image DB 108, the images in the image DB 108 can be classified. In addition, the matching engine 153 selects an image having the highest overall similarity (the lowest overall similarity in terms of distance) from the images classified in the folders 352 to 358 as a representative image, The information is registered in the classification tree DB 302 in association with the corresponding folder information. When the image classification processing is executed, representative images are displayed in the folders 352 to 358 of the image classification window 350f of FIG. 43 as shown in FIG.
[0497]
Thus, according to the image classification device according to the twenty-third embodiment, when the similarity between the reference image and the search target image is obtained using a plurality of types of feature amounts, the reference image and Importance for each type of feature can be set for each reference image so that arbitrary weighting can be performed according to the type of feature, and each type of feature for each folder The similarity of each reference image and classification target image is obtained for each type, and the user's intention is classified according to the set importance by weighting the similarity obtained for each type of feature amount. Therefore, it is possible to accurately convey the user's intention to the device, and since the importance is reflected as a weight for the similarity, the classification result of the image reflecting the user's intention is displayed. Rukoto is possible.
[0498]
[Embodiment 24]
In the image classification device according to the twenty-fourth embodiment, by applying the image search process described in the eleventh embodiment to the image classification device according to the twenty-first embodiment, the device side can fetch the user's intention for the classification. It is a thing.
[0499]
In the image classification processing by the image classification device according to the twenty-fourth embodiment, the OR designation button 365 is selected instead of the AND designation button 364 in the classification condition setting window 360d of FIG. 41 used in the description of the twentieth embodiment. If executed. Thus, in the description of “(1) classification item setting process” in the twentieth embodiment, it is assumed that the OR designation button 365 is selected, and the image classification process based on the OR condition will be described below.
[0500]
In addition to the designation of the OR condition, the folder 352 shown in FIG. 41 contains the important images determined by the feature extraction engine 152 for each type of the reference images A, B, and C and the feature amount as in the case of the twentieth embodiment. It is assumed that the degree and the threshold are set as classification conditions.
[0501]
Next, the image classification process according to the twenty-fourth embodiment will be described with reference to FIG. When the user designates the start of the image classification process, the matching engine 153 in FIG. 34 obtains the similarity between each reference image and the image to be classified by using three types of feature amounts for each of the folders 352 to 358. Then, weighting is performed on each similarity according to the importance, and the processing for obtaining the total similarity of the images to be classified by selecting the similarity that shows the highest similarity from the similarities is executed (S2201). ).
[0502]
The processing in step S2201 will be specifically described taking the folder 352 as an example. The matching engine 153 refers to the folder information in the classification tree DB 302 and uses the similarity between the reference image A (see the classification condition setting window 360d in FIG. 41) set in the folder 352 and the classification target image as a color feature amount. Find using. That is, the matching engine 153 determines the distance between the classification target image plotted in the feature amount space shown in FIG. 4 based on the color feature amount and the reference image A, for example, a vector distance definition formula such as a Euclidean distance. Use to find. Subsequently, the matching engine 153 performs weighting on the obtained distance according to the importance determined by the feature extraction engine 152 for the color feature amount. Further, the matching engine 153 obtains a distance using the structural feature quantity and the texture feature quantity for the classification target image and the reference image A, and for each of the obtained distances, the structure of the structure determined by the feature extraction engine 152 is obtained. Weighting is performed according to the importance of the feature quantity and the importance of the texture feature quantity.
[0503]
Similarly, the matching engine 153 obtains the distance between the image to be classified and the reference image B for each of the three types of feature amounts, and sets the importance determined for each type of feature amount for each of the obtained distances. Perform the corresponding weighting. Further, the distance between the image to be classified and the reference image C is determined for each of the three types of feature amounts, and the determined distances are weighted according to the importance determined for each type of feature amount.
[0504]
Thereafter, the matching engine 153 selects the shortest distance from the distances between the images to be classified obtained for each of the three types of feature amounts and the reference images A, B, and C to obtain the overall similarity. The matching engine 153 obtains the total similarity for each of the folders 352 to 358 in this way.
[0505]
Subsequently, the matching engine 153 refers to the classification tree DB 302 and determines whether or not the total similarity obtained in step S2201 exceeds the threshold for each of the folders 352 to 358 (S2202). However, here, distance is used as the similarity, and the shorter the distance (the smaller the distance value), the higher the similarity. Therefore, is the total similarity actually less than or equal to the threshold (or less)? It will be determined whether or not.
[0506]
Then, the matching engine 153 classifies the images to be classified into folders whose calculated overall similarity exceeds the threshold (S2203). That is, the matching engine 153 determines a folder whose total similarity obtained exceeds the threshold as a classification destination of the image to be classified, and associates the folder with the folder information of the corresponding folder registered in the classification tree DB 302 as a classification target. The image ID (assumed to be set in advance) is registered in the classification tree DB 302.
[0507]
By executing the processes in steps S2201 to S2203 described above for each image registered in the image DB 108, the images in the image DB 108 can be classified. In addition, the matching engine 153 selects an image having the highest overall similarity (the lowest overall similarity in terms of distance) from the images classified in the folders 352 to 358 as a representative image, The information is registered in the classification tree DB 302 in association with the corresponding folder information. When the image classification process is executed, representative images are displayed in the folders 352 to 358 of the image classification window 350d in FIG. 41 as shown in FIG.
[0508]
As described above, according to the image classification device according to the twenty-fourth embodiment, when the similarity between the reference image and the search target image is obtained using a plurality of types of feature amounts, the feature amount is compared with the obtained similarity degree. For each classification item, the similarity between each set reference image is obtained for each type of feature quantity, and the similarity obtained for each type of feature quantity so that arbitrary weighting can be performed according to the type. The degree of importance for each feature amount between each reference image is determined based on the degree, and for each classification item, the similarity between each reference image and the classification target image is obtained for each type of feature amount, and each type of feature is determined. The importance obtained by determining the importance of each type of feature between the reference images specified by the user on the device side by weighting the similarity obtained for each quantity according to the determined importance. To reflect the degree in the similarity between images User can be realized from the image classification processing as desired, it is possible to obtain a classification result of the image desired by the user.
[0509]
[Embodiment 25]
Next, an image classification apparatus according to Embodiment 25 will be described. The image classification apparatus according to the twenty-fifth embodiment is configured to dynamically classify an image based on a criterion desired by a user and to search for a desired image.
[0510]
Note that the configuration of the image classification apparatus and the configuration of the image classification software according to the twenty-fifth embodiment are as shown in FIGS. 33 and 34, so the description thereof will be omitted here, and only the image classification processing will be described. To do. Here, the images to be classified are images registered in the image DB 108, and color, structure, and texture feature amounts are extracted from these images and registered in the image feature DB 109. And
[0511]
46 to 48 are explanatory diagrams of image classification processing in the twenty-fifth embodiment. When the user selects “image classification processing” from a menu (not shown), the U / I unit 151 in FIG. 34 displays an image classification window 400 shown in FIG. 46 on the screen.
[0512]
The image classification window 400 shown in FIG. 46 is used when the classification items 401 for all the images in the image DB 108 and the images registered in the image DB 108 are dynamically classified as an initial state. Classification items 402a, 403a, and 404a representing types of feature quantities to be displayed are shown. When the user selects any of the classification items 402a, 403a, and 404a, the images in the image DB 108 are dynamically classified.
[0513]
Here, the classification item 402a is an item used when classifying an image using color feature amounts, and the classification item 403a is an item used when classifying an image using structural feature amounts. The classification item 404a is an item for classifying an image using a texture feature amount.
[0514]
In FIG. 46, if the user designates the classification item 402a, the U / I unit 151 notifies the matching engine 153 that the color feature amount is designated. The matching engine 153 clusters images in the image DB 108 in a color feature space (see FIG. 4) using a general clustering method such as the Nearest Neighbor method or the K-average algorithm (to group similar images). And a representative image is selected from each cluster. For the representative image, any selection method may be used as long as the representative images are not similar to each other, for example, the center image of the cluster is selected as the representative image.
[0515]
Then, the U / I unit 151 receives the result of clustering from the matching engine 153, and displays representative images 405 to 408 in association with the classification item 402a selected by the user, as shown in FIG. In FIG. 47, since four representative images are displayed, it is shown that the images in the image DB 108 are classified into four clusters by the color feature amount. That is, in the twenty-fifth embodiment, a cluster generated by designating the type of feature amount is a substantial classification item. The user can display and view images belonging to each cluster other than the representative image as necessary.
[0516]
FIG. 48 shows the result of further clustering and classifying the clusters of the representative image 407 in the color feature space. In this way, the user can reach the target image by designating the type of feature value step by step.
[0517]
Although detailed descriptions of feature quantities other than colors are omitted, clustering is similarly performed in the feature space to classify images even when structure or texture feature quantities are selected. become.
[0518]
As described above, according to the image classification device according to the twenty-fifth embodiment, when the type of feature amount is designated, the similarity between the images to be classified is obtained by using the feature amount of the designated type. Based on the similarity between the images to be classified, the images to be classified are classified into groups of similar images, and representative images representing the groups are selected from the classified groups and displayed on the screen. Further, when one of the displayed representative images is specified and the type of feature amount is specified, the images classified into the group to which the representative image belongs are similar using the specified type of feature amount. The images are classified into groups of images to be classified, and representative images representing the groups are selected from the classified groups and displayed on the screen, so that the images are dynamically classified according to the criteria desired by the user when the images are to be classified. Since it is possible gradually, using the classification of the image it is possible to find a desired image. Therefore, it is possible to provide an image classification device that can classify images by a new classification method.
[0519]
Further, the type of feature quantity is displayed on the screen as classification items 402, 403, and 404, and a representative image of each classified group is displayed on the screen in association with the designated classification item, thereby displaying an image as shown in FIG. Since the result of classifying the images in the DB 108 can be displayed on the screen in a tree structure, the user can recognize the state of the image classification processing at a glance, and the convenience of the dynamic image classification processing can be improved.
[0520]
Note that the result of classifying the image by the image classification process of the twenty-fifth embodiment can be reused by registering the result in the classification tree DB 302 as a classification history, for example.
[0521]
Further, the images to be classified are not limited to the images in the image DB 108, and for example, a plurality of images obtained as a result of retrieval by the image retrieval apparatus according to the first to thirteenth embodiments can be used as the images to be classified.
[0522]
[Embodiment 26]
Next, an image classification apparatus according to Embodiment 26 will be described. The image classification device according to the twenty-sixth embodiment is obtained by integrating a part or all of the image classification devices described in the fourteenth to twenty-fifth embodiments as one image classification device. That is, as is apparent from the descriptions in the fourteenth to twenty-fifth embodiments, these devices can be realized with a common configuration as shown in FIGS. 33 and 34, and can be easily integrated.
[0523]
By integrating the image classification apparatuses described in the fourteenth to twenty-fifth embodiments into one, classification conditions can be set by different methods for each folder. For example, in FIG. 35, the folder 352 has the classification conditions described in the fourteenth embodiment, the folder 353 has the classification conditions described in the seventeenth embodiment, and the folder 358 has the classification conditions described in the twenty-first embodiment. Each can be set.
[0524]
Note that the classification condition setting process and the image classification process are the same as those described in each embodiment, and thus the description thereof is omitted here.
[0525]
Thus, by integrating the image classification apparatuses described in Embodiments 14 to 25 into one, classification conditions can be set from various viewpoints, and the degree of freedom regarding the setting of classification conditions can be increased. .
[0526]
For the same reason as in the case of the image classification device, the image search devices described in the first to thirteenth embodiments can be integrated as one device. This makes it possible to search for a desired image by combining different search methods.
[0527]
[Embodiment 27]
Furthermore, part or all of the image search device and the image classification device described in Embodiments 1 to 25 can be integrated as one device (the image search process is performed in the matching engine 153 of the image search device or the image classification device). And image classification processing). That is, in the image search process and the image classification process described in the embodiment of the present invention, the similarity between images is obtained using the feature amount extracted from the image by the matching engine 153 shown in FIGS. Therefore, the image search device and the image classification device described in Embodiments 1 to 25 can be easily integrated into one device.
[0528]
Although detailed description is omitted, the following processing can be performed by integrating the image search device and the image classification device described in Embodiments 1 to 25 into one device.
[0529]
(1) In the first to thirteenth embodiments, an image selected from images classified into each folder (classification item) by any one of the image classification processes described in the fourteenth to twenty-fifth embodiments is designated as an inquiry image. An image search can be performed by any of the described image search processes.
(2) Any of the image classification processes described in the fourteenth to twenty-fifth (or twenty-sixth) embodiments, with the search result image retrieved in any one of the image retrieval processes described in the first to thirteenth embodiments as a classification target. It can be classified by.
(3) One of the images described in the first to thirteenth embodiments, with a plurality of images classified into a specific folder (category item) in any one of the image classification processes described in the fourteenth to twenty-fifth embodiments as search targets. A desired image can be searched by image search processing.
[0530]
As described above, by integrating a part or all of the image search apparatus and the image classification apparatus described in Embodiments 1 to 25 into one apparatus, it is possible to freely execute the image search process and the image classification process. It becomes.
[0531]
As described above, the image processing apparatus and the image classification apparatus according to the present invention are realized by executing a program prepared in advance by a computer according to a procedure based on each flowchart. This program can be provided for each of the embodiments described above or in any combination.
[0532]
This program is provided by being recorded on a computer-readable recording medium such as a hard disk, floppy disk, CD-ROM, MO, DVD or the like. As shown in FIG. 49A, the program is read from the recording medium 450 by the CPU 101 (computer 100), and the CPU 101 executes processing based on the program, whereby the image search apparatus according to the present invention and / or An image classification device is realized.
[0533]
Further, as shown in FIG. 49B, this program can also be executed in the form of downloading from the recording medium of the server 451 via a network such as the Internet or a LAN and reading it into the CPU 101. Further, the program can be downloaded and executed not by the network but also by, for example, distributing the program by broadcast waves.
[0534]
Although not particularly mentioned in the above-described embodiments, the image search device and the image classification device of the present invention can be applied not only to still images but also to moving images. This is because a moving image consists of continuous still images.
[0535]
In addition, it can be said that the image search processing described in the first to third embodiments uses the same technique as the AND search described in the fourth to seventh embodiments. Since the described OR search can be applied, the AND condition and the OR condition may be specified in the search windows 200a, 200b, and 200c (FIGS. 5, 7, and 9). Similarly, in the image classification apparatuses described in the fourteenth to sixteenth embodiments, an AND condition and an OR condition may be designated as one of the classification conditions.
[0536]
Also, the image search device described in the fourth to seventh embodiments, the image search device described in the eighth to eleventh embodiments, the image classification device described in the seventeenth to twenty-first embodiments, and the embodiments 21 to 24 described. In the image classification apparatus described above, an AND condition or an OR condition is designated, but the designation of the AND condition or the OR condition is not essential. In other words, the apparatus can be configured to execute the processing described in each embodiment without specifying an AND condition or an OR condition.
[0537]
Although detailed description is omitted, in the image classification apparatus described in the fourteenth to twenty-fourth embodiments, for example, when the process of classifying images into the folder 354 shown in FIG. After being classified. This is because the folder 354 is for further classifying the images classified in the folder 353. In addition, it is possible to freely perform processing such as addition / deletion of folders for classifying images and change of classification conditions set in the folders.
[0538]
Further, although detailed description is omitted, for example, in a client / server system, the server is provided with the function of the image search device or image classification device described in each embodiment, and the search condition is designated from the client. Obviously, it is possible to display classified images on the client screen.
[0539]
  (1) As described above, according to the image search device of the above embodiment,Specify one query image for each type of feature quantity used to determine the similarity between the query image and the search target image, and the similarity to each specified query image for each search target image Based on the total similarity obtained for each image to be searched, by calculating the total similarity of the images to be searched by adding the similarities to the obtained query images. By outputting the search results, the user's intention can be accurately expressed as a search condition, so that the user's intention can be accurately transmitted to the device and the user's intention for the search can be reliably transmitted to the device. Therefore, it is possible to obtain a search result that accurately reflects the user's intention for the search, and to perform an image search process with high accuracy as desired by the user. Specifically, for example, even when an appropriate image does not exist as an inquiry image, an image having a color atmosphere similar to the desired image or an image having an object shape atmosphere is specified as an inquiry image as a search result. A combination of these images can be used as one query.
[0540]
  (2) Moreover, according to the image search apparatus of the said embodiment,In addition to specifying multiple query images, specify the type of feature amount used to determine the similarity to the search target image for each specified query image, and specify the type of feature specified for each search target image The similarity between each query image is calculated using the amount, and the total similarity between each query image obtained is obtained to obtain the total similarity of the search target images. The total similarity calculated for each search target image By outputting the search results based on the user's intention, the user's intention can be accurately expressed as a search condition, so that the user's intention can be accurately transmitted to the device and the user's intention for the search can be reliably transmitted to the device. Therefore, it is possible to obtain a search result that accurately reflects the user's intention for the search, and to perform an image search process with high accuracy as desired by the user. Specifically, for example, even when an appropriate image does not exist as an inquiry image, an image having a color atmosphere similar to the desired image or an image having an object shape atmosphere is specified as an inquiry image as a search result. A combination of these images can be used as one query.
[0541]
  (3) Moreover, according to the image search apparatus of the said embodiment,Multiple query images are specified, and for each search target image, the degree of similarity with each specified query image is obtained, and the similarity with each obtained query image is totaled to obtain the total similarity of the search target images. It is possible to perform an AND search by outputting a search result based on the total similarity obtained for each image to be obtained, and for accurately expressing the user's intention as a search condition. One approach can be provided.
[0542]
  (4) Moreover, according to the image search apparatus of the said embodiment,Specify multiple query images, find the similarity to each specified query image for each image to be searched, and select the similarity that shows the highest similarity from the similarities to each query image found By calculating the overall similarity of the search target image and outputting the search result based on the total similarity calculated for each search target image, an OR search can be performed. Can be provided as a search condition.
[0543]
  (5) Further, according to the image search device of the above embodiment,The degree of importance can be specified for each query image so that the obtained similarity can be arbitrarily weighted according to the type of query image. Each query can be specified for each search target image. By calculating the similarity to the image, weighting the similarity with each query image obtained according to the specified importance, and then determining the overall similarity, the user's intention can be accurately used as a search condition. Therefore, it is possible to accurately convey the user's intention to the device, and since the importance is reflected as a weighting for the similarity, it is possible to obtain a search result image reflecting the user's intention. It becomes.
[0544]
  (6) Moreover, according to the image search device of the above-described embodiment,When obtaining the similarity between the query image and the image to be searched using multiple types of feature quantities, the obtained similarity can be arbitrarily weighted according to the type of query image and feature quantity The degree of importance for each type of feature can be specified for each query image, and for each search target image, the similarity to each query image is obtained for each type of feature. The user's intention can be accurately expressed as a search condition by weighting the similarity with each query image obtained for each feature amount according to the designated importance and then obtaining the overall similarity. Therefore, it is possible to accurately convey the user's intention to the apparatus, and the importance is reflected as a weight for the similarity, so that it is possible to obtain an image of a search result reflecting the user's intention. .
[0545]
  (7) Moreover, according to the image search device of the above-described embodiment,When determining the similarity between the query image and the image to be searched using multiple types of feature quantities, each type can be weighted according to the type of feature quantity. For each feature amount, the degree of similarity between each specified query image is obtained, and the importance for each type of feature amount between each query image is determined based on the obtained similarity degree for each type of feature amount. For each image to be searched, the degree of similarity with each inquiry image is obtained for each type of feature amount, and each type of feature determined for the degree of similarity with each inquiry image obtained for each type of feature amount After weighting according to the importance for each quantity, by determining the overall similarity, the importance of each type of feature quantity between the query images specified by the user on the device side is determined, and the determined importance is To reflect the similarity between images, It is possible to return the result matches of the intended search. Therefore, the search process as desired by the user can be realized, and the search result desired by the user can be obtained.
[0546]
  (8) Moreover, according to the image search apparatus of the said embodiment,Specify at least one query image and use the extraction criteria that defines the level of roughness of features extracted from the image in stages from coarse to fine. At least one feature is specified, and based on the extraction criteria, feature quantities corresponding to at least the specified roughness level are extracted from the query image and the plurality of search target images at a predetermined timing, and each search target image is extracted. Since the similarity with the query image is obtained using the feature amount according to the specified roughness level, and the search result is output based on the similarity obtained for each image to be searched, a plurality of different search accuracy It is possible to execute various types of search processing. In other words, since the user can specify at least one level of roughness of the feature amount used for the search, the fineness of the user's viewpoint for the search can be expressed as a search condition, and the user's intention can be accurately set as the search condition. Can be expressed. Therefore, it is possible to perform image search processing as desired by the user.
[0547]
  (9) Further, according to the image search device of the above embodiment,The extraction criterion defines at least the number of divisions indicating the number of divisions of the image as a roughness level in stages, and the feature amount is determined according to any one of the roughness levels defined in stages. When extracting, the image is divided based on the corresponding number of divisions to generate a plurality of divided images, and the feature amount is extracted from each of the generated divided images, so that a divided image unit is obtained from the query image and the search target image. When the feature amount group consisting of the feature amount is extracted and the similarity between the query image and the search target image is obtained using the feature amount group, the similarity for each of the corresponding divided images of the query image and the search target image is calculated. Since the similarity between the query image and the search target image is obtained by obtaining each using the corresponding feature amount, the level of roughness of the feature amount can be easily defined by the number of image divisions. , It is possible to introduce the concept that the position relationship between the image features in the image search by determining the similarity for each divided image. Therefore, it is possible to execute an image search process with high accuracy.
[0548]
  (10) Further, according to the image search device of the above embodiment,The extraction criteria include the level that makes the entire image the target of feature extraction without dividing the image as the level indicating the coarsest feature amount among the stepwise defined roughness levels, and features the entire image When extracting feature values according to the level to be extracted, the feature values are extracted from the query image and the search target image for the entire image. Search processing can be included.
[0549]
  (11) Further, according to the image search device of the above embodiment,When the extraction criterion is an object existing in the image, the feature level extraction target includes definition of the level of roughness of the feature value extracted from the object, so that the search conditions can be specified from different viewpoints. Thus, the user's intention can be accurately expressed as a search condition.
[0550]
  (12) Moreover, according to the image search device of the above-described embodiment,For a plurality of search target images, feature amounts corresponding to all roughness levels defined by the extraction criteria are extracted in advance, and among the specified query images, query images from which feature amounts are not extracted Since the feature amount corresponding to the specified roughness level is extracted before executing the process for obtaining the similarity, the image search process can be speeded up.
[0551]
  (13) Further, according to the image search device of the above embodiment,A process of specifying at least one query image and obtaining, for each search target image, a predetermined feature amount obtained by extracting a similarity between a predetermined size area in the search target image and the specified query image in advance. Are repeatedly executed over the entire search target image, and the search result is output based on the similarity obtained for each search target image. Therefore, an image including the query image can be found from the search target images. Therefore, it is possible to provide one method for realizing an image search as intended by the user.
[0552]
  (14) Further, according to the image search apparatus of the above-described embodiment,Since the image of the search result can be designated as the query image, a more detailed narrowing search can be performed, and the search process as desired by the user can be realized.
[0553]
  (15) In the above embodiment,According to the computer-readable recording mediumOf the above embodimentSince a program for causing a computer to function as each means of the image search device according to any one of the above is recorded, by causing the computer to execute the program, the user's viewpoint can be surely set in the device when specifying the search condition. It is possible to realize an image search apparatus that can transmit and return search results that match the user's viewpoint. That is, it is possible to realize an image search apparatus that can realize search processing as desired by the user.
[0554]
  (16) Also, according to the image classification device of the above embodiment,Set a classification item, and for each set classification item, set one reference image for each type of feature quantity used to determine the similarity between the reference image and the image to be classified. In addition, the similarity of each set reference image and the image to be classified is obtained using the corresponding type of feature amount, and the obtained similarity is summed to obtain the overall similarity of the image to be classified, and the classification item Based on the overall similarity of the images to be classified and the classification destination determination criteria set in advance, the classification items that are the classification destinations of the images to be classified are determined, and the user's intention is accurately set as the classification condition. Therefore, it is possible to accurately convey the user's intention to the device and to reliably convey the user's intention to the device. The classification result can be obtained, it is possible to realize the classification process as the user desires. That is, even when an appropriate image does not exist as a reference image, for example, an image having a similar color atmosphere to an image desired as a classification result or an image having an object shape atmosphere is designated as a reference image. Since the combined image is used as one reference image, the user's viewpoint can be reliably transmitted to the apparatus when specifying the classification condition, and the classification process is executed using such a reference image. Therefore, it is possible to appropriately classify the image into the classification destination desired by the user.
[0555]
  (17) Also, according to the image classification device of the above embodiment,Set a classification item, set a plurality of reference images for each set classification item, and set the type of feature amount used to determine the similarity to the image to be classified for each set reference image, For each classification item, the similarity between each reference image and the classification target image is calculated using the set type of feature amount, and the total similarity is calculated to obtain the total similarity of the classification target image. The user's intention is set as a classification condition by determining a classification item as a classification destination of the classification target image based on the overall similarity of the classification target image obtained for each item and a preset classification destination determination criterion. Since it can be accurately expressed, the user's intention can be accurately transmitted to the device, and the user's intention for the classification can be reliably transmitted to the device, so that the user's intention for the classification is accurately reflected. Results can be obtained, it is possible to realize the classification process as the user desires. That is, even when an appropriate image does not exist as a reference image, for example, an image having a similar color atmosphere to an image desired as a classification result or an image having an object shape atmosphere is designated as a reference image. Since the combined image is used as one reference image, the user's viewpoint can be reliably transmitted to the apparatus when specifying the classification condition, and the classification process is executed using such a reference image. Therefore, it is possible to appropriately classify the image into the classification destination desired by the user.
[0556]
  (18) Also, according to the image classification device of the above embodiment,Set category items, set multiple reference images for each set category item, calculate the similarity between each set reference image and target image for each category item, and sum the calculated similarities. The classification item that is the classification destination of the classification target image based on the total similarity of the classification target image obtained for each classification item and a preset classification destination determination criterion Therefore, it is possible to perform image classification processing using AND search processing. Therefore, it is possible to provide an image classification device that can classify images by a new classification method.
[0557]
  (19) Also, according to the image classification device of the above embodiment,Set classification items, set multiple reference images for each set classification item, obtain the similarity of each set reference image and target image for each classification item, and select from the obtained similarities Select the similarity indicating the highest similarity to obtain the overall similarity of the images to be classified, and based on the overall similarity of the images to be classified obtained for each classification item and preset classification destination determination criteria, Since the classification item that is the classification destination of the image to be classified is determined, it is possible to perform image classification processing that applies OR search processing. Therefore, it is possible to provide an image classification device that can classify images by a new classification method.
[0558]
  (20) Further, according to the image classification apparatus of the above embodiment,The degree of importance can be set for each reference image so that the obtained similarity can be arbitrarily weighted according to the type of the reference image. For each classification item, each reference image and The user's intention can be accurately expressed as a classification condition by calculating the similarity of the images to be classified, weighting the calculated similarity according to the set importance, and then determining the overall similarity. Therefore, it is possible to accurately convey the user's intention to the apparatus, and the importance is reflected as a weight for the similarity, so that it is possible to obtain an image classification result that reflects the user's intention.
[0559]
  (21) Further, according to the image classification device of the above embodiment,When obtaining the similarity between the reference image and the classification target image using a plurality of types of feature amounts, the obtained similarity can be arbitrarily weighted according to the type of the reference image and the feature amount. The importance for each type of feature amount can be set for each reference image, and for each classification item, the similarity between each reference image and the classification target image is obtained for each type of feature amount, The user's intention can be accurately expressed as a classification condition by weighting the similarity calculated for each type of feature quantity according to the set importance and then calculating the overall similarity. Can be accurately transmitted to the apparatus, and the importance is reflected as a weighting for the similarity, so that it is possible to obtain an image classification result reflecting the user's intention.
[0560]
  (22) Further, according to the image classification device of the above embodiment,When determining the similarity between the reference image and the image to be classified using a plurality of types of feature quantities, the classification items can be arbitrarily weighted according to the types of feature quantities. Each time, the similarity between each set reference image is obtained for each type of feature amount, and the importance for each feature amount between each reference image is calculated based on the similarity obtained for each type of feature amount. For each classification item, obtain the similarity of each reference image and the image to be classified for each type of feature quantity, and according to the determined importance for the similarity degree obtained for each type of feature quantity After calculating the weights, the overall similarity is calculated to determine the importance of each type of feature quantity between the reference images specified by the user on the device side, and the determined importance is reflected in the similarity between images. Image to match the user's intention. A result it is possible to return the. Therefore, the classification process as desired by the user can be realized, and the classification result desired by the user can be obtained.
[0561]
  (23) Further, according to the image classification device of the above embodiment,Since classification items for further classifying the images classified for each classification item can be set, detailed image classification processing can be executed.
[0562]
  (24) Also, according to the image classification device of the above embodiment,When the type of feature quantity is specified, the similarity between the images to be classified is calculated using the specified type of feature quantity, and the classification target is calculated based on the similarity between the images to be classified. Each image is classified into a group of similar images, a representative image representing the group is selected from each classified group and displayed on the screen, and one of the displayed representative images is designated, and features When the type of quantity is specified, the images classified into the group to which the representative image belongs are classified into groups of similar images using the specified type of feature quantity, and the group is represented from each group classified. By selecting a representative image and displaying it on the screen, it is possible to dynamically classify the image according to the criteria desired by the user when it is desired to classify the image. It is possible to find out to become. Therefore, it is possible to provide an image classification device that can classify images by a new classification method.
[0563]
  (25) Moreover, according to the image classification device of the above-described embodiment,To display the types of feature quantities that can be specified on the screen, display the representative images of each group in association with the specified types of feature quantities, and display the results of classifying multiple images to be classified in a tree structure The user can recognize the state of the image classification process at a glance, and the convenience of the dynamic image classification process can be improved.
[0564]
  (26) Further, according to the image classification device of the above embodiment,Since any image classified for each classification item is used as an inquiry image to search for an image that is the same as or similar to the inquiry image, the convenience of the apparatus can be improved.
[0565]
  (27) Moreover, according to the image classification device of the above-described embodiment,Since the search is performed using the image search device according to any one of the above embodiments, it is possible to reliably convey the user's viewpoint to the device when specifying the search condition, and to match the user's viewpoint. Search results can be returned, and the convenience of the apparatus can be improved.
[0566]
  (28) Moreover, according to the image classification device of the above embodiment,Since the image to be classified is a search result image, for example, it is possible to apply image classification to search result narrowing.
  (29) According to the computer-readable recording medium of the above embodiment, since the program for causing the computer to function as each unit of the image classification device according to any one of the above embodiments is recorded, the program By executing the above, it is possible to reliably convey the user's viewpoint to the apparatus when specifying the classification condition, and to classify the image into the classification items suitable for the user's viewpoint Can be realized. That is, it is possible to realize an image classification device that can appropriately classify an image into a classification destination desired by the user..
[0567]
【The invention's effect】
  Of the present inventionImage classification deviceAccording to the above, at least one query image is specified, and the feature amount to be used for the search is determined based on an extraction criterion in which the level of roughness of the feature amount extracted from the image is defined stepwise from coarse to fine. Specify at least one roughness level, and based on the extraction criteria, extract feature quantities corresponding to at least the specified roughness level from the query image and multiple search target images at a predetermined timing, and search target For each image, the similarity to the query image is obtained using the feature amount corresponding to the specified roughness level, and the search result is output based on the similarity obtained for each image to be searched. It is possible to execute a plurality of types of search processes with different accuracy. In other words, since the user can specify at least one level of roughness of the feature amount used for the search, the fineness of the user's viewpoint for the search can be expressed as a search condition, and the user's intention can be accurately set as the search condition. Can be expressed.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of an image search apparatus according to Embodiment 1 of the present invention.
FIG. 2 is a block diagram showing processing executed in the image search device according to Embodiment 1 of the present invention.
FIG. 3 is a flowchart showing an outline of image registration processing executed in the image search device according to Embodiment 1 of the present invention;
FIG. 4 is an explanatory diagram showing a state in which each image is mapped to a feature space in accordance with a feature amount extracted from the image in the image search device according to the present invention.
FIG. 5 is an explanatory diagram showing a search window used at the time of search in the image search apparatus according to Embodiment 1 of the present invention.
FIG. 6 is a flowchart showing image search processing executed in the image search device according to Embodiment 1 of the present invention.
FIG. 7 is an explanatory diagram showing a search window used at the time of search in the image search device according to Embodiment 2 of the present invention.
FIG. 8 is a flowchart showing an image search process executed in the image search apparatus according to Embodiment 2 of the present invention.
FIG. 9 is an explanatory diagram showing a search window used at the time of search in the image search device according to Embodiment 3 of the present invention.
FIG. 10 is a flowchart showing an image search process executed in the image search apparatus according to Embodiment 3 of the present invention.
FIG. 11 is an explanatory diagram showing a search window used at the time of search in the image search device according to Embodiment 4 of the present invention.
FIG. 12 is a flowchart showing image search processing executed in the image search device according to Embodiment 4 of the present invention.
FIG. 13 is an explanatory diagram showing a search window used at the time of search in the image search device according to Embodiment 5 of the present invention.
FIG. 14 is a flowchart showing image search processing executed in the image search device according to Embodiment 5 of the present invention;
FIG. 15 is an explanatory diagram showing a search window used at the time of search in the image search device according to Embodiment 6 of the present invention.
FIG. 16 is a flowchart showing image search processing executed in the image search device according to Embodiment 6 of the present invention;
FIG. 17 is a flowchart showing image search processing executed in the image search device according to Embodiment 7 of the present invention;
FIG. 18 is a flowchart showing an image search process executed in the image search apparatus according to Embodiment 8 of the present invention.
FIG. 19 is a flowchart showing an image search process executed in the image search apparatus according to Embodiment 9 of the present invention.
FIG. 20 is a flowchart showing image search processing executed in the image search device according to Embodiment 10 of the present invention.
FIG. 21 is a flowchart showing an image search process executed in the image search apparatus according to Embodiment 11 of the present invention.
FIG. 22 is an explanatory diagram for explaining a roughness level of a feature amount extracted from an inquiry image and a search target image in the image search device according to the twelfth embodiment of the present invention;
FIG. 23 is an explanatory diagram for explaining feature amount extraction processing (edge feature extraction) in the image search device according to the twelfth embodiment of the present invention;
FIG. 24 is an explanatory diagram illustrating feature quantity extraction processing (edge feature extraction) in the image search device according to the twelfth embodiment of the present invention;
FIG. 25 is an explanatory diagram showing a search window used at the time of search in the image search device according to Embodiment 12 of the present invention.
FIG. 26 is a flowchart showing an image search process executed in the image search apparatus according to Embodiment 12 of the present invention.
FIG. 27 is an explanatory diagram showing a first modification of the image search process executed in the image search device according to the twelfth embodiment of the present invention;
FIG. 28 is an explanatory diagram showing a second modification of the image search process executed in the image search device according to the twelfth embodiment of the present invention.
FIG. 29 is an explanatory diagram for explaining an outline of an image search process executed in an image search device according to Embodiment 13 of the present invention;
FIG. 30 is an explanatory diagram for explaining an outline of an image search process executed in the image search device according to the thirteenth embodiment of the present invention;
FIG. 31 is a flowchart showing an image search process executed in the image search apparatus according to Embodiment 13 of the present invention.
FIG. 32 is an explanatory diagram showing a search window used at the time of search in the image search device according to Embodiment 13 of the present invention.
FIG. 33 is a block configuration diagram of an image classification device according to Embodiment 14 of the present invention;
FIG. 34 is a block diagram showing processing executed in the image classification device according to Embodiment 14 of the present invention.
FIG. 35 is an explanatory diagram showing an example of an image classification window for performing processing for setting image classification items and displaying images after classification in the image classification device according to the fourteenth embodiment of the present invention;
FIG. 36 is a flowchart showing image classification processing executed in the image classification device according to Embodiment 14 of the present invention;
FIG. 37 is an explanatory diagram showing a state of an image classification window after an image is classified in the image classification device according to Embodiment 14 of the present invention;
FIG. 38 is an explanatory diagram showing an example of an image classification window for performing processing for setting image classification items and displaying images after classification in the image classification device according to the fifteenth embodiment of the present invention;
FIG. 39 is an explanatory diagram showing an example of an image classification window for performing processing for setting image classification items and displaying images after classification in the image classification device according to the sixteenth embodiment of the present invention;
FIG. 40 is a flowchart showing image classification processing executed in the image classification device according to Embodiment 16 of the present invention;
FIG. 41 is an explanatory diagram showing an example of an image classification window for performing processing for setting image classification items and displaying images after classification in the image classification device according to Embodiment 17 of the present invention;
FIG. 42 is an explanatory diagram showing an example of an image classification window for performing processing for setting image classification items and displaying images after classification in the image classification device according to the eighteenth embodiment of the present invention;
FIG. 43 is an explanatory diagram showing an example of an image classification window for performing processing for setting image classification items and displaying images after classification in the image classification device according to the nineteenth embodiment of the present invention;
FIG. 44 is a flowchart showing image classification processing executed in the image classification device according to Embodiment 21 of the present invention;
FIG. 45 is a flowchart showing image classification processing executed in the image classification device according to Embodiment 22 of the present invention;
FIG. 46 is an explanatory diagram showing image classification processing executed in the image classification device according to Embodiment 25 of the present invention;
FIG. 47 is an explanatory diagram showing image classification processing executed in the image classification device according to Embodiment 25 of the present invention;
FIG. 48 is an explanatory diagram showing image classification processing executed in the image classification device according to Embodiment 25 of the present invention.
FIG. 49 is an explanatory diagram showing a recording medium on which a program for realizing the image search device and / or the image classification device according to the present invention is recorded and a distribution form of the program.
[Explanation of symbols]
100 computers
107 Image search software
108 Image DB
109 Image feature DB
151 U / I section
152 Feature Extraction Engine
153 Matching engine
200a-200h Search window
201 Search button
202 Image display field
203,362 Feature amount designation button
204, 207, 208, 363, 366, 367 Importance designation bar
205, 364 AND designation button
206,365 OR designation button
209 Feature specification field
210 Roughness level designation field
301 Image classification software
302 Classification tree DB
350a-350f Image classification window
351-358 folder
360a to 360f Classification condition setting window
361 Setting button
400 Image classification window
401, 402a to 404a, 402b to 404b Classification items
405-412 Representative images
450 recording media
451 server

Claims (15)

A reference image that is a classification reference for the classification target image is set for each classification item that is a classification destination of the classification target image, and extracted from the reference image set for each classification item and the classification target image, respectively. By using at least one type of feature amount representing the feature of the image, the similarity between the reference image and the classification target image is obtained for each classification item, and the classification target image is determined based on the obtained similarity. An image classification device for classifying any of the classification items,
Setting means for setting the classification item and setting one reference image for each type of feature amount used when obtaining the similarity between the reference image and the image to be classified for each set classification item When,
For each classification item, the similarity between each reference image set by the setting unit and the image to be classified is obtained using a corresponding type of feature amount, and the obtained similarities are totaled to obtain the image to be classified. Means for calculating the overall similarity of
Determination means for determining a classification item to be a classification destination of the classification target image based on a total similarity of the classification target image obtained for each classification item by the calculation means and a preset classification destination determination criterion. When,
Searching means for searching for an image that is the same as or similar to the inquiry image by using any image classified for each classification item as an inquiry image,
The search means includes
Specify at least one query image and, based on the extraction criteria that define the level of roughness of features extracted from the image stepwise from coarse to fine, A designation means for designating at least one level;
When extracting at least one type of feature quantity from the inquiry image and a plurality of search target images, a feature quantity corresponding to at least the roughness level designated by the designation means based on the extraction criterion is determined at a predetermined timing. And feature extraction means for extracting with
Search means for obtaining similarity to the query image using at least one type of feature amount extracted according to the roughness level designated by the designation means for each image to be searched;
Output means for outputting a search result based on the similarity obtained for each image to be searched by the search means;
Image classification apparatus comprising the. A reference image that is a classification reference for the classification target image is set for each classification item that is a classification destination of the classification target image, and extracted from the reference image set for each classification item and the classification target image, respectively. By using at least one type of feature amount representing the feature of the image, the similarity between the reference image and the classification target image is obtained for each classification item, and the classification target image is determined based on the obtained similarity. An image classification device for classifying any of the classification items,
Set the classification item, set a plurality of the reference images for each set classification item, and specify the type of feature amount used when obtaining the similarity with the classification target image for each set reference image Setting means for setting;
For each classification item, the similarity between each reference image and the classification target image is obtained using the type of feature amount set by the setting unit, and the obtained similarities are totaled to obtain a total of the classification target images. A computing means for determining the similarity,
Determination means for determining a classification item to be a classification destination of the classification target image based on a total similarity of the classification target image obtained for each classification item by the calculation means and a preset classification destination determination criterion. When,
Searching means for searching for an image that is the same as or similar to the inquiry image by using any image classified for each classification item as an inquiry image,
The search means includes
Specify at least one query image, and further determine the roughness of the feature quantity used for the search based on the extraction criteria that define the level of roughness of the feature quantity extracted from the image stepwise from coarse to fine. A designation means for designating at least one level;
When extracting at least one type of feature quantity from the inquiry image and a plurality of search target images, a feature quantity corresponding to at least a roughness level designated by the designation means based on the extraction criterion is determined at a predetermined timing. And feature extraction means for extracting with
Search means for obtaining similarity to the query image using at least one type of feature amount extracted according to the roughness level designated by the designation means for each image to be searched;
Output means for outputting a search result based on the similarity obtained for each image to be searched by the search means;
Image classification apparatus comprising the. A reference image that is a classification reference for the classification target image is set for each classification item that is a classification destination of the classification target image, and extracted from the reference image set for each classification item and the classification target image, respectively. By using at least one type of feature amount representing the feature of the image, the similarity between the reference image and the classification target image is obtained for each classification item, and the classification target image is determined based on the obtained similarity. An image classification device for classifying any of the classification items,
Setting means for setting the classification items and setting a plurality of reference images for each set classification item;
Calculation means for obtaining the similarity between each reference image set by the setting means and the image to be classified for each classification item, and calculating the total similarity of the images to be classified by adding the obtained similarities When,
Determination means for determining a classification item to be a classification destination of the classification target image based on a total similarity of the classification target image obtained for each classification item by the calculation means and a preset classification destination determination criterion. When,
Searching means for searching for an image that is the same as or similar to the inquiry image by using any image classified for each classification item as an inquiry image,
The search means includes
Specify at least one query image, and further determine the roughness of the feature quantity used for the search based on the extraction criteria that define the level of roughness of the feature quantity extracted from the image stepwise from coarse to fine. A designation means for designating at least one level;
When extracting at least one type of feature quantity from the inquiry image and a plurality of search target images, a feature quantity corresponding to at least a roughness level designated by the designation means based on the extraction criterion is determined at a predetermined timing. And feature extraction means for extracting with
Search means for obtaining similarity to the query image using at least one type of feature amount extracted according to the roughness level designated by the designation means for each image to be searched;
Output means for outputting a search result based on the similarity obtained for each image to be searched by the search means;
Image classification apparatus comprising the. A reference image that is a classification reference for the classification target image is set for each classification item that is a classification destination of the classification target image, and extracted from the reference image set for each classification item and the classification target image, respectively. By using at least one type of feature amount representing the feature of the image, the similarity between the reference image and the classification target image is obtained for each classification item, and the classification target image is determined based on the obtained similarity. An image classification device for classifying any of the classification items,
Setting means for setting the classification items and setting a plurality of reference images for each set classification item;
For each classification item, the similarity between each reference image set by the setting unit and the image to be classified is obtained, and the similarity showing the highest similarity is selected from the obtained similarities and the classification is performed. A calculation means for calculating the overall similarity of the target image;
Determination means for determining a classification item to be a classification destination of the classification target image based on a total similarity of the classification target image obtained for each classification item by the calculation means and a preset classification destination determination criterion. When,
Searching means for searching for an image that is the same as or similar to the inquiry image by using any image classified for each of the classification items as an inquiry image,
The search means includes
Specify at least one query image, and further determine the roughness of the feature quantity used for the search based on the extraction criteria that define the level of roughness of the feature quantity extracted from the image stepwise from coarse to fine. A designation means for designating at least one level;
When extracting at least one type of feature quantity from the inquiry image and a plurality of search target images, a feature quantity corresponding to at least a roughness level designated by the designation means based on the extraction criterion is determined at a predetermined timing. And feature extraction means for extracting with
Search means for obtaining similarity to the query image using at least one type of feature amount extracted according to the roughness level designated by the designation means for each image to be searched;
Output means for outputting a search result based on the similarity obtained for each image to be searched by the search means;
Image classification apparatus comprising the. The setting means can set the importance for each reference image so that the similarity obtained by the calculation means can be arbitrarily weighted according to the type of the reference image. ,
The calculation means obtains the similarity between the reference image and the image to be classified for each classification item, and weights the obtained similarity according to the importance set by the setting means. The image classification apparatus according to claim 2 , wherein the total similarity is obtained. When the similarity between the reference image and the classification target image is obtained using a plurality of types of feature amounts, the setting unit determines the similarity obtained by the calculation unit according to the type of the reference image and the feature amount. It is possible to set the importance for each type of feature amount for each reference image so that arbitrary weighting can be performed,
For each of the classification items, the calculation means obtains the similarity between the reference image and the image to be classified for each type of feature amount, and the similarity calculated for each type of feature amount 5. The image classification apparatus according to claim 3 , wherein the total similarity is obtained after weighting according to the importance set by the setting unit. Furthermore, when the similarity between the reference image and the classification target image is obtained using a plurality of types of feature amounts, the similarity obtained by the calculation unit is arbitrarily weighted according to the type of the feature amount. For each classification item, the similarity between the reference images set by the setting unit is obtained for each type of feature quantity, and based on the similarity obtained for each type of feature quantity. Importance determining means for determining the importance for each feature amount between the reference images,
For each of the classification items, the calculation means obtains the similarity between the reference image and the image to be classified for each type of feature amount, and the similarity calculated for each type of feature amount 5. The image classification apparatus according to claim 3 , wherein the total similarity is obtained after weighting according to the importance determined by the importance determining means. The setting means, image classification apparatus according to any one of claims 1 to 7, characterized in that it is possible to set the categories for further classifying the classified images for each of the classification items. An image classification apparatus that extracts at least one type of feature amount representing a feature of an image from a plurality of images to be classified and classifies each image to be classified into a group of similar images using the extracted feature amount. And
A designation means for designating a type of the feature amount;
When the type of feature quantity is designated by the designation means, the similarity between the images to be classified is obtained using the designated type of feature quantity, and the similarity between the images to be classified is obtained. Based on the classification means for classifying the images to be classified into groups of similar images;
Display means for selecting and displaying a representative image representing each group from each group classified by the classification means;
Searching means for searching for an image that is the same as or similar to the query image by using any image classified for each group as a query image,
The designation means can further designate one of the representative images displayed by the display means, and can designate the type of the feature amount,
The classification unit resembles each image classified into the group to which the representative image belongs using the specified type of feature amount when the type of the representative image and the feature amount is specified by the specifying unit. Classify them into groups of images,
The display means selects a representative image representing the group from each group classified by the classification means and displays it on the screen,
The search means includes
Specify at least one query image, and further determine the roughness of the feature quantity used for the search based on the extraction criteria that define the level of roughness of the feature quantity extracted from the image stepwise from coarse to fine. A designation means for designating at least one level;
When extracting at least one type of feature quantity from the inquiry image and a plurality of search target images, a feature quantity corresponding to at least the roughness level designated by the designation means based on the extraction criterion is determined at a predetermined timing. And feature extraction means for extracting with
Search means for obtaining similarity to the query image using at least one type of feature amount extracted according to the roughness level designated by the designation means for each image to be searched;
Output means for outputting a search result based on the similarity obtained for each image to be searched by the search means;
Image classification apparatus comprising the. The display means displays on the screen the types of feature quantities that can be designated by the designation means, and displays on the screen representative images of each group classified by the classification means in association with the types of feature quantities designated by the designation means The image classification apparatus according to claim 9 , wherein a result of classifying the plurality of images to be classified is displayed on a screen in a tree structure. The grouping target image, image classification apparatus according to any one of claims 1 to 10, characterized in that a image search on the searching means. The extraction criterion is stepwise defining at least the number of divisions representing how many images are divided as the roughness level,
When the feature extraction unit extracts the feature amount according to any one of the step-defined roughness levels, the feature extraction unit divides an image based on a corresponding division number to obtain a plurality of divided images. Generating a feature amount group composed of feature amounts in units of divided images from the query image and the search target image by extracting the feature amounts from the generated divided images,
When the search unit obtains the similarity between the query image and the search target image using the feature amount group, the search unit corresponds to the feature amount corresponding to the corresponding divided image of the query image and the search target image. image classification apparatus according by obtaining respectively, to any one of claims 1 to 11, characterized in that to determine the similarity of the query image and search target image using. The extraction criterion includes a level for extracting the entire image as a feature quantity extraction target without dividing the image as a level indicating the coarsest feature quantity in the stepwise defined roughness levels,
The feature extracting unit extracts a feature amount for the entire image from the inquiry image and a search target image when extracting the feature amount according to a level for extracting the entire image as a feature amount extraction target. The image classification device according to any one of claims 1 to 12 . It said specifying means, image classification apparatus according to the image of the retrieval result to any one of claims 1 to 13, characterized in that it is designated as the query image. 15. A computer-readable recording medium in which a program for causing a computer to function as each unit of the image classification apparatus according to claim 1 is recorded.

Images