JPWO2009031297A1 - 画像検索装置、画像分類装置及び方法並びにプログラム - Google Patents

Abstract

検索キー画像から特徴量を抽出する特徴量抽出部１０６と、検索対象の画像の特徴量と検索キー画像の特徴量との距離を算出する距離算出部１０７と、距離算出部１０７で算出された距離を解析して、検索キー画像に類似した特徴を与える特徴量を画像検索に有効な特徴量として選別する距離解析部１０８と、画像検索に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に検索対象の画像を配置し、この特徴量空間内から検索キー画像に類似する画像を検索する検索実行部１０９とを備える。

Description

この発明は、画像検索装置、画像分類装置、これら装置による画像検索方法、画像分類方法及び上記装置としてコンピュータを機能させるプログラムに関するものである。

従来では、画像の検索や分類を行うにあたり、画像毎に関連付けたキーワードを用いる方法が一般的であった。しかしながら、この方法は、検索や分類対象となる画像データが大量にある場合、その全ての画像にキーワードを設定しなければならない。このため、画像の検索や分類を行えるまでに膨大な時間や労力を必要としていた。また、検索キーワードに一致するキーワードに関連付けられた画像が一覧として抽出されるだけであるので、所望の画像がどれであるのかを判別しにくいという欠点もあった。

このような従来の不具合を解消する技術として、例えば特許文献１に開示される方法がある。この方法では、画像データの特徴量に対するクラスタリングの結果を基に画像を分類する。このようにすることで、キーワードのような外的基準を設定することなく、関連性の高い画像データ同士が同一のクラスタに分類される。なお、画像から抽出される特徴量としては、画像全体の色調、縦横比、輝度や色の分布状態、エッジの分布状態、平坦なエリアの分布状態などが挙げられている。

また、特許文献２では、画像から抽出した特徴量を主成分分析し、２次元の特徴量を２軸とした距離空間内の点とみなして各画像を複数個のクラスタ群にクラスタリングして、このクラスタリング情報を用いて検索結果の画像に関する表示位置や表示サイズを決定する。これにより、キーワードのような外的基準を設定することなく、検索画像を表示装置の画面上に一覧表としてユーザに提示することができる。この方法によれば、対象画像に類似する画像の検索要求があった場合、対象画像から特徴量を抽出して主成分分析を行い、この特徴量を２軸とした距離空間内に配置することで類似画像を提示できる。

特開２００１−２５６２４４号公報 特開２００５−２３５０４１号公報

従来の方法では、画像の特徴量に対するクラスタリングが行われるが、その特徴量が真にユーザが所望する画像に対応するものであるか否かが不明であり、ユーザが意図する検索又は分類結果が的確に得られない可能性があるという課題があった。

例えば、特許文献１では、画像から抽出した特徴量をどのように用いてクラスタリングするのか詳細に開示されていない。また、ある画像に類似する画像を探索するユーザ要求があった場合、分類結果の画像をどのように用いて、どのクラスタの画像をユーザに提示するのか、という方法が述べられていない。このため、必ずしも有効な検索又は分類結果が得られるとは限らない。

また、特許文献２では、画像から様々な種類の特徴量が抽出されるところ、主成分分析を行った結果の特徴量の次元軸がどのような意味を持つのか、またこれを用いた分類がユーザにとって有効なものであるか明確に記載されていない。このため、必ずしも有効な検索又は分類結果が得られるとは限らない。

この発明は、上記のような課題を解決するためになされたもので、画像の検索や分類に有効な特徴量を選別してユーザの意図する分類又は検索結果を的確かつ迅速に得ることができる画像検索装置、画像分類装置、これら装置による画像検索方法、画像分類方法及び上記装置としてコンピュータを機能させるプログラムを得ることを目的とする。

この発明に係る画像検索装置は、検索対象の画像を蓄積する画像蓄積部と、検索対象の画像の特徴量を蓄積する特徴量蓄積部と、検索対象の画像の特徴量の主成分分析結果を蓄積する主成分蓄積部と、検索キーとなる画像から特徴量を抽出する特徴量抽出部と、特徴量蓄積部に蓄積された検索対象の画像の特徴量と検索キーとなる画像の特徴量との距離を算出する距離算出部と、距離算出部で算出された距離を解析して、検索キーとなる画像に類似した特徴を与える検索対象の画像の特徴量を画像検索に有効な特徴量として選別する距離解析部と、画像検索に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に検索対象の画像を配置し、この特徴量空間内から検索キーとなる画像に類似する画像を検索する検索実行部とを備えるものである。

この発明によれば、検索対象の画像を蓄積する画像蓄積部と、検索対象の画像の特徴量を蓄積する特徴量蓄積部と、検索対象の画像の特徴量の主成分分析結果を蓄積する主成分蓄積部と、検索キーとなる画像から特徴量を抽出する特徴量抽出部と、特徴量蓄積部に蓄積された検索対象の画像の特徴量と検索キーとなる画像の特徴量との距離を算出する距離算出部と、距離算出部で算出された距離を解析して、検索キーとなる画像に類似した特徴を与える検索対象の画像の特徴量を画像検索に有効な特徴量として選別する距離解析部と、画像検索に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に検索対象の画像を配置し、この特徴量空間内から検索キーとなる画像に類似する画像を検索する検索実行部とを備えるので、検索対象の画像から抽出した特徴量から画像検索に有効な特徴量を選別し、この特徴量の主成分分析結果を用いて構築された特徴量空間で画像検索を実行することから、ユーザの意図する検索結果を的確かつ迅速に得ることができるという効果がある。

この発明で用いる検索用画像データを作成する検索用データ作成装置の構成を示すブロック図である。 図１中の検索用データ作成装置による処理の流れを示すフローチャートである。 この発明の実施の形態１による画像検索装置の構成を示すブロック図である。 図３中の画像検索装置による画像検索処理の流れを示すフローチャートである。 検索キー画像特徴量と蓄積特徴量との距離の一例を示す図である。 特徴量の主成分データを用いた２次元の特徴量空間で画像検索した結果を示す図である。 特徴量の主成分データを用いた２次元の特徴量空間で画像検索した他の例を示す図である。 この発明の実施の形態２による画像検索装置の構成を示すブロック図である。 図８中の画像検索装置による検索処理の流れを示すフローチャートである。 この発明の実施の形態３による画像分類装置の構成を示すブロック図である。 図１０中の画像分類装置による画像分類処理の流れを示すフローチャートである。 特徴量の主成分データを用いた２次元の特徴量空間で画像分類した結果を示す図である。 この発明の実施の形態４による画像分類装置の構成を示すブロック図である。 図１３中の画像分類装置による画像分類処理の流れを示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について添付した図に従って説明する。
実施の形態１．
図１は、この発明で用いる検索用画像データを作成する検索用データ作成装置の構成を示すブロック図である。図１において、この検索用データ作成装置は、画像蓄積部１０１、特徴量蓄積部１０２、主成分蓄積部１０３、特徴量抽出部１０４及び特徴量分析部１０５を備える。画像蓄積部１０１は、画像データを蓄積する記憶部である。特徴量蓄積部１０２は、上記画像データの特徴量を蓄積する記憶部である。主成分蓄積部１０３は、上記画像データの特徴量の主成分分析の結果を蓄積する記憶部である。

特徴量抽出部１０４は、上記検索対象の画像データの特徴量を抽出する。ここで抽出される画像の特徴量としては、例えば色ヒストグラム、色の大まかな配置、周波数成分、テクスチャ及びその配置、画像内のオブジェクトの形状などが挙げられる。なお、特徴量の具体例としては、参考文献１に記載されるＥｄｇｅ Ｈｉｓｔｏｇｒａｍが挙げられる。これは、ローカルエッジ情報をヒストグラム化したものであり、テクスチャの配置とその量に関する特徴量に相当する。
参考文献１；映像情報メディア学会誌 Vol.56,No.11,pp.1711-1714(2002)

特徴量分析部１０５は、上記検索対象の画像データの特徴量の主成分分析を行う。主成分分析は多変量解析手法の一種であり、多変量の測定値が得られたとき、線形変換によって変量間の相関をなくし、より少ない変量によって対象の特徴を記述しようとする手法である。

上述した特徴量抽出部１０４及び特徴量分析部１０５は、本発明の趣旨に従う特徴量抽出／分析用プログラムを、コンピュータに読み込ませてその動作を制御することにより、当該コンピュータ上にソフトウエアとハードウェアが協働した具体的な手段として実現することができる。

また、画像蓄積部１０１、特徴量蓄積部１０２及び主成分蓄積部１０３は、上記コンピュータに搭載された記憶装置の記憶領域上に構築してもよく、特徴量抽出部１０４及び特徴量分析部１０５からデータ通信可能な外部データサーバの記憶装置の記憶領域上に構築してもよい。

次に検索用画像データを作成する処理について説明する。
図２は、図１中の検索用データ作成装置による処理の流れを示すフローチャートであり、この図に沿って検索用画像データを作成する処理の詳細を説明する。
先ず、装置外部から入力された検索対象の画像データは、画像蓄積部１０１に入力される。ここでは、例えばｍ枚の画像のデータが入力されたものとする。このとき、同時に、特徴量抽出部１０４は、画像蓄積部１０１に蓄積される画像データを入力し（ステップＳＴ１）、これら画像データの特徴量を抽出する（ステップＳＴ２）。

特徴量抽出部１０４は、上記画像データから抽出した特徴量を特徴量蓄積部１０２に蓄積する。なお、上記検索対象の画像データとその特徴量とが関連付けられて特徴量蓄積部１０２に蓄積される。また、以降では、画像蓄積部１０１に蓄積された画像データを蓄積画像と呼び、特徴量蓄積部１０２に蓄積された上記蓄積画像の特徴量を蓄積特徴量と適宜呼ぶこととする。

ステップＳＴ２において、特徴量抽出部１０４は、様々なユーザの意図に対応するために、上記蓄積画像から複数の特徴量を算出する。ここでは、ｎ個の特徴量を抽出することとする。次に、特徴量分析部１０５は、特徴量抽出部１０４によってｍ枚の蓄積画像から抽出されたｎ個の特徴量を入力し、ｎ個の特徴量それぞれについて主成分分析を行う（ステップＳＴ３）。なお、上記特徴量は、複数個の変量を持つことが多い。

例えば、Ｅｄｇｅ Ｈｉｓｔｏｇｒａｍは、８０個の変量を持つ。ある特徴量がｋ個の変量を持つとし、この変量をｘ_i（ｉ＝１，２，３，・・・，ｋ）とする。このｘ_iについて主成分分析を行う。主成分Ｚ_i（ｉ＝１，２，３，・・・，ｋ）は、下記式（１）に示す連立方程式で表すことができる。ｋ個の変量ｘ₁，ｘ₂，・・・，ｘ_kが全て同じ単位であるとき、この連立方程式は、分散共分散行列を利用して固有値を求めることで解くことができる。単位が異なる場合は相関行列を用いればよい。

また、主成分分析は、複数の特徴量を用いて行うことも可能である。例えば、ｋ₁個とｋ₂個の変量を持つ特徴量を用いて、主成分Ｚ_i（ｉ＝１，２，３，・・・，ｋ₁＋ｋ₂）を算出することも可能である。ｎ個の特徴量からｉ個選ぶ組み合わせは、下記式（２）で示すようにＡ個あるため、主成分分析の結果の数は最大でＢ個である。実際に複数個の特徴量から主成分分析を行うか否かは、適用するアプリケーションを考慮して決める。特徴量分析部１０５は、上述のようにして求めた各特徴量若しくは複数の特徴量の主成分分析の結果である主成分Ｚ_iを、その特徴量及び上記検索対象の画像データに関連付けてそれぞれ主成分蓄積部１０３に蓄積する。

図３は、この発明の実施の形態１による画像検索装置の構成を示すブロック図である。以降では、実施の形態１の画像検索装置によって検索キーとなる画像（以下、検索キー画像と呼ぶ）に類似する画像を検索する場合を示す。図３において、この実施の形態１による画像検索装置は、画像蓄積部１０１、特徴量蓄積部１０２、主成分蓄積部１０３、特徴量抽出部１０６、距離算出部１０７、距離解析部１０８、検索実行部１０９及び検索結果表示部１１０を備える。

特徴量抽出部１０６は、装置外部から入力された検索キー画像の特徴量（以下、検索キー画像特徴量と呼ぶ）を抽出する。この特徴量抽出部１０６により抽出される特徴量は、図１に示す検索用データ作成装置の特徴量抽出部１０４によって抽出された特徴量と同一の特徴量を抽出する。例えば、特徴量抽出部１０４によって蓄積画像から特徴量として色ヒストグラム、色の大まかな配置、周波数成分、テクスチャ及びその配置、画像内のオブジェクトの形状が抽出されていた場合、特徴量抽出部１０６も検索キー画像から色ヒストグラム、色の大まかな配置、周波数成分、テクスチャ及びその配置、画像内のオブジェクトの形状が抽出される。

距離算出部１０７は、検索キー画像特徴量と特徴量蓄積部１０２に蓄積される蓄積特徴量との距離（以下、キー間特徴量距離と呼ぶ）を算出する。ここで、キー間特徴量距離が小さくなるにつれて、その蓄積画像は検索キー画像に類似し、キー間特徴量距離が大きくなるにつれて、その蓄積画像は検索キー画像に類似しなくなる。

距離解析部１０８は、キー間特徴量距離を解析し画像検索に有効な特徴量を選択する。ここで、画像検索に有効な特徴量とは、大量の画像から検索キー画像に類似しない画像を多く振るい落とせる特徴量であり、検索キー画像に類似した特徴を与える特徴量である。例えば、キー間特徴量距離の分布関数を特徴量毎に求め、これら分布関数の特性を示す解析値をそれぞれ算出し、これら解析値をそれぞれ比較してキー間特徴量距離が最も小さい場合に対応する解析値が得られた分布関数の特徴量を画像検索に最も有効な特徴量として選択する。

また、距離解析部１０８は、最も有効な特徴量の次にキー間特徴量距離が小さい場合に対応する解析値が得られた分布関数の特徴量を２番目に有効な特徴量（次点の特徴量）とし、その次に小さい場合に対応する解析値が得られた分布関数の特徴量を３番目に有効な特徴量とする。このように、画像検索に有効な特徴量として選別された特徴量に対し、検索キー画像との類似度合いに応じて有効な順に順位を付けて距離解析結果とする。

検索実行部１０９は、距離解析部１０８で選択された有効な特徴量の主成分データを利用して検索キー画像に類似する画像を検索する。検索結果表示部１１０は、検索実行部１０９による検索結果の画像データや画像蓄積部１０１から読み出された蓄積画像データを表示画面上に表示する。

上述した特徴量抽出部１０６、距離算出部１０７、距離解析部１０８、検索実行部１０９及び検索結果表示部１１０は、本発明の趣旨に従う画像検索用プログラムを、コンピュータに読み込ませてその動作を制御することにより、当該コンピュータ上にソフトウエアとハードウェアが協働した具体的な手段として実現することができる。

また、画像蓄積部１０１、特徴量蓄積部１０２及び主成分蓄積部１０３は、上記コンピュータに搭載された記憶装置の記憶領域上に構築してもよく、距離算出部１０７、検索実行部１０９及び検索結果表示部１１０からデータ通信可能な外部データサーバの記憶装置の記憶領域上に構築してもよい。なお、図３において、図１と同一の構成要素には同一符号を付して説明を省略する。

次に画像検索処理について説明する。
図４は、図３中の画像検索装置による画像検索処理の流れを示すフローチャートであり、図３及び図４を用いて処理の詳細を説明する。
先ず、特徴量抽出部１０６は、装置外部から検索キー画像を入力（ステップＳＴ１ａ）し、この検索キー画像から特徴量を抽出する（ステップＳＴ２ａ）。ここで抽出される特徴量は、図１に示す検索用データ作成装置の特徴量抽出部１０４によって抽出され、特徴量蓄積部１０２に蓄積された特徴量と同一の特徴量を抽出する。

次に、距離算出部１０７は、特徴量抽出部１０６から検索キー画像特徴量を入力すると、この特徴量の種別に対応する蓄積特徴量を特徴量蓄積部１０２に要求する。続いて、距離算出部１０７は、上記要求に応じて特徴量蓄積部１０２から読み出された蓄積特徴量と検索キー画像特徴量とのキー間特徴量距離を算出する（ステップＳＴ３ａ）。ここでは、ｍ枚の蓄積画像とｎ個の特徴量があるため、（ｍ×ｎ）個のキー間特徴量距離が算出される。

図５は、特徴量毎の蓄積画像とキー間特徴量距離の一例を示す図であり、特徴量がＡ，Ｂ，Ｃ，Ｄのｎ＝４である場合を示している。図５において、例えば蓄積画像１の特徴量Ａと検索キー画像の特徴量Ａとのキー間特徴量距離は、０．４３６０２６であり、蓄積画像２の特徴量Ｂと検索キー画像の特徴量Ｂとのキー間特徴量距離は、０．１１２９４７である。このような特徴量間の距離算出方法は、特徴量ごと（特徴量の種別ごと）に様々ある。前述のＥｄｇｅ Ｈｉｓｔｏｇｒａｍでは、参考文献１に記載されるように各ヒストグラムビンの差分絶対値和を用いて特徴量距離を算出する。

続いて、距離解析部１０８は、距離算出部１０７で算出されたキー間特徴量距離を解析して、画像検索に有効な特徴量を選択する（ステップＳＴ４ａ）。特徴量距離の解析方法としては、例えば特徴量距離毎に分布関数を求め、この分布関数の特性を示す解析値として平均と分散を用いる方法が挙げられる。図５の場合、特徴量Ａ〜Ｄについて、各蓄積画像１，２，・・・，ｍに対するそのキー間特徴量距離の分布関数がそれぞれ求められる。

検索キー画像とそれ以外の大量の蓄積画像とのそれぞれの特徴量距離が正の値（前述のテクスチャ記述子のＥｄｇｅ Ｈｉｓｔｏｇｒａｍでは、各変量のＬ１ノルム和を用いることが多く、必ず正の値になる）である場合、キー間特徴量距離は対数正規分布になると考えられる。この対数正規分布での平均値が高いということは、キー間特徴量距離が大きいことを意味するので、検索キー画像に類似する画像が少ないということになる。

一方、平均値が低い場合、キー間特徴量距離が小さいので、検索キー画像に類似する画像が多いということになる。また、キー間特徴量距離の対数正規分布における分散値が低い場合、対数正規分布関数の平均値付近で多くのデータ（ここでは、キー間特徴量距離）が集中していることを意味する。

従って、ある特徴量の対数正規分布においてキー間特徴量距離の平均値が非常に高くかつ分散値も高い場合、この対数正規分布に対応する特徴量は、検索キー画像に類似しない画像の特徴に対応するものであり、画像検索に有効でない。反対に、ある特徴量の対数正規分布においてキー間特徴量距離の平均値が低くかつ分散値も低い場合、この対数正規分布に対応する特徴量は、検索キー画像に類似する画像の特徴に対応する。この特徴量は、大量の蓄積画像から検索キー画像に類似しない蓄積画像をより多く振るい落とす特徴量であると考えられ、画像検索に有効な特徴量であると言える。

距離解析部１０８では、キー間特徴量距離の対数正規分布関数を特徴量毎に求め、これら分布関数の特性を示す解析値である平均値及び分散値をそれぞれ算出する。そして、分布関数ごとの平均値及び分散値をそれぞれ比較して、キー間特徴量距離が最も小さい場合に対応する平均値及び分散値の最小値が得られた分布関数の特徴量を、画像検索に最も有効な特徴量として選択する。

また、距離解析部１０８は、最も有効な特徴量が得られた分布関数の平均値及び分散値の次に低い平均値及び分散値が得られた分布関数の特徴量を２番目に有効な特徴量とし、この次に低い平均値及び分散値が得られた分布関数の特徴量を３番目に有効な特徴量とする。このようにして、距離解析部１０８は、画像検索に有効な特徴量として選択された特徴量に対して有効な順に順位を付けて距離解析結果とする。

なお、距離解析部１０８による特徴量距離解析（有効な特徴量の選別）については、上述した分布関数を使う以外の方法を用いても構わない。

検索実行部１０９は、距離解析部１０８から距離解析結果として選別された画像検索に有効な特徴量を指定する情報を入力すると、この画像検索に有効な特徴量の主成分データを主成分蓄積部１０３に要求すると共に、この画像検索に有効な特徴量を特徴量蓄積部１０２に要求する。続いて、検索実行部１０９は、上記要求に応じて主成分蓄積部１０３から読み出された画像検索に有効な特徴量の主成分データを入力し、上記要求に応じて特徴量蓄積部１０２から読み出された画像検索に有効な特徴量を入力して、これらデータを利用して実際に検索キー画像に類似する画像を検索する（ステップＳＴ５ａ）。

図６は、特徴量の主成分データを用いた２次元の特徴量空間で画像検索した結果を示す図であり、特徴量の第１主成分Ｚ₁を横軸、第２主成分Ｚ₂を縦軸としている。また、図６において、白丸記号は、検索キー画像の特徴量の主成分値を示しており、黒丸記号は、主成分蓄積部１０３から読み出した画像検索に有効な特徴量の主成分値を示している。

検索実行部１０９は、図６に示すように、画像検索に有効な特徴量の第１主成分Ｚ₁及び第２主成分Ｚ₂を用いた２次元の特徴量空間において、蓄積画像の特徴量と、検索キー画像のマッピングを行う。このようにして得られた２次元の検索空間において、検索実行部１０９は、検索キー画像のポイントから距離ｄ_thの範囲内の画像を検索キー画像に類似する画像と判定し、検索結果として検索結果表示部１１０に出力する。図６の例では、５つの蓄積画像が検索キー画像に類似する画像と判定されている。

また、図６では、予め設定されたｄ_thで規定される範囲内の画像を検索したが、検索キー画像に類似する画像として抽出する画像の枚数ｊを予め決めておくことで、ｄ_thで規定される抽出範囲を徐々に変更してもよい。

さらに、特徴量の主成分データを用いた特徴量空間は、下記のように構築してもよい。
図７は、特徴量の主成分データを用いた２次元の特徴量空間で画像検索した結果を示す図であり、最も有効な特徴量の第１主成分を横軸、次点（２番目）に有効な特徴量の第１主成分を縦軸としている。また、図７において、白丸記号は、検索キー画像の特徴量の主成分値を示しており、黒丸記号は、主成分蓄積部１０３から読み出した画像検索に有効な特徴量の主成分値を示している。

検索実行部１０９は、図７に示すように画像検索に最も有効な特徴量の第１主成分及び２番目に有効な特徴量の第１主成分を用いた２次元の特徴量空間において、蓄積画像の特徴量と、検索キー画像のマッピングを行う。このようにして得られた２次元の特徴量空間で、検索実行部１０９は、図６と同様に、検索キー画像のポイントから距離ｄ_thの範囲内の画像を検索キー画像に類似する画像と判定してもよく、枚数を決めて検索キー画像に類似する画像を判定してもよい。

また、検索実行部１０９は、予め複数個の特徴量の主成分分析を行っている場合、それを利用しても良い。
さらに、検索実行部１０９は、画像検索に有効な特徴量の主成分を用いた３次元空間あるいは多次元空間の検索空間を構築して画像検索を行ってもよい。

検索結果表示部１１０は、検索実行部１０９から検索結果の画像を指定する情報を入力すると、この情報で指定された画像を画像蓄積部１０１に要求する。次に、検索結果表示部１１０は、上記要求に応じて画像蓄積部１０１から読み出された画像データを入力し、表示画面上に表示する（ステップＳＴ６ａ）。検索結果の画像を表示する場合、検索に使用した特徴量空間とともに表示するようにしてもよい。

例えば、図６に示した２次元の特徴量空間に検索キー画像及びこれに類似する画像の各特徴量の主成分に相当するポイントに画像のサムネイルを配置する。また、蓄積画像の特徴量と検索キー画像をマッピングした特徴量空間が３次元であれば、３次元の特徴量空間に画像をサムネイル表示してもよい。

以上のように、この実施の形態１によれば、検索対象の画像を蓄積する画像蓄積部１０１と、検索対象の画像の特徴量を蓄積する特徴量蓄積部１０２と、検索対象の画像の特徴量の主成分分析結果を蓄積する主成分蓄積部１０３と、検索キー画像から特徴量を抽出する特徴量抽出部１０６と、特徴量蓄積部１０２に蓄積された検索対象の画像の特徴量と検索キー画像の特徴量との距離を算出する距離算出部１０７と、距離算出部１０７で算出された距離を解析して、検索キー画像に類似した特徴を与える検索対象の画像の特徴量を画像検索に有効な特徴量として選別する距離解析部１０８と、画像検索に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に検索対象の画像を配置し、この特徴量空間内から検索キー画像に類似する画像を検索する検索実行部１０９とを備えるので、画像検索に有効な特徴量が選別されることから、画像検索の精度を高めることができる。

また、この実施の形態１によれば、検索実行部１０９の検索結果を特徴量空間内に配置して表示画面上に表示する検索結果表示部１１０を備えたので、検索キー画像に類似した画像を整理された形で閲覧することが可能である。

さらに、この実施の形態１によれば、距離解析部１０８が、検索キー画像に類似する度合いに応じて画像検索に有効な特徴量に対して有効さの順位付けを行い、検索実行部１０９が、距離解析部１０８により順位付けられた画像検索に有効な特徴量を用いて検索キー画像に類似する画像を検索するので、有効さの順位に応じて様々な画像検索結果を得ることができる。

実施の形態２．
図８は、この発明の実施の形態２による画像検索装置の構成を示すブロック図である。図８において、実施の形態２による画像検索装置は、上記実施の形態１の図３で示した画像蓄積部１０１、特徴量蓄積部１０２、主成分蓄積部１０３、特徴量抽出部１０６、距離算出部１０７、距離解析部１０８及び検索結果表示部１１０に加え、検索実行部１１１及びユーザ入力部１１２を備える。検索実行部１１１は、距離解析部１０８で選択された有効な特徴量の主成分データを利用して検索キー画像に類似する画像を検索するとともに、ユーザ入力部１１２を通じて入力されたユーザ要求に応じた画像検索を実行する。

ユーザ入力部１１２は、ユーザが装置外部から情報の入力や選択設定を行うための構成要素であり、実施の形態２による画像検索装置として機能するコンピュータが実行するソフトウエアとディスプレイやマイク等のハードウェアとが協働した具体的な手段として実現される。例えば、リモコン操作に連動する設定画面をディスプレイに表示して情報の入力や選択等の操作のためのＧＵＩ（Graphical User Interface）を提供する。なお、図８において、図３と同一構成要素には同一符号を付して説明を省略する。

次に動作について説明する。
図９は、図８中の画像検索装置による検索処理の流れを示すフローチャートであり、図８及び図９を用いて処理の詳細を説明する。
先ず、検索キー画像を入力して検索結果を最初に表示画面上に表示する、ステップＳＴ１ｂからステップＳＴ６ｂまでの処理は、上記実施の形態１で示した図４のステップＳＴ１ａからステップＳＴ６ａまでの処理と同様である。ステップＳＴ６ｂの処理で検索結果が表示されている間、検索実行部１１１は、ユーザ入力部１１２を介してユーザ要求の受け付け状態に移行する。

ユーザは、ステップＳＴ６ｂで検索結果表示部１１０によって表示画面上に表示された検索結果を確認する。このとき、意図する結果であれば、ユーザは、ユーザ入力部１１２を用いて意図する結果である旨をユーザ要求として入力し、意図するものと異なる場合、その旨をユーザ入力部１１２を用いてユーザ要求として入力する。

検索実行部１１１は、ユーザ入力部１１２を介して入力されたユーザ要求が、検索結果が意図するものであることを示しているか、意図とは異なるものであることを示しているかを判定する（ステップＳＴ７ｂ）。ここで、ユーザ要求が、検索結果が意図するものであることを示している場合、意図する画像検索が実行されたものとして処理を終了する。

一方、意図とは異なるものであることを示している場合、検索実行部１１１は、前回の画像検索で利用した特徴量の次に有効な特徴量（次点の特徴量）の主成分データを主成分蓄積部１０３に要求すると共に、この特徴量を特徴量蓄積部１０２に要求する。この後、検索実行部１１１は、上記要求に応じて主成分蓄積部１０３から読み出された次点の特徴量の主成分データを入力し、上記要求に応じて特徴量蓄積部１０２から読み出された上記次点の特徴量を入力する（ステップＳＴ８ｂ）。

続いて、検索実行部１１１は、ステップＳＴ５ｂに戻り、ステップＳＴ８ｂで入力した次点の特徴量及びその主成分データを利用して実際に検索キー画像に類似する画像を検索する。検索の実行手順は、利用するデータが次点の特徴量及びその主成分データである場合を除き、上記実施の形態１と同様である。このようにして、この実施の形態２では、ユーザが意図する検索結果が得られるまで、上記処理が繰り返される。

なお、ユーザ要求としては、どの程度意図と異なるか、あるいはどのような意図かを具体的に入力してもよい。例えば、検索結果がユーザの意図と全く異なる場合、その旨をユーザ要求として入力することで、検索実行部１１１は、最も有効である特徴量が色に関するものであり、次点も色に関する特徴量である場合、同一の特徴量で次点のものでは同様の検索結果が得られるであろうことを考慮して次点の特徴量を飛ばし、３番目に有効な特徴量を利用するようにしてもよい。

ユーザの意図とどの程度異なるのかを、例えば大中小のように設定することにより、検索実行部１１１は、特徴量を有効な順で利用して画像検索を実行する。また、ユーザ要求でどのような意図であるかを示す場合としては、ユーザ要求で特定の特徴量を指定することが考えられる。例えば、検索キー画像に類似する画像のうち、色に関する特徴量が類似する画像を検索したい場合、ユーザ要求で色に関する特徴量を指定する。これにより、検索実行部１１１は、色に関する特徴量を有効な順で利用して画像を検索する。

また、画像検索に用いる特徴量空間の各座標軸にそれぞれ異なる種別の特徴量が設定されている場合、ユーザ要求によって上記座標軸のいずれかの座標軸に設定している特徴量を変更（例えば、いずれかの座標軸の主成分データを変更する若しくは特徴量の種別自体を変更する等）するようにしてもよい。

以上のように、この実施の形態２によれば、装置外部から情報を入力するためのユーザ入力部１１２を備え、検索実行部１１１が、ユーザ入力部１１２から入力された情報に応じて画像検索に有効な特徴量を変更するので、ユーザの意図をフィードバックした特徴量を用いて画像検索することができ、よりユーザの意図に即した検索結果の提示が可能となる。

実施の形態３．
図１０は、この発明の実施の形態３による画像分類装置の構成を示すブロック図である。以降では、実施の形態３の画像分類装置によって大量の画像データを自動的に分類する場合を示す。この実施の形態３による画像分類装置は、画像蓄積部１０１、特徴量蓄積部１０２、特徴量抽出部１０６、距離算出部１１３、距離解析部１１４、特徴量分析部１１５、クラスタリング実行部１１６及び分類結果表示部１１７を備える。画像蓄積部１０１及び特徴量蓄積部１０２については上記実施の形態１と同様であるので説明を省略する。

特徴量抽出部１０６は、装置外部から入力された画像データの特徴量を抽出する。この特徴量としては、例えば色ヒストグラム、色の大まかな配置、周波数成分、テクスチャ及びその配置、画像内のオブジェクトの形状などがある。また、特徴量の例としては、前述したＥｄｇｅ Ｈｉｓｔｏｇｒａｍが挙げられる。

距離算出部１１３は、特徴量抽出部１０６で抽出された各画像の特徴量間の距離（以下、特徴量距離と呼ぶ）を算出する。ここで、特徴量距離が小さくなるにつれて、その特徴量を与える蓄積画像は互いに類似し、特徴量距離が大きくなるにつれて、その蓄積画像は互いに類似しなくなる。

距離解析部１１４は、装置内に入力された蓄積画像間の特徴量距離をそれぞれ解析して画像分類に有効な特徴量を選択する。画像分類に有効な特徴量とは、複数の蓄積画像においてより多くの画像を分類できる特徴量であり、複数の蓄積画像間で類似した特徴を与える特徴量である。例えば、蓄積画像間の特徴量距離の分布関数を特徴量毎に求め、これら分布関数の特性を示す解析値をそれぞれ算出し、これら解析値をそれぞれ比較して特徴量距離が最も小さい場合に対応する解析値が得られた分布関数の特徴量を画像分類に最も有効な特徴量として選択する。

また、距離解析部１１４は、最も有効な特徴量の次に特徴量距離が小さい場合に対応する解析値が得られた分布関数の特徴量を２番目に有効な特徴量とし、その次に小さい場合に対応する解析値が得られた分布関数の特徴量を３番目に有効な特徴量とする。このように、画像分類に有効な特徴量として選別された特徴量に対し、蓄積画像間での類似度合いに応じて有効な順に順位を付けて距離解析結果とする。

特徴量分析部１１５は、距離解析の結果で画像分類に有効と判断された特徴量の主成分分析を行う。なお、主成分分析は、上記実施の形態１と同様に、多変量の測定値が得られたとき、線形変換によって変量間の相関をなくし、より少ない変量によって対象の特徴を記述しようとする手法である。

クラスタリング実行部１１６は、画像分類に有効な特徴量及びその主成分データを利用して画像を分類する。分類結果表示部１１７は、クラスタリング実行部１１６による分類結果や画像蓄積部１０１から読み出された蓄積画像データを表示画面上に表示する。

上述した特徴量抽出部１０６、距離算出部１１３、距離解析部１１４、特徴量分析部１１５、クラスタリング実行部１１６及び分類結果表示部１１７は、本発明の趣旨に従う画像分類用プログラムを、コンピュータに読み込ませてその動作を制御することにより、当該コンピュータ上にソフトウエアとハードウェアが協働した具体的な手段として実現することができる。

また、画像蓄積部１０１及び特徴量蓄積部１０２は、上記コンピュータに搭載された記憶装置の記憶領域上に構築してもよく、特徴量抽出部１０６、距離算出部１１３、特徴量分析部１１５及び分類結果表示部１１７からデータ通信可能な外部データサーバの記憶装置の記憶領域上に構築してもよい。

次に動作について説明する。
図１１は、図１０中の画像分類装置による画像分類処理の流れを示すフローチャートであり、図１０及び図１１を用いて処理の詳細を説明する。
先ず、装置外部から入力された分類対象の画像データは、画像蓄積部１０１に入力される。ここでは、例えばｍ枚の画像のデータが入力されたものとする。このとき、同時に、特徴量抽出部１０６は、画像蓄積部１０１に蓄積される画像データを入力し（ステップＳＴ１ｃ）、これら画像データの特徴量を抽出する（ステップＳＴ２ｃ）。

特徴量抽出部１０６は、上記画像データから抽出した特徴量を特徴量蓄積部１０２に蓄積する。なお、上記分類対象の画像データとその特徴量とが関連付けられて特徴量蓄積部１０２に蓄積される。また、以降では、画像蓄積部１０１に蓄積された分類対象の画像データを蓄積画像と呼び、特徴量蓄積部１０２に蓄積された上記蓄積画像の特徴量を蓄積特徴量と適宜呼ぶこととする。

ステップＳＴ２ｃにおいて、特徴量抽出部１０６は、様々なユーザの意図に対応するために、上記蓄積画像から複数の特徴量を算出する。ここでは、ｎ個の特徴量を抽出することとする。ここで抽出された特徴量は、画像蓄積部１０１の蓄積画像データと関連付けられて特徴量蓄積部１０２に蓄積される。

次に、距離算出部１１３は、特徴量抽出部１０６により抽出された蓄積画像間の特徴量を特徴量蓄積部１０２に要求する。続いて、距離算出部１１３は、上記要求に応じて特徴量蓄積部１０２から読み出された蓄積画像間の特徴量距離を算出する（ステップＳＴ３ｃ）。ここでは、ｍ枚の蓄積画像とｎ個の特徴量があるため、下記式（３）に示すＣ個の距離が算出される。

続いて、距離解析部１１４は、距離算出部１１３で算出された各蓄積画像間の特徴量距離をそれぞれ解析して、画像分類に有効な特徴量を選択する（ステップＳＴ４ｃ）。特徴量距離の解析方法としては、上記実施の形態１と同様に特徴量距離毎に分布関数を求め、この分布関数の特性を示す解析値として平均と分散を用いる方法が挙げられる。

例えば、ある蓄積画像とその他の蓄積画像との特徴量距離の対数正規分布関数を特徴量毎に求め、これら分布関数の特性を示す解析値である平均値及び分散値をそれぞれ算出する。そして、分布関数ごとの平均値及び分散値をそれぞれ比較して、特徴量距離が最も小さい場合に対応する平均値及び分散値の最小値が得られた分布関数の特徴量を、上記ある蓄積画像において画像分類に最も有効な特徴量として選択する。

距離解析部１１４は、ステップＳＴ３ｃ及びステップＳＴ４ｃの画像分類に最も有効な特徴量を得る作業を蓄積画像の枚数分、つまりｍ枚の画像であればｍ回繰り返す（ステップＳＴ５ｃ）。このようしてｍ枚の蓄積画像それぞれについて画像分類に最も有効な特徴量が得られる。

全ての蓄積画像について距離解析が完了すると、画像分類に有効な特徴量として何度も選ばれている特徴量と、そうでない特徴量とが選別される。例えば、色ヒストグラムの特徴量は最も有効な特徴量に何度も選ばれているが、テクスチャの配置に関する特徴量は全く選ばれない場合が発生する。この場合、色ヒストグラムは、全ての蓄積画像データから所定の蓄積画像を分類するのに有効であるが、テクスチャの配置に関する特徴量は画像分類に有効でない。

そこで、距離解析部１１４は、例えば画像分類に最も有効な特徴量として選ばれている頻度に応じてどの特徴量が有効であるかの順位付けを行い、その順位ごとに重みをつけて足すことにより画像分類に有効な特徴量を決定する。このようにして選択された画像分類に有効な特徴量を指定する情報は、距離解析結果として距離解析部１１４から特徴量分析部１１５へ出力される。なお、距離解析結果として指定される有効な特徴量は、一つでも複数でも良い。

特徴量分析部１１５では、距離解析部１１４から距離解析結果として選別された画像分類に有効な特徴量を指定する情報を入力すると、この特徴量を特徴量蓄積部１０２に要求する。この後、特徴量分析部１１５は、上記要求に応じて特徴量蓄積部１０２から読み出された画像分類に有効な特徴量を入力し、この特徴量を主成分分析する（ステップＳＴ６ｃ）。主成分分析の結果は、特徴量分析部１１５からクラスタリング実行部１１６へ出力される。

特に、画像分類に有効な特徴量が２つ若しくは３つ指定されている場合、それぞれの特徴量毎に主成分分析を行い、それぞれの第１主成分を後にクラスタリングを行う際の次元軸に用いてもよい。また、複数の有効な特徴量の全てを利用して、主成分分析を行ってもよい。

クラスタリング実行部１１６は、画像分類に有効な特徴量の主成分分析結果を入力すると、特徴量分析部１１５に対して特徴量蓄積部１０２に蓄積される全蓄積画像の特徴量の主成分分析を実行させ、その結果を取得する。この後、クラスタリング実行部１１６は、画像分類に有効な特徴量の主成分を座標軸とする特徴量空間を構築し、この特徴量空間で蓄積画像の主成分のクラスタリングを実行する（ステップＳＴ７ｃ）。クラスタリング方法としては、ｋ平均法などを利用する。なお、クラスタリング方法は、上述のｋ平均法を利用してもよく、他の方法を利用してもよい。

図１２は、画像分類に有効な特徴量の主成分データを用いた２次元の特徴量空間で画像分類した結果を示す図であり、特徴量の第１主成分Ｚ₁を横軸、第２主成分Ｚ₂を縦軸としている。また、黒丸記号は、分類された蓄積画像の特徴量の主成分値を示している。図１２の例では、５つのクラスタに画像が分類されている。

分類結果表示部１１７は、クラスタリング実行部１１６からクラスタリング結果を入力すると、これにより分類された画像を画像蓄積部１０１に要求する。次に、分類結果表示部１１７は、上記要求に応じて画像蓄積部１０１から読み出された画像データを入力し、表示画面上に表示する（ステップＳＴ８ｃ）。分類結果の画像を表示する場合、分類に使用した特徴量空間とともに表示するようにしてもよい。

例えば、図１２に示した２次元の特徴量空間上の各蓄積画像の特徴量の主成分に相当するポイントに当該画像のサムネイルを配置する。また、分類に利用した特徴量空間が３次元であれば、３次元の特徴量空間上に画像をサムネイル表示してもよい。

以上のように、この実施の形態３によれば、複数の分類対象の画像から特徴量を抽出する特徴量抽出部１０６と、複数の分類対象の画像間の特徴量の距離を算出する距離算出部１１３と、距離算出部１１３で算出された距離を解析して、複数の分類対象の画像間で類似した特徴を与える特徴量を画像分類に有効な特徴量として選別する距離解析部１１４と、画像分類に有効な特徴量の主成分分析を行う特徴量分析部１１５と、画像分類に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に分類対象の画像を配置し、この特徴量空間内で分類対象の画像をクラスタリングして分類するクラスタリング実行部１１６とを備えるので、蓄積画像データ中から画像分類に有効な特徴量を取得し、この有効な特徴量を用いて構築した特徴量空間で蓄積画像をクラスタリングすることから、画像の分類を効果的に行うことが可能となる。

また、この実施の形態３によれば、クラスタリング実行部１１６の分類結果を特徴量空間内に配置して表示画面上に表示する分類結果表示部１１７を備えたので、蓄積画像の分類結果を整理された形で閲覧することが可能である。

さらに、この実施の形態３によれば、距離解析部１１４が、複数の分類対象の画像間で類似する度合いに応じて画像分類に有効な特徴量に対して有効さの順位付けを行い、クラスタリング実行部１１６が、距離解析部１１４により順位付けられた画像分類に有効な特徴量を用いて分類対象の画像を分類するので、有効さの順位に応じて様々な画像分類結果を得ることができる。

実施の形態４．
図１３は、この発明の実施の形態４による画像分類装置の構成を示すブロック図である。図１３において、実施の形態４による画像分類装置は、画像蓄積部１０１、特徴量抽出部１０６、分類データ蓄積部１１８、画像分類部１１９及び分類結果表示部１２０を備える。画像蓄積部１０１は、既に分類された画像データを蓄積する記憶部である。分類データ蓄積部１１８は、画像蓄積部１０１に蓄積される蓄積画像の分類データを記憶する記憶部である。ここで、分類データとは、蓄積画像の分類先を規定するデータであり、例えば実施の形態３で示した図１２中の特徴量空間の次元軸を特定する数値データなどが考えられる。

特徴量抽出部１０６は、装置外部から入力された画像データの特徴量を抽出する。この特徴量としては、例えば色ヒストグラム、色の大まかな配置、周波数成分、テクスチャ及びその配置、画像内のオブジェクトの形状などがある。また、特徴量の例としては、前述したＥｄｇｅ Ｈｉｓｔｏｇｒａｍが挙げられる。

画像分類部１１９は、装置外部から新たに入力された画像データを、その特徴量及び分類データを用いて、いずれかの分類先へ分類する。分類結果表示部１２０は、画像分類部１１９による分類結果や画像蓄積部１０１から読み出された蓄積画像データを表示画面上に表示する。

上述した特徴量抽出部１０６、画像分類部１１９及び分類結果表示部１２０は、本発明の趣旨に従う画像分類用プログラムを、コンピュータに読み込ませてその動作を制御することにより、当該コンピュータ上にソフトウエアとハードウェアが協働した具体的な手段として実現することができる。

また、画像蓄積部１０１及び分類データ蓄積部１１８は、上記コンピュータに搭載された記憶装置の記憶領域上に構築してもよく、画像分類部１１９及び分類結果表示部１２０からデータ通信可能な外部データサーバの記憶装置の記憶領域上に構築してもよい。

次に動作について説明する。
図１４は、図１３中の画像分類装置による画像分類処理の流れを示すフローチャートであり、図１３及び図１４を用いて詳細に説明する。なお、以降では、画像蓄積部１０１の蓄積画像が上記実施の形態３の画像分類装置によって予め分類されており、その分類データが分類データ蓄積部１１８に蓄積されているものとする。また、分類データとしては、上記実施の形態３で示した画像分類に有効な特徴量の主成分を用いた特徴量空間の次元軸を特定する数値データである。

先ず、特徴量抽出部１０６は、装置外部から画像データを入力（ステップＳＴ１ｄ）し、この画像データから特徴量を抽出する（ステップＳＴ２ｄ）。抽出された特徴量及びその画像データに関する情報は、特徴量抽出部１０６から画像分類部１１９へ出力される。画像分類部１１９は、新たに入力された画像データの特徴量を取得すると、分類データ蓄積部１１８に対して上記画像データの特徴量に対応する分類データを要求する。

この後、画像分類部１１９は、上記要求に応じて分類データ蓄積部１１８から読み出された分類データを取得すると、この分類データで特定される次元軸を有する特徴量空間を構築し、新たに入力された画像データの特徴量に基づいて、この画像データが上記特徴量空間のどこに位置するのかを算出する。画像分類部１１９は、このようにして算出された画像の位置から、新たに入力された画像がどのクラスタに属するかを判定し、分類を実行する（ステップＳＴ３ｄ）。

分類結果表示部１２０は、画像分類部１１９から分類結果を入力すると、新たに入力された画像データと同じ分類先の蓄積画像を画像蓄積部１０１に要求する。次に、分類結果表示部１２０は、上記要求に応じて画像蓄積部１０１から読み出された画像データを入力し、新たに入力された画像とともに表示画面上に表示する（ステップＳＴ４ｄ）。なお、分類結果の画像を表示する場合、分類データを用いて分類に使用した特徴量空間とともに表示するようにしてもよい。

以上のように、この実施の形態４によれば、入力画像から特徴量を抽出する特徴量抽出部１０６と、上記実施の形態３で示した画像分類装置の画像分類で得られる、画像分類に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間を規定する分類データを蓄積する分類データ蓄積部１１８と、入力画像の特徴量を用いて分類データで規定される特徴量空間内の入力画像の位置を判定し、この判定結果に応じて入力画像を分類する画像分類部１１９とを備えるので、新たに入力された画像を、予め分類されたデータを用いて簡単に分類することができる。

また、この実施の形態４によれば、画像分類部１１９の分類結果を、分類データで規定される特徴量空間内に配置して表示画面上に表示する分類結果表示部１２０を備えるので、入力画像の分類結果を整理された形で閲覧することが可能である。

なお、上記実施の形態１〜４で示した本発明の検索分類による結果は、例えばＷｅｂページの有効性の判定などにも利用可能である。具体的には、何らかの統計データを調べたい場合に、そのページ内の画像にグラフが含まれているかどうかを、本発明を用いて判定する。これにより、ユーザが、所望のＷｅｂページをより容易に検索することができる。

以上のように、この発明に係る画像検索装置は、検索対象の画像を蓄積する画像蓄積部と、検索対象の画像の特徴量を蓄積する特徴量蓄積部と、検索対象の画像の特徴量の主成分分析結果を蓄積する主成分蓄積部と、検索キーとなる画像から特徴量を抽出する特徴量抽出部と、特徴量蓄積部に蓄積された検索対象の画像の特徴量と検索キーとなる画像の特徴量との距離を算出する距離算出部と、距離算出部で算出された距離を解析して、検索キーとなる画像に類似した特徴を与える検索対象の画像の特徴量を画像検索に有効な特徴量として選別する距離解析部と、画像検索に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に検索対象の画像を配置し、この特徴量空間内から検索キーとなる画像に類似する画像を検索する検索実行部とを備えるように構成したので、検索対象の画像から抽出した特徴量から画像検索に有効な特徴量を選別し、この特徴量の主成分分析結果を用いて構築された特徴量空間で画像検索を実行することから、ユーザの意図する検索結果を的確かつ迅速に得ることができ、画像検索装置として機能するコンピュータなどに用いるのに適している。

Claims (18)

1. 検索対象の画像を蓄積する画像蓄積部と、
   前記検索対象の画像の特徴量を蓄積する特徴量蓄積部と、
   前記検索対象の画像の特徴量の主成分分析結果を蓄積する主成分蓄積部と、
   検索キーとなる画像から特徴量を抽出する特徴量抽出部と、
   前記特徴量蓄積部に蓄積された前記検索対象の画像の特徴量と前記検索キーとなる画像の特徴量との距離を算出する距離算出部と、
   前記距離算出部で算出された距離を解析して、前記検索キーとなる画像に類似した特徴を与える前記検索対象の画像の特徴量を画像検索に有効な特徴量として選別する距離解析部と、
   前記画像検索に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に前記検索対象の画像を配置し、この特徴量空間内から前記検索キーとなる画像に類似する画像を検索する検索実行部とを備えた画像検索装置。
2. 検索実行部の検索結果を特徴量空間内に配置して表示画面上に表示する検索結果表示部を備えたことを特徴とする請求項１記載の画像検索装置。
3. 距離解析部は、検索キーとなる画像に類似する度合いに応じて画像検索に有効な特徴量に対して有効さの順位付けを行い、
   検索実行部は、前記距離解析部により順位付けられた画像検索に有効な特徴量を用いて前記検索キーとなる画像に類似する画像を検索することを特徴とする請求項１記載の画像検索装置。
4. 装置外部から情報を入力するための入力部を備え、
   検索実行部は、前記入力部から入力された情報に応じて画像検索に有効な特徴量を変更することを特徴とする請求項１記載の画像検索装置。
5. 検索実行部は、画像検索に有効な特徴量の主成分分析結果のうちの第１主成分を座標軸に設定した特徴量空間を用いて画像検索することを特徴とする請求項１記載の画像検索装置。
6. 複数の分類対象の画像から特徴量を抽出する特徴量抽出部と、
   前記複数の分類対象の画像間の特徴量の距離を算出する距離算出部と、
   前記距離算出部で算出された距離を解析して、前記複数の分類対象の画像間で類似した特徴を与える特徴量を画像分類に有効な特徴量として選別する距離解析部と、
   前記画像分類に有効な特徴量の主成分分析を行う特徴量分析部と、
   前記画像分類に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に前記分類対象の画像を配置し、この特徴量空間内で前記分類対象の画像をクラスタリングして分類するクラスタリング実行部とを備えた画像分類装置。
7. クラスタリング実行部の分類結果を特徴量空間内に配置して表示画面上に表示する分類結果表示部を備えたことを特徴とする請求項６記載の画像分類装置。
8. 距離解析部は、複数の分類対象の画像間で類似する度合いに応じて画像分類に有効な特徴量に対して有効さの順位付けを行い、
   クラスタリング実行部は、前記距離解析部により順位付けられた画像分類に有効な特徴量を用いて前記分類対象の画像を分類することを特徴とする請求項６記載の画像分類装置。
9. クラスタリング実行部は、画像分類に有効な特徴量の主成分分析結果のうちの第１主成分を座標軸に設定した特徴量空間を用いて画像分類することを特徴とする請求項６記載の画像分類装置。
10. 入力画像から特徴量を抽出する特徴量抽出部と、
    請求項６記載の画像分類装置の画像分類で得られる、画像分類に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間を規定する分類データを蓄積する分類データ蓄積部と、
    前記入力画像の特徴量を用いて前記分類データで規定される特徴量空間内の前記入力画像の位置を判定し、この判定結果に応じて前記入力画像を分類する画像分類部とを備えた画像分類装置。
11. 画像分類部の分類結果を特徴量空間内に配置して表示画面上に表示する分類結果表示部を備えたことを特徴とする請求項１０記載の画像分類装置。
12. 請求項１記載の画像検索装置による画像検索方法において、
    特徴量抽出部が、検索キーとなる画像から特徴量を抽出するステップと、
    距離算出部が、検索対象の画像の特徴量と前記検索キーとなる画像の特徴量との距離を算出するステップと、
    距離解析部が、前記距離算出部で算出された距離を解析して前記検索キーとなる画像に類似した特徴を与える前記検索対象の画像の特徴量を画像検索に有効な特徴量として選別するステップと、
    検索実行部が、前記画像検索に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に前記検索対象の画像を配置し、この特徴量空間内から前記検索キーとなる画像に類似する画像を検索するステップとを備えたことを特徴とする画像検索方法。
13. 検索結果表示部が、検索実行部の検索結果を特徴量空間内に配置して表示画面上に表示するステップを備えたことを特徴とする請求項１２記載の画像検索方法。
14. 請求項６記載の画像分類装置による画像分類方法において、
    特徴量抽出部が、複数の分類対象の画像から特徴量を抽出するステップと、
    距離算出部が、前記複数の分類対象の画像間の特徴量の距離を算出するステップと、
    距離解析部が、前記距離算出部で算出された距離を解析して前記複数の分類対象の画像間で類似した特徴を与える特徴量を画像分類に有効な特徴量として選別するステップと、
    特徴量分析部が、前記画像分類に有効な特徴量の主成分分析を行うステップと、
    クラスタリング実行部が、前記画像分類に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に前記分類対象の画像を配置し、この特徴量空間内で前記分類対象の画像をクラスタリングして分類するステップとを備えたことを特徴とする画像分類方法。
15. 分類結果表示部が、クラスタリング実行部の分類結果を特徴量空間内に配置して表示画面上に表示するステップを備えたことを特徴とする請求項１４記載の画像分類方法。
16. 検索対象の画像を蓄積する画像蓄積部、
    前記検索対象の画像の特徴量を蓄積する特徴量蓄積部、
    前記検索対象の画像の特徴量の主成分分析結果を蓄積する主成分蓄積部、
    検索キーとなる画像の特徴量を抽出する特徴量抽出部、
    前記特徴量蓄積部に蓄積された前記検索対象の画像の特徴量と前記検索キーとなる画像の特徴量との距離を算出する距離算出部、
    前記距離算出部で算出された距離を解析して、前記検索キーとなる画像に類似した特徴を与える前記検索対象の画像の特徴量を画像検索に有効な特徴量として選別する距離解析部、
    前記画像検索に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に前記検索対象の画像を配置し、この特徴量空間内から前記検索キーとなる画像に類似する画像を検索する検索実行部としてコンピュータを機能させるプログラム。
17. 複数の分類対象の画像から特徴量を抽出する特徴量抽出部、
    前記複数の分類対象の画像間の特徴量の距離を算出する距離算出部、
    前記距離算出部で算出された距離を解析して、前記複数の分類対象の画像間で類似した特徴を与える特徴量を画像分類に有効な特徴量として選別する距離解析部、
    前記画像分類に有効な特徴量の主成分分析を行う特徴量分析部、
    前記画像分類に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間に前記分類対象の画像を配置し、この特徴量空間内で前記分類対象の画像をクラスタリングして分類するクラスタリング実行部としてコンピュータを機能させるプログラム。
18. 入力画像から特徴量を抽出する特徴量抽出部、
    請求項６記載の画像分類装置の画像分類で得られる、画像分類に有効な特徴量の主成分分析結果を座標軸に設定した特徴量空間を規定する分類データを蓄積する分類データ蓄積部、
    前記入力画像の特徴量を用いて前記分類データで規定される特徴量空間内の前記入力画像の位置を判定し、この判定結果に応じて前記入力画像を分類する画像分類部としてコンピュータを機能させるプログラム。

Images