JP4949996B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、画像を表示する際の配置データを生成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関し、画像マップ型の検索システムに好適な技術に関する。

記憶装置が保存する大量の画像データの中から、視覚的な情報を元に所望の画像を検索する場合、ユーザーは膨大な画像を閲覧する必要がある。そこで、効率的に画像を検索する手法として、画像を縮小して一覧で表示するサムネイル一覧表示が知られている。サムネイルとは、静止画の場合は画素数を間引いてサイズを縮小した代表画であり、複数のサムネイルを一画面に表示することで、どのような画像が記録媒体に含まれているかをユーザーに効率よく認識させることができる。

サムネイルを表示する際に、画像のコンテンツをユーザーに分かりやすく表示し、画像検索を支援する装置として、例えば特許文献１がある。この装置では、元画像を構成する複数の部分画像の重要度に応じて、重要度の高い部分画像の割合が大きくなるように元画像を縮小した縮小画像を画像検索の結果として表示している。しかし、サムネイルが一覧に表示された画面から目的の画像を見つける場合には、個々のサムネイルの内容を把握し易いように表示方法を工夫する必要があり、また、表示されているサムネイル間の関係をユーザーに分かりやすく表示する必要がある。

そこで、サムネイル画像を単に並べて表示するのではなく、画像データの属性値情報に基づいてサムネイルの表示位置を決定し、表示画面内にマップのように配置する（以後、画像マップと呼ぶ）ことで検索効率を向上させる技術が知られている。この表示方法は、性質の類似したサムネイル群を画面上にまとめて配置することが可能であり、表示画像データから必要なデータ群を容易に特定できる利点がある。

サムネイルをマップ型に配置して表示する方法として、特許文献２〜５がある。特許文献２では、表示対象画像から色、形、大きさ、種類、用途キーワードなどの特徴量を抽出し、特徴量ベクトルを作成した上で、自己組織化マップなどを利用して２次元座標軸上へ射影し、かつ、情報の密度を変えて奥行き方向に複数の画面を並べることで視点を３次元的に移動させ、所望のデータを容易に探索できるようにする。特許文献３では、各表示対象の属性を取得し、各属性値について画面上の中心点を設定し、その上で、表示対象画像から属性情報を取得し、その属性値に係る中心点が配置されている近傍へ当該画像のサムネイルを配置し、これにより同じ属性値を持つ画像のサムネイルをまとめて表示する。特許文献４では、画像データからＮ次元の特徴量を抽出し、多変量統計分析処理により２次元の新たな特徴量を算出し、更にクラスタリング情報に基づいて表示位置と表示サイズを決定する。特許文献５では、特に明確な意図を持たない場合でも、地図上を散策するようなイメージで情報空間を散策しながら情報の概要ならびにその詳細を閲覧可能にするために、１つのデータに注釈となる言語情報がタグ付けされており、そのタグ付けされた言葉の階層ランクによって表示するタグデータのフォントサイズを切り替える。

一方、画像マップを利用した検索に好適なブラウジング手法として、ユーザーがマップ状の配置から注目領域を指定し、注目領域を中心にズームインまたはズームアウト処理を繰り返すことで、地図を縮尺を切り替えて表示しながら探索するイメージで検索対象の絞り込みを視覚的に行えるようにしたものが考えられる。このようなブラウジング機能を備えた画像マップ型検索システムを想定する場合、画像マップは、更に画面推移と共に切り替わるユーザーの検索段階を考慮して作成する必要がある。つまり、上述の通り、画像マップの初期画面上で検索対象を絞り込むためには画像データがある規則に基づいてクラスタリング表示されていることが必要であるが、更に、ズームインする度に、ユーザーが戸惑うことなく、次の注目領域を把握できる仕組みが必要である。

画像マップ型の検索システムでは、ユーザーの検索段階を大きく２つに分けることができる。まず、第１の検索段階は、注目領域を絞り込む段階である。初期画面のサムネイル数が多い場合、１つ１つの画像を見比べるのではなく、どの辺りに目的画像が存在するかといった観点で画像マップを眺め、注目領域をズーミングし、更に注目領域を絞り込む操作を繰り返す。この第１の絞り込み処理を経て注目領域内のサムネイル数がある値以下になった時に、逐一画像を対比して目的の画像を探索する第２の検索段階に移行する。

特開２００７−８００９９号公報 特許第３６１４２３５号公報 特開２００５−５５７４３号公報 特開２００５−２３５０４１号公報 特開２００３−７６８１８号公報

しかし、上記した特許文献２の方法では、代表画像の選出結果が検索効率に大きな影響を与える。代表画像の選出はユーザーの検索意図によって異なるため自動化は困難であるが、一方でユーザーの入力に頼るとユーザーの作業負担が大きい。また、上述の方法では、検索段階に沿った表示画面を提供できない。

上記した特許文献３では、予め分類タイトルなどを設定し、各サムネイルを、その画像の属するクラスの周辺に配置するという手法を用いているため、検索の初期段階の表示としては好ましいが、例えばその中の一つのクラスにユーザーが注目した場合、そのクラスに含まれる画像数が多い場合は、目的の画像の検索が難しい。特許文献４についても同様に目的の画像の検索が難しい。

さらに、特許文献５の方法では、各画像のサムネイルを、言語情報に基づいて決定された配置位置に内容キーワードを付与した形式で表示しているが、表示画像数が多い場合、ユーザーは付与された大量の注釈を確認しなければ、その画像の配置意図を把握できない。また、上記した技術では、各データが点在し、どのような性質の画像の集まりであるかを容易に把握できない。

上記したように、従来の画像マップ表示では、ブラウジングを含めた検索システムの利便性を考慮していないため、上述の画像マップでは、初期画面では有効でも、段階的に検索領域を絞り込むことが難しく、目的画像を見失う可能性が高い。

本発明は上記課題に鑑みてなされたものであり、
本発明の目的は、画像が複数の階層に分類される場合に、一覧表示では上位階層の分類が表現され、部分表示では下位階層の分類が表現される、画像マップ型の検索システムにおいて好適な画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

本発明は、複数の画像を属性に基づいて複数の階層に分類する分類手段と、前記画像の特徴量を取得する取得手段と、前記分類結果と特徴量に基づいて、各階層において同一クラスに分類される画像を互いに近傍に配置する配置データを生成する生成手段と、前記配置データに基づいて前記画像のサムネイルを配置して表示する表示手段とを備え、前記配置データは、上位階層において同じクラスに分類される任意のクラス、もしくは最上位階層に属する任意のクラスについて、互いに関連性の強いクラス同士のクラス間距離が関連性の低いクラス同士のクラス間距離よりも小であることを最も主要な特徴とする。

請求項１、２、５〜７：任意階層でクラス分類毎に、まとまりを形成する画像の配置データが得られるため、サムネイル画像を、その元画像の分類の階層構造を反映した配置が可能となり、例えば第Ｎ階層で同じクラスに属する画像データがまとまりを形成し、かつ第Ｎ階層における各クラスについて、その内部に第Ｎ＋１階層のクラスがそれぞれまとまりを形成しているような表示が得られる。更に、画像マップを使用した検索システムを想定する場合、ズームアウトした状態（一覧表示）では上位階層の分類が表現され、ズームインした状態（部分表示）では下位階層の分類が表現されることになる。従って、検索段階と分類の階層構造のレベルが同時に進行するような検索ブラウジング方式が可能となる。ユーザーは、注目領域の判定とズームインを繰り返すことで、画像の階層的な分類構造を活かした効率的な検索が可能となる。
また、関連性の強弱に基づいて配置を決定するため、例えば、クラス間類似度が大きいクラス同士が互いに近くに配置されるような配置データが得られるため、ユーザーは検索時に全てのクラスを把握していなくても、注目したクラスと他クラスとの関連度合いからクラス配置の意図を認識することができるため、特にクラス数が多い場合に有効な表示を提供できる。

請求項２：クラス内分散閾値とクラス間距離閾値に基づいて配置データが生成されるため、各階層におけるクラス分類が視覚的に判別しやすいように画像データを配置することが可能となる。そのため、ユーザーはサムネイルが一覧に表示された画像マップ画面において、まとまりを形成して配置されているクラス群の中から、目的の画像データが属しているクラスをより判別しやすくなり、検索効率が向上する。

請求項３：クラス内分散閾値を、階層の深さと線形または非線形な減少関数によって設定することにより、ある階層では同じクラスに含まれる画像データが密集しており、またある階層ではクラス間の距離が大きいなど、各階層のクラス分類ごとのまとまりに強弱を加えることができる。

請求項４：クラス内分散閾値を、ある階層Ｎ以下では分散値を０とする。これにより、階層Ｎの表示画面では、各クラスにつき１つの位置データが与えられ、同じクラスに分類される画像データは全てこの位置データを有することになる。この時、表示する画像データを、そのクラスの代表画像とすれば、第Ｎ階層において各クラスの代表画像が表示された表示画面が形成される。このような表示は、画像データ数が多く、上位階層の分類のみを重視して検索する場合に有効である。

請求項５：同一階層におけるクラス内分散のばらつきがクラス内分散閾値以下であるように配置データを構成することにより、各クラスのばらつき度合いが平均化され、ある階層の分類に注目する際に、クラス毎のまとまりが視認しやすい。

請求項６：クラス間距離閾値を、階層の深さと線形または非線形な減少関数によって設定することにより、各階層におけるクラス間距離に強弱を加えることが可能となり、ユーザーが視認しやすい強弱で各クラスのまとまりをユーザーに提示できる。

請求項７：各階層のクラス間の関連性に基づいて配置が決定される。一例として、クラス間類似度に基づいて配置を決定した場合、類似度の高いクラス同士が互いに近くに配置されるような配置データが得られる。このように、検索時に全てのクラスの配置を見なくても、クラスごとの関連性からクラス配置意図を認識することが可能となり、より効率的な検索が可能となる。

請求項８、９：関連性の強弱に基づいて配置を決定するため、例えば、クラス間類似度が大きいクラス同士が互いに近くに配置されるような配置データが得られるため、ユーザーは検索時に全てのクラスを把握していなくても、注目したクラスと他クラスとの関連度合いからクラス配置の意図を認識することができるため、特にクラス数が多い場合に有効な表示を提供できる。

請求項３：重心が画像データによって異なるウェイトで算出されるため、一例として異なるクラスに属するある２つの画像データの類似性に基づいてウェイトを切り替えて重心を算出することで、クラスの類似性だけでなく、そのクラスに含まれる画像データ同士の類似性を反映した配置データを得ることが可能となる。

請求項４：クラスの類似性だけでなく、そのクラスに含まれる画像データの重要度を反映した配置データを得ることが可能となる。

請求項１２：画像データに定義される分類は、画像の視覚情報に基づいて定義されるため、画像データを配置データに基づいて配置して表示した場合に、任意階層でクラス分類意図を視認可能である配置データが得られる。

請求項１３：視覚情報は画像の概観に特に寄与する色情報、テクスチャ情報、構図情報の少なくとも一つを含むため、画像データを配置データに基づいて配置して表示した場合に、任意階層で画像の概観に係るクラス分類意図を視認可能な配置データが得られる。

請求項１４：各階層における分類定義はサムネイルの表示倍率での判別性を考慮して決定することが可能となる。画像マップを利用した検索システムでは、ズームアウトした状態（一覧表示）では上位階層の分類が表現され、ズームインした状態（部分表示）では下位階層の分類が表現されるが、ズームアウトした状態では多くのサムネイル画像を表示する必要があるため、個々のサムネイルサイズは小さく表示される可能性が高く、ズームインを繰り返していくに従って個々のサムネイルサイズを大きく表示することが可能となる。各表示段階におけるサムネイルサイズと分類の判別容易性を考慮すると、例えば上位階層において「画像に含まれるオブジェクトによる分類」に基づいてクラスタリング表示すると、ユーザー側に分類意図が把握されない危険性が高い。そのため、上位階層では、例えば「全体色による分類」や「テクスチャによる分類」などのように、高倍率の縮小においても視覚的に判別可能な分類が有効である。また、検索段階と分類の階層構造レベルが同時に進行するような検索ブラウジング方式において、ユーザーが注目領域を絞り込む場合に、各検索段階で分類意図を正確に、かつ容易に把握することが可能な画像マップ表示を提供することが可能となる。

請求項１５：得られた配置データに基づいて、各画像データの画像的な特徴やその密集度などを考慮し、表示に適した画像サイズを決定して表示することが可能となる。

請求項１６：画像がある閾値以上、重ならないようにサイズを切り替えて表示することが可能となる。

請求項１７：余白領域が少ないと、画像一つ一つの区切りが明確でないために所望の画像を見落としてしまう可能性が高い。そこで、余白領域密度の値を調整し、見難い余白領域密度に上限を設けることで、上記問題を解消する。

以下、発明の実施の形態について図面により詳細に説明する。図１は、本発明に係る画像処理装置を備えたシステム構成例を示す。図１において、画像処理装置１００は、入力部１０１、表示部１０２、制御部１０３、記憶部１０４を有する。

入力部１０１は、キーボードやマウスなどのポインティングデバイスなどによって実現され、検索条件の指示入力や検索条件の追加・変更の指示入力を行う。表示部１０２は、液晶ディスプレイやＣＲＴなどによって実現され、画像群の中から検索条件に従って特定された画像のサムネイル画像や上述した入力手段の指示依頼あるいは指示結果などを表示出力する。記憶部１０３は、たとえばハードディスク装置などによって実現され、カメラなど撮像装置である画像取得装置１０５によって取得された画像や、その他写真画像や、スキャナから読み込まれた資料類が画像データとして保持され、特に画像データが複数ページから構成される場合、サムネイルデータや各ページに関する情報がそれぞれフォルダＦ１〜Ｆｎに格納される。

制御部１０３は、属性識別部１０６、画像特徴取得部１０７、配置データ生成部１０８、表示画像生成部１０９を備える。

属性識別部１０６は、各画像データを解析することにより画像データの属性に基づいた分類を行う。画像特徴取得部１０７では、各画像データのテクスチャ情報やカラーヒストグラム情報などの画像特徴量を取得する。これら属性識別部１０６及び画像特徴取得部１０７で得られる分類結果及び画像特徴は、記憶部１０４に画像データごとに格納される。

配置データ生成部１０８は、記憶部１０４に格納されている分類結果及び画像特徴量に基づいて表示上の配置データを生成する。更に、表示画像生成部１０９では、表示サイズを算出し、各画像のサムネイルを生成し、表示画像用データを作成する。

図２（ａ）は、分類クラスの例を示す。一般文書の場合、例えば図、表、グラフや見出しといったクラスに分類される。また、写真やグラフィック画像の場合には、人物、自然、人工物、風景などのクラスに分類される。なお、画像を解析し、その属性を識別する方法としては、例えば特開２００６−３９６５８号公報に記載されている方法を用いることができる。これに開示される技術によれば、画像データを画像の大きさに比べて十分小さく予め定められた領域（窓と呼ぶ）で被覆し、各窓から画像の小領域を切り出した部分画像の集合を作成し、切り出された全ての部分画像同士の間にそれらの間の非類似度に相当するような順序関係を定義し、この順序関係のみに基づいて各部分画像を任意の距離空間における点へと写像し、写像された距離空間における点の位置座標ベクトルの直積またテンソル積を画像についての特徴量として用いて、画像のクラス分類学習及びクラス識別を行う。

実施例１
実施例１は、表示対象画像データから取得される属性分類結果が階層構造を有する場合に、各階層における分類結果に基づいてサムネイル配置を決定する手法に係る実施例である。特に、本実施例では、分類による各クラスには関連性が定義されていないものとする。

図２（ｂ）は、写真画像を第２階層まで分類定義した例を示す。第１階層はｐｅｏｐｌｅ／ｎａｔｕｒｅ／ａｒｔ／ｌａｎｄｓｃａｐｅの４つのクラスに分類されており、各クラスについて第２階層の分類が定義されている。

図３は、本発明の実施例１に係る処理フローチャートである。まず、表示対象画像が記憶部１０４から制御部１０３に入力される（ステップ１）。属性識別部１０６は、入力された表示対象画像を、各階層の属性に基づいて分類する（ステップ２）。制御部１０３は全ての階層について分類処理が終了したか否かを判定し（ステップ３）、判定がＮｏであれば処理はステップ２に戻る。判定がＹｅｓであれば分類結果に基づいて配置データ生成部１０８は、各画像の配置データを生成し（ステップ４）、次に、表示画像生成部１０９は、サムネイル画像や表示に必要な画像データを作成し（ステップ５）、制御部１０３は、全ての画像について処理が終わったか否かを判定し（ステップ６）、判定がＹｅｓならば、表示画像生成部１０９は、サムネイル一覧を表示して終了する（ステップ７）。判定がＮｏならば、次の画像について処理はステップ１に戻る。

図４は、階層構造を有する画像データ群を画像マップ表示した図である。１段目が初期画面を表しており、ユーザーは画像マップを眺めながら検索範囲を絞り込んで行く。この際、配置データは、最大クラス内分散値やクラス間距離に閾値を設けてその配置を決定する。注目領域を中心にズーミングを繰り返すと共にユーザーの検索段階が進行し、下位階層の分類を示す表示へと順次切り替わる。

画像マップ上では各画像データ（のサムネイル）が、図３に示した処理を経て取得された配置データ上に表示される。図４の初期画面において、例として画像データ群は計５つの島を形成しているが、これは属性の分類（ｐｅｏｐｌｅ／ｎａｔｕｒｅ／ａｒｔ／ｌａｎｄｓｃａｐｅなどの分類。図２（ｂ）を参照）を意味しており、属性の等しい画像データ同士がまとまりを形成して配置されるように、その配置が決定される。

階層的な分類定義（図２（ｂ）を参照）に対する効果的な表示のために、各画像は属性の分類、及び表示上の配置方法についてクラス内分散閾値、及び／又はクラス間距離閾値に基づいて配置を決定することが効果的である。

ｎを階層数としたとき、クラス内分散閾値ｐ（ｎ）とは、表示における島の「まとまり感」の指標となる値で、クラス内分散値が低いほど「まとまり感」が高い。

また、クラス間距離閾値ｄ（ｎ）とは、２つの異なる島に属する画像データ間の距離に関する閾値である。

クラス内分散閾値の求め方として、例えば同じ属性に分類された画像データの配置座標について、画像マップ上におけるｘ軸方向、ｙ軸方向の座標の分散値を算出する。

全ての階層ｎにおいて、以下のルールを守るように配置を決定する。
（１）同じ属性クラスに分類される任意の画像データの配置に関して
最大クラス内分散値＜ｐ（ｎ）
（２）階層ｎで同じクラスＣ_ｉ（ｎ）に属し、階層ｎ＋１で異なるクラスＣ_ｊ（ｎ＋１）、Ｃ_ｋ（ｎ＋１）に属する任意の画像データａ、ｂについて

上記２つの条件を満たして配置を決定すると、図５に示すように、第ｎ階層の分類（ＣｌａｓｓＡ、ＣｌａｓｓＢ、ＣｌａｓｓＣ）が視認でき、かつ第ｎ階層の各島の内部に、第ｎ＋１階層の分類（Ｃｌａｓｓ１〜Ｃｌａｓｓ４）が視認できるような配置が得られ、複数階層に渡って分類が定義されている場合にも各階層の分類を視認できるような画像マップ配置が得られる。

更に複数階層から構成されるマップに効果的な配置方法は、前述のクラス内分散閾値、及びクラス間距離閾値を、「階層の深さ」に基づいて設定した上で配置を決定する方法である。

階層的に分類が定義された画像データを分類配置する場合、図４のような表示を得るためには、クラス内分散閾値は階層の深さに関する単調減少関数として定義されることが好ましい。一方、各島同士の距離を決定するクラス間距離閾値は階層の深さに関する単調減少関数として定義されることが好ましい。即ち、図５に示すように、階層ｎにおける分類クラス（ＣｌａｓｓＡ〜ＣｌａｓｓＣ）のクラス間距離よりも階層ｎ＋１における分類クラス（Ｃｌａｓｓ１〜Ｃｌａｓｓ４）のクラス間距離の方が小であることが表示上重要である。

また、クラス内分散閾値は、例えば以下のようにして決める。一般に階層的な分類を定義する場合、階層が深くなるに従ってより粒度の細かい分類が定義されることになるが、場合によってはある階層以降の分類は（粒度が細かすぎて）意味がないという場合も起こり得る。画像マップのように限られたスペースで大量の画像を表示する場合、意味のない分類をマップ上で表現してもスペースの無駄なので、ある階層以降はその分類の代表画像のみを表示する方が効率的である。つまり、クラス内分散閾値は、ある階層以下は０とすることで、ある階層以降では同じ属性クラスにある画像の配置データを全て等しくし、画像マップ上ではその属性クラスにおける代表画像を表示する表示方法が好ましい。

加えて、分類される属性クラスごとに、まとまりを形成して配置を決定する場合、同じ階層に属する各クラス内分散のバラツキ度合いが小さい方が、全体として島単位のまとまりが視認しやすくなる。図６にクラス内分散のバラツキが大の場合の例を示す。この例ではＣｌａｓｓ４のみがクラス内分散値が大きいために、全体としてのクラスのまとまり感も低下し、見にくい配置となる。そこで、クラス内分散値のバラツキに制限を設けるために予め閾値（クラス間分散閾値）を設定し、制御することで任意階層の島のまとまりが容易に視認可能であるような配置データが得られる。

図７は、第２階層まで階層構造を有する場合の初期画面における画像マップ表示例である（第１階層で３つのクラスに分類され、第１階層の各クラスについて、それぞれ５つ（上）、４つ（左下）、５つ（右下）の第２階層クラスが存在している）。サムネイルは第１階層の属性分類ごとにカテゴリ分けされた表示になっており、各まとまりの内部は、第２階層の分類ごとにまとまりを形成している。さらにそのまとまりの内部は第２階層における属性分類が等しい画像データが、ユーザー側に配置意図が明らかであるように画像特徴の類似度に従って配置されている。

取得された配置データ上に画像サムネイルを配置し一覧表示する際には、表示サムネイルサイズを考慮する必要がある。例えば、配置データが密である場合にサムネイルサイズを大きく表示するとサムネイル同士が重なり合うため個々の画像が判別し難くなり、逆に配置データが疎である場合にサムネイルサイズを小さく表示すると、余白が多く発生してしまう。これらの課題を解決するために、この表示サムネイルサイズを重複率に応じて制御する方法、余白領域密度に応じて制御する方法などの手法が考えられる。

なお、ここで表示画面（例として２次元平面とする）上の、ある領域Ｔ（Ｔの面積はＳ_Ｔで表す）における重複率と余白領域密度はそれぞれ以下のように定義することにする。

実施例２
実施例２は、分類による各クラスに関連性が定義されている場合について、クラス間の関連性を反映した表示方法の実施例である。

図８は、本発明の実施例２に係る処理フローチャートである。まず、表示対象画像が記憶部１０４から制御部１０３に入力される（ステップ１１）。属性識別部１０６は、入力された表示対象画像を、各階層の属性に基づいて分類する（ステップ１２）。制御部１０３は全ての階層について分類処理が終了したか否かを判定し（ステップ１３）、判定がＮｏであれば処理はステップ１２に戻る。判定がＹｅｓであれば、属性識別部１０６は、各階層に属する各クラスについて他クラスとの関連性レベルを取得する（ステップ１４）。続いてクラスタ情報、及び関連性レベル情報に基づいて配置データ生成部１０８は、配置データを生成する（ステップ１５）。

次に、表示画像生成部１０９は、サムネイル画像や表示に必要な画像データを作成し（ステップ１６）、制御部１０３は、全ての画像について処理が終わったか否かを判定し（ステップ１７）、判定がＹｅｓならば、表示画像生成部１０９は、サムネイル一覧を表示して終了する（ステップ１８）。判定がＮｏならば、次の画像について処理はステップ１１に戻る。

ステップ１４における関連性レベルとは、ある一つの注目クラスまたは予め指定されたある画像データ群についてそのクラスまたはデータ群との関連性の度合いを定義したものである。例えば、図２（ｃ）のように、あるクラスＭについて各クラスとの関連性レベルが１〜１０までの値で定義されている場合を想定する（関連性レベル１０は、「一致」を意味する）。関連性レベルは数値が小さいほど関連性も小さいものとする。

図９は、図２（ｃ）に示す関連性レベルに基づいて各クラスを配置した例である。注目クラスまたは画像データ群を中心に配置した状態で、同心円状に同じレベルを有するクラスの重心が位置するようにクラスを配置する。中心から距離が大きくなるほど、関連性レベルは小さくなっていく。各クラス内では下位階層のクラス内で注目クラスが選定され、その注目クラスを中心に関連性レベルに基づいて配置が決定されている。クラスの中心は、そのクラスに含まれる画像群の配置位置の中心（ｘ座標、ｙ座標平均）として定義する。なお、重心は、各画像の重要度に基づいてウェイトを付与して計算しても良い。また、上記のようにクラスの重心位置を基準としても良いが、クラス間の画像データの最小距離を基準として用いて良い。

サムネイル一覧表示時には、得られたクラス配置に対して以下のような方法により表示する。
（１）図９の×印を、そのクラスの中心とし、そのクラスに含まれる画像データを予め指定した半径内に収まるように配置する。
（２）図９の×印上に、そのクラスの代表画像のみを表示する。

実施例３
実施例３は、各画像データから画像特徴量を取得し、その結果に基づいてサムネイル配置を決定する手法の実施例である。

画像マップを利用した検索システムでは、ズームアウトした状態（一覧表示）では上位階層の分類が表現され、ズームインした状態（部分表示）では下位階層の分類が表現されることになるが、ズームアウトした状態では多くのサムネイル画像を表示する必要があるため、個々のサムネイルサイズは小さく表示される可能性が高く、ズームインを繰り返していくに従って個々のサムネイルサイズを大きく表示することが可能となる。つまり、各階層において分類に用いる画像特徴量は、サムネイルの表示倍率での判別性を考慮して決定することが重要となる。各表示段階におけるサムネイルサイズと分類の判別容易性を考慮すると、例えば上位階層において「画像に含まれるオブジェクトによる分類」に基づいてクラスタリング表示すると、ユーザー側に分類意図が把握されない危険性が高い。そのため、上位階層では例えば「全体色による分類」や「テクスチャによる分類」などのように、高倍率の縮小においても視覚的に判別可能な分類が有効である。

図１０は、本発明の実施例３に係る処理フローチャートである。まず、表示対象画像が記憶部１０４から制御部１０３に入力される（ステップ２１）。画像特徴取得部１０７は、入力された表示対象画像から画像特徴量を取得し（ステップ２２）、属性識別部１０６は、入力された表示対象画像を、各階層の属性に基づいて分類する（ステップ２３）。制御部１０３は、全ての階層について分類処理が終了したか否かを判定し（ステップ２４）、判定がＮｏであれば処理はステップ２２に戻る。判定がＹｅｓであれば、続いてクラスタ情報、及び画像特徴量情報に基づいて配置データ生成部１０８は配置データを生成する（ステップ２５）。

次に、表示画像生成部１０９は、サムネイル画像や表示に必要な画像データを作成し（ステップ２６）、制御部１０３は全ての画像について処理が終わったか否かを判定し（ステップ２７）、判定がＹｅｓならば、表示画像生成部１０９は、サムネイル一覧を表示して終了する（ステップ２８）。判定がＮｏならば、次の画像について処理はステップ２１に戻る。

図１１は、本実施例において、上記処理を経て生成されたサムネイル一覧表示画面を利用して目的の画像を検索する際のブラウジング方法を示す図である。画像マップ全体から、まず目的とする画像の配置されていそうな領域を探す段階（検索段階１）では、代表色などの分かりやすい特徴を指標に分類が定義されており、マップ上もこの分類が視認できるようにサムネイルが配置されている。注目したい分類クラスが決定したら、その領域を中心にズーミングし、より正確な配置を判断する段階（検索段階２）に移る。検索段階１で注目したクラス（図１１の上のマップで左上矩形領域内）の内部では、同じクラスに属する画像データは配色を指標として分類されており、ズーミングによって初期画面では明確でなかった第２階層における分類がより視認し易く表示されている。このようにどのクラスに目的の画像が含まれているかを判断して、さらにズームし、最終的に目的の画像にたどり着く。

実施例４
実施例４は、取得された配置データ上にサムネイルを配置して一覧表示する際に、各画像データの特徴や配置の密集度に応じて表示に適した画像サイズを決定する手法の実施例である。

図１２は、本発明の実施例４に係る処理フローチャートである。
まず、表示対象画像が記憶部１０４から制御部１０３に入力される（ステップ３１）。画像特徴取得部１０７は、入力された表示対象画像から画像特徴量を取得し（ステップ３２）、属性識別部１０６は、入力された表示対象画像を、各階層の属性に基づいて分類する（ステップ３３）。制御部１０３は全ての階層について分類処理が終了したか否かを判定し（ステップ３４）、判定がＮｏであれば処理はステップ３２に戻る。判定がＹｅｓであれば、続いてクラスタ情報、及び画像特徴量情報に基づいて配置データ生成部１０８は配置データを生成し（ステップ３５）、表示画像生成部１０９は表示サイズを決定し（ステップ３６）、サムネイル画像や表示に必要な画像データを作成する（ステップ３７）。制御部１０３は全ての画像について処理が終わったか否かを判定し（ステップ３８）、判定がＹｅｓならば、表示画像生成部１０９は、サムネイル一覧を表示して終了する（ステップ３９）。判定がＮｏならば、次の画像について処理はステップ３１に戻る。

図１３は、本実施例において、上記処理を経て生成された配置上に、規定サイズのサムネイルを表示した図である。各画像のサムネイルは、そのクラス内の密集度によってサイズを調整して表示されている。

すなわち、

（クラスＡに含まれる画像データの配置について、ｘ座標最大値−ｘ座標最小値でＳを定義する）

（クラスＡに含まれる画像データの配置について、ｙ座標最大値−ｙ座標最小値でＴを定義する）
この時、クラスＡの密集度を以下で定義する。

（Ａに属する画像データ数）／Ｓ×Ｔ
つまり、クラスＡに属する画像データが配置されている矩形領域の面積に対する画像データ数の割合を、クラスＡの密集度とする。ここで定義した密集度に応じて、密集度が高い場合はサムネイル画像同士が重なり合う可能性が高いためサムネイルサイズを小さくし、逆に密集度が低い場合はサムネイル画像の見易さを重視して大きく表示するなどの調整が可能である。

サイズを規定する条件としては、配置データだけではなく、各画像の画像特徴量に基づいて決定しても良い。なお、注目クラスタに属する画像データのみを表示しても良い。また、画像特徴量に基づいてサムネイルの表示サイズを決定する方法としては、例えば特開２００６−３０３７０７号公報で開示されている手法を適用できる。ここに開示される手法によれば、オブジェクトによっては、拡大率を大きくしないと内容を把握し難いような細かい画像も予想される。その場合にも、この手法を用いれば、各オブジェクトの内容を把握するのに適当なサイズを選択して表示することが可能となる。サムネイル表示方法としては、単純な縮小画像を表示しても良いが、注目したいクラスタに属する画像データ群のサイズを大きく表示する、高解像度で表示する、ハイライト表示するなどを用いればよい。

実施例５
実施例５は、配置データ生成方法として、各画像データから特徴量ベクトルを構成し、それを可視平面上に自己組織化マップなどを利用して射影することにより表示画面上での配置を決定する方法の実施例である。

図１４は、本発明の実施例５に係る処理フローチャートである。まず、表示対象画像が記憶部１０４から制御部１０３に入力される（ステップ４１）。属性識別部１０６は、入力された表示対象画像を、各階層の属性に基づいて分類する（ステップ４２）。制御部１０３は全ての階層について分類処理が終了したか否かを判定し（ステップ４３）、判定がＮｏであれば処理はステップ４２に戻る。判定がＹｅｓであれば画像特徴取得部１０７は、テクスチャや配色などの画像特徴量を取得する（ステップ４４）。続いて配置データ生成部１０８は、分類識別結果であるクラスタ情報とステップ４４で取得された画像特徴量に基づいて特徴量ベクトルを生成し（ステップ４５）、ステップ４５で生成された特徴量ベクトルに基づいて表示上の各画像の配置を決定する（ステップ４６）。表示画像生成部１０９は特徴量ベクトルに基づいてサムネイルサイズを決定し（ステップ４６）、サムネイル画像や表示に必要な画像データを作成し（ステップ４７）、制御部１０３は全ての画像について処理が終わったか否かを判定し（ステップ４８）、判定がＹｅｓならば、表示画像生成部１０９は、サムネイル一覧を表示して終了する（ステップ４９）。判定がＮｏならば、次の画像について処理はステップ４１に戻る。

画像データから取得された特徴量について、その特徴量空間次元での性質を保持した次元圧縮方法として自己組織化マップ（ＳＯＭ）などが利用可能である。本実施例では、図１５のように分類識別結果を特徴量ベクトルとして加えることで、結果的にＳＯＭ処理により分類クラスごとに纏まりを形成した配置データを得る方法について説明する。サムネイルサイズは予め全ての画像に対して一律としても良いが、得られた配置の密集度に応じて決定しても良い。例えば密集度が高い場所ではサムネイルサイズによっては画像が重なってしまうケースが考えられ、従って密集度が高い場合はサムネイルサイズを小さくして画像の重なりを低減し、密集度が低い場合は見やすさを重視してサムネイルサイズを大きくするなどの工夫が考えられる。

次に階層構造を持つクラスタ情報に基づいて特徴量ベクトルを構成する方法について説明する。特に本実施例では各クラスに関連性は定義されていないものとする。従って、クラスタの異なる画像データは互いに線形独立となり、かつ階層構造を有するクラスタ情報と画像特徴量を合成することで特徴量ベクトルを作成する。

例えば図１５に示すような特徴量ベクトルを構成することが可能である。この例では、図２（ｂ）に示す階層構造定義に従って第１階層のクラスタ数を４、第２階層のクラスタ数の最大値を５、クラスタ数を２、画像特徴量ベクトルをそれぞれｖ１ｖ２…ｖｓ、ｖ’１ｖ’２…ｖ’ｔとした場合の例を示す。特に、各階層の分類結果を数値化して表現する次元数について「次元数＝クラスタ数」とし、画像特徴量ベクトルの次元数ｎと合成してｎ＋（第１階層のクラスタ数）＋（第２階層のクラスタ数の最大値）次元の特徴量ベクトルを利用する。一般に階層の深さをｋ、各階層におけるクラスタ数の最大値をｍｋとすると、合成後の特徴量ベクトルの次元数は（ｍ１＋ｍ２＋…ｍｋ）＋ｎ次元となる。図１５（ａ）に示す特徴量ベクトルは、第１階層でクラス１に分類された画像データの特徴量ベクトルであり、図１５（ｂ）に示す特徴量ベクトルは第１階層でクラス４に分類された画像データの特徴量ベクトルである。第１階層の最大クラスタ数は４であるため、４次元が、第１階層の分類を数値化するために使用されており、クラス１に属する場合は１次元目のベクトルの値が「１」、クラス４に属する場合は４次元目のベクトルの値が「１」である。５次元目〜９次元目では第２階層の分類を数値化する次元として使用される。以下同様に、第２階層においてクラス１に分類される画像データは５次元目の値が「１」であり、クラス５に分類される画像データは９次元目の値が「１」となる。

特に留意すべき点は、このベクトルにおいて最も下位の階層においてもクラスタの異なる特徴量ベクトルは互いに線形独立であることである。更に、各階層ごとにウェイトを定義して特徴量ベクトルを構成することも可能である。クラスタの異なる画像データが互いに線形独立となり、かつ階層構造を有するクラスタ情報にウェイトを加味して作成した特徴量ベクトルとして、例えば図１５（ｃ）、（ｄ）に示すような特徴量ベクトルを構成することが可能である。この例では、第１階層のクラスタ数が２、第２階層のクラスタ数が３、それぞれのウェイトは第１階層を「４」、第２階層を「２」としている。

図２（ｂ）に示す階層構造を有する場合、第１階層のクラスタ数が４であり、第２階層のクラスタ数の最大値は５である。そこで、各階層の分類結果を数値化して表現する次元数＝クラスタ数×ｗ（ｗはウェイト）とし、画像特徴量ベクトルの次元数ｎと合成してｎ＋（第１階層のクラスタ数の最大値）×ｗ１＋（第２階層のクラスタ数の最大値）×ｗ２次元の特徴量ベクトルを利用する。一般に階層の深さをｋ、各階層におけるクラスタ数の最大値をｍｋ、各階層のウェイトをｗｋすると、合成後の特徴量ベクトルの次元数は（ｗ１×ｍ１＋ｗ２×ｍ２＋…ｗｋ×ｍｋ）＋ｎ次元となる。この時、各階層で指定するウェイトに関して、ｗ１＜ｗ２＜…＜ｗｋという大小関係が成立するように定めることによりウェイトの高い上位の階層の分類が配置に大きな影響を与えることになる。これらのベクトルにおいても、最も下位の階層についてもクラスタの異なる特徴量ベクトルは互いに線形独立であることは明らかである。

なお、異なるクラスに属する画像データの特徴量が線形独立でないとすると、異なるクラス間に「関係」が定義されることになる。即ち、異なるクラス間の距離を、仮に「特徴量ベクトル空間上で分類結果を反映した次元における距離」として定義する。例えば図１５（ａ）、（ｂ）では、１次元目〜４次元目が第１階層の分類結果を反映した次元に相当するが、この４次元だけをみて左５つのベクトル（第１階層においてクラス１に分類される）と右５つ（第１階層においてクラス４に分類される）のベクトルのユークリッド距離を算出すると√２になる。この例では第１階層では４クラスあり、図１５（ａ）、（ｂ）のように各クラスの特徴量ベクトルを定義すると、４つのクラスの距離が常に√２になる。もし、この４クラスが線形従属となるように特徴量ベクトルを構成してしまうと、異なるクラス間距離は一定にはならず、異なるクラス間に遠い、近いといった「関係」が定義されてしまう。これは、当初前提としていた関連性が定義されていないという状況に矛盾する。

上記した例では、第１階層の分類結果をどのように特徴量ベクトルに反映するかを説明したが、第２階層以下でも同様のことが言える。結局、最下位階層において異なるクラスに分類される特徴ベクトル同士も線形従属となるように定義したいため各階層について分類クラス数分だけ特徴次元に割り当ててクラスタ情報を特徴量ベクトルに反映させている。図１５（ａ）、（ｂ）は第２階層で分類定義されている例であるから、第１階層の分類情報を表現するのに１次元目〜４次元目まで、第２階層の分類情報を表現するのに５次元目〜９次元目までをそれぞれ割り当て、上述のように線形独立性を保持するように定義している。

上記したように各階層の分類について、異なるクラスに属するデータの特徴量ベクトルが線形独立であるように構成することを前提とし、図１５（ａ）、（ｂ）の例では、第１階層が４クラス、第２階層が５クラスに分類される場合の特徴量ベクトル構成方法について説明した。すなわち、線形独立なベクトルとなるように各階層についてクラスタ数次元が割り当てられ、
第１階層でクラス１に属する画像データは１次元目が１で、２〜３次元目が０、
第１階層でクラス２に属する画像データは２次元目が１で、１次元目、及び３、４次元目が０、
第１階層でクラス３に属する画像データは３次元目が１で、１、２次元、及び４次元目が０、
第１階層でクラス４に属する画像データは４次元目が１で、１〜３次元目が０、
と定義される。第２階層も同様に５〜９次元目が第２階層の分類（クラスタ数の最大は５）結果を反映する次元として割り当てられている。

図１５（ｃ）、（ｄ）の例では、更に、各階層ごとにウェイトを定義して特徴量ベクトルを構成した例である。第１階層のクラスタ数が２、第２階層のクラスタ数が３、それぞれのウェイトは第１階層を「４」、第２階層を「２」としている。ここで、ウェイトとはクラスに割り当てる次元数という意味で用いている。図１５（ａ）、（ｂ）と同様に線形独立なベクトルとなるように各階層についてクラスタ数次元が割り当てられ、第１階層の２つのクラスを表現するために１〜８（２×４）次元が、第２階層の３つのクラスを表現するために９〜１４（８＋３×２）次元が割り当てられている。
第１階層でクラス１に属する画像データは１〜４次元目が１で、５〜８次元目が０、
第１階層でクラス２に属する画像データは５〜８次元目が１で、１〜４次元目が０、
第２階層でクラス１に属する画像データは９〜１０次元目が１で、１１〜１４次元目が０、
第２階層でクラス２に属する画像データは１１〜１２次元目が１で、９〜１０、１３〜１４次元目が０、
第２階層でクラス３に属する画像データは１３〜１４次元目が１で、９〜１２次元目が０、
と定義される。図１５（ａ）、（ｂ）のベクトル構成では、第１階層におけるクラス間の距離は√２であるが、図１５（ｃ）、（ｄ）のようにウェイトを大きくすれば異なるクラス間の特徴量空間内での距離が広がることになる。これにより、自己組織化マップなどの次元圧縮をする場合にも、クラス分類特徴が保持される可能性が高くなる。つまり、次元圧縮した空間（通常は２、３次元）において異なるクラスに属するデータが離れて配置されることになる。

本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施例の機能を実現することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。

本発明に係る画像処理装置を備えたシステム構成例を示す。 分類クラス例などを示す。 本発明の実施例１に係る処理フローチャートである。 サムネイル表示画面とユーザの検索段階を示す。 画像マップを説明する図である。 クラス内分散値のバラツキが大きい場合の例を示す。 サムネイル表示画面（初期画面）を示す。 本発明の実施例２に係る処理フローチャートである。 関連性レベルとクラス配置を示す。 本発明の実施例３に係る処理フローチャートである。 実施例３における画像マップ表示例（視覚情報で分類）を示す。 本発明の実施例４に係る処理フローチャートである。 実施例４における画像マップ表示例（サムネイルサイズを調整）を示す。 本発明の実施例５に係る処理フローチャートである。 作成される特徴量ベクトルを示す。

符号の説明

１００ 画像処理装置
１０１ 入力部
１０２ 表示部
１０３ 制御部
１０４ 記憶部
１０５ 画像取得装置
１０６ 属性識別部
１０７ 画像特徴取得部
１０８ 配置データ生成部
１０９ 表示画像生成部

Claims (7)

1. 複数の画像を属性に基づいて複数の階層に分類する分類手段と、前記画像の特徴量を取得する取得手段と、前記分類結果と特徴量に基づいて、各階層において同一クラスに分類される画像を互いに近傍に配置する配置データを生成する生成手段と、前記配置データに基づいて前記画像のサムネイルを配置して表示する表示手段とを備え、前記配置データは、上位階層において同じクラスに分類される任意のクラス、もしくは最上位階層に属する任意のクラスについて、互いに関連性の強いクラス同士のクラス間距離が関連性の低いクラス同士のクラス間距離よりも小であることを特徴とする画像処理装置。
2. 複数の画像を属性に基づいて複数の階層に分類する分類手段と、前記画像の特徴量を取得する取得手段と、前記分類結果と特徴量に基づいて、各階層において同一クラスに分類される画像を互いに近傍に配置する配置データを生成する生成手段と、前記配置データに基づいて前記画像のサムネイルを配置して表示する表示手段とを備え、前記配置データは、上位階層において同じクラスに分類される任意のクラス、もしくは最上位階層に属する任意のクラスについて、互いに関連性の強いクラス同士の中心間距離または重心間距離が関連性の低いクラス同士の中心間距離または重心間距離よりも小であることを特徴とする画像処理装置。
3. 前記重心は、画像によって異なるウェイトで算出されることを特徴とする請求項２記載
   の画像処理装置。
4. 前記ウェイトは、前記画像の重要度に基づいて算出される値であることを特徴とする請
   求項３記載の画像処理装置。
5. 複数の画像を属性に基づいて複数の階層に分類する分類工程と、前記画像の特徴量を取得する取得工程と、前記分類結果と特徴量に基づいて、各階層において同一クラスに分類される画像を互いに近傍に配置する配置データを生成する生成工程と、前記配置データに基づいて前記画像のサムネイルを配置して表示する表示工程とを備え、前記配置データは、上位階層において同じクラスに分類される任意のクラス、もしくは最上位階層に属する任意のクラスについて、互いに関連性の強いクラス同士のクラス間距離が関連性の低いクラス同士のクラス間距離よりも小であることを特徴とする画像処理方法。
6. 請求項５記載の画像処理方法をコンピュータに実現させるためのプログラム。
7. 請求項５記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images