JP3950718B2 - 画像空間表示方法 - Google Patents
画像空間表示方法 Download PDFInfo
- Publication number
- JP3950718B2 JP3950718B2 JP2002065213A JP2002065213A JP3950718B2 JP 3950718 B2 JP3950718 B2 JP 3950718B2 JP 2002065213 A JP2002065213 A JP 2002065213A JP 2002065213 A JP2002065213 A JP 2002065213A JP 3950718 B2 JP3950718 B2 JP 3950718B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- space
- display
- feature
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Biology (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Digital Computer Display Output (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はユーザが所望する画像を大量の画像から探し出すための画像の表示技術に係り、特に、画像の特徴量を空間的に表示する画像空間表示方法に関する。
【０００２】
【従来の技術】
この種の技術として、例えば
（１）「類似画像検索における特徴量空間の可視化インターフェイス」（電子情報通信学会技術研究報告 ９８巻２０４号）
（２）「インタラクティブ視覚化による文献集合からの情報獲得支援」（日本ソフトウェア科学会 第１３大会）
が知られている。
【０００３】
前記（１）の公知技術は、主成分分析により特徴の多次元空間の次元数を落し２次元空間の表示空間にマップする方法である。また、前記（２）の公知技術は、多数の文献とキーワードをその関連性に基づいて配置する視覚的分類技術に、ユーザの操作による視覚化結果の動的な更新を導入したものである。
【０００４】
【発明が解決しようとする課題】
しかし、前記（１）の公知技術では、画像特徴がベクトルデータで表現できない場合、または、画像の類似性が線形結合で表せない場合には主成分分析ができず、この方法を利用することはできない。また、前記（２）の公知技術では、計算量が膨大で処理時間を要すためにインタラクティブな表示には向かない。
【０００５】
一方、画像から複数の特徴量が抽出され、その特徴量空間を２次元や３次元の表示空間に表示する場合には、各特徴量を表示の次元軸に割り振ることにより、当該次元軸を意味付けして表示した方がユーザは特徴量空間を把握しやすい。
【０００６】
本発明ではこのような点に鑑みてなされたもので、その目的は、表示空間上での次元軸に個々の特徴量を割り振り、ユーザの特徴量空間の把握を容易にした画像空間表示方法を提供することにある。
【０００７】
また、他の目的は、表示空間上で均一に画像を配置させる方法を提供することにある。
【０００８】
【課題を解決するための手段】
前記目的を達成するため、第１の手段は、複数の画像から画像の特徴を示す特徴量を抽出し、その特徴量に基づいて特徴量空間を階層的に分割し、複数の画像を仮想的に木構造とし、その木構造に基づいて表示空間を分割し、対応する各空間に画像を表示することよって画像空間を表示する画像空間表示方法において、複数の特徴量を用いる場合に特徴量ごとに木構造を生成する工程と、各木構造を１次元にマップすることによって特徴量数分の次元データを生成する工程と、この生成する工程で生成された次元データを表示座標軸データとして対応する各空間に表示する工程とを備え、前記木構造に基づいて表示空間を分割する時に、前記特徴量の各ポイントごとに求めた２つのクラスタの中心ポイントからの距離の差分により前記ポイントをソートし、そのソート順において適当な位置をクラスタの境界として２つのクラスタに分割することを特徴とする。
【００１０】
第２の手段は、第１の手段において、前記ソートのソート順における距離の差分の値の差が前後のポイントで最も大きいポイント間をクラスタの分離境界とし２つのクラスタに分割することを特徴とする。
【００１１】
第３の手段は、第２の手段において、表示空間の１つの次元に木構造をマップする時に、１次元の領域をクラスタの２つの中心ポイントからの距離及びその分離境界での距離の差分の値の差の比率に従って、前記表示空間の１つの次元の領域を分割することを特徴とする。
【００１２】
第４の手段は、第１の手段において、前記ソートのソート順における順位の中間点をクラスタの分離境界として２つのクラスタに分割することを特徴とする。
【００１４】
第５の手段は、第１の手段と同様の前提の画像空間表示方法において、前記抽出された各特徴量を表示空間上の各次元軸に割り当てる工程と、割り当てた各次元軸に従い、かつ、２次元の表示空間に配置された画像間の関係を特徴量空間上での画像間の関係に反映させ、前記特徴量空間を４つの部分空間に再帰的に分割する工程と、分割して生成した各部分空間の木構造を２次元の表示空間を４つに分割した部分空間に順次配置する工程とを備え、４つの部分空間に分割するための各部分空間の中心画像の選択に際し、位置関係を考慮した他のすでに決定した中心画像との各特徴量における距離に基づいてあらかじめ設定された評価式の演算結果から順次中心画像を決定することを特徴とする。
【００１５】
第８の手段は、第７の手段において、４つの部分空間に分割するための各部分空間の中心画像の選択に際し、位置関係を考慮した他のすでに決定した中心画像との各特徴量における距離に基づいてあらかじめ設定された評価式の演算結果から順次中心画像を決定することを特徴とする。
【００１６】
第６の手段は、第５の手段において、前記決定された中心画像を他の３つの中心画像から算出した評価式により再度演算し、その演算結果に基づいて再度中心画像を決定することを特徴とする。
【００１７】
第７の手段は、第６の手段において、他の３つの中心画像から算出した評価式に基づいて前記中心画像の位置の変化が生じなくなるまで、前記中心画像の位置を繰り返し演算し、前記中心画像の位置の変化がなくなった位置を選択することを特徴とする。
【００１８】
第８の手段は、第５ないし第７の手段において、中心画像が決定された後に各部分空間を示す中心画像に同じ画像数で割り振るために画像から最も距離の近い中心画像に割り振った結果、その部分空間に属することができる最大画像数（全画像数を中心画像数で割った値）を超える場合には、その部分空間中で最も中心画像から遠い画像を外してその他の最も近い中心画像に入れる処理を繰り返し、前記画像数を均一数に部分空間に分割することを特徴とする。
【００２２】
なお、後述の実施形態において、複数の特徴量を用いる場合に特徴量ごとに木構造を生成する手段には、特徴抽出部８１、クラスタリング部８２および木構造生成部８３が、各木構造を１次元にマップすることによって特徴量数分の次元データを生成する手段には、表示空間生成部８４が、この生成する手段で生成された次元データを表示座標軸データとして対応する各空間に表示する手段には、表示画面生成部８５がそれぞれ対応する。
【００２３】
また、前記抽出された各特徴量を表示空間上の各次元軸に割り当てる手段には、特徴抽出部８１が、割り当てた各次元軸に従い、かつ、２次元の表示空間に配置された画像間の関係を特徴量空間上での画像間の関係に反映させ、前記特徴量空間を４つの部分空間に再帰的に分割する手段には、クラスタリング部８２、木構造生成部８３および表示空間生成部８４が、分割して生成した各部分空間の木構造を２次元の表示空間を４つに分割した部分空間に順次配置する手段には、表示画面生成部Ｂ８５がそれぞれ対応する。
【００２４】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００２５】
１．第１の実施形態
図１は本発明の画像空間表示方法を実施するための第１の実施形態に係る画像表示装置の構成を示すブロック図、図２は図１の画像表示装置において実行される処理を示すブロック図である。
【００２６】
図１において、画像表示装置は、画像表示装置の制御を司るＣＰＵ１と、ＣＰＵ１が実行するプログラムが格納されたＲＯＭ２と、ＣＰＵ１がＲＯＭ２に格納されたプログラムを実行する際にワークエリアとして機能するとともに、プログラムを実行するための動的なデータが記憶されるＲＡＭ３と、入力装置としてのキーボード４およびマウス５と、表示装置としてのモニタ６と、画像アプリケーション７を実行する画像表示部８と、デジタルカメラやスキャナなどの周辺機器１１とのインターフェースとして機能するペリフェラルＩ／Ｆ９と、ネットワーク１２とのインターフェイスとして機能するネットワークＩ／Ｆ１０とからなり、これらはバス１３を介してＣＰＵ１から制御可能に接続されている。画像表示部８は、図２に示すように特徴抽出処理部８１、クラスタリング処理部８２、木構造生成処理部８３、表示空間生成処理部８４および表示画面生成処理部８５からなり、前記各部８１〜８５において特徴抽出処理、クラスタリング処理、木構造生成処理、表示空間生成処理および表示画面生成処理を画像アプリケーション７にしたがって実行する。
【００２７】
以下、前述した構成を有する画像表示部８によって実行される処理について、
１）特徴量抽出処理
２）特徴量空間木構造抽出処理
３）画像表示画面生成処理
の順で説明する。
【００２８】
１）特徴抽出処理
画像の特徴量として、ヒストグラム特徴、エッジ特徴、テクスチャ特徴など様々あり、本発明はいずれの特徴に対しても応用できる。もちろん画像以外のデータから抽出した特徴量でもかまわない。例えばテキストから抽出した特徴量にも応用可能である。ここでは一般的なヒストグラム特徴の抽出処理について説明する。画像としてはデジタルカメラやスキャナなどの周辺機器１１から入力した画像、Ｗｅｂからダウンロードした画像など様々考えられるが、本装置では入力方法を制限しない。
【００２９】
まず、適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶなど）を選択してこの空間を複数の領域に分割し、画像の各ピクセルが色空間のどの領域に対応するかを調べ、領域毎のピクセル数をカウントした後、全体のピクセル数により正規化する。正規化された領域毎のピクセル数のデータがヒストグラム特徴である。このヒストグラムの特徴量がヒストグラムの特徴量空間のポイントとなる。ヒストグラムの特徴量空間での２つの特徴量の距離として、一般に２つの特徴量の対応する各領域毎のピクセル数の差分の合計やユークリッド距離が利用される。こうして特徴量間の距離を求めることができる。
【００３０】
２）特徴量空間木構造抽出処理
特徴量の空間は高次元空間であり、これを単純に画面の２次元に表示することはできない。そこで、まず特徴量の空間の構造を木構造で表現し、その後、木構造を画面の空間にマップすることで仮想的に特徴量の空間を画面上に表現することができる。
【００３１】
特徴量の空間を木構造で表現するには、特徴量空間をクラスタリングし、複数の部分空間に分割を行い、木構造のノードとする。さらに、各部分空間（ノード）をクラスタリングし、部分空間に分割しノードとする。これを再帰的に行うことで特徴量の空間の木構造を生成することができる。つまりすべての特徴量が最下位の個々のノード（リーフノード）に１つずつ配置される。このようにして生成された木構造の例を図３に示す。空間を分割するノード数は２以上の幾つであっても構わないが、簡便のためここではノード数を２とする。この木構造では類似する特徴量は近くに配置されており、画像空間上での画像の位置関係を木構造が表している。
【００３２】
クラスタリング手法としては、一般的なＮｅａｒｅｓｔ Ｎｅｉｇｈｏｒ法やＫ−平均アルゴリズム法などが利用できる。この木構造では類似する画像は近くに配置されるが、その精度はクラスタリングの精度による。そこで、よりクラスタリングの精度を高くする方法として以下のような手順によるクラスタリングが可能である。なお、この方法では分割数を２と限定する。
【００３３】
▲１▼クラスタの中心ポイントの獲得
ａ）空間内で任意のポイントＡを選択する。
ｂ）選択したポイントＡから最遠のポイントをクラスタの中心ポイントＣ１とする。
ｃ）Ｃ１から最遠のポイントを２番目のクラスタの中心ポイントＣ２とする。
【００３４】
▲２▼ポイントのソート
ａ）空間の任意のポイントＰを選択する。
ｂ）２つのクラスタの中心ポイントＣ１，Ｃ２とポイントＰ間の距離を算出し、その距離の差分を差分距離として求める。
差分距離＝｜Ｃ１−Ｐ｜−｜Ｃ２−Ｐ｜
ｃ）ａ）−ｂ）を繰返し、すべてのポイントの差分距離を求める。
ｄ）差分距離の昇順ですべてのポイントをソートする。
【００３５】
▲３▼ポイントの分割
差分距離でソートされたポイントの前後の差分距離の差を求め、最もその差が大きいポイント間をクラスタの境界とする。そのクラスタの境界より差分距離の値が小さい側がＣ１に属し、大きい側がＣ２に属すことになる。また、木構造のバランスを取れたものにする、つまりは、最終的な表示画面上で等間隔に画像を分布させたい場合には個数上での中間で分離することも可能である。このようにして得られた２つのクラスタを木のノードとして、各ノードについて同様の処理▲１▼▲２▼▲３▼を再帰的に行なうことで木が生成され、最終的にリーフノードに各画像が１つずつ属すこととなる。
【００３６】
従来技術では、このように生成された１つの木構造から画面を生成していたが、本発明では、意味のある特徴量単位にこの木構造を生成し、それぞれ二分木の木構造を生成する。その意味のある特徴量とは、例えば色や形状やテクスチャであり、次の画面生成により生成された画面の軸がそれぞれの特徴量に対応することとなる。
【００３７】
３）画像表示画面生成処理
木構造を生成した後に、個々の木構造を１次元上にマップする。画面上の表示領域が１次元でマップするデータ領域となる。
【００３８】
木構造をルートから辿り、
ａ）１次元上のデータ領域を２分割し、２つの子ノードをそれぞれの領域に配置する。領域を分割する時には等分にしても良いし、表示精度を高めるには、子ノードに属すノード数に比例して分割点を決めたり、また、クラスタリング時の分割点から各中心点への距離に比例して分割点を決めたりすることも可能である。さらに、クラスタ間の隙間の距離をも考慮して、その隙間の空間に該当する領域を設定し、その空間には子ノードを指定しない。こうすることで、さらに類似性を正確に表した表示画面となる。
【００３９】
ｂ）各子ノードについて前述の１）特徴量抽出処理と２）特徴量空間木構造抽出処理を行う。
【００４０】
このように再帰的に処理することで木構造のすべてが１次元にマップされる。前出の図の木構造をマップした例を図４に示す。これは木構造を辿りながら領域を等分に分割した例である。
【００４１】
これをすべての木構造について行うことで、その木構造数分の次元データが得られる。画面表示としては３次元以上を表現しにくいので、３次元までのデータとすることが望ましい。例えば色、形状、テクスチャの特徴量で木構造を生成したなら、各軸がそれぞれ、色、形状、テクスチャに対応する３次元の表示空間が生成できる。
【００４２】
最終的な空間的な画面表示例を図５に示す。図の点は画像から抽出した形状、テクスチャおよび色をパラメータに取った特徴量の位置であり、そこに画像をそのまま表示してもよい。なお、この実施形態では、画像から抽出した形状、テクスチャおよび色を特徴量としているが、これらの特徴量だけでなくあらゆる特徴量（文書から抽出した特徴量など）に応用が可能である。
【００４３】
ここで、具体的な空間表示のための手順について図１７ないし図２１を参照して説明する。この処理は、ＣＰＵ１がＲＡＭ３をワークエリアとして使用しながらＲＯＭ２に格納されたプログラムを実行することにより行われる。
【００４４】
この第１の実施形態は、各表示次元軸に特徴量を割り当てるように構成したもので、図１７は特徴量軸表示空間を生成する処理の処理手順を示すフローチャートである。この処理では、まず、特徴量Ａを選択し、１次元の表示空間として表示空間生成のルーチンＩを呼び出す（ステップＳ１０１）。そして、図１８に示す後述の表示空間生成のルーチンＩを実行し、このルーチンＩで特徴量Ａの特徴量が抽出され、木構造が生成され、表示空間での全画像の座標が生成される。その場合、１次元のデータが返されて特徴量Ａの１次元表示空間の座標が受け渡され（ステップＳ１０２）、得られた座標を表示軸Ｘの座標とする（ステップＳ１０３）。特徴量Ｂを選択し、１次元の表示空間として表示空間生成のルーチンＩを呼び出す（ステップＳ１０４）。そして、特徴量Ｂの１次元空間の座標データが受け渡され（ステップＳ１０５）、得られた座標データを表示軸Ｙの座標とする（ステップＳ１０６）。次いで、同様に特徴量Ｃを選択し、１次元の表示空間として表示空間生成のルーチンＩを呼び出す（ステップＳ１０７）。そして、特徴量Ｃの１次元空間の座標データが受け渡され（ステップＳ１０８）、得られた座標データを表示軸Ｚの座標とする（ステップＳ１０９）。最後に、ステップＳ１０３、Ｓ１０６、Ｓ１０９で得られた各表示軸の座標値から３次元の表示画面を生成する。なお、この処理では、ステップＳ１０１〜ステップＳ１０３が特徴量Ａを座標軸Ｘに対応させる１つの処理、ステップＳ１０４〜ステップＳ１０６が特徴量Ｂを座標軸Ｙに対応させる１つの処理、ステップＳ１０７〜ステップＳ１０９が特徴量Ｃを座標軸Ｚに対応させる１つの処理となっている。
【００４５】
なお、この場合の特徴量Ａ、Ｂ、Ｃは特徴量の種別（カラーヒストグラフやエッジ）を表している。具体的には、図５の形状、色、テクスチャー（座標軸Ｓ，Ｙ，Ｚ）のいずれかにそれぞれ対応する。
【００４６】
図１８は第１の表示空間生成処理（以下、表示空間生成Ｉとも称す）の処理手順を示すフローチャートである。この処理では、全画像データが入力されると、その全画像データの特徴量を最後の画像まで抽出し（ステップＳ２０１、Ｓ２０２）、特徴量の集合（特徴量空間）を得る（ステップＳ２０３）。次いで、図１９に示した二分木生成処理ルーチンを呼び出し（ステップＳ２０４）、特徴量集合に対して二分木生成処理を実行する（ステップＳ２０５）。そして、二分木のルート集合（ノード）と表示空間を入力として図２０の第２の表示空間生成処理（以下、表示空間生成IIとも称す）ルーチンを呼び出し（ステップＳ２０６）、表示空間生成IIルーチンに基づいて表示空間を生成する（ステップＳ２０７）。なお、この処理は前記３）の画像表示画面生成処理で述べた通りである。
【００４７】
この図１８に示した第１の表示空間生成処理時に実行されるルーチンを図１９ないし図２１に示す。図１９はステップＳ２０４で呼び出され、ステップＳ２０５で実行される二分木生成処理の処理手順を示すフローチャートである。この処理では、図２１のクラスタリングルーチンを呼び出し、特徴量集合を二分割し、２つの部分集合（クラスタ）Ａ及びＢを生成する（ステップＳ３０１）。クラスタリングについては前記２）特徴量空間木構造抽出処理で述べた通りである。部分集合Ａ及びＢが生成されると、各部分集合Ａ、Ｂを特徴量集合の子集合（子ノード）とし（ステップＳ３０２）、部分集合Ａの特徴量要素が１かどうかを判定し（ステップＳ３０３）、１であればステップＳ３０４でさらに部分集合Ｂの特徴量要素が１かどうか判定する。また、ステップＳ３０３で部分集合Ａの特徴量要素が１でなければ、ステップＳ３０５で部分集合Ａを集合として二分木生成処理ルーチンを呼び出し、部分集合Ａを集合としてステップＳ３０１以降の処理を実行し、ステップＳ３０４の処理を実行する。ステップＳ３０４で部分集合Ｂの特徴量要素が１であれば、この処理を終了し、１でなければ部分集合Ｂを集合としてステップＳ３０５と同様に二分木生成処理ルーチンを呼び出し（ステップＳ３０６）、ステップＳ３０１以降の処理を実行して処理を終える。
【００４８】
ここで特徴量要素が１とは、集合を格子する特徴量（要素）の個数が１であるという意味であり、このことは特徴量の要素数が１、言い換えれると集合に含まれる特徴量数が１つであるということを意味する。前述のように特徴量の部分集合を順次分割していくと最終的にその部分集合に特徴量の要素数が１つしかない状態になる。この処理は、特徴量の要素数を二分木生成処理によって１つしかないものに分割する処理である。
【００４９】
図２０はステップＳ２０６で呼び出され、ステップＳ２０７で実行される第２の表示空間生成処理（以下、表示空間生成IIとも称す）の処理手順を示すフローチャートである。この処理では、すべての特徴量が最下位の個々のノードに属した集合（リーフ集合）であるかどうかをチェックし（ステップＳ４０１）、リーフ集合であれば、表示空間に画像を配置して（ステップＳ４０２）処理を終える。一方、ステップＳ４０１のチェックでリーフ集合でなければ、表示空間を部分集合Ａ及びＢに分割し（ステップＳ４０３）、二分木の子に当たる各部分集合Ａ、Ｂを表示空間の各部分空間Ａ、Ｂに割り当てる（ステップＳ４０４）。そして、部分集合Ａを集合、表示空間Ａを表示空間として第２の表示空間生成ルーチンを再帰呼び出しする（ステップＳ４０５）。次いで、部分集合Ｂも集合、表示空間Ｂを表示空間として第２及び第１の表示空間生成ルーチンを再帰呼び出しする（ステップＳ４０６）。これらステップＳ４０３、Ｓ４０４、Ｓ４０５及びＳ４０６の処理をリーフ集合になるまで繰り返し、リーフ集合になった時点で表示空間に画像を配置する（ステップＳ４０２）。
【００５０】
なお、特徴量Ａは特徴量の種別の集合、部分集合Ａは特徴量の集合、表示空間Ａは特徴量を表示する空間を示し、この表示空間生成処理は前記表示空間（部分表示空間）に特徴量の表示空間をマップする処理である。ここでは、ある部分集合を１対１に対応するある部分表示空間にマップするので、対応付けの意味で同じＡという符号を使用している。
【００５１】
図２０はステップＳ３０１で実行されるクラスタリング処理の処理手順を示すフローチャートである。この処理は、前記２）の特徴量空間木構造抽出処理において説明しているように、まず、任意のポイントＡを選択し（ステップＳ５０１−２）▲１▼ａ））、ポイントＡから最遠のポイントをポイントＣ１に設定する（ステップＳ５０２−２）▲１▼ｂ））。次いで、ポイントＣ１から最遠のポイントをポイントＣ２に設定し（ステップＳ５０３−２）▲１▼ｃ））、さらに処理済みでない任意のポイントＰを選択し（ステップＳ５０４−２）▲２▼ａ））、ポイントＰとポイントＣ１，Ｃ２との差分距離を算出する（ステップＳ５０５−２）▲２▼ｂ））。そして、前記選択されたポイントＰを処理済みとし（ステップＳ５０６）、ステップＳ５０４からステップＳ５０６までの処理を未処理のポイントがなくなるまで繰り返す（ステップＳ５０７−２）▲２▼ｃ））全て処理済みとなると、差分距離の昇順で全てのポイントをソートし（ステップＳ５０８−２）▲２▼ｄ））、ソートされたポイント順の前後の差分距離の差分を算出し（ステップＳ５０９）、差分距離の差分の最大をクラスタの境界としてポイント集合を２分する（ステップＳ５１０−２）▲３▼）。
【００５２】
なお、この実施形態では、図１７に示すように各表示空間次元軸に特徴量を割り当てるように構成しているが、表示次元軸に特徴量を割り当てない場合には、前述の第１の表示空間生成処理ルーチンを直接呼び出すように構成することもできる。
【００５３】
２．第２の実施形態
この第２の実施形態においても、前述の第１の実施形態において図１に示した画像表示装置の構成、および図２に示した画像表示装置において実行される処理については同一なので、説明は省略する。
【００５４】
以下、この第２の実施形態における前述の画像表示部８によって実行される処理について
１）特徴量抽出処理
２）特徴量空間分割処理
３）画像表示画面生成処理
の順で説明する。
【００５５】
１）特徴量抽出処理
この処理は、前述の第１の実施形態における１．１）で説明した特徴量抽出処理と同一である。そのため、重複を防ぐ意味でここでの説明は省略する。
【００５６】
２）特徴量空間分割処理
特徴量を表示空間に割り当てるために、特徴量空間の分割を行なう。２次元の表示空間を生成する場合で特徴量空間の分割方法を説明する。各画像からは特徴量Ａと特徴量Ｂが抽出されているとし、特徴量Ａを表示空間のＸ軸、特徴量Ｂを表示空間のＹ軸に割り当てるとする。２次元の表示空間の場合には特徴量空間を４分割（図６）し、３次元の表示空間の場合には特徴量空間を８分割（図７）する。
【００５７】
４分割の場合には以下の手順で行なうことによって、分割された各部分空間の位置関係を正しく反映した分割を行なうことができる。
なお、画像ａの特徴量ＡをＦＡａ、画像ｂの特徴量ＡをＦＡｂというように表すと、
特徴量Ａ空間内での画像ａと画像ｂの距離（０〜１）は、
ＤＡ（ＦＡａ， ＦＡｂ）
で表される。
また、特徴量Ｂ空間内での画像ａと画像ｂの距離（０〜１）は同様に、
ＤＢ（ＦＢａ， ＦＢｂ）
で表される。距離は０〜１の範囲の値とする。
【００５８】
▲１▼各部分空間の中心特徴量の獲得
各部分空間の中心特徴量の獲得手順について図８ないし図１１を参照して説明する。まず、
ａ）空間内で任意の画像ａを選択する（図８）。
【００５９】
そして、
ｂ）選択した画像ａから２つの特徴量に対して最遠の画像を部分空間（図８では左下の部分空間）の中心画像ｃ１とする。つまり、評価式
ＤＡ（ＦＡａ，ＦＡｃ）＋ＤＢ（ＦＢａ，ＦＢｃ）・・・（１）
が最大となる画像ｃを中心画像ｃ１とする。
【００６０】
次いで、
ｃ）ｃ１から２つの特徴量に対して最遠の画像を対角線上に位置する部分空間（図９では右上の部分空間）の中心画像ｃ２とする。
つまり、評価式
ＤＡ（ＦＡｃ１，ＦＡｃ）＋ＤＢ（ＦＢｃ１，ＦＢｃ）・・・（２）
が最大となる画像ｃを画像ｃ２とする。
【００６１】
さらに、
ｄ）ｃ１については特徴量Ａの距離は近く特徴量Ｂの距離は遠く、かつ、ｃ２については特徴量Ａの距離は遠く特徴量Ｂの距離は近い画像を３番目の部分空間（図１０では左上の部分空間）の中心画像ｃ３とする。
つまり、評価式
（１− ＤＡ（ＦＡｃ１，ＦＡｃ））＋ＤＢ（ＦＢｃ１，ＦＢｃ）
＋ＤＡ（ＦＡｃ２，ＦＡｃ）＋（１−ＤＢ（ＦＢｃ２，ＦＢｃ））・・・（３）
が最大となる画像ｃを画像ｃ３とする。
【００６２】
最後に、
ｅ）ｃ１については特徴量Ｂの距離は近く特徴量Ａの距離は遠く、かつ、ｃ２については特徴量Ｂの距離は遠く特徴量Ａの距離は近く、かつ、ｃ３から特徴量Ａ，Ｂいずれからも遠い画像を４番目の部分空間（図１１では右下の部分空間）の中心画像ｃ４とする。
つまり、評価式
が最大となる画像ｃを画像ｃ３とする。
【００６３】
このようにして４つの中心画像が決定されるが、ｃ１，ｃ２，ｃ３に関しては、他のすべての中心画像との関係に基づいて決定されているわけではない。さらに精度よく、かつ、処理時間に余裕がある場合には、ｅ）での評価式に基づいて、すべての中心画像を決定し直すことでより精度の良い中心画像を得ることができる。
【００６４】
この処理を中心画像の変化がなくなるまで繰り返し行なうことによって、さらに精度が高くなる。ただし、処理時間がかかるのでアプリケーションの要求する速度によっていずれの処理を行なうかを選択する。
【００６５】
▲２▼画像の分配
残りの画像を一画像ずつ選択しｃ１〜ｃ４との距離を算出して最も近い部分空間に入れる。
つまり、図１２に示す画像ｐに対して
ＤＡ（ＦＡｐ，ＦＡｃｎ）＋ＤＢ（ＦＢｐ，ＦＢｃｎ）・・・（５）
の距離が最小となる中心画像ｃｎ（ｎ＝１〜４）を求めその中心画像の部分空間ｎに入れる。
こうして画像を４つの部分空間に分割することができる。３次元の表示空間の場合にも３つの特徴量を各次元軸に割り当てて同様にして拡張することができる（図１３）。
【００６６】
このようにして得られた４つの部分空間についてさらに上記２．２）の▲１▼、▲２▼の処理を行なう。こうして生成された部分空間を再帰的に繰り返し処理することによって部分空間が細分化される。そして、この処理を各部分空間に画像が１つしかない状態まで繰り返す。結果として部分空間は、図１４に示すような木構造で表現され、特徴量空間の木構造抽出処理が完了する。
【００６７】
３）画像表示画面生成処理
画像表示画面生成処理では、図１４にのように表現された木構造をルートから辿り、
ａ）表示空間を図１５に示すようにｃ１〜ｃ４に４分割する。分割の方法としは単純に等分にする。
なお、ここでは、等分にする方法について説明しているが、その他に、
・各部分空間に含まれる画像数に表示空間の面積を比例させて分割する方法
・各部分空間が中の任意の２点間の距離を求めその最大値を部分空間の大きさとし、その大きさに比例させて分割する方法
がある。
【００６８】
ｂ）分割された各表示空間に木構造の各部分空間を割り振る。この時に部分空間の位置関係は部分空間生成時に考慮した位置関係に一致するようにしなければならない。木構造のリーフノードの部分空間であれば、ノードに画像が割り振られているので、その画像を表示空間上に配置する。
【００６９】
ｃ）各部分空間の下位の部分空間に対して上記２．３）のａ），ｂ）の処理を再帰的に処理する。
【００７０】
こうすることによって図１６に示すように木構造の画像が表示空間に配置される。しかし、このように生成された表示空間における画像の分布は均一ではない。アプリケーションによっては均一にしたい場合もある。分布の不均一は部分空間生成時に各部分空間に割り振られた画像数が不均一であることから生じる。そこで、均一に画像を部分空間に割り振る方法について説明する。
【００７１】
ｄ）均一に画像を部分空間に割り振る場合、前記２．２）の特徴量空間の分割処理の各部分空間の中心特徴量の獲得については前述の２．２）▲１▼と同様である。
【００７２】
しかし、２．２）の▲２▼の画像の分配については次のように処理する。
【００７３】
１）空間の全画像数Ｎから各部分画像の最大画像数Ｍを決定し、
Ｍ＝Ｎ／４＋１
とする。
【００７４】
２）残りの画像から１つずつ選択し、ｃ１〜ｃ４との距離
ＤＡ（ＦＡｐ，ＦＡｃｎ）＋ＤＢ（ＦＢｐ，ＦＢｃｎ）
を算出し、最も近い部分空間（仮にＡとする）に入れる。
【００７５】
３）前記部分空間Ａに前記ｃ１〜ｃ４との距離を入れることによって部分空間Ａに属する画像数がＭを超える場合は、その部分空間Ａの中で中心画像から最も距離の遠い画像をその部分空間から外す。外した画像に対して他の部分空間との距離を算出して最も近い部分空間（仮にＢとする）に入れる。ただし、その部分空間Ｂに入れることによって部分空間Ｂに属する画像数がＭを超える場合は、前記部分空間Ｂから同様にして一画像をはずし、Ａ，Ｂを除く他の部分空間に対して同様の処理をする。画像数が超える場合には同様の処理を順次繰り返す。
【００７６】
４）前記１）２）３）を繰り返し、すべての画像を割り振る。
これによって画像が表示空間に均一に割り振られる。
【００７７】
この第２の実施形態は、表示次元軸に特徴量を割り当てることを前提とし、第１の実施形態よりも精度を高めた処理を行う例である。したがって、前記図１７の特徴量軸表示空間生成処理は行われず、図１８ないし図２１に示した処理が実行される。ただし、図１９に示した二分木生成処理については、図２２のフローチャートに示した処理に変わる。したがって、ステップＳ３０１のクラスタリング処理はこの実施形態では図２２に示したルーチンとなる。
【００７８】
以下、図２２のフローチャートについて説明する。
【００７９】
この処理では、まず、任意のポイントＡを選択し（ステップＳ６０１−２）▲１▼ａ））、ポイントＡから前記評価式（１）が最大のポイントをポイントｃ１に設定する（ステップＳ６０２−２）▲１▼ｂ））。次いで、評価式（２）が最大のポイントをポイントｃ２に設定し（ステップＳ６０２−２）▲１▼ｃ））、評価式（３）が最大のポイントをポイントｃ３に設定し（ステップＳ６０３−２）▲１▼ｄ））、さらに評価式（４）が最大のポイントをポイントｃ４に設定する（ステップＳ６０３−２）▲１▼ｅ））。そして、処理済みでない任意のポイントＰを選択し（ステップＳ６０６）、（５）式で示されるポイントＰとポイントｃ１，ｃ２，ｃ３，ｃ４との距離を算出する（ステップＳ６０７）。次いで、距離が最も小さいｃｎのクラスタにポイントＰを加え（ステップＳ６０８）、前記選択されたポイントＰを処理済みとし（ステップＳ６０９）、差分距離の昇順で全てのポイントをソートし（ステップＳ６１０）、ステップＳ６０６からステップＳ６１０までの処理を未処理のポイントがなくなるまで繰り返す（ステップＳ６１１）。
【００８０】
その他、特に説明しない処理は、前述の第１の実施形態と同等に処理される。
【００８２】
【発明の効果】
請求項１記載の発明によれば、木構造を生成するために特徴量空間を分割する時に、特徴量の各ポイントごとに求めた２つのクラスタの中心ポイントからの距離の差分により前記ポイントをソートし、そのソート順において適当な位置をクラスタの境界として２つのクラスタに分割するので、クラスタリングの精度を高めることが可能となり、精度の高い画像特徴量の表示空間を生成することができる。
【００８３】
また、請求項２記載の発明によれば、ソート順における距離の差分の値の差が前後のポイントで最も大きいポイント間をクラスタの分離境界とし２つのクラスタに分割するので、クラスタリングの精度を高めることが可能となり、精度の高い画像特徴量の表示空間を生成することができる。
【００８４】
また、請求項３記載の発明によれば、表示空間の１つの次元に木構造をマップする時に１次元の領域をクラスタの２つ中心ポイントからの距離及びその分離境界での距離の差分の値の差の比率に従い表示空間の１つの次元の領域を分割するので、木構造がバランスのとれたものとなり、結果としてポイントを均一に言い換えれば等間隔に配置することが可能となる。
【００８５】
また、請求項４記載の発明によれば、ソート順における順位の中間点をクラスタの分離境界として２つのクラスタに分割するので、クラスタリングの精度を高めることが可能となり、精度の高い画像特徴量の表示空間を生成することができる。
【００８８】
また、請求項５記載の発明によれば、４つの部分空間に分割するための各部分空間の中心画像の選択に際し、位置関係を考慮した他のすでに決定した中心画像との各特徴量における距離に基づいてあらかじめ設定された評価式の演算結果から順次中心画像を決定するので、さらに見やすい表示空間とすることができる。
【００８９】
また、請求項６記載の発明によれば、決定された中心画像を他の３つの中心画像から算出した評価式により再度演算し、その演算結果に基づいて再度中心画像を決定するので、請求項５記載の発明の効果に加え、さらに見やすい表示空間とすることができる。
【００９０】
また、請求項７記載の発明によれば、他の３つの中心画像から算出した評価式に基づいて前記中心画像の位置の変化が生じなくなるまで、前記中心画像の位置を繰り返し演算し、前記中心画像の位置の変化がなくなった位置を選択するので、請求項６記載の発明の効果に加え、さらに見やすい表示空間とすることができる。
【００９１】
また、請求項８記載の発明によれば、中心画像が決定された後に各部分空間を示す中心画像に同じ画像数で割り振るために、画像から最も距離の近い中心画像に割り振った結果、その部分空間に属することができる最大画像（全画像数を中心画像数で割った値）を超える場合には、その部分空間中で最も中心画像から遠い画像をはずして、その他の最も近い中心画像に入れ、この処理を繰り返すことで均一数に部分空間に分割するので、表示画像中で均一に画像が配置されユーザにとって見やすい表示空間とすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像表示装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態の画像表示装置において実行される処理を示すブロック図である。
【図３】本発明の第１の実施形態において生成された木構造の例を示す図である。
【図４】図３の木構造のすべてを１次元にマップした例を示す図である。
【図５】本発明の第１の実施形態において、画像から抽出した形状、テクスチャおよび色を特徴量として３次元の表示空間と特徴量の位置との関係を示す図である。
【図６】本発明の第２の実施形態における４分割された２次元の特徴量空間を示す図である。
【図７】本発明の第２の実施形態における８分割された３次元の特徴量空間を示す図である。
【図８】本発明の第２の実施形態における各部分空間の獲得手順を説明するための図である。
【図９】本発明の第２の実施形態における各部分空間の獲得手順を説明するための図である。
【図１０】本発明の第２の実施形態における各部分空間の獲得手順を説明するための図である。
【図１１】本発明の第２の実施形態における各部分空間の獲得手順を説明するための図である。
【図１２】本発明の第２の実施形態における各部分空間の画像の分配の手順を説明するための図である。
【図１３】本発明の第２の実施形態における各部分空間の画像の分配の手順を説明するための図である。
【図１４】本発明の第２の実施形態において表現される構造の例を示す図である。
【図１５】本発明の第２の実施形態における画像表示画面生成の手順を説明するための図である。
【図１６】本発明の第２の実施形態における画像表示画面生成の手順を説明するための図である。
【図１７】本発明の第１の実施形態における特徴量軸表示空間生成処理の処理手順を示すフローチャートである。
【図１８】本発明の第１の実施形態における表示空間生成処理Ｉの処理手順を示すフローチャートである。
【図１９】本発明の第１の実施形態における二分木生成処理の処理手順を示すフローチャートである。
【図２０】本発明の第１の実施形態における表示空間生成処理IIの処理手順を示すフローチャートである。
【図２１】本発明の第１の実施形態におけるクラスタリング処理の処理手順を示すフローチャートである。
【図２２】本発明の第２の実施形態におけるクラスタリング処理の処理手順を示すフローチャートである。
【符号の説明】
１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
６ モニタ
７ 画像アプリケーション
８ 画像表示部
８１ 特徴抽出処理部
８２ クラスタリング処理部
８３ 木構造生成部
８４ 表示空間生成部
８５ 表示画面生成部
１１ スキャナ、デジタルカメラ（周辺機器）
【発明の属する技術分野】
本発明はユーザが所望する画像を大量の画像から探し出すための画像の表示技術に係り、特に、画像の特徴量を空間的に表示する画像空間表示方法に関する。
【０００２】
【従来の技術】
この種の技術として、例えば
（１）「類似画像検索における特徴量空間の可視化インターフェイス」（電子情報通信学会技術研究報告 ９８巻２０４号）
（２）「インタラクティブ視覚化による文献集合からの情報獲得支援」（日本ソフトウェア科学会 第１３大会）
が知られている。
【０００３】
前記（１）の公知技術は、主成分分析により特徴の多次元空間の次元数を落し２次元空間の表示空間にマップする方法である。また、前記（２）の公知技術は、多数の文献とキーワードをその関連性に基づいて配置する視覚的分類技術に、ユーザの操作による視覚化結果の動的な更新を導入したものである。
【０００４】
【発明が解決しようとする課題】
しかし、前記（１）の公知技術では、画像特徴がベクトルデータで表現できない場合、または、画像の類似性が線形結合で表せない場合には主成分分析ができず、この方法を利用することはできない。また、前記（２）の公知技術では、計算量が膨大で処理時間を要すためにインタラクティブな表示には向かない。
【０００５】
一方、画像から複数の特徴量が抽出され、その特徴量空間を２次元や３次元の表示空間に表示する場合には、各特徴量を表示の次元軸に割り振ることにより、当該次元軸を意味付けして表示した方がユーザは特徴量空間を把握しやすい。
【０００６】
本発明ではこのような点に鑑みてなされたもので、その目的は、表示空間上での次元軸に個々の特徴量を割り振り、ユーザの特徴量空間の把握を容易にした画像空間表示方法を提供することにある。
【０００７】
また、他の目的は、表示空間上で均一に画像を配置させる方法を提供することにある。
【０００８】
【課題を解決するための手段】
前記目的を達成するため、第１の手段は、複数の画像から画像の特徴を示す特徴量を抽出し、その特徴量に基づいて特徴量空間を階層的に分割し、複数の画像を仮想的に木構造とし、その木構造に基づいて表示空間を分割し、対応する各空間に画像を表示することよって画像空間を表示する画像空間表示方法において、複数の特徴量を用いる場合に特徴量ごとに木構造を生成する工程と、各木構造を１次元にマップすることによって特徴量数分の次元データを生成する工程と、この生成する工程で生成された次元データを表示座標軸データとして対応する各空間に表示する工程とを備え、前記木構造に基づいて表示空間を分割する時に、前記特徴量の各ポイントごとに求めた２つのクラスタの中心ポイントからの距離の差分により前記ポイントをソートし、そのソート順において適当な位置をクラスタの境界として２つのクラスタに分割することを特徴とする。
【００１０】
第２の手段は、第１の手段において、前記ソートのソート順における距離の差分の値の差が前後のポイントで最も大きいポイント間をクラスタの分離境界とし２つのクラスタに分割することを特徴とする。
【００１１】
第３の手段は、第２の手段において、表示空間の１つの次元に木構造をマップする時に、１次元の領域をクラスタの２つの中心ポイントからの距離及びその分離境界での距離の差分の値の差の比率に従って、前記表示空間の１つの次元の領域を分割することを特徴とする。
【００１２】
第４の手段は、第１の手段において、前記ソートのソート順における順位の中間点をクラスタの分離境界として２つのクラスタに分割することを特徴とする。
【００１４】
第５の手段は、第１の手段と同様の前提の画像空間表示方法において、前記抽出された各特徴量を表示空間上の各次元軸に割り当てる工程と、割り当てた各次元軸に従い、かつ、２次元の表示空間に配置された画像間の関係を特徴量空間上での画像間の関係に反映させ、前記特徴量空間を４つの部分空間に再帰的に分割する工程と、分割して生成した各部分空間の木構造を２次元の表示空間を４つに分割した部分空間に順次配置する工程とを備え、４つの部分空間に分割するための各部分空間の中心画像の選択に際し、位置関係を考慮した他のすでに決定した中心画像との各特徴量における距離に基づいてあらかじめ設定された評価式の演算結果から順次中心画像を決定することを特徴とする。
【００１５】
第８の手段は、第７の手段において、４つの部分空間に分割するための各部分空間の中心画像の選択に際し、位置関係を考慮した他のすでに決定した中心画像との各特徴量における距離に基づいてあらかじめ設定された評価式の演算結果から順次中心画像を決定することを特徴とする。
【００１６】
第６の手段は、第５の手段において、前記決定された中心画像を他の３つの中心画像から算出した評価式により再度演算し、その演算結果に基づいて再度中心画像を決定することを特徴とする。
【００１７】
第７の手段は、第６の手段において、他の３つの中心画像から算出した評価式に基づいて前記中心画像の位置の変化が生じなくなるまで、前記中心画像の位置を繰り返し演算し、前記中心画像の位置の変化がなくなった位置を選択することを特徴とする。
【００１８】
第８の手段は、第５ないし第７の手段において、中心画像が決定された後に各部分空間を示す中心画像に同じ画像数で割り振るために画像から最も距離の近い中心画像に割り振った結果、その部分空間に属することができる最大画像数（全画像数を中心画像数で割った値）を超える場合には、その部分空間中で最も中心画像から遠い画像を外してその他の最も近い中心画像に入れる処理を繰り返し、前記画像数を均一数に部分空間に分割することを特徴とする。
【００２２】
なお、後述の実施形態において、複数の特徴量を用いる場合に特徴量ごとに木構造を生成する手段には、特徴抽出部８１、クラスタリング部８２および木構造生成部８３が、各木構造を１次元にマップすることによって特徴量数分の次元データを生成する手段には、表示空間生成部８４が、この生成する手段で生成された次元データを表示座標軸データとして対応する各空間に表示する手段には、表示画面生成部８５がそれぞれ対応する。
【００２３】
また、前記抽出された各特徴量を表示空間上の各次元軸に割り当てる手段には、特徴抽出部８１が、割り当てた各次元軸に従い、かつ、２次元の表示空間に配置された画像間の関係を特徴量空間上での画像間の関係に反映させ、前記特徴量空間を４つの部分空間に再帰的に分割する手段には、クラスタリング部８２、木構造生成部８３および表示空間生成部８４が、分割して生成した各部分空間の木構造を２次元の表示空間を４つに分割した部分空間に順次配置する手段には、表示画面生成部Ｂ８５がそれぞれ対応する。
【００２４】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００２５】
１．第１の実施形態
図１は本発明の画像空間表示方法を実施するための第１の実施形態に係る画像表示装置の構成を示すブロック図、図２は図１の画像表示装置において実行される処理を示すブロック図である。
【００２６】
図１において、画像表示装置は、画像表示装置の制御を司るＣＰＵ１と、ＣＰＵ１が実行するプログラムが格納されたＲＯＭ２と、ＣＰＵ１がＲＯＭ２に格納されたプログラムを実行する際にワークエリアとして機能するとともに、プログラムを実行するための動的なデータが記憶されるＲＡＭ３と、入力装置としてのキーボード４およびマウス５と、表示装置としてのモニタ６と、画像アプリケーション７を実行する画像表示部８と、デジタルカメラやスキャナなどの周辺機器１１とのインターフェースとして機能するペリフェラルＩ／Ｆ９と、ネットワーク１２とのインターフェイスとして機能するネットワークＩ／Ｆ１０とからなり、これらはバス１３を介してＣＰＵ１から制御可能に接続されている。画像表示部８は、図２に示すように特徴抽出処理部８１、クラスタリング処理部８２、木構造生成処理部８３、表示空間生成処理部８４および表示画面生成処理部８５からなり、前記各部８１〜８５において特徴抽出処理、クラスタリング処理、木構造生成処理、表示空間生成処理および表示画面生成処理を画像アプリケーション７にしたがって実行する。
【００２７】
以下、前述した構成を有する画像表示部８によって実行される処理について、
１）特徴量抽出処理
２）特徴量空間木構造抽出処理
３）画像表示画面生成処理
の順で説明する。
【００２８】
１）特徴抽出処理
画像の特徴量として、ヒストグラム特徴、エッジ特徴、テクスチャ特徴など様々あり、本発明はいずれの特徴に対しても応用できる。もちろん画像以外のデータから抽出した特徴量でもかまわない。例えばテキストから抽出した特徴量にも応用可能である。ここでは一般的なヒストグラム特徴の抽出処理について説明する。画像としてはデジタルカメラやスキャナなどの周辺機器１１から入力した画像、Ｗｅｂからダウンロードした画像など様々考えられるが、本装置では入力方法を制限しない。
【００２９】
まず、適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶなど）を選択してこの空間を複数の領域に分割し、画像の各ピクセルが色空間のどの領域に対応するかを調べ、領域毎のピクセル数をカウントした後、全体のピクセル数により正規化する。正規化された領域毎のピクセル数のデータがヒストグラム特徴である。このヒストグラムの特徴量がヒストグラムの特徴量空間のポイントとなる。ヒストグラムの特徴量空間での２つの特徴量の距離として、一般に２つの特徴量の対応する各領域毎のピクセル数の差分の合計やユークリッド距離が利用される。こうして特徴量間の距離を求めることができる。
【００３０】
２）特徴量空間木構造抽出処理
特徴量の空間は高次元空間であり、これを単純に画面の２次元に表示することはできない。そこで、まず特徴量の空間の構造を木構造で表現し、その後、木構造を画面の空間にマップすることで仮想的に特徴量の空間を画面上に表現することができる。
【００３１】
特徴量の空間を木構造で表現するには、特徴量空間をクラスタリングし、複数の部分空間に分割を行い、木構造のノードとする。さらに、各部分空間（ノード）をクラスタリングし、部分空間に分割しノードとする。これを再帰的に行うことで特徴量の空間の木構造を生成することができる。つまりすべての特徴量が最下位の個々のノード（リーフノード）に１つずつ配置される。このようにして生成された木構造の例を図３に示す。空間を分割するノード数は２以上の幾つであっても構わないが、簡便のためここではノード数を２とする。この木構造では類似する特徴量は近くに配置されており、画像空間上での画像の位置関係を木構造が表している。
【００３２】
クラスタリング手法としては、一般的なＮｅａｒｅｓｔ Ｎｅｉｇｈｏｒ法やＫ−平均アルゴリズム法などが利用できる。この木構造では類似する画像は近くに配置されるが、その精度はクラスタリングの精度による。そこで、よりクラスタリングの精度を高くする方法として以下のような手順によるクラスタリングが可能である。なお、この方法では分割数を２と限定する。
【００３３】
▲１▼クラスタの中心ポイントの獲得
ａ）空間内で任意のポイントＡを選択する。
ｂ）選択したポイントＡから最遠のポイントをクラスタの中心ポイントＣ１とする。
ｃ）Ｃ１から最遠のポイントを２番目のクラスタの中心ポイントＣ２とする。
【００３４】
▲２▼ポイントのソート
ａ）空間の任意のポイントＰを選択する。
ｂ）２つのクラスタの中心ポイントＣ１，Ｃ２とポイントＰ間の距離を算出し、その距離の差分を差分距離として求める。
差分距離＝｜Ｃ１−Ｐ｜−｜Ｃ２−Ｐ｜
ｃ）ａ）−ｂ）を繰返し、すべてのポイントの差分距離を求める。
ｄ）差分距離の昇順ですべてのポイントをソートする。
【００３５】
▲３▼ポイントの分割
差分距離でソートされたポイントの前後の差分距離の差を求め、最もその差が大きいポイント間をクラスタの境界とする。そのクラスタの境界より差分距離の値が小さい側がＣ１に属し、大きい側がＣ２に属すことになる。また、木構造のバランスを取れたものにする、つまりは、最終的な表示画面上で等間隔に画像を分布させたい場合には個数上での中間で分離することも可能である。このようにして得られた２つのクラスタを木のノードとして、各ノードについて同様の処理▲１▼▲２▼▲３▼を再帰的に行なうことで木が生成され、最終的にリーフノードに各画像が１つずつ属すこととなる。
【００３６】
従来技術では、このように生成された１つの木構造から画面を生成していたが、本発明では、意味のある特徴量単位にこの木構造を生成し、それぞれ二分木の木構造を生成する。その意味のある特徴量とは、例えば色や形状やテクスチャであり、次の画面生成により生成された画面の軸がそれぞれの特徴量に対応することとなる。
【００３７】
３）画像表示画面生成処理
木構造を生成した後に、個々の木構造を１次元上にマップする。画面上の表示領域が１次元でマップするデータ領域となる。
【００３８】
木構造をルートから辿り、
ａ）１次元上のデータ領域を２分割し、２つの子ノードをそれぞれの領域に配置する。領域を分割する時には等分にしても良いし、表示精度を高めるには、子ノードに属すノード数に比例して分割点を決めたり、また、クラスタリング時の分割点から各中心点への距離に比例して分割点を決めたりすることも可能である。さらに、クラスタ間の隙間の距離をも考慮して、その隙間の空間に該当する領域を設定し、その空間には子ノードを指定しない。こうすることで、さらに類似性を正確に表した表示画面となる。
【００３９】
ｂ）各子ノードについて前述の１）特徴量抽出処理と２）特徴量空間木構造抽出処理を行う。
【００４０】
このように再帰的に処理することで木構造のすべてが１次元にマップされる。前出の図の木構造をマップした例を図４に示す。これは木構造を辿りながら領域を等分に分割した例である。
【００４１】
これをすべての木構造について行うことで、その木構造数分の次元データが得られる。画面表示としては３次元以上を表現しにくいので、３次元までのデータとすることが望ましい。例えば色、形状、テクスチャの特徴量で木構造を生成したなら、各軸がそれぞれ、色、形状、テクスチャに対応する３次元の表示空間が生成できる。
【００４２】
最終的な空間的な画面表示例を図５に示す。図の点は画像から抽出した形状、テクスチャおよび色をパラメータに取った特徴量の位置であり、そこに画像をそのまま表示してもよい。なお、この実施形態では、画像から抽出した形状、テクスチャおよび色を特徴量としているが、これらの特徴量だけでなくあらゆる特徴量（文書から抽出した特徴量など）に応用が可能である。
【００４３】
ここで、具体的な空間表示のための手順について図１７ないし図２１を参照して説明する。この処理は、ＣＰＵ１がＲＡＭ３をワークエリアとして使用しながらＲＯＭ２に格納されたプログラムを実行することにより行われる。
【００４４】
この第１の実施形態は、各表示次元軸に特徴量を割り当てるように構成したもので、図１７は特徴量軸表示空間を生成する処理の処理手順を示すフローチャートである。この処理では、まず、特徴量Ａを選択し、１次元の表示空間として表示空間生成のルーチンＩを呼び出す（ステップＳ１０１）。そして、図１８に示す後述の表示空間生成のルーチンＩを実行し、このルーチンＩで特徴量Ａの特徴量が抽出され、木構造が生成され、表示空間での全画像の座標が生成される。その場合、１次元のデータが返されて特徴量Ａの１次元表示空間の座標が受け渡され（ステップＳ１０２）、得られた座標を表示軸Ｘの座標とする（ステップＳ１０３）。特徴量Ｂを選択し、１次元の表示空間として表示空間生成のルーチンＩを呼び出す（ステップＳ１０４）。そして、特徴量Ｂの１次元空間の座標データが受け渡され（ステップＳ１０５）、得られた座標データを表示軸Ｙの座標とする（ステップＳ１０６）。次いで、同様に特徴量Ｃを選択し、１次元の表示空間として表示空間生成のルーチンＩを呼び出す（ステップＳ１０７）。そして、特徴量Ｃの１次元空間の座標データが受け渡され（ステップＳ１０８）、得られた座標データを表示軸Ｚの座標とする（ステップＳ１０９）。最後に、ステップＳ１０３、Ｓ１０６、Ｓ１０９で得られた各表示軸の座標値から３次元の表示画面を生成する。なお、この処理では、ステップＳ１０１〜ステップＳ１０３が特徴量Ａを座標軸Ｘに対応させる１つの処理、ステップＳ１０４〜ステップＳ１０６が特徴量Ｂを座標軸Ｙに対応させる１つの処理、ステップＳ１０７〜ステップＳ１０９が特徴量Ｃを座標軸Ｚに対応させる１つの処理となっている。
【００４５】
なお、この場合の特徴量Ａ、Ｂ、Ｃは特徴量の種別（カラーヒストグラフやエッジ）を表している。具体的には、図５の形状、色、テクスチャー（座標軸Ｓ，Ｙ，Ｚ）のいずれかにそれぞれ対応する。
【００４６】
図１８は第１の表示空間生成処理（以下、表示空間生成Ｉとも称す）の処理手順を示すフローチャートである。この処理では、全画像データが入力されると、その全画像データの特徴量を最後の画像まで抽出し（ステップＳ２０１、Ｓ２０２）、特徴量の集合（特徴量空間）を得る（ステップＳ２０３）。次いで、図１９に示した二分木生成処理ルーチンを呼び出し（ステップＳ２０４）、特徴量集合に対して二分木生成処理を実行する（ステップＳ２０５）。そして、二分木のルート集合（ノード）と表示空間を入力として図２０の第２の表示空間生成処理（以下、表示空間生成IIとも称す）ルーチンを呼び出し（ステップＳ２０６）、表示空間生成IIルーチンに基づいて表示空間を生成する（ステップＳ２０７）。なお、この処理は前記３）の画像表示画面生成処理で述べた通りである。
【００４７】
この図１８に示した第１の表示空間生成処理時に実行されるルーチンを図１９ないし図２１に示す。図１９はステップＳ２０４で呼び出され、ステップＳ２０５で実行される二分木生成処理の処理手順を示すフローチャートである。この処理では、図２１のクラスタリングルーチンを呼び出し、特徴量集合を二分割し、２つの部分集合（クラスタ）Ａ及びＢを生成する（ステップＳ３０１）。クラスタリングについては前記２）特徴量空間木構造抽出処理で述べた通りである。部分集合Ａ及びＢが生成されると、各部分集合Ａ、Ｂを特徴量集合の子集合（子ノード）とし（ステップＳ３０２）、部分集合Ａの特徴量要素が１かどうかを判定し（ステップＳ３０３）、１であればステップＳ３０４でさらに部分集合Ｂの特徴量要素が１かどうか判定する。また、ステップＳ３０３で部分集合Ａの特徴量要素が１でなければ、ステップＳ３０５で部分集合Ａを集合として二分木生成処理ルーチンを呼び出し、部分集合Ａを集合としてステップＳ３０１以降の処理を実行し、ステップＳ３０４の処理を実行する。ステップＳ３０４で部分集合Ｂの特徴量要素が１であれば、この処理を終了し、１でなければ部分集合Ｂを集合としてステップＳ３０５と同様に二分木生成処理ルーチンを呼び出し（ステップＳ３０６）、ステップＳ３０１以降の処理を実行して処理を終える。
【００４８】
ここで特徴量要素が１とは、集合を格子する特徴量（要素）の個数が１であるという意味であり、このことは特徴量の要素数が１、言い換えれると集合に含まれる特徴量数が１つであるということを意味する。前述のように特徴量の部分集合を順次分割していくと最終的にその部分集合に特徴量の要素数が１つしかない状態になる。この処理は、特徴量の要素数を二分木生成処理によって１つしかないものに分割する処理である。
【００４９】
図２０はステップＳ２０６で呼び出され、ステップＳ２０７で実行される第２の表示空間生成処理（以下、表示空間生成IIとも称す）の処理手順を示すフローチャートである。この処理では、すべての特徴量が最下位の個々のノードに属した集合（リーフ集合）であるかどうかをチェックし（ステップＳ４０１）、リーフ集合であれば、表示空間に画像を配置して（ステップＳ４０２）処理を終える。一方、ステップＳ４０１のチェックでリーフ集合でなければ、表示空間を部分集合Ａ及びＢに分割し（ステップＳ４０３）、二分木の子に当たる各部分集合Ａ、Ｂを表示空間の各部分空間Ａ、Ｂに割り当てる（ステップＳ４０４）。そして、部分集合Ａを集合、表示空間Ａを表示空間として第２の表示空間生成ルーチンを再帰呼び出しする（ステップＳ４０５）。次いで、部分集合Ｂも集合、表示空間Ｂを表示空間として第２及び第１の表示空間生成ルーチンを再帰呼び出しする（ステップＳ４０６）。これらステップＳ４０３、Ｓ４０４、Ｓ４０５及びＳ４０６の処理をリーフ集合になるまで繰り返し、リーフ集合になった時点で表示空間に画像を配置する（ステップＳ４０２）。
【００５０】
なお、特徴量Ａは特徴量の種別の集合、部分集合Ａは特徴量の集合、表示空間Ａは特徴量を表示する空間を示し、この表示空間生成処理は前記表示空間（部分表示空間）に特徴量の表示空間をマップする処理である。ここでは、ある部分集合を１対１に対応するある部分表示空間にマップするので、対応付けの意味で同じＡという符号を使用している。
【００５１】
図２０はステップＳ３０１で実行されるクラスタリング処理の処理手順を示すフローチャートである。この処理は、前記２）の特徴量空間木構造抽出処理において説明しているように、まず、任意のポイントＡを選択し（ステップＳ５０１−２）▲１▼ａ））、ポイントＡから最遠のポイントをポイントＣ１に設定する（ステップＳ５０２−２）▲１▼ｂ））。次いで、ポイントＣ１から最遠のポイントをポイントＣ２に設定し（ステップＳ５０３−２）▲１▼ｃ））、さらに処理済みでない任意のポイントＰを選択し（ステップＳ５０４−２）▲２▼ａ））、ポイントＰとポイントＣ１，Ｃ２との差分距離を算出する（ステップＳ５０５−２）▲２▼ｂ））。そして、前記選択されたポイントＰを処理済みとし（ステップＳ５０６）、ステップＳ５０４からステップＳ５０６までの処理を未処理のポイントがなくなるまで繰り返す（ステップＳ５０７−２）▲２▼ｃ））全て処理済みとなると、差分距離の昇順で全てのポイントをソートし（ステップＳ５０８−２）▲２▼ｄ））、ソートされたポイント順の前後の差分距離の差分を算出し（ステップＳ５０９）、差分距離の差分の最大をクラスタの境界としてポイント集合を２分する（ステップＳ５１０−２）▲３▼）。
【００５２】
なお、この実施形態では、図１７に示すように各表示空間次元軸に特徴量を割り当てるように構成しているが、表示次元軸に特徴量を割り当てない場合には、前述の第１の表示空間生成処理ルーチンを直接呼び出すように構成することもできる。
【００５３】
２．第２の実施形態
この第２の実施形態においても、前述の第１の実施形態において図１に示した画像表示装置の構成、および図２に示した画像表示装置において実行される処理については同一なので、説明は省略する。
【００５４】
以下、この第２の実施形態における前述の画像表示部８によって実行される処理について
１）特徴量抽出処理
２）特徴量空間分割処理
３）画像表示画面生成処理
の順で説明する。
【００５５】
１）特徴量抽出処理
この処理は、前述の第１の実施形態における１．１）で説明した特徴量抽出処理と同一である。そのため、重複を防ぐ意味でここでの説明は省略する。
【００５６】
２）特徴量空間分割処理
特徴量を表示空間に割り当てるために、特徴量空間の分割を行なう。２次元の表示空間を生成する場合で特徴量空間の分割方法を説明する。各画像からは特徴量Ａと特徴量Ｂが抽出されているとし、特徴量Ａを表示空間のＸ軸、特徴量Ｂを表示空間のＹ軸に割り当てるとする。２次元の表示空間の場合には特徴量空間を４分割（図６）し、３次元の表示空間の場合には特徴量空間を８分割（図７）する。
【００５７】
４分割の場合には以下の手順で行なうことによって、分割された各部分空間の位置関係を正しく反映した分割を行なうことができる。
なお、画像ａの特徴量ＡをＦＡａ、画像ｂの特徴量ＡをＦＡｂというように表すと、
特徴量Ａ空間内での画像ａと画像ｂの距離（０〜１）は、
ＤＡ（ＦＡａ， ＦＡｂ）
で表される。
また、特徴量Ｂ空間内での画像ａと画像ｂの距離（０〜１）は同様に、
ＤＢ（ＦＢａ， ＦＢｂ）
で表される。距離は０〜１の範囲の値とする。
【００５８】
▲１▼各部分空間の中心特徴量の獲得
各部分空間の中心特徴量の獲得手順について図８ないし図１１を参照して説明する。まず、
ａ）空間内で任意の画像ａを選択する（図８）。
【００５９】
そして、
ｂ）選択した画像ａから２つの特徴量に対して最遠の画像を部分空間（図８では左下の部分空間）の中心画像ｃ１とする。つまり、評価式
ＤＡ（ＦＡａ，ＦＡｃ）＋ＤＢ（ＦＢａ，ＦＢｃ）・・・（１）
が最大となる画像ｃを中心画像ｃ１とする。
【００６０】
次いで、
ｃ）ｃ１から２つの特徴量に対して最遠の画像を対角線上に位置する部分空間（図９では右上の部分空間）の中心画像ｃ２とする。
つまり、評価式
ＤＡ（ＦＡｃ１，ＦＡｃ）＋ＤＢ（ＦＢｃ１，ＦＢｃ）・・・（２）
が最大となる画像ｃを画像ｃ２とする。
【００６１】
さらに、
ｄ）ｃ１については特徴量Ａの距離は近く特徴量Ｂの距離は遠く、かつ、ｃ２については特徴量Ａの距離は遠く特徴量Ｂの距離は近い画像を３番目の部分空間（図１０では左上の部分空間）の中心画像ｃ３とする。
つまり、評価式
（１− ＤＡ（ＦＡｃ１，ＦＡｃ））＋ＤＢ（ＦＢｃ１，ＦＢｃ）
＋ＤＡ（ＦＡｃ２，ＦＡｃ）＋（１−ＤＢ（ＦＢｃ２，ＦＢｃ））・・・（３）
が最大となる画像ｃを画像ｃ３とする。
【００６２】
最後に、
ｅ）ｃ１については特徴量Ｂの距離は近く特徴量Ａの距離は遠く、かつ、ｃ２については特徴量Ｂの距離は遠く特徴量Ａの距離は近く、かつ、ｃ３から特徴量Ａ，Ｂいずれからも遠い画像を４番目の部分空間（図１１では右下の部分空間）の中心画像ｃ４とする。
つまり、評価式
【００６３】
このようにして４つの中心画像が決定されるが、ｃ１，ｃ２，ｃ３に関しては、他のすべての中心画像との関係に基づいて決定されているわけではない。さらに精度よく、かつ、処理時間に余裕がある場合には、ｅ）での評価式に基づいて、すべての中心画像を決定し直すことでより精度の良い中心画像を得ることができる。
【００６４】
この処理を中心画像の変化がなくなるまで繰り返し行なうことによって、さらに精度が高くなる。ただし、処理時間がかかるのでアプリケーションの要求する速度によっていずれの処理を行なうかを選択する。
【００６５】
▲２▼画像の分配
残りの画像を一画像ずつ選択しｃ１〜ｃ４との距離を算出して最も近い部分空間に入れる。
つまり、図１２に示す画像ｐに対して
ＤＡ（ＦＡｐ，ＦＡｃｎ）＋ＤＢ（ＦＢｐ，ＦＢｃｎ）・・・（５）
の距離が最小となる中心画像ｃｎ（ｎ＝１〜４）を求めその中心画像の部分空間ｎに入れる。
こうして画像を４つの部分空間に分割することができる。３次元の表示空間の場合にも３つの特徴量を各次元軸に割り当てて同様にして拡張することができる（図１３）。
【００６６】
このようにして得られた４つの部分空間についてさらに上記２．２）の▲１▼、▲２▼の処理を行なう。こうして生成された部分空間を再帰的に繰り返し処理することによって部分空間が細分化される。そして、この処理を各部分空間に画像が１つしかない状態まで繰り返す。結果として部分空間は、図１４に示すような木構造で表現され、特徴量空間の木構造抽出処理が完了する。
【００６７】
３）画像表示画面生成処理
画像表示画面生成処理では、図１４にのように表現された木構造をルートから辿り、
ａ）表示空間を図１５に示すようにｃ１〜ｃ４に４分割する。分割の方法としは単純に等分にする。
なお、ここでは、等分にする方法について説明しているが、その他に、
・各部分空間に含まれる画像数に表示空間の面積を比例させて分割する方法
・各部分空間が中の任意の２点間の距離を求めその最大値を部分空間の大きさとし、その大きさに比例させて分割する方法
がある。
【００６８】
ｂ）分割された各表示空間に木構造の各部分空間を割り振る。この時に部分空間の位置関係は部分空間生成時に考慮した位置関係に一致するようにしなければならない。木構造のリーフノードの部分空間であれば、ノードに画像が割り振られているので、その画像を表示空間上に配置する。
【００６９】
ｃ）各部分空間の下位の部分空間に対して上記２．３）のａ），ｂ）の処理を再帰的に処理する。
【００７０】
こうすることによって図１６に示すように木構造の画像が表示空間に配置される。しかし、このように生成された表示空間における画像の分布は均一ではない。アプリケーションによっては均一にしたい場合もある。分布の不均一は部分空間生成時に各部分空間に割り振られた画像数が不均一であることから生じる。そこで、均一に画像を部分空間に割り振る方法について説明する。
【００７１】
ｄ）均一に画像を部分空間に割り振る場合、前記２．２）の特徴量空間の分割処理の各部分空間の中心特徴量の獲得については前述の２．２）▲１▼と同様である。
【００７２】
しかし、２．２）の▲２▼の画像の分配については次のように処理する。
【００７３】
１）空間の全画像数Ｎから各部分画像の最大画像数Ｍを決定し、
Ｍ＝Ｎ／４＋１
とする。
【００７４】
２）残りの画像から１つずつ選択し、ｃ１〜ｃ４との距離
ＤＡ（ＦＡｐ，ＦＡｃｎ）＋ＤＢ（ＦＢｐ，ＦＢｃｎ）
を算出し、最も近い部分空間（仮にＡとする）に入れる。
【００７５】
３）前記部分空間Ａに前記ｃ１〜ｃ４との距離を入れることによって部分空間Ａに属する画像数がＭを超える場合は、その部分空間Ａの中で中心画像から最も距離の遠い画像をその部分空間から外す。外した画像に対して他の部分空間との距離を算出して最も近い部分空間（仮にＢとする）に入れる。ただし、その部分空間Ｂに入れることによって部分空間Ｂに属する画像数がＭを超える場合は、前記部分空間Ｂから同様にして一画像をはずし、Ａ，Ｂを除く他の部分空間に対して同様の処理をする。画像数が超える場合には同様の処理を順次繰り返す。
【００７６】
４）前記１）２）３）を繰り返し、すべての画像を割り振る。
これによって画像が表示空間に均一に割り振られる。
【００７７】
この第２の実施形態は、表示次元軸に特徴量を割り当てることを前提とし、第１の実施形態よりも精度を高めた処理を行う例である。したがって、前記図１７の特徴量軸表示空間生成処理は行われず、図１８ないし図２１に示した処理が実行される。ただし、図１９に示した二分木生成処理については、図２２のフローチャートに示した処理に変わる。したがって、ステップＳ３０１のクラスタリング処理はこの実施形態では図２２に示したルーチンとなる。
【００７８】
以下、図２２のフローチャートについて説明する。
【００７９】
この処理では、まず、任意のポイントＡを選択し（ステップＳ６０１−２）▲１▼ａ））、ポイントＡから前記評価式（１）が最大のポイントをポイントｃ１に設定する（ステップＳ６０２−２）▲１▼ｂ））。次いで、評価式（２）が最大のポイントをポイントｃ２に設定し（ステップＳ６０２−２）▲１▼ｃ））、評価式（３）が最大のポイントをポイントｃ３に設定し（ステップＳ６０３−２）▲１▼ｄ））、さらに評価式（４）が最大のポイントをポイントｃ４に設定する（ステップＳ６０３−２）▲１▼ｅ））。そして、処理済みでない任意のポイントＰを選択し（ステップＳ６０６）、（５）式で示されるポイントＰとポイントｃ１，ｃ２，ｃ３，ｃ４との距離を算出する（ステップＳ６０７）。次いで、距離が最も小さいｃｎのクラスタにポイントＰを加え（ステップＳ６０８）、前記選択されたポイントＰを処理済みとし（ステップＳ６０９）、差分距離の昇順で全てのポイントをソートし（ステップＳ６１０）、ステップＳ６０６からステップＳ６１０までの処理を未処理のポイントがなくなるまで繰り返す（ステップＳ６１１）。
【００８０】
その他、特に説明しない処理は、前述の第１の実施形態と同等に処理される。
【００８２】
【発明の効果】
請求項１記載の発明によれば、木構造を生成するために特徴量空間を分割する時に、特徴量の各ポイントごとに求めた２つのクラスタの中心ポイントからの距離の差分により前記ポイントをソートし、そのソート順において適当な位置をクラスタの境界として２つのクラスタに分割するので、クラスタリングの精度を高めることが可能となり、精度の高い画像特徴量の表示空間を生成することができる。
【００８３】
また、請求項２記載の発明によれば、ソート順における距離の差分の値の差が前後のポイントで最も大きいポイント間をクラスタの分離境界とし２つのクラスタに分割するので、クラスタリングの精度を高めることが可能となり、精度の高い画像特徴量の表示空間を生成することができる。
【００８４】
また、請求項３記載の発明によれば、表示空間の１つの次元に木構造をマップする時に１次元の領域をクラスタの２つ中心ポイントからの距離及びその分離境界での距離の差分の値の差の比率に従い表示空間の１つの次元の領域を分割するので、木構造がバランスのとれたものとなり、結果としてポイントを均一に言い換えれば等間隔に配置することが可能となる。
【００８５】
また、請求項４記載の発明によれば、ソート順における順位の中間点をクラスタの分離境界として２つのクラスタに分割するので、クラスタリングの精度を高めることが可能となり、精度の高い画像特徴量の表示空間を生成することができる。
【００８８】
また、請求項５記載の発明によれば、４つの部分空間に分割するための各部分空間の中心画像の選択に際し、位置関係を考慮した他のすでに決定した中心画像との各特徴量における距離に基づいてあらかじめ設定された評価式の演算結果から順次中心画像を決定するので、さらに見やすい表示空間とすることができる。
【００８９】
また、請求項６記載の発明によれば、決定された中心画像を他の３つの中心画像から算出した評価式により再度演算し、その演算結果に基づいて再度中心画像を決定するので、請求項５記載の発明の効果に加え、さらに見やすい表示空間とすることができる。
【００９０】
また、請求項７記載の発明によれば、他の３つの中心画像から算出した評価式に基づいて前記中心画像の位置の変化が生じなくなるまで、前記中心画像の位置を繰り返し演算し、前記中心画像の位置の変化がなくなった位置を選択するので、請求項６記載の発明の効果に加え、さらに見やすい表示空間とすることができる。
【００９１】
また、請求項８記載の発明によれば、中心画像が決定された後に各部分空間を示す中心画像に同じ画像数で割り振るために、画像から最も距離の近い中心画像に割り振った結果、その部分空間に属することができる最大画像（全画像数を中心画像数で割った値）を超える場合には、その部分空間中で最も中心画像から遠い画像をはずして、その他の最も近い中心画像に入れ、この処理を繰り返すことで均一数に部分空間に分割するので、表示画像中で均一に画像が配置されユーザにとって見やすい表示空間とすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像表示装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態の画像表示装置において実行される処理を示すブロック図である。
【図３】本発明の第１の実施形態において生成された木構造の例を示す図である。
【図４】図３の木構造のすべてを１次元にマップした例を示す図である。
【図５】本発明の第１の実施形態において、画像から抽出した形状、テクスチャおよび色を特徴量として３次元の表示空間と特徴量の位置との関係を示す図である。
【図６】本発明の第２の実施形態における４分割された２次元の特徴量空間を示す図である。
【図７】本発明の第２の実施形態における８分割された３次元の特徴量空間を示す図である。
【図８】本発明の第２の実施形態における各部分空間の獲得手順を説明するための図である。
【図９】本発明の第２の実施形態における各部分空間の獲得手順を説明するための図である。
【図１０】本発明の第２の実施形態における各部分空間の獲得手順を説明するための図である。
【図１１】本発明の第２の実施形態における各部分空間の獲得手順を説明するための図である。
【図１２】本発明の第２の実施形態における各部分空間の画像の分配の手順を説明するための図である。
【図１３】本発明の第２の実施形態における各部分空間の画像の分配の手順を説明するための図である。
【図１４】本発明の第２の実施形態において表現される構造の例を示す図である。
【図１５】本発明の第２の実施形態における画像表示画面生成の手順を説明するための図である。
【図１６】本発明の第２の実施形態における画像表示画面生成の手順を説明するための図である。
【図１７】本発明の第１の実施形態における特徴量軸表示空間生成処理の処理手順を示すフローチャートである。
【図１８】本発明の第１の実施形態における表示空間生成処理Ｉの処理手順を示すフローチャートである。
【図１９】本発明の第１の実施形態における二分木生成処理の処理手順を示すフローチャートである。
【図２０】本発明の第１の実施形態における表示空間生成処理IIの処理手順を示すフローチャートである。
【図２１】本発明の第１の実施形態におけるクラスタリング処理の処理手順を示すフローチャートである。
【図２２】本発明の第２の実施形態におけるクラスタリング処理の処理手順を示すフローチャートである。
【符号の説明】
１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
６ モニタ
７ 画像アプリケーション
８ 画像表示部
８１ 特徴抽出処理部
８２ クラスタリング処理部
８３ 木構造生成部
８４ 表示空間生成部
８５ 表示画面生成部
１１ スキャナ、デジタルカメラ（周辺機器）
Claims (8)
- 複数の画像から画像の特徴を示す特徴量を抽出し、その特徴量に基づいて特徴量空間を階層的に分割し、複数の画像を仮想的に木構造とし、その木構造に基づいて表示空間を分割し、対応する各空間に画像を表示することよって画像空間を表示する画像空間表示方法において、
複数の特徴量ごとに木構造を生成する工程と、
生成された前記各木構造を１次元にマップすることによって特徴量数分の次元データを生成する工程と、
前記生成する工程で生成された次元データを表示座標軸データとして対応する各空間に表示する工程とを備え、
前記木構造に基づいて表示空間を分割する時に、前記特徴量の各ポイントごとに求めた２つのクラスタの中心ポイントからの距離の差分により前記ポイントをソートし、そのソート順において適当な位置をクラスタの境界として２つのクラスタに分割することを特徴とする画像空間表示方法。 - 前記ソートのソート順における距離の差分の値の差が前後のポイントで最も大きいポイント間をクラスタの分離境界とし２つのクラスタに分割することを特徴とする請求項１記載の画像空間表示方法。
- 前記分割が、表示空間の１つの次元に木構造をマップする時に、１次元の領域をクラスタの２つの中心ポイントからの距離及びその分離境界での距離の差分の値の差の比率に従って、前記表示空間の１つの次元の領域を分割することにより行われることを特徴とする請求項２記載の画像空間表示方法。
- 前記ソートのソート順における順位の中間点をクラスタの分離境界として２つのクラスタに分割することにより行われることを特徴とする請求項１記載の画像空間表示方法。
- 複数の画像から画像の特徴を示す特徴量を抽出し、その特徴量に基づいて特徴量空間を階層的に分割し、複数の画像を仮想的に木構造とし、その木構造に基づいて表示空間を分割し、対応する各空間に画像を表示することよって画像空間を表示する画像空間表示方法において、
前記抽出された各特徴量を表示空間上の各次元軸に割り当てる工程と、
割り当てた各次元軸に従い、かつ、２次元の表示空間に配置された画像間の関係を特徴量空間上での画像間の関係に反映させ、前記特徴量空間を４つの部分空間に再帰的に分割する工程と、
分割して生成した各部分空間の木構造を２次元の表示空間を４つに分割した部分空間に順次配置する工程と、を備え
４つの部分空間に分割するための各部分空間の中心画像の選択に際し、位置関係を考慮した他のすでに決定した中心画像との各特徴量における距離に基づいてあらかじめ設定された評価式の演算結果から順次中心画像を決定することを特徴とする画像空間表示方法。 - 前記決定された中心画像を他の３つの中心画像から算出した評価式により再度演算し、その演算結果に基づいて再度中心画像を決定することを特徴とする請求項５記載の画像空間表示方法。
- 他の３つの中心画像から算出した評価式に基づいて前記中心画像の位置の変化が生じなくなるまで、前記中心画像の位置を繰り返し演算し、前記中心画像の位置の変化がなくなった位置を選択することを特徴とする請求項６記載の画像空間表示方法。
- 中心画像が決定された後に各部分空間を示す中心画像に同じ画像数で割り振るために画像から最も距離の近い中心画像に割り振った結果、その部分空間に属することができる最大画像数を超える場合には、その部分空間中で最も中心画像から遠い画像を外してその他の最も近い中心画像に入れる処理を繰り返し、前記画像数を均一数に部分空間に分割することを特徴とする請求項５ないし７のいずれか１項に記載の画像空間表示方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002065213A JP3950718B2 (ja) | 2001-03-19 | 2002-03-11 | 画像空間表示方法 |
| US10/097,244 US6853374B2 (en) | 2001-03-19 | 2002-03-15 | Image space display method and apparatus |
| EP02251934A EP1246124B1 (en) | 2001-03-19 | 2002-03-18 | Image space display method and apparatus |
| DE60217748T DE60217748T2 (de) | 2001-03-19 | 2002-03-18 | Verfahren und Gerät zur Anzeige eines Bildraumes |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-79007 | 2001-03-19 | ||
| JP2001079007 | 2001-03-19 | ||
| JP2001-162701 | 2001-05-30 | ||
| JP2001162701 | 2001-05-30 | ||
| JP2002065213A JP3950718B2 (ja) | 2001-03-19 | 2002-03-11 | 画像空間表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003051011A JP2003051011A (ja) | 2003-02-21 |
| JP3950718B2 true JP3950718B2 (ja) | 2007-08-01 |
Family
ID=27346289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002065213A Expired - Fee Related JP3950718B2 (ja) | 2001-03-19 | 2002-03-11 | 画像空間表示方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6853374B2 (ja) |
| EP (1) | EP1246124B1 (ja) |
| JP (1) | JP3950718B2 (ja) |
| DE (1) | DE60217748T2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4079680B2 (ja) * | 2002-04-26 | 2008-04-23 | 独立行政法人産業技術総合研究所 | 画像合成装置及び方法 |
| DE10331129B4 (de) * | 2003-07-09 | 2005-07-14 | Harald Oppermann | Auswuchtmaschine mit einer Spanneinrichtung |
| US8065627B2 (en) * | 2003-09-30 | 2011-11-22 | Hewlett-Packard Development Company, L.P. | Single pass automatic photo album page layout |
| DE102005014761A1 (de) * | 2005-03-31 | 2006-10-05 | Siemens Ag | Verfahren zum Anordnen von Objektdaten in elektronischen Karten |
| US7644356B2 (en) * | 2005-06-10 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | Constraint-based albuming of graphic elements |
| JP4650293B2 (ja) * | 2006-02-15 | 2011-03-16 | 富士フイルム株式会社 | 画像分類表示装置及び画像分類表示プログラム |
| TW200809764A (en) | 2006-04-24 | 2008-02-16 | Sony Corp | Image processing device, image processing method and program recording medium |
| JP4934843B2 (ja) | 2006-11-29 | 2012-05-23 | 株式会社リコー | 情報処理装置、画像登録方法、およびプログラム |
| WO2008102410A1 (ja) * | 2007-02-19 | 2008-08-28 | Sony Computer Entertainment Inc. | クラスタリング装置、その方法、コンピュータ、プログラムおよび記録媒体 |
| JP5121367B2 (ja) * | 2007-09-25 | 2013-01-16 | 株式会社東芝 | 映像を出力する装置、方法およびシステム |
| JP4694581B2 (ja) * | 2008-01-25 | 2011-06-08 | 富士フイルム株式会社 | ファイル生成装置および方法、３次元形状再生装置および方法並びにプログラム |
| JP4675995B2 (ja) * | 2008-08-28 | 2011-04-27 | 株式会社東芝 | 表示処理装置、プログラムおよび表示処理方法 |
| JP5388631B2 (ja) * | 2009-03-03 | 2014-01-15 | 株式会社東芝 | コンテンツ提示装置、及び方法 |
| JP4852119B2 (ja) * | 2009-03-25 | 2012-01-11 | 株式会社東芝 | データ表示装置、データ表示方法、データ表示プログラム |
| US9911194B2 (en) * | 2016-05-26 | 2018-03-06 | Disney Enterprises, Inc. | Systems and methods for higher order dimensional space video segmentation |
| JP6971112B2 (ja) * | 2017-09-29 | 2021-11-24 | 株式会社Ｓｃｒｅｅｎホールディングス | 教師データ作成支援装置、分類装置および教師データ作成支援方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6121969A (en) * | 1997-07-29 | 2000-09-19 | The Regents Of The University Of California | Visual navigation in perceptual databases |
| KR100284778B1 (ko) * | 1998-10-28 | 2001-03-15 | 정선종 | 내용기반 이미지 검색을 위한 고차원 색인구조의 삽입 방법 |
| JP4173246B2 (ja) * | 1999-04-28 | 2008-10-29 | 株式会社リコー | 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 |
| US6675174B1 (en) * | 2000-02-02 | 2004-01-06 | International Business Machines Corp. | System and method for measuring similarity between a set of known temporal media segments and a one or more temporal media streams |
| JP3457617B2 (ja) * | 2000-03-23 | 2003-10-20 | 株式会社東芝 | 画像検索システムおよび画像検索方法 |
| KR100429792B1 (ko) * | 2000-11-15 | 2004-05-03 | 삼성전자주식회사 | 특징 벡터 공간의 인덱싱 방법 및 검색 방법 |
-
2002
- 2002-03-11 JP JP2002065213A patent/JP3950718B2/ja not_active Expired - Fee Related
- 2002-03-15 US US10/097,244 patent/US6853374B2/en not_active Expired - Fee Related
- 2002-03-18 DE DE60217748T patent/DE60217748T2/de not_active Expired - Lifetime
- 2002-03-18 EP EP02251934A patent/EP1246124B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE60217748T2 (de) | 2007-10-31 |
| EP1246124A3 (en) | 2004-11-17 |
| EP1246124B1 (en) | 2007-01-24 |
| DE60217748D1 (de) | 2007-03-15 |
| US20020145603A1 (en) | 2002-10-10 |
| EP1246124A2 (en) | 2002-10-02 |
| JP2003051011A (ja) | 2003-02-21 |
| US6853374B2 (en) | 2005-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3950718B2 (ja) | 画像空間表示方法 | |
| Panigrahy et al. | Differential box counting methods for estimating fractal dimension of gray-scale images: A survey | |
| Heinrich et al. | State of the Art of Parallel Coordinates. | |
| DE102017208952A1 (de) | Zahntyp-Bestimmungsprogramm, Zahntyppositions-Bestimmungsvorrichtung und Verfahren dazu | |
| KR101721114B1 (ko) | 위치정보가 포함된 포인트 데이터를 다축척의 웹 지도상에 클러스터링하기 위하여 격자의 크기를 결정하는 방법 | |
| EP0981098A1 (en) | Method and apparatus for generating and displaying views of hierarchically clustered data | |
| JP4173246B2 (ja) | 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 | |
| JPWO2012111236A1 (ja) | 画像識別装置およびプログラム | |
| Li et al. | A new box-counting method for estimation of image fractal dimension | |
| Schreck et al. | Regular treemap layouts for visual analysis of hierarchical data | |
| CN109408674B (zh) | 基于仙人掌树的数据可视化方法、装置、设备及存储介质 | |
| CN109271997B (zh) | 一种基于跳跃细分局部模式的图像纹理分类方法 | |
| JP2003203090A (ja) | 画像空間表示方法 | |
| CN104809721B (zh) | 一种漫画分割方法及装置 | |
| Bertacchini et al. | Shaping the aesthetical landscape by using image statistics measures | |
| CN116310060B (zh) | 一种渲染数据的方法、装置、设备及存储介质 | |
| JP6634769B2 (ja) | ボクセル処理方法、ボクセル処理プログラム及び情報処理装置 | |
| US11024032B1 (en) | System and method for generating synthetic overhead imagery based on cluster sampling and spatial aggregation factors | |
| JP2020095498A (ja) | 画像分類装置および方法 | |
| JP2021047826A (ja) | データ処理装置、データ処理方法 | |
| CN111476253A (zh) | 服装图像分类、图像分类方法、装置及设备 | |
| WO2023007693A1 (ja) | 画像分類装置及び方法 | |
| CN113537413B (zh) | 特征选择与组合优化算法的零部件缺陷检测区间聚类方法 | |
| KR102138312B1 (ko) | 인공신경망을 이용한 볼륨 렌더링 방법 및 서버 | |
| US20240193884A1 (en) | Empty Space Matrix Condensation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070319 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070423 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100427 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140427 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |