JP4173246B2 - 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 - Google Patents
類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 Download PDFInfo
- Publication number
- JP4173246B2 JP4173246B2 JP12094699A JP12094699A JP4173246B2 JP 4173246 B2 JP4173246 B2 JP 4173246B2 JP 12094699 A JP12094699 A JP 12094699A JP 12094699 A JP12094699 A JP 12094699A JP 4173246 B2 JP4173246 B2 JP 4173246B2
- Authority
- JP
- Japan
- Prior art keywords
- space
- image
- tree structure
- feature
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
- G06F18/41—Interactive pattern learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、類似する複数の画像を関連させて表示する類似画像表示方法、及び類似画像表示処理プログラムを格納した記録媒体に関する。
【０００２】
【従来の技術】
近年、ＣＰＵの高速化及び一次／二次記憶装置の大容量化により画像データを手軽に扱えるようになっただけでなく、インターネットやデジタルカメラ等の普及によって多くの画像データを容易にパーソナルコンピュータ等に取り込めるようになり、我々の身の回りには大量の画像データが氾濫している。このため、このような大量の画像データの中からユーザが所望する画像を検索するための技術が要望され、脚光を浴び始めている。
【０００３】
従来の画像検索では、予め人手により画像に属性情報を付与し、この属性情報もとに検索する方法が一般的であった。しかし、この方法では画像データの急増には対応することができない。そこで、近年、画像データから自動的に特徴（色（ヒストグラム）、テクスチャ、形状等）を抽出し、その抽出された画像の特徴に基づいて指定された画像に類似する画像データを検索する類似画像検索の研究が進められ、成果を収めている。
【０００４】
類似画像検索方法の一例としては、画像特徴を予め画像から抽出して保管しておき、検索時に指定された問い合わせ画像からも同様に画像特徴を抽出し、すでに抽出されている画像特徴と逐次比較（距離計算）を行なうことで類似する画像を検索するものがある。しかしながら、この方法では、画像特徴の数が少量の場合には処理速度に問題はないが、画像特徴が大量になると必然的に処理速度が遅くなってしまうという問題があった。
【０００５】
一方、インタフェースの観点からみると、現在の類似画像検索システムは、検索結果を類似度の順位に基づいて一次元的に羅列して表示している。しかし、これでは画像検索を行なうユーザに対して、パターンレベルで計量化された画像間の関係が効果的に提示されているとはいいがたい。導入された画像の類似度は必ずしもユーザの検索意図を反映するとは限らないので、ユーザにとって検索結果は判断の補助に過ぎない。そこで、検索結果をユーザが整理するのを支援するようなインタフェースを提供しなければならない。特に類似画像検索のように、ユーザの検索要求自体のあいまい性が無視できない場合、ユーザは、なるべく多くのデータを「見よう」とすると考えられ、多数の検索結果をユーザに理解し易い形で提示する必要がある。
【０００６】
そこで、情報検索支援という立場から、検索結果をできるだけ多く提示してユーザに閲覧させてユーザの判断を仰ぐインタフェースであって、ユーザが検索結果の傾向を直感的に把握し易いように秩序だって検索結果を一覧させるインタフェースが、『類似画像検索における特徴量空間の可視化インタフェース（電子情報通信学会技術研究報告 ９８巻２０４号）』において提案されている。このインタフェースによれば、検索の結果得られた画像に対して主成分分析を行ない、そこで得られる画像特徴を二次元空間の表示空間にマップして検索結果を提示する。これにより、データベース中の全画像に対して主成分分析を行なうよりも検索の結果得られた画像に対して主成分分析を行なう方が、有効な特徴量の次元数が大幅に低減されるので、情報圧縮になるとともに、画像集合の分布をより正確に反映し、検索結果をより分散して表示できることになり、ユーザは検索結果の画像の傾向を把握しやすくなる。
【０００７】
また、『インタラクティブ視覚化による文献集合からの情報獲得支援（日本ソフトウェア科学会 第１３回大会 予稿集）』においては、多数の文献とキーワードをその関連性に基づいて配置する視覚的分類技術にユーザの操作による視覚化結果の動的な更新を導入した視覚的インタラクション手法が提案されている。この視覚的インタラクション手法は、インデックスなどから算出される文献間の類似度に基づいて近い文献どうしを二次元（三次元）上において空間的に近く配置して検索結果を提示するものである。
【０００８】
【発明が解決しようとする課題】
しかしながら、『類似画像検索における特徴量空間の可視化インタフェース（電子情報通信学会技術研究報告 ９８巻２０４号）』に提案されている方法では、画像特徴がベクトルデータで表現できない場合、又は、画像の類似性が線形結合で表せない場合に主成分分析が行なえないという問題がある。
【０００９】
一方、『インタラクティブ視覚化による文献集合からの情報獲得支援（日本ソフトウェア科学会 第１３回大会 予稿集）』に提案されている方法では、キーワード数が多数になってしまう場合には計算量が膨大で処理時間を要すため、インタラクティブな表示による視覚化情報の把握が困難になるという問題がある。
【００１０】
本発明の目的は、画像特徴がベクトルデータで表現できない場合、又は、画像の類似性が線形結合で表せない場合においても、特徴量の空間を類似性に基づいて高速に表示可能とする類似画像表示方法、及び類似画像表示処理プログラムを格納した記録媒体を得ることである。
【００１１】
【課題を解決するための手段】
本発明は、類似する複数の画像を関連させて表示させる類似画像表示方法において、各画像の画像データからその画像の特徴を示す特徴量を抽出し、その抽出された各特徴量が存在する特徴量空間を前記特徴量に基づいて階層的に分割し、その階層的に分割された前記特徴量空間をノードとして枝分かれさせた木構造に生成し、その生成された木構造に基づいて前記画像の可視化空間である表示空間を分割し、分割された各表示空間に対応する各画像データを配して画像表示する。
【００１２】
したがって、特徴量空間での特徴量間の位置に則した表示空間での特徴量の位置が求められる。これにより、類似する画像が例えば画面上の近い位置において表示される。
【００１３】
本発明の一形態において、前記特徴量空間の階層的な分割は、クラスタリング手法によって円形状のクラスタを再帰的に生成して行う。
【００１４】
したがって、クラスタリング手法を用いることにより、処理量が少なくなり、処理速度が速められる。
【００１５】
本発明の一形態において、前記クラスタリング手法は、各特徴量から最も近い前記クラスタまでの距離を算出し、前記特徴量の算出距離の昇順に、その特徴量を各クラスタのいずれか一つに含めるために拡張しなければいけない前記クラスタの半径の増分を求め、その増分が最も少ない前記クラスタに所定の特徴量を属させる。
【００１６】
したがって、より精度の高いクラスタリング処理が可能になる。
【００１７】
本発明の一形態において、前記表示空間の分割は、木構造のノード毎に前記特徴量の一次元方向を順次変えながら木構造の下位ノードの分岐数に基づいて分割する。
【００１８】
したがって、分割された表示空間は、それぞれノードを代表する画像を有することになり、また、類似する特徴量は近くに配置されることになる。
【００１９】
本発明の一形態において、前記表示空間の分割は、木構造の兄弟ノードとともにそれらの兄弟ノード間の距離も考慮して前記表示空間を分割する割合を調整する。
【００２０】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００２１】
本発明の一形態において、前記表示空間の分割は、木構造の下位ノードに属する前記特徴量の数に比例させて前記表示空間を分割する割合を調整する。
【００２２】
したがって、特徴量が表示空間に均等に分配されることにより、画像が一箇所に密集して表示されることが防止される。
【００２３】
本発明の一形態において、前記表示空間の分割は、木構造の下位ノードに属する前記特徴量空間の大きさに比例させて前記表示空間を分割する割合を調整する。
【００２４】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００２５】
本発明の一形態において、前記表示空間の分割は、木構造の兄弟ノード間の距離と木構造の下位ノードに属する前記特徴量の数と木構造の下位ノードに属する前記特徴量空間の大きさとの中の少なくとも二以上を組み合わせて前記表示空間を分割する割合を調整する。
【００２６】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００２７】
本発明は、コンピュータに読み込まれ、各画像の画像データからその画像の特徴を示す特徴量を抽出させ、その抽出された各特徴量が存在する特徴量空間を前記特徴量に基づいて階層的に分割させ、その階層的に分割された前記特徴量空間をノードとして枝分かれさせた木構造に生成させ、その生成された木構造に基づいて前記画像の可視化空間である表示空間を分割させ、分割された各表示空間に対応する各画像データを配して画像表示させ、類似する前記画像を関連させて表示させる機能をコンピュータに実行させる類似画像表示処理プログラムが格納されたコンピュータ読み取り可能な記録媒体である。
【００２８】
したがって、この記録媒体に格納された類似画像表示処理プログラムを実行することにより、特徴量空間での特徴量間の位置に則した表示空間での特徴量の位置が求められる。これにより、類似する画像が例えば画面上の近い位置において表示される。
【００２９】
本発明の一形態において、前記特徴量空間の階層的な分割は、クラスタリング手法によって円形状のクラスタを再帰的に生成して行うような機能をコンピュータに実行させる。
【００３０】
したがって、クラスタリング手法を用いることにより、処理量が少なくなり、処理速度が速められる。
【００３１】
本発明の一形態において、前記クラスタリング手法は、各特徴量から最も近い前記クラスタまでの距離を算出し、前記特徴量の算出距離の昇順に、その特徴量を各クラスタのいずれか一つに含めるために拡張しなければいけない前記クラスタの半径の増分を求め、その増分が最も少ない前記クラスタに所定の特徴量を属させるような機能をコンピュータに実行させる。
【００３２】
したがって、より精度の高いクラスタリング処理が可能になる。
【００３３】
本発明の一形態において、前記表示空間の分割は、木構造のノード毎に前記特徴量の一次元方向を順次変えながら木構造の下位ノードの分岐数に基づいて分割するような機能をコンピュータに実行させる。
【００３４】
したがって、分割された表示空間は、それぞれノードを代表する画像を有することになり、また、類似する特徴量は近くに配置されることになる。
【００３５】
本発明の一形態において、前記表示空間の分割は、木構造の兄弟ノードとともにそれらの兄弟ノード間の距離も考慮して前記表示空間を分割する割合を調整するような機能をコンピュータに実行させる。
【００３６】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００３７】
本発明の一形態において、前記表示空間の分割は、木構造の下位ノードに属する前記特徴量の数に比例させて前記表示空間を分割する割合を調整するような機能をコンピュータに実行させる。
【００３８】
したがって、特徴量が表示空間に均等に分配されることにより、画像が一箇所に密集して表示されることが防止される。
【００３９】
本発明の一形態において、前記表示空間の分割は、木構造の下位ノードに属する前記特徴量空間の大きさに比例させて前記表示空間を分割する割合を調整するような機能をコンピュータに実行させる。
【００４０】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００４１】
本発明の一形態において、前記表示空間の分割は、木構造の兄弟ノード間の距離と木構造の下位ノードに属する前記特徴量の数と木構造の下位ノードに属する前記特徴量空間の大きさとの中の少なくとも二以上を組み合わせて前記表示空間を分割する割合を調整するような機能をコンピュータに実行させる。
【００４２】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００４３】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図１０に基づいて説明する。
【００４４】
図１は、類似画像検索装置１を示す構成図である。図１に示すように、類似画像検索装置１は、多数の画像データを記憶保持する画像アプリケーション２と、類似画像検索・表示処理部３とを備えている。類似画像検索装置１の画像アプリケーション２には、画像入力手段４がＩ／Ｆ５を介して接続されている。つまり、画像アプリケーション２には、画像入力手段４であるスキャナやデジタルカメラ等によって入力された画像データ、Ｗｅｂからダウンロードした画像データなどが入力されることになる。また、類似画像検索装置１の類似画像検索・表示処理部３には、Ｉ／Ｆ５を介し、モニタ６が接続されている。この類似画像検索装置１は、ＣＰＵやＲＯＭ，ＲＡＭ等のメモリ装置等で構成されるコンピュータ（図示せず）やハードディスク、ＣＤ−ＲＯＭドライブ（いずれも図示せず）等を主体として構成されるハードウェアと、このハードウェアのシステムを構築するオペレーティングシステム（ＯＳ）等のシステムソフトウェアと、ハードウェアに各種処理を実行させるアプリケーションプログラムとによって構築されている。なお、アプリケーションプログラムは、コンピュータ読み取り可能な記録媒体、例えばＣＤ−ＲＯＭ等に格納されており、ＣＤ−ＲＯＭドライブ等を介して読み取られることになる。
【００４５】
次に、類似画像検索・表示処理部３における処理について説明する。類似画像検索・表示処理部３における処理としては、特徴量抽出処理３ａと、特徴量空間木構造抽出処理３ｂと、画像表示画面生成処理３ｃとがある。
【００４６】
まず、特徴量抽出処理３ａについて説明する。抽出される画像の特徴を示す特徴量としては、ヒストグラム特徴、エッジ特徴、テクスチャ特徴等が挙げられるが、ここでは、ヒストグラム特徴の抽出処理について説明する。ヒストグラムの特徴量は、適当な色空間（例えば、Ｌａｂ，Ｌｕｖ，ＨＳＶ等）を選択し、この空間を複数の領域に分割し、画像の各ピクセルが色空間のどの領域に対応するかを調べて領域毎のピクセル数をカウントした後、全体のピクセル数により正規化された領域毎のピクセル数のデータである。なお、二つのヒストグラムの特徴量の距離は、二つの特徴量の対応する各領域毎のピクセル数の差分の合計やユークリッド距離を利用することにより求められる。
【００４７】
次に、特徴量空間木構造抽出処理３ｂについて説明する。特徴量空間木構造抽出処理３ｂにおいては、まず、各特徴量が存在する特徴量空間を複数の部分空間（クラスタ）に分割するクラスタリング手法に基づくクラスタリング処理が実行される。クラスタリング手法としては、一般的なNearest Neighbor法やK-平均アルゴリズム法等が利用される。以下に、クラスタリング処理の具体的な手順を図２を参照して説明する。
【００４８】
１．クラスタの中心特徴量の獲得
ａ）特徴量空間内で任意の特徴量Ａを獲得する。
ｂ）選択した特徴量Ａから最遠の特徴量をクラスタの中心特徴量ｃ１とする。
ｃ）ｃ１から最遠の特徴量を二番目のクラスタの中心特徴量ｃ２とする。
ｄ）得られた中心特徴量のいずれからも遠い特徴量を新たなクラスタの中心特徴量とする。
ｅ）ｄ）を繰り返して必要なクラスタ分の特徴量を得る。
【００４９】
２．特徴量のソート
ａ）特徴量空間の任意の特徴量Ｐを選択する。
ｂ）すべての中心特徴量と任意の特徴量Ｐとの間の距離を算出し、最短距離をクラスタ距離として求める。
ｃ）ａ）〜ｂ）を繰り返し、すべての任意の特徴量Ｐ（Ｐ＝１，２，３，…ｎ）のクラスタ距離を求める。
ｄ）すべての任意の特徴量Ｐ（Ｐ＝１，２，３，…ｎ）のクラスタ距離を昇順でソートする。
【００５０】
３．特徴量の分配
ａ）各クラスタの半径を０とする。
ｂ）クラスタ距離の小さい任意の特徴量Ｐ（Ｐ＝１，２，３，…ｎ）から順に処理する。任意の特徴量Ｐ（Ｐ＝１，２，３，…ｎ）が各クラスタに含めるために拡張しなければいけない半径の増分を求め、増分が最も少ないクラスタに特徴量を属させる。
ｃ）すべての任意の特徴量Ｐ（Ｐ＝１，２，３，…ｎ）についてｂ）を繰り返す。
【００５１】
以上の手順により、クラスタリング処理が終了する。また、図２に示すように、特徴量が密集している限りクラスタの円の増分は少ないので、同じクラスタに分配されることになる。
【００５２】
次いで、特徴量空間木構造抽出処理３ｂの木構造生成処理について説明する。木構造生成処理は、クラスタリング処理により各特徴量を複数の部分空間に分割したものであるクラスタを木構造のノードとして枝分かれさせるものである。さらに、木構造生成処理は、各クラスタ（ノード）を前述したような方法でさらにクラスタリングし、下位のクラスタ（ノード）に分割してノードとする。これを再帰的に行なうことにより、図３に示すような特徴量空間の木構造を生成することができる。したがって、最終的には、すべての特徴量が最下位の個々のノード（リーフノード）に一つずつ含まれることになる。このように木構造に分割されたクラスタ（ノード）は、それぞれクラスタ（ノード）を代表する画像を有することになる。また、この木構造では、類似する特徴量は近くに配置されることになる。
【００５３】
ここで、図４は特徴量空間の構造の一例を二次元的に示す模式図、図５は特徴量空間の構造の一例を三次元的に示す模式図である。図４及び図５に示すように、類似する画像が包含された各クラスタ（ノード）は、上位クラスタ（Ｃ１，Ｃ２，Ｃ３）であるノードと下位クラスタ（Ｃ４〜Ｃ１０）である子ノードとで構成されており、ノードには、少なくとも１以上の子ノードが含まれている。
【００５４】
次に、画像表示画面生成処理３ｃについて説明する。画像表示画面生成処理３ｃにおいては、まず、表示空間生成処理が実行される。以下に、表示空間生成処理の具体的な手順を図６を参照して説明する。なお、本実施の形態においては、三次元空間に木構造をマップする場合について説明する。
【００５５】
ａ）画像の可視化空間である表示空間の特徴量の一次元方向を一つ選択し、木構造の下位ノードの分岐数に基づいて表示空間を均等に分割する（図６（ａ）参照）。
ｂ）分割された各表示空間に子ノードを割り振る（図６（ｂ）参照）。なお、子ノードの割り振りにおいては、類似する子ノード同士は近くに配置されるようにする。
ｃ）各子ノードについて、ａ）及びｂ）を特徴量の一次元方向を順次変えながら繰り返して行なう。
このように再帰的に処理することで木構造の全てのノードが表示空間にマップされることになる（図６（ｃ）参照）。以上の手順により、表示空間生成処理が終了する。
【００５６】
次いで、画像表示画面生成処理３ｃの表示画面生成処理について説明する。
ａ）表示空間生成処理によって表示空間にマップされたリーフノードには、そのノードを代表する画像の特徴量が一つずつ含まれているので、これらの画像データを各リーフノードの表示空間の中心に配置する。
ｂ）三次元空間にマップされた画像データを二次元空間に投影し、表示画面を生成する。なお、二次元空間に木構造をマップする場合には、三次元空間を二次元空間に投影する処理は不要であり、そのまま表示画面とすることができる。以上の手順により、表示画面生成処理が終了する。
【００５７】
このようにして生成された表示画面は、Ｉ／Ｆ５を介してモニタ６へと出力された表示されることになる。ここで、図７は画像を二次元表示画面にマップした表示画面の一例を示す平面図である。図７に示すように、類似する画像はモニタ６の表示画面に縮小画像の散布図として表示され、類似する複数の画像が表示画面上において近い位置に関連した状態で見易く表示されることになる。つまり、特徴量抽出処理３ａと特徴量空間木構造抽出処理３ｂと画像表示画面生成処理３ｃとにおいては、類似画像表示方法をコンピュータに実行させる類似画像表示処理プログラムがアプリケーションプログラムとして実行されている。
【００５８】
なお、本実施の形態の画像表示画面生成処理３ｃの表示空間生成処理のａ）においては表示空間をノードの個数で均等に分割したが、これに限るものではなく、ノード（クラスタ）はそれぞれクラスタ半径、クラスタに属する特徴量の数等が異なるため、それらの値に比例させて分割する表示空間の割合を調整するようにしても良い。例えば、図８（ａ）に示すようにノード（クラスタ）の半径が異なる場合には、そのノード（クラスタ）の半径に比例させて分割空間のサイズを大きくすることにより（図８（ｂ）参照）、類似性をより正確に表した表示画面を生成することができる。また、同様に、クラスタに属する特徴量の数が異なる場合にも、その特徴量の数に比例させて分割空間のサイズを大きくすることにより、画像を均等に表示空間に分配することができるので、一箇所に画像が密集してマップされて見にくくなることはない。
【００５９】
さらに、図９（ａ）に示すような兄弟ノードであるクラスタＣ１，Ｃ２間の隙間距離Ｓ１を考慮して表示空間にそのクラスタ間の隙間距離Ｓ１を設定し、そのクラスタ間の隙間距離Ｓ１を設定した表示空間には子ノードを指定しないようにするとともに、ノード（クラスタ）の半径Ｒ１，Ｒ２に比例させて分割空間のサイズを大きくするようにしても良い（図９（ｂ）参照）。これにより、類似性をより正確に表した表示画面を生成することができる。
【００６０】
加えて、本実施の形態の画像表示画面生成処理３ｃの表示空間生成処理のａ）においては表示空間の特徴量の一次元方向を一つのみ選択して木構造の下位ノードの分岐数に基づいて表示空間を分割するようにしたが、これに限るものではない。例えば図１０（ａ）に示すように表示空間の特徴量を三次元方向で分割しても良いし、図１０（ｂ）に示すように表示空間の特徴量を二次元方向で分割しても良いし、図１０（ｃ）に示すように表示空間の特徴量を二次元方向で分割するとともに表示空間を分割する割合を調整するようにしても良い。
【００６１】
なお、本実施の形態においては画像データの表示について説明したが、特徴量で類似性が判断できるものであれば文書データ等であっても良い。
【００６２】
【発明の効果】
本発明によれば、各画像の画像データからその画像の特徴を示す特徴量を抽出し、その抽出された特徴量に基づいて特徴量空間を階層的に分割し、その階層的に分割された特徴量空間をノードとして枝分かれさせた木構造に生成し、その生成された木構造に基づいて表示空間を分割し、分割された各表示空間に対応する各画像データを配して画像表示することにより、特徴量空間での特徴量間の位置に則した表示空間での特徴量の位置を求めることができ、類似する画像を例えば画面上の近い位置において表示することができるので、画像特徴がベクトルデータで表現できない場合、又は、画像の類似性が線形結合で表せない場合においても、特徴量の空間を類似性に基づいて高速に表示することができる。
【００６３】
本発明によれば、特徴量空間の階層的な分割をクラスタリング手法によって円形状のクラスタを再帰的に生成させて行うことにより、処理量を少なくすることができるので、処理速度を速めることができる。
【００６４】
本発明によれば、クラスタリング手法を、各特徴量から最も近いクラスタまでの距離を算出し、特徴量の算出距離の昇順に、その特徴量を各クラスタのいずれか一つに含めるために拡張しなければいけないクラスタの半径の増分を求め、その増分が最も少ないクラスタに所定の特徴量を属させるようにしたことにより、より精度の高いクラスタリング処理を行なうことができる。
【００６５】
本発明によれば、前記表示空間の分割を木構造のノード毎に特徴量の一次元方向を順次変えながら木構造の下位ノードの分岐数に基づいて分割させるようにしたことにより、分割された表示空間にはそれぞれノードを代表する画像を有するようにすることができ、また、類似する特徴量を近くに配置することができる。
【００６６】
本発明によれば、木構造の兄弟ノードとともにそれらの兄弟ノード間の距離も考慮して表示空間を分割する割合を調整することにより、類似性をより正確に表した表示画面を生成することができる。
【００６７】
本発明によれば、木構造の下位ノードに属する特徴量の数に比例させて表示空間を分割する割合を調整することにより、特徴量を表示空間に均等に分配することができるので、画像を一箇所に密集させて表示することを防止することができ、見易くすることができる。
【００６８】
本発明によれば、木構造の下位ノードに属する特徴量空間の大きさに比例させて表示空間を分割する割合を調整することにより、類似性をより正確に表した表示画面を生成することができる。
【００６９】
本発明によれば、木構造の兄弟ノード間の距離と木構造の下位ノードに属する前記特徴量の数と木構造の下位ノードに属する前記特徴量空間の大きさとの中の少なくとも二以上を組み合わせて表示空間を分割する割合を調整することにより、類似性をより正確に表した表示画面を生成することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の類似画像検索装置を示す構成図である。
【図２】クラスタリング処理の具体的な手順を示す説明図である。
【図３】特徴量空間の木構造の一例を示す模式図である。
【図４】特徴量空間の構造の一例を二次元的に示す模式図である。
【図５】特徴量空間の構造の一例を三次元的に示す模式図である。
【図６】表示空間生成処理の具体的な手順を示す説明図である。
【図７】画像を二次元表示画面にマップした表示画面の一例を示す平面図である。
【図８】表示空間生成処理の別の一例を示す説明図である。
【図９】表示空間生成処理のさらに別の一例を示す説明図である。
【図１０】表示空間生成処理における表示空間の特徴量の分割方法の変形例を示す説明図である。
【符号の説明】
Ｃ１〜Ｃ１０ ノード、クラスタ
【発明の属する技術分野】
本発明は、類似する複数の画像を関連させて表示する類似画像表示方法、及び類似画像表示処理プログラムを格納した記録媒体に関する。
【０００２】
【従来の技術】
近年、ＣＰＵの高速化及び一次／二次記憶装置の大容量化により画像データを手軽に扱えるようになっただけでなく、インターネットやデジタルカメラ等の普及によって多くの画像データを容易にパーソナルコンピュータ等に取り込めるようになり、我々の身の回りには大量の画像データが氾濫している。このため、このような大量の画像データの中からユーザが所望する画像を検索するための技術が要望され、脚光を浴び始めている。
【０００３】
従来の画像検索では、予め人手により画像に属性情報を付与し、この属性情報もとに検索する方法が一般的であった。しかし、この方法では画像データの急増には対応することができない。そこで、近年、画像データから自動的に特徴（色（ヒストグラム）、テクスチャ、形状等）を抽出し、その抽出された画像の特徴に基づいて指定された画像に類似する画像データを検索する類似画像検索の研究が進められ、成果を収めている。
【０００４】
類似画像検索方法の一例としては、画像特徴を予め画像から抽出して保管しておき、検索時に指定された問い合わせ画像からも同様に画像特徴を抽出し、すでに抽出されている画像特徴と逐次比較（距離計算）を行なうことで類似する画像を検索するものがある。しかしながら、この方法では、画像特徴の数が少量の場合には処理速度に問題はないが、画像特徴が大量になると必然的に処理速度が遅くなってしまうという問題があった。
【０００５】
一方、インタフェースの観点からみると、現在の類似画像検索システムは、検索結果を類似度の順位に基づいて一次元的に羅列して表示している。しかし、これでは画像検索を行なうユーザに対して、パターンレベルで計量化された画像間の関係が効果的に提示されているとはいいがたい。導入された画像の類似度は必ずしもユーザの検索意図を反映するとは限らないので、ユーザにとって検索結果は判断の補助に過ぎない。そこで、検索結果をユーザが整理するのを支援するようなインタフェースを提供しなければならない。特に類似画像検索のように、ユーザの検索要求自体のあいまい性が無視できない場合、ユーザは、なるべく多くのデータを「見よう」とすると考えられ、多数の検索結果をユーザに理解し易い形で提示する必要がある。
【０００６】
そこで、情報検索支援という立場から、検索結果をできるだけ多く提示してユーザに閲覧させてユーザの判断を仰ぐインタフェースであって、ユーザが検索結果の傾向を直感的に把握し易いように秩序だって検索結果を一覧させるインタフェースが、『類似画像検索における特徴量空間の可視化インタフェース（電子情報通信学会技術研究報告 ９８巻２０４号）』において提案されている。このインタフェースによれば、検索の結果得られた画像に対して主成分分析を行ない、そこで得られる画像特徴を二次元空間の表示空間にマップして検索結果を提示する。これにより、データベース中の全画像に対して主成分分析を行なうよりも検索の結果得られた画像に対して主成分分析を行なう方が、有効な特徴量の次元数が大幅に低減されるので、情報圧縮になるとともに、画像集合の分布をより正確に反映し、検索結果をより分散して表示できることになり、ユーザは検索結果の画像の傾向を把握しやすくなる。
【０００７】
また、『インタラクティブ視覚化による文献集合からの情報獲得支援（日本ソフトウェア科学会 第１３回大会 予稿集）』においては、多数の文献とキーワードをその関連性に基づいて配置する視覚的分類技術にユーザの操作による視覚化結果の動的な更新を導入した視覚的インタラクション手法が提案されている。この視覚的インタラクション手法は、インデックスなどから算出される文献間の類似度に基づいて近い文献どうしを二次元（三次元）上において空間的に近く配置して検索結果を提示するものである。
【０００８】
【発明が解決しようとする課題】
しかしながら、『類似画像検索における特徴量空間の可視化インタフェース（電子情報通信学会技術研究報告 ９８巻２０４号）』に提案されている方法では、画像特徴がベクトルデータで表現できない場合、又は、画像の類似性が線形結合で表せない場合に主成分分析が行なえないという問題がある。
【０００９】
一方、『インタラクティブ視覚化による文献集合からの情報獲得支援（日本ソフトウェア科学会 第１３回大会 予稿集）』に提案されている方法では、キーワード数が多数になってしまう場合には計算量が膨大で処理時間を要すため、インタラクティブな表示による視覚化情報の把握が困難になるという問題がある。
【００１０】
本発明の目的は、画像特徴がベクトルデータで表現できない場合、又は、画像の類似性が線形結合で表せない場合においても、特徴量の空間を類似性に基づいて高速に表示可能とする類似画像表示方法、及び類似画像表示処理プログラムを格納した記録媒体を得ることである。
【００１１】
【課題を解決するための手段】
本発明は、類似する複数の画像を関連させて表示させる類似画像表示方法において、各画像の画像データからその画像の特徴を示す特徴量を抽出し、その抽出された各特徴量が存在する特徴量空間を前記特徴量に基づいて階層的に分割し、その階層的に分割された前記特徴量空間をノードとして枝分かれさせた木構造に生成し、その生成された木構造に基づいて前記画像の可視化空間である表示空間を分割し、分割された各表示空間に対応する各画像データを配して画像表示する。
【００１２】
したがって、特徴量空間での特徴量間の位置に則した表示空間での特徴量の位置が求められる。これにより、類似する画像が例えば画面上の近い位置において表示される。
【００１３】
本発明の一形態において、前記特徴量空間の階層的な分割は、クラスタリング手法によって円形状のクラスタを再帰的に生成して行う。
【００１４】
したがって、クラスタリング手法を用いることにより、処理量が少なくなり、処理速度が速められる。
【００１５】
本発明の一形態において、前記クラスタリング手法は、各特徴量から最も近い前記クラスタまでの距離を算出し、前記特徴量の算出距離の昇順に、その特徴量を各クラスタのいずれか一つに含めるために拡張しなければいけない前記クラスタの半径の増分を求め、その増分が最も少ない前記クラスタに所定の特徴量を属させる。
【００１６】
したがって、より精度の高いクラスタリング処理が可能になる。
【００１７】
本発明の一形態において、前記表示空間の分割は、木構造のノード毎に前記特徴量の一次元方向を順次変えながら木構造の下位ノードの分岐数に基づいて分割する。
【００１８】
したがって、分割された表示空間は、それぞれノードを代表する画像を有することになり、また、類似する特徴量は近くに配置されることになる。
【００１９】
本発明の一形態において、前記表示空間の分割は、木構造の兄弟ノードとともにそれらの兄弟ノード間の距離も考慮して前記表示空間を分割する割合を調整する。
【００２０】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００２１】
本発明の一形態において、前記表示空間の分割は、木構造の下位ノードに属する前記特徴量の数に比例させて前記表示空間を分割する割合を調整する。
【００２２】
したがって、特徴量が表示空間に均等に分配されることにより、画像が一箇所に密集して表示されることが防止される。
【００２３】
本発明の一形態において、前記表示空間の分割は、木構造の下位ノードに属する前記特徴量空間の大きさに比例させて前記表示空間を分割する割合を調整する。
【００２４】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００２５】
本発明の一形態において、前記表示空間の分割は、木構造の兄弟ノード間の距離と木構造の下位ノードに属する前記特徴量の数と木構造の下位ノードに属する前記特徴量空間の大きさとの中の少なくとも二以上を組み合わせて前記表示空間を分割する割合を調整する。
【００２６】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００２７】
本発明は、コンピュータに読み込まれ、各画像の画像データからその画像の特徴を示す特徴量を抽出させ、その抽出された各特徴量が存在する特徴量空間を前記特徴量に基づいて階層的に分割させ、その階層的に分割された前記特徴量空間をノードとして枝分かれさせた木構造に生成させ、その生成された木構造に基づいて前記画像の可視化空間である表示空間を分割させ、分割された各表示空間に対応する各画像データを配して画像表示させ、類似する前記画像を関連させて表示させる機能をコンピュータに実行させる類似画像表示処理プログラムが格納されたコンピュータ読み取り可能な記録媒体である。
【００２８】
したがって、この記録媒体に格納された類似画像表示処理プログラムを実行することにより、特徴量空間での特徴量間の位置に則した表示空間での特徴量の位置が求められる。これにより、類似する画像が例えば画面上の近い位置において表示される。
【００２９】
本発明の一形態において、前記特徴量空間の階層的な分割は、クラスタリング手法によって円形状のクラスタを再帰的に生成して行うような機能をコンピュータに実行させる。
【００３０】
したがって、クラスタリング手法を用いることにより、処理量が少なくなり、処理速度が速められる。
【００３１】
本発明の一形態において、前記クラスタリング手法は、各特徴量から最も近い前記クラスタまでの距離を算出し、前記特徴量の算出距離の昇順に、その特徴量を各クラスタのいずれか一つに含めるために拡張しなければいけない前記クラスタの半径の増分を求め、その増分が最も少ない前記クラスタに所定の特徴量を属させるような機能をコンピュータに実行させる。
【００３２】
したがって、より精度の高いクラスタリング処理が可能になる。
【００３３】
本発明の一形態において、前記表示空間の分割は、木構造のノード毎に前記特徴量の一次元方向を順次変えながら木構造の下位ノードの分岐数に基づいて分割するような機能をコンピュータに実行させる。
【００３４】
したがって、分割された表示空間は、それぞれノードを代表する画像を有することになり、また、類似する特徴量は近くに配置されることになる。
【００３５】
本発明の一形態において、前記表示空間の分割は、木構造の兄弟ノードとともにそれらの兄弟ノード間の距離も考慮して前記表示空間を分割する割合を調整するような機能をコンピュータに実行させる。
【００３６】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００３７】
本発明の一形態において、前記表示空間の分割は、木構造の下位ノードに属する前記特徴量の数に比例させて前記表示空間を分割する割合を調整するような機能をコンピュータに実行させる。
【００３８】
したがって、特徴量が表示空間に均等に分配されることにより、画像が一箇所に密集して表示されることが防止される。
【００３９】
本発明の一形態において、前記表示空間の分割は、木構造の下位ノードに属する前記特徴量空間の大きさに比例させて前記表示空間を分割する割合を調整するような機能をコンピュータに実行させる。
【００４０】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００４１】
本発明の一形態において、前記表示空間の分割は、木構造の兄弟ノード間の距離と木構造の下位ノードに属する前記特徴量の数と木構造の下位ノードに属する前記特徴量空間の大きさとの中の少なくとも二以上を組み合わせて前記表示空間を分割する割合を調整するような機能をコンピュータに実行させる。
【００４２】
したがって、類似性をより正確に表した表示画面を生成することが可能になる。
【００４３】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図１０に基づいて説明する。
【００４４】
図１は、類似画像検索装置１を示す構成図である。図１に示すように、類似画像検索装置１は、多数の画像データを記憶保持する画像アプリケーション２と、類似画像検索・表示処理部３とを備えている。類似画像検索装置１の画像アプリケーション２には、画像入力手段４がＩ／Ｆ５を介して接続されている。つまり、画像アプリケーション２には、画像入力手段４であるスキャナやデジタルカメラ等によって入力された画像データ、Ｗｅｂからダウンロードした画像データなどが入力されることになる。また、類似画像検索装置１の類似画像検索・表示処理部３には、Ｉ／Ｆ５を介し、モニタ６が接続されている。この類似画像検索装置１は、ＣＰＵやＲＯＭ，ＲＡＭ等のメモリ装置等で構成されるコンピュータ（図示せず）やハードディスク、ＣＤ−ＲＯＭドライブ（いずれも図示せず）等を主体として構成されるハードウェアと、このハードウェアのシステムを構築するオペレーティングシステム（ＯＳ）等のシステムソフトウェアと、ハードウェアに各種処理を実行させるアプリケーションプログラムとによって構築されている。なお、アプリケーションプログラムは、コンピュータ読み取り可能な記録媒体、例えばＣＤ−ＲＯＭ等に格納されており、ＣＤ−ＲＯＭドライブ等を介して読み取られることになる。
【００４５】
次に、類似画像検索・表示処理部３における処理について説明する。類似画像検索・表示処理部３における処理としては、特徴量抽出処理３ａと、特徴量空間木構造抽出処理３ｂと、画像表示画面生成処理３ｃとがある。
【００４６】
まず、特徴量抽出処理３ａについて説明する。抽出される画像の特徴を示す特徴量としては、ヒストグラム特徴、エッジ特徴、テクスチャ特徴等が挙げられるが、ここでは、ヒストグラム特徴の抽出処理について説明する。ヒストグラムの特徴量は、適当な色空間（例えば、Ｌａｂ，Ｌｕｖ，ＨＳＶ等）を選択し、この空間を複数の領域に分割し、画像の各ピクセルが色空間のどの領域に対応するかを調べて領域毎のピクセル数をカウントした後、全体のピクセル数により正規化された領域毎のピクセル数のデータである。なお、二つのヒストグラムの特徴量の距離は、二つの特徴量の対応する各領域毎のピクセル数の差分の合計やユークリッド距離を利用することにより求められる。
【００４７】
次に、特徴量空間木構造抽出処理３ｂについて説明する。特徴量空間木構造抽出処理３ｂにおいては、まず、各特徴量が存在する特徴量空間を複数の部分空間（クラスタ）に分割するクラスタリング手法に基づくクラスタリング処理が実行される。クラスタリング手法としては、一般的なNearest Neighbor法やK-平均アルゴリズム法等が利用される。以下に、クラスタリング処理の具体的な手順を図２を参照して説明する。
【００４８】
１．クラスタの中心特徴量の獲得
ａ）特徴量空間内で任意の特徴量Ａを獲得する。
ｂ）選択した特徴量Ａから最遠の特徴量をクラスタの中心特徴量ｃ１とする。
ｃ）ｃ１から最遠の特徴量を二番目のクラスタの中心特徴量ｃ２とする。
ｄ）得られた中心特徴量のいずれからも遠い特徴量を新たなクラスタの中心特徴量とする。
ｅ）ｄ）を繰り返して必要なクラスタ分の特徴量を得る。
【００４９】
２．特徴量のソート
ａ）特徴量空間の任意の特徴量Ｐを選択する。
ｂ）すべての中心特徴量と任意の特徴量Ｐとの間の距離を算出し、最短距離をクラスタ距離として求める。
ｃ）ａ）〜ｂ）を繰り返し、すべての任意の特徴量Ｐ（Ｐ＝１，２，３，…ｎ）のクラスタ距離を求める。
ｄ）すべての任意の特徴量Ｐ（Ｐ＝１，２，３，…ｎ）のクラスタ距離を昇順でソートする。
【００５０】
３．特徴量の分配
ａ）各クラスタの半径を０とする。
ｂ）クラスタ距離の小さい任意の特徴量Ｐ（Ｐ＝１，２，３，…ｎ）から順に処理する。任意の特徴量Ｐ（Ｐ＝１，２，３，…ｎ）が各クラスタに含めるために拡張しなければいけない半径の増分を求め、増分が最も少ないクラスタに特徴量を属させる。
ｃ）すべての任意の特徴量Ｐ（Ｐ＝１，２，３，…ｎ）についてｂ）を繰り返す。
【００５１】
以上の手順により、クラスタリング処理が終了する。また、図２に示すように、特徴量が密集している限りクラスタの円の増分は少ないので、同じクラスタに分配されることになる。
【００５２】
次いで、特徴量空間木構造抽出処理３ｂの木構造生成処理について説明する。木構造生成処理は、クラスタリング処理により各特徴量を複数の部分空間に分割したものであるクラスタを木構造のノードとして枝分かれさせるものである。さらに、木構造生成処理は、各クラスタ（ノード）を前述したような方法でさらにクラスタリングし、下位のクラスタ（ノード）に分割してノードとする。これを再帰的に行なうことにより、図３に示すような特徴量空間の木構造を生成することができる。したがって、最終的には、すべての特徴量が最下位の個々のノード（リーフノード）に一つずつ含まれることになる。このように木構造に分割されたクラスタ（ノード）は、それぞれクラスタ（ノード）を代表する画像を有することになる。また、この木構造では、類似する特徴量は近くに配置されることになる。
【００５３】
ここで、図４は特徴量空間の構造の一例を二次元的に示す模式図、図５は特徴量空間の構造の一例を三次元的に示す模式図である。図４及び図５に示すように、類似する画像が包含された各クラスタ（ノード）は、上位クラスタ（Ｃ１，Ｃ２，Ｃ３）であるノードと下位クラスタ（Ｃ４〜Ｃ１０）である子ノードとで構成されており、ノードには、少なくとも１以上の子ノードが含まれている。
【００５４】
次に、画像表示画面生成処理３ｃについて説明する。画像表示画面生成処理３ｃにおいては、まず、表示空間生成処理が実行される。以下に、表示空間生成処理の具体的な手順を図６を参照して説明する。なお、本実施の形態においては、三次元空間に木構造をマップする場合について説明する。
【００５５】
ａ）画像の可視化空間である表示空間の特徴量の一次元方向を一つ選択し、木構造の下位ノードの分岐数に基づいて表示空間を均等に分割する（図６（ａ）参照）。
ｂ）分割された各表示空間に子ノードを割り振る（図６（ｂ）参照）。なお、子ノードの割り振りにおいては、類似する子ノード同士は近くに配置されるようにする。
ｃ）各子ノードについて、ａ）及びｂ）を特徴量の一次元方向を順次変えながら繰り返して行なう。
このように再帰的に処理することで木構造の全てのノードが表示空間にマップされることになる（図６（ｃ）参照）。以上の手順により、表示空間生成処理が終了する。
【００５６】
次いで、画像表示画面生成処理３ｃの表示画面生成処理について説明する。
ａ）表示空間生成処理によって表示空間にマップされたリーフノードには、そのノードを代表する画像の特徴量が一つずつ含まれているので、これらの画像データを各リーフノードの表示空間の中心に配置する。
ｂ）三次元空間にマップされた画像データを二次元空間に投影し、表示画面を生成する。なお、二次元空間に木構造をマップする場合には、三次元空間を二次元空間に投影する処理は不要であり、そのまま表示画面とすることができる。以上の手順により、表示画面生成処理が終了する。
【００５７】
このようにして生成された表示画面は、Ｉ／Ｆ５を介してモニタ６へと出力された表示されることになる。ここで、図７は画像を二次元表示画面にマップした表示画面の一例を示す平面図である。図７に示すように、類似する画像はモニタ６の表示画面に縮小画像の散布図として表示され、類似する複数の画像が表示画面上において近い位置に関連した状態で見易く表示されることになる。つまり、特徴量抽出処理３ａと特徴量空間木構造抽出処理３ｂと画像表示画面生成処理３ｃとにおいては、類似画像表示方法をコンピュータに実行させる類似画像表示処理プログラムがアプリケーションプログラムとして実行されている。
【００５８】
なお、本実施の形態の画像表示画面生成処理３ｃの表示空間生成処理のａ）においては表示空間をノードの個数で均等に分割したが、これに限るものではなく、ノード（クラスタ）はそれぞれクラスタ半径、クラスタに属する特徴量の数等が異なるため、それらの値に比例させて分割する表示空間の割合を調整するようにしても良い。例えば、図８（ａ）に示すようにノード（クラスタ）の半径が異なる場合には、そのノード（クラスタ）の半径に比例させて分割空間のサイズを大きくすることにより（図８（ｂ）参照）、類似性をより正確に表した表示画面を生成することができる。また、同様に、クラスタに属する特徴量の数が異なる場合にも、その特徴量の数に比例させて分割空間のサイズを大きくすることにより、画像を均等に表示空間に分配することができるので、一箇所に画像が密集してマップされて見にくくなることはない。
【００５９】
さらに、図９（ａ）に示すような兄弟ノードであるクラスタＣ１，Ｃ２間の隙間距離Ｓ１を考慮して表示空間にそのクラスタ間の隙間距離Ｓ１を設定し、そのクラスタ間の隙間距離Ｓ１を設定した表示空間には子ノードを指定しないようにするとともに、ノード（クラスタ）の半径Ｒ１，Ｒ２に比例させて分割空間のサイズを大きくするようにしても良い（図９（ｂ）参照）。これにより、類似性をより正確に表した表示画面を生成することができる。
【００６０】
加えて、本実施の形態の画像表示画面生成処理３ｃの表示空間生成処理のａ）においては表示空間の特徴量の一次元方向を一つのみ選択して木構造の下位ノードの分岐数に基づいて表示空間を分割するようにしたが、これに限るものではない。例えば図１０（ａ）に示すように表示空間の特徴量を三次元方向で分割しても良いし、図１０（ｂ）に示すように表示空間の特徴量を二次元方向で分割しても良いし、図１０（ｃ）に示すように表示空間の特徴量を二次元方向で分割するとともに表示空間を分割する割合を調整するようにしても良い。
【００６１】
なお、本実施の形態においては画像データの表示について説明したが、特徴量で類似性が判断できるものであれば文書データ等であっても良い。
【００６２】
【発明の効果】
本発明によれば、各画像の画像データからその画像の特徴を示す特徴量を抽出し、その抽出された特徴量に基づいて特徴量空間を階層的に分割し、その階層的に分割された特徴量空間をノードとして枝分かれさせた木構造に生成し、その生成された木構造に基づいて表示空間を分割し、分割された各表示空間に対応する各画像データを配して画像表示することにより、特徴量空間での特徴量間の位置に則した表示空間での特徴量の位置を求めることができ、類似する画像を例えば画面上の近い位置において表示することができるので、画像特徴がベクトルデータで表現できない場合、又は、画像の類似性が線形結合で表せない場合においても、特徴量の空間を類似性に基づいて高速に表示することができる。
【００６３】
本発明によれば、特徴量空間の階層的な分割をクラスタリング手法によって円形状のクラスタを再帰的に生成させて行うことにより、処理量を少なくすることができるので、処理速度を速めることができる。
【００６４】
本発明によれば、クラスタリング手法を、各特徴量から最も近いクラスタまでの距離を算出し、特徴量の算出距離の昇順に、その特徴量を各クラスタのいずれか一つに含めるために拡張しなければいけないクラスタの半径の増分を求め、その増分が最も少ないクラスタに所定の特徴量を属させるようにしたことにより、より精度の高いクラスタリング処理を行なうことができる。
【００６５】
本発明によれば、前記表示空間の分割を木構造のノード毎に特徴量の一次元方向を順次変えながら木構造の下位ノードの分岐数に基づいて分割させるようにしたことにより、分割された表示空間にはそれぞれノードを代表する画像を有するようにすることができ、また、類似する特徴量を近くに配置することができる。
【００６６】
本発明によれば、木構造の兄弟ノードとともにそれらの兄弟ノード間の距離も考慮して表示空間を分割する割合を調整することにより、類似性をより正確に表した表示画面を生成することができる。
【００６７】
本発明によれば、木構造の下位ノードに属する特徴量の数に比例させて表示空間を分割する割合を調整することにより、特徴量を表示空間に均等に分配することができるので、画像を一箇所に密集させて表示することを防止することができ、見易くすることができる。
【００６８】
本発明によれば、木構造の下位ノードに属する特徴量空間の大きさに比例させて表示空間を分割する割合を調整することにより、類似性をより正確に表した表示画面を生成することができる。
【００６９】
本発明によれば、木構造の兄弟ノード間の距離と木構造の下位ノードに属する前記特徴量の数と木構造の下位ノードに属する前記特徴量空間の大きさとの中の少なくとも二以上を組み合わせて表示空間を分割する割合を調整することにより、類似性をより正確に表した表示画面を生成することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の類似画像検索装置を示す構成図である。
【図２】クラスタリング処理の具体的な手順を示す説明図である。
【図３】特徴量空間の木構造の一例を示す模式図である。
【図４】特徴量空間の構造の一例を二次元的に示す模式図である。
【図５】特徴量空間の構造の一例を三次元的に示す模式図である。
【図６】表示空間生成処理の具体的な手順を示す説明図である。
【図７】画像を二次元表示画面にマップした表示画面の一例を示す平面図である。
【図８】表示空間生成処理の別の一例を示す説明図である。
【図９】表示空間生成処理のさらに別の一例を示す説明図である。
【図１０】表示空間生成処理における表示空間の特徴量の分割方法の変形例を示す説明図である。
【符号の説明】
Ｃ１〜Ｃ１０ ノード、クラスタ
Claims (3)
- 類似する複数の画像を関連させて表示させる類似画像表示装置において、
各画像の画像データから該各画像の特徴を示す特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された各特徴量が存在する特徴量空間を前記特徴量に基づいて階層的に分割する階層分割手段と、
前記階層分割手段により階層的に分割された前記特徴量空間をノードとして枝分かれさせた木構造に生成する木構造生成手段と、
前記木構造生成手段により生成された木構造に基づいて前記画像の可視化空間である表示空間を分割する表示空間分割手段と、
前記表示空間分割手段により分割された各表示空間に対応する各画像データを配して画像表示する画像表示手段と、を有する類似画像表示装置であって、
前記表示空間分割手段は、前記木構造のノード毎に前記特徴量の一次元方向を順次変えながら木構造の下位ノードの分岐数に基づいて分割し、さらに、該木構造の下位ノードの半径に比例させて前記表示空間を分割する割合を調整することを特徴とする類似画像表示装置。 - 類似する複数の画像を関連させて表示させる類似画像表示装置の類似画像表示方法において、
特徴量抽出手段が、各画像の画像データから該各画像の特徴を示す特徴量を抽出するステップと、
階層分割手段が、前記特徴量抽出手段により抽出された各特徴量が存在する特徴量空間を前記特徴量に基づいて階層的に分割するステップと、
木構造生成手段が、前記階層分割手段により階層的に分割された前記特徴量空間をノードとして枝分かれさせた木構造に生成するステップと、
表示空間分割手段が、前記木構造生成手段により生成された木構造に基づいて前記画像の可視化空間である表示空間を分割するステップと、
画像表示手段が、前記表示空間分割手段により分割された各表示空間に対応する各画像データを配して画像表示するステップと、を有する類似画像表示方法であって、
前記表示空間分割手段は、前記木構造のノード毎に前記特徴量の一次元方向を順次変えながら木構造の下位ノードの分岐数に基づいて分割し、さらに、該木構造の下位ノードの半径に比例させて前記表示空間を分割する割合を調整することを特徴とする類似画像表示方法。 - 請求項２に記載の類似画像表示方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12094699A JP4173246B2 (ja) | 1999-04-28 | 1999-04-28 | 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 |
| US09/559,255 US7023446B1 (en) | 1999-04-28 | 2000-04-27 | Presentation of images resembling each other |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12094699A JP4173246B2 (ja) | 1999-04-28 | 1999-04-28 | 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000311246A JP2000311246A (ja) | 2000-11-07 |
| JP4173246B2 true JP4173246B2 (ja) | 2008-10-29 |
Family
ID=14798894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12094699A Expired - Fee Related JP4173246B2 (ja) | 1999-04-28 | 1999-04-28 | 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7023446B1 (ja) |
| JP (1) | JP4173246B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3542732B2 (ja) * | 1999-01-06 | 2004-07-14 | 日本電信電話株式会社 | 多次元空間データ構造および多次元空間データの更新および探索方法と前記多次元空間データ構造を記録した記録媒体および前記方法を実施するプログラムを記録した記録媒体 |
| JP3950718B2 (ja) * | 2001-03-19 | 2007-08-01 | 株式会社リコー | 画像空間表示方法 |
| JP4682339B2 (ja) * | 2001-05-30 | 2011-05-11 | 株式会社日立ソリューションズ | データ分類装置およびデータ分類方法 |
| JP3979834B2 (ja) * | 2001-12-13 | 2007-09-19 | 富士フイルム株式会社 | 画像データベース装置およびその動作制御方法 |
| JP2003203090A (ja) * | 2002-01-07 | 2003-07-18 | Ricoh Co Ltd | 画像空間表示方法 |
| DE60233935D1 (de) * | 2002-07-19 | 2009-11-19 | Mitsubishi Electric Inf Tech | Verfahren und Gerät zur Datenverarbeitung |
| US7911510B2 (en) | 2004-06-10 | 2011-03-22 | Canon Kabushiki Kaisha | Imaging apparatus using a key image in image retrieval or reading out |
| TW200817956A (en) * | 2006-06-16 | 2008-04-16 | Koninkl Philips Electronics Nv | Clinician-driven example-based computer-aided diagnosis |
| GB2440562A (en) * | 2006-08-03 | 2008-02-06 | Sony Uk Ltd | Apparatus and method of data organisation |
| US20080118160A1 (en) * | 2006-11-22 | 2008-05-22 | Nokia Corporation | System and method for browsing an image database |
| JP4934843B2 (ja) | 2006-11-29 | 2012-05-23 | 株式会社リコー | 情報処理装置、画像登録方法、およびプログラム |
| JP5183071B2 (ja) * | 2007-01-22 | 2013-04-17 | 任天堂株式会社 | 表示制御装置および表示制御プログラム |
| JP4949996B2 (ja) * | 2007-10-29 | 2012-06-13 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| GB0811942D0 (en) * | 2008-07-01 | 2008-07-30 | Airbus Uk Ltd | Method of designing a structure |
| CN101576932B (zh) * | 2009-06-16 | 2012-07-04 | 阿里巴巴集团控股有限公司 | 近重复图片的计算机查找方法和装置 |
| US20120096003A1 (en) * | 2009-06-29 | 2012-04-19 | Yousuke Motohashi | Information classification device, information classification method, and information classification program |
| JP5744660B2 (ja) * | 2010-08-26 | 2015-07-08 | キヤノン株式会社 | データ検索結果の表示方法およびデータ検索結果の表示装置、プログラム |
| EP2630474A4 (en) | 2010-10-19 | 2017-04-19 | 3M Innovative Properties Company | Computer-aided assignment of ratings to digital samples of a manufactured web product |
| EP2638384A4 (en) | 2010-11-12 | 2017-04-19 | 3M Innovative Properties Company | Rapid processing and detection of non-uniformities in web-based materials |
| JP6463095B2 (ja) * | 2014-11-25 | 2019-01-30 | キヤノン株式会社 | 画像検索装置及び方法 |
| JP7020160B2 (ja) * | 2018-02-13 | 2022-02-16 | 株式会社明電舎 | 水質分析装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5933823A (en) * | 1996-03-01 | 1999-08-03 | Ricoh Company Limited | Image database browsing and query using texture analysis |
| US6400853B1 (en) * | 1997-03-19 | 2002-06-04 | Canon Kabushiki Kaisha | Image retrieval apparatus and method |
| US6121969A (en) * | 1997-07-29 | 2000-09-19 | The Regents Of The University Of California | Visual navigation in perceptual databases |
| US6240423B1 (en) * | 1998-04-22 | 2001-05-29 | Nec Usa Inc. | Method and system for image querying using region based and boundary based image matching |
| US6240424B1 (en) * | 1998-04-22 | 2001-05-29 | Nbc Usa, Inc. | Method and system for similarity-based image classification |
-
1999
- 1999-04-28 JP JP12094699A patent/JP4173246B2/ja not_active Expired - Fee Related
-
2000
- 2000-04-27 US US09/559,255 patent/US7023446B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000311246A (ja) | 2000-11-07 |
| US7023446B1 (en) | 2006-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4173246B2 (ja) | 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 | |
| JP5229744B2 (ja) | 画像分類装置および画像分類プログラム | |
| JP4781924B2 (ja) | 文書画像のコンテント適応スケーリング用ホワイトスペースグラフ及びツリー | |
| JP5033580B2 (ja) | 画像処理装置及び画像処理方法 | |
| US20040024758A1 (en) | Image classification method, image feature space displaying method, program, and recording medium | |
| US9785655B2 (en) | Dynamic maps for exploring and browsing of images | |
| JP4340367B2 (ja) | 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4902499B2 (ja) | 画像表示装置、画像表示方法、および画像表示システム | |
| JP5744660B2 (ja) | データ検索結果の表示方法およびデータ検索結果の表示装置、プログラム | |
| JP4298172B2 (ja) | 画像のブラウジングのための多重線形化データ構造 | |
| JP4363792B2 (ja) | 情報検索システムおよび方法 | |
| Woodring et al. | Multiscale time activity data exploration via temporal clustering visualization spreadsheet | |
| JP2001273302A (ja) | 画像検索システムおよび画像検索方法 | |
| JP2005085166A (ja) | グラフィックス・イメージ生成装置及びその方法、データ解析装置及びその方法並びにプログラム | |
| JP2011507099A (ja) | イメージ検索における対話型概念学習 | |
| CN101263514A (zh) | 在图像数据库中进行导航、可视化和聚类的互序次相似度空间 | |
| Strong et al. | Self-sorting map: An efficient algorithm for presenting multimedia data in structured layouts | |
| Theoharatos et al. | A generic scheme for color image retrieval based on the multivariate Wald-Wolfowitz test | |
| EP1246124B1 (en) | Image space display method and apparatus | |
| Oesterling et al. | Visualizing nd point clouds as topological landscape profiles to guide local data analysis | |
| JP2004240887A (ja) | 検索情報表示システム及び検索キーワード情報表示方法及び検索キーワード情報表示プログラム | |
| Beilschmidt et al. | An efficient aggregation and overlap removal algorithm for circle maps | |
| JP2003203090A (ja) | 画像空間表示方法 | |
| JP3510980B2 (ja) | 直線による画像の検索装置，検索方法およびそのプログラム記録媒体 | |
| JP4148642B2 (ja) | 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041122 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080620 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080813 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |