JPWO2005096180A1 - 画像検索方法、装置及びプログラムを記録した記録媒体 - Google Patents
画像検索方法、装置及びプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JPWO2005096180A1 JPWO2005096180A1 JP2006511629A JP2006511629A JPWO2005096180A1 JP WO2005096180 A1 JPWO2005096180 A1 JP WO2005096180A1 JP 2006511629 A JP2006511629 A JP 2006511629A JP 2006511629 A JP2006511629 A JP 2006511629A JP WO2005096180 A1 JPWO2005096180 A1 JP WO2005096180A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- search target
- search
- target images
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 145
- 238000011524 similarity measure Methods 0.000 claims abstract description 60
- 238000010276 construction Methods 0.000 claims abstract description 40
- 239000000284 extract Substances 0.000 claims abstract description 11
- 239000000470 constituent Substances 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
ＨＤＤなどの記憶装置に蓄積されている多数の画像の中から、ユーザーが所望の画像を効率良く且つ簡便に検索し得る画像検索装置が開示される。この画像検索装置は、複数の検索対象画像を蓄積する記憶装置と、前記複数の検索対象画像の各々から、前記複数の検索対象画像に共通の単数または複数の構成要素を抽出するとともに、前記単数または複数の構成要素を用いて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得部と、前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記類似尺度が所定範囲内であれば前記検索対象画像間をリンクを介して相互に関連付けるネットワーク構築部と、Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索部と、を備える。
Description
本発明は、ＨＤＤ（ハードディスクドライブ）などの記憶装置に格納されている多数の画像の中から所望の画像を検索する技術に関する。
ＨＤＤなどの大容量記憶装置に蓄積されている多数の静止画像あるいは動画像の中から、ユーザーが所望する画像を効率良く検索するために、従来から種々の画像検索方法が提案されている。一般に、この種の方法では、検索対象となる多数の画像の各々から時間情報や色情報などの特徴量を抽出し、これら特徴量に基づいて各画像間の類似尺度を算出し、前記類似尺度を基準として画像を互いに関連付けることによってデータベースが構築される。
たとえば、特許文献１（特開平９−２５９１３０号公報）に記載される情報探索方法では、多数の検索対象情報を２次元または３次元の階層空間に配置し、それら検索対象情報を立体的に表示する方法が採用されている。具体的には、検索対象情報の各々について、検索対象画像の色，形，大きさ，種類，内容およびキーワードなどの特徴量が抽出される。前記特徴量から特徴量ベクトルが生成され、この特徴量ベクトルに基づいて各検索対象情報相互間の類似尺度が算出される。多数の検索対象情報は、類似尺度が高くなる程に互いの距離が近くなるように探索空間内に配置され、第１の探索対象層を構成する。この第１の探索対象層から幾つかの検索対象情報を抽出することによって１つ上位の第２の探索対象層が構成され、さらに、第２の探索対象層から幾つかの検索対象情報を抽出することによって１つ上位の第３の探索対象層が構成される。このような検索対象情報の抽出作業を再帰的に実行することにより第１〜第ｎ（ｎは２以上の整数）の探索対象層が構築される。また、ユーザーが情報を検索する際は、第１〜第ｎの探索対象層が立体的に表示される。
また、特許文献２（特開平１１−１７５５３５号公報）に記載される画像検索方法は、画像の特徴量を統計処理して計算される多次元ベクトル空間から１軸，２軸または３軸を選択し、選択した軸の座標空間に画像を縮小して配置し、その結果を表示するものである。
従来の画像検索方法では、検索対象となる多数の画像の特徴量を十分に活かした検索処理が実行されているとは言い難く、効率良く且つ簡便に検索したいというユーザーの要望に応え得る検索方法が求められていた。
たとえば、特許文献１（特開平９−２５９１３０号公報）に記載される情報探索方法では、多数の検索対象情報を２次元または３次元の階層空間に配置し、それら検索対象情報を立体的に表示する方法が採用されている。具体的には、検索対象情報の各々について、検索対象画像の色，形，大きさ，種類，内容およびキーワードなどの特徴量が抽出される。前記特徴量から特徴量ベクトルが生成され、この特徴量ベクトルに基づいて各検索対象情報相互間の類似尺度が算出される。多数の検索対象情報は、類似尺度が高くなる程に互いの距離が近くなるように探索空間内に配置され、第１の探索対象層を構成する。この第１の探索対象層から幾つかの検索対象情報を抽出することによって１つ上位の第２の探索対象層が構成され、さらに、第２の探索対象層から幾つかの検索対象情報を抽出することによって１つ上位の第３の探索対象層が構成される。このような検索対象情報の抽出作業を再帰的に実行することにより第１〜第ｎ（ｎは２以上の整数）の探索対象層が構築される。また、ユーザーが情報を検索する際は、第１〜第ｎの探索対象層が立体的に表示される。
また、特許文献２（特開平１１−１７５５３５号公報）に記載される画像検索方法は、画像の特徴量を統計処理して計算される多次元ベクトル空間から１軸，２軸または３軸を選択し、選択した軸の座標空間に画像を縮小して配置し、その結果を表示するものである。
従来の画像検索方法では、検索対象となる多数の画像の特徴量を十分に活かした検索処理が実行されているとは言い難く、効率良く且つ簡便に検索したいというユーザーの要望に応え得る検索方法が求められていた。
以上の状況などに鑑みて本発明の主目的は、ＨＤＤなどの記憶装置に蓄積されている多数の画像の中から、ユーザーが所望の画像を効率良く且つ簡便に検索することを可能にする画像検索方法，画像検索装置および画像検索プログラムを記録した記録媒体を提供することである。
第１の発明は、画像検索方法であって、（ａ）複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するステップと、（ｂ）前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得るステップと、（ｃ）前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるステップと、（ｄ）Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索するステップと、を備えることを特徴としている。
第２の発明は、画像検索方法であって、（ａ）複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するステップと、（ｂ）前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得るステップと、（ｃ）前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるステップと、（ｄ）前記ステップ（ｃ）で関連付けがなされた前記検索対象画像群で下位の階層を構築するステップと、（ｅ）前記下位の階層から、Ｍ個（Ｍは２以上の整数）の前記リンクを介して関連付けられている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも上位の階層に属する検索対象画像群を構成するステップと、（ｆ）前記上位の階層において、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるステップと、（ｇ）Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索するステップと、を備え、前記ステップ（ｅ）および（ｆ）を再帰的に実行することにより複数の階層を構築することを特徴としている。
第３の発明は、画像検索装置であって、複数の検索対象画像を蓄積する記憶装置と、複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得部と、前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるネットワーク構築部と、Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索部と、を備えることを特徴としている。
第４の発明は、画像検索装置であって、複数の検索対象画像を蓄積する記憶装置と、複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得部と、前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付け且つ関連付けがなされた前記検索対象画像群で下位の階層を構築するネットワーク構築部と、Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索部と、を備え、前記ネットワーク構築部は、前記下位の階層から、Ｍ個（Ｍは２以上の整数）の前記リンクを介して関連付けられている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも上位の階層に属する検索対象画像群を構成する処理と、前記上位の階層において、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付ける処理とを再帰的に実行することにより複数の階層を構築する、ことを特徴としている。
第５の発明は、画像検索プログラムを記録した記録媒体であって、複数の検索対象画像を記憶装置に記憶させる記憶処理と、複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得処理と、前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるネットワーク構築処理と、Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索処理と、をコンピュータに実行させることを特徴としている。
第６の発明は、画像検索プログラムを記録した記録媒体であって、複数の検索対象画像を記憶装置に記憶させる記憶処理と、複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得処理と、前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付け且つ関連付けがなされた前記検索対象画像群で下位の階層を構築する下位階層構築処理と、Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索処理と、をコンピュータに実行させるとともに、前記下位の階層から、Ｍ個（Ｍは２以上の整数）の前記リンクを介して関連付けられている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも上位の階層に属する検索対象画像群を構成するとともに、前記上位の階層において、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付ける上位階層構築処理をコンピュータに再帰的に実行させることにより複数の階層を構築することを特徴としている。
第１の発明は、画像検索方法であって、（ａ）複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するステップと、（ｂ）前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得るステップと、（ｃ）前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるステップと、（ｄ）Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索するステップと、を備えることを特徴としている。
第２の発明は、画像検索方法であって、（ａ）複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するステップと、（ｂ）前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得るステップと、（ｃ）前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるステップと、（ｄ）前記ステップ（ｃ）で関連付けがなされた前記検索対象画像群で下位の階層を構築するステップと、（ｅ）前記下位の階層から、Ｍ個（Ｍは２以上の整数）の前記リンクを介して関連付けられている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも上位の階層に属する検索対象画像群を構成するステップと、（ｆ）前記上位の階層において、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるステップと、（ｇ）Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索するステップと、を備え、前記ステップ（ｅ）および（ｆ）を再帰的に実行することにより複数の階層を構築することを特徴としている。
第３の発明は、画像検索装置であって、複数の検索対象画像を蓄積する記憶装置と、複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得部と、前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるネットワーク構築部と、Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索部と、を備えることを特徴としている。
第４の発明は、画像検索装置であって、複数の検索対象画像を蓄積する記憶装置と、複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得部と、前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付け且つ関連付けがなされた前記検索対象画像群で下位の階層を構築するネットワーク構築部と、Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索部と、を備え、前記ネットワーク構築部は、前記下位の階層から、Ｍ個（Ｍは２以上の整数）の前記リンクを介して関連付けられている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも上位の階層に属する検索対象画像群を構成する処理と、前記上位の階層において、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付ける処理とを再帰的に実行することにより複数の階層を構築する、ことを特徴としている。
第５の発明は、画像検索プログラムを記録した記録媒体であって、複数の検索対象画像を記憶装置に記憶させる記憶処理と、複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得処理と、前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるネットワーク構築処理と、Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索処理と、をコンピュータに実行させることを特徴としている。
第６の発明は、画像検索プログラムを記録した記録媒体であって、複数の検索対象画像を記憶装置に記憶させる記憶処理と、複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得処理と、前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付け且つ関連付けがなされた前記検索対象画像群で下位の階層を構築する下位階層構築処理と、Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索処理と、をコンピュータに実行させるとともに、前記下位の階層から、Ｍ個（Ｍは２以上の整数）の前記リンクを介して関連付けられている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも上位の階層に属する検索対象画像群を構成するとともに、前記上位の階層において、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付ける上位階層構築処理をコンピュータに再帰的に実行させることにより複数の階層を構築することを特徴としている。
図１は、本発明に係る実施例の画像検索装置の構成を概略的に示す機能ブロック図であり、
図２は、４分割された静止画像を模式的に示す図であり、
図３は、５分割された静止画像を模式的に示す図であり、
図４は、一連の映像ショットを模式的に示す図であり、
図５は、検索対象画像と特徴量との対応関係を示す図であり、
図６は、データベースのトポロジー（接続形態）を概略的に示す図であり、
図７は、データベースのデータ配列を模式的に示す図であり、
図８は、ネットワーク型データベースの構築処理の手順を示すフローチャートであり、
図９（ａ）は、新規画像を登録する前のネットワークのデータ配列を示す図、図９（ｂ）は、新規画像を登録した後のネットワークのデータ配列を示す図であり、
図１０は、データベースを用いた検索処理の手順を示すフローチャートであり、
図１１は、一覧表示処理の手順を示すフローチャートであり、
図１２は、表示画面の一例を概略的に示す図であり、
図１３は、表示画面の一例を概略的に示す図であり、
図１４は、データベースのトポロジーの一例を概略的に示す図であり、
図１５は、表示画面の一例を概略的に示す図であり、
図１６は、表示画面の一例を概略的に示す図であり、
図１７は、表示画面の一例を概略的に示す図であり、
図１８は、表示画面の一例を概略的に示す図であり、
図１９は、表示画面の一例を概略的に示す図であり、
図２０は、階層化処理の手順を概略的に示すフローチャートであり、
図２１は、階層化の一手順を説明するためのトポロジーの一例を示す図であり、
図２２は、階層化の一手順を説明するためのトポロジーの一例を示す図であり、
図２３は、階層化ネットワーク型データベースを模式的に示す図であり、
図２４は、階層化ネットワーク型データベースを用いた画像検索処理の手順を示すフローチャートであり、
図２５は、階層間移動処理の手順を示すフローチャートであり、
図２６は、階層間移動処理の一手順を説明するための図であり、
図２７は、階層間移動処理の一手順を説明するための図である。
図２は、４分割された静止画像を模式的に示す図であり、
図３は、５分割された静止画像を模式的に示す図であり、
図４は、一連の映像ショットを模式的に示す図であり、
図５は、検索対象画像と特徴量との対応関係を示す図であり、
図６は、データベースのトポロジー（接続形態）を概略的に示す図であり、
図７は、データベースのデータ配列を模式的に示す図であり、
図８は、ネットワーク型データベースの構築処理の手順を示すフローチャートであり、
図９（ａ）は、新規画像を登録する前のネットワークのデータ配列を示す図、図９（ｂ）は、新規画像を登録した後のネットワークのデータ配列を示す図であり、
図１０は、データベースを用いた検索処理の手順を示すフローチャートであり、
図１１は、一覧表示処理の手順を示すフローチャートであり、
図１２は、表示画面の一例を概略的に示す図であり、
図１３は、表示画面の一例を概略的に示す図であり、
図１４は、データベースのトポロジーの一例を概略的に示す図であり、
図１５は、表示画面の一例を概略的に示す図であり、
図１６は、表示画面の一例を概略的に示す図であり、
図１７は、表示画面の一例を概略的に示す図であり、
図１８は、表示画面の一例を概略的に示す図であり、
図１９は、表示画面の一例を概略的に示す図であり、
図２０は、階層化処理の手順を概略的に示すフローチャートであり、
図２１は、階層化の一手順を説明するためのトポロジーの一例を示す図であり、
図２２は、階層化の一手順を説明するためのトポロジーの一例を示す図であり、
図２３は、階層化ネットワーク型データベースを模式的に示す図であり、
図２４は、階層化ネットワーク型データベースを用いた画像検索処理の手順を示すフローチャートであり、
図２５は、階層間移動処理の手順を示すフローチャートであり、
図２６は、階層間移動処理の一手順を説明するための図であり、
図２７は、階層間移動処理の一手順を説明するための図である。
以下、図面を参照しつつ本発明に係る種々の実施例について説明する。
図１は、本発明に係る実施例の画像検索装置１の構成を概略的に示す機能ブロック図である。画像検索装置１は、信号処理部１０，特徴量取得部１１，ネットワーク構築部１２，メインコントローラ（画像検索部）１３，画像合成部１４，画像データベース１９およびネットワークデータベース２０を備えている。これら機能ブロック１０〜１４，１９，２０は、制御信号やデータ信号を伝達するバス２１を介して相互に接続されている。
また、メインコントローラ１３は、ユーザーの指示が入力される操作部１６とユーザーインターフェース１５を介して接続され、画像合成部１４は、出力インターフェース１７を介して表示部１８と接続されている。表示部１８は、静止画像や動画像を表示し得る解像度を持つディスプレイ装置である。操作部１６は、ユーザーの入力指示をユーザーインターフェース１５を介してメインコントローラ１３に与えることができ、具体的には、表示部１８の画面上の座標位置を検出するマウスなどのポインティング・デバイスとキーボードとを備えている。操作部１６として、表示部１８の画面上でユーザーの指などが触れた位置を検知して当該位置に応じた指示をメインコントローラ１３に与えるタッチスクリーン、あるいは、ユーザーが発した音声を認識してその結果をメインコントローラ１３に与える音声認識装置を採用してもよい。
メインコントローラ１３は、機能ブロック１０〜１４，１９，２０の動作を制御する機能を有し、各種検索処理を実行する階層選択部１３Ａ，画像選択部１３Ｂおよび表示制御部１３Ｃを備えている。メインコントローラ１３は、マイクロプロセッサ，制御プログラムなどを格納するＲＯＭ，ＲＡＭ，内部バスおよび入出力インターフェースなどを備えた集積回路で構成されればよい。階層選択部１３Ａ，画像選択部１３Ｂおよび表示制御部１３Ｃは、マイクロプロセッサで実行されるプログラムまたは一連の命令群で構成されてもよいし、ハードウェアで構成されてもよい。また、本実施例では、前記特徴量取得部１１とネットワーク構築部１２はそれぞれ独立したハードウェアで構成されているが、この代わりに、メインコントローラ１３のマイクロプロセッサで実行されるプログラムまたは一連の命令群で構成されてもよい。
また、特徴量取得部１１，ネットワーク構築部１２およびメインコントローラ１３による検索処理をマイクロプロセッサで実行する画像検索プログラムを、ＨＤＤ，不揮発性メモリ，光ディスクまたは磁気テープなどの記録媒体に記録しこれを用いてもよい。
前記信号処理部１０は、外部からの入力画像信号を取り込み、これを所定のタイミングでバス２１を介して画像データベース１９に転送する機能を有する。アナログ信号が入力した場合は、信号処理部１０は入力画像信号をＡ／Ｄ変換した後に画像データベース１９に転送する。入力画像信号の符号化方式としては、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ），ＧＩＦ（Ｇｒａｐｈｉｃ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）およびビットマップなどの静止画像符号化方式，並びに、Ｍｏｔｉｏｎ−ＪＰＥＧ，ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｉｎｇ）およびＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの動画像符号化方式が挙げられる。入力画像信号の供給源としては、たとえば、ムービーカメラ，デジタルカメラ，テレビチューナ，ＤＶＤプレーヤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｐｌａｙｅｒ），コンパクトディスクプレーヤ，ミニディスクプレーヤ，スキャナ，インターネットなどの広域ネットワークが挙げられる。
画像データベース１９は、ＨＤＤなどの大容量記憶装置において構築され、バス２１を介して転送された静止画像および動画像（以下、検索対象画像と称する。）を既存のファイルシステムに従って記録し管理する。後述するように、特徴量取得部１１とネットワーク構築部１２は、画像データベース１９に記録されている検索対象画像群を網の目状に関連付けることによってネットワーク型データベースを構築しこれをネットワークデータベース２０に記録する。
特徴量取得部１１は、多数の検索対象画像の各々の特徴量を取得する処理（特徴量取得処理）を行う機能ブロックである。具体的には、特徴量取得部１１は、画像データベース１９に記録されている多数の検索対象画像から、これら検索対象画像に共通の構成要素、たとえば、各画素を構成する一組の色成分あるいはメタデータを抽出する。一組の色成分としては、たとえば、Ｒ（赤色），Ｇ（緑色）およびＢ（青色）の色成分の組や、Ｙ（輝度），Ｃｂ（色差）およびＣｒ（色差）の色成分の組が挙げられる。メタデータとしては、検索対象画像に付加されている属性，意味内容，取得先もしくは格納場所などの情報が挙げられる。より具体的には、タイ卜ル，記録日時（絶対時間／相対時間），取得場所（緯度／経度／高度），ジャンル，出演者，キーワード，コメント，価格（円／ドル／ユーロ）および画像サイズなどの情報をメタデータとして抽出することができる。
特徴量取得部１１は、検索対象画像から抽出した構成要素に基づいて、検索対象画像の各々を特徴付ける複数の特徴値の組すなわち特徴量を算出する。ネットワーク構築部１２は、前記特徴量取得部１１で算出された特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けることによってネットワーク型データベースを構築する。以下、検索対象画像が静止画像であって、静止画像から抽出された構成要素がＲ，Ｇ，Ｂの色成分である場合の類似尺度の算出方法について説明する。
特徴量取得部１１は、画像データベース１９から静止画像を読み出し、この静止画像をＭ個（Ｍは２以上の整数）のブロックに分割する。たとえば、図２に示すように静止画像３０を４つのブロックＢ１，Ｂ２，Ｂ３，Ｂ４に分割したり、あるいは、図３に示すように静止画像３０を５つのブロックＢ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５に分割したりすることができる。次いで、各ブロックのＲ成分，Ｇ成分，Ｂ成分のそれぞれの平均値すなわち特徴値が算出される。
画像データベース１９に格納されているｋ番目（ｋは１以上の整数）の静止画像中のｍ＋１番目（ｍは１以上の整数）のブロックにおいて、ｉ番目（ｉは１以上の整数）のＲ成分，Ｇ成分およびＢ成分をそれぞれｒｉ（ｋ，ｍ），ｇｉ（ｋ，ｍ）およびｂｉ（ｋ，ｍ）で表し、ｍ番目ブロックのＲ成分，Ｇ成分およびＢ成分の平均値をそれぞれ＜ｒ（ｋ，ｍ）＞，＜ｇ（ｋ，ｍ）＞および＜ｂ（ｋ，ｍ）＞で表し、当該ブロックに含まれるＲ成分，Ｇ成分およびＢ成分の各総数をＮで表すとすると、平均値＜ｒ（ｋ，ｍ）＞，＜ｇ（ｋ，ｍ）＞および＜ｂ（ｋ，ｍ）＞は次式（１）で与えられる。
上式（１）は、Ｒ成分，Ｇ成分，Ｂ成分のそれぞれの算術平均値を与えるものであるが、算術平均値の代わりに、Ｒ成分，Ｇ成分，Ｂ成分のそれぞれの幾何平均値，調和平均値または重みづけ平均値を算出してもよい。なお、算術平均値は、２つの数ａ，ｂに対して（ａ＋ｂ）／２を与え、幾何平均値は、２つの正数ａ，ｂに対して（ａｂ）１／２を与え、調和平均値は、２つの数ａ，ｂに対して逆数の算術平均値の逆数（＝２ａｂ／（ａ＋ｂ））を与え、そして重み付け平均値は、２つの数ａ，ｂに対してａ，ｂそれぞれに係数α，βを乗じて加算した値（＝αａ＋βｂ）を与える。
次に、上式（１）に示すようにｘ（ｋ，３ｍ−２），ｘ（ｋ，３ｍ−１），ｘ（ｋ，３ｍ）を定義すると、次式（２）で与えられる３ｘＭ次元のベクトル量Ｘｋが構成される。
前記ベクトル量Ｘｋを距離空間（ｍｅｔｒｉｃ ｓｐａｃｅ）上の一要素として扱うことによって、２つの検索対象画像間のユークリッド距離を定義することができる。すなわち、ｐ番目（ｐは１以上の整数）の画像とｑ番目（ｑは１以上の整数）の画像との間のユークリッド距離Ｄ（ｐ，ｑ）は、次式（３）で定義される。
特徴量取得部１１は、上記ベクトル量Ｘｋを当該検索対象画像を特徴付ける固有の特徴量であるとみなし、前記ユークリッド距離Ｄ（ｐ，ｑ）を類似尺度として算出する。本実施例では、２つの検索対象画像が互いに類似するほどにユークリッド距離は小さくなり、類似尺度は小さな値をとることとなる。この代わりに、ユークリッド距離の逆数を類似尺度として定義し、２つの検索対象画像が互いに類似するほどに類似尺度が大きな値をとるように構成を変更してもよい。
なお、上記ユークリッド距離の代わりにマンハッタン距離（街路距離）を用いることも可能である。マンハッタン距離Ｄ（ｐ，ｑ）は、次式（３Ａ）で定義される。
次に、検索対象画像が複数のフレームからなる動画像であって、各フレームから抽出された構成要素がＲ，Ｇ，Ｂの色成分である場合の類似尺度の算出方法について説明する。図４に示すように、動画像データは、一連の映像ショットＳ１，Ｓ２，…，ＳＮｓ（Ｎｓは２以上の整数）から構成されており、各映像ショットは複数のフレームで構成されるものとする。たとえば、最初の映像ショットＳ１は、連続するｎ枚（ｎは２以上の整数）のフレーム３０１，３０２，…，３０ｎで構成されている。連続する映像ショットと映像ショットとの間には、フレーム間の相関が著しく小さくなるカット点（シーンチェンジ）Ｓｃ，Ｓｃ，…が発生する。特徴量取得部１１は、各シーンチェンジＳｃを検出することで各映像ショットを識別することができる。
特徴量取得部１１は、各映像ショットＳｋ（ｋは１〜Ｎｓの整数）のフレームをＭ個（Ｍは２以上の整数）のブロックＢ１，Ｂ２，…に分割する。たとえば、図４に示すようにフレームを４分割すればよい。次いで、特徴量取得部１１は、各ブロックのＲ成分，Ｇ成分，Ｂ成分それぞれの平均値を算出し、これら平均値を複数のフレームに亘って平均化することで特徴値を算出する。具体的には、ｋ番目の映像ショットＳｋにおいて、ｓ番目（ｓは１〜Ｎｋ；Ｎｋは１以上の整数）のフレームのｍ番目ブロックのｉ番目のＲ成分，Ｇ成分およびＢ成分を、それぞれ、ｒ（ｉ，ｓ；ｋ，ｍ），ｇ（ｉ，ｓ；ｋ，ｍ）およびｂ（ｉ，ｓ；ｋ，ｍ）としたとき、ｋ番目映像ショットＳｋを特徴付けるｍ＋１番目ブロックの特徴値＜Ｒ（ｋ，ｍ）＞，＜Ｇ（ｋ，ｍ）＞，＜Ｂ（ｋ，ｍ）＞は次式（４）で与えられる。
次に、上式（４）に示すようにｘ（ｋ，３ｍ−２），ｘ（ｋ，３ｍ−１），ｘ（ｋ，３ｍ）を定義することで、上式（２）で与えられるベクトル量Ｘｋを構成することができる。前記ベクトル量Ｘｋ距離空間（ｍｅｔｒｉｃ ｓｐａｃｅ）上の要素として扱い、上式（３）に示したように、２つの映像ショット間のユークリッド距離Ｄ（ｐ，ｑ）を類似尺度として定義することができる。なお、ユークリッド距離Ｄ（ｐ，ｑ）の増加に対して減少する値，たとえば逆数，を類似尺度として定義してもよい。
次に、検索対象画像から抽出された構成要素がメタデータである場合の類似尺度の算出方法について説明する。特徴量取得部１１は、メタデータ自体またはメタデータに含まれる情報を特徴量として用いて、検索対象画像間のメタデータの一致率に比例または反比例する値を上記類似尺度として算出する機能を有している。具体的には、メタデータが撮影日時や撮影場所，価格などの数値情報を含む場合は、その数値情報を特徴量Ｘｋとして扱い、ｐ番目画像の特徴量Ｘｐとｑ番目画像の特徴量Ｘｑとの間の差分を類似尺度Ｄ（ｐ，ｑ）として算出することができる。
メタデータがジャンルもしくはキーワードなどの数値表現が難しい情報を含む場合は、ジャンルやキーワードに含まれている数値，たとえば，「面白さ度数９０％，興奮度９０％」といった客観的な指数を特徴量Ｘｋとして採用し、ｐ番目画像の特徴量Ｘｐとｑ番目画像の特徴量Ｘｑとの差分を類似尺度Ｄ（ｐ，ｑ）として算出することができる。
また、メタデータがタイトル，出演者もしくはコメントなどの数値表現が不可能な符号列を含む場合は、その符号列を特徴量Ｘｋとして用いて、ｐ番目画像の文字列Ｘｐとｑ番目画像の文字列Ｘｑとの間の一致率または不一致率に比例する値を類似尺度Ｄ（ｐ，ｑ）として算出することができる。たとえば、２つの文字列Ｘｐ，Ｘｑが一致する場合は類似尺度Ｄ（ｐ，ｑ）を”１”に設定し、２つの文字列Ｘｐ，Ｘｑが不一致である場合は類似尺度Ｄ（ｐ，ｑ）を”０”に設定することができる。あるいは、２つの文字列Ｘｐ，Ｘｑが完全に一致する場合は類似尺度Ｄ（ｐ，ｑ）を”２”に設定し、２つの文字列Ｘｐ，Ｘｑの一部が一致する場合は類似尺度Ｄ（ｐ，ｑ）を”１”に設定し、２つの文字列Ｘｐ，Ｘｑが完全に一致しない場合は類似尺度Ｄ（ｐ，ｑ）を”０”に設定することができる。
特徴量取得部１１は、上記特徴量Ｘｋを算出するとともに、当該特徴量Ｘｋを検索対象画像と対応付けてネットワークデータベース２０に格納する。図５は、ｋ番目の検索対象画像と特徴量Ｘｋとの対応関係を概略的に示す図である。各検索対象画像はインデックス番号ｋが付されており、このインデックス番号ｋに対応する特徴量Ｘｋがネットワークデータベース２０に格納されている。ネットワーク構築部１２は、図５に示されるような対応テーブルを参照して２つの検索対象画像間の類似尺度Ｄ（ｐ，ｑ）を算出する。次いで、ネットワーク構築部１２は、類似尺度Ｄ（ｐ，ｑ）が次式（５）に示される関係式を満たすか否かを判定し、下記関係式（５）を満たす場合にｐ番目画像とｑ番目画像とは相互に類似していると判断し、これら検索対象画像を相互に関連付けることによってネットワーク型データベースを構築しこれをネットワークデータベース２０に格納する。
上式（５）中、Ｒｔｈは類似尺度の閾値である。閾値Ｒｔｈは、各検索対象画像について平均して５〜１０個程度の画像を関連付け可能な値に設定されることが望ましい。また、関連付けられた検索対象画像間の表示リンク距離は全て等しい値に設定される。本実施例では、表示リンク距離は「１」に設定されるが、それに限定されるものではない。
図６は、前記ネットワーク型データベースのトポロジー（接続形態）を概略的に示す図であり、図７は、当該ネットワーク型データベースのデータ配列を概略的に示す図である。図６を参照すると、検索対象画像Ｉ１，Ｉ２，…は，リンクＣ１，２，Ｃ１，４，…を介して相互に関連付けられている。リンクＣｐ，ｑは、２つの検索対象画像Ｉｐ，Ｉｑ間の関連付けを示す接続線であり、各リンクの距離（表示リンク距離）は「１」に設定されている。検索対象画像Ｉ１，Ｉ２，…は、リンクＣ１，２，Ｃ１，４，…の両端位置（節点）に配置されると考えてもよい。
また、２つの前記検索対象画像間の表示リンク距離は、Ｎ個（Ｎは１以上の整数）のリンクを介して関連付けられている場合は「Ｎ」である。さらに言えば、２つの検索対象画像Ｉｐ，Ｉｑ間の表示リンク距離は、一方の検索対象画像Ｉｐから他方の検索対象画像Ｉｑへ辿る経路のうち最短経路のリンク数と定義され得る。たとえば、検索対象画像Ｉ１は、１個の画像Ｉ２を介して画像Ｉ５と間接的に関連付けられ、２個の画像Ｉ２，Ｉ５を介して画像Ｉ９と関連付けられているため、画像Ｉ１と画像Ｉ５との間の表示リンク距離は「２」であり、画像Ｉ１と画像Ｉ９との間の表示リンク距離は「３」である。
図７を参照すると、上記ネットワーク型データベースのデータ配列は、画像配列ＰＡと接続配列ＣＡ１，ＣＡ２，…との二重配列構造を有している。画像配列ＰＡは、接続配列ＣＡ１，ＣＡ２，…へのポインタ’１’，’２’，’３’，…を格納する配列であり、接続配列ＣＡ１，ＣＡ２，…は、検索対象画像Ｉ１，Ｉ２，…のインデックス番号（以下、画像番号と呼ぶ。）の配列である。画像番号は、各配列において昇順に連続的に並んでいる。ｘは、画像配列または接続配列の終端を示す記号である。
次に、図８を参照しつつ、ネットワーク型データベースの構築処理の手順を説明する。以下、Ｋ個（Ｋは０以上の整数）の検索対象画像によって既にネットワーク型データベースが構築されており、Ｋ＋１番目の新規画像ＩＫ＋１をデータベースに登録する処理について説明する。このとき、図９（ａ）に示すように、新規画像ＩＫ＋１の登録前のデータ配列は、接続配列ＣＡ１〜ＣＡＫと、これら接続配列それぞれへのポインタ’１’，’２’，’３’，…’Ｋ’を有する画像配列ＰＡとで構成されている。なお、Ｋ＝０の場合は、新規データベースを構築する場合に該当する。
図８を参照すると、まず、メインコントローラ１３は、信号処理部１０から入力した新規画像ＩＫ＋１を画像データベース１９に記録し（ステップＳ１）、新規画像ＩＫ＋１をネットワークデータベース２０に追加する（ステップＳ２）。このとき、図９（ｂ）に示すように、新規画像ＩＫ＋１用の接続配列ＣＡＫ＋１の領域が確保され、画像配列ＰＡに前記接続配列ＣＡＫ＋１へのポインタ’Ｋ＋１’が追加される。
次に、メインコントローラ１３は、特徴量取得部１１に新規画像ＩＫ＋１の特徴量ＸＫ＋１を算出させる（ステップＳ３）。このとき、特徴量取得部１１は、新規画像ＩＫ＋１から、Ｒ，Ｇ，Ｂの色成分もしくはメタデータなどの構成要素を抽出し、前記構成要素を用いて特徴量ＸＫ＋１を算出してこれをネットワークデータベース２０に記録する。
続くステップＳ４〜Ｓ９で、登録済みの画像Ｉ１〜ＩＫと新規画像ＩＫ＋１との間の関連付け処理が実行される。すなわち、画像番号ｊが初期値（＝１）に設定される（ステップＳ４）。次いで、特徴量取得部１１は、ネットワークデータベース２０から、画像データベース１９に記録されているｊ番目画像Ｉｊの特徴量Ｘｊを取得する（ステップＳ５）。ここで、特徴量取得部１１がネットワークデータベース２０から特徴量Ｘｊを取得する代わりに、ｊ番目画像Ｉｊの特徴量Ｘｊを新たに算出してもよい。
続いて、ネットワーク構築部１２は、特徴量Ｘｊ，ＸＫ＋１を用いて、ｊ番目画像Ｉｊと新規画像ＩＫ＋１との間の類似尺度Ｄ（ｊ，Ｋ＋１）を算出する（ステップＳ６）。さらに、ネットワーク構築部１２は、類似尺度Ｄ（ｊ，Ｋ＋１）が上記関係式（５）を満たすか否かを判定し（ステップＳ７）、類似尺度Ｄ（ｊ，Ｋ＋１）がその関係式（５）を満たさないと判定した場合は、ステップＳ９に処理が移行する。
一方、前記ステップＳ７において、類似尺度Ｄ（ｊ，Ｋ＋１）が関係式（５）を満たすと判定した場合は、ネットワーク構築部１２は、ｊ番目画像Ｉｊと新規画像ＩＫ＋１とは互いに類似すると判断し、両画像Ｉｊ，ＩＫ＋１を関連付ける（ステップＳ８）。具体的には、図９（ｂ）に示すように、新規画像ＩＫ＋１用の接続配列ＣＡＫ＋１にｊ番目画像Ｉｊの画像番号ｊが追加され、画像配列ＰＡのポインタ’ｊ’に対応する接続配列ＣＡｊに新規画像ＩＫ＋１の画像番号Ｋ＋１が追加される。そして、ネットワーク構築部１２は、このデータ配列をネットワークデータベース２０に記録する。その後、ステップＳ９に処理が移行する。
ステップＳ９では、メインコントローラ１３が、全ての画像Ｉ１〜ＩＫについて処理が終了したか否かを判定し、当該処理が終了しないと判定した場合は、画像番号ｊをインクリメントして（ステップＳ１２）、上記ステップＳ５以後の処理を繰り返し実行する。一方、メインコントローラ１３は，全ての画像Ｉ１〜ＩＫについて処理が終了したと判定した場合（ステップＳ９）、上記ステップＳ８で関連付ける画像が１つも無いか否かを判定する（ステップＳ１０）。前記ステップＳ１０で関連付ける画像が１つでも存在したと判定された場合、以上のデータベース構築処理は終了する。一方、前記ステップＳ１０で関連付ける画像が１つも無いと判定された場合は、ネットワーク構築部１２は、新規画像１Ｋ＋１との類似尺度Ｄ（ｊ，ｋ＋１）の値が最も小さい画像Ｉｊを、新規画像ＩＫ＋１と関連付ける（ステップＳ１１）。以上でデータベース構築処理は終了する。
次に、図１０，図１１を参照しつつ、上記ネットワーク型データベースを用いた検索処理を以下に説明する。図１０は、画像検索処理の手順を示すフローチャートであり、図１１は、図１０のフローチャートで使用される一覧表示処理の手順を示すフローチャートである。
まず、操作部１６からの入力指示に応じて、メインコントローラ１３は、画像の一覧表示処理（図１１）を実行する（ステップＳ２０）。図１１を参照すると、画像選択部１３Ｂ（図１）は、表示リンク距離を初期値Ｒｄに設定し（ステップＳ３０）、その後、ネットワークデータベース２０を参照し、主画像との表示リンク距離が初期値Ｒｄ以下となる画像を副画像として設定する（ステップＳ３１）。ここで、初期値Ｒｄは、操作部１６を介してユーザーによって指定され得るが、特に指定が無い場合は、予め登録した値，たとえば「５」に設定される。また、主画像は、ネットワークデータベース２０に登録されている画像群の中から任意に選択され得るが、特に指定が無い場合は、画像番号「１」の画像Ｉ１が主画像として選択される。
次に、表示制御部１３Ｃは、上記ステップＳ３１で選択した主画像と副画像とを表示部１８に一覧形式で１画面に表示させる（ステップＳ３２）。具体的には、表示制御部１３Ｃは、画像データベース１９に記録されている主画像と副画像を読み出し、これらをバス２１を介して画像合成部１４に転送する。画像合成部１４は、転送された主画像と副画像の解像度を変換して得たサムネイルサイズの画像群を合成し、出力インターフェース１７を介して表示部１８に出力する。ここで、サムネイル画像の表示順を主画像とのリンク距離の昇順とすることで主画像と類似尺度が高い副画像を優先して表示するのが好ましい。
図１２は、表示部１８の表示画面４０を概略的に示す図である。表示画面４０には、主画像Ｉ１が表示され、この主画像Ｉ１に類似する副画像Ｉ２〜Ｉ２５が表示されている。全ての副画像を１画面に表示できない場合、ユーザーは、操作部１６を入力操作することで次画面選択ボタン４１Ｎを指定して残る副画像群を次画面に一覧表示させることができる。また、ユーザーは、前画面選択ボタン４１Ｂを指定して表示画面を前画面に戻すことも可能である。ここで、主画像と副画像のサムネイル画像を予め生成して画像データベース１９に格納しておき、画像合成部１４が、高解像度の主画像と副画像とを画像データベース１９から読み出す代わりに、サムネイル画像を読み出してもよい。
ユーザーは、目的画像を見つけた場合は、操作部１６を入力操作して画面４０に表示された画像群の中から所望の目的画像を指定することができる。あるいは、目的画像を発見できない場合、ユーザーは、操作部１６を入力操作して目的画像以外の副画像を次の主画像として指定することもできる。画像選択部１３Ｂは、操作部１６からの入力指示を検出することにより、目的画像の指定の有無を判定する（ステップＳ３３）。ユーザーが目的画像を指定したとき、画像選択部１３Ｂは目的画像の指定有りと判定して以上の処理を終了させる。一方、ユーザーが目的画像以外の副画像を次の主画像として指定したとき、画像選択部１３Ｂは、目的画像の指定無しと判定し（ステップＳ３３）、指定された副画像を主画像に設定し（ステップＳ３４）、その後、メインルーチン（図１０）へ処理を戻す。
メインルーチンのステップＳ２１では、画像選択部１３Ｂは、主画像との表示リンク距離が設定値Ｒｓ以下となる画像を副画像として設定する（ステップＳ２１）。その後、表示制御部１３Ｃは、主画像と副画像とを表示部１８に一覧形式で表示させる（ステップＳ２２）。ここで、ユーザーは、操作部１６を入力操作することでメインコントローラ１３が保持する設定値Ｒｓを適宜変更することができる。たとえば、図６に示したデータベースの場合、主画像Ｉ１に対して設定値Ｒｓを「１」に設定した場合、画像選択部１３Ｂは、主画像Ｉ１との表示リンク距離が「１」以下の画像Ｉ１，Ｉ３，Ｉ４を副画像として設定し、設定値Ｒｓを「３」に設定した場合、画像選択部１３Ｂは、主画像Ｉ１との表示リンク距離が「３」以下の画像Ｉ１，Ｉ３，Ｉ４，Ｉ５，Ｉ６，Ｉ７，Ｉ８，Ｉ９，Ｉ１０，Ｉ１１，Ｉ１２，Ｉ１３を副画像として設定することとなる。図１３は、表示部１８の表示画面４０の一例を示す図である。表示画面４０には、主画像Ｉ３が表示されるとともに、主画像Ｉ３との表示リンク距離が「１」以内の副画像Ｉ１，Ｉ２，Ｉ５，Ｉ６，Ｉ７がサムネイルサイズで一覧表示されている。
ユーザーは、操作部１６を入力操作して、画面４０に表示された画像群から所望の目的画像を指定することができる。画像選択部１３Ｂは、操作部１６からの入力指示を検出することにより、目的画像の指定の有無を判定する（ステップＳ２３）。ユーザーが目的画像を指定したとき、画像選択部１３Ｂは目的画像の指定有りと判定して画像検索処理を終了させる。
一方、ユーザーが目的画像を指定せず、その他の指示を入力した場合、画像選択部１３Ｂは目的画像の指定無しと判定し（ステップＳ２３）、その後、入力指示の種類に応じてステップＳ２５またはＳ２６のいずれか一方に処理が移行する（ステップＳ２４）。ここで、入力指示が「一覧表示指示」である場合は、ステップＳ２５の一覧表示処理（図１１）が実行され、その後、ステップＳ２１以後の処理が繰り返し実行される。一方、ユーザーが表示画面４０の中の副画像の１つを主画像に変更する指示を入力した場合、画像選択部１３Ｂは「継続指示」があったと判定し（ステップＳ２４）、指定された副画像を次の主画像に設定する（ステップＳ２６）。その後、ステップＳ２１以後の処理が繰り返し実行される。
たとえば、ユーザーが副画像Ｉ６指定して継続指示を入力した場合、図１４に示すように主画像は画像Ｉ３から画像Ｉ６に変更され、表示画面４０は図１５に示す画像に変化する。図１５に示す表示画面４０には、主画像Ｉ６が表示されるとともに、主画像Ｉ６との表示リンク距離が「１」以内の副画像Ｉ３，Ｉ５，Ｉ１０，Ｉ１１，Ｉ１２がサムネイルサイズで一覧表示されている。ユーザーは、表示画面４０に主画像に指定すべき副画像が存在しない場合は、たとえば、図１２に示すように多数のサムネイル画像を一覧表示させることにより（ステップＳ２５）、主画像に指定すべき画像を素早く見つけることができる。
このように、ユーザーは、所望の目的画像を効率良く且つ簡便に検索することができる。また、上記画像検索処理は、主にデータベースのリンク情報のみを使用しているため、複雑な処理をせずに少ない演算量で高速に検索することが可能である。
ところで、図１３に示した画面４０では、表示領域全体と比べて主画像Ｉ３の水平画素数は多く且つその垂直画素数は少ないため、主画像Ｉ３は上方に配置され、主画像Ｉ３との重複面積が小さくなるように下方の表示領域に副画像Ｉ１，Ｉ２，…が水平方向に沿って配列させられている。これに対し、図１５に示した画面４０では、表示領域全体と比べて主画像Ｉ６の水平画素数は少なく且つその垂直画素数が多いため、主画像Ｉ６は右方に配置され、主画像Ｉ６との重複面積が小さくなるように左方の表示領域に副画像Ｉ３，Ｉ５，…が垂直方向に沿って配列させられている。このように、表示制御部１３Ｃは、主画像と副画像の画像サイズに応じて最適な配列を構成することができる。図１３と図１５に示した配列の他に、図１６〜図１９に示す配列も可能である。図中、「Ｍ」は主画像を示し、「Ｓ」は副画像を示している。
なお、上記の画像検索処理では、表示画面４０に表示される副画像は、主画像との表示リンク距離が設定値Ｒｓ以下の画像群であったが、この代わりに、主画像との表示リンク距離が設定値Ｒｓあるいは設定値Ｒｓを中心とした所定範囲内の画像を副画像として設定し表示画面４０に表示してもよい。たとえば、設定値Ｒｓ＝３の場合、主画像との表示リンク距離が「３」の画像群のみを表示画面４０に表示してもよいし、あるいは表示リンク距離が「２」，「３」，「４」の画像群のみを表示画面４０に表示してもよい。
次に、上記ネットワーク型データベース（以下、「ネットワーク」と呼ぶ。）を用いた階層化処理を説明する。ネットワーク構築部１２は、図８に示した処理手順で構築したネットワーク（以下、０次階層のネットワークと呼ぶ。）から、上位の階層のネットワークを構築することができる。すなわち、ネットワーク構築部１２は、０次階層のネットワークから、Ｎ個（Ｎは１以上の整数）の検索対象画像を介して間接的に相互に関連付けられている検索対象画像群を抽出し、抽出された検索対象画像群で上位の階層に属する画像群を構成する。さらに、ネットワーク構築部１２は、前記上位の階層において、前記０次階層で間接的に相互に関連付けられていた検索対象画像間を関連付け、且つ関連付けられた検索対象画像間の表示リンク距離を「１」に設定することにより、１次階層のネットワークを構築する。以上の処理を再帰的に実行することで、さらに上位の階層のネットワークを構築することが可能である。
以下、図２０を参照しつつ、ネットワーク構築部１２による階層化処理の一実施例を以下に説明する。図２０は、階層化処理の手順を概略的に示すフローチャートである。まず、ネットワーク構築部１２は、ネットワークデータベース２０から０次階層のネットワークを読み込み（ステップＳ４０）、１次階層のネットワークを構築すべく階層番号ｉを「１」に設定する（ステップＳ４１）。その後、０次階層に属する複数の画像のうち起点画像が１つ選択される（ステップＳ４２）。起点画像としては、操作部１６を介してユーザーにより任意の画像が選択され得るが、特に指定が無い場合は、画像番号が最小の画像が選択される。図２１は、０次階層のネットワークのトポロジーを概略的に示す図である。この図２１では、画像Ｉ１が起点画像として選択される。
次に、ネットワーク構築部１２は、起点画像を代表画像として設定し（ステップＳ４３）、代表画像に隣接する画像，すなわち代表画像との表示リンク距離が「１」の画像を全て削除する（ステップＳ４４）。たとえば、図２１に示すように、代表画像Ｉ１に隣接する画像Ｉ２，Ｉ３，Ｉ４が削除される。その後、ネットワーク構築部１２は、全画像について処理したか否かを判定し（ステップＳ４５）、全画像について処理したと判定した場合は、ステップＳ４７に処理を移行し、全画像について処理しないと判定した場合は、ステップＳ４６に処理を移行する。
ステップＳ４６では、前記ステップＳ４４で削除された画像に隣接する画像が次の起点画像として選択される（ステップＳ４６）。ここで、起点画像としては、複数の対象画像のうち画像番号が最小の画像が選択され、前の起点画像は再び選択されない。図２１では、対象画像は、画像Ｉ５，Ｉ６，Ｉ７，Ｉ８であり、これらのうち画像番号が最小の画像Ｉ５が起点画像として選択される。続けて、上記ステップＳ４３以後の処理が、ステップＳ４５で全画像について処理が終了したと判定される迄、繰り返し実行される。この結果、図２１に例示されるように、太枠で囲まれた画像Ｉ１，Ｉ５，Ｉ１０，…が代表画像として設定される。
上記ステップＳ４５で全ての画像について処理が終了したと判定した場合、ネットワーク構築部１２は、代表画像群で上位のｉ次階層の画像群を構成し（ステップＳ４７）、代表画像のうち、ｉ−１次階層において表示リンク距離が「２」の２つの画像を互いに関連付け、且つ関連付けられた２つの画像間の表示リンク距離を全て「１」に設定する（ステップＳ４８）。この結果、ｉ次階層のネットワークが構築される。図２２に示す例では、図２１に示した太枠で囲まれた代表画像相互間にリンクＣ１，５，Ｃ１，６，Ｃ１，７，…が形成される。
次に、ネットワーク構築部１２は、階層化処理を終了するか否かを判定し（ステップＳ４９）、階層化処理を終了しないと判定した場合は、階層番号ｉをインクリメントして（ステップＳ５０）、上記ステップＳ４２以後の処理を繰り返し実行する。一方、階層化処理を終了すると判定した場合、ネットワーク構築部１２は、階層化処理を終了し、構築した１次〜Ｌ次階層（Ｌは１以上の整数）のネットワークをネットワークデータベース２０に記録する。この結果、図２３に示すように、０次〜Ｌ次階層のネットワーク５００〜５０Ｌが構築されることとなる。
なお、上記ステップＳ４４においては、代表画像に隣接する画像を削除する処理を実行していたが、この代わりに、代表画像との表示リンク距離が「Ｎ」（Ｎは２以上の整数）以下の画像を削除してもよい。
次に、図２４と図２５を参照しつつ、上記階層化ネットワークを用いた画像検索処理を説明する。図２４は、メインコントローラ１３による画像検索処理の手順を概略的に示すフローチャートである。
まず、ステップＳ６０では、階層選択部１３Ａ（図１）は、ネットワークデータベース２０に格納されている０次〜Ｌ次階層のネットワークのうち最上位のＬ次階層のネットワークを検索対象として選択する。この代わりに、最初の検索対象が操作部１６を介してユーザーによって選択されてもよい。
次に、表示制御部１３Ｃは、図１１に示した画像の一覧表示処理を実行することにより、最上位階層に属する検索対象画像を表示部１８に一覧表示させる（ステップＳ６１）。すなわち、表示部１８の画面４０には、図１２に示したように最上位階層に属する主画像と副画像とが一覧形式で表示される。ユーザーは、目的画像を見つけたとき、操作部１６を入力操作して目的画像を指定することができる。かかる場合、本検索処理は終了する（図１１，ステップＳ３３）。目的画像を発見できないとき、ユーザーは、目的画像以外の画像を次の主画像として指定することができる。かかる場合は、指定した画像が主画像に設定される（図１１，ステップＳ３４）。
次のステップＳ６２では、画像選択部１３Ｂは、主画像との表示リンク距離が設定値Ｒｓ以下となる画像を副画像として設定する（ステップＳ６２）。その後、表示制御部１３Ｃは、主画像と副画像とを表示部１８に一覧形式で表示させる（ステップＳ６３）。ユーザーは、操作部１６を入力操作して、画面４０に表示された画像群から所望の目的画像を指定することができる。画像選択部１３Ｂは、操作部１６からの入力指示を検出することにより、目的画像の指定の有無を判定する（ステップＳ６４）。ユーザーが目的画像を指定したとき、画像選択部１３Ｂは目的画像の指定有りと判定して画像検索処理を終了させる。
一方、ユーザーが目的画像を指定せず、その他の指示を入力した場合、画像選択部１３Ｂは目的画像の指定無しと判定し（ステップＳ６４）、その後、入力指示の種類に応じてステップＳ６６，Ｓ６７またはＳ６８のいずれかに処理が移行する。ここで、入力指示が「一覧表示指示」である場合は、ステップＳ６６の一覧表示処理（図１１）が実行され、その後、ステップＳ６２以後の処理が繰り返し実行される。一方、ユーザーが副画像の１つを主画像に変更する指示を入力した場合、画像選択部１３Ｂは、現在の階層で検索を続行する旨の「継続指示」があったと判定し（ステップＳ６５）、指定された副画像を次の主画像に設定する（ステップＳ６８）。その後、ステップＳ６２以後の処理が繰り返し実行される。
他方、前記入力指示が「概略／詳細検索指示」である場合は、ステップＳ６７の階層間移動処理が実行される。以下、図２５のフローチャートを参照しつつ、階層選択部１３Ａによる階層間移動処理の手順を説明する。なお、図中の符号Ｃ１は、接続子を表している。
まず、階層選択部１３Ａは、ユーザーによる入力指示が「概略検索」または「詳細検索」のいずれであるかを判定する（ステップＳ７０）。「詳細検索」の入力指示があった場合は、現在の階層よりも下位の階層のネットワークが存在するか否かを判定する（ステップＳ７１）。下位の階層が存在しない場合は、メインルーチン（図２４）に処理が移行し、ステップＳ６２以後の処理が繰り返し実行される。
一方、前記ステップＳ７１で下位の階層が存在すると判定した場合、階層選択部１３Ａは、図２６に示すように検索対象を現在の階層５０ｋ＋１（ｋは０以上の整数）から下位の階層５０ｋへ切り換え（ステップＳ７２）、メインルーチン（図２４）に処理を戻す。その後、ステップＳ６２以後の処理が繰り返し実行される。この結果、操作部１６の表示画面４０には、下位の階層５０ｋに属する主画像と副画像とが表示されるため、ユーザーは、表示画面４０を視認しつつ、下位の階層５０ｋに存在するかもしれない目的画像を検索することができる。
上記ステップＳ７０において、入力指示が「詳細検索」であると判定した場合、階層選択部１３Ａは、現在の階層よりも上位の階層のネットワークが存在するか否かを判定する（ステップＳ７３）。上位の階層が存在しない場合は、メインルーチン（図２４）に処理が移行し、ステップＳ６２以後の処理が繰り返し実行される。
一方、前記ステップＳ７３で上位の階層が存在すると判定した場合、階層選択部１３Ａは、上位の階層５０ｋ＋１に主画像が存在するか否かを判定する（ステップＳ７４）。図２６に例示するように、現在と上位の階層５０ｋ，５０ｋ＋１に主画像Ｉｊ存在する場合は、階層選択部１３Ａは、検索対象を現在の階層５０ｋから上位の階層５０ｋ＋１に切り換え（ステップＳ７５）、その後、メインルーチン（図２４）に処理を移行させる。一方、図２７に例示するように、現在の階層５０ｋに存在する主画像Ｉｊが上位の階層５０ｋ＋１に存在しない場合は、階層選択部１３Ａは、主画像Ｉｊと隣接する，すなわち主画像Ｉｊとの表示リンク距離が最短で且つ上位の階層にも存在する副画像Ｉｊ＋１の１つを次の主画像に設定し（ステップＳ７６）、検索対象を現在の階層５０ｋから上位の階層５０ｋ＋１に切り換え（ステップＳ７５）、その後、メインルーチン（図２４）に処理を戻す。その後、ステップＳ６２以後の処理が繰り返し実行される。この結果、操作部１６の表示画面４０には、上位の階層５０ｋ＋１に属する主画像と副画像とが表示されるため、ユーザーは、表示画面４０を視認しつつ、上位の階層５０ｋ＋１に存在するかもしれない目的画像を検索することができる。
このように、ユーザーは、階層間を移動しつつ、所望の目的画像を効率良く且つ簡便に検索することができる。また上記画像検索処理は、主にデータベースの階層情報とリンク情報のみを使用しているため、複雑な処理をせずに少ない演算量で高速に検索することが可能である。
以上，本発明に係る実施例の画像検索装置について説明した。上記実施例では、図６に示すようなネットワークのトポロジーは表示部１８に表示されないが、ユーザーが目的画像を検索したり主画像を指定したりする場合にそのトポロジーを表示部１８に立体的に表示してもよい。
本出願は、日本国特許出願第２００４−１０６０３７号公報に基づくものであり、当該公報を援用することにより当該公報の開示内容を含むものである。
図１は、本発明に係る実施例の画像検索装置１の構成を概略的に示す機能ブロック図である。画像検索装置１は、信号処理部１０，特徴量取得部１１，ネットワーク構築部１２，メインコントローラ（画像検索部）１３，画像合成部１４，画像データベース１９およびネットワークデータベース２０を備えている。これら機能ブロック１０〜１４，１９，２０は、制御信号やデータ信号を伝達するバス２１を介して相互に接続されている。
また、メインコントローラ１３は、ユーザーの指示が入力される操作部１６とユーザーインターフェース１５を介して接続され、画像合成部１４は、出力インターフェース１７を介して表示部１８と接続されている。表示部１８は、静止画像や動画像を表示し得る解像度を持つディスプレイ装置である。操作部１６は、ユーザーの入力指示をユーザーインターフェース１５を介してメインコントローラ１３に与えることができ、具体的には、表示部１８の画面上の座標位置を検出するマウスなどのポインティング・デバイスとキーボードとを備えている。操作部１６として、表示部１８の画面上でユーザーの指などが触れた位置を検知して当該位置に応じた指示をメインコントローラ１３に与えるタッチスクリーン、あるいは、ユーザーが発した音声を認識してその結果をメインコントローラ１３に与える音声認識装置を採用してもよい。
メインコントローラ１３は、機能ブロック１０〜１４，１９，２０の動作を制御する機能を有し、各種検索処理を実行する階層選択部１３Ａ，画像選択部１３Ｂおよび表示制御部１３Ｃを備えている。メインコントローラ１３は、マイクロプロセッサ，制御プログラムなどを格納するＲＯＭ，ＲＡＭ，内部バスおよび入出力インターフェースなどを備えた集積回路で構成されればよい。階層選択部１３Ａ，画像選択部１３Ｂおよび表示制御部１３Ｃは、マイクロプロセッサで実行されるプログラムまたは一連の命令群で構成されてもよいし、ハードウェアで構成されてもよい。また、本実施例では、前記特徴量取得部１１とネットワーク構築部１２はそれぞれ独立したハードウェアで構成されているが、この代わりに、メインコントローラ１３のマイクロプロセッサで実行されるプログラムまたは一連の命令群で構成されてもよい。
また、特徴量取得部１１，ネットワーク構築部１２およびメインコントローラ１３による検索処理をマイクロプロセッサで実行する画像検索プログラムを、ＨＤＤ，不揮発性メモリ，光ディスクまたは磁気テープなどの記録媒体に記録しこれを用いてもよい。
前記信号処理部１０は、外部からの入力画像信号を取り込み、これを所定のタイミングでバス２１を介して画像データベース１９に転送する機能を有する。アナログ信号が入力した場合は、信号処理部１０は入力画像信号をＡ／Ｄ変換した後に画像データベース１９に転送する。入力画像信号の符号化方式としては、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ），ＧＩＦ（Ｇｒａｐｈｉｃ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）およびビットマップなどの静止画像符号化方式，並びに、Ｍｏｔｉｏｎ−ＪＰＥＧ，ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｉｎｇ）およびＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの動画像符号化方式が挙げられる。入力画像信号の供給源としては、たとえば、ムービーカメラ，デジタルカメラ，テレビチューナ，ＤＶＤプレーヤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｐｌａｙｅｒ），コンパクトディスクプレーヤ，ミニディスクプレーヤ，スキャナ，インターネットなどの広域ネットワークが挙げられる。
画像データベース１９は、ＨＤＤなどの大容量記憶装置において構築され、バス２１を介して転送された静止画像および動画像（以下、検索対象画像と称する。）を既存のファイルシステムに従って記録し管理する。後述するように、特徴量取得部１１とネットワーク構築部１２は、画像データベース１９に記録されている検索対象画像群を網の目状に関連付けることによってネットワーク型データベースを構築しこれをネットワークデータベース２０に記録する。
特徴量取得部１１は、多数の検索対象画像の各々の特徴量を取得する処理（特徴量取得処理）を行う機能ブロックである。具体的には、特徴量取得部１１は、画像データベース１９に記録されている多数の検索対象画像から、これら検索対象画像に共通の構成要素、たとえば、各画素を構成する一組の色成分あるいはメタデータを抽出する。一組の色成分としては、たとえば、Ｒ（赤色），Ｇ（緑色）およびＢ（青色）の色成分の組や、Ｙ（輝度），Ｃｂ（色差）およびＣｒ（色差）の色成分の組が挙げられる。メタデータとしては、検索対象画像に付加されている属性，意味内容，取得先もしくは格納場所などの情報が挙げられる。より具体的には、タイ卜ル，記録日時（絶対時間／相対時間），取得場所（緯度／経度／高度），ジャンル，出演者，キーワード，コメント，価格（円／ドル／ユーロ）および画像サイズなどの情報をメタデータとして抽出することができる。
特徴量取得部１１は、検索対象画像から抽出した構成要素に基づいて、検索対象画像の各々を特徴付ける複数の特徴値の組すなわち特徴量を算出する。ネットワーク構築部１２は、前記特徴量取得部１１で算出された特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けることによってネットワーク型データベースを構築する。以下、検索対象画像が静止画像であって、静止画像から抽出された構成要素がＲ，Ｇ，Ｂの色成分である場合の類似尺度の算出方法について説明する。
特徴量取得部１１は、画像データベース１９から静止画像を読み出し、この静止画像をＭ個（Ｍは２以上の整数）のブロックに分割する。たとえば、図２に示すように静止画像３０を４つのブロックＢ１，Ｂ２，Ｂ３，Ｂ４に分割したり、あるいは、図３に示すように静止画像３０を５つのブロックＢ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５に分割したりすることができる。次いで、各ブロックのＲ成分，Ｇ成分，Ｂ成分のそれぞれの平均値すなわち特徴値が算出される。
画像データベース１９に格納されているｋ番目（ｋは１以上の整数）の静止画像中のｍ＋１番目（ｍは１以上の整数）のブロックにおいて、ｉ番目（ｉは１以上の整数）のＲ成分，Ｇ成分およびＢ成分をそれぞれｒｉ（ｋ，ｍ），ｇｉ（ｋ，ｍ）およびｂｉ（ｋ，ｍ）で表し、ｍ番目ブロックのＲ成分，Ｇ成分およびＢ成分の平均値をそれぞれ＜ｒ（ｋ，ｍ）＞，＜ｇ（ｋ，ｍ）＞および＜ｂ（ｋ，ｍ）＞で表し、当該ブロックに含まれるＲ成分，Ｇ成分およびＢ成分の各総数をＮで表すとすると、平均値＜ｒ（ｋ，ｍ）＞，＜ｇ（ｋ，ｍ）＞および＜ｂ（ｋ，ｍ）＞は次式（１）で与えられる。
次に、上式（１）に示すようにｘ（ｋ，３ｍ−２），ｘ（ｋ，３ｍ−１），ｘ（ｋ，３ｍ）を定義すると、次式（２）で与えられる３ｘＭ次元のベクトル量Ｘｋが構成される。
なお、上記ユークリッド距離の代わりにマンハッタン距離（街路距離）を用いることも可能である。マンハッタン距離Ｄ（ｐ，ｑ）は、次式（３Ａ）で定義される。
特徴量取得部１１は、各映像ショットＳｋ（ｋは１〜Ｎｓの整数）のフレームをＭ個（Ｍは２以上の整数）のブロックＢ１，Ｂ２，…に分割する。たとえば、図４に示すようにフレームを４分割すればよい。次いで、特徴量取得部１１は、各ブロックのＲ成分，Ｇ成分，Ｂ成分それぞれの平均値を算出し、これら平均値を複数のフレームに亘って平均化することで特徴値を算出する。具体的には、ｋ番目の映像ショットＳｋにおいて、ｓ番目（ｓは１〜Ｎｋ；Ｎｋは１以上の整数）のフレームのｍ番目ブロックのｉ番目のＲ成分，Ｇ成分およびＢ成分を、それぞれ、ｒ（ｉ，ｓ；ｋ，ｍ），ｇ（ｉ，ｓ；ｋ，ｍ）およびｂ（ｉ，ｓ；ｋ，ｍ）としたとき、ｋ番目映像ショットＳｋを特徴付けるｍ＋１番目ブロックの特徴値＜Ｒ（ｋ，ｍ）＞，＜Ｇ（ｋ，ｍ）＞，＜Ｂ（ｋ，ｍ）＞は次式（４）で与えられる。
次に、検索対象画像から抽出された構成要素がメタデータである場合の類似尺度の算出方法について説明する。特徴量取得部１１は、メタデータ自体またはメタデータに含まれる情報を特徴量として用いて、検索対象画像間のメタデータの一致率に比例または反比例する値を上記類似尺度として算出する機能を有している。具体的には、メタデータが撮影日時や撮影場所，価格などの数値情報を含む場合は、その数値情報を特徴量Ｘｋとして扱い、ｐ番目画像の特徴量Ｘｐとｑ番目画像の特徴量Ｘｑとの間の差分を類似尺度Ｄ（ｐ，ｑ）として算出することができる。
メタデータがジャンルもしくはキーワードなどの数値表現が難しい情報を含む場合は、ジャンルやキーワードに含まれている数値，たとえば，「面白さ度数９０％，興奮度９０％」といった客観的な指数を特徴量Ｘｋとして採用し、ｐ番目画像の特徴量Ｘｐとｑ番目画像の特徴量Ｘｑとの差分を類似尺度Ｄ（ｐ，ｑ）として算出することができる。
また、メタデータがタイトル，出演者もしくはコメントなどの数値表現が不可能な符号列を含む場合は、その符号列を特徴量Ｘｋとして用いて、ｐ番目画像の文字列Ｘｐとｑ番目画像の文字列Ｘｑとの間の一致率または不一致率に比例する値を類似尺度Ｄ（ｐ，ｑ）として算出することができる。たとえば、２つの文字列Ｘｐ，Ｘｑが一致する場合は類似尺度Ｄ（ｐ，ｑ）を”１”に設定し、２つの文字列Ｘｐ，Ｘｑが不一致である場合は類似尺度Ｄ（ｐ，ｑ）を”０”に設定することができる。あるいは、２つの文字列Ｘｐ，Ｘｑが完全に一致する場合は類似尺度Ｄ（ｐ，ｑ）を”２”に設定し、２つの文字列Ｘｐ，Ｘｑの一部が一致する場合は類似尺度Ｄ（ｐ，ｑ）を”１”に設定し、２つの文字列Ｘｐ，Ｘｑが完全に一致しない場合は類似尺度Ｄ（ｐ，ｑ）を”０”に設定することができる。
特徴量取得部１１は、上記特徴量Ｘｋを算出するとともに、当該特徴量Ｘｋを検索対象画像と対応付けてネットワークデータベース２０に格納する。図５は、ｋ番目の検索対象画像と特徴量Ｘｋとの対応関係を概略的に示す図である。各検索対象画像はインデックス番号ｋが付されており、このインデックス番号ｋに対応する特徴量Ｘｋがネットワークデータベース２０に格納されている。ネットワーク構築部１２は、図５に示されるような対応テーブルを参照して２つの検索対象画像間の類似尺度Ｄ（ｐ，ｑ）を算出する。次いで、ネットワーク構築部１２は、類似尺度Ｄ（ｐ，ｑ）が次式（５）に示される関係式を満たすか否かを判定し、下記関係式（５）を満たす場合にｐ番目画像とｑ番目画像とは相互に類似していると判断し、これら検索対象画像を相互に関連付けることによってネットワーク型データベースを構築しこれをネットワークデータベース２０に格納する。
図６は、前記ネットワーク型データベースのトポロジー（接続形態）を概略的に示す図であり、図７は、当該ネットワーク型データベースのデータ配列を概略的に示す図である。図６を参照すると、検索対象画像Ｉ１，Ｉ２，…は，リンクＣ１，２，Ｃ１，４，…を介して相互に関連付けられている。リンクＣｐ，ｑは、２つの検索対象画像Ｉｐ，Ｉｑ間の関連付けを示す接続線であり、各リンクの距離（表示リンク距離）は「１」に設定されている。検索対象画像Ｉ１，Ｉ２，…は、リンクＣ１，２，Ｃ１，４，…の両端位置（節点）に配置されると考えてもよい。
また、２つの前記検索対象画像間の表示リンク距離は、Ｎ個（Ｎは１以上の整数）のリンクを介して関連付けられている場合は「Ｎ」である。さらに言えば、２つの検索対象画像Ｉｐ，Ｉｑ間の表示リンク距離は、一方の検索対象画像Ｉｐから他方の検索対象画像Ｉｑへ辿る経路のうち最短経路のリンク数と定義され得る。たとえば、検索対象画像Ｉ１は、１個の画像Ｉ２を介して画像Ｉ５と間接的に関連付けられ、２個の画像Ｉ２，Ｉ５を介して画像Ｉ９と関連付けられているため、画像Ｉ１と画像Ｉ５との間の表示リンク距離は「２」であり、画像Ｉ１と画像Ｉ９との間の表示リンク距離は「３」である。
図７を参照すると、上記ネットワーク型データベースのデータ配列は、画像配列ＰＡと接続配列ＣＡ１，ＣＡ２，…との二重配列構造を有している。画像配列ＰＡは、接続配列ＣＡ１，ＣＡ２，…へのポインタ’１’，’２’，’３’，…を格納する配列であり、接続配列ＣＡ１，ＣＡ２，…は、検索対象画像Ｉ１，Ｉ２，…のインデックス番号（以下、画像番号と呼ぶ。）の配列である。画像番号は、各配列において昇順に連続的に並んでいる。ｘは、画像配列または接続配列の終端を示す記号である。
次に、図８を参照しつつ、ネットワーク型データベースの構築処理の手順を説明する。以下、Ｋ個（Ｋは０以上の整数）の検索対象画像によって既にネットワーク型データベースが構築されており、Ｋ＋１番目の新規画像ＩＫ＋１をデータベースに登録する処理について説明する。このとき、図９（ａ）に示すように、新規画像ＩＫ＋１の登録前のデータ配列は、接続配列ＣＡ１〜ＣＡＫと、これら接続配列それぞれへのポインタ’１’，’２’，’３’，…’Ｋ’を有する画像配列ＰＡとで構成されている。なお、Ｋ＝０の場合は、新規データベースを構築する場合に該当する。
図８を参照すると、まず、メインコントローラ１３は、信号処理部１０から入力した新規画像ＩＫ＋１を画像データベース１９に記録し（ステップＳ１）、新規画像ＩＫ＋１をネットワークデータベース２０に追加する（ステップＳ２）。このとき、図９（ｂ）に示すように、新規画像ＩＫ＋１用の接続配列ＣＡＫ＋１の領域が確保され、画像配列ＰＡに前記接続配列ＣＡＫ＋１へのポインタ’Ｋ＋１’が追加される。
次に、メインコントローラ１３は、特徴量取得部１１に新規画像ＩＫ＋１の特徴量ＸＫ＋１を算出させる（ステップＳ３）。このとき、特徴量取得部１１は、新規画像ＩＫ＋１から、Ｒ，Ｇ，Ｂの色成分もしくはメタデータなどの構成要素を抽出し、前記構成要素を用いて特徴量ＸＫ＋１を算出してこれをネットワークデータベース２０に記録する。
続くステップＳ４〜Ｓ９で、登録済みの画像Ｉ１〜ＩＫと新規画像ＩＫ＋１との間の関連付け処理が実行される。すなわち、画像番号ｊが初期値（＝１）に設定される（ステップＳ４）。次いで、特徴量取得部１１は、ネットワークデータベース２０から、画像データベース１９に記録されているｊ番目画像Ｉｊの特徴量Ｘｊを取得する（ステップＳ５）。ここで、特徴量取得部１１がネットワークデータベース２０から特徴量Ｘｊを取得する代わりに、ｊ番目画像Ｉｊの特徴量Ｘｊを新たに算出してもよい。
続いて、ネットワーク構築部１２は、特徴量Ｘｊ，ＸＫ＋１を用いて、ｊ番目画像Ｉｊと新規画像ＩＫ＋１との間の類似尺度Ｄ（ｊ，Ｋ＋１）を算出する（ステップＳ６）。さらに、ネットワーク構築部１２は、類似尺度Ｄ（ｊ，Ｋ＋１）が上記関係式（５）を満たすか否かを判定し（ステップＳ７）、類似尺度Ｄ（ｊ，Ｋ＋１）がその関係式（５）を満たさないと判定した場合は、ステップＳ９に処理が移行する。
一方、前記ステップＳ７において、類似尺度Ｄ（ｊ，Ｋ＋１）が関係式（５）を満たすと判定した場合は、ネットワーク構築部１２は、ｊ番目画像Ｉｊと新規画像ＩＫ＋１とは互いに類似すると判断し、両画像Ｉｊ，ＩＫ＋１を関連付ける（ステップＳ８）。具体的には、図９（ｂ）に示すように、新規画像ＩＫ＋１用の接続配列ＣＡＫ＋１にｊ番目画像Ｉｊの画像番号ｊが追加され、画像配列ＰＡのポインタ’ｊ’に対応する接続配列ＣＡｊに新規画像ＩＫ＋１の画像番号Ｋ＋１が追加される。そして、ネットワーク構築部１２は、このデータ配列をネットワークデータベース２０に記録する。その後、ステップＳ９に処理が移行する。
ステップＳ９では、メインコントローラ１３が、全ての画像Ｉ１〜ＩＫについて処理が終了したか否かを判定し、当該処理が終了しないと判定した場合は、画像番号ｊをインクリメントして（ステップＳ１２）、上記ステップＳ５以後の処理を繰り返し実行する。一方、メインコントローラ１３は，全ての画像Ｉ１〜ＩＫについて処理が終了したと判定した場合（ステップＳ９）、上記ステップＳ８で関連付ける画像が１つも無いか否かを判定する（ステップＳ１０）。前記ステップＳ１０で関連付ける画像が１つでも存在したと判定された場合、以上のデータベース構築処理は終了する。一方、前記ステップＳ１０で関連付ける画像が１つも無いと判定された場合は、ネットワーク構築部１２は、新規画像１Ｋ＋１との類似尺度Ｄ（ｊ，ｋ＋１）の値が最も小さい画像Ｉｊを、新規画像ＩＫ＋１と関連付ける（ステップＳ１１）。以上でデータベース構築処理は終了する。
次に、図１０，図１１を参照しつつ、上記ネットワーク型データベースを用いた検索処理を以下に説明する。図１０は、画像検索処理の手順を示すフローチャートであり、図１１は、図１０のフローチャートで使用される一覧表示処理の手順を示すフローチャートである。
まず、操作部１６からの入力指示に応じて、メインコントローラ１３は、画像の一覧表示処理（図１１）を実行する（ステップＳ２０）。図１１を参照すると、画像選択部１３Ｂ（図１）は、表示リンク距離を初期値Ｒｄに設定し（ステップＳ３０）、その後、ネットワークデータベース２０を参照し、主画像との表示リンク距離が初期値Ｒｄ以下となる画像を副画像として設定する（ステップＳ３１）。ここで、初期値Ｒｄは、操作部１６を介してユーザーによって指定され得るが、特に指定が無い場合は、予め登録した値，たとえば「５」に設定される。また、主画像は、ネットワークデータベース２０に登録されている画像群の中から任意に選択され得るが、特に指定が無い場合は、画像番号「１」の画像Ｉ１が主画像として選択される。
次に、表示制御部１３Ｃは、上記ステップＳ３１で選択した主画像と副画像とを表示部１８に一覧形式で１画面に表示させる（ステップＳ３２）。具体的には、表示制御部１３Ｃは、画像データベース１９に記録されている主画像と副画像を読み出し、これらをバス２１を介して画像合成部１４に転送する。画像合成部１４は、転送された主画像と副画像の解像度を変換して得たサムネイルサイズの画像群を合成し、出力インターフェース１７を介して表示部１８に出力する。ここで、サムネイル画像の表示順を主画像とのリンク距離の昇順とすることで主画像と類似尺度が高い副画像を優先して表示するのが好ましい。
図１２は、表示部１８の表示画面４０を概略的に示す図である。表示画面４０には、主画像Ｉ１が表示され、この主画像Ｉ１に類似する副画像Ｉ２〜Ｉ２５が表示されている。全ての副画像を１画面に表示できない場合、ユーザーは、操作部１６を入力操作することで次画面選択ボタン４１Ｎを指定して残る副画像群を次画面に一覧表示させることができる。また、ユーザーは、前画面選択ボタン４１Ｂを指定して表示画面を前画面に戻すことも可能である。ここで、主画像と副画像のサムネイル画像を予め生成して画像データベース１９に格納しておき、画像合成部１４が、高解像度の主画像と副画像とを画像データベース１９から読み出す代わりに、サムネイル画像を読み出してもよい。
ユーザーは、目的画像を見つけた場合は、操作部１６を入力操作して画面４０に表示された画像群の中から所望の目的画像を指定することができる。あるいは、目的画像を発見できない場合、ユーザーは、操作部１６を入力操作して目的画像以外の副画像を次の主画像として指定することもできる。画像選択部１３Ｂは、操作部１６からの入力指示を検出することにより、目的画像の指定の有無を判定する（ステップＳ３３）。ユーザーが目的画像を指定したとき、画像選択部１３Ｂは目的画像の指定有りと判定して以上の処理を終了させる。一方、ユーザーが目的画像以外の副画像を次の主画像として指定したとき、画像選択部１３Ｂは、目的画像の指定無しと判定し（ステップＳ３３）、指定された副画像を主画像に設定し（ステップＳ３４）、その後、メインルーチン（図１０）へ処理を戻す。
メインルーチンのステップＳ２１では、画像選択部１３Ｂは、主画像との表示リンク距離が設定値Ｒｓ以下となる画像を副画像として設定する（ステップＳ２１）。その後、表示制御部１３Ｃは、主画像と副画像とを表示部１８に一覧形式で表示させる（ステップＳ２２）。ここで、ユーザーは、操作部１６を入力操作することでメインコントローラ１３が保持する設定値Ｒｓを適宜変更することができる。たとえば、図６に示したデータベースの場合、主画像Ｉ１に対して設定値Ｒｓを「１」に設定した場合、画像選択部１３Ｂは、主画像Ｉ１との表示リンク距離が「１」以下の画像Ｉ１，Ｉ３，Ｉ４を副画像として設定し、設定値Ｒｓを「３」に設定した場合、画像選択部１３Ｂは、主画像Ｉ１との表示リンク距離が「３」以下の画像Ｉ１，Ｉ３，Ｉ４，Ｉ５，Ｉ６，Ｉ７，Ｉ８，Ｉ９，Ｉ１０，Ｉ１１，Ｉ１２，Ｉ１３を副画像として設定することとなる。図１３は、表示部１８の表示画面４０の一例を示す図である。表示画面４０には、主画像Ｉ３が表示されるとともに、主画像Ｉ３との表示リンク距離が「１」以内の副画像Ｉ１，Ｉ２，Ｉ５，Ｉ６，Ｉ７がサムネイルサイズで一覧表示されている。
ユーザーは、操作部１６を入力操作して、画面４０に表示された画像群から所望の目的画像を指定することができる。画像選択部１３Ｂは、操作部１６からの入力指示を検出することにより、目的画像の指定の有無を判定する（ステップＳ２３）。ユーザーが目的画像を指定したとき、画像選択部１３Ｂは目的画像の指定有りと判定して画像検索処理を終了させる。
一方、ユーザーが目的画像を指定せず、その他の指示を入力した場合、画像選択部１３Ｂは目的画像の指定無しと判定し（ステップＳ２３）、その後、入力指示の種類に応じてステップＳ２５またはＳ２６のいずれか一方に処理が移行する（ステップＳ２４）。ここで、入力指示が「一覧表示指示」である場合は、ステップＳ２５の一覧表示処理（図１１）が実行され、その後、ステップＳ２１以後の処理が繰り返し実行される。一方、ユーザーが表示画面４０の中の副画像の１つを主画像に変更する指示を入力した場合、画像選択部１３Ｂは「継続指示」があったと判定し（ステップＳ２４）、指定された副画像を次の主画像に設定する（ステップＳ２６）。その後、ステップＳ２１以後の処理が繰り返し実行される。
たとえば、ユーザーが副画像Ｉ６指定して継続指示を入力した場合、図１４に示すように主画像は画像Ｉ３から画像Ｉ６に変更され、表示画面４０は図１５に示す画像に変化する。図１５に示す表示画面４０には、主画像Ｉ６が表示されるとともに、主画像Ｉ６との表示リンク距離が「１」以内の副画像Ｉ３，Ｉ５，Ｉ１０，Ｉ１１，Ｉ１２がサムネイルサイズで一覧表示されている。ユーザーは、表示画面４０に主画像に指定すべき副画像が存在しない場合は、たとえば、図１２に示すように多数のサムネイル画像を一覧表示させることにより（ステップＳ２５）、主画像に指定すべき画像を素早く見つけることができる。
このように、ユーザーは、所望の目的画像を効率良く且つ簡便に検索することができる。また、上記画像検索処理は、主にデータベースのリンク情報のみを使用しているため、複雑な処理をせずに少ない演算量で高速に検索することが可能である。
ところで、図１３に示した画面４０では、表示領域全体と比べて主画像Ｉ３の水平画素数は多く且つその垂直画素数は少ないため、主画像Ｉ３は上方に配置され、主画像Ｉ３との重複面積が小さくなるように下方の表示領域に副画像Ｉ１，Ｉ２，…が水平方向に沿って配列させられている。これに対し、図１５に示した画面４０では、表示領域全体と比べて主画像Ｉ６の水平画素数は少なく且つその垂直画素数が多いため、主画像Ｉ６は右方に配置され、主画像Ｉ６との重複面積が小さくなるように左方の表示領域に副画像Ｉ３，Ｉ５，…が垂直方向に沿って配列させられている。このように、表示制御部１３Ｃは、主画像と副画像の画像サイズに応じて最適な配列を構成することができる。図１３と図１５に示した配列の他に、図１６〜図１９に示す配列も可能である。図中、「Ｍ」は主画像を示し、「Ｓ」は副画像を示している。
なお、上記の画像検索処理では、表示画面４０に表示される副画像は、主画像との表示リンク距離が設定値Ｒｓ以下の画像群であったが、この代わりに、主画像との表示リンク距離が設定値Ｒｓあるいは設定値Ｒｓを中心とした所定範囲内の画像を副画像として設定し表示画面４０に表示してもよい。たとえば、設定値Ｒｓ＝３の場合、主画像との表示リンク距離が「３」の画像群のみを表示画面４０に表示してもよいし、あるいは表示リンク距離が「２」，「３」，「４」の画像群のみを表示画面４０に表示してもよい。
次に、上記ネットワーク型データベース（以下、「ネットワーク」と呼ぶ。）を用いた階層化処理を説明する。ネットワーク構築部１２は、図８に示した処理手順で構築したネットワーク（以下、０次階層のネットワークと呼ぶ。）から、上位の階層のネットワークを構築することができる。すなわち、ネットワーク構築部１２は、０次階層のネットワークから、Ｎ個（Ｎは１以上の整数）の検索対象画像を介して間接的に相互に関連付けられている検索対象画像群を抽出し、抽出された検索対象画像群で上位の階層に属する画像群を構成する。さらに、ネットワーク構築部１２は、前記上位の階層において、前記０次階層で間接的に相互に関連付けられていた検索対象画像間を関連付け、且つ関連付けられた検索対象画像間の表示リンク距離を「１」に設定することにより、１次階層のネットワークを構築する。以上の処理を再帰的に実行することで、さらに上位の階層のネットワークを構築することが可能である。
以下、図２０を参照しつつ、ネットワーク構築部１２による階層化処理の一実施例を以下に説明する。図２０は、階層化処理の手順を概略的に示すフローチャートである。まず、ネットワーク構築部１２は、ネットワークデータベース２０から０次階層のネットワークを読み込み（ステップＳ４０）、１次階層のネットワークを構築すべく階層番号ｉを「１」に設定する（ステップＳ４１）。その後、０次階層に属する複数の画像のうち起点画像が１つ選択される（ステップＳ４２）。起点画像としては、操作部１６を介してユーザーにより任意の画像が選択され得るが、特に指定が無い場合は、画像番号が最小の画像が選択される。図２１は、０次階層のネットワークのトポロジーを概略的に示す図である。この図２１では、画像Ｉ１が起点画像として選択される。
次に、ネットワーク構築部１２は、起点画像を代表画像として設定し（ステップＳ４３）、代表画像に隣接する画像，すなわち代表画像との表示リンク距離が「１」の画像を全て削除する（ステップＳ４４）。たとえば、図２１に示すように、代表画像Ｉ１に隣接する画像Ｉ２，Ｉ３，Ｉ４が削除される。その後、ネットワーク構築部１２は、全画像について処理したか否かを判定し（ステップＳ４５）、全画像について処理したと判定した場合は、ステップＳ４７に処理を移行し、全画像について処理しないと判定した場合は、ステップＳ４６に処理を移行する。
ステップＳ４６では、前記ステップＳ４４で削除された画像に隣接する画像が次の起点画像として選択される（ステップＳ４６）。ここで、起点画像としては、複数の対象画像のうち画像番号が最小の画像が選択され、前の起点画像は再び選択されない。図２１では、対象画像は、画像Ｉ５，Ｉ６，Ｉ７，Ｉ８であり、これらのうち画像番号が最小の画像Ｉ５が起点画像として選択される。続けて、上記ステップＳ４３以後の処理が、ステップＳ４５で全画像について処理が終了したと判定される迄、繰り返し実行される。この結果、図２１に例示されるように、太枠で囲まれた画像Ｉ１，Ｉ５，Ｉ１０，…が代表画像として設定される。
上記ステップＳ４５で全ての画像について処理が終了したと判定した場合、ネットワーク構築部１２は、代表画像群で上位のｉ次階層の画像群を構成し（ステップＳ４７）、代表画像のうち、ｉ−１次階層において表示リンク距離が「２」の２つの画像を互いに関連付け、且つ関連付けられた２つの画像間の表示リンク距離を全て「１」に設定する（ステップＳ４８）。この結果、ｉ次階層のネットワークが構築される。図２２に示す例では、図２１に示した太枠で囲まれた代表画像相互間にリンクＣ１，５，Ｃ１，６，Ｃ１，７，…が形成される。
次に、ネットワーク構築部１２は、階層化処理を終了するか否かを判定し（ステップＳ４９）、階層化処理を終了しないと判定した場合は、階層番号ｉをインクリメントして（ステップＳ５０）、上記ステップＳ４２以後の処理を繰り返し実行する。一方、階層化処理を終了すると判定した場合、ネットワーク構築部１２は、階層化処理を終了し、構築した１次〜Ｌ次階層（Ｌは１以上の整数）のネットワークをネットワークデータベース２０に記録する。この結果、図２３に示すように、０次〜Ｌ次階層のネットワーク５００〜５０Ｌが構築されることとなる。
なお、上記ステップＳ４４においては、代表画像に隣接する画像を削除する処理を実行していたが、この代わりに、代表画像との表示リンク距離が「Ｎ」（Ｎは２以上の整数）以下の画像を削除してもよい。
次に、図２４と図２５を参照しつつ、上記階層化ネットワークを用いた画像検索処理を説明する。図２４は、メインコントローラ１３による画像検索処理の手順を概略的に示すフローチャートである。
まず、ステップＳ６０では、階層選択部１３Ａ（図１）は、ネットワークデータベース２０に格納されている０次〜Ｌ次階層のネットワークのうち最上位のＬ次階層のネットワークを検索対象として選択する。この代わりに、最初の検索対象が操作部１６を介してユーザーによって選択されてもよい。
次に、表示制御部１３Ｃは、図１１に示した画像の一覧表示処理を実行することにより、最上位階層に属する検索対象画像を表示部１８に一覧表示させる（ステップＳ６１）。すなわち、表示部１８の画面４０には、図１２に示したように最上位階層に属する主画像と副画像とが一覧形式で表示される。ユーザーは、目的画像を見つけたとき、操作部１６を入力操作して目的画像を指定することができる。かかる場合、本検索処理は終了する（図１１，ステップＳ３３）。目的画像を発見できないとき、ユーザーは、目的画像以外の画像を次の主画像として指定することができる。かかる場合は、指定した画像が主画像に設定される（図１１，ステップＳ３４）。
次のステップＳ６２では、画像選択部１３Ｂは、主画像との表示リンク距離が設定値Ｒｓ以下となる画像を副画像として設定する（ステップＳ６２）。その後、表示制御部１３Ｃは、主画像と副画像とを表示部１８に一覧形式で表示させる（ステップＳ６３）。ユーザーは、操作部１６を入力操作して、画面４０に表示された画像群から所望の目的画像を指定することができる。画像選択部１３Ｂは、操作部１６からの入力指示を検出することにより、目的画像の指定の有無を判定する（ステップＳ６４）。ユーザーが目的画像を指定したとき、画像選択部１３Ｂは目的画像の指定有りと判定して画像検索処理を終了させる。
一方、ユーザーが目的画像を指定せず、その他の指示を入力した場合、画像選択部１３Ｂは目的画像の指定無しと判定し（ステップＳ６４）、その後、入力指示の種類に応じてステップＳ６６，Ｓ６７またはＳ６８のいずれかに処理が移行する。ここで、入力指示が「一覧表示指示」である場合は、ステップＳ６６の一覧表示処理（図１１）が実行され、その後、ステップＳ６２以後の処理が繰り返し実行される。一方、ユーザーが副画像の１つを主画像に変更する指示を入力した場合、画像選択部１３Ｂは、現在の階層で検索を続行する旨の「継続指示」があったと判定し（ステップＳ６５）、指定された副画像を次の主画像に設定する（ステップＳ６８）。その後、ステップＳ６２以後の処理が繰り返し実行される。
他方、前記入力指示が「概略／詳細検索指示」である場合は、ステップＳ６７の階層間移動処理が実行される。以下、図２５のフローチャートを参照しつつ、階層選択部１３Ａによる階層間移動処理の手順を説明する。なお、図中の符号Ｃ１は、接続子を表している。
まず、階層選択部１３Ａは、ユーザーによる入力指示が「概略検索」または「詳細検索」のいずれであるかを判定する（ステップＳ７０）。「詳細検索」の入力指示があった場合は、現在の階層よりも下位の階層のネットワークが存在するか否かを判定する（ステップＳ７１）。下位の階層が存在しない場合は、メインルーチン（図２４）に処理が移行し、ステップＳ６２以後の処理が繰り返し実行される。
一方、前記ステップＳ７１で下位の階層が存在すると判定した場合、階層選択部１３Ａは、図２６に示すように検索対象を現在の階層５０ｋ＋１（ｋは０以上の整数）から下位の階層５０ｋへ切り換え（ステップＳ７２）、メインルーチン（図２４）に処理を戻す。その後、ステップＳ６２以後の処理が繰り返し実行される。この結果、操作部１６の表示画面４０には、下位の階層５０ｋに属する主画像と副画像とが表示されるため、ユーザーは、表示画面４０を視認しつつ、下位の階層５０ｋに存在するかもしれない目的画像を検索することができる。
上記ステップＳ７０において、入力指示が「詳細検索」であると判定した場合、階層選択部１３Ａは、現在の階層よりも上位の階層のネットワークが存在するか否かを判定する（ステップＳ７３）。上位の階層が存在しない場合は、メインルーチン（図２４）に処理が移行し、ステップＳ６２以後の処理が繰り返し実行される。
一方、前記ステップＳ７３で上位の階層が存在すると判定した場合、階層選択部１３Ａは、上位の階層５０ｋ＋１に主画像が存在するか否かを判定する（ステップＳ７４）。図２６に例示するように、現在と上位の階層５０ｋ，５０ｋ＋１に主画像Ｉｊ存在する場合は、階層選択部１３Ａは、検索対象を現在の階層５０ｋから上位の階層５０ｋ＋１に切り換え（ステップＳ７５）、その後、メインルーチン（図２４）に処理を移行させる。一方、図２７に例示するように、現在の階層５０ｋに存在する主画像Ｉｊが上位の階層５０ｋ＋１に存在しない場合は、階層選択部１３Ａは、主画像Ｉｊと隣接する，すなわち主画像Ｉｊとの表示リンク距離が最短で且つ上位の階層にも存在する副画像Ｉｊ＋１の１つを次の主画像に設定し（ステップＳ７６）、検索対象を現在の階層５０ｋから上位の階層５０ｋ＋１に切り換え（ステップＳ７５）、その後、メインルーチン（図２４）に処理を戻す。その後、ステップＳ６２以後の処理が繰り返し実行される。この結果、操作部１６の表示画面４０には、上位の階層５０ｋ＋１に属する主画像と副画像とが表示されるため、ユーザーは、表示画面４０を視認しつつ、上位の階層５０ｋ＋１に存在するかもしれない目的画像を検索することができる。
このように、ユーザーは、階層間を移動しつつ、所望の目的画像を効率良く且つ簡便に検索することができる。また上記画像検索処理は、主にデータベースの階層情報とリンク情報のみを使用しているため、複雑な処理をせずに少ない演算量で高速に検索することが可能である。
以上，本発明に係る実施例の画像検索装置について説明した。上記実施例では、図６に示すようなネットワークのトポロジーは表示部１８に表示されないが、ユーザーが目的画像を検索したり主画像を指定したりする場合にそのトポロジーを表示部１８に立体的に表示してもよい。
本出願は、日本国特許出願第２００４−１０６０３７号公報に基づくものであり、当該公報を援用することにより当該公報の開示内容を含むものである。
Claims (34)
- 画像検索方法であって、
（ａ）複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するステップと、
（ｂ）前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得るステップと、
（ｃ）前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるステップと、
（ｄ）Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索するステップと、を備えることを特徴とする画像検索方法。 - 請求項１記載の画像検索方法であって、前記表示リンク距離は、Ｎ個の前記リンクを介して関連付けられている２つの前記検索対象画像のうちの一方の画像から他方の画像へ巡る経路のうち最短経路の前記リンクの数である、ことを特徴とする画像検索方法。
- 請求項２記載の画像検索方法であって、前記ステップ（ｄ）は、
（ｅ）前記複数の検索対象画像のうち、少なくとも１つの画像を主画像に設定し且つ前記主画像を除く画像を副画像に設定するステップと、
（ｆ）前記ステップ（ｅ）の実行後に、前記表示リンク距離が設定範囲内にある前記主画像と前記副画像とを同一画面に表示させるステップと、
を備えることを特徴とする画像検索方法。 - 画像検索方法であって、
（ａ）複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するステップと、
（ｂ）前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得るステップと、
（ｃ）前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるステップと、
（ｄ）前記ステップ（ｃ）で関連付けがなされた前記検索対象画像群で下位の階層を構築するステップと、
（ｅ）前記下位の階層から、Ｍ個（Ｍは２以上の整数）の前記リンクを介して関連付けられている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも上位の階層に属する検索対象画像群を構成するステップと、
（ｆ）前記上位の階層において、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるステップと、
（ｇ）Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索するステップと、を備え、
前記ステップ（ｅ）および（ｆ）を再帰的に実行することにより複数の階層を構築することを特徴とする画像検索方法。 - 請求項４記載の画像検索方法であって、前記表示リンク距離は、Ｎ個の前記リンクを介して関連付けられている２つの前記検索対象画像のうちの一方の画像から他方の画像へ巡る経路のうち最短経路の前記リンクの数である、ことを特徴とする画像検索方法。
- 請求項５記載の画像検索方法であって、前記ステップ（ｇ）は、
（ｈ）複数の前記階層の中から一の階層を検索対象として選択するステップと、
（ｉ）前記ステップ（ｈ）で選択された前記階層に属する複数の検索対象画像のうち、少なくとも１つの画像を主画像に設定し且つ前記主画像を除く画像を副画像に設定するステップと、
（ｊ）前記ステップ（ｉ）の実行後に、前記表示リンク距離が設定範囲内にある前記主画像と前記副画像とを同一画面に表示させるステップと、
をさらに備えることを特徴とする画像検索方法。 - 請求項４から請求項６のうちのいずれか１項に記載の画像検索方法であって、
（ｋ）検索対象を下位の階層から上位の階層へ切り換えるステップと、
（ｍ）前記上位の階層において前記主画像が存在しないときは、前記下位の階層において前記主画像との前記表示リンク距離が最短で且つ前記上位の階層に存在する検索対象画像を次の主画像として設定するステップと、
（ｎ）前記ステップ（ｋ）および（ｍ）の実行後に、前記表示リンク距離が設定範囲内にある前記主画像と前記副画像とを同一画面に表示させるステップと、を備えることを特徴とする画像検索方法。 - 請求項４から請求項７のうちのいずれか１項に記載の画像検索方法であって、
（ｏ）検索対象を上位の階層から下位の階層へ切り換えるステップと、
（ｐ）前記ステップ（ｏ）の実行後に、前記下位の階層において前記表示リンク距離が設定範囲内にある前記主画像と前記副画像とを同一画面に表示させるステップと、をさらに備えることを特徴とする画像検索方法。 - 請求項１から請求項８のうちのいずれか１項に記載の画像検索方法であって、
前記ステップ（ｂ）は、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける複数の特徴値を算出し、前記複数の特徴値の組を前記検索対象画像の距離空間上のベクトル量として記憶するステップを含み、
前記ステップ（ｃ）は、前記ベクトル量を前記特徴量として用いて前記検索対象画像間の距離を前記類似尺度として算出するステップを含む、ことを特徴とする画像検索方法。 - 請求項９記載の画像検索方法であって、前記距離は、ユークリッド距離であることを特徴とする画像検索方法。
- 請求項９記載の画像検索方法であって、各前記検索対象画像は静止画像であり、前記ステップ（ｂ）は、前記静止画像の各々を複数のブロックに分割し、各前記ブロックから抽出された複数の構成要素に基づいて、前記ブロックの各々について前記複数の特徴値を算出するステップを含む、ことを特徴とする画像検索方法。
- 請求項１１記載の画像検索方法であって、前記複数の構成要素は、各画素を構成する一組の色成分からなり、前記特徴値は、各前記ブロック内の前記色成分の平均値であることを特徴とする画像検索方法。
- 請求項９記載の画像検索方法であって、各前記検索対象画像は、連続する複数のフレームからなる動画像であり、前記ステップ（ｂ）は、各前記フレームを複数のブロックに分割し、各前記ブロックから抽出された複数の構成要素に基づいて前記複数の特徴値を算出するステップを含む、ことを特徴とする画像検索方法。
- 請求項１３記載の画像検索方法であって、前記複数の構成要素は、各画素を構成する一組の色成分からなり、前記特徴値は、各前記ブロック内の前記色成分の平均値を前記複数のフレームに亘って平均化した値であることを特徴とする画像検索方法。
- 請求項１から請求項８のうちのいずれか１項に記載の画像検索方法であって、前記ステップ（ａ）は、前記検索対象画像の各々からメタデータを前記構成要素として抽出するステップを含むことを特徴とする画像検索方法。
- 請求項１５記載の画像検索方法であって、前記ステップ（ｃ）は、前記メタデータを前記特徴量として用いて、前記検索対象画像間の前記メタデータの一致率に比例または反比例する値を前記類似尺度として算出するステップを含むことを特徴とする画像検索方法。
- 画像検索装置であって、
複数の検索対象画像を蓄積する記憶装置と、
複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得部と、
前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるネットワーク構築部と、
Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索部と、
を備えることを特徴とする画像検索装置。 - 請求項１７記載の画像検索装置であって、前記表示リンク距離は、Ｎ個の前記リンクを介して関連付けられている２つの前記検索対象画像のうちの一方の画像から他方の画像へ巡る経路のうち最短経路の前記リンクの数である、ことを特徴とする画像検索装置。
- 請求項１８記載の画像検索装置であって、前記画像検索部は、
前記複数の検索対象画像のうち、少なくとも１つの画像を主画像に設定し且つ前記主画像を除く画像を副画像に設定する画像選択部と、
前記主画像と前記副画像とが設定された後に、前記表示リンク距離が設定範囲内にある前記主画像と前記副画像とを同一画面に表示させる表示制御部と、
を備えることを特徴とする画像検索装置。 - 画像検索装置であって、
複数の検索対象画像を蓄積する記憶装置と、
複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得部と、
前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付け且つ関連付けがなされた前記検索対象画像群で下位の階層を構築するネットワーク構築部と、
Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索部と、を備え、
前記ネットワーク構築部は、前記下位の階層から、Ｍ個（Ｍは２以上の整数）の前記リンクを介して関連付けられている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも上位の階層に属する検索対象画像群を構成する処理と、前記上位の階層において、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付ける処理とを再帰的に実行することにより複数の階層を構築する、ことを特徴とする画像検索装置。 - 請求項２０記載の画像検索装置であって、前記表示リンク距離は、Ｎ個の前記リンクを介して関連付けられている２つの前記検索対象画像のうちの一方の画像から他方の画像へ巡る経路のうち最短経路の前記リンクの数である、ことを特徴とする画像検索装置。
- 請求項２１記載の画像検索装置であって、前記画像検索部は、
複数の前記階層の中から一の階層を検索対象として選択し、これに属する複数の検索対象画像のうち、少なくとも１つの画像を主画像に設定し且つ前記主画像を除く画像を副画像に設定する画像選択部と、
前記主画像と前記副画像とが設定された後に、前記表示リンク距離が設定範囲内にある前記主画像と前記副画像とを同一画面に表示させる表示制御部と、
を備えることを特徴とする画像検索装置。 - 請求項２０から請求項２２のうちのいずれか１項に記載の画像検索装置であって、
前記画像検索部は、検索対象を下位の階層から上位の階層へ切り換える階層選択部をさらに備え、
前記階層選択部は、前記上位の階層において前記主画像が存在しないときは、前記下位の階層において前記主画像との前記表示リンク距離が最短で且つ前記上位の階層に存在する検索対象画像を次の主画像として設定した後に前記検索対象を切り換え、
前記表示制御部は、前記階層選択部により前記検索対象が切り換えられた後に、前記表示リンク距離が設定範囲内にある前記主画像と前記副画像とを同一画面に表示させることを特徴とすることを特徴とする画像検索装置。 - 請求項２０から請求項２３のうちのいずれか１項に記載の画像検索装置であって、
前記画像検索部は、検索対象を上位の階層から下位の階層へ切り換える階層選択部をさらに備え、
前記表示制御部は、前記階層選択部により前記検索対象が切り換えられた後に、前記表示リンク距離が設定範囲内にある前記主画像と前記副画像とを同一画面に表示させることを特徴とする画像検索装置。 - 請求項１７から請求項２４のうちのいずれか１項に記載の画像検索装置であって、
前記特徴量取得部は、前記複数の構成要素に基づいて前記検索対象画像の各々を特徴付ける複数の特徴値を算出し、前記複数の特徴値の組を前記検索対象画像の距離空間上のベクトル量として記憶し、
前記ネットワーク構築部は、前記ベクトル量を前記特徴量として用いて前記検索対象画像相互間の距離を前記類似尺度として算出することを特徴とする画像検索装置。 - 請求項２５記載の画像検索方法であって、前記距離は、ユークリッド距離であることを特徴とする画像検索方法。
- 請求項２５記載の画像検索装置であって、各前記検索対象画像は静止画像であり、前記特徴量取得部は、前記静止画像の各々を複数のブロックに分割し、各前記ブロックから抽出された複数の構成要素に基づいて、前記ブロックの各々について前記複数の特徴値を算出することを特徴とする画像検索装置。
- 請求項２７記載の画像検索方法であって、前記複数の構成要素は、各画素を構成する一組の色成分からなり、前記特徴値は、各前記ブロック内の前記色成分の平均値であることを特徴とする画像検索装置。
- 請求項２５記載の画像検索方法であって、各前記検索対象画像は、連続する複数のフレームからなる動画像であり、前記特徴量取得部は、各前記フレームを複数のブロックに分割し、各前記ブロックから抽出された複数の構成要素に基づいて前記複数の特徴値を算出することを特徴とする画像検索方法。
- 請求項２９記載の画像検索方法であって、前記複数の構成要素は、各画素を構成する一組の色成分からなり、前記特徴値は、各前記ブロック内の前記色成分の平均値を前記複数のフレームに亘って平均化した値であることを特徴とする画像検索装置。
- 請求項１７から請求項２４のうちのいずれか１項に記載の画像検索方法であって、前記特徴量取得部は、前記検索対象画像の各々からメタデータを前記構成要素として抽出することを特徴とする画像検索装置。
- 請求項３１記載の画像検索方法であって、前記ネットワーク構築部は、前記メタデータを前記特徴量として用いて、前記検索対象画像間の前記メタデータの一致率に比例または反比例する値を前記類似尺度として算出することを特徴とする画像検索方法。
- 複数の検索対象画像を記憶装置に記憶させる記憶処理と、
複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得処理と、
前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるネットワーク構築処理と、
Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索処理と、をコンピュータに実行させることを特徴とする画像検索プログラムを記録した記録媒体。 - 複数の検索対象画像を記憶装置に記憶させる記憶処理と、
複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも１つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得処理と、
前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付け且つ関連付けがなされた前記検索対象画像群で下位の階層を構築する下位階層構築処理と、
Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索処理と、をコンピュータに実行させるとともに、
前記下位の階層から、Ｍ個（Ｍは２以上の整数）の前記リンクを介して関連付けられている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも上位の階層に属する検索対象画像群を構成するとともに、前記上位の階層において、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付ける上位階層構築処理をコンピュータに再帰的に実行させることにより複数の階層を構築することを特徴とする画像検索プログラムを記録した記録媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004106037 | 2004-03-31 | ||
| JP2004106037 | 2004-03-31 | ||
| PCT/JP2005/005649 WO2005096180A1 (ja) | 2004-03-31 | 2005-03-22 | 画像検索方法、装置及びプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2005096180A1 true JPWO2005096180A1 (ja) | 2008-02-21 |
| JP4465534B2 JP4465534B2 (ja) | 2010-05-19 |
Family
ID=35063982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006511629A Active JP4465534B2 (ja) | 2004-03-31 | 2005-03-22 | 画像検索方法、装置及びプログラムを記録した記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20080235184A1 (ja) |
| JP (1) | JP4465534B2 (ja) |
| WO (1) | WO2005096180A1 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1755067A1 (en) * | 2005-08-15 | 2007-02-21 | Mitsubishi Electric Information Technology Centre Europe B.V. | Mutual-rank similarity-space for navigating, visualising and clustering in image databases |
| JP4802790B2 (ja) * | 2006-03-20 | 2011-10-26 | セイコーエプソン株式会社 | サーバ装置 |
| JP4891740B2 (ja) * | 2006-11-22 | 2012-03-07 | 株式会社日立製作所 | コンテンツ検索装置及びコンテンツ検索方法 |
| JP5086617B2 (ja) * | 2006-11-27 | 2012-11-28 | シャープ株式会社 | コンテンツ再生装置 |
| JP4296521B2 (ja) * | 2007-02-13 | 2009-07-15 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| JP4456617B2 (ja) | 2007-04-16 | 2010-04-28 | 富士通株式会社 | 類似分析装置、画像表示装置、および画像表示プログラム |
| US7941442B2 (en) * | 2007-04-18 | 2011-05-10 | Microsoft Corporation | Object similarity search in high-dimensional vector spaces |
| US7870130B2 (en) * | 2007-10-05 | 2011-01-11 | International Business Machines Corporation | Techniques for identifying a matching search term in an image of an electronic document |
| JP5208001B2 (ja) * | 2008-06-09 | 2013-06-12 | ヤフー株式会社 | ベクトルデータ検索装置 |
| JP5199939B2 (ja) * | 2009-04-15 | 2013-05-15 | ヤフー株式会社 | 画像検索装置、画像検索方法及びプログラム |
| US8774526B2 (en) * | 2010-02-08 | 2014-07-08 | Microsoft Corporation | Intelligent image search results summarization and browsing |
| JP5396451B2 (ja) * | 2011-10-12 | 2014-01-22 | 日立コンシューマエレクトロニクス株式会社 | 情報表示装置、および、情報表示方法 |
| US9141676B2 (en) * | 2013-12-02 | 2015-09-22 | Rakuten Usa, Inc. | Systems and methods of modeling object networks |
| CN107409193A (zh) * | 2014-12-15 | 2017-11-28 | 索尼公司 | 信息处理方法、影像处理装置和程序 |
| KR102260631B1 (ko) * | 2015-01-07 | 2021-06-07 | 한화테크윈 주식회사 | 중복 이미지 파일 검색 방법 및 장치 |
| JP6977715B2 (ja) * | 2016-04-11 | 2021-12-08 | ソニーグループ株式会社 | 情報処理装置、及び情報処理方法 |
| JP7128555B1 (ja) * | 2021-05-19 | 2022-08-31 | 忠久 片岡 | データ照合方法 |
| JP6964372B1 (ja) * | 2021-05-19 | 2021-11-10 | 忠久 片岡 | コード生成方法、コード生成装置、プログラム、データ照合方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10124525A (ja) * | 1996-10-23 | 1998-05-15 | Matsushita Electric Ind Co Ltd | 検索装置 |
| JP3938815B2 (ja) * | 1998-10-02 | 2007-06-27 | 株式会社リコー | ノード作成方法、画像検索方法及び記録媒体 |
| US6941321B2 (en) * | 1999-01-26 | 2005-09-06 | Xerox Corporation | System and method for identifying similarities among objects in a collection |
| JP2001325294A (ja) * | 2000-05-17 | 2001-11-22 | Olympus Optical Co Ltd | 類似画像検索方法および類似画像検索装置 |
| JP4078085B2 (ja) * | 2001-03-26 | 2008-04-23 | キヤノン株式会社 | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 |
-
2005
- 2005-03-22 JP JP2006511629A patent/JP4465534B2/ja active Active
- 2005-03-22 WO PCT/JP2005/005649 patent/WO2005096180A1/ja active Application Filing
- 2005-03-22 US US11/547,082 patent/US20080235184A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20080235184A1 (en) | 2008-09-25 |
| WO2005096180A1 (ja) | 2005-10-13 |
| JP4465534B2 (ja) | 2010-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4465534B2 (ja) | 画像検索方法、装置及びプログラムを記録した記録媒体 | |
| TWI361619B (en) | Image managing apparatus and image display apparatus | |
| JP3454764B2 (ja) | 内容ベースで映像を検索する検索システム及び検索方法 | |
| JP3747589B2 (ja) | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 | |
| CN101138233B (zh) | 用于选择视听节目部分的方法和设备 | |
| JP3780623B2 (ja) | 動画像の記述方法 | |
| JP4507991B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN100456294C (zh) | 图像显示控制装置和方法 | |
| US8117204B2 (en) | Video browser for navigating linear video on small display devices using a similarity-based navigation hierarchy of temporally ordered video keyframes with short navigation paths | |
| JPWO2009072466A1 (ja) | 画像分類装置および画像分類プログラム | |
| JP2000276484A (ja) | 画像検索装置、画像検索方法及び画像表示装置 | |
| JP2013105309A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2007041964A (ja) | 画像処理装置 | |
| JP4197014B2 (ja) | 映像の検索方法および装置 | |
| JPH06253255A (ja) | 映像インデックス表示装置 | |
| JP4784656B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP4944183B2 (ja) | 情報処理装置および情報処理方法 | |
| KR100319160B1 (ko) | 사건구간을기반으로하는동영상검색방법과검색데이타구성방법 | |
| JP2001306579A (ja) | 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2001243236A (ja) | 映像特徴抽出方法、映像特徴抽出装置、映像検索方法、映像検索装置、およびそのプログラムを記録した記録媒体 | |
| Chang et al. | A video information system for sport motion analysis | |
| JP3997882B2 (ja) | 映像の検索方法および装置 | |
| JP2009022018A (ja) | 映像の検索方法および装置 | |
| KR100319159B1 (ko) | 내용기반동영상검색데이터구성방법과동영상검색방법 | |
| Zeng et al. | Video indexing by motion activity maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100208 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |