JP3621323B2

JP3621323B2 - 映像登録・検索処理方法および映像検索装置

Info

Publication number: JP3621323B2
Application number: JP2000052584A
Authority: JP
Inventors: 斉遠藤; 良治片岡
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-02-28
Filing date: 2000-02-28
Publication date: 2005-02-16
Anticipated expiration: 2020-02-28
Also published as: JP2001243236A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像から特徴量を抽出する技術、および、抽出された特徴量の時系列を検索キーとして、検索対象の映像から類似した区間を求める映像検索技術に関するものである。
【０００２】
【従釆の技術】
従来、検索キーとして映像を入力し、検索キーと検索対象の映像から抽出した特徴量の類似性をもとに検索キーに類似した映像を検索する技術としては、映像から抽出した特徴量を時間軸方向に動的に伸縮させながら照合を行うことによって検索を行う方法がある。例えば、「カメラモーションに基づく類似動画像検索」（情報処理学会研究報告、ＤＢＳ．１１９，１９９９年）に記載されている方法では、あらかじめ検索対象映像から特徴量の時系列を抽出しておく。検索対象の特徴量の時系列に対して、検素キーの映像から抽出した特徴量ともっとも類似性が高くなるように時間軸方向に伸縮させながら照合を行う。検索対象の特徴量の時系列全体にわたって、照合の開始点をずらしながら照合を行うことによって検索キーに類似する映像を検索する。この方法では、時系列に基づいた照合を行うため、「動き」といった映像固有の情報に基づいた検索ができる。また、図７に示すように、特徴量の時系列が時間割方向に伸縮の関係にあるようなシーンに対しても対応することができる。
【０００３】
また、マルチメディア情報を検索する従来の方法として、マルチメディア情報から抽出される特徴量から特徴ベクトルを作成し、特徴ベクトル間の距離によって類似性を判定する方法がある。例えば、「オブジェクトに基づく高速画像検索システム：ＥｘＳｉｇｈｔ」（情報処理学会論文誌、Ｖｏｌ．４０，Ｎｏ．２，１９９９年）に記載されている方法では、あらかじめ静止画から切り出された物体の画像から、特徴量を抽出し、特徴ベクトルを作成しておく。物体の検索は、検索キーとして指定した物体の画像から作成した特徴ベクトルとの距離が小さい特徴ベクトルを持つ物体を探索ことにより行う。この方法では、検索に先立ってインデックスを作成してお互いに距離の小さい特徴ベクトルをグループ化しておくことにより、検索時に探索範囲を絞り込むことが出来るため効率よく検索を行うことができる。
【０００４】
【発明が解決しようとする課題】
上述の従来技術において、前者の方法は、基本的に総なめ型の検索方法であるため、類似性の高い順に数件の検索結果だけが欲しい場合でも検索対象すべてを照合する必要があり、検索対象映像の長さが長くなると検索時間が長くなってしまうという問題がある。
【０００５】
後者の方法では、インデックスを利用することで検索対象すべてを照合することなく検索を行うことができるが、時系列の情報を考慮していないため、映像のような時系列の情報が重要なメディアには直接適用できないという問題がある。
【０００６】
本発明の目的は、これらの問題を解決し、映像から抽出した特徴量の時系列情報に対して特徴量の時間的な伸縮に対応した検索を可能とするインデックスを作成することで、検索対象すべてを照合することなく効率良く検索キーとして入力された映像と類似する映像を検索できるようにすることにある。
【０００７】
【課題を解決するための手段】
映像登録・検索処理方法は、登録時、コンピュータは、検索対象となる映像である検索対象映像を入力して映像データベースに格納する検索対象映像入力ステップと、前記入力された検索対象映像からｍ種類（ｍ≧１）の特徴量の時系列を抽出し、一定の所定区間長の特徴量の時系列からなる特徴パターンを１個以上作成する特徴量抽出ステップと、あらかじめ参照パターン記憶部に記憶された特徴量の時系列の概形を表現する基準となるｎ種類（ｎ≧１）の参照パターンをそれぞれ時間軸方向に伸縮させながら、前記特徴パターンに対してマッチングを行ってパターン間距離を求め、ｍ×ｎ個のパターン間距離によって構成される特徴ベクトルを前記特徴パターン毎に作成する特徴ベクトル作成ステップと、前記検索対象映像から作成した特徴ベクトルと、該特徴ベクトルに対応する映像区間の開始点と終了点によって表される映像区間情報を記録し、該特徴ベクトルに対してインデックスを作成して特徴ベクトル記憶部に格納する特徴ベクトル記憶ステップとを実行し、検索時、コンピュータは、検索キーとなる映像である検索キー映像を入力する検索キー映像入力ステップと、前記入力された検索キー映像からｍ種類（ｍ≧１）の特徴量の時系列を抽出し、特徴パターンを作成する特徴量抽出ステップと、あらかじめ前記参照パターン記憶部に記憶されたｎ種類の参照パターンをそれぞれ時間軸方向に伸縮させながら、前記特徴パターンに対してマッチングを行ってパターン間距離を求め、ｍ×ｎ個のパターン間距離によって構成される検索キー映像の特徴ベクトルを作成する特徴ベクトル作成ステップと、前記検索キー映像から作成した特徴ベクトルを検索キーとして、前記特徴ベクトル記憶部から前記検索対象映像のインデックスを利用して、前記検索キーとのベクトル間距離の小さい前記検索対象映像から作成した特徴ベクトルを小さい順にｋ個（ｋ≧１）探索し、得られたｋ個の特徴ベクトル間距離と、対応するｋ個の映像区間情報を検索結果候補区間として出力する特徴ベクトル間距離取得ステップと、前記ｋ個の検索結果候補区間から時区間が重複するものを削除し、前記検索キー映像と類似する前記検索結果候補区間を絞り込む類似区間探索ステップと、前記絞り込んだ検索結果候補区間に対応する映像を前記映像データベースから出力する類似区間出力ステップとを実行することを特徴とする。
【０００８】
また、本発明の映像検索装置は、検索対象となる映像である検索対象映像を入力して映像データベースに格納する検索対象映像入力手段と、検索キーとなる映像である検索キー映像を入力する検索キー映像入力手段と、検索対象映像および検索キー映像から特徴量の時系列を抽出し、特徴パターンを作成する特徴量抽出手段と、特徴量の時系列の概形を表現する基準となる１つ以上の参照パターンを記憶した参照パターン記憶手段と、この参照パターンをそれぞれ時間軸方向に伸縮させながら前記特徴パターンに対してマッチングを行い、得られた１つ以上のパターン間距離によって構成される特徴ベクトルを作成する特徴ベクトル作成手段と、前記特徴ベクトルと映像区間情報を記録し、該特徴ベクトルに対してインデックスを作成して記憶する特徴ベクトル記憶手段と、前記検索キー映像から抽出された前記特徴ベクトルを検索キーとして前記特徴ベクトル記憶手段から１つ以上の検索結果候補区間を抽出する特徴ベクトル間距離取得手段と、前記特徴ベクトル間距離取得手段によって得られた１つ以上の前記検索結果候補区間から、前記検索キー映像と類似する前記検索結果候補区間を絞り込む類似区間探索手段と、前記類似区間探索手段で絞り込んだ１つあるいは複数の前記検索結果候補区間に対応する映像を映像データベースから出力する類似区間出力手段とを具備することを特徴とする。
【０００９】
本発明にあっては、入力された検索対象映像から抽出された特徴量の時系列である特徴パターンに対し、参照パターンをもっとも一致するように時間軸方向に伸縮させた状態でのパターン間距離によって構成される特徴ベクトルを作成し、特徴ベクトルに対してインデックスを作成して記憶し、入力された検索キー映像から作成された特徴ベクトルに対し、記憶しておいた特徴ベクトルとのベクトル間距離計算を行い、得られた複数の映像区間とベクトル間距離の組を絞りこみ、出力することによって、映像から抽出した特徴量の時系列的な変化を検索キーとして指定でき、かつ特徴量の時間的な伸縮にも対応できる映像検索を、インデックスを利用して効率良く行うことができる。
【００１０】
【発明の実施の形態】
以下、本発明の一実施例を、図面を参照しなから詳述する。なお、以下に示す実施例は、入力映像に含まれるカメラモーションを検索キーとし、検索対象の映像から類似したカメラモーションを検索する映像検索システムを対象とする。ここでカメラモーションとは、映像を撮影するカメラの上下左右の働きと、ズーム操作のことを意味する。
【００１１】
図１は本発明による映像検索装置の一実施例のブロック図を示す。本映像検索装置は、映像データベース１００、検索対象映像入力部１１０、検索キー映像入力部１２０、特徴量抽出部１３０、特徴ベクトル作成部１４０、特徴ベクトル間距離取得部１５０、類似区間探索部１６０、類似区間出力部１７０、参照パターン記憶部１８０及び特徴ベクトル記憶部１９０からなる。
【００１２】
図２は、検索対象となる検索対象映像を映像データベース１００へ登録するときの処理フロー図である。まず、この登録時の動作に基づき、本発明の特徴とするところの映像特徴抽出について説明する。
【００１３】
検索対象映像入力部１１０によって検索対象となる検索対象映像を装置に入力する（ステップ２１０）。入力された検索対象映像は、映像データベース１００に蓄積されるとともに、特徴量抽出部１３０に与えられる。映像情報としては、例えばＭＰＥＧを用いることができるが、これに限定するものではない。
【００１４】
特徴量抽出部１３０では、検索対象映像から、輝度分布やカメラモーションなど、一般にｍ種類（ｍ≧１）の特徴量の時系列を抽出し、特徴パターンを作成する（ステップ２２０）。
【００１５】
特徴量抽出部１３０によって、例えば、図４のように１フレーム単位で３種類の特徴量の時系列が抽出される。特徴量として、ここでは映像から抽出されるカメラモーションを用いているが、他には輝度情報や、フレーム内の物体の座標などを用いることができる。図４では、１行が１フレームから抽出される特徴量をあらわし、列は特徴量の種類をあらわしている。フレーム番号は映像の開始点からのフレーム番号、Ｖ_ｘはカメラの左右の移動量、Ｖ_ｙはカメラの上下の移動量、Ｚはズームによる拡大縮小量をあらわす。カメラモーンョンの抽出は、例えばＭＰＥＧの符号化情報である動きベクトルや、オプティカルフローを計算して求めることができる。文献「ＣＶＥＰＳ‐ＡＣｏｍｐｒｅｓｓｅｄＶｉｄｅｏＥｄｉｔｉｎｇａｎｄＰａｒｓｉｎｇＳｙｓｔｅｍ」（Ｐｒｏｃ．ＡＣＭＭｕｌｔｉｍｅｄｉａ ’９６，ｐｐ．４３−５３、１９９６年）に示されれる方法では、ＭＰＥＧの符号化情報である動きベクトルに対して、動きベクトルとカメラモーションの関係式
【数１】

を利用してカメラモーションの抽出を行う。ここで、（ｘ，ｙ）は動きベクトルを持つマクロブロックの座標、（ｕ，ｖ）は動きベクトルを表す。
【００１６】
１つのフレームを構成するすべてのマクロブロックについて、〔数１〕の関係式により求められる（ｕ，ｖ）と、実際の動きベクトルとの誤差が最小となる
（Ｖ_ｘ，Ｖ_ｙ，Ｚ）の値を最小２乗法により求める。抽出された特徴量は統計量に基づいて正規化される。正規化は特徴量の種類ごとの検索結果への効果の度合いを調整するために行うものであり、たとえば各特徴量の分散を一定にする方法を用いることが出来る。
【００１７】
本実施例では、検索対象映像について、一定の区間長の特徴量の時系列からなる特徴パターンを、切り出す開始点を少しずつずらしながら重複を許して１個以上作成する。特徴パターンの切り出しは、図５のように行う。図５において、矩形は映像から抽出された時系列の特徴量および特徴パターンを模式的に表したものである。Ｔ_ｄは区間のずらし幅、Ｔ_ｆは区間の長さをあらわすパラメータである。検索対象映像の作成された特徴パターンは特徴ベクトル作成部１４０へ与えられる。
【００１８】
特徴ベクトル作成部１４０は、特徴量抽出部１３０によって与えられた検索対象映像の特徴パターン毎に特徴ベクトルを作成し、該特徴ベクトルと、該特徴ベクトルに対応する映像区間の開始フレーム番号と終了フレーム番号によって構成される映像区間情報を特徴ベクトル記憶部１９０へ与える（ステップ２３０）。特徴ベクトルは、該特徴パターンに対し、あらかじめ用意した１つ以上の参照パターンとのマッチングによって得られたパターン間距離によって構成される。
【００１９】
参照パターンは、該特徴バターンの特徴量の時系列の概形を表現するための基準となるものであり、参照パターン記憶部１８０にあらかじめ用意しておく。参照パターンとして、たとえば図６に示すような８つのパターンを用いることができるが、これに限定するものではない。
【００２０】
パターン間距離は、例えば文献「カメラモーションに基づく類似動画像検索」（情報処理学会研究報告、ＤＢＳ−１１９，ｐｐ２７３−２７８、１９９９年）に示されるようなＤＰ距離を用いることができる。ＤＰ距離は、動的計画法を用いて、対応付ける要素同士の距離である要素間距離の総和が最小になるようにマッチングを行うことによって得られる。参照パターンの要素をａ _ｉ（１≦ｉ≦
Ｎ_Ｒ）、特徴パターンの１つの特徴量の要素をｂ _ｊ（１≦ｊ≦Ｎ_Ｆ）と表すとき、ＤＰ距離Ｄは例えば次のように表される。
【数２】

初期条件
【数３】

漸化式
【数４】

【００２１】
ここで、ｄ（ｉ，ｊ）はａ _ｉとｂ _ｊとの要素間距離である。特徴パターンのすべての特徴量の時系列に対して、それぞれＤＰ距離を求める。特徴ベクトルの次元数は特徴量の種類の個数に参照パターンの個数を掛けたものであり、図４に示した特徴量と、図６に示した参照パターンを用いた場合、特徴ベクトルの次元数は２４次元となる。以下、特徴ベクトルによって構成される多次元空間のことを特徴空間と呼ぶ。
【００２２】
特徴ベクトル記憶部１９０は、特徴ベクトル作成部１４０によって与えられた検索対象映像から作成された特徴ベクトルと映像区間情報を記憶する（ステップ２４０）。この特徴ベクトル記憶部１９０では、すべての特徴ベクトルに対してインデックスを作成し、映像データベース１００の映像と対応づけて格納する。
【００２３】
インデックスは、たとえば、文献（「画像類似検索のための多次元空間インデクス」マルチメディア通信と分散処理８２−１８、ｐｐ９９−１０４、１９９７年）に示されるようなインデックス作成方式を用いればよい。この方式では、特徴ベクトルの集合を多次元空間内の位置に基づいて分割し、グループ化を行う。グループ内の特徴ベクトルの集合に対し、再帰的に分割、グループ化を行い、階層的なグループ構造を構築し、同じグループに属する特徴ベクトルを、各階層において最小包囲領域として管理する。
【００２４】
検索キーの特徴ベクトルとベクトル間距離の小さい特徴ベクトルを検索する際には、特徴ベクトルとの距離を計算する前に、各階層の最小包囲領域との距離を計算することにより、検索キーと距離の遠いグループに属する特徴ベクトルに対するベクトル間距離の計算を省略することができるため、効率良く検索を行うことができる。
【００２５】
図３は、検索時の処理フロー図である。検索キー映像入力部１２０によって検索キーとなる検索キー映像を装置に入力する（ステップ３１０）。入力された検索キー映像は特徴量抽出部１３０に与えられる。検索キー映像も、その映像情報として例えばＭＰＥＧを用いることができるが、これに限定されるものではない。
【００２６】
特徴量抽出部１３０は、与えられた検索キー映像から、輝度分布やカメラモーションなど、一般にｍ種類（ｍ≧１）の特徴量の時系列を抽出し、該抽出した特徴量の時系列全体を１つの特徴パターンとして切り出す（ステップ３２０）。この特徴量抽出部１３０での処理は、登録時の検索対象映像に対する処理と基本的に同じである。なお、与えられた検索キー映像が、ある程度以上長い場合には、検索対象映像のときと同様に、一定の区間長の特徴量の時系列からなる特徴パターンを、切り出す開始点を少しずらしながら重複を許して１個以上作成する。作成された検索キー映像の特徴パターンは特徴ベクトル作成部１４０へ与えられる。
【００２７】
特徴ベクトル作成部１４０では、検索対象映像の特徴パターンのときと同様に、参照パターン記憶部１８０にあらかじめ記憶された、特徴量の時系列の概形を表現する基準となるｎ種類（ｎ≧１）の参照パターンをそれぞれ時間軸方向に伸縮させながら特徴パターンに対してマッチングを行いパターン間距離を求め、得られたｍ×ｎ個のパターン間距離によって構成される特徴ベクトルを前記特徴パターン毎に作成する（ステップ３３０）。この作成された特徴パターンは、特徴ベクトル間距離取得部１５０に与えられる。
【００２８】
特徴ベクトル間距離取得部１５０は、特徴ベクトル作成部１４０から与えられた、検索キー映像から作成された特徴ベクトルを検索キーとして、特徴ベクトル記憶部１９０に記憶された特徴ベクトルを、先のインデックスを利用して検索を行う（ステップ３４０）。すなわち、検索キーとのベクトル間距離の小さい特徴ベクトル記憶部１９０に記憶された特徴ベクトルを、小さい順にｋ個（ｋ≧１）探索し、得られたｋ個の特徴ベクトル間距離と、対応するｋ個の映像区間情報を検索結果候補区間として類似区間探索部１６０へ与えられる。ベクトル間距離として、たとえばユークリッド距離を用いることができる。検索件数ｋはアプリケーションあるいは利用者によって指定される。
【００２９】
類似区間探索部１６０は、特徴ベクトル間距離取得部１５０から得たｋ個の検索結果候補区間から、検索結果の候補を絞り込み、類似区間出力部１７０へ与える（ステップ３５０）。候補の絞り込みは重複する映像区間の削除によって行う。重複する区間のうち、特徴ベクトル間距離のもっとも小さいものを採用し、残りを削除する。重複する区間の判定については、たとえば、閾値以上の割合で区間が重なるかどうかで判定する方法もある。
【００３０】
類似区間出力部１７０は、類似区間探索部１６０で絞り込んだ１つ以上の部分パターンを映像データベース１００から取得し、パターン間距離の順に提示することによって検索結果を出力する（ステップ３６０）。
【００３１】
以上、本発明の実施例を説明したが、図２や図３などの処理手順は、コンピュータで実行可能なプログラム言語で記述し、コンピュータで読み取り可能な記録媒体、例えばフロッピーディスク、ＣＤ−ＲＯＭ、メモリカードなどに記録して提供することが可能である。このような記録媒体されたプロクラムをコンピュータにインストールすることにより、図１のような構成の処理機能が実現する。
【００３２】
【発明の効果】
以上説明したのように、入力された映像を検索キーとして検索対象の映像から類似した区間を求める映像検索システムにおいて、本発明を用いると、映像の特徴量の時系列的な変化に基づき、かつ特徴量の時間的な伸縮にも対応できる映像検索を、検索対象すべてを照合することなく効率良く行うことができるようになる。
【００３３】
たとえば、本発明を組み込んだ野球のシーン検索システムでは、ホームランなどの映像を検索キーとして入力すると、試合全体の映像から類似したホームランなどの映像を、従来の総なめ方式に比較して効率良く検索することができる。
【図面の簡単な説明】
【図１】本発明による映像検索装置の一実施例のブロック図である。
【図２】検索対象映像の登録時の処理フロー図である。
【図３】検索キー映像の入力時の処理フロー図である。
【図４】特徴量抽出部において出力される特徴量の一例である。
【図５】映像から抽出された時系列の特徴量および切り出された特徴パターンを模式的に表わしたものである。
【図６】参照パターンの一例である。
【図７】類似した特徴量の時系列で、時間的な伸縮のあるものの一例である。
【符号の説明】
１００映像データベース
１１０検索対象映像入力部
１２０検索キー映像入力部
１３０特徴量抽出部
１４０特徴ベクトル作成部
１５０特徴ベクトル間距離取得部
１６０類似区間探索部
１７０類似区間出力部
１８０参照パターン記憶部
１９０特徴ベクトル記憶部

Claims

映像データベースを具備し、コンピュータにより、入力された映像から抽出した特徴量の時系列を検索キーとして、検索対象の映像から類似した区間を求める映像検索装置における映像登録・検索処理方法であって、
登録時、コンピュータは、検索対象となる映像である検索対象映像を入力して映像データベースに格納する検索対象映像入力ステップと、前記入力された検索対象映像からｍ種類（ｍ≧１）の特徴量の時系列を抽出し、一定の所定区間長の特徴量の時系列からなる特徴パターンを１個以上作成する特徴量抽出ステップと、あらかじめ参照パターン記憶部に記憶された特徴量の時系列の概形を表現する基準となるｎ種類（ｎ≧１）の参照パターンをそれぞれ時間軸方向に伸縮させながら、前記特徴パターンに対してマッチングを行ってパターン間距離を求め、ｍ×ｎ個のパターン間距離によって構成される特徴ベクトルを前記特徴パターン毎に作成する特徴ベクトル作成ステップと、前記検索対象映像から作成した特徴ベクトルと、該特徴ベクトルに対応する映像区間の開始点と終了点によって表される映像区間情報を記録し、該特徴ベクトルに対してインデックスを作成して特徴ベクトル記憶部に格納する特徴ベクトル記憶ステップとを実行し、
検索時、コンピュータは、検索キーとなる映像である検索キー映像を入力する検索キー映像入力ステップと、前記入力された検索キー映像からｍ種類（ｍ≧１）の特徴量の時系列を抽出し、特徴パターンを作成する特徴量抽出ステップと、あらかじめ前記参照パターン記憶部に記憶されたｎ種類の参照パターンをそれぞれ時間軸方向に伸縮させながら、前記特徴パターンに対してマッチングを行ってパターン間距離を求め、ｍ×ｎ個のパターン間距離によって構成される検索キー映像の特徴ベクトルを作成する特徴ベクトル作成ステップと、前記検索キー映像から作成した特徴ベクトルを検索キーとして、前記特徴ベクトル記憶部から前記検索対象映像のインデックスを利用して、前記検索キーとのベクトル間距離の小さい前記検索対象映像から作成した特徴ベクトルを小さい順にｋ個（ｋ≧１）探索し、得られたｋ個の特徴ベクトル間距離と、対応するｋ個の映像区間情報を検索結果候補区間として出力する特徴ベクトル間距離取得ステップと、前記ｋ個の検索結果候補区間から時区間が重複するものを削除し、前記検索キー映像と類似する前記検索結果候補区間を絞り込む類似区間探索ステップと、前記絞り込んだ検索結果候補区間に対応する映像を前記映像データベースから出力する類似区間出力ステップとを実行する、
ことを特徴とする映像登録・検索処理方法。
請求項１記載の映像登録・検索処理方法において、
検索対象映像の特徴量抽出ステップでは、検索対象映像について抽出した特徴量の時系列から、所定区間長の特徴量の時系列からなる特徴パターンを、切り出す開始点を少しずらしながら重複を許して１個以上作成し、
検索キー映像の特徴量抽出ステップでは、検索キー映像について抽出した特徴量の時系列全体を１個の特徴パターンとして切り出す、
ことを特徴とする映像登録・検索処理方法。
請求項２記載の映像登録・検索処理方法において、
検索キー映像の特徴量抽出ステップでは、検索キー映像について抽出した特徴量の時系列についても、所定区間長の特徴量の時系列からなる特徴パターンを、切り出す開始点を少しずらしながら重複を許して１個以上切り出す、
ことを特徴とする映像登録・検索処理方法。
映像データベースを具備し、入力された映像から抽出した特徴量の時系列を検索キーとして、検索対象の映像から類似した区間を求める映像検索装置において、
検索対象となる映像である検索対象映像を入力して映像データベースに格納する検索対象映像入力手段と、
検索キーとなる映像である検索キー映像を入力する検索キー映像入力手段と、
該検索対象映像および該検索キー映像から、ｍ種類（ｍ≧１）の特徴量の時系列を抽出し、前記検索対象映像については抽出した特徴量の時系列から、所定区間長の特徴量の時系列からなる特徴パターンを、１個以上作成し、前記検索キー映像については抽出した特徴量の時系列全体を１個あるいは複数個の特徴パターンとして切り出す特徴量抽出手段と、
特徴量の時系列の概形を表現する基準となるｎ種類（ｎ≧１）の参照パターンを記憶する参照パターン記憶手段と、
前記参照パターンをそれぞれ時間軸方向に伸縮させながら前記特徴パターンに対してマッチングを行いパターン間距離を求め、得られたｍ×ｎ個のパターン間距離によって構成される特徴ベクトルを前記特徴パターン毎に作成する特徴ベクトル作成手段と、
前記検索対象映像から作成した特徴ベクトルと、該特徴ベクトルに対応する映像区間の開始点と終了点によって表される映像区間情報を記録し、該特徴ベクトルに対してインデックスを作成して格納する特徴ベクトル記憶手段と、
前記検索キー映像から作成した特徴ベクトルを検索キーとして、前記特徴ベクトル記憶手段のインデックスを利用して、検索キーとのベクトル間距離の小さい前記検索対象映像から作成した特徴ベクトルを小さい順にｋ個（ｋ≧１）探索し、得られたｋ個の特徴ベクトル間距離と、対応するｋ個の映像区間を検索結果候補区間として出力する特徴ベクトル間距離取得手段と、
前記特徴ベクトル間距離取得手段によって得られたｋ個の検索結果候補区間から時区間が重複するものを削除し、前記検索キー映像と類似する前記検索結果候補区間を絞り込む類似区間探索手段と、
前記類似区間探索手段で絞り込んだ前記検索結果候補区間に対応する映像を前記データベースから出力する類似区間出力手段と、
を有することを特徴とする映像検索装置。