JP3916813B2

JP3916813B2 - Data series search apparatus and method

Info

Publication number: JP3916813B2
Application number: JP30174599A
Authority: JP
Inventors: 隆一岡; 信博関本
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1999-10-22
Filing date: 1999-10-22
Publication date: 2007-05-23
Anticipated expiration: 2019-10-22
Also published as: JP2001125903A

Description

【０００１】
【発明の属する技術分野】
本発明は、データが時系列的に変化するデータ系列と、類似するデータ系列を複数組のデータ系列の中から検出したり、１つの大きなデータ系列の中から検出する場合に好適なデータ系列検索装置および方法に関する。
【０００２】
【従来の技術】
近年、ＤＶＤ（デジタル・ビデオ・ディスク）やデジタルＴＶ放送の普及とともに膨大な量の動画像コンテンツが一般家庭でも簡単に手に入れることができるようになってきている。一方では、ＰＣ（パーソナルコンピュータ）の高性能化、記憶装置の大容量化も進んでおり、ＰＣあるいはＰＣの機能を有する装置動画像を取り込むニーズが高まってきている。この大きな流れの中で、動画像の検索や，理解、認識などの動画像処理はますます重要な技術となってきている。
【０００３】
動画像検索において、ユーザが膨大な動画像ＤＢ（データベース）の中から所望の区間を選び出すためには、制作者が予め付与した出演者やあらすじ等の情報やユーザの手入力によるインデックス、および画像理解に基づき自動生成されたインデックスをてがかりにする方法が提案されている。
【０００４】
従来の動画像検索に関連した第１の方法としてはＩＰＭネットワークによりシンボル化された動画像ＤＢを記述し、クエリーの（検索の元となる）動画像についてもシンボル化を行い、対応するネットワークを検索する方法が提案されている。（遠藤他、”動画像の自己組織化ネットワークによるモデル化とその動的特徴の可視化”信学技法ＰＲＭＵ９７−７８，ｐｐ．４９−５４，Ｊｕｌｙ，１９９７）。
【０００５】
また、この方法に関連する文献としては以下のものがある。
【０００６】
・矢部他、”ジェスチャ動画像と意味的記述単語系列のネットワーク構造対応に基づくジェスチャ認識”人工知能学会全国大会（第１３回）論文集、Ｓ３−０５，ｐｐ９５−９８、Ｊｕｎｅ，１９９９．
・伊藤他，”時系列標準パターンの任意区間によるスポッティングのためのＲｅｆｅｒｅｎｃｅＩｎｔｅｒｖａｌ−ｆｒｅｅ連続ＤＰ（ＲＩＦＣＤＰ），”信学論，ＶｏｌＪ７９Ｄ−ＩＩ，Ｎｏ．９，ｐｐ１４７４−１４８３、Ｓｔｅｐ．，１９９６．
・西村他、”動作者適応のためのオンライン教示可能なジェスチャ動画像の認識システム、”信学論、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ、Ｎｏ．８，ｐｐ１８２２−１８３０，Ａｕｇ．，１９９８．
・西村他”距離画像を用いた低解像度特長によるジェスチャのスポッティング認識，”人工知能学会全国大会（第１３回）論文集、Ｓ３−０６，ｐｐ９９−１０２，Ｊｕｎｅ，１９９９．
第２の方法として、アクティブ検索により動画像ＤＢおよびクエリーの画像特徴ベクトルのヒストグラムを計算し、類似度を求めて検索する以下の提案として以下のものがある。
【０００７】
・柏野他，”マルチモーダルアクティブ検索を用いた画像・音響系列の高速検索，”信学技報，ＰＲＭＵ９８−８０、ｐｐ５１−５８、Ｓｅｐ．，１９９８．
第３の方法としてカット単位での代表画像の特徴を記号化して検索に用いる提案として以下のものがある。
【０００８】
・長坂他，”時系列フレームの圧縮符号化に基づく映像シーンの高速分類方法”，信学論，ＶｏｌＪ８１−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１８３１−１８３７，Ａｕｇ．，１９９８．
【０００９】
【発明が解決しようとする課題】
上述の第１の方法はデータベース中の動画像の各フレームとクエリーの動画像の各フレームとのマッチング（距離計算）を行うために、動画像のフレーム数が多いほどマッチングの計算時間が膨大となり、リアルタイムで検索を行うことが難しいという問題がある。
【００１０】
第２の方法は、区間限定のＣＭ検索のように任意の入力区間に未対応であるためにクエリー入力がフレーム単位で逐次行われ，その度に検索を行うといった、区間が限定されない画像の実時間検索には向いていない。
【００１１】
そこで、本発明の目的は、フレームワイズの検索を行う上で、動画像データなど、時系列的にデータが変化するデータ系列の逐次入力される記号系列をフレームワイズに検索を行うことができるデータ系列検索装置および方法を提供することにある。
【００１２】
【課題を解決するための手段】
このような目的を達成するために、本発明は例えば特許請求の範囲に記載されるように構成する。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００２２】
最初に本実施形態のデータ系列検索方法について図１を参照して説明する。
【００２３】
(第１の実施形態）
本実施形態では、逐次入力されるクエリーのフレーム画像において、一定区間のフレーム窓を図１に示すように時間軸に沿って移動させながらフレーム単位で、検索のための情報処理を行い、クエリーの連続のフレーム画像（動画像）と類似する参照動画像部分を検出する。以下にその検索処理内容を説明する。
【００２４】
（ａ）参照動画像によるＶＱ空間の作成
クエリー画像の比較の対象となる参照動画像からフレーム単位で画像の特徴量を取得する。本実施例では１つのフレームをいくつかに分割し、画像の色情報または輝度情報を用いてＮ（正の整数）要素をもつ特徴ベクトルする。この特徴ベクトルを使用して画像の特徴が類似しているフレーム同士を集め１つの集合（セントロイド（ｃｅｎｔｒｏｉｄ）と呼ばれる）を形成し、複数のフレーム画像の集合群に動画像を分類する。画像の分類方法としては、周知の方法を使用することができる。本実施形態では量子化と呼ばれる方法を使用する。より具体的には、あるフレーム画像の特徴ベクトルと、すでに存在する１つの集合の中の全特徴ベクトルとの間の２乗誤差が一定距離以内であれば、そのフレーム画像を比較の対象となった集合の中に組み入れる。また、上記２乗誤差が一定距離以内でない場合には、そのフレーム画像を代表特徴ベクトル（セントロイドベクトル）とする新しい集合を作成する。このようにして参照動画像を量子化すると、図１に示すような複数の集合が形成される。この複数の集合群をＶＱ空間と呼ぶことにする。
【００２５】
セントロイドベクトルV(i)を以下のように定義する。ただし、i=1,2.....,M, Mはセントロイド総数、Nは特徴要素数である。
【００２６】
【数１】

【００２７】
また、集合に含まれるフレーム画像を識別するためにフレーム画像のフレーム番号τを記憶するテーブルZ(i)を用意する。iはセントロイド（集合）の識別番号である。テーブルZ(i)の内容を数式で表現すると以下のようになる。
【００２８】
【数２】

【００２９】
ただし、K(i)はセントロイド番号iに属するリファレンス（参照）フレームの総数となる。以後、
【００３０】
【外１】

【００３１】
は
【００３２】
【外２】

【００３３】
と略して表す。
【００３４】
（ｂ）ヒストグラムの作成
クエリーとしての動画像が、各フレーム単位でＶＱ空間と同様に特徴ベクトルの形態で入力されてくるとする。時刻tにおけるクエリー入力フレームの特徴ベクトルf(t)は、
【００３５】
【数３】

【００３６】
であり、ＶＱ空間の各セントロイドベクトル（代表特徴ベクトル）とクエリーのフレーム画像との２乗誤差の和を最小にするセントロイドの番号をこのフレーム画像に対するＶＱコードm(t)とする。
【００３７】
【数４】

【００３８】
t≧Tとして時刻tまでの区間Tの間での入力フレームシーケンス
【００３９】
【数５】

【００４０】
を考えると、対応するVQコードシーケンスは、
【００４１】
【数６】

【００４２】
である。このとき、対応するリファレンスフレームシーケンスは（２）式より以下のようになる。
【００４３】
【数７】

【００４４】
時刻tにおいてはK(m(t))個のレファレンスフレームが存在する。これをt-Tからtまでの長さTの区間で、横軸が参照動画像のフレーム番号uとして、縦軸を各レファレンスフレームののヒストグラムh(t,u)として（図１参照）、各リファレンスフレーム番号に対応するセロノイド番号が何度ヒットされたかの統計を求める。
【００４５】
【数８】

【００４６】
【数９】

【００４７】
【数１０】

【００４８】
次の時刻t+1になった場合には、これまでのt-Tの時刻に関してのヒストグラムを減少させ、新たなt+1でのヒストグラムを増加させるように、フレーム窓の区間を移動させる。
【００４９】
（ｃ）クラスタリング
これまでに作成したヒストグラムを基にフレーム単位でのクラスタリングを行う。本実施形態でのクラスタリングは設定したスレッショルド（しきい値）よりも大きい区間[Cmin,Cmax]をクラスタとして検出する（図１参照）。
【００５０】
上述のデータ系列検索方法にしたがって、パーソナルコンピュータにより動画像検索の実験を行った。動画像(参照(リファレンス），クエリーとも）にはすでにキャプチャリング、特徴化を行ったものを用いた。特徴化方法は龍谷大学が提唱する６０要素からなるベクトルとした。テレビの放映画像２００，０００フレーム(２時間分)を用いてVQ空間のセントロイド数は１３，３１６であった。
【００５１】
参照動画像と同一のクエリー画像を用いて検索を行った結果、少なくともクエリーと同一の区間を参照動画像中で検出することができた。
【００５２】
(実施形態２）
上述の実施形態では、フレームの順次性を考慮していないために、参照画像のある一部分のフレーム順序が逆になったような動画像がクエリーとなった場合、参照画像の上記一部分の動画像が検出結果として得られてしまう。そこで、このようなことが無いようにフレームの順次性を考慮した第２実施形態を次に説明する。
【００５３】
（１）時間順序性を顧慮したヒストグラムの作成
ヒストグラムの、フレームの時間順序性を考慮した作成方法は以下のとおりである。(7)式に関して、
【００５４】
【外３】

【００５５】
の代わりに
【００５６】
【外４】

【００５７】
を考慮した(8) 式を採用する。
【００５８】
【数１０】

【００５９】
ここで
【００６０】
【外５】

【００６１】
は式（９）の通り。
【００６２】
【数１１】

【００６３】
ここで、
【００６４】
【外６】

【００６５】
【数１２】

【００６６】
となる式である。
【００６７】
１つめの条件において、
【００６８】
【外７】

【００６９】
は時刻t-1で存在していたクラスタが参照画像上の時刻の増加方向に伸びる場合、または、時刻t-1でクラスタは存在せず開始点となりうる場合に
【００７０】
【外８】

【００７１】
となり、それ以外は空となる値である。１つ目の条件では
【００７２】
【外９】

【００７３】
を漸化的に、今回の
【００７４】
【外１０】

【００７５】
のうち前回伸びていたクラスタの時刻
【００７６】
【外１１】

【００７７】
よりも先になるものが存在する場合に
【００７８】
【外１２】

【００７９】
とする。２つ目の条件では、値
【００８０】
【外１３】

【００８１】
【外１４】

【００８２】
がクラスタの開始点となりうる参照画像上の時刻で、時刻t-1でのヒストグラム上のフレーム番号
【００８３】
【外１５】

【００８４】
とそのｕ軸上の２つ前まで、つまり，
【００８５】
【外１６】

【００８６】
におけるヒストグラムの値がそれぞれ0である場合に真となる値である。
【００８７】
なお、式中ではクラスタが伸びるための条件として、前回伸びているクラスタから時刻２以内で再びヒストグラムが投票されること、また、新しくクラスタが開始する条件として前回のクラスタから時刻２以上離れていることとしている。
【００８８】
（２）クラスタリング
検索結果として参照動画像を求めるクラスタリング時に、時刻ｔにおいて、
上記(10)式の
【００８９】
【外１７】

【００９０】
で空でないものを探す（クラスタが伸びつづけている）
ヒストグラム中
【００９１】
【外１８】

【００９２】
以前に一定区間Tc（例えばヒストグラム作成のためのTの４分の１）以上連続して非０でない区間を持つ
【００９３】
【外１９】

【００９４】
を探す。
【００９５】
該当する
【００９６】
【外２０】

【００９７】
に対応した非０でない区間の開始時刻および
【００９８】
【外２１】

【００９９】
を、それぞれクラスタの開始時刻および終了時刻とする。
【０１００】
（３）動画検索アプリの検索結果表示方法
動画像の検索結果の表示例を図２に示す。上記方法でクラスタリングされた空でない
【０１０１】
【外２２】

【０１０２】
を全て表示していく。
【０１０３】
時刻tにおいての結果は上記２の方法でクラスタリングしたものであるとする。次の時刻t+1では空でない
【０１０４】
【外２３】

【０１０５】
を新たに求めることができる。クラスタリングの方法から伸びた差分は
【０１０６】
【外２４】

【０１０７】
であるから、既に表示してある対応する結果部分にそれぞれに対応する
【０１０８】
【外２５】

【０１０９】
のうち、最も時刻の進んだフレームを上書きするようにする。表示する位置は、例えば伸びたクラスタの元である対応する
【０１１０】
【外２６】

【０１１１】
から最も近い画像の位置とする（画像に対応させて最新の
【０１１２】
【外２７】

【０１１３】
を記憶する）。これを繰り返していくと、クエリーが逐次入力された場合の検索された結果が、動画像として表示されていくことになる。ある時刻において
【０１１４】
【外２８】

【０１１５】
が空になった場合にはその画像を削除し、他の空でない
【０１１６】
【外２９】

【０１１７】
に対応する画像でレイアウトし直す。
【０１１８】
（実施形態３）
上述の実施形態で説明したデータ系列検索方法にしたがって、動画像などのデータ系列と類似する個所を参照データ系列の中から検索（検出）するデータ系列検索装置を次に第３実施形態として説明する。
【０１１９】
図３は第３実施形態のシステム構成を示す。データ系列検索装置は汎用のパーソナルコンピュータが後述のプログラムを実行することにより実現されるので、パーソナルコンピュータの構成の説明は簡単に留める。
【０１２０】
図３において、ＣＰＵ１０、システムメモリ１１、入出力インターフェース（Ｉ／Ｏ）１２、ハードディスク記憶装置（ＨＤＤと略記する）１３、入力装置１４および出力装置１５がバスに記憶されている。なお、バスにはＣＤＲＯＭ読取装置（不図示）も接続されている。
【０１２１】
ＣＰＵ１０は図５に示す処理プログラムを実行してデータ系列の検索を行う。また、オペレーティングシステム（ＯＳ）にしたがって、システム制御を行う。
【０１２２】
システムメモリ１１はＣＰＵ１０が実行すべきプログラムをローディングすると共に、ＣＰＵ１０に対する入出力データを一時記憶する。出力装置１５（本例の場合表示装置）に出力するデータもシステムメモリ１１に一時記憶される。
【０１２３】
Ｉ／Ｏ１２を介して、検索対象の動画像、すなわち、クエリーの動画像が外部装置、たとえば、ビデオカメラ等から入力される。ＨＤＤ１３はＯＳ用のプログラムデータ系列検索用のプログラムを保存目的のために記憶する。入力装置１４としてはマウスのようなポインティングデバイスおよびキーボードを使用することができる。入力装置１４からはＣＰＵ１０に対する動作指示、本形態の場合には、データ系列検索用のプログラムの起動の指示を入力する。出力装置１５は、検索結果を出力する。本実施形態では出力装置１５として表示装置を使用するが、他に、プリンタや通信装置を使用することもできる。
【０１２４】
被検索の対象となる参照動画像はＩ／Ｏ１２を介して逐次入力されるものとする。また、上述した量子化により複数のセントロイド、すなわち、画像の特徴が類似するフレーム番号を集めた複数組の集合がテーブルの形態で、ＨＤＤ１３に保存されているものとする。上記テーブルは、図４に示すようにセントロイド番号ごとにそのセントロイドに含まれるフレーム画像のフレーム番号が記載されている。また、各セントロイド番号に対応させて、そのセントロイドを代表するフレーム画像（代表特徴点）の特徴データもテーブルに記載されている。以下、このテーブルを参照テーブルと呼ぶことにする。
図５〜図８を参照して図４のシステムのデータ系列検索動作を説明する。
【０１２５】
図５はデータ系列検索プログラムのメイン処理手順を示し，図６〜図８はメイン処理手順中の個別処理の詳細を示す。図５の処理プログラムは、入力装置１４からのユーザによる起動指示に応じて、ＨＤＤ１３からシステムメモリ１１にロードされＣＰＵ１０により実行される。
【０１２６】
図５のプログラムが起動されると、ＣＰＵ１０は、外部装置からクエリーの動画像をＩ／Ｏ１２を介して入力し、従来と同様にして特徴化して、特徴化された特徴データをシステムメモリ１１に一時記憶する（ステップＳ１０）。次に、ＣＰＵ１０はフレーム窓として使用するバッファ（システムメモリ内）にクエリーの動画像の先頭から所定数、説明の便宜上、３枚のフレーム画像を取り込む（ステップＳ２０）。
【０１２７】
次に、ＣＰＵ１０は取り込んだ３枚のフレー画像の第１枚目のフレーム画像番号を距離計算の対象として設定する（ステップＳ３０）。ＣＰＵ１０は、第１枚目のフレーム画像の特徴が最短距離にある代表特徴データのセントロイド番号を特徴データの距離計算により取得する（ステップＳ４０）。この処理は、図６を使用して後で詳細に説明する。
【０１２８】
たとえば、セントロイド番号１が取得されると、ＣＰＵ１０は参照テーブルを参照して、セントロイド番号１の集合に含まれる参照動画像のフレーム番号（以下、参照フレーム番号と略記する）を取得する。たとえば、セントロイド番号１の集合には、参照フレーム番号１〜５が含まれているとすると、各参照フレーム番号のヒストグラムの値（得点）を記憶する変数がそれぞれ１だけインクリメントされる。この例では、参照フレーム番号１〜５のヒストグラムのそれぞれの値が初期値０から１にインクリメントされる（ステップＳ６０）。
【０１２９】
次にＣＰＵ１０はクエリーのフレーム番号を第１番目のフレーム番号から第２番目のフレーム番号に変更して、フレーム番号の特徴データと類似する代表特徴データを有するセントロイド番号を検出する（ステップＳ６０→Ｓ３０〜Ｓ４０）。
【０１３０】
検出されたセントロイド番号の集合内の参照フレーム番号を参照テーブルから取得すると、参照フレーム番号に対応する全てのヒストグラムの値を１だけインクリメントする（ステップＳ４０）。このようにして、ステップＳ３０〜Ｓ６０の処理を繰り返して、バッファに格納した３枚のクエリーの特徴データに類似するセントロイドおよびそのセントロイドに含まれる参照フレーム番号を検出する。また、その参照フレーム番号のヒストグラムの値がインクリメントされて行く（図１参照）。
【０１３１】
バッファに格納された３枚のフレーム画像についてヒストグラムが計算されると、ＣＰＵ１０は手順をステップＳ１０に戻し、バッファをＦＩＦＯ（ファーストインファーストアウト）する。具体的には、バッファの記憶内容を前送りし、最初の記憶データを破棄して、新しい次のデータ、この場合、第４番目のクエリーのフレーム画像の特徴データをバッファに格納する（ステップＳ７０→Ｓ７５→Ｓ１０）。以下、ＣＰＵ１０はステップＳ３０〜Ｓ６０の手順を繰り返して、第２番目〜第４番目のフレーム画像の特徴データのそれぞれについて、最短距離の代表特徴データを有するセントロイド番号を検出する。また、そのセントロイドに含まれる参照フレーム番号を検出して、ヒストグラムの値をインクリメントする。
【０１３２】
クエリーの動画像の全てのフレーム画像について、上述の処理を終了すると、ＣＰＵ１０はヒストグラムの値の分布において、ヒストグラムの値がしきい値以上となる山の部分の参照フレーム画像の連続区間を検出する（図１のクラスタ部分）。
【０１３３】
検出されたフレーム画像の時間軸上の連続区間は参照フレーム番号の形態で与えられるので、ＣＰＵ１０は連続区間の開始の参照フレーム番号と、最終の参照フレーム番号を出力装置１５から出力する。
【０１３４】
図５のステップＳ４０の最短距離のセントロイド番号の検出処理の詳細を図６を参照して説明する。
【０１３５】
図６において、ＣＰＵ１０は、セントロイド番号を初期値１に設定する（ステップＳ１００）。次に、設定されたセントロイド番号に対応する代表特徴データを参照テーブルから取得する。取得した代表特徴データと、クエリー側の特徴データとの距離計算を従来と同様の計算方法で行う（ステップＳ１１０）。
【０１３６】
距離の計算結果が得られると、これまでに得られた最小の距離計算結果と比較する。なお、距離計算結果が第１回目の場合には、これまでに得られた最小値として予めステップＳ１００で大きな値を初期設定しておけばよい。これにより、セントロイド番号１の特徴データについての距離計算結果が、これまでの最小の距離計算結果としてシステムメモリ１１に一時格納される（ステップＳ１２０→Ｓ１３０）。
ＣＰＵ１０は手順をステップＳ１４０からＳ１００に戻し、セントロイド番号を次の番号、この場合”２”に更新し、セントロイド番号２の代表特徴データと、クエリー側の特徴データとの間の距離を計算する。距離の計算結果は、これまでに得られた最小値と比較され、新たに得られた距離計算結果がこれまでの最小値よりも小さい場合には、新しく得られた距離計算結果が、これまでに得られた最小値に変更される。また、この時使用されたセントロイド番号がシステムメモリ１１に更新的に一時記憶される。このようにして、ステップＳ１００〜Ｓ１４０の手順を繰り返して最後のセントロイド番号まで距離計算を繰り返すと、システムメモリ１１には、最小の距離計算結果が得られた時のセントロイド番号が一時記憶されていることになる。
【０１３７】
図５のステップＳ５０のヒストグラム作成処理を図７を参照して説明する。図７において、上述のセントロイド番号検出処理により検出されたセントロイド番号がシステムメモリ１１に一時記憶されているので、参照テーブルを参照し、セントロイド番号の示す集合に含まれる参照フレーム番号のヒストグラムの値に対しては、加算値を”１”とし、それ以外の参照フレーム番号のヒストグラムの値に対しては加算値”０”が与えられる（ステップＳ２１０）。
【０１３８】
本実施形態では、参照フレーム番号１から最終の番号まで、参照フレーム番号を更新しながら（ステップＳ２００）、ヒストグラムの値の加算処理を一括して行う（ステップＳ２００〜Ｓ２３０のループ処理）。加算されたヒストグラムの値は、参照フレーム番号に関連付けられてシステムメモリ１１内に一時記憶される。
【０１３９】
図５のクエリー画像と合致（類似も含む）する参照動画像部分の検出処理を図８を参照して説明する。説明の便宜上、図１に示すヒストグラムが作成されているものとする。図８の処理手順はフラグを使用する。このフラグはヒストグラム分布でしきい値以上となる参照フレーム番号の連続性の有無をオン／オフで表す。より具体的には、ヒストグラム分布中で、図１のＣｍｉｎでヒストグラムの値がしきい値を超えると、フラグがオンのままとなり、Ｃｍａｘでしきい値以下になるとフラグがオフになる。したがって、フラグがオフからオンに切り替わる時点の参照フレーム番号が検索結果の開始フレーム番号であり、フラグがオンからオフに切り替わる時点の参照フレーム番号が検索結果の最終フレーム番号となる。
【０１４０】
ＣＰＵ１０は参照フレーム番号を初期値”１”，フラグを初期値オフに設定する（ステップＳ３００）。設定された参照フレーム番号のヒストグラムの値をシステムメモリ１１から読み出して、予め定められているしきい値と比較する。図１の例では、参照フレーム番号１のヒストグラムの値は”０”であるので、ステップＳ３１０の比較判定ではＮＯ（ヒストグラムの値（得点）はしきい値よりも小）の判定が得られる。
【０１４１】
このため、手順はステップＳ３１０→Ｓ３１１へと進み、フラグがオンであるか否かが判定される。この判定処理は、ヒストグラム分布の値がしきい値より大きい部分から小さい部分に切り替わる個所、すなわち、最終フレーム番号部分を検出するための判定処理である。フラグはオフであるので、判定結果はＮＯの判定（参照フレーム番号１は最終フレーム番号ではない）が得られる。
【０１４２】
したがって、手順はステップＳ３１１→Ｓ３４０→Ｓ３００へと進み、処理対象の参照フレーム番号が”２”に更新される。図１を見ると明らかなように、参照フレーム番号２のヒストグラムの値は”０”なので、手順はステップＳ３００→Ｓ３１０→Ｓ３１１→Ｓ３４０→Ｓ３００の経路を進む。この手順経路はヒストグラムの値がしきい値を超える参照フレーム番号Ｃｍｉｎに処理対象の参照フレーム番号が到着するまで繰り返される。
【０１４３】
処理対象の参照フレーム番号がＣｍｉｎに更新されると、ステップＳ３１０のしきい値との比較判定処理で、判定結果がＹＥＳとなる。続いて、現在のフラグの判定処理によりフラグがオフであることが確認される。これにより手順は、ステップＳ３１０→Ｓ３２０→Ｓ３３０と進み、ここで、フラグがオフからオンに変更される。また、検索結果の開始フレーム番号としてＣｍｉｎがシステムメモリ１１に登録され、検査結果部分のフレーム長さが値”１”に初期設定される。
【０１４４】
手順はステップＳ３３０→Ｓ３４０→Ｓ３００へと進み、処理対象の参照フレーム番号がＣｍｉｎ+１に更新される。図１に示すように、このフレーム位置のヒストグラムの値はしきい値よりも大きいのでステップＳ３１０の判定結果はＹＥＳとなる。現在のフラグはオンなので、手順はステップＳ３１０→Ｓ３２０→Ｓ３２５へと進み、これまでの検索結果部分の長さ”１”に値”１”が加算され、検索結果部分のフレーム長さが”２”に更新される。
【０１４５】
以後、図１のヒストグラム分布中で、処理対象の参照フレーム番号がＣｍａｘまで、ステップＳ３００〜Ｓ３２５→Ｓ３４０→Ｓ３００の手順経路が繰り返し実行されて、検索結果部分の長さの計数が行われる。
【０１４６】
処理対象の参照フレーム番号がＣｍａｘ＋１になると、図１のヒストグラムではヒストグラムの値がしきい値以下となるので、手順はステップＳ３００→Ｓ３１０→Ｓ３１１の経路を進む。フラグはオンになっているので、ステップＳ３１１の判定処理はＹＥＳ判定、すなわち、ヒストグラム分布の山の終了の判定が得られる。本実施形態では雑音除去のためにステップＳ３１２の判定処理を設け、ヒストグラム分布の山の時間軸上の長さ（参照フレームの連続の長さ）がしきい値以上となった場合に、参照フレームの連続部分を検索結果として確定している。本例では、ステップＳ３１２の判定処理がＹＥＳ判定となるなるので、現在の参照フレーム番号（Ｃｍａｘ＋１）から数値１を引いた値が連続部の終了フレーム番号として、システムメモリ１１に登録される。また、フラグがオフされる（ステップＳ３１２〜Ｓ３１４）．
以下、ＣＰＵ１０は上述の処理手順にしたがって、処理対象の参照フレーム番号を更新しながら（ステップＳ３００）、図１のヒストグラムの山の部分の開始および終了位置（参照フレーム番号）を検出する。
【０１４７】
検出された参照フレームの開始番号および終了番号が、クエリーについての検索結果として出力される。以上述べた処理手順は第１の実施形態の方法をソフトウェアで実現するが、第２の実施形態についても（９）式〜（１１）式を使用して、ヒストグラムのフレームの順次性を確認する処理手順を実行すればよく、詳細な説明を要しないであろう。
【０１４８】
上述の実施形態の他に次の実施形態を実施できる。
【０１４９】
１）第１の実施形態ではヒストグラムの山の部分を検出する条件を、
（ａ）ヒストグラムの値がしきい値以上であること
（ｂ）山の長さがしきい値以上であること
（ｃ）ヒストグラムの分布曲線が連続であること
と定めているが、用途に応じて異なる検出条件を定めてもよい。
【０１５０】
たとえば、上記（ｃ）の代わりに、２つの山が検出された場合に、前の山の終了位置と後の山の開始位置の間の距離がしきい値以下の場合、２つの山は連続とみなすというような条件を設定することもできる。また、（ａ）、（ｂ）で使用する閾値の値をキーボード等から入力することにより可変設定すると、検索精度をユーザが調整することができる。
【０１５１】
２）検索結果の出力の形態は、参照フレームの開始番号および終了番号を文字の形態で出力する方法、参照フレームの開始番号と、以後の参照フレームの枚数を文字の形態で出力する方法、さらにはヒストグラムの分布曲線の形態で図形表示する方法、参照フレーム開始番号〜終了番号までの間の参照部分動画像を表示画面に表示する方法等用途に応じて適宜定めればよい。
【０１５２】
３）本実施形態ではデータ系列として、動画像を例に説明したが、他のデータ系列、たとえば、音声データやアナログあるいはデジタルの信号波形など、連続的に値が変化する信号，データ系列に対して本発明を適用できる。
【０１５３】
４）フレーム窓に記憶する特徴データはクエリ画像のフレーム画像が入力されるごとに更新される。そこで、フレーム窓に新たに記憶されたと特徴データと、参照テーブルの代表点の特徴データとの距離計算を行い、その距離計算結果をシステムメモリ１１に記憶しておくとよい。これにより、この特徴データがフレーム窓に記憶されている間、この特徴データを使用した距離計算はその都度行う必要はなく、システムメモリ１１に一時記憶した距離計算結果を使用することができる。これにより、距離計算時間を短縮することができる。また、フレーム窓に新規に格納されるクエリー画像の特徴データは変化するが前の時刻の特徴データと現在の時刻の特徴データの差分値を求め、この差分値を使用して、前回の距離計算結果に対する補正値を求めることにより、距離計算時間を短縮することもできる。
【０１５４】
５）図５の処理プログラムを記録しておく記憶媒体は、ＲＯＭ，ＲＡＭのようなＩＣメモリ、ハードディスクのような固定記憶装置、フロッピーディスク、ＭＯなどの携帯用記録媒体とすることができる。また、このような記録媒体に記録された処理プログラムが圧縮されたり暗号化されたとしても、本発明で定義されている記録媒体に該当することは言うまでもない。さらに、図５の処理プログラムが、電話線のような、通信ネットワークや、ＲＳ２３２Ｃのような通信ケーブルを介して外部装置からデータ系列検索装置にダウンロードされる場合には、外部装置上の図５の処理プログラムを記憶する記憶装置等が本発明の記録媒体に該当する。
【０１５５】
６）上述した実施形態は本発明を説明するための１実施形態であって、上記実施形態に対して種々の変形を行っても、その変形した実施形態が本願特許請求に範囲に記載した技術思想に合致する場合には、その改良形態は特許権の侵害となる。
【０１５６】
【発明の効果】
本発明では、時系列的にデータが連続するデータ系列では、データの値が急激に変化することはまれであって、データの特徴が部分的に変化する点に着目し、参照データ系列を構成する複数の参照データを複数の集合に分類しておく。また、各集合を代表する代表参照データが用意される。これら代表参照データとクエリー側のデータ系列の各データとの距離を計算する。従来では参照データ系列の各参照データとクエリー側の各データとの間の距離を計算しなければならなかったので、本発明の方が距離計算回数が大幅に低減される。また、クエリーの画像と類似する代表参照データを有する集合が検出されると、その集合に含まれる参照データで時系列的に連続するものを取得することにより、クエリーに類似する個所についての参照データ系列の中の検索結果とすることができる。
【０１５７】
さらに、得られた検索結果の中で、データの順次性を調べることにより、データの並び順がクエリーのデータ系列とは逆順となったような部分参照データ系列を検索結果から排除することができる。
【０１５８】
さらにはヒストグラム分布のような情報処理として計算時間の短い統計的手法を使用して、特定の１以上の集合の中に散在する複数の参照データから時間軸の連続する部分参照データ系列を見かけ上作成することができる。
【０１５９】
以上の結果、距離計算の計算時間が短縮され、もって、逐次入力されたクエリーのデータ系列（記号化されたデータ系列）をフレームワイズ，リアルタイムに検索することが可能となる。
【図面の簡単な説明】
【図１】本発明第１の実施形態のデータ系列検索方法を説明するための説明図である。
【図２】本発明第２の実施形態の検索結果の出力例を示す説明図である。
【図３】本発明第３の実施形態のシステム構成を示すブロック図である。
【図４】各セントロイドに含まれる参照データのフレーム番号を記載した参照テーブルの一例を示す説明図である。
【図５】ＣＰＵ１０が実行する処理プログラムの内容を示すフローチャートである。
【図６】ＣＰＵ１０が実行する処理プログラムの内容を示すフローチャートである。
【図７】ＣＰＵ１０が実行する処理プログラムの内容を示すフローチャートである。
【図８】ＣＰＵ１０が実行する処理プログラムの内容を示すフローチャートである。
【符号の説明】
１０ＣＰＵ
１１システムメモリ
１２Ｉ／Ｏ
１３ＨＤＤ
１４入力装置
１５出力装置[0001]
BACKGROUND OF THE INVENTION
  The present invention is a data series search suitable for detecting a data series in which data changes in time series and a similar data series from a plurality of data series, or detecting from one large data series. apparatusAnd methodsAbout.
[0002]
[Prior art]
In recent years, with the widespread use of DVDs (digital video discs) and digital TV broadcasts, a vast amount of moving image content can be easily obtained even in ordinary households. On the other hand, the performance of PCs (personal computers) and the capacity of storage devices are increasing, and there is an increasing need for capturing PCs or apparatus moving images having PC functions. In this large flow, moving image processing such as retrieval, understanding, and recognition of moving images has become an increasingly important technology.
[0003]
In moving image search, in order for a user to select a desired section from an enormous moving image DB (database), information such as performers and synopses previously provided by the producer, an index manually input by the user, and images A method has been proposed in which an automatically generated index is used as a key.
[0004]
As a first method related to the conventional moving image search, a moving image DB symbolized by the IPM network is described, and the moving image of the query (from which the search is made) is also symbolized, and the corresponding network is A search method has been proposed. (Endo et al., “Modeling of Video by Self-Organizing Network and Visualization of Its Dynamic Features”, Science Technique PRMU 97-78, pp. 49-54, July, 1997).
[0005]
Further, the following documents are related to this method.
[0006]
Yabe et al., “Gesture Recognition Based on Network Structure Correspondence between Gesture Video and Semantic Description Word Sequence”, Japanese Society for Artificial Intelligence (13th), S3-05, pp95-98, June, 1999.
Ito et al., “Reference Interval-free continuous DP (RIFCDP) for spotting by an arbitrary section of a time-series standard pattern,” “Science, VolJ79D-II, No. 9, pp 1474-1483, Step. , 1996.
・ Nishimura et al., “On-line teaching gesture video recognition system for operator adaptation”, “Science Theory, Vol. J81-D-II, no. 8, pp1822-1830, Aug. 1998.
・ Nishimura et al. “Spotting recognition of gestures using low-resolution features using range images”, “Artificial Intelligence Society National Convention (13th) Proceedings, S3-06, pp99-102, June, 1999.
As a second method, there are the following proposals for calculating a moving image DB and a histogram of image feature vectors of a query by active search, and searching for similarity.
[0007]
Kanno et al., “High-speed image / sound sequence search using multimodal active search,” IEICE Technical Report, PRMU 98-80, pp51-58, Sep. 1998.
As a third method, there are the following proposals for symbolizing the characteristics of representative images in units of cuts and using them for retrieval.
[0008]
Nagasaka et al., “High-speed classification method of video scenes based on compression coding of time-series frames”, IEICE theory, VolJ81-D-II, No. 8, pp. 1831-1837, Aug. 1998.
[0009]
[Problems to be solved by the invention]
Since the first method described above performs matching (distance calculation) between each frame of the moving image in the database and each frame of the query moving image, the larger the number of moving image frames, the longer the calculation time for matching. There is a problem that it is difficult to search in real time.
[0010]
The second method does not correspond to an arbitrary input section as in the section-limited CM search, so that query input is sequentially performed in units of frames, and a search is performed each time. Not suitable for time search.
[0011]
  Accordingly, an object of the present invention is to perform frame-wise search for a symbol series that is sequentially input of a data series whose data changes in time series, such as moving image data, when performing frame-wise search. Series search deviceAnd methodsIs to provide.
[0012]
[Means for Solving the Problems]
  To achieve these goals,The present invention is configured as described in, for example, the claims.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0022]
First, the data series search method of this embodiment will be described with reference to FIG.
[0023]
(First embodiment)
In the present embodiment, in a query frame image that is sequentially input, information processing for search is performed in units of frames while moving a frame window in a certain section along the time axis as shown in FIG. A reference moving image portion similar to a continuous frame image (moving image) is detected. The contents of the search process will be described below.
[0024]
(A) Creation of VQ space by reference moving image
Image feature amounts are acquired in frame units from reference moving images to be compared with query images. In this embodiment, one frame is divided into several, and a feature vector having N (positive integer) elements is obtained using color information or luminance information of the image. Using this feature vector, frames having similar image features are collected to form one set (called centroid), and the moving images are classified into a set group of a plurality of frame images. As a method for classifying images, a known method can be used. In this embodiment, a method called quantization is used. More specifically, if the square error between a feature vector of a certain frame image and all the feature vectors in an already existing set is within a certain distance, that frame image is a comparison target. In the set. If the square error is not within a certain distance, a new set is created with the frame image as a representative feature vector (centroid vector). When the reference moving image is quantized in this way, a plurality of sets as shown in FIG. 1 are formed. The plurality of set groups will be referred to as a VQ space.
[0025]
The centroid vector V (i) is defined as follows. Here, i = 1, 2 ...., M, M are the total number of centroids, and N is the number of feature elements.
[0026]
[Expression 1]

[0027]
In addition, a table Z (i) for storing the frame number τ of the frame image is prepared in order to identify the frame image included in the set. i is an identification number of a centroid (set). The contents of the table Z (i) are expressed by mathematical expressions as follows.
[0028]
[Expression 2]

[0029]
However, K (i) is the total number of reference (reference) frames belonging to the centroid number i. After that
[0030]
[Outside 1]

[0031]
Is
[0032]
[Outside 2]

[0033]
It abbreviates as.
[0034]
(B) Creation of histogram
Assume that a moving image as a query is input in the form of a feature vector in the same manner as the VQ space for each frame. The feature vector f (t) of the query input frame at time t is
[0035]
[Equation 3]

[0036]
The centroid number that minimizes the sum of the square errors between each centroid vector (representative feature vector) in the VQ space and the query frame image is defined as the VQ code m (t) for this frame image.
[0037]
[Expression 4]

[0038]
Input frame sequence during interval T up to time t with t ≧ T
[0039]
[Equation 5]

[0040]
The corresponding VQ code sequence is
[0041]
[Formula 6]

[0042]
It is. At this time, the corresponding reference frame sequence is as follows from equation (2).
[0043]
[Expression 7]

[0044]
At time t, there are K (m (t)) reference frames. This is a section of length T from tT to t, the horizontal axis is the frame number u of the reference moving image, and the vertical axis is the histogram h (t, u) of each reference frame (see FIG. 1). The statistic of how many times the seronoid number corresponding to the frame number has been hit is obtained.
[0045]
[Equation 8]

[0046]
[Equation 9]

[0047]
[Expression 10]

[0048]
When the next time t + 1 is reached, the frame window section is moved so as to decrease the histogram for the time t-T so far and increase the histogram at the new t + 1.
[0049]
(C) Clustering
Clustering is performed in frame units based on the histograms created so far. In the clustering in this embodiment, a section [Cmin, Cmax] larger than the set threshold (threshold) is detected as a cluster (see FIG. 1).
[0050]
In accordance with the above-described data series search method, an experiment of moving image search was performed using a personal computer. We used already captured and characterized moving images (both reference and query). The characterization method was a vector composed of 60 elements proposed by Ryukoku University. The number of centroids in the VQ space using TV broadcast images of 200,000 frames (2 hours) was 13,316.
[0051]
As a result of searching using the same query image as the reference moving image, at least the same section as the query could be detected in the reference moving image.
[0052]
(Embodiment 2)
In the above-described embodiment, since the sequentiality of frames is not taken into consideration, when a moving image in which the frame order of a part of a reference image is reversed is a query, the moving image of the part of the reference image Is obtained as a detection result. A second embodiment that considers the sequentiality of frames so as not to cause this will be described next.
[0053]
(1) Creation of histogram considering time order
A method of creating a histogram in consideration of the time order of frames is as follows. Regarding equation (7)
[0054]
[Outside 3]

[0055]
Instead of
[0056]
[Outside 4]

[0057]
Eq. (8) is taken into consideration.
[0058]
[Expression 10]

[0059]
here
[0060]
[Outside 5]

[0061]
Is as in equation (9).
[0062]
## EQU11 ##

[0063]
here,
[0064]
[Outside 6]

[0065]
[Expression 12]

[0066]
This is an expression.
[0067]
In the first condition,
[0068]
[Outside 7]

[0069]
If the cluster that existed at time t-1 extends in the direction of increasing time on the reference image, or if the cluster does not exist at time t-1 and can be the starting point
[0070]
[Outside 8]

[0071]
The other values are empty. In the first condition
[0072]
[Outside 9]

[0073]
Gradually, this time
[0074]
[Outside 10]

[0075]
Time of the last cluster
[0076]
[Outside 11]

[0077]
If there is something ahead of
[0078]
[Outside 12]

[0079]
And In the second condition, the value
[0080]
[Outside 13]

[0081]
[Outside 14]

[0082]
Is the time on the reference image that can be the starting point of the cluster, and the frame number on the histogram at time t-1
[0083]
[Outside 15]

[0084]
And up to two before the u axis,
[0085]
[Outside 16]

[0086]
This is a value that is true when the histogram values at are 0 respectively.
[0087]
It should be noted that, in the formula, as a condition for the cluster to grow, the histogram is again voted within the time 2 from the previous growing cluster, and as a condition for starting a new cluster, it is separated from the previous cluster by the time 2 or more. I am going to do that.
[0088]
(2) Clustering
At the time t when clustering for obtaining a reference moving image as a search result,
Of the above formula (10)
[0089]
[Outside 17]

[0090]
Search for non-empty (cluster continues to grow)
In histogram
[0091]
[Outside 18]

[0092]
Previously has a non-zero interval continuously over a certain interval Tc (eg, 1/4 of T for histogram creation)
[0093]
[Outside 19]

[0094]
Search for.
[0095]
Applicable
[0096]
[Outside 20]

[0097]
The start time of the non-zero interval corresponding to
[0098]
[Outside 21]

[0099]
Are the start time and end time of the cluster, respectively.
[0100]
(3) Search result display method of video search application
A display example of the search result of the moving image is shown in FIG. Non-empty clustered with the above method
[0101]
[Outside 22]

[0102]
Are all displayed.
[0103]
The result at time t is assumed to be clustered by the above two methods. Not empty at next time t + 1
[0104]
[Outside 23]

[0105]
Can be newly requested. The difference from the clustering method is
[0106]
[Outside 24]

[0107]
Therefore, it corresponds to the corresponding result part already displayed.
[0108]
[Outside 25]

[0109]
Of these, the frame with the most advanced time is overwritten. The position to display corresponds to the origin of the stretched cluster, for example
[0110]
[Outside 26]

[0111]
The position of the image closest to (the latest image corresponding to the image
[0112]
[Outside 27]

[0113]
Remember). If this process is repeated, the search result when the query is sequentially input will be displayed as a moving image. At a certain time
[0114]
[Outside 28]

[0115]
If is empty, delete the image and not other empty
[0116]
[Outside 29]

[0117]
Re-layout with an image corresponding to.
[0118]
(Embodiment 3)
A data sequence search apparatus that searches (detects) a portion similar to a data sequence such as a moving image from a reference data sequence according to the data sequence search method described in the above embodiment will be described as a third embodiment. .
[0119]
FIG. 3 shows a system configuration of the third embodiment. Since the data sequence search apparatus is realized by a general-purpose personal computer executing a program described later, the description of the configuration of the personal computer will be kept simple.
[0120]
In FIG. 3, a CPU 10, a system memory 11, an input / output interface (I / O) 12, a hard disk storage device (abbreviated as HDD) 13, an input device 14 and an output device 15 are stored in the bus. A CDROM reader (not shown) is also connected to the bus.
[0121]
The CPU 10 executes the processing program shown in FIG. Further, system control is performed according to an operating system (OS).
[0122]
The system memory 11 loads a program to be executed by the CPU 10 and temporarily stores input / output data for the CPU 10. Data to be output to the output device 15 (display device in this example) is also temporarily stored in the system memory 11.
[0123]
A moving image to be searched, that is, a moving image of a query is input from an external device such as a video camera via the I / O 12. The HDD 13 stores a program data series search program for OS for storage purposes. As the input device 14, a pointing device such as a mouse and a keyboard can be used. From the input device 14, an operation instruction to the CPU 10, in the case of this embodiment, an instruction to start a data series search program is input. The output device 15 outputs the search result. In the present embodiment, a display device is used as the output device 15, but a printer or a communication device can also be used.
[0124]
  It is assumed that the reference moving image to be searched is sequentially input via the I / O 12. Further, it is assumed that a plurality of sets obtained by collecting a plurality of centroids, that is, frame numbers having similar image characteristics by the above-described quantization, are stored in the HDD 13 in the form of a table. In the table, as shown in FIG. 4, the frame number of the frame image included in the centroid is described for each centroid number. In addition, a frame image representing the centroid corresponding to each centroid number (representative feature)point) Feature data is also described in the table. Hereinafter, this table is referred to as a reference table.
  The data sequence search operation of the system of FIG. 4 will be described with reference to FIGS.
[0125]
  FIG. 5 shows a main processing procedure of the data series search program, and FIGS. 6 to 8 show details of individual processing in the main processing procedure. The processing program of FIG. 5 is loaded from the HDD 13 to the system memory 11 in response to a user's activation instruction from the input device 14 and is loaded into the CPU 1.0It is executed by.
[0126]
When the program shown in FIG. 5 is started, the CPU 10 inputs a query moving image from an external device via the I / O 12, characterizes it in the same manner as before, and stores the characterized feature data in the system memory 11. Temporarily store (step S10). Next, the CPU 10 fetches a predetermined number from the top of the query moving image into the buffer (in the system memory) used as a frame window, for convenience of explanation, three frame images (step S20).
[0127]
Next, the CPU 10 sets the first frame image number of the captured three frame images as a distance calculation target (step S30). The CPU 10 acquires the centroid number of the representative feature data in which the feature of the first frame image is at the shortest distance by calculating the feature data distance (step S40). This process will be described in detail later using FIG.
[0128]
For example, when the centroid number 1 is acquired, the CPU 10 refers to the reference table, and acquires the frame numbers (hereinafter abbreviated as reference frame numbers) of reference moving images included in the set of centroid numbers 1. For example, if the set of centroid numbers 1 includes reference frame numbers 1 to 5, the variables storing the histogram values (scores) for each reference frame number are each incremented by one. In this example, the respective values of the histograms with reference frame numbers 1 to 5 are incremented from the initial value 0 to 1 (step S60).
[0129]
Next, the CPU 10 changes the frame number of the query from the first frame number to the second frame number, and detects a centroid number having representative feature data similar to the feature data of the frame number (step S60 → S30 to S40).
[0130]
When the reference frame number in the set of detected centroid numbers is acquired from the reference table, all histogram values corresponding to the reference frame number are incremented by 1 (step S40). In this manner, the processes in steps S30 to S60 are repeated to detect a centroid similar to the feature data of the three queries stored in the buffer and the reference frame number included in the centroid. Further, the value of the histogram of the reference frame number is incremented (see FIG. 1).
[0131]
When the histogram is calculated for the three frame images stored in the buffer, the CPU 10 returns the procedure to step S10, and performs FIFO (first in first out) of the buffer. Specifically, the stored contents of the buffer are forwarded, the first stored data is discarded, and the new next data, in this case, the feature data of the frame image of the fourth query is stored in the buffer (step S70). → S75 → S10). Thereafter, the CPU 10 repeats the procedure of steps S30 to S60 to detect the centroid number having the representative feature data of the shortest distance for each of the feature data of the second to fourth frame images. Further, the reference frame number included in the centroid is detected, and the value of the histogram is incremented.
[0132]
When the above processing is completed for all the frame images of the query moving image, the CPU 10 detects a continuous section of the reference frame image in the mountain portion where the histogram value is equal to or greater than the threshold in the distribution of the histogram value. (Cluster part in FIG. 1).
[0133]
Since the continuous section on the time axis of the detected frame image is given in the form of a reference frame number, the CPU 10 outputs the reference frame number at the start of the continuous section and the final reference frame number from the output device 15.
[0134]
Details of the shortest distance centroid number detection process in step S40 of FIG. 5 will be described with reference to FIG.
[0135]
In FIG. 6, the CPU 10 sets the centroid number to the initial value 1 (step S100). Next, representative feature data corresponding to the set centroid number is acquired from the reference table. The distance between the acquired representative feature data and the query-side feature data is calculated by a calculation method similar to the conventional method (step S110).
[0136]
When the distance calculation result is obtained, it is compared with the minimum distance calculation result obtained so far. If the distance calculation result is the first time, a large value may be initially set in advance in step S100 as the minimum value obtained so far. As a result, the distance calculation result for the feature data of centroid number 1 is temporarily stored in the system memory 11 as the minimum distance calculation result so far (steps S120 → S130).
The CPU 10 returns the procedure from step S140 to step S100, updates the centroid number to the next number, in this case “2”, and calculates the distance between the representative feature data of centroid number 2 and the feature data on the query side. To do. The distance calculation result is compared with the minimum value obtained so far, and if the newly obtained distance calculation result is smaller than the previous minimum value, the newly obtained distance calculation result is To the minimum value obtained. The centroid number used at this time is temporarily stored in the system memory 11 in an updated manner. As described above, when the procedure of steps S100 to S140 is repeated to repeat the distance calculation up to the last centroid number, the centroid number when the minimum distance calculation result is obtained is temporarily stored in the system memory 11. Will be.
[0137]
The histogram creation process in step S50 of FIG. 5 will be described with reference to FIG. In FIG. 7, since the centroid number detected by the above-described centroid number detection process is temporarily stored in the system memory 11, a reference table is referenced and a histogram of reference frame numbers included in the set indicated by the centroid number The addition value is set to “1” for the value of “5”, and the addition value “0” is given to the histogram values of other reference frame numbers (step S210).
[0138]
In this embodiment, the reference frame number is updated from the reference frame number 1 to the final number (step S200), and the histogram value addition processing is performed collectively (loop processing of steps S200 to S230). The added histogram value is temporarily stored in the system memory 11 in association with the reference frame number.
[0139]
With reference to FIG. 8, a description will be given of a process of detecting a reference moving image portion that matches (including similarities) with the query image of FIG. For convenience of explanation, it is assumed that the histogram shown in FIG. 1 has been created. The processing procedure of FIG. 8 uses a flag. This flag indicates whether the reference frame number that is equal to or greater than the threshold value in the histogram distribution is on / off. More specifically, in the histogram distribution, when the value of the histogram exceeds the threshold value at Cmin in FIG. 1, the flag remains on, and when Cmax falls below the threshold value, the flag is turned off. Therefore, the reference frame number when the flag is switched from OFF to ON is the start frame number of the search result, and the reference frame number when the flag is switched from ON to OFF is the final frame number of the search result.
[0140]
The CPU 10 sets the reference frame number to the initial value “1” and the flag to the initial value off (step S300). The histogram value of the set reference frame number is read from the system memory 11 and compared with a predetermined threshold value. In the example of FIG. 1, since the value of the histogram of the reference frame number 1 is “0”, a NO determination (the histogram value (score) is smaller than the threshold value) is obtained in the comparison determination in step S310.
[0141]
For this reason, the procedure proceeds from step S310 to step S311 and it is determined whether or not the flag is on. This determination process is a determination process for detecting a portion where the value of the histogram distribution is switched from a portion larger than a threshold value to a smaller portion, that is, a final frame number portion. Since the flag is off, the determination result is NO (reference frame number 1 is not the final frame number).
[0142]
Therefore, the procedure proceeds from step S311 to S340 to S300, and the reference frame number to be processed is updated to “2”. As is apparent from FIG. 1, since the value of the histogram of the reference frame number 2 is “0”, the procedure proceeds along the route of steps S300 → S310 → S311 → S340 → S300. This procedure path is repeated until the reference frame number to be processed arrives at the reference frame number Cmin whose histogram value exceeds the threshold value.
[0143]
When the reference frame number to be processed is updated to Cmin, the determination result is YES in the comparison determination process with the threshold value in step S310. Subsequently, it is confirmed that the flag is off by the current flag determination process. As a result, the procedure proceeds in steps S310 → S320 → S330, where the flag is changed from OFF to ON. Further, Cmin is registered in the system memory 11 as the start frame number of the search result, and the frame length of the inspection result portion is initialized to the value “1”.
[0144]
The procedure proceeds from step S330 to S340 to S300, and the reference frame number to be processed is updated to Cmin + 1. As shown in FIG. 1, since the value of the histogram at this frame position is larger than the threshold value, the determination result in step S310 is YES. Since the current flag is on, the procedure proceeds from step S310 to S320 to S325, and the value "1" is added to the length "1" of the search result part so far, and the frame length of the search result part is "2". Is updated.
[0145]
Thereafter, in the histogram distribution of FIG. 1, the procedure path of steps S300 to S325 → S340 → S300 is repeatedly executed until the reference frame number to be processed is Cmax, and the length of the search result portion is counted.
[0146]
When the reference frame number to be processed becomes Cmax + 1, the histogram value in the histogram of FIG. 1 is equal to or less than the threshold value, and thus the procedure proceeds along the path of steps S300 → S310 → S311. Since the flag is on, the determination process in step S311 is YES, that is, the determination of the end of the peaks in the histogram distribution is obtained. In the present embodiment, the determination process of step S312 is provided for noise removal, and when the length of the peak of the histogram distribution on the time axis (continuous length of the reference frame) is equal to or greater than the threshold value, the reference frame Are confirmed as search results. In this example, since the determination process in step S312 is YES, the value obtained by subtracting the numerical value 1 from the current reference frame number (Cmax + 1) is registered in the system memory 11 as the end frame number of the continuous part. Further, the flag is turned off (steps S312 to S314).
Thereafter, the CPU 10 detects the start and end positions (reference frame numbers) of the peak portions of the histogram of FIG. 1 while updating the reference frame number to be processed according to the above-described processing procedure (step S300).
[0147]
The start number and end number of the detected reference frame are output as a search result for the query. In the processing procedure described above, the method of the first embodiment is realized by software. In the second embodiment, the sequentiality of the frames of the histogram is confirmed using the equations (9) to (11). A processing procedure may be performed and no detailed description will be required.
[0148]
In addition to the above-described embodiment, the following embodiment can be implemented.
[0149]
1) In the first embodiment, the condition for detecting the peak portion of the histogram is
(A) Histogram value is greater than or equal to threshold value
(B) The length of the mountain is greater than or equal to the threshold value
(C) The histogram distribution curve is continuous.
However, different detection conditions may be determined depending on the application.
[0150]
For example, instead of the above (c), when two peaks are detected, if the distance between the end position of the previous peak and the start position of the subsequent peak is equal to or less than the threshold value, the two peaks are continuous. It is also possible to set a condition such as Further, if the threshold value used in (a) and (b) is variably set by inputting from a keyboard or the like, the user can adjust the search accuracy.
[0151]
2) The search result is output in a method of outputting the reference frame start number and end number in the form of characters, a method of outputting the reference frame start number and the number of reference frames thereafter in the form of characters, May be determined as appropriate according to the application such as a method of displaying a graphic in the form of a histogram distribution curve, a method of displaying a reference partial moving image between the reference frame start number and the end number on the display screen.
[0152]
3) In the present embodiment, a moving image has been described as an example of a data series. However, for other data series, for example, a signal or data series whose values continuously change, such as audio data or analog or digital signal waveforms. The present invention can be applied.
[0153]
4) The feature data stored in the frame window is updated each time a frame image of the query image is input. Therefore, it is preferable to calculate the distance between the feature data newly stored in the frame window and the feature data of the representative point of the reference table and store the distance calculation result in the system memory 11. Thus, while the feature data is stored in the frame window, the distance calculation using the feature data need not be performed each time, and the distance calculation result temporarily stored in the system memory 11 can be used. Thereby, distance calculation time can be shortened. Also, although the feature data of the query image newly stored in the frame window changes, the difference value between the feature data at the previous time and the feature data at the current time is obtained, and this difference value is used to calculate the previous distance. By calculating a correction value for the result, the distance calculation time can be shortened.
[0154]
5) The storage medium for recording the processing program of FIG. 5 can be an IC memory such as ROM or RAM, a fixed storage device such as a hard disk, a portable recording medium such as a floppy disk or MO. Further, it goes without saying that even if a processing program recorded on such a recording medium is compressed or encrypted, it corresponds to the recording medium defined in the present invention. Furthermore, when the processing program of FIG. 5 is downloaded from an external device to a data sequence search device via a communication network such as a telephone line or a communication cable such as RS232C, the processing program of FIG. A storage device for storing the processing program corresponds to the recording medium of the present invention.
[0155]
6) The above-described embodiment is an embodiment for explaining the present invention. Even if various modifications are made to the above-described embodiment, the modified embodiment is a technology described in the claims of the present application. If it matches the idea, the improved form would infringe the patent right.
[0156]
【The invention's effect】
In the present invention, in a data series in which data is continuous in time series, it is rare that the value of the data changes suddenly, and the reference data series is constructed by focusing on the fact that the data characteristics change partially. A plurality of reference data is classified into a plurality of sets. In addition, representative reference data representing each set is prepared. The distance between the representative reference data and each data of the data series on the query side is calculated. Conventionally, since the distance between each reference data in the reference data series and each data on the query side has to be calculated, the number of distance calculations is greatly reduced in the present invention. Further, when a set having representative reference data similar to the query image is detected, the reference data included in the set is acquired in a time-sequential manner, thereby obtaining reference data for a portion similar to the query. It can be a search result in the series.
[0157]
Further, by examining the sequentiality of the data in the obtained search results, it is possible to exclude a partial reference data series in which the data arrangement order is reverse to the query data series from the search results. .
[0158]
Furthermore, using a statistical method with a short calculation time as information processing such as histogram distribution, apparently a partial reference data series with continuous time axis from a plurality of reference data scattered in one or more specific sets Can be created.
[0159]
As a result, the calculation time of the distance calculation is shortened, so that it is possible to search the data series (symbolized data series) of the sequentially input query in frame-wise and real-time.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram for explaining a data series search method according to a first embodiment of this invention;
FIG. 2 is an explanatory diagram illustrating an output example of a search result according to the second embodiment of this invention;
FIG. 3 is a block diagram showing a system configuration according to a third embodiment of the present invention.
FIG. 4 is an explanatory diagram showing an example of a reference table in which frame numbers of reference data included in each centroid are written.
FIG. 5 is a flowchart showing the contents of a processing program executed by CPU 10;
6 is a flowchart showing the contents of a processing program executed by CPU 10. FIG.
FIG. 7 is a flowchart showing the contents of a processing program executed by CPU 10;
FIG. 8 is a flowchart showing the contents of a processing program executed by CPU 10;
[Explanation of symbols]
10 CPU
11 System memory
12 I / O
13 HDD
14 Input device
15 Output device

Claims

In a data series search device that gives a data series in which each data is continuous in time series as a query, and searches a reference data series for locations similar to the data series,
Classifying each of the plurality of reference data constituting the reference data series in advance, preparing a plurality of sets of reference data groups having similar features as one set and representative reference data representing each set; A storage unit that stores in advance a position on the time axis of reference data and representative reference data included in each set in association with each of the plurality of sets;
Input means for inputting a data series of the query;
First information processing means for detecting, for each of a plurality of pieces of data constituting the input query data series, a set having representative reference data closest to the distance;
Based on the position on the time axis of the reference data included in the detected one or more sets, the reference data are included in the detected one or more sets and are composed of continuous reference data on the time axis. And a second information processing means for acquiring the partial reference data series, wherein the acquired partial reference data series is used as a search result for the data series of the query.

A data series search method for providing a data series in which values of each data are continuous in time series as a query, and searching for a location similar to the partial data series in a reference data series,
Each of a plurality of reference data constituting the reference data series is classified, a plurality of sets having a reference data group having similar features as one set and representative data representing each set are prepared in advance. In association with each of the plurality of sets, the position on the time axis of the reference data included in each set and the representative reference data are stored in advance in the storage means of the data processing device,
A first step in which the information processing means included in the data processing device detects a set having representative reference data with the closest distance for each of a plurality of data constituting the data series of the query;
The information processing means is included in the one or more detected sets and is continuous on the time axis based on the position on the time axis of the reference data included in the detected one or more sets. A second step of obtaining a partial reference data series composed of reference data;
The comprising, data sequence search method the acquired partial reference data sequences you characterized in that the search result for the data series of the query.

3. The data sequence search method according to claim 2, wherein in the second step, the information processing means finally selects a partial reference data sequence having further sequentiality from among the partial reference data sequences continuous on the time axis. A data series search method characterized in that it is obtained as a simple search result.

3. The data series search method according to claim 2, wherein in the first step , the information processing means has the representative reference data every time representative reference data whose distance is closest to the query data is detected. give a score for the reference data in the set, in the second step, a histogram distribution said information processing means is arranged score of each said reference data on the time axis, to the created histogram distribution A data sequence search method characterized in that a continuous partial reference data sequence is acquired based on the data sequence.

3. The data sequence search method according to claim 2, wherein the data processing device further includes a display unit, and the information processing unit includes the searched partial reference data sequence for the data sequence input as a sequential query. , a recording medium, characterized by further comprising a third step of displaying on the display means by sequentially overwriting the most time with advanced frame.