JPH06101018B2

JPH06101018B2 - 動画像データベースの検索

Info

Publication number: JPH06101018B2
Application number: JP3242329A
Authority: JP
Inventors: 岡幹博井; 川雅人黒
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1991-08-29
Filing date: 1991-08-29
Publication date: 1994-12-12
Anticipated expiration: 2009-12-12
Also published as: US5892520A; JPH05108730A

Description

【発明の詳細な説明】

【産業上の利用分野】本発明は、利用者がマウス等のデ
バイスの空間的な位置を変化させて入力した動きの情報
を検索条件として用いて、動画像の一部分を検索するシ
ステム及び方法に関する。

【０００２】

【従来の技術】従来、蓄積された動画像の中からその一
部分であるところのシーンを検索するための方式とし
て、図１に示す如く、検索条件をキーワードで記述する
方式が知られている。その方法によれば、ある動画像
(フレーム列)を動画像データベース１２に蓄積する一
方、キーワードを使った検索を念頭において、各シーン
の内容を記述し(ステップ１０)、そのシーンの格納アド
レスとともに、内容の記述を予め文字数値データベース
１１に登録しておく。検索時には、キーワードを含む検
索条件を入力し(ステップ１３)、キーワードと文字数値
データベース１１に蓄えられた記述とのマッチングが実
行される(ステップ１４)。マッチしたシーンの表示は、
動画像データベース１２の、当該シーンの格納アドレス
をアクセスすることによって行われる(ステップ１５)。
しかしながら、この方法には、以下に述べるような問題
点が存在する。

【０００３】まず、人間が動画像を見て、内容を言葉で
記述しなければならない。これは、多大な労力を要す
る。また、すべての動画像を１人の人間が見るわけでは
ないので、内容記述に個人差ができ、内容の不偏性及び
客観性において問題がある。さらに、利用者は、内容記
述者でない場合が一般であるので、利用者の要求とデー
タベースの記述が一致しない場合が多く存在する。これ
は、検索のヒット率の低下を招く。

【０００４】そこで、シーンの内容記述に代えて、動画
像に登場する物体の動き情報に対して検索を試みる研究
がなされている。特開平１ー２２４８７５号公報の動画
像情報検索方式では、動画像に登場する物体の物理的な
状態をデータベースに蓄積し、特定の物体の状態変化を
記述する論理的な条件式を使って検索を試みようとする
ものである。物体の状態変化とは、具体的には物体の２
次元座標の時系列であり、それが動き情報データベース
に蓄積される。利用者は、検索条件を言葉で表現すれば
よく、検索条件は自動的に条件式に変換され、条件式に
合致する状態変化をする物体を含むシーンが検索され
る。しかしながら、利用者は物体の動きを言葉または論
理的な条件式で表現しなければならないが、それは困難
である。

【０００５】例えば、時刻t1に画面上のある座標(x1,y
1)にあった物体Ｓが時刻t2に座標(x2,y2)へ曲線を描い
て移動したシーンを、精度よく検索したい場合には、２
つの時刻での時間、位置及び物体がその間を移動したと
いう条件を入力するだけでは足りない。移動途中の位置
や速さも表現しなければならないが、それを利用者が文
字数値で表現しつくすことはほとんど不可能である。

【０００６】また、この公報の方式では、物体の名前を
検索条件において特定しなければならない。したがっ
て、物体が登録されている名前を正確に知らなければ、
検索に失敗するという問題点もある。

【０００７】さらに、この公報では、動き情報として、
画面上に登場する物体の２次元座標をフレームごとに抽
出することが提案されているけれども、自動抽出の手法
は提示されていない。たとえ、検索者が所望の動きを計
算機に伝える環境が整ったとしても、検索の対象となる
動きの情報を動画像から抽出するのに多大な労力をかけ
ていたのでは、実用的であるとはいい難い。

【０００８】

【発明が解決しようとする課題】したがって、本発明の
目的は、動画像の検索を行なう際に、利用者が意図した
動きを検索条件として入力することを可能にし、もって
検索の自由度を高めることである。本発明の他の目的
は、物体の名前を知らなくても、動きを条件とする検索
を可能にすることである。本発明のさらに他の目的は、
動きを条件とする検索の前提となる動き情報データベー
スの構築に自動化手法を導入することによって、人間の
労力を軽減するとともに、蓄積される動き情報の内容の
客観性を確保することである。

【０００９】

【課題を解決するための手段】図２は、本発明の処理と
データの流れを示したものである。動画像は、動画像デ
ータベース２２に蓄積される一方、画像処理によって動
画像から物体の動きの情報が抽出され、動き情報データ
ベース２１に蓄積される。

【００１０】動き情報の抽出(ステップ２０)は、次の３
つの段階Ａ、Ｂ、Ｃからなる。Ａ：フレーム列で構成される動画像を、所定の基準
にしたがって、オリジナルよりも短いフレーム列である
部分動画像に分割する。シーンチェンジを分割の基準と
するのが一般的である。

【００１１】次のＢ、Ｃは、部分動画像ごとに実行され
る。ステップＣは省略してもよいけれども、検索の効率
を考えるなら、これを実行するのが好ましい。

【００１２】Ｂ：まず、画面をブロックに分割し、
その動きを追跡することによって、動きベクトル列を発
生させる。次に、類似した挙動を示す動きベクトル列を
統合することによって、物体の動きを代表するベクトル
列を自動的に生成する。１つの代表動きベクトル列につ
き生成されるデータは、フレーム間変位(代表動きベク
トル)の時系列のほかに、動きの開始フレームの番号、
動きが継続しているフレームの数及び開始フレームでの
動きの開始点の座標値が含まれる。

【００１３】Ｃ：次に、代表動きベクトル列データ
を、フレームのサンプリング間隔よりも長い時間間隔で
サンプリングして、動きインデックスを生成する。１つ
の動きインデックスについて生成されるデータは、各々
が当該サンプリング間隔内の動きを表わすベクトルの時
系列のほかに、動きの開始時間、動きの継続時間及び動
きの開始点の座標値が含まれる。

【００１４】部分動画像の識別子、動画像データベース
２２における該部分動画像の格納場所を示すデータ及び
動きインデックスの３者を関連づけて記憶装置に蓄積す
ることによって、動き情報データベースが構築される。

【００１５】動きを条件とした検索を実行するために、
利用者がその空間的な位置を変化させることのできるデ
バイスを使用する。利用者は任意の位置から別の任意の
位置まで該デバイスを移動させることによって、所望の
動きの始点の位置、終点の位置、移動中の位置、及び要
した時間を検索条件として入力する(ステップ２３)。動
く物体の名前を入力する必要はない。計算機に入力され
た条件は表示装置のスクリーンに表示される(ステップ
２４)。これによって、条件の確認、条件の再入力、編
集を行うことが可能になり、より自由度の高い検索を行
なうことができる。入力された条件と動き情報データベ
ース２１に蓄えられた動きのデータとの間でマッチング
が実行され、各シーンの入力条件との類似度が判定され
る(ステップ２５)。その結果、類似度の高いシーンから
順に表示される(ステップ２６)。

【００１６】

【実施例】

１．動き情報の抽出及び動き情報データベースへの蓄積以下では、図２のステップ２０の詳細を、図３に示す処
理の流れにしたがって説明する。

【００１７】ａ）動画像の入力(ステップ３１) まず、動画像を、蓄積媒体から処理装置に入力する。動
画像がアナログ信号で蓄積されているならば、予めそれ
をディジタル信号に変換する処理が必要である。

【００１８】動画像の動画像データベース２２への蓄積
方法は、本発明の要旨に関係しないので、詳細な説明は
省略する。ただ、動画像データベース２２がどのよう
な記憶装置を使ってどのように構築されようとも、本発
明は実施可能であることに留意されたい。画像データの
みならず、絵に同期している音声データ、時間データな
どが動画像データベース２２に含まれていて差し支えな
いし、データが適当に圧縮されていても差し支えない。

【００１９】実施例では、動画像データベース２２に蓄
積されている任意のフレームの画像データにアクセスす
るときに、フレーム番号から動画像データベース２２に
おける当該フレーム画像の格納アドレスを生成する。フ
レーム番号から格納アドレスへの変換方法は、表を用い
てもよいし、特願平３ー１５６２１４号に開示された方
法を使って、フレーム番号から画像データの格納アドレ
スを算出してもよい。

【００２０】ｂ）シーンチェンジの検出(ステップ３２) 次に、動画像のシーンチェンジを検出する処理が実行さ
れ、各シーンの開始フレーム番号及びフレーム数が出力
される。本実施例では、シーンチェンジから次のシーン
チェンジまでを１つの期間として、期間ごとに物体の移
動軌跡を求める。シーンチェンジを検出する技術として
は、例えば特開平３ー７３０７６号公報に開示されてい
るような、公知の技術を用いることができる。

【００２１】ｃ）動きベクトル列の生成(ステップ３３) 以下の処理は、シーン毎に実行される。まず、図４に示
すように、処理対象のシーン(注目シーン)の開始フレー
ムを複数の等しい大きさのブロックに分割する。ブロッ
クの大きさは、通常8x8画素乃至32x32画素である。

【００２２】次に、ブロックごとに、現在のフレームと
直前のフレームを比較して、ブロック間の誤差が最小に
なるベクトルを探索し、そのようなベクトルが発見され
たなら、直前のフレームにおける当該ブロックの画面上
の位置と発見されたベクトルとから現在のフレームにお
ける当該ブロックの画面上の位置を算出することを反復
する。実施例では、誤差を下記の式(1)で定義する。

【００２３】 ΣΣ{Si(x-dx, y-dy) - Si-1(x,y)}**2 (1) ここで、x,yは画面の座標であり、Si-1(x,y)は第i-1フ
レーム(直前フレーム)における座標(x,y)の画素値であ
り、Si(x,y)は第iフレーム(現在フレーム)における座標
(x,y)の画素値である。**2は二乗を意味する。式(1)のd
x,dyに様々な値を代入してこれを評価し、評価結果を最
小にする２次元ベクトル(dx,dy)をもって、ブロックの
動きベクトルとする。dx,dyに代入する数値の範囲は適
当に定めることができる。

【００２４】第iフレームでは、ブロックBjは(x+dx,y+d
y)に移動しているので、座標位置(x+dx,y+dy)を新しい
座標位置(x,y)として第iフレームと第i+1フレームの間
で同様の処理を施し、それらフレーム間での動きベクト
ル(dx,dy)を探索する。

【００２５】この処理の結果、図５に示すような、画面
のxy軸と時間軸tを持った３次元空間（Spatio-temporal
space:以下ではST空間と呼ぶ）における、注目ブロッ
クの注目シーンを通しての動きベクトルの列(線)が得ら
れる。生成された動きベクトルの列のうち、xy平面に投
影した動きの存在範囲が小さすぎるもの及び動作時間が
短すぎるものは棄却し、有効な動きを表わすベクトル列
だけを残す。

【００２６】なお、物体の中には、１つのシーンの途中
から画面に登場するものもある。そのような物体に対処
するために、実施例では、M(2以上の所定の数)フレーム
毎にxy平面上のブロックの分布をチェックして、ブロッ
クの空白領域があれば、そこに新しいブロックを生成す
る。新しく生成されたブロックを追跡すれば、途中から
登場する物体に関する動きベクトル列を生成することが
できる。

【００２７】ｄ）代表動きベクトル列の生成(図３のス
テップ３４) 一般に、１つの物体は画面で複数のブロックを占めるの
で、１つの物体に関して複数の動きベクトル列が生成さ
れる。そして、同一の物体に関して生成された動きベク
トル列は類似の挙動を示す。そこで、類似の挙動を示す
ベクトル列を統合して、その物体に関する１つないしは
数個の代表動きベクトル列を生成する。そのためには、
ブロックの動きベクトル列間の距離を導入する必要があ
る。実施例では、動きベクトル列間の距離を下記の式で
定義する。 Σ{(xik-xil)**2 + (yik-yil)**2} (2)

【００２８】ここで、xik, yikは、それぞれ第iフレー
ムにおけるブロックBkのx座標、y座標である。また、xi
l, yilはそれぞれ第iフレームにおけるもう一つのブロ
ックBlのx座標、y座標である。フレーム番号iの存在領
域、つまり距離計算を行う範囲は、２つのブロックの動
きベクトル列がオーバーラップして存在する区間とす
る。

【００２９】上記式(2)で計算されたブロックの動きベ
クトル列間の距離に基づき、公知のクラスタ分析技術を
適用することにより、互いの距離が短い、つまり類似の
挙動を示すブロックの動きベクトル列を１つのベクトル
列にまとめることができる。例えば、図５に示す４つの
動きベクトル列は、図６に示す１つのベクトル列にまと
められる。このようにして生成されたベクトル列を、代
表動きベクトル列と呼び、代表動きベクトル列を構成す
る個々のベクトル(フレーム間変位)を、代表動きベクト
ルと呼ぶことにする。１つの代表動きベクトル列に関し
て出力されるデータは、動きの開始フレーム番号fs、動
きの継続フレーム数fn、開始フレームでの動きの開始点
の座標値(x0,y0)、及びその座標値を起点とする終止フ
レームまでの代表動きベクトルの列(dxi,dyi) i =
0,..,fn-1 、である。以後、fsとfnは時間としての概念
ts(開始時刻)とtl(動きの継続時間)に置き換えて説明す
る。

【００３０】なお、１つの物体の動きから、複数の代表
動きベクトル列が得られることがあることに注意された
い。例えば、図７を使って模式的に説明すると、物体Ｐ
が破線で示す位置から実線で示す位置まで１８０度回転
した場合には、２つの代表動きベクトル列ＡとＢが得ら
れる。

【００３１】ｅ）動きインデックスの生成及び登録(図
３のステップ３５、３６) 次に、実施例では、後述の検索処理の効率化のため、フ
レームのサンプリング間隔よりも長い時間間隔Tintで代
表動きベクトル列のデータをサンプリングする。その結
果生成される粗いベクトル列を動きインデックスと呼ぶ
ことにする。動きインデックスのデータは、以下の３種
類のデータよりなる。(1)開始点座標(Isx,Isy)、(2)開
始時刻及び動きの継続時間(Its,Itl),(3)Tint時間内の
代表動きベクトルの総和の時系列 (Iv0, Iv1,...., Iv
n, ただしIvk=(Ixk,Iyk)）である。ここで、 Isx = x0, Isy = y0; Its = ts/Tint, Itl = tl/Tint; Ixk = Σ dxi (3) Iyk = Σ dyi である。

【００３２】代表動きベクトル列のフレーム間変位の時
間間隔は、フレームのサンプリング間隔に一致し、通常
は三十分の一秒程度である。しかしながら、動きは滑ら
かに変化する場合が多く、それを知覚する人間側の感覚
も数十分の一秒という単位では働いていない。したがっ
て、より粗い時間間隔でリサンプリングしたデータだけ
を使用しても、検索という目的からは不都合はなく、か
つマッチングのコスト低減にもなる。そこで、実施例で
は、図８に模式的に示すように、シーンごとに、シーン
番号、シーンの開始フレーム番号、及びそのシーンから
抽出された動きインデックスを、動き情報データベース
２１に登録する。なお、動き情報データベース２１が具
体的にどのような媒体を使う記憶装置上で実現されるか
は、設計事項にすぎないので、説明を省略する。

【００３３】２．動きを条件とした検索以下では、図２のステップ２３、２４、２５及び２６の
詳細を、図９に示す処理の流れにしたがって説明する。ａ) 検索条件の入力(ステップ９１) 人間が見る実際の動画像は２次元上のものであり、また
計算機が処理できる動画像も２次元情報である。そこ
で、実施例では、検索条件の入力のために、図１０に示
すように、ディスプレイ画面１００上に２次元のパネル
１０１領域を設定し、利用者に適当なデバイスを動かし
てそこに所望の動きを描いてもらうことにする。本発明
の場合、動きはベクトル列として表現しているため、利
用者はパネル１０１上に線を描くことになる。パネル１
０１にはカーソル(図示せず)を表示し、デバイスの動き
に合わせてカーソルの位置をパネル１０１上にエコーバ
ックする。計算機側では、パネル１０１上でのカーソル
の、移動開始点の座標と、移動中の一定の時間ごとの座
標をセンスする。この結果、動作時間と動作中の一定時
間おきの座標値が条件として入力される。

【００３４】b) 機械による検索条件解釈結果の表示及
び編集(ステップ９２) デバイスを動かして検索条件を入力する場合、利用者が
考えている条件と機械が解釈した検索条件に差が生じる
ことがある。また、複数の検索条件を入力する場合に
は、２つ以上の時系列ベクトル間の時間的な関係(前後
関係等)を考慮する必要があり、複数の条件を同時に指
定することは難しい。したがって、個々の条件を入力し
た後に、その時間的な前後関係や時間の長さの修正等を
インタフェースを介して行い、その結果をプレイバック
して確認するという対話編集機能が必要となる。図１０
及び図１１に対話編集機能の例を挙げる。ここでは、動
きがスクロールバー１１０によって象徴され、その先端
位置が動きの開始時刻を示し、その長さが動きの継続時
間を示している。したがって、スクロールバー相互の位
置関係は対応する条件(動き)の時間的な前後関係を示
す。このスクロールバー１１０の長さを変更したり位置
を動かすことによって、利用者は、検索条件であるとこ
ろの動きの動作時間の長さ、つまり動きの速度を修正し
たり、動き同士の間の前後関係を表現したりすることが
できる。

【００３５】具体的には、ボタン１１１、１１２はスク
ロールバー１１０の位置を動かすボタンであり、ボタン
１１１をピックすれば、スクロールバー１１０を所定単
位時間分前に動かすことができ、ボタン１１２をピック
すれば、スクロールバー１１０を所定単位時間分後に動
かすことができる。また、ボタン１１３、１１４は、ス
クロールバー１１０の長さを変えるボタンであり、ボタ
ン１１３をピックすれば、スクロールバー１１０を前に
所定単位時間分延すことができ、ボタン１１４をピック
すれば、スクロールバー１１０を後に所定単位時間分延
すことができる。ディスプレイ画面１００上でスクロー
ルバー１１０の上には、"Play S"ボタン１０６と"Play
A"ボタン１０７がある。ボタン１０６をピックすれば、
現在編集中の動きがパネル１０１上に線１０４として再
生される。具体的には、物体を象徴する小円１０３が、
修正された速さで動き、その軌跡が線１０２として表示
される。また、ボタン１０７をピックすれば、現在編集
中の動きのすべてが、編集されたとおりの速さ及び前後
関係でパネル１０１上に再生される。その他、編集用ボ
タンとして、入力された動きをキャンセルするための"R
etry"ボタン１０４、動きを追加するための"Add"ボタン
１０５、編集作業を終了するための"Exit"ボタン１０８
が用意されている。利用者は、これらのボタンを使った
編集操作の繰り返しによって、パネル１０１上に疑似的
な動画像であるところの検索用シーンを作り上げる。

【００３６】上述の入力及び対話編集の結果、パネル１
０１上に作られた疑似的な動画像(検索用シーン)中の動
きを表わす、開始時刻、動作時間及び時系列の座標デー
タが得られる。それらデータを時間間隔Tintでリサンプ
リングすることによって、検索用動きデータを生成す
る。

【００３７】c) マッチング処理(ステップ９３) ステップ９２までの処理で、検索用シーンの動きに関す
る記述は、動画像データベース２２に蓄積されたシーン
中の動きのそれと同じ形のものとなる。本ステップで
は、それらを用いて、出力候補を決定する。以下、その
ための手順を説明する。

【００３８】蓄積されたあるシーンの持つ動きインデッ
クス集合を(SV0,SV1, ...),検索用シーンの持つ動きイ
ンデックス集合を(QV0, QV1, ...)とする。各々の動き
インデックス V は、下記のデータの集合である。 V =(Isx, Isy, Its, Itl, M), M = ( Iv0, Iv1,...., Ivn) (4) ここで Isx,Isyは開始点座標、Its,Itlは開始時刻及び
動きの継続時間,(Iv0,Iv1,....,Ivn, ただしIvk=(Ixk,
Iyk) ) はTint時間内の変位である。

【００３９】簡単のために、検索用シーンに含まれる動
きが一つの場合を例にとって説明する。以下の各式にお
いて、検索用シーンの持つ動きに関するデータは先頭に
Qを付け,蓄積シーンの動きに関するデータはSを付けて
表記する。(例.検索側の開始点座標:QIsx, QIsy) 以下
では、検索用シーンに含まれる動きを検索側動きと呼
び、蓄積されたシーンに含まれる動きを蓄積側動きと呼
ぶことにする。

【００４０】図１０に示す検索インタフェースで作成さ
れた動きのデータは、利用者が"時間tlの間にあるもの
がこの場所からこのように動いた" ということをベク
トル列の形で表現したものと考えられる。この中で提示
されている制約条件は、(1)時間(時間t軸上の位置)、
(2)位置(xy平面上の位置)、(3)動き(ベクトル列)の３種
類である。検索側動きと蓄積側動きの距離dが、以下に
示す手法にしたがって計算され、その結果に基づいて、
両者の類否が判定される。

【００４１】(i) 位置や時間に関しての制約条件が利
用者に意識されている場合 QIts及びSItsをST空間上の時間軸の原点に移動して、下
記の式(5)にしたがって距離dを計算する(図１２参
照）。

【数１】

【００４２】SItl > QItl または SItl < QItlのとき
の式(5)の左辺の定義は、（i）その場で棄却する(d =
無限大 ) (ii)時間的にオーバーラップしている部分の
みに対して計算する等が考えられる。どの定義を採用す
るかは応用事例による。

【００４３】(ii) 位置の制約条件が利用者に意識され
ていない場合例えば、利用者が図１３の動きＪと動きＫを区別しない
で検索したいときである。上記式(5)において位置を決
定する要因である蓄積側動き及び検索側動きのそれぞれ
のIsx,Isyを、ST空間の原点に持ってくることによっ
て、純粋に動き(ベクトル列)のみの比較を行う(図１４
参照)。この場合、式(5)においてSIsx, SIsy, QIsx, QI
syの項を取り去ってdを計算する。

【００４４】(iii) 時間(動きの速度)に関する制約条
件が意識されていない場合２つの動きを時間に関して整合させる。すなわち、SItl
とQItlの間での時間合わせを行う。この場合、単純に時
間を線形に変化させるのであれば、QItlの値をSItlに一
致するように伸長もしくは短縮し、それに合わせてベク
トル列QIvk=(QIxk, QIyk)からベクトル列QIvk'=(QIxk',
QIyk')を作り直す。また、非線型に時間の変形を許す
のであれば、公知のＤＰマッチング等の方法を用いて、
ベクトル列QIvk'=(QIxk',QIyk')をつくる。変形写像を
Ｆとすると、 QIxk' = Ｆ（QIx0, QIx1,.., QIxj ） (6) QIyk' = Ｆ（QIy0, QIy1,.., QIyj ） ( k' = 0,1,..., SItl, j = 0, ...., QItl) である。このようにして、QItlをSItlに合わせれば、距
離dは上記の式(5)で計算区間をSItlにして算出できる。

【００４５】(iv) 位置と時間に関する制約条件がどち
らも意識されていない場合図１５に示すように、位置と時間の両方に関して、検索
側動きを蓄積側動きに合わせる。

【００４６】以上のように、検索条件における位置や時
間に関しての曖昧さが存在する場合は、ST空間でのベク
トル列(線)の変形操作によって検索条件と動きインデッ
クスを比較可能な状態にし、距離を求める。この距離計
算を全ての蓄積されたベクトル列に対して行ない、距離
の小さなものから順にそのベクトル列を持つシーンを出
力候補とする。

【００４７】検索条件の曖昧さは、具体的事例によって
その度合が異なると考えられる。そこで、曖昧さを検索
時に陽に指定するインタフェースを用意することが好ま
しい。例えば、検索条件の時間または位置が不定である
ことを、利用者がメニューで指示できるようにし、シス
テム側はその指示に応じて、上記(i)乃至(iv)に示した
手法のいずれかで距離計算を行う。

【００４８】複数の検索条件を入力した場合も、上記と
同様の距離計算をすることによって、蓄積側動きと検索
側動きの対応付けられた組ごとに、距離尺度を設けるこ
とができる。ただし、この場合、組合せの数が多くなる
ことを考慮しなければならない。例えば、図１６に示す
例では、検索用シーンには、動き Q0, Q1 が含まれ、蓄
積されたシーンには動き S1, S2, S3 が含まれている。
何の条件もつけないなら、検索側の２つの動きと蓄積側
の２つの動きの組合せは下記のように１２通り考えら
れ、したがって距離計算を２４回実行しなければならな
い。

【００４９】 [1] (Q0, S0) [2] (Q0, S1) [3] (Q0, S2) [4] (Q0, S3) (Q1, S1) (Q1, S0) (Q1, S0) (Q1, S0) [5] (Q0, S0) [6] (Q0, S1) [7] (Q0, S2) [8] (Q0, S3) (Q1, S2) (Q1, S2) (Q1, S1) (Q1, S1) [9] (Q0, S0) [10] (Q0, S1) [11] (Q0, S2) [12] (Q0, S3) (Q1, S3) (Q1, S3) (Q1, S3) (Q1, S2)

【００５０】そこで、検索側動き間の時間的前後関係や
位置の情報を利用して、組合せの数を絞りこむ。まず、
時間的前後関係の利用について説明する。実施例では、
時間に関しての前後関係を記述する索引ファイルを、予
め同一のシーンにある動きインデックスの開始時刻SIts
の値に基づいて作成しておく。図１７に例示する動きイ
ンデックスS0, S1, S2, S3からは、図１８のような索引
ファイルが作成される。利用者が検索条件相互の時間的
前後関係を意識している場合には、その索引ファイルを
使って、検索条件と同じ時間的前後関係を有する、蓄積
側の動きインデックスの組を発見する。例えば、図１７
に示す検索側動きQ0とQ1の前後関係が意識されていると
する。前後関係を有する蓄積側動きインデックスの組
(対)は、図１８の索引ファイルから４個であることがわ
かる。よって、距離計算の対象になる検索側動きと蓄積
側動きの組合せは、以下に示す４通りに絞り込まれる。

【００５１】 [1] (Q0, S0) [2] (Q0, S0) [3] (Q0, S1) [4] (Q0, S1) (Q1, S2) (Q1, S3) (Q1, S2) (Q1, S3)

【００５２】次に、位置情報の利用について説明する。
実施例では、蓄積された動きインデックスの開始点(SIs
x,SIsy)が、画面を分割して設定された複数の領域のう
ちのいずれに存在するかを記述する索引ファイルを予め
作成しておく。例えば、図１９に示す動きS0, S1, S2,
S3からは、S0が領域R1に、S1とS3が領域R2に、S2が領域
R4に関連付けられることを示す索引ファイル(図２０)が
作成される。ここで、R1, R2, R3, R4は、xy平面を四等
分して設定された領域である。

【００５３】検索側動きの開始点座標が決定したなら、
その付近に開始点がある蓄積側動きのみを距離計算の対
象とすることによって、検索のコストを削減することが
できる。図１９に示す例において、検索側動きQ0とQ1の
位置が意識されているとする。Q0とQ1の開始点の座標(Q
Isx,QIsy)から、Q0が領域R1に関連付けられ、Q1が領域R
3に関連付けられることがわかる。したがって、索引フ
ァイル(図２０)を調べると、Q0と開始点が近い蓄積側動
きはS0であり、Q1と開始点が近い蓄積側動きは、S1とS3
であることがわかる。よって、距離計算の対象になる検
索側動きと蓄積側動きの組合せは、下記の２通りに絞り
込まれる。

【００５４】

【００５５】以上のようにして絞りこんだ組合せの各々
について、対応づけられたベクトル間の距離dを算出
し、その和を求める。そのようにして計算した和の最も
小さなものを、そのシーンを代表する距離とする。全て
のシーンに対して距離を計算した後、最も小さなものか
ら順に出力候補とする。

【００５６】d) 画像格納アドレスの生成(図９のステッ
プ９４) 対照表を使う等の、既述の方法によって、出力候補のシ
ーンの開始フレーム番号を、動画像データベース２２に
おける当該フレーム画像の格納アドレスに変換する。

【００５７】e) 候補シーンの表示(ステップ９５) ステップ９３で計算した距離の小さなシーンから順に、
ステップ９４で得られた格納アドレスをアクセスして、
その開始フレームの画像データを表示装置(図示せず)に
転送・表示する。利用者は、その開始フレーム(静止画
像)を見て、所望のシーンであるか否かを判断する。動
画像を見たいときは、後続フレームを順次再生すればよ
い。

【００５８】３．変形例以上、本発明を好適な実施例に即して説明したけれど
も、本発明の適用可能な範囲はこれに限られない。ま
ず、動きを入力するデバイスとして使用可能なものは、
マウスに限られない。その空間的な位置を変化させるこ
とにより利用者が動きを表現できるものであれば何でも
よく、例えばデータ・グローブを使ってもよい。

【００５９】シーンの検索において、従来のキーワード
検索を併用することも可能である。その場合、シーンに
付与された文字・数値ばかりでなく、検索しようとする
動きを持つ物体の、名前、色、形等の属性を指定しても
よい。もちろん、物体の色を言葉で指定する代りに、色
のメニューから選択してもよい。また、物体の形を指定
するのに、言葉ではなく、マウス等で輪郭を描いて指定
するようにしてもよい。

【００６０】上記実施例では、検索の効率の観点から、
代表動きベクトル列は捨てて、それを粗くリサンプリン
グした動きインデックスのみを動き情報データベースに
登録した。しかし、アプリケーションによっては、代表
動きベクトル列のレベルでのマッチングが必要となるこ
ともある。そのような場合には、代表動きベクトル列と
動きインデックスとを動き情報データベースに登録して
おき、まず、動きインデックスのレベルで粗くマッチン
グを実行し、マッチした候補についてさらに代表動きベ
クトル列のレベルでマッチングを実行して、出力候補を
決定すればよい。もちろん、動きインデックスを生成せ
ず、代表動きベクトル列だけを動き情報データベースに
登録し、代表動きベクトル列レベルのマッチングだけを
実行することは可能である。しかし、一般的に、検索コ
ストの点で、実施例の方式の方が有利である。

【００６１】また、上記実施例では、動き情報データベ
ースに、物体の動きを表わす時系列のベクトルを登録し
た。しかしながら、時系列のベクトルに代えて、物体の
位置の座標の時系列を登録してもよい。その場合、検索
条件が座標の時系列として入力されるなら、式(5)で定
義される距離に基づくマッチングを行うことができる。
なぜなら、式(5)の中で括弧でくくられた４つの項は、x
y空間の座標を表わしているからである。しかしなが
ら、検索条件の曖昧さに柔軟に対処するためには、実施
例のように、動き情報をベクトルの時系列の形式で蓄積
する方が有利である。

【００６２】また、図１９及び図２０を使って説明した
例では、画面を等しい大きさのブロックＲ１乃至Ｒ４に
分割して索引を作成したけれども、公知のkd-tree等の
手法を用いて、画面を蓄積データの分布に応じた可変ブ
ロックに分割して索引付けを行うことも可能である。

【００６３】

【発明の効果】以上、本発明は、人間にとって曖昧な動
きという情報を、デバイスの空間的な位置を利用者が変
化させることにによって、頭に思い描いたままに近い形
で入力することによって、動画像の一部分を検索する環
境を提供するものである。また、そのような検索の前提
となる、画面上に登場する物体の動き情報の自動抽出及
び抽出された情報の動き情報のデータベースへの蓄積方
法、入力された条件と動き情報データベースとのマッチ
ングの方法を併せて提供することによって、動きを条件
とした、利用者に優しく効率のよい動画像の検索を可能
とするものである。

【図面の簡単な説明】

【図１】従来の動画像検索技術における処理とデータの
流れを示すブロック図である。

【図２】本発明における処理とデータの流れを示すブロ
ック図である。

【図３】動き情報抽出処理の流れを示す図である。

【図４】動きベクトル生成処理におけるブロック及びそ
の動きを説明する図である。

【図５】ST空間におけるブロックの動きベクトル列を示
す図である。

【図６】ST空間における代表動きベクトル列を示す図で
ある。

【図７】回転物体から生成される代表動きベクトル列の
例を示す図である。

【図８】動き情報データベースの構成を説明する図であ
る。

【図９】検索処理とデータの流れを示すブロック図であ
る。

【図１０】検索条件の編集画面を示す図である。

【図１１】検索条件の編集画面の一部を示す図である。

【図１２】ST空間で蓄積された動きインデックスと検索
用インデックスの距離の定義の一例を説明する図であ
る。

【図１３】２つの動きのXY平面への投影図である。

【図１４】ST空間で蓄積された動きインデックスと検索
用インデックスの距離の定義の他の例を説明する図であ
る。

【図１５】ST空間で蓄積された動きインデックスと検索
用インデックスの距離の定義のさらに他の例を説明する
図である。

【図１６】検索用動きインデックスが複数個ある場合の
蓄積動きインデックスとの対応づけを説明するための図
である。

【図１７】検索用動きインデックスが複数個あり、かつ
それらの時間的前後関係を考慮に入れる場合の、蓄積動
きインデックスとの対応づけを説明するための図であ
る。

【図１８】蓄積動きインデックスの時間的前後関係を蓄
積する索引ファイルの構成を示す図である。

【図１９】検索用動きインデックスが複数個あり、かつ
それらの位置関係を考慮に入れる場合の、蓄積動きイン
デックスとの対応づけを説明するための図である。

【図２０】蓄積動きインデックスの位置関係を蓄積する
索引ファイルの構成を示す図である。

【符号の説明】

２０動き情報データベース、２１動画像データベ
ース

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平１−224875（ＪＰ，Ａ) 特開平１−53379（ＪＰ，Ａ) 特開平３−9393（ＪＰ，Ａ) 特開平５−46683（ＪＰ，Ａ) 特開昭64−12372（ＪＰ，Ａ) 特開平１−205271（ＪＰ，Ａ) 特開平３−52070（ＪＰ，Ａ) 特開平３−38775（ＪＰ，Ａ)

Claims

【特許請求の範囲】

【請求項１】(ａ)動画像を蓄積する手段と、 (ｂ)上記蓄積された動画像中に登場する物体の動きのデ
ータを、上記蓄積された動画像の該動きを含む部分にア
クセスするためのデータとともに蓄積する手段と、 (ｃ)空間的な位置を変化させることの可能な、所望の動
きを入力するためのデバイスと、 (ｄ)上記デバイスの位置の変化に応答して、動きのデー
タを生成する手段と、 (ｅ)上記手段(ｄ)の生成した動きのデータと上記手段
(ｂ)に蓄積された動きのデータとのマッチングを行う手
段を含む、動画像蓄積・検索システム。
【請求項２】生成された動きのデータを対話式に修正す
る手段を含む、請求項１記載のシステム。
【請求項３】上記手段(ｅ)によって入力した動きに類似
すると判定された動きを含む部分の動画像にアクセス
し、表示するための手段を含む、請求項１記載のシステ
ム。
【請求項４】蓄積された動画像からその一部分を検索す
るためのシステムであって、 (ａ)上記蓄積された動画像中に登場する物体の動きのデ
ータを蓄積するデータベースと、 (ｂ)空間的な位置を変化させることの可能な、所望の動
きを入力するためのデバイスと、 (ｃ)上記デバイス(ｂ)の空間的な位置の変化に応答し
て、動きのデータを生成する手段と、 (ｄ)上記手段(ｃ)の生成した動きのデータと上記動き情
報データベースに蓄積された動きのデータとのマッチン
グを行う手段を含む、動画像検索システム。
【請求項５】１つの動きに関して蓄積または生成される
データは、動きの開始時刻、動きの継続時間、画面上で
の動きの開始点の座標及び各々が所定時間内の動きを表
わすベクトルの時系列である、請求項４記載のシステ
ム。
【請求項６】上記手段(ｄ)は、入力した動きの曖昧さに
関する指示に応じて、マッチングの手法を選択する、請
求項４記載のシステム。
【請求項７】部分動画像に含まれる複数の動きの開始時
刻の前後関係を記述するファイルと、複数の動きが入力
されたことに応答して、上記ファイルにアクセスし、開
始時刻の前後関係が入力された動き相互の前後関係と同
じである同一部分動画像内の複数の動きを検索する手段
を含む、請求項５記載のシステム。
【請求項８】蓄積された動きの開始点が、画面を分割し
て設定された複数の領域のうちのどれに存在するかを記
述するファイルと、動きが入力されたことに応答して、
上記ファイルにアクセスし、開始点の存在する領域が同
じである蓄積された動きを検索する手段を含む請求項５
記載のシステム。
【請求項９】蓄積された動画像中に登場する物体の動き
のデータを、該動きを含む部分の動画像にアクセスする
ためのデータとともに蓄積する手段と、空間的な位置を
変化させることの可能な、所望の動きを入力するための
デバイスを備えた動画像処理システムにおいて、所望の
部分を検索するための方法であって、 (ａ)上記デバイスの位置の変化に応答して、動きのデー
タを生成するステップ、 (ｂ)上記生成された動きのデータと上記蓄積手段に蓄積
された動きのデータとのマッチングを行うステップ、及
び (ｃ)上記ステップ(ｂ)で入力した動きに類似すると判定
された動きを含む部分の動画像にアクセスし、表示する
ステップを含む、動画像検索方法。
【請求項１０】蓄積された動画像から所望の部分を検索
するために、動きを検索条件として入力するためのシス
テムであって、 (ａ)動きのデータを入力するための装置と、 (ｂ)スクロールバーの先端位置を動きの開始時刻に、ス
クロールバーの長さを動きの継続時間にそれぞれ対応さ
せて、入力された動きを表わすスクロールバーを表示す
る手段と、 (ｃ)スクロールバーの位置または長さを修正する手段
と、 (ｄ)スクロールバーの位置または長さの修正に応答し
て、対応する動きのデータを修正する手段を含む、入力システム。
【請求項１１】動きを再生する手段をさらに含む、請求
項１０記載のシステム。
【請求項１２】フレーム列によって構成される動画像か
らそれに含まれる動きの情報を抽出する方法であって、 (ａ)動画像を所定の基準にしたがってオリジナルのフレ
ーム列よりも短いフレーム列である部分動画像に分割
し、 (ｂ)部分動画像の各々について、 (ｂ１)その開始フレームを複数のブロックに分割し、 (ｂ２)分割されたブロックの各々について、現在のフレ
ームと直前のフレームを比較して、ブロック間の誤差が
最小になるベクトルを探索し、そのようなベクトルが発
見されたなら、直前のフレームにおける当該ブロックの
画面上の位置と発見されたベクトルとから現在のフレー
ムにおける当該ブロックの画面上の位置を算出すること
を反復することを特徴とする方法。
【請求項１３】所定フレームおきに、画面上でのブロッ
クの分布を調べ、ブロックの空白領域があれば、該空白
領域にてブロックを新しく生成するステップを含む、請
求項１２記載の方法。
【請求項１４】フレーム列によって構成される動画像に
登場する物体の動きの情報を蓄積する動き情報データベ
ースを構築するための方法であって、 (ａ)動画像を所定の基準にしたがってオリジナルのフレ
ーム列よりも短いフレーム列である部分動画像に分割
し、 (ｂ)部分動画像の各々について、 (ｂ１)その開始フレームを複数のブロックに分割し、 (ｂ２)分割されたブロックの各々について、現在のフレ
ームと直前のフレームを比較して、ブロック間の誤差を
最小にする当該ブロックの動きベクトルを探索し、動き
ベクトルが発見されたなら、直前のフレームにおける当
該ブロックの位置と該動きベクトルとから現在のフレー
ムにおける当該ブロックの位置を算出することを反復し
て、ブロック毎に動きベクトル列を生成し、 (ｂ３)類似する挙動を示す動きベクトル列を１つの動き
ベクトル列に統合し、 (ｂ４)上記ステップ(ｂ３)の結果生成されたベクトル列
を当該部分動画像の識別子と関連づけて記憶装置に蓄積
することを特徴とする方法。
【請求項１５】上記ステップ(ｂ３)において、生成され
たベクトル列をフレームのサンプリング間隔よりも長い
時間間隔でサンプリングすることを特徴とする、請求項
１４記載の方法。【０００１】