JPH05282380A

JPH05282380A - 動画像検索方法

Info

Publication number: JPH05282380A
Application number: JP4103977A
Authority: JP
Inventors: Hiroyuki Kimiyama; 博之君山; Tomoyuki Kiyosue; 悌之清末; Yuji Oba; 有二大庭
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1992-03-31
Filing date: 1992-03-31
Publication date: 1993-10-29

Abstract

(57)【要約】【目的】フレーム単語で人間に理解可能なインデック
スを付与し、そのインデックスを用いて任意の場面を検
索できるようにする。【構成】動画内容を表現する物理量を複数のカテゴ
リ、例えば「被写体の大きさ」とか「被写体の色」とか
に分類し、このカテゴリを表現するのに複数の単語、例
えば「大，中，小」，「赤，黄，緑，……」を入れた単
語データベースをあらかじめ作っておき、動画像を処理
して得られる物理量をもとに前記単語データベースの中
から複数の単語を計算機に自動的に選択させ、これを単
語フレーム単位で付与しインデックスとする。検索実行
時には、検索したい場面に相当する単語を入力して、一
致した動画像のフレームを候補画像とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像データファイル
から必要とする場面を検索し、頭出しする際用いる動画
像検索方法に関するものである。

【０００２】

【従来の技術】従来の動画像検索方法は、動画像ファイ
ル単位に手作業で付与されている代表画面を見たり、キ
ーワードを用いて必要な場面の入っていそうな動画像フ
ァイルを捜し出すファイル単位の検索である。このよう
に、ファイルを発見した後、ファイル中のある場面を検
索する場合、ファイルの先頭からそのファイルの中身を
見て必要な場面を見つけ出す方法で行われている。ま
た、図８のように、動画像ファイルの代表画面１に輝度
分布などの統計量の時間変化図形２を一緒に付与してお
き、その統計量を見てファイル中から必要な場面を探す
方法がある。

【０００３】

【発明が解決しようとする課題】このような従来の技術
では、動画像ファイルという複数フレーム単位でしか検
索ができない。前述した代表画面１を用いて細かい単位
で検索できるようにするためには、たくさんの代表画面
１を一度に見せて、その中からユーザに選択させるとい
う方法をとることになる。しかし、この方法で検索を行
う場合、目的の画像を得るために大量の代表画面１をユ
ーザは見なければならないので、大量の時間が必要とな
る。また、前述したキーワードを利用する場合、フレー
ム単位でキーワードを付与しなければならないので、付
与するのに多くの時間と人手が必要となる。

【０００４】本発明の目的は、フレーム単位で人間に理
解可能なインデクスを付与する方法とそのインデクスを
用いた検索方法を提供することによって任意の場面を検
索できるようにすることにある。

【０００５】

【課題を解決するための手段】本発明にかかる動画像検
索方法では、前記課題を解決するために、前処理として
動画像内容を表す物理量をあらかじめ複数のカテゴリに
分類しておき、そのカテゴリを表現するための基本的な
単語を複数定め、単語データベースとして用意してお
く。そして、動画像を単一フレームおよび前後フレーム
間で処理することによって生成される物理量をもとに、
前述した単語データベースの中から、各カテゴリについ
て自動的に選択させる。この作業を行った後、フレーム
単位にそれらの単語を動画像に付与する。この方法によ
って、フレーム単位に自動的にインデクスを付与するこ
とが可能となる。そして、検索時に、各カテゴリ毎に検
索したい場面を表している単語を単語データベースの中
から選択させ、選択された単語と同じ単語が付与されて
いるフレームを候補として提示させることによって、フ
レーム単位に検索するものである。

【０００６】

【作用】本発明においては、検索時に各カテゴリ毎に検
索したい場面を表している単語を直接または間接的に入
力するのみでよいので、人間によって行われてきた作業
を軽減することが可能となるとともに、動画像ファイル
中の任意の場所を検索しようとする場合にも、検索時間
が短縮される。

【０００７】

【実施例】以下に、本発明の動画像検索方法の一実施例
を示す。本発明の動画像検索方法は大きく分けて、検索
のためのインデクスとなる複数の単語を単語データベー
スから選択し付与する過程、その単語を用いて検索を行
う過程の２つからなる。

【０００８】最初に、単語の生成方法の一例を示す。こ
こでは、単語データベースの一例として、次のものを用
意しておく。「被写体の大きさ」、「被写体の色」、
「被写体の移動速度」、「被写体の移動方向」をカテゴ
リとして、それぞれのカテゴリに対して図７の単語を与
えておく。すなわち、図７の例では、「被写体の大き
さ」のカテゴリには「大，中，小」の３つの単語を用意
し、以下、同様に「複写体の色」に対しては「赤，黄，
緑，青，紫」を、「被写体の移動速度」に対しては「速
い，中速，遅い，静止」を、さらに、「被写体の移動速
度」に対しては「右，右上，上，左上，左，左下，下，
右下」を用意しておく。

【０００９】次に、計算機による単語の割り振り方法に
ついて述べる。上記のカテゴリが被写体に関するものな
ので、フレーム毎に被写体領域の抽出を行う。被写体領
域の抽出方法は、例えば、「動物体領域抽出に関する一
検討（１９９１年秋信学全大、Ｄ−２００，１９９
１）」等の方法で、先頭フレームについて被写体領域を
指定することによって行うことが可能である。これらの
方法によって領域抽出を行った後、抽出した領域の重心
座標、面積、幅、高さ、色相等の特徴量をそれぞれの領
域に対して求める。そして、このようにして求めた物理
的な特徴量をもとに単語の割り振りを行う。重心位置の
値を用いて被写体の移動速度と移動方向に関する単語を
割り振る方法の一例を図１を用いて説明する。はじめ
に、移動方向の決定方法として、まず、図１における後
フレーム１２，前フレーム１１の重心Ｐ₁₂，Ｐ₁₁を示す
座標ｘ_i+1 ，ｘ_i ．ｙ_i+1 ，ｙ_i から下記（１），
（２）式を用いて、ｄｘ_i とｄｙ_i をそれぞれ求め、ｄ
ｘ_i とｄｙ_i の符号によって移動方向の単語を決定す
る。

【００１０】

【数１】図１の例では、左下を座標原点とすると、ｄｘ_i ＞０，
ｄｙ_i ＞０となるので図７の「被写体の移動方向」の単
語のカテゴリの中から、“右上”という単語を割り振る
ことができる。移動速度は、（３）式を用いてｄｒ_i を
求め、そのｄｒ_i の値から「被写体の移動速度」に関す
る単語、例えば、“中速”を割り振る。

【００１１】

【数２】以下、同様に、色相データから色に関する単語、例え
ば、“赤”、面積から大きさに関する単語、例えば、
“中”を割り振る。

【００１２】次に、これらの単語を用いた検索方法の一
例を述べる。図２に以下に述べる検索手順のフローチャ
ートを示す。図２中、（１）〜（１０）は各ステップを
示す。検索手順は、まず、ユーザが検索したい動画像の
インデクスである単語を指定することから始まる。指定
の方法は、直接、単語を指定する方法（１），（２）
と、類似場面であるサンプル場面を指示して間接的に単
語を指定する方法（１），（９），（１０），（２）が
ある。単語を指定した後、ステップ（２），（３），
（４）の検索を開始する。データベース内の動画像に付
与されている単語と、ユーザが指定した単語が一致すれ
ば（５），（６）、その場面を候補の場面としてユーザ
に指示し（７）、その中に検索者の意図する場面が含ま
れていれば（８）、検索を終了する。

【００１３】図３に単語を指定するためのユーザインタ
フェースの一例を示す。図３において、２１は単語列指
定ウインドウ、２２は検索実行ボタン、２３はサンプル
場面表示ウインドウ、２４は検索結果表示ウインドウ、
２５は検索結果確認ウインドウである。図３のインタフ
ェースを用いて直接単語を指定する方法を以下に述べ
る。

【００１４】図４は、図３における単語列指定ウインド
ウ２１の拡大図である。図４において、２１１はポイン
ティングカーソル、２１２は単語指定のためのボタン表
示を示す。直接、単語を指定する場合、図４のように、
単語列指定ウインドウ２１中の検索したい場面を表現し
ている単語のアイコンの上にマウス等を用いてカーソル
を移動し、アイコンをクリックすることによって単語の
指定を行う。また、類似場面を用いた単語指定方法は、
図３のサンプル場面表示ウインドウ２３と前述した単語
列指定ウインドウ２１の２つのユーザインタフェースを
用いて行う。

【００１５】図５は、図３におけるサンプル場面表示ウ
インドウ２３の拡大図であり、２３１はコントロールパ
ネル、２３２はファイル名指定ウインドウ、２３３はサ
ンプル場面、２３４はスクロールバー、２３５は制御ボ
タンを示す。

【００１６】まず、図５のサンプル場面表示ウインドウ
２３中のファイル名指定ウインドウ２３２でファイル名
を指定し、コントロールパネル２３１中の再生ボタンや
早送りボタン、スクロールバー２３４でサンプル場面２
３３を表示させると、その場面に対応する単語が図４の
単語列指定ウインドウ２１に表示される。この単語列指
定ウインドウ２１に表示された内容が検索者の意図する
内容と異なる場合、図４のように、直接、単語を指定す
る場合と同様の方法で修正することが可能である。

【００１７】以上述べたように、単語を指定した後、図
３の中の検索実行ボタン２２上にマウスなどを用いてカ
ーソルを移動させ、その上でボタンをクリックすること
によって検索を開始する。検索方法は、単語列指定ウイ
ンドウ２１に表示されている単語と、画像データベース
中の画像に前述した方法であらかじめ付与しておいた単
語とを比較し、単語が一致した場面を図３のように検索
結果表示ウインドウ２４に表示する。図３の検索結果表
示ウインドウ２４に表示された場面を、さらに詳しく見
たい場合、検索結果表示ウインドウ２４中の見たい場面
上にカーソルをマウスなどで移動し、マウスのボタンを
クリックすることによってクリックした場面が、図３の
検索結果確認ウインドウ２５に表示される。検索結果確
認ウインドウ２５の拡大図を図６に示す。図中の再生ボ
タンや早送りボタン等によって結果の確認を行うことが
できる。もし、検索結果表示ウインドウ２４に表示され
た場面が意図した場面と異なる場合、図４のように単語
列指定ウインドウ２１で再度単語を指定し、検索を実行
し直すことによって目的の場面を検索することができ
る。

【００１８】

【発明の効果】以上詳細に説明したように、本発明は、
動画像内容を表現する物理量を複数のカテゴリに分類
し、これらのカテゴリを表現する単語が複数個入った単
語データベースを用意しておき、動画像を処理して得ら
れる物理量をもとに、単語データベースの中から複数個
の単語を計算機に自動的に選択させ、選択させた複数の
単語をフレーム単位で付与し、検索実行時に、ユーザに
単語データベースから検索したい場面に相当する単語を
選択させ、その選択させた単語と同じ単語が付与されて
いる動画像のフレームを候補画像として提示するように
したので、従来まで手作業で行ってきたインデクシング
作業の大部分を計算機に行わせることができるととも
に、任意の単位（例えばフレーム単位）でインデクスを
付与できるため、動画像ファイル中の任意の場面を検索
することが可能となる。

【図面の簡単な説明】

【図１】本発明における単語生成方法の説明図である。

【図２】本発明における画像検索のフローチャートの例
を示す図である。

【図３】本発明における画像検索のためのインタフェー
ス画面の例を示す図である。

【図４】本発明における単語列指定ウインドウの例を示
す図である。

【図５】本発明におけるサンプル場面表示ウインドウの
例を示す図である。

【図６】本発明における検索結果確認ウインドウの例を
示す図である。

【図７】本発明における被写体の内容を表現する物理量
のカテゴリと、これらのカテゴリを表現する単語とから
なるデータベースの一例を示す図である。

【図８】従来の統計量を用いた動画像表示の例を示す図
である。

【符号の説明】

１１前フレーム１２後フレーム２１単語列指定ウインドウ２２検索実行ボタン２３サンプル場面表示ウインドウ２４検索結果表示ウインドウ２５検索結果確認ウインドウ

Claims

【特許請求の範囲】

【請求項１】動画像内容を表現する物理量を複数のカ
テゴリに分類し、これらのカテゴリを表現する単語が複
数個入った単語データベースを用意しておき、動画像を
処理して得られる物理量をもとに、前記単語データベー
スの中から複数個の単語を計算機に自動的に選択させ、
選択させた複数の単語をフレーム単位で付与し、検索実
行時に、ユーザに前記単語データベースから検索したい
場面に相当する単語を選択させ、その選択させた単語と
同じ単語が付与されている動画像のフレームを候補画像
として提示することを特徴とする動画像検索方法。