JPH0256069A

JPH0256069A - 動画検索装置及び動画処理装置

Info

Publication number: JPH0256069A
Application number: JP63206307A
Authority: JP
Inventors: Yoshihiro Shima; 嶋　好博; Hisamitsu Kawaguchi; 川口　久光
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1988-08-22
Filing date: 1988-08-22
Publication date: 1990-02-26
Anticipated expiration: 2013-12-09
Also published as: JP2834148B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は動画像の処理装置及び処理方法における動画の
探索装置並びに場面を単位として属性を付与した動画探
索方法に関する。

〔従来の技術〕

従来、動画をシーケンスの途中において視聴者が選択す
る方法において、特許出願公開昭６０−１２８８２号公
報において論じられてい゛る。二の動画の選択における
欠点としては、動画のシーケンスの途中で設定している
分岐点は予め決められているものであり、視聴者が動画
の内容を基に任意に設定することはできない。従って、
ｉ！！択する画面は固定的であり、視聴者が情報を入手
したいテーマに関連した画面を選択することはできない
。

〔発明が解決しようとする問題点〕

上記従来技術は、視聴者が入手したい情報が含まれてい
る場面を自動的に設定する手段について配慮がされてお
らず、動画の分岐点は予め番組を製作する時点で固定的
に決められているものであるため、視聴者が所望の場面
を検索することはできなかった。

本発明は、視聴者の所望する場面を動画の中から自動的
に検出することを目的としており、所望の動画の場面を
検索する装置を提供することを目的とする。従って１本
発明によれば１例えば、光ディスクに格納されているビ
デオ教育番組、映像会議などから所望の動画の場面を容
易に検索することができ１例えば、指定した人物が登録
する場面のみを検索することができる。また、動画のな
かで、音声の大きい場面のみを探索し表示することもで
きる。このため、利用者が主体的に膨大な動画情報から
所望の情報を容易にかつ効率的に入手することができる
。

〔議題を解決するための手段〕

上記目的を達成するために、動画を構成要素に分解し、
場面ごとに属性を付与し、画面と関連する他の場面を登
録し、場面を単位として所望の動画を探索するものであ
る。

〔作用〕

動画探索装置は特定の動画を探索するように動作する。

それは、動画の場面の特徴を自動的に抽出し、所望の特
徴を有する場面に属性を付与することになるので、視聴
者が任意に所望する場面を探索しかつ表示することがで
きる。

〔実施例〕

以下、本発明の一実施例を第１図により説明する。本図
は動画検索装置の構成を示す図である。

利用者側に設置されている動画像表示端末１００は、計
算機１０１に接続されており、検索した動画を表示する
。計算機１０１は、動画の場面を探索する動画像探索装
置１０２．及び利用者側に設置されており動画を記憶す
る装置として磁気ディスク１０３．光ディスク１０４を
それぞれ制御している。中央側にある大規模な動画検索
装置とは、通信制御装置１０５，１０６を会して情報の
送受を行なっている。中央側には、同じく、計算機１０
７が設定されており、動画像探索装置１０８、磁気ディ
スク１０９，１１０，１１１及び光ディスク１１２，１
１３，１１４を制御する。なお。

本図では、利用者側と中央側にそれぞれ動画像探索装置
１０２，１０８が設定されているが、他の実施例として
は、一つの動画探索装置から構成される動画探索装置が
ある。

第２図は、動画像探索装置！１０２の構成を説明する図
である。動画は場面を単位として処理され、場面の属性
を登録する場面属性登録部２００と。

指定した属性をもつ場面を検索する場面検索部２０１と
、場面の属性を更新する場面属性更新部２０２よりなる
。

第３図は、場面検索部２０１の一実施例の構成を示す図
である。当該場面検索部では、場面を単位として属性が
文字列として付与されており、属性として指定された文
字列を有する場面を検索する。検索属性テーブルメモリ
３００には、場面ごとに属性が格納されており、これら
の属性は場面の位置をアドレスとして読み出すことがで
きる。

文字列照合部３０１では、属性として与えられている文
字列と、指定文字列設定部３０２で与えられた文字列と
の文字ごとの照合を行う。そして。

照合結果格納部３０４には、指定した属性を有する場面
の抽出結果を格納する。ここには、場面の位置を示す番
号が格納される。照合制御部３０３は、検索属性テーブ
ルメモリ３００や指定文字列設定部３０２などの全体の
流れを制御する。なお。

場面検索部では、場面ごとの属性として１文字列で表現
されるもの１例えば、場面の登録人物や場面を文字列で
表現したキーワード群があるが、それ以外に場面の特徴
を数値で表現したものも属性として付与することができ
、指定した範囲内に特徴量がある場面を検索することも
可能である。

第４図は場面属性登録部２００の一実施例の構成図であ
る。当該場面属性登録部では、動画の時間軸における変
化量を算出し、変化の大きい画面を場面の開始あるいは
終了画面となるよう自動的に場面を抽出し登録する１画
面変化量算出部４００は、動画像の時系列データにおけ
る前後の時刻の画像を比較し画像データの変化量を算出
する。前後の時刻の画像を比較する簡単な方法としては
画像の差分を求める方法がある。フレーム送出制御部４
０１は、動画像のデータの送出動作を制御する。比較部
４０２では、所定変化量設定部４０３で設定された値と
算出した画面の変化量の値との大小を比較し１画面の変
化量が所定の値より大きれば、フレーム番号レジスタ４
０４に画面の番号が設定される。これらの番号は場面の
開始及び終了を示す位置情報として、場面検索に用いら
れる。

第５図は場面属性登録部の他の実施例を説明する図であ
る。当該場面属性登録部では、音声データを基に動画像
の登場人物を識別し、その人物名を場面の属性として登
録する。音声分離部５００では、音声デーラダから背景
音を除去し音声を分離する。話者識別部５０１では、予
め登録音声設定部５０２で設定している特定の話者の音
声の特徴を基準にして話者の識別を行う。さらに、話者
統合部５０３では、複数回登場する同一話者を場面ごと
に統合し、話者の名称を属性として場面単位に記録する
。

第６図（ａ）は動画像の場面を管理するためのテーブル
の説明図である。動画データが格納されているファイル
２１３には複数の動画が存在する。

それぞれの動画には番号ｊに付けており、例えば。

動画の１番は第６図（ｂ）のファイル６１０に格納され
ており、動画のｊ番はファイル６１１に格納され、動画
のＪはファイル６１２に格納されて号の項６００に示す
ように、場面ごとに（ｊ）。

２Ｆ）ｌ　・・・・・・＋　　ｉ　　（ｊ）　＋　・・
・・・・、　　Ｉ　　（ｊ）と場面場号が付与されてい
る。それぞれの場面には、６０１の項目で示すフレーム
番号の開始点の番号６０２と終了点の番号６０３が設定
されることになる。例えば、場面番号ｉ　（ｊ）６０４
は、ｊ番の動画の中でｉ番目の場面を示しているが、そ
の開始フレーム番号は５ｉ（ｊ）では、その終了フレー
ム番号をＥｉ（ｊ）で表す。このようにして、動画像の
場面を番号で管理することができる。

第７図（ａ）は、場面の属性を格納するテーブルであり
、第・３図の検索属性テーブルメモリに、この内容が格
納されることになる。場面番号の項目７００には、７０
２．７０３．７０４で示すように場面番号１　（ｊ）−
２（ｊ）ｔ・・・　Ｉ　（ｊ）が格納されており、各場
面番号に対応してキーワードの項目７０１に示す文字列
が格納されている。

また、場面を管理する他の実施例としては、動画は場面
を単位としてトリー状に論理構造を表現することができ
、節点で構成要素を構成要素間のリンクで親子関係をそ
れぞれ示す。例えば第７図（ｂ）に示すように、動画７
１０が大きく７１１の部分動画と７１２の部分動画に分
かれ、７１２の部分動画は、７２３で示す場面ｎ４にリ
ンクしている。また、部分動画７１１は部分動画７１４
と７１３から構成されており、部分動画７１３はさらに
部分動画７１５と７１６で構成されている。

７２０で示す場面番号ｎ１は部分画像７１４とリンクさ
れており、７２１で示す場面番号ｎ２は部分動画１１２
１に、７２２で示す場面番号ｎ３が部分動画１１２２に
リンクされる。このようにトリー状に場面を管理するこ
とにより、論理構造の内１例えば、映像議事録の結論部
分の場面のみを検索するこや、ビデオ教育講座において
、背景説明の場面を検索するこが可能である。

第８図は場面を管理する他の実施例を説明する図である
。ここでは、テーマ別に複数の動画番組にまたがって、
場面を管理するテーブルを示している。このテーマ別場
面テーブルの８００はテーマ番号の項目であり、８０３
，８０４にそれぞれテーマを示す番号が付与されている
。このテーブルの項目８０１には動画番号が設定されて
いる。

また、項目８０２には場面番号が設定されている。

動画番号の項目８０１には、動画番号ｊが設定され、さ
らに、その動画の場面番号ｉが８０６の欄に設定されて
いる。本テーマ別場面テーブルを探索することにより指
定したテーマに関連した場面を検索することができる；
また、テーマ番号ごとに、テーマを表すキーワード群を
文字列として用意しておき、テーマと類似した別のテー
マ番号を決定し、類似の場面を探索、表示することがで
きる。このように、当該テーブルでは、指定したテーマ
ごとに、異なる動画番組の場面番号が格納されることに
なるため、あるテーマに関連した場面や、或いは、ある
テーマに類似した場面を検索することができる。

第９図は音声を利用した動画探索装置の構成図である。

動画表示端末９００は、検索の条件を指定するとともに
検索結果である動画を画面に表示する。動画表示制御部
９０１は、動画表示端末９００の動画を制御するもので
１通常計算機等で構成される。音声出力装置９０２は、
検索した動画に対応する音声を出力する装置であり１通
常電気音響変換素子から構成されている。音声出力制御
部９０３は、音声出力装置を制御する部分である。動画
像データファイル９０４は、検索対象である動画データ
が格納されている。また、動画に対応した音声データが
音声データファイル９０５に格納されている。当該の音
声を利用した動画探索装置では、音声強度識別部９０６
において、音声データの強度を抽出し、一定強度以上の
音声が存在する場面を取り出す。また、指定音声識別部
で９０７では、音声データから指定した音声が発声され
た場面を抽出する。これらの場面は、場面位置登録部９
０８において、場面番号が登録され、場面検索部９０９
における場面の検索にこの登録した場面番号が用いられ
る。この音声を利用した動画探索装置によって、例えば
、視聴者がスポーツ番組のビデオを観戦する場合におい
て、音声強度の強くなった場面のみを自動的に登録する
ととができるため、興味深い場面のみをスキップしなが
ら動画番組を見ることができる。また、予め指定した登
場人物の名前が呼称された場面のみを見ることもできる
。

第１０図は映像の会議を記録し、その映像の議事録を作
成する装置の構成である。動画像入力部１００１では、
動画をテレビカメラから入力する。

また１画像表示部１００２では、映像議事録を表示した
り、所望の議事録の内容を検索する。音声入力部１００
３は、マイクロフォン等から構成されており、発言した
音声を入力する。また、音声出力部は音声データを出力
する６文書入力部１００５は、映像会議において配布す
る文書をイメージデータとして入力する。また、静止画
出力部１００６は配布された文書を紙面に印刷するイメ
ージ出力装置である。動画像データファイル１０２には
、映像会議の動画像データが格納されている。また、音
声データファイル１０２１には。

映像会議での発言内容が音声データとして格納されてい
る。さらに、静止画データファイル１０２２には、映像
会議で配布された文書イメージなどの静止画データが格
納されている。映像議事録編集部１０２３では、動画の
特定場面を抽出し、要約し、また特定の登場人物の発言
内容を抽出する。また、映像議事録登録部１０２４では
、動画の特定場面を登録する。また、映像議事録検索部
１０２５では、所望の議事録の内容をもつ場面を検索す
る。また１通信制御装置１０１７と１０１８を介して動
画像、音声、静止画の各データを相互に送受することが
できる。映像会議の相手先には、同じく、動画像入力部
１０１１、画像表示部１０１２．音声入力部１０１３、
音声出力部１０１４、文書入力部１０１５．静止画出力
部１０１６がそれぞれ設定されている。当該映像議事録
作成装置では、映像会議の内容を要約し、特定場面を抽
出し映像議事録を作成することができる。従って、指定
した登録人物のみの発言を映像議事録として聞くことが
できる。また、特定場面のみを表示することができるた
め、容易に所望の情報を入手することができる。

〔発明の効果〕

本発明によれび、動画を構成要素である場面に分解し、
場面ごとに検索のための属性を付与することができるの
で所望の特徴を有する場面を検索することができる。ま
た、関連する場面を登録することができるので、指定の
テーマに関連した場面を探索、表示することができる。

さらに、動画像から音声データ、画像データの特徴を基
にして自動的に属性を付与するため、視聴者の個人の要
望に合致した場面を検索し、所望の情報を入手すること
ができる。

【図面の簡単な説明】

第１図は本発明の一実施例の動画検索装置の構成を示す
図、第２図は動画像探索装置の構成図。第３図は場面検索部の構成図、第４図は場面属性登録部
の一実施例の構成図、第５図は場面属性登録部の他の一
実施例、第６図は場面別フレーム番号テーブルの説明図
、第７図は場面属性の格納方法を説明する図、第８図は
テーマ別に場面を管理′スるテーブルの説明図、第９図
は音声利用動画探索装置の構成図、第１０図は映像議事
録作成装置の構成図、である。符号の説明１０１・・・・・・動画像表示端末、１０２・・・・・
・動画像探索装置、１０４・・・・・・光ディスク、２
００・・・・・・場面属性登録部、２０１・・・・・・
場面検索部、２０２・・・・・・場面属性更新部、３０
０・・・・・・検索属性テーブルメモリ、４００・・・
・・・画面変化量算出部、５０１・・・・・・話者識別
部、８００・・・・・・テーブル番号、９０６・・・・
・音声強度識別部、１０２０・・・・・・動画像データ
ファイル、１０２０・・・・・・音声データファイル。１０２２・・・・・・静止画データファイル、１０２３
・・・・・・映像議事録編集部。第呂第２目（り第、５′″図第目（ふり第フ図

Claims

【特許請求の範囲】１、動画を構成要素に分解し、場面ごとに属性を付与し
、画面と関連する他の場面を登録し、場面を単位として
所望の動画を探索する動画検索方法。２、動画を格納している記憶装置と動画を表示する表示
装置とより成る動画処理装置において、特定の動画を探
索する動画像探索装置を設けたことを特徴とする動画検
索装置。３、特許請求の範囲第２項記載の動画処理装置において
、動画を場面を構成要素として操作する手段と、場面の
相互の関係を構成要素をノードとするネットワークで表
現する手段と、動画に場面を単位として属性を付与する
手段とを有する動画検索装置。４、特許請求の範囲第２項記載の動画処理装置において
、場面の先頭位置を登録する手段と、当該先頭位置を順
次読み出す手段と、当該先頭位置を基に動画を格納して
いる記憶装置より動画を読み出す手段と、前記記憶装置
よりの読出し途中において新たに場面の先頭番地を更新
する手段とを具備し、場面を単位にして動画をスキップ
しながら表示することを特徴とする動画検索装置。５、特許請求の範囲第２項記載の動画検索装置は、場面
の属性を登録する場面属性登録部と、所望の場面を検索
する場面検索部と、登録した場面の属性を更新する場面
属性更新部とを有することを特徴とする動画探索装置。６、特許請求の範囲第５項において、上記場面属性登録
部は、動画像データより画像フレームの変化量を算出す
る画面変化量算出部と、所定値を記憶する所定値記憶部
と、該所定値と画面変化量とを比較する比較部と、画像
フレームの送出を制御するフレーム送出制御部と、場面
の開始と終了を示すフレームの番号を格納するフレーム
番号レジスタとを具備することを特徴とする動画探索装
置。７、特許請求の範囲第５項において、上記場面属性登録
部は、動画像データと並置して格納されている音声デー
タより音声を分離する音声分離部と、予め既知の音声の
特徴を登録する登録音声設定部と、音声の発声源を識別
する話者識別部と、場面を単位として発声源を登録する
話者統合部とを具備することを特徴とする動画探索装置
。８、特許請求の範囲第３項記載の動画検索装置において
、複数の動画を識別するための動画番号を設定する手段
と、該動画ごとに場面を識別するための場面番号を設定
する手段と、該場面ごとにフレームの開始位置と終了位
置とを示すフレーム番号をそれぞれ設定する手段とを具
備することを特徴とする動画検索装置。９、特許請求の範囲第３項記載の動画検索装置において
、場面ごとに属性を付与する手段と、指定した属性と類
似もしくは合致する場面を探索する手段とを具備するこ
とを特徴とする動画検索装置。１０、特許請求の範囲第３項記載の動画検索装置におい
て、テーマごとに関連する動画番号ならびに場面番号を
格納する手段と、指定したテーマと類似もしくは合致す
るテーマを探索する手段と、該テーマと関連する場面を
読み出す手段とを具備することを特徴とする動画検索装
置。１１、特許請求の範囲第５項において、上記場面属性登
録部においては、動画像データより広告画面等の指定場
面の開始位置と終了位置とを抽出する部分と、当該場面
の開始と終了を示すフレームの番号を格納する部分とを
具備することを特徴とする動画探索装置。１２、特許請求の範囲第２項記載の動画処理装置におい
て、フレーム間の動き量を検索する手段と、該動き量に
応じてフレームをスキップする量を算出し格納する手段
と、動画を当該スキップ量を基にスキップしながら表示
する手段とを具備し、動きの少ないフレームでは大きく
フレームをスキップして表示することを特徴とする動画
検索装置。１３、特許請求の範囲第２項記載の動画処理装置におい
て、動画中の音声の強度を識別する手段と、指定した音
声を音声データ中から識別する手段と、指定した範囲の
音声強度を有する場面を登録する手段と、指定した音声
を有する場面を登録する手段とを有することを特徴とす
る動画検索装置。１４、特許請求の範囲第２項記載の動画検索装置は、動
画の特定場面を抽出し、要約する動画像要約編集部と、
要約した動画を登録する動画要約登録部とを有し、登録
した動画要約を検索することを特徴とする動画探索装置
。