JPH03292572A - 動画データ表示装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明（よ　動画データの表示装置　特に検索や編集時
にブラウジング（拾い読み）を行なう場合の動画データ
の表示装置に関するものである。

従来の技術 近低　光磁気ディスクなどの大容量の記憶媒体が実用化
され始めてきた　この大容量性を利用して、静止画デー
久　音声デー久　動画データなどのマルチメディアデー
タを有機的に組み合わせた対話型システムが普及しつつ
あム　また　教育やトレーニング向けの映像編集を行な
うオーサリングシステムも開発され始めへ　このような
システムで（よ　マルチメディアデー久　特に動画デー
タの検索とその提示が重要な課題となム　従来こういっ
たシステムで４ｉ　　希望するデータを取り出す機構と
して、キーワード検索やブラウジング（拾い読み）検索
をベースとした方式が用いられていも　キーワード検索
をベースにした方式（よ　ユーザは取り出したいデータ
を検索キーワードで入力し　この検索キーワードが付与
されているデータが表示されるものであも　また　ブラ
ウジングによる方式（よ　ユーザの指示によりデータそ
のものを個々に表示　もしくは複数個−覧表示するもの
である。通常ζよ　階層毎に分類されたデータやキーワ
ード検索で絞り込んだ後のデータを対象として行なう。

視感的に直接データが確認できるた数画像データの検索
としては優れた方式であ本発明が解決しようとする課題 こういったキーワード検索やブラウジング検索をベース
にしたシステムにおいて動画データを検索する場合、対
象となるデータ（よ　一般的にはユーザがデータ記録時
に識別可能な形で登録したあるまとまった単位のデータ
群（以下動画ファイルと呼ぶ）であも　つまり、この動
画ファイルに対してキーワードを設定し　検索された動
画ファイルを最初から順に再生させてい九　動画データ
の検索において（表　ユーザの要望するデータは動画フ
ァイルではなく、その中に含まれる特定のフレームであ
ることが多く、このた敢　従来のシステムではユーザが
必要フレームが見つかるまで眺めて待つ必要があった　
映像編集用のシステムなどは　編集処理の大半がこの必
要場面を捜す作業であること考えれば　上記した方法で
は非常に効率が悪（〜　この解決方法として（主　動画
ファイル内をブラウジングするためへ　予めブラウジン
グ時に使用するインデックス（見出し）フレームを指定
し　このインデックス画像を一覧表示することが考えら
れも　この方法によると、ユーザは動画ファイルの内容
をインデックス画像の一覧表示により容易に確認できる
カミ　問題点として（よ　予めインデックスフレームの
設定を行なう必要があり、オーサリングに非常に手間が
掛かるという点があった　一般的なテレビ動画でも１秒
間に３０フレームのデータ量があることを考えれは　長
時間の動画データを大量に扱うような場合に（よ　全て
の動画ファイルに上記したような設定を行なうのは実用
上不可能であん　この結果　動画ファイル内のブラウジ
ング（よ　結局は設定した幾つかのインデックス場面に
限定され　それ以外の部分については順次再生するしか
方法がなかった　本発明はかかる点に鑑へ　動画編集作
業等において効率的な作業を行うことのできる動画デー
タ表示装置を提供することを目的とすａ 課題を解決するための手段 上記問題点を解決するために　本発明で（上　映像デー
タカ（シーン毎に連続して撮影された複数のカット場面
（数秒以上）から構成される点に着目し　この個々のカ
ットでの映像を自動的に検出し　ブラウジング時におけ
るインデックス画像として利用するものであ４　構成と
してζよ　動画データの表示を指示する指示入力手段と
、動画データを記憶するデータ記憶手段と、前記データ
記憶手段から前記指示入力手段で指示された動画データ
を読み出すデータ読出手段と、前記読み出された動画デ
ータで場面切替が発生したフレームを検出する場面切替
検出手段と、前記検出された切替場面のフレームを管理
する動画インデックス管理手段と、前記動画インデック
ス管理手段で管理されるインデックス画像を表示する表
示手段を有する構成となっていも　また別の構成として
は　１カツトが数秒以上であることを考虜して、動画デ
ータの表示を指示する指示入力手段と、動画データを記
憶するデータ記憶手段と、前記データ記憶手段から前記
指示入力手段で指示された動画データを読み出すデータ
読出手段と、前記読み出された動画データで場面切替が
発生したフレームを検出する場面切替検出手段と、前記
検出された切替場面の前後いずれかのフレームを取り出
し　管理する動画インデックス管理手段と、指定期間の
フレームを場面切替検出処理の対象外とする処理フレー
ム判別手段と、前記動画インデックス管理手段で管理さ
れるインデックス画像を表示する表示手段を有し　動画
インデックス管理手段でインデックス画像を取り出した
樵　一定期間のフレームを場面切替検出処理の対象外と
させる構成とすることもできも 作用 上記の構成により、本発明ではシステム側で場面切替の
発生したフレームを自動的に検出し　場面切替前後のい
ずれかのフレームをインデックス画像として一覧表示さ
せることができも　この方法により、従来の方法では不
可能であったインデックスフレーム指定の無い動画ファ
イルのブラウジングが可能となム　しかｋ　−覧表示さ
れるインデックス画像が動画ファイル内の異なるカット
からの画像であり、ユーザは一見してどういったシーン
を含む動画ファイルであるか判断しやす（〜また　オー
サリング装置としてみれは　このような動画データ表示
装置を利用することを前提とすれｃＬ　　従来動画ファ
イル毎に行なっていたインデックスフレームの指定作業
を省くことができ、オーサリング作業を簡易化すること
ができも実施例 第１＠　第６図は本発明の一実施例における動画データ
表示装置のブロック図であａ　第２図は第１図の動画デ
ータ表示装置の動作を示すフローチャートであム　第７
図ＣＬ　　第６図の動画データ表示装置の動作を示すフ
ローチャートであａ　まず、第１図に示す実施例につい
て説明すも　第１図の１は本実施例の動画データ表示装
置全体を制御する主制御手阪　２はユーザがキーボード
などから動画ファイルのブラウジング指示を入力する指
示入力平成　３は動画ファイルの配性　読出しを行なう
データ記憶管理機樵　４は動画ファイルインデックス画
像を生成する動画インデックス生成機楓　５は動画イン
デックス生成機構４で管理されるインデックス画像を一
覧表示する表示手段である。３Ｌ３２はデータ記憶管理
機構３を構成するもので、３１は動画データを記憶する
データ言己憶手段、３２は主制御手段１もしくは動画イ
ンテ・ンクス生成機構４からの制御でデータ記憶手段３
１のデータを読み出すデータ読出手段であ＆　　４Ｌ４
２ζよ動画インデックス生成機構４を構成するもので、
４１（よデータ読出手段３２から読み出される動画ファ
イルの場面切替を検出する場面切替検出手段であａ４２
は場面切替検出手段４１が検出した場面切替の前後のい
ずれかのフレームを取り出して、管理する動画インデッ
クス管理手段六　当該フレーム番号もしくは当該フレー
ムデータを保持するものとする。場面切替の検出処理ζ
友　例えは　時間的に連続する２フレ一ム間の相関及び
画像全体の並行移動を示す動きベクトルの情報を用いて
行なえも詳しく（ヨ　　まず１つのフレーム内で２次元
的な小ブロックを足取　時間的に連続する２フレ一ム間
において、各ブロックの相関をとり（例えば誤差の２乗
）、相関があるか否かを判断する（誤差の２乗の大きさ
）。相関がある場合（誤差の２乗力く小さい）は　連続
する場面（シーン）と考えられ場面切替は発生していな
Ｌｙ　　Ｌかし　このフレーム相関だけではパン（左右
移動）やチルト（上下移動）等のカメラの並行移動に起
因するシーンを場面切替と判断してしまうことになるた
玖　更に画面の並行移動量、すなわち動きベクトルを検
出し　この動きベクトルに基づいて場面切替か否かを判
別する（動きベクトルが検出された場面は連続シーン）
。この動きベクトルの検出（よ　例えばフレーム画像の
空間的勾配と、画像間差の関係から求まる。動きベクト
ルの検出の方法に関して（よ文献「画像のデジタル信号
処理：吹抜敬彦著、日刊工業新聞社」に詳しくｔ　従っ
て、場面切替が発生したと判断されるのくよ　フレーム
間相関が無く、しかも動きベクトルが認められなかった
場合となム　以下、本実施例では場面切替検出方法とし
て、上記したフレーム間相関と動きベクトルを用いた場
合を例に挙１デ、第１図の動作例を第２図フローチャー
トを使って説明すも　また　インデックス画像の取り出
しとして（よ　場面切替のフレームを対象に行なう。ま
哄　動画ファイルのブラウジング処理が開始されると、
ユーザはブラウジングしたい動画ファイルを指示入力手
段２で選択す・も（ステップ２０１）。画面上は例え（
戴　第４図の左ウィンドウに示すように階層分類もしく
はキーワード検索で絞り込まれた動画ファイル群が表示
されている状態で、内容を知りたい動画ファイル上でマ
ウス等をクリックして指示する（第４図では動画ファイ
ル１を指示）。主制御手段１ζよ　指示された動画ファ
イルをブラウジングするために動画インデックス生成機
構４に対し当該動画ファイルのインデックス画像作成指
示を行なう。動画インデックス生成機構４で（よ　場面
切替検出手段４１がデータ読出手段３２に当該動画ファ
イルの読出し指示を行℃＼　（ステップ２０２）、動画
フレームを順次取り出す（ステップ２０３）。次に場面
切替検出手段４１（友　　場面切替フラグの”ＯＮ１０
　Ｆ　Ｆ″をチエツクするが（ステップ２０４）、　こ
−れは場面切替の検出後か否かを判別するフラグ（後述
）であり、初期値は”ＯＦＦ”であａ　場面切替フラグ
が”ＯＦＦ”の状態で（よ　新たに場面切替の検出を行
なうたへ場面切替検出手段４１が連続する２フレ一ム間
の相関をチエツク（ステップ２０５）　Ｌ、　　更に２
フレ一ム間の動きベクトルの有無をチエツク（ステップ
２０６）す４　連続する２フレ一ム間に相関と動きベク
トルがいずれも無かった場合、場面切替が発生している
と判断し　場面切替えフラグを”ＯＮ″にする（ステッ
プ２０７）。それ以外（友　場面が継続していると判断
して、次フレームのチエツクを行なう（ステップ２０８
）。ステップ２０４において場面切替フラグが”ＯＮ″
の場合番え　　場面切替検出が既に行なわれており、動
画インデックス管理手段４２で場面切替後のインデック
ス画像を取や出すステップとなム　本実施例で（よ　イ
ンデックス画像として場面切替発生後のフレームが定常
状態に戻った際のフレームを使用するものとすも　これ
１上　場面切替が検出されたフレーム自身（よ　画像と
して有益な情報が少なく、また場面切替が１フレームで
終ると限らないためであも　動画インデックス管理手段
４２番数　　場面切替検出後（場面切替フラグがゝ０Ｎ
１）のフレームについてフレーム間相関をとり（ステッ
プ２０９）、相関が認められた場合にフレーム画像が定
常状態に復帰したと刺部　当該フレームをインデックス
リストに保存する（ステップ２１０）。その後、場面切
替フラグを°ＯＦＦ″にする。

この動画インデックス生成機構４内での処理（ステップ
２０３〜２１１）　ｉ！　　対象となる動画ファイルの
フレームが終了するまで繰り返されも　最後く対象とす
る動画ファイルの動画インデックスの作成処理が終了す
ると、主制御手段１は　動画インデックスリストに従っ
て順次動画インデックス画像を読出し　表示手段５上に
一覧表示する（ステップ２１２）。ここで、インデック
スリストの情報がフレーム番号である場合（よ　主制御
手段１がデータ読出手段３２からその番号のフレームデ
ータを読み出して表示を行℃＼　フレームデータである
場合に（よ　直接そのデータを表示させも　また　−覧
表示は縮小成像を用いて行なうことが多く、その際には
主制御手段１がインデックス画像の縮小処理を行なって
一覧表示を行なえばよ（〜　この時の操作画面は　例え
ば第３図に示す動画ファイルのように場面（１）〜（５
）の５つのインデックス画像が得られたとすると、この
ファイルのブラウジングは第４図の右側ウィンドウに示
す画面となム　インデックス画像の数が多く、図示した
ように一度に表示できない場合（よ　ページに分けて表
示すればよＬ℃　なお本実施例では　インデックス画像
の取り出しを場面切替検出後のフレームから行なったカ
ミ　場面切替が検出された１つ前のフレーム画像とする
こともできる。これはインデックス画像のデータカ文　
カットシーンの最初の部分の画像が最後の部分の画像か
の違いとなる。以上本実施例で１よ　動画ファイル内の
異なるカットでのフレーム画像を自動的に取り出すこと
で、あらゆる動画ファイルのブラウジングが可能となる
。改番ヘ　　前述した実施例では取り出されたインデッ
クス画像の全てを一覧表示するとしため（連続する２つ
のインデックス画像で時間間隔の短いもの１上　前者は
あまり意味のない情報である可能性が高１．Ｘｏ　　通
家　１カツトに数秒間は撮影を行なうた数　誤りて取り
出されたとも考えられも　そこで、動画インデックス管
理手段内へ　検出されたインチ・νクスで次に検出され
るインデックスとの時間差が一定時間以下の場合く　前
者のインデックスを無効とする機能を持たせも　この機
能によると、第５図に示す動画ファイルで（戴　５個の
インデックス画像が検出される力曵　場面（２）は図中
の時間しきい値以下の間に更に別の場面（３）が検出さ
れるた八　インデックス画像として無効と判断されも　
従って本機能によれば　ブラウジングする画像を有益と
思われる情報のみにすることができも一人　　動画ファ
イル全体に対して、場面切替検出処理（フレーム間相阻
　動きベクトル検出等）を行なうの（よ　システム的に
みて負担である。また処理時間の点から無視できるもの
ではなく、そのオーバヘッドはブラウジングの効果を低
下させるものである。場面切替が数秒単位で発生するこ
とを考慮すれば　全フレームについて検出処理を行なう
のは得策でなく、インデックス画像の取り出し後、数秒
程度は場面切替検出を行なわなくとも支障はないと考え
られも　そこで本発明の第２の実施例でＧｉ　　インデ
ックス画像取り出し後の一定フレームに対し　場面切替
検出処理を省略させも第６図において、　６はインデッ
クス画像検出要処理対象外フレームを判別する処理フレ
ーム判別手段であム　以下、本実施例の動作例を第７図
フローを使って説明すも　また　第７図フローで（よデ
ータ読出し手段３２において動画ファイル内の任意フレ
ームの読出しが可能としていも　まず、動画ファイルの
ブラウジング処理が開始されると、ユーザはブラウズし
たい動画ファイルを指示入力手段２で選択する（ステッ
プ７０１）。主制御手段１は　指示された動画ファイル
をブラウズするために動画インデックス生成機構４に対
し当該動画ファイルのインデックス画像作成指示を行な
う。動画インデックス生成機構４で（よ　場面切替検出
手段４１がデータ読出手段３２に対し当該動画ファ、イ
ルの読出し指示を行（＼　（ステップ７０２）、動画フ
レームを順次取り出す（ステップ７０３）。この暇　デ
ータ読出し手段３２に対しては読み出すフレーム番号を
与えも　次に場面切替検出手段４１　＋′！、、場面切
替フラグの”ＯＮ／”ＯＦＦ”をチエツクするが（ステ
ップ７０４）、これは場面切替の検出後か否かを判別す
るフラグ（後述）であり、初期値は”ＯＦＦ″である。

場面切替フラグが°ＯＦＦ″の状態で（よ新たに場面切
替検出を行なうため場面切替検出手段４１が連続する２
フレ一ム間の相関チエツク（ステップ７０５）　Ｌ　　
更に２フレ一ム間の動きベクトルの有無をチエツク（ス
テップ７０５）　ｌ−更に２フレ一ム間の動きベクトル
の有無をチエツク（ステップ７０６）する。連続する２
フレ一ム間に相関と動きベクトルがいずれも無かった場
合　場面切替が発生していると判断し　場面切替フラグ
を”ＯＮ”にする（ステップ７０７）。それ以外番ヨ　
　場面が連続していると判断して、次フレームのチエツ
クを行な長　この際　場面切替検出の有無に関わらず次
処理のフレーム１表　カレントフレーム番号を１つイン
クリメントしたものであム　（ステップ７０８）。

ステップ７０４において場面切替フラグが°ＯＮ”の場
合（上　場面切替検出が既に行なわれており、動画イン
デックス管理手段４２が場面切替後のインデックス画像
を取り出すステップとなも　本実施例では第１図の実施
例同様　インデックス画像として（友　場面切替発生後
、フレームが定常状態に戻った時のフレームとすも　動
画インデックス管理手段４２（友　　場面切替検出後（
場面切替フラグが○Ｎ″）のフレームの相関をとり（ス
テップ７１０）、相関が認められた場合にフレーム画像
が定常状態に復帰したと判断し　当該フレームを動画イ
ンデックスリストに保存する（ステップ７１１）。その
黴場面切替フラグを”ＯＦＦ″する（ステップ７１２）
。

このインデックス画像の取り出しを受けて、処理フレー
ム判別手段６は　検出後の一定フレーム数を処理対象外
とするために　データ読出手段３２に対し読出しフレー
ム番号をｏｆｆｓｅｔ（ｏｆｆｓｅＤｌ）分インクリメ
ントする（ステップ７１３）。例えば　第８図に示す動
画ファイルにおいて、　４箇所で場面切替が検出された
とすると、図中の斜線部分が検出処理の対象外とするフ
レームであり、データ読出し手段３２からは読み出され
なｌ、％　　また　動画インデックス管理手段４２ζよ
　相関が認められなかった場合に＆よ　カレントフレー
ム番号を１つインクリメントすム　この動画インデック
ス生成機構４内で処理（ステップ７０３〜７１３）　に
Ｌ　　対象外となる動画ファイルのフレームが終了する
まで繰り返されも　最後へ　対象とする動画ファイルの
動画インデックス作成処理が終了すると、主制御手段１
（友動画インデックスリストに従って順次動画インデッ
クス画像を読出し　表示手段５上に一覧表示する（ステ
ップ７１４）。な耘　本実施例では処理フレーム判別手
段６カ（データ読出し手段３２に対し読出しフレームの
番号を変更するものとしたバ　データ読出し手段３２が
このようなフレーム単位でのランダム読出しができない
場合ζよ　処理フレーム判別手段が処理対象外フレーム
を場面切替検出手段４１に入力させないように制御すれ
ばよ（℃　これ（上　対象外フレームをフレーム数もし
くは時間差でカウントして判断できも　以上　本実施例
によれば　映像データの持つ特質（１力ツト数秒）に着
目し　場面切替検出処理を有益なフレームに対してのみ
行うことで、システム的な負担を軽減した動画ファイル
のブラウジングが実現できも　次に　第１医　第６図の
実施例で（よ　場面切替検出処理をブラウジング時に毎
回行なうものとしているカミ　動画インデックス管理手
段４２内にブラウジング後もインデックスリストを保持
する機能を持たせれ（ｉ、、毎回行なう必要はなｔ〜　
この際に（瓜主制御手段１力丈　ブラウジングを受けた
動画ファイルに関し動画インデックス管理手段４２をチ
エツクし　既にインデックスが生成されている場合には
　そのインデックス情報に基づいて直接表示すも　生成
されていない場合にのみ動画インデックス生成機構４で
、インデックス画像の作成を行なう。また　現在勤画デ
ータを扱う場合、映像を蓄積する媒体としてはＶＴＲ等
のテープが主流である。記憶媒体としてのテープζよ　
シーケンシャルアクセスで、低速なマスストレージとい
えも　このような媒体を利用したシステムで（よ　ブラ
ウジングの効果を高めるために　動画インデックス管理
手段４２において、インデックス画像データを高速ラン
ダムアクセスが可能な別の記憶媒体（ハードディスク等
）に蓄積することが考えられも　この方法によれば　動
画ファイルの高速ブラウジングが可能となり、ユーザは
必要シーンのみをテープから再生することができる。ま
た　デジタル映像編集装置等で（よ　アナログテープか
ら装置内のデジタルメディア（ハードディスク等）にＡ
／Ｄ変換して格納させる（ダウンロード）作業があり、
本実施例での場面切替検出による動画インデックス生成
処理をこの作業時に行なうものとしてもよ１、′ｌｏ　
　そうすればダウンロード終了徽　直ちに動画ファイル
の高速ブラウジングが可能となム　また第１１１ｆｉ　
　第６図の実施例での場面切替検出の方法１よ　連続し
た２つのフレームを対象へ　フレーム間相関と動きベク
トルから行なうとした力交　第９図に示すようなｎフレ
ーム間隔でサンプリングされた２つのフレームを対象と
することも考えられも　この方法は　まずｎフレーム間
隔の２つのフレーム間［ＦＯ］、［Ｆｎ］での相関と動
きベクトルをチエツクしくａ）、場面切替が発生してい
た場合ｉ、、　　ｎ／２のフレーム［Ｆｎ／２］と［Ｆ
Ｏ］との２フレ一ム間でチエツクを行う（ｂ）。更鳳　
ここで場面切替が発生していると判定された場合にＧ＆
　　ｎ／４のフレーム［Ｆｎ／４］と［ＦＯ］との２フ
レ一ム間で（Ｃ）チエツクを行なし入場面切替が発生し
ていない場合にζＬ　　３ｎ／４のフレーム［Ｆ３ｎ／
４］と［Ｆｎ／２］との２フレ一ム間で（ｄ）、チエツ
クを行なうものであａ　以艮　場面切替を検出するまで
同様な処理を繰り返す。また　最初の［ＦＯ］、［Ｆｎ
］の２つのフレームで場面切替が発生していなかった場
合ｉｔ　　［Ｆｎ］と［Ｆ２ｎ］の２つのフレーム間で
相関と動きベクトルのチエツクを行なう。この方法によ
ると、データ読出手段３２において任意のフレームをラ
ンダムで読み出す機能が必要となる力（連続フレームで
の場面切替検出に比べて、速く検出が行なえるようにな
４ 発明の効果 本発明により、動画データを扱うような対話型システム
や映像編集用のオーサリングシステムにおいて、任意の
動画データ（ファイル）のブラウジング検索が実現可能
になり、動画編集作業等において作業の効率化が図れも
　また　オーサリング作業を簡素化できることにより、
製作期間の短期化やコスト低減が図れも

【図面の簡単な説明】

第１は　第６図４１　　本発明の一実施例における動画
データ表示装置の構成を示すブロック医　第２＠　第７
図Ｃよ　各々第１諷　第６図の実施例の動作を示したフ
ローチャート、第３ｍ　第５図第８＠　第９図（よ　表
示を行なう動画ファイルを示した艮　第４図は動画ファ
イルのブラウジング時の操作画面例を示した図であａ １・・・・主制御手阪　２・・・・指示人力手阪　３・
・・・データ記憶管理機梶３１・・・・データ記憶手洗
３２・・・・データ読出手取　４・・・・動画インデッ
クス生成機ｉ　　４１・・・・場面切替検出平成４２・
・・・動画インデックス管理手段、　５・・・・表示手
阪　６・・・処理フレーム判別手肌

Claims (3)

【特許請求の範囲】
1. （１）動画データを記憶するデータ記憶手段と前記デー
   タ記憶手段から動画データを読み出すデータ読出手段と
   、前記読み出された動画データで場面切替が発生したフ
   レームを検出する場面切替検出手段と、前記検出された
   切替場面の前後いずれかのフレームを取り出し、管理す
   る動画インデックス管理手段と、前記動画インデックス
   管理手段で管理されるインデックス画像を表示する表示
   手段を有する動画データ表示装置。
2. （２）動画インデックス管理手段内に、連続する２つの
   インデックス画像の時間間隔によりインデックス画像と
   して有効か否かを判別する手段を持つことを特徴とする
   請求項１記載の動画データ表示装置。
3. （３）動画データを記憶するデータ記憶手段と、前記デ
   ータ記憶手段から動画データを読み出すデータ読出手段
   と、前記読み出された動画データで場面切替が発生した
   フレームを検出する場面切替検出手段と、前記検出され
   た切替場面の前後いずれかのフレームを取り出し、管理
   する動画インデックス管理手段と、前記動画インデック
   ス管理手段でインデックス画像を取り出した後の予め定
   められた期間のフレームを場面切替検出処理の対象外と
   する処理フレーム判別手段と、前記動画インデックス管
   理手段で管理されるインデックス画像を表示する表示手
   段を有することを特徴とする動画データ表示装置。