JPH08339379A - 映像解析方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 映像データを高速に解析してインデクスを短
時間で抽出する。 【構成】 イベント検出部１２は映像データ入力部１１
の映像データからイベントを検出する。そのイベントは
その発生時刻などイベントにまつわる情報と組にされ、
イベント系列としてイベント蓄積部１３に蓄積される。
イベント系列解析部１４は該蓄積部１３よりイベント系
列を読み出し映像知識管理部１５の映像知識と照合して
インデクスを抽出する。その抽出されたインデクス情報
はインデクス出力部１６より出力される。場面の変わり
目（カット）をイベントの一つとして検出することもで
きる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は映像データベース、ビデ
オデッキ、映像編集装置等の映像利用環境において利便
性を高めるための映像解析方法および装置に関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】 ビデオデッキを使ってテープの中から所望の場面を探
し出すためには、早送り、まき戻し操作をくり返すしか
なく、時間がかかるという問題点があった。 映像データベースなどで大量の映像データを蓄積して
おきそれを効率的に再利用できるようにするためには、
検索を支援するための情報（以下、インデクスと呼ぶ）
を映像に付与しておく必要がある。従来は映像に対して
タイトル、主人公の名前、キーワード等の文字情報をイ
ンデクスとして人手によって付与し、検索時に文字列照
合を行って自分の欲しい映像、あるいはその中の一場面
を絞り込む方法があった。しかし、人手によりインデク
スを付与する作業は時間がかかるため、監視映像やテレ
ビ放送などのように切れ目なく逐次流れ込んでくる映像
データに対しては適用が困難であった。

【０００３】場面の変わり目（カット）を検出しイン
デクスとする技術があった。特公平５−７４２７３のイ
ンデクス画像作成装置では、連続画像間の差分値列を計
算し画像変化の有無を判定し、画像変化ありと判定した
場合にインデクス画像を抽出し、連続画像が記録される
記録媒体にそのインデクス画像を記録することが開示さ
れている。インデクス画像を一覧するだけで自分の欲し
い場面を効率よく検索できるようになる。しかしこの場
合、映像記録時間が長くなればなるほどインデクス画像
の枚数も多くなり、したがってインデクス画像を使って
も検索に時間がかかり困難をきたすという問題点があっ
た。

【０００４】画像データ列を解析して放送番組の構造
を推定する方法が開示されている（Deborah Swanberg,
Chiao-FeShu, and Ramesh Jain: Knowledge Guided Par
singin Video Databases)。この解析方法はまずカット
を検出し、カットとカットで区切られる画像データをあ
らかじめ与えられたショットモデルと比較することによ
ってショット種別を判定するものであった。例えば、ア
ナウンサーの写っている場面は左手にアナウンサーが座
っていて、右上にニュースタイトルが表示されるといっ
た映像に関する空間的知識をショットモデルとして定義
しておき、ショットモデルと映像データを照合すること
によりショット種別を判定した。抽出した放送番組の構
造はインデクスとして使用することができる。例えば、
ニュース放送がニューストピックに分割できるので、ニ
ューストピックの先頭画像をインデクス画像として利用
することができ、カットをインデクス画像とするより
も、少ない枚数のインデクス画像で映像内容を表現でき
る効果がある。しかし、この方法はカットとカットで区
切られる数十枚あるいは数百枚の画像データをショット
モデルと比較する処理に、多くの計算時間を消費すると
いう問題点があり、リアルタイムに流れ込んでくる映像
に対しては適用しづらいという問題点があった。

【０００５】本発明の目的は、上記問題点を解決し、映
像データを高速に解析して意味のあるインデクスを短時
間で抽出する映像解析方法および装置を提供することに
ある。

【０００６】

【課題を解決するための手段】本発明では、映像データ
を順次入力し、該映像データからイベントを検出し、そ
のイベント及びその発生時刻を含む該イベントにまつわ
る情報をイベント系列として記憶し、該イベント系列を
更に映像に関する知識と照合しインデクスを抽出する。

【０００７】

【作用】請求項１の映像解析方法では映像データを順次
入力し、該映像データを一つあるいは複数の条件と照合
し、そのいずれかの条件を満たす場合にイベントありと
判定する。検出すべきイベント種類は応用によって異な
るが、人が重要と知覚する映像変化をイベントとして検
出することにより映像に対するタグ付け（付加的な情報
を映像の特定の部分に付与すること）を自動的に行う。
この段階で、大量の時系列データである映像データ（例
えば、約１メガバイト／秒）が非常に少数の離散的なイ
ベント系列によって特徴づけられる。イベント系列は、
イベントと、その発生時刻、イベント種類等のイベント
にまつわる情報を組にしたものとして、メモリあるいは
外部記憶装置等に記憶される。記憶されたイベント系列
を読みだしながら、あらかじめ与えられた映像にまつわ
る知識と照合することによってインデクスを抽出する。
イベント系列は映像データに比べてデータ量が圧倒的に
少ないので、映像知識との照合に要する時間も少なくて
すむ。抽出されたインデクス情報は他アプリケーション
における検索を容易化するために役立つ。

【０００８】

【実施例】以下、本発明の一実施例を図を用いて説明す
る。図１は本発明の一実施例の構成ブロック図である。
図において、映像データ入力部１１は映像データをイベ
ント検出部１２に送る。映像データ入力部１１は、アナ
ログ映像信号をデジタル化する装置であったり、デジタ
ルデータとして圧縮符号化されている映像データを復号
する装置であったりする。映像データには、画像デー
タ、音声データ及び撮影時刻に関するタイムコード等の
付属データが含まれる。イベント検出部１２は映像デー
タ入力部から送られてくる映像データからイベントを検
出する。画像データにまつわるイベントとしては、カッ
ト（連続的に一つのカメラで撮影された映像区間である
ショットの切り替わり）、人の出現、カメラの操作（ズ
ーム開始、終了点）、人の動作（手を挙げた、人が立ち
上がった）、字幕（表示開始、表示終了）など様々なも
のを検出することができる。音声データにまつわるイベ
ントとしては、無音有音区間（開始、終了点）、音楽
（開始点、終了点）、拍手（開始点、終了点）などがあ
る。付属データにまつわるイベントとしては、文字放送
データの文字テキストが切り替わる点をイベントとして
検出することができる。イベント検出方法の幾つかの実
施例については後述する。

【０００９】イベント検出部１２で検出されたイベント
はイベント種類、イベント発生時刻、イベント関連情報
などと共に一組のイベント系列としてイベント系列蓄積
部１３に蓄えられる。イベント系列蓄積部１３の一実施
例は、図２に示すように、イベント系列をコンピュータ
メモリ２０上にリスト構造として実現するものである。
２１は次のイベントに対応するメモリ領域へのポインタ
を保持するメモリ領域をあらわす。２２〜２４はカット
のイベントに対応するデータブロックであり、イベント
の種類（２２）、イベント発生時刻（２３）、カット変
化の種類（２４）を管理している。カット変化の種類
は、例えば、フェード、ディゾルブ（二つのショットを
切り替える時、つまりカット箇所において、一つのショ
ットの信号レベルを下げながらもう一つのショットの信
号レベルを上げることによって、ショットを徐々に切り
替える編集手法）等編集時に挿入される特殊効果の種別
を記述する。２６〜２９は字幕のイベントに対応するデ
ータブロックであり、イベントの種類（２６）、イベン
ト発生時刻（２７）、字幕の表示開始点か表示終了点か
を区別するフラグ（２８）、字幕文字列（２９）を管理
している。イベント系列蓄積部１３はコンピュータの主
記憶メモリとして実現してもよいし、大量のイベント情
報を記憶しておきたい場合には外部蓄積装置であっても
よい。

【００１０】イベント系列解析部１４では必要なイベン
ト情報をイベント系列蓄積部１３から読み出しながら、
映像知識管理部１５に蓄えられている映像知識と照合す
ることによってインデクスを抽出する。インデクス情報
は応用に合せた形でインデクス出力部１６により出力さ
れる。映像知識管理部１５は映像知識に基づいて設計さ
れ、コンピュータメモリ上にロードされたプログラムコ
ードであってもよいし、映像知識を記述する何等かの言
語（スクリプト）としてもよい。映像知識をスクリプト
により記述できるようにすることは、映像解析方法の汎
用性を高めるために好適である。 （イベント検出の実施例）イベント検出の第１の実施例
は、画像処理により場面の変わり目を検出するものであ
る。例えば、代表的な方法として、時間的に隣合う二枚
の画像Ｉｔ，Ｉ（ｔ−１）の対応する画素における輝度
値の差を計算して、その絶対値の和（フレーム間差分）
がある与えられたしきい値よりも大きいとき、ｔをカッ
トとみなすという方法がある（大辻、外村、大庭：「輝
度情報を使った動画像ブラウジング」、電気情報通信学
会技術報告、ＩＥ９０−１０３、１９９１）。他に、映
像データについて時間的に隣合う画像間に加えて時間的
に離れた画像間の複数組みの各画像データＩｉ，Ｉｊの
間の距離ｄ（ｉ，ｊ）を計算し、該計算された複数組の
距離ｄ（ｉ，ｊ）をもとに時刻ｔにおけるシーン変化率
Ｃ（ｔ）を求め、該シーン変化率Ｃ（ｔ）をあらかじめ
定めたしきい値と比較して、時刻ｔがカット点であるか
否かを判定することで、時間的にゆっくりとしたシーン
変化を検出する方法がある。画像処理によるイベント検
出では、これらいずれの方法を用いてもよい。

【００１１】イベント検出の第２の実施例は、場面の変
わり目を検出するのに、画像データを使わずに付属情報
を使うものである。例えば、カメラのＯＮ／ＯＦＦ動作
によって生じるタイムコードの不連続性として、場面の
変わり目を検出するのである。イベント検出の第３の実
施例は、イベントとして映像のカット点ではなく字幕の
出現、消滅を検出するものである。映画のように、字幕
の位置、文字の色、太さが決まっている場合には、その
ような事前知識を考慮して字幕の出現する可能性のある
領域を指定し、その領域内に限定した画像処理を行い文
字検出を行ってもよい。

【００１２】イベント検出の第４の実施例は、音声トラ
ックに含まれている音声データを解析して無音区間の開
始点、終了点を検出する。音声波形の短時間における平
均振幅レベルを調べることによって大雑把な有音無音区
間の判別ができる。 （イベント系列解析の実施例）イベント系列解析の第１
の実施例は、カット系列をイベント系列とし、その発生
頻度を映像にまつわる知識と照合することによってイン
デクスを抽出するものである。テレビ映像にまつわる知
識として、例えば、「カットが頻発する区間はアクショ
ンシーンあるいはコマーシャル部分である」ことを使
う。イベント系列蓄積部１３からカット系列だけを抜き
出し、１分間の間に何回カットが発生したかを計数し、
０＜計数値＜５ならば「穏やかな場面」、５≦計数値＜
１０ならば「通常」、計数値≧１０ならば「激しい場
面、あるいはコマーシャル部分」というようにインデク
スを割り当てる。

【００１３】イベント系列解析の第２の実施例は、カッ
ト系列と無音区間系列をイベント系列とし、コマーシャ
ル映像が持つ以下の性質（すなわち、知識）を用いてコ
マーシャル区間（以下、ＣＭ区間と言う）に関するイン
デクスを付与するものである。コマーシャルの映像知識
として例えば次の（１）〜（４）が用いられる。 （１）１本のＣＭは１５秒あるいは３０秒の長さを持つ
（すなわち、ＣＭの開始時刻および終了時刻の差が１５
秒あるいは３０秒である）。 （２）ＣＭ中にはカットが多発することが多い。 （３）ＣＭは１分程度連続してあらわれる。 （４）ＣＭとＣＭの境界には無音区間がある。

【００１４】カット系列を｛Ｃ１，Ｃ２，Ｃ３，…｝と
し、無音区間系列を｛Ｓ１，Ｓ２，Ｓ３，…｝とする。
無音区間系列の要素Ｓｔは無音区間の開始時刻、終了時
刻を属性として持つ。カット系列Ｃと無音区間系列Ｓか
らＣＭ区間を推定する手続きを図３に示す。ｔ＝１，
２，…について、次の処理を行う。まず、カット時刻Ｃ
ｔが無音区間Ｓに含まれているか調べる（ステップ３０
２）。上述した性質（４）からＣＭとＣＭの境界には無
音区間があるので、Ｃｔ∈ＳでないならばＣｔはＣＭ区
間の先頭ではないと判定する。さらに、ｔ′＞ｔかつＣ
ｔ′−Ｃｔ＝１５（秒）または３０（秒）、かつＣｔ′
∈Ｓを満たすｔ′が存在するかどうか調べ、存在しなけ
ればＣｔはＣＭ区間の先頭ではないと判定する（ステッ
プ３０３）。これは性質（１），（４）を満足するかど
うか調べていることになる。さらに、ｔ′−ｔ≧３を満
たすかどうか調べ、満たさなければやはりＣｔはＣＭ区
間の先頭ではないと判断する（ステップ３０４）。これ
は性質（２）を満足するかどうか調べていることにな
る。区間〔Ｃｔ，Ｃｔ′〕をＣＭ候補区間としてキュー
に挿入する（ステップ３０５）。キューの中に６０秒以
上継続するＣＭ候補区間（すなわち、ＣＭ候補区間が６
０秒以上切れ目なくつながっているもの）が存在するか
どうか調べ（ステップ３０６）、存在すればその区間を
ＣＭ区間として出力する（ステップ３０７）。ステップ
３０６は性質（３）を満足するかどうか調べていること
になる。

【００１５】図４にＣＭ区間推定の模式図を示す。４０
１は時間軸に並べられた無音区間系列Ｓを示し、４０２
はカット系列Ｃｔを示す。カット系列のなかで、カット
とカットの間の時間間隔が１５秒あるいは３０秒であ
り、かつ両端のカットが共に無音区間に含まれるものを
４０３のＣＭ候補区間として抽出する。さらにＣＭ候補
区間が６０秒以上継続しているものを４０４のＣＭ区間
として出力するわけである。４０５のＣＭ候補区間は継
続時間が６０秒未満であったので、ＣＭ区間としては出
力されない。カット時刻Ｃｔは誤差を含んでいるので３
０３の時間間隔の測定ではその誤差を見込んで幅を持っ
た判定を行う方がよい。さらにカットの誤検出、検出も
れを見込んでステップ３０６の判定では６０秒以上継続
していなくても、その間でカット頻度が高ければＣＭ区
間であると判定するようにしてもよい。

【００１６】イベント系列解析の第３の実施例は、講演
録画映像の解析に関するものであり、講演と講演の切れ
目をインデクスとして抽出するものである。講演の終了
時には拍手が入るという映像知識を用いる。音声データ
を解析して拍手の開始点および終了点をイベントとして
検出し、拍手の終了点を講演の切れ目としてインデクス
つけする。

【００１７】

【発明の効果】以上説明したように、本発明によれば、
映像を離散的なイベント系列で特徴づけてから解析を行
うので、高速に映像解析が行えインデクス情報を高速に
抽出できる効果がある。映像知識とイベント系列の照合
を行うことにより、カットなどの低レベルのインデクス
だけではなく、ＣＭ区間や映像の盛りあがり等、意味の
あるインデクスを付与できる効果がある。

【００１８】尚、本発明は映像データを解析して得られ
るイベントだけでなく、人がボタン等の簡単な入力装置
を介して与えるトリガを付属データに含まれるイベント
としたり、テレビ会議システムにおける通信制御信号を
解析して「新しい人が会議に加わった」ことをイベント
として検出するなどの映像解析方法及び装置にも応用で
きる。また、イベントを検出する際の所与の条件をユー
ザーがカスタマイズできるようにすることもできる。

【図面の簡単な説明】

【図１】本発明の実施例を示すブロック図。

【図２】図１のイベント系列蓄積部１３の一例を示す
図。

【図３】ＣＭ区間検出を例にとったイベント系列解析の
フロー図。

【図４】ＣＭ区間検出処理を説明するためのタイミング
チャート。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 映像データを順次入力し、 その映像データからイベントを検出し、 そのイベントとその発生時刻およびイベントにまつわる
   情報を組にしてイベント系列として記憶し、 そのイベント系列を更に映像に関する知識と照合し、解
   析してインデクス情報を抽出することを特徴とする映像
   解析方法。
2. 【請求項２】 請求項１記載の映像解析方法において、 場面の変わり目（カット）をイベントの一つとして検出
   することを特徴とする映像解析方法。
3. 【請求項３】 映像データを順次入力する映像データ入
   力部と、その映像データからイベントを検出するイベン
   ト検出部と、そのイベントとその発生時刻を含むイベン
   トにまつわる情報を組にしたイベント系列を蓄積するイ
   ベント系列蓄積部と、映像データにまつわる知識（映像
   知識と言う）を管理する映像知識管理部と、該イベント
   系列蓄積部のイベント系列を読みだし該映像知識管理部
   の映像知識と照合してインデクスを抽出するイベント系
   列解析部と、インデクス情報を出力するインデクス出力
   部を具備することを特徴とする映像解析装置。