JPH0380782A - シーン抽出処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、音声の付随するビデオ画像等の映像から重要
なシーンを抽出することにより、映像の要約を作成する
シーン抽出処理方法に関する。

〔従来技術〕

従来、映像からのシーン抽出に関する技術としては、映
像情報そのものを解析し、映像情報の変化をとらえるこ
とにより自動的にカット変化点を検出する技術がある（
例えば、清水能、「映像カット変化点検出器Ｊ　、１９
８８年テレビジョン学会全学会台、９−４．１９８８）
。

第３図は、前記した従来方式を説明するためのブロック
図である。端子３０に入力されたビデオ信号はフレーム
単位でアナログ・ディジタル変換（Ａ／Ｄ変換３１）さ
れて、フレームメモリ３２に記憶され、さらに次の入力
フレームの画信号と画素毎に画素比較部３３で比較され
、結果としてフレーム間での差分としての画素数が得ら
れる。得られた差分は変化判断部３４において、あらか
じめ設定されている判断しきい値３５と比較され、しき
い値を越えた場合にはカット変化有りとして、しきい値
を越えない場合にはカット変化なしとして、端子３６か
ら結果が出力される。

またこの他、音声のみに対する解析処理と応用に関して
は、テープレコーダーなどで従来より一船釣に行われて
いる方法として、音声レベルの極めて低い部分を無音部
分と判断することにより、音声をセグメンテーション化
する方法がある。

〔発明が解決しようとする課題〕

しかしながら、上記した前者の従来技術は、映像情報処
理のみによってカット変化点を検出しているので、映像
情報に変化さえあれば変化点検出となり、映像情報の意
味的な表現内容が変化しなくてもカット変化ありと判断
するため、映像情報の内容に関わる特定のシーンを抽出
することは難しいという問題があった。

また５編集された映像が処理対象の場合、一般に数秒毎
に映像の変化点が現われるため、検出変化点が非常に多
くなってしまうとともに、検出結果を例えばそのまま映
像の要約作成に用いようとしても、はとんど元の映像に
近い映像になってしまうという問題があった。

更に、上記した後者の従来技術は、音声の有無のみを対
象としているため、音声のセグメンテーション程度以上
のことはできないという問題があつた・ 本発明の目的は、音声の付随する映像情報から重要なシ
ーン抽出を行い、映像要約を作成するシーン抽出方法を
提供することにある。

〔課題を解決するための手段〕

前記目的を達成するために、第１の発明では。

映像再生時に付随して再生される音声を解析し、該解析
結果から得られる特徴情報と予め設定された音声に関す
る特徴情報とを比較し１条件を満足するシーンを該映像
から抽出している。

そして、第２の発明では、第１の発明で得られた抽出シ
ーンをつなぎ合わせて新たな映像列を構成している。

〔作　用〕

本発明では、映像再生時に付随して再生される音声をモ
ニタしながら解析し、音声に含まれる特徴情報を抽出す
る。そして、抽出した特徴量をあらかじめ設定されてい
る条件と比べ１条件を満足するシーンを抽出する。これ
により、目的とする映像の内容に関わりの深いシーンを
取り出すことができ、従って一連の長い動画像から重要
なシーンのみによる短い要約としての映像列を構成する
ことができる。

〔実施例〕

以下、本発明の一実施例を図面を用いて具体的に説明す
る。

なお、実施例を説明するための全図において、同一機能
を有するものは同一符号を付け、その繰り返しの説明は
省略する。

第１図は１本発明の一実施例に係る処理手順を示したフ
ローチャートである。

ステップ１において音声入カニニットを制御することに
より音声入力を行い、ステップ２において入力音声の解
析を行い、特徴抽出を行う。抽出する特徴は、例えば、
音声の信号レベル、ピーク周波数、主要音声スペクトル
幅等であり、かつ動画像内容に相関の高い特徴を抽出す
る。

ステップ３において抽出した特徴量をあらかじめ設定さ
れている条件と比べ、条件に合う場合のみ次の処理を行
う。

ステップ４においては、指示された処理が実時間記録で
シーン抽出を行い要約を作る実時間記録処理か、マーキ
ング情報として画像のフレーム番号などを記録しておく
マーキング処理かを判断する。

実時間記録処理の場合はステップ５において映像の記録
を開始する。マーキング処理の場合は。

ステップ６においてその時点の画像フレーム番号を調べ
、シーン開始フレーム番号として記録する。

次に、ステップ７において抽出処理終了条件を調べるが
、条件設定は適用する応用例に合わせて設定される０例
えば、一定時間経つことを終了条件としたり、あるいは
ステップ１〜３と同様の解析／特徴抽出処理を行い、条
件が不成立になることを終了条件とする場合などである
。

終了条件成立時には、実時間記録処理であれば記録を停
止し、またマーキング処理の場合は、終了フレーム番号
としてその時点のフレーム番号を記録する。以上の処理
を操り返すことにより、対象とする映像についてシーン
抽出処理を行う。

第２図は、以上で説明した処理手順を応用したスポーツ
番組自動要約作成システムを示している。

２０は例えばスポーツ番組として試合を中継している放
送波あるいはケーブルＴＶからの信号、２１は受像機で
ある。２４は上述したシーン抽出処理を行う画像シーン
抽出処理装置であり、受像機２１から出力されるビデオ
信号２２および音声信号２３を受像機２１から受け、ビ
デオテープレコーダー２５を制御して抽出したビデオ信
号、音声信号を記録する。

画像シーン抽出処理装置２４は、音声信号の解析を行っ
て、観客の歓声が上がった時に相関の高い音声特徴とし
て、比較的幅広いスペクトル特徴、急な立ち上がりと短
時間持続する信号レベルなどの音声特徴をとらえ、予め
それらの特徴に設定しである条件と比べ、条件に合う場
合には実時間記録処理としてビデオテープレコーダー２
５にビデオ信号および音声信号の記録を開始する。

記録中も音声信号の解析／条件判断を続け、条件不成立
となってもその時点からタイマーを起動し一定時間記録
することとするが、その間にさらに条件が成立する状態
が発生すればその時点でタイマーをリセットし、起動す
る。

以上の動作を繰り返すことにより、観客の歓声の上がっ
たハイライトシーン列がビデオテープレコーダー２５に
記録される。番組終了後、利用者が該ビデオテープレコ
ーダー２５を巻戻し、再生すれば短時間にハイライトシ
ーンを見ることができる。

以上の処理は、実時間記録処理に応用した例であるが、
予め番組分のビデオ信号、音声信号を全部記録しておき
、画像シーン抽出処理装置２４の処理の中でマーキイグ
情報のみ格納しておき、利用者再生時に開始フレームと
終了フレームのマーキングのある区間の再生を行うこと
も可能である。

以上、本発明を実施例にもとづき具体的に説明したが、
本発明は、前記実施例に限定されるものではなく、その
要旨を逸脱しない範囲において種々変更可能であること
は言うまでもない。

〔発明の効果〕

以上、説明したように、本発明によれば、音声信号の解
析／特徴抽出を行い、映像信号と相関の高い部分を検出
することにより、映像中の内容に関わるシーン抽出を自
動的に行うことができるとともに、それらをつなぎ合わ
せることにより映像の要約を自動作成することができる
。

また、放送番組等の自動要約作成に利用するこにより、
長時間の映像を利用者は時間を短縮して見ることができ
る。

さらに、映像ライブラリなどでは映像情報のブラウズ（
流し見）用の映像を自動的に作成できるので、省力化さ
れるという効果もある。

【図面の簡単な説明】

第１図は、本発明の一実施例に係る処理手順を示したフ
ローチャート、 第２図は、本発明の処理手順を応用したスポーツ番組自
動要約作成システム、 第３図は、従来方法によるカット検出器のブロック図を
示す。 図中、２！・・・ＴＶ受像−機、２２・・・ビデオ信号
、２３・・・音声信号、２４・・・画像シーン抽出処理
装置、２５・・・ビデオテープレコーダー、３１・・・
Ａ／Ｄ変換、３２・・・フレームメモリ、 ３３・・・画素比較部、 ３４・・・変化判断部、 ３５・・・判断しきい値。

Claims (1)

1. 【特許請求の範囲】 １、音声情報を伴う一連の映像の中から部分的なシーン
   を抽出するシーン抽出処理方法において、映像再生時に
   付随して再生される音声を解析し、該解析結果から得ら
   れる特徴情報と予め設定された音声に関する特徴情報と
   を比較し、条件を満足するシーンを該映像から抽出する
   ことを特徴とするシーン抽出処理方法。 ２、請求項１記載のシーン抽出処理方法で得られる抽出
   シーンをつなぎ合わせて新たな映像列を構成することを
   特徴とするシーン抽出処理方法。