JPH11331761A - 映像の自動要約方法およびその装置およびその方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 より少ない数の画像で映像を要約することが
できる映像の自動要約方法およびその装置を提供する。 【解決手段】 字幕取得部１０１は、映像と時間的に同
期した字幕情報１１２を取得して出力する。話題転換語
辞書１０３は、「次に」「ところで」「さて」「続いて
は」「次は」「まず」「それでは」等、話題を切り替え
用の語話題転換語リスト１１３を出力する。照合部１０
２は、字幕情報１１２と話題転換語リスト１１３を受け
取り、話題転換語リスト１１３中の語が字幕情報１１２
に含まれていれば、話題転換信号１１４を出力する。映
像取り込み部１０４は、話題転換信号１１４を受け取る
と映像信号１１１のその時点での画像を取り込み、映像
要約画像１１５として出力する。これにより、字幕情報
付き映像の話題の変わり目毎の画像を集めることで、よ
り少ない数の画像で映像の要約を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像中の一部の画
像を取り出すことで映像の要約を生成する映像の自動要
約方法およびその装置に関する。

【０００２】

【従来の技術】従来、映像を要約するために映像中の画
像を選択的に取り出すための方法としては、ショットの
切り替わりを検出して各ショットごとに画像を一つ取り
出す方法があった。

【０００３】

【発明が解決しようとする課題】しかしながら、通常、
上記従来の方法では数秒に一つの画像が生成され、映像
を要約するには画像の数が多くなりすぎるという問題が
あった。

【０００４】そこで本発明の課題は、より少ない数の画
像で映像を要約することができる映像の自動要約方法お
よびその装置を提供することにある。

【０００５】

【課題を解決するための手段】本発明は、以下に列記す
る発明により上記の課題を解決する。

【０００６】本発明（１）は、映像と同期する字幕情報
を取得し、前記取得された字幕情報中の話題転換語の有
無を検出し、前記話題転換語が検出されたら映像信号か
ら画像を取り込み出力する映像の自動要約方法である。

【０００７】本発明（２）は、映像と同期する字幕情報
を取得し、前記取得された字幕情報のテキストから形態
素解析により単語を抽出し、前記抽出された単語の中で
の話題転換語の有無を検出し、前記話題転換語が検出さ
れたら映像信号から画像を取り込み出力する映像の自動
要約方法である。

【０００８】本発明（３）は、上記の発明（１）または
（２）において、話題転換語が検出されたら、すぐには
映像信号から画像を取り込まず、映像信号のショット切
り替え検出を開始し、ショット切り替えが検出されたら
一定時間後の映像信号から画像を取り込み出力する映像
の自動要約方法である。

【０００９】本発明（４）は、映像と同期する字幕情報
を取得する手段と、前記取得された字幕情報中の話題転
換語の有無を検出する手段と、前記話題転換語が検出さ
れたら映像信号から画像を取り込み出力する手段と、を
具備する映像の自動要約装置である。

【００１０】本発明（５）は、映像と同期する字幕情報
を取得する手段と、前記取得された字幕情報のテキスト
から形態素解析により単語を抽出する手段と、前記抽出
された単語の中での話題転換語の有無を検出する手段
と、前記話題転換語が検出されたら映像信号から画像を
取り込み出力する手段と、を具備する映像の自動要約装
置である。

【００１１】本発明（６）は、上記の発明（４）または
（５）において、前記話題転換語が検出されたら映像信
号から画像を取り込み出力する手段が、話題転換語が検
出されたら映像信号のショット切り替え検出を開始する
手段と、ショット切り替えが検出されたら一定時間後の
映像信号から画像を取り込み出力する手段と、を具備す
る映像の自動要約装置である。

【００１２】本発明（７）は、映像の内容を自動的に要
約するための方法における、映像と同期する字幕情報を
取得する手順と、前記取得された字幕情報中の話題転換
語の有無を検出する手順と、前記話題転換語が検出され
たことを条件として映像信号から画像を取り込み出力す
る手順と、をコンピュータに実行させるためのプログラ
ムを、該コンピュータが読み取り可能な記録媒体に記録
した映像の自動要約方法を記録した記録媒体である。

【００１３】本発明（８）は、映像の内容を自動的に要
約するための方法における、映像と同期する字幕情報を
取得する手順と、前記取得された字幕情報のテキストか
ら形態素解析により単語を抽出する手順と、前記抽出さ
れた単語の中での話題転換語の有無を検出する手順と、
前記話題転換語が検出されたことを条件として映像信号
から画像を取り込み出力する手順と、をコンピュータに
実行させるためのプログラムを、該コンピュータが読み
取り可能な記録媒体に記録した映像の自動要約方法を記
録した記録媒体である。

【００１４】本発明（９）は、上記の発明（７）、
（８）において、上記話題転換語が検出されたことを条
件として映像信号から画像を取り込み出力する手順で
は、話題転換語が検出されたら映像信号のショット切り
替え検出を開始し、前記ショット切り替えが検出された
ら一定時間後の映像信号から画像を取り込み出力する自
動要約方法を記録した記録媒体である。

【００１５】本発明（１）、（４）、（７）は、字幕情
報中に話題転換語が文字列として検出される都度、その
瞬間の映像を静止画として出力することを最も主要な特
徴とする。本発明（１）、（４）、（７）によれば、字
幕情報付き映像の話題の変わり目ごとの画像を集めるこ
とで、より少ない数の画像で映像の要約を生成すること
ができる。

【００１６】本発明（２）、（５）、（８）は、字幕情
報中に話題転換語が単語として検出される都度、その瞬
間の映像を静止画として出力することを最も主要な特徴
とする。本発明（２）、（５）、（８）によれば、字幕
情報付き映像の話題の変わり目を精度良く検出して、話
題の変わり目ごとの画像を集めることができ、より少な
い数の画像で映像の要約を生成することができる。

【００１７】本発明（３）、（６）、（９）は、字幕情
報中もしくはその中の単語中に話題転換語が検出される
都度、その直後に開始された映像ショット中の画像を静
止画として出力することを最も主要な特徴とする。本発
明（３）、（６）、（９）によれば、字幕情報付き映像
において話題が変わった後の最初の映像ショットの画像
を集めることで、より少ない数の、よりふさわしい画像
で映像の要約を生成することができる。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。

【００１９】図１は、本発明（４）の一実施形態例を示
す装置の構成を表すブロック図である。また、図２は、
本発明（１）の一実施形態例の方法を示すとともに、上
記装置の動作を表すフロー図である。

【００２０】本実施形態例において、字幕取得部１０１
は、映像と時間的に同期した字幕情報１１２を取得して
出力する。話題転換語辞書１０３は、話題転換語リスト
１１３を出力する。照合部１０２は、字幕情報１１２と
話題転換語リスト１１３を受け取り、話題転換語リスト
１１３中の語が字幕情報１１２に含まれていれば、話題
転換信号１１４を出力する。映像取り込み部１０４は、
話題転換信号１１４を受け取ると映像信号１１１のその
時点での画像を取り込み、映像要約画像１１５として出
力する。以上の各部での処理を終了まで繰り返すこと
で、映像の要約を得る。

【００２１】ここで話題転換語辞書１０３が出力する話
題転換語リスト１１３とは、「次に」「ところで」「さ
て」「続いては」「次は」「まず」「それでは」など、
話題を切り替えるために用いられる語のリストである。

【００２２】字幕取得部１０１における処理内容は字幕
の提供形態によるが、一例を挙げればテレビ放送で行わ
れている字幕はビデオ信号中の垂直ブランキング区間の
走査線内に格納されている。したがって、この場合は字
幕取得部１０１は映像信号１１１から字幕を取得するこ
とになる。

【００２３】図３は図１の装置の動作および図２の方法
の作用を説明するための図である。この図は、テレビの
ニュース番組とその字幕情報からどのように映像要約画
像を出力するかを表している。

【００２４】図３（ａ）の３つの画面は上から下へ字幕
および映像内容の移り変わりを示している。最初の画面
の字幕は、話題転換語が含まれていないので何もしな
い。字幕が切り替わって２番目の画面になると、「次
に」が話題転換語に一致するので、話題転換信号が出力
される。話題転換信号により映像取り込み部でその瞬間
の画像（図３（ａ）の２番目の画像）が取り込まれ、出
力される。さらに字幕が切り替わって３番目の画面にな
ると、ここでは話題転換語は存在しないので何もしな
い。

【００２５】取り込まれた画像は、例えば図３（ｂ）の
出力例のように並べてみせることで、映像の内容を大ま
かに示すことができる。

【００２６】図４は、本発明（５）の一実施形態例を示
す装置の構成を表すブロック図である。また、図５は、
本発明（２）の一実施形態例の方法を示すとともに、上
記装置の動作を表すフロー図である。

【００２７】本実施形態例での、構成と動作は、ほぼ図
１の装置、図２の方法と同様であるが、形態素解析部３
０１により字幕中に含まれる単語リストを抽出すること
で、話題転換の検出精度を向上させる。

【００２８】図１の装置、図２の方法では、たとえば
「まずいことに」という字幕を「まず」という話題転換
語と照合した場合、「まず」という文字列が字幕中に含
まれているために、これを誤って話題転換語として検出
してしまう問題がある。

【００２９】これに対し本装置、本方法では、形態素解
析部３０１で「まずいことに」を「まずい」「こと」
「に」という単語に分解する。照合部１０２は、単語レ
ベルで照合を行う。そのため「まずい」は「まず」とは
一致せず、話題転換語辞書１１３に含まれていない言葉
を話題転換語として検出してしまうことはない。

【００３０】図６は、本発明（６）の一実施形態例を示
す装置の構成を表すブロック図である。また、図７は、
本発明（３）の一実施形態例の方法を示すとともに、上
記装置の動作を表すフロー図である。

【００３１】本実施形態例において、字幕取得部４０１
は映像と時間的に同期した字幕情報４１１を取得して出
力する。話題転換語辞書４０４は話題転換語リスト４１
３を出力する。照合部４０３は字幕情報４１１と話題転
換語リスト４１３を受け取り、話題転換語リスト４１３
中の語が字幕情報４１１に含まれていれば、話題転換信
号４１４を出力してショット切替検出部４０５を起動す
るとともに、並行して字幕取得部４０１からの話題転換
の検出の処理を終了まで繰り返す（図７（ａ））。ショ
ット切替検出部４０５は、話題転換信号４１４を受け取
ると映像信号４１５を監視し、最初にショット切替が起
こったときにショット切替信号４１６を出力する。映像
取り込み部４０６はショット切替信号４１６を受け取る
と、それから一定時間後の映像信号４１５中の画像を取
り込み、映像要約画像４１７として出力して、ショット
切替検出と映像信号からの画像の取り込みの処理を終了
する。ショット切替検出部４０５がショット切替を検出
しない場合には、次の話題転換が検出されたとき、およ
び一連の話題転換の検出の処理が終了したとき、終了す
る（図７（ｂ））。

【００３２】本装置の特徴は、話題転換検出後すぐの画
像ではなく、次に映像が切り替わった後の画像を用いる
点である。ここで、話題転換検出後すぐに画像を取り込
まないのは、話題転換と新しい話題に関する映像との間
に時間的にずれがある可能性があるからである。たとえ
ば図３（ａ）はニュース番組であるが、まずアナウンサ
ーが話題転換語を用いて新しい話題を導入し、次にショ
ットが切り替わってその話題に関する実際の映像が流れ
るという構成になっている。映像内容の要約としてより
ふさわしいのは、２番目のアナウンサーの画像ではな
く、３番目の話題に関する映像のほうであると考えられ
る。

【００３３】また、ショット切替は、画像の特殊効果
（ワイプ、ディゾルブなど）を伴うことがあり、ショッ
ト切替の検出直後の画像は乱れている可能性がある。そ
のため、ショット切替検出から実際の画像取り込みまで
にタイムラグを設けている。このタイムラグの大きさと
しては、１ないし数秒が適当である。

【００３４】なお、本発明（３）、（６）の実施形態例
で示したショット切替後の画像を要約を生成するために
取り込むことは、本発明（１）、（４）にも適用するこ
とが可能である。

【００３５】また、図１、図４、図６で示した装置の各
部の一部もしくは全部を、コンピュータを用いて機能さ
せることができること、あるいは、図２、図５、図７で
示した処理の手順をコンピュータで実行させることがで
きることは言うまでもなく、コンピュータをその装置の
各部として機能させるためのプログラム、あるいは、コ
ンピュータでその処理の手順を実行させるためのプログ
ラムを、そのコンピュータが読み取り可能な記録媒体、
例えば、ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯ
Ｍ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディス
クなどに記録して提供し、配布することが可能である。

【００３６】

【発明の効果】以上説明したように、本発明（１）、
（４）、（７）を用いれば、字幕情報付き映像の話題の
変わり目ごとの画像を集めることで、より少ない数の画
像で映像の要約を生成することができる。

【００３７】本発明（２）、（５）、（８）を用いれ
ば、字幕情報付き映像の話題の変わり目を精度良く検出
して、話題の変わり目ごとの画像を集めることができ、
より少ない数の画像で映像の要約を生成することができ
る。

【００３８】本発明（３）、（６）、（９）を用いれ
ば、字幕情報付き映像において話題が変わった後の最初
の映像ショットの画像を集めることで、より少ない数
の、よりふさわしい画像で映像の要約を生成することが
できる。

【図面の簡単な説明】

【図１】本発明（４）の一実施形態例を示す装置の構成
を表すブロック図である。

【図２】本発明（１）の一実施形態例の方法を示すとと
もに、図１の装置の動作を表すフロー図である。

【図３】（ａ），（ｂ）は、図１の装置の動作、図２の
方法の作用を説明するための図である。

【図４】本発明（５）の一実施形態例を示す装置の構成
を表すブロック図である。

【図５】本発明（２）の一実施形態例の方法を示すとと
もに、図４の装置の動作を表すフロー図である。

【図６】本発明（６）の一実施形態例を示す装置の構成
を表すブロック図である。

【図７】（ａ），（ｂ）は、本発明（３）の一実施形態
例の方法を示すとともに、図６の装置の動作を表すフロ
ー図である。

【符号の説明】

１０１…字幕取得部 １０２…照合部 １０３…話題転換語辞書 １０４…映像取り込み部 １１１…映像信号 １１２…字幕情報 １１３…話題転換語リスト １１４…話題転換信号 １１５…映像要約画像 ３０１…形態素解析部 ３１１…字幕中単語リスト ４０１…字幕取得部 ４０２…形態素解析部 ４０３…照合部 ４０４…話題転換後辞書 ４０５…ショット切替検出部 ４０６…映像取り込み部 ４１１…字幕情報 ４１２…字幕中単語リスト ４１３…話題転換語リスト ４１４…話題転換信号 ４１５…映像信号 ４１６…ショット切替信号 ４１７…映像要約画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 一男 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内

Claims (9)

【特許請求の範囲】
1. 【請求項１】 映像の内容を自動的に要約するための方
   法において、 映像と同期する字幕情報を取得し、 前記取得された字幕情報中の話題転換語の有無を検出
   し、 前記話題転換語が検出されたことを条件として映像信号
   から画像を取り込み出力する、 ことを特徴とする映像の自動要約方法。
2. 【請求項２】 映像の内容を自動的に要約するための方
   法において、 映像と同期する字幕情報を取得し、 前記取得された字幕情報のテキストから形態素解析によ
   り単語を抽出し、 前記抽出された単語の中での話題転換語の有無を検出
   し、 前記話題転換語が検出されたことを条件として映像信号
   から画像を取り込み出力する、 ことを特徴とする映像の自動要約方法。
3. 【請求項３】 前記話題転換語が検出されたことを条件
   として映像信号から画像を取り込み出力する過程では、 話題転換語が検出されたら映像信号のショット切り替え
   検出を開始し、 前記ショット切り替えが検出されたら一定時間後の映像
   信号から画像を取り込み出力する、 ことを特徴とする請求項１または請求項２に記載の映像
   の自動要約方法。
4. 【請求項４】 映像の内容を自動的に要約するための装
   置において、 映像と同期する字幕情報を取得する手段と、 前記取得された字幕情報中の話題転換語の有無を検出す
   る手段と、 前記話題転換語が検出されたことを条件として映像信号
   から画像を取り込み出力する手段と、 を具備することを特徴とする映像の自動要約装置。
5. 【請求項５】 映像の内容を自動的に要約するための装
   置において、 映像と同期する字幕情報を取得する手段と、 前記取得された字幕情報のテキストから形態素解析によ
   り単語を抽出する手段と、 前記抽出された単語の中での話題転換語の有無を検出す
   る手段と、 前記話題転換語が検出されたことを条件として映像信号
   から画像を取り込み出力する手段と、 を具備することを特徴とする映像の自動要約装置。
6. 【請求項６】 前記話題転換語が検出されたことを条件
   として映像信号から画像を取り込み出力する手段は、 話題転換語が検出されたら映像信号のショット切り替え
   検出を開始する手段と、 ショット切り替えが検出されたら一定時間後の映像信号
   から画像を取り込み出力する手段と、 を具備することを特徴とする請求項４または請求項５に
   記載の映像の自動要約装置。
7. 【請求項７】 映像の内容を自動的に要約するための方
   法における、 映像と同期する字幕情報を取得する手順と、 前記取得された字幕情報中の話題転換語の有無を検出す
   る手順と、 前記話題転換語が検出されたことを条件として映像信号
   から画像を取り込み出力する手順と、 をコンピュータに実行させるためのプログラムを、該コ
   ンピュータが読み取り可能な記録媒体に記録した、 ことを特徴とする映像の自動要約方法を記録した記録媒
   体。
8. 【請求項８】 映像の内容を自動的に要約するための方
   法における、 映像と同期する字幕情報を取得する手順と、 前記取得された字幕情報のテキストから形態素解析によ
   り単語を抽出する手順と、 前記抽出された単語の中での話題転換語の有無を検出す
   る手順と、 前記話題転換語が検出されたことを条件として映像信号
   から画像を取り込み出力する手順と、 をコンピュータに実行させるためのプログラムを、該コ
   ンピュータが読み取り可能な記録媒体に記録した、こと
   を特徴とする映像の自動要約方法を記録した記録媒体。
9. 【請求項９】 前記話題転換語が検出されたことを条件
   として映像信号から画像を取り込み出力する手順では、 話題転換語が検出されたら映像信号のショット切り替え
   検出を開始し、 前記ショット切り替えが検出されたら一定時間後の映像
   信号から画像を取り込み出力する、 ことを特徴とする請求項７または請求項８に記載の映像
   の自動要約方法を記録した記録媒体。