JP3250467B2

JP3250467B2 - 映像要約方法および映像表示方法

Info

Publication number: JP3250467B2
Application number: JP26428796A
Authority: JP
Inventors: 伸山田; 康弘菊池
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1996-10-04
Filing date: 1996-10-04
Publication date: 2002-01-28
Anticipated expiration: 2016-10-04
Also published as: JPH10112835A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像の検索、編
集、加工、早見などを支援する方法に係り、特にビデオ
テープやビデオディスクに格納された映像を要約して、
再生または表示をする映像要約方法および映像表示方法
に関するものである。

【０００２】

【従来の技術】映像の編集、早見においては、映像の中
から見たい部分を効率よく探すための映像要約手段が不
可欠である。画像の中から特定の代表画像を選択するこ
とを特徴とする映像要約手段として、例えば、特開昭６
４ー６８０８４号に記載された方法（以下、シーン一覧
表示という。）、ショット毎ラッシュ再生法、特開平７
−２３６１５３号に記載された方法（以下、色差相関値
法という。）、特開平６−１４９９０２号に記載された
方法（以下、時間長指定要約法という。）が知られてい
る。

【０００３】シーン一覧表示は、シーンチェンジをあら
かじめ調べておき、図１４に示すように、シーンチェン
ジ直後の画像を一覧表示する方法である。図１４におい
て、（１）〜（９）がシーンチェンジ直後の画像を表し
ている。この方法では、一つのシーンをシーンの先頭画
像で代表させる。

【０００４】「シーン」とは、映像編集などの分野でし
ばしば使われる映像の単位であり、多くの場合、「一つ
のビデオカメラで時間的に連続して撮影された部分」と
定義される。本願では「シーン」をこれより広い意味に
用いるものとし、「シーン」とは、「映像を何らかの基
準に従って分割して形成した映像の単位」をいうものと
する。シーンは、ショット、カットと呼ばれることもあ
る。「シーンチェンジ」とは、多くの場合、編集でつな
いだ部分、ビデオカメラの撮影を中断した部分のよう
に、シーンが変化する部分をいう。本願ではこれより広
い意味に用いるものとし、「シーンチェンジ」とは、
「映像を何らかの基準に従って分割する際に分割された
部分」をいうものとする。シーンチェンジは、カットと
呼ばれることもある。また、「フレーム」とは、映像を
構成する各画像をいうものとする。

【０００５】映像を自動的にシーンに分割する方法とし
ては、共通色比率法（山田、藤岡、金森、松島、「部分
領域ごとの共通色に注目したシーンチェンジ検出方法の
検討」、テレビジョン学会技術報告,Vol.17,No.55）、
映像変化モデル法（山田、藤岡、金森、松島、坂内、
「編集効果を含む映像のシーンチェンジ検出方法」、テ
レビジョン学会、マルチメディアと映像処理シンポジウ
ム'94）などが提案されている。

【０００６】ショット毎ラッシュ再生法は、各シーンの
先頭部分を標準速度で次々に再生する映像要約方法であ
る。この方法は、映像の要約を見るための方法であり、
途中で再生を中断せずに最初から最後まで再生して利用
する。

【０００７】時間長指定要約法は、全部または一部のシ
ーンを一定時間づつ再生する方法であり、要約動画像の
時間長が指定された値になるように、各シーンの時間長
を用いて、各シーンの再生時間または再生シーン数を決
める。

【０００８】色差相関値法は、カメラアングルのみが変
わって、同様な内容をもつシーンをグループ化すること
で、シーン一覧表示に比べて能率的な映像検索を可能に
する映像要約方法である。この方法では、シーンの先頭
画像（以下、カット画面という。）を求めながら、カッ
ト画面間の色差ヒストグラム相関値を求め、色差ヒスト
グラム相関値をしきい値以上にするカット画面を同一グ
ループのカット画面とみなす。このとき、類似背景を有
するカット画面同士が、同一グループになる。また、カ
ット画面を一覧表示する場合には、同一グループ内で最
初に検出されたカット画面を親画面にして、同一グルー
プ内の残りのカット画面を子画面にして表示する。例え
ば、２番目〜３番目のシーンが同一グループで、６番目
〜８番目のシーンが同一グループであるとき、図１５に
示すように表示する。図１５において、（１）〜（９）
は、それぞれ１番目のカット画面から９番目のカット画
面までを表す。

【０００９】以下、色差相関値法を用いた従来の映像要
約システムについて説明する。図１６は従来例である映
像要約システムを示すブロック図である。図１６におい
て、１５０１、１５０２は映像の入力装置であって、１
５０１はビデオディスク装置、１５０２はＶＴＲであ
る。１５０３はビデオディスク装置１５０１やＶＴＲ１
５０２からの映像信号を処理しながら、シーンチェンジ
検出と色差相関値法を用いて映像を要約する映像要約装
置であり、フレーム画像を取り込む画像取り込み手段１
５０４と、シーンチェンジを検出するシーンチェンジ検
出手段１５０５と、カット画面（シーンの先頭画像）の
グループ化を実行するグループ生成手段１５０６から構
成される。１５０７は、ビデオディスク装置１５０１と
ＶＴＲ１５０２を制御する制御装置である。１５０８
は、映像を圧縮する映像圧縮装置である。１５０９は映
像要約装置１５０３で作成されたカット画面とシーンチ
ェンジのデータとグループのデータと、映像圧縮装置１
５０８で圧縮された映像データを保存するファイルサー
バーである。１５１０はファイルサーバに格納されたデ
ータと画像と映像を表示する映像表示装置である。

【００１０】以上のように構成された映像要約システム
について、図１７に示すフローチャートを用いてその全
体の動作を説明する。

【００１１】手順１６０１では、図１６における制御装
置１５０７がビデオディスク装置１５０１とＶＴＲ１５
０２を制御して、映像の再生を開始し、同時に映像圧縮
装置１５０８での映像の圧縮を開始する。圧縮された映
像はファイルサーバ１５０９に保存する。

【００１２】手順１６０２では、制御装置１５０７が映
像が終了したかどうか判定する。映像が終了した場合に
は手順１６０７に進み、そうでなければ、手順１６０３
に進む。

【００１３】手順１６０３では、画像取り込み手段１５
０４が再生中のフレーム画像を取り込む。

【００１４】手順１６０４では、シーンチェンジ検出手
段１５０５が画像取り込み手段１５０４で取り込まれた
フレーム画像を処理して、前述した共通色比率法等を用
いてシーンチェンジが発生したかどうか検出する。

【００１５】手順１６０４で「シーンチェンジが発生し
た」と判定された場合には手順１６０５に進み、そうで
なければ手順１６０２に戻る。

【００１６】手順１６０５では、シーンチェンジ検出手
段１５０５で検出したシーンチェンジが発生した時点の
フレーム番号とカット画面をファイルサーバ１５０９に
保存する。

【００１７】手順１６０６では、グループ生成手段１５
０６が、時系列のカット画面間の色差ヒストグラム相関
値を求め、色差ヒストグラム相関値をしきい値以上にす
るカット画面を同一グループのカット画面とみなす。グ
ループ化の結果をファイルサーバー１５０９に保存して
から、手順１６０２に戻る。

【００１８】手順１６０７では、制御装置１５０７が映
像の再生と映像の圧縮を中止する。手順１６０８では、
使用者が映像の表示方法を選択する。代表的な部分を動
画で見たい場合には、手順１６１０に進む。静止画を用
いて見たい部分を探したい場合には、手順１６０９に進
む。

【００１９】手順１６０９では、使用者が見たい部分を
効率よく探せるように、システムが映像表示装置１５１
０上に映像の要約を表示する。例えば、図１４に示した
ように、カット画面を一覧表示する。また、同一グルー
プと判定されたカット画面を、同一グループ内で最初に
検出されたカット画面と連結して子画面の形式で表示し
てもよい。２番目のシーンと３番目のシーンが同一グル
ープで、６番目〜８番目のシーンが同一グループである
とき、図１５のように表示されることになる。

【００２０】手順１６１０では、システムが映像表示装
置１５１０上に映像の各グループの先頭部分を所定の時
間ずつ、例えば５秒ずつ表示する。

【００２１】

【発明が解決しようとする課題】従来、画像の中から特
定の代表画像を選択することを特徴とする映像要約装置
は、一つの番組の中でどの映像が重要であるかがその映
像の内容等により異なるにもかかわらず、一つの基準の
みにより代表画像を選択していた。例えば「従来の技
術」の欄で説明した色差相関値法を用いた映像要約装置
では、「カメラアングルのみが異なる同様な内容をもつ
シーンは同一のグループである」という映像要約基準の
みによって番組の代表画像を選択していた。しかし同方
法では、例えばニュース番組においてしばしば起こるよ
うに、現場のアナウンサーが事件を説明するシーン等の
ように同一背景であっても人間が現れているシーンやそ
の直後のシーンのように重要な情報を有している可能性
が高いシーンを代表画像として選択することができな
い。これらの画像は背景が類似している限り全てまとめ
られてしまうからである。また同方法では、衛星放送の
番組「ハイテクシャワーインターナショナル」等のよう
に本編の各記事から２〜３シーンの動画像を抜き出して
作成されたダイジェストが最初に流れてから本編が流れ
る番組で、これらのダイジェスト画像を代表画像となる
ように本編をグループ化することができない。ダイジェ
スト部分と本編部分とを区別せず、隣り合うシーン間の
みで類似度を判断するからである。

【００２２】映像要約装置のみならず、その映像要約装
置により得られた要約情報を含む映像情報を表示する映
像表示装置についても課題があった。すなわち、全ての
シーンの一部又は全部を何らかの方法で再生するショッ
ト毎ラッシュ再生法や時間長指定要約法に基づく映像表
示装置においては、映像のシーンの数が多いときには代
表画像も多くなり、使用者側の負担となっていた。ま
た、画像の中から所定の基準に従って代表画像を選択す
る映像要約装置により得られた要約情報を含む映像情報
を表示する映像表示装置においても、映像のシーンの数
が多いときには代表画像が多くなることが多く、その結
果、一覧表示される画像が多くなり、見たい部分を探し
にくいということがしばしばあった。例えばニュース番
組を要約した場合には、多くの場合、各記事から数十枚
のシーンの代表画像が表示されるために、一つの記事を
見終わるまでに、数十枚のシーンの代表画像を見る必要
があるという課題があった。

【００２３】また、図１６、図１７を用いて説明したシ
ステムにおける映像表示装置では静止画を用いて見たい
部分を探すことはできるが、動画と音声を用いて見たい
部分を探すことができないという課題を有していた。さ
らに、ショット毎ラッシュ再生法と時間長指定要約法で
は静止画を用いて見たい部分を探すことができないだけ
でなく、一定時間に達しないシーンが再生される場合、
その一定時間の中に次のシーンの先頭の映像が含まれる
のでその一定時間の終わりまで次のシーンが再生され、
その後再び当該次のシーンが先頭から一定時間再生され
るので、この当該次のシーンの先頭の映像が連続してか
つ重複して再生されるという課題を有していた。

【００２４】以上で述べたように、映像の内容や使用者
の好み等に関わりなく一定の映像要約基準のみで画一的
に代表画像を選択する映像要約装置や代表画像を映像の
長さ等に関係なく表示する映像表示装置では、映像の内
容等に依存する多様性および要約に対する使用者の多様
なニーズに対応できないという課題を有していた。

【００２５】本発明は上記従来技術の課題を解決するも
ので、映像内容の多様性および使用者の好みの多様性に
対応する映像要約装置および要約情報を効率的に表示す
るための映像表示装置を提供することを目的とする。

【００２６】

【課題を解決するための手段】上記課題を解決するため
に、本発明に係る映像要約方法を実現する映像要約装置
は、取り込まれた映像を所定の基準に基づいて分割して
形成した複数のシーンを複数の時系列グループにまとめ
るためのまたは上記複数のシーンより所定のシーンを選
択するための映像要約手段を複数用意している。この複
数の映像要約手段とは、一定時間以上継続するシーンだ
けを検出してその代表画像を抜き出す手段、色差相関値
法などを用いてグループ化した結果に対して一定時間以
上継続するシーンがその前後のシーンと同一グループに
ならないように修正してから各グループの代表画像を抜
き出す手段、さらに、映像のダイジェストを含む数十シ
ーンのそれぞれの代表画像と他のシーンのそれぞれの代
表画像との間で類似度を計算し類似度がしきい値以上に
なるシーンを検出してその代表画像だけを抜き出す手段
等であり、各手段によって抜き出された映像要約情報は
内部または外部に備えられた記録手段に映像情報自体と
共に記録される。本発明に係る映像表示方法を実現する
映像表示装置では、上記記録手段に記録された映像要約
情報である映像の要約画像である代表画像を一覧表示
し、一覧表示された画像の中から見たい部分の画像を指
定すると、その部分以降の映像が再生される。さらに、
あらかじめ映像要約手段の優先順位と、各映像要約手段
の中での画像選択の優先順位を決めておき、これらの優
先順位を用いて代表画像を決定し、使用者に指定された
枚数以下の画像を抜き出すことができる。

【００２７】

【００２８】

【００２９】

【発明の実施の形態】請求項１に記載の発明は、取り込
まれた映像のシーンチェンジを検出することにより分割
して形成した複数の各シーンの所定の画像（以下、シー
ンの所定の画像を代表画像という。）と先頭フレーム番
号を出力するシーンチェンジ検出過程と、時系列的にそ
の前後のシーンの代表画像の類似度を計算することによ
り代表画像を含むシーンを時系列グループにまとめる時
系列グループ生成過程と、前記同一の時系列グループ内
にあっても一定時間以上継続するシーンを検出し、前記
一定時間以上継続するシーンを１つの時系列グループと
し、それ以外を別の時系列グループに分割する時系列グ
ループ追加過程と、前記各時系列グループの代表画像と
先頭フレーム番号を出力する映像要約情報出力過程とか
らなる映像要約方法であり、一定時間以上継続するシー
ンは全て抜き出すとともに、所定の基準で時系列のシー
ンをグループ化するという作用を有する。請求項２記載
の発明は、取り込まれた映像のシーンチェンジを検出す
ることにより分割して形成した複数の各シーンの所定の
画像（以下、シーンの所定の画像を代表画像という。）
と先頭フレーム番号を出力するシーンチェンジ検出過程
と、前記各シーンの内一定時間以上継続するシーンを時
系列グループとして出力する時間判定過程と、前記一定
時間以上継続するシーンを除き、時系列的にその前後の
シーンの代表画像の類似度を計算することにより代表画
像を含むシーンを時系列グループにまとめる時系列グル
ープ生成過程と、前記時系列グループの代表画像と先頭
フレーム番号を出力する映像要約情報出力過程とからな
る映像要約方法であり、一定時間以上継続するシーンは
全て抜き出すとともに、所定の基準で時系列のシーンを
グループ化するという作用を有する。

【００３０】請求項３に記載の発明は、請求項１または
請求項２に記載した映像要約方法の時系列グループ生成
過程におけるシーンの代表画像間の類似度を計算する方
法が、比較すべき代表画像間で共通する色を持つ画素の
割合を計算するものであることを特徴とする映像要約方
法であり、一定時間以上継続するシーンは全て抜き出す
とともに、色に関する類似度を基準として時系列のシー
ンをグループ化するという作用を有する。

【００３１】

【００３２】

【００３３】

【００３４】請求項４に記載の発明は、取り込まれた映
像をそのシーンチェンジを検出することにより分割して
形成した複数のシーンを複数の時系列グループにまとめ
るための一つ以上の映像要約過程と、前記映像要約過程
によりまとめられた時系列グループの代表画像と先頭フ
レーム番号を出力する映像要約出力過程とからなる映像
要約方法において、複数のシーンを複数の時系列グルー
プにまとめるための映像要約過程が、全てのシーンをそ
れぞれ一つの時系列グループにする第１の映像要約過程
と、一定時間以上継続するシーンから次の一定時間以上
継続するシーンの前のシーンまでを一つの時系列グルー
プにまとめる第２の映像要約過程と、時系列的にその前
後のシーンの所定の画像（以下、シーンの所定の画像を
代表画像という。）の類似度を所定の基準に従って計算
して類似度がしきい値以上になる代表画像を含むシーン
を時系列グループにまとめ、第２の映像要約過程で検出
された前記一定時間以上継続するシーンを１つの時系列
グループとし、それ以外を別の時系列グループに分割す
る第３の映像要約過程のいずれかから１つ以上を選択す
ることを特徴とするものであり、使用者が映像の特徴等
に合わせて代表画像を決定するための複数の映像要約情
報を用意するという作用を有する。

【００３５】

【００３６】

【００３７】請求項５に記載の発明は、請求項４に記載
の映像要約方法であって、使用者が、映像要約過程の優
先順位および出力すべき代表画像の数を入力し、その情
報に従って映像要約を行うという作用を有する。請求項
６に記載の発明は、請求項５に記載の映像要約方法にお
いて、映像要約出力過程が、優先順位が高い映像要約過
程によって得られた代表画像および先頭フレーム番号か
ら順番に、使用者から入力された数の代表画像および先
頭フレーム番号を出力することを特徴とするもので、入
力された情報に従って映像要約を行うという作用を有す
る。

【００３８】請求項７に記載の発明は、請求項１から請
求項６のいずれかの映像要約方法により出力されたそれ
ぞれの先頭フレーム番号を先頭にして、任意の時間毎に
映像を順次再生し、再生中に指定されたフレームを先頭
にして、映像を再生することを特徴とする映像表示方法
であって、音声や被写体の動きを考慮しながら見たい部
分を指定できるという作用を有する。

【００３９】

【００４０】

【００４１】

【００４２】以下、本発明に基づく実施の形態を図面を
参照しながら説明する。（第１の実施の形態）図１は第１の実施の形態であっ
て、複数の映像要約基準に基づき映像より要約情報を抽
出する映像要約装置と、この装置により選択された映像
の要約情報およびその映像自体を表示する映像表示装置
を組み合わせて構成した映像要約システムを示すブロッ
ク図である。

【００４３】図１において、１０１、１０２は映像出力
装置であって、１０１はビデオディスク装置、１０２は
ＶＴＲである。１０３はビデオディスク装置１０１やＶ
ＴＲ１０２からの映像信号を処理しながら、映像を要約
する映像要約装置であって、フレーム画像を取り込む画
像取り込み手段１０４と、シーンチェンジを検出するシ
ーンチェンジ検出手段１０５と、一定時間以上継続する
シーンを検出する時間判定処理手段１０６と、シーンの
代表画像のグループ化を実行するグループ生成手段１０
７と、時間判定処理手段１０６とグループ生成手段１０
７の出力を受けてグループ化の結果を修正するグループ
追加手段１０８と、シーンの代表画像の間の類似度を計
算する画像類似度計算手段１０９と、類似度計算手段で
求めた類似度がしきい値以上になるシーンを検出する画
像基準処理手段１１０から構成される。１１１は、ビデ
オディスク装置１０１とＶＴＲ１０２を制御する制御装
置である。１１２は、映像を圧縮する映像圧縮装置であ
る。１１３は映像圧縮装置１１２で圧縮された映像デー
タと、映像要約装置１０３で検出された各種シーンとグ
ループのデータと、それぞれの代表画像を保存するファ
イルサーバーである。１１４はファイルサーバ１１３に
格納されたデータを用いて映像を表示する映像表示装置
であり、映像要約装置で抜き出された画像の位置付近の
映像を一定時間づつ次々に再生する要約映像再生手段１
１５と、映像の再生を制御するユーザーインタフェース
手段１１６と、指定された位置以降の映像を再生する映
像再生手段１１７から構成される。

【００４４】映像要約システムの映像要約装置１０３
は、例えば、コンピュータハードウエアおよびソフトウ
エアの組み合わせにより実現することができる。また、
映像表示装置１１４のうち、要約映像再生手段１１５お
よび映像再生手段１１７はコンピュータ上で実現するこ
とができ、ユーザーインターフェース手段１１６はＣＲ
Ｔ等のモニターおよびコンピュータのハードウエアおよ
びソフトウエアの組み合わせにより実現することができ
る。

【００４５】本実施の形態に係る映像要約装置１０３は
４つの映像要約基準を備えている。第１の映像要約基準
は、映像の含む全てのシーンの先頭画面を代表画像とす
る映像要約基準である。以下では、この映像要約基準を
全シーン表示モードという。第２の映像要約基準は、一
定値以上の時間長を有するシーンの先頭画面を代表画像
とする映像要約基準である。以下では、この映像要約基
準を時間判定モードという。第３の映像要約基準は、時
間判定モードで選択されたシーンを除くシーンを色差相
関値法によりグループ化し、時間判定モードで選択され
たシーンおよび上記グループ化されたシーンの先頭画面
を代表画像とする映像要約基準である。以下では、この
映像要約基準をハイブリッドモードという。第４の映像
要約基準は、特定のニュース番組のように映像のダイジ
ェストが番組の冒頭等にあることがあらかじめわかって
いる映像の当該ダイジェストを含む部分の代表画像とそ
の他のシーンの先頭画面との間の類似度を、複数の画像
領域内の画素のＲＧＢ成分の比較によって計算し、所定
のしきい値以上の値を持つシーンの先頭画面を代表画像
とする映像要約基準である。以下では、この映像要約基
準を画像基準モードという。

【００４６】以上のように構成される映像要約システム
について、図２に示すフローチャートを用いてその動作
を説明する。

【００４７】手順２０１では、図１における制御装置１
１１がビデオディスク装置１０１とＶＴＲ１０２を制御
して、映像の再生を開始し、同時に映像圧縮装置１１２
での映像の圧縮を開始する。

【００４８】手順２０２では、制御装置１１１が映像が
終了したかどうか判定する。映像が終了した場合には手
順２１２に進み、そうでなければ、手順２０３に進む。

【００４９】手順２０３から手順２１１までは映像要約
装置１０３において行われる処理である。

【００５０】手順２０３では、画像取り込み手段１０４
が再生中のフレーム画像を取り込む。

【００５１】手順２０４では、シーンチェンジ検出手段
１０５が、画像取り込み手段１０４で取り込まれたフレ
ーム画像を処理して、「従来の技術」の欄で述べた共通
色比率法を用いて、シーンチェンジが発生したかどうか
を判定する。ただし、共通色比率法では、次シーンのフ
レーム画像を２枚処理してからシーンチェンジが検出さ
れるので、「シーンチェンジが発生した」という判定は
「前回取り込んだフレーム画像がカット画面である」こ
とを表す。

【００５２】図３は、今述べたシーンチェンジ検出手段
１０５がシーンチェンジを検出する方法と前シーンを示
す説明図である。図３において、ａは手順２０３で取り
込まれたフレーム画像であり、ｂは１回前の手順２０３
で取り込んだフレーム画像であり、ｃは２回前の手順２
０３で取り込んだフレーム画像であり、ｄは３回前の手
順２０３で取り込んだフレーム画像である。この場合、
シーンチェンジはｂとｃとの間で発生しているが、それ
を検出するのはａを取り込んだ後であることを示してい
る。また、検出したシーンチェンジの直前のシーンを前
シーンと呼ぶ。

【００５３】なお、映像変化モデル法などを用いてシー
ンチェンジを検出してもよい。また、あらかじめオペレ
ータがシーンチェンジを判断して、そのシーンチェンジ
が発生した時点のフレーム番号を入力しておいてもよ
い。

【００５４】手順２０４でシーンチェンジ検出手段１０
５が「シーンチェンジが発生した」と判定した場合には
手順２０５に進み、そうでなければ手順２０２に戻る。

【００５５】手順２０５では、全シーンモードのシーン
の代表画面および先頭フレームを決定する。具体的に
は、手順２０４で取り込まれた画像およびシーンチェン
ジが発生した時点のフレーム番号を全シーンモードのシ
ーンの代表画面および先頭フレームとしてファイルサー
バ１１３に保存する。なお、画像をファイルサーバー１
１３に保存する場合には、縮小して保存してもよい。

【００５６】手順２０６では、時間判定モードのシーン
の代表画面および先頭フレームを決定する。具体的に
は、手順２０４で検出したシーンチェンジの直前のシー
ン（以下、前シーンという）の時間長を計算してから、
時間判定処理手段１０６で、時間長が８秒以上になる前
シーンを検出し、検出した前シーンの代表画像を時間判
定モードの代表画像とみなしてファイルサーバ１１３に
保存する。また、時間判定処理手段１０６で検出された
前シーンの先頭フレーム番号を時間判定モードで表示す
るシーンの先頭フレーム番号としてファイルサーバーに
保存する。

【００５７】なお、本実施の形態では、８秒以上の前シ
ーンを検出したが、必ずしも８秒である必要はない。

【００５８】手順２０７から２０９まででは、ハイブリ
ッドモードのシーンの代表画面および先頭フレームを決
定する。

【００５９】手順２０７では、グループ生成手段１０７
が、手順２０４で検出したシーンチェンジ直後のシーン
（以下、次シーンという。）の代表画像と前シーンの代
表画像をファイルサーバー１１３から取り出し、その間
の色差ヒストグラム相関値を求め、色差ヒストグラム相
関値がしきい値以上になる場合に、次シーンの代表画像
をハイブリッドモードの代表画像とみなしてファイルサ
ーバ１１３に保存する。さらに、色差ヒストグラム相関
値がしきい値以上になる場合には、次シーンの先頭フレ
ーム番号をハイブリッドモードで表示するシーンの先頭
フレーム番号としてファイルサーバー１１３に保存す
る。

【００６０】手順２０８は分岐処理である。前シーンの
時間長が８秒以上になる場合には、手順２０９に進み、
そうでなければ手順２１０に進む。

【００６１】手順２０９では、グループ追加手段１０８
が時間長が８秒以上の前シーンの代表画像と次シーンの
代表画像をハイブリッドモードの代表画像とみなしてフ
ァイルサーバー１１３に保存する。さらに、上記前シー
ンの先頭フレーム番号と次シーンの先頭フレーム番号を
ハイブリッドモードで表示するシーンの先頭フレーム番
号としてファイルサーバー１１３に保存する。

【００６２】手順２１０から２１１まででは、画像基準
モードのシーンの代表画面および先頭フレームを決定す
る。

【００６３】手順２１０では、手順２０４においてシー
ンチェンジ検出手段１０５により求められた次シーンの
代表画像Ｉ_Nと映像の先頭の２０シーンの代表画像Ｉ
_M（Ｍは１から２０までの自然数）との間の類似度S(M,
N)を画像類似度計算手段１１０が計算する。類似度の計
算方法としては、各種の方法が考えられる。図４でその
一例を紹介する。図４は画像基準モードにおいて、ダイ
ジェストを含む部分の代表画像とその他のシーンとの間
の色彩の類似度を計算する際に画面をブロックへの分割
することを示す説明図である。すなわち、代表画像Ｉ_M
を図４に示すように４×４個のブロックに分割し、ｉ番
目のブロック内の画素の平均色のＲＧＢ成分Ｒ_i(Ｍ)、
Ｇ_i(Ｍ)、Ｂ_i(Ｍ)を用いて次式で計算すればよい。

【００６４】

【数１】

【００６５】（数１）式において、｜ｘ｜はｘの絶対値
を表す。また、従来例で述べた色差ヒストグラム相関値
を類似度として用いてもよい。

【００６６】なお、以上の説明では、次シーンの代表画
像との間の類似度を計算する画像として、映像の先頭の
２０シーンの代表画像を用いたが、これは、番組の構成
によって変更するようにすることもできる。具体的に
は、映像表示装置１１４のユーザインターフェース手段
１１６からの命令により画像類似度計算手段１０９が次
シーンの代表画像Ｉ_Nを映像の先頭でない部分から選ぶ
ようにしてもよい。例えば、映像の末尾にダイジェスト
がある場合には、映像の末尾の複数シーンを用いる。

【００６７】手順２１１では、画像基準処理手段１１０
で、Ｍが１から２０までのいずれかの値をとるときに、

【００６８】

【数２】

【００６９】が成り立つかどうか調べ、（数２）が成立
するときに、次シーンの先頭フレーム番号を画像基準モ
ードで表示するシーンの先頭フレーム番号としてファイ
ルサーバー１１３に保存し、次シーンの代表画像を画像
基準モードの代表画像とみなす。（数２）においてθ
_SIMはあらかじめ設定したしきい値である。

【００７０】手順２１１の終了後、手順２０２に戻る。
手順２１２では、映像の再生と映像の圧縮を中止する。

【００７１】ここまでの手順でファイルサーバー１１３
には、複数の映像要約基準、すなわち全シーンモード、
時間判定モード、ハイブリッドモード、画像基準モード
によりそれぞれ抜き出された要約情報、すなわち代表画
像と先頭フレーム番号が保存された。以下の手順２１３
から手順２１５までは表示装置１１４において行われる
処理である。

【００７２】手順２１３では、使用者がユーザーインタ
ーフェース手段１１６を介してどのモードによる要約映
像を表示するかを選択する。選択肢は、上述したよう
に、時間判定モード、ハイブリッドモード、画像基準モ
ード、全シーン表示モードである。ユーザーインターフ
ェース手段１１６は、ファイルサーバー１１３に対し
て、選択されたモードのシーンの代表画像および先頭フ
レームの情報を要約映像再生手段１１５に送る旨の信号
を出力する。

【００７３】手順２１４では、手順２１３で選択された
モードで表示されるべきシーンの先頭フレーム番号と代
表画像の情報が、ファイルサーバー１１３より要約映像
再生手段１１５に送られる。これらの情報に基づいて、
要約映像再生手段１１５は要約映像を表示する。ここで
は使用者がハイブリッドモードを選択した場合について
説明する。図５は本発明の第１の実施の形態における要
約映像の作成方法を示す説明図である。３段の映像情報
のうち、上段は映像自体、中段は上段の映像より抜き出
された５秒間の要約映像、下段は中段の要約映像のみを
連続的に再生することを示したものである。すなわち、
図５の下段に示すように、ハイブリッドモードの各代表
画像のシーンの先頭以降の５秒間の映像データをファイ
ルサーバー１１３からを取り出し、標準速度で次々に再
生する。

【００７４】なお、各代表画像のシーンの先頭以降の映
像データの長さは５秒間でなくてもよい。また、各代表
画像のシーンの先頭以降の５秒間ではなく、「各代表画
像の２秒前から５秒間再生する」というように、各代表
画像の位置前後の映像を次々に再生してもよい。また、
標準速度で再生せずに、早送りで再生してもよい。ま
た、映像内容に合わせて早送りの速度を変えてもよい。
また、各代表画像のシーンの先頭以降の５秒間が複数の
シーンを含んでもよい。

【００７５】使用者は、ユーザーインタフェース手段１
１６を用いて要約映像の表示をしながら、見たい部分を
探す。要約映像の制御ボタンとしては、再生、逆再生、
静止、早送り、巻き戻し、１コマ送り、１コマ戻しなど
が考えられる。

【００７６】手順２１５では、使用者が要約映像を見な
がら見たい部分の先頭を指定する。図６は、要約映像の
再生部分を示す説明図である。すなわち、使用者がｉ番
目のシーンの代表画像の先頭を２秒見た時点でユーザー
インタフェース手段１１６によりそのシーンを指定した
場合、映像再生手段１１７による映像の再生開始時点は
「ｉ番目のシーンの代表画像の先頭から２秒経過した時
点」となる。

【００７７】図７に、見たい部分を指定するためのユー
ザーインターフェース１１６の画面の例を示す。図７に
おいて、ａは要約映像を表示する部分、ｂは要約映像を
制御するボタン、ｃは見たい部分を指定するボタンであ
る。見たい部分を指定するボタンを押した瞬間に、ａに
表示されている画像が、見たい部分の先頭とみなされ
る。従って、見たい部分で要約映像を静止させておき、
ボタンｃを押すと、確実に見たい部分の先頭を指定する
ことができる。

【００７８】なお、以上の説明では、グループの先頭シ
ーンの代表画像をハイブリッドモードの代表画像とした
が、他の方法で代表画像を選んでもよい。例えば、各グ
ループで最も時間長が長いシーンの代表画像をハイブリ
ッドモードの代表画像とみなしてもよい。また、本実施
の形態では選択するモードを４つ用意したが、４つでな
くてもよい。代表画像を求める順番も自由であり、必ず
しも、全シーン表示モード、時間判定モード、ハイブリ
ッドモード、画像基準モードの順番で代表画像を決定し
なくてもよい。

【００７９】手順２１４において、要約映像を静止した
ときに、静止した位置の直前の代表画像の前後の代表画
像を一覧表示してもよい。そして、手順２１５におい
て、表示された代表画像の一つを見たい部分の先頭とし
て指定してもよい。同時に表示する代表画像の枚数は、
例えば２４枚にすればよい。

【００８０】また、手順２１４において、各代表画像の
シーンの先頭以降の５秒間の映像データを取り出すが、
直前の代表画像のシーンの先頭以降の５秒間の中に代表
画像のシーンの先頭フレームが含まれることがある。図
８は、かかる状況での要約映像の再生部分を示す説明図
である。上記説明のように、取り出した映像データを次
々に再生すると、図８のＡの部分が２回再生されること
になる。そこで、図示したように、「直前の代表画像の
シーンの先頭以降の５秒間」の中に「代表画像のシーン
の先頭フレーム」が含まれる場合には、代表画像のシー
ンの先頭ではなく、直前に再生した部分（例えば、図８
のＡの部分）の直後から再生してもよい。

【００８１】（第２の実施の形態）図９は第２の実施の
形態であって、複数の映像要約基準に基づき映像より要
約情報を抽出するとともに使用者に指定された枚数以下
の代表画像を抜き出す映像要約装置と、この装置により
選択された映像の要約情報およびその映像自体を表示す
る映像表示装置を組み合わせて構成した映像要約システ
ムを示すブロック図である。

【００８２】図９において、８０１、８０２は映像出力
装置であって、８０１はビデオディスク装置、８０２は
ＶＴＲである。８０３はビデオディスク装置８０１やＶ
ＴＲ８０２からの映像信号を処理しながら、使用者に指
定された枚数以下の画像を抜き出して映像を要約する映
像要約装置であって、フレーム画像を取り込む画像取り
込み手段８０４と、シーンチェンジを検出するシーンチ
ェンジ検出手段８０５と、一定時間以上継続するシーン
を検出する時間判定処理手段８０６と、シーンの代表画
像のグループ化を実行するグループ生成手段８０７と、
時間判定処理手段８０６とグループ生成手段８０７の出
力を受けてグループ化の結果を修正するグループ追加手
段８０８と、シーンの代表画像の間の類似度を計算する
画像類似度計算手段８０９と、類似度計算手段で求めた
類似度がしきい値以上になるシーンを検出する画像基準
処理手段８１０と、シーンチェンジ検出手段８０５と時
間判定処理手段８０６とグループ追加手段８０８と画像
基準処理手段８１０の出力を受けて代表画像を決定する
画像判定手段８１１から構成される。８１２は、ビデオ
ディスク装置８０１とＶＴＲ８０２を制御する制御装置
である。８１３は、映像を圧縮する映像圧縮装置であ
る。８１４は映像要約装置８０３で決定した代表画像と
そのフレーム番号を保存するファイルサーバーである。
８１５はファイルサーバー８１４に格納されたデータと
画像と映像を表示する映像表示装置である。

【００８３】映像要約システムの映像要約装置８０３
は、例えば、コンピュータ上で実現することができる。
また、映像表示装置８１５は、例えば、コンピュータ
と、ＣＲＴ等とモニターの組み合わせによる実現するこ
とができる。

【００８４】本実施の形態に係る映像要約装置は４つの
映像要約基準を備えている。それらは第１の実施の形態
において説明したものと同じであるのでその説明は省略
する。

【００８５】以上のように構成された映像要約システム
について、図１０に示すフローチャートを用いてその動
作を説明する。

【００８６】手順９０１では、手順２０１と同様に、図
９における制御装置８１２がビデオディスク装置８０１
とＶＴＲ８０２を制御して、映像の再生を開始し、同時
に映像圧縮装置８１３での映像の圧縮を開始する。

【００８７】手順９０２では、手順２０２と同様に、映
像が終了したかどうか判定する。映像が終了した場合に
は手順９１２に進み、そうでなければ、手順９０３に進
む。

【００８８】手順９０３では、手順２０３と同様に、画
像取り込み手段８０４が再生中のフレーム画像を取り込
む。

【００８９】手順９０４では、手順２０４と同様に、シ
ーンチェンジ検出手段８０５が、画像取り込み手段８０
４で取り込まれたフレーム画像を処理して、共通色比率
法等を用いてシーンチェンジが発生したかどうかを判定
する。

【００９０】手順９０４で「シーンチェンジが発生し
た」と判定された場合には手順９０５に進み、そうでな
ければ手順９０２に戻る。

【００９１】手順９０５では全シーンモードのシーンの
代表画面および先頭フレームを決定する。すなわち、手
順９０４で取り込まれた画像およびその画像のフレーム
番号をファイルサーバ８１４に保存する。保存した画像
は、シーンの代表画像として用いる。また、シーンの代
表画像を全シーン表示モードの代表画像とみなす。

【００９２】手順９０６では時間判定モードのシーンの
代表画面および先頭フレームを決定する。すなわち、手
順２０６と同様に、手順９０４で検出したシーンチェン
ジの直前のシーン（以下、前シーンという）の時間長を
計算してから、時間判定処理手段８０６で、時間長が８
秒以上になる前シーンを検出し、検出した前シーンの代
表画像を時間判定モードの代表画像とみなす。

【００９３】手順９０７から手順９０９まででは、ハイ
ブリッドモードのシーンの代表画面および先頭フレーム
を決定する。

【００９４】手順９０７では、手順２０７と同様に、グ
ループ生成手段８０７が、手順９０４で検出したシーン
チェンジ直後のシーン（以下、次シーンという。）と前
シーンの代表画像間の色差ヒストグラム相関値を求め、
色差ヒストグラム相関値がしきい値以上になる場合に、
次シーンの代表画像をハイブリッドモードの代表画像と
みなしてファイルサーバー８１４に保存する。なお、色
差ヒストグラムを用いずに、共通画素法を用いて時系列
のシーンのグループ化を実行し、グループの先頭シーン
の代表画像をハイブリッドモードの代表画像とみなして
もよい。共通画素法については、本実施の形態に係る映
像要約装置の動作を説明した後に説明する。

【００９５】手順９０８では、手順２０８と同様に分岐
処理を実行する。前シーンの時間長が８秒以上になる場
合には、手順９０９に進み、そうでなければ手順９１０
に進む。

【００９６】手順９０９では、手順２０９と同様に、グ
ループ追加手段８０８が、前シーンの代表画像と次シー
ンの代表画像をハイブリッドモードの代表画像とみなし
てファイルサーバー８１４に保存する。

【００９７】手順２１０から手順２１１まででは、画像
基準モードのシーンの代表画面および先頭フレームを決
定する。

【００９８】手順９１０では、手順２１０と同様に、次
シーンの代表画像Ｉ_Nと映像の先頭の２０シーンの代表
画像Ｉ_M（Ｍは１から２０までの自然数）との間の類似
度S(M,N)、を画像類似度計算手段８０９が計算する。

【００９９】手順９１１では、手順２１１と同様に、画
像基準処理手段８１０で、Ｍが１から２０までのいずれ
かの値をとるときに、（２）式が成り立つかどうか調
べ、（２）式が成立するときに、次シーンの代表画像を
画像基準モードの代表画像とみなす。手順９１１の終了
後、手順９０２に戻る。

【０１００】手順９１２では、手順２１２と同様に、映
像の再生と映像の圧縮を中止する。ここまでの手順でフ
ァイルサーバー８１４には、複数の映像要約基準、すな
わち全シーンモード、時間判定モード、ハイブリッドモ
ード、画像基準モードによりそれぞれ抜き出された要約
情報、すなわち代表画像と先頭フレーム番号が保存され
た。以下の手順９１３から手順９１８までは映像表示装
置８１５において行われる処理である。

【０１０１】手順９１３から手順９１６まででは、映像
の要約情報である代表画像を所定の枚数にまで取捨選択
する。以下では、映像要約装置で抜き出す代表画像の枚
数が２４枚に設定されている場合について述べる。

【０１０２】手順９１３では、画像判定手段８１１が、
あらかじめ決めてある優先順位に基づいて、どのモード
による代表画像を抜き出すかを決定する。以下では、優
先順位の最も高いモードを画像基準モードとし、２番目
に高いモードを時間判定モードとし、３番目に高いモー
ドをハイブリッドモードとし、４番目に高いモードを全
シーン表示モードとした場合について述べる。なお、こ
の優先順位は、使用者が画像判定手段８１１に命令を送
ることのできるインターフェース手段を設けて自由に設
定する態様をとることができる。

【０１０３】まずモードを優先順位の最も高い画像基準
モードにより代表画像を決定する。画像基準モードによ
り代表画像が決定された後に手順９１６の分岐処理によ
りこの手順９１３に戻って来た場合には、前回決定した
モードよりも優先順位が一つ低いモードにより代表画像
を決定する。

【０１０４】手順９１４では、画像選択の優先順位にも
とづいて、手順９１３で決定したモードの代表画像に順
番を付ける。例えば、手順９１３で決定した代表画像の
中で、時間長の長いシーンの代表画像から順番に若い番
号をつけていく。同じモードの次の代表画像までの長さ
が長い代表画像から順番に若い番号を付けてもよい。

【０１０５】手順９１５では、若い番号から順番に、映
像要約装置で抜き出す代表画像とみなしていく。ただ
し、映像要約装置で抜き出す代表画像の枚数が２４枚を
越えたら、作業を中断する。

【０１０６】手順９１６は分岐処理である。すでに映像
要約装置で抜き出すことに決定している代表画像の枚数
が２４枚未満のときは、手順９１３に戻る。そうでなけ
れば、手順９１７に進む。

【０１０７】なお、以上の説明では、映像要約装置で抜
き出す代表画像の枚数を２４枚に設定したが、必ずしも
２４枚でなくてもよい。また、全てのモードによっても
代表画像の枚数が２４枚未満のときは手順９１６で無限
ループに入るおそれがある。したがって、全てのモード
を選択した後もシーンの数が２４枚未満になるときに
は、その時点での代表画像の枚数をシーンの数と同じに
なるようにしてもよい。

【０１０８】手順９１７では、使用者が見たい部分を効
率よく探せるように、システムが映像表示装置上に映像
の要約を表示する。例えば、手順９１５で決定した代表
画像を一覧表示する。

【０１０９】手順９１８では、使用者が見たい部分を指
定する。例えば、マウスなどのポインティングデバイス
を用いて、見たい部分の代表画像を指定する。映像表示
装置がファイルサーバーから映像データを受け取り、指
定された部分から映像を再生する。

【０１１０】なお、以上の説明では、手順９１７で代表
画像を一覧表示したが、実施の形態１の手順２１４で述
べたように、要約映像再生手段を用いて要約映像を表示
してもよい。また、代表画像を一覧表示する画像表示手
段を設けて、映像要約装置８０３の中に組み込んでもよ
い。この場合には、手順９１７でシステムが画像表示手
段を用いて映像の要約を表示する。

【０１１１】以上の説明では、設定された枚数以下の代
表画像のみを一覧表示しているが、時間判定モード、ハ
イブリッドモード、画像基準モードの各モードの代表画
像の一覧表示を選択できるようにしてもよい。

【０１１２】以下では、本実施の形態の映像要約システ
ムにおける手順９０７において時系列のシーンをグルー
プ化する際に採用することのできる共通画素法によるグ
ループ化について述べる。共通画素法は出願人が先に特
願平７−４６９７０号において開示したものである。

【０１１３】共通画素法は、シーンに共通する色に着目
して、砂浜で撮影したシーンが続く場合のような類似背
景のシーンまたは様々な人物のバストショット（人物の
胸から上が映っているシーン）が続く場合のような、類
似被写体のシーンが時系列に連続する場合を検出し、一
つのグループに統合する方法である。

【０１１４】シーンは内容の最小単位である。従って、
１つのシーン内のフレーム画像は「同一人物が登場す
る」などの共通した特徴をもつ。そこで、各シーンの先
頭部分の動画像がシーンを代表するとみなし、この動画
像を代表時空間画像という。

【０１１５】「色が共通する画素」を同一物体とみなす
と、「異なる動きをする同一色の物体」のシーンがグル
ープ化される問題がある。この問題点を解決するため
に、同一色の物体が、異なる２つのシーンで共に静止し
ている場合と、異なる２つのシーンで共に動いている場
合に限って、同一色の物体を同一物体とみなす。即ち、
「動きの有無と色が共通する画素」を同一物体とみな
す。また、同一グループ内のシーンが共通色比率条件、
すなわち、各シーンの代表時空間画像において、「グル
ープ内のシーンの代表時空間画像に共通して現れる同一
物体」の画素の総数を全画素数で正規化した値がしきい
値θ_SHOT以上になるという条件を満たすと仮定する。

【０１１６】図１１は共通色比率条件の様子を示す説明
図である。図１１に示すように、シーンＳＣ₁〜ＳＣ₄の
代表時空間画像に共通して現れる物体がＡ（背景）の部
分のみであり、Ａの部分の画素数の占める割合がシーン
ＳＣ₄以外でしきい値θ_SHOT以上になるとき、シーンＳ
Ｃ₁〜ＳＣ₃は共通色比率条件を満足するが、シーンＳＣ
₁〜ＳＣ₄は共通色比率条件を満足しない。ＳＣ₃〜ＳＣ₄
が共通色比率条件を満足するかどうかは不定である。図
１１の例では、ＳＣ₃〜ＳＣ₄のＡ（背景）とＢ（長方形
の物体）の部分が「シーンＳＣ₃〜ＳＣ₄の代表時空間画
像に共通して現れる同一物体」となり、その画素数の占
める割合がシーンＳＣ₃、ＳＣ₄の両方において１００％
になるので、シーンＳＣ₃〜ＳＣ₄は共通色比率条件を満
足する。

【０１１７】このとき、共通色比率条件を満足するシー
ンを同一グループとみなすと、シーンＳＣ₁〜ＳＣ₃とシ
ーンＳＣ₃〜ＳＣ₄が同一グループとなるので、シーンＳ
Ｃ₁〜ＳＣ₄が同一グループとなるはずであるが、シーン
ＳＣ₁〜ＳＣ₄は共通色比率条件を満足せず矛盾が生じ
る。従って、共通色比率条件を満足しても、同一グルー
プ内のシーンとは限らない。

【０１１８】共通画素法では、同一グループ内で隣り合
うシーンの間の類似度が、異なるグループのシーンの間
の類似度に比べて大きい値になると仮定し、以下の手順
１〜２でグループの境界を求める。ただし、Ｍ＝１と
し、Ｌの初期値は１とする。

【０１１９】手順１では、シーンＳＣ_M〜ＳＣ_M+Lが共通
色比率条件を満足するかどうか判定する。満足する場合
には、Ｌに１を加えながら、共通色比率条件を満足しな
くなるまで判定を繰り返す。図１１の例では、Ｌ＝４に
なった時点で手順２に進む。

【０１２０】手順２では、共通色比率条件を満足する各
シーンＳＣ_M〜ＳＣ_M+L-1に対して、次シーンとの類似度
を求め、類似度が最小になる部分をグループの境界とみ
なす。、図１２はグループの境界の決定方法を示す説明
図である。同図において、ＳＣ₂とＳＣ₃の類似度が他の
類似度、すなわちＳＣ₁とＳＣ₂の類似度およびＳＣ₃と
ＳＣ₄の類似度に比べて小さい値なので、ＳＣ₂とＳＣ₃
の間をグループの境界とみなす。

【０１２１】なお、代表時空間画像の代わりに代表画像
を用いてもよい。このときは、「色が共通する画素」を
同一物体とみなせばよい。

【０１２２】（第３の実施の形態）第３の実施の形態
は、第２の実施の形態において説明した映像要約システ
ムにおいて、どのモードの代表画像から抜き出すかの選
択を、第２の実施の形態の手順９１３のようにあらかじ
め決められた優先順位に基づいてモードを決定するので
はなく、映像を解析してモードの優先順位を決定するこ
とにより行うものである。

【０１２３】図９の映像要約システムについて、図１３
に示すフローチャートを用いてその動作を説明する。

【０１２４】手順１２０１〜手順１２１２の動作は、図
１０に示した手順９０１〜手順９１２の動作と同じであ
るのでその説明を省略する。

【０１２５】手順１２１３では、画像判定手段８１１が
モードの優先順位を決定する。以下では、画像基準モー
ドの代表画像の枚数が５枚以上になるときには、優先順
位の最も高いモードを画像基準モードとし、２番目に高
いモードを時間判定モードとし、３番目に高いモードを
ハイブリッドモードとし、４番目に高いモードを全シー
ン表示モードとし、画像基準モードの代表画像の枚数が
５枚未満のときには、優先順位の最も高いモードを時間
判定モードとし、２番目に高いモードをハイブリッドモ
ードとし、３番目に高いモードを全シーン表示モードと
した例について述べる。なお、ここでは画像基準モード
の代表画像が５枚以上であるか否かを調べてモードの優
先順位を変えているが、必ずしも５枚に設定する必要は
ない。この例のようにモードの自動決定基準を定めたの
は、画像基準モードの要約映像が５枚以下の場合には要
約する映像にはヘッドラインが含まれていない可能性が
高いという推定に基づいている。なお、このようなモー
ドの自動決定基準は、使用者が画像判定手段８１１に命
令を送ることのできるインターフェース手段を設けて自
由に設定を変更する態様をとることができる。

【０１２６】手順１２１４では、手順１２１３で決定し
た優先順位にもとづいて画像判定手段８１１がモードを
決定する。まずモードを優先順位の最も高い画像基準モ
ードにより代表画像を決定する。画像基準モードにより
代表画像が決定された後に手順１２１７の分岐処理によ
りこの手順１２１４に戻って来た場合には、前回決定し
たモードよりも優先順位が一つ低いモードにより代表画
像を決定す。

【０１２７】以下では、映像要約装置で抜き出す代表画
像の枚数が２４枚に設定されている場合について述べ
る。

【０１２８】手順１２１５では、手順９１４と同様に、
画像選択の優先順位にもとづいて、手順１２１４で決定
したモードの代表画像に順番を付ける。例えば、手順１
２１４で決定した代表画像の中で、時間長の長いシーン
の代表画像から順番に若い番号をつけていく。

【０１２９】手順１２１６では、手順９１５と同様に、
若い番号から順番に、映像要約装置で抜き出す代表画像
とみなしていく。ただし、映像要約装置で抜き出す代表
画像の枚数が２４枚を越えたら、作業を中断する。

【０１３０】手順１２１７では、手順９１６と同様の分
岐処理を実行する。すでに映像要約装置で抜き出すこと
に決定している代表画像の枚数が２４枚未満のときは、
手順１２１４に戻る。そうでなければ、手順１２１８に
進む。

【０１３１】手順１２１８では、手順９１７と同様に、
使用者が見たい部分を効率よく探せるように、システム
が映像表示装置上に映像の要約を表示する。例えば、手
順１２１６で決定した代表画像を一覧表示する。

【０１３２】手順１２１９では、手順９１８と同様に、
使用者が見たい部分を指定する。例えば、マウスなどの
ポインティングデバイスを用いて、見たい部分の代表画
像を指定する。映像表示装置がファイルサーバーから映
像データを受け取り、指定された部分から映像を再生す
る。

【０１３３】

【発明の効果】以上で説明した本発明は次のような有利
な効果を奏するため、一定の映像要約基準のみで画一的
に代表画像を選択する従来の映像要約装置や代表画像を
映像の長さ等に関係なく選択する従来の映像表示装置と
比べて、映像内容の多様性および使用者の好みの多様性
に対応することができる。（１）請求項１から請求項３のいずれかに記載した発明
に基づく映像要約装置は、例えばニュース番組において
しばしば起こるように、現場のアナウンサーが事件を説
明するシーン等のように前後のシーンと同一背景であっ
ても重要な情報を有している可能性の高いシーンが一定
時間以上継続する場合には、そのシーンとその直後のシ
ーンのように重要な情報を有している可能性が高いシー
ンを背景が類似している前後のシーンから取り出すこと
ができる。グループ化の判断時間（本明細書の実施の形
態では８秒）より時間長の長いシーンとしては、ニュー
ス番組のアナウンサーのシーン、インタビューのシー
ン、登場人物による説明のシーン、フリップの出るシー
ンなどがある。我々の分析によれば、時間長の長いシー
ンの直後のシーンは、時間長の長いシーンと同様に重要
であることが多い。

【０１３４】例えば、ニュース番組で現場から事件を報
告する場合には、「現場に派遣された登場人物が事件の
背景を説明するシーン」に続いて、「事件に関連するシ
ーン」の映像が流れる。この場合、「現場に派遣された
登場人物が事件の背景を説明するシーン」の画像より
も、「事件に関連するシーン」の画像の方が、事件の内
容を的確に表しており、重要である。しかし、色差ヒス
トグラム相関を用いた代表画像決定方法では、現場とい
う同一背景のシーンになるため、「事件に関連するシー
ン」と「現場に派遣された登場人物が事件の背景を説明
するシーン」が同一グループになり、「事件に関連する
シーン」の画像が代表画像にならない問題がある。ま
た、時間判定モードでも、「事件に関連するシーン」が
必ずしも８秒以上にならないため、代表画像になるとは
限らない。

【０１３５】一方、ハイブリッドモードでは、８秒以上
のシーンとその直後のシーンが代表画像になるので、
「事件に関連するシーン」の画像が代表画像として選ば
れ、色差ヒストグラム相関用いた代表画像決定方法と時
間判定モードにない効果が得られる。時間長の長いシー
ンの中で、アナウンサーのシーン、インタビューのシー
ン、登場人物の説明のシーンにおいては、直後のシーン
と一緒に表示されないと、内容がわからないことが多
い。色差ヒストグラム相関を用いた代表画像決定方法を
用いたとき、時間長の長いシーンの前後のシーンが表示
されるケースが多いが、しきい値が不適当だったり、背
景が類似する場合には、直後のシーンが表示されない。
しかし、ハイブリッドモードでは、確実に直後のシーン
が表示される効果がある。従って、ハイブリッドモード
は、色差相関値法や時間判定モードと比較すると、かか
る種類の番組の要約においては優位性を有する。

【０１３６】（２）請求項４、請求項５および請求項６に記載した発
明に基づく映像要約装置は、複数の映像要約基準を備え
ているため、単一の映像要約基準により映像を要約して
いた従来の映像要約装置と比較して、映像の内容の多様
性により適切に対応することができる。使用者は、番組
等によって映像要約基準を変更したり組み合わせたりす
ることが自由にできる。（３）請求項５および請求項６に記載した発明に基づく
映像要約装置は、使用者が代表画像の枚数の上限を指定
できるので、代表画像の枚数を少なく抑えることがで
き、従来法に比べて見たい部分を簡単に探すことができ
る。さらに、あらかじめモードの優先順位を決めておい
た場合には、使用者が映像の特徴に合わせて代表画像を
決定できる。また、画像基準モードの代表画像の枚数が
しきい値以上になるかどうかによって代表画像の決定方
法を切り替える場合には、ダイジェストが存在する映像
で、ダイジェスト部分の画像を優先して抜き出すことが
できるという効果をも有する。したがって、使用者が要
約映像検索する効率が従来の映像要約システムと比べて
向上する。（４）請求項７に記載した発明に基づく映像表示装置
は、映像の情報およびその映像の要約情報を記録してい
るファイルサーバーの情報を利用して、各代表画像の位
置付近の一定時間の映像を次々に見ながら見たい部分を
指定できる、すなわち動画と音声を用いて見たい部分を
探すことができるので、音声や被写体の動きを考慮しな
がら見たい部分を指定できるようになる。さらに、重要
性の高いシーンなどから代表画像が選ばれているので、
再生される映像を見て、使用者が冗長に感じることはな
い。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における映像要約シ
ステムのブロック図

【図２】本発明の第１の実施の形態における映像要約シ
ステムの動作を示すフローチャート

【図３】シーンチェンジ検出手段がシーンチェンジを検
出する方法と前シーンを示す説明図

【図４】画像基準モードにおいて、画面をブロックへ分
割することを示す説明図

【図５】本発明の第１の実施の形態における要約映像の
作成方法を示す説明図

【図６】本発明の第１の実施の形態における見たい部分
の先頭からの再生開始の様子を示す説明図

【図７】本発明の第１の実施の形態におけるユーザーイ
ンターフェイス手段を介して見たい部分を指定するため
の画面を示す説明図

【図８】本発明の第１の実施の形態における要約映像の
再生部分を示す説明図

【図９】本発明の第２の実施の形態における映像要約シ
ステムのブロック図

【図１０】本発明の第２の実施の形態における映像表示
システムの動作を示すフローチャート

【図１１】本発明の第２の実施の形態における共通色比
率条件の様子を示す説明図

【図１２】本発明の第２の実施の形態におけるグループ
の境界の決定方法を示す説明図

【図１３】本発明の第３の実施の形態における映像表示
システムの動作を示すフローチャート

【図１４】従来の映像表示装置におけるシーン一覧表示
を示す説明図

【図１５】従来の映像表示装置における映像要約結果の
一覧表示を示す説明図

【図１６】従来の映像要約システムのブロック図

【図１７】従来の映像要約システムの動作を示すフロー
チャート

【図１８】従来の共通色比率法で検出されるシーンチェ
ンジを示す図

【符号の説明】

１０１、８０１ビデオディスク装置１０２、８０２ＶＴＲ１０３、８０３映像要約装置１０４、８０４画像取り込み手段１０５、８０５シーンチェンジ検出手段１０６、８０６時間判定処理手段１０７、８０７グループ生成手段１０８、８０８グループ追加手段１０９、８０９画像類似度計算手段１１０、８１０像基準処理手段８１１画像判定手段１１１、８１２制御装置１１２、８１３映像圧縮装置１１３、８１４ファイルサーバー１１４、８１５映像表示装置１１５要約映像再生手段１１６ユーザーインタフェース手段１１７映像再生手段

フロントページの続き (56)参考文献特開平７−38842（ＪＰ，Ａ) 特開平８−251540（ＪＰ，Ａ) 特開昭64−68084（ＪＰ，Ａ) 特開平７−236153（ＪＰ，Ａ) 特開平６−149902（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956

Claims

(57)【特許請求の範囲】

【請求項１】取り込まれた映像のシーンチェンジを検
出することにより分割して形成した複数の各シーンの所
定の画像（以下、シーンの所定の画像を代表画像とい
う。）と先頭フレーム番号を出力するシーンチェンジ検
出過程と、時系列的にその前後のシーンの代表画像の類
似度を計算することにより代表画像を含むシーンを時系
列グループにまとめる時系列グループ生成過程と、前記
同一の時系列グループ内にあっても一定時間以上継続す
るシーンを検出し、前記一定時間以上継続するシーンを
１つの時系列グループとし、それ以外を別の時系列グル
ープに分割する時系列グループ追加過程と、前記各時系
列グループの代表画像と先頭フレーム番号を出力する映
像要約情報出力過程とからなる映像要約方法。
【請求項２】取り込まれた映像のシーンチェンジを検
出することにより分割して形成した複数の各シーンの所
定の画像（以下、シーンの所定の画像を代表画像とい
う。）と先頭フレーム番号を出力するシーンチェンジ検
出過程と、前記各シーンの内一定時間以上継続するシー
ンを時系列グループとして出力する時間判定過程と、前
記一定時間以上継続するシーンを除き、時系列的にその
前後のシーンの代表画像の類似度を計算することにより
代表画像を含むシーンを時系列グループにまとめる時系
列グループ生成過程と、前記時系列グループの代表画像
と先頭フレーム番号を出力する映像要約情報出力過程と
からなる映像要約方法。
【請求項３】時系列グループ生成過程におけるシーン
の代表画像間の類似度を、比較すべき代表画像間で共通
する色を持つ画素の割合を計算することを特徴とする請
求項１または２に記載の映像要約方法。
【請求項４】取り込まれた映像をそのシーンチェンジ
を検出することにより分割して形成した複数のシーンを
複数の時系列グループにまとめるための一つ以上の映像
要約過程と、前記映像要約過程によりまとめられた時系
列グループの代表画像と先頭フレーム番号を出力する映
像要約出力過程とからなる映像要約方法において、複数
のシーンを複数の時系列グループにまとめるための映像
要約過程が、全てのシーンをそれぞれ一つの時系列グル
ープにする第１の映像要約過程と、一定時間以上継続す
るシーンから次の一定時間以上継続するシーンの前のシ
ーンまでを一つの時系列グループにまとめる第２の映像
要約過程と、時系列的にその前後のシーンの所定の画像
（以下、シーンの所定の画像を代表画像という。）の類
似度を所定の基準に従って計算して類似度がしきい値以
上になる代表画像を含むシーンを時系列グループにまと
め、第２の映像要約過程で検出された前記一定時間以上
継続するシーンを１つの時系列グループとし、それ以外
を別の時系列グループに分割する第３の映像要約過程の
いずれかから１つ以上を選択することを特徴とする映像
要約方法。
【請求項５】使用者が、映像要約過程の優先順位およ
び出力すべき代表画像の数を入力し、その情報に従って
代表画像と先頭フレーム番号を出力することを特徴とす
る請求項４に記載の映像要約方法。
【請求項６】映像要約出力過程が、優先順位が高い映
像要約過程によって得られた代表画像および先頭フレー
ム番号から順番に、使用者から入力された数の代表画像
および先頭フレーム番号を出力することを特徴とする、
請求項５に記載の映像要約方法。
【請求項７】請求項１から請求項６のいずれかの映像
要約方法により出力されたそれぞれの先頭フレーム番号
を先頭にして、任意の時間毎に映像を順次再生し、再生
中に指定されたフレームを先頭にして、映像を再生する
ことを特徴とする映像表示方法。