JPH11220689A - 映像ソフト処理装置及び同処理プログラム記録記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 別の視点からの要約生成を可能にし、また視
聴者の都合に合わせ、要約再生時間を自由に設定可能な
映像ソフト処理装置及び同処理プログラム記録記憶媒体
を提供。 【解決手段】 映像の各カット位置検出。各カット位置
から次のカット位置までの各ショットについて、持続時
間所定値以下のもの、セリフ、文字ほか注目映像ソフト
構成要素が両者間に跨がっているものを連結。単数又は
複数のショットから成る各セグメント形成。効果音、文
字ほかの注目映像ソフト構成要素の存在状態に対応し、
各セグメントの中から所要長さの映像をエッセンスユニ
ットとして取り出し（請求項１，３）。更に、その抽出
動機の映像ソフト構成要素存在状態に対応して各エッセ
ンスユニットに評価点付与。これを基に指定再生時間に
なるようにエッセンスユニットの幾つか選択、これらを
再生（請求項２，４）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像ソフト処理装置
及び同処理プログラム記録記憶媒体に関し、詳しくは、
各カット位置から次のカット位置までの各ショットにつ
いて、その持続時間が所定値以下のもの、或いは、効果
音、文字（テロップ）、セリフその他注目した映像ソフ
ト構成要素が両者間で跨がっているものなどを連結して
セグメントとし、これら注目した構成要素の存在状態に
対応し、これらセグメントの中から所要長さの映像をエ
ッセンスユニットとして抽出し、これを視聴すること
で、夫々の映像ソフトの内容を、視聴者が短時間で容易
に感得出来るようにした映像ソフト処理装置及び同処理
プログラム記録記憶媒体に関する。なお、「映像ソフ
ト」とは「映像ソフトウェア」を略して表記しているも
のである。

【０００２】

【従来の技術】ビデオ、ＤＶＤ、衛星放送等、映像ソフ
トがあふれている世界では、見たい映像を早く探し、そ
れを短時間で見るというニーズが出てくる。（ビデオ＝
ビデオテープ或いはビデオテープレコーダー。ＤＶＤ＝
デジタルバーサタイルディスク。） しかし、従来のビデオテープレコーダ、ＤＶＤプレーヤ
等では、録画した映像を時間節約して見る方法と言え
ば、早送りぐらいしか方法がなかった。そこで出願人
は、平成９年特許願第３０４８６２号などにより、映像
ソフトから要約を抽出する装置等を提案した。要約は映
像ソフトの要点を端的に表わすもので、視聴者はこの要
約を見ることで、通常なら長時間掛かる映像ソフトの内
容把握を、極めて短時間のうちに済ますことができる。

【０００３】これら発明では、音声その他映像ソフトの
構成要素の状態変化に着目して、夫々のショットから１
枚または複数枚のフレーム（画像）を代表画像として取
り出し、これらを見ることで、その映像ソフトの内容を
視聴者が短時間で感得出来るようにしている。（なお、
上記出願では、映像の切り替わり位置から次の切り替わ
り位置までの一連のフレームを「カット」と称したが、
これは「ショット」と称する方が的確と思料される。本
明細書ではこちらの呼称を使用する。）

【０００４】

【発明が解決しようとする課題】上記発明は、同じ短時
間でも、単なる早送りに比べ映像ソフトの内容を一層的
確に把握出来るという新たな効果をもたらした。しか
し、技術は常に改善が求められる。このため、先の発明
に関し更に研究を進めていたところ、下記の如き課題が
見つかった。

【０００５】第１は、要約の更なる質の向上である。即
ち、先の発明ではショットを基礎にして、そこから代表
画像を抽出していた。しかし、映像ソフトのジャンルは
多岐に亘る。この為、生成された要約にいささか冗長度
が感じられるなど、ショットという概念だけが要約生成
の鍵の全てではないと感じられる面もあり、より多様性
を持たせるため、別の観点からの映像ソフト要約手法の
出現が望まれた。

【０００６】第２は、再生時間を自由に設定可能にする
ことである。視聴者は一人一人生活様式が違う。要約を
見るのに当てられる時間も一人一人異なる。従って短時
間で、という本発明の目的を突き詰めるなら、これら要
約を見るに要する時間（再生時間）に関しても、視聴者
夫々の事情に応じ、自由に設定可能であることが望まし
い。

【０００７】本発明の目的は、これら新たに出現した課
題を解決することにあり、別の視点からの要約生成を可
能にし、また、視聴者の都合に合わせ、要約再生時間を
自由に設定可能である映像ソフト処理装置及び同処理プ
ログラム記録記憶媒体を提供することにある。

【０００８】

【課題を解決するための手段】上記目的達成のため請求
項１の発明では、映像の各カット位置を検出するカット
位置検出手段と、該検出された各カット位置から次のカ
ット位置までの各ショットについて、その持続時間が所
定値以下のもの、或いは効果音、文字、セリフその他注
目した映像ソフト構成要素が両者間に跨がっているもの
を連結し、単数又は複数のショットから成る各セグメン
トを形成するセグメント形成手段と、効果音、文字、セ
リフ、対象物その他注目した映像ソフト構成要素の存在
状態に対応し、各セグメントの中から所要長さの映像を
エッセンスユニットとして抽出するエッセンスユニット
抽出手段とを備える。

【０００９】また、請求項２の発明では、請求項１の構
成に加え、各エッセンスユニットについて、その抽出動
機とされた映像ソフト構成要素の存在状態に対応した評
価点を付与する評価手段と、前記評価点に基づき指定さ
れた再生時間になるように前記エッセンスユニットの中
の幾つかを選択するエッセンスユニット選択手段とを更
に備える。

【００１０】また、請求項３の発明では、映像の各カッ
ト位置を検出するカット位置検出処理と、該検出された
各カット位置から次のカット位置までの各ショットにつ
いて、その持続時間が所定値以下のもの、或いは効果
音、文字、セリフその他注目した映像ソフト構成要素が
両者間に跨がっているものを連結し、単数又は複数のシ
ョットから成る各セグメントを形成するセグメント形成
処理と、効果音、文字、セリフ、対象物その他注目した
映像ソフト構成要素の存在状態に対応し、各セグメント
の中から所要長さの映像をエッセンスユニットとして抽
出するエッセンスユニット抽出処理とを実行する。

【００１１】また、請求項４の発明では、請求項３の処
理に加え、前記各エッセンスユニットについて、その抽
出動機とされた映像ソフト構成要素の存在状態に対応し
た評価点を付与する評価処理と、前記評価点に基づき指
定された再生時間になるように前記エッセンスユニット
の中の幾つかを選択するエッセンスユニット選択処理と
を更に実行する。

【００１２】

【発明の実施の形態】以下、本発明の詳細を図示実施の
形態例に基いて説明する。始めに用語について説明す
る。 １．用語の説明。 ・オリジナル映像（図１参照。以下同じ。） テレビ放送、ビデオ映像をデジタル録画した全体の映
像。 ・カット カメラの切り替え点、連続した映像の切れ目。 ・ショット カットからカットまでの映像。 ・セグメント ショットをつないで区切りのいい長さにした映像。始め
のセグメントから終わりのセグメントまで連続したもの
がオリジナル映像。 ・セグメントリスト（表１） セグメントを管理するための表。ＶＥ（要約）とオリジ
ナル映像の切替操作、オリジナル映像をスキップ送りし
てみる場合などに用いる。

【００１３】・エッセンスユニット セグメントの中で特に重要だと判定される映像。効果
音、文字、セリフ（人の声）等のＡＶ要素（映像ソフト
の構成要素）が存在するか否かを基に判定する。 ・エッセンスユニット評価 各エッセンスユニットをＡＶ要素の種類、長さ（持続時
間）、全体構成等により採点する。 ・エッセンスユニットリスト（表２） エッセンスユニットを管理するための表。 ・セグメント／エッセンスユニット対応リスト セグメントＮＯ．と、対応するエッセンスユニットＮ
Ｏ．を記録したもの。

【００１４】・インデックス画面（図１２） 各セグメントの始めの画像をサムネイル化（小型化）
し、そのサムネイル画像を複数個、１画面に張り付けた
画面。サムネイル画像と該当するオリジナル映像にリン
クを張っており、サムネイル画像で指定したオリジナル
を再生できる。 ・映像の構成（図２） 映像はタイトル、オープニング、中間部、エンディング
により構成される。 ・タイトル 映像の題名。ＶＥにおいてタイトルは重要であり、作成
したＶＥを再生したときに最初にタイトルが表示される
ようにする（図１０）。 ・オープニング（図２） 映像スタート後の導入部。コンテンツの概要や全体の把
握をする上で重要である。 ・中間部（図２） 中間部では、視聴者を映像の世界に引き込み、その内容
を把握してもらえるようにストーリが構成され、カメラ
ワーク、セリフ、BGM、テロップ等の要素が盛り込まれ
る。中間部は絞り込んでいく部分や盛り上がりのある部
分等いろいろなシーンによって構成される。 ・エンディング（図２） オリジナルビデオは一般的に最後の数シーンにりまとめ
られる。この中で結末への導入と結論、最後のEND／FIN
E／終、の文字は重要である。 ・ＡＶ要素 ＡＶ要素の中では、効果音、テロップ、対象物、セリフ
の有無が重要と解される（図３データ蓄積部１９内「要
素データ」）。

【００１５】２．次に実施の形態例のＶＥプレーヤ１０
０の構成を説明する（ＶＥ＝ビデオエッセンス）。図３
に於て、１１はＴＶ受信部であり（ＴＶ＝テレビジョ
ン）、視聴者が選択した１又は複数局のＴＶ放送を受信
する。受信データは入力制御部１２でデジタル化され、
映像ソフト蓄積部１３（メモリ、ハードディスク等）に
蓄積される。１４はビデオテープデッキであり、ここで
再生された映像信号及び音声信号も入力制御部１２でデ
ジタル化され、映像ソフト蓄積部１３に蓄積される。

【００１６】１６は光ディスクプレーヤであり、視聴者
が所望するＤＶＤ、レーザその他の光ディスクのデータ
を読み出す。ＴＶ放送やビデオテープの信号をデジタル
化したのは、後の処理及び再生の際の読出しを容易にす
るためである。従ってＤＶＤのように既にデジタル化さ
れているものについてはデジタル化する必要はなく、後
の処理の際、直接その媒体からデータが読み出される。
１７はインターネット接続部であり、ユーザが所望する
ホームページ等から映像ソフトを受信し、映像ソフト蓄
積部１３に蓄積する。なおインターネットから取得する
ものもデジタル化されているので、そのまま映像ソフト
蓄積部１３に蓄積される。

【００１７】１８はカット判別部である。このカット判
別部は、光ディスク（１６）或いは映像ソフト蓄積部１
３から読み出される映像ソフトの映像の変化状態に着目
し、夫々のカット位置を検出する。このカット判別部１
８が請求項にいうカット位置検出手段又はカット位置検
出処理を実行する手段に当たる。カット位置は、例え
ば、上記平成９年特許願第３０４８６２号に記載の手法
や、書籍「ビデオデータベースシステム」などに開示さ
れた手法で判別できる。なお、書籍「ビデオデータベー
スシステム」の原書名は「VIDEO DATABASE SYSTEMS(Iss
ues,Product,and Applications)」、著者は、Ahmed K.E
lmagarmid ほかであり、出版は、Kluwer Academic Publ
ishers、出版社所在地は、米国マサチューセッツ州ノー
ウェル市である。

【００１８】詳細はこれらの記載を引用するが、理解を
容易にするため平成９年特許願第３０４８６２号に記載
の手法の一例をかいつまんで以下に記載する。 １）ピクセルの集約処理 画像は２次元的な広がりとして例えば６４０ｘ４００と
いうような点（ピクセル）の集まりで表現される。テレ
ビ映像ではこのような画像が１秒間に３０枚供給され
る。処理を簡単にするため、先ずはこのピクセルの集約
化を行う。例えば４×４の点で集約すれば、原映像は１
／１６のデータ量にすることができ、８×８で取り出せ
ば、１／６４に集約できる。こうすると、ズームアップ
／ズームダウンのときや、ゆっくりと画像が変化すると
き、この変化を捨象する働きがある。

【００１９】このような処理を行った各点について、 ａ（ｔ,ｘ,ｙ） をとりだす。ここに、ｔ：時刻 ｘ，ｙ：集約した映像
の座標 ａ：その点（ｘ，ｙ）の色の値であり、ａ＝Ｒ
＋Ｇ＋Ｂなどとするのが一般的である（Ｒ，Ｇ，Ｂは３
原色情報の値）。

【００２０】２）時間方向の集約化処理 時間的に変化する映像データは、そのまま扱うには冗長
であり、またムダも多い。そこで、前記処理を行なった
各点のデータａ（ｔ,ｘ,ｙ）に対して、例えば映像の時
間的な差分比較処理をする。これは、上記処理後の各点
について、時間的な変化を見るもので、 ｄ（ｔ，ｘ，ｙ）＝ａ（ｔ，ｘ，ｙ）−ａ（ｔ−△ｔ，
ｘ，ｙ） で求められる。ここに、△ｔは適宜の時間幅である。

【００２１】これを画像全体（ｘ，ｙ）について集計す
る。式で表わせば、

【数１】 である。これは、時間的に△ｔだけ隣り合う２枚の画像
の間の変化量（差分）を示している。ここで値が大きい
順に、Ｄａ（ｔ）をＮ個とりだす。このようにして取り
出したＤａ（ｔ）の例を図１３に示す。値が大きいとこ
ろ、例えばＣＳ１，ＣＳ２は、そこで画像に大きな変化
がある、即ちそこがカット位置である可能性が高い。従
って、このＣＳ１とＣＳ２をカットとして、その間を一
つのショットとする。このようにして検出された各ショ
ットのデータは、データ蓄積部１９に蓄積される（図３
データ蓄積部１９内「ショットデータ」）。

【００２２】再び図３に於て、２１は要素検出部であ
り、処理対象映像ソフトの各要素、例えば効果音，テロ
ップ，セリフ，対象物，音楽その他の要素の存在状態を
検出する。これらのデータはデータ蓄積部１９に蓄積さ
れる（データ蓄積部１９内「要素データ」）。これら要
素の検出は、映像ソフトを蓄積する際に行ない、映像ソ
フトと一緒に蓄積しておくと良い。これらは、後述する
セグメントの形成、エッセンスユニットの抽出、エッセ
ンスユニットの評価などに利用されるので、こうしてお
くことで、後の処理が早くなる。

【００２３】なお、セリフは例えばスペクトラムを参照
して存在を確認する。また人の話声は言葉と言葉の間に
通常０．５秒位のブランクがあるので、これも判断要素
に使える。対象物の検出は、例えば次のように行なう。
先ず、各画像を例えば縦横３つづつの９個の領域に分け
る。次いで、夫々の領域に属する各ピクセルについて、
その画像成分の分布、例えば各ピクセルの輝度分布を検
出する。輝度は例えば１０段階に分ける。この結果、例
えば各領域のピクセル数は 28,444個であり、そのう
ち、画面中央の領域では、一番輝度の低い段階のピクセ
ルが 1,000個、その次のものが 1,500個，… というよ
うに、夫々の領域のピクセルの画像成分の分布が求めら
れる。

【００２４】次いで、中央の領域の画像成分の分布と、
周辺の領域の画像成分の分布の差分を求める。求められ
た差分の例を図１４に示す。縦軸はこの差分の百分率、
横軸は、映像ソフトの先頭からのフレーム番号であり、
差分は、各フレームについて求めている。この事例の場
合、概ね差分が６０％（一点鎖線で表示）を越えている
部分では、画像の中に人物その他の対象物、即ち、その
映像ソフトの内容を端的に表わすものが存在した。

【００２５】従って、差分の大きさを適宜に設定するこ
とで、画像の中の何らかの対象物の存在を検出すること
が出来る。この手法で対象物として検出された具体的な
ものとしては、背景は部屋の中で、画面中央にパソコ
ンディスプレイが映っている、背景はビルで、画面中
央に人物が映っている、背景は景色で、画面中央にト
ンネルを出て来る電車が映っている、などであった。

【００２６】２２はセグメント形成部で、前記各ショッ
トデータに基き、その持続時間はどのくらいか、二つの
ショットの間で連続する効果音、テロップ、セリフが存
在するかなどを確認し、単一または複数個のショットか
ら成るセグメントを形成する。そのデータはデータ蓄積
部１９に蓄積される（データ蓄積部１９内「セグメント
リスト」。表１）。このセグメント形成部２２が請求項
にいうセグメント形成手段またはセグメント形成処理を
実行する手段に当たる。２３はエッセンスユニット抽出
部で、上記判別（形成）されたセグメントのデータに基
き、エッセンスユニットの抽出を実行する。このデータ
もデータ蓄積部１９に蓄積される（データ蓄積部１９内
「エッセンスユニットリスト」、「セグメント／エッセ
ンスユニット対応リスト」）。このエッセンスユニット
抽出部２３が請求項にいうエッセンスユニット抽出手段
又はエッセンスユニット抽出処理を実行する手段に当た
る。

【００２７】２４はエッセンスユニット評価部で、上記
抽出された各エッセンスユニットに付随する効果音その
他の映像ソフト構成要素の存在状態を評価し、これらエ
ッセンスユニットについて、言わば点数付けを実行す
る。このデータもデータ蓄積部１９に蓄積される（デー
タ蓄積部１９内「エッセンスユニット評価リスト（表
２）（」）。このエッセンスユニット評価部２４が請求
項にいう評価手段又は評価処理を実行する手段に当た
る。２６はユーザインタフェースで、不図示キーボー
ド、マウス及びディスプレイ２７上に配置される各ボタ
ン（図１１「ＨＯＭＥ」ほか）を備えており、視聴者は
これらを操作して所望する要約映像（エッセンスユニッ
ト及び関連する音声データの集合）を視聴する。

【００２８】再生制御部２８は、これら視聴者の操作に
応動し、所望された再生時間に合致するエッセンスユニ
ットの選択とその再生（ディスプレイ２７やスピーカ２
９への出力）、オリジナル映像ソフトの再生、エッセン
スユニット／オリジナル映像の切替表示、ライブラリー
パネル（図１０）の表示、インデックス画面（図１２）
の表示などを実行する。この再生制御部２８が、請求項
にいう選択手段又は選択処理を実行する手段に当たる。

【００２９】３．ＶＥ生成プロセス 次に、ＶＥ生成プロセスについて説明する。なお括弧書
きは、その処理を主として実行する構成を表わす。 （１）デジタル録画（入力制御部１２） ・上記図３を引用した説明で述べたとおり、先ずテレビ
放送、ビデオ映像（ビデオテープ等からの映像）をデジ
タル化し、フレーム番号をとり、フレーム番号を指定す
ることによりランダムアクセス可能なファイルとして映
像ソフト蓄積部１３に保存する。

【００３０】（２）カット判別、セグメント（映像の区
切り）形成。 ・カットを判別（検出）し、カットからカットまでをシ
ョットとする（カット判別部１８）。 ・1秒以下のショットＳＳはその前のセグメントに付け
る（図５。セグメント形成部）。なお１秒には限定され
ない。またこの「１秒」が請求項にいう「所定値」に当
たる。） ・セリフ、テロップがカットをまたがっている場合、そ
のカット前後の２つのショットを繋ぐ（図５。セグメン
ト形成部２２）。

【００３１】（３）セグメントリスト ・セグメントが決定したら、通しＮＯ.を付け、各セグ
メントの開始／終了フレームＮＯ．をとり、セグメント
リストを作成する（セグメント形成部２２）。 ・セグメントリストはセグメントＮＯ．、セグメント開
始フレームＮＯ．、セグメント終了フレームＮＯ．など
で構成される（表１）。

【００３２】（４）エッセンスユニットの抽出（エッセ
ンスユニット抽出部） （定義） ・エッセンスユニットはセグメントの主要部を抜き出し
て作られる。 ・１セグメントより１エッセンスユニットを作る。 ・エッセンスユニット切り出しの優先順は、効果音、文
字（テロップ）、セリフ（人の声）とする。

【００３３】（プロセス） ・そのセグメントに効果音があった場合で、その区間
（Ｔ１）＋前後１．５秒に文字及びセリフがない場合、
その区間（Ｔ１）＋３秒間、合計Ｔ２の区間をエッセン
スユニットとして切り出す（図４）。ここでは、所定し
きい値ＴＨＬを越えた音声信号（Ｔ１の部分）を効果音
としている。 ・前後の３秒間の間に、文字、セリフが出てきた場合、
文字、セリフが切れるまでエッセンスユニットをのば
す。

【００３４】・セグメントに効果音がない場合、文字が
存在する部分をエッセンスユニットとして切り出す。 ・文字の部分にセリフが出てきた場合、セリフが切れる
までエッセンスユニットをのばす。 ・セグメントに効果音、文字が無い場合、セリフの部分
をエッセンスユニットとして切り出す。

【００３５】・同一セグメントに複数の効果音、文字、
又はセリフがある場合、最初の効果音、文字、セリフの
部分を優先させる。 ・セグメントに効果音、文字、セリフがない場合、例え
ば最初から２秒間をエッセンスユニットとする。これ
は、セグメント化するに当たり、短いショットを前のシ
ョットに連結することとしたので、セグメントの後の方
から抽出すると、この短いショット部分から抽出してし
まう可能性があり、これでは、ショットが短くて見にく
い心配があるからである。

【００３６】・エッセンスユニットを抜き出したら、最
初の０．５秒は徐々に音量を大きくしていき、終わりの
０．５秒間は徐々に絞っていく。こうしておくと、後で
エッセンスユニットとエッセンスユニットとを繋いだと
き、そこで音楽がプッツリと切れる感じが無くなって、
スムーズに音が繋がる。

【００３７】（５）エッセンスユニットの採点（評価） ・採点要素は例えば下記のものとする。 効果音＝１０点 文字 ＝ ２点 セリフ＝ ２点 対象物＝ １点 音楽 ＝ １点 ・各要素の長さはフレーム数で表わす。 ・採点方法は各採点要素×フレーム数 の合計とする。 ・全体構成による採点アップ 始まりから１０％部迄をオープニング部として、その部
分の合計点数を１０％アップする（図２）。最後の５％
部をエンディング部として、その部分の合計点数を１０
％アップする（図２）。

【００３８】（６）エッセンスユニットリストの内容 ・エッセンスユニットNo. スタートからエンド迄エッセンスユニットの通し番号 ・エッセンスユニットポイント 各エッセンスユニットの採点 ・エッセンスユニットタイム 各エッセンスユニットのフレーム数

【００３９】（７）セグメント／エッセンスユニット対
応表 ・セグメントＮＯ．とエッセンスユニットＮＯ．から成
る。 （８）エッセンスユニットの選択 ・ＶＥ再生時に視聴者がプレイ（再生）時間（又は要約
率）を設定する。 ・再生制御部２８は、それらの再生時間の合計が設定さ
れたプレイ時間に合うように、エッセンスユニットポイ
ントの高い順にエッセンスユニットを選択する。 （９）エッセンスユニット接続・ＶＥプレイ（要約再
生） ・選択されたエッセンスユニットを順に接続し、ディス
プレイ２７上に再生する。 ・再生中に、オリジナル−ＶＥ間のリンクができるよ
う、ＮＯ．管理を行う。

【００４０】（10）インデックス画面 ・各セグメントの始めの画像をサムネイル化（小型化）
し、そのサムネイル画像を１画面に複数個（例：横５枚
×縦４枚）張り付ける（図１２）。 ・サムネイル画像と該当するオリジナル映像（セグメン
ト）にリンクを張る。 ・サムネイル画像がクリックされたときそれとリンクし
ているオリジナル映像を再生する。

【００４１】４．図示したＶＥプレーヤの構成を纏める
と以下のとおりになる。 （１）基本機能 ・映像フレーム毎にランダムアクセス可能なデジタル映
像を記録する。 ・ＶＥの再生時間を設定（時間又は圧縮率を指定）しＶ
Ｅを再生する。 ・ＶＥを見ているときにボタン一つでオリジナル映像に
切り替えられる。 ・オリジナル映像からＶＥへの切り替え。 ・指定位置からのＶＥプレイ。 ・単位映像（セグメント又はエッセンスユニット）毎に
スキップ進み／戻り（連続操作によりぱらぱらめくり）
操作。 ・各エッセンスユニットの第1フレームをサムネイル化
し、サムネイル画像を複数表示したインデックス画面
（映像目次）表示、及びサムネイル画面を指定しそれと
リンクしたオリジナル映像の再生。

【００４２】（２）録画・ＶＥ生成処理 テレビ放送、ビデオテープの映像はアナログで録画され
ているので、その映像をデジタル録画する。デジタル録
画された映像はフレームＮＯ．でアクセスできるような
ファイルとしてランダムアクセス可能なメモリーやハー
ドディスクに保存される（映像ソフト蓄積部１３）。デ
ジタル録画したオリジナル映像をセグメントリスト、エ
ッセンスユニットリストで管理することにより、双方の
リンクをとることが容易にできる。 １）セグメント ・１秒以下のショットはその前のショットにつなげる。 ・セグメントは文章の文節に相当するもので、画像の切
れ目（カット）、セリフの切れ目、テロップの切れ目等
から総合的に判断した、映像の切れ目から切れ目迄とす
る。 ・オリジナル映像はセグメントリストで管理される。 ・全てのセグメントをつなぎ合わせれば、オリジナル映
像となる。 ・セグメントをまたぐセリフ、テロップはない。（セリ
フ、テロップがカットをまたいだ場合、そのカットでセ
グメントを分けない）

【００４３】２）セグメントリスト ・セグメントリストは、セグメントの通しＮｏ．、セグ
メントの先頭フレームＮｏ．、フレーム数とする。 ３）エッセンスユニット ・セグメント毎にエッセンスユニットを作成する。 ・エッセンスユニットは、セグメントの中から効果音、
テロップ、セリフ部分を中心に切り出した映像である。 ・１つのセグメントから１つのエッセンスユニットを作
成する。 ・エッセンスユニットの始めと終わり０．５秒は音を絞
る。（音声をスムーズにつなぐ）

【００４４】４）エッセンスユニット評価 ・タイトルと終わり（ＥＮＤ）だと思われる画像の評価
点は高くする。 ・オープニング、エンディングは他と比べ評価点が高く
なるようにする。 ・エッセンスユニットの長さにより点数を変える。 ・各エッセンスユニットの中に含まれている要素によ
り、エッセンスユニットに点数をつける。 ・高得点のエッセンスユニットが連続しないよう、調整
する。 ５）エッセンスユニットリスト ・エッセンスユニットリストは、エッセンスユニットの
通しＮｏ．、先頭フレームＮｏ．、フレーム数、評価ポ
イント等で構成される。 ６）セグメント／エッセンスユニット対応リスト ・セグメントとエッセンスユニットをリンクさせるため
に使用される。 （３）再生 １）プレイ時間設定 ・ＶＥプレイする場合、最初にプレイ時間（または圧縮
率）の設定をする。 ２）エッセンスユニットの選択 ・設定された時間に応じて，点数の高いエッセンスユニ
ットを選択する。 ・選択したエッセンスユニットの総時間が設定されたプ
レイ時間と同じにならない場合、実際の再生時間（エッ
センスユニットの総時間）を少しだけ長くする。 ３）エッセンスユニットの接続・再生 ・選択したエッセンスユニットをＮｏ．順に接続する。 ・エッセンスユニット接続しながら、再生を行う。 ４）ＶＥ→オリジナル、オリジナル→ＶＥの切替 ・ＶＥ再生中に、「ＶＥ→オリジナル」の操作が行われ
た場合、再生中のエッセンスユニットとリンクされてい
るセグメントへ飛び、そこからオリジナル映像を再生す
る。 ・オリジナル再生中に、「オリジナル→ＶＥ」の操作が
行われた場合、再生中のセグメントとリンクされている
エッセンスユニットへ飛び、そこからＶＥ映像を再生す
る。 ５）スキップ ・オリジナル再生中にスキップボタンを押すと、セグメ
ント毎に映像をとばして見られる。 ・ＶＥ再生中にスキップボタンを押すと、エッセンスユ
ニット毎にＶＥ映像をとばして見られる。 （４）セグメント １）セグメントの作成方法 ・カットの位置を検出（判別）する。 ・１秒以下のショットは前のショットにつなげ１ショッ
トとして処理する。 ・ショットとショットに効果音、テロップ又はセリフが
またがっている場合は、ショットをつなげて1つのショ
ットとみなす（図５）。 ２）セグメントリスト セグメント通しＮｏ．、先頭フレームＮｏ．、各セグメ
ントを構成するフレーム数を表にする（表１）。 （５）エッセンスユニット １）エッセンスユニットの形成方法 ・１つのセグメントから１つのエッセンスユニットを作
る。 ・セグメント中でセリフやテロップのある部分を優先的
にエッセンスユニットとして抜き出す。 ・セリフよりエッセンスユニットを長くしセリフが途切
れないようにする。 ・長いテロップは２秒でカット。 ・エッセンスユニット化する場合の映像要素は、効果
音、テロップ、セリフ又は人物（対象物）とする（図
６）。エッセンスユニットリストの例は表２に示す。 （５）インデックスについて １）インデックス画面の作成方法 ・各セグメントの最初のフレーム画像を小型化する。 ・小型化した画像（サムネイル画像）をインデックス画
面に張り付ける（図１２）。 ・サムネイル画像とそれに該当するオリジナル映像間に
リンクを張る。 ・サムネイル画像がクリックされたときオリジナル映像
を再生する。

【００４５】６．要約生成フロー 本実施の形態例での要約生成手順を図７〜図９に示す。 １）録画・ＶＥ生成処理（図７） ・録画操作 …アナログ映像（ＴＶ放送／ビデオ）
を入力し録画ボタンをクリック。パソコン＋ビデオボー
ドによりAVIファイルを生成。 ・オリジナル映像…デジタル録画し各フレームにNo.を
付けランダムアクセス可能なファイルとして保存（AVI
ファイル）。 ・カット判別 …カットからカットまで（＝ショッ
ト）を抽出。

【００４６】・セグメント編集 …１秒以下のショット
やカットをまたぐセリフ／テロップのあるショットをつ
なげ、セグメントにする。 ・リスト生成 …セグメントリストを生成する（表
１）。このリストは、セグメント開始フレームNo.とフ
レーム数を記録したものである。 ・エッセンスユニット(EU) …映像ソフト構成要素（効果音、テロ
ップ、セリフ、対象物）の存在状態に基いてエッセンス
ユニットを作る。エッセンスユニットはセグメントの１
部分である（1セグメントから1EUを生成）。 ・EU評価 …EU中の要素（効果音、テロップ、セ
リフ、対象物）により重要度を点数付けを行なう。EUリ
スト生成とサムネイル画面抽出を行なう。EUリストに
は、EU開始・終了フレームNo.、フレーム数、重要度な
どを記録する（表２）。また、各EUの最初の静止画1枚
をサムネル化し、インデックス画面（図１２）を生成す
る。これら処理により、オリジナル映像＝Σセグメント
映像＞ΣEU映像となる。

【００４７】２）ＶＥプレイ（図８） 要約再生は以下の如く実行される。 ・タイトル選択 …プレイ画面（図１１）で「ＨＯＭ
Ｅ」キーをクリック。ライブラリーパネル（図１０）が
表示される。この画面では、要約処理済みの映像ソフト
のタイトル画とタイトルが表示されるので、所望のタイ
トルまたはタイトル画をクリック。 ・ＶＥプレイ …プレイ画面でＶＥをクリック。 ・プレイ時間／要約率設定 …プレイ画面でＶＥ設定バ
ー３１をドラッグ。 ・EU選択 …設定されたプレイ時間に合うよう
に、全EUリストから重要度の高いEUから選択。

【００４８】・EUリスト …ＶＥ再生のため、EUリ
ストを参照する。 ・VE再生 …VE・EUリストのフレームＮｏ．よ
り、オリジナル映像を再生する。 ・VE→オリジナル／オリジナル→VE …VE・EUリストと
リンクしているセグメントリストの映像、又はセグメン
トリストとリンクしているVE・EUリストの映像を再生す
る。 ・スキップ …オリジナルプレイ時には再生中の次
のセグメントから、VE再生時には再生中の次のEUからそ
れぞれ再生する。

【００４９】３）インデックスからの映像呼び出し（図
９） ・INDEX画面呼び出し …プレイ画面（図１１）でINDEX
ボタンをクリックする。図１２のINDEX画面が表示され
る。 ・見たいサムネイル画像を選択 …視聴者が所望するサムネ
イル画像をクリックする。 ・サムネイル画像に対応するオリシ゛ナル映像を再生…クリックさ
れたたサムネイル画像と対応するセグメントが再生され
る。再生はオリジナルモード（通常の再生形式）の映像
となる。 ・ＶＥプレイ …図１１のプレイ画面でＶＥをクリッ
クする。 ・プレイ時間／要約率設定 …プレイ画面でＶＥ設定バ
ー３１をドラッグする。これで要約の再生時間が設定さ
れる。

【００５０】・EU選択 …各エッセンスユニット
の再生時間の合計が、この設定された要約再生時間の合
計に達するまで、エッセンスユニット評価リスト（表
２）の中から点数の高いEUを順に選択。 ・EUリスト …当該ＶＥ再生のためのリストを作成
する。同じ映像ソフトについてのものであっても、要約
再生時間は視聴者の設定如何でその都度異なる。このEU
リストは要約再生の都度作成される。 ・VE再生 …EUリストのフレームＮｏ．より、オ
リジナル映像を再生。

【００５１】７．操作画面 ＶＥの録画及び再生の操作は各画面表示とマウスとで行
なわれる。これらは、主として録画及び録画されたライ
ブラリーを表示するライブラリーパネル（図１０）と、
ＶＥやオリジナル映像の再生のための操作を行うプレイ
パネル（図１１）と、サムネイル画面を表示するINDEX
画面（図１２）とで構成される。

【００５２】（１）ライブラリーパネル（図１０） 映像ソフト蓄積部１３に収録されている全映像のファイ
ル管理を行う。ユーザはこのパネルで、見たい映像の検
索や呼び出し操作、デジタル映像データからＶＥ生成操
作、ＶＥプレイ画面の呼び出し操作、インデックス画面
呼び出し操作等を行う。 ・ライブラリー表示（図１０） ここでは、映像ソフト蓄積部に保存されている映像の代
表的静止画像（タイトル画像）を表示を行なう。ファイ
ル名（タイトル）の入力／表示。ライブラリーを選択し
てプレイ、インデックス表示、消去。 ・タイトル画像 もっとも重要度の高いエッセンスユニットの最初の画像
１枚をサムネイル化しそのタイトルの代表的画像として
表示する。 ・タイトル入力ウィンドウ タイトル画像の横／下部にタイトルを手入力するための
ウィンドウを表示する。 ・ＶＥ生成ボタン オリジナル映像からＶＥ生成、インデックスの生成を行
う。ＶＥ生成、インデックス生成が処理されたタイトル
画像には、VEマークが表示される。 ・各タイトル画像／タイトル名をクリックすることによ
り、プレイパネルへ画面が変わりクリックされたタイト
ルが選択表示される。

【００５３】（２）プレイ画面（図１１） ライブラリーパネルで選択されたタイトルの、オリジナ
ル映像やＶＥ映像を再生したり、インデックス画面を呼
び出すためのパネルである。 ・ライブラリーボタン ライブラリーパネル（図１０）へ戻る。なお図１１では
「HOME」と表示されている。以下の記述での鉤括弧書き
もそのボタンの画面表示を表わす。 ・インデックスボタン「INDEX」 プレイ中の映像のインデックス画面を表示する。 ・ＶＥ／オリジナル切替ボタン「VE/OR」 ＶＥプレイ中にオリジナルボタンを押すと、対応するオ
リジナル映像を再生する。オリジナル再生中にＶＥボタ
ンを押すと、対応するＶＥ映像を再生する。ＶＥプレイ
中にＶＥ時間を再設定する場合に押す。

【００５４】ここで、ＶＥを再生中にオリジナル映像に
切り替える場合、再生中のエッセンスユニットに対応す
るセグメントＮＯ．を対応リストから、さらにそのセグ
メント開始フレームＮＯ．をセグメントリストから探
し、オリジナル映像の再生するフレームＮＯ．を決定す
る。オリジナル映像を再生中にＶＥに切り替える場合、
再生中のセグメントに対応するエッセンスユニットの開
始フレームからエッセンスユニットリストに従って再生
する。

【００５５】・スタート／停止ボタン「START/STOP」 ＶＥ又はオリジナル再生のスタート／停止 ・スキップ送り／戻りボタン「<SKIP>」 再生中の映像のスキップ送り及びスキップ戻り。

【００５６】ここで、ＶＥを再生中にスキップ送りボタ
ンが操作された場合、再生中のエッセンスユニットの次
のエッセンスユニットの開始フレームから再生する。ス
キップ戻りボタンが操作された場合は再生中のエッセン
スユニットの１つ前のエッセンスユニットの開始フレー
ムから再生する。オリジナル映像を再生中にスキップ送
りボタンが操作された場合、再生中のセグメントの次の
セグメントから再生する。スキップ戻りボタンが操作さ
れた場合は再生中のセグメントの１つ前のセグメントの
開始フレームから再生する。

【００５７】・ＶＥ時間設定／プレイ位置表示バー（符
号３１） 「設定」ボタンを押してこのバーをドラッグし、プレイ
時間の設定を行う。この操作により、ユーザの好きな時
間で映像の要約を見ることができる。ＶＥ又はオリジナ
ルの再生中には再生位置の表示を行う。（これにより、
ユーザは残りの映像を見るための時間が一目でわかる） ・タイトル情報「TITLE」 再生中のタイトル（ファイル名）を表示する。

【００５８】（３）インデックス画面（図１２） プレイパネルでプレイ中のタイトルのインデックス画像
を表示する。インデックス画面に並んでいる各サムネイ
ル画面で、見たいシーンを検索し、呼び出すことができ
る。 ・タイトル名 手で入力されたタイトルのテキストが表示される。 ・サムネイル画像 各エッセンスユニットの最初の画像をサムネイル化した
画像。これをクリックするとプレイパネルへ戻り、クリ
ックされた映像からプレイすることができる。

【００５９】以下、変形例について説明する。本発明は
テレビジョン受像機、ビデオテープレコーダー、ＤＶＤ
／レーザディスクプレーヤその他、種々のオーディオビ
デオ関連の家庭電化製品に組み込むことが出来る。アプ
リケーションプログラムの形にしてパーソナルコンピュ
ータ上でも実施出来る。この場合はＣＤ−ＲＯＭに格納
して配布したり、ネットワークを介して配布することに
なる。映像ソフトについて、製作側に於てセグメント、
エッセンスユニット、その評価点等を求め、これを映像
ソフトに付加してＤＶＤ等に格納し、視聴者側で、この
付加情報に基いて設定された再生時間に合致するように
エッセンスユニットを選択して再生するようにしても良
い。映像ソフトの入手経路は例示した４つに限られな
い。例えばケーブルテレビジョンその他、例示しない種
々の形態での入手が考えられる。

【００６０】

【発明の効果】以上説明したように、本発明では映像の
各カット位置を検出し、各カット位置から次のカット位
置までの各ショットについて、その持続時間が所定値以
下のもの、或いはセリフ、文字その他注目した映像ソフ
ト構成要素が両者間に跨がっているものを連結し、単数
又は複数のショットから成る各セグメントを形成し、効
果音、文字、セリフ、対象物その他注目した映像ソフト
構成要素の存在状態に対応して、各セグメントの中から
所要長さの映像をエッセンスユニットとして取り出すよ
うにした（請求項１，３）。従って、先の出願に於ける
ショット単位での代表画像抽出に比べ、一層的確な形で
の要約表現が可能になった。

【００６１】更に、このようにして抽出した各エッセン
スユニットについて、その抽出動機とされた映像ソフト
構成要素の存在状態に対応した評価点を付与し、この評
価点を基に、指定された再生時間になるように前記エッ
センスユニットの中の幾つかを選択し、これらを再生す
るようにした（請求項２，４）。従って、一層内容が的
確になった上記の如き要約を、夫々の視聴者がそれに振
り向けられる時間に応じて見ることが出来、限られた時
間を有効活用して、洪水の如く供給される映像ソフトの
中から、各視聴者が真に所望するものを、迅速且つ的確
に選び出すことが出来る。

【図面の簡単な説明】

【図１】映像ソフトの構成の一例（詳細）を示す図。

【図２】映像ソフトの構成の一例（概略）を示す図。

【図３】実施の形態のＶＥプレーヤの構成を示すブロッ
ク図。

【図４】音声出力の一例を示すグラフ。

【図５】ショットとセグメントとの関係例を示す図。

【図６】セグメントとエッセンスユニットとの関係例を
示す図。

【図７】録画・ＶＥ生成時の処理手順例を示すフローチ
ャート。

【図８】ＶＥ再生時の処理手順例を示すフローチャー
ト。

【図９】インデックスからの映像呼び出しの処理手順例
を示すフローチャート。

【図１０】ライブラリーパネル（ＨＯＭＥ画面）の例を
示す正面図。

【図１１】プレイ画面の例を示す正面図。

【図１２】ＩＮＤＥＸ画面の例を示す正面図。

【図１３】映像データの差分とカット位置の関係例を示
すグラフ。

【図１４】Ｙ（輝度）分布の差分の例を示すグラフ。

【符号の説明】

１１…ＴＶ受信部 １２…入力制御
部 １３…映像ソフト蓄積部 １４ビデオテー
プデッキ １６…光ディスクプレーヤ １７…インター
ネット接続部 １８…カット判別部 １９…データ蓄
積部 ２１…要素検出部 ２２…セグメン
ト形成部 ２３…エッセンスユニット抽出部 ２４…エッセン
スユニット評価部 ２６…ユーザインタフェース ２７…ディスプ
レイ ２８…再生制御部 ２９…スピーカ ３１…ＶＥ設定バー １００…ＶＥプ
レーヤ。

【表１】

【表２】

Claims (4)

【特許請求の範囲】
1. 【請求項１】 映像の各カット位置を検出するカット位
   置検出手段と、該検出された各カット位置から次のカッ
   ト位置までの各ショットについて、その持続時間が所定
   値以下のもの、或いは効果音、文字、セリフその他注目
   した映像ソフト構成要素が両者間に跨がっているものを
   連結し、単数又は複数のショットから成る各セグメント
   を形成するセグメント形成手段と、効果音、文字、セリ
   フ、対象物その他注目した映像ソフト構成要素の存在状
   態に対応し、各セグメントの中から所要長さの映像をエ
   ッセンスユニットとして抽出するエッセンスユニット抽
   出手段とを備えたことを特徴とする映像ソフト処理装
   置。
2. 【請求項２】 前記各エッセンスユニットについて、そ
   の抽出動機とされた映像ソフト構成要素の存在状態に対
   応した評価点を付与する評価手段と、前記評価点に基づ
   き指定された再生時間になるように前記エッセンスユニ
   ットの中の幾つかを選択するエッセンスユニット選択手
   段とを更に備えることを特徴とする請求項１に記載の映
   像ソフト処理装置。
3. 【請求項３】 映像の各カット位置を検出するカット位
   置検出処理と、該検出された各カット位置から次のカッ
   ト位置までの各ショットについて、その持続時間が所定
   値以下のもの、或いは効果音、文字、セリフその他注目
   した映像ソフト構成要素が両者間に跨がっているものを
   連結し、単数又は複数のショットから成る各セグメント
   を形成するセグメント形成処理と、効果音、文字、セリ
   フ、対象物その他注目した映像ソフト構成要素の存在状
   態に対応し、各セグメントの中から所要長さの映像をエ
   ッセンスユニットとして抽出するエッセンスユニット抽
   出処理とをコンピュータ上で実行する映像ソフト処理プ
   ログラムを記録したことを特徴とする記憶媒体。
4. 【請求項４】 前記各エッセンスユニットについて、そ
   の抽出動機とされた映像ソフト構成要素の存在状態に対
   応した評価点を付与する評価処理と、前記評価点に基づ
   き指定された再生時間になるように前記エッセンスユニ
   ットの中の幾つかを選択するエッセンスユニット選択処
   理とが更に含まれることを特徴とする請求項３に記載の
   映像ソフト処理プログラムを記録した記憶媒体。