JPH1188807A

JPH1188807A - 映像ソフト再生方法、映像ソフト処理方法、映像ソフト再生プログラムを記録した媒体、映像ソフト処理プログラムを記録した媒体、映像ソフト再生装置、映像ソフト処理装置及び映像ソフト記録媒体

Info

Publication number: JPH1188807A
Application number: JP9262655A
Authority: JP
Inventors: Haruki Tsuchiya; 治紀槌屋
Original assignee: MEDIA RINKU SYST KK
Current assignee: MEDIA RINKU SYST KK
Priority date: 1997-09-10
Filing date: 1997-09-10
Publication date: 1999-03-30

Abstract

(57)【要約】【課題】映像ソフトの要約表示の際、各代表画像に係
る人の声をも併せて再生し、より短時間での映像ソフト
の内容理解を可能にする。【解決手段】カットが変る、字幕が出る、音の振幅が
大きく変るなど、映像ソフトＶＳの構成要素が変化する
位置Ｐを把握。原映像のその位置から１枚又は複数枚の
画像を代表画像ＶＤを抽出、要約映像ＶＥを生成。又そ
の付近に存在する一纏まりの人の声ＰＶを原音声から抽
出、要約音声ＳＥを生成。要約映像ＶＥの各代表画像Ｖ
Ｄ表示の際、前記要約音声ＳＥとして集積されている一
纏まりの人の声ＰＶも併せて再生。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像ソフト再生方
法、映像ソフト処理方法、映像ソフト再生プログラムを
記録した媒体、映像ソフト処理プログラムを記録した媒
体、映像ソフト再生装置、映像ソフト処理装置及び映像
ソフト記録媒体に関する。詳しくは、例えば２時間のド
ラマについて、カットの切り替わり、字幕の出現、人の
声の存在など、当該映像ソフトの節目、節目と目される
位置から代表画像を抽出して要約映像を生成すると共
に、それら節目、節目と目される位置付近に存在する一
纏まり（一区切り）の人の声を抽出して要約音声を生成
し、前記要約映像を表示する際、この要約音声も併せて
再生し、以て、大量の映像ソフトの中から視聴者が欲す
るものを一層素早く見つけ出すことを可能にする映像ソ
フト再生方法等に関する。

【０００２】なお本明細書では、テレビジョン放送１フ
レーム分に相当するものを「画像」と言い、これを複数
枚連ねたものを「映像」と言う。「動画」もこの「映
像」に含める。この映像に音、キャプションコード（字
幕符号）等を付加したものを「映像ソフト」と言う。な
お「映像ソフト」は「映像ソフトウェア」と言うのが正
しいが、文中で多用しており冗長なので、特許請求の範
囲を含め全て「映像ソフト」という。これら映像ソフト
は、映画フィルム、ビデオテープ、テレビジョン放送、
光ディスク、インターネット、コンピュータ記憶媒体な
どで供給される（光ディスク＝レーザディスク、ＣＤ−
ＲＯＭ、ＤＶＤなど（ＤＶＤ＝デジタルビデオディスク
又はデジタルバーサタイズディスク）。

【０００３】

【従来の技術】出願人は、先に映像の要約に関する出願
をした（特願平８−３３４４７９、特願平９−１５０４
４５、特願平９−２０９７３５）。これら発明の詳細は
夫々の出願明細書及び図面の記載をここに引用すること
とするが、要するにこれら各発明では、画像、音、字幕
その他の映像ソフトの要素が変化する位置に着目し、そ
の位置、いわばその映像ソフトの節目、節目を表わす画
像を代表画像として抽出し、要約を生成している。

【０００４】様々な映像ソフトが大量に供給されるよう
になって来た現代、更にはそれがもっと増えるであろう
将来に於て、要約は、視聴者一人一人がこれら大量の映
像ソフトから自己に有用なものを短時間で見つけ出すの
に有効なツールである。即ち、百聞は一見に如かずの諺
のとおり、映像ソフトによってもたらされる情報は非常
に価値が高い。しかし映像ソフトは時間の流れに沿って
見るもので、それを見るには相当の時間を必要とする。
従って、このような要約という形になっていれば、これ
を見るに要する時間は極めて短くて済み、その結果、供
給される映像ソフトが如何に多くても、各視聴者が欲し
ていたものをその中から取捨選択するに、さして多くの
時間は掛からない。

【０００５】ところで、映像ソフトに於ける音の存在意
義は大きい。これは無声映画とトーキーとを対比すれば
容易に理解出来る。映像ソフトの中の音は一般に次のよ
うな特徴を持っている。１）音には人の声と効果音（背景音や音楽）とがある。２）このうち、人の声は明確な意味のある情報であり、
映像ソフトの内容を理解する上で重要な役割を果たす。

【０００６】

【発明が解決しようとする課題】従って上記要約表示の
際、画像の情報だけでなく、人の声をも再生することと
すれば、内容の理解は一層深まる。しかしながら、これ
の実現に関しては障害があった。即ち、従来もＶＴＲな
どで映像の早送りに合せた音の早送りが行なわれていた
（ＶＴＲ＝ビデオテープレコーダ。）。しかし、音の早
送りというものは、２倍から３倍が限度である。それ
は、それ以上早くるすると音程が高くなって耳障りだ
し、また早口になり過ぎて聞き取り困難となるからであ
る。

【０００７】一方、要約の表示は、それ自体は各代表画
像の静止表示或いは動画形式での表示ではあるものの、
元の映像ソフトの時間軸で考えると、２０〜３０倍での
早送りとなる。このため、要約の表示速度に合わせた早
送り、即ち２０〜３０倍の音の早送りでは、到底その内
容は理解できないという問題があった。

【０００８】本発明の目的は、このような映像ソフトの
要約表示の際、各代表画像に係る人の声をも併せて再生
し、より短時間での映像ソフトの内容理解を可能にする
ことにある。

【０００９】

【課題を解決するための手段】上記目的達成のため請求
項１の映像ソフト再生方法では、画像、音、字幕その他
映像ソフト構成要素の少なくとも一つについてその状態
が変化する位置を検出し、該変化位置に係る代表画像を
抽出して要約映像を生成し、前記変化位置付近に存在す
る一纏まりの人の声を抽出して要約音声を生成し、前記
要約映像表示の際、前記要約音声をも併せて再生する。
また請求項２の映像ソフト処理方法では、画像、音、字
幕その他映像ソフト構成要素の少なくとも一つについて
その状態が変化する位置を検出し、該変化位置に係る代
表画像を抽出して要約映像を生成し、前記変化位置付近
に存在する一纏まりの人の声を抽出して要約音声を生成
し、該要約映像と該要約音声とを前記映像ソフトに付加
する。また請求項３の映像ソフト再生方法では、画像、
音、字幕その他映像ソフト構成要素の少なくとも一つに
ついてその状態が変化する位置に係るものとして抽出さ
れた代表画像から成り前記映像ソフトに付加されている
要約映像と、前記変化位置付近に存在するものとして抽
出された一纏まりの人の声から成り前記映像ソフトに付
加されている要約音声とを読出し、該要約映像表示の
際、該要約音声をも併せて再生する。

【００１０】また請求項４の映像ソフト再生プログラム
を記録した媒体では、それにより、画像、音、字幕その
他映像ソフト構成要素の少なくとも一つについてその状
態が変化する位置を検出し、該変化位置に係る代表画像
を抽出して要約映像を生成し、前記変化位置付近に存在
する一纏まりの人の声を抽出して要約音声を生成し、前
記要約映像表示の際、前記要約音声をも併せて再生する
処理をコンピュータで実行する。また請求項５の映像ソ
フト処理プログラムを記録した媒体では、それにより、
画像、音、字幕その他映像ソフト構成要素の少なくとも
一つについてその状態が変化する位置を検出し、該変化
位置に係る代表画像を抽出して要約映像を生成し、前記
変化位置付近に存在する一纏まりの人の声を抽出して要
約音声を生成し、前記要約映像と前記要約音声とを前記
映像ソフトに付加する処理をコンピュータで実行する。
また請求項６の映像ソフト再生プログラムを記録した媒
体では、それにより、画像、音、字幕その他映像ソフト
構成要素の少なくとも一つについてその状態が変化する
位置に係るものとして抽出された代表画像から成り前記
映像ソフトに付加されている要約映像と、前記変化位置
付近に存在するものとして抽出された一纏まりの人の声
から成り前記映像ソフトに付加されている要約音声とを
読出し、該要約映像表示の際、該要約音声をも併せて再
生する処理をコンピュータで実行する。

【００１１】また請求項７の映像ソフト再生装置では、
画像、音、字幕その他映像ソフト構成要素の少なくとも
一つについてその状態が変化する位置を検出する変化位
置検出手段と、該変化位置に係る代表画像を抽出して要
約映像を生成する要約映像生成手段と、前記変化位置付
近に存在する一纏まりの人の声を抽出して要約音声を生
成する要約音声生成手段と、前記要約映像表示の際、前
記要約音声をも併せて再生する再生手段とを備える。ま
た請求項８の映像ソフト処理装置では、画像、音、字幕
その他映像ソフト構成要素の少なくとも一つについてそ
の状態が変化する位置を検出する変化位置検出手段と、
該変化位置に係る代表画像を抽出して要約映像を生成す
る要約映像生成手段と、前記変化位置付近に存在する一
纏まりの人の声を抽出して要約音声を生成する要約音声
生成手段と、該要約映像と該要約音声とを前記映像ソフ
トに付加する付加手段とを備える。また請求項９の映像
ソフト再生装置では、画像、音、字幕その他映像ソフト
構成要素の少なくとも一つについてその状態が変化する
位置に係るものとして抽出された代表画像から成り前記
映像ソフトに付加されている要約映像と、前記変化位置
付近に存在するものとして抽出された一纏まりの人の声
から成り前記映像ソフトに付加されている要約音声とを
読出し、該要約映像表示の際、該要約音声をも併せて再
生する再生手段とを備える。

【００１２】そして請求項１０の映像ソフト記録媒体で
は、画像、音、字幕その他映像ソフト構成要素の少なく
とも一つについてその状態が変化する位置に係るものと
して抽出された代表画像から成る要約映像と、該位置付
近に存在するものとして抽出された人の声から成る要約
音声とが、前記映像ソフトと共に記録されている。

【００１３】（作用）図３，図４を引用して作用を概
説すると、本願発明では、画像、音、キャプションコー
ドその他、当該映像ソフトＶＳの構成要素が変化する位
置に着目し、例えば、カットが変る、字幕が出る、音の
振幅が大きく変化するなどの各変化が生ずる位置Ｐを把
握し、原映像の該位置に係るところから１枚又は複数枚
の代表画像ＶＤを抽出し要約映像ＶＥを生成する。また
その付近に存在する一纏まりの人の声ＰＶを原音声から
抽出し要約音声ＳＥを生成する。そしてこの要約映像Ｖ
Ｅの各代表画像ＶＤを表示する際に、前記要約音声ＳＥ
として集積されている一纏まりの人の声ＰＶをも併せて
再生する（以下、これらの符号は略す）。

【００１４】前述のとおり、人の声は明確な意味のある
情報であり、映像ソフトの内容を理解する上で重要な役
割を果たす。従ってこのようにその付近の人の声を同時
に再生することで、要約映像の理解が一層容易になり、
今迄より更に少ない労力で多数の映像ソフトの内容をチ
ェックすることが出来るようになる。なお図３は漫画ち
びまるこちゃんからの引用である。

【００１５】

【発明の実施の形態】以下、本発明の詳細を図示実施の
形態例に基いて説明する。図１に実施の形態例のオーデ
ィオビデオエッセンスプレーヤ１００の構成を示す。図
に於て、１１は光ディスクプレーヤであり、レーザディ
スク、ＤＶＤ、ＣＤ−ＲＯＭその他、レーザ光を使用す
る記憶媒体に格納されている映像ソフトを読み出す。１
２はＴＶ放送受信部で、衛星放送電波、ケーブルテレビ
ジョンネットワーク、ＶＨＦ、ＵＨＦ地上波その他を通
じて送信されて来るデジタル或いはアナログのテレビジ
ョン放送を受信する。１３はビデオテープデッキで、デ
ジタル或いはアナログの映像ソフトをビデオテープから
読み出す。１４はインターネット接続部で、公衆回線、
専用線を介して送られて来るインターネット上の映像ソ
フトを受信する。

【００１６】ＴＶ受信部１２或いはインターネット接続
部１４で受信された映像ソフトは、入力インタフェース
１６を介して映像ソフト蓄積部１７に蓄えられる。ここ
に蓄えられるのは、テレビジョン放送など有形の記憶媒
体が無いものだけである。光ディスク、ビデオテープな
ど有形の記憶媒体があるものは、後述の要約生成処理の
際、その媒体から直接取り込まれる。なお、供給される
多数の映像ソフトの中から、どれとどれとを取り込むか
は視聴者が決める。この操作は、ユーザ操作部２６を使
用し、一般のビデオテープデッキの録画予約等と同様の
手順で実行する。番組の放送形態等に合わせ、１回だ
け、毎日、毎週蓄積などと設定する。また、記録した映
像ソフトは本発明により短時間で内容評価が出来る。従
って、仕事上で、或いは個人的に関心のある番組、放送
チャンネル等は全て蓄積対象として構わない。

【００１７】映像ソフトは、例えば１０分単位に区切
り、一つづつファイルとして映像ソフト蓄積部１７に蓄
積する。このとき、夫々の受信年月日、受信開始時分
秒、チャンネル番号など、後での読み出しに必要な目次
情報も一緒に記録する。音のデータも一緒に記録する。
映像ソフトはデジタル化と圧縮化が進んでいる（ＭＰＥ
Ｇ、ＪＰＥＧ、ＭＵＳＥほか）。ここでは、これらがそ
の儘映像ソフト蓄積部１７に蓄積される。アナログのも
のも再生の際のランダムアクセスを容易にするために、
入力インタフェース１６でデジタル化し映像ソフト蓄積
部１７に蓄積する。

【００１８】記録（蓄積）はサイクリック（循環的）に
行なうと良い。例えば映像ソフト蓄積部１７の記憶容量
を、５チャンネル分、連続３日記録可能としておき、こ
れを視聴者の時間があるときに確認して不用のものを消
去するという形で使用する。これで通常は映像ソフト蓄
積部１７の記憶容量に余裕を持たせられる。ある期間連
続して放送内容が記録され、その間に視聴者が映像ソフ
トをチェックしないために記憶容量が無くなったら、記
録済み映像の中で一番古いものの上に、次の新しい映像
を重ね書きする。こうすれば、記録する年月日時分等を
指定する必要は無く、所望するチャンネル（監視をして
おきたいチャンネル）のみをユーザ操作部２６で指定し
ておけば良い。

【００１９】図１に戻り、２１は変化位置検出部で、該
検出部２１は、そのとき記録されているテレビジョン放
送等に関し、指定された構成要素について状態変化が生
じたとき、その位置の情報を代表画像抽出部２２と人の
声抽出部２３とに供給する。この位置情報は、例えば、
そのテレビジョン放送の記録開始時刻（年月日時分秒）
からの経過時間、及び当該秒でのフレーム番号或いは記
録開始時刻からの通しのフレーム番号などの形で与えら
れる。変化位置検出部２１が請求項にいう変化位置検出
手段に当り、同じく代表画像抽出部２２が要約映像生成
手段、人の声抽出部２３が要約音声生成手段に当る。

【００２０】映像ソフトの構成要素としては、画像、
音、字幕などが挙げられる。細かく見ると、画像では、
構図（含まれる図形）、画面の明るさ、配色、画像の粗
さ、静止状態が続くか、などがあり、音では、音の種類
（人の声、動物の声、音楽、歓声、パルス性の音な
ど）、振幅、スペクトラムなどがあり、字幕ではデータ
形式（文字コード形式か、画像の一部としてのイメージ
データ形式か）などがある。フリップも字幕と似た性質
がある。これら以外にも検出可能な種々の構成要素が存
在する。（フリップ（パターン）＝文字や画を書いた
板。テレビジョン放送で話し手などが使用。）

【００２１】これら構成要素の状態が変化する位置は、
多くの場合、その映像ソフトのストーリー（流れ）の節
目、節目になっている。例えば、ドラマの中で音が出現
するときは人の声（台詞）であるなど、そのストーリー
を理解させるに重要な節目になっていることが多い。カ
ットが切り替わるところ、スポーツ中継で歓声が上がる
ところなども、その映像ソフトの節目、節目になってい
ることが多い。本発明では、これら構成要素の状態が変
化する位置を捉え、代表画像を抽出する動機にすると共
に、一纏まりの人の声の抽出動機にもする。但し、どの
構成要素の変化に注目するのが適切か、或いはどれとど
れとに注目するのが適切かは、映像ソフトのジャンル
（分野）によって異なる。従って、実際の適用に当って
は、このジャンルに合わせて注目する構成要素を選定す
る（例は後掲。注目する構成要素を略し「注目要素」と
いう）。なお視聴者が所望するときは、ユーザ操作部２
６によりそれを設定する。設定が無いときはデフォルト
の構成要素とする。

【００２２】注目要素の例を以下に示す。最初に、映像
ソフトのジャンルに関係なく適用可能なものを示す。「映像に関して」（１）カット（場面）の切り替わり例えばドラマでは、その展開に従ってカットが変る。従
ってカットの切り替わりは、映像ソフトの主要な注目要
素である。この場合、各カットの中央付近（図２ＰＣ）
の画像が、そのカットの内容を端的に表わす内容となっ
ていることが多い。この為、先ずカットの切り替わり位
置（図２ＣＳ１，ＣＳ２）を見つけ出す。具体的には、
先ず画像や音に関する要素が急に変化する各位置を見つ
け出し、夫々がこのカットの切り替わり位置ＣＳ１，Ｃ
Ｓ２であると推定する。そして、この夫々の切り替わり
位置ＣＳ１とＣＳ２との間が一つのカットであると推定
し、その中間位置ＰＣを、代表画像抽出の為の位置とす
る。

【００２３】（２）字幕やフリップの出現画像の一部に字幕やフリップが出現したのに応動して、
その位置を代表画像抽出位置とする。これらの検出につ
いては後述する。（３）周期的切り出し一定時間ごと、例えば３分ごとの位置を代表画像抽出位
置とする。これは、純粋には映像ソフトの構成要素の変
化とは言えないかも知れないが、簡便であり実用性もあ
るし、時間というものも映像ソフトの構成要素と捉えら
れないこともないので、その経過を構成要素の変化と見
立て、この位置も抽出位置の一例とした。

【００２４】「音に関して」音は、例えば、振幅、周波
数、スペクトラム、周期性、持続性などが具体的な注目
要素となる。これらの変化、例えば振幅が急に大きくな
った、周波数が急変した、スペクトラムが変った、ある
程度続いた、などが検出の対象にされる。具体的にスポ
ーツ中継の場合、単純に振幅が大きくなった位置は、多
くの場合歓声が上がる等、その映像ソフトの節目、節目
になっている位置である。例えばこれらが、請求項にい
うように、映像ソフトの構成要素の状態が変化した位置
として代表画像を抽出すべき位置とされる。

【００２５】なお、これら状態が変化する位置は、その
映像ソフトの節目、節目にある程度対応していて、結果
として、その要約映像或いは要約音声が、その映像ソフ
トの内容をある程度端的に表現しているものになれば十
分であって、これらの変化自体が厳密に判別されなけれ
ばならない、というものではない。

【００２６】記録しようとする放送チャンネルのジャン
ルがある程度特定できる場合は、下記に例示したような
要素に注目してその変化を検知するのも良い（先に述べ
た注目要素と重複するものあり）。映像のジャンル注目要素ニュースフリップのあるところドラマ字幕のあるところ音のあるところドキュメンタリー音のあるところ英会話字幕のあるところスポーツ拍手、歓声の上がるところとその周辺（音のクライマックス）アニメ字幕のあるところ長く静止しているところ音のあるところＴＶショッピング字幕のあるところ（価格などの情報が見える）歌番組音楽の始まるところ（音から判別）教育番組パターンのあるところバラエテイショー歓声の上がるところオーケストラ音楽がスタートするところ（周期的抽出）天気予報映像の静止なお前にも述べたが、注目要素、所定位置等は番組、放
送チャンネルの特性によって異なる。従って抽出位置の
検出を何回か行なってみて、その中で好ましい注目要
素、抽出位置等を決めるとよい。

【００２７】前述「映像に関して」の中の、「（１）カ
ット（場面）の切り替わり」の判別は例えば以下の如く
行なう。（１）ピクセルの集約処理映像は２次元的な広がりを有し、例えばＮＴＳＣ方式で
凡そ２５０ドット×５２５ラインというようなピクセル
（画素、点）の集まりであり、夫々のピクセルには明
度、彩度、色相があり、テレビジョンではこのようなピ
クセルの集合からなる画像が１秒間に３０枚送信され
る。

【００２８】ピクセルの数は、いうまでもなく多い。そ
こで、処理の高速化、簡素化の為、ここではピクセルの
集約化を行う。例えば４×４のピクセルの、和なり平均
値なりを求めると、映像は１／１６のデータ量になり、
８×８のピクセルについて同様の処理をすると、映像デ
ータは１／６４に集約される。

【００２９】この集約化は、画像の緩やかな変化を捨象
し、カットの切り替わりの判別を容易にする。即ち、カ
ットの切り替わり判別は、基本的には、前後する二つの
画像のピクセルとピクセルとを比較し、そこに大きな差
があるか否かを見極めるものである。具体的には、例え
ば画像の幾つかの領域で両者のピクセルのデータを比較
し、多くが共通していたら、そこは、例えば背景が変ら
ずに人物が移動しただけとかの、一つのカットの中の画
像であると考える。

【００３０】しかし、例えばズームアップ／ダウンやゆっくりしたカメラの向きの変更があったとき、ここでいう集約処理をしないで前後の画
像のピクセル比較をすると、見た目には僅かでも、ピク
セルレベルでは多くの部分でデータが相違している。こ
の為、実際にはカットの途中でも、それらの多くがカッ
トの切り替わり位置と判断されてしまう。

【００３１】この点、集約化処理後の粗いピクセルで
は、ある枚数までの画像はデータが変化しない。それ
故、これらは同じカットに属する画像だと判断される。
そこで、この為の前処理として、それらの粗いピクセル
の値、ａ（ｔ,ｘ,ｙ）をとりだす。ここに、ｔ：時刻ｘ，ｙ：集約処理後の
画像の座標ａ：その点（ｘ，ｙ）の色の値。ａは、
Ｒ，Ｇ，Ｂをその儘取り入れるか、Ｃ₁・Ｒ＋Ｃ₂・Ｇ＋
Ｃ₃・Ｂとすればよい（Ｒ，Ｇ，Ｂは３原色情報の値、
Ｃ₁，Ｃ₂，Ｃ₃は重み係数である）。

【００３２】（２）時間方向の集約化処理この集約化処理を行なった映像データについて、次に、
各画像毎にその夫々のピクセルとその前の画像の夫々の
ピクセルとの間の差分を求める。それがある程度以上な
ら、そこはカットの切り替わり位置であるとしてよい。
処理を単純にしたいなら、このときの差分の大きさにつ
いて一定のしきい値を定めておく。画像中の全ピクセル
の或る割合以上について、しきい値を超える大きな差分
が生じていたら、そこは場面が変った、即ちカットの切
り替えがあった位置とする。

【００３３】尤も、同じカット（場面）に属していて
も、画像の内容によってピクセル間の差分の大きさは異
なる。１コマ１コマが早く移り変わるカットなら前後の
画像の差分は大きく、遅いものなら差分は小さい。従っ
て、上記の如き単純な処理も一方法だが、ここでは、よ
り的確に代表画像を抽出するべく、更に下記処理を加え
る。「映像の時間的な差分比較の処理」一枚の画像を構成す
る各点のデータａ（ｔ，ｘ，ｙ）について、時間的な
差分を求める。即ちｄ（ｔ，ｘ，ｙ）＝ａ（ｔ，ｘ，ｙ）−ａ（ｔ−△ｔ，
ｘ，ｙ）を求める。但し、△ｔ：適宜の時間幅である。これは、
時間的に△ｔだけ隣り合う２枚の画像のピクセル相互の
差分（変化量）を示している。

【００３４】この差分ｄ（ｔ，ｘ，ｙ）を、所定期間、
例えば１分間の間の夫々の画像に関して求める。式で表
わせば、

【数１】となる。

【００３５】このようにして求めた例えば１分間の集約
化映像についての差分Ｄａ（ｔ）の例が図２に示したも
のである。値が大きい位置、即ち映像の差分が大きい位
置ＣＳ１，ＣＳ２が、そこで画像に何らかの大きな変化
があることを表わしており、カットが切り替わっている
可能性が高い。そこで、このＣＳ１とＣＳ２の間を一つ
のカットと推定し、この中の適宜の位置を抽出位置にす
る。ジャンルによって異なるが、カットを端的に表わす
映像は、一般にカットの中央付近にある。そこで、この
図２の例では、カットの中間位置ＰＣを当該抽出位置に
している。これらが上記見出しにいう「映像の時間的な
差分比較処理」である。なお図２の抽出位置ＰＣは図４
の状態変化位置Ｐに相当する。但し図４の例では、カッ
ト中央ではなく、例えば字幕の出現位置を抽出位置とし
ている為、一つのカットの中に複数の抽出位置Ｐが存在
する。

【００３６】なお映像ソフトを構成する各フレームにつ
いて、例えばその中央付近の水平走査線１本分の画像デ
ータに着目し、これに対して画像の移り変わりに伴う差
分を求め、カットの切り替わりを検出するようにしても
良い。具体的には、例えば、この水平走査線１本分の映
像データを、Ｎ個の区間に分け、夫々の区間について和
或いは平均値を求める。そして、各区間毎に、その前の
画像の当該区間の平均値に対する差分を求める。この差
分を各フレーム毎に総和し、その値が大きくなっている
位置、即ち、図２のＣＳ１、或いはＣＳ２に当たる位置
を求め、これを上記同様のカットの切り替え位置である
とする。

【００３７】前述「映像に関して」の「（２）字幕やフ
リップの出現」の判別は、例えば以下の如く行なう。（１）字幕やフリップが、映像として、即ちイメージと
して画像中に組み込まれている場合。この場合は、近年その精度が上がって来た漢字ＯＣＲの
手法を用い、文字の有無を検出する。前述と同様、画像
中に何か文字がある、という程度の認識が出来れば十分
であるから、例えば、一般に字幕表示位置とされる、画
像の下部とか両端部分に着目し、その画像を粗い解像度
で捉え、そこから何らかの文字が読取れるかどうかで、
字幕の有無を判別することとすると処理が早い。（２）文字コードでデータが供給されて来る場合。文字放送字幕のように、字幕データが文字コードで供給
される場合もある。この場合は割に話しが簡単である。
新たな字幕の供給は、その儘カットの切り替わりである
ことが多い。従って、文字コード出現をその儘カットの
切り替わりと推定する。これに基いてそのカット中の所
定位置を抽出位置とする。

【００３８】図１の説明に戻る。上述の如くして注目要
素について状態変化があったことが変化位置検出部２１
から通知されると、代表画像抽出部２２は、そのとき記
録されている映像ソフトの所定位置から、１フレーム分
の画像を代表画像として抽出する。抽出した代表画像は
そのとき受信している映像ソフトの要約映像として要約
映像蓄積部１９に順次蓄積される。なお、蓄積した要約
映像とそれを抽出した映像ソフトとの関係が判るよう、
要約映像のファイルには、受信チャンネル番号、記録開
始年月日時分秒を記録しておく。個々の代表画像には、
元の映像のどの位置から取り出したかの情報を付してお
く。これは、例えば原映像の記録開始時分を基点とし、
そこからの経過秒数、フレーム番号などで表わせる（原
映像＝処理対象の映像ソフトの映像部分）。

【００３９】注目要素について状態変化があったこと
は、人の声抽出部２３にも通知される。人の声抽出部は
これに応動して、その状態変化位置付近に存在する人の
声を原音声から抽出する（原音声＝処理対象の映像ソフ
トの音の部分）。人の声は、基本周波数が２００〜６０
０Ｈｚ辺りにあり、これに数次の各高調波が加わる。こ
の高調波の分布の違い、即ちフォルマントの相違により
「あいうえお」の各母音が区別されることは周知である
が、人の声抽出部２３は、通知された変化位置付近にこ
のようなフォルマントが存在するか否か、その映像ソフ
トの音声信号を検査する。

【００４０】なお、人の声の意味するところ自体は、そ
れを聞いた視聴者が判断をする。従って、人の声抽出部
２３は、人の声であろう、ということを検出できれば十
分で、５０音を区別出来ることを要しない。即ち、基本
的には、人の声であろうことが推定出来る程度にフォル
マントの存在が確認できれば良く、各高調波の強さの相
違、即ち母音の識別は出来なくても構わない。人の声の
認識（音声認識）については、既に多数の技術が開示さ
れている（例えば特開平９−９０７２４、特開平９−１
２７９７１、特開平９−１６０５８５ほか。ファイルイ
ンデックスのＧ０１Ｌ３／００Ｂ、Ｇ０１Ｌ３／００，
５１３Ｂなどに分類されるもの）。

【００４１】それ故、人の声の存在検出は、これら公知
の技術の何れかによるが、参考までに大まかな処理手順
を述べると、先ず、状態変化があった位置付近の音声信
号を取り出し、無音部分を取り除く。次に、残った有音
の部分について、適宜の時間幅で区切り、夫々の音声信
号について、例えばフーリエ変換チップにより、適宜の
分解能、例えば２０Ｈｚづつの分解能でそのスペクトラ
ムを求める。そして、その中の２００〜６００Ｈｚ付近
の各周波数について、それが所定しきい値以上であるか
否かを検査し、しきい値以上であれば人の声の基本周波
数であると仮定し、例えばその２次〜４次の高調波が人
の声と同様の強度分布でそこに存在するか否かを検査す
る。

【００４２】それがあれば、人の声である可能性があ
る。そこで、今度は、同じスペルトラムが所定秒数続い
ているかを検査する。本発明は、映像ソフトの音の中に
存在する人の声を、原則として元と同じ速度で再生する
（早めるとしても視聴者が理解可能な程度で）。従っ
て、人の声と思しきものが存在したとしても、それが
「あー」とか「うー」とかの短いものではあまり意味が
ない。また、元々、人の話しは５秒とか１０秒とか２０
秒とか、ある程度持続したものであるのが普通である。

【００４３】それ故、ここでは人の声と同じフォルマン
トであっても、ある程度持続しないものは排除すること
とする。これによって、人の声であっても短くて映像ソ
フトの内容理解にあまり役立たないと思われるもの、或
いはフォルマントが同じでも人の声ではないと推定され
るものを排除出来る。なお、持続時間の目安は、５秒〜
２０秒程度であり、この範囲で持続する人の声を抽出
し、要約音声として蓄積しておく。なお、持続時間の範
囲は視聴者が調節可能としておくと良い。

【００４４】このようにして抽出した人の声は、要約音
声として順次要約音声蓄積部１８に蓄積される。それを
引き出した位置のデータは、夫々の人の声やファイルに
付しておく。処理の仕方は要約映像のときと同様であ
る。なお、代表画像抽出位置近くに人の声が存在しなか
った場合、抽出は行なわない（図４のカット１，カット
２の後側の代表画像ＶＤについてと、カット４の前側の
代表画像ＶＤについて）。また、一つの位置に人の声の
候補が複数存在していたときは、スペクトラムが人の声
に近い方を優先する。一つの映像ソフトについて所定数
以上の候補が存在したときも、スペクトラムが人の声に
近いもの方を優先し、全体の人の声の数を所定数に収め
る。

【００４５】再び図１の説明に戻る。２６はユーザ操作
部である。ユーザ操作部２６は、本発明に関連する特有
の操作ボタンを始め、ＤＶＤプレーヤ等に一般的に備え
られる各種操作ボタンを備えている。これらボタンは、
ディスプレイ２７上で、或いは機械的スイッチで実現さ
れ、視聴者によるこれらの操作に応動して、再生制御部
２４が対応した処理を実行する。以下、左側に名称の
例、右側に対応する処理の例を示す。なお再生制御部２
４が請求項にいう再生手段に当る。 PR PRO 媒体に格納された映像ソフトの事前処理 SELECT 記録済みファイルの記録開始時間一覧 EP/NP エッセンスプレイとノーマルプレイの切り替え FWD 手動画面送り。 BK 手動前画面戻り AUTO 自動コマ送り（連続再生） WIND 巻き上げ（巻戻しの逆）。画像再生中は早送り REW 巻戻し。画像再生中はレビュー STOP 停止 ERASE 原映像と対応する要約の消去 PAUSE 一時停止（他のボタンを押すとそのボタンの動
作になる）

【００４６】先ずWIND，REW，STOP，PAUSE の各ボタン
押下に対しては、夫々の右側に記載した処理が実行され
る。これらはＤＶＤプレーヤ等で一般に行なわれている
動作であり、詳しい説明は略す。

【００４７】次に、PR PRO ボタンは、ＤＶＤ、ビデオ
テープ等に格納された映像ソフトについて本発明に係る
処理を実行するときに使用する。この処理は、その媒体
を光ディスクプレーヤ１１やビデオテープデッキ１３に
装着し、PR PRO ボタンを押すことで実行される。この
ボタンが押されると、変化位置検出部２１、代表画像抽
出部２２、人の声検出部２３は、上記テレビジョン放送
受信のときなどと同様の処理を実行する。これによって
生成された要約映像、要約音声は、要約映像蓄積部１９
及び要約音声蓄積部１８に蓄積される。又これらのう
ち、ビデオテープに格納された映像ソフトは、入力イン
ターフェース１６が映像ソフト蓄積部１７にコピーす
る。映像ソフトが複数のときは、夫々についてこの処理
が実行される。

【００４８】SELECT ボタンを押下すると、例えば１０
分単位のファイルとして映像ソフト蓄積部１７に記録さ
れている各映像ソフトの記録開始時間等がディスプレイ
２７上に表示される。 PR PRO ボタンで事前に処理され
た映像ソフトのファイルもこのとき一覧表示される。不
図示カーソルを移動して所望のファイルを選択し、リタ
ーンキーを押す。これで、以下に述べる各プレイのと
き、当該選択されたファイルから要約映像、要約音声、
元の映像ソフトが読み出される。

【００４９】EP/NP ボタンを押すと、エッセンスプレイ
とノーマルプレイが切替実行される。ここで先ずエッセ
ンスプレイとは、要約を構成している各代表画像をディ
スプレイ２７に表示し、且つ、その代表画像抽出位置付
近に存在していた人の声を再生する処理をいう。FWD ボ
タン、BK ボタンは、このエッセンスプレイを手動で１
コマづつ実行させるもので、FWD ボタンを押下すると、
その都度、代表画像が１コマづつ表示される。

【００５０】このとき、代表画像抽出位置付近に存在し
た人の声がスピーカー２８で併せて再生される。なお、
表示された代表画像を見て、或いは再生された人の声を
聞いて、内容が把握出来たら、その時点で FWD ボタン
を押して良い。そこで人の声の再生が中断され、次の代
表画像が表示される。同時に、その新たな代表画像抽出
位置近傍に存在する新たな人の声が再生される。これで
内容確認に要する時間が短縮される。なおボタンを押下
しなければ、同じ代表画像が表示された儘となる。この
とき人の声は同じものを繰り返し再生しても良いし、１
回のみの再生であっても構わない。

【００５１】BK ボタンを押下すると、１コマづつ前の
代表画像が表示される。このときもその一つ前の代表画
像抽出位置付近に存在した人の声が再生される。次のボ
タンを押下しなければ、同じ代表画像が表示された儘と
なる。人の声の再生に関しても FWD ボタンを押したと
きと同様である。

【００５２】AUTO ボタンを押すと、各代表画像が順次
ディスプレイ２７へ表示される。いわば要約の自動めく
りである。この AUTO 動作のときは、一つの代表画像の
表示とそれに係る人の声の再生が行なわれ、それが終了
したら次の代表画像の表示とその付近にあった人の声の
再生というように、代表画像とそれに対応した人の声が
順次表示再生される。このときも、人の声を全部聞く必
要がなければ FWD ボタンを押す。再生制御部２４はそ
こで声の再生を中断し、次の代表画像を表示し、それに
対応した人の声を再生する。

【００５３】なお代表画像を動画にしたときの、この A
UTO モードでの再生速度は、原映像と同じか稍早い程度
とするとよい。それは、これら代表画像たる動画が、元
々は原映像のコマ送り速度に於て視聴者に理解可能であ
った筈だからであり、また必要ならスロー再生をすれば
よいからである。

【００５４】更に進んで、代表画像を原映像そのものと
しても良い。この場合は、例えば、先ず夫々の一纏まり
の人の声を再生し、その間は、元の映像を、このときの
人の声に対応した位置から元の儘の速度、或いは少し早
めて表示する。そして、この一纏まりの人の声の再生が
終ったら、次の一纏まりの人の声の再生を始めると同時
に、元の映像を、この一纏まりの人の声に対応した部分
から同じように表示する。これを順次繰り返す。これら
動画や元の映像表示の場合も、夫々の部分の内容が把握
出来た時点で FWD ボタンが押されたら、そこで人の声
とそれに対応した元の映像等の表示とを中止し、次の人
の声の再生と元の映像等の表示に移行する。これで内容
確認の時間を大幅に短縮出来る。なお、後の消去操作の
際参照するため、読み出して表示し或いは再生した映像
ソフトファイルは、その旨を記録しておく。

【００５５】次に、ノーマルプレイとは、映像ソフト蓄
積部１７に保存されている映像ソフトや光ディスク、ビ
デオテープの映像ソフトを、通常のビデオテープレコー
ダーと同様にディスプレイ２７に映し出すことをいう。
EP/NP ボタンを押すと、再生制御部２４は、このノーマ
ルプレイとエッセンスプレイとを切り替え実行する。映
像ソフト、要約映像、要約音声とも、その放送年月日、
時分秒、フレーム番号等のインデックス付で各蓄積部１
７〜１９に格納されている。再生制御部２４は、例えば
代表画像と人の声とが表示、再生されていたときに EP/
NP ボタンが押されると、これらインデックスを参照
し、対応する映像ソフトを映像ソフト蓄積部１７から読
み出し、ディスプレイ２７に映出する。

【００５６】EP/NP ボタンは、例えば要約映像を見てい
て、或いは要約音声を聞いていて、元の映像ソフトの内
容を確認したいときなどに押す。ここでも読み出したフ
ァイルについては、その旨を記録しておく。ノーマルプ
レイのときは通常速度で原映像、原音声が再生される。
従って、早送り、巻戻し等の操作も一般のビデオテープ
レコーダやＤＶＤプレーヤ等と同じに行なえば良い。

【００５７】要約映像と要約音声、或いはその元になっ
ている映像ソフトの内容を確認したら、ERASE ボタンを
押下する。これに応動して再生制御部２４は、１０分単
位のファイルとして映像ソフト蓄積部１７に格納されて
いた原映像ソフトの夫々の記録開始時間をディスプレイ
２７に一覧表示する。ＤＶＤやビデオテープから読み込
んだものなら、読み込んだ年月日時分秒やそれに付され
ていたタイトルなどを表示する。このとき既に内容を確
認したファイルについては、その旨の表示がされる。

【００５８】確認済みの映像ソフトをその儘消去するな
ら、そこでリターンキーを押す。確認済みの表示が付さ
れた各映像ソフトとそれらの要約映像ファイル、要約音
声ファイルが一括して消去される。何らかの理由で残し
て置きたいなら、カーソルをそこに移動し、解除キーを
押下するなどして消去対象から外す。

【００５９】なお、要約を見るのに必要な時間はユーザ
ーの操作に依存する。ユーザーはゆっくりとページをめ
くるように見てもいいし（FWD，BK）、素早く映像を送
って見てもよいし（WIND，REW）、また自動ページめく
り式で見てもよい（AUTO モード）。自動めくりの場合
で、２時間分の映像ソフトに対する要約（映像、音声）
の再生時間は、おおよそ４〜１２分程度である。

【００６０】以下、変形例について説明する。実施の形
態例では、構成要素の状態変化（カットの切り替わりほ
か）を検出して、対応する代表画像と人の声とを抽出し
た。音は映像ソフトの主要構成要素である。特に人の声
の出現は、その中でも状態変化の端的な例である。従っ
て、これに着目し、映像ソフトの音の中から先に人の声
を抽出し、これをそのまま要約音声として蓄積する一方
で、この人の声の出現を映像ソフトの構成要素が変化し
た位置だとして、これを代表画像抽出の動機としても良
い。こうすれば、人の声の抽出と蓄積の処理とが、その
まま映像ソフト構成要素の状態変化検出という処理をも
兼ねることになり、単純に言えばデータ処理が半分にな
って処理の高速化が図れる。この場合、代表画像抽出部
２２は、人の声を検出した旨の通知を人の声抽出部２３
から受け取り、これに応動して代表画像の抽出を行な
う。従って変化位置検出部２１が不要になるなどハード
ウェアの単純化も図れる。

【００６１】本発明に係る装置は、様々なハードウェ
ア、例えばＤＶＤプレーヤ、テレビジョン受像機、ゲー
ムプレーや等に組み込むことが出来る。専用ＬＳＩチッ
プとして実現しても良い。コンピュータソフトウェアと
して実現し、パーソナルコンピュータなどに組み込んで
実行しても良い。フロッピーデイスクなどに格納して配
布することも出来る。この場合、前記実施の形態例の
「EP/NP」ボタン等は、キーボードや画面上に割り付け
ることになる。

【００６２】一つの映像ソフトについて異なる性質の抽
出位置のデータを抽出し、視聴者が選択使用出来るよう
にしても良い。例えば、カットの切り替わりを動機とし
た一連の抽出位置のデータと、字幕の出現を動機とする
一連の抽出位置データの２種類を抽出するのも良い。映
像ソフトから要約映像、要約音声を生成し、これを当該
映像ソフトに付加して配布し、それを夫々の家庭、仕事
場その他の場所で、そこに置いた再生装置に掛け、要約
映像と要約音声とを再生するようにしても良い。いわば
要約映像、要約音声付き映像ソフトの配布である。

【００６３】この場合、映像ソフトの生成側には、それ
ら一連のデータを映像ソフトに付加する付加手段を配置
し、再生側には、それら一連のデータを読み出して表
示、再生する再生手段を配置する。この付加手段は、代
表画像抽出部２２が有する要約映像蓄積部１９への蓄積
機能と人の声検出部２３が有する要約映像蓄積部１７へ
の蓄積機能を修正することで実現できる。またここにい
う再生手段は、再生制御部２４の要約映像、要約音声読
出し機能を修正することで実現できる。

【００６４】本発明は、映像ソフトの編集ツールとして
実施することも出来る。即ち、このようにして要約映像
と要約音声とを映像ソフトに付すに当たり、本発明装置
によっていわば機械的にこれらを抽出し、その儘映像ソ
フトに付加しても良いし、それを編集者が評価し手直
し、それから映像ソフトに付加するようにしても良い。
編集者による手直しは、人の判断が加わるので一層的確
な要約映像、要約音声が得られ、視聴者による映像ソフ
トの内容確認が高速で行なえる。

【００６５】配布は、ＤＶＤなど、形のある媒体を使用
しても構わないし、テレビジョン放送、インターネット
その他の通信回線等によるデータ伝送でも構わない。放
送やインターネットによるときはサーバー等の供給側で
状態変化位置の検出、要約映像、要約音声の抽出等の処
理を実行する。そして映像ソフトとこれら一連のデータ
を、視聴者のアクセスに応じ端末側に送信する。このよ
うな実施も、抽出等を実行する場所と、それを再生する
場所とが一致しているか離隔しているかの違いだけであ
り、本願各発明の実施の形態の一つである。

【００６６】要約映像は、画像データそのものでなくて
も良い。例えば映像ソフトがＤＶＤに格納されていた場
合、要約映像は各代表画像の格納アドレスを集積したも
のとし、実際に表示するとき、このアドレスに基いて、
そのＤＶＤから画像データを読み出して表示するように
しても良い。要約音声についても同様で、そのアドレス
で蓄積、再生をしても良い。

【００６７】

【発明の効果】以上説明したように、本願各発明では、
カットの切り替わりなど、映像ソフト構成要素の少なく
とも一つの状態が変化する位置を捉えて代表画像を抽出
し、また、その付近に存在する一纏まりの人の声も抽出
し、代表画像を順次表示する際に、夫々の人の声をも併
せて再生するようにした。映像ソフト構成要素が変化す
る位置は、多くの場合、ストーリーの変り目、節目であ
る。従って、このような位置から抽出された要約映像
は、元の映像ソフトの内容を端的に表現する。しかも、
本発明では、その付近の人の声が併せて再生される。そ
れ故、本発明を適用することで各代表画像についての内
容理解は一層促進され、更に早く、或いは一層的確に、
多数供給される映像ソフトの内容確認が出来るようにな
る。従って、これら映像ソフトによってもたらされる数
々の恩恵を、個人的に或いは仕事の上で、余すところな
く享受することが出来る。

【図面の簡単な説明】

【図１】実施の形態例を示すブロック図。

【図２】画像データ間の差分の例を示すグラフ。

【図３】原映像ソフト、抽出した代表画像、その集合で
ある要約映像、人の声及び要約音声の例を示す説明図。

【図４】映像ソフト、要約映像及び要約音声の相互関係
の例を示す説明図。

【符号の説明】

ＶＳ…映像ソフトＶＤ…代表画像ＶＥ…要約ＰＶ…人の声ＳＥ…要約音声Ｐ…構成要素状
態変化位置

───────────────────────────────────────────────────── フロントページの続き (54)【発明の名称】映像ソフト再生方法、映像ソフト処理方法、映像ソフト再生プログラムを記録した媒体、映像ソフト処理プログラムを記録した媒体、映像ソフト再生装置、映像ソフト処理装置及び映像ソフト記録媒体

Claims

【特許請求の範囲】

【請求項１】画像、音、字幕その他映像ソフト構成要
素の少なくとも一つについてその状態が変化する位置を
検出し、該変化位置に係る代表画像を抽出して要約映像
を生成し、前記変化位置付近に存在する一纏まりの人の
声を抽出して要約音声を生成し、前記要約映像表示の
際、前記要約音声をも併せて再生することを特徴とする
映像ソフト再生方法。
【請求項２】画像、音、字幕その他映像ソフト構成要
素の少なくとも一つについてその状態が変化する位置を
検出し、該変化位置に係る代表画像を抽出して要約映像
を生成し、前記変化位置付近に存在する一纏まりの人の
声を抽出して要約音声を生成し、該要約映像と該要約音
声とを前記映像ソフトに付加することを特徴とする映像
ソフト処理方法。
【請求項３】画像、音、字幕その他映像ソフト構成要
素の少なくとも一つについてその状態が変化する位置に
係るものとして抽出された代表画像から成り、前記映像
ソフトに付加されている要約映像と、前記変化位置付近
に存在するものとして抽出された一纏まりの人の声から
成り、前記映像ソフトに付加されている要約音声とを読
出し、該要約映像表示の際、該要約音声をも併せて再生
することを特徴とする映像ソフト再生方法。
【請求項４】画像、音、字幕その他映像ソフト構成要
素の少なくとも一つについてその状態が変化する位置を
検出し、該変化位置に係る代表画像を抽出して要約映像
を生成し、前記変化位置付近に存在する一纏まりの人の
声を抽出して要約音声を生成し、前記要約映像表示の
際、前記要約音声をも併せて再生する処理をコンピュー
タで実行するための映像ソフト再生プログラムを記録し
た媒体。
【請求項５】画像、音、字幕その他映像ソフト構成要
素の少なくとも一つについてその状態が変化する位置を
検出し、該変化位置に係る代表画像を抽出して要約映像
を生成し、前記変化位置付近に存在する一纏まりの人の
声を抽出して要約音声を生成し、前記要約映像と前記要
約音声とを前記映像ソフトに付加する処理をコンピュー
タで実行するための映像ソフト処理プログラムを記録し
た媒体。
【請求項６】画像、音、字幕その他映像ソフト構成要
素の少なくとも一つについてその状態が変化する位置に
係るものとして抽出された代表画像から成り、前記映像
ソフトに付加されている要約映像と、前記変化位置付近
に存在するものとして抽出された一纏まりの人の声から
成り、前記映像ソフトに付加されている要約音声とを読
出し、該要約映像表示の際、該要約音声をも併せて再生
する処理をコンピュータで実行するための映像ソフト再
生プログラムを記録した媒体。
【請求項７】画像、音、字幕その他映像ソフト構成要
素の少なくとも一つについてその状態が変化する位置を
検出する変化位置検出手段と、該変化位置に係る代表画
像を抽出して要約映像を生成する要約映像生成手段と、
前記変化位置付近に存在する一纏まりの人の声を抽出し
て要約音声を生成する要約音声生成手段と、前記要約映
像表示の際、前記要約音声をも併せて再生する再生手段
とを備えたことを特徴とする映像ソフト再生装置。
【請求項８】画像、音、字幕その他映像ソフト構成要
素の少なくとも一つについてその状態が変化する位置を
検出する変化位置検出手段と、該変化位置に係る代表画
像を抽出して要約映像を生成する要約映像生成手段と、
前記変化位置付近に存在する一纏まりの人の声を抽出し
て要約音声を生成する要約音声生成手段と、該要約映像
と該要約音声とを前記映像ソフトに付加する付加手段と
を備えたことを特徴とする映像ソフト処理装置。
【請求項９】画像、音、字幕その他映像ソフト構成要
素の少なくとも一つについてその状態が変化する位置に
係るものとして抽出された代表画像から成り、前記映像
ソフトに付加されている要約映像と、前記変化位置付近
に存在するものとして抽出された一纏まりの人の声から
成り、前記映像ソフトに付加されている要約音声とを読
出し、該要約映像表示の際、該要約音声をも併せて再生
する再生手段とを備えたことを特徴とする映像ソフト再
生装置。
【請求項１０】画像、音、字幕その他映像ソフト構成
要素の少なくとも一つについてその状態が変化する位置
に係るものとして抽出された代表画像から成る要約映像
と、該位置付近に存在するものとして抽出された人の声
から成る要約音声とが、前記映像ソフトと共に記録され
ていることを特徴とする映像ソフト記録媒体。