JPH1175146A

JPH1175146A - 映像ソフトウェア表示方法、映像ソフトウェア処理方法、映像ソフトウェア表示プログラムを記録した媒体、映像ソフトウェア処理プログラムを記録した媒体、映像ソフトウェア表示装置、映像ソフトウェア処理装置及び映像ソフトウェア記録媒体

Info

Publication number: JPH1175146A
Application number: JP9247902A
Authority: JP
Inventors: Haruki Tsuchiya; 治紀槌屋
Original assignee: MEDIA RINKU SYST KK
Current assignee: MEDIA RINKU SYST KK
Priority date: 1997-08-28
Filing date: 1997-08-28
Publication date: 1999-03-16

Abstract

(57)【要約】【課題】供給される多数の映像ソフトについて、夫々
の内容を短時間で確認することを可能にする新たな手法
を提供する。【解決手段】画像、音、字幕その他、映像ソフト構成
要素の少なくとも一つについて、その状態が変化する位
置、例えばカットが変る位置、字幕が出現する位置、或
る纏まった人の声が存在する位置等を検出し、前記映像
ソフト表示中に視聴者からの命令があったら、そこで再
生を中断し、当該表示していた位置以後の前記変化があ
った位置までスキップして、そこから映像再生を続行す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像ソフトウェア表
示方法、映像ソフトウェア処理方法、映像ソフトウェア
表示プログラムを記録した媒体、映像ソフトウェア処理
プログラムを記録した媒体、映像ソフトウェア表示装
置、映像ソフトウェア処理装置及び映像ソフトウェア記
録媒体に関する。詳しくは、例えばＤＶＤに収録された
２時間ドラマの内容から、カットの切り替わり、字幕の
出現、ある程度纏まった長さの人の声が出現など、当該
映像ソフトウェアの節目、節目となるであろう的確なス
キップポイントを抽出し、映像再生中に視聴者からスキ
ップの命令があった場合、これに応動して次のポイント
にスキップして、そこから映像ソフトウェアの再生を続
行し、これによって従来の早送りとは異なった映像表示
を実現するための映像ソフトウェア表示方法等に関す
る。

【０００２】なお本明細書では、テレビジョン放送１フ
レーム分に相当するものを「画像」又は「画面」と言
い、これを複数枚連ねたものを「映像」と言う。これに
音声信号、キャプションコード（字幕符号）等を付加し
たものを「映像ソフトウェア（略して映像ソフト）」と
言う。これらは、映画フィルム、ビデオテープ、テレビ
ジョン放送、光ディスク、インターネット、コンピュー
タ記憶媒体などで供給される（光ディスク＝レーザディ
スク、ＣＤ−ＲＯＭ、ＤＶＤなど）。但し、我々の周り
には映像のみから成る作品や情報も存在する。従ってこ
こでは、これら映像のみから成るものも含めた総称とし
て「映像ソフト」の語を使用する。「映像」の語は、映
像ソフト中の当該映像部分を指す場合に使用する。また
前述ＤＶＤは、デジタルビデオディスク又はデジタルバ
ーサタイズディスクのことであり、またポイント（スキ
ップポイント）とは、請求項にいう「画像、音、字幕そ
の他映像ソフトウェア構成要素の少なくとも一つについ
てその状態が変化する位置」のことをいう。

【０００３】

【従来の技術】映画やスポーツ中継など、映像ソフトが
大量に供給される時代になって来た。ほかにも、ドラ
マ、音楽、教養、報道など、実に多種多様な分野の映像
ソフトが存在する。これらは今後更に増大すると予想さ
れる。百聞は一見に如かずの諺にもあるとおり、これら
映像ソフトの利用価値は非常に高い。仕事のことにし
ろ、個人の趣味レベルにしろ、これらを的確に把握し、
そのときどきの判断材料として、或いはライブラリとし
て利用出来るなら、その価値は非常に高い。

【０００４】ところで、映像は時間の流れに沿って見る
ものであるから、これを見るにはそれなりの時間を必要
とする。その為、上記大量に供給されるようになった映
像ソフトを効率良く見るには、何らかの形でそのための
時間を短縮する必要がある。このような観点から現在一
般に行なわれて映像に対する時間節約の現状を見てみる
と、・ビデオでタイムシフト・・・見たい時、（暇な時）に
その録画を見る。・ビデオで時間短縮・・・・・早送り、ダイジェストプ
レイで要点を見る。・２画面ビデオ・・・・・・・スポーツと音楽を同時
に楽しむ。一方を再生しつつ他方を受信する。などがある。（ビデオ：本来は「映像」の意だが、ここ
では、ビデオデッキやそれらを使用することも含め
る。）

【０００５】

【発明が解決しようとする課題】しかし、上記例示した
ような従来の手法は、視聴者にとって決して満足のいく
ものではなかった。例えばダイジェストプレイは、音こ
そ通常の速度で再生可能であるものの、画面は全て早送
りであった。このため映像はブレて見にくかった。ま
た、映し出されている映像がその映像ソフトのポイント
かどうか、視聴者自身が判断しなければならないから、
その早送りの中の映像を見逃さないよう常に画面に注目
していなければならず（ダイジェストプレイの場合は耳
の方にも）、しかも、そんな中で、早送り、再生、レビ
ュー、一時停止、といった操作も頻繁に行なわなければ
ならなかった。これでは、特定のカット（シーン、場
面）だけ見つけるなら兎も角、映像ソフトの全体を見て
それが必要かどうか見極めるには、目も神経もかなり疲
れる。

【０００６】また、幾ら技術が進んで来たとは言って
も、そのことで、映像ソフトを見る人間の能力、時間が
大幅に拡大するというものでもない。この為、これら大
量になって来た映像ソフトに関して、・見たいものを素早く取り出したい。・自分のペースで短い時間に多くの映像ソフトを見た
い。という新たな欲求も出て来る。

【０００７】本発明の目的は、このような人間の時間節
約ニーズに応え、供給される多数の映像ソフトについ
て、夫々の内容を短時間で確認することを可能にする新
たな手法を提供することにある。

【０００８】

【課題を解決するための手段】上記目的達成のため請求
項１の映像ソフトウェア表示方法では、画像、音、字幕
その他映像ソフトウェア構成要素の少なくとも一つにつ
いて、その状態が変化する位置を検出し、前記映像ソフ
トウェア表示中に視聴者からの命令があった場合、当該
表示している位置以後に於て前記状態が変化する位置に
スキップし該位置から前記映像ソフトウェアの表示を続
行する。

【０００９】同じく請求項２の映像ソフトウェア処理方
法では、画像、音、字幕その他映像ソフトウェア構成要
素の少なくとも一つについて、その状態が変化する位置
を検出し、前記映像ソフトウェア表示中に視聴者からの
命令があった場合、当該表示している位置以後に於て前
記状態が変化する位置にスキップし該位置から前記映像
ソフトウェアの表示を続行するための情報として、前記
状態が変化する位置の情報を前記映像ソフトウェアに付
加する。

【００１０】同じく請求項３の映像ソフトウェア表示方
法では、画像、音、字幕その他の映像ソフトウェア構成
要素の少なくとも一つについて、その状態が変化する位
置であるとして前記映像ソフトウェアに付加されている
位置の情報を読み出し、前記映像ソフトウェア表示中に
視聴者からの命令があった場合、当該表示している位置
以後の前記状態が変化する位置にスキップし該位置から
前記映像ソフトウェアの表示を続行する。

【００１１】同じく請求項４の映像ソフトウェア表示プ
ログラムを記録した媒体では、それにより、画像、音、
字幕その他映像ソフトウェア構成要素の少なくとも一つ
について、その状態が変化する位置を検出し、前記映像
ソフトウェア表示中に視聴者からの命令があった場合、
当該表示している位置以後に於て前記状態が変化する位
置にスキップし該位置から前記映像ソフトウェアの表示
を続行する処理をコンピュータで実行する。

【００１２】同じく請求項５の映像ソフトウェア処理プ
ログラムを記録した媒体では、それにより画像、音、字
幕その他映像ソフトウェア構成要素の少なくとも一つに
ついて、その状態が変化する位置を検出し、前記映像ソ
フトウェア表示中に視聴者からの命令があった場合、当
該表示している位置以後に於て前記状態が変化する位置
にスキップし該位置から前記映像ソフトウェアの表示を
続行するための情報として、前記状態が変化する位置の
情報を前記映像ソフトウェアに付加する処理をコンピュ
ータで実行する。

【００１３】同じく請求項６の映像ソフトウェア表示プ
ログラムを記録した媒体では、それにより画像、音、字
幕その他の映像ソフトウェア構成要素の少なくとも一つ
について、その状態が変化する位置であるとして前記映
像ソフトウェアに付加されている位置の情報を読み出
し、前記映像ソフトウェア表示中に視聴者からの命令が
あった場合、当該表示している位置以後の前記状態が変
化する位置にスキップし該位置から前記映像ソフトウェ
アの表示を続行する処理をコンピュータで実行する。

【００１４】同じく請求項７の映像ソフトウェア表示装
置では、画像、音、字幕その他映像ソフトウェア構成要
素の少なくとも一つについて、その状態が変化する位置
を検出する変化位置検出手段と、前記映像ソフトウェア
表示中に視聴者からの命令があった場合、当該表示して
いる位置以後に於て前記状態が変化する位置にスキップ
し該位置から前記映像ソフトウェアの表示を続行する表
示制御手段とを備える。

【００１５】同じく請求項８の映像ソフトウェア処理装
置では、画像、音、字幕その他映像ソフトウェア構成要
素の少なくとも一つについて、その状態が変化する位置
を検出する変化位置検出手段と、前記映像ソフトウェア
表示中に視聴者からの命令があった場合、当該表示して
いる位置以後に於て前記状態が変化する位置にスキップ
し該位置から前記映像ソフトウェアの表示を続行するた
めの情報として、前記状態が変化する位置の情報を前記
映像ソフトウェアに付加する情報付加手段とを備える。

【００１６】同じく請求項９の映像ソフトウェア表示装
置では、画像、音、字幕その他の映像ソフトウェア構成
要素の少なくとも一つについて、その状態が変化する位
置であるとして前記映像ソフトウェアに付加されている
位置の情報を読み出す情報読み出し手段と、前記映像ソ
フトウェア表示中に視聴者からの命令があった場合、当
該表示している位置以後に於て前記状態が変化する位置
にスキップし該位置から前記映像ソフトウェアの表示を
続行する表示制御手段とを備える。

【００１７】同じく請求項１０の映像ソフトウェア記録
媒体では、画像、音、字幕その他前記映像ソフトウェア
構成要素の少なくとも一つについて、その状態が変化す
る位置として検出され、前記映像ソフトウェア表示中に
視聴者からの命令があった場合、当該表示している位置
以後に於て前記状態が変化する位置にスキップし該位置
から前記映像ソフトウェアの表示を続行するために使用
される情報と、前記映像ソフトウェアとが記録されてお
り、この情報により前記視聴者の命令に応動したスキッ
プ処理が実行される。

【００１８】（作用）即ち本願発明では、画像、音、字
幕コードその他、当該映像ソフトの構成要素が変化する
位置に着目し、例えばＤＶＤに収録された２時間ドラマ
について、カットが変る、字幕が出る、ある程度纏まっ
た長さの人の声が出現するなどの各変化が生ずる位置を
把握し、視聴者がこれら再生される映像ソフトを見てい
る途中にスキップを命令すると、そのとき再生されてい
た位置より後に於て存在する次の状態変化位置までスキ
ップして、そこから当該映像ソフトの再生を続行する。
これにより、夫々の位置では通常速度での再生が行なわ
れ、その映像、音声等が明瞭に理解出来る一方、視聴者
が命令することにより、上記状態の変化がある位置、即
ちその映像ソフトの節目、節目となるであろう位置まで
適切にスキップが行なわれる。従って、従来の早送りや
ダイジェストプレイとは違う、もっと判りやすく且つ疲
労しない形式での、映像ソフトの短時間視聴が可能にな
る。

【００１９】

【発明の実施の形態】以下、本発明の詳細を説明する。
図１に実施の形態例のビデオスキッププレーヤ１００の
ブロック構成を示す。図に於て、１１は光ディスクプレ
ーヤであり、レーザディスク、ＤＶＤ、ＣＤ−ＲＯＭそ
の他、レーザ光を使用する記憶媒体に格納されている映
像ソフトを読み出す。１２はＴＶ放送受信部で、放送衛
星電波、ケーブルテレビジョンネットワーク、ＶＨＦ、
ＵＨＦ地上波その他を通じて送信されて来るデジタル、
アナログのテレビジョン放送を受信する。１３はビデオ
テープデッキで、ビデオテープからデジタル或いはアナ
ログの映像ソフトを読み出す。１４はインターネット接
続部で、公衆回線、専用線を介してインターネット上の
映像ソフトを受信する。

【００２０】ＴＶ受信部１２或いはインターネット接続
部１４で受信された映像ソフトは、入力インタフェース
１６を介して映像ソフト蓄積部１７に蓄えられる。但し
ここに蓄えられるのは、テレビジョン放送のように有形
の記憶媒体が無いものだけである。光ディスク、ビデオ
テープなど有形の記憶媒体に記録されたものは、後述の
要約生成処理のとき、その媒体から直接取り込まれる。
なお供給される映像ソフトのうち、どれとどれとを取り
込むかは視聴者が決める。この操作は、ユーザ操作部１
８を使用し、一般のビデオテープデッキの録画予約等と
同様の手順で実行する。番組の放送形態等に合わせ、そ
の１回だけ、或いは毎日蓄積、毎週蓄積などと設定す
る。なお本発明により記録は短時間で見られる。従っ
て、仕事上或いは個人的に関心のある番組、放送チャン
ネル等は全て蓄積対象として構わない。

【００２１】映像ソフトは、例えば１０分単位に区切
り、一つづつファイルとして映像ソフト蓄積部１７に蓄
積する。このとき、夫々の受信年月日、受信開始時分
秒、チャンネル番号など、後での読み出しに必要な目次
情報も一緒に記録する。音声情報も記録する。映像ソフ
トはデジタル化と圧縮化が進んでいる（ＭＰＥＧ、ＪＰ
ＥＧ、ＭＵＳＥほか）。ここでは、これらがその儘映像
ソフト蓄積部１７に蓄積される。アナログのものも再生
の際のランダムアクセスが容易になるので、入力インタ
フェース１６でデジタル化し映像ソフト蓄積部１７に蓄
積する。

【００２２】記録（蓄積）はサイクリック（循環的）に
行なうと良い。例えば映像ソフト蓄積部１７の記憶容量
を、５チャンネル分、連続３日記録可能としておき、こ
れを視聴者の時間があるときにその蓄積分を確認し不用
のものを消去することとする。これで通常は映像ソフト
蓄積部１７の記憶容量に余裕を持たせられる。ある期間
連続して放送内容が記録され、その間に視聴者が映像ソ
フトをチェックしないため記憶容量が無くなったら、記
録済み映像の中の一番古いものの上に、次の新しい映像
信号を重ね書きする。こうすれば、記録する年月日時刻
等を指定する必要は無く、所望するチャンネル（監視を
しておきたいチャンネル）のみユーザ操作部１８で指定
しておけば良い。

【００２３】図１に戻り、２１はスキップポイント検出
部である。該検出部２１は、そのとき記録されているテ
レビジョン放送等について、指定された注目要素の状態
変化が生じたときに、その位置の情報をスキップポイン
ト蓄積部２２に供給する。このデータは、例えば、記録
を開始した時点（年月日時分秒）からの経過時間、及び
フレーム番号という形で、或いは映像ソフトの先頭から
のフレーム番号などの形で与えられる。本発明は、映像
ソフトから幾つかのスキップポイントを抽出し、映像ソ
フト再生の際、視聴者のスキップ命令に応動して、その
とき表示している位置から、次のスキップポイントへと
再生位置をジャンプさせ、そこから再生を続行するとい
う操作を実行するもので、これによって、映像ソフトの
内容確認に要する時間を短縮しようというものである。

【００２４】その為には、そのような的確な判断を可能
にするスキップのポイントが抽出されなければならない
が、本発明ではその抽出の動機として、映像ソフトを構
成する要素の状態変化を用いることにした。即ち、映像
ソフトウェア（放送番組）には検出可能な様々な要素
（特徴）が含まれる。例えば、音声（音）には、人の
声、音楽、歓声、パルス性の音、その他多数の検出可能
な要素が存在する。映像には、静止していること、文字
が存在すること、画面の明るさが急変すること、画面全
体の色が急変することなど、検出可能な要素が幾つか存
在する。

【００２５】これら構成要素の状態変化は、多くの場
合、その映像ソフトのストーリー（流れ）の節目になっ
ている。そこで本発明では、これを捉えてスキップポイ
ントそする。但し、どの要素の変化に注目するのが良い
か、或いはどれとどれとに注目するのが良いかは、夫々
の映像ソフト毎に異なるので、その特性に合わせて調節
する（例は後掲）。この場合、注目する要素について視
聴者が所望するものがあるときはユーザ操作部１８で設
定可能とする。指定が無いときは後掲例示を参照して定
められるデフォルト値が用いられる。

【００２６】注目要素の例を以下に示す。最初に、映像
ソフトのジャンルに関係なく適用可能なものを示す。

【００２７】「映像に関して」（１）カット（場面）の切り替わりカットを判別し、その切り替わり位置をスキップポイン
トとして取り出す。カットの判別については後述する。
この抽出法は、画面や音声に関する要素が急に変化する
位置を見つけ出し、そこがカットの切り替わりと推定し
そこをスキップポイントとして取り出すものである。こ
の場合は、先ずカットの始まり（切り替わりＣＳ１（図
２））を検出し、そこから次のカットに移るまでの時間
を調べ、その中間の時刻（フレーム位置）ＰＣをスキッ
プポイントとしてとりだすのが良いと思われる（図
２）。

【００２８】（２）字幕の出現画面の一部に字幕が出現したのに応動して、その位置を
スキップポイントとして取り出す。字幕の検出について
は後述する。（３）周期的切り出し一定時間ごと、例えば３分ごとの位置をスキップポイン
トとする。これは、映像ソフトの構成要素自体の変化を
見ている訳ではないので、本願発明とは少し毛色が異な
る感じもするが、簡便なので一応これもスキップポイン
トとする例として採り上げた。

【００２９】「音に関して」無音部分を取り除き、或る
長さ纏まっていて、言葉になっているであろう部分を検
出する。即ち、人の声と、それ以外のものとは、周波数
分析等により判別が可能である。そこで、そのような人
の声と思しきものがある長さ纏まって存在したら、そこ
には人の声があるものと推定し、その位置をスキップポ
イントにする。（音声認識について詳しくは、例えば特
開平９−９０７２４、特開平９−１２７９７１、特開平
９−１６０５８５ほかＦＩのＧ０１Ｌ３／００Ｂ、Ｇ０
１Ｌ３／００，５１３Ｂに分類される公報参照）。

【００３０】なお、音声に関し仮に完璧にスキップポイ
ントを検出したとしても、限定された位置の映像と音声
とからその映像ソフト全体を視聴者に完全に感得させる
ことは出来得べくもない。従って、的確であればそれに
越したことはないが、装置コストを押し上げてまでその
正確さを追及する必要はなく、纏まって言葉になってい
るかがそれなりに検出されればそれで構わない。また、
ほかの音の判別に関しても、また、本明細書で言及して
いる各種要素の変化位置検出に関しても、当該映像ソフ
トに関し適宜のスキップポイントが抽出されればそれで
十分であり、それら構成要素の変化が厳密に判別されな
くても構わない。

【００３１】記録しようとする放送チャンネルのジャン
ルがある程度定まっている場合は、下記に例示したよう
な要素に注目してその変化を検知するのも良い（上述し
た注目要素と重複するものあり）。映像のジャンル注目要素ニュースパターン（フリップ）のあるところドラマ字幕のあるところ音声のあるところドキュメンタリー音声のあるところ英会話字幕のあるところスポーツ拍手、歓声の上がるところとその周辺（音声クライマックス）アニメ字幕のあるところ長く静止しているところ音声のあるところＴＶショッピング字幕のあるところ（価格などの情報が見える）歌番組音楽の始まるところ（音声から判別）教育番組パターンのあるところバラエテイショー歓声の上がるところオーケストラ音楽がスタートするところ（周期的抽出）天気予報映像の静止（パターン（フリップ）＝文字や画を書いた板。ＴＶで話し手などが使用。）なおこのように注目要素、所定位置等は番組、放送チャ
ンネルの特性によって異なる。そこでスキップポイント
の検出を何回か行ない、その中で好ましい注目要素、所
定位置等を決めるとよい。

【００３２】前述「映像に関して」の中の、「（１）カ
ットの判別」については、例えば以下の如く行なう。（１）ピクセルの集約処理映像は２次元的な広がりを有し、例えばＮＴＳＣ方式で
凡そ２５０ドット×５２５ラインというようなピクセル
（画素、点）の集まりで、夫々のピクセルには明度、彩
度、色相があり、テレビジョンではこのようなピクセル
の集合からなる画面が１秒間に３０枚送信される。

【００３３】ピクセルの数は、いうまでもなく多い。そ
こで、処理の高速化、簡素化の為、ここではピクセルの
集約化を行う。例えば４×４のピクセルの、和なり平均
値なりを求めると、映像は１／１６のデータ量になり、
８×８のピクセルについて同様の処理をすると、映像デ
ータは１／６４に集約される。

【００３４】この集約化は、画面の緩やかな変化を捨象
し、カットの切り替わりの判別を容易にする。即ち、カ
ットの切り替わり判別は、基本的には、前後する二つの
画面のピクセルとピクセルとを比較し、そこに大きな差
があるか否かを見極めるものである。具体的には、例え
ば画面の幾つかの領域で両者のピクセルのデータを比較
し、多くが共通していたら、そこは、例えば背景が変ら
ずに人物が移動しただけとかの、一つのカットの中の画
面であると考える。

【００３５】しかし、例えばズームアップ／ダウンやゆっくりしたカメラの向きの変更があったとき、ここでいう集約処理をしないで前後の画
面のピクセル比較をすると、見た目には僅かでも、ピク
セルレベルでは多くの部分でデータが相違しており、こ
の為、実際にはカットの途中でも、それらの多くがカッ
トの切り替わり位置と判断されてしまうことになる。

【００３６】この点、集約化処理後の粗いピクセルで
は、ある枚数までの画面は、ピクセルが粗いためデータ
が変化しない。それ故、これらは同じカットに属する画
面だと判断されることになるのである。そこで、この為
の前処理として、それらの粗いピクセルの値、ａ（ｔ,ｘ,ｙ）をとりだす。ここに、ｔ：時刻ｘ，ｙ：集約処理後の
画面の座標ａ：その点（ｘ，ｙ）の色の値。ａは、
Ｒ，Ｇ，Ｂをその儘取り入れるか、Ｃ₁・Ｒ＋Ｃ₂・Ｇ＋
Ｃ₃・Ｂとすればよい（Ｒ，Ｇ，Ｂは３原色情報の値、
Ｃ₁，Ｃ₂，Ｃ₃は重み係数である）。

【００３７】（２）時間方向の集約化処理次に、上記集約化処理を行なった映像データについて、
各画面毎にその夫々のピクセルとその前の画面の夫々の
ピクセルとの間の差分を求め、その大きさが、カットの
切り替わり位置であるとしてよいほど大きいか否かを判
断する。処理を単純にしたいなら、このときの差分の大
きさについて一定のしきい値を定めておく。画面中の全
部のピクセルの中のあるピクセル数について、しきい値
を超える大きな差分が生じていたら、そこで画面が変っ
た、即ちカットの切り替えがあったとする。

【００３８】尤も、同じカット（場面）に属していて
も、その内容によってピクセル間の差分の大きさは異な
る。１コマ１コマが早く移り変わるカットなら前後の画
面の差分は大きく、遅いものなら差分が小さい。従っ
て、上記の如く単純な処理も一方法だが、ここは、より
的確に代表画面を抽出するべく、更に下記処理を加え
る。「映像の時間的な差分比較の処理」一枚の画面を構成す
る各点のデータａ（ｔ，ｘ，ｙ）について、時間的な
差分を求める。即ちｄ（ｔ，ｘ，ｙ）＝ａ（ｔ，ｘ，ｙ）−ａ（ｔ−△ｔ，
ｘ，ｙ）を求める。但し、△ｔ：適宜の時間幅である。これは、
時間的に△ｔだけ隣り合う２枚の画面のピクセル相互の
差分（変化量）を示している。

【００３９】この差分ｄ（ｔ，ｘ，ｙ）を、所定期間、
例えば１分間の間の夫々の画像に関して求める。式で表
わせば、

【数１】となる。

【００４０】このようにして求めた例えば１分間の集約
化映像についての差分Ｄａ（ｔ）の例を図２に示す。値
が大きい位置、即ち映像の差分が大きい位置ＣＳ１，Ｃ
Ｓ２が、そこで画像に何らかの大きな変化があることを
表わしており、そこでカットが切り替わっている可能性
が高い。そこで、このＣＳ１とＣＳ２の間を一つのカッ
トと推定し、この中の適宜の位置をスキップポイントに
する。ジャンルによって異なるが、カットを端的に表わ
す映像は、一般にカット中央付近にある。そこで、この
図２の例では、カットの中間位置ＰＣを当該スキップポ
イントにしている。これらが上記見出しにいう「映像の
時間的な差分比較処理」である。

【００４１】なお映像ソフトを構成する各フレームにつ
いて、例えば画面中央付近の水平走査線１本分の画像デ
ータに着目し、これに対して画面の移り変わりに伴う差
分を求め、カットの切り替わりを検出するようにしても
良い。具体的には、例えば、この水平走査線１本分の映
像データを、Ｎ個の区間に分け、夫々の区間について和
或いは平均値を求める。そして、各区間毎に、その前の
画面の当該区間の平均値に対する差分を求める。この差
分を各フレーム毎に総和し、その値が大きくなっている
位置、即ち、図３のＣＳ１、或いはＣＳ２に当たる位置
を求め、これを上記同様のカットの切り替え位置である
とする。

【００４２】前述「映像に関して」の「（２）字幕の有
無の判別」については、例えば以下の如く行なう。（１）字幕が映像として、即ちイメージとして画面中に
組み込まれている場合。この場合は、近年その精度が上がって来た漢字ＯＣＲの
手法を用い、字幕の有無を検出する。前述と同様、画面
中に何か文字がある、という程度の認識が出来れば十分
であるから、例えば、一般に字幕表示位置とされる、画
像の下部とか両端部分に着目し、その画像を粗い解像度
で捉え、そこから何らかの文字が読取れるかどうかで、
字幕の有無を判別することとすると処理が早い。（２）文字コードでデータが供給されて来る場合。文字放送字幕のように、字幕データが文字コードで供給
される場合もある。この場合は割に話しが簡単である。
新たな字幕の供給は、その儘カットの切り替わりである
ことが多いから、文字コード出現をその儘カットの切り
替わりと推定する。そして、これに基いてそのカット中
の前記所定位置をスキップポイントにする。

【００４３】以上の如くして注目要素について状態変化
があると、前述のとおりスキップポイント検出部２１が
これを検出し、これがスキップポイント蓄積部２２に蓄
積される。次に、ユーザ操作部１８は本発明に関連する
特有の操作ボタンを始め、ＤＶＤプレーヤ等に一般的に
備えられる各種操作ボタンを備えている。これらボタン
は、画面表示或いは機械的スイッチで実現され、視聴者
による操作に応動して、表示制御部２４が対応した処理
を実行する。以下、左側に名称の例、右側に対応する処
理の例を示す。 SELECT 記録済みファイルの記録開始時間一覧 PLAY 通常再生 SKIP スキップ SKIP BCK 逆スキップ SKIP RGH 大まかなスキップ SKIP RGH BCK 大まかな逆スキップ WIND 巻き上げ（巻戻しの逆）。通常再生中は早送り REW 巻戻し。通常再生中はレビュー STOP 停止 PAUSE 一時停止（他のボタンを押すとそのボタンの動作になる） ERASE 映像ソフトと対応するスキップデータの消去

【００４４】視聴者が SELECT ボタンを押下すると、映
像ソフト蓄積部１７に１０分単位のファイルとして記録
されている各映像ソフトについて、その記録開始時間が
ディスプレイ２６に表示される。記録の古い順から単純
に映像ソフトを確認する場合は、この操作は省略して良
い。しかし、何らかの理由で、先に新しい映像ソフトを
確認したいとき、不図示カーソルキーで所望の記録開始
時刻のファイルにカーソルを移動してリターンキーを押
す。

【００４５】これで、以下に述べる映像ソフト再生のと
き、当該選択されたファイルから映像ソフトが読み出さ
れ、表示される。なおこの処理は、PLAYボタンが操作さ
れる前にこの SELECT ボタンが押下されたとき実行され
るものとし、それがされないときは、映像ソフト蓄積部
１７での記録時期が古いものから順に表示されるものと
する。

【００４６】また SELECT ボタンが押されたときに、光
ディスクプレーヤ１１に媒体が装着されていると、それ
も選択対象として表示される。そして、それが選択され
た場合は、当該選択された映像ソフトについてのスキッ
プポイント抽出が、その場でスキップポイント検出部２
１により実行される。これら検出されたスキップポイン
トは、前述の放送受信処理のときなどと同様、適宜の位
置情報が付され、スキップポイント蓄積部２２に蓄積さ
れる（適宜の位置情報＝当該光ディスクに付されている
ボリューム名、映像ソフトのタイトル、先頭から数えた
フレーム番号、光ディスクの格納アドレス情報な
ど。）。

【００４７】同じく SELECT ボタンが押されたとき、ビ
デオテープデッキ１３にビデオテープが装着されていた
ときも、それが選択対象として表示される。そして、そ
れが選択された場合、当該ビデオテープの映像ソフトが
入力インタフェース１６でデジタル化され、一旦映像ソ
フト蓄積部に格納される。そして、この格納過程で、上
記光ディスクのときと同様の、スキップポイント検出、
蓄積が実行される。なお、このビデオテープの読み出し
はあまり高速では出来ない。この為、処理が終るまで少
し時間が掛かる。それ故、ビデオテープに関しては、こ
のスキップポイント抽出処理に関しては、それを命令す
るキーを設け事前に実行させることが出来るようにして
おくと良いであろう。

【００４８】以上のようにして映像ソフトの選択等が終
ったら、PLAY ボタンを押す。表示制御部２２は、通常
のビデオテープデッキと同様、当該選択等された映像ソ
フトを映像ソフト蓄積部から読み出し、ディスプレイ２
６に表示する。

【００４９】表示される内容を確認したら SKIP ボタン
を押す。例えば、図３の最初のカットＣ１をその儘見
て、次のカットＣ２について、ある位置ＢＰ２まで映像
Ｖ１を見た時点で、そこはもう飛ばしても構わないと感
じたら、SKIP ボタンを押す。これに応動して表示制御
部２４は、スキップポイント蓄積部２２をアクセスし、
そのとき再生している映像の位置ＢＰ２よりも後に存在
するスキップポイントＳＰ３を取り出す。そして位置Ｂ
Ｐ２でその映像ソフトの再生を中断し、次のスキップポ
イントＳＰ３から当該映像ソフトの再生を続行する。

【００５０】以後、各カットＣ３，Ｃ４，…，… を或
る位置ＢＰ３，ＢＰ４，…，… まで見た時点で、視聴
者が飛ばして良いと感じ SKIP ボタンを押したとする
と、夫々の位置ＢＰ３，ＢＰ４，…，… に於て、それ
以後に存在するスキップポイントＳＰ４，ＳＰ５，…，
… がスキップポイント蓄積部２２から読み出され、夫
々の位置ＢＰ３，ＢＰ４，…，… でその映像ソフトの
再生が中断されて、それら次のスキップポイントＳＰ
４，ＳＰ５，…，… から映像ソフトの再生が続行され
る。従って、この映像ソフトの全内容の確認に要した時
間は、Ｖ１，Ｖ２，…，…の各部分の再生時間を積算し
たものであり、それは、元の映像ソフトの全再生時間に
比べ、１０分の１とか２０分の１とかの短い時間にな
る。

【００５１】なお SKIP BCK のボタンを押すと、逆戻り
のスキップが行なわれる。例えば、カットＣ４をある位
置ＢＰ４まで見た時点に於て、そのときの映像ソフトの
内容から、それ以前のカットの内容を再確認したいと視
聴者が感じた場合、この SKIP BCK のボタンを押す。こ
れに応動して表示制御部２４は、その位置ＢＰ４より以
前に存在するスキップポイントＳＰ３をスキップポイン
ト蓄積部２２から読み出し、そのとき再生していたカッ
トＣ４の再生を中止して、当該スキップポイントＳＰ３
からカットＣ３の再生を続行する。

【００５２】SKIP RGH のボタンを押すと、大まかなス
キップが行なわれる。これは、使い勝手を更に良くすべ
く設けられているもので、これを押すと、例えば抽出さ
れているスキップポイントが１０個とか２０個づつ飛ば
され、そこから映像再生が続行される。マラソン中継な
ど内容変化が少ない映像ソフトの内容確認に有効であ
る。スキップの数はユーザ設定可能にしておく。スキッ
プの距離が大きいこと以外、上記 SKIP ボタンのときと
動作は同じである。SKIP RGH BCK ボタンを押したとき
は、大まかな逆スキップが実行される。これもスキップ
の距離が大きいことを除けば SKIP BCK ボタンを押した
ときの動作と同じである。説明を略す。

【００５３】なお、後の消去操作の際に参照するため、
上記の如くして表示してスキップ動作等を行なった映像
ソフトのファイルについては、その旨のフラグを立てて
おく。また、WIND，REW，STOP，PAUSE の各ボタンの押
下に対しては、夫々の右側に記載の処理が実行される。
これらはＤＶＤプレーヤ等で一般に行なわれている動作
と同じなので説明を略す。

【００５４】時間の都合のつく範囲で、何本かの映像ソ
フトの内容を確認したら、ERASE ボタンを押下する。こ
れに応動して表示制御部２４は、映像ソフト蓄積部１７
に１０分単位のファイルとして格納されている映像ソフ
ト夫々の記録開始時間をディスプレイ２６に一覧表示す
る。このとき既に内容を確認しているファイルについて
は、前述のとおりフラグが立てられているので、表示制
御部２４はそれらについて適宜の表示をする。確認済み
の映像ソフトをその儘消去するなら、そこでリターンキ
ーを押せば良い。確認済みの表示が付されたファイル
と、そのスキップポイントのデータが一括して消去され
る。何らかの理由でまだ残して置きたいならカーソルを
そこに移動し、解除キーを押すなどして消去対象から外
す。

【００５５】以下、変形例について説明する。本発明に
係る装置は、様々なハードウェア、例えばＤＶＤプレー
ヤ、テレビジョン受信機、ゲームプレーや等に組み込む
ことが出来る。専用ＬＳＩチップとして実現しても良
い。また、コンピュータソフトウェアとして実現し、パ
ーソナルコンピュータなどに組み込んで実行しても良
い。フロッピーデイスクなどに格納して配布することも
出来る。

【００５６】一つの映像ソフトについて異なる性質のス
キップポイントのデータを抽出し、視聴者が選択使用出
来るようにしても良い。例えば、字幕の出現位置を動機
とした一連のスキップポイントのデータと、ある纏まっ
た人の声が検出される位置を動機とする一連のスキップ
ポイントデータの２種類を抽出するのも良い。映像ソフ
トからスキップポイントを抽出し、その一連のデータを
この映像ソフトに付加して配布し、それを夫々の家庭、
仕事場その他の場所で、そこにある再生装置に掛け、当
該スキップデータを使用してスキップさせながら再生す
るようにしても良い。いわばスキップデータ付き映像ソ
フトの配布である。なお、本発明は、映像ソフトの編集
ツールとして実施することも出来る。即ち、このように
して一連のスキップポイントを映像ソフトウェアに付す
に当たり、本発明装置によっていわば機械的にスキップ
ポイントを抽出し、それを編集者が評価し手直ししてか
ら映像ソフトウェアに付加するようにしても良い。こう
すれば、一層的確なスキップポイントが得られ、視聴者
による映像ソフトの内容確認が高速で行なえる。

【００５７】配布は、ＤＶＤ等の形のある媒体を使用し
ても構わないし、テレビジョン放送、インターネットそ
の他の通信回線等によるデータ伝送形式でも構わない。
放送やインターネットによるときはサーバー等の供給側
でスキップポイントを抽出する処理を実行させ、そこで
抽出した一連のスキップポイントのデータを、当該映像
ソフトと共に視聴者のアクセスに応じて端末側に送信す
る。このような実施も、スキップポイント抽出を実行す
る場所と、それを使ってスキップさせながら映像ソフト
を再生する場所とが一致しているか離隔しているかの違
いであり、これらも本願各発明の一実施の形態と言え
る。

【００５８】

【発明の効果】以上説明したように、本願各発明によれ
ば、通常速度での再生を行ないながら、視聴者の欲する
時点でそこでの再生を中断し、そこから後又は前に存在
する適切な位置までスキップし、そこから再生を続行さ
せることが出来る。映像ソフトウェアの構成要素が変化
する位置は、言わばストーリーの変り目、節目等である
ことが多い。従って、このような事柄をキーにしてスキ
ップをさせれば、供給された映像ソフトが多数でも、短
時間でその内容を確認することが出来る。また、再生自
体は通常速度で為されるから、内容視認は容易であり、
神経も疲れない。従って、これら映像ソフトによっても
たらされる数々の恩恵を、個人的に或いは仕事の上で、
余すところ無く享受することが出来る。

【図面の簡単な説明】

【図１】実施の形態例を示すブロック図。

【図２】各画像データ間の差分の例を示すグラフ。

【図３】映像ソフトと抽出されたスキップポイントの例
を示す説明図。

【符号の説明】

２１スキップポイント検出部２２スキップポイント蓄積部２６ディスプレイＳＰスキップポイントＳ１，Ｓ２，… スキップ分Ｖ１，Ｖ２，… 再生分

───────────────────────────────────────────────────── フロントページの続き (54)【発明の名称】映像ソフトウェア表示方法、映像ソフトウェア処理方法、映像ソフトウェア表示プログラムを記録した媒体、映像ソフトウェア処理プログラムを記録した媒体、映像ソフトウェア表示装置、映像ソフトウェア処理装置及び映像ソフトウェア記録媒体

Claims

【特許請求の範囲】

【請求項１】画像、音、字幕その他映像ソフトウェア
構成要素の少なくとも一つについて、その状態が変化す
る位置を検出し、前記映像ソフトウェア表示中に視聴者
からの命令があった場合、当該表示している位置以後に
於て前記状態が変化する位置にスキップして該位置から
前記映像ソフトウェアの表示を続行することを特徴とす
る映像ソフトウェア表示方法。
【請求項２】画像、音、字幕その他映像ソフトウェア
構成要素の少なくとも一つについて、その状態が変化す
る位置を検出し、前記映像ソフトウェア表示中に視聴者
からの命令があった場合、当該表示している位置以後に
於て前記状態が変化する位置にスキップし該位置から前
記映像ソフトウェアの表示を続行するための情報とし
て、前記状態が変化する位置の情報を前記映像ソフトウ
ェアに付加することを特徴とする映像ソフトウェア処理
方法。
【請求項３】画像、音、字幕その他の映像ソフトウェ
ア構成要素の少なくとも一つについて、その状態が変化
する位置であるとして前記映像ソフトウェアに付加され
ている位置の情報を読み出し、前記映像ソフトウェア表
示中に視聴者からの命令があった場合、当該表示してい
る位置以後の前記状態が変化する位置にスキップして該
位置から前記映像ソフトウェアの表示を続行することを
特徴とする映像ソフトウェア表示方法。
【請求項４】画像、音、字幕その他映像ソフトウェア
構成要素の少なくとも一つについて、その状態が変化す
る位置を検出し、前記映像ソフトウェア表示中に視聴者
からの命令があった場合、当該表示している位置以後に
於て前記状態が変化する位置にスキップし該位置から前
記映像ソフトウェアの表示を続行することを特徴とする
処理をコンピュータで実行するための映像ソフトウェア
表示プログラムを記録した媒体。
【請求項５】画像、音、字幕その他映像ソフトウェア
構成要素の少なくとも一つについて、その状態が変化す
る位置を検出し、前記映像ソフトウェア表示中に視聴者
からの命令があった場合、当該表示している位置以後に
於て前記状態が変化する位置にスキップして該位置から
前記映像ソフトウェアの表示を続行するための情報とし
て、前記状態が変化する位置の情報を前記映像ソフトウ
ェアに付加することを特徴とする処理をコンピュータで
実行するための映像ソフトウェア処理プログラムを記録
した媒体。
【請求項６】画像、音、字幕その他の映像ソフトウェ
ア構成要素の少なくとも一つについて、その状態が変化
する位置であるとして前記映像ソフトウェアに付加され
ている位置の情報を読み出し、前記映像ソフトウェア表
示中に視聴者からの命令があった場合、当該表示してい
る位置以後の前記状態が変化する位置にスキップし該位
置から前記映像ソフトウェアの表示を続行することを特
徴とする処理をコンピュータで実行するための映像ソフ
トウェア表示プログラムを記録した媒体。
【請求項７】画像、音、字幕その他映像ソフトウェア
構成要素の少なくとも一つについて、その状態が変化す
る位置を検出する変化位置検出手段と、前記映像ソフト
ウェア表示中に視聴者からの命令があった場合、当該表
示している位置以後に於て前記状態が変化する位置にス
キップして該位置から前記映像ソフトウェアの表示を続
行する表示制御手段とを備えたことを特徴とする映像ソ
フトウェア表示装置。
【請求項８】画像、音、字幕その他映像ソフトウェア
構成要素の少なくとも一つについて、その状態が変化す
る位置を検出する変化位置検出手段と、前記映像ソフト
ウェア表示中に視聴者からの命令があった場合、当該表
示している位置以後に於て前記状態が変化する位置にス
キップし該位置から前記映像ソフトウェアの表示を続行
するための情報として、前記状態が変化する位置の情報
を前記映像ソフトウェアに付加する情報付加手段とを備
えたことを特徴とする映像ソフトウェア処理装置。
【請求項９】画像、音、字幕その他の映像ソフトウェ
ア構成要素の少なくとも一つについて、その状態が変化
する位置であるとして前記映像ソフトウェアに付加され
ている位置の情報を読み出す情報読み出し手段と、前記
映像ソフトウェア表示中に視聴者からの命令があった場
合、当該表示している位置以後に於て前記状態が変化す
る位置にスキップして該位置から前記映像ソフトウェア
の表示を続行する表示制御手段とを備えたことを特徴と
する映像ソフトウェア表示装置。
【請求項１０】画像、音、字幕その他前記映像ソフト
ウェア構成要素の少なくとも一つについて、その状態が
変化する位置として検出され、前記映像ソフトウェア表
示中に視聴者からの命令があった場合、当該表示してい
る位置以後に於て前記状態が変化する位置にスキップし
て該位置から前記映像ソフトウェアの表示を続行するた
めに使用される情報と、前記映像ソフトウェアの双方が
記録されていることを特徴とする映像ソフトウェア記録
媒体。