JPH1155603A - 対話型映像圧縮方法および装置およびこの方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 視聴者の目的、対象映像の種類に対応し、そ
の特徴が現れる箇所まで対話的に映像を早送り／戻しす
ることで、視聴者にとって重要な部分を見過ごすことな
く映像を圧縮する方法および装置を提供する。 【解決手段】 インデクス付与部１０４により、映像の
特徴的な変化を抽出しインデクスとして映像に付与す
る。この映像と、この映像に付与されたインデクスを映
像蓄積部１０５に蓄積する。ここで視聴者が、映像制御
部１０１から早送り／戻しする開始命令を入力した場合
には、映像送出部１０３が蓄積映像を時間方向に間引い
てインデクスが付与されている箇所まで早送り／戻しを
行い、そうでない場合には通常の映像送出を行う。この
送出映像を映像表示部１０２に表示することにより、映
像を視聴しながら適宜不要な部分を早送り／戻しするこ
とを可能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】大量の映像情報を効率よく視
聴するためには、不要な部分をとばして必要な部分のみ
を視聴することが望ましい。本発明は、視聴者が必要に
応じて映像の不要な部分をとばして視聴することができ
る方法および装置に関するものである。

【０００２】

【従来の技術】映像データの圧縮方法としては、データ
の符号化による方法と、映像から必要な部分のみを抜粋
して全体の時間長を短くする、いわゆる要約的な方法が
考えられる。本発明は、後者に属する方法を取り入れた
ものであり、従来このような圧縮を実現するものとして
は「時短ビデオ」（ＳＡＮＹＯ（三洋電機株式会社）
製）があり、商品化されている。この商品は通常のスピ
ードよりも早く映像を再生し、視聴に必要な時間を短縮
するものである。一般的に、再生速度を早くすることに
より音が聞き難くなるが、この商品では、早回しされる
画像に加えて時間的に等間隔に分割された音のうち、幾
つかの断片を通常の速度で再生するという工夫を施すこ
とにより、その問題を解決している。また、画像のコン
トラストが高い部分や支配的な色が出現する部分のみを
再生する方法が提案されている（Ｓ．Ｐｆｅｉｆｆｅｒ
ら：“Ａｂｓｔｒａｃｔｉｎｇ Ｄｉｇｉｔａｌ Ｍｏ
ｖｉｅｓ Ａｕｔｏｍａｔｉｃａｌｌｙ”，Ｊｏｕｒｎ
ａｌ ｏｆ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏ
ｎ ａｎｄ Ｉｍａｇｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏ
ｎ，Ｖｏｌ．７，Ｎｏ．４，ｐｐ．３４５−３５３，１
９９６）。この方法によれば、より意味的に重要な部分
のみを再生することができ、映像を圧縮することができ
る。

【０００３】

【発明が解決しようとする課題】「時短ビデオ」は、等
間隔に分割された音のどの部分を再生するかという規則
が機械的に決められているだけであるため、視聴者にと
ってあまり重要でない部分を再生したり、音が途中で途
切れてしまうといった問題がある。また、後者の方法で
は、画像のコントラストや支配的な色を含む部分が必ず
しも視聴者にとって重要ではないばかりか、それ以外の
部分は全く再生しないため、視聴者にとって重要な部分
を削除してしまうという問題がある。さらに、対象とす
る映像のジャンルによって抜粋されるべき部分は異なる
場合が多いため、ジャンル毎に適切な特徴量を用いるこ
とが望ましい。

【０００４】本発明の課題は、視聴者が必要とする映像
の特徴を適宜選択することで視聴者の目的、対象映像の
種類に対応し、その特徴が現れる箇所まで対話的に映像
を早送り／戻しすることで視聴者にとって重要な部分を
見過ごすことなく映像を圧縮する、対話型映像圧縮方法
および装置を提案することにある。

【０００５】

【課題を解決するための手段】本発明は、下記の（１）
〜（９）の発明により、上記の課題を解決する。

【０００６】（１）映像を視聴しながら不要な部分を早
送り／戻しする映像圧縮方法であって、映像の特徴的な
変化を抽出しインデクスとして該映像に付与するインデ
クス付与段階と、前記映像および前記付与されたインデ
クスを蓄積する映像蓄積段階と、インデクスが付与され
ている箇所まで映像を早送り／戻しするための開始命令
を入力する映像制御段階と、前記開始命令に基づいて早
送り／戻しの場合には前記蓄積された映像を時間方向に
間引いて送出し、そうでない場合には通常に送出する映
像送出段階と、前記送出された映像を表示する映像表示
段階と、を有することを特徴とする対話型映像圧縮方
法。

【０００７】（２）前記映像制御段階では、早送り／戻
しするための開始命令とともに早送り／戻しを終了する
箇所のインデクスの種類を選択して入力し、前記映像送
出段階では、早送り／戻しの場合に前記選択されたイン
デクスが付与されている箇所まで早送り、戻しすること
を特徴とする対話型映像圧縮方法。

【０００８】（３）前記映像制御段階では、早送り／戻
しするための開始命令とともに早送り／戻しの速度の指
定を入力し、前記映像送出段階では、早送り／戻しの場
合に映像を間引く度合いを変化させて前記指定された速
度で早送り、戻しすることを特徴とする対話型映像圧縮
方法。

【０００９】（４）前記インデクス付与段階では、イン
デクスとして映像の場面の変化点、シーンの変化点、画
像に現れる人物の変化点、字幕の変化点、話者の変化
点、喋り声の開始点、音楽の開始点、音楽のサビの開始
点、およびコマーシャルの開始・終了点の位置のうち、
少なくともいずれか１つを付与することを特徴とする対
話型映像圧縮方法。

【００１０】（５）上記（１）〜（４）のいずれかの対
話型映像圧縮方法における各段階での手順をコンピュー
タに実行させるためのプログラムをコンピュータ読みと
り可能な媒体に記録したことを特徴とする対話型映像圧
縮方法を記録した記録媒体。

【００１１】（６）映像を視聴しながら不要な部分を早
送り／戻しする映像圧縮装置であって、映像の特徴的な
変化を抽出しインデクスとして該映像に付与するインデ
クス付与部と、前記映像および前記付与されたインデク
スを蓄積する映像蓄積部と、インデクスが付与されてい
る箇所まで映像を早送り／戻しするための開始命令を入
力する映像制御部と、前記開始命令に基づいて早送り／
戻しの場合には前記蓄積された映像を時間方向に間引い
て送出し、そうでない場合には通常に送出する映像送出
部と、前記送出された映像を表示する映像表示部と、を
有することを特徴とする対話型映像圧縮装置。

【００１２】（７）前記映像制御部は、早送り／戻しす
るための開始命令とともに早送り／戻しを終了する箇所
のインデクスの種類を選択して入力する手段を有するも
のあり、前記映像送出部は、前記映像送出部は、早送り
／戻しの場合に前記選択されたインデクスが付与されて
いる箇所まで早送り、戻しする手段を有するものである
ことを特徴とする対話型映像圧縮装置。

【００１３】（８）前記映像制御部は、早送り／戻しす
るための開始命令とともに早送り／戻しの速度の指定を
入力する手段を有するものあり、前記映像送出部は、早
送り／戻しの場合に映像を間引く度合いを変化させて前
記指定の速度で早送り／戻しする手段を有するものであ
ることを特徴とする対話型映像圧縮装置。

【００１４】（９）前記インデクス付与部は、インデク
スとして、映像の場面の変化点、シーンの変化点、画像
に現れる人物の変化点、字幕の変化点、話者の変化点、
喋り声の開始点、音楽の開始点、音楽のサビの開始点、
およびコマーシャルの開始・終了点の位置のうち、少な
くともいずれか１つを付与する手段を有するものである
ことを特徴とする対話型映像圧縮装置。

【００１５】上記（１）および（６）の対話型映像圧縮
方法および装置では、映像と、この映像の特徴的な変化
を抽出して付与したインデクスを蓄積し、早送り／戻し
する開始命令が入力された場合には、蓄積された映像を
時間方向に間引いてインデクスが付与されている箇所ま
で早送り／戻しを行い、そうでない場合には通常の映像
送出を行うことにより、映像を視聴しながら適宜不要な
部分を早送り／戻しすることを可能とする。

【００１６】上記（２）および（７）の発明の対話型映
像圧縮方法および装置では、早送り／戻しを終了する箇
所のインデクスの種類を選択することによって、映像の
種類に適した早送り／戻しを可能とする。

【００１７】上記（３）および（８）の発明の対話型映
像圧縮方法および装置では、早送り／戻しの場合に映像
を間引く度合いを変化させることによって、全体を視聴
する時間を調節することを可能とする。

【００１８】上記（４）および（９）の発明の対話型映
像圧縮方法および装置では、インデクスとして、映像の
場面の変化点、シーンの変化点、画像に現れる人物の変
化点、字幕の変化点、話者の変化点、喋り声の開始点、
音楽の開始点、音楽のサビの開始点、およびコマーシャ
ルの開始・終了点の位置を付与し蓄積することにより、
様々な映像の種類に対応可能にする。

【００１９】上記（５）の発明の記録媒体では、上記
（１）〜（４）の対話型映像圧縮方法の各段階での手順
をコンピュータに実行させるためのプログラムを記録
し、コンピュータで読みとり可能とすることにより、本
発明をコンピュータでソフトウェア的に実現することを
可能とする。

【００２０】

【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。

【００２１】図１は、本発明の一実施形態の対話型映像
圧縮装置の概略構成を示すブロック図である。本実施形
態の対話型映像圧縮装置は、インデクスが付与されてい
る箇所まで映像を早送り／戻しするための開始命令を入
力する映像制御部１０１と、映像の特徴的な変化を抽出
するインデクス付与部１０４と、映像およびインデクス
を蓄積する映像蓄積部１０５と、開始命令に基づいて早
送り／戻しの場合には蓄積された映像を時間方向に間引
いて送出し、そうでない場合には通常に送出する映像送
出部１０３と、送出された映像を表示する映像表示部１
０２から構成されている。また、蓄積映像が遠隔地に存
在する場合には、映像表示部１０２と映像送出部１０３
は、ネットワーク１０６を介して接続される。蓄積映像
が手元にあり、スタンドアローンの装置構成をとる場合
には、映像表示部１０２と映像送出部１０３は高速バス
１０６で接続される。

【００２２】インデクス付与部１０４では、手動または
自動で映像の特徴が変化する箇所を抽出してインデクス
として付与することが可能である。例えば、画像のフレ
ーム間差分を調べることにより場面の変化点（カット
点）が自動的に抽出できる。また、一連の場面の大きな
変化であるシーンの変化点は、場面の変化点と例えばＢ
ＧＭ等の音楽の開始／終了点を合わせて検出することで
自動的に抽出できる。また、画像に現れる人物の変化点
は、画像の色の特徴の変化点の検出、あるいは画像の色
の特徴の変化点と話者の変化点を合わせて検出すること
で自動的に抽出できる。また、字幕の変化点は、画面下
部等の局所領域において、フレーム間差分を調べたり、
簡単な画像処理によりエッジを検出したり、簡単な文字
認識を行ったりすることにより自動的に抽出できる。ま
た、音の周波数特性を調べることにより話者の変化点や
喋り声の開始／終了点、音楽の開始／終了点、音楽のサ
ビ（同じメロディーの繰り返しなど）の開始点を自動的
に抽出することが可能である。さらに、コマーシャルの
開始／終了点は、モノラルからステレオ音声への変化
点、音圧レベルの変化点や、フレーム間差分で検出され
る場面の変化点から例えばコマーシャル長さである１５
秒、３０秒後に場面の変化点があるかを検出することで
自動的に抽出できる。

【００２３】図２は、上記の各部の処理の流れを示すと
ともに、本発明の一実施形態の対話型映像圧縮方法の処
理の流れを示したフローチャートであり、２０１〜２０
９は処理のステップを表す。なお、本発明をソフトウェ
アで実現した場合でも同様の処理の流れとなる。

【００２４】まず、インデクスが付与されて蓄積された
映像は、２０１において映像送出部１０３により通常の
速度で再生される。次に、映像制御部１０１から入力さ
れた早送り／戻し開始命令を２０２で検出し、要求がな
かった場合には映像の終了を２０９で確認し、処理を続
ける。２０２において早送り／戻し開始命令が要求され
た場合には、映像送出部１０３は、映像制御部１０１か
らの入力に基づいて、早送り／戻しを終了する位置のイ
ンデクスの種類を２０３で設定し、２０４で早送り／戻
しの速度を設定する。次に、映像送出部１０３は、上記
開始命令に基づいて早送り、早戻しのいずれかを２０５
で設定し、早送りの場合には、２０６において高速再生
を行い、早戻しの場合には、２０７において高速逆再生
を行う。高速再生あるいは高速逆再生を行いながら、現
在の再生箇所とインデクスの位置を２０８において照合
し、等しくなった時点で通常の再生に戻る。映像が終端
に達したならば、一連の処理を終了する。

【００２５】図３は、本発明の一実施形態の対話型映像
圧縮装置の映像制御部１０１の外観の様子を示したもの
である。制御命令は、映像表示部１０２を介して受信さ
れ、無線（赤外線等を含む）で通信することが可能であ
る。３０１〜３０３は、早送り／戻しの開始命令を送信
するためのボタンであり、プラスが早送り、マイナスが
早戻し、中央が中止となっている。また、各々のボタン
は異なるインデクスに対応しており、その割り当てはメ
ニュー選択ボタン３０５を選択することによって映像表
示部１０２に現れるメニューから選択することが可能で
ある。スライダ３０４は、早送り／戻し時の再生速度を
選択、設定するためのものである。一番左の位置では通
常再生と同等の速度で再生し、一番右の位置では早送り
／戻し区間を再生しない。中間の位置では、通常の数１
０倍の速度まで段階的に選択可能である。

【００２６】視聴者は、映像を見ながら映像制御部１０
１を操作し、対話的に不要な部分を早送りあるいは早戻
しすることができる。

【００２７】なお、以上の実施形態で示した本発明の方
法での処理の手順は、適宜、コンピュータで実行するこ
とが可能であり、その手順をコンピュータに実行させる
ためのプログラムを該コンピュータが読み取り可能な媒
体、例えばフロッピーディスクやＣＤ−ＲＯＭなどに記
録して配布することが可能である。

【００２８】

【発明の効果】以上のとおり、本発明による（１）およ
び（５）の発明によれば、インデクスが付与されている
箇所まで映像を早送り／戻しするための開始命令を入力
し、映像の特徴的な変化を抽出し、映像およびインデク
スを蓄積し、開始命令に基づいて早送り／戻しの場合に
は蓄積された映像を時間方向に間引いて送出し、そうで
ない場合には通常に送出し、送出された映像を表示する
ようにしたので、映像を視聴しながら適宜不要な部分を
早送り／戻しすることができる。また、蓄積映像が遠隔
地にある場合には映像が間引かれるので、ネットワーク
のトラヒックの低減ができる。

【００２９】また、本発明による（２）および（６）の
発明によれば、早送り／戻しを終了する箇所のインデク
スの種類を選択することによって、映像の種類に適した
早送り／戻しができる。

【００３０】また、本発明による（３）および（７）の
発明によれば、早送り／戻しの場合に映像を間引く度合
いを変化させるようにしたので、全体を視聴する時間を
調節することができる。

【００３１】また、本発明による（４）および（８）の
発明によれば、インデクスとして映像の場面の変化点、
シーンの変化点、画像に現れる人物の変化点、字幕の変
化点、話者の変化点、喋り声の開始点、音楽の開始点、
音楽のサビの開始点、コマーシャルの開始・終了点の位
置を付与し蓄積するようにしたので、様々な映像の種類
に対応することができる。

【００３２】さらに、本発明による（５）の発明によれ
ば、コンピュータに本発明による（１）〜（４）の発明
における手順を実行させるためのプログラムを記録媒体
に記録し、コンピュータで読みとり可能としたので、本
発明をコンピュータでソフトウェア的に実現することが
できる。

【図面の簡単な説明】

【図１】本発明の一実施形態の対話型映像圧縮装置の概
略構成を示すブロック図である。

【図２】上記実施形態の対話型映像圧縮装置の処理の流
れを示すとともに、本発明の対話型映像圧縮方法の処理
の流れ、その方法をソフトウェアで実現した場合の処理
の流れの一実施形態を示すフローチャートである。

【図３】上記実施形態の対話型映像圧縮装置の映像制御
部の外観を示す図である。

【符号の説明】

１０１…映像制御部 １０２…映像表示部 １０３…映像送出部 １０４…インデクス付与部 １０５…映像蓄積部 １０６…ネットワーク／高速バス ２０１…再生処理 ２０２…早送り／戻し開始命令検出処理 ２０３…インデクス設定処理 ２０４…間引き度（再生速度）設定処理 ２０５…早送り命令検出処理 ２０６…高速再生処理 ２０７…高速逆再生処理 ２０８…再生箇所とインデクス位置の照合処理 ２０９…終了判定処理 ３０１〜３０３…早送り／戻し開始命令ボタン ３０４…再生速度設定スライダ ３０５…メニュー選択ボタン

Claims (9)

【特許請求の範囲】
1. 【請求項１】 映像を視聴しながら不要な部分を早送り
   ／戻しする映像圧縮方法であって、 映像の特徴的な変化を抽出しインデクスとして該映像に
   付与するインデクス付与段階と、 前記映像および前記付与されたインデクスを蓄積する映
   像蓄積段階と、 インデクスが付与されている箇所まで映像を早送り／戻
   しするための開始命令を入力する映像制御段階と、 前記開始命令に基づいて早送り／戻しの場合には前記蓄
   積された映像を時間方向に間引いて送出し、そうでない
   場合には通常に送出する映像送出段階と、 前記送出された映像を表示する映像表示段階と、 を有することを特徴とする対話型映像圧縮方法。
2. 【請求項２】 前記映像制御段階では、早送り／戻しす
   るための開始命令とともに早送り／戻しを終了する箇所
   のインデクスの種類を選択して入力し、 前記映像送出段階では、早送り／戻しの場合に前記選択
   されたインデクスが付与されている箇所まで早送り、戻
   しする、 ことを特徴とする請求項１に記載の対話型映像圧縮方
   法。
3. 【請求項３】 前記映像制御段階では、早送り／戻しす
   るための開始命令とともに早送り／戻しの速度の指定を
   入力し、 前記映像送出段階では、早送り／戻しの場合に映像を間
   引く度合いを変化させて前記指定された速度で早送り、
   戻しする、 ことを特徴とする請求項１または請求項２に記載の対話
   型映像圧縮方法。
4. 【請求項４】 前記インデクス付与段階では、インデク
   スとして、映像の場面の変化点、シーンの変化点、画像
   に現れる人物の変化点、字幕の変化点、話者の変化点、
   喋り声の開始点、音楽の開始点、音楽のサビの開始点、
   およびコマーシャルの開始・終了点の位置のうち、少な
   くともいずれか１つを付与する、 ことを特徴とする請求項１から請求項３までのいずれか
   に記載の対話型映像圧縮方法。
5. 【請求項５】 請求項１から請求項４までのいずれかに
   記載の対話型映像圧縮方法における各段階での手順をコ
   ンピュータに実行させるためのプログラムをコンピュー
   タ読みとり可能な媒体に記録した、 ことを特徴とする対話型映像圧縮方法を記録した記録媒
   体。
6. 【請求項６】 映像を視聴しながら不要な部分を早送り
   ／戻しする映像圧縮装置であって、 映像の特徴的な変化を抽出しインデクスとして該映像に
   付与するインデクス付与部と、 前記映像および前記付与されたインデクスを蓄積する映
   像蓄積部と、 インデクスが付与されている箇所まで映像を早送り／戻
   しするための開始命令を入力する映像制御部と、 前記開始命令に基づいて早送り／戻しの場合には前記蓄
   積された映像を時間方向に間引いて送出し、そうでない
   場合には通常に送出する映像送出部と、 前記送出された映像を表示する映像表示部と、 を有することを特徴とする対話型映像圧縮装置。
7. 【請求項７】 前記映像制御部は、早送り／戻しするた
   めの開始命令とともに早送り／戻しを終了する箇所のイ
   ンデクスの種類を選択して入力する手段を有するものあ
   り、 前記映像送出部は、早送り／戻しの場合に前記選択され
   たインデクスが付与されている箇所まで早送り、戻しす
   る手段を有するものである、 ことを特徴とする請求項６に記載の対話型映像圧縮装
   置。
8. 【請求項８】 前記映像制御部は、早送り／戻しするた
   めの開始命令とともに早送り／戻しの速度の指定を入力
   する手段を有するものあり、 前記映像送出部は、早送り／戻しの場合に映像を間引く
   度合いを変化させて前記指定の速度で早送り／戻しする
   手段を有するものである、 ことを特徴とする請求項６または請求項７に記載の対話
   型映像圧縮装置。
9. 【請求項９】 前記インデクス付与部は、インデクスと
   して、映像の場面の変化点、シーンの変化点、画像に現
   れる人物の変化点、字幕の変化点、話者の変化点、喋り
   声の開始点、音楽の開始点、音楽のサビの開始点、およ
   びコマーシャルの開始・終了点の位置のうち、少なくと
   もいずれか１つを付与する手段を有するものである、 ことを特徴とする請求項６から請求項８までのいずれか
   に記載の対話型映像圧縮装置。