JP3128107B2 - 映像圧縮方法および装置 - Google Patents
映像圧縮方法および装置Info
- Publication number
- JP3128107B2 JP3128107B2 JP25033094A JP25033094A JP3128107B2 JP 3128107 B2 JP3128107 B2 JP 3128107B2 JP 25033094 A JP25033094 A JP 25033094A JP 25033094 A JP25033094 A JP 25033094A JP 3128107 B2 JP3128107 B2 JP 3128107B2
- Authority
- JP
- Japan
- Prior art keywords
- event
- image data
- time
- image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、映像データベーシステ
ムなどにおいて、フレームを間引くことによって映像デ
ータを圧縮する方法および装置に関する。
ムなどにおいて、フレームを間引くことによって映像デ
ータを圧縮する方法および装置に関する。
【０００２】
【従来の技術】コンピュータを使って大量の映像を蓄積
・管理し、利用する映像データベースシステムにおいて
は、必要な映像を迅速に検索できることが要求される。
一般に検索の手段としてはキーワード（タイトル、主人
公など）を使って絞り込む方法がとられるが、キーワー
ドだけでは十分な絞り込みが行えないので、最終的に
は、その映像が本当に自分の欲しいものかを確認するた
めのブラウズ機能（映像の中身を、本をぱらぱらめくる
ような感覚でさっと見る機能）が欠かせない。この場
合、レスポンスの早いブラウズを実現するためには、ハ
ードディスク等の高速アクセス可能な記憶装置に、長時
間の映像を圧縮して蓄積する必要がある。しかし、従来
の映像圧縮方法はＭＰＥＧ（ＭＰＥＧ，ＣＤ１１１７
２，Ｃoding ofＭoving Ｐictures and Ａsociated Ａu
dio for Ｄigital Ｓtrage Ｍedia atＵp Ｔo Ａbout
１.５ Ｍbps，１９９１）やＨ.２６１（ＣＣＩＴＴ Ｒe
c．Ｈ．２６１，Ｖideo Ｃodec for Ａudiovisual Ｓer
vices at px６４ kbit/s，ＣＣＩＴＴ ＣＯＭ．ＸＶ−
Ｒ ３７−Ｅ，１９９０）など、ほとんどが映像の品質
劣化を最小限に抑える目的で開発されたものであったた
め、十分な圧縮率が得られなかった。また、画像の圧縮
伸長処理のために特別で高価なハードウェアが必要であ
った。
・管理し、利用する映像データベースシステムにおいて
は、必要な映像を迅速に検索できることが要求される。
一般に検索の手段としてはキーワード（タイトル、主人
公など）を使って絞り込む方法がとられるが、キーワー
ドだけでは十分な絞り込みが行えないので、最終的に
は、その映像が本当に自分の欲しいものかを確認するた
めのブラウズ機能（映像の中身を、本をぱらぱらめくる
ような感覚でさっと見る機能）が欠かせない。この場
合、レスポンスの早いブラウズを実現するためには、ハ
ードディスク等の高速アクセス可能な記憶装置に、長時
間の映像を圧縮して蓄積する必要がある。しかし、従来
の映像圧縮方法はＭＰＥＧ（ＭＰＥＧ，ＣＤ１１１７
２，Ｃoding ofＭoving Ｐictures and Ａsociated Ａu
dio for Ｄigital Ｓtrage Ｍedia atＵp Ｔo Ａbout
１.５ Ｍbps，１９９１）やＨ.２６１（ＣＣＩＴＴ Ｒe
c．Ｈ．２６１，Ｖideo Ｃodec for Ａudiovisual Ｓer
vices at px６４ kbit/s，ＣＣＩＴＴ ＣＯＭ．ＸＶ−
Ｒ ３７−Ｅ，１９９０）など、ほとんどが映像の品質
劣化を最小限に抑える目的で開発されたものであったた
め、十分な圧縮率が得られなかった。また、画像の圧縮
伸長処理のために特別で高価なハードウェアが必要であ
った。
【０００３】
【発明が解決しようとする課題】映像を大幅に圧縮する
ための便法として、フレームを等時間間隔に間引く方法
が考えられる。例えば、NTSC映像信号では３０フレーム
／秒のフレームレートであるが、それらのうち２９フレ
ームを捨てて１フレーム／秒にまで間引くことによっ
て、１／３０にまでデータ量を減らすことができる。間
引き映像を再生する時には、紙芝居のように１秒に１枚
ずつ画像をディスプレイ上に表示する。したがって、動
きはぎくしゃくしたものになるが、音声は連続的に再生
されるので、映像内容の概略を理解することは可能であ
り、映像データベースシステム等におけるブラウズには
十分役立つ。
ための便法として、フレームを等時間間隔に間引く方法
が考えられる。例えば、NTSC映像信号では３０フレーム
／秒のフレームレートであるが、それらのうち２９フレ
ームを捨てて１フレーム／秒にまで間引くことによっ
て、１／３０にまでデータ量を減らすことができる。間
引き映像を再生する時には、紙芝居のように１秒に１枚
ずつ画像をディスプレイ上に表示する。したがって、動
きはぎくしゃくしたものになるが、音声は連続的に再生
されるので、映像内容の概略を理解することは可能であ
り、映像データベースシステム等におけるブラウズには
十分役立つ。
【０００４】しかし、フレームを等時間間隔に間引く方
法では、音声に対して画像の表示が遅れているように感
じるという問題が生じる。これを図３を使って説明す
る。
法では、音声に対して画像の表示が遅れているように感
じるという問題が生じる。これを図３を使って説明す
る。
【０００５】図３において、３１は入力される画像デー
タ列（フレーム列）であり、二つのコマーシャルＣＭ
１，ＣＭ２から構成され、ＣＭ１の映像３１１からＣＭ
２の映像３１２に、３１３の時点で切り替わっていると
仮定する。ＣＭ１とＣＭ２の映像を区別するため、ＣＭ
１の画像データは網掛けで示す。３１′は３１の入力画
像データ列から１秒間隔で間引いて抜粋された画像デー
タ列であり、３２，３３がＣＭ１から抜粋された画像デ
ータ、３４，３５がＣＫ２から抜粋された画像データで
ある。再生時には、ｔ0，ｔ0+1，ｔ0+2，ｔ0+3の各時刻
に、画像データ３２，３３，３４，３５がユーザディス
プレイ上に紙芝居のように１秒間隔で表示され、同時に
音声がスピーカから出力される。この場合、音声は時刻
Ｔの時点でＣＭ１からＣＭ２のものに切り替わるのに、
画像の方は時刻ｔ0+2までＣＭ１の画像データ３３が表
示されたままである。したがって、Ｔからｔ0+2の区間
で音声内容と画像内容が食い違ってしまい、音声に対し
て画像の表示が遅れているように感じる。
タ列（フレーム列）であり、二つのコマーシャルＣＭ
１，ＣＭ２から構成され、ＣＭ１の映像３１１からＣＭ
２の映像３１２に、３１３の時点で切り替わっていると
仮定する。ＣＭ１とＣＭ２の映像を区別するため、ＣＭ
１の画像データは網掛けで示す。３１′は３１の入力画
像データ列から１秒間隔で間引いて抜粋された画像デー
タ列であり、３２，３３がＣＭ１から抜粋された画像デ
ータ、３４，３５がＣＫ２から抜粋された画像データで
ある。再生時には、ｔ0，ｔ0+1，ｔ0+2，ｔ0+3の各時刻
に、画像データ３２，３３，３４，３５がユーザディス
プレイ上に紙芝居のように１秒間隔で表示され、同時に
音声がスピーカから出力される。この場合、音声は時刻
Ｔの時点でＣＭ１からＣＭ２のものに切り替わるのに、
画像の方は時刻ｔ0+2までＣＭ１の画像データ３３が表
示されたままである。したがって、Ｔからｔ0+2の区間
で音声内容と画像内容が食い違ってしまい、音声に対し
て画像の表示が遅れているように感じる。
【０００６】さらに、このフレームを等時間間隔に間引
く方法には、ＣＭのように場面が頻繁に切り替わるよう
な映像の場合には、１秒以内等での短いショット（場
面）が抜け落ちてしまう可能性もある。
く方法には、ＣＭのように場面が頻繁に切り替わるよう
な映像の場合には、１秒以内等での短いショット（場
面）が抜け落ちてしまう可能性もある。
【０００７】本発明の目的は、上記等間隔の間引きのた
めに生じる画像表示遅れの不自然さや重要場面の抜けな
どを軽減した上で映像を大幅に圧縮できる映像圧縮方法
および装置を提供することにある。
めに生じる画像表示遅れの不自然さや重要場面の抜けな
どを軽減した上で映像を大幅に圧縮できる映像圧縮方法
および装置を提供することにある。
【０００８】
【課題を解決するための手段】本発明は、映像データを
順次入力し、その画像データあるいは音声データあるい
は付属情報が特定の条件を満たす場合にイベントありと
判定し、一定時間経過してもイベントが検出されない
と、その時点時点で画像データを出力し、イベントが検
出されると、その時点で画像データを出力して経過時間
を初期化することを特徴とする。
順次入力し、その画像データあるいは音声データあるい
は付属情報が特定の条件を満たす場合にイベントありと
判定し、一定時間経過してもイベントが検出されない
と、その時点時点で画像データを出力し、イベントが検
出されると、その時点で画像データを出力して経過時間
を初期化することを特徴とする。
【０００９】
【作用】通常は入力された画像データ（フレーム）を等
時間間隔毎に間引いて出力するが、イベントが検出され
た場合は、その時点の画像データを出力する。イベント
ありは例えば場面の変わり目とする。このように、場面
の変わり目に代表される重要性の高いイベントを検出
し、そのイベントに対応する画像データをもらさず抜粋
するように制御することによって、音声内容と画像内容
のずれが感じにくくなり、画像が音声に対して遅れてい
るような感じを軽減することができるようになる。
時間間隔毎に間引いて出力するが、イベントが検出され
た場合は、その時点の画像データを出力する。イベント
ありは例えば場面の変わり目とする。このように、場面
の変わり目に代表される重要性の高いイベントを検出
し、そのイベントに対応する画像データをもらさず抜粋
するように制御することによって、音声内容と画像内容
のずれが感じにくくなり、画像が音声に対して遅れてい
るような感じを軽減することができるようになる。
【００１０】
【実施例】以下、本発明の一実施例を図面を用いて説明
する。
する。
【００１１】図１は、本発明の一実施例の構成ブロック
図である。図において、１００は映像記録装置であり、
これから読み出された画像データ、付属情報、音声デー
タがそれぞれ画像入力手段１０１、付属情報入力手段１
０２、音声入力手段１０３に入力される。画像入力手段
１０１から画像データが画像出力手段１０６とイベント
検出手段１０４に順次送られ、同時に、音声データが音
声入力手段１０３から音声出力手段１０７とイベント検
出手段１０４に送られる。付属情報は付属入力手段１０
２からイベント検出手段１０４に順次送られる。付属情
報とは、ビデオテープなどに書き込まれたタイムコード
や、その映像の撮影日時の情報などである。イベント検
出手段１０４は、画像データ、音声データ、付属情報が
ある特定の条件を満たす場合にイベントありと判定し、
信号線１０８を介して画像出力手段１０６にトリガ（画
像データ出力トリガ）をかける。また、イベント検出手
段１０４は、タイマ１０５が一定時間（実施例では１秒
とする）を経過した場合、イベントありと判定されなく
ても信号線１０８にトリガ信号を出す。画像出力手段１
０６は、イベント検出手段１０４から信号線１０８を介
してトリガ信号を受けると、画像入力手段１０１から送
られてきている画像データを１フレーム出力する。一
方、音声出力手段１０７は、音声入力手段１０３から送
られた音声データをイベントあるなしに関わらず逐次出
力し続ける。
図である。図において、１００は映像記録装置であり、
これから読み出された画像データ、付属情報、音声デー
タがそれぞれ画像入力手段１０１、付属情報入力手段１
０２、音声入力手段１０３に入力される。画像入力手段
１０１から画像データが画像出力手段１０６とイベント
検出手段１０４に順次送られ、同時に、音声データが音
声入力手段１０３から音声出力手段１０７とイベント検
出手段１０４に送られる。付属情報は付属入力手段１０
２からイベント検出手段１０４に順次送られる。付属情
報とは、ビデオテープなどに書き込まれたタイムコード
や、その映像の撮影日時の情報などである。イベント検
出手段１０４は、画像データ、音声データ、付属情報が
ある特定の条件を満たす場合にイベントありと判定し、
信号線１０８を介して画像出力手段１０６にトリガ（画
像データ出力トリガ）をかける。また、イベント検出手
段１０４は、タイマ１０５が一定時間（実施例では１秒
とする）を経過した場合、イベントありと判定されなく
ても信号線１０８にトリガ信号を出す。画像出力手段１
０６は、イベント検出手段１０４から信号線１０８を介
してトリガ信号を受けると、画像入力手段１０１から送
られてきている画像データを１フレーム出力する。一
方、音声出力手段１０７は、音声入力手段１０３から送
られた音声データをイベントあるなしに関わらず逐次出
力し続ける。
【００１２】図２に、イベント検出手段１０４の処理フ
ローチャートの一例を示す。まず、タイマ１０５を初期
化し（ステップ２０１）、画像入力手段１０１から画像
データを読込む（ステップ２０２）。ここで、タイマ１
０５は初期化時点を０としてそこからの経過時間を計測
し、イベント検出手段１０４からの問い合わせに対して
返答するものである。画像入力手段１０１から読み込ま
れた画像データが特定の条件を満たす場合にイベントあ
りと判定し（ステップ２０３）、ステップ２０５に進
む。イベントがない場合も、タイマ１０５に問い合わせ
て、初期化時点から１秒が経過していた場合（ステップ
２０４）、ステップ２０５に進む。ステップ２０５で
は、画像出力手段１０６に信号線１０８を介してトリガ
信号を送り、ステップ２０１に戻る。一方、イベントな
しで、１秒経過しない場合は、ステップ２０２に戻り、
引き続いて画像データの読み込みを行う。
ローチャートの一例を示す。まず、タイマ１０５を初期
化し（ステップ２０１）、画像入力手段１０１から画像
データを読込む（ステップ２０２）。ここで、タイマ１
０５は初期化時点を０としてそこからの経過時間を計測
し、イベント検出手段１０４からの問い合わせに対して
返答するものである。画像入力手段１０１から読み込ま
れた画像データが特定の条件を満たす場合にイベントあ
りと判定し（ステップ２０３）、ステップ２０５に進
む。イベントがない場合も、タイマ１０５に問い合わせ
て、初期化時点から１秒が経過していた場合（ステップ
２０４）、ステップ２０５に進む。ステップ２０５で
は、画像出力手段１０６に信号線１０８を介してトリガ
信号を送り、ステップ２０１に戻る。一方、イベントな
しで、１秒経過しない場合は、ステップ２０２に戻り、
引き続いて画像データの読み込みを行う。
【００１３】図２の処理では、ステップ２０４でイベン
トが１秒以上検出されない時に画像出力を行えるように
しているが、間隔は何秒おきでも構わない。この間隔が
狭ければ狭いほど、動きが滑らかになるが、その反面、
データ量は増加するので、通信容量または記憶容量との
兼ね合いで適当に決めることができる。また、図２で
は、画像データでイベントありを判定したが、後述の付
属情報や音声データでイベントを判定する場合も、処理
フローは基本的に同じである。
トが１秒以上検出されない時に画像出力を行えるように
しているが、間隔は何秒おきでも構わない。この間隔が
狭ければ狭いほど、動きが滑らかになるが、その反面、
データ量は増加するので、通信容量または記憶容量との
兼ね合いで適当に決めることができる。また、図２で
は、画像データでイベントありを判定したが、後述の付
属情報や音声データでイベントを判定する場合も、処理
フローは基本的に同じである。
【００１４】次に、イベント検出の二、三の実施例につ
いて説明する。イベント検出手段１０４では、これらの
一つあるいは複数のものを組み合わせてイベントありを
判定すればよい。
いて説明する。イベント検出手段１０４では、これらの
一つあるいは複数のものを組み合わせてイベントありを
判定すればよい。
【００１５】まず、イベント検出の第１の実施例は、画
像入力手段１０１からの画像データを用いて、画像処理
により場面の変わり目をイベントと検出するものであ
る。これは画像の音声に対する遅れの感覚をなくすのに
好適である。即ち、先の図３の例では、ＣＭ１とＣＭ２
の変わり目では場面の転換があるはずであり、それをイ
ベントとして検出し、その時点の画像を抜粋しておき、
再生時に音声と同期をとりながら表示を行なうことによ
って、画像が音声に対して遅れている感じがなくなる。
像入力手段１０１からの画像データを用いて、画像処理
により場面の変わり目をイベントと検出するものであ
る。これは画像の音声に対する遅れの感覚をなくすのに
好適である。即ち、先の図３の例では、ＣＭ１とＣＭ２
の変わり目では場面の転換があるはずであり、それをイ
ベントとして検出し、その時点の画像を抜粋しておき、
再生時に音声と同期をとりながら表示を行なうことによ
って、画像が音声に対して遅れている感じがなくなる。
【００１６】なお、場面の変わり目を画像処理によって
検出することは、カット検出、シーンチェンジ検出とい
った名前で呼ばれ、様々な方法がある。例えば、代表的
な方法としては、時間的に隣合う二枚の画像Ｉt，Ｉt-1
の対応する画素における輝度値の差を計算して、その絶
対値の和（フレーム間差分）をＤ(ｔ）とし、Ｄ(ｔ）が
ある与えられた閾値よりも大きい時、ｔをカット点とみ
なす方法がある（大辻、外村、大庭：「輝度情報を使っ
た動画像ブラウジング」、電気情報通信学会技術報告，
ＩＥ９０−１０３，１９９１）。この場合、フレーム間
差分の代りに、画素変化面積、輝度ヒストグラム差分、
ブロック別色相関、ｘ2検定量などがＤ（ｔ）として使
われることもある（大辻、外村：「映像カット自動検出
方式の検討」，テレビジョン学会技術報告，Ｖol.１
６，Ｎo.４３，pp.７−１２）。また、Ｄ（ｔ）をその
まま閾値処理するのではなく、各種時間フィルタをＤ
（ｔ）に対して作用した結果を閾値処理する方法もある
(Ｋ.Ｏtsuji and Ｙ.Ｔonomura：“Ｐrojection Ｄetec
ting Ｆilter for Ｖideo Ｃut Ｄetection”Ｐroc．of
ＡＣＭ Ｍultimedia ９３，１９９３，pp．２５１−２
５７）。この方法は、映像の中に激しく動く物体やフラ
ッシュ光があっても誤検出を生じにくいという特徴を持
っている。さらに、先に本出願人は、入力画像データ列
について時間的に隣合う画像間に加えて時間的に離れた
画像間の複数組の各画像データＩi，Ｉjの間の距離ｄ
（ｉ，ｊ）を計算し、該計算された複数組の距離ｄ
（ｉ，ｊ）をもとに時刻ｔにおけるシーン変化率Ｃ
（ｔ）を求め、該シーン変化率Ｃ（ｔ）をあらかじめ定
めた閾値と比較して、時刻ｔがカット点であるか否か判
定することで、時間的にゆっくりとしたシーン変化を検
出する方法を提案した（特願平５−３１７６６３号）。
画像処理によるイベント検出では、これらのいずれの方
法を用いてもよい。
検出することは、カット検出、シーンチェンジ検出とい
った名前で呼ばれ、様々な方法がある。例えば、代表的
な方法としては、時間的に隣合う二枚の画像Ｉt，Ｉt-1
の対応する画素における輝度値の差を計算して、その絶
対値の和（フレーム間差分）をＤ(ｔ）とし、Ｄ(ｔ）が
ある与えられた閾値よりも大きい時、ｔをカット点とみ
なす方法がある（大辻、外村、大庭：「輝度情報を使っ
た動画像ブラウジング」、電気情報通信学会技術報告，
ＩＥ９０−１０３，１９９１）。この場合、フレーム間
差分の代りに、画素変化面積、輝度ヒストグラム差分、
ブロック別色相関、ｘ2検定量などがＤ（ｔ）として使
われることもある（大辻、外村：「映像カット自動検出
方式の検討」，テレビジョン学会技術報告，Ｖol.１
６，Ｎo.４３，pp.７−１２）。また、Ｄ（ｔ）をその
まま閾値処理するのではなく、各種時間フィルタをＤ
（ｔ）に対して作用した結果を閾値処理する方法もある
(Ｋ.Ｏtsuji and Ｙ.Ｔonomura：“Ｐrojection Ｄetec
ting Ｆilter for Ｖideo Ｃut Ｄetection”Ｐroc．of
ＡＣＭ Ｍultimedia ９３，１９９３，pp．２５１−２
５７）。この方法は、映像の中に激しく動く物体やフラ
ッシュ光があっても誤検出を生じにくいという特徴を持
っている。さらに、先に本出願人は、入力画像データ列
について時間的に隣合う画像間に加えて時間的に離れた
画像間の複数組の各画像データＩi，Ｉjの間の距離ｄ
（ｉ，ｊ）を計算し、該計算された複数組の距離ｄ
（ｉ，ｊ）をもとに時刻ｔにおけるシーン変化率Ｃ
（ｔ）を求め、該シーン変化率Ｃ（ｔ）をあらかじめ定
めた閾値と比較して、時刻ｔがカット点であるか否か判
定することで、時間的にゆっくりとしたシーン変化を検
出する方法を提案した（特願平５−３１７６６３号）。
画像処理によるイベント検出では、これらのいずれの方
法を用いてもよい。
【００１７】イベント検出の第２の実施例は、場面の変
わり目を検出するのに、画像データを使わずに付属情報
入力手段１０２からの付属情報を使うものである。例え
ばカメラのＯＮ／ＯＦＦ動作によって生じるタイムコー
ドの不連続性として、場面の変わり目を検出するのであ
る。
わり目を検出するのに、画像データを使わずに付属情報
入力手段１０２からの付属情報を使うものである。例え
ばカメラのＯＮ／ＯＦＦ動作によって生じるタイムコー
ドの不連続性として、場面の変わり目を検出するのであ
る。
【００１８】イベント検出の第３の実施例は、イベント
として映像のカット点ではなく、テロップ（字幕）の出
現／消滅、カメラ操作（例えば、パニング、ズーム）の
開始／終了、人がフレームイン／アウトを検出するもの
である。例えば、テロップはニュース映像などでは、内
容理解に欠かせないものであり、表示遅れがないように
する方がよい。
として映像のカット点ではなく、テロップ（字幕）の出
現／消滅、カメラ操作（例えば、パニング、ズーム）の
開始／終了、人がフレームイン／アウトを検出するもの
である。例えば、テロップはニュース映像などでは、内
容理解に欠かせないものであり、表示遅れがないように
する方がよい。
【００１９】イベント検出の第４の実施例は、画像デー
タや付属情報から検出されるイベントに限らず、音声入
力手段１０３からの音声データから抽出されるイベント
を使うものである。例えば、“これ”、“あれ”といっ
た指示代名詞が発話されたことをワードスポッティング
技術を使ってイベントとして検出するものである。例え
ば、“この値段”というナレーションの入ったところで
は、価格が画像として表示されているはずであり、その
画像は内容を理解するためには欠かすことができない。
タや付属情報から検出されるイベントに限らず、音声入
力手段１０３からの音声データから抽出されるイベント
を使うものである。例えば、“これ”、“あれ”といっ
た指示代名詞が発話されたことをワードスポッティング
技術を使ってイベントとして検出するものである。例え
ば、“この値段”というナレーションの入ったところで
は、価格が画像として表示されているはずであり、その
画像は内容を理解するためには欠かすことができない。
【００２０】図１の構成で、画像出力手段１０６と音声
出力手段１０７の出力先はファイルであっても、通信回
線であってもよいが、非一定間隔で間引かれた画像デー
タを音声データと同期をとりながら再生するためには、
画像表示のタイミングを何らかの形で記述しておく必要
がある。図４に、記述の一例を示す。図４において、４
６は出力データであり、画像ブロックと音声ブロックか
ら構成される。各々の画像ブロックは４１の“画像表示
時刻”と４２の“イベントの種類”と４３の“画像デー
タ”から構成され、各々の音声ブロックは４４の“音声
出力時刻”と４５の音声データから構成される。４３の
画像データは、ＪＰＥＧで圧縮したデータであってもよ
いし、縮小した画像であってもよい。４１の画像表示時
刻は、４３の画像データを再生開始時刻から何ミリ秒後
にユーザディスプレイ上に表示すればよいかを表す。４
２のイベントの種類は、例えば４３の画像データが場面
の変わり目のイベントに対応するものなのか、等間隔に
とられたものかを記述している。このようにイベントの
種類を記述しておき、場面の変わり目に対応する画像を
並べることで図５のような場面一覧表示が可能となる。
４５の音声データはどのような形で符号化されていても
よい。図４の例では、音声データは２秒を１ブロックと
して記述されている。４４の音声出力時刻は、４５の音
声データを出力デバイスに送り出す時刻を表す。図１で
は省略したが、出力デバイスは４５の音声データが送ら
れてくると、それを一時バッファリングしながら、スピ
ーカ、ヘッドホンに音声を出力する。
出力手段１０７の出力先はファイルであっても、通信回
線であってもよいが、非一定間隔で間引かれた画像デー
タを音声データと同期をとりながら再生するためには、
画像表示のタイミングを何らかの形で記述しておく必要
がある。図４に、記述の一例を示す。図４において、４
６は出力データであり、画像ブロックと音声ブロックか
ら構成される。各々の画像ブロックは４１の“画像表示
時刻”と４２の“イベントの種類”と４３の“画像デー
タ”から構成され、各々の音声ブロックは４４の“音声
出力時刻”と４５の音声データから構成される。４３の
画像データは、ＪＰＥＧで圧縮したデータであってもよ
いし、縮小した画像であってもよい。４１の画像表示時
刻は、４３の画像データを再生開始時刻から何ミリ秒後
にユーザディスプレイ上に表示すればよいかを表す。４
２のイベントの種類は、例えば４３の画像データが場面
の変わり目のイベントに対応するものなのか、等間隔に
とられたものかを記述している。このようにイベントの
種類を記述しておき、場面の変わり目に対応する画像を
並べることで図５のような場面一覧表示が可能となる。
４５の音声データはどのような形で符号化されていても
よい。図４の例では、音声データは２秒を１ブロックと
して記述されている。４４の音声出力時刻は、４５の音
声データを出力デバイスに送り出す時刻を表す。図１で
は省略したが、出力デバイスは４５の音声データが送ら
れてくると、それを一時バッファリングしながら、スピ
ーカ、ヘッドホンに音声を出力する。
【００２１】
【発明の効果】以上説明したように、本発明によれば、
間引きのために生じる画像表示遅れの不自然さを軽減し
た上で映像を大幅に圧縮できる効果がある。さらに、圧
縮・伸長に特別なハードウェアを必要としないため、安
価に映像データシステムを構成できる効果がある。
間引きのために生じる画像表示遅れの不自然さを軽減し
た上で映像を大幅に圧縮できる効果がある。さらに、圧
縮・伸長に特別なハードウェアを必要としないため、安
価に映像データシステムを構成できる効果がある。
【図１】本発明の一実施例の構成ブロック図である。
【図２】本発明の一実施例のイベント検出の処理フロー
図である。
図である。
【図３】従来の等間隔間引き処理の問題点を説明するた
めの図である。
めの図である。
【図４】出力フォーマットの一例を説明するための図で
ある。
ある。
【図５】場面の一覧表示の一例を示す図である。
１０１ 画像入力手段 １０２ 付属情報入力手段 １０３ 音声入力手段 １０４ イベント検出手段 １０５ タイマ １０６ 画像出力手段 １０７ 音声出力手段
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68 H04N 7/14 - 7/15
Claims (3)
- 【請求項１】 映像データを順次入力し、その画像デー
タあるいは音声データあるいは付属情報が特定の条件を
満たす場合にイベントありと判定し、一定時間経過して
もイベントが検出されないと、該一定時間経過した時点
時点で画像データを出力し、イベントが検出されると、
その時点で画像データを出力して経過時間を初期化する
ことを特徴とする映像圧縮方法。 - 【請求項２】 請求項１記載の映像圧縮方法において、
場面の変わり目をイベントとして検出することを特徴と
する映像圧縮方法。 - 【請求項３】 画像データ、該画像データの付属情報、
音声データを順次入力する手段と、 前記入力された画像データあるいは付属情報あるいは音
声データが特定条件を満たす場合にイベントありを判定
し、一定時間経過してもイベントが検出されないと該一
定時間経過した時点時点で画像データ出力トリガを出力
し、イベントが検出されるとその時点で画像データ出力
トリガを出力して経過時間を初期化する手段と、 前記トリガが出力される毎に入力画像データを出力する
手段と、 入力音声データをイベントのありなしに関係なく連続し
て出力する手段と、 を具備することを特徴とする映像圧縮装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25033094A JP3128107B2 (ja) | 1994-10-17 | 1994-10-17 | 映像圧縮方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25033094A JP3128107B2 (ja) | 1994-10-17 | 1994-10-17 | 映像圧縮方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08116533A JPH08116533A (ja) | 1996-05-07 |
| JP3128107B2 true JP3128107B2 (ja) | 2001-01-29 |
Family
ID=17206313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25033094A Expired - Fee Related JP3128107B2 (ja) | 1994-10-17 | 1994-10-17 | 映像圧縮方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3128107B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002112224A (ja) * | 2000-09-29 | 2002-04-12 | Just Syst Corp | 放送番組リンク情報提供システム、装置、方法及び記録媒体 |
-
1994
- 1994-10-17 JP JP25033094A patent/JP3128107B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08116533A (ja) | 1996-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20040027367A1 (en) | Method of and apparatus for processing zoomed sequential images | |
| US7463776B2 (en) | Method and device for condensed image recording and reproduction | |
| JPH09322174A (ja) | 動画データの再生方法 | |
| JP2004194338A (ja) | スライドショーの制作方法およびシステム | |
| KR20010089770A (ko) | 동적 임계치를 사용하는 비주얼 인덱싱 시스템에 대한중요 장면 검출 및 프레임 필터링 | |
| JP3340905B2 (ja) | 動画像処理方法 | |
| JP2000350165A (ja) | 動画像記録再生装置 | |
| US7450823B2 (en) | Hard disk recorder and video record apparatus | |
| JPH1066085A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| US7084908B2 (en) | Image signal recording apparatus with controlled recording of main, preceding and succeeding moving image signals | |
| JPH11215458A (ja) | 画像記録装置及び方法、画像再生装置及び方法、画像記録再生装置及び方法、並びに記録媒体 | |
| JPH11265396A (ja) | 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 | |
| JP3128107B2 (ja) | 映像圧縮方法および装置 | |
| JPH10276388A (ja) | 画像処理装置および画像処理方法、画像再生装置および画像再生方法、並びに記録媒体 | |
| JP4321374B2 (ja) | パノラマ映像記録再生装置 | |
| JP2000165803A (ja) | 映像信号記録再生装置 | |
| JP6742515B2 (ja) | 符号化映像再生装置および符号化映像再生方法 | |
| JPH06153146A (ja) | 動画像のシーンチェンジ検出装置および編集装置 | |
| JPH10276395A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP3794146B2 (ja) | 情報再生装置および方法、並びに提供媒体 | |
| WO2003065715A1 (fr) | Appareil, systeme et procede d'enregistrement/lecture de donnees audio/video, support enregistre par eux, appareil de reproduction de donnees audio/video, et structure de donnees | |
| JP2000011545A (ja) | 記録装置及び方法 | |
| JP4196475B2 (ja) | 再生装置及び方法並びに記録及び／又は再生装置及び方法 | |
| JP4186949B2 (ja) | 情報記録再生装置 | |
| JP2000152141A (ja) | 情報記憶媒体、および動画音声記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071110 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081110 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |