JPH09284770A - 画像符号化装置および方法 - Google Patents
画像符号化装置および方法Info
- Publication number
- JPH09284770A JPH09284770A JP11531796A JP11531796A JPH09284770A JP H09284770 A JPH09284770 A JP H09284770A JP 11531796 A JP11531796 A JP 11531796A JP 11531796 A JP11531796 A JP 11531796A JP H09284770 A JPH09284770 A JP H09284770A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- detected
- video signal
- predetermined time
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 ＧＯＰとは異なるＲＣＧＯＰによってレート
コントロールを行うことで、シーンチェンジと判定され
たフレームにＩピクチャを自由に移動することができる
ため、画質の劣化を抑えられる。 【解決手段】 フレームリオーダ回路４では、入力ビデ
オ信号がリオーダされたビデオ信号へ変換され、動き検
出回路５では、リオーダビデオ信号から動きベクトルと
ＭＥ残差が求められる。シーンチェンジ検出回路６で
は、ＭＥ残差からシーンチェンジが検出され、画像タイ
プが変更されると共に、ＲＣＧＯＰが設定される。遅延
メモリ７では、所定の時間リオーダビデオ信号が遅延さ
れる。符号化コントローラ１１では、画像タイプとＲＣ
ＧＯＰとから量子化回路１４の制御がなされ、すなわち
ビットレートが制御され、符号化が実行される。
コントロールを行うことで、シーンチェンジと判定され
たフレームにＩピクチャを自由に移動することができる
ため、画質の劣化を抑えられる。 【解決手段】 フレームリオーダ回路４では、入力ビデ
オ信号がリオーダされたビデオ信号へ変換され、動き検
出回路５では、リオーダビデオ信号から動きベクトルと
ＭＥ残差が求められる。シーンチェンジ検出回路６で
は、ＭＥ残差からシーンチェンジが検出され、画像タイ
プが変更されると共に、ＲＣＧＯＰが設定される。遅延
メモリ７では、所定の時間リオーダビデオ信号が遅延さ
れる。符号化コントローラ１１では、画像タイプとＲＣ
ＧＯＰとから量子化回路１４の制御がなされ、すなわち
ビットレートが制御され、符号化が実行される。
Description
【０００１】
【発明の属する技術分野】この発明は、例えばＭＰＥＧ
２に対して適用される画像符号化装置および方法に関す
る。
２に対して適用される画像符号化装置および方法に関す
る。
【０００２】
【従来の技術】ＭＰＥＧ２（Moving Picture Coding Ex
perts Group Phase 2 ）のテストモデル（ＴＭ）５で
は、通常伝送路に合わせてビットレートは、固定とされ
る。その固定とされたビットレートは、ＧＯＰ（Group
of Pictures ）の長さを１５とする。このように、ＴＭ
５では、一定レートの転送速度を持つチャンネルにデー
タを送出するために、発生情報量がＧＯＰやフレーム単
位に設定された目標ビット数に漸近するように、レート
コントロールが行われる。このＧＯＰには、１つのＩ
（Intra coded ）ピクチャと４つのＰ（Predictive cod
ed）ピクチャが含まれるように符号化がなされ（Ｍ＝
３）とされる。このＴＭ５では、符号化情報量がある範
囲に入っていれば、どのような手法を用いても良いとさ
れ、この手法の典型的な例を以下に示す。
perts Group Phase 2 ）のテストモデル（ＴＭ）５で
は、通常伝送路に合わせてビットレートは、固定とされ
る。その固定とされたビットレートは、ＧＯＰ（Group
of Pictures ）の長さを１５とする。このように、ＴＭ
５では、一定レートの転送速度を持つチャンネルにデー
タを送出するために、発生情報量がＧＯＰやフレーム単
位に設定された目標ビット数に漸近するように、レート
コントロールが行われる。このＧＯＰには、１つのＩ
（Intra coded ）ピクチャと４つのＰ（Predictive cod
ed）ピクチャが含まれるように符号化がなされ（Ｍ＝
３）とされる。このＴＭ５では、符号化情報量がある範
囲に入っていれば、どのような手法を用いても良いとさ
れ、この手法の典型的な例を以下に示す。
【０００３】まず、ステップ１では、これから符号化し
ようとする画像タイプによってどの程度情報量が必要か
をある数値で規格化して、相対的に見積もる。式（１）
で定義したＩピクチャ、Ｐピクチャ、Ｂピクチャの複雑
さ指標ＸI 、ＸP 、ＸB を更新する。ＳI 、ＳP 、ＳB
を発生ビット数、ＱI (ave) 、ＱP (ave) 、ＱB (ave)
を平均的な量子化パラメータとする。量子化パラメータ
は、１フレーム中の全てのマクロブロックのＭＱＵＡＮ
Ｔの平均値、ただし１〜３１の範囲に正規化されてい
る。複雑さ指標ＸI 、ＸP 、ＸB は、符号化情報量が多
く発生するような画像に対して大きくなり、高い圧縮率
が得られる画像に対しては小さくなる。
ようとする画像タイプによってどの程度情報量が必要か
をある数値で規格化して、相対的に見積もる。式（１）
で定義したＩピクチャ、Ｐピクチャ、Ｂピクチャの複雑
さ指標ＸI 、ＸP 、ＸB を更新する。ＳI 、ＳP 、ＳB
を発生ビット数、ＱI (ave) 、ＱP (ave) 、ＱB (ave)
を平均的な量子化パラメータとする。量子化パラメータ
は、１フレーム中の全てのマクロブロックのＭＱＵＡＮ
Ｔの平均値、ただし１〜３１の範囲に正規化されてい
る。複雑さ指標ＸI 、ＸP 、ＸB は、符号化情報量が多
く発生するような画像に対して大きくなり、高い圧縮率
が得られる画像に対しては小さくなる。
【０００４】 ＸI ＝ＳI ＱI (ave) 、ＸP ＝ＳP ＱP (ave) 、ＸB ＝ＳB ＱB (ave) （１）
【０００５】また、初期値ＸI (init)、ＸP (init)、Ｘ
B (init)は、 ＸI (init)＝１６０×Bit-rate／１１５ （２） ＸP (init)＝６０×Bit-rate／１１５ （３） ＸB (init)＝４２×Bit-rate／１１５ （４） で与えられる。
B (init)は、 ＸI (init)＝１６０×Bit-rate／１１５ （２） ＸP (init)＝６０×Bit-rate／１１５ （３） ＸB (init)＝４２×Bit-rate／１１５ （４） で与えられる。
【０００６】ここで、Bit-rateは、ビットレート（ビッ
ト／秒）である。ＧＯＰの中の次の画面の目標ビット数
ＴI 、ＴP 、ＴB は、式（５）、式（６）および式
（７）に示すようにＧＯＰの残りのビット数Ｒを、Ｉピ
クチャ、Ｐピクチャ、Ｂピクチャの残りのフレームの枚
数を自分のピクチャタイプに換算したもので割ることで
得られる。これは、ＧＯＰ中のまだ符号化していない画
像の全てが、これから符号化しようとするピクチャタイ
プであるとみなしたとき、１フレームあたり何ビット与
えることができるかの目安を与えるものである。
ト／秒）である。ＧＯＰの中の次の画面の目標ビット数
ＴI 、ＴP 、ＴB は、式（５）、式（６）および式
（７）に示すようにＧＯＰの残りのビット数Ｒを、Ｉピ
クチャ、Ｐピクチャ、Ｂピクチャの残りのフレームの枚
数を自分のピクチャタイプに換算したもので割ることで
得られる。これは、ＧＯＰ中のまだ符号化していない画
像の全てが、これから符号化しようとするピクチャタイ
プであるとみなしたとき、１フレームあたり何ビット与
えることができるかの目安を与えるものである。
【０００７】 ＴI ＝Ｒ／（１＋ＮP ＸP ／（ＸI ＫP ）＋ＮB ＸB ／（ＸI ＫB ）） （５） ＴP ＝Ｒ／（ＮP ＋ＮB ＫP ＸB ／（ＫB ＸP ）） （６） ＴB ＝Ｒ／（ＮB ＋ＮP ＫB ＸP ／（ＫP ＸB ）） （７）
【０００８】ＫP 、ＫB は、量子化マトリックスに依存
する恒常な定数であり、ＫP ＝1.0、ＫB ＝1.4 であ
る。ＮP 、ＮB は、ＧＯＰの中の符号化順でＰピクチ
ャ、Ｂピクチャの残ったフレームの枚数であり、画面の
符号化の後では、 Ｒ＝Ｒ−ＳI あるいはＲ＝Ｒ−ＳP あるいはＲ＝Ｒ−ＳB （８） である。
する恒常な定数であり、ＫP ＝1.0、ＫB ＝1.4 であ
る。ＮP 、ＮB は、ＧＯＰの中の符号化順でＰピクチ
ャ、Ｂピクチャの残ったフレームの枚数であり、画面の
符号化の後では、 Ｒ＝Ｒ−ＳI あるいはＲ＝Ｒ−ＳP あるいはＲ＝Ｒ−ＳB （８） である。
【０００９】また、ＧＯＰの最初の画面では、 Ｒ＝Ｇ＋Ｒ （９） Ｇ＝Bit-rate×Ｎ／Picture-rate に設定する。（ただし、Ｎ：ＧＯＰの中のピクチャの
数）
数）
【００１０】次のステップ２では、各フレームに含まれ
るマクロブロックを順次符号化してゆきながら、量子化
ステップを求める。符号化しようとしているフレームに
対する割り当て情報量の差をマクロブロック毎にフィー
ドバックし、実際の発生情報量が計画量より大きい場
合、発生情報量を減らすために量子化ステップは、大き
くされ、逆の場合、量子化ステップは小さくされる。
るマクロブロックを順次符号化してゆきながら、量子化
ステップを求める。符号化しようとしているフレームに
対する割り当て情報量の差をマクロブロック毎にフィー
ドバックし、実際の発生情報量が計画量より大きい場
合、発生情報量を減らすために量子化ステップは、大き
くされ、逆の場合、量子化ステップは小さくされる。
【００１１】まず、ｊ番目のマクロブロックの符号化の
前にＩピクチャ、Ｐピクチャ、Ｂピクチャのそれぞれの
フレームに対する仮想的なバッファの充満度を計算す
る。このバッファは、量子化ステップの計算だけに用い
るものである。初期バッファ状態をｄI （０）、ｄ
P （０）、ｄB （０）とする。
前にＩピクチャ、Ｐピクチャ、Ｂピクチャのそれぞれの
フレームに対する仮想的なバッファの充満度を計算す
る。このバッファは、量子化ステップの計算だけに用い
るものである。初期バッファ状態をｄI （０）、ｄ
P （０）、ｄB （０）とする。
【００１２】 ｄI （ｊ）＝ｄI （０）＋Ｂ（ｊ−１）−ＴI ×（ｊ−１）／ＭＢ-cnt （１０） ｄP （ｊ）＝ｄP （０）＋Ｂ（ｊ−１）−ＴP ×（ｊ−１）／ＭＢ-cnt （１１） ｄB （０）＝ｄB （０）＋Ｂ（ｊ−１）−ＴB ×（ｊ−１）／ＭＢ-cnt （１２）
【００１３】Ｂ（ｊ）は、ｊで示すマクロブロックを含
んだそれまでの全てのマクロブロックの符号化発生ビッ
ト数であり、ＭＢ-cntはピクチャ内のマクロブロック数
である。ピクチャ内の最後の充満度は、同タイプのピク
チャのｄI （０）、ｄP （０）、ｄB （０）と見なされ
る。
んだそれまでの全てのマクロブロックの符号化発生ビッ
ト数であり、ＭＢ-cntはピクチャ内のマクロブロック数
である。ピクチャ内の最後の充満度は、同タイプのピク
チャのｄI （０）、ｄP （０）、ｄB （０）と見なされ
る。
【００１４】マクロブロックｊの仮の量子化ステップＱ
（ｊ）は、 Ｑ（ｊ）＝ｄ（ｊ）×３１／ｒ （１３） ｒ＝２×Bit-rate／Picture-rate で与えられる。
（ｊ）は、 Ｑ（ｊ）＝ｄ（ｊ）×３１／ｒ （１３） ｒ＝２×Bit-rate／Picture-rate で与えられる。
【００１５】初期値は、 ｄI （０）＝１０×ｒ／３１ （１４） ｄP （０）＝ＫP ×ｄI （０） （１５） ｄB （０）＝ＫB ×ｄI （０） （１６） である。
【００１６】そして、ステップ３では、量子化パラメー
タの平均値をマクロブロック毎のアクティビティによっ
て変化させる。マクロブロックｊの空間的アクティビテ
ィ測定 act（ｊ）として、入力画像の輝度ブロック（マ
クロブロック中に４個含まれる）の画素値を使って式
（１７）を計算する。sblkは、輝度ブロックの番号を示
す。
タの平均値をマクロブロック毎のアクティビティによっ
て変化させる。マクロブロックｊの空間的アクティビテ
ィ測定 act（ｊ）として、入力画像の輝度ブロック（マ
クロブロック中に４個含まれる）の画素値を使って式
（１７）を計算する。sblkは、輝度ブロックの番号を示
す。
【００１７】 act（ｊ）＝１＋min （Var sblk） （１７） sblk＝１，４ ここで、
【００１８】
【数１】
【００１９】アクティビティ act（ｊ）を、平均的なア
クティビティの値からの偏りによって、〔２，１／２〕
の範囲に正規化した係数Ｎ-act（ｊ）を計算する。 Ｎ-act（ｊ）＝（２× act（ｊ）＋avg-act ）／（ act
（ｊ）＋２×avg-act） （１９）
クティビティの値からの偏りによって、〔２，１／２〕
の範囲に正規化した係数Ｎ-act（ｊ）を計算する。 Ｎ-act（ｊ）＝（２× act（ｊ）＋avg-act ）／（ act
（ｊ）＋２×avg-act） （１９）
【００２０】avg-act は、前の時刻の画像の act（ｊ）
の平均値であり、初期値は４００とする。この正規化し
た係数を用いて変調した量子化ステップは、式（２０）
で得られる。 ＭQ （ｊ）＝Ｑ（ｊ）×Ｎ-act（ｊ） （２０）
の平均値であり、初期値は４００とする。この正規化し
た係数を用いて変調した量子化ステップは、式（２０）
で得られる。 ＭQ （ｊ）＝Ｑ（ｊ）×Ｎ-act（ｊ） （２０）
【００２１】ＭQ （ｊ）は、〔１，３１〕の範囲の整数
にクリップされる。この変調によって、視覚特性上ノイ
ズに敏感なアクティビティの低い部分には細かな量子化
ステップが割り当てられ、逆にノイズの目立ちにくい、
変化の激しい部分には、粗い量子化ステップが割り当て
られる。
にクリップされる。この変調によって、視覚特性上ノイ
ズに敏感なアクティビティの低い部分には細かな量子化
ステップが割り当てられ、逆にノイズの目立ちにくい、
変化の激しい部分には、粗い量子化ステップが割り当て
られる。
【００２２】
【発明が解決しようとする課題】上述のような、ＴＭ５
の固定のＧＯＰ構造では、シーンチェンジのある場面
で、予測誤差が大きくなり、画質劣化が目立つ。そこ
で、シーンチェンジを検出し、検出したフレームのピク
チャタイプをＩピクチャに変更することで、画質改善を
図ることが知られている。
の固定のＧＯＰ構造では、シーンチェンジのある場面
で、予測誤差が大きくなり、画質劣化が目立つ。そこ
で、シーンチェンジを検出し、検出したフレームのピク
チャタイプをＩピクチャに変更することで、画質改善を
図ることが知られている。
【００２３】しかしながら、このような単純なＩピクチ
ャの追加や移動では、ＧＯＰの長さやピクチャタイプ
（Ｉピクチャ、Ｐピクチャ、Ｂ（Bi-directionally pre
dictive coded ）ピクチャ）のフレーム数の割合が変化
してしまうので、ＴＭ５のアルゴリズムでは、固定のビ
ットレートのレートコントロールができなくなる。
ャの追加や移動では、ＧＯＰの長さやピクチャタイプ
（Ｉピクチャ、Ｐピクチャ、Ｂ（Bi-directionally pre
dictive coded ）ピクチャ）のフレーム数の割合が変化
してしまうので、ＴＭ５のアルゴリズムでは、固定のビ
ットレートのレートコントロールができなくなる。
【００２４】一方、ＤＶＤ（Digital Video Disc）のエ
ンコードのように、２パス方式による場合、第１パス目
にエンコードされるデータを全て調べ、ＧＯＰ構造が予
め検出され、第２パス目の処理として、符号化を実行す
るので、ビットレート制御が可能となる。しかしなが
ら、衛星放送のように、リアルタイムにエンコードする
場合には、未来のＧＯＰ構造が判別されていないので、
２パス方式を使用することができない。
ンコードのように、２パス方式による場合、第１パス目
にエンコードされるデータを全て調べ、ＧＯＰ構造が予
め検出され、第２パス目の処理として、符号化を実行す
るので、ビットレート制御が可能となる。しかしなが
ら、衛星放送のように、リアルタイムにエンコードする
場合には、未来のＧＯＰ構造が判別されていないので、
２パス方式を使用することができない。
【００２５】従って、この発明の目的は、シーンチェン
ジが検出されたフレームをＩピクチャへ変更し、且つＴ
Ｍ５等の手法をそのまま使用してレートコントロールを
行うことができる画像符号化装置および方法を提供する
ことにある。
ジが検出されたフレームをＩピクチャへ変更し、且つＴ
Ｍ５等の手法をそのまま使用してレートコントロールを
行うことができる画像符号化装置および方法を提供する
ことにある。
【００２６】
【課題を解決するための手段】請求項１に記載の発明
は、入力ビデオ信号のシーンチェンジに対応して符号化
を行うようにした画像符号化装置において、入力ビデオ
信号から動き検出誤差と、動き検出誤差に基づいて動き
ベクトルを検出する動き検出手段と、入力ビデオ信号
と、検出された動きベクトルが供給され、入力ビデオ信
号を符号化する符号化手段と、動き検出誤差の１フレー
ムの累積を所定の時間保持し、所定の時間内のシーンの
変化点のフレームを検出し、検出したフレームのピクチ
ャタイプをフレーム内符号化フレームとすると共に、所
定の時間内に、フレーム内符号化フレームが常に１フレ
ーム存在するように制御する検出制御手段と、所定の時
間を単位として符号化手段の出力信号のレート制御を行
うレート制御手段とからなることを特徴とする画像符号
化装置である。
は、入力ビデオ信号のシーンチェンジに対応して符号化
を行うようにした画像符号化装置において、入力ビデオ
信号から動き検出誤差と、動き検出誤差に基づいて動き
ベクトルを検出する動き検出手段と、入力ビデオ信号
と、検出された動きベクトルが供給され、入力ビデオ信
号を符号化する符号化手段と、動き検出誤差の１フレー
ムの累積を所定の時間保持し、所定の時間内のシーンの
変化点のフレームを検出し、検出したフレームのピクチ
ャタイプをフレーム内符号化フレームとすると共に、所
定の時間内に、フレーム内符号化フレームが常に１フレ
ーム存在するように制御する検出制御手段と、所定の時
間を単位として符号化手段の出力信号のレート制御を行
うレート制御手段とからなることを特徴とする画像符号
化装置である。
【００２７】また、請求項６に記載の発明は、入力ビデ
オ信号のシーンチェンジに対応して符号化を行うように
した画像符号化方法において、入力ビデオ信号から動き
検出誤差と、動き検出誤差に基づいて動きベクトルを検
出するステップと、入力ビデオ信号と、検出された動き
ベクトルが供給され、入力ビデオ信号を符号化するステ
ップと、動き検出誤差の１フレームの累積を所定の時間
保持し、所定の時間内のシーンの変化点のフレームを検
出し、検出したフレームのピクチャタイプをフレーム内
符号化フレームとすると共に、所定の時間内に、フレー
ム内符号化フレームが常に１フレーム存在するように制
御するステップと、所定の時間を単位として符号化され
た出力信号のレート制御を行うステップとからなること
を特徴とする画像符号化方法である。
オ信号のシーンチェンジに対応して符号化を行うように
した画像符号化方法において、入力ビデオ信号から動き
検出誤差と、動き検出誤差に基づいて動きベクトルを検
出するステップと、入力ビデオ信号と、検出された動き
ベクトルが供給され、入力ビデオ信号を符号化するステ
ップと、動き検出誤差の１フレームの累積を所定の時間
保持し、所定の時間内のシーンの変化点のフレームを検
出し、検出したフレームのピクチャタイプをフレーム内
符号化フレームとすると共に、所定の時間内に、フレー
ム内符号化フレームが常に１フレーム存在するように制
御するステップと、所定の時間を単位として符号化され
た出力信号のレート制御を行うステップとからなること
を特徴とする画像符号化方法である。
【００２８】入力されたビデオ信号のシーンチェンジを
検出し、検出したシーンチェンジのフレームのピクチャ
タイプをＩピクチャへ変更する。レートコントロール用
のＧＯＰの長さを一定（１５）とし、且つ１つのＧＯＰ
に含まれる各ピクチャタイプの割合を変更しないように
制御する。このように、レートコントロール用のＧＯＰ
とＧＯＰとを切り離しすことによって、ＭＰＥＧ２のＴ
Ｍ５のような既存のレートコントロールを使用する。
検出し、検出したシーンチェンジのフレームのピクチャ
タイプをＩピクチャへ変更する。レートコントロール用
のＧＯＰの長さを一定（１５）とし、且つ１つのＧＯＰ
に含まれる各ピクチャタイプの割合を変更しないように
制御する。このように、レートコントロール用のＧＯＰ
とＧＯＰとを切り離しすことによって、ＭＰＥＧ２のＴ
Ｍ５のような既存のレートコントロールを使用する。
【００２９】
【発明の実施の形態】以下、この発明をＭＰＥＧ２、Ｔ
Ｍ５に対して適用した一実施例について図面を参照して
説明する。この発明の一実施例の構成を図１に示す。こ
の画像符号化装置は、動き検出／シーンチェンジ検出部
１と符号化部２とからなる。動き検出／シーンチェンジ
検出部１は、フレームリオーダ回路４、動き検出（Moti
on Estimation ）回路５、シーンチェンジ検出回路６、
遅延メモリ７、ＤＣ平均化回路８および検出回路９から
なり、符号化部２は、符号化コントローラ１１、減算器
１２、ＤＣＴ回路１３、量子化回路１４、可変長符号化
回路１５、動き補償回路１６、加算器１７、逆ＤＣＴ回
路１８および逆量子化回路１９からなる。
Ｍ５に対して適用した一実施例について図面を参照して
説明する。この発明の一実施例の構成を図１に示す。こ
の画像符号化装置は、動き検出／シーンチェンジ検出部
１と符号化部２とからなる。動き検出／シーンチェンジ
検出部１は、フレームリオーダ回路４、動き検出（Moti
on Estimation ）回路５、シーンチェンジ検出回路６、
遅延メモリ７、ＤＣ平均化回路８および検出回路９から
なり、符号化部２は、符号化コントローラ１１、減算器
１２、ＤＣＴ回路１３、量子化回路１４、可変長符号化
回路１５、動き補償回路１６、加算器１７、逆ＤＣＴ回
路１８および逆量子化回路１９からなる。
【００３０】３で示す入力端子からビデオ信号が供給さ
れる。このビデオ信号は、フレームリオーダ回路４へ供
給され、フレームの再構成が行われる。このフレームの
再構成の一例として、図２に示すように入力ビデオ信号
からリオーダ後のビデオ信号へピクチャタイプが再構成
される。まず、フレームリオーダ回路４では、最初のフ
レームがＩピクチャへ変更される。これは、Ｉピクチャ
がフレーム内符号化された画像であるため、復号化する
際、他のピクチャ（フレーム）を参照することなく再生
できるためである。これらより、Ｉピクチャは、「エン
トリ・ポイント」とも言われる。フレームリオーダ回路
４からのリオーダビデオ信号は、動き検出回路５、遅延
メモリ７およびＤＣ平均化回路８へ供給される。
れる。このビデオ信号は、フレームリオーダ回路４へ供
給され、フレームの再構成が行われる。このフレームの
再構成の一例として、図２に示すように入力ビデオ信号
からリオーダ後のビデオ信号へピクチャタイプが再構成
される。まず、フレームリオーダ回路４では、最初のフ
レームがＩピクチャへ変更される。これは、Ｉピクチャ
がフレーム内符号化された画像であるため、復号化する
際、他のピクチャ（フレーム）を参照することなく再生
できるためである。これらより、Ｉピクチャは、「エン
トリ・ポイント」とも言われる。フレームリオーダ回路
４からのリオーダビデオ信号は、動き検出回路５、遅延
メモリ７およびＤＣ平均化回路８へ供給される。
【００３１】動き検出回路５では、供給されたリオーダ
ビデオ信号から予測のための動き検出がなされ、動きベ
クトルと残留誤差が求められる。この動き検出の一例と
してブロックマッチングが用いられる。残留誤差（これ
をＭＥ残差と称する。）は、５フレームの予測画像と原
画とのそれぞれのフレーム差分の絶対値和からなる。Ｍ
Ｅ残差は、動き検出回路５からシーンチェンジ検出回路
６へ供給され、動きベクトルは、動き検出回路５から遅
延メモリ７へ供給される。また、この実施例では、Ｐピ
クチャからＩピクチャへの動き検出を必ず行う。
ビデオ信号から予測のための動き検出がなされ、動きベ
クトルと残留誤差が求められる。この動き検出の一例と
してブロックマッチングが用いられる。残留誤差（これ
をＭＥ残差と称する。）は、５フレームの予測画像と原
画とのそれぞれのフレーム差分の絶対値和からなる。Ｍ
Ｅ残差は、動き検出回路５からシーンチェンジ検出回路
６へ供給され、動きベクトルは、動き検出回路５から遅
延メモリ７へ供給される。また、この実施例では、Ｐピ
クチャからＩピクチャへの動き検出を必ず行う。
【００３２】シーンチェンジ検出回路６では、ＭＥ残差
を一定時間集計してシーンチェンジが検出され、検出さ
れたそのフレームにＩピクチャが割り当てられる。この
ようにピクチャタイプの変換が行われ、ＲＣＧＯＰ（Ra
te Control ＧＯＰ）およびピクチャタイプがシーンチ
ェンジ検出回路６から符号化部２へ供給される。
を一定時間集計してシーンチェンジが検出され、検出さ
れたそのフレームにＩピクチャが割り当てられる。この
ようにピクチャタイプの変換が行われ、ＲＣＧＯＰ（Ra
te Control ＧＯＰ）およびピクチャタイプがシーンチ
ェンジ検出回路６から符号化部２へ供給される。
【００３３】遅延メモリ７では、ｎフレーム分のリオー
ダビデオ信号と動きベクトルがシーンチェンジ検出回路
６で処理が実行されている間、遅延され、遅延された
後、符号化部２へ供給される。ＤＣ平均化回路８では、
供給されたリオーダビデオ信号の例えば、輝度信号の平
均値が算出され、検出回路９において、過去の輝度値の
平均値に対する急激な輝度値の変化に基づいてフラッシ
ュの発光が検出される。検出回路９の出力信号は、シー
ンチェンジ検出回路６へ供給される。
ダビデオ信号と動きベクトルがシーンチェンジ検出回路
６で処理が実行されている間、遅延され、遅延された
後、符号化部２へ供給される。ＤＣ平均化回路８では、
供給されたリオーダビデオ信号の例えば、輝度信号の平
均値が算出され、検出回路９において、過去の輝度値の
平均値に対する急激な輝度値の変化に基づいてフラッシ
ュの発光が検出される。検出回路９の出力信号は、シー
ンチェンジ検出回路６へ供給される。
【００３４】符号化部２へ供給されたＲＣＧＯＰおよび
ピクチャタイプは、符号化コントローラ１１へ供給さ
れ、リオーダビデオ信号と動きベクトルは、減算器１２
および動き補償（ＭＣ）回路１６へ供給される。符号化
コントローラ１１では、シーンチェンジ検出回路６から
のＲＣＧＯＰおよびピクチャタイプと、可変長符号化
（ＶＬＣ：Variable Length Coding）回路１５からの制
御信号とから量子化回路１４の量子化ステップを決定す
る。この量子化ステップのフィードバック制御によっ
て、レートコントロールがなされる。
ピクチャタイプは、符号化コントローラ１１へ供給さ
れ、リオーダビデオ信号と動きベクトルは、減算器１２
および動き補償（ＭＣ）回路１６へ供給される。符号化
コントローラ１１では、シーンチェンジ検出回路６から
のＲＣＧＯＰおよびピクチャタイプと、可変長符号化
（ＶＬＣ：Variable Length Coding）回路１５からの制
御信号とから量子化回路１４の量子化ステップを決定す
る。この量子化ステップのフィードバック制御によっ
て、レートコントロールがなされる。
【００３５】動き補償回路１６では、加算器１７からの
出力信号と、遅延メモリ７からのリオーダビデオ信号と
動きベクトルから動き補償が行われる。動き補償が行わ
れた信号は、減算器１２および加算器１７へ供給され
る。減算器１２では、遅延メモリ７からのリオーダビデ
オ信号から動き補償回路１６からのビデオ信号が減算さ
れ、その差分値がＤＣＴ（Discrete Cosine Transfrom
）回路１３へ供給される。ＤＣＴ回路１３では、その
差分値に対してＤＣＴの処理が施され、ＤＣＴ係数デー
タが発生する。このＤＣＴ係数データが量子化回路１４
において、量子化される。この量子化値は、可変長符号
化回路１５へ供給されると共に、逆量子化回路１９およ
び逆ＤＣＴ回路１８を介して加算器１７へ供給される。
出力信号と、遅延メモリ７からのリオーダビデオ信号と
動きベクトルから動き補償が行われる。動き補償が行わ
れた信号は、減算器１２および加算器１７へ供給され
る。減算器１２では、遅延メモリ７からのリオーダビデ
オ信号から動き補償回路１６からのビデオ信号が減算さ
れ、その差分値がＤＣＴ（Discrete Cosine Transfrom
）回路１３へ供給される。ＤＣＴ回路１３では、その
差分値に対してＤＣＴの処理が施され、ＤＣＴ係数デー
タが発生する。このＤＣＴ係数データが量子化回路１４
において、量子化される。この量子化値は、可変長符号
化回路１５へ供給されると共に、逆量子化回路１９およ
び逆ＤＣＴ回路１８を介して加算器１７へ供給される。
【００３６】可変長符号化回路１５では、供給された量
子化値に対して可変長符号化がなされ、またビットレー
トを固定化するために、可変長符号化された出力のバッ
ファの占有の割合を表す制御信号を符号化コントローラ
１１へ供給する。すなわち、バッファの残量が監視さ
れ、その残量に応じて量子化ステップが制御される。こ
のようなレートコントロールのアルゴリズムとして、可
変長符号化がなされた信号は、ビットストリームとして
出力端子２０から伝送される。
子化値に対して可変長符号化がなされ、またビットレー
トを固定化するために、可変長符号化された出力のバッ
ファの占有の割合を表す制御信号を符号化コントローラ
１１へ供給する。すなわち、バッファの残量が監視さ
れ、その残量に応じて量子化ステップが制御される。こ
のようなレートコントロールのアルゴリズムとして、可
変長符号化がなされた信号は、ビットストリームとして
出力端子２０から伝送される。
【００３７】上述のシーンチェンジ検出回路６における
ＴＭ５が用いられるシーンチェンジの検出について説明
する。最初にＩピクチャをＰピクチャと同じ扱いにして
３フレーム前からの予測を行う。上述したように予測
は、動き検出回路５で行われ、動きベクトルとＭＥ残差
が得られる。この動き検出回路５では、１５フレーム内
に５枚のＰピクチャが存在するので５つのＭＥ残差が求
められる。次に、ＭＥ残差を１５フレーム単位で５枚の
Ｐピクチャについて比較し、シーンチェンジの検出が行
われる。このシーンチェンジの判定は、例えば過去ｎ枚
のフレームＰ０のＭＥ残差の平均値より２倍以上大きい
ＭＥ残差が現フレームＰ０から検出された場合、この現
Ｐ０フレームをシーンチェンジであると判定する。
ＴＭ５が用いられるシーンチェンジの検出について説明
する。最初にＩピクチャをＰピクチャと同じ扱いにして
３フレーム前からの予測を行う。上述したように予測
は、動き検出回路５で行われ、動きベクトルとＭＥ残差
が得られる。この動き検出回路５では、１５フレーム内
に５枚のＰピクチャが存在するので５つのＭＥ残差が求
められる。次に、ＭＥ残差を１５フレーム単位で５枚の
Ｐピクチャについて比較し、シーンチェンジの検出が行
われる。このシーンチェンジの判定は、例えば過去ｎ枚
のフレームＰ０のＭＥ残差の平均値より２倍以上大きい
ＭＥ残差が現フレームＰ０から検出された場合、この現
Ｐ０フレームをシーンチェンジであると判定する。
【００３８】すなわち、現フレームのＭＥ残差をＭＥＲ
ｉとすると、
ｉとすると、
【数２】 を満足する場合にシーンチェンジと判定する。
【００３９】ここでｎは、１以上の整数であり、ｎを小
さくすれば、ＭＥ残差を平均する範囲を小さくすること
になる。最も簡単な例としてｎ＝１の時は、直前のＰピ
クチャと比較することになる。図３Ａに示す例では、過
去ｎ枚のフレームＰ２のＭＥ残差の平均値より２倍以上
大きいＭＥ残差がフレームＰ２で検出された一例であ
る。この図３では、説明を容易とするため、Ｐ０〜Ｐ４
までの平均値を均一とし、点線で示す。図３Ｂの例は、
シーンチェンジが検出されなかった例である。また、図
３Ｃおよび図３Ｄでは、５枚のＰピクチャの中にシーン
チェンジと判定されるフレームが複数存在する例をそれ
ぞれ示す。このように、１５フレーム中に複数のシーン
チェンジが存在する場合、時間的に最も後のフレームが
１５フレーム中のシーンチェンジとして選択される。こ
のシーンチェンジの検出が行われるまで、画像とそれに
付随する動きベクトルは、遅延メモリ７に蓄えられて１
５フレーム以上遅延させる。
さくすれば、ＭＥ残差を平均する範囲を小さくすること
になる。最も簡単な例としてｎ＝１の時は、直前のＰピ
クチャと比較することになる。図３Ａに示す例では、過
去ｎ枚のフレームＰ２のＭＥ残差の平均値より２倍以上
大きいＭＥ残差がフレームＰ２で検出された一例であ
る。この図３では、説明を容易とするため、Ｐ０〜Ｐ４
までの平均値を均一とし、点線で示す。図３Ｂの例は、
シーンチェンジが検出されなかった例である。また、図
３Ｃおよび図３Ｄでは、５枚のＰピクチャの中にシーン
チェンジと判定されるフレームが複数存在する例をそれ
ぞれ示す。このように、１５フレーム中に複数のシーン
チェンジが存在する場合、時間的に最も後のフレームが
１５フレーム中のシーンチェンジとして選択される。こ
のシーンチェンジの検出が行われるまで、画像とそれに
付随する動きベクトルは、遅延メモリ７に蓄えられて１
５フレーム以上遅延させる。
【００４０】通常は、ＧＯＰの先頭は、Ｉピクチャであ
るが、この実施例では、ある一定時間内の１５フレーム
中の５枚のＰピクチャのうち１枚をＩピクチャとする。
例えば、１５フレーム中の何処かのフレームにシーンチ
ェンジが検出された場合、シーンチェンジが検出された
そのフレームをＩピクチャとする。シーンチェンジがな
い場合、その前の１５フレームの状態によりＩピクチャ
の位置が決定される。この１５フレームがレートコント
ロールの単位としてＲＣＧＯＰである。このＲＣＧＯＰ
は、ＭＰＥＧで用いられるＧＯＰとは、異なるものであ
る。
るが、この実施例では、ある一定時間内の１５フレーム
中の５枚のＰピクチャのうち１枚をＩピクチャとする。
例えば、１５フレーム中の何処かのフレームにシーンチ
ェンジが検出された場合、シーンチェンジが検出された
そのフレームをＩピクチャとする。シーンチェンジがな
い場合、その前の１５フレームの状態によりＩピクチャ
の位置が決定される。この１５フレームがレートコント
ロールの単位としてＲＣＧＯＰである。このＲＣＧＯＰ
は、ＭＰＥＧで用いられるＧＯＰとは、異なるものであ
る。
【００４１】図４に示すように、５つのＰピクチャの中
に１つのＩピクチャが存在し、そのＩピクチャの位置に
よって、Ｉ０、Ｉ１、Ｉ２、Ｉ３、Ｉ４の５通りの状態
が存在する。各ＧＯＰの先頭は、Ｉピクチャであるの
で、ＲＣＧＯＰとＧＯＰの長さの関係は、図５のように
現在の状態と次の状態の関数になる。したがって、ＧＯ
Ｐの長さは、３〜２７まで変化することができる。ま
た、シーンチェンジのない画像が連続した場合、定常状
態を決めておくことが好ましい。この一実施例では、定
常状態をＩ２とし、ＧＯＰの間隔を0.5 秒とする。この
理由としては、チャンネルの切り換え時またはランダム
アクセス時などに早く応答するためである。
に１つのＩピクチャが存在し、そのＩピクチャの位置に
よって、Ｉ０、Ｉ１、Ｉ２、Ｉ３、Ｉ４の５通りの状態
が存在する。各ＧＯＰの先頭は、Ｉピクチャであるの
で、ＲＣＧＯＰとＧＯＰの長さの関係は、図５のように
現在の状態と次の状態の関数になる。したがって、ＧＯ
Ｐの長さは、３〜２７まで変化することができる。ま
た、シーンチェンジのない画像が連続した場合、定常状
態を決めておくことが好ましい。この一実施例では、定
常状態をＩ２とし、ＧＯＰの間隔を0.5 秒とする。この
理由としては、チャンネルの切り換え時またはランダム
アクセス時などに早く応答するためである。
【００４２】図６を用いて、この発明の状態遷移を説明
する。図６Ａは、符号化開始時の状態遷移を示し、符号
化開始時は、シーンチェンジに拘らず、最初のフレーム
をＩピクチャでエンコードするため、ＲＣＧＯＰの状態
パラメータは、状態Ｉ０からスタートする。以降、シー
ンチェンジがなければ、ＲＣＧＯＰの状態パラメータ
は、Ｉ１からＩ２へ状態を遷移して、定常状態に遷移す
る。そのときの、ＧＯＰの長さは、１８、１８、１５と
遷移する。
する。図６Ａは、符号化開始時の状態遷移を示し、符号
化開始時は、シーンチェンジに拘らず、最初のフレーム
をＩピクチャでエンコードするため、ＲＣＧＯＰの状態
パラメータは、状態Ｉ０からスタートする。以降、シー
ンチェンジがなければ、ＲＣＧＯＰの状態パラメータ
は、Ｉ１からＩ２へ状態を遷移して、定常状態に遷移す
る。そのときの、ＧＯＰの長さは、１８、１８、１５と
遷移する。
【００４３】そして、シーンチェンジと判定された場
合、Ｉピクチャの移動が自由にできる。例えば、定常状
態の状態Ｉ２のときにシーンチェンジが判定されると、
ＧＯＰの長さが９〜２１で変化することができる。図６
Ｂに示すように、シーンチェンジが判定された場合、シ
ーンチェンジと判定されたフレームは、Ｐピクチャから
Ｉピクチャへ変更される。同じＲＣＧＯＰに含まれるＩ
ピクチャは、Ｐピクチャへ変更される。そして、このＲ
ＣＧＯＰの状態パラメータは、状態Ｉ４となり、ＧＯＰ
の長さは、２１となる。その後、ＲＣＧＯＰの状態パラ
メータは、Ｉ３からＩ２へ状態を遷移して、定常状態に
遷移する。そのときの、ＧＯＰの長さは、１２、１２、
１５と遷移する。
合、Ｉピクチャの移動が自由にできる。例えば、定常状
態の状態Ｉ２のときにシーンチェンジが判定されると、
ＧＯＰの長さが９〜２１で変化することができる。図６
Ｂに示すように、シーンチェンジが判定された場合、シ
ーンチェンジと判定されたフレームは、Ｐピクチャから
Ｉピクチャへ変更される。同じＲＣＧＯＰに含まれるＩ
ピクチャは、Ｐピクチャへ変更される。そして、このＲ
ＣＧＯＰの状態パラメータは、状態Ｉ４となり、ＧＯＰ
の長さは、２１となる。その後、ＲＣＧＯＰの状態パラ
メータは、Ｉ３からＩ２へ状態を遷移して、定常状態に
遷移する。そのときの、ＧＯＰの長さは、１２、１２、
１５と遷移する。
【００４４】このときの状態遷移図は、図７のようにな
り、状態遷移表は、図８のようになる。図７の状態遷移
図に示すように、シーンチェンジがないとき実線で示す
状態遷移が実行され、シーンチェンジが判定されたとき
破線で示す状態遷移が実行される。図８の状態遷移表
は、シーンチェンジがないとき丸印で囲んだＧＯＰの長
さとなり、シーンチェンジが判定されたとき星印で囲ん
だＧＯＰの長さとなる。しかしならが、一般の画像で
は、シーンチェンジとシーンチェンジとの間隔は、２秒
以上あるので、次のシーンチェンジまでに状態Ｉ２の定
常状態に戻っている確率が高い。
り、状態遷移表は、図８のようになる。図７の状態遷移
図に示すように、シーンチェンジがないとき実線で示す
状態遷移が実行され、シーンチェンジが判定されたとき
破線で示す状態遷移が実行される。図８の状態遷移表
は、シーンチェンジがないとき丸印で囲んだＧＯＰの長
さとなり、シーンチェンジが判定されたとき星印で囲ん
だＧＯＰの長さとなる。しかしならが、一般の画像で
は、シーンチェンジとシーンチェンジとの間隔は、２秒
以上あるので、次のシーンチェンジまでに状態Ｉ２の定
常状態に戻っている確率が高い。
【００４５】このＲＣＧＯＰの区切り情報と、Ｉピクチ
ャの位置情報は、動きベクトルと同様にシーンチェンジ
検出回路６から符号化部２の符号化コントローラ１１へ
供給される。
ャの位置情報は、動きベクトルと同様にシーンチェンジ
検出回路６から符号化部２の符号化コントローラ１１へ
供給される。
【００４６】上述のように、符号化部２では、１５フレ
ームのＲＣＧＯＰ内にＩピクチャが１個、Ｐピクチャが
４個、Ｂピクチャが１０個となる組み合わせが一定であ
る。よって、ＲＣＧＯＰ単位でのレートコントロール
は、ＴＭ５と同じように処理を施すことができる。シー
ンチェンジ検出回路６からは、Ｉピクチャの位置情報が
得られるので、そのフレームの直前にＧＯＰヘッダを出
力し、Ｉピクチャをフレーム内で符号化する。その結
果、事前に画像の状態をすべて調査する（第１パス目）
ことなしに、リアルタイムに固定レートの符号化が可能
となる。
ームのＲＣＧＯＰ内にＩピクチャが１個、Ｐピクチャが
４個、Ｂピクチャが１０個となる組み合わせが一定であ
る。よって、ＲＣＧＯＰ単位でのレートコントロール
は、ＴＭ５と同じように処理を施すことができる。シー
ンチェンジ検出回路６からは、Ｉピクチャの位置情報が
得られるので、そのフレームの直前にＧＯＰヘッダを出
力し、Ｉピクチャをフレーム内で符号化する。その結
果、事前に画像の状態をすべて調査する（第１パス目）
ことなしに、リアルタイムに固定レートの符号化が可能
となる。
【００４７】ここで、このシーンチェンジ検出の一例を
図９のフローチャートに示す。このフローチャートの制
御は、ステップＳ１から始まり、このステップＳ１で
は、ＲＣＧＯＰの状態パラメータがＩ０に設定される。
ステップＳ２では、動きベクトルの検出が行われ、その
結果、ステップＳ３において、シーンチェンジか否かが
判定される。シーンチェンジと判定されるた場合、ステ
ップＳ４へ制御が移り、シーンチェンジでないと判定さ
れた場合、ステップＳ８へ制御が移る。ステップＳ４で
は、ＲＣＧＯＰの状態パラメータが変更される。まず、
シーンチェンジが検出されたフレームをＩピクチャへ変
更するために、最適な状態パラメータへ変更される。
図９のフローチャートに示す。このフローチャートの制
御は、ステップＳ１から始まり、このステップＳ１で
は、ＲＣＧＯＰの状態パラメータがＩ０に設定される。
ステップＳ２では、動きベクトルの検出が行われ、その
結果、ステップＳ３において、シーンチェンジか否かが
判定される。シーンチェンジと判定されるた場合、ステ
ップＳ４へ制御が移り、シーンチェンジでないと判定さ
れた場合、ステップＳ８へ制御が移る。ステップＳ４で
は、ＲＣＧＯＰの状態パラメータが変更される。まず、
シーンチェンジが検出されたフレームをＩピクチャへ変
更するために、最適な状態パラメータへ変更される。
【００４８】ステップＳ５では、変更された状態パラメ
ータに応じてピクチャタイプが変更される。すなわち、
シーンチェンジが検出されたフレームをＩピクチャへ変
更し、同一のＲＣＧＯＰ内にＩピクチャが存在する場
合、そのＩピクチャは、Ｐピクチャへ変更される。ステ
ップＳ８では、状態パラメータが定常状態（Ｉ２）か否
かが判断され、定常状態であると判断された場合、ステ
ップＳ６へ制御が移り、定常状態でないと判断された場
合、ステップＳ９へ制御が移る。ステップＳ９では、状
態パラメータが変更され、状態Ｉ０の場合、状態Ｉ１へ
変更され、状態Ｉ１の場合、状態Ｉ２へ変更され、状態
Ｉ３の場合、状態Ｉ２へ変更され、状態Ｉ４の場合、状
態Ｉ３へ変更される。
ータに応じてピクチャタイプが変更される。すなわち、
シーンチェンジが検出されたフレームをＩピクチャへ変
更し、同一のＲＣＧＯＰ内にＩピクチャが存在する場
合、そのＩピクチャは、Ｐピクチャへ変更される。ステ
ップＳ８では、状態パラメータが定常状態（Ｉ２）か否
かが判断され、定常状態であると判断された場合、ステ
ップＳ６へ制御が移り、定常状態でないと判断された場
合、ステップＳ９へ制御が移る。ステップＳ９では、状
態パラメータが変更され、状態Ｉ０の場合、状態Ｉ１へ
変更され、状態Ｉ１の場合、状態Ｉ２へ変更され、状態
Ｉ３の場合、状態Ｉ２へ変更され、状態Ｉ４の場合、状
態Ｉ３へ変更される。
【００４９】ステップＳ６では、設定されたＧＯＰの長
さに応じて符号化が実行される。ステップＳ７では、終
了か否かが判断され、終了と判断された場合、このフロ
ーチャートの制御は終了し、終了でないと判断された場
合、ステップＳ２へ制御が移る。
さに応じて符号化が実行される。ステップＳ７では、終
了か否かが判断され、終了と判断された場合、このフロ
ーチャートの制御は終了し、終了でないと判断された場
合、ステップＳ２へ制御が移る。
【００５０】以下に、この発明の他の実施例を説明す
る。上述の一実施例では、ＧＯＰの長さを３〜２７まで
変化させることができるが、アプリケーションによって
は、ＧＯＰの長さに制限が必要である。例えば、ＤＶＤ
では、ＧＯＰの長さが１８までとされていることから、
この他の実施例では、ＧＯＰの長さを６〜１８までに制
限する。このような場合には、図１０に示すような状態
遷移図とすることで可能となる。シーンチェンジと判定
されたため、図に示すようにＧＯＰの長さが３となる状
態またはＧＯＰの長さが１８以上となる状態へ遷移した
場合、その状態遷移を禁止し、Ｉピクチャをもう１枚追
加するようにしても良い。その場合、ピクチャタイプの
枚数の組み合わせは、変わるが１５フレーム遅延してい
る間に、各ピクチャの枚数は、決定できるので、その組
み合わせ情報を符号化部２へ伝送すれば良い。この場合
の状態遷移図を図１１に示し、状態遷移表を図１２に示
す。図１０および図１２において、アミ掛けの部分は、
遷移禁止状態であり、この他の実施例では、定常状態
は、Ｉ３とする。
る。上述の一実施例では、ＧＯＰの長さを３〜２７まで
変化させることができるが、アプリケーションによって
は、ＧＯＰの長さに制限が必要である。例えば、ＤＶＤ
では、ＧＯＰの長さが１８までとされていることから、
この他の実施例では、ＧＯＰの長さを６〜１８までに制
限する。このような場合には、図１０に示すような状態
遷移図とすることで可能となる。シーンチェンジと判定
されたため、図に示すようにＧＯＰの長さが３となる状
態またはＧＯＰの長さが１８以上となる状態へ遷移した
場合、その状態遷移を禁止し、Ｉピクチャをもう１枚追
加するようにしても良い。その場合、ピクチャタイプの
枚数の組み合わせは、変わるが１５フレーム遅延してい
る間に、各ピクチャの枚数は、決定できるので、その組
み合わせ情報を符号化部２へ伝送すれば良い。この場合
の状態遷移図を図１１に示し、状態遷移表を図１２に示
す。図１０および図１２において、アミ掛けの部分は、
遷移禁止状態であり、この他の実施例では、定常状態
は、Ｉ３とする。
【００５１】また、上述したＤＣ平均化回路８および検
出回路９によって検出されるフラッシュの発光は、それ
によって１フレームだけＭＥ残差が増加し、シーンチェ
ンジと判定される可能性がある。しかしながら、フラッ
シュの発光されたフレームをＩピクチャにすると画質は
かえって悪くなる。そこで、フレームの画像の平均値、
すなわちＤＣ値を調査し、ＭＥ残差が大きくてもそのフ
レームだけ他のフレームに比べてＤＣ値が大きくなって
いる場合には、Ｉピクチャに変更せず、その直後のＰピ
クチャをＩピクチャに変更する。このような場合、相関
のあるフレーム同士を予測することによって、画質劣化
を防ぐことができる。
出回路９によって検出されるフラッシュの発光は、それ
によって１フレームだけＭＥ残差が増加し、シーンチェ
ンジと判定される可能性がある。しかしながら、フラッ
シュの発光されたフレームをＩピクチャにすると画質は
かえって悪くなる。そこで、フレームの画像の平均値、
すなわちＤＣ値を調査し、ＭＥ残差が大きくてもそのフ
レームだけ他のフレームに比べてＤＣ値が大きくなって
いる場合には、Ｉピクチャに変更せず、その直後のＰピ
クチャをＩピクチャに変更する。このような場合、相関
のあるフレーム同士を予測することによって、画質劣化
を防ぐことができる。
【００５２】この実施例では、ＲＣＧＯＰの状態パラメ
ータは、１つづつ遷移しているが、これは、隣合うＧＯ
Ｐの長さの変化を少なくするためであり、これによっ
て、チャンネル切り換え時またはランダムアクセス時な
どのアクセス時間を略々一定にできる。
ータは、１つづつ遷移しているが、これは、隣合うＧＯ
Ｐの長さの変化を少なくするためであり、これによっ
て、チャンネル切り換え時またはランダムアクセス時な
どのアクセス時間を略々一定にできる。
【００５３】
【発明の効果】この発明に依れば、リアルタイムでシー
ンチェンジが検出され、検出されたシーンチェンジをＩ
ピクチャへ変更することで画質改善が可能となる。さら
に、フラッシュの発光されたフレームを検出することが
でき、画質劣化を防ぐことができる。
ンチェンジが検出され、検出されたシーンチェンジをＩ
ピクチャへ変更することで画質改善が可能となる。さら
に、フラッシュの発光されたフレームを検出することが
でき、画質劣化を防ぐことができる。
【００５４】また、この発明に依れば、ＧＯＰとＲＣＧ
ＯＰのレートコントロールを独立させ、リアルタイムに
固定レート符号化ができる。さらに、ＧＯＰの長さに制
限を加えることができる。
ＯＰのレートコントロールを独立させ、リアルタイムに
固定レート符号化ができる。さらに、ＧＯＰの長さに制
限を加えることができる。
【図１】この発明の画像符号化装置の一実施例のブロッ
ク図である。
ク図である。
【図２】この発明に係るフレームリオーダの説明に用い
る一例である。
る一例である。
【図３】この発明に係るシーンチェンジ検出の説明に用
いる一例である。
いる一例である。
【図４】この発明に係るＲＣＧＯＰの状態パラメータを
説明するための一例である。
説明するための一例である。
【図５】この発明のＲＣＧＯＰとＧＯＰの長さの関係の
一実施例である。
一実施例である。
【図６】この発明のシーンチェンジの検出の説明に用い
る一例である。
る一例である。
【図７】この発明の状態遷移図の一実施例である。
【図８】この発明の状態遷移表の一実施例である。
【図９】この発明の状態パラメータ変更の一実施例とな
るフローチャートである。
るフローチャートである。
【図１０】この発明のＲＣＧＯＰとＧＯＰの長さの関係
の他の実施例である。
の他の実施例である。
【図１１】この発明の状態遷移図の他の実施例である。
【図１２】この発明の状態遷移表の他の実施例である。
１・・・動き検出／シーンチェンジ検出部、２・・・符
号化部、４・・・フレームリオーダ回路、５・・・動き
検出回路、６・・・シーンチェンジ検出回路、７・・・
遅延メモリ、８・・・ＤＣ平均化回路、９・・・検出回
路、１１・・・符号化コントローラ、１３・・・ＤＣＴ
回路、１４・・・量子化回路、１５・・・可変長符号化
回路、１６・・・動き補償回路、１８・・・逆ＤＣＴ回
路、１９・・・逆量子化回路
号化部、４・・・フレームリオーダ回路、５・・・動き
検出回路、６・・・シーンチェンジ検出回路、７・・・
遅延メモリ、８・・・ＤＣ平均化回路、９・・・検出回
路、１１・・・符号化コントローラ、１３・・・ＤＣＴ
回路、１４・・・量子化回路、１５・・・可変長符号化
回路、１６・・・動き補償回路、１８・・・逆ＤＣＴ回
路、１９・・・逆量子化回路
Claims (6)
- 【請求項１】 入力ビデオ信号のシーンチェンジに対応
して符号化を行うようにした画像符号化装置において、 上記入力ビデオ信号から動き検出誤差と、上記動き検出
誤差に基づいて動きベクトルを検出する動き検出手段
と、 上記入力ビデオ信号と、上記検出された動きベクトルが
供給され、上記入力ビデオ信号を符号化する符号化手段
と、 上記動き検出誤差の１フレームの累積を所定の時間保持
し、上記所定の時間内のシーンの変化点のフレームを検
出し、検出した上記フレームのピクチャタイプをフレー
ム内符号化フレームとすると共に、上記所定の時間内
に、上記フレーム内符号化フレームが常に１フレーム存
在するように制御する検出制御手段と、 上記所定の時間を単位として上記符号化手段の出力信号
のレート制御を行うレート制御手段とからなることを特
徴とする画像符号化装置。 - 【請求項２】 請求項１に記載の画像符号化装置におい
て、 上記所定の時間内に複数のシーンの変化点のフレームを
検出した場合、最後に検出されたフレームを上記所定の
時間内のシーンの変化点のフレームとすることを特徴と
する画像符号化装置。 - 【請求項３】 請求項１に記載の画像符号化装置におい
て、 上記検出制御手段は、定常状態では、上記所定の時間内
の中央付近に上記フレーム内符号化フレームを配置する
ことを特徴とする画像符号化装置。 - 【請求項４】 請求項３に記載の画像符号化装置におい
て、 上記検出制御手段は、ＧＯＰの長さの急激な変化を抑え
ながら、上記フレーム内符号化フレームを上記中央付近
に遷移することを特徴とする画像符号化装置。 - 【請求項５】 請求項１に記載の画像符号化装置におい
て、 上記検出制御手段は、制御の結果、ＧＯＰの長さを所定
の範囲内に制限することを特徴とする画像符号化装置。 - 【請求項６】 入力ビデオ信号のシーンチェンジに対応
して符号化を行うようにした画像符号化方法において、 上記入力ビデオ信号から動き検出誤差と、上記動き検出
誤差に基づいて動きベクトルを検出するステップと、 上記入力ビデオ信号と、上記検出された動きベクトルが
供給され、上記入力ビデオ信号を符号化するステップ
と、 上記動き検出誤差の１フレームの累積を所定の時間保持
し、上記所定の時間内のシーンの変化点のフレームを検
出し、検出した上記フレームのピクチャタイプをフレー
ム内符号化フレームとすると共に、上記所定の時間内
に、上記フレーム内符号化フレームが常に１フレーム存
在するように制御するステップと、 上記所定の時間を単位として上記符号化された出力信号
のレート制御を行うステップとからなることを特徴とす
る画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11531796A JPH09284770A (ja) | 1996-04-13 | 1996-04-13 | 画像符号化装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11531796A JPH09284770A (ja) | 1996-04-13 | 1996-04-13 | 画像符号化装置および方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09284770A true JPH09284770A (ja) | 1997-10-31 |
Family
ID=14659618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11531796A Pending JPH09284770A (ja) | 1996-04-13 | 1996-04-13 | 画像符号化装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09284770A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002502158A (ja) * | 1998-01-21 | 2002-01-22 | サーノフ コーポレイション | 符号化システムを改善するために付随情報を使用する装置及び方法 |
| JP2009512400A (ja) * | 2005-10-17 | 2009-03-19 | クゥアルコム・インコーポレイテッド | ビデオストリーミングにおけるショット検出のための方法および装置 |
| JP2009077382A (ja) * | 2007-08-27 | 2009-04-09 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2009532741A (ja) * | 2006-04-03 | 2009-09-10 | クゥアルコム・インコーポレイテッド | 顕微鏡スライド自動読み取りシステム |
| JP2011091772A (ja) * | 2009-10-26 | 2011-05-06 | Canon Inc | 画像符号化装置 |
| US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
-
1996
- 1996-04-13 JP JP11531796A patent/JPH09284770A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002502158A (ja) * | 1998-01-21 | 2002-01-22 | サーノフ コーポレイション | 符号化システムを改善するために付随情報を使用する装置及び方法 |
| US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
| US9071822B2 (en) | 2005-09-27 | 2015-06-30 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
| US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
| US9088776B2 (en) | 2005-09-27 | 2015-07-21 | Qualcomm Incorporated | Scalability techniques based on content information |
| US9113147B2 (en) | 2005-09-27 | 2015-08-18 | Qualcomm Incorporated | Scalability techniques based on content information |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| JP2009512400A (ja) * | 2005-10-17 | 2009-03-19 | クゥアルコム・インコーポレイテッド | ビデオストリーミングにおけるショット検出のための方法および装置 |
| JP2009532741A (ja) * | 2006-04-03 | 2009-09-10 | クゥアルコム・インコーポレイテッド | 顕微鏡スライド自動読み取りシステム |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| JP2009077383A (ja) * | 2007-08-27 | 2009-04-09 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2009077382A (ja) * | 2007-08-27 | 2009-04-09 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2011091772A (ja) * | 2009-10-26 | 2011-05-06 | Canon Inc | 画像符号化装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100391027B1 (ko) | 비디오정보를예측부호화하는방법및장치 | |
| US5682204A (en) | Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level | |
| US5878166A (en) | Field frame macroblock encoding decision | |
| US6907069B2 (en) | Picture coding apparatus, picture coding method, and recording medium having picture coding program recorded thereon | |
| KR100880055B1 (ko) | 디지털 비디오 트랜스코더에서 수신된 비트스트림에서의 픽처 및 픽처의 시퀀스를 코딩하기 위해 비트를 할당하는 방법 및 장치 | |
| KR100626994B1 (ko) | 가변 비트 레이트 비디오 코딩 방법 및 대응 비디오 코더 | |
| US9258567B2 (en) | Method and system for using motion prediction to equalize video quality across intra-coded frames | |
| JP4373609B2 (ja) | 映像データストリームの適応的符号化方法と装置 | |
| US20070199011A1 (en) | System and method for high quality AVC encoding | |
| US5761398A (en) | Three stage hierarchal motion vector determination | |
| US5764293A (en) | Method of encoding video using master and slave encoders wherein bit budgets for frames to be encoded are based on encoded frames | |
| WO1999063760A1 (en) | Sequence adaptive bit allocation for pictures encoding | |
| US6697430B1 (en) | MPEG encoder | |
| JP4257655B2 (ja) | 動画像符号化装置 | |
| JPH09284770A (ja) | 画像符号化装置および方法 | |
| JP2007527642A (ja) | 低複雑度ノイズ低減を行うビデオ・エンコーダ | |
| JP4120934B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JPH06350995A (ja) | 動画像処理方法 | |
| JPH0795564A (ja) | 動画像符号化装置 | |
| WO2005004487A1 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP3428332B2 (ja) | 画像符号化方法及び装置、並びに画像伝送方法 | |
| JP2001238215A (ja) | 動画像符号化装置及びその方法 | |
| JPH07135657A (ja) | 符号化方法と符号化装置 | |
| WO1996033573A1 (en) | Device and method for coding moving image | |
| JP2000188735A (ja) | 動きベクトル検出装置及びこれを用いた動画像符号化装置 |