JP3626779B2 - 画像符号化方法及び装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、マクロブロックに再編成しうる輝度ブロック及びクロミナンスブロックに編成されたディジタル信号により表された画像を符号化するために、
前記信号を量子化する第１ステップと、
量子化した信号を可変長符号化し、符号化した信号をバッファメモリに記憶する第２ステップとを具え、
第１ステップ中に使用する量子化ステップを、バッファメモリの充填レベルの減少関数であるフィードバックパラメータと、画像内の情報量の関数であるフィードフォワードパラメータ形の乗算補正係数とに基づいて計算する画像符号化方法に関するものである。
このような符号化方法はＩＳＯのＭＰＥＧ２スタンダード（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ） に対するプロジェクトに準拠するものであり、特に画像を伝送し記憶する分野に使用される。
【０００２】
【従来の技術】
ＩＳＯにより公布されたドキュメント”ＩＳＯ−ＩＥＣ／ＪＣＴ１／ＳＣ２９／ＷＧ１１；Ｔｅｓｔ Ｍｏｄｅｌ４．２”（１９９３年２月）に、バッファメモリ出力のビットレート制御方法が開示されている。この方法は、画像内における各ブロック又は各マクロブロックの符号化に割り当てられるバイナリエレメントの数を、各ブロック又は各マクロブロック内の情報量の関数として平均数に対し分配するものである。ブロック又はマクロブロックが多量の情報成分を含むほど、符号化誤りが目立たなくなる。この場合には量子化ステップを、画質の著しい損失を伴わずに増大させることができる。これに対し、ブロック又はマクロブロックが極く僅かの情報を含む場合には、細かい量子化を使用してこの情報が失われないようにする必要がある。
【０００３】
ＭＰＥＧ符号化を以下に簡単に説明する。ディジタル画像は８ビットのビット群からなる３つのマトリクス、即ち１つの輝度マトリクス及び２つのクロミナンスマトリクスのアセンブリで表すことができる。これらのマトリクスは８×８画素のブロックに分割し、輝度マトリクスの４つの隣接ブロックを各クロミナンスマトリクスの１つのブロックに対応させる。こうして得られる６つのブロックが１つのマクロブロックを形成する。マクロブロックは動きの推定及び補償、並びに量子化ステップの選択に使用する基本単位である。従ってマクロブロックヘッダは量子化器で使用された量子化ステップの値を具える。次に数個のマクロブロックがスライスに再編成され、数個のスライスが１画像を形成し、数個の画像が画像群（ＧＯＰ）に再編成され、数個のＧＯＰがシーケンスを形成する。シーケンスヘッダはシーケンスの各ブロックを量子化するのに使用された８×８サイズの量子化マトリクスを具え、これはこのマトリクスが前シーケンスに使用された量子化マトリクスに対し新しいときであり且つこのマトリクスがスタンダードにより予め規定されたマトリクスのアセンブリに属さないときであり、この場合にはどのマトリクスが使用されるか示すだけで十分である。
【０００４】
前記のドキュメントに記載された符号化方法を実行しうる符号化装置を図１に示す。この装置はＤＣＴ（離散的コサイン変換）モジュール１５、得られたＤＣＴ係数を量子化するモジュール２０と、量子化された係数を可変長符号化するモジュール３０と、バッファメモリ４０とを具え、このメモリの第１出力端子を装置の出力端子４１に接続する。本例では、この装置は量子化モジュール２０の出力端子に接続された予測ブランチも具える。この予測ブランチは逆量子化モジュール５０及び逆ＤＣＴモジュール６０を具え、このモジュール６０の出力端子をＤＣＴモジュール１５の入力端子に接続された予測モジュール７０の第１入力端子に接続する。この予測モジュール７０の第２入力端子を装置の入力端子７１に接続する。更に、バッファメモリ４０の第２出力端子をビットレート制御モジュール８０に接続し、これにバッファメモリの充填レベルに関する帰還パラメータを供給する。他方、装置の入力端子７１を重み付けモジュール９０ａに接続し、その出力端子をビットレート制御モジュール８０に接続し、これにフィードフォワードパラメータを供給する。ビットレート制御モジュール８０の出力端子を量子化モジュール２０に接続する。
【０００５】
予測ブランチにより画像内の時間的冗長を符号化することはできず、予測モジュール７０は逆量子化モジュール５０及び逆ＤＣＴモジュール６０を通過したのちに予測モジュール７０の入力端子に供給される先に伝送された画像ブロックに基づく予測マクロブロックを各入来マクロブロックに対し評価する。次に、入来マクロブロックと予測マクロブロックを比較して原マクロブロックを符号化すべきか、原マクロブロックと予測ブロックとの差を符号化すべきかを決定する。ＤＣＴモジュール１５は８×８画素のブロックを処理する。ＤＣＴ係数が得られると同時に、これらの係数を量子化モジュール２０により、ビットレート制御モジュール８０により与えられる量子化ステップの関数として量子化する。この量子化は次の通りである。
Ｃ_{ｄｃｔＱｉ} ＝Ｃ_ｄｃｔｉ／（Ｗ_ｉ ．Ｑ２ ）
ここで、Ｃ_ｄｃｔｉ，Ｃ_{ｄｃｔＱｉ，}Ｗ_ｉ 及びＱ２ は量子化された値を有する第１変換係数、現シーケンスに使用される量子化マトリクスＷの第１係数、及び使用する量子化ステップである。従って、量子化ステップＱ２ の値が大きくなるほど量子化が粗くなり、復号中に得られる係数の精度が低くなる。
【０００６】
得られた変換係数は量子化されたのちに可変長符号化モジュール３０により符号化され、バッファメモリ４０に供給される。このバッファメモリ４０のビットレートを制御するため、ビットレート制御モジュール８０が各マクロブロック毎に量子化ステップＱ２ を変化させ、このステップ値をそのマクロブロックのヘッダでデコーダに伝送する。この量子化ステップの変化は２つのパラメータの関数として実現される。
【０００７】
バッファメモリ４０の充填レベルに関連する帰還パラメータに基づいて、バッファメモリの充填レベルが高くなるにつれて大きくなる量子化ステップの第１の値Ｑ１ を計算することができる。Ｑ１ を計算するモードは上述したスタンダードプロジェクトに記載されている。
【０００８】
重み付けモジュール９０ａにより供給されるフィードフォワードパラメータＰ基づいてビットレートモジュール８０がこの第１の値Ｑ１ を画像の内容を考慮に入れた値に変化させることができる。こうして得られる量子化ステップＱ２ は、
Ｑ２ ＝Ｑ１ ．Ｐ
になる。この既知の装置では、重み付けモジュール９０ａを、符号化すべきマクロブロック内の情報量を１画像内で計算される平均値に対し推定するモジュール９４により構成する。従って、この重み付けモジュール９０ａにより与えられるフィードフォワードパラメータは情報量が小さくなるにつれて小さくなるファクタＦ_Ｙ （輝度ファクタと称する）に等しくなる。このパラメータは次のように表せる。
【数３】

ここで、ａ_Ｙ，ｂ_Ｙ 及びｎ_Ｙ はマクロブロック内の情報量、前画像内で計算されたマクロブロック内の平均情報量及び量子化ステップの変化限界範囲を調整する固定パラメータ（Ｑ１ ／ｎ_Ｙ ＜Ｑ２ ＜ｎ_Ｙ ．Ｑ１ ）である。ｎ_Ｙ の値は約２に選択するのが好ましい。この値によれば十分に大きい変化範囲が満足な画質を維持しながら得られる。マクロブロック内の情報成分の量ａ_Ｙ は、好ましくは現ブロック又はマクロブロック及び直接連続するブロックにより構成されるフィールドＤの各ブロックにおいて計算される平方偏差の最小値により与えられる。輝度ブロックＢの平方偏差は次式で表せる。
【数４】

ここで、Ｖａｒは平方偏差を示し、Ｎは輝度ブロックＢ内の画素の数を示し、ｘ_ｉｊはそれらの輝度を示す。
【０００９】
従って、ブロック又はマクロブロック内の情報成分の量ａ_Ｙ は、
【数５】

に等しくなる。ここで、Ｂ_Ｋ はフィールドＤの各ブロックを示す。
【００１０】
しかし、種々のテストシーケンスについて多量の符号化実験データが得られ、人間の目は画像又はクロミナンス成分Ｕ又はＶの一成分が強く飽和した画像領域にける符号化誤りに特に敏感であることが判明した。
【００１１】
【発明が解決しようとする課題】
本発明の目的は、人間の目のこの特性を考慮に入れた符号化方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は、頭書に記載の符号化方法において、前記フィードフォワードパラメータは、現ブロック又は現マクロブロック内のクロミナンス成分Ｕ又はＶの一成分の飽和度の減少関数である、現ブロック又は現マクロブロックに対するクロミナンスファクタと称す乗算係数を少なくとも含んでいることを特徴とする。
【００１３】
このようにすると、画像の種々のブロック又はマクロブロックに割り当てられるバイナリエレメントの数をクロミナンス成分Ｕ又はＶの一成分の飽和レベルを考慮に入れて分配することが可能になる。この成分が飽和すればするほど、細かいステップを使用して画像の再構成時に符号化誤りが現れないようにする必要がある。
【００１４】
本発明の一実施例では、前記フィードフォワードパラメータは、画像の残部に対する現ブロック又は現マクロブロック内のそれぞれクロミナンス成分Ｕ及びクロミナンス成分Ｖの飽和度の減少関数である、現ブロック又は現マクロブロックに対するクロミナンスファクタＵ及びクロミナンスファクタＶとそれぞれ称す２つの乗算係数を含んでいることを特徴とする。
この場合には、使用するフィードフォワードパラメータを、２つのクロミナンス成分Ｕ及びＶの飽和度レベルを考慮に入れて一層精密にすることができる。
【００１５】
ブロック又はマクロブロックに対する各クロミナンスファクタは、次の形の式から得るのが有利である。
【数６】

ここで、
ａは現ブロック又は現マクロブロック内の対応するクロミナンス成分の飽和度の減少関数である複雑度変数、
ｃは１画像内の複雑度ａの平均値、
ｎは前記クロミナンスファクタの変化限界範囲を調整するパラメータ、
である。
【００１６】
ブロック又はマクロブロック内のクロミナンス成分の平均値の使用により、このブロック又はマクロブロックのクロミナンス成分Ｖ及び／又はＵのレベルを決定し、このレベルが高くなるにつれて小さくなる複雑度を属性としてこのブロック又はマクロブロックに与えることが可能になる。
【００１７】
更に、本発明の特に有利な実施例では、各クロミナンスファクタに対する複雑度ａは次の形の式：
ａ＝（ｇ＋１）−｜ｇ−ｍ｜
ここで、
ｍは現ブロック又は現マクロブロック内の対応するクロミナンス成分の平均値、
ｇはグレイ画素に対応するクロミナンス成分の値、
で与えられることを特徴とする。
【００１８】
このようにすると、主としてグレイのブロックには最大値（ｇ＋１）に近似する複雑度が与えられ、従ってこのブロックは強く飽和したクロミナンス成分Ｖ（０又は２．ｇに近似）を有し最小値（１）に近似する複雑度が与えられるブロックよりかなり粗く量子化される。
【００１９】
本発明は、本発明の方法を実施する符号化装置にも関するものであり、この符号化装置は、
画像に対応するディジタル信号を量子化するモジュールと、
量子化された信号を可変長符号化するモジュールと、
バッファメモリと、
バッファメモリと量子化モジュールとの間に配置され、バッファメモリの充填レベルの減少関数である帰還パラメータと、重み付けモジュールにより与えられる、画像内の情報量の関数であるフィードフォワードパラメータの形の乗算補正係数とにより量子化ステップを変更する手段を具えたバッファメモリ出力のビットレートを制御するモジュールと、
を具えている。
【００２０】
本発明は、このような符号化装置において、前記重み付けモジュールが、画像の残部に対する現ブロック又は現マクロブロック内のクロミナンス成分Ｕ又はＶの一成分の飽和度の減少関数である、現ブロック又は現マクロブロックに対するクロミナンスファクタＵ又はＶと称す乗算係数を推定するモジュールを少なくとも具えることを特徴とする。
【００２１】
本発明符号化装置の有利な実施例では、前記重み付けモジュールが、画像の残部に対する現ブロック又は現マクロブロック内のそれぞれクロミナンス成分Ｕ及びクロミナンス成分Ｖの飽和度の減少関数である、現ブロック又は現マクロブロックに対するクロミナンスファクタＵ及びクロミナンス成分Ｖとそれぞれ称す２つの乗算係数を推定する２つのモジュールを並列に具えるとともに、両係数を乗算しその出力端子にフィードフォワードパラメータを出力するモジュールを具えることを特徴とする。
【００２２】
本発明の他の有利な実施例では、前記重み付けモジュールが、画像内で計算された輝度情報量の平均値に対する輝度ブロック又はマクロブロック内の情報量を表す輝度ファクタを推定するモジュールを具えるとともに、前記輝度ファクタ及び前記クロミナンスファクタを乗算しその出力端子に前記フィードフォワードパラメータを出力するモジュールを具えることを特徴とする。
【００２３】
従来既知の、ブロック又はマクロブロック内の情報量の概念を本発明に従ってフィードフォワードパラメータに考慮すると特に良好な結果が得られる。
【００２４】
【実施例】
図２は本発明符号化装置の好適実施例を示す。図１と共通の素子は同一の符号で示してある。
図２において、本発明符号化装置は図１に示すものとほぼ同一の素子１５〜８０を具える。更に、本発明装置の入力端子７１は重み付けモジュール９０ｂの入力端子に接続し、その出力端子をビットレート制御モジュール８０に接続してこれにフィードフォワードパラメータを供給する。重み付けモジュール９０ｂの入力端子は、
クロミナンス成分Ｖに対するファクタＦ_Ｖ を推定するモジュール９１、
クロミナンス成分Ｕに対するファクタＦ_Ｕ を推定するモジュール９２、及び
輝度ファクタＦ_Ｙ を推定するモジュール９４（図１につき記載したものと同一）、
に接続する。
【００２５】
これらの３つの推定モジュールの出力端子を乗算モジュール９３に接続する。この乗算モジュールの出力端子を重み付けモジュール９０ｂの出力端子とする。この実施例では、量子化ステップの第１の値Ｑ１ を変更しうるフィードフォワードパラメータは、推定モジュール９１、９２及び９４により供給される３つの乗算ファクタＦ_Ｖ ，Ｆ_Ｕ 及びＦ_Ｙ の積である。こうして得られる量子化ステップＱ２ は、
Ｑ２ ＝Ｑ１ ．Ｆ_Ｖ ．Ｆ_Ｕ ．Ｆ_Ｙ
に等しい。
【００２６】
クロミナンス成分Ｖに対するファクタＦ_Ｖ は次式で定義される。
【数７】

ここで、
ａ_ｖ はａ_ｖ ＝（ｇ＋１）−｜ｇ−ｍ_ｖ ｜に等しい複雑度変数（ここでｍ_ｖ は現ブロック又はマクロブロック内のクロミナンス成分Ｖの平均値及びｇはグレイ画素に対応するこのクロミナンス成分の値を表す）、
ｃ_ｖ は好適前画像の複雑度の平均値、
ｎ_ｖ はこのクロミナンスファクタＦ_Ｖ の変化限界範囲を調整するパラメータである。
【００２７】
実際上、グレイレベルは１２８に等しい成分のディジタルレベルｇに対応し、クロミナンス成分Ｖはそのディジタル値が０又は２５６に近づくにつれて飽和する。現ブロック又は現マクロブロック内のクロミナンス成分Ｖが強く飽和する（即ち０又は２５６に近い）と、複雑度ａ_ｖ は低い値（即ち１に近い値）になる。逆に、この成分がグレイレベルに近いときは、複雑度は高い値（即ち１２９の最大値に近い値）になる。このように、ブロック又はマクロブロックに与えられる複雑度は、クロミナンス成分Ｖが平均して飽和に近づくと小さくなる。この場合にはフィードフォワードパラメータが小さくなり、量子化が細かくなり、クロミナンス成分Ｖが強く飽和した画像区域が一層精密に符号化される。
【００２８】
特に有利な実施例では、クロミナンス成分Ｖに対するファクタＦ_Ｖ の変化限界範囲を調整するパラメータｎ_ｖ を８に選択してこの成分がフィードフォワードパラメータにおいて十分な重みを有するようにする。
【００２９】
クロミナンス成分Ｕに対するファクタＦ_Ｕ はブロック９２により同様に与えられ、符号化すべきブロック又はマクロブロック内のクロミナンス成分Ｕのレベルが考慮される。即ち、
【数８】

ここで、
ａ_ｕ はａ_ｕ ＝（ｇ＋１）−｜ｇ−ｍ_ｕ ｜に等しい複雑度変数（ここでｍ_ｕ は現ブロック又はマクロブロック内のクロミナンス成分Ｖの平均値及びｇはグレイ画素に対応するこのクロミナンス成分の値を表す）、
ｃ_ｕ は好適前画像の複雑度の平均値、
ｎ_ｕ はこのクロミナンスファクタＦ_Ｕ の変化限界範囲を調整するパラメータ（８に選択するのが好ましい）である。
【００３０】
前述した実施例には種々の変更、特に等価な技術的手段を用いることができること明らかである。
特に、ブロック又はマクロブロック内のクロミナンスファクタ及び輝度ファクタ、複雑度及び情報量に対し他の数学モデルを用いることができる。これらの種々のファクタの変化限界範囲を調整するパラメータを種々の値にすることもできる。
【００３１】
他の実施例では、２つのクロミナンス成分の一つＶ又はＵの飽和レベルのみ、又は２つのクロミナンス成分の飽和レベルのみ、又は２つのクロミナンス成分の一つＶ又はＵ及び各ブロック又はマクロブロック内の情報量ををフィードフォワードパラメータに考慮に入れることができる。
【００３２】
人間の目はクロミナンス成分Ｖが強く飽和している画像区域における符号化誤りに特に敏感であるため、フィードフォワードパラメータの計算にクロミナンス成分を使用するとクロミナンス成分Ｕを使用する場合より著しく良好な結果が得られる。
上述した方法はＤＣＴステップを使用しているが、本発明は前変換ステップを使用するかしないかとは無関係に使用することができ、またこの変換のタイプと無関係に使用することもできる。
【図面の簡単な説明】
【図１】従来の可変長符号化方法を実施する装置のブロックである。
【図２】本発明による可変長符号化方法を実施する装置のブロックである。
【符号の説明】
１５ ＤＣＴモジュール
２０ 量子化モジュール
３０ 可変長符号化モジュール
４０ バッファメモリ
４１ 出力端子
５０ 逆量子化モジュール
６０ 逆ＤＣＴモジュール
７０ 予測モジュール
７１ 入力端子
８０ ビットレート制御モジュール
９０ 重み付けモジュール
９１ 輝度ファクタ（Ｆ_Ｙ ）推定モジュール
９２ クロミナンスファクタ（Ｆ_Ｖ ）推定モジュール
９４ クロミナンスファクタ（Ｆ_Ｕ ）推定モジュール
９３ 乗算モジュール

Claims (11)

1. マクロブロックに再編成しうる輝度ブロック及びクロミナンスブロックに編成されたディジタル信号により表された画像を符号化するために、
   前記信号を量子化する第１ステップと、
   量子化した信号を可変長符号化し、符号化した信号をバッファメモリに記憶する第２ステップとを具え、
   第１ステップ中に使用する量子化ステップを、バッファメモリの充填レベルの減少関数であるフィードバックパラメータと、画像内の情報量の関数であるフィードフォワードパラメータ形の乗算補正係数とに基づいて計算する画像符号化方法において、
   前記フィードフォワードパラメータは、画像の残部に対する現ブロック又は現マクロブロック内のクロミナンス成分Ｕ又はＶの一成分の飽和度の減少関数である、現ブロック又は現マクロブロックに対するクロミナンスファクタと称す乗算係数を含んでいることを特徴とする画像符号化方法。
2. 前記フィードフォワードパラメータは、画像の残部に対する現ブロック又は現マクロブロック内のそれぞれクロミナンス成分Ｕ及びクロミナンス成分Ｖの飽和度の減少関数である、現ブロック又は現マクロブロックに対するクロミナンスファクタＵ及びクロミナンスファクタＶとそれぞれ称す２つの乗算係数を含んでいることを特徴とする請求項１記載の方法。
3. ブロック又はマクロブロックに対する各クロミナンスファクタは、次の形の式：
   

   

   ここで、
   ａは現ブロック又はマクロブロック内の対応するクロミナンス成分の飽和の 減少関数である複雑度変数、
   ｃは１画像内の複雑度ａの平均値、
   ｎは前記クロミナンスファクタの変化制限範囲を調整するパラメータ、
   から得ることを特徴とする請求項１又は２記載の方法。
4. 各クロミナンスファクタに対する複雑度ａは次の形の式：
   ａ＝（ｇ＋１）−｜ｇ−ｍ｜
   ここで、
   ｍは現ブロック又は現マクロブロック内の対応するクロミナンス成分の平均値、
   ｇはグレイ画素に対応するクロミナンス成分の値、
   で与えられることを特徴とする請求項３記載の方法。
5. 平均複雑度値を現画像の前の画像内で計算することを特徴とする請求項３又は４記載の方法。
6. マクロブロックに再編成しうる輝度ブロック及びクロミナンスブロックに編成されたディジタル信号により表された画像を符号化する装置であって、特に、
   前記ディジタル信号を量子化するモジュールと、
   量子化された信号を可変長符号化するモジュールと、
   バッファメモリと、
   バッファメモリと量子化モジュールとの間に配置され、バッファメモリの充填レベルの減少関数である帰還パラメータと、重み付けモジュールにより与えられる、画像内の情報量の関数であるフィードフォワードパラメータの形の乗算補正係数とにより量子化ステップを変更する手段を具えたバッファメモリ出力のビットレートを制御するモジュールと、
   を具えた画像符号化装置において、
   前記重み付けモジュールが、画像の残部に対する現ブロック又は現マクロブロック内のクロミナンス成分Ｕ又はＶの一成分の飽和度の減少関数である、現ブロック又はマクロブロックに対するクロミナンスファクタＵ又はＶと称す乗算係数を推定するモジュールを少なくとも具えていることを特徴とする画像符号化装置。
7. 前記重み付けモジュールが、画像の残部に対する現ブロック又は現マクロブロック内のそれぞれクロミナンス成分Ｕ及びクロミナンス成分Ｖの飽和の減少関数である、現ブロック又は現マクロブロックに対するクロミナンスファクタＵ及びクロミナンス成分Ｖとそれぞれ称す２つの乗算係数を推定する２つのモジュールを並列に具えるとともに、両係数を乗算しその出力端子に前記フィードフォワードパラメータを出力するモジュールを具えることを特徴とする請求項６記載の装置。
8. クロミナンスファクタを推定する各モジュールは次の形の式：
   

   

   ここで、
   ａは現ブロック又はマクロブロック内の対応するクロミナンス成分の飽和の 減少関数である複雑度変数、
   ｃは１画像内の複雑度ａの平均値、
   ｎは前記クロミナンスファクタの変化制限範囲を調整するパラメータ、
   を計算する手段を具えていることを特徴とする請求項６又は７記載の装置。
9. 各クロミナンスファクタに対する複雑度ａは次の形の式：
   ａ＝（ｇ＋１）−｜ｇ−ｍ｜
   ここで、
   ｍは現ブロック又は現マクロブロック内の対応するクロミナンス成分の平均値、
   ｇはグレイ画素に対応するクロミナンス成分の値、
   で与えられることを特徴とする請求項８記載の装置。
10. 平均複雑度値を現画像の前の画像内で計算することを特徴とする請求項８又は９記載の装置。
11. 重み付けモジュールが、輝度ブロック又はマクロブロック内の情報量を画像内のこの量の平均値に対し表す輝度ファクタを推定するモジュールを具えている請求項６〜１０のいずれかに記載の装置において、前記重み付けモジュールが、前記輝度ファクタ及びクロミナンスファクタを乗算し、前記フィードフォワードパラメータを出力する乗算モジュールを具えていることを特徴とする画像符号化装置。

Images