JP5788927B2 - ハイブリッドビデオ符号化のための量子化 - Google Patents

Description

本発明は、ハイブリッドビデオ符号化のための量子化を含む符号化の方法、符号化器及び復号化器、並びにデータ信号に関する。

最新の標準化されたビデオ符号化方法は、ハイブリッド符号化に基づいている。ハイブリッド符号化によると、時間領域における符号化工程と空間領域における符号化工程が与えられる。第１に、符号化すべき画像ブロックと、動きベクトルにより決定されてすでに伝送された画像からの参照ブロックとの間のブロックベース動き補償予測を用いて、ビデオ信号の時間的冗長性を削減する。残りの予測誤差サンプルを複数のブロックに配列し、周波数領域に変換し、係数のブロックとする。これらの係数は、量子化され、ＤＣ値を表す係数から始まる所定の周知のジグザグスキャン方式に従ってスキャンされる。典型的な表現によると、この係数はブロック内の左上端部の低周波数係数に位置する。ジグザグスキャンにより１次元の係数の配列が生成され、これは後続の符号化器によってエントロピー符号化される。この符号化器は、エネルギーの降順に並んだ係数の配列に対して最適化されている。ブロック内における係数の順序は予め決まっており固定されているため、予測誤差サンプルに相関がある場合には、ジグザグスキャンによって、エネルギーの降順に並んだ係数の配列が得られる。後続の符号化工程は、このような状況に対して最適化し得る。この目的のために、最新の規格Ｈ２６４／ＡＶＣは、Context-Based Adaptive Binary Arithmetic Coding（ＣＡＢＡＣ）、又は、Context-Adaptive Variable Length Coding（ＣＡＶＬＣ）を提案している。しかし、変換の符号化効率は、予測誤差サンプルに相関がある場合に限って、高くなるに過ぎない。空間領域において限界的な相関がある(marginally correlated)に過ぎないサンプルに対しては、変換はより非効率となる。

結果予測誤差をブロック単位で変換符号化することで、空間的冗長性を削減しうる。Ｈ．２６４／ＡＶＣは、変換符号化の目的のために、１６×１６画素のマクロブロックを符号化するために、離散コサイン（Discrete Cosine）変換と類似の整数変換（integer transform）を適用する。付帯情報による指示(シグナル)に従って、各マクロブロックについて、変換のサイズを８×８画素と４×４画素との間で変えることができる。第１の場合には４個の８×８変換を、第２の場合には１６個の４×４変換をマクロブロックに適用する。適用される変換のサイズに依存して、異なる量子化手順が実行される。公的な参照ソフトウエアにおいて適用される多くの符号化戦略が、K.P.Lim, G.Sullivan, T. Wiegand,“Text description of Joint Model Reference Encoding Methods and Decoding Concealment Methods,” Joint Video Team (JVT), doc. JVT-K049, Munich, Germany, March 2004 に記載されている。

８×８変換の場合には、公的な参照ソフトウエアにおいて、次のように量子化が行われる。マクロブロックの４個の８×８予測誤差ブロックＢ_ｊ（ｊ＝０，…，３）の各々について変換を行い、その結果として、８×８の係数Ｃ_ｋ，ｊ（ｋ＝０，…，６３）のブロックが得られる。各係数は、図１に示すように、スカラー量子化器によって量子化される。量子化係数ｃ’_ｋ，ｊ（ｋ＝０，…，６３、ｊ＝０，…，３）はＤＣ係数から始まる周知のジグザグスキャンによってスキャンされ、６４個の量子化係数ｃ’_ｋ，ｊから成る１次元配列が得られる。

これらの符号化工程に続いて、８×８ブロック中の、１回量子化されたゼロに等しくない係数が符号化されないようにするために、第２の量子化工程が行われる。これらの１回量子化されたゼロに等しくない係数の符号化には、高データレートが必要とされることがあり、それによって歪みは限界的にしか削減されない。この目的のために、量子化係数の重要度を特徴付ける値Ｉ_ｋ，ｊが、６４個の量子化係数の各々に関連付けられる。３つの場合が区別される。量子化係数の絶対値が１である場合には、値Ｉ_ｋ，ｊは先行するゼロ係数の数Ｎ_ｋ，ｊに依存する。Ｉ_ｋ，ｊとＮ_ｋ，ｊとの間の依存性を以下の表１に示す。
［表１］

したがって、量子化係数の絶対値が１であり、先行するゼロ係数が３個以下である場合には、対応する量子化係数の重要度を特徴付ける値は３に設定される。先行するゼロ係数が２４個以上である場合には、対応する係数の重要度を特徴付ける値はゼロに設定される。

絶対値が１より大きい６４個の量子化係数ｃ’_ｋ，ｊの各々については、Ｉ_ｋ，ｊは非常に大きい値、例えば、９９９９９９に設定される。ゼロに等しい６４個の量子化係数ｃ’_ｋ，ｊの各々については、Ｉ_ｋ，ｊは、ゼロに設定される。６４個の値Ｉ_ｋ，ｊのすべてを足し合わせると、和

が得られる。和Ｉ_ｊが閾値５よりも小さい場合には、８×８ブロックの量子化係数のすべてがゼロに設定され、その結果、Ｉ_ｊもゼロに設定される。

４個の８×８予測誤差ブロックＢ_１，Ｂ_２，Ｂ_３，Ｂ_４の値Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４が定められた後、これらの４個の値を加算し、結果として全マクロブロックの和Ｉ_ＭＢが得られる。和Ｉ_ＭＢが閾値６より小さい場合、マクロブロックの全２５６個の量子化された係数はゼロにされる。

４×４変換の場合には、量子化は以下のように行われる。マクロブロックの各８×８予測誤差ブロックＢ_ｊ（ｊ＝０，…，３）は、４個の４×４ブロックＰ_ｊ，ｉ（ｊ＝０，…，３、i＝０，…，３）に分割される。４個の４×４ブロックの各々について変換を実行し、その結果、４×４係数ｃ_{ｋ，ｊ，ｉ}(ｋ＝０，…，１５、ｊ＝０，…，３、ｉ＝０，…，３)のブロックが得られる。各々の係数は、図１に示したようなスカラー量子化器によって量子化される。４個の４×４ブロックの各々の量子化係数ｃ’_{ｋ，ｊ，ｉ}は、ＤＣ係数から開始してジグザグスキャンされ、その結果、１６個の量子化係数ｃ’_{ｋ，ｊ，ｉ}の１次元配列が得られる。

これらの符号化工程に続いて、８×８ブロック中の１回量子化されたゼロに等しくない係数が符号化されることを防ぐために、第２の量子化工程が行われる。この第２の量子化工程において、８×８ブロックの４個の４×４ブロックの６４個の量子化係数のすべてが考慮される。量子化の目的のために、値Ｉ_{ｋ，ｊ，ｉ}は６４個の係数の各々に関連付けされる。３つの場合が区別される。量子化された係数の絶対値が１である場合には、値Ｉ_{ｋ，ｊ，ｉ}は、先行するゼロ係数の数Ｎ_{ｋ，ｊ，ｉ}に依存する。Ｉ_{ｋ，ｊ，ｉ}とＮ_{ｋ，ｊ，ｉ}との間の依存性は、以下の表２に示される。
［表２］

絶対値が１よりも大きい、６４個の量子化係数ｃ’_{ｋ，ｊ，ｉ}の各々について、Ｉ_{ｋ，ｊ，ｉ}は非常に大きい値、例えば、９９９９９９に設定される。ゼロに等しい６４個の量子化係数ｃ’_{ｋ，ｊ，ｉ}の各々については、Ｉ_{ｋ，ｊ，ｉ}はゼロに設定される。各８×８予測誤差ブロックＢ_ｊについて、６４個の値Ｉ_{ｋ，ｊ，ｉ}のすべてを足し合わせると、和

が得られる。和Ｉ_ｊが閾値５より小さい場合には、８×８ブロックの量子化係数のすべてがゼロに設定され、その結果、Ｉ_ｊもゼロに設定される。

４個の８×８予測誤差ブロックＢ_１，Ｂ_２，Ｂ_３，Ｂ_４の値Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４を決定した後、これらの４個の値を足し合わせて、マクロブロック全体に対する和Ｉ_ＭＢが得られる。和Ｉ_ＭＢが閾値６より小さい場合には、マクロブロックの２５６個の量子化係数のすべてがゼロに設定される。

したがって、４×４変換の場合に加えて８×８変換の場合には、予測誤差ブロックの係数が量子化され、８×８ブロック中の１回量子化されたゼロに等しくない係数が符号化されることを防ぐために、さらなる量子化工程が実行される。したがって、歪みが限界的にのみ増大するようにしつつ、データレートを大幅に削減するために、重要度が乏しいと考えられるいくつかの係数をゼロに設定するルールが与えられる。

しかし、この公知の手順は、不十分である。したがって、本発明の目的は、ハイブリッドビデオ符号化に対する量子化を向上させる（provide an enhanced quantization）ことにある。

本発明の一視点によると、
ハイブリッド符号化を用いたビデオ信号符号化の方法であって、
予測誤差信号を定めるために、ブロックベース動き補償予測により時間的冗長性を削減する工程と、
前記予測誤差信号のサンプル又は該予測誤差信号を周波数領域に変換して得られた係数を量子化して、それぞれ量子化サンプル又は量子化係数を表す量子化値を求める工程と、
前記量子化値のための量子化効率を計算する工程と、
前記量子化値をゼロとしたときのゼロ量子化効率を計算する工程と、
より高い方の効率を選択する工程と、
さらに処理を続けるために、前記選択された効率に依存して、前記量子化値を保持するか又は前記量子化値をゼロとする工程とを含む方法が提供される。

したがって、時間的冗長性を削減するために、ブロックベース動き補償予測により予測誤差信号を定める。符号化のために、この予測誤差信号に基づいて量子化を行い、量子化値を求める。この量子化は、予測誤差信号に対して直接行うことができ、結果として空間領域における第１の量子化サンプルが得られる。更なる可能性によると、予測誤差信号は、最初に周波数領域に変換され、結果として係数が得られる。次に、これらの係数に対して量子化が行われ、結果として量子化係数が得られる。次のステップでは、この量子化の結果を強めるべきである。すなわち、ある値（サンプル又は係数）は、符号化される前にゼロとすべきである。これは、高データレートを必要とするものの、歪みを限界的に減少させるに過ぎない、サンプル又は係数にとって有用となる。そこで、量子化のために、量子化効率を計算する。すなわち、量子化値を保持することの負荷（労力）及び利益を考慮して、計算を行う。この量子化効率をゼロ効率と比較する。ゼロ効率は、量子化値（サンプル又は係数）をゼロとした場合に対して計算される。すなわち、ゼロ効率との比較によって、サンプル又は係数を符号化するための負荷は小さいかも知れないが、他方では、符号化された信号の品質についての不利益も生じている、という事実が考慮される。

次に、量子化効率とゼロ効率とを互いに比較する。したがって、量子化の量子化値を保持するための効率が、量子化値のすべてをゼロとするための効率よりもよい場合には、これらの量子化値をそのまま保持する。一方、第１の量子化値をゼロとするための効率の方がよい場合には、対応する量子化値をゼロとする。

したがって、量子化値（サンプル又は係数）のすべてをゼロとするか又はこれらをそのまま保持するかを適切に定めるために、両方の可能性についての効率を計算する。そこで、本発明によると、計算された効率についての２つの解のうちの最良のものをつねに選択するような、サンプル又は係数の量子化の最適化が提供される。この方法によると、両方の可能性が進行しうることを考慮し、かくて、他の選択肢がより良いにも拘らず、良い選択であると主張される選択肢の方を選択することを避ける。

本発明の一視点によると、（予測）誤差信号は複数のマクロブロックを有している。この符号化の方法は、一回に一マクロブロックについて行われる。各マクロブロックは、複数のサブブロックに細分される。例えば、１つのマクロブロックは１６×１６画素を有し、４個の８×８サブブロックに細分される。第１の量子化は、これらのサブブロックの各々について行われる。周波数領域への変換を含む場合には、この変換は量子化の前にサブブロックに対して行われる。

次に、第１の量子化に対する量子化効率と、量子化値（サンプル又は係数）のすべてをゼロとする場合のゼロ量子化効率とを、各サブブロックについて計算する。これらの効率は、対応するサブブロックの量子化値を保持すべきかゼロとすべきかを判定するために、各サブブロックについて比較される。次に、マクロブロックの全部のサブブロックの量子化のための全量子化効率と、マクロブロックの値（サンプル又は係数）のすべてをゼロとした場合の全量子化の全ゼロ効率とを計算する。マクロブロックのためのこれらの全効率が比較され、これに従って、さらなる処理のための量子化値が決定される。すなわち、全量子化効率が全ゼロ効率よりもよい場合には、量子化値はそのまま保持され、それ以外の場合には、量子化値（サンプル又は係数）のすべてがゼロとされる。

本発明の一視点によると、効率の計算はコスト関数に基づく。このコスト関数よると、対応する量子化又は量子化値をゼロにすることの負の効果と正の効果とが考慮される。

一視点によると、コスト関数はレート歪みコストに基いており、このレート歪みコストは一方では所要レートに依存し、他方では結果として得られる歪みに依存して計算される。符号化の所要レートは、対応するブロックの値の符号化に必要な全ビットの和であり、これには、付帯情報のためのいくつかのビットが含まれ得る。

本発明の更なる視点によると、レート歪みコストは、所要レートとレート歪みとの和に基づく。したがって、各効率の値は、所要レートと歪みを足し合せることによって得られ、これによって歪みの重み付けがなされる。歪みの重み付けは、量子化器のステップサイズのような１又は２以上のパラメータに依存するようにしてもよい。勿論、所要レートもレーテイングするようにしてもよいし、歪みをレーテイングする代りに所要レートをレーテイングするようにしてもよい。

本発明の一視点によると、Ｄ_ｊが量子化による歪みを表し、Ｒ_ｊが量子化値の符号化に必要なレートを表し、Ｌをラグランジュパラメータとし、指標ｊが対応するサブブロックを表すとすると、レート歪みコストＣ_ｊは式Ｃ_ｊ＝Ｄ_ｊ＋Ｌ＊Ｒ_ｊを用いて計算される。歪みは、量子化誤差の２乗の和又は平均絶対量子化誤差として計算してもよい。勿論、歪みを評価するための他の可能性も存在する。

本発明の一視点に係る方法によると、予測誤差信号を周波数領域に変換するか、又は、予測誤差信号を空間領域に保持するかが判定される。これに加えて、その方法は、第３の可能性、すなわち、予測誤差信号の値（サンプル又は係数）をゼロにすることも検討する。すなわち、本視点に係る発明は、これらの３つの可能性の間における選択を提供する。この選択は、予測誤差信号が生成されたマクロブロックのような各ブロックについて行われる。

すなわち、現ブロックについて、予測誤差信号の値（サンプル又は係数）をゼロにすることが選択された場合には、その結果は、空間領域における予測誤差信号又は周波数領域における変換された予測誤差信号として扱うことができる。

本発明の一視点によると、
ハイブリッド符号化を用いたビデオ信号符号化のための符号化器であって、
予測誤差信号を定めるためにブロックベース動き補償予測により時間的冗長性を削減する手段と、
量子化サンプル又は量子化係数を求めるために予測誤差信号を量子化する量子化手段と、
結果としてより高い効率が得られる量子化を選択し、選択した量子化に従って量子化サンプル又は量子化係数を保持するか又はゼロとするために、量子化効率及びゼロ効率を計算して比較する制御手段と、を備えた符号化器が提供される。

本発明の一視点によると、ハイブリッド符号化に基づいてビデオ信号を符号化する方法が提供される。この方法は、予測誤差信号を定めるためにブロックベース動き補償予測によって時間的冗長性を削減する工程と、その予測誤差信号を周波数領域に変換するか又は予測誤差信号を空間領域で保持するかを決定する工程とを含む。

本発明の対応する一視点によると、ビデオ信号のハイブリッド符号化を適用するのに適した符号化器が提供される。この符号化器は、予測誤差信号を定めるためにブロックベース動き補償予測によって時間的冗長性を削減する手段と、予測誤差信号を周波数領域に変換するか又は予測誤差信号を空間領域で保持するかを決定する手段とを有する。本発明のかかる視点によると、予測誤差信号を周波数領域において処理するか空間領域において処理するかを適応的に判定するためのコンセプト、対応する装置、信号及びセマンテイックスが提供される。予測誤差サンプルが僅かな相関しか示さない場合には、サンプルを符号化する後続の工程はより効率的となり、周波数領域において係数を符号化する場合と比較してデータレートが削減されることになる。したがって、本発明により、判定を行うための適応的な判定工程と適応的な制御手段が実現される。したがって、周波数領域の変換を用いるか又は予測誤差信号を空間領域で保持するかは、予測誤差信号を考慮した上で判定される。後続の符号化機構は、周波数領域の場合と同様としてもよいし、空間領域内のサンプルの必要性に特に適応させることもできる。

本発明の他の視点によると、ビデオ信号の符号化方法、及び、特に判定工程はコスト関数に基づく。一般に、周波数領域の係数を用いるか空間領域のサンプルを用いるかの判定は、さまざまな種類の決定機構に基づいていてもよい。判定は、ビデオ信号のある特定の部分に含まれるサンプルのすべてに対して一度に行ってもよいし、例えば、ある特定数のブロック、マクロブロック又はスライスに対して行ってもよい。また、判定は、コスト関数、例えば、ラグランジェ関数に基づいて行ってもよい。コストは、周波数領域の符号化と空間領域の符号化との両方について計算される。さらに、値をゼロにするためのコストを計算する。判定により、コストのより低い符号化が選ばれる。

本発明の他の視点によると、コスト関数は、空間領域における符号化のレート歪みコスト及び周波数領域における符号化のレート歪みコストを含む。本発明のさらに他の視点によると、レート歪みコストは、所要レートと結果として得られるラグランジュパラメータによって重み付けされた歪みによって計算されるようにしてもよい。さらに、歪みの目安は、２乗平均量子化誤差又は平均絶対量子化誤差であってよい。

本発明の一視点によると、周波数領域の係数について用いられたのと基本的に同一の方法によって、空間領域のサンプルを符号化してもよい。これらの方法は、ＣＡＢＡＣ符号化又はＣＡＬＶＣ符号化を含んでいてもよい。ＣＡＢＡＣは、context-based adaptive binary arithmetic codingを表し、ＣＡＬＶＣは、context-adaptive variable length codingを表す。これらの種類の符号化は、最新の標準規格Ｈ．２６４／ＡＶＣに規定されている。したがって、適応制御手段が周波数領域又は空間領域の切換えを判定する場合には、符号化機構を、ほとんど又は全く適応させる必要がない。しかし、２つの領域の係数に対して、異なる符号化方式を用いるようにしてもよい。

本発明の他の視点によると、ハイブリッド符号化に基づいた、ビデオ信号の符号化方法が提供される。本発明のかかる視点によると、ブロックベース動き補償予測によって時間的冗長性が削減され、予測誤差信号のサンプルは、空間領域における予測誤差ブロックにおいて与えられる。各サンプルは、ある特定の順序のサンプルの配列を与えるように、予測誤差ブロックからスキャンされる。本発明のかかる視点によると、スキャン方式は、予測誤差画像又は予測画像から導出される。本発明のかかる視点によるスキャン方式は、周波数領域に対する従来技術によるジグザグスキャンが、空間領域に対しては最も効率的なものではないかも知れないということを考慮している。したがって、空間領域におけるサンプルの分布及び大きさを考慮した適応スキャン方式が提供される。このスキャン方式は、予測誤差画像又は予測画像に基づいていることが好ましい。本発明のかかる視点は、最高の値を有するサンプルと最もゼロである蓋然性が高いサンプルの最も蓋然性の高い位置を考慮している。周波数領域の符号化利得は、低周波数成分がより大きな値を有するとともに大部分の高周波数の係数の大部分がゼロであるという現象に、主として基づいているため、ＣＡＢＡＣ又はＣＡＬＶＣのような可変符号長方式を適用することができる。しかし、空間領域では、最高値を有するサンプルは、ブロック内のいずれの箇所にも位置し得る。しかし、予測誤差は通常は、移動中のオブジェクトの端部で最大となるため、予測画像又は予測誤差画像は、最も効率の良いスキャン順序を求めるために使用することができる。

本発明の一視点によると、予測画像の勾配は、値の大きいサンプルを識別するために使用することができる。スキャン順序は、予測画像内の予測画像の勾配に、その大きさ順に従う。これと同じスキャン順序は、予測誤差画像、すなわち、空間領域における予測誤差画像のサンプルに適用される。

また、本発明のさらに他の視点によると、スキャン方式は、参照ブロックの予測誤差画像に組み合わせて、動きベクトルに基づいていてもよい。スキャンは、予測誤差の大きさに降順で従う。

本発明の一視点によると、スキャン方式は、予測画像の勾配と、動きベクトルに組み合わされた、参照ブロックの予測誤差画像との線形結合から導出される。

本発明の他の視点によると、周波数領域における係数又は空間領域におけるサンプルについて、別個に決定された可能性に基づいて、符号化機構、例えば、ＣＡＢＡＣの特定の符号が用いられる。したがって、周知の従来技術による符号化機構は、少なくとも、空間領域に対する最も効率的な符号化機構を与えるように少なくともわずかに適合構成することができる。したがって、空間領域又は周波数領域において符号化を行うために適応的に制御された切換機構は、それぞれの領域におけるサンプル又は係数に対する後続の符号化工程を切換えるように構成することができる。

本発明の一視点によると、主観的に重み付けされた量子化誤差最適化又は２乗平均量子化誤差最適化を有する量子化器によって空間領域内の予測誤差サンプルを量子化する工程を有する、ビデオ信号の符号化方法が提供される。本発明のかかる視点によると、空間領域におけるサンプルの量子化に用いられる量子化器は、主観的に最適な画像の視覚的印象を考慮するように構成することができる。このとき、量子化器の代表レベル及び判定閾値は、対応する予測誤差信号の主観的又は統計的な性質に基づいて構成することができる。

また、本発明は、上記の視点に従う符号化方法及び符号化装置にも関連する。本発明の一視点によると、符号化ビデオ信号の入力ストリームが空間領域内又は周波数領域内の符号化ビデオ信号の予測誤差信号を表しているか否かを適応的に判定する適応制御手段を有する復号化器が提供される。したがって、本発明のかかる視点による復号化器は、到来するデータストリームについて、予測誤差信号が周波数領域内で符号化されているか空間領域で符号化されているかを判定するように構成される。さらに、復号化器は、すなわち、空間領域又は周波数領域のいずれかである２つの領域の各々に対する復号手段を備えている。

また、本発明のさらに他の視点によると、復号化器は、予測信号又は予測誤差信号に基づいてスキャン順序を提供するためのスキャン制御部を備えている。本発明のかかる視点によるスキャン制御部は、ビデオ信号の符号化の間に到来したブロックのサンプルをスキャンしたスキャン順序についての必要な情報を検索するように構成されている。さらに、復号化器（復号器）は、周波数領域における係数を逆量子化して逆変換するか又は空間領域におけるサンプルを逆量子化するためのすべての手段を備えていてもよい。復号化器は、動き補償及び復号を行う機構も含んでいてもよい。基本的には、復号化器は、以上に説明した符号化工程に対応する方法の工程を実現するためのすべての手段を提供するように構成されていてもよい。

本発明のさらに他の視点によると、データ信号に含まれる予測誤差信号の符号化情報が部分的に空間領域で符号化され、部分的に周波数領域で符号化された、符号化ビデオ信号を表すデータ信号が提供される。本発明のかかる視点は、上述の符号化機構の結果である、符号化ビデオ信号に関連している。

また、本発明のさらに他の視点によると、スライス、マクロブロック又はブロックを符号化する領域を示すための付帯情報、特に、スライス、マクロブロック又はブロックが空間領域で符号化されたか周波数領域で符号化されたかについての情報を、データ信号が含んでいてもよい。本発明による適応制御によると、予測誤差信号は空間領域又は周波数領域のいずれかで符号化されるため、対応する情報を符号化ビデオ信号に含める必要がある。したがって、本発明は、特定の部分、例えば、スライス、マクロブロック又はブロックが符号化された領域を示す特定の情報も提供する。また、本発明のかかる視点は、マクロブロック全体又はスライス全体が２つの領域のうちの１つにおいてのみ符号化される可能性も考慮する。したがって、例えば、マクロブロック全体が空間領域で符号化された場合には、このことは単一のフラグ等によって表すことができる。さらに、スライス全体も周波数領域又は空間領域のみで符号化することができ、対応するインジケータをスライス全体のためにデータストリーム中に含めることができる。これにより、削減されたデータレートと、付帯情報のためのより効率的な符号化機構とがもたらされる。
本発明のさらに他の視点によると、ハイブリッド符号化を用いたビデオ信号符号化の方法であって、予測誤差信号を定めるために、ブロックベース動き補償予測により時間的冗長性を削減する工程と、前記予測誤差信号が複数のサブブロックを含むとともに、前記予測誤差信号のサンプル及び前記予測誤差信号を周波数領域に変換して得られる係数を量子化して、量子化サンプル及び量子化係数を求める工程と、前記量子化サンプルに対する効率として第１量子化効率を計算すると共に、前記量子化係数に対する効率として第２量子化効率を計算する工程と、サブブロックにおける前記量子化サンプル又は量子化係数のすべてをゼロとしたときの量子化の効率として、ゼロ効率を計算する工程と、計算した第１量子化効率と、計算した第２量子化効率と、計算したゼロ効率とを比較する工程と、最高の効率を選択する工程と、さらに処理を続けるために、計算した第１量子化効率が前記最高の効率である場合には前記量子化サンプルを保持し、計算した第２量子化効率が前記最高の効率である場合には前記量子化係数を保持し、それ以外の場合には、前記サブブロックの量子化サンプル又は量子化係数のすべてをゼロとする工程とを含む方法が提供される。
また、本発明のさらに他の視点によると、ハイブリッド符号化を用いたビデオ信号の符号化器であって、予測誤差信号を求めるために、ブロックベース動き補償予測により時間的冗長性を削減する手段と、前記予測誤差信号が複数のサブブロックを含むとともに、前記予測誤差信号のサンプル及び前記予測誤差信号を周波数領域に変換して得られた係数を量子化して、量子化サンプル及び量子化係数を求める量子化手段と、制御手段とを備え、前記制御手段は、前記量子化サンプルに対する効率として第１量子化効率を計算すると共に、前記量子化係数に対する効率として第２量子化効率を計算する工程と、サブブロックにおけるすべての量子化サンプル又は量子化係数をゼロとしたときの量子化の効率として、ゼロ効率を計算する工程と、計算した第１量子化効率と、計算した第２量子化効率と、計算したゼロ効率とを比較する工程と、最高の効率を選択する工程と、さらに処理を続けるために、計算した第１量子化効率が前記最高の効率である場合には前記量子化サンプルを保持し、計算した第２量子化効率が前記最高の効率である場合には前記量子化係数を保持し、それ以外の場合にはサブブロックの量子化サンプル又は量子化係数のすべてをゼロとする工程とを実行するように構成されている符号化器が提供される。

本発明のさまざまな視点について、添付図面を参照して詳述される好ましい実施形態に関して説明する。

図１は、最新の標準Ｈ．２６４／ＡＶＣにおける係数に適用される量子化器を示す。

図２は、本発明の第１の視点に係る符号化器を示す概略ブロック図である。

図３は、本発明の一視点に係る強められた（enhanced）量子化を示すフローチャートである。

図４は、本発明の視点（複数）を実現する符号化器の概略ブロック図を示す。

図５は、本発明の視点（複数）を実現する復号化器の概略ブロック図を示す。

図６は、従来技術によるスキャン方式を示す。

図７は、本発明によるスキャン方式を示す。

図８は、本発明に係る最適化された量子化器に用いられるパラメータを示す。

図９は、測定された平均絶対再構成誤差を概略的に表したものを示す。

図２によると、入力信号１から予測信号４が差し引かれて、予測誤差信号５が得られる。予測誤差信号５は、変換ブロック６によって周波数領域における信号８に変換される。信号８は、ブロック７において量子化される。量子化された信号２０は、符号化するためにエントロピー符号化器１３に入力され、それによりエントロピー符号化器１３は、伝送されたり蓄積されたりする符号化された信号１６を出力する。量子化した信号２０は、また、ブロック１０において逆量子化され、ブロック１１に転送されて空間領域に逆変換される。その後、ブロック１１の信号出力は、次の予測信号４を提供するためにさらに用いられる。フレームメモリ２２、動き補償予測ブロック３、動き推定ブロック２及び動き情報の符号化のためのブロック１７は、図４のブロック１２２、１０３、１０２及び１１７と同一である。

本発明によると、量子化ブロック７は、強められた量子化を行う。以下に２つの一般的な実施形態について詳述する。しかしながら、本発明は、これらの実施形態には限定されない。

どちらの場合にも、１６×１６の画素エレメントを有する複数のマクロブロックを備えた予測誤差信号５が与えられる。１６×１６マクロブロックは、一の実施形態によると４個の８×８ブロックに細分され、他の実施形態によると１６個の４×４ブロックに細分される。最初のステップで、各８×８ブロック又は各４×４ブロックは、変換ブロック６によって周波数領域に変換される。したがって、信号８は、変換された８×８ブロック又は４×４ブロックを備えている。その後、量子化ブロック７において、これらの８×８ブロック又は４×４ブロックの第１の量子化が行われ、さらに、より強められた量子化が行われる。

８×８変換の場合には、本発明の一実施形態に係る方法は以下のように行われる。

マクロブロックの４つの８×８予測誤差ブロックＢ_ｊ（ｊ＝０，…，３）の各々について、変換及び量子化の最初の工程は、従来技術に記載されているのと同様にして行われる。本発明によると、後続の量子化工程が強められる（enhanced）。

このために、各８×８ブロックについて、レート歪みコストＣ_ｊ＝Ｄ_ｊ＋Ｌ・Ｒ_ｊを計算する。Ｒ_ｊは所要レート、Ｄ_ｊは結果として得られる歪み、Ｌはラグランジュパラメータである。歪みの目安（ないし尺度）として、量子化誤差の２乗和を用いるものの、他の目安、例えば、平均絶対量子化誤差を用いてもよい。ラグランジュパラメータＬとしては、Ｈ．２６４／ＡＶＣの符号化器制御用の常用のラグランジュパラメータＬ＝０．８５・２^{（ＱＰ−１２）／３}が適用される。ＱＰは量子化器のステップサイズΔを制御する量子化パラメータである。レート歪みコスト（costs）を決定する他の方法を用いてもよい。これらのコストは、８×８予測誤差ブロックのすべての量子化係数をゼロとした場合に得られるコストＣ_ｊと比較される。結果的により低いコストとなる量子化が選択される。

マクロブロックの４個の８×８ブロックのコストＣ_１，Ｃ_２，Ｃ_３，Ｃ_４を決定した後、４つのコストの合計Ｃ_ＭＢを計算する。この合計は、マクロブロックのすべての量子化係数をゼロとした場合に得られるコストと比較される。再び、より低いコストを伴う量子化が選択される。

４×４変換の場合には、本発明の一実施形態に係る方法は以下のように行われる。

マクロブロックの１６個の４×４予測誤差ブロックＢ_ｊ（ｊ＝０，…，１５）の各々について、変換及び量子化の最初のステップは、従来技術に記載されているのと同様にして行われる。本発明によると、後続の第２の量子化工程が強められる。

このために、各４×４ブロックについて、レート歪みコストＣ_ｊ＝Ｄ_ｊ＋Ｌ・Ｒ_ｊを計算する。Ｒｊは所要レート、Ｄ_ｊは結果として得られる歪み、Ｌはラグランジュパラメータである。歪みの目安（ないし尺度）としては、量子化の２乗誤差を用いるものの、他の目安、例えば、平均絶対量子化誤差を用いてもよい。ラグランジュパラメータＬとしては、Ｈ．２６４／ＡＶＣの符号化器制御用の常用のラグランジュパラメータＬ＝０．８５・２^{（ＱＰ−１２）／３}が適用される。ＱＰは量子化器のステップサイズΔを制御する量子化パラメータである。レート歪みコストを決定する他の方法を用いてもよい。これらのコストは、４×４予測誤差ブロックのすべての量子化係数をゼロとした場合に得られるコストＣ_ｊと比較される。結果的により低いコストとなる量子化が選択される。

マクロブロックの１６個の４×４ブロックのコストＣ_１〜Ｃ_１６を決定した後、１６個のコストの合計Ｃ_ＭＢを計算する。この合計は、マクロブロックのすべての量子化係数をゼロとした場合に得られるコストと比較される。再び、より低いコストを伴う量子化が選択される。

これらの実施形態によると、各８×８ブロック又は各４×４ブロックについて、レート歪みコストを計算し、対応するブロックのすべての係数をゼロとした場合と比較する。各比較によって、対応するブロックの係数は保持されるか、ゼロにされる。また、各ブロックの対応するレート歪みコストは、さらなる計算のために保持される。すなわち、各ブロックについて、比較の結果として係数が保持される場合には、係数の保持に対応するレート歪みコストは、後で考慮するために保持され、一方で、係数をゼロとするためのレート歪みコストは破棄される。また、係数をゼロにする決定がなされた場合には、係数をゼロにする選択に対応するレート歪みコストも後で考慮するために保持される。

４個の８×８ブロックのすべて又は１６個の４×４ブロックのすべてが考慮され、上記の決定がなされた場合、４個の８×８ブロックのすべて又は１６個の４×４ブロックのすべてに対する最終チェックが行われる。したがって、後で考慮するために保持されていた歪みコストが加算されて、１個の値が得られる。この値は、現在のマクロブロックのすべての係数をゼロとした場合のレート歪みコストと比較される。

図３は、本発明の一視点に係る量子化方法を示す。図示した方法は、予測誤差信号のサンプルを与えるステップ３０２によって開始される。これらの信号は、ステップ３０４においてサブブロックに細分されたマクロブロックにおいて与えられる。マクロブロックは、１６×１６画素の大きさを有してもよく、８×８の大きさの４個のサブブロック又は４×４の大きさの１６個のサブブロックに細分されるようにしてもよい。

図３に示した方法は、基本的に、空間領域又は周波数領域において行うことができる。周波数領域においての計算にあっては、各サブブロックは周波数領域に変換され、その結果として、複数の係数が生成される。これらの係数は、通常、対応するサブブロックと同一のサイズのマトリックスにおいても与えられる。すなわち、空間領域における８×８サブブロック又は４×４サブブロックは周波数領域に変換され、結果として、それぞれ８×８又は４×４個の係数のブロックが得られる。

ステップ３０８において、第１の量子化は、計算が空間領域で行われる場合にはサンプルに対して、計算が周波数領域で行われる場合には係数に対して行われる。

ステップ３０８における計算によって、第１の量子化値が得られる。量子化が空間領域で行われる場合には、これらの第１の量子化値は第１の量子化サンプルを表している。量子化が周波数領域で行われる場合には、第１の量子化値は第１の量子化係数を表している。以下の量子化ステップは、第１の量子化サンプルについても、第１の量子化係数についても同様である。したがって、量子化値（quantized value）という用語は、どちらの場合にも適用される。

ステップ３１０によると、現サブブロックの第１の量子化値について量子化効率が計算される。ステップ３１０においては、現サブブロックの全部の値がゼロとされた場合の、現サブブロックのゼロ効率も計算される。

ステップ３１２においては、量子化効率がゼロ効率と比較される。量子化効率がゼロ効率以下である場合（Ｎｏ）には、現サブブロックの全部の量子化値をステップ３１４においてゼロにする。それ以外の場合（Ｙｅｓ）には、量子化値はそのまま保持される。

ステップ３１６においては、ステップ３１０〜３１４による第１の最適化が全部のサブブロックについて既になされたか否かがチェックされる。したがって、最後のサブブロックを含むすべてのサブブロックについて、ステップ３１０〜３１２が未だなされていない場合（Ｎｏ）には、ステップ３１０における効率の計算に戻るように処理が分岐する。最後のサブブロックに到達した場合（Ｙｅｓ）には、第１の最適化は終了する。次に、ステップ３１８により、マクロブロックのすべてのサブブロックについて、全体の効率を計算する。したがって、全体の効率は、すべてのサブブロックについて、ステップ３１２においての効率の比較の結果に基づいて計算される。すなわち、各サブブロックについて、ステップ３１２での比較による最良の効率が、ステップ３１８においてのマクロブロックの他の各サブブロックの最良の効率に加算される。さらに、ステップ３１８においてマクロブロックの全ゼロ効率も計算され、これによりマクロブロックの全部の値がゼロにされる。

全量子化効率と全ゼロ効率は、ステップ３２０において比較される。全量子化効率が全ゼロ効率以下である場合（Ｎｏ）には、マクロブロックの全部の量子化値は、ステップ３２０においてゼロにされる。それ以外の場合（Ｙｅｓ）には、全部の量子化値はそのまま保持される。

したがって、図３に示したステップ３２０の比較によるこれらの最適値を受信することで、現マクロブロックの量子化の最適化が終了する。こうして受信された量子化値は、符号化を行うために、符号化器、例えば、エントロピー符号化器に転送することができる。

図４は、本発明による符号化器の概略的なブロック図を示す。したがって、入力信号１０１は動き推定を受け、これに基づいて、入力信号１０１から差し引かれる予測信号１０４を求めるために、動き補償予測が行われる。結果として得られる予測誤差信号１０５は、周波数領域に変換され（１０６）、最適化された量子化器１０７によって、周波数に関する係数について量子化される。量子化器１０７の出力信号１２０は、転送、蓄積等がなされる出力信号１１６を送出するエントロピー符号化器１１３に転送される。逆量子化ブロック１１０及び逆変換ブロック１１１を経由して、量子化された予測誤差信号１２０は、動き補償予測ブロック１０３における次の予測ステップのためにさらに使用される。逆量子化され逆ＤＣＴ変換された予測誤差信号は予測信号に足し合わされて、動き補償予測ブロック１０３及び動き推定ブロック１０２のために先行する画像を蓄積しているフレームメモリ１２２に転送される。一般に、本発明は、従来技術に加えて、予測誤差信号１０５を変換する際に周波数領域と空間領域との間で切換えを行うために、適応的に制御される機構１１５を用いることを提案する。適応制御手段１１５は、周波数領域と空間領域との間における適応的な変化を制御するために、信号及びパラメータを生成する。したがって、適応制御情報信号１２１は、位置ＡとＢとの間で切換えられる２個のスイッチに対して表明（ないし出力、アサート）される。周波数領域で変換が行われる場合には、２個のスイッチは位置Ａにある。空間領域が用いられる場合には、両スイッチは位置Ｂに切換えられる。また、付帯情報信号１２１、すなわち、画像の符号化手順においていずれの領域が用いられたかを示す信号も、エントロピー符号化器１１３に転送される。したがって、当該装置に対する適切な情報がデータストリームに含まれる。周波数変換に並行して、代替経路を介して、予測誤差信号１０５は量子化器１０９に転送される。この量子化ブロック１０９は、空間領域において予測誤差信号１０５対する最適化された量子化を与える。空間領域における量子化された予測誤差信号１２４は、第２の逆量子化ブロック１１２に転送され、さらに動き補償予測ブロック１０３の裏面接続に転送される。さらに、スキャン制御ブロック１１４は、動きベクトル１２３と逆量子化予測誤差信号１１８、又は、接続線１１９を介した予測信号１０４のいずれか一方を受信する。ブロック１１７は、動き情報を符号化するために用いられる。

適応制御ブロック（手段）１１５は、ブロックを周波数領域で符号化すべきか空間領域で符号化すべきかを判定し、その領域を示すための対応する付帯情報を生成する。適応制御手段によって行われる判定は、空間領域における符号化及び周波数領域における符号化のためのレート歪みコストに基づいている。符号化のために、より低いレート歪みコストの領域が選択される。例えば、レート歪みコストＣは、所要レートＲと、ラグランジュパラメータＬで重み付けした結果歪みＤとによって、式Ｃ＝Ｌ＊Ｒ＋Ｄのようにして計算される。歪みの目安（尺度）としては、量子化の平均２乗誤差を用いてもよいし、他の目安、例えば、平均絶対量子化誤差を用いてもよい。ラグランジュパラメータＬとして、Ｈ．２６４／ＡＶＣの符号化器制御用の常用のラグランジュパラメータＬ＝０．８５・２^{（ＱＰ−１２）／３}を用いてもよい。レート歪みコストを決定する他の方法を用いてもよい。

ブロックを周波数領域で符号化するか空間領域で符号化するかを判定するのに加えて、対応するブロックの値（サンプル又は係数）をすべてゼロにするか否かも判定する。この判定もレート歪みコストに基づいてはいるものの、レート歪みコストは、対応するブロックのすべての値をゼロにする場合について計算される。したがって、少なくとも３つの計算されるレート歪みコストがある。すなわち、空間領域における符号化のためのレート歪みコスト、周波数領域における符号化のためのレート歪みコスト、及び、すべての値をゼロにする場合についてのレート歪みコストである。結果として得られる３つの計算されたコストを比較し、最低のレート歪みコストを生ずる符号化が選択される。コストが同一である場合には、すべての値をゼロにする場合が好ましく、次に空間領域の符号化のための場合が好ましい。

１つの可能性として、レート歪みコストの計算は、量子化の一部として理解することができ、空間領域における符号化のためのレート歪みコストの計算は量子化器１０９で行うことができ、周波数領域における符号化のためのコストの計算はブロック１０７で行うことができ、値をゼロにする場合における計算はブロック１０７又はブロック１０９で行うことができる。

本発明の一視点によると、特に、良好な予測信号１０４が期待される場合、空間領域の符号化のみを行うことができ、図３による符号化器は使用されるものの、スイッチは位置Ｂに固定され、ブロック１０６、１０７、１１０及び１１１はこの場合のためには全く使用されない。しかし、ブロック１０９において行われる量子化は、前述したレート歪みコストに依存して、誤差予測信号のブロックの値をゼロにするか否かを判定することによって強められる。

適応制御部（ブロック）１１５は、他の仕方で符号化方法を制御することができる。これは、例えば、予測信号に基づいて、又は予測誤差の相関に基づいて、又はその領域に基づいて行うことができ、予測誤差は、すでに伝送されたフレームの動き補償位置において符号かすることができる。

図５は、本発明の複数の視点に係る復号化器のアーキテクチャの概略的なブロック図を示す。符号化されたビデオデータは、２個のエントロピー復号化ブロック２０１、２０２に入力される。エントロピー復号化ブロック２０２は、動きベクトルのような動き補償情報を復号化する。エントロピー復号化ブロック２０１は、符号化器に用いられる逆符号化機構、例えば、ＣＡＢＡＣ又はＣＡＶＬＣによる復号化を適用する。符号化器が係数又は空間領域におけるサンプルのために別々の符号化機構を使用する場合には、対応するエントロピー復号化ブロックにおいて、対応する復号化機構を使用するものとする。したがって、エントロピー復号化ブロック２０１は、空間領域のための適切な逆量子化パス、すなわち、逆量子化ブロック２０６における逆量子化操作、又はスイッチ位置Ａによる適切なブロック、すなわち逆量子化ブロック２０３及び逆変換ブロック２０４を使用するために、位置ＡとＢとの間で切換えるため、適切な信号を生成する。予測誤差が周波数領域で表される場合には、逆量子化ブロック２０３及び逆変換ブロック２０４は対応する逆操作を行う。空間領域におけるサンプルは本発明の複数の視点に係る操作機構に従って特定の順序で配列されているため、スキャン制御部２０５は、エントロピー復号化ブロック２０１に対するサンプルの正しい順序を与える。符号化が空間領域において行われた場合には、逆量子化ブロック２０６における逆量子化操作は、逆変換ブロック２０４及び逆量子化ブロック２０３をバイパスする。周波数領域と空間領域 (すなわち、スイッチの位置ＡとＢ) とを切換えるための切換機構は、ビットストリーム中において伝送されてエントロピー復号化ブロック２０１により復号化される付帯情報によって制御される。また、空間領域における逆量子化信号、又は、周波数領域における逆量子化信号及び逆変換信号は、復号されたビデオ信号２１０を与えるように、動き補償予測画像に足し合わされる。動き補償は、既に復号化されたビデオ信号データ(過去の画像)及び動きベクトルに基づいて、動き補償予測ブロック２０９において行われる。スキャン制御部２０５は、予測画像２０８又は動きベクトル２１２に組合せた予測誤差信号２０７を使用して、係数の正しいスキャンシーケンスを決定する。スキャン機構は、両方の画像、すなわち予測誤差画像及び予測画像に基づいていてもよい。図４に関連して符号化機構について前述したように、符号化時のスキャンシーケンスは、予測誤差情報２０７と動き補償ベクトルとの組合せに基づいていてもよい。したがって、動き補償ベクトルは、パス２１２を経てスキャン制御部２０５に転送されてもよい。さらに、図４に対応して、必要かつすでに復号化された画像を蓄積するためのフレームメモリ２１１も設けられている。

図６は、従来技術によるジグザグスキャン順序を示すための概略図を示す。すなわち、周波数領域への変換（例えばＤＣＴ）の結果である係数は、４×４ブロックについて、図６に示すように所定の仕方で配列されている。これらの係数は所定の順序で読み出され、低周波数の部分を表す計数は、１次元配列の最左端部に位置する。配列の右下方に寄るほど、対応する係数の周波数は高くなる。符号化すべきブロックには、実質的に低い周波数の係数が含まれることが多いので、高周波数の係数、又は、高周波の係数の大部分はゼロとなる。この状況を有効に利用して、例えば、ゼロの長い連鎖を「ゼロの個数」に関する単一の情報に置き換えることによって、データを削減して伝送することができる。

図７は、本発明の一視点に係るスキャン機構の一例を概略図示している。図７(a)は、１ブロックのための予測画像の勾配の大きさを表している。ブロックの各位置の値は、現ブロックの予測画像の勾配を表している。勾配自身は、水平方向及び垂直方向を表す２つの成分から成るベクトルである。各成分は、２つの相隣接するサンプルの差によって、又は、６つの隣接するサンプルを考慮した周知のソーベル（Sobel）オペレータによって決定することができる。勾配の大きさはベクトルの大きさである。２つの値が同じ大きさを有する場合には、ある固定された、又は予め定めた、スキャン順序を適用することができる。スキャン順序は、点線で示したように、ブロックの勾配値の大きさに従う。勾配予測画像のスキャン順序が一旦得られた場合には、図７（ｂ）に示した量子化された予測誤差サンプルに、同一のスキャン順序が適用される。図７（ｂ）に示したブロックの空間領域における量子化されたサンプルが、予測画像中の勾配の大きさに基づいて得られたスキャン順序に従って、図７（ｂ）の左側に示したように１次元に配列された場合には、高い値を有するサンプルは、典型的には、配列の最初に、すなわち左側位置に配置される。右側の複数の位置は、図７（ｂ）に示したようにゼロで満たされる。

勾配によって制御されるスキャンの代わりに、予め定められたスキャン、若しくは、動きベクトルと組合せた、すでに伝送されたフレームの量子化された予測誤差、又は、これらの組合せによって制御される他のスキャンを適用してもよい（スキャン制御は、図４及び５について説明したように、ブロック１１４又は２０５に関係している）。動きベクトルと組合せて予測誤差信号によって制御されるスキャンの場合、スキャンは、現ブロックの動きベクトルに関係するブロックの量子化された予測誤差サンプルの大きさに、降順で従うように行われる。

動きベクトルがサンプルの分数位置を示した場合には、所要の量子化された予測誤差サンプルは、補間手法を用いて決定することができる。これは、予測サンプルを生成させるために参照画像を補間するのに用いられたのと同一の補間手法とすることができる。

予測画像と、動きベクトルに組合せた予測誤差画像との組合せによって、スキャンを制御する場合には、勾配の大きさと現ブロックの動きベクトルに関連するブロックの量子化予測誤差サンプルの大きさとの線形結合（linear combination）を計算する。スキャンは、これらの線形結合の値に従う。さらに、スキャンを決定する方法は、シーケンスのセグメントについて、例えば、各フレーム若しくは各スライス又は各ブロック群について指示することができる。典型的な標準的処理によると、動き補償ベクトルはすでに考慮され、予測画像は決定されている。

本発明の他の視点によると、スキャン順序は、動きベクトルに組合せた予測誤差画像に基づくようにしてもよい。さらに、上述した勾配の原理と予測誤差画像との組合せも考えられる。

図８は、本発明の視点に係る最適化された量子化器の定義を示すのに有用な概略図を示す。３つのパラメータａ，ｂ，ｃは、量子化器を適応させるためのパラメータである。規格Ｈ．２６４／ＡＶＣに従って、２つの相異なる歪み目安を有する係数のためのレート歪み最適化された量子化器が適用される。第１の目安は、２乗平均量子化誤差であり、第２の目安は、主観的に重み付けした量子化誤差である。標準Ｈ．２６４／ＡＶＣによると、予測誤差サンプルのための２つの量子化器が開発されている。予測誤差の分布はラプラス分布に近いため、２乗平均量子化誤差の最適化の場合には、スカラーデッドゾーンプラス一様閾値量子化器が使用される。図８は、量子化及び逆量子化のパラメータa, b, cを示している。

表３は、Ｈ．２６４／ＡＶＣ符号化方式において常用されるＱＰ(量子化パラメータ、Quantization Parameter)のために好適に用いられるパラメータａ，ｂ，ｃを示す。２乗平均量子化誤差の最適化に対して、パラメータａ，ｂ，ｃはそれぞれ最適化されたパラメータとなる。しかし、これは単に一例に過ぎず、異なるアプリケーションにとっては、異なるパラメータ又は追加のパラメータも有用となり得る。
［表３］

主観的に重み付けした量子化誤差の最適化には、代表的なレベルｒ_ｉ，−ｒ_ｉ、並びに、表３に示した隣接するｒ_ｉの中間における判定閾値を備えた非一様（non-uniform）量子化器が提案される。縁部において大きな量子化誤差が生じた場合には、視覚マスキングを用いてもよい。したがって、縁部では大きな量子化誤差が許容でき、画像信号がフラットである場合には、小さな量子化誤差が許容される。Ｈ．２６４／ＡＶＣは、表３に示した４個より多くのＱＰを使用してもよい。この場合には、表３を拡張せねばならない。Ｈ．２６４／ＡＶＣは、５２個の異なるＱＰを使用してもよい。ｒ_ｉ，−ｒ_ｉの適切な代表値を決定するための基本的な考えを、図９を参照して以下に説明する。

図９は、主観的に重み付けした量子化の場合における、画素の再構成誤差の絶対値の測定された平均値を、図９（ａ）においては周波数領域で、図９（ｂ）においては空間領域で、概略化して示す。周波数領域で主観的に重み付けした量子化の再構成誤差の絶対値の測定値は、予測誤差の絶対値の関数として示されている。空間領域で主観的に重み付けした量子化の再構成誤差の絶対値については、代表的なレベルｒ_ｉは、空間領域においての量子化の間隔について、周波数領域における量子化と空間領域における量子化とで、平均絶対再構成誤差が同一となるように調節される。一例として、表３に示したＱＰ＝２６の場合のｒ_１、ｒ_２、ｒ_３、ｒ_４の値は、図９（ｂ）に再現されている。経験則として、値ＱＰが６増加すると、代表値ｒ_ｉはほぼ２倍となる。量子化器の構成に、視覚の他の特性を利用してもよい。さらに、Ｈ．２６４／ＡＶＣの量子化器のものと異なる特性の量子化誤差を作り出すために、量子化器を使用してもよい。

「空間領域における量子化サンプルのエントロピー符号化」

本発明の一視点によると、空間領域におけるエントロピー符号化は、周波数領域における量子化係数の場合と同一の方法に基づくものとすることができる。標準Ｈ．２６４／ＡＶＣの場合、２つの好ましいエントロピー符号化方法として、ＣＡＢＡＣ及びＣＡＶＬＣが挙げられる。しかし、本発明のかかる視点によると、周波数領域において量子化された係数を符号化する代りに、空間領域で量子化されたサンプルは、上述の方法によって符号化される。上述したように、周波数領域の場合と同様にデータを削減するように、スキャン順序を変えることができる。上述したように、空間領域におけるスキャンは、同一の空間位置における予測画像信号の勾配の大きさによって制御し得る。この原理によると、符号化すべきサンプルは、図７（ａ）、７（ｂ）についてすでに述べたように、勾配の降順に配列される。上述したように、他のスキャン機構も適用し得る。さらに、ＣＡＢＡＣの場合、別々の可能性モデルを意味する別々の符号も、本発明の視点に係る空間領域に対して使用し得る。符号、及び、ＣＡＢＡＣの場合には可能性モデルの初期化は、量子化サンプルの統計値から導き出すようにしてもよい。空間領域におけるコンテクストモデリングは、周波数領域の場合と同様に行うことができる。

「付帯情報の符号化」

図４について説明した適応制御手段は、ブロックの符号化を行うべき領域についての情報を生成する。ブロックサイズは、変換の大きさに従って４×４画素又は８×８画素とすることができる。しかし、本発明の他の視点によると、変換の大きさに拠らない他のブロックサイズを適用することができる。本発明の一視点によると、付帯情報は、符号化の間に符号化機構が適応的に変化したか否かを示す特定のフラグを含む。例えば、あるスライスのすべてのブロックが周波数領域で符号化された場合には、このことを、符号化ビデオデータ信号中の特定のビットによって表すようにしてもよい。本発明のかかる視点によると、すべて２つの領域の各々又は一方のみにおいてすべて符号化することのできるマクロブロックのブロックに関連させてもよい。さらに、本発明のかかる視点による構想はマクロブロックに適用してもよく、マクロブロックの少なくとも１つのブロックが空間領域において符号化されているか否かを示す情報をデータストリームに含めるようにしてもよい。したがって、現スライスのすべてのブロックが周波数領域で符号化されているか否か、又は、少なくとも１つのブロックが空間領域において符号化されているか否かを示すために、フラグSlice_FD_SD_coding_flagを使用することができる。このフラグは、１ビットで符号化し得る。スライスの少なくとも１つのブロックが空間領域において符号化されている場合には、そのことは、現マクロブロックのすべてのブロックが周波数領域で符号化されているか、又は、少なくとも１つのブロックが空間領域において符号化されているときには、現スライスの各々の個々のマクロブロックについて、フラグMB_FD_SD_coding_flagによって表すことができる。このフラグは、既に符号化された、上方及び左方に隣接するブロックのフラグがあることを条件として符号化することができる。マクロブロックの最後のブロックが空間領域において符号化されている場合、このことは、現ブロックが周波数領域又は空間領域において符号化されているときには、符号化すべきマクロブロックの各ブロックに対して、FD_or_SD_Flagフラグによって示すことができる。このフラグは、すでに符号化された、上方及び左方に隣接するブロックのフラグがあることを条件として符号化することができる。あるいは、予測信号又は動きベクトルと組合せた予測誤差信号があることを条件として、付帯情報も符号化することができる。

「シンタックスとセマンテイックス」

本発明のかかる視点によると、Ｈ．２６４／ＡＶＣ符号化スキームに本発明の視点を組込むことを可能とする、例示的なシンタックス及びセマンテイックスが提供される。したがって、フラグSlice_FD_SD_coding_flagは、表４に示すようにslice_headerに導入し得る。フラグMB_FD_SD_coding_flagは、表５に示すように各macroblock_layerにおいて伝送することができる。以下の表６に示すように、residual_block_cabacにおいて、現ブロックに対して周波数領域の符号化が提供されたか空間領域の符号化が提供されたかは、フラグFD_or_SD_flagによって指示される。同様の方式は、予測誤差の符号化のための他のビデオ符号化アルゴリズムにも適用し得る。
［表４］

［表５］

［表６］

発明を記述する更なる形態
［形態１］
ハイブリッド符号化を用いてビデオ信号を符号化する方法であって、
予測誤差信号を求めるために、ブロックベース動き補償予測により時間的冗長性を削減する工程と、
更なる符号化のために、前記予測誤差信号を周波数領域に変化するか、前記予測誤差信号を空間領域で保持するか、前記予測誤差信号のすべての値をゼロとするか、のいずれかを選択する選択工程とを含むことを特徴とする方法。
［形態２］
前記選択工程はコスト関数に基づくことを特徴とする、形態１に記載の方法。
［形態３］
前記コスト関数は、空間領域における符号化、周波数領域における符号化、及び、前記予測誤差信号をゼロとすることに対するレート歪みコストを含むことを特徴とする、形態１に記載の方法。
［形態４］
前記レート歪みコストは、歪みと重み付けされた所要レートとの和に基づくことを特徴とする、形態３に記載の方法。
［形態５］
Ｄ_ｊを量子化による歪み、Ｒ_ｊを量子化に必要なレート、Ｌをラグランジュパラメータ、指標ｊを対応するサブブロックとして、レート歪みコストＣ_ｊは式Ｃ_ｊ＝Ｄ_ｊ＋Ｌ＊Ｒ_ｊを用いて計算されることを特徴とする、形態４に記載の方法。
［形態６］
前記歪みは、量子化誤差の２乗の和又は平均絶対量子化誤差であることを特徴とする、形態５に記載の方法。
［形態７］
空間領域のサンプルは、周波数領域における係数と同一の方法によって符号化されることを特徴とする、形態１に記載の方法。
［形態８］
前記係数の符号化はＣＡＢＡＣ又はＣＡＶＬＣに従って行われることを特徴とする、形態７に記載の方法。
［形態９］
空間領域に対して別々の確率を有するＣＡＢＡＣの特定の符号を用いることを特徴とする、形態１に記載の方法。
［形態１０］
空間領域に対してＣＡＶＬＣの特定の符号を用いることを特徴とする、形態１に記載の方法。
［形態１１］
主観的に重み付けされた量子化誤差の最適化又は空間領域における２乗平均誤差の最適化を有する量子化器によって、予測誤差サンプルを量子化する工程をさらに含むことを特徴とする、形態１に記載の方法。
［形態１２］
予測誤差信号を空間領域に保持する場合に、付加的に、予測誤差ブロックに与えられたサンプルをスキャンして、特定の順序のサンプル配列を求め、該スキャンの方式は予測誤差画像又は予測画像から導出されることを特徴とする、形態１に記載の方法。
［形態１３］
前記スキャンの方式は、予測画像の勾配から導出されることを特徴とする、形態１２に記載の方法。
［形態１４］
前記スキャンの方式は、参照ブロックの予測誤差画像とともに、動きベクトルに基づくことを特徴とする、形態１２に記載の方法。
［形態１５］
前記スキャンの方式は、予測画像の勾配と、動きベクトルに組み合わされた参照ブロックの予測誤差画像との線形結合から導出されることを特徴とする、形態１２に記載の方法。
［形態１６］
一部が空間領域において符号化され、一部が周波数領域において符号化された予測誤差信号の符号化情報を含んでいることを特徴とする、符号化されたビデオ信号を表すデータ信号。
［形態１７］
スライス、マクロブロック又はマクロブロックのブロックが符号化される領域に関する情報、特に、スライス、マクロブロック又はブロックが空間領域において符号化されるか周波数領域において符号化されるかについての情報を含んでいることを特徴とする、形態１６に記載のデータ信号。
［形態１８］
スライス、マクロブロック又はブロックに使用される符号化に関連する、slice_fd_sd_coding_flag、mb_fd_sd_coding_flag、及び／又は、fd_sd_flag情報を含むことを特徴とする、形態１７に記載のデータ信号。
［形態１９］
ハイブリッド符号化を用いたビデオ信号符号化のための符号化器であって、
予測誤差信号を求めるために、ブロックベース動き補償予測によって時間的冗長性を削減する手段と、
適応制御手段とを備え、
前記適応制御手段は、前記予測誤差信号を周波数領域に変換するとともに得られた係数を符号化すること、前記予測誤差信号を空間領域で保持するとともにサンプルを符号化すること、又は、前記予測誤差信号をゼロに設定すること、のうちの１つを選択することを特徴とする符号化器。

Claims (15)

1. ハイブリッド符号化を用いたビデオ信号符号化の方法であって、
   予測誤差信号を定めるために、ブロックベース動き補償予測により時間的冗長性を削減する工程と、
   前記予測誤差信号が複数のサブブロックを含むとともに、前記予測誤差信号のサンプル及び前記予測誤差信号を周波数領域に変換して得られる係数を量子化して、量子化サンプル及び量子化係数を求める工程と、
   前記量子化サンプルに対する効率として第１量子化効率を計算すると共に、前記量子化係数に対する効率として第２量子化効率を計算する工程と、
   サブブロックにおける前記量子化サンプル又は量子化係数のすべてをゼロとしたときの量子化の効率として、ゼロ効率を計算する工程と、
   計算した第１量子化効率と、計算した第２量子化効率と、計算したゼロ効率とを比較する工程と、
   最高の効率を選択する工程と、
   さらに処理を続けるために、計算した第１量子化効率が前記最高の効率である場合には前記量子化サンプルを保持し、計算した第２量子化効率が前記最高の効率である場合には前記量子化係数を保持し、それ以外の場合には、前記サブブロックの量子化サンプル又は量子化係数のすべてをゼロとする工程とを含むことを特徴とする方法。
2. 計算した第１量子化効率が計算した第２量子化効率よりも高い場合、サブブロックにおける量子化サンプルのすべてをゼロとする際、少なくとも一の量子化について前記ゼロ効率を計算すると共に、計算した第２量子化効率が計算した第１量子化効率よりも高い場合、サブブロックにおける量子化係数のすべてをゼロとする際、少なくとも一の量子化について前記ゼロ効率を計算することを特徴とする、請求項１に記載の方法。
3. 前記ゼロ効率及び前記第１量子化効率が前記最高の効率である場合、さらなる処理を続けるために前記サブブロックの量子化サンプルのすべてをゼロとし、且つ／又は、前記ゼロ効率及び前記第２量子化効率が前記最高の効率である場合、さらなる処理を続けるために前記サブブロックの量子化係数のすべてをゼロとし、且つ／又は、前記第１量子化効率及び前記第２量子化効率が前記最高の効率である場合、さらなる処理を続けるために前記量子化サンプルを保持することを特徴とする、請求項１に記載の方法。
4. 前記予測誤差信号は、複数の前記サブブロックに細分されるマクロブロックを複数有し、サブブロックのサンプル及びサブブロックの予測誤差信号を周波数領域に変換して得られた係数に対して量子化を行い、効率の計算、効率の選択、及び、量子化サンプルまたは量子化係数の保持又はこれらをゼロとすることを各サブブロックに対して行うとともに、
   １つのマクロブロックのすべてのサブブロックを量子化するための全量子化効率を計算する工程と、
   前記マクロブロックのすべての量子化サンプル又は量子化係数をゼロにしたときの全ゼロ量子化効率を計算する工程と、
   より高い方の効率を選択する工程と、
   前記マクロブロックの選択された効率に依存して、前記マクロブロックに対応する量子化サンプル又は量子化係数を保持するか又はゼロとする工程とをさらに含むことを特徴とする、請求項１に記載の方法。
5. 前記効率の計算は、コスト関数に基づくことを特徴とする、請求項１に記載の方法。
6. 前記コスト関数はレート歪みコストに基づき、該レート歪みコストは所要レート及び結果として得られる歪みに応じて計算されることを特徴とする、請求項５に記載の方法。
7. 前記レート歪みコストは、前記歪みと重み付けされた所要レートとの和に基づくことを特徴とする、請求項６に記載の方法。
8. Ｄｊを量子化による歪み、Ｒｊを量子化に必要なレート、Ｌをラグランジュパラメータ、指標ｊを対応のサブブロックとして、レート歪みコストＣｊは式Ｃｊ＝Ｄｊ＋Ｌ＊Ｒｊを用いて計算されることを特徴とする、請求項７に記載の方法。
9. 前記歪みは、量子化誤差の２乗の和又は絶対平均量子化誤差であることを特徴とする、請求項６に記載の方法。
10. マクロブロックの全量子化効率は、各サブブロックの選択された効率の和であることを特徴とする、請求項４に記載の方法。
11. ハイブリッド符号化を用いて符号化されたビデオ信号の復号化方法であって、
    前記ビデオ信号は、請求項１乃至１０のいずれか１項に記載の方法を用いて符号化され、
    前記符号化されたビデオ信号の入力ストリームが、前記符号化されたビデオ信号の予測誤差信号を空間領域で表しているか、又は周波数領域で表しているかを適応的に判定すると共に、前記判定に応じて、符号化されたビデオ信号を、周波数領域又は空間領域において復号化する工程を含むことを特徴とする復号化方法。
12. １次元配列において受信された予測誤差信号サンプルの位置（複数）は、以前受信された予測誤差信号又は予測画像に基づいて決定された２次元配置の位置（複数）に割り当てられることを特徴とする、請求項１１に記載の復号化方法。
13. ハイブリッド符号化を用いたビデオ信号の符号化器であって、
    予測誤差信号を求めるために、ブロックベース動き補償予測により時間的冗長性を削減する手段と、
    前記予測誤差信号が複数のサブブロックを含むとともに、前記予測誤差信号のサンプル及び前記予測誤差信号を周波数領域に変換して得られた係数を量子化して、量子化サンプル及び量子化係数を求める量子化手段と、
    制御手段とを備え、
    前記制御手段は、前記量子化サンプルに対する効率として第１量子化効率を計算すると共に、前記量子化係数に対する効率として第２量子化効率を計算する工程と、サブブロックにおけるすべての量子化サンプル又は量子化係数をゼロとしたときの量子化の効率として、ゼロ効率を計算する工程と、計算した第１量子化効率と、計算した第２量子化効率と、計算したゼロ効率とを比較する工程と、最高の効率を選択する工程と、さらに処理を続けるために、計算した第１量子化効率が前記最高の効率である場合には前記量子化サンプルを保持し、計算した第２量子化効率が前記最高の効率である場合には前記量子化係数を保持し、それ以外の場合にはサブブロックの量子化サンプル又は量子化係数のすべてをゼロとする工程とを実行するように構成されていることを特徴とする符号化器。
14. 予測誤差信号の画素を空間領域から周波数領域に変換する変換手段をさらに備えていることを特徴とする、請求項１３に記載の符号化器。
15. 請求項１乃至１０のいずれか１項に記載のハイブリッド符号化を用いて符号化されたビデオ信号の復号化器であって、
    符号化されたビデオ信号の入力ストリームが、符号化ビデオ信号の予測誤差信号を空間領域で表しているか、又は周波数領域で表しているかを適応的に判定する適応制御手段を備えていることを特徴とする復号器。

Images