JP4773966B2 - ビデオ圧縮の方法と装置 - Google Patents

Description

本発明は圧縮規格H.264/AVCの拡張版又は他の同様の規格内で種々のピクチュア(picture)解像度を扱うことに関する。

動画の実時間伝送が、例えば、テレビ会議、ネット会議、テレビ放送及びテレビ電話のようないくつかの用途で用いられている。

しかしながら、動画の表現には膨大な情報を必要としていて、典型的には、デジタルビデオ(digital video)は、８ビット(bit)（１バイト(Byte)）以上を有するピクチュア内の各ピクセル(pixel)を表現することにより記述されている。そのような非圧縮のビデオデータ(video data)は大きなビット量になり、従来の通信ネットワーク(network)及び伝送線では、限られた帯域により実時間で伝送できない。

それゆえ、実時間ビデオ伝送を可能にするには、大幅なデータ圧縮を必要とする。しかしながら、データ圧縮は画質を損なう。それゆえ、帯域で制限されたデータ接続で高画質のビデオを実時間伝送できる圧縮技術を開発するための大きな努力が行なわれている。

ビデオ圧縮システムでは、その主目標は可能な限り小さな容量でビデオ情報を表現することである。容量は、一定値として又はビット／時間の単位として、ビットにより定義される。両方の場合、主目標はビット数を低減することである。

最も普通のビデオコーディング(video coding)方法はMPEG＊及びH.26＊の規格で記述されている。そのビデオデータは伝送前に主要な４工程で処理される。即ち、予測、変換、定量化及びエントロピー(entropy)コーディングである。

予測工程は伝送すべきビデオシーケンス(video sequence)内の各ピクチュア(picture)に必要なビット量を有意に低減する。シーケンスの一部とそのシーケンスの他の部分の類似性を利用する。予測部の一部がエンコーダー(encoder)とデコーダー(decoder)の両方に知られているので、差のみを伝送すればよい。典型的にこの差が表現に必要な容量を大きく低減する。その予測は主として移動を表現するベクトル(vector)に基づいている。その予測工程は典型的には正方形のブロックサイズ(block sizes)(例えば、16×16ピクセル)上で行なわれる。

H.264/AVCと同様なある場合に、先行するピクチャーのピクセルの代わりに、同じピクチャー内の隣接ピクセルに基づくピクセルの予測を用いていることに留意されたい。これは、相互予測に対して、内部予測と呼ばれる。図４に太字で示されたピクセルはそのような隣接ピクセルである。H.264/AVCでは、ルミナンス(luminance)ブロック(block)とクロミナンス(chrominance)ブロックの両方でそのような予測を行なうために多様なモード(mode)がある。その予測モードのひとつはＤＣ予測と呼ばれる。それは同じ値を持つブロック内の全てのピクセルを予測する。残差のコーディングに用いる特定変換の特性を考慮したとき、それは、予測無しにブロックデータ(block data)を変換するのと比較して、残差のブロックデータのＤＣ係数のみを変えることを意味する。全てのＡＣ係数を変更しない。この理由で、その予測モードはＤＣ予測と名付けられる。

データのブロック（例えば、4×4のピクセル）として表現された残差の部分には依然として内部相関性が含まれる。これを利用する良く知られた方法は、二次元ブロック変換を実施することである。H.263では、８×8の離散的余弦変換(Discrete Cosine Transform: DCT)を用いている。一方、H.264は４×４の整数型変換を用いている。これは４×４ピクセルを４×４の変換係数に変換する。それらは通常ピクセル表現よりも少ないビットで表現できる。内部相関性を持つ４×４のピクセルのアレー(array of pixels)の変換が多分４×４の変換係数のブロックになり、最初の４×４のピクセル・ブロックより非ゼロ値がずっと少なくなる。

マクロブロック(macro block)はクロミナンス(chrominance：chroma)だけでなく、ルミナンス(liminance：luma)のためのいくつかのサブブロックから成るピクチャーの一部である。

典型的に、ルミナンスと比較して、水平及び垂直の両方で半分の解像度を有する２種のクロミナンス成分（Cr, Cb）がある。これは例えばカメラ・センサー(camera sensor)及びモニター・ディスプレー(monitor display)で典型的に用いる表現であるＲＧＢ（赤red，緑green、青blue）とは対照的である。図１ではマクロブロックは１６×１６のルミナンス・ピクセル及び２種のそれぞれ８×８のピクセルを有する２種のクロミナンス成分から成る。各成分はさらに小さな正方形により表現される４×４のブロックに分割される。コーディングの目的で、lumaとchromaの両方の４×４のブロックはお互いに８×８のサブブロックにまとめられ、Y0-Y3及びCr、Cbと指定される。このフォーマット(format)のchromaの部分がある場合に４：２：０として表示され、図２の左に示している。略図は必ずしも一目瞭然ではない。それは垂直だけでなく水平でもクロミナンスがルミナンスの半分の解像度を有していることを意味する。従来のビデオ・フォーマットCIFの場合、これはルミナンス・フレーム(luminance frame)が３５２×２８８のピクセルを有しているがそのクロミナンス成分のそれぞれが１７６×１４４のピクセルを有していることを意味する。

別のフォーマットでは、４：２：２の表示で、図２の中央部分に示されていて、クロミナンスは水平方向でルミナンス解像度の半分を有し、垂直方向でルミナンスと同じ解像度を有している。このフォーマットは典型的に高画質インターレース(interlaced)処理されたテレビ信号に用いられ、そのインターレース構造が垂直方向でクロミナンスの半分の解像度を用いるのにある種の問題を生じている。

さらに別のフォーマットでは、４：４：４の表示で、図２の右に示されているが、ルミナンスとクロミナンスの信号が水平方向と垂直方向の両方で同じ解像度を有している。典型的な応用分野のひとつはルミナンスとクロミナンスが同じ解像度を持つことが望ましいように、色を用いているグラフィックス(graphics)材料である。

前述のように、多くのビデオ・コーディングの規格は主として、４：２：０のために設計されている。ＭＰＥＧ２プロフェショナル・プロフィール(professional profile)は特別なクロミナンス・ブロック配置を用いて４：２：２をカバーしている。同じことがH,263にあてはまる。一般的に、これは、各フォーマットが特別な解決策を必要とし、種々のクロミナンスのピクチャー・フォーマットのために多くの伝達関数のフォーマットを求めていることを意味する。
米国特許第6,256,347 B1号明細書 米国特許出願第2003/0043921 A1号明細書

本発明の目的は、４：２：０、４：２：２、４：４：４のような種々のビデオ・フォーマットのエンコーディング／デコーディングに対する統一した解決策を提供することである。

特に、本発明は動画内で種々のクロミナンスのフォーマットを均一に変換するためのビデオ・コーディングの方法を提供する。ここで、第一の整数変換関数により残差クロミナンスのピクセル値の第一のｍ×ｎマクロブロックを変換して、対応する整数変換係数の第二のｍ×ｎマクロブロックを発生し、さらに、整数変換係数のDC値を第二の整数変換関数
により変換して、整数変換されたDC係数の第三のブロックを発生する。この方法にはさらに第一のｍ×ｎマクロブロックの各ｋ×ｋサブブロック上にｋ×ｋ整数変換関数を用いることにより第二のｍ×ｎマクロブロックの整数変換係数を発生するステップが含まれている。ここで、ｎとｍはｋの倍数である。そして、種々のクロミナンスのフォーマットに対してｋが固定されている。又、DC値に第二のｉ×ｊ整数変換関数を用いることにより第三のブロックの係数を発生させて、（ｍ／ｋ）×（ｎ／ｋ）の第三のブロックの整数変換されたDC係数を得る。ここで、種々のクロミナンスのフォーマットに対してｉ及びｊが固定されていない。

さらに、本発明はビデオのコーディング方法の逆になっているビデオのデコーディングの方法を提供している。

本発明を理解しやすくするために、以下の議論は添付図面を参照して行なっている。

本発明は上記の４：２：２及び４：４：４のようなフォーマットを含めるためにH.264/AVCビデオ・コーディング規格の拡張を行なっている。その方法はクロミナンスがH.264/AVCで既に処理されている方法に基づいている。マクロブロックは１６×１６ルミナンス・ピクセルとそれぞれが８×８ピクセルを有する２個のクロミナンス要素を有するピクチュアの一部から成っている。これは図２内に示され、４：２：０と表示されている。

記述は主としてエンコーディング工程に関している。しかしながら、これは、デコーディングの実施方法と関連している。このことは、例えば、エンコーダー(encoder)での変換が２段階で行なわれる場合、デコーダー(decoder)が２段階で逆変換を実施しなければならないことを意味する。一般的に、「コーディング(coding)」の用語は多くの場合エンコーディング(encoding)とデコーディング(decoding)の全工程を含めた短い表現として使用される。本発明はエンコーディングとデコーディングの両方を含むように定義されたコーディング工程全体をカバーしている。

本発明の第一の側面は残差信号を記述するコーディングに関する。H.264/AVCで、クロミナンスの残差信号は２段階の変換を用いて記述されている。図２の４：２：０のボックスは８×８ピクセルのクロミナンス・ブロックが４×４ピクセルのサブブロックに分割されていることを示している。４×４のサブブロックのそれぞれの残差信号が４×４の変換をされて、１個のDC係数と１５のAC係数が得られる。そのDC係数は４×４ブロックの平均値になる。

本発明の第一の側面に基づくと、クロミナンス残差信号の第一の変換の４×４というブロック・サイズ(block size)が維持される。そして、そのようなサブブロックの数は種々のピクチュア・フォーマットで違う。一般的表示では、ｋ×ｋ変換をｍ×ｎ（ｍは水平方向、ｎは垂直方向）のクロミナンス・ピクセルのマクロブロック上で用いる。

図３に示すように、４×４ブロックのそれぞれのDC係数をさらに変換するのに２×２変換を行なう。一般的な場合で、DC係数に対するｉ×ｊ変換が用いられる。ｉとｊは、ｉ×ｋ＝マクロブロック内でクロミナンスのピクセルの水平方向の数であり、ｊ×ｋ＝マクロブロック内でクロミナンスのピクセルの垂直方向の数となるような値を持つ。変換のタイプ(type)は二次元のHadamard変換になるように選択するのが好ましい。

本発明により、変換関数のフォーマット内の変化はＤＣ変換に移行する。これは全コーディングの小さな部分を構成していて、それは種々のクロミナンスのピクチャー・フォーマットのコーディング内の僅かな違いを意味している。

さらに、本発明は、コーディングの内部予測の部分に関している。本発明の好ましい実施例では、４：２：２フォーマットに対するDC予測が提供される。DC予測が、全ブロックに対してひとつの値を予測する。この場合、８×１６ブロック内の全てのピクセルに対してひとつの値を、隣接していて、既にコーディングとデコーディングが行なわれたピクセルから予測することを希望する。これは図４に示され、図４では、８×１６を太字で示された２４の隣接するピクセルから予測する。

自然の予測では太字の２４個全てのピクセルの平均をとる。

予測値＝合計（２４個の隣接するピクセル）／２４
しかしながら、２４による除算を避けるのが望ましい。それゆえ、我々は以下の定義を用いる：
予測値＝（２×合計（８個のピクセル、上方）＋合計（１６個のピクセル、左方）／３２
この方法で、３２による除算はシフト(shift)操作により容易に行なえる。

一般的な場合で、シフト操作の利点を利用するために、サイズ２^ｑ×２^ｒの長方形ブロックでDC予測を実施しなければならない。ここでｑ及びｒは整数である。ｑ＞ｒで、かつ、ｑはブロックの第一の寸法を表現するように定義されていて、ｒはブロックの第二の寸法を表現するように定義されている。第一の寸法は垂直のサイズを示し、第二の寸法はブロックの水平のサイズを示すか、その逆である。ブロックのDC予測は以下の形になっている：
予測値＝（合計（第一の寸法までの隣接ピクセル）＋２^{（ｑ−ｒ）}×（合計（第二の寸法までの隣接ピクセル）／２ ^２ｑ
上記に続いて、ｍ＝２^ｑ及びｎ＝２^ｒである。

本発明を用いて、図２の４：２：２及び４：４：４に示すように、マクロブロックのクロミナンス・ピクセルが４×４のサブブロックに分割される。そして、各サブブロックが４×４の変換を受ける。図３に示すように、DC係数の第二段階の変換は２個の高位フォーマットのためのサイズ２×４及び４×４になる。そこで、種々のフォーマットのコーディングの間の主な差は二次残差のクロミナンス変換である。

本発明の範囲はH.264/AVCに限定されないことに留意されない。例えば、ＳＩＰのような他のビデオ・コーディング規格と関連して、有利に利用しうる。

１６ｘ１６ルミナンス・ピクセルとそれぞれ８ｘ８ピクセルを持つ２種のクロミナンス成分から成る４：２：０フォーマットを持つマクロブロックを４ｘ４ブロックに分割し、さらに、４個の４ｘ４ブロックのサブグループに配置する方法を示している。さらに、４個のクロミナンス・ブロックのそれぞれからDC係数を差し引いて、２ｘ２ブロックから成る別々のクロミナンスDC要素を形成する方法を示している。 種々のピクチャー・フォーマットのマクロブロック内のクロミナンス・ピクセルの一要素を示している。 種々のフォーマットに対するDC値の第二段階の変換を示す。 ８×１６ブロックのDC予測の根拠を示す。

符号の説明

ｍ 水平方向の数でｋの倍数
ｎ 垂直方向の数でｋの倍数
ｋ 部分行列のサイズ
ｉｘｋ マクロブロック内でクロミナンスのピクセルの水平方向の数
ｊｘｋ マクロブロック内でクロミナンスのピクセルの垂直方向の数
luma ルミナンス
chroma クロミナンス
Cr, Cb クロミナンス成分
Cr-dc；Cb-dc クロミナンス成分のDC値
Cr-ac；Cb-ac クロミナンス成分のAC値

Claims (12)

1. 動画内の種々のクロミナンスのフォーマットを均一に変換するためのビデオのコーディング処理方法であって、ここで、残差クロミナンスのピクセル値の第一のｍ×ｎマクロブロックを第一の整数変換関数により変換して、対応する整数変換係数の第二のｍ×ｎマクロブロックを発生するようになし、さらに、整数変換係数のDC値を第二の整数変換関数により変換して、整数変換されたDC係数の第三のブロックを発生する、ビデオのコーディング処理方法において、
   第一のｍ×ｎマクロブロックの各ｋ×ｋサブブロックにｋ×ｋ整数変換関数を用いることにより整数変換係数の第二のｍ×ｎマクロブロックを発生する過程を備え、ここでｎ及びｍの各々はｋの倍数であり、ｋは種々のクロミナンスのフォーマットに対して一定であり、
   DC値に第二の（ｍ／ｋ）×（ｎ／ｋ）整数変換関数を用いることにより、第三のブロックの係数を発生し、整数変換されたDC係数の（ｍ／ｋ）×（ｎ／ｋ）の第三のブロックを得る過程を備え、ここで、（ｍ／ｋ）及び（ｎ／ｋ）は種々のクロミナンスのフォーマットに対して一定でない、ことを特徴とする方法。
2. ｋ＝４、ｍ＝８及びｎ＝８であることを特徴とする請求項１記載の方法。
3. ｋ＝４、ｍ＝１６及びｎ＝８であることを特徴とする請求項１記載の方法。
4. ｋ＝４、ｍ＝１６及びｎ＝１６であることを特徴とする請求項１記載の方法。
5. ビデオのコーディングがH.264に基づいて行なわれることを特徴とする請求項１〜４のいずれか１に記載の方法。
6. 整数変換関数が各々の整数変換関数であることを特徴とする請求項１〜５のいずれか１に記載の方法。
7. 動画内の種々のデコーディング処理されたクロミナンスのフォーマットを不均一に変換するためのビデオのデコーディング処理方法であって、ここで、整数変換されたDC係数の第一ブロックを第一の逆整数変換関数により変換して、整数変換係数の第一のｍ×ｎマクロブロックのいくつかのDC値を発生するようになし、そして、いくつかのDC値を第二の逆整数変換関数により更に変換して、動画の残差クロミナンスのピクセル値の第二のｍ×ｎマクロブロックを発生する、ビデオのデコーディング処理方法において、
   整数変換されたDC係数の第一のブロックに、第一の（ｍ／ｋ）×（ｎ／ｋ）逆整数変換関数を用いることにより整数変換係数の第一のｍ×ｎマクロブロックのいくつかのDC値を発生する過程を備え、ここで、（ｍ／ｋ）及び（ｎ／ｋ）は種々のクロミナンスのフォーマットに対して一定でなく、
   整数変換係数の第一のｍ×ｎマクロブロックのｋ×ｋサブブロックのそれぞれにｋ×ｋ逆整数変換関数を用いることにより残差クロミナンスのピクセル値の第二のｍ×ｎマクロブロックを発生する過程を備え、この場合、ｎ及びｍの各々はｋの倍数であり、ｋは種々のクロミナンスのフォーマットに対して一定であり、かつ、整数変換されたDC係数の第一ブロックが（ｍ／ｋ）×（ｎ／ｋ）のサイズである、ことを特徴とする方法。
8. ｋ＝４、ｍ＝８、ｎ＝８を特徴とする請求項７記載の方法。
9. ｋ＝４、ｍ＝１６、ｎ＝８を特徴とする請求項７記載の方法。
10. ｋ＝４、ｍ＝１６、ｎ＝１６を特徴とする請求項７記載の方法。
11. ビデオのデコーディング処理がH.264規格に基づいて実施されることを特徴とする請求項７−１０のいずれか１記載の方法。
12. 整数変換関数が各々の整数変換関数であることを特徴とする請求項７−１０のいずれか１記載の方法。

Images