JP4388877B2

JP4388877B2 - ビデオエンコーダレート制御用装置、システムおよび方法

Info

Publication number: JP4388877B2
Application number: JP2004303307A
Authority: JP
Inventors: エル．ライトストーンマイケル; エッカルトステファン
Original assignee: エヌヴィディアコーポレイション
Priority date: 2003-10-16
Filing date: 2004-10-18
Publication date: 2009-12-24
Anticipated expiration: 2024-10-18
Also published as: TW200526042A; TWI245570B; US7535959B2; EP1524860A3; US20050084007A1; EP1524860A2; EP1912442A3; EP1912442A2; JP2005192193A; SG111296A1

Description

発明の分野

[0001] 本発明は、ビデオ圧縮エンコーダのレート制御に一般的に関わる。特に、本発明は、ＭＰＥＧ互換ビデオエンコーディングを含むがこれに制限されないブロックベースのビデオエンコーディングに対する固定ビットレート（ＣＢＲ）および可変ビットレート（ＶＢＲ）制御に関わる。

発明の背景

[0002］ビデオの圧縮は、データ記憶および／または記録されたビデオストリームの送信要件を減らすために一般的に用いられる。例えば、動画エキスパートグループ（ＭＰＥＧ）規格は、幾つかの一般的に用いられるビデオ圧縮規格を定義する。

[0003］ＭＰＥＧ−1はプログレッシブビデオを対象とし、ビデオ・コンパクト・ディスク（ＶＣＤ）のようなコンパクトディスクにビデオを記憶するために一般的に用いられる。ＭＰＥＧ−１規格は、グループ・オブ・ピクチャ（ＧＯＰ）を定める。従来技術の図１を参照するに、各ＧＯＰはイントラ符号化ピクチャフレームＩから始められる。後のイントラ符号化フレームＰを圧縮するために動き補償予測フィードバックが使用される。双方向予測フレームＢは、先行するおよび後続するＩまたはＰフレームに基づいて動き補償予測を用いて符号化される。ＭＰＥＧ−２は、インターレースビデオコンテンツに対して圧縮サポートを提供する。

[0004］ＭＰＥＧビデオ圧縮は、個々のフレームをそれぞれマクロブロックと呼ばれる領域に分割する。個々のマクロブロックは、隣接するフレームから予測され得る。離散コサイン変換（DCT）がフレームに適用されてフレームが圧縮される。次に、各マクロブロックに対して結果として得られるＤＣＴ係数が量子化される。可変長エンコーダがデータをエンコードするために使用される。

[0005]レート制御器は、所与の画像コンプレキシティに対してビットレートを決定する量子化ステップサイズを選択するために使用される。更に、画像の質は、量子化ステップサイズにも依存する。従来ビットレートＲは、式 R = X / Q にしたがってモデリングされ、このときＸは合計画像コンプレキシティであり、Ｑは量子化ステップサイズである。したがって、ビットレート、量子化ステップサイズ、画像コンプレキシティ、および画像の質は相互関係にある。

[0006］従来のＭＰＥＧエンコーダが行うビットレート／質のトレード・オフは、望まれるほどよくない。多くの適用法において、従来のＭＰＥＧエンコーダは、特に、リアルタイムシステムで使用されるシングルパスＭＰＥＧに対して十分なレベルの制御を提供しない。

[0007］したがって、ＭＥＰＧエンコーダにおけるレート制御のための改善された装置、システム、および方法が望まれる。

発明の概要

[0008］ビデオ圧縮エンコーダ用のプログラム可能なレート制御器が開示される。一実施形態において、プログラム可能なレート制御器は、第１の量子化ステップサイズを生成する可変ビットレートエンコーダ、第２の量子化ステップサイズを生成する固定ビットレートエンコーダ、並びに、最大許容量子化ステップサイズを選択するセレクタを含む。

[0009］可変ビットレート制御器は、目標ピークビットレートおよび目標平均ビットレートを有する。一実施形態において、可変ビットレート制御器は、エンコーダの出力ビットストリームの平均ビットレートが目標平均ビットレートを追跡するよう量子化ステップを調節する。幾つかの実施形態では、比例積分制御技術が選択可能な時定数にしたがって目標平均ビットレートを追跡するために用いられる。

[0010］一実施形態において、固定ビットレート制御器は、現在のピクチャ内のマクロブロックの統計的頻度を決定し、各タイプのマクロブロックのコンプレキシティを示す統計的指標を生成し、マクロブロックタイプの統計的頻度およびマクロブロックタイプコンプレキシティの統計的指標を用いてピクチャコンプレキシティを予測し、予測されるピクチャコンプレキシティと一致するビット割り当てを生成し、ビット割り当てと一致する量子化ステップサイズを付与する。

[0011] 本発明は、添付の図面とともに以下の詳細な説明によってより完全に理解されるであろう。

[0019] 幾つかの図面において同様の参照番号は同様の構成要素を示す。

[0020］図２は、本発明の一実施形態によるビデオ圧縮エンコーダ２００のブロック図である。ビデオ圧縮エンコーダは、ビデオ画像を受信し、ビデオ画像をエンコードしてＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等のブロックベースのビデオ圧縮規格にしたがって出力ビットストリームを生成するよう適合されることは理解されるであろう。

[0021］エンコーダ２００は、ＭＰＥＧ動き推定モジュール２１０、マクロブロック符号化判断モジュール２２０、離散コサイン変換（ＤＣＴ）を実施する変換モジュール２３０、量子化ステップサイズに応じて１マクロブロックに対する圧縮されたＤＣＴ係数を量子化する量子化モジュール２４０、圧縮された画像データを出力ビットストリームにエンコードする可変長エンコードモジュール２５０、および、量子化ステップサイズを選択するプログラム可能なレート制御器２６０を含む。一実施形態では、量子化モジュール２４０は、２から全ての任意の高値、例えば、５１２の値である仮想量子化スケールを含む。エンコーダビデオビットストリーム確認（ＶＢＶ）バッファ（図示せず）はエンコーダに含まれてもよい。ＶＢＶバッファは、潜在的なデコーダバッファのアンダーフローおよびオーバーフロー状況を決定するために用いられるモデル仮定デコーダバッファである。対応するデコーダが悪影響なアンダーフローまたはオーバーフロー状況を受けないようビットストリームがＶＢＶコンプライアンスであることが望ましい。

[0022］プログラム可能なレート制御器２６０は、結果として生ずるデコードされたピクチャのビデオの質に対してエンコーダの短期と長期な出力ビット生成のバランスをとるようプログラムされる。ＭＰＥＧ−１およびＭＰＥＧ−２に関して、このバランスは画像の質を劣化させる悪影響なデコーダバッファ状態（例えば、固定ビットレートエンコーディングに対するアンダーフローまたはオーバーフロー）を回避するよう１マクロブロック毎のＤＣＴ係数の量子化ステップサイズを設定することで実現される。

[0023］一実施形態では、プログラム可能なレート制御器２６０は、可変ビットレート（ＶＢＲ）レート制御器２８０、固定ビットレート（ＣＢＲ）レート制御器２９０、並びに、ＶＢＲレート制御器２８０またはＣＢＲレート制御器２９０のいずれか一方からの出力を選択するセレクタ（図示せず）を含む。一実施形態では、セレクタ５１０は、出力が最も大きい量子化ステップサイズのレート制御器を選ぶ。ＶＢＲレート制御器２８０は、動作の可変ビットレートモードを許可する。ＣＢＲレート制御器２９０は、動作の固定ビットレートモードを許可する。ＣＢＲレート制御器２９０に関して、目標平均と目標ピークビットレートは同じである。ＶＢＲレート制御器２８０に関して、目標平均と目標ピークビットレートは独立して設定される。

[0024］以下により詳細に説明するように、一実施形態ではＣＢＲレート制御器２９０はマクロブロックタイプを分類し、マクロブロックタイプのエネルギー推定値を生成し、マクロブロック統計値からコンプレキシティ推定値を作成し、そこから目標ビットレートが推定される。更に、以下により詳細に説明するように、一実施形態ではＶＢＲレート制御器２８０は、出力ビットストリームの平均ビットレートにおける経時的な変化を測定することで、例えば、実際のおよび目標の長期平均ビットレート間の瞬間的または累積的偏差を追跡し、それに応じて目標ビット割り当てを再調整することで目標ビット割り当てを作成する。

[0025］プログラム可能なレート制御器２６０の動作のモード（ＣＢＲまたはＶＢＲ）は、プログラム可能なレート制御器２６０に入力されるパラメータ制約とＣＢＲまたはＶＢＲのいずれか一方を選択するために調整論理回路用に選択される論理的条件に依存する。これにより、例えば、動作のモードは、全体的にＣＢＲ、全体的にＶＢＲまたは、エンコードされているピクチャフレームのコンプレキシティおよび選択される他のパラメータに応じてＣＢＲとＶＢＲの間で往復して切り換えられるよう選択されることが可能となる。その結果、プログラム可能なレート制御器２６０はパラメータ制約の値を選択することで異なるエンコーディング用途に適合される応答を有する。

[0026］プログラム可能なレート制御器２６０は、プログラム可能なレート制御器２６０の機能を調節するためにパラメータを定めるパラメータ選択入力２１５を含む。以下により詳細に説明するように、ビデオビットストリーム確認（ＶＢＶ）バッファの大きさおよびピークレートのようなある制約は、ＭＰＥＧ−２コンプライアンスおよび／または特定の装置、例えば、ＶＣＤまたはＤＶＤプレーヤーでの再生を保障するために選択される。目標長期平均ビットレートのような他の制約は、適用がエンコーディングの前に出力ビットストリームの大きさを予測および／または予め割り当てることができるよう課せられ得る。プログラム可能なレート制御パラメータの実施例は、目標平均ビットレートＲ_ａｖｇ、ビデオビットストリーム確認モデルによって用いられるビットストリームのヘッダで特定される最大ビットレートに対応する最大ビットレートＲ_ｐｅａｋ、平均ビットレートにおける偏差に対してＶＢＲ動作を調整するビットレート時定数τ、ビット単位でのＶＢＶバッファの大きさＢ_ＶＢＶ、ＶＢＲレート制御器によって用いられる全てのマクロブロックに対する目標量子化スケールＱ_{ｔａｒｇｅｔ}、ＶＢＲレート制御器に対する初期の量子化スケールＱ_０、目標ＶＢＲ量子化スケール値に対する下バウンドである最小量子化スケール値Ｑ_ｍｉｎ、およびピクチャに対する目標ＶＢＲ量子化スケール値に対する上バウンドである最大量子化スケール値Ｑ_ｍａｘを含む。更に、ディザ更新期間およびピクチャ重み付け要素のような他のパラメータが選択されてもよい。一実施形態では、固定レートフラグが設定された場合、ピクチャのＶＢＶ遅延フィールドはＭＰＥＧ−２ビットストリームに関して非０ｘＦＦＦＦ値でエンコードされ、それによりゼロ・スタッフィングの真のＭＰＥＧＣＢＲストリームが得られる。ＣＢＲレート制御器またはＶＢＲレート制御器を有効または無効にするために有効／無効信号が含まれてもよいことは理解されるだろう。これら幾つかのパラメータは、ビットレート、量子化ステップサイズ、画質、および画像コンプレキシティの相互関係によって生ずるこれらパラメータを独立して設定することにおける幾つかの関連する制限とともに付録１に更に説明される。

[0027］図３を参照するに、一実施形態ではＣＢＲレート制御器２９０はピクチャ解析モジュール３１０、コンプレキシティモデルモジュール３２０、ビット割り当てモジュール３３０、およびピクチャレベルの量子化付与モジュール３４０を含む。ＣＢＲレート制御器２９０はＮの将来的ピクチャのローリングウィンドウにわたって一貫したビデオの質を得ようとし、このときＮはＧＯＰサイズの倍数である。固定ビットレートの要件は、出力ビットバッファ（ＭＰＥＧコンプライアンスエンコーディングに関してＶＢＶバッファ）におけるオーバーフローおよびアンダーフローを防止することで暗黙のうちに実現される。ＶＢＶビットバッファが１ピクチャ毎に一回、固定レートで満たされるため、ビットストリームは、ＶＢＶバッファがオーバーフローまたはアンダーフローにならない場合はＣＢＲコンプライアンスとなることが保障される。ＣＢＲレート制御器２９０は、現在のピクチャにおける統計値、並びに、前にエンコードされたピクチャにおけるレートと量子化ステップサイズ間の観察された関係に基づいてレートと量子化ステップサイズとの関係を予測する。これらの関係に基づいてビットは、次のＮのピクチャにわたって一定の質を維持することを目的として現在のピクチャに割り当てられる。

[0028］プログラム可能なレート制御器が量子化依存および量子化独立ビットに対して別個のレート量子化モデルを実施することは理解されるであろう。量子化依存ビットは、量子化ステップサイズに直接応じて変化するエンコードされたビットである。イントラブロックに関して、量子化依存ビットは、ＡＣＤＣＴ係数のエンコーディングから結果として生ずるビットである。非イントラブロックに関して、量子化依存ビットは、全てのＤＣＴ係数のエンコーディングから結果として生ずるビットである。両方の場合において、量子化依存ビットは、動きベクトル、ヘッダ、およびスキップされたマクロブロックのエンコーディングから結果として生ずるビットを除外している。量子化独立ビットは、ピクチャにおける全ての非量子化依存ビットである。ＣＢＲレート制御器２９０は、各ピクチャタイプに対して独立してピクチャにおける量子化独立ビットの数に対する現行の推定値を作成する。推定値は、単に、同じタイプのピクチャからの量子化依存ビットの過去の合計に対して動作される簡単な一次の無限インパルス応答（ＩＩＲ）フィルタの出力である。

[0029］ピクチャ解析モジュール３１０は、マクロブロックタイプ毎にマクロブロックを分類し、各タイプのマクロブロックをエンコードするために必要なビットの数を示すエネルギー値と呼ばれる統計的測定値を計算する。ピクチャ解析モジュールは、入力画像データ１、動き補償された差画像データ２、およびピクチャiに対するマクロブロック符号化判断データ３を入力として受信する。レート量子化モデルで用いられる幾つかの変数を列挙した表は付録２に含まれる。レート制御器における幾つかの信号の概要は付録３に含まれる。

[0030]一実施形態では、入力画像データ１は、式 {P _{x, y} (i, j); j ∈ J} P _{x, y} (i, j) によって表される各ピクセルの輝度値の形態にあり、一枚のピクチャにおけるマクロブロックインデックスの集合Ｊに対する原入力ピクチャにおけるマクロブロックｊの行ｘおよび列ｙの各ピクセルの輝度値 P _{x, y} (i, j) の集合に対応する。一実施形態において、動き補償された差画像データ２は、式 {R _{x, y} (i, j); j ∈ J} によって表され、ピクチャにおけるマクロブロックインデックスの集合Ｊに対するピクチャＩの動き補償から得られる差画像におけるマクロブロックｊの行ｘおよび列ｙに対応する各ピクセルの輝度値の集合に対応する。

[0031］各入力画像に関して、ピクチャ解析モジュール３１０は、明確なレート量子化特性を有するマクロブロックタイプ毎にマクロブロックを分類する。マクロブロックタイプは、異なる量子化特性を有するマクロブロックの頻度に関する統計値を生成するために分類される。可能なマクロブロックタイプの集合は、異なるマクロブロックの集合Ｋ（Ｋは少なくとも２つのメンバー）によって特定され、マクロブロック符号化判断モジュール２２０によってレート制御の開始前に行われると仮定されるマクロブロック符号化判断に基づく。集合Ｋにおけるマクロブロックタイプの実施例は、Ｉピクチャにおけるイントラブロック、ＰまたはＢピクチャにおけるイントラブロック、双方向動き補償のないＰピクチャにおける非イントラブロック、双方向動き補償のないＢピクチャにおける非イントラブロック、および双方向動きのあるＢピクチャにおける非イントラブロックを含む。

[0032]組Ｋ内の各タイプのマクロブロックの数がカウントされる。一実施形態では、マクロブロックカウント {Ф _k (i); k ∈ K} は、以下の式

にしたがって計算され、このとき、

であり、Ｊは現在のピクチャにおける各マクロブロックを示すインデックスの組である。次に、カウントはピクチャ中のマクロブロックの合計数によって正規化され、結果として、以下の式

による関連する発生頻度 {Γ_k(i); k ∈ K} の組が得られる。

[0033]現在のピクチャに対する頻度測定は、過去の推定値と組み合わされて、以下の式

によって計算され、現行の頻度推定値

が生成され、このとき、ｎは現在のピクチャに対するピクチャタイプである。

はタイプｋのマクロブロックがタイプｍのピクチャにおいて発生する可能性を推定するために用いられる。

[0034］ピクチャ解析モジュール３１０は、所与の量子化ステップサイズで特定のタイプのマクロブロックをエンコードするために必要なビットの数を示す統計的情報も生成する。一実施形態では、ＣＢＲレート制御器２９０は、所与の量子化ステップサイズのマクロブロックタイプをエンコードするために必要なビットの数を示すエネルギー値を計算するために各マクロブロックタイプの平均絶対差（ＭＡＤ）測定値のような差測定値をアクティビティ測定値として用いる。ＭＡＤの実施形態では、比較的大きいＭＡＤ値を有するマクロブロックタイプは小さいＭＡＤ値を有するマクロブロックタイプよりもエンコードするためにより多くのビットを必要とすると考えられる。

[0035]ピクチャｉにおけるインデックスｊを有するイントラマクロブロックに関して、ＭＡＤ値は原輝度ピクセル

とマクロブロックの平均ピクセル輝度

間の平均絶対差として式

に従って計算され得る。

[0036]ピクチャiにおけるインデックスjを有する非イントラマクロブロックに関して、ＭＡＤ値は値

に従って計算されてもよい。

[0037]ピクチャ解析モジュール３１０は、ＭＡＤ値を用いて各マクロブロックタイプに対するエネルギー値を計算し、エネルギー値は画像コンプレキシティのおおよその表示を提供するために経験的因子によってＭＡＤ値をスケーリングする。一実施形態において、各マクロブロックタイプに対するエネルギー測定値

は、式

にしたがって各マクロブロックタイプにおける全てのマクロブロックにわたってＭＡＤ値（β乗にする）を平均化することで計算される。経験的調査から決定されるβの典型的な値はβ＝１．４５である。

[0038]ピクチャ解析モジュール３１０は、コンプレキシティを理解するためにも有用な時間平均化されたエネルギー推定値

も生成する。時間平均化されたエネルギー推定値は、以下の式

および

にしたがって表される。

[0039]図３を参照するに、一実施形態においてピクチャ解析モジュールはＶＢＶコンプライアンスチェック中のビット予測を改良するためにビット割り当てモジュール３３０によって使用されるイントラエネルギー出力８を生成する。以下により詳細に説明するように、イントラエネルギー出力８は、ピクチャコンプレキシティにおける突然の変化を予期することを補助するためにビット割り当てモジュール３３０によって用いられ、さもなければＶＢＶアンダーフローまたはオーバーフローがもたらされる。ピクチャ解析モジュール３１０は、画像中の各マクロブロックに対する原ピクセルのエネルギーを合計することで現在のピクチャに対するイントラエネルギー

を測定する。この測定は、Ｉフレームが典型的には１２乃至１５フレームずつ離れているため有用である。同測定は、前のイントラエネルギー推定値と組み合わされてＩピクチャに対する現在のエネルギー推定値を生成し、以下の一次のＩＩＲフィルタ式

を用いて更新され得る。

[0040]コンプレキシティモデルモジュール３２０は、ピクチャ解析モジュール３１０からマクロブロック分類およびエネルギー計算情報を受信し、

によって与えられる各マクロブロックタイプに対する相対的な符号化「コンプレキシティ」を計算する。一実施形態では、コンプレキシティモデルモジュール３２０は、式

にしたがってマクロブロックタイプｍに対するコンプレキシティをモデリングし、このときb(i,j)およびq(i,j)はそれぞれピクチャｉからマクロブロックｊをエンコードするために使用される量子化依存ビットの数および量子化スケールである。

[0041]コンプレキシティモデルモジュール３２０は、マクロブロックタイプコンプレキシティの推定値も形成する。現在のピクチャに対するマクロブロックコンプレキシティは、過去の値と組み合わされてマクロブロックタイプコンプレキシティに対する現行の推定値

を生成する。特定の時間的瞬間に対応するマクロブロックタイプの全てのマクロブロックからの寄与を含む、ピクチャにおける該タイプのマクロブロックの数に比例させるよう特定のピクチャの寄与を特定のマクロブロックタイプに対する現行の平均コンプレキシティ推定値に基づかせる、および、過去のマクロブロックの寄与が時間とともに減少されるよう推定値を統計的にエージングさせるなど、様々な要素がマクロブロックタイプコンプレキシティの現行の推定値を作成するために用いられる。

[0042]一実施形態において、以下の式

および

がコンプレキシティに対する現行の平均推定値を計算するために使用され、このとき、ｉは現在のピクチャインデックスであり、

はマクロブロックタイプｋに関連するエージング要素であり、

はマクロブロックタイプｋに対するマクロブロックカウントである。分母の正規化項

は一定の入力が一定の出力を生ずることを保障する。

[0043]コンプレキシティモデルモジュール３２０は、以下により詳細に説明するように、目標ビットレートを調整するためにビット割り当てモジュールによって使用されるピクチャのコンプレキシティの推定値を計算する。現在のピクチャの（エンコーディング後に決定される）実際のコンプレキシティ

は、式

にしたがって個々のマクロブロックのエンコーディングコンプレキシティ

から計算され得る。

[0044]予測されるピクチャコンプレキシティは、実際のマクロブロックコンプレキシティ

（ピクチャがエンコードされた後まで分からない）をマクロブロックコンプレキシティの推定値

で置き換えることで計算される。更に、マクロブロックコンプレキシティ推定値は改善された精度のためにスケーリングされる。スケール係数は、実際のマクロブロックエネルギーとマクロブロックエネルギー推定値との比である。したがって、予測されるピクチャコンプレキシティ

は、式

にしたがって計算され、
このとき、ｅ_０は小さいエネルギー値の影響を緩和する小さい定数（例えば、０．５）である。

[0045]時間平均化されたピクチャコンプレキシティは、各ピクチャタイプに対しても推定される。各ピクチャタイプに対するコンプレキシティ

は、

にしたがってマクロブロックタイプコンプレキシティおよびその対応する頻度から直接合成される。

[0046］ビット割り当てモジュール３３０は、コンプレキシティモデルモジュール３２０からコンプレキシティモデルデータ９、ピクチャ解析モジュール３１０からイントラエネルギー推定値８、および可変長エンコーダ２５０からＶＢＶフルネスデータ６を受信する。コンプレキシティモデルデータは、理想目標ビットレートの推定値を生成するために使用され、それは次にＶＢＶフルネスおよびコンプライアンスを許容可能な制限内で維持するためにイントラエネルギー推定値およびＶＢＶフルネスデータを用いて調整される。

[0047]図４を参照するに、一実施形態においてビット割り当てモジュール３３０は理想ビット割り当てモジュール４１０、ＶＢＶフルネス調節モジュール４２０、およびＶＢＶコンプライアンス調節モジュール４３０を含む。理想ビット割り当てモジュール４１０は、前方ウィンドウのための公称のまたは「理想的な」ビットバジェット

から開始して実際のＶＢＶフルネスとピクチャ調節された「理想的な」ＶＢＶフルネスとの間の差に基づいて調節して

を結果として生じさせる。このバジェットは、反復ＶＢＶコンプライアンスチェックの結果により、ＶＢＶアンダーフローを防止するために調節されてもよい。最終的なバジェット

は、ピクチャに対するビット割り当ておよび後の量子化付与を決定する。

[0048]一実施形態において、理想ビット割り当てモジュール４１０は、ピクチャiをエンコードした後のタイプｍのピクチャに対する推定コンプレキシティである

を受信し、Ｍはピクチャタイプ（Ｉ、ＰまたはＢ）の組である。このデータより、理想ビット割り当てモジュール４１０は理想／目標ビット割り当てを生成し、

は式

に従う、各ピクチャタイプに対してピクチャiをエンコードする前のタイプｍのピクチャに対する理想／公称ＣＢＲビット割り当てであり、このとき、

は次のＮのピクチャに対するビットバジェットであり、ｍはピクチャタイプインデックスであり、Ｗ_ｍはタイプｍのピクチャに対する相対的な重み付けを示すパラメータであり、Ｎ_ｍはＮのピクチャ（必須ではないが通常はＧＯＰ)のウィンドウ内のタイプｍのピクチャの数である。ビット割り当てはフォワードルッキングローリングウィンドウを用いて１ピクチャ毎に基づいて動的に更新されることに注意する。
[0049]目標ビット割り当てアルゴリズムは、幾つかの仮定に基づく。第１の仮定は、各ピクチャに対するビット割り当ての合計が全てのピクチャに対する合計ビットバジェットに等しくなくてはならないことである。第２に、全てのピクチャにわたって一定の質のビデオを実現することが望ましいことが仮定され、これはローリングウィンドウにおける全てのピクチャタイプに対して単一の量子化スケール係数を意味する。最後に、各ピクチャタイプに対するビット生成物Ｂ_ｎ、量子化スケール係数Ｑおよび重み付けコンプレキシティ

間の以下の簡略化された式

が適用されると仮定される。

[0050]ＶＢＶフルネス調節モジュール４２０は、目標／理想ビット割り当て、更に、

を示す信号を受信し、このときＶＢＶ(i)はピクチャiをエンコードした後のＶＢＶフルネスである。ＣＢＲビット割り当てモジュール３３０は、将来的に「理想」ＶＢＶ(i)フルネスＮピクチャを実現するよう努める。この「理想」ＶＢＶバッファフルネス

は、エンコーダが指定ＣＢＲビットレートに応じて、および

の公称または「理想」ビットバジェットを用いる目標ビット割り当てモデルに応じてビットを割り当て、生成するという仮定の下でＶＢＶバッファの安定状態のフルネスを表し、このとき、

である。（ＣＢＲについて、ピークおよび平均レートが等しいことに注意する）。
[0051]Ｎの影響は、Ｎが増加するとアログリズムが公称または「理想」ＶＢＶバッファフルネスからの偏差により遅く反応するものである。より大きいＮは、一定の質のビデオとなる機会をより多く与えるが、ＶＢＶアンダーフローになる危険もより高くなる。理想ＶＢＶフルネスが第１のＩフレームをエンコードする直前に指定される場合、理想ＶＢＶフルネス

は、理想ＩＰＢビット割り当てを用いてローリングウィンドウにおける全ての残留するピクチャに対して決定され得る。したがって、Ｉフレームが１ピクチャ当たり最も多くのビットを通常生成するため、Ｉフレームをエンコードする直前に比較的フルなバッファを割り当てることが望ましい。更に、

がＮの倍数に対してシフト不変、すなわち、

であることに注意する。

[0052]将来的に理想ＶＢＶフルネスNピクチャを実現するためには、ＶＢＶフルネス調節モジュール４２０は、実際のＶＢＶフルネスＶＢＶ（ｉ）と理想フルネス

との間の差に基づいて、

の式にしたがって公称の合計ビットバジェット

を上下に調節してもよい。

[0053]ビット割り当てモデルにしたがってビットが生成されると仮定して、上述の式は理想ＶＢＶフルネスがNのピクチャにおいて実現されることを確実にする。

に基づき、レート制御は変更されたビットバジェットに基づいてビット割り当て

を作成する。

[0054]ＶＢＶコンプライアンスチェックモジュール４３０は、ＶＢＶアンダーフローが生ずると予想した場合にＶＢＶアンダーフローを防止するために提案された合計ビットバジェット

を減少させる反復ＶＢＶコンプライアンスチェックを使用する。コンプライアンス処理は、エンコーダが所定の方法でビットを生成するという仮定に基づいて次のＮのピクチャに対してＶＢＶフルネスの将来的なパス

を予想することでこのタスクを達成する。主として、ＣＢＲアルゴリズムは、ビットが提案されたビット割り当てにしたがって生成されると仮定する。しかしながら、２つの例外がある。特に、レート制御は

に関してビットが

にしたがって生成されると仮定し、このとき、ｍ_ｉはピクチャｉに対するピクチャタイプであり、ｉ_ｃｕｒｒは現在のピクチャのインデックスであり、

は、

であるスケール係数である。
コンプライアンスアルゴリズムは、

を

に初期化し、

にしたがって更新する。

[0055]ある時点で

が特定の最小閾値ＶＢＶ_minより下になると、アルゴリズムは、次の更新手順

に基づいてビット割り当てを減少させ、このとき、

はＶＢＶアンダーフローを生じさせると予想される将来的ピクチャインデックスである。一旦合計ビットバジェットが減少されると、ＣＢＲアルゴリズムは減少されたビット割り当て

を用いてＶＢＶコンプライアンスチェックを繰り返す。

に対する式は、

が

に等しいという制約を課すことで導出される。

[0056]ＶＢＶコンプライアンス調節の出力１０は、ビットバジェット

および次のＮのピクチャにわたってＶＢＶアンダーフローを回避すると予想される対応するビット割り当て

である。このビット割り当てを用いて、量子化付与モジュール３４０は、式

を用いて現在のピクチャに対する目標量子化ステップサイズを生成してもよく、このときｍ_ｉはピクチャｉのピクチャタイプである。

[0057］エンコードする前、名目上は実の値である各マクロブロックに対する目標量子化スケールはＭＰＥＧと互換性をもたせるために整数に変換されなくてはならない。ディザアルゴリズムは、指定された更新レートで翻訳を実施してもよい。

[0058]図５を参照するに、一実施形態においてプログラム可能なレート制御器２６０はＣＢＲレート制御器２９０およびコアＶＢＲレート制御器２８０を含む。ＣＢＲレート制御器２９０およびコアＶＢＲレート制御器２８０は、ビットレートの独自の計算を行い、選択モジュール５１０は２つのビットレートの最大の方を選択する。最終ＶＢＲ量子化スケールＱ_ＶＢＲが２つの提案された値のうち大きい方として選択される

[0059]一実施形態において、コアレート制御器２８０は長期平均ビットレートを追跡することで各ピクチャに対する目標ビット割り当て

を作成する。様々な追跡技法が用いられてもよい。これらは、例えば、ビットレートにおける短期的偏差をフィルタ除去する一方で長期平均ビットレートがグループ・オブ・ピクチャ内の後のピクチャに対してゆっくりと変化することを可能にするフィルタを含んでもよい。一つの好適な追跡技法は、応答の性質を決定する時定数を入力することで選択可能となる応答を選択するために比例積分制御技法を使用することである。

[0060]図６は、長期平均ビットレートを追跡するために二次の比例積分（ＰＩ）制御器を有するコアＶＢＲレート制御器２８０のモデルを示すブロック図である。平均ビットレートＢ_ａｖｇと実際のビットレートＢ_{ａｃｔｕａｌ}との間のビットレートの差Ｂ_{ｄｅｌｔａ}は、長期平均ビットレートを調整するために入力として用いられる。目標ＶＢＲビットレートは、

によって得られ、このとき

は瞬間的ビットレート偏差を表し、

によって得られ、

は累積ビットレート偏差を表し、

によって得られ、

はピクチャ

に対してエンコーダによって生成される実際のビットであり、

は

である。

[0061]これら更新式は結果として、

によって得られる開ループ伝達関数を生ずる。

[0062]目標ビット割り当ては、

にしたがってコアＶＢＲアルゴリズム

に対する提案された量子化スケールを導出するために使用され、このときＸ_０はＸ_０＝Ｑ_０・Ｂ_ａｖｇによって得られるコンプレキシティの公称の測定値を表し、Ｑ_０は初期の所望の量子化スケールに対応する。この式は、量子化選択と、量子化並びに可変長エンコーディングによって生成される出力ビットとの間の逆関係をモデリングする。

[0063]図７に示すように、レート量子化モデル

が正確な場合、

と量子化並びに可変長エンコーディングブロックは互いを相殺し、すなわち、

となり、ＶＢＲレート制御器モデルは

のフィードバック伝達関数

で従来の線形フィードバック制御システムに還元される。一次システムに関して、

および

は

にしたがって所望の時定数τから直接決定され得る。
二次制御に関して、一次システムからのポール

を単に複製し、

および

により導かれるＰＩ係数が結果として得られる。

[0064]双一次変換を用いて、フィードバック伝達関数

はラプラスドメインにマッピングされ、結果として生ずる伝達関数を従来のアナログ二次ＰＩ制御システム（サンプリングレートが関心周波数範囲と比較して相当大きいという追加的な仮定の下）の閉ループ伝達関数と同等にする。このマッピングは、

および

によって得られるダンピングされていない自然周波数

時定数

ダンピング要素

のような従来の線形制御システムパラメータに対する推定値の計算を可能にする。

[0065］本発明のレート制御器の一つの利点は、小さい時間遅延を必要とする実時間用途にも使用され得る点である。特に、レートエンコーダは、ＶＢＶオーバーフローおよびアンダーフローを回避するために十分に高い精度でピクチャのコンプレキシティを推定するために計算上効率的なシングルパスレートエンコーダ、すなわち、データの多数の繰り返しを必要としないレートエンコーダとして実施されてもよい。

[0066］本発明の別の利点は、レートと質の間の柔軟なトレード・オフを実現するために特定の用途の必要性に対してパラメトリック制約が設定され得る点である。Ｒ_ｐｅａｋおよびＢ_ＶＢＶは、ＶＢＶコンプライアンス出力ビットストリームを確実にするよう設定される。多くの適用法では、これらの値はビットストリームを再生するためにどのクラスのデコーダが保障されるかを決定する。例えば、ＤＶＤに対する最大適合値はＲ_ｐｅａｋ＝９．８ＭｂｓとＢ_ＶＢＶ＝１，８３５，００８ビットに対応する。同様にして、ＭＰＥＧ−１に対する制約されたパラメータ制限は、Ｒ_ｐｅａｋ＝１．８５６ＭｂｓとＢ_ＶＢＶ＝３２７，６８０ビットである。

[0067］一実施例として、レート制御器は最高の質を提供するために一定の質モードに設定され得る。この場合、Ｑ_{ｔａｒｇｅｔ}は、所望の質レベルに設定される。Ｒ_ｐｅａｋ、Ｂ_ＶＢＶおよびＶＢＶコンプライアンスフラグは、ＶＢＶコンプライアンスが望まれる場合に適宜設定される。しかしながら、一定の質の欠点は、ファイルの大きさが予測不可能な点である。

[0068］別の動作のモードにおいて、所定のファイルの大きさに対して最良の質が選択される。一実施形態において、この動作のモードに対する設定は、Ｒ_ａｖｇを長期平均ビットレート目的値に設定すること、時定数τを全ての所与のコンプレキシティの最長の予想されたシーンよりもτが好ましくは長いよう質に対する短期ビットレート生成の影響を最小化するために大きい値に設定すること、Ｑ_０をＶＢＲアルゴリズムに対して適当な初期値に設定すること、Ｑ_ｍｉｎをエンコーダが平均ビットレート目的値を維持するために簡単なコンテンツに対して過度にビットを生成しないよう適当な値に設定すること、Ｑ_ｍａｘをエンコーダが平均ビットレート目的値を維持するためにコンプレックスシーンを過度に量子化しないよう適当な値に設定すること、並びに、Ｒ_ｐｅａｋ、Ｂ_ＶＢＶおよびＶＢＶコンプライアンスフラグをＶＢＶコンプライアンスを可能にするよう設定することを含む。この動作のモードの利点は、所定のファイルの大きさに対して最良の質を提供する点である。しかしながら、シーンの長さが指定されたＶＢＲ時定数よりも長い場合に中および高コンプレキシティシーンが同じ数のビットとなるといった欠点を有する。

[0069]別の動作のモードは、真のＣＢＲビデオモードである。このモードに対する設定は、Ｒ_ｐｅａｋを所望のビットレートに設定すること、固定レートフラグを真に設定すること、および、Ｂ_ＶＢＶとＶＢＶコンプライアンスフラグをＶＢＶコンプライアンスに適当に設定することを含む。このモードの利点は、ＶＣＤに書き込まれ得る真のＣＢＲビデオを提供する点である。しかしながら、欠点は、他のモードに比べてビデオの質が低いといった点である。ＶＣＤに対するＣＢＲビデオモードの実施例として、設定は

並びに

に設定され、固定レートフラグを真に設定する。

[0070]コンパクトディスクに

および

で焼き付ける実施例を考える。

は

に等しくなくてもよく、媒体の記憶容量およびソースコンテンツの持続時間によって決定され、完全なビデオの質でディスクに入るようレートの折り合いが付けられなくてはならない。固定レートフラグは、この場合偽に設定される。この場合、

を指定する自由はあるが、（レート制御アルゴリズムが

を実現することを防止する可能性があるため）

にはない。

[0071]パーソナルビデオレコーダ（ＰＶＲ）に関して、圧縮されたＭＰＥＧファイルを記憶するハードドライブメモリ記憶容量が大きいと仮定すると

に対する制約は厳しくない。

および

を選ぶことにより大きい自由が存在する。

に対する制約が緩やかであるため、

および

を指定するための自由が存在する。大型のハードドライブに関して、質はレートよりも効果的に勝り、即ち、ビデオの質を劣化させるよりも

を超える方が好ましいと考えられる。

[0072］図８は、デュアル・モードＶＢＲ/ＣＢＲ動作に対する量子化ステップサイズの典型的なプロット図である。本実施例において、エンコーダはＣＢＲモードで動作し、より複雑なシーンについてモードをＶＢＲにシフトする。

[0073］したがって、これらの実施例より、本発明のビデオ圧縮エンコーダは、ビデオ圧縮エンコーダが種々の制約を有する用途、例えば、ＣＤ、ＰＶＲ等に焼き付けるような用途に使用される適用法において特に有益であることが理解されるであろう。

[0074］プログラム可能なレート制御器２６０およびエンコーダ２００がハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせで実行されてもよいことは理解されるであろう。その結果、本発明のソフトウェア実施形態は、様々なコンピュータ実行動作を実施するためのコンピュータコードを有するコンピュータ読み取り可能媒体を含むコンピュータ記憶製品に関わる。媒体およびコンピュータコードは、本発明の目的に特別に設計され構成されたものでもよく、または、コンピュータソフトウェア技術に熟練しているものに周知であり利用可能な種類でもよい。コンピュータ読み取り可能媒体の実施例は、ハードディスク、フロッピーディスク、磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびホログラフィック装置のような光媒体、フロプティカルディスクのような光磁気媒体、並びに、特定用途向け集積回路（「ＡＳＩＣ」）、プログラム可能論理回路（「ＰＬＤ」）およびＲＯＭおよびＲＡＭ装置のようなプログラムコードを記憶し実行するよう特別に構成されたハードウェア装置を含むがこれらに制限されない。コンピュータコードの実施例は、コンパイラより生成されるマシンコード、および、インタープリタを用いてコンピュータによって実行される高水準コードを含むファイルである。例えば、本発明の実施形態は、Ｊａｖａ、Ｃ＋＋または他のオブジェクト指向プログラミング言語および開発ツールを用いて実行され得る。本発明の別の実施形態は、マシン実行可能ソフトウェア指示の代わりにまたはそれと組み合わされてハードワイヤード回路で実行され得る。

[0075]説明目的のため前述の説明は本発明の完全な理解を提供するために特定の専門用語を用いている。しかしながら、特定の詳述が本発明を実施するために必要でないことは当業者には明らかであろう。したがって、本発明の特定の実施形態の前述の説明は、例示および説明目的のために提供される。それらは、網羅的でなく、本発明を開示される明確な形態に制限することも意図せず、多数の変更態様および変形例が上述の教示を鑑みて可能となることは明らかであろう。実施形態は、本発明の原理およびその実際的な適用法を最もよく説明するために選ばれ説明されているため、他の当業者が検討される特定の使用に適すよう本発明および様々な実施形態を様々な変更態様とともに最適に利用することを可能にする。添付の特許請求の範囲およびその等価物は本発明の範囲を定めるものである。

本発明は、ＭＰＥＧグループ・オブ・ピクチャ（ＧＯＰ）を示す従来技術の図である。本発明の一実施形態によるビデオ圧縮エンコーダのブロック図である。本発明の一実施形態によるＣＢＲレート制御器のブロック図である。本発明の一実施形態によるＣＢＲビット割り当て部のブロック図である。本発明の一実施形態によるデュアルＣＢＲ／ＶＢＲレート制御器のブロック図である。本発明の一実施形態によるコアＶＢＲレート制御器のブロック図である。一組の条件に対するＶＢＲレート制御器の等価モデルのブロック図である。デュアルＶＢＲ／ＣＢＲレート制御器に対する典型的な量子化ステップサイズの挙動を示すプロット図である。

符号の説明

１…入力画像データ。２…動き補償された差画像データ、３…マクロブロック符号化判断データ３、６…ＶＢＶフルネスデータ、８…イントラエネルギー出力、９…コンプレキシティモデルデータ、１０…ＶＢＶコンプライアンス調節の出力、２００…エンコーダ、２１０…ＭＰＥＧ動き推定モジュール、２１５…パラメータ選択入力、２２０…マクロブロック符号化判断モジュール、２３０…変換モジュール、２４０…量子化モジュール、２５０…可変長エンコードモジュール、２６０…プログラム可能なレート制御器、２８０…可変ビットレート（ＶＢＲ）レート制御器、２９０…固定ビットレート（ＣＢＲ）レート制御器、３１０…ピクチャ解析モジュール、３２０…コンプレキシティモデルモジュール、３３０…ビット割り当てモジュール、３４０…ピクチャレベルの量子化付与モジュール、４１０…理想ビット割り当てモジュール、４２０…ＶＢＶフルネス調節モジュール、４３０…ＶＢＶコンプライアンス調節モジュール、５１０…セレクタ。

Claims

入力ビデオ画像をエンコードして出力ビットストリームを生成するブロックベースのビデオエンコーダ用のレート制御器であって、
前記ブロックベースのビデオエンコーダは、
前記入力ビデオ画像の個々のピクチャに離散コサイン変換(ＤＣＴ)を適用し、前記ピクチャのマクロブロックに対するＤＣＴ係数を算出する変換器と、
量子化ステップサイズに応じて前記ＤＣＴ係数を量子化する量子化器と、
前記量子化されたＤＣＴ係数を前記出力ビットストリームにエンコードする符号化モジュールと、
を備えており、当該レート制御器は、
当該レート制御器の機能を調節するための複数のパラメータであって、目標平均ビットレートと初期の量子化スケールとを含む複数のパラメータを定める入力と、
前記符号化モジュールにおいてエンコードされた前記入力ビデオ画像中の過去のピクチャに関する実際のビットレートを前記符号化モジュールから受け、前記実際のビットレートと前記入力によって定められた目標平均ビットレートとの間のビットレート偏差を算出する計算手段と、
前記計算手段からの前記ビットレート偏差を受けて、前記ビットレート偏差の比例値と前記ビットレート偏差の累積値とを用いて前記入力ビデオ画像中の現在のピクチャに関する目標ＶＢＲビットレートを算出し、前記算出された目標ＶＢＲビットレートによって前記目標平均ビットレートと前記初期の量子化スケールとの乗算値を除算することによって前記現在のピクチャ用の第１の量子化ステップサイズを生成する可変ビットレート（ＶＢＲ）制御器と、
前記現在のピクチャを受けて、
前記現在のピクチャのマクロブロックを少なくとも二つの異なるマクロブロックタイプに分類し、各マクロブロックタイプの統計的頻度を決定し、各マクロブロックタイプに対するコンプレキシティの統計的指標を計算し、
前記現在のピクチャ内の前記マクロブロックタイプの前記統計的頻度及び前記マクロブロックタイプに対するコンプレキシティの前記統計的指標に基づいて予測されるピクチャコンプレキシティ推定値を生成し、
前記予測されるピクチャコンプレキシティ推定値を用いてビット割り当てを生成し、
前記ビット割り当てを用いて前記現在のピクチャ用の第２の量子化ステップサイズを生成する固定ビットレート（ＣＢＲ）制御器と、
前記現在のピクチャに対する前記ＤＣＴ係数の量子化において前記ブロックベースのビデオエンコーダ中の前記量子化器によって使用されるように、前記第１の量子化ステップサイズおよび前記第２の量子化ステップサイズのうち最大の量子化ステップサイズを選択するよう構成されるセレクタと、
を備え、
前記セレクタによって選択された前記最大の量子化ステップサイズを前記量子化器に出力するレート制御器。
前記ＶＢＲ制御器は、前記ビットレート偏差を入力として受け、前記現在のピクチャに関する目標ＶＢＲビットレートを出力する比例積分制御器を有し、
前記複数のパラメータは、前記ＶＢＲ制御器に対する目標ピークビットレート、最大量子化スケール、最小量子化スケール、目標量子化スケール、ＶＢＶバッファサイズ、および前記出力ビットストリームの平均ビットレートに前記目標平均ビットレートを追跡させるための前記比例積分制御器の応答時間に関する時定数の少なくとも一つを含む、前記請求項１記載のレート制御器。
前記ＶＢＲ制御器は、前記出力ビットストリームの平均ビットレートが前記目標平均ビットレートを追跡するように前記第１の量子化ステップサイズを生成する、請求項２記載のレート制御器。
前記比例積分制御器は、前記出力ビットストリームの前記平均ビットレートが前記目標平均ビットレートを追跡するように前記第１の量子化ステップサイズを調節する、請求項３記載のレート制御器。
前記ＶＢＲ制御器は、前記比例積分制御器の応答時間に関するプログラム可能な時定数を含む、請求項４記載のレート制御器。
前記ＣＢＲ制御器が、
前記現在のピクチャのマクロブロックを少なくとも二つの異なるマクロブロックタイプに分類し、各マクロブロックタイプの前記統計的頻度を決定し、各マクロブロックタイプに対するコンプレキシティの前記統計的指標を計算するよう構成されるピクチャ解析モジュールと、
前記ピクチャ解析モジュールに結合され、前記現在のピクチャ内の前記マクロブロックタイプの前記統計的頻度及び前記マクロブロックタイプに対するコンプレキシティの前記統計的指標に基づいて予測されるピクチャコンプレキシティ推定値を生成するよう構成されるコンプレキシティモデルモジュールと、
前記予測されるピクチャコンプレキシティ推定値を用いてビット割り当てを生成するよう適合されるビット割り当てモジュールと、
前記ビット割り当てを用いて量子化ステップサイズを前記現在のピクチャに対して生成するよう適合される量子化付与モジュールと、
を備える、請求項１記載のレート制御器。
前記コンプレキシティの指標がマクロブロックのアクティビティ測定値から計算されるエネルギー値を備える、請求項６記載の制御器。
前記ビット割り当てモジュールが、
ピクチャの推定コンプレキシティに基づいて理想ビット割り当てを計算するよう構成される理想ビット割り当てモジュールと、
所望のＶＢＶバッファフルネス範囲を維持するために前記理想ビット割り当てを調節するよう構成されるビデオビットストリーム確認（ＶＢＶ）フルネス調節モジュールと、
ＶＢＶコンプライアンスを維持するために前記理想ビット割り当てを調節するよう構成されるＶＢＶコンプライアンス調節モジュールと、
を備える、請求項６記載の制御器。
請求項１のレート制御器を用いて、入力ビデオ画像をエンコードして出力ビットストリームを生成するビデオ圧縮エンコーダのビットレートを制御する方法であって、
前記レート制御器に含まれるＣＢＲ制御器を用いて第１の量子化ステップサイズを生成するステップと、
前記レート制御器に含まれるＶＢＲ制御器を用いて第２の量子化ステップサイズを生成するステップと、
前記第１の量子化ステップサイズおよび前記第２の量子化ステップサイズのうち最大の量子化ステップサイズを選択するステップと、
前記選択された最大の量子化ステップサイズを使用して前記ピクチャを量子化するステップと、
を含むレート制御方法。
前記第２の量子化ステップサイズを生成するステップは、前記出力ビットストリームの平均ビットレートが前記目標平均ビットレートを追跡するように前記第２の量子化ステップサイズを調節する、請求項９記載の方法。
前記第２の量子化ステップサイズが、請求項２に記載の比例積分制御器を用いて調節される、請求項１０記載の方法。