JP5908055B2 - スケーラブル映像符号化のための仮想リファレンスデコーダの実現方法 - Google Patents

Description

本発明は、圧縮映像システムにおけるスケーラブル映像符号化用の仮想リファレンスデコーダに関する。
本出願は、2007年1月5日に提出された米国特許仮出願第60/878729号の利益を請求するものであり、この米国仮出願は、引用によりその完全な形で盛り込まれる。

仮想リファレンスデコーダは、ある規格に準拠するために符号化ビットストリームを有効にする役割を果たすため、圧縮映像システムにおいて重要である。H.264/AVCのような符号化規格では、その規格のスケーラブル映像符号化の特徴による様々な相互運用のポイント（interoperability points）が存在する。H.264/AVC規格は、HRDを定義する（要件、制約、又は動作の仕様とも呼ばれる）ルールを有する。HRDの振る舞いは、規範的なものである。AVCビットストリームは、ルールに従って構築されたHRDに準拠する必要がある。SVC（Scalable Video Coding）は、AVC規格に対する拡張（Annex G）である。SVCビットストリームは、典型的に、少なくとも部分的にビットストリームがスケーラブルであるという事実のため、多数の相互運用のポイントを有する。係るビットストリームは、たとえば空間、時間及びSNRにおいてスケーラブルである場合がある。スケーラブルな態様に対応するサブビットストリームは、ビットストリームから抽出される場合がある。前のHRDは、AVCにおけるSVCのビットストリームのような、ビットストリームを有効にするための十分なルールを有していない。

この開示は、SVCの仮想リファレンスデコーダ（HRD: Hypothetical Reference Decoder）を提供する少なくとも１つの実現を記載する。１つの係る実現は、SVCとの使用向けに、H.264/AVC HRDを変更することを提案する。その実現は、SVCのそれぞれの相互運用のポイントのためにHRDの制約を定義する。特に１つの実現が記載されるが、他の実現も可能であり、この開示により考案される。この開示の第一の部分は、空間、時間及びSNRスケーラビリティのそれぞれの変更を記載する。この開示の第二の部分は、仕様のテキストにより後続される関連されるHRDパラメータへの変更を記載する。

H.264/AVC規格は、HRDを定義する（要件、制約又は動作の仕様とも呼ばれる）ルールを有する。HRDの振る舞いは、規範的なものである。AVCビットストリームは、ルールに従って構築されたHRDに準拠する必要がある。SVC（Scalable Video Coding）は、AVC規格に対する拡張（Annex G）である。この開示は、SVC向けのHRDのルールを提供する１以上の実現を記載する。少なくとも１つの実現は、AVC-HRDのルールに対する変更としてSVC-HRDルールを提案する。ユーザは、提案されたSVC-HRDのルールを使用してSVC-HRDを構築し、SVC準拠のためにビットストリームをテストする場合がある。

AVC系列のシーケンスパラメータセットを示す表である。 AVCのバッファリング期間SEIメッセージを示す表である。 提案されるHRDパラメータを示す表である。 提案されるVUIパラメータを示す表である。 提案されるbuffer_period SEIメッセージを示す表である。 提案されるピクチャタイミングSEIメッセージを示す表である。

SVCビットストリームは、典型的に、少なくとも部分的に、ビットストリームがスケーラブルであるという事実のため、（動作ポイントとも呼ばれる）多数の相互運用ポイントを有する。係るビットストリームは、たとえば空間、時間及びSNRにおいてスケーラブルである。スケーラブルなアスペクトに対応するサブビットストリームは、ビットストリームから抽出される。１つの実現では、それぞれの相互運用のポイントは、SVCコンプライアンスを保証するため、HRDによりチェックされる。HRDは、それぞれのチェックポイントのHRDの制約を個別に定義する場合がある。また、幾つかのチェックポイントは、１つのHRDの制約に従う場合がある。この開示で記載される少なくとも１つの実現では、個別のHRDの制約は、それぞれのチェックポイントについて提案される。個別のHRDの制約の使用は動作を容易にする場合があり、H.263+のアプローチに対する幾つかの類似点を提供する場合がある。

この部分において、１つの特定の実現のコンテクストでは、空間、SNR及び時間のスケーラビリティのそれぞれからのSVCにおけるHRDを満たすため、H.264/AVCにおけるHRDから変更すべきか、及び何を変更すべきかが分析される。これは、各種の多数の可能なタイプのスケーラビリティを調べる１つの概念的な視点からの記載を提供するものであり、他の概念的な視点も可能である。

１．空間SVC
１.１ VUIメッセージにおけるHRD：
VUIメッセージは、SPSに含まれる（表１におけるvui_parameters()を参照）。それぞれの空間SVCレイヤについて、ピクチャサイズは他のレイヤとは異なるため、その対応するSPSは、他のレイヤのものとは異なる。したがって、AVCにおけるVUIのHRDは、変更なしに、空間SVCのVUIのHRDに直接に適用することができる。それぞれのチェックポイントについて、表１に示されるように、AVCのHRDルールを通して正しいVUIメッセージを取得することができる。

１.２ バッファリング期間SEIメッセージ：
seq_parameter_set_idは、バッファリング期間SEIメッセージにある。それぞれの空間SVCレイヤに対応するSPSにおけるseq_parameter_set_idを索引付けすることで、それぞれの空間SVCレイヤのバッファリング期間を得ることができる。したがって、空間SVCについて、AVCにおけるHRDのバッファリング期間SEIメッセージは、空間SVCについて直接的に適用することができる。それぞれのチェックポイントについて、表２に示されるように、現在のHRDを変更することなしに、正しいバッファリング期間SEIメッセージを得ることができる。

１.３ ピクチャタイミングSEIメッセージ：
cpb_removal_delay及びdpb_output_delayは、同じアクセスユニットにおける異なるレイヤについて同じである（表６参照）。したがって、空間スケーラビリティについて変更が必要とされない。

２．SNRスケーラビリティ
２.１ VUIメッセージ：
SNR SVCについて、dependency_id又はquality_levelによりクオリティレイヤを示すことができる。異なるクオリティレイヤ／レベルは、同じSPSを共有することができ、したがって、AVCにおけるVUIメッセージは、全てのクオリティレイヤ／レベルについてHRD情報を含むように変更される（表３参照）。

２.２ バッファリング期間SEIメッセージ：
SNR SVCについて、異なるクオリティレイヤ／レベルは、同じSPSを共有することができ、したがって、バッファリング期間SEIメッセージに存在するseq_parameter_set_idとの１対１のマッピングを有さない。バッファリング期間SEIメッセージは、全てのクオリティレイヤ／レベルについてHRD情報を含むように変更される（表５）。

２.３ ピクチャタイミングSEIメッセージ：
cpb_removal_delay及びdpb_output_delayは、同じアクセスユニットにおける異なるクオリティレイヤ／レベルについて同じである。したがって、空間スケーラビリティについて変更が必要とされない。

３．時間SVC
３.１ VUIメッセージ：
時間SVCについて、異なる時間レイヤは、同じSPSを共有することができ、したがって、AVCにおけるVUIメッセージは、全ての時間レイヤについてHRD情報を含むように変更される（表３参照）。

３.２ バッファリングSEIメッセージ：
時間SVCについて、異なる時間レイヤは、同じSPSを共有することができ、したがって、バッファリング期間SEIメッセージに存在するseq_parameter_set_idとの１対１のマッピングを有さない。バッファリング期間SEIメッセージは、全ての時間レイヤについてHRD情報を含むように変更される（表５参照）。

３.３ ピクチャタイミングSEIメッセージ：
時間SVCについて、フレームレートは、それぞれの時間レイヤについて異なる。下位の時間レイヤは、上位の時間レイヤに従属するレイヤとしての役割を果たすことができるため、これは、所与のtemporal_levelをもつ１つのNALユニットが幾つかのフレームレートについて機能する場合があることを意味する。ピクチャタイミングSEIメッセージは、全ての時間レイヤについてHRD情報を含むように変更される（表６参照）。

３.４ VUIメッセージでは、timing_info_present_flagが真であるとき、正しいフレームレート情報を反映するため、num_units_in_tick、time_scale及びfixed_frame_rate_flagを変更することを考える（表４参照）。

（空間、時間及びSNR）スケーラビリティの全ての３つの概念的なレベルは、AVC-HRDルールに対する以下の変更において結合される。表３〜表６は、AVC規格から採用されており、AVC-HRDに関連する。AVC規格に加えて、イタリック体を使用して表が示される。他の実現が削除を有する場合があるが、AVC規格の表からの削除はない。太字の項は、ビットストリームで実際に送出されるシンタックスである。見ることができるように、表３〜表６のそれぞれは、可変の“profile_idc”をテストする“if-then”ループを導入することでAVC規格が変更されていることを示す。“profile_idc”が“SVC”に等しい場合、１以上のポイントをテストするためにｉｆループが１以上の回数で実行される。“profile_idc”が“SVC”に等しくない場合、“AVC”が関連する規格であると推測され、（既存のAVC-HRDルールを使用して）AVCコンプライアンスについて１つのポイントをテストするため、“else”ループが実行される。表３では、変数“dependency_id[i]”、“temporal_level[i]”、及び“quality level[i]”は、各種のスケーラブルなオプションを提供する。これらの変数は結合された８ビットの長さを有するため、SVCビットストリームについて２**８チェックポイントまでになる。実現は、８ビットを使用して０〜２５５までループすることができる。これは、AVCビットストリームについて１つのチェックポイントに比較される。

１．VUIメッセージでは、HRDパラメータは、表３で示されるように、同じSPSを共有するそれぞれの従属のレイヤ、時間レイヤ及びクオリティレイヤについて指示される。timing_infor_present_flagが真であるとき、num_units_in_tick、time_scale及びfixed_frame_rate_flagは、表４で示されるように、それぞれの時間レイヤについて指示される。

２．バッファリング期間SEIメッセージにおいて、HRDに関連するパラメータは、表５に示されるように、同じsequence_parameter_set_idを共有するそれぞれの従属レイヤ、時間レイヤ及びクオリティレイヤについて指示される。

３．ピクチャタイミングSEIメッセージにおいて、HRDに関連するパラメータは、表６に示されるように、それぞれの時間レイヤについて指示される。

表３〜表６の動作が概説される。表３は、それぞれのチェックポイント／レイヤについてビットレート及びｃｐｂ（符号化ピクチャバッファ）サイズを定義する。表４は、それぞれの時間レイヤについてフレームレートを定義する。表５は、それぞれのチェックポイント／レイヤについて最初のｃｐｂ遅延及び最初のｄｐｂ（復号化ピクチャバッファ）遅延を定義する。表６は、それぞれのチェックポイント／レイヤについてｃｐｂ引き抜き遅延及びｄｐｂ出力遅延を定義する。それぞれのチェックポイント／レイヤについて、先のパラメータがＨＲＤルールにおいて使用され、同じことがＡＶＣについて行われ、ビットストリームが準拠するかがテストされる。

num_layer_minus1に１を加えたものは、このhrd_parameters()を含むＳＰＳにおける同じseq_parameter_set_idを参照するビットストリームによりサポートされるスケーラブルレイヤ又はプレゼンテーションポイントの数を示す。

dependency_id[i]は、スケーラブルレイヤｉの従属（CGS）レイヤを示す。これは、スケーラブルレイヤｉにおけるＮＡＬユニットのdependency_idに等しい。

temporal_level[i]は、スケーラブルレイヤｉのテンポラルレイヤを示す。これは、スケーラブルレイヤｉにおけるＮＡＬユニットのtemporal_levelに等しい。

quality_level[i]は、スケーラブルレイヤｉのクオリティレイヤを示す。これは、スケーラブルレイヤｉにおけるＮＡＬユニットのquality_levelに等しい。

cpb_cnt_minus1[i], bit_rate_scale[i], cpb_size_scale[i], bit_rate_value_minus[i][SchedSelldx], cpb_size_value_minus[i][SchedSelldx], cbr_flag[i][SchedSelldx], initial_cpb_removal_delay_length_minus1[i], cpb_removal_delay_length_minus1[i], dpb_output_delay_length_minus1[i], time_offset_length[i]は、スケーラブルレイヤｉのそれらの対応する値にそれぞれ等しい*¹。（*１）：定義において、ビットレートは、スケーラブルレイヤｉ及びその従属レイヤのビットを含む、
num_temporal_layer_minus1に１を加えたものは、ビットストリームによりサポートされる時間レイヤの数を示す。これは、ビットストリームにおけるNALユニットの最大のtemporal_levelに等しい。

timing_info_present_flag[i], num_units_in_tick[i], time_scale[i], fixed_frame_rate_flag[i]は、時間レイヤｉについてそれらの対応する値にそれぞれ等しい。

num_layer_minus1に１を加えたものは、buffer_period SEIメッセージにおける同じseq_parameter_set_idを参照するビットストリームによりサポートされるスケーラブルレイヤ又はプレゼンテーションポイントの数を示す。

dependency_id[i]は、スケーラブルレイヤｉの従属（CGS）レイヤを示す。これは、スケーラブルレイヤｉにおけるNALユニットのdependency_idに等しい。

temporal_level[i]は、スケーラブルレイヤｉのテンポラルレイヤを示す。これは、スケーラブルレイヤｉにおけるNALユニットのtemporal_levelに等しい。

quality_level[i]は、スケーラブルレイヤｉのクオリティレイヤを示す。これは、スケーラブルレイヤｉにおけるNALユニットのquality_levelに等しい。

initial_cpb_removal_delay[i][SchedSelldx], initial_cpb_removal_delay_offset[i][SchedSelldx]は、スケーラブルレイヤｉについてそれらの対応する値にそれぞれ等しい。

num_temporal_layer_minus1に１を加えたものは、そのアクセスユニットがこのピクチャタイミングSEIメッセージと関連付けされるNALユニットに依存するテンポラルレイヤの数を示す。

temporal_layer[i]は、テンポラルレイヤｉのテンポラルレベルを示す。

cpb_removal_delay[i], dpb_output_delay[i]は、テンポラルレイヤｉについてそれらの対応する値にそれぞれ等しい。

様々な実現は、この開示により意図され、これらの実現は、この開示で記載される１以上の特徴を含む場合がある。係る実現は、方法、装置又は命令からなるプログラムの形式である場合があり、たとえばハードウェア、ソフトウェア又はその組み合わせを使用して実現される場合がある。幾つかの可能性のある実現は、以下の特許請求の範囲に示される。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
ビデオ圧縮環境におけるスケーラブル映像符号化の拡張のための仮想リファレンスデコーダ（ＨＲＤ：Hypothetical Reference Decoder）の実現方法。
（付記２）
前記ＨＲＤは、スケーラブル映像符号化の準拠のためにビットストリームのそれぞれの相互運用のポイントをテストする、
付記１記載の方法。
（付記３）
前記ビットストリームの様々な相互運用のポイントは１以上の変数により示される、
付記２記載の方法。
（付記４）
前記ビットストリームにおいて多数の相互運用のポイントが存在し、前記多数の相互運用ポイントは、互いに関してスケーラビリティを示す、
付記２記載の方法。
（付記５）
前記示されるスケーラビリティは、空間スケーラビリティ、時間スケーラビリティ及びＳＮＲスケーラビリティのうちの１以上を含む、
付記４記載の方法。
（付記６）
前記テストは、ＡＶＣ（Advanced Video Coding）又はＳＶＣ（Scalable Video Coding）に準拠するためにビットストリームがテストされるべきかを示す変数を調べることを含む、
付記２記載の方法。
（付記７）
前記変数は、“profile_idc”と呼ばれる、
付記６記載の方法。
（付記８）
前記変数がＡＶＣを示す場合、ＡＶＣとＨＲＤによるルールが実現され、
前記変数がＳＶＣを示す場合、ＳＶＣとＨＲＤによるルールが実現される、
付記６記載の方法。
（付記９）
前記変数がＳＶＣを示す場合、実現されるＳＶＣとＨＲＤによるルールは、複数回にわたり実行されるループを含み、
前記ループのそれぞれの実行は、１つの相互運用のポイントをテストする、
付記８記載の方法。
（付記１０）
前記ＨＲＤを形成するルールのセットにより定義される、
付記１記載の方法。
（付記１１）
前記ルールのセットは、ＡＶＣとＨＲＤによるルールに基づく、
付記１０記載の方法。

Claims (11)

1. スケーラブル映像符号化のための仮想リファレンスデコーダの実現方法であって、
   ｉを整数として、スケーラブルレイヤｉの従属レイヤ、テンポラルレイヤ及びクオリティレイヤを示すビットストリームに含まれる変数の値を決定するステップと、
   前記スケーラブルレイヤｉに対応する仮想リファレンスデコーダパラメータを決定するステップと
   を含み、
   前記決定された仮想リファレンスデコーダパラメータは、少なくとも１つのビットレートパラメータを含み、該ビットレートパラメータは、前記スケーラブルレイヤｉ及びその従属レイヤのビットに基づいて決定され、
   前記決定された仮想リファレンスデコーダパラメータは、最初の符号化ピクチャバッファ（ＣＰＢ）の引き抜き遅延、最初のＣＰＢの引き抜き遅延のオフセット、ＣＰＢの引き抜き遅延、及び復号化ピクチャバッファ（ＤＰＢ）の出力遅延を更に含み、
   前記仮想リファレンスデコーダパラメータを決定するステップは、
   夫々のテンポラルレイヤについて前記ビットストリームにおけるピクチャタイミングＳＥＩメッセージからの明示的に指示されたパラメータを用いることによって、前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延を決定し、前記ピクチャタイミングＳＥＩメッセージは、前記ビットストリームにおけるテンポラルレイヤの数を更に示し、
   夫々のテンポラルレイヤにおいて異なる空間レイヤ又はクオリティレイヤに対応するスケーラブルレイヤについて同じであるように前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延を決定する
   ことを含む、方法。
2. 前記ビットストリームにおいて多数の相互運用のポイントが存在し、前記多数の相互運用ポイントは、互いに関してスケーラビリティを示す、
   請求項１に記載の方法。
3. 前記示されるスケーラビリティは、空間スケーラビリティ、時間スケーラビリティ及びＳＮＲスケーラビリティのうちの１つ以上を含む、
   請求項２に記載の方法。
4. 前記仮想リファレンスデコーダを形成するルールのセットにより定義される、
   請求項１に記載の方法。
5. 前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延は、夫々のテンポラルレイヤにおいて異なる空間レイヤ及びクオリティレイヤに対応するスケーラビリティレイヤについて同じままであり、前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延の値は、夫々のテンポラルレイヤについて異なる、
   請求項１に記載の方法。
6. スケーラブル映像符号化の方法であって、
   ｉを整数として、スケーラブルレイヤｉの従属レイヤ、テンポラルレイヤ及びクオリティレイヤを示す変数の値を決定するステップと、
   前記スケーラブルレイヤｉに対応する仮想リファレンスデコーダパラメータを決定するステップであって、前記決定された仮想リファレンスデコーダパラメータは、少なくとも１つのビットレートパラメータを含み、該ビットレートパラメータは、前記スケーラブルレイヤｉ及びその従属レイヤのビットに基づいて決定され、前記決定された仮想リファレンスデコーダパラメータは、最初の符号化ピクチャバッファ（ＣＰＢ）の引き抜き遅延、最初のＣＰＢの引き抜き遅延のオフセット、ＣＰＢの引き抜き遅延、及び復号化ピクチャバッファ（ＤＰＢ）の出力遅延を更に含む、ステップと、
   前記決定された変数の値及び前記決定された仮想リファレンスデコーダパラメータを含むビットストリームを生成するステップと
   を含み、
   前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延は、夫々のテンポラルレイヤについて前記ビットストリームにおけるピクチャタイミングＳＥＩメッセージでのみ明示的に指示され、前記ピクチャタイミングＳＥＩメッセージは、前記ビットストリームにおけるテンポラルレイヤの数を更に示し、
   前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延は、夫々のテンポラルレイヤにおいて異なる空間レイヤ又はクオリティレイヤに対応するスケーラブルレイヤについて同じであるように決定される、方法。
7. 前記ビットストリームにおいて多数の相互運用のポイントが存在し、前記多数の相互運用ポイントは、互いに関してスケーラビリティを示す、
   請求項６に記載の方法。
8. 前記示されるスケーラビリティは、空間スケーラビリティ、時間スケーラビリティ及びＳＮＲスケーラビリティのうちの１つ以上を含む、
   請求項７に記載の方法。
9. 前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延は、夫々のテンポラルレイヤにおいて異なる空間レイヤ及びクオリティレイヤに対応するスケーラビリティレイヤについて同じままであり、前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延の値は、夫々のテンポラルレイヤについて異なる、
   請求項６に記載の方法。
10. １つ以上のプロセッサによって実行させる場合に、該１つ以上のプロセッサに、
    ｉを整数として、スケーラブルレイヤｉの従属レイヤ、テンポラルレイヤ及びクオリティレイヤを示すビットストリームに含まれる変数の値を決定するステップと、
    前記スケーラブルレイヤｉに対応する仮想リファレンスデコーダパラメータを決定するステップと
    実行させ、
    前記決定された仮想リファレンスデコーダパラメータは、少なくとも１つのビットレートパラメータを含み、該ビットレートパラメータは、前記スケーラブルレイヤｉ及びその従属レイヤのビットに基づいて決定され、
    前記決定された仮想リファレンスデコーダパラメータは、最初の符号化ピクチャバッファ（ＣＰＢ）の引き抜き遅延、最初のＣＰＢの引き抜き遅延のオフセット、ＣＰＢの引き抜き遅延、及び復号化ピクチャバッファ（ＤＰＢ）の出力遅延を更に含み、
    前記仮想リファレンスデコーダパラメータを決定するステップは、
    夫々のテンポラルレイヤについて前記ビットストリームにおけるピクチャタイミングＳＥＩメッセージからの明示的に指示されたパラメータを用いることによって、前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延を決定し、前記ピクチャタイミングＳＥＩメッセージは、前記ビットストリームにおけるテンポラルレイヤの数を更に示し、
    夫々のテンポラルレイヤにおいて異なる空間レイヤ又はクオリティレイヤに対応するスケーラブルレイヤについて同じであるように前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延を決定する
    ことを含む、プログラム。
11. １つ以上のプロセッサによって実行させる場合に、該１つ以上のプロセッサに、
    ｉを整数として、スケーラブルレイヤｉの従属レイヤ、テンポラルレイヤ及びクオリティレイヤを示す変数の値を決定するステップと、
    前記スケーラブルレイヤｉに対応する仮想リファレンスデコーダパラメータを決定するステップであって、前記決定された仮想リファレンスデコーダパラメータは、少なくとも１つのビットレートパラメータを含み、該ビットレートパラメータは、前記スケーラブルレイヤｉ及びその従属レイヤのビットに基づいて決定され、前記決定された仮想リファレンスデコーダパラメータは、最初の符号化ピクチャバッファ（ＣＰＢ）の引き抜き遅延、最初のＣＰＢの引き抜き遅延のオフセット、ＣＰＢの引き抜き遅延、及び復号化ピクチャバッファ（ＤＰＢ）の出力遅延を更に含む、ステップと、
    前記決定された変数の値及び前記決定された仮想リファレンスデコーダパラメータを含むビットストリームを生成するステップと
    を実行させ、
    前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延は、夫々のテンポラルレイヤについて前記ビットストリームにおけるピクチャタイミングＳＥＩメッセージでのみ明示的に指示され、前記ピクチャタイミングＳＥＩメッセージは、前記ビットストリームにおけるテンポラルレイヤの数を更に示し、
    前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延は、夫々のテンポラルレイヤにおいて異なる空間レイヤ又はクオリティレイヤに対応するスケーラブルレイヤについて同じであるように決定される、プログラム。
    

Images