JP2024046650A - ビデオサンプルのブロックを符号化並びに復号するための方法、装置、及びシステム - Google Patents
ビデオサンプルのブロックを符号化並びに復号するための方法、装置、及びシステム Download PDFInfo
- Publication number
- JP2024046650A JP2024046650A JP2023201021A JP2023201021A JP2024046650A JP 2024046650 A JP2024046650 A JP 2024046650A JP 2023201021 A JP2023201021 A JP 2023201021A JP 2023201021 A JP2023201021 A JP 2023201021A JP 2024046650 A JP2024046650 A JP 2024046650A
- Authority
- JP
- Japan
- Prior art keywords
- transform
- color channel
- kernel
- coding
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 180
- 230000015654 memory Effects 0.000 claims description 70
- 230000009466 transformation Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 8
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 143
- 238000013139 quantization Methods 0.000 description 134
- 241000023320 Luma <angiosperm> Species 0.000 description 133
- 238000005192 partition Methods 0.000 description 74
- 230000000875 corresponding effect Effects 0.000 description 47
- 238000012360 testing method Methods 0.000 description 43
- 239000000523 sample Substances 0.000 description 29
- 238000000638 solvent extraction Methods 0.000 description 29
- 238000003860 storage Methods 0.000 description 26
- 239000013598 vector Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 14
- 238000001914 filtration Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 10
- 230000011664 signaling Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 239000013074 reference sample Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
- B29C45/17—Component parts, details or accessories; Auxiliary operations
- B29C45/1756—Handling of moulds or mould parts, e.g. mould exchanging means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
- B29C45/17—Component parts, details or accessories; Auxiliary operations
- B29C45/26—Moulds
- B29C45/27—Sprue channels ; Runner channels or runner nozzles
- B29C45/28—Closure devices therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
- B29C45/03—Injection moulding apparatus
- B29C45/04—Injection moulding apparatus using movable moulds or mould halves
- B29C45/0408—Injection moulding apparatus using movable moulds or mould halves involving at least a linear movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
- B29C45/17—Component parts, details or accessories; Auxiliary operations
- B29C45/26—Moulds
- B29C45/32—Moulds having several axially spaced mould cavities, i.e. for making several separated articles
- B29C45/322—Runner systems for distributing the moulding material to the stacked mould cavities
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C2945/00—Indexing scheme relating to injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould
- B29C2945/76—Measuring, controlling or regulating
- B29C2945/76655—Location of control
- B29C2945/76658—Injection unit
- B29C2945/76688—Injection unit nozzle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C2945/00—Indexing scheme relating to injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould
- B29C2945/76—Measuring, controlling or regulating
- B29C2945/76655—Location of control
- B29C2945/76732—Mould
- B29C2945/76752—Mould runners, nozzles
- B29C2945/76755—Mould runners, nozzles nozzles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
- B29C45/17—Component parts, details or accessories; Auxiliary operations
- B29C45/72—Heating or cooling
- B29C45/7207—Heating or cooling of the moulded articles
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Mechanical Engineering (AREA)
- Moulds For Moulding Plastics Or The Like (AREA)
- Injection Moulding Of Plastics Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】コーディングツリーユニットからコーディングユニットを復号するシステム及び方法を提供する。【解決手段】方法は、第１色チャネル及び少なくとも１つの第２色チャネルを有するコーディングツリーユニットの復号された分割フラグに従って、第１色チャネルと少なくとも１つの第２色チャネルとを含むコーディングユニットを決定する工程と、第１色チャネルのためのカーネルと、少なくとも１つの第２色チャネルのためのカーネルを選択するための第２インデックスとを選択するために第１インデックスを復号する工程と、第１インデックスに従って第１カーネルを選択し、第２インデックスに従って第２カーネルを選択する工程と、第１カーネルを第１色チャネルの残差係数に適用し、第２カーネルを少なくとも１つの第２色チャネルの残差係数に適用することによってコーディングユニットを復号する工程と、を含む。【選択図】図１２
Description
［関連出願に対する参照］
本出願は令和１年９月１７日に出願されたオーストラリア特許出願第２０１９２３２８０１号の出願日の３５Ｕ．Ｓ．Ｃ§１１９に基づく利益を主張し、その全体があたかも本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。
本出願は令和１年９月１７日に出願されたオーストラリア特許出願第２０１９２３２８０１号の出願日の３５Ｕ．Ｓ．Ｃ§１１９に基づく利益を主張し、その全体があたかも本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。
［技術分野］
本発明は一般に、デジタルビデオ信号処理に関し、特に、ビデオサンプルのブロックを符号化並びに復号するための方法、装置及びシステムに関する。本発明はまた、ビデオサンプルのブロックを符号化及び復号するためのコンピュータプログラムが記録されたコンピュータ可読媒体を含むコンピュータプログラム製品に関する。
本発明は一般に、デジタルビデオ信号処理に関し、特に、ビデオサンプルのブロックを符号化並びに復号するための方法、装置及びシステムに関する。本発明はまた、ビデオサンプルのブロックを符号化及び復号するためのコンピュータプログラムが記録されたコンピュータ可読媒体を含むコンピュータプログラム製品に関する。
ビデオデータの伝送及び格納のためのアプリケーションを含む、ビデオコーディングのための多くのアプリケーションが現在存在する。多くのビデオコーディング規格も開発されており、他の規格も現在開発中である。ビデオコーディング規格化の最近の発展は、「ジョイントビデオエキスパートチーム」（ＪＶＥＴ）と呼ばれるグループの形成につながった。JVET（Joint Video Experts Team）には、「Video Coding Experts Group」（ＶＣＥＧ）としても知られる国際電気通信連合（ＩＴＵ）の通信規格化セクター（ＩＴＵ－Ｔ）の研究グループ１６、質問６（ＳＧ１６／Ｑ６）、及びMPEG(Moving Picture Experts Group)としても知られる国際規格化機構／国際電気標準会議合同技術委員会１／小委員会２９／作業部会１１(ISO/IEC JTC１／ＳＣ２９／ＷＧ１１）のメンバーが含まれる。
JVET(Joint Video Experts Team)は米国サンディエゴで開催された１０回の会議で分析された回答を用いて、CfP(Call for Proposals)を発行した。提出された応答は、現在の最新技術のビデオ圧縮規格、すなわち「高効率ビデオコーディング」（ＨＥＶＣ）のものを著しく上回るビデオ圧縮能力を実証した。このアウトパフォーマンスに基づいて、「汎用ビデオコーディング」（ＶＶＣ）と命名される新しいビデオ圧縮規格を開発するプロジェクトを開始することが決定された。ＶＶＣは特に、ビデオフォーマットが（例えば、より高い解像度及びより高いフレームレートで）能力を増加させ、帯域幅コストが比較的高いワイドエリアネットワーク上のサービス配信に対する市場需要の増加に対処することにつれて、絶えずより高い圧縮性能に対する継続的な需要に対処することが予想される。イマーシブビデオなどのユースケースではこのようなより高い形式のリアルタイムの符号化及び復号が必要になる。例えば、キューブマップ投影（ＣＭＰ）では、最終的にレンダリングされた「ビューポート」が低い解像度を使用している場合でも、８Ｋフォーマットが使用されることがある。ＶＶＣは、現代のシリコン処理において実装可能でなければならず、達成される性能と実装コストとの間の許容可能なトレードオフを提供しなければならない。この実装コストは例えば、シリコンエリア、ＣＰＵプロセッサロード、メモリ使用率及び帯域幅の１つ以上の観点から考えることができる。フレームエリアをセクションに分割し、各セクションを並列に処理することによって、より高いビデオフォーマットを処理することができる。「シングルコア」デコーダによる復号に依然として適している圧縮フレームの複数のセクション、すなわちビットレートを含むフレームレベル制約から構築されたビットストリームは、適用の必要性に応じて各セクションに配分される。
ビデオデータは画像データのフレームのシーケンスを含み、各フレームは、１つ以上の色チャネルを含む。一般に、１つの第１色チャネル及び２つの第２色チャネルが必要とされる。この第１色チャネルは一般に「輝度」チャネルと呼ばれ、第２色チャネルは一般に「彩度」チャネルと呼ばれる。ビデオデータは典型的にはＲＧＢ（赤－緑－青）色空間で表示されるが、この色空間は３つのそれぞれの構成要素間に高度の相関を有する。エンコーダ又はデコーダによって見られるビデオデータ表現はしばしば、ＹＣｂＣｒなどの色空間を使用している。ＹＣｂＣｒは、伝達関数に従って「輝度」にマッピングされた輝度をＹ（第１）チャネルに集め、Ｃｂ及びＣｒ（第２）チャネルの彩度を集める。相関解除されたＹＣｂＣｒ信号の使用により、輝度チャネルの統計値は、彩度チャネルの統計値とは著しく異なる。主な違いは、量子化後、彩度チャネルが対応する輝度チャネルブロックの係数と比較して、所与のブロックの有効係数を比較的少なく含むことである。さらに、Ｃｂ及びＣｒチャネルは「４：２：０彩度フォーマット」として知られる、輝度チャネルと比較してより低いレート、例えば、水平方向に半分及び垂直方向に半分で空間的にサンプリング（サブサンプリング）されてもよい。この４：２：０彩度フォーマットは、インターネットビデオストリーミング、ブロードキャストテレビジョン、ブルーレイ（商標）ディスクへの保存など、「民生用」アプリケーションで一般的に使用される。水平方向に半分のレートでＣｂ及びＣｒチャネルをサブサンプリングし、垂直方向にサブサンプリングしないことは、「４：２：２彩度フォーマット」として知られている。この４：２：２彩度フォーマットは、典型的には映画制作などのための映像のキャプチャを含むプロフェッショナルアプリケーションにおいて使用される。４：２：２彩度フォーマットのより高いサンプリングレートは、結果として得られるビデオを、カラーグレーディングのような編集動作に対してより弾力的にする。消費者に配布する前に、４：２：２彩度フォーマットマテリアルはしばしば、４：２：０彩度フォーマットに変換され、次いで、消費者に配布するために符号化される。彩度フォーマットに加えて、ビデオは、解像度及びフレームレートによっても特徴付けられる。解像度例は３８４０ｘ２１６０の解像度の超高精細度（ＵＨＤ）、又は７６８０ｘ４３２０の解像度の「８Ｋ」で、フレームレート例は６０又は１２０Ｈｚである。輝度サンプルレートは、約５００メガサンプル／秒から数ギガサンプル／秒の範囲であってもよい。４：２：０彩度フォーマットの場合、各彩度チャネルのサンプルレートは輝度サンプルレートの４分の１であり、４：２：２彩度フォーマットの場合、各彩度チャネルのサンプルレートは輝度サンプルレートの半分である。
ＶＶＣ規格は「ブロックベース」コーデックであり、まずフレームが「コーディングツリーユニット」（ＣＴＵ）として知られる領域の正方形アレイに分割される。ＣＴＵは一般に、１２８×１２８輝度サンプルなどの比較的大きな面積を占有する。しかしながら、各フレームの右端及び下端のＣＴＵは面積がより小さくてもよい。各ＣＴＵには、輝度チャネルと彩度チャネルの両方の「コーディングツリー」（「共有ツリー」）が、又は輝度チャネルと彩度チャネルのそれぞれの別々のツリーが関連付けられている。コーディングツリーは、ＣＴＵのエリアを「コーディングブロック」（ＣＢ）とも呼ばれるブロックのセットに分解することを定義する。共有ツリーが使用されているとき、単一のコーディングツリーは輝度チャネル及び彩度チャネルの両方のためのブロックを指定し、この場合、一緒に並べられたコーディングブロックの集合が「コーディングユニット」（ＣＵ）と呼ばれ、すなわち、各ＣＵは、各色チャネルのためのコーディングブロックを有する。ＣＢは、特定の順序での符号化又は復号のために処理される。４：２：０彩度フォーマットの使用の結果として、１２８×１２８輝度サンプルエリアについての輝度コーディングツリーを有するＣＴＵは、１２８×１２８輝度サンプルエリアと一緒に配置された６４×６４彩度サンプルエリアについての対応する彩度コーディングツリーを有する。単一のコーディングツリーが輝度チャネル及び彩度チャネルのために使用されているとき、所与のエリアについて一緒に配置されたブロックの集合は一般に、「ユニット」、例えば、上述のＣＵ、並びに「予測ユニット」（ＰＵ）及び「変換ユニット」（ＴＵ）と呼ばれる。４：２：０彩度フォーマットビデオデータの色チャネルにわたるＣＵを有する単一のツリーは、対応する輝度ブロックの幅及び高さの半分の彩度ブロックをもたらす。所与のエリアに対して別々のコーディングツリーが使用される場合、上述のＣＢ、並びに「予測ブロック」（ＰＢ）及び「変換ブロック」（ＴＢ）が使用される。
「ユニット」と「ブロック」との間の上記の区別に関わらず、用語「ブロック」は、すべての色チャネルに動作が適用されるフレームのエリア又は領域についての一般的な用語として使用されてもよい。
各ＣＵに対して、フレームデータの対応する領域の内容（サンプル値）の予測ユニット（ＰＵ）が生成される（「予測ユニット」）。さらに、予測とエンコーダへの入力で見られるエリアの内容との間の差（又は「空間ドメイン」残差）の表現が形成される。各色チャネルの差は、残差係数のシーケンスとして変換され、コーディングされ、所与のＣＵのための１つ以上のＴＵを形成してもよい。適用されるこの変換は、残差値の各ブロックに適用される離散コサイン変換（ＤＣＴ）又は他の変換としてもよい。この変換は分離可能に適用され、すなわち、第２元変換は、２つのパスで実行される。このブロックは最初に、ブロック内のサンプルの各行に第１元変換を適用することによって変換される。次に、その部分的な結果は、残差サンプルを実質的に非相関化する変換係数の最終ブロックを生成するために、部分的な結果の各列に第１元変換を適用することによって変換される。さまざまなサイズの変換は、長方形形状のブロックの変換を含めて、ＶＶＣ規格によってサポートされ、各側面次元は２のべき乗である。変換係数は、ビットストリームへのエントロピー符号化のために量子化される。
ＶＶＣはフレーム内予測及びフレーム間予測を特徴とする。フレーム内予測は、フレーム内のサンプルの現在のブロックの予測を生成するために使用されているフレーム内の、以前に処理されたサンプルの使用を含む。フレーム間予測は、以前に復号されたフレームから得られたサンプルのブロックを使用して、フレーム内のサンプルの現在のブロックの予測を生成することを含む。以前に復号されたフレームから得られたサンプルのブロックは、頻繁にフィルタリングを適用させている動きベクトルに従って、現在のブロックの空間場所からオフセットされる。フレーム内予測ブロックは、（ｉ）一様なサンプル値（「ＤＣイントラ予測」）、（ｉｉ）オフセット並びに水平及び垂直勾配を有するプレーン（「プレーンイントラ予測」）、（ｉｉｉ）特定の方向に適用された隣接サンプルを有するブロックの母集団（「角度イントラ予測」）、又は（ｉｖ）隣接サンプル及び選択された行列係数を使用する行列乗算の結果とすることができる。予測ブロックとその対応する入力サンプルとの間のさらなる不一致は、「残差」をビットストリームに符号化することによってある程度まで補正され得る。この残差は一般的に、（「第１変換ドメイン」において）残差係数を形成するために空間領域から周波数領域に変換されて、この残差係数は、（「第２変換ドメイン」において残差係数を生成するために）「第２変換」の適用によってさらに変換されてもよい。残差係数は量子化パラメータに従って量子化され、その結果、デコーダで生成されたサンプルの再構成の正確さが失われるが、ビットストリームのビットレートは低下する。この量子化パラメータは、フレームごとに、及び各フレーム内で異なり得る。フレーム内の量子化パラメータを異ならせることは、「レート制御」エンコーダに典型的である。レート制御エンコーダは、ノイズ特性、動きの程度のような、受信された入力サンプルの統計にかかわらず、実質的に一定のビットレートを有するビットストリームを生成しようとする。ビットストリームは典型的には制限された帯域幅を有するネットワーク上で搬送されるので、レート制御は、エンコーダに入力される元のフレームの変動にかかわらず、ネットワーク上で信頼性のある性能を保証するためによく普及した技術である。フレームが並列セクションで符号化される場合、異なるセクションが所望の忠実度に関して異なる要件を有し得るので、レート制御の使用において柔軟であることが望ましい。
本発明の目的は、既存の構成の１つ以上の欠点を実質的に克服するか、又は少なくとも改善することである。
本開示の一態様は、ビデオビットストリームからのイメージフレームのコーディングツリーユニットからコーディングツリーのコーディングユニットを復号する方法であって、このコーディングユニットは第１色チャネル及び少なくとも１つの第２色チャネルを有し、この方法は、コーディングツリーユニットの復号された分割フラグに従って、第１色チャネル及び少なくとも１つの第２色チャネルを含むコーディングユニットを決定することと、第１色チャネルのためのカーネルを選択するために第１インデックスを復号し、少なくとも１つの第２色チャネルのためのカーネルを選択するために第２インデックスを復号することと、第１インデックスに従って第１カーネルを選択し、第２インデックスに従って第２カーネルを選択することと、第１カーネルを第１色チャネルの残差係数に適用し、第２カーネルを少なくとも１つの第２色チャネルの残差係数に適用することによって、コーディングユニットを復号することと、を含む、方法を提供する。
別の態様によれば、第１インデックス又は第２インデックスは、コーディングユニットの最後の有効な残差係数の位置を復号した直後に復号される。
別の態様によれば、単一の残差係数が、複数の第２色チャネルについて復号される。
別の態様によれば、単一の残差係数が、単一の第２色チャネルについて復号される。
別の態様によれば、第１インデックス及び第２インデックスは、互いに独立している。
別の態様によれば、第１及び第２カーネルは、それぞれ、第１及び少なくとも１つの第２色チャネルのためのイントラ予測モードに依存する。
別の態様によれば、第１及び第２カーネルは、それぞれ、第１チャネルのブロックサイズ及び少なくとも１つの第２色チャネルのブロックサイズに関連する。
別の態様によれば、第２カーネルは、符号化されたビットストリームの彩度サブサンプリング比に関連する。
別の態様によれば、カーネルのそれぞれは、分離不可能な第２変換を実施する。
別の態様によれば、コーディングユニットは２つの第２色チャネルを含み、この第２色チャネルそれぞれについて別個のインデックスが復号される。
本開示の別の態様は、ビデオビットストリームからの画像フレームのコーディングツリーユニットからコーディングツリーのコーディングユニットを復号する方法であって、そのコーディングユニットが第１色チャネル及び少なくとも１つの第２色チャネルを有し、この方法は、コーディングユニットの復号された分割フラグに従って、第１色チャネル及び少なくとも１つの第２色チャネルを含むコーディングユニットを決定することと、第１色チャネルの復号されたインデックスに従って分離不可能な変換カーネルを選択することと、第２変換係数を生成するために、選択された分離不可能な変換カーネルを第１色チャネルの復号された残差に適用することと、第２変換係数に分離可能な変換カーネルを適用し、少なくとも１つの第２色チャネルの復号された残差に分離可能な変換カーネルを適用することによって、コーディングユニットを復号することと、を含む、方法を提供する。
本開示の別の態様は、ビデオビットストリームからの画像フレームのコーディングツリーユニットからコーディングツリーのコーディングユニットを復号する方法を実施するためにそこに格納されたコンピュータプログラムを有する非一時的コンピュータ可読媒体であって、このコーディングユニットは第１色チャネル及び少なくとも１つの第２色チャネルを有し、その方法は、コーディングツリーユニットの復号された分割フラグに従って、第１色チャネル及び少なくとも１つの第２色チャネルを含むコーディングユニットを決定することと、第１色チャネルのためのカーネルを選択するために第１インデックスを復号し、少なくとも１つの第２色チャネルのためのカーネルを選択するために第２インデックスを復号することと、第１インデックスに従って第１カーネルを選択し、第２インデックスに従って第２カーネルを選択することと、第１カーネルを第１色チャネルの残差係数に適用し、第２カーネルを少なくとも１つの第２色チャネルの残差係数に適用することによって、コーディングユニットを復号することと、を含む、非一時的コンピュータ可読媒体を提供する。
本開示の一態様は、ビデオビットストリームからのイメージフレームのコーディングツリーユニットからコーディングツリーのコーディングユニットを復号する方法を実施するために構成されたビデオデコーダであって、このコーディングユニットは第１色チャネル及び少なくとも１つの第２色チャネルを有し、この方法は、コーディングツリーユニットの復号された分割フラグに従って、第１色チャネル及び少なくとも１つの第２色チャネルを含むコーディングユニットを決定することと、第１色チャネルのためのカーネルを選択するために第１インデックスを復号し、少なくとも１つの第２色チャネルのためのカーネルを選択するために第２インデックスを復号することと、第１インデックスに従って第１カーネルを選択し、第２インデックスに従って第２カーネルを選択することと、第１カーネルを第１色チャネルの残差係数に適用し、第２カーネルを少なくとも１つの第２色チャネルの残差係数に適用することによって、コーディングユニットを復号することと、を含む、ビデオデコーダを提供する。
本開示の別の態様は、メモリと、プロセッサであって、このプロセッサはビデオビットストリームからの画像フレームのコーディングツリーユニットからコーディングツリーのコーディングユニットを復号する方法を実施するために、メモリに格納されたコードを実行するように構成され、このコーディングユニットは第１色チャネル及び少なくとも１つの第２色チャネルを有し、この方法は、コーディングツリーユニットの復号された分割フラグに従って、第１色チャネル及び少なくとも１つの第２色チャネルを含むコーディングユニットを決定することと、第１色チャネルのためのカーネルを選択するために第１インデックスを復号し、少なくとも１つの第２色チャネルのためのカーネルを選択するために第２インデックスを復号することと、第１インデックスに従って第１カーネルを選択し、第２インデックスに従って第２カーネルを選択することと、第１カーネルを第１色チャネルの残差係数に適用し、第２カーネルを少なくとも１つの第２色チャネルの残差係数に適用することによって、コーディングユニットを復号することと、を含む、プロセッサと、を備える、システムを提供する。
本開示の別の態様は、ビットストリームから複数のコーディングユニットを復号して画像フレームを生成する方法であって、このコーディングユニットはコーディングツリーユニットの分解の結果であり、複数のコーディングユニットはビットストリームの１つ以上の連続部分を形成し、この方法は、ビットストリームの１つ以上の連続部分のそれぞれについて、ビットストリームのそれぞれの連続部分のコーディングユニットに適用可能である細分割レベルを決定することと、エリア数のそれぞれの量子化パラメータデルタであって、各エリアはビットストリームのそれぞれの連続部分のコーディングユニットへのコーディングツリーユニットからに基づく量子化パラメータデルタと、その対応する決定された細分割レベルと、を復号することと、そのエリアの復号されたデルタ量子化パラメータと、画像フレームの以前のコーディングユニットの量子化パラメータとに従って、各エリアの量子化パラメータを決定することと、画像フレームを生成するために、各エリアの決定された量子化パラメータを使用して、複数のコーディングユニットを復号することと、を含む、方法を提供する。
別の態様によれば、各エリアは、コーディングユニットに関連付けられた細分割レベルと、対応する連続部分について決定された細分割レベルとの比較に基づく。
別の態様によれば、量子化パラメータデルタは、対応するコーディングツリーが対応する連続部分について決定された細分割レベル以下の細分割レベルを有するエリアごとに決定される。
別の態様によれば、新たなエリアが、対応する決定された細分割レベル以下の細分割レベルを有するコーディングツリーユニット内の任意のノードに対して設定される。
別の態様によれば、各連続部分について決定された細分割レベルは、輝度コーディングユニットのための第１細分割レベルと、連続部分の彩度コーディングユニットのための第２細分割レベルとを備える。
別の態様によれば、第１及び第２細分割レベルは異なる。
別の態様によれば、本方法はさらに、ビットストリームに関連するシーケンスパラメータセットのパーティション制約を上書きできることを示すフラグを復号することを含む。
別の態様によれば、１つ以上の連続部分のそれぞれについて決定された細分割レベルは、そのエリアについての最大輝度コーディングユニット深度を含む。
９別の態様によれば、１つ以上の連続部分のそれぞれについて決定された細分割レベルは、対応するエリアについての最大彩度コーディングユニット深度を含む。
別の態様によれば、連続部分のうちの１つについて決定された細分割レベルは、ビットストリームのパーティション制約について復号された最も深い許容された細分割レベルに対するオフセットを維持するように調整される。
本開示の別の態様は、ビットストリームから複数のコーディングユニットを復号して画像フレームを生成する方法実施するためにそこに格納されたコンピュータプログラムを有する非一時的コンピュータ可読媒体であって、このコーディングユニットはコーディングツリーユニットの分解の結果であり、複数のコーディングユニットはビットストリームの１つ以上の連続部分を形成し、この方法は、ビットストリームの１つ以上の連続部分のそれぞれについて、ビットストリームのそれぞれの連続部分のコーディングユニットに適用可能である細分割レベルを決定することと、エリア数のそれぞれの量子化パラメータデルタであって、各エリアはビットストリームのそれぞれの連続部分のコーディングユニットへのコーディングツリーユニットからに基づく量子化パラメータデルタと、その対応する決定された細分割レベルと、を復号することと、そのエリアの復号されたデルタ量子化パラメータと、画像フレームの以前のコーディングユニットの量子化パラメータとに従って、各エリアの量子化パラメータを決定することと、画像フレームを生成するために、各エリアの決定された量子化パラメータを使用して、複数のコーディングユニットを復号することと、を含む、非一時的コンピュータ可読媒体を提供する。
本開示の別の態様は、ビットストリームから複数のコーディングユニットを復号して画像フレームを生成する方法を実施するために構成されたビデオデコーダであって、このコーディングユニットはコーディングツリーユニットの分解の結果であり、複数のコーディングユニットはビットストリームの１つ以上の連続部分を形成し、この方法は、ビットストリームの１つ以上の連続部分のそれぞれについて、ビットストリームのそれぞれの連続部分のコーディングユニットに適用可能である細分割レベルを決定することと、エリア数のそれぞれの量子化パラメータデルタであって、各エリアはビットストリームのそれぞれの連続部分のコーディングユニットへのコーディングツリーユニットからに基づく量子化パラメータデルタと、その対応する決定された細分割レベルと、を復号することと、そのエリアの復号されたデルタ量子化パラメータと、画像フレームの以前のコーディングユニットの量子化パラメータとに従って、各エリアの量子化パラメータを決定することと、画像フレームを生成するために、各エリアの決定された量子化パラメータを使用して、複数のコーディングユニットを復号することと、を含む、ビデオデコーダを提供する。
本開示の別の態様は、メモリと、プロセッサであって、このプロセッサはビットストリームから複数のコーディングユニットを復号して画像フレームを生成する方法を実施するために、このメモリに格納されたコードを実行するように構成され、このコーディングユニットはコーディングツリーユニットの分解の結果であり、複数のコーディングユニットはビットストリームの１つ以上の連続部分を形成し、この方法は、ビットストリームの１つ以上の連続部分のそれぞれについて、ビットストリームのそれぞれの連続部分のコーディングユニットに適用可能である細分割レベルを決定することと、エリア数のそれぞれの量子化パラメータデルタであって、各エリアはビットストリームのそれぞれの連続部分のコーディングユニットへのコーディングツリーユニットからに基づく量子化パラメータデルタと、その対応する決定された細分割レベルと、を復号することと、そのエリアの復号されたデルタ量子化パラメータと、画像フレームの以前のコーディングユニットの量子化パラメータとに従って、各エリアの量子化パラメータを決定することと、画像フレームを生成するために、各エリアの決定された量子化パラメータを使用して、複数のコーディングユニットを復号することと、を含む、プロセッサと、を備える、システムを提供する。
他の態様も開示される。
次に、本発明の少なくとも１つの実施形態を、以下の図面及び付録を参照して説明する。
添付の図面のいずれか１つ又は複数において、工程及び／又は特徴へと参照が行われ、それらが同じ参照番号を有する場合、これらの工程及び／又は特徴は、その反対の意図が現れない限り、本説明の目的のために、同じ機能又は操作を有する。
レート制御ビデオエンコーダは、ブロック分割制約に適した粒度で量子化パラメータを調整する柔軟性を必要とする。ブロック分割制約は例えば、複数のビデオエンコーダが各フレームを圧縮するために並列に動作する場合、フレームの一部と別の部分とで異なってもよい。量子化パラメータ調整が必要とされるエリアの粒度は、それに応じて異なる。さらに、第２変換の潜在的適用を含む、適用された変換選択の制御が、変換されている残差が生成された予測信号の範囲内で適用される。特に、イントラ予測の場合、異なるイントラ予測モードを使用することができるので、別個のモードが、輝度ブロック及び彩度ブロックのために利用可能である。
ビデオのいくつかのセクションは他のセクションよりもレンダリングされたビューポートの忠実度に大きく寄与し、ブロック構造及び量子化パラメータの分散値において、より大きなビットレート及びより大きな柔軟性を割り当てることができる。レンダリングされたビューポートの忠実度にほとんど寄与しないセクション、例えばレンダリングされたビューの側又は後ろのセクションは、符号化の労力を低減するためより単純なブロック構造で、量子化パラメータの制御における柔軟性をより少なくして圧縮されてもよい。一般に、より低いビットレートに対して変換係数をより粗く量子化するために、より大きな値が選択される。さらに、変換選択の適用は、変換選択のために輝度及び彩度を連帯的に考慮する必要性を回避することによって、符号化処理をさらに単純化するために、輝度チャネルと彩度チャネルとの間で独立であってもよい。特に、輝度と彩度とについてのイントラ予測モードを別々に考慮した後、第２変換選択のための輝度と彩度とを連帯的に考慮する必要性が回避される。
図１は、ビデオ符号化及び復号システム１００の機能モジュールを示す概略ブロック図である。システム１００は、フレームの異なる部分において量子化パラメータが調整されるエリアを異ならせて、フレームのそれぞれの部分において有効であり得る異なるブロック分割制約に適応させることができる。
システム１００は、ソース装置１１０と宛先装置１３０とを含む。通信チャネル１２０は、符号化されたビデオ情報をソース装置１１０から宛先装置１３０に通信するために使用される。いくつかの構成では、ソース装置１１０及び宛先装置１３０がそれぞれの携帯電話ハンドセット又は「スマートフォン」を備えていてもよく、その場合、通信チャネル１２０はワイヤレスチャネルである。他の構成では、ソース装置１１０及び宛先装置１３０がビデオ会議機器を備えていてもよく、その場合、通信チャネル１２０は通常、インターネット接続などの有線チャネルである。さらに、ソース装置１１０及び宛先装置１３０は、無線テレビ放送、ケーブルテレビアプリケーション、（ストリーミングを含む）インターネットビデオアプリケーション、及びファイルサーバ内のハードディスクドライブなどの何らかのコンピュータ可読記憶媒体上に符号化ビデオデータが取り込まれるアプリケーションをサポートする装置を含む、広範囲の装置のうちの任意のものを備えることができる。
図１に示すように、ソース装置１１０は、ビデオソース１１２と、ビデオエンコーダ１１４と、送信部１１６とを含む。ビデオソース１１２は、典型的には画像キャプチャセンサ、非一時的記録媒体上に記憶された以前にキャプチャされたビデオシーケンス、又は遠隔画像キャプチャセンサからのビデオフィードのような、キャプチャされたビデオフレームデータのソース（１１３として示される）を備える。ビデオソース１１２はまた、コンピュータグラフィックスカードの出力であってもよく、例えば、オペレーティングシステムのビデオ出力と、例えばタブレットコンピュータのようなコンピューティング装置上で実行される様々なアプリケーションとを表示する。ビデオソース１１２として画像撮像センサを含み得るソース装置１１０の例は、スマートフォン、ビデオカメラ、業務デジタルビデオカメラネットワークビデオカメラを含む。
ビデオエンコーダ１１４は、図３を参照してさらに説明されるように、ビデオソース１１２からのキャプチャされたフレームデータ（矢印１１３によって示される）をビットストリーム（矢印１１５によって示される）に変換（又は「符号化」）する。ビットストリーム１１５は、符号化されたビデオデータ（又は「符号化されたビデオ情報」）として通信チャネル１２０を介して送信部１１６によって送信される。ビットストリーム１１５は、後に通信チャネル１２０を介して送信されるまで、又は通信チャネル１２０を介して送信される代わりに、「フラッシュ」メモリやハードディスクドライブなどの一時的でない記憶装置１２２に記憶されることも可能である。例えば、符号化されたビデオデータは、ビデオストリーミングアプリケーションのためのワイドエリアネットワーク（ＷＡＮ）を介して顧客に要求に応じて供給され得る。
宛先装置１３０は、受信部１３２と、ビデオデコーダ１３４と、表示装置１３６とを含む。受信部１３２は、通信チャネル１２０から符号化されたビデオデータを受信し、受信されたビデオデータをビットストリームとしてビデオデコーダ１３４に渡す（矢印１３３によって示される）。その後、ビデオデコーダ１３４は、復号したフレームデータ（矢印１３５で示す）を表示装置１３６に出力する。復号されたフレームデータ１３５は、フレームデータ１１３と同じ彩度フォーマットを有する。表示装置１３６の例には、陰極線管、スマートフォン、タブレットコンピュータ、コンピュータモニタ、又はスタンドアロンテレビセットなどの液晶ディスプレイが含まれる。また、ソース装置１１０及び宛先装置１３０の各々の機能性が単一の装置で実現されることも可能であり、その例は、移動電話ハンドセット及びタブレットコンピュータを含む。復号されたフレームデータは、利用者への提示の前にさらに変換されてもよい。例えば、特定の緯度及び経度を有する「ビューポート」は、投影形式を使用して復号されたフレームデータからレンダリングされ、場面の３６０°視点を表すことができる。
上記の例示的な装置にもかかわらず、ソース装置１１０及び宛先装置１３０のそれぞれは、一般にハードウェア及びソフトウェア構成要素の組合せを介して、汎用コンピューティングシステム内で構成され得る。図２Ａは、コンピュータモジュール２０１と、キーボード２０２、マウスポインタ装置２０３、スキャナ２２６、ビデオソース１１２として構成することができるカメラ２２７、及びマイクロフォン２８０などの入力装置と、プリンタ２１５、ディスプレイ装置１３６として構成することができるディスプレイ装置２１４、及びスピーカ２１７を含む出力装置とを含む、そのようなコンピュータシステム２００を示す。外部変復調器（モデム）トランシーバ装置２１６は、コネクション２２１を介して通信ネットワーク２２０との間で通信するためにコンピュータモジュール２０１によって使用されてもよい。通信チャネル１２０を表すことができる通信ネットワーク２２０は、インターネット、セルラ電気通信ネットワーク、又はプライベートＷＡＮのような（ＷＡＮ）であってもよい。コネクション２２１が電話回線である場合、モデム２１６は従来の「ダイヤルアップ」モデムであってもよい。あるいはコネクション２２１が大容量（例えば、ケーブル又は光）コネクションである場合、モデム２１６はブロードバンドモデムであってもよい。無線モデムはまた、通信ネットワーク２２０への無線接続のために使用されてもよい。トランシーバ装置２１６は、送信部１１６及び受信部１３２の機能性を提供することができ、通信チャネル１２０は、接続部２２１内に具現化されてよい。
コンピュータモジュール２０１は、一般に、少なくとも１つのプロセッサユニット２０５と、メモリユニット２０６とを含む。例えば、メモリユニット２０６は半導体ランダムアクセスメモリ（ＲＡＭ）及び半導体リードオンリメモリ（ＲＯＭ）を有していてもよい。コンピュータモジュール２０１は、ビデオディスプレイ２１４、スピーカ２１７、及びマイクロフォン２８０に結合するオーディオビデオインターフェース２０７、キーボード２０２、マウス２０３、スキャナ２２６、カメラ２２７、及びオプションとしてジョイスティック又は他のヒューマンインターフェース装置（図示せず）に結合するＩ／Ｏインターフェース２１３、並びに外部モデム２１６及びプリンタ２１５のためのインターフェース２０８を含む、いくつかの入出力（Ｉ／Ｏ）インターフェースも含む。オーディオビデオインターフェース２０７からコンピュータモニタ２１４への信号は一般に、コンピュータグラフィックスカードの出力である。いくつかの実装形態では、モデム２１６は、コンピュータモジュール２０１内、例えば、インターフェース２０８内に組み込まれてもよい。コンピュータモジュール２０１はまた、ローカルネットワークインターフェース２１１を有し、これは、ローカルエリアネットワーク（ＬＡＮ）として知られるローカルエリア通信ネットワーク２２２へのコネクション２２３を介して、コンピュータシステム２００の結合を可能にする。図２Ａに示すように、ローカル通信ネットワーク２２２は、典型的には、いわゆる「ファイアウォール」装置又は同様の機能の装置を含むコネクション２２４を介してワイドネットワーク２２０に結合することもできる。ローカルネットワークインターフェース２１１は、イーサネット（登録商標）回路カード、ブルートゥース（登録商標）無線構成、又はＩＥＥＥ８０２．１１無線構成を備えていてもよいが、しかしながら、インターフェース２１１のために多数の他のタイプのインターフェースが実行されてもよい。ローカルネットワークインターフェース２１１はまた、送信部１１６の機能を提供することができ、受信部１３２及び通信チャネル１２０はまた、ローカル通信ネットワーク２２２に具現化されてもよい。
Ｉ／Ｏインターフェース２０８及び２１３は、シリアル及びパラレル接続のいずれか又は両方を提供することができ、前者は、通常は、ユニバーサルシリアルバス（ＵＳＢ）規格に従って実装され、対応するＵＳＢコネクタ（図示せず）を有する。記憶デバイス２０９が提供され、通常はハードディスクドライブ（ＨＤＤ）２１０を含む。フロッピーディスクドライブ及び磁気テープドライブ（図示せず）などのような他の記憶デバイスも使用されることができる。光ディスクドライブ２１２は、通常は、データの不揮発性ソースとして機能するように提供される。このような光ディスク（例えば、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイディスク（登録商標））、ＵＳＢ－ＲＡＭ、ポータブル、外部ハードドライブ、及びフロッピーディスクのような携帯型メモリデバイスは、コンピュータシステム２００への適切なデータソースとして使用されてもよい。典型的にはＨＤＤ２１０、光ドライブ２１２、ネットワーク２２０及び２２２のいずれかは、ビデオソース１１２として、又はディスプレイ２１４を介して再生するために記憶されるべき復号されたビデオデータのための宛先として動作するように構成されてもよい。システム１００のソース装置１１０及び宛先装置１３０は、コンピュータシステム２００において具現化されてもよい。
コンピュータモジュール２０１の構成要素２０５～２１３は、通常は、相互接続されたバス２０４を介して、当業者に知られているコンピュータシステム２００の従来の演算モードをもたらす手法で通信する。例えば、プロセッサ２０５は、接続２１８を使用してシステムバス２０４に結合される。同様に、メモリ２０６及び光ディスクドライブ２１２は、接続２１９によってシステムバス２０４に結合される。説明された構成が実施されることのできるコンピュータの例は、ＩＢＭ－ＰＣ及び互換機、ＳｕｎＳＰＡＲＫステーション、Ａｐｐｌｅ Ｍａｃ（商標）又は同様のコンピュータシステムを含む。
必要に応じて、ビデオエンコーダ１１４及びビデオデコーダ１３４、並びに以下に説明する方法は、コンピュータシステム２００を使用して実施されてもよい。特に、ビデオエンコーダ１１４及びビデオデコーダ１３４、並びに下記に説明される方法は、コンピュータシステム２００内で実行可能な１つ以上のソフトウェアアプリケーションプログラム２３３としてされてもよい。特に、ビデオエンコーダ１１４及びビデオデコーダ１３４、並びに説明される方法の工程はコンピュータシステム２００内で実行されるソフトウェア２３３内の命令２３１（図２Ｂ参照）によって実行される。ソフトウェア命令２３１は、それぞれが１つ又は複数の特定のタスクを実行するための１つ又は複数のコードモジュールとして形成されてもよい。ソフトウェアはまた、２つの別個の部分に分割されてもよく、そこでは、第一の部分及び対応するコードモジュールは説明された方法を実行し、第二の部分及び対応するコードモジュールは第一の部分とユーザとの間のユーザインターフェースを管理する。
ソフトウェアは例えば、以下に説明する記憶装置を含むコンピュータ可読媒体に記憶することができる。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム２００に読み込まれ、次いで、コンピュータシステム２００によって実行される。そのようなソフトウェア又はコンピュータ可読媒体に記録されたコンピュータプログラムを有するコンピュータ可読媒体は、コンピュータプログラム製品である。コンピュータシステム２００におけるコンピュータプログラム製品の使用は、好ましくは、ビデオエンコーダ１１４、ビデオデコーダ１３４、及び説明した方法を実施するための有利な装置をもたらす。
ソフトウェア２３３は、典型的にはＨＤＤ２１０又はメモリ２０６に記憶される。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム２００に読み込まれ、次いで、コンピュータシステム２００によって実行される。したがって、例えば、ソフトウェア２３３は、光ディスクドライブ２１２によって読み取られる光学的に可読ディスク記憶媒体（例えば、ＣＤ－ＲＯＭ）２２５に格納されてもよい。
いくつかの場合では、アプリケーションプログラム２３３は、１つ又は複数のＣＤ－ＲＯＭ２２５上で符号化されてユーザに供給され、及び対応するドライブ２１２を介して読み取られてもよく、又は、ネットワーク２２０又は２２２からユーザによって読み取られてもよい。さらに、ソフトウェアは、他のコンピュータ可読媒体からコンピュータシステム２００に読み込まれることもできる。コンピュータ可読記憶媒体は、実行及び／又は処理のために、記録された指示及び／又はデータをコンピュータシステム２００に提供する任意の非一時的有形記憶媒体を指す。そのような記憶媒体の例には、そのようなデバイスがコンピュータモジュール２０１の内蔵又は外付けであるか否かに関わらず、フロッピーディスク、磁気テープ、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイ（商標）ディスク、ハードディスクドライブ、ＲＯＭ若しくは集積回路、ＵＳＢメモリ、光磁気ディスク、又はＰＣＭＣＩＡカードなどのコンピュータ可読カード等が含まれる。ソフトウェア、アプリケーションプログラム、命令、及び／又はビデオデータ若しくは符号化ビデオデータのコンピュータモジュール４０１への提供にも関与し得る一時的又は非有形のコンピュータ可読伝送媒体の例には、別のコンピュータ又はネットワーク化されたデバイスへのネットワーク接続と同じく無線又は赤外線伝送チャネルを含み、並びに電子メール伝送及びウェブサイト等に記録された情報を含むインターネット又はイントラネットを含む。
アプリケーションプログラム２３３の第二の部分及び上述の対応するコードモジュールは、表示部２１４上にレンダリングされるか、又は他の方法で表される１つ又は複数のグラフィカルユーザインターフェース（ＧＵＩ）を実装するために実行されることができる。通常、キーボード２０２及びマウス２０３の操作を通じて、コンピュータシステム２００及びアプリケーションのユーザは、ＧＵＩに関連付けられたアプリケーションに制御コマンド及び／又は入力を提供するために、機能的に適応可能な手法でインターフェースを操作してもよい。スピーカ２１７を介して出力されるスピーチプロンプト及びマイクロフォン２８０を介して入力されるユーザ音声コマンドを利用するオーディオインターフェースなど、機能的に適応可能なユーザインターフェースの他の形態も実装されてもよい。
図２Ｂは、プロセッサ２０５及び「メモリ」２３４の詳細な概略ブロック図である。メモリ２３４は、図２Ａのコンピュータモジュール２０１によってアクセスされ得る全てのメモリモジュール（ＨＤＤ８０９及び半導体メモリ２０６を含む）の論理集合を表す。
コンピュータモジュール２０１が最初に電源投入されると、パワーオン自己テスト（ＰＯＳＴ）プログラム２５０を実行する。ＰＯＳＴプログラム２５０は、通常、図２Ａの半導体メモリ２０６のＲＯＭ２４９に格納される。ソフトウェアを格納するＲＯＭ２４９などのようなハードウェアデバイスは、ファームウェアと呼ばれることもある。ＰＯＳＴプログラム２５０は、適切な機能を保証するためにコンピュータモジュール２０１内のハードウェアを検査し、並びに、通常プロセッサ２０５、メモリ２３４（２０９、２０６）、及び、通常ＲＯＭ２４９に格納されてもいる基本入出力システムソフトウェア（ＢＩＯＳ）モジュール２５１を、正しい演算について確認する。一度ＰＯＳＴプログラム２５０が正常に動作すると、ＢＩＯＳ２５１は、図２Ａのハードディスクドライブ２１０を起動する。ハードディスクドライブ２１０の起動が、ハードディスクドライブ２１０上に常駐するブートストラップローダプログラム２５２に、プロセッサ２０５を介して実行させる。これにより、オペレーティングシステム２５３がＲＡＭメモリ２０６に読み込まれ、そこでオペレーティングシステム２５３が演算を開始する。オペレーティングシステム２５３は、プロセッサ管理、メモリ管理、デバイス管理、ストレージ管理、ソフトウェアアプリケーションインターフェース、及び一般的なユーザインターフェースを含む様々な高レベル機能を実現するための、プロセッサ２０５によって実行可能なシステムレベルアプリケーションである。
オペレーティングシステム２５３は、コンピュータモジュール２０１上で動作する各処理又はアプリケーションが、別の処理に割り当てられたメモリと衝突することなく実行するのに十分なメモリを有することを保証するよう、メモリ２３４（２０９、２０６）を管理する。さらに、図２Ａのシステム２００で利用可能な異なるタイプのメモリは、各処理が効果的に動作できるように、適切に使用されなければならない。したがって、集約メモリ２３４は、メモリの特定のセグメントがどのように割り当てられるかを示すことを意図するものではなく（特に断らない限り）、むしろコンピュータシステム２００によってアクセス可能なメモリの一般的なビュー及びそのようなものがどのように使用されるかを提供することを意図するものである。
図２Ｂに示されるように、プロセッサ２０５は、制御ユニット２３９、算術論理ユニット（ＡＬＵ）２４０、及びキャッシュメモリと呼ばれることもあるローカル又は内部メモリ２４８を含む複数の機能モジュールを含む。キャッシュメモリ２４８は、通常、レジスタセクション内に多数の記憶レジスタ２４４～２４６を含む。１つ以上の内部バス２４１は、これらの機能モジュールを機能的に相互接続する。プロセッサ２０５は、通常、接続２１８を使用して、システムバス２０４を介して外部デバイスと通信するための１つ以上のインターフェース２４２も有する。メモリ２３４は、接続２１９を使用してバス２０４に結合される。
アプリケーションプログラム２３３は、条件分岐及びループ命令を含むことができる一連の命令２３１を含む。プログラム２３３は、プログラム２３３の実行に使用されるデータ２３２を含んでもよい。命令２３１及びデータ２３２は、それぞれメモリ場所２２８、２２９、２３０及び２３５、２３６、２３７に格納される。命令２３１及びメモリ場所２２８～２３０の相対サイズに応じて、メモリ場所２３０に示される命令によって表されるように、特定の指示を単一のメモリ場所に格納することができる。あるいは、命令は、メモリ場所２２８及び２２９に示される命令セグメントによって表されるように、それぞれが別個のメモリ場所に格納される複数の部分へとセグメント化されてもよい。
一般に、プロセッサ２０５には、そこで実行される命令のセットが与えられる。プロセッサ２０５は後続の入力を待機し、その入力にはプロセッサ２０５が別の命令セットを実行することによって反応する。各入力は入力装置２０２、２０３のうちの１つ以上によって生成されたデータ、ネットワーク２２０、２０２のうちの１つを介して外部ソースから受信されたデータ、記憶装置２０６、２０９のうちの１つから取り出されたデータ、又は対応する読取２１２に挿入された記憶媒体２２５から取り出されたデータを含む、いくつかのソースのうちの１つ以上から提供することができ、すべて図２Ａに表される。命令のセットの実行は、場合によっては、データの出力をもたらしてもよい。実行はまた、データ又は変数をメモリ２３４に格納することを含んでいてもよい。
ビデオエンコーダ１１４、ビデオデコーダ１３４、及び説明した方法は、メモリ２３４内の対応するメモリ場所２５５、２５６、２５７に格納された入力変数２５４を使用してもよい。ビデオエンコーダ１１４、ビデオデコーダ１３４、及び説明した方法は出力変数２６１を生成し、これらは、対応するメモリ場所２６２、２６３、２６４内のメモリ２３４に格納される。中間変数２５８は、メモリ場所２５９、２６０、２６６及び２６７に格納されてもよい。
図２Ｂのプロセッサ２０５を参照すると、レジスタ２４４、２４５、２４６、算術論理ユニット（ＡＬＵ）２４０、及び制御部２３９は、プログラム２３３を構成する命令セット内のすべての命令に対して「フェッチ、復号、及び実行」サイクルを実行するのに必要なマイクロオペレーションのシーケンスを実行するために協働する。各フェッチ、復号、及び実行サイクルは、以下を含む。
フェッチ演算であって、メモリ場所２２８、２２９、２３０から命令２３１を取り出す又は読み取るフェッチ演算と、
どの命令が取り出されたのか制御部２３９が判断する復号演算と、
制御部２３９及び／又はＡＬＵ２４０が命令を実行する実行演算。
フェッチ演算であって、メモリ場所２２８、２２９、２３０から命令２３１を取り出す又は読み取るフェッチ演算と、
どの命令が取り出されたのか制御部２３９が判断する復号演算と、
制御部２３９及び／又はＡＬＵ２４０が命令を実行する実行演算。
その後、次の命令のためのさらなるフェッチ、復号、及び実行サイクルが実行されてもよい。同様に、制御ユニット２３９がメモリ場所２３２に値を格納する又は書き込む格納サイクルが実行されてもよい。
説明される図１３～図１８の方法における各工程又はサブ処理はプログラム２３３の１つ以上のセグメントに関連付けられており、通常、一緒に動作するプロセッサ２０５内のレジスタセクション２４４、２４５、２４７、ＡＬＵ２４０、並びに制御部２３９によって実行され、プログラム２３３の注記されたセグメントに対する命令セット内の各命令のフェッチ、復号、及び実行サイクルを実行する。
図３は、ビデオエンコーダ１１４の機能モジュールを示す概略ブロック図である。図４は、ビデオデコーダ１３４の機能モジュールを示す概略ブロック図である。一般に、データは、固定サイズのサブブロックへのブロックの分割などのサンプル又は係数のグループで、又はアレイとして、ビデオエンコーダ１１４内及びビデオデコーダ１３４内の機能モジュールを通過する。ビデオエンコーダ１１４及びビデオデコーダ１３４は、図２Ａ及び２Ｂに示すような、プロセッサ２０５によってその実行中に制御されるソフトウェアアプリケーションプログラム２３３の１つ以上のソフトウェアコードモジュールなど、コンピュータシステム２００内で実行可能なソフトウェアによって、コンピュータシステム２００内の専用ハードウェアによって様々な機能モジュールが実装され得る、汎用コンピュータシステム２００を使用して実装することができる。あるいは、ビデオエンコーダ１１４及びビデオデコーダ１３４は、コンピュータシステム２００内で実行可能な専用ハードウェア及びソフトウェアの組合せによって実装されてもよい。ビデオエンコーダ１１４、ビデオデコーダ１３４、及び説明した方法は、説明した方法の機能又はサブ機能を実行する１つ以上の集積回路などの専用ハードウェアで代替的に実装されてもよい。そのような専用ハードウェアは、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け標準製品（ＡＳＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は１つ以上のマイクロプロセッサ及び関連するメモリを含んでいてもよい。具体的には、ビデオエンコーダ１１４はモジュール３１０～３９０を備え、ビデオデコーダ１３４はモジュール４２０～４９６を備え、これらのモジュールはそれぞれ、ソフトウェアアプリケーションプログラム２３３の１つ以上のソフトウェアコードモジュールとして実装されてもよい。
図３のビデオエンコーダ１１４は汎用ビデオコーディング（ＶＶＣ）ビデオ符号化パイプラインの一例であるが、本明細書で説明する処理段階を実行するために他のビデオコーデックが使用されてもよい。ビデオエンコーダ１１４は一連のフレームなどのキャプチャされたフレームデータ１１３を受信し、各フレームは１つ以上の色チャネルを含む。フレームデータ１１３は任意の彩度フォーマット、例えば４：０：０、４：２：０、４：２：２、又は４：４：４彩度フォーマットであってもよい。まず、ブロックパーティショナー３１０はフレームデータ１１３を、一般に正方形の形状であり、ＣＴＵのための特定のサイズが使用されるように構成されるＣＴＵに分割する。ＣＴＵのサイズは例えば、６４×６４、１２８×１２８、又は２５６×２５６輝度サンプルとしてもよい。ブロックパーティショナー３１０は、輝度コーディングツリー及び彩度コーディングツリーに従って、各ＣＴＵを１つ以上のＣＢにさらに分割する。その輝度チャネルは、第１色チャネルとも呼ばれる。各彩度チャネルは、第２色チャネルとも呼ばれる。ＣＢは様々なサイズを有し、正方形と非非正方形とのアスペクト比の両方を含んでもよい。ブロックパーティショナー３１０の動作は、図１３～１５を参照してさらに説明される。しかし、ＶＶＣ規格ではＣＢ、ＣＵ、ＰＵ、及びＴＵは常に２の累乗である辺長を有する。したがって、３１２として表される現在のＣＢは、ブロックパーティショナー３１０から出力され、ＣＴＵの輝度コーディングツリー及び彩度コーディングツリーに従って、ＣＴＵの１つ以上のブロックにわたる反復に従って進行する。ＣＴＵをＣＢに分割するためのオプションは、図５及び図６を参照して以下でさらに説明される。動作は一般にＣＴＵ基底で説明されるが、このビデオエンコーダ１１４及びビデオデコーダ１３４はより小さいサイズの領域で動作し、メモリ消費を低減することができる。例えば、各ＣＴＵは、サイズ６４×６４の「仮想パイプラインデータユニット」（ＶＰＤＵ）として知られる、より小さい領域に分割することができる。このＶＰＤＵは、ハードウェアアーキテクチャにおけるパイプライン処理により従順なデータの粒度を形成し、ここでメモリフットプリントの縮小は、フルＣＴＵ上で動作する場合と比較して、シリコン面積を、したがってコストを低減する。
フレームデータ１１３の第１分割から得られるＣＴＵは、ラスタスキャン順序でスキャンされ、１つ以上の「スライス」にグループ化されてもよい。スライスは、「イントラ」（又は「Ｉ」）スライスであってもよい。イントラスライス（Ｉスライス）は、スライス内のすべてのＣＵがイントラ予測されることを示す。あるいは、スライスは単一又は双方向予測（それぞれ、「Ｐ」又は「Ｂ」スライス）であってもよく、それぞれ、スライスにおける片方向予測及び双方向予測のさらなる利用可能性を示す。
Ｉスライスでは、各ＣＴＵのコーディングツリーが、６４×６４レベルより下で、１つは輝度のための、もう１つは彩度のための、２つの別個のコーディングツリーに分岐することができる。別々のツリーの使用は、ＣＴＵの輝度６４×６４エリア内の輝度と彩度との間に異なるブロック構造が存在することを可能にする。例えば、大きな彩度ＣＢは、多数の小さな輝度ＣＢと一緒に配置されてもよく、逆もまた同様である。Ｐ又はＢスライスでは、ＣＴＵの単一のコーディングツリーが輝度及び彩度に共通のブロック構造を定義する。結果として得られる単一ツリーのブロックは、イントラ予測又はインター予測されてもよい。
各ＣＴＵに対して、ビデオエンコーダ１１４は２段階で動作する。第１段階（「サーチ」段階と呼ばれる）では、ブロックパーティショナー３１０がコーディングツリーの様々な潜在的構成をテストする。コーディングツリーの各潜在的構成は、関連する「候補」ＣＢを有する。この第１段階は、比較的小さい歪みで比較的高い圧縮効率を提供するＣＢを選択するために、様々な候補ＣＢをテストすることを含む。このテストは一般にラグランジュ最適化を含み、それによって候補ＣＢがレート（コーディングコスト）と歪み（入力フレームデータ１１３に関する誤差）との重み付けされた組合せに基づいて評価される。「最良の」候補ＣＢ（評価されたレート／歪みが最も小さいＣＢ）は、ビットストリーム１１５への後続の符号化のために選択される。候補ＣＢの評価には、所与のエリアに対してＣＢを使用するか、又は様々な分割オプションに従ってエリアをさらに分割し、結果として生じるより小さいエリアのそれぞれをさらなるＣＢでコーディングするか若しくはエリアをさらに分割するか、のオプションが含まれる。その結果、コーディングツリーとＣＢ自体の両方が探索段階で選択される。
ビデオエンコーダ１１４は、各ＣＢ、例えばＣＢ３１２に対して、矢印３２０によって示される予測ブロック（ＰＢ）を生成する。ＰＢ３２０は、関連付けられたＣＢ３１２のコンテンツの予測である。減算器モジュール３２２はＰＢ３２０とＣＢ３１２との間に、３２４（又は、空間領域内にある差を参照する「残差」）として示される差を生成する。差３２４は、ＰＢ３２０及びＣＢ３１２における対応するサンプル間のブロックサイズの差である。差３２４は、変換され、量子化され、矢印３３６によって示される変換ブロック（ＴＢ）として表される。ＰＢ３２０及び関連付けられたＴＢ３３６は、典型的には、例えば評価されたコスト又は歪みに基づいて、多くの可能な候補ＣＢのうちの１つから選択される。
候補コーディングブロック（ＣＢ）は、関連付けられたＰＢ及び結果として生じる残差についてビデオエンコーダ１１４に利用可能な予測モードの１つから生じるＣＢである。ビデオデコーダ１１４において予測されたＰＢと組み合わされると、ＴＢ３３６は、ビットストリームにおける追加の信号を犠牲にして、復号されたＣＢと元のＣＢ３１２との間の差を低減する。
したがって、各候補コーディングブロック（ＣＢ）、すなわち、変換ブロック（ＴＢ）と組み合わせた予測ブロック（ＰＢ）は、関連付けられたコーディングコスト（又は「レート」）及び関連付けられた差（又は「歪み」）を有する。このＣＢの歪みは、典型的には絶対差の和（ＳＡＤ）又は二乗差の和（ＳＳＤ）などのサンプル値の差として推定される。各候補ＰＢから得られる推定値は、予測モード３８７を決定するために差３２４を使用してモードセレクタ３８６によって決定されてもよい。予測モード３８７は、現在のＣＢについての特定の予測モード、例えば、フレーム内予測又はフレーム間予測を使用する決定を示す。各候補予測モード、及び対応する残差コーディングに関連付けられたコーディングコストの推定は、残差のエントロピーコーディングよりもかなり低いコストで実行できる。従って、リアルタイムビデオエンコーダにおいてさえもレート歪み検知における最適モードを決定するために、多数の候補モードを評価することができる。
レート歪みに関する最適モードを決定することは、典型的にはラグランジュ最適化の変動を使用して達成される。
ＣＴＵのＣＢへの最適分割（ブロックパーティショナー３１０による）と、複数の可能性からの最良予測モードの選択との両方を選択するために、ラグランジュ又は類似の最適化処理を採用することができる。モード選択モジュール３８６における候補モードのラグランジュ最適化処理の適用を通して、最低コスト測定を有するイントラ予測モードが「最良」モードとして選択される。この最低コストモードは、選択された第２変換インデックス３８８であり、エントロピーエンコーダ３３８によってビットストリーム１１５へと符号化される。
ビデオエンコーダ１１４の第２動作段階（「コーディング」段階と呼ばれる）では、各ＣＴＵの決定されたコーディングツリーにわたる反復がビデオエンコーダ１１４において実行される。別個ツリーを使用するＣＴＵの場合、ＣＴＵの各６４×６４輝度領域に対して、輝度コーディングツリーが最初に符号化され、続いて彩度コーディングツリーが符号化される。この輝度コーディングツリー内では輝度ＣＢのみが符号化され、彩度コーディングツリー内では彩度ＣＢのみが符号化される。共有ツリーを使用するＣＴＵの場合、単一のツリーは共有ツリーの共通ブロック構造に従って、ＣＵ、すなわち、輝度ＣＢ及び彩度ＣＢを記述する。
エントロピーエンコーダ３３８は、構文要素の可変長コーディングと構文要素の算術符号化の両方をサポートする。「パラメータセット」、例えばシーケンスパラメータセット（ＳＰＳ）やピクチャパラメータセット（ＰＰＳ）などのビットストリームの一部は、固定長コードワードと可変長コードワードの組合せを使用する。スライス（連続部分とも呼ばれる）には、可変長符号化を使用するスライスヘッダと、それに続く算術符号化「を使用するスライスデータがある。スライスヘッダは、スライスレベルの量子化パラメータオフセットなど、現在のスライスに固有のパラメータを定義する。このスライスデータは、スライス内の各ＣＴＵの構文要素を含む。可変長コーディング及び算術符号化の使用は、ビットストリームの各部分内で順次構文解析を必要とする。このビットストリームの各部分は、「ネットワーク抽象化レイヤユニット」又は「ＮＡＬユニット」を形成するために開始コードを用いて描写されてもよい。算術符号化は、コンテキスト適応バイナリ算術符号化処理を使用してサポートされる。算術的にコーディングされた構文要素は１つ以上の「ビン」のシーケンスからなる。ビンはビットと同様に、「０」又は「１」の値を持つ。しかしながら、ビンは、ビットストリーム１１５において、ディスクリートビットとして符号化されない。ビンは、「コンテキスト」として知られる、関連付けられた予測（又は「ありそうな」又は「最も可能性のある」）値及び関連付けられた確率を有する。コーディングされる実際のビンがありそうな値と一致するとき、「最も確率の高いシンボル」（ＭＰＳ）がコーディングされる。最も確率の高いシンボルをコーディングすることは、ビットストリーム１１５内の消費ビットに関して比較的安価であり、ディスクリートビット１つ未満となるコストを含む。コーディングされる実際のビンがありそうな値と一致しない場合、「最も確率の低いシンボル」（ＬＰＳ）がコーディングされる。最も確率が低いシンボルをコーディングすることは、消費されるビットに関して比較的高いコストを有する。ビンコーディング技術は、「０」対「１」の確率が偏るビンの効率的なコーディングを可能にする。２つの可能な値（すなわちフラグ）を持つ構文要素に対しては、単一のビンで十分である。可能な値を多く有する構文要素については、ビンのシーケンスが必要である。
シーケンス中の後のビンの存在は、シーケンス中の前のビンの値に基づいて決定されてもよい。さらに、各ビンは、２つ以上のコンテキストに関連付けられてもよい。特定のコンテキストの選択は、構文要素の前のビン、隣接する構文要素のビン値（すなわち、隣接するブロックからのもの）などに依存し得る。コンテキストコーディングビンが符号化されるたびに、そのビンに対して選択されたコンテキストは、（もしあれば）新しいビン値を反映する手法で更新される。このように、バイナリ算術符号化方式は適応型であると言われている。
また、ビデオエンコーダ１１４によってサポートされるのは、コンテキストを欠くビン（「バイパスビン」）である。バイパスビンは、「０」と「１」との間の等確率分布を仮定してコーディングされる。したがって、各ビンは、ビットストリーム１１５内の１ビットのコーディングコストを有する。コンテキストがないと、メモリが節約され、複雑さが軽減される。したがって、特定のビンの値の分布が偏っていない場合は、バイパスビンが使用される。コンテキスト及び適応を使用するエントロピーコーダの一例は、ＣＡＢＡＣ(コンテキスト適応バイナリ算術コーダ）として当技術分野で知られており、このコーダの多くの変形がビデオコーディングに使用されている。
エントロピーエンコーダ３３８は、コンテキストコーディングビンとバイパスコーディングビンとの組合せを使用して、量子化パラメータ３９２を符号化し、現在のＣＢのために使用されている場合には、ＬＦＮＳＴインデックス３８８を符号化する。量子化パラメータ３９２は、「デルタＱＰ」を使用して符号化される。このデルタＱＰは、「量子化グループ」として知られている各エリアにおいて、最大で一度シグナリングされる。量子化パラメータ３９２は、輝度ＣＢの残差係数に適用される。調整された量子化パラメータが、並置された彩度ＣＢの残差係数に適用される。この調整された量子化パラメータは、マッピングテーブルと、オフセットのリストから選択されたＣＵレベルオフセットとに従って、輝度量子化パラメータ３９２からのマッピングを含んでもよい。変換ブロックに関連付けられた残差が、第２変換の適用による第１係数への変換に左右されるそれらの係数位置にのみ有効な残差係数を含むときに、第２変換インデックス３８８がシグナリングされる。
マルチプレクサモジュール３８４は、各候補ＣＢのテストされた予測モードから選択された、決定された最良のイントラ予測モードに従って、フレーム内予測モジュール３６４からＰＢ３２０を出力する。候補予測モードは、ビデオエンコーダ１１４によってサポートされるすべての考えられる予測モードを含む必要はない。イントラ予測は、３つのタイプに分類される。「ＤＣイントラ予測」は、近くの再構成されたサンプルの平均を表す単一の値でＰＢをポピュレートすることを含む。「平面イントラ予測」は、平面に従ってサンプルをＰＢにポピュレートすることを含み、ＤＣオフセット並びに垂直及び水平勾配が、近傍で再構成された隣接するサンプルから導出される。近傍で再構成されたこのサンプルは、典型的にはある程度までＰＢの右に延在する、現在のＰＢの上の再構成サンプルの行と、ある程度までＰＢを超えて下方に延在する、現在のＰＢの左の再構成サンプルの列とを含む。「角度イントラ予測」は、フィルタリングされ、ＰＢを横切って特定の方向（又は「角度」）に伝播された、再構成された隣接するサンプルを用いてＰＢをポピュレートすることを含む。ＶＶＣ６５では、長方形ブロックでは使用できない追加の角度を使用できる長方形ブロックがサポートされ、合計８７の角度が生成される。第４のタイプのイントラ予測は彩度ＰＢに利用可能であり、それによって、このＰＢは、「交差成分線形モデル」（ＣＣＬＭ）モードに従って、並置された輝度再構成サンプルから生成される。３つの異なるＣＣＬＭモードが利用可能であり、各モードは、隣接する輝度及び彩度サンプルから導出された異なるモデルを使用する。導出されたそのモデルは、並置された輝度サンプルから彩度ＰＢのサンプルのブロックを生成するために使用される。
以前に再構成されたサンプルが、例えばフレームのエッジで利用できない場合、サンプルの範囲の１／２のデフォルトハーフトーン値が使用される。例えば、１０ビットビデオの場合、５１２の値が使用される。フレームの左上の位置に配置されたＣＢについて、以前に利用可能なサンプルがないので、角度及び平面内予測モードはＤＣ予測モードと同じ出力、すなわち、大きさとしてハーフトーン値を有するサンプルの平面を生成する。
フレーム間予測の場合、予測ブロック３８２は、動き補償モジュール３８０によってビットストリーム内のコーディング順序フレーム内の現在のフレームに先行する１つ又は２つのフレームからのサンプルを使用して生成され、マルチプレクサモジュール３８４によってＰＢ３２０として出力される。さらに、フレーム間予測のために、典型的には単一のコーディングツリーが、輝度チャネル及び彩度チャネルの両方のために使用される。ビットストリーム内のコーディングフレームの順序は、キャプチャ又は表示時のフレームの順序とは異なる場合がある。１つのフレームが予測に使用される場合、そのブロックは「片方向予測」されると言われ、１つの関連付けられた動きベクトルを有する。２つのフレームが予測に使用される場合、そのブロックは「双方向予測」されると言われ、２つの関連付けられた動きベクトルを有する。Ｐスライスの場合、各ＣＵは、イントラ予測又は片方向予測されてもよい。Ｂスライスの場合、各ＣＵは、イントラ予測、片方向予測、又は双方向予測されてもよい。フレームは、典型的には「ピクチャ群」構造を使用してコーディングされ、フレームの時間的階層を可能にする。フレームは複数のスライスに分割されてもよく、各スライスはフレームの一部を符号化する。フレームの時間的階層は、フレームがフレームを表示する順序で、先行するピクチャ及び後続するピクチャを参照することを可能にする。画像は、各フレームを復号するための依存関係を確実にするために必要な順序でコーディングされる。
サンプルは、動きベクトル３７８及び参照ピクチャインデックスに従って選択される。動きベクトル３７８及び参照ピクチャインデックスはすべての色チャネルに適用され、したがって、インター予測は主に、ＰＢではなくＰＵ上での動作に関して説明され、すなわち、各ＣＴＵの１つ以上のインター予測ブロックへの分解は、単一のコーディングツリーを用いて説明される。インター予測法は、動きパラメータの個数及びその精度において異なる可能性がある。動きパラメータは、典型的には、参照フレームのリストからのどの参照フレームが使用されるべきかを示す参照フレームインデックスに加えて、その参照フレームの各々のための空間変換を含むが、より多くのフレーム、特別なフレーム、又はスケーリング及び回転などの複雑なアフィンパラメータを含んでもよい。さらに、参照サンプルブロックに基づいて高密度動き推定値を生成するために、所定の動き精緻化処理を適用してもよい。
ＰＢ３２０を決定し、選択し、減算器３２２で元のサンプルブロックからＰＢ３２０を減算すると、３２４で表される、コーディングコストが最も低い残差が得られ、損失のある圧縮を受ける。損失のある圧縮処理は、変換、量子化、及びエントロピー符号化の工程を含む。順方向第１変換モジュール３２６は、差３２４に順方向変換を適用し、その差３２４を空間ドメインから周波数ドメインに変換し、矢印３２８によって表される第１変換係数を生成する。一次元における最大の第１変換サイズは、３２ポイントＤＣＴ－２又は６４ポイントＤＣＴ－２変換のいずれかである。符号化されているＣＢが、ブロックサイズとして表される最大のサポートされる第１変換サイズ、すなわち６４×６４又は３２×３２よりも大きい場合、第１変換３２６は、差３２４のすべてのサンプルを変換するためにタイル方式で適用される。変換３２６の適用は、ＣＢのための複数のＴＢをもたらす。変換の各適用が、３２×３２より大きい、例えば６４×６４の差３２４のＴＢに対して動作する場合、ＴＢの左上の３２×３２エリアの外側の、全ての結果として生じる第１変換係数３２８はゼロに設定され、すなわち廃棄される。残りの第１変換係数３２８は、量子化器モジュール３３４に渡される。この第１変換係数３２８は、ＣＢに関連付けられた量子化パラメータ３９２に従って量子化され、第１変換係数３３２を生成する。量子化パラメータ３９２は、輝度ＣＢ対各彩度ＣＢについて異なってもよい。第１変換係数３３２は、順方向第２変換モジュール３３０に渡され、分離不可能な第２変換（ＮＳＳＴ）動作を実行することによって、又はその第２変換をバイパスすることによって、矢印３３６によって表される変換係数を生成する。順方向第１変換は典型的には分離可能であり、各ＴＢの行のセットを変換し、次いで各ＴＢの列のセットを変換する。順方向第１変換モジュール３２６は、水平方向及び垂直方向のタイプＩＩ離散コサイン変換（ＤＣＴ－２）、若しくは水平方向及び垂直方向の変換のバイパス、又は幅及び高さにおいて１６サンプルを超えない輝度ＴＢに対して水平方向若しくは垂直方向いずれかのタイプＶＩＩ離散サイン変換（ＤＳＴ－７）とタイプＶＩＩＩ離散コサイン変換（ＤＣＴ－８）との組合せのいずれかを使用する。ＤＳＴ－７とＤＣＴ－８との組み合わせの使用は、ＶＶＣ規格において「マルチ変換選択セット」（ＭＴＳ）と呼ばれる。
モジュール３３０の順方向第２変換は、一般的には分離不可能な変換であり、これは、イントラ予測されたＣＵの残差に対してのみ適用され、それにもかかわらずバイパスされてもよい。順方向第２変換は、一組の第２変換係数を生成するために、１６のサンプル（第１変換係数３２８の左上４×４サブブロックとして配置される）又は４８のサンプル（第１変換係数３２８の左上８×８係数において３つの４×４サブブロックとして配置される）のいずれかで動作する。第２変換係数のセットは、それらが導出される第１変換係数のセットよりも数が少なくてもよい。互いに隣接し、ＤＣ係数を含む係数のセットのみへの第２変換の適用、この第２変換は「低周波非分離第２変換（ＬＦＮＳＴ）」と呼ばれる。さらに、ＬＦＮＳＴが適用されるとき、ＴＢ内のすべての残りの係数は、第１変換ドメイン及び第２変換ドメインの両方においてゼロでなければならない。
量子化パラメータ３９２は所与のＴＢについて一定であり、したがって、ＴＢについての第１変換ドメインにおける残差係数の生成のための均一なスケーリングをもたらす。量子化パラメータ３９２は、シグナリングされた「デルタ量子化パラメータ」によって周期的に異なり得る。デルタ量子化パラメータ（デルタＱＰ）は、「量子化グループ」と呼ばれる所定のエリア内に含まれるＣＵに対して１回シグナリングされる。ＣＵが量子化グループサイズよりも大きい場合、デルタＱＰは、ＣＵのＴＢのうちの１つを用いて１回シグナリングされる。すなわち、デルタＱＰは、ＣＵの第１量子化グループに対してエントロピーエンコーダ３３８によって１回シグナリングされ、ＣＵの後続の量子化グループに対してはシグナリングされない。「量子化行列」の適用により不均一なスケーリングも可能であり、それによって、各残差係数に適用されるスケーリング係数は、量子化パラメータ３９２とスケーリング行列内の対応するエントリとの組合せから導出される。スケーリング行列はＴＢのサイズよりも小さいサイズを有することができ、ＴＢに適用される場合、ＴＢサイズよりもサイズが小さいスケーリング行列から各残差係数のスケーリング値を提供するために、最近傍アプローチが使用される。残差係数３３６は、ビットストリーム１１５における符号化のためにエントロピーエンコーダ３３８に供給される。典型的には、ＴＵの少なくとも１つの有効な残差係数を有する各ＴＢの残差係数が、スキャンパターンに従って、値の順序付けられたリストを生成するためにスキャンされる。このスキャンパターンは一般に、４×４「サブブロック」のシーケンスとしてＴＢをスキャンし、残差係数の４×４セットの粒度で規則的なスキャン動作を提供し、サブブロックの構成はＴＢのサイズに依存する。各サブブロック内のスキャン、及びその１つのサブブロックから次のサブブロックへの進行は、典型的には後方対角スキャンパターンに従う。さらに、量子化パラメータ３９２はデルタＱＰ構文要素を使用してビットストリーム１１５へと符号化され、第２変換インデックス３８８は図１３～１５を参照して説明される条件下で、ビットストリーム１１５内に符号化される。
上述したように、ビデオエンコーダ１１４は、ビデオデコーダ１３４に見られる復号されたフレーム表現に対応するフレーム表現へのアクセスを必要とする。従って、残差係数３３６は、矢印３４２によって表される中間逆変換係数を生成するために、第２変換インデックス３８８に従って動作する逆第２変換モジュール３４４を通過する。中間逆変換係数は、矢印３４６によって表される逆変換係数を生成するために、量子化パラメータ３９２に従って逆量子化モジュール３４０によって逆量子化される。中間逆変換係数３４６は、ＴＵの矢印３５０によって表される残差サンプルを生成するために、逆第１変換モジュール３４８に渡される。逆第２変換モジュール３４４によって実行される逆変換のタイプは、順第２変換モジュール３３０によって実行される順変換のタイプに対応する。逆第１変換モジュール３４８によって実行される逆変換のタイプは、第１変換モジュール３２６によって実行される第１変換のタイプに対応する。加算モジュール３５２は、ＣＵの再構成されたサンプル（矢印３５４によって示される）を生成するために、残差サンプル３５０とＰＵ３２０とを加算する。
再構成されたサンプル３５４は、参照サンプルキャッシュメモリ３５６及びインループフィルタモジュール３６８に渡される。参照サンプルキャッシュメモリ３５６は、通常ＡＳＩＣ上のスタティックＲＡＭを使用して（したがって、コストのかかるオフチップメモリアクセスを回避して）実装され、フレーム内の後続のＣＵのためのフレーム内ＰＢを生成するための依存関係を満たすために必要な最小限のサンプル記憶装置を提供する。最小の依存関係は、典型的にはＣＴＵの行の最下部に沿ったサンプルの「ラインバッファ」を含み、ＣＴＵの次の行及び列バッファリングによって使用され、その範囲はＣＴＵの高さによって設定される。参照サンプルキャッシュメモリ３５６は、参照サンプルフィルタ３６０に参照サンプル（矢印３５８で示す）を供給する。サンプルフィルタ３６０は、平滑化演算を適用して、フィルタリングされた参照サンプル（矢印３６２によって示される）を生成する。フィルタリングされた参照サンプル３６２は、フレーム内予測モジュール３６４によって使用され、矢印３６６によって表されるサンプルのイントラ予測ブロックを生成する。各候補イントラ予測モードについて、フレーム内予測モジュール３６４は、サンプルのブロック、すなわち３６６を生成する。サンプル３６６のブロックは、ＤＣ、平面又は角度内予測などの技法を使用して、モジュール３６４によって生成される。
インループフィルタモジュール３６８は、再構成されたサンプル３５４にいくつかのフィルタリング段階を適用する。このフィルタリング段階は不連続性から生じるアーチファクトを低減するために、ＣＵ境界に整列された平滑化を適用する「デブロッキングフィルタ」（ＤＢＦ）を含む。インループフィルタモジュール３６８に存在する別のフィルタリング段階は「適応ループフィルタ」であり、これは、歪みをさらに低減するためにウィーナーベースの適応フィルタを適用する。インループフィルタモジュール３６８における更なる利用可能なフィルタリング段階は、「サンプル適応オフセット」（ＳＡＯ）フィルタである。このＳＡＯフィルタは最初に、再構成されたサンプルを１つ以上のカテゴリに分類し、その割り当てられたカテゴリに従って、サンプルレベルでオフセットを適用することによって動作する。
矢印３７０で表されるフィルタリングされたサンプルは、インループフィルタモジュール３６８から出力される。フィルタリングされたサンプル３７０は、フレームバッファ３７２に格納される。フレームバッファ３７２は、典型的にはいくつかの（例えば、１６までの）ピクチャを格納する容量を有し、従って、メモリ２０６に格納される。フレームバッファ３７２は、その要求される大きなメモリ消費のため、典型的にはオンチップメモリを使用して格納はされない。したがって、フレームバッファ３７２へのアクセスは、メモリ帯域幅に関してコストがかかる。フレームバッファ３７２は、参照フレーム（矢印３７４によって表される）を動き推定モジュール３７６及び動き補償モジュール３８０に提供する。
動き推定モジュール３７６はいくつかの「動きベクトル」（３７８として示される）を推定し、各ベクトルは現在のＣＢの場所からのデカルト空間オフセットであり、フレームバッファ３７２内の参照フレームのうちの１つの内のブロックを参照する。参照サンプルのフィルタリングされたブロック（３８２として表される）は、各動きベクトルに対して生成される。フィルタリングされた参照サンプル３８２は、モードセレクタ３８６による潜在的選択に利用可能なさらなる候補モードを形成する。さらに、所与のＣＵについて、ＰＵ３２０は、１つの（「片方向予測される」）参照ブロックを使用して形成されてもよく、又は２つの（「双方向予測される」）参照ブロックを使用して形成されてもよい。選択された動きベクトルに対して、動き補償モジュール３８０は、動きベクトル内のサブピクセル精度をサポートするフィルタリング処理に従って、ＰＢ３２０を生成する。したがって、動き推定モジュール３７６（多くの候補動きベクトルに対して動作する）は計算の複雑さを低減するために、動き補償モジュール３８０（選択された候補のみに対して動作する）と比較して、単純化されたフィルタリング処理を実行してもよい。ビデオエンコーダ１１４がＣＵのインター予測を選択すると、動きベクトル３７８がビットストリーム１１５へと符号化される。
図３のビデオエンコーダ１１４は汎用ビデオコーディング（ＶＶＣ）を参照して説明されるが、他のビデオコーディング規格又は実がモジュール３１０～３９０の処理段階を使用することもできる。フレームデータ１１３（及びビットストリーム１１５）は、メモリ２０６、ハードディスクドライブ２１０、ＣＤ－ＲＯＭ、ブルーレイディスク（登録商標）、又は他のコンピュータ可読記憶媒体から読み取る（又は書き込む）こともできる。さらに、フレームデータ１１３（及びビットストリーム１１５）は、通信ネットワーク２２０又は無線周波数受信部に接続されたサーバなどの外部ソースから受信（又は送信）されてもよい。通信ネットワーク２２０は制限された帯域幅を提供することができ、フレームデータ１１３が圧縮困難であるときにネットワークを飽和させることを回避するために、ビデオエンコーダ１１４におけるレート制御の使用を必要とする。さらに、ビットストリーム１１５は、ビデオエンコーダ１１４の１つ以上のインスタンスによって生成され、プロセッサ２０５の制御下で協調して動作する、フレームデータ１１３の空間セクション（ＣＴＵの集合）を表す１つ以上のスライスから構築されてもよい。本開示のコンテキストでは、スライスはビットストリームの「連続部分」とも呼ばれ得る。スライスはビットストリーム内で連続しており、並列処理が使用されている場合などに、個別の部分として符号化又は復号することができる。
ビデオデコーダ１３４を図４に示す。図４のビデオデコーダ１３４は汎用ビデオコーディング（ＶＶＣ）ビデオ復号パイプラインの一例であるが、本明細書で説明する処理段階を実行するために他のビデオコーデックが使用されてもよい。図４に示すように、ビットストリーム１３３はビデオデコーダ１３４に入力される。ビットストリーム１３３は、メモリ２０６、ハードディスクドライブ２１０、ＣＤ－ＲＯＭ、ブルーレイディスク（登録商標）、又は他の非一時的コンピュータ可読記憶媒体から読み取ることができる。あるいは、ビットストリーム１３３が通信ネットワーク２２０に接続されたサーバ又は無線周波数受信部などの外部ソースから受信されてもよい。
ビットストリーム１３３は、復号されるべきキャプチャフレームデータを表す符号化された構文要素を含む。ビットストリーム１３３はエントロピーデコーダモジュール４２０に入力される。エントロピーデコーダモジュール４２０は、「ビン」のシーケンスを復号することによってビットストリーム１３３から構文要素を抽出し、その構文要素の値をビデオデコーダ１３４内の他のモジュールに渡す。エントロピーデコーダモジュール４２０は、可変長及び固定長復号を使用して、算術復号エンジンのＳＰＳ、ＰＰＳ又はスライスヘッダを復号し、スライスデータの構文要素を１つ以上のビンのシーケンスとして復号する。各ビンはビンの「１」と「０」の値をコーディングするために使用される確率水準を記述するコンテキストと共に、一つ以上の「コンテキスト」を使用することができる。所与のビンに対して複数のコンテキストが利用可能な場合、「コンテキストモデリング」又は「コンテキスト選択」工程が、ビンを復号するために利用可能なコンテキストの１つを選択するために実行される。ビンを復号する処理は順次フィードバックループを形成し、したがって、各スライスは、所与のエントロピーデコーダ４２０インスタンスによってその全体が復号され得る。単一の（又は少数の）高性能エントロピーデコーダ４２０インスタンスは、ビットストリーム１１５からのフレームのためのすべてのスライスを復号することができ、複数の低性能エントロピーデコーダ４２０インスタンスは、ビットストリーム１３３からのフレームのためのスライスを同時に復号することができる。
エントロピーデコーダモジュール４２０は、ビットストリーム１３３から構文要素を復号するために、算術符号化アルゴリズム、例えば「コンテキスト適応バイナリ算術符号化」（ＣＡＢＡＣ）を適用する。復号された構文要素は、ビデオデコーダ１３４内のパラメータを再構成するために使用される。パラメータは、残差係数（矢印４２４によって表される）、量子化パラメータ４７４、第２変換インデックス４７０、及びイントラ予測モード（矢印４５８によって表される）などのモード選択情報を含む。このモード選択情報は、動きベクトル、及び各ＣＴＵの１つ以上のＣＢへの分割などの情報も含む。パラメータは、典型的には以前に復号されたＣＢからのサンプルデータと組み合わせて、ＰＢを生成するために使用される。
残差係数４２４は逆第２変換モジュール４３６に渡され、そこでは、図１６～１８を参照して説明する方法に従って、第２変換が適用されるか、又は動作が実行されない（バイパス）。逆第２変換モジュール４３６は第２変換ドメイン係数から、再構成された変換係数４３２、すなわち第１変換ドメイン係数を生成する。再構成された変換係数４３２は、量子化解除器モジュール４２８に入力される。逆量子化器モジュール４２８は、量子化パラメータ４７４に従って、矢印４４０によって表される再構成された中間変換係数を生成するために、残差係数４３２に対して、すなわち、第１変換係数領域において、逆量子化（又は「スケーリング」）を実行する。不均一な逆量子化行列の使用がビットストリーム１３３に示される場合、ビデオデコーダ１３４はスケーリング係数のシーケンスとしてビットストリーム１３３から量子化行列を読み出し、スケーリング係数を行列に配置する。逆スケーリングは、量子化パラメータと組み合わせて量子化行列を使用して、再構成された中間変換係数４４０を生成する。
再構成された変換係数４４０は、逆第１変換モジュール４４４に渡される。このモジュール４４４は、係数４４０を周波数ドメインから空間ドメインに戻すように変換する。モジュール４４４の動作の結果は、矢印４４８によって表される残差サンプルのブロックである。残差サンプル４４８のブロックは、対応するＣＢとサイズが等しい。この残差サンプル４４８は、加算モジュール４５０に供給される。加算モジュール４５０において、残差サンプル４４８は、矢印４５６によって表される再構成されたサンプルのブロックを生成するために、復号されたＰＢ（４５２として表される）に加算される。再構成されたサンプル４５６は、再構成サンプルキャッシュメモリ４６０及びインループフィルタリングモジュール４８８に供給される。インループフィルタリングモジュール４８８は、４９２として表されるフレームサンプルの再構成されたブロックを生成する。このフレームサンプル４９２はフレームバッファ４９６に書き込まれる。
再構成サンプルキャッシュメモリ４６０は、ビデオエンコーダ１１４の再構成サンプルキャッシュメモリ３５６と同様に動作する。再構成されたサンプルキャッシュメモリ４６０は、（例えば、典型的にはオンチップメモリであるデータ２３２を代わりに使用することによって）メモリ２０６を介さずに後続のＣＢをイントラ予測するために必要な、再構成されたサンプルのための記憶装置を提供する。矢印４６４によって表される参照サンプルは、再構成サンプルキャッシュメモリ４６０から得られ、参照サンプルフィルタ４６８に供給されて、矢印４７２によって示されるフィルタリングされた参照サンプルを生成する。このフィルタリングされた参照サンプル４７２は、フレーム内予測モジュール４７６に供給される。モジュール４７６は、ビットストリーム１３３でシグナリングされ、エントロピーデコーダ４２０によって復号されたイントラ予測モードパラメータ４５８に従って、矢印４８０によって表されるイントラ予測サンプルのブロックを生成する。サンプル４８０のブロックは、ＤＣ、平面又は角度内予測などのモードを使用して生成される。
ＣＢの予測モードがビットストリーム１３３においてイントラ予測を使用するように指示されると、イントラ予測サンプル４８０は、マルチプレクサモジュール４８４を介して、復号されたＰＢ４５２を形成する。イントラ予測は、サンプルの予測ブロック（ＰＢ）、すなわち、同じ色成分内の「隣接サンプル」を使用して導出された１つの色成分内のブロックを生成する。この隣接サンプルは現在のブロックに隣接するサンプルであり、ブロック復号順序において先行することにより、既に再構成されている。輝度及び彩度ブロックが並置される場合、その輝度及び彩度ブロックは異なるイントラ予測モードを使用してもよい。しかしながら、この２つの彩度ＣＢは、同じイントラ予測モードを共有する。
ＣＢの予測モードがビットストリーム１３３におけるインター予測であることが示されると、動き補償モジュール４３４は、フレームバッファ４９６からサンプル４９８のブロックを選択しフィルタリングするために、（エントロピーデコーダ４２０によってビットストリーム１３３から復号された）動きベクトル及び参照フレームインデックスを使用して、４３８として表されるインター予測サンプルのブロックを生成する。サンプル４９８のブロックは、フレームバッファ４９６に格納された、以前に復号されたフレームから得られる。双方向予測の場合、復号されたＰＢ４５２のためのサンプルを生成するために、２つのサンプルブロックが生成され、一緒に混ぜ合わされる。フレームバッファ４９６には、インループフィルタリングモジュール４８８からのフィルタリングされたブロックデータ４９２が入力される。ビデオエンコーダ１１４のインループフィルタリングモジュール３６８と同様に、インループフィルタリングモジュール４８８は、ＤＢＦ、ＡＬＦ、及びＳＡＯフィルタリング動作のいずれかを適用する。一般に、動きベクトルは輝度チャネル及び彩度チャネルの両方に適用されるが、輝度チャネル及び彩度チャネルにおけるサブサンプル補間のためのフィルタリング処理は異なる。
図５は、汎用ビデオコーディングのツリー構造内の１つ以上のサブ領域への領域の利用可能な区分又は分割の集合５００を示す概略ブロック図である。コレクション５００に示される区分は、図３を参照して説明されるように、ラグランジュ最適化によって決定されるよう、コーディングツリーに従って各ＣＴＵを１つ以上のＣＵ又はＣＢに区分するために、エンコーダ１１４のブロックパーティショナー３１０に利用可能である。
コレクション５００は、正方形領域のみが他の、おそらくは正方形でないサブ領域に分割されていることを示しているが、コレクション５００はコーディングツリー内の親ノードの、コーディングツリー内の子ノードへの潜在的な分割を示しており、親ノードが正方形領域に対応することを必要としないことを理解されたい。包含領域が非正方形の場合、分割から生じるブロックの次元は含有ブロックの縦横比に従ってスケールされる。ある領域がそれ以上分割されなくなると、すなわち、コーディングツリーのリーフノードにおいては、ＣＵはその領域を占有する。
領域をサブ領域に細分割する処理は、結果として生じるサブ領域が最小ＣＵサイズ、一般に４×４輝度サンプルに達したときに終了しなければならない。所定の最小サイズ、例えば１６サンプルよりも小さいブロック領域を禁止するようにＣＵを制約することに加えて、ＣＵは、４の最小幅又は高さを有するように制約される。幅及び高さの両方に関して、又は幅又は高さの両方に関して、他の最小値も可能である。細分割の処理は最深レベルの分解の前に終了してもよく、その結果、ＣＵは最小ＣＵサイズよりも大きくなる。分割が起こらず、その結果、単一のＣＵがＣＴＵの全体を占有することが可能である。ＣＴＵの全体を占有する単一のＣＵは、最大の利用可能なコーディングユニットサイズである。４：２：０などのサブサンプリングされた彩度フォーマットの使用により、ビデオエンコーダ１１４及びビデオデコーダ１３４の構成は、輝度チャネル及び彩度チャネルのブロック構造を定義する共有コーディングツリーの場合を含めて、輝度チャネルにおけるよりも早く彩度チャネルにおける領域の分割を終了させることができる。別々のコーディングツリーが輝度及び彩度のために使用される場合、利用可能な分割動作に対する制約は、たとえそのようなＣＢがより大きな輝度エリア、例えば６４の輝度サンプルと一緒に配置されていても、１６サンプルの最小彩度ＣＢエリアを保証する。
コーディングツリーのリーフノードにはＣＵが存在し、それ以上の細分化は行われない。例えば、リーフノード５１０は、１つのＣＵを含む。コーディングツリーの非リーフノードには、２つ以上のさらなるノードに分割されたノードが存在し、そのそれぞれが１つのＣＵを形成するリーフノード、又はさらなる分割をより小さい領域に含む非リーフノードであってもよい。コーディングツリーの各リーフノードにおいて、各色チャネルに対して１つのコーディングブロックが存在する。輝度及び彩度の両方について同じ深度で終了する分割は、３つの並置されたＣＢをもたらす。彩度よりも深い輝度の深度で終端する分割は、複数の輝度ＣＢが彩度チャネルのＣＢと並置されることになる。
クアッドツリー分割５１２は図５に示すように、包含領域を４つの等しいサイズの領域に分割する。ＨＥＶＣと比較して、汎用ビデオコーディング（ＶＶＣ）は、水平バイナリ分割５１４及び垂直バイナリ分割５１６を含む追加の分割により追加の柔軟性を達成する。分割５１４及び５１６の各々は、包含領域を２つの等しいサイズの領域に分割する。この分割は、含有ブロック内の水平境界（５１４）又は垂直境界（５１６）に沿って行われる。
さらなる柔軟性は、水平ターナリ分割５１８及び垂直ターナリ分割５２０を加えた多用途ビデオコーディングにおいて達成される。ターナリ分割５１８及び５２０は、ブロックを、包含領域の幅又は高さの１／４及び３／４に沿って水平方向（５１８）又は垂直方向（５２０）のいずれかに境界付けられた３つの領域に分割する。クアッドツリー、バイナリツリー、及びターナリツリーの組合せは、「ＱＴＢＴＴＴ」と呼ばれる。ツリーのルートには、ゼロ個以上のクアッドツリー分割（ツリーの「ＱＴ」セクション）が含まれる。ＱＴセクションが終了すると、ゼロ個以上のバイナリ又はターナリ分割（ツリーの「マルチツリー」又は「ＭＴ」セクション）が発生し、最終的にツリーのリーフノードのＣＢ又はＣＵで終了する。このツリーがすべての色チャネルを記述する場合、ツリーリーフノードはＣＵである。ツリーが輝度チャネル又は彩度チャネルを記述する場合、ツリーリーリーリーフノードはＣＢである。
クアッドツリーのみをサポートし、そのため正方形ブロックのみをサポートするＨＥＶＣと比較して、ＱＴＢＴＴＴは、特にバイナリツリー及び／又はターナリツリー分割の可能な再帰的適用を考慮すると、より多くの可能なＣＵサイズをもたらす。クアッドツリー分割のみが利用可能である場合、コーディングツリー深度の各増加は、ＣＵサイズの、親エリアのサイズの４分の１への減少に対応する。ＶＶＣでは、バイナリ及びターナリ分割が利用できるということは、そのコーディングツリー深度がもはやＣＵエリアに直接的に対応しないことを意味する。異常な（正方形でない）ブロックサイズについての可能性は、ブロック幅又は高さが、結果として４サンプル未満であるか、又は４サンプルの倍数ではないかのいずれかとなるであろう分割を排除するように、分割オプションを制約することによって低減することができる。一般に、この制約は、輝度サンプルを考慮する際に適用される。しかしながら、説明した構成では、制約が彩度チャネル用のブロックに別々に適用することができる。彩度チャネルに分割オプションを適用すると、フレームデータが４：２：０彩度形式又は４：２：２彩度形式の場合など、輝度と彩度で最小ブロックサイズが異なる場合がある。各分割では、この領域に関して横次元が変わらない、半分になっている、又は四半期になっているサブ領域が生成される。そして、ＣＴＵサイズは２のべき乗であるため、全てのＣＵの横次元も２のべき乗である。
図６は、汎用ビデオ符号化で使用されるＱＴＢＴＴＴ（又は「コーディングツリー」）構造のデータフロー６００を示す概略フロー図である。ＱＴＢＴＴＴ構造はＣＴＵを１つ以上のＣＵに分割することを定義するために、各ＣＴＵに対して使用される。各ＣＴＵのＱＴＢＴＴＴ構造は、ビデオエンコーダ１１４内のブロックパーティショナー３１０によって決定され、ビットストリーム１１５へと符号化されるか、又はビデオデコーダ１３４内のエントロピーデコーダ４２０によってビットストリーム１３３から復号される。データフロー６００はさらに、図５に示される分割に従って、ＣＴＵを１つ以上のＣＵに分割するためにブロックパーティショナー３１０に利用可能な許容可能な組合せを特徴付ける。
階層の最上位レベル、すなわちＣＴＵから始めて、ゼロ又はそれ以上のクアッドツリー分割が最初に実行される。具体的には、クアッドツリー（ＱＴ）分割決定６１０がブロックパーティショナー３１０によって行われる。「１」シンボルを返す６１０での決定は、クアッドツリー分割５１２に従って現在のノードを４つのサブノードに分割する決定を示す。その結果、６２０のような４つの新しいノードが生成され、各新しいノードについて、ＱＴ分割決定６１０に戻る。各新しいノードは、ラスタ（又はＺスキャン）順序で考慮される。あるいは、ＱＴ分割決定６１０がさらなる分割が実行されるべきでないことを示す（「０」シンボルを返す）場合、クアッドツリー分割は停止し、マルチツリー（ＭＴ）分割がその後考慮される。
まず、ＭＴ分割決定６１２がブロックパーティショナー３１０によって行われる。６１２において、ＭＴ分割を実行する決定が示される。決定６１２で「０」のシンボルを返すことは、ノードのサブノードへのそれ以上の分割が実行されないことを示す。ノードのそれ以上の分割が実行されない場合、そのノードはコーディングツリーのリーフノードであり、ＣＵに対応する。リーフノードは６２２で出力される。あるいは、ＭＴ分割６１２がＭＴ分割を実行する決定を示す（「１」シンボルを返す）場合、ブロックパーティショナー３１０は方向決定６１４に進む。
方向決定６１４は、水平（「Ｈ」又は「０」）又は垂直（「Ｖ」又は「１」）のいずれかとしてＭＴ分割の方向を示す。ブロックパーティショナー３１０は、決定６１４が水平方向を示す「０」を返す場合、決定６１６に進む。ブロックパーティショナー３１０は、決定６１４が垂直方向を示す「１」を返す場合、決定６１８に進む。
決定６１６及び６１８のそれぞれにおいて、ＭＴ分割のパーティション数は、ＢＴ／ＴＴ分割で２つ（バイナリ分割又は「ＢＴ」ノード）又は３つ（ターナリ分割又は「「ＴＴ」）のいずれかとして示される。すなわち、ＢＴ／ＴＴ分割決定６１６は６１４からの指示された方向が水平であるときにブロックパーティショナー３１０によって行われ、ＢＴ／ＴＴ分割決定６１８は６１４からの指示された方向が垂直であるときにブロックパーティショナー３１０によって行われる。
ＢＴ／ＴＴ分割決定６１６は、水平分割が「０」を返すことによって示されるバイナリ分割５１４であるか、「１」を返すことによって示されるターナリ分割５１８であるかを示す。ＢＴ／ＴＴ分割決定６１６がバイナリ分割を示すとき、ＨＢＴ ＣＴＵノード生成工程６２５において、バイナリ水平分割５１４に従って、２つのノードがブロックパーティショナー３１０によって生成される。ＢＴ／ＴＴ分割６１６がターナリ分割を示すとき、ＨＴＴ ＣＴＵノード生成工程６２６において、ターナリ水平分割５１８に従って、ブロックパーティショナー３１０によって３つのノードが生成される。
ＢＴ／ＴＴ分割決定６１８は、垂直分割が「０」を返すことによって示されるバイナリ分割５１６であるか、「１」を返すことによって示されるターナリ分割５２０であるかを示す。ＢＴ／ＴＴ分割６１８がバイナリ分割を示すとき、生成ＶＢＴ ＣＴＵノード工程６２７では、垂直バイナリ分割５１６に従って、ブロックパーティショナー３１０によって２つのノードが生成される。ＢＴ／ＴＴ分割６１８がターナリ分割を示すとき、ＶＴＴ ＣＴＵノード生成工程６２８において、垂直ターナリ分割５２０に従って、ブロックパーティショナー３１０によって３つのノードが生成される。工程６２５～６２８から生じる各ノードについて、ＭＴ分割決定６１２に戻るデータフロー６００の再帰が、方向６１４に応じて、左から右へ、又は上から下への順序で適用される。その結果、バイナリツリー及びターナリツリー分割を適用して、様々なサイズを有するＣＵを生成することができる。
図７Ａ及び７Ｂは、ＣＴＵ７１０をいくつかのＣＵ又はＣＢに分割する例７００を提供する。ＣＵ７１２の一例を図７Ａに示す。図７Ａは、ＣＴＵ７１０におけるＣＵの空間的構成を示す。例示的な分割７００は、図７Ｂにコーディングツリー７２０としても示されている。
図７ＡのＣＴＵ７１０内の各非リーフノード、例えばノード７１４、７１６及び７１８において、収容されたノード（さらに分割されていてもよいし、ＣＵであってもよい）は、ノードのリストを作成するために「Ｚオーダー」でスキャン又は横切られ、コーディングツリー７２０内のカラムとして表される。クアッドツリー分割の場合、Ｚ順スキャンは、左上から右上に続いて左下から右下の順序になる。水平分割及び垂直分割の場合、Ｚ順スキャン（横断）は、それぞれ、上から下へのスキャン及び左から右へのスキャンに単純化される。図７Ｂのコーディングツリー７２０は、適用されたスキャン順序に従って、すべてのノード及びＣＵをリストする。各分割は、リーフノード（ＣＵ）に到達するまで、ツリーの次のレベルで２、３、又は４つの新しいノードのリストを生成する。
画像をＣＴＵに分解し、さらにブロックパーティショナー３１０によってＣＵに分解し、図３を参照して説明したように各残差ブロック（３２４）を生成するためにＣＵを使用すると、残差ブロックはビデオエンコーダ１１４によって順変換及び量子化を受ける。結果として得られるＴＢ３３６は、その後、エントロピー符号化モジュール３３８の動作の一部として、残差係数の順次リストを形成するためにスキャンされる。均等物処理がビットストリーム１３３からＴＢを得るために、ビデオデコーダ１３４内で実行される。
図８Ａ、８Ｂ、及び８Ｃは、コーディングツリーにおける分割から生じる細分割レベルと、コーディングツリーユニットの量子化グループへの分割に対する対応する効果とを示す。デルタＱＰ（３９２）は、定量グループごとに多くとも１回、ＴＢの残差を知らせる。ＨＥＶＣでは、量子化グループの定義は、その定義が固定サイズのエリアをもたらすので、コーディングツリー深度に対応する。ＶＶＣでは、その追加の分割が、コーディングツリー深度がもはやＣＴＵエリアに適したプロキシではないことを意味する。ＶＶＣでは「細分割レベル」が定義され、各増分は含まれるエリアの半分に対応する。
図８Ａは、コーディングツリーにおける分割の集合８００と、対応する細分割レベルとを示す。コーディングツリーのルートノードにおいて、細分割レベルはゼロに初期化される。コーディングツリーがクアッドツリー分割、例えば８１０を含むとき、その中に含まれる任意のＣＵに対して、その細分割レベルは２だけ増加する。コーディングツリーがバイナリ分割、例えば、８１２を含むとき、その細分割レベルは、その中に含まれる任意のＣＵに対して１だけ増加する。コーディングツリーがターナリ分割、例えば８１４を含むとき、その細分割レベルは、外側の２つのＣＵに対して２だけ、そしてターナリ分割から生じる内側のＣＵに対して１だけ増加する。図６を参照して説明したように、各ＣＴＵのコーディングツリーが横断されると、結果として得られる各ＣＵの細分割レベルが、コレクション８００に従って決定される。
図８ＢはＣＵノードの例示的なセット８４０を示し、分割の効果を示す。細分割レベルがゼロであるセット８４０の例示的な親ノード８２０は、図８Ｂの例ではサイズ６４×６４のＣＴＵに対応する。親ノード８２０は、それぞれ１６×６４、３２×６４、及び１６×６４のサイズの３つの子ノード８２１、８２２、及び８２３を生成するために３値分割される。子ノード８２１、８２２、８２３は、それぞれ２、１、２の細分化レベルを有する。
図８Ｂの例では、量子化グループしきい値が６４×６４エリアの半分、すなわち２０４８サンプルのエリアに対応して、１に設定される。フラグは、新しいＱＧの開始を追跡する。新しいＱＧを追跡するフラグは、量子化グループしきい値以下の細分割レベルを有する任意のノードについてリセットされる。このフラグは、細分割レベルがゼロの親ノード８２０を横断するときにセットされる。サイズ３２×６４の中心ＣＵ８２２は２０４８サンプルの領域を有するが、２つの兄弟ＣＵ８２１及び８２３は２つの細分割レベル、すなわち１０２４の領域を有し、したがって、フラグは中心ＣＵを横断するときにリセットされず、量子化グループは中心ＣＵで開始しない。代わりに、フラグは、初期フラグリセットに従って、８２４に示される親ノードから始まる。事実上、ＱＰは、量子化グループエリアの倍数に整列された境界上でのみ変化することができる。デルタＱＰは、ＣＢに関連付けられたＴＢの残差とともにシグナリングされる。有効係数が存在しない場合、デルタＱＰをコーディングする機会はない。
図８Ｃは細分割レベル、ＱＧ、及びデルタＱＰの信号の間の関係を示すために、ＣＴＵ８６２を複数のＣＵ及びＱＧに分割する例８６０を示す。垂直バイナリ分割はＣＴＵ８６２を半分２つに分割し、左半分８７０は１つのＣＵ ＣＵＯを含み、右半分８７２はいくつかのＣＵ（ＣＵ１～ＣＵ４）を含む。量子化グループ閾値は、図８Ｃの例では２に設定され、その結果、ＣＴＵの面積の４分の１に等しい面積を通常有する量子化グループが得られる。親ノード、すなわちコーディングツリーのルートノードがゼロの細分割レベルを有すると、ＱＧフラグはリセットされ、新しいＱＧは次のコーディングされたＣＵ、すなわち矢印８６８のＣＵから始まる。ＣＵ０（８７０）はコーディングされた係数を有し、したがって、デルタＱＰ８６４は、ＣＵ０の残差と共にコーディングされる。右半分８７２は、水平バイナリ分割を受け、右半分８７２の上部及び下部でさらに分割され、ＣＵ１～ＣＵ４を生じる。右半分８７２の上部（ＣＵ１及びＣＵ２を含む８７７）及び下部（ＣＵ３及びＣＵ４を含む８７８）セクションに対応するコーディングツリーノードは、２の細分割レベルを有する。２の細分割レベルは２の量子化グループしきい値に等しく、したがって、新しいＱＧはそれぞれ８７４及び８７６としてマークされた各セクションで開始する。ＣＵ１はコーディングされた係数を有さず（残差なし）、ＣＵ２は「スキップされた」ＣＵであり、これもコーディングされた係数を有さない。したがって、デルタＱＰは、上部セクションに対してコーディングされない。ＣＵ３はスキップされたＣＵであり、ＣＵ４はコーディングされた残差を有し、したがって、デルタＱＰ８６６は、ＣＵ３及びＣＵ４を含むＱＧのためのＣＵ４の残差でコーディングされる。
図９Ａ及び図９Ｂは、４×４変換ブロックスキャンパターン及び関連付けられた第１変換係数及び第２変換係数を示す図である。一次残差係数に対する第２変換モジュール３３０の動作は、ビデオエンコーダ１１４に関して説明される。４×４ＴＢ９００は、後方対角スキャンパターン９１０に従ってスキャンされる。スキャンパターン９１０は、「最後の有効係数」位置からＤＣ（左上）係数位置に向かって前進する。例えば、前方方向にスキャンすることを考慮するときに、最後の有効係数位置の後に位置する残差係数は、スキャンされない全ての係数位置が暗に非有効である。第２変換が使用されるとき、残りの係数はすべて非有効である。すなわち、第２変換を受けないすべての第２ドメイン残差係数は非有効であり、第２変換の適用によって入力されないすべての第１ドメイン残差係数は非有効であることが要求される。さらに、モジュール３３０による順方向第２変換の適用後、第２変換モジュール３３０によって処理された第１変換係数の個数よりも少ない第２変換係数が存在してもよい。例えば、図９Ｂは、ブロックのセット９２０を示す。図９Ｂでは、１６個の一次係数が１つの４×４サブブロックとして配置され、４×４ＴＢ９２０の９２４である。一次残差係数は図９Ｂの例において第２変換ブロック９２６を生成するために、第２変換の対象とすることができる。第２変換ブロック９２６は、８つの第２変換係数９２８を含む。８つの第２変換係数９２８は、ＤＣ係数位置から前方にパックされて、スキャンパターン９１０に従ってＴＢに記憶される。エリア９３０として示される４×４サブブロックの残りの係数位置は第１変換からの量子化残差係数を含み、第２変換が適用されるためにはすべて非有効であることが要求される。したがって、ＴＢ９２０の最初の８つのスキャン位置のうちの１つ係数を指定する４×４ＴＢの最後の有効係数位置は（ｉ）第２変換の適用、又は（ｉｉ）量子化後の第１変換の出力のいずれかを示し、ＴＢ９２０の８番目のスキャン位置を超える有効係数を有さない。
ＴＢ上で第２変換を実行することが可能である場合、第２変換インデックス、すなわち３８８は、第２変換の可能な適用を示すために符号化される。第２変換インデックスは、モジュール３３０において、どのカーネルが第２変換として適用されるかを、複数の変換カーネルが利用可能な場所に示すこともできる。これに対応して、ビデオデコーダ１３４は、最後の有効係数位置が第２変換された係数、例えば９２８を保持するために確保されたスキャン位置のいずれか１つに位置するとき、第２変換インデックス４７０を復号する。
１６個の一次係数を８個の二次係数にマッピングする第２変換カーネルについて説明したが、異なる数の第２変換係数にマッピングするカーネルを含む、異なるカーネルが可能である。第２変換された係数の個数は、第１変換された係数の個数と同じであってもよく、例えば１６である。幅４及び高さ４を超えるＴＢの場合、４×４ＴＢの場合に関して説明した挙動は、ＴＢの上部サブブロックに適用される。ＴＢの他のサブブロックは第２変換が適用されるとき、ゼロ値の残差係数を有する。幅が４より大きく、高さが４に等しいＴＢの場合、４×４ＴＢの場合に関して説明した動作は、ＴＢの最も左のサブブロックに適用され、ＴＢの他のサブブロックはゼロ値の残差係数を有し、第２変換インデックスを復号する必要があるかどうかを判定するために最後の有効係数位置を使用することを可能にする。
図９Ｃ並びに図９Ｄは、８×８変換ブロックスキャンパターン、及び関連する第１変換係数及び第２変換係数の例を示す図である。図９Ｃは、８×８ＴＢ９４０のための４×４サブブロックベースの後方対角スキャンパターン９５０を示す。８×８ＴＢ９４０は、４×４サブブロックベースの後方対角スキャンパターン９５０でスキャンされる。図９Ｄは、第２変換の動作の効果を示すセット９６０を示す。スキャン９５０は、最後の有効係数位置からＤＣ（左上）係数位置に戻る。９４０のエリア９６２として示される４８個の一次係数への順方向第２変換カーネルの適用は、９６４として示される残りの１６個の第１係数がゼロ値であるときに可能である。第２変換をエリア９６２に適用すると、９６６として示される１６の第２変換係数が得られる。ＴＢの他の係数位置はゼロ値であり、９６８としてマークされている。８×８ＴＢ９４０の最後の有効位置が第２変換された係数が９６６以内であることを示す場合、第２変換インデックス３８８は、モジュール３３０による特定の変換カーネルの適用（又はカーネルをバイパスすること）を示すように符号化される。ビデオデコーダ１３４は、ＴＢの最後の有効位置を使用して、第２変換インデックス、すなわちインデックス４７０を復号するか否かを決定する。幅又は高さが８サンプルを超える変換ブロックの場合、図９Ｃ及び９Ｄのアプローチは、左上の８×８領域、すなわちＴＢの左上の２×２サブブロックに適用される。
図９Ａ～９Ｄに記載されているように、２つのサイズの第２変換カーネルが利用可能である。第２変換カーネルの１つのサイズは４の幅又は高さを有する変換ブロックのためのものであり、他のサイズの第２変換は、４より大きい幅及び高さを有する変換ブロックのためのものである。カーネルの各サイズ内で、第２変換カーネルの複数のセット（例えば４つ）が利用可能である。１つのセットはブロックに対するイントラ予測モードに基づいて選択され、これは輝度ブロックと彩度ブロックとの間で異なり得る。選択したセット内で、１つ又は２つのカーネルを使用できる。選択されたセット内の１つのカーネルの使用、又は第２変換のバイパスは、第２変換インデックスを介して、コーディングツリーユニットの共有ツリーに属するコーディングユニット内の輝度ブロック及び彩度ブロックに対して独立してシグナリングされる。言い換えれば、輝度チャネルのために使用されるインデックスと、彩度チャネルのために使用されるインデックスとは、互いに独立している。
図１０は、汎用ビデオ符号化（ＶＶＣ）規格において利用可能な変換ブロックのセット１０００を示す。図１０はまた、セット１０００の変換ブロックからの残差係数のサブセットへの第２変換の適用を示す。図１０は、幅及び高さが４～３２の範囲のＴＢを示す。しかしながら、幅及び／又は高さ６４のＴＢが可能であるが、参照を容易にするため示されていない。
１６ポイント第２変換１０５２（より暗いシェーディングで示される）が４×４組の係数に適用される。１６ポイント第２変換１０５２は４の幅又は高さ、例えば、４×４ＴＢ１０１０、８×４ＴＢ１０１２、１６×４ＴＢ１０１４、３２×４ＴＢ１０１６、４×８ＴＢ１０２０、４×１６ＴＢ１０３０、及び４×３２ＴＢ１０４０を有するＴＢに適用される。６４ポイント第１変換が利用可能である場合、１６ポイント第２変換１０５２は、サイズ４×６４及び６４×４のＴＢ（図１０には示されていない）に適用される。幅又は高さが４であるが、１６を超える第１係数を有するＴＢの場合、１６ポイントの第２変換はＴＢの左上の４×４サブブロックにのみ適用され、他のサブブロックは第２変換が適用されるためにゼロ値の係数を有することが必要とされる。一般に、１６ポイントの第２変換を適用すると、１６個の第２変換係数が得られ、これらの第２変換係数は、原稿の１６個の第１変換係数が得られたサブブロックに符号化するためにＴＢにパックされる。第２変換カーネルは例えば図９Ｂを参照して説明したように、第２変換が適用された第１変換係数の個数よりも少ない第２変換係数の生成をもたらすことができる。
幅と高さとが４より大きい変換サイズの場合、図１０に示すように、変換ブロックの左上８×８領域の残差係数の３つの４×４サブブロックに適用するために、４８ポイント第２変換１０５０（より明るいシェーディングで示される）が利用可能である。４８ポイント第２変換１０５０は、それぞれの場合において、光陰影及び破線の輪郭で示される領域において、８×８変換ブロック１０２２、１６×８変換ブロック１０２４、３２×８変換ブロック１０２６、８×１６変換ブロック１０３２、１６×１６変換ブロック１０３４、３２×１６変換ブロック１０３６、８×３２変換ブロック１０４２、１６×３２変換ブロック１０４４、及び３２×３２変換ブロック１０４６に適用される。６４点第１変換が利用可能である場合、４８点第２変換１０５０は、サイズ８×６４、１６×６４、３２×６４、６４×６４、６４×３２、６４×１６、及び６４×８のＴＢ（図示せず）にも適用可能である。４８ポイントの第２変換カーネルを適用すると、一般に、４８より少ない第２変換係数が生成される。例えば、８又は１６の第２変換係数を生成することができる。第２変換係数は左上領域の変換ブロックに格納され、例えば、８つの第２変換係数が図９Ｄに示されている。第２変換を受けない第１変換係数（「第１のみの係数」）、例えば、ＴＢ１０３４の係数１０６６（図９Ｄの９６４と同様）は、第２変換が適用されるためにゼロ値であることが要求される。４８ポイント第２変換１０５０を順方向に適用した後、有効係数を含み得る領域は４８係数から１６係数に減少し、有効係数を含み得る係数位置の個数をさらに減少させる。例えば、９６８は、非有効係数のみを含む。逆第２変換の場合、例えばＴＢの９６６内にのみ存在する復号された有効係数は例えば９６２などの領域内で有効であり得る係数を生成するように変換され、その後、これらの係数は第１逆変換を受ける。第２変換が一つ以上のサブブロックを１６個の第２変換係数のセットに低減するとき、上左４×４サブブロックのみが有効係数を含むことがある。第２変換係数が格納され得る任意の係数位置に位置する最後の有効係数位置は、第２変換の適用又は第１変換のみが適用されたことを示す。しかしながら、量子化の後、結果として得られる有効係数はあたかも第２変換カーネルが適用されたかのように、同じ領域内にある。
最後の有効係数位置がＴＢ内の第２変換係数位置（例えば、９２２又は９６２）を示す場合、第２変換カーネルを適用するか、又は第２変換をバイパスするかを区別するために、シグナリングされた第２変換インデックスが必要とされる。図１０ではビデオエンコーダ１１４の観点から、様々なサイズのＴＢへの第２変換の適用を説明したが、対応する逆処理がビデオデコーダ１３４で実行される。ビデオデコーダ１３４は、まず、最後の有効係数位置を復号する。復号された最後の有効係数位置が第２変換の潜在的な適用を示す場合、すなわち、位置が、それぞれ８又は１６の第２変換係数を生成する第２変換カーネルについて９２８又は９６６内にある場合、第２変換インデックスが復号されて、逆第２変換を適用するかバイパスするかを決定する。
図１１は、複数のスライスを有するビットストリーム１１０１に対する構文構造１１００を示す。各スライスは、複数のコーディングユニットを含む。ビットストリーム１１０１はビデオエンコーダ１１４によって、例えば、ビットストリーム１１５として生成されてもよく、又は、ビデオデコーダ１３４によって、例えば、ビットストリーム１３３として構文解析されてもよい。ビットストリーム１１０１は、例えばネットワーク抽象化レイヤ（ＮＡＬ）ユニットなどの部分に分割され、各ＮＡＬユニットに１１０８などのＮＡＬユニットヘッダを先行させることによって描写がなされる。シーケンスパラメータセット１１１０は、ビットストリーム、彩度フォーマット、サンプルビット深度、及びフレーム解像度の符号化及び復号に使用されるプロファイル（ツールのセット）などのシーケンスレベルパラメータを定義する。パラメータは、各ＣＴＵのコーディングツリーにおける異なるタイプの分割の適用を制約するセット１１１０にも含まれる。分割のタイプを制約するパラメータのコーディングはよりコンパクトな表現のために、例えば、ブロックサイズ制約のためのｌｏｇ２基底を使用し、最小ＣＴＵサイズのような他パラメータに対してパラメータを表現するために最適化されてもよい。ＳＰＳ１１１０にコーディングされているいくつかのパラメータは次のとおりである。
・log2_CTU_size_minus5は、ＣＴＵサイズを指定する。コーディングされた値０、１、２で、ＣＴＵサイズをそれぞれ３２×３２、６４×６４、及び１２８×１２８に指定する。
・partition_constraints_override_enabled_flagは、パーティション制約パラメータ１１３０と呼ばれる複数のパラメータのスライスレベル上書きを適用する機能を有効にする。
・Log2_min_luma_coding_block_size_minus2は、最小コーディングブロックサイズ（輝度サンプル単位）を指定する。値は０、１、２…で、最小輝度ＣＢサイズ４×４、８×８、１６×１６…を指定する。最大コーディング値は指定されたＣＴＵサイズによって制約される。すなわち、log2_min_luma_coding_block_size_minus2≦log2_CTU_size_minus5+3になる。利用可能な彩度ブロックの次元は、使用中の彩度フォーマットの彩度チャネルサブサンプリングに従ってスケーリングされた、利用可能な輝度ブロックの次元に対応する。
・sps_max_mtt_hierarchy_depth_inter_sliceは、インター（Ｐ又はＢ）スライスについて、コーディングツリー中のクアッドツリーノード（すなわち、コーディングツリー中でクアッドツリー分割が停止すると）に対するマルチツリー型分割（すなわち、バイナリ及びターナリ分割）のためのコーディングツリー中のコーディングユニットの最大階層深度を指定し、パラメータ１１３０の１つである。
・sps_max_mtt_hierarchy_depth_intra_slice_lumaは、イントラ（Ｉ）スライスのコーディングツリー内のクアッドツリーノードと比較した複数ツリー型分割（すなわち、バイナリ数とターナリ数）のコーディングツリー内のコーディングユニットの最大階層深度を指定し（すなわち、一度コーディングツリー内のクアッドツリー分割が停止し）、パラメータ１１３０の１つである。
・partition_constraints_override_flag：ＳＰＳのpartition_constraints_override_enabled_flagが１に等しいときにパラメータがスライスヘッダに通知され、ＳＰＳで通知されたパーティション制約が対応するスライスに対して上書きされることを示す。
・log2_CTU_size_minus5は、ＣＴＵサイズを指定する。コーディングされた値０、１、２で、ＣＴＵサイズをそれぞれ３２×３２、６４×６４、及び１２８×１２８に指定する。
・partition_constraints_override_enabled_flagは、パーティション制約パラメータ１１３０と呼ばれる複数のパラメータのスライスレベル上書きを適用する機能を有効にする。
・Log2_min_luma_coding_block_size_minus2は、最小コーディングブロックサイズ（輝度サンプル単位）を指定する。値は０、１、２…で、最小輝度ＣＢサイズ４×４、８×８、１６×１６…を指定する。最大コーディング値は指定されたＣＴＵサイズによって制約される。すなわち、log2_min_luma_coding_block_size_minus2≦log2_CTU_size_minus5+3になる。利用可能な彩度ブロックの次元は、使用中の彩度フォーマットの彩度チャネルサブサンプリングに従ってスケーリングされた、利用可能な輝度ブロックの次元に対応する。
・sps_max_mtt_hierarchy_depth_inter_sliceは、インター（Ｐ又はＢ）スライスについて、コーディングツリー中のクアッドツリーノード（すなわち、コーディングツリー中でクアッドツリー分割が停止すると）に対するマルチツリー型分割（すなわち、バイナリ及びターナリ分割）のためのコーディングツリー中のコーディングユニットの最大階層深度を指定し、パラメータ１１３０の１つである。
・sps_max_mtt_hierarchy_depth_intra_slice_lumaは、イントラ（Ｉ）スライスのコーディングツリー内のクアッドツリーノードと比較した複数ツリー型分割（すなわち、バイナリ数とターナリ数）のコーディングツリー内のコーディングユニットの最大階層深度を指定し（すなわち、一度コーディングツリー内のクアッドツリー分割が停止し）、パラメータ１１３０の１つである。
・partition_constraints_override_flag：ＳＰＳのpartition_constraints_override_enabled_flagが１に等しいときにパラメータがスライスヘッダに通知され、ＳＰＳで通知されたパーティション制約が対応するスライスに対して上書きされることを示す。
ピクチャパラメータセット（ＰＰＳ）１１１２は、ゼロ以上のフレームに適用可能なパラメータのセットを定義する。ＰＰＳ１１１２に含まれるパラメータは、フレームを１つ以上の「タイル」及び／又は「ブリック」に分割するパラメータを含む。ＰＰＳ１１１２のパラメータはまた、ＣＵ彩度ＱＰオフセットのリストを含んでもよく、そのうちの１つは、並置された輝度ＣＢの量子化パラメータから彩度ブロックによって使用するための量子化パラメータを導出するために、ＣＵレベルで適用されてもよい。
１つのピクチャを形成するスライスのシーケンスは、ＡＵ ０ １１１４のようなアクセスユニット（ＡＵ）として知られている。ＡＵ ０ １１１４は、スライス０～２などの３つのスライスを含む。スライス１は１１１６としてマークされる。他のスライスと同様に、スライス１（１１１６）は、スライスヘッダ１１１８及びスライスデータ１１２０を含む。
スライスヘッダには、１１３４としてグループ化されたパラメータが含まれる。グループ１１３４は以下を含む。
・slice_max_mtt_hierarchy_depth_lumaは、スライスヘッダのpartition_constraints_override_flagが１に等しいときにスライスヘッダ１１１８にシグナリングされ、ＳＰＳから導出された値を上書きする。Ｉスライスの場合、１１３４でMaxMttDepthを設定するためにsps_max_mtt_hierarchy_depth_intra_slice_lumaを使用する代わりに、slice_max_mtt_hierarchy_depth_lumaが使用される。Ｐ又はＢスライスの場合、sps_max_mtt_hierarchy_depth_inter_sliceを使用する代わりに、slice_max_mtt_hierarchy_depth_lumaが使用される。
変数MinQtLog2SizeIntraY（図示せず）はＳＰＳ１１１０から復号された構文要素SPS_log2_diff_min_qt_min_cb_intra_slice_lumaから導出され、Ｉスライスのゼロ以上のクアッドツリー分割（すなわち、コーディングツリーでそれ以上ＭＴＴ分割が発生しない）から生じる最小コーディングブロックサイズを指定する。変数MinQtLog2SizeInterY（図示せず）は、ＳＰＳ１１１０から復号された構文要素SPS_log2_diff_min_qt_min_cb_inter_sliceから導出される。変数MinQtLog2SizeInterYは、ＰスライスとＢスライスのゼロ以上のクアッドツリー分割（すなわち、コーディングツリー内でＭＴＴ分割が発生しない）から生じる最小コーディングブロックサイズを指定する。クアッドツリー分割から得られるＣＵは二乗であるので、変数MinQtLog2SizeIntraY及びMinQtLog2SizeInterYはそれぞれ、幅及び高さの両方を指定する（ＣＵ幅／高さのｌｏｇ２として）。
・slice_max_mtt_hierarchy_depth_lumaは、スライスヘッダのpartition_constraints_override_flagが１に等しいときにスライスヘッダ１１１８にシグナリングされ、ＳＰＳから導出された値を上書きする。Ｉスライスの場合、１１３４でMaxMttDepthを設定するためにsps_max_mtt_hierarchy_depth_intra_slice_lumaを使用する代わりに、slice_max_mtt_hierarchy_depth_lumaが使用される。Ｐ又はＢスライスの場合、sps_max_mtt_hierarchy_depth_inter_sliceを使用する代わりに、slice_max_mtt_hierarchy_depth_lumaが使用される。
変数MinQtLog2SizeIntraY（図示せず）はＳＰＳ１１１０から復号された構文要素SPS_log2_diff_min_qt_min_cb_intra_slice_lumaから導出され、Ｉスライスのゼロ以上のクアッドツリー分割（すなわち、コーディングツリーでそれ以上ＭＴＴ分割が発生しない）から生じる最小コーディングブロックサイズを指定する。変数MinQtLog2SizeInterY（図示せず）は、ＳＰＳ１１１０から復号された構文要素SPS_log2_diff_min_qt_min_cb_inter_sliceから導出される。変数MinQtLog2SizeInterYは、ＰスライスとＢスライスのゼロ以上のクアッドツリー分割（すなわち、コーディングツリー内でＭＴＴ分割が発生しない）から生じる最小コーディングブロックサイズを指定する。クアッドツリー分割から得られるＣＵは二乗であるので、変数MinQtLog2SizeIntraY及びMinQtLog2SizeInterYはそれぞれ、幅及び高さの両方を指定する（ＣＵ幅／高さのｌｏｇ２として）。
パラメータcu_QP_delta_subdivはスライスヘッダ１１１８内にオプションで信号を送ることができ、また、別個のツリースライス内の共有ツリー又は輝度ブランチのための、コーディングツリー内でデルタＱＰが信号を送られる最大細分割レベルを示す。Ｉスライスの場合、cu_qp_delta_subdivの範囲は０から２×(log2_ctu_size_minus5 + 5 - MinQtLog2SizeIntraY + MaxMttDepthY１１３４）である。Ｐ又はＢスライスの場合、cu_qp_delta_subdivの範囲は０から２×(log2_ctu_size_minus5 + 5 - ＭｉｎＱｔＬｏｇ２SizeInterY + MaxMttDepthY１１３４）である。cu_qp_delta_subdivの範囲は、ＳＰＳ１１１０又はスライスヘッダ１１１８から取得されたパーティション制約から導出された値MaxMttDepthY１１３４に依存するため、解析の問題はない。
パラメータcu_chroma_QP_offset_subdivは、オプションでスライスヘッダ１１１８内にシグナリングされることができ、共有ツリー内又は別個のツリースライスにおける彩度ブランチ内のいずれかでの、彩度ＣＵ ＱＰオフセットがシグナリングされる最大細分割レベルを示す。Ｉ又はＰ／Ｂスライスのcu_chroma_qp_offset_subdivの範囲制約は、cu_qp_delta_subdivの対応する範囲制約と同じである。
細分割レベル１１３６は、スライス１１２０のＣＴＵに対して導出され、輝度ＣＢの場合はcu_qp_delta_subdiv、彩度ＣＢの場合はcu_chroma_qp_offset_subdivと指定される。この細分割レベルは図８Ａ～Ｃを参照して記述されているように、ＣＴＵデルタＱＰ構文要素においてポイントがコーディングされるレベルを確立するために使用される。彩度ＣＢについては、彩度ＣＵレベルオフセット有効化（及び、有効化されている場合にはインデックス）が、図８Ａ～Ｃのアプローチを使用してシグナリングされる。
図１２は、ビットストリーム１１０１（例えば、１１５又は１３３）のスライスデータ１１２０のための構文構造１２００を示し、ＣＴＵ１２１０のようなコーディングツリーユニットの輝度及び彩度コーディングブロックのための共有ツリーを有する。ＣＴＵ１２１０は１つ以上のＣＵを含み、その例はＣＵ１２１４として示される。ＣＵ１２１４は、信号予測モード１２１６ａと、それに続く変換ツリー１２１６ｂとを含む。ＣＵ１２１４のサイズが最大変換サイズ（３２×３２又は６４×６４のいずれか）を超えない場合、変換ツリー１２１６ｂは、ＴＵ１２１８として示される１つの変換ユニットを含む。
予測モード１２１６ａが、ＣＵ１２１４のためのイントラ予測の使用を示す場合、輝度イントラ予測モード及び彩度イントラ予測モードが指定される。ＣＵ１２１４の輝度ＣＢについて、第１変換タイプは（ｉ）水平及び垂直に、ＤＣＴ－２として、（ｉｉ）水平及び垂直に、変換スキップとして、又は（ｉｉｉ）水平及び垂直に、ＤＳＴ－７とＤＣＴ－８との組合せとして、のいずれかとしてシグナリングされる。シグナリングされた輝度変換タイプが水平及び垂直にＤＣＴ－２である場合（オプション（ｉ））、「低周波非分離変換」（ＬＦＮＳＴ）インデックスとしても知られる追加の輝度第２変換タイプ１２２０が、図９Ａ～Ｄを参照して説明されるような条件下で、ビットストリームにおいてシグナリングされる。彩度第２変換タイプ１２２１もシグナリングされる。この彩度第２変換タイプ１２２１は、輝度第１変換タイプがＤＣＴ－２であるか否かとは無関係にシグナリングされる。
共有コーディングツリーの使用は、輝度ＴＢ Ｙ１２２２、第１彩度ＴＢ Ｃｂ１２２４、及び第２彩度ＴＢ Ｃｒ１２２６として示される、各色チャネルのためのＴＢを含むＴＵ１２１８をもたらす。ＣｂチャネルとＣｒチャネルの両方について彩度残差を指定するために単一の彩度ＴＢが送信されるコーディングモードが利用可能であり、「ジョイントＣｂＣｒ」コーディングモードとして知られている。ジョイントＣｂＣｒコーディングモードが有効化されると、単一の彩度ＴＢが符号化される。
色チャネルに関係なく、各ＴＢは最後の位置１２２８を含む。この最後の位置１２２８は、ＴＢの係数のアレイを順方向（すなわち、ＤＣ係数から順方向）に直列化するために使用される、対角スキャンパターン内の係数を考慮するときの、ＴＢ内の最後の有効な残差係数位置を示す。ＴＢの最後の位置１２２８が第２変換領域内の係数のみが有効であること、すなわち、第１変換のみを受ける残りのすべての係数を示す場合、第２変換インデックスは、第２変換を適用するか否かを指定するようにシグナリングされる。
第２変換が適用され、複数の第２変換カーネルが利用可能な場合、その第２変換インデックスはどのカーネルが選択されているかを示す。一般的には、１つのカーネルが利用可能であるか、あるいは「候補セット」で２つのカーネルが利用可能である。この候補セットは、ブロックのイントラ予測モードから決定される。一般的には、４つの候補セットがあるが、より少ない候補セットがあってもよい。上述したように、輝度及び彩度のための第２変換の使用、従って選択されるカーネルは、輝度及び彩度チャネルのためのイントラ予測モードにそれぞれ依存する。このカーネルは対応する輝度及び彩度ＴＢのブロックサイズにも依存する。彩度について選択されるそのカーネルは、ビットストリームの彩度サブサンプリングにも依存する。利用可能なカーネルが１つだけの場合、シグナリングは制限され、第２変換（インデックス範囲０～１）を適用する、又は適用しない。２つのカーネルが利用可能な場合、インデックス値は０（適用されない）、１（最初のカーネルを適用）、又は２（２番目のカーネルを適用）になる。彩度については、同じ第２変換カーネルが各彩度チャネルに適用され、したがって、Ｃｂブロック１２２４及びＣｒブロック１２２６の残差は、図９Ａ～Ｄを参照して説明したように、第２変換を受ける位置に有効係数を含めるだけでよい。ジョイントＣｂＣｒコーディングが使用される場合、結果として生じるＣｂ及びＣｒ残差はジョイントコーディングＴＢ内の有効係数に対応する位置に有効係数のみを含むので、第２変換を受ける位置に有効係数のみを含むための要件は単一のコーディング彩度ＴＢにのみ適用可能である。所与の第２インデックスの適用可能な色チャネルが単一のＴＢ（単一の最後の位置、例えば１２２８）によって記述される場合、すなわち、結合ＣｂＣｒコーディングが使用されているときに、輝度が常に１つのＴＢのみを必要とし、彩度が１つのＴＢを必要とする場合、第２変換インデックスは、ＴＵの後の代わりに最後の位置をコーディングした直後に、すなわち、１２２０（又は１２２１）の代わりにインデックス１２３０としてコーディングされ得る。ビットストリーム内でより早く第２変換をシグナリングすることにより、ビデオデコーダ１３４は残差係数１２３２の各残差係数が復号されるにつれて第２変換の適用を開始することができ、システム１００におけるレイテンシを低減する。
ビデオエンコーダ１１４及びビデオデコーダ１３４の構成において、ジョイントＣｂＣｒコーディングが使用されないとき、各彩度ＴＢ、すなわち１２２４及び１２２６に対して別個の第２変換インデックスがシグナリングされ、その結果、各カラーチャネルに対する第２変換の独立した制御が行われる。各ＴＢが独立して制御される場合、各ＴＢのための第２変換インデックスは、（結合ＣｂＣｒモードの適用にかかわらず）輝度及び彩度のための対応するＴＢの最後の位置の直後にシグナリングされてもよい。
図１３はフレームデータ１１３をビットストリーム１１５へと符号化する方法１３００を示し、ビットストリーム１１５は、コーディングツリーユニットのシーケンスとして１つ以上のスライスを含む。方法１３００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰなどの装置によって実装されてもよい。さらに、方法１３００は、プロセッサ２０５の実行下でビデオエンコーダ１１４によって実行されてもよい。フレームを符号化するワークロードのために、方法１３００の工程は例えば、異なるスライスが異なるプロセッサによって符号化されるような、現代のマルチコアプロセッサを使用して、ワークロードを共有するために、異なるプロセッサで実行されてもよい。さらに、分割制約及び量子化グループ定義はビットストリーム１１５の各部分（スライス）を符号化する際のレート制御の目的に有益であると考えられるように、スライスごとに異なってもよい。各コーディングユニットの残差を符号化する際のさらなる柔軟性のために、量子化グループの細分割レベルがスライスごとに異なり得るだけでなく、第２変換の適用は、輝度及び彩度について独立して制御可能である。そのようなものとして、方法１３００は、コンピュータ可読記憶媒体に、及び／又はメモリ２０６に格納されてもよい。
方法１３００は、符号化ＳＰＳ／ＰＰＳ工程１３１０で始まる。工程１３１０において、ビデオエンコーダ１１４は、ＳＰＳ１１１０及びＰＰＳ１１１２を、固定長及び可変長の符号化パラメータのシーケンスとしてビットストリーム１１５へと符号化する。partition_constraints_override_enabled_flagは、ＳＰＳ１１１０の一部として符号化され、各スライス（１１１６など）のスライスヘッダ（１１１８）でパーティション制約を上書きできることを示す。デフォルトのパーティション制約も、ビデオエンコーダ１１４によってＳＰＳ１１１０の一部として符号化される。
方法１３００は、工程１３１０からフレームをスライスに分割する工程１３２０に続く。工程１３２０の実行において、プロセッサ２０５は、フレームデータ１１３を１つ以上のスライス又は連続部分に分割する。並列性が望まれる場合、ビデオエンコーダ１１４の別々のインスタンスが、各スライスをいくらか独立して符号化する。単一のビデオエンコーダ１１４が各スライスを順次処理してもよく、又は、いくらかの中間の並列度が実装されてもよい。一般的には、スライス（連続部分）へのフレームの分割は、「サブピクチャ」又はタイルなどとして知られる領域へのフレームの分割の境界に整列される。
方法１３００は、工程１３２０から符号化スライスヘッダ工程１３３０に続く。工程１３３０において、エントロピーエンコーダ３３８は、スライスヘッダ１１１８をビットストリーム１１５へと符号化する。工程１３３０の実施例は、図１４を参照して以下に提供される。
方法１３００は、工程１３３０からＣＴＵへのスライス分割工程１３４０に続く。工程１３４０の実行において、ビデオエンコーダ１１４は、スライス１１１６をＣＴＵのシーケンスに分割する。スライス境界はＣＴＵ境界に整列され、スライス内のＣＴＵはＣＴＵスキャン順序、一般的にはラスタスキャン順序に従って順序付けられる。ＣＴＵへのスライスの分割は、現在のスライスを符号化する際にフレームデータ１１３のどの部分がビデオエンコーダ１１３によって処理されるべきかを確立する。
方法１３００は、工程１３４０からコーディングツリー決定工程１３５０に続く。工程１３５０において、ビデオエンコーダ１１４は、スライス内の現在選択されているＣＴＵのコーディングツリーを決定する。方法１３００は工程１３５０の最初の呼び出し時にスライス１１１６内の最初のＣＴＵから開始し、後続の呼び出し時にスライス１１１６内の後続のＣＴＵに進む。ＣＴＵのコーディングツリーを決定する際には、ブロックパーティションパーティショナー３１０によって、クアッドツリー、バイナリ、及びターナリ分割の様々な組み合わせが生成され、テストされる。
方法１３００は、工程１３５０からコーディングユニット決定工程１３６０に続く。工程１３６０において、ビデオエンコーダ１１４は、既知の方法を使用して評価中の様々なコーディングツリーから得られるＣＵの「最適な」符号化を決定するために実行する。最適な符号化を決定することは、予測モード（例えば、特定のモードによるイントラ予測又は動きベクトルによるインター予測）、変換選択（第１変換タイプ及び任意選択の第２変換タイプ）を決定することを含む。輝度ＴＢのための第１変換タイプがＤＣＴ－２であると決定されるか、又は順方向する第２変換を受けない任意の量子化された第１変換係数が有効である場合、輝度ＴＢのための第２変換インデックスは、第２変換の適用を受ける。さもなければ、輝度に対する第２変換インデックスは、第２変換のバイパスを示す。輝度チャネルの場合、第１変換タイプはＤＣＴ－２、変換スキップ、又は彩度チャネルのＭＴＳオプションのうちの１つと判定され、ＤＣＴ－２は利用可能な変換タイプである。第２変換タイプの判定は、図１９Ａ及び１９Ｂを参照してさらに説明される。その符号化を決定することは、量子化グループ境界にあるＱＰを変更することが可能な量子化パラメータを決定することを含むこともできる。個々のコーディングユニットを決定する際に、最適なコーディングツリーも、共同で決定される。コーディングユニットがイントラ予測を用いてコーディングされる場合、輝度イントラ予測モード及び彩度イントラ予測が決定される。
コーディングユニット決定工程１３６０は、ＤＣＴ－２第１変換の適用から生じる第１ドメイン残差内に存在する「ＡＣ」（変換ブロックの左上位置以外の場所の係数）残差係数がない場合に、第２変換のテストの適用を禁止してもよい。第２変換適用を、ＤＣ係数のみを含む変換ブロック上でテストした場合（最後の位置は変換ブロックの左上係数のみが有効であることを示す）、符号化利得が見られる。ＤＣ一次係数のみが存在する場合の第２変換のテストの禁止は、単一のインデックスがコーディングされるときに、第２変換インデックスが適用されるブロック、すなわち、（Ｃｂ及びＣｒブロックが２つのサンプルの幅又は高さであるときにのみＹチャネルを有する）共有ツリーのためのＹ、Ｃｂ及びＣｒに及ぶ。ＤＣ係数のみを有する残差は少なくとも１つのＡＣ係数を有する残差と比較してコーディングコストが低いにもかかわらず、有効ＤＣ係数のみを有する残差にさえも第２変換を適用することは、最終的なコーディングＤＣ係数の大きさのさらなる減少をもたらす。コーディングの前のさらなる量子化及び／又は丸め演算の後でさえ、他の（ＡＣ）係数は、第２変換の後、ビットストリーム中の有効なコーディング残差係数（複数可）をもたらすには不十分な大きさを有する。共有又は別個のツリーコーディングツリーでは、それぞれの変換ブロックのＤＣ係数のみが存在する場合であっても、第２変換インデックスの適用範囲内で、少なくとも１つの有効な第１係数が存在する場合、ビデオエンコーダ１１４は非ゼロの第２変換インデックス値の選択（すなわち、第２変換の適用）をテストする。
方法１３００は、工程１３６０からコーディングユニット符号化工程１３７０に続く。工程１３７０において、ビデオエンコーダ１１４は、工程１３６０での決定されたコーディングユニットをビットストリーム１１５へと符号化する。コーディングユニットがどのように符号化されるかの例は、図１５を参照してより詳細に説明される。
方法１３００は、工程１３７０から最後のコーディングユニットテスト工程１３８０に続く。工程１３８０において、プロセッサ２０５は、現在のコーディングユニットがＣＴＵ内の最後のコーディングユニットであるかどうかをテストする。そうでない場合（工程１３８０で「ＮＯ」）、プロセッサ２０５の制御はコーディングユニット決定工程１３６０に進む。そうではなく、現在のコーディングユニットがプロセッサ２０５内の最後のコーディングユニットである場合（工程１３８０で「ＹＥＳ」）、制御は最後のＣＴＵテスト工程１３９０に進む。
最後のＣＴＵテスト工程１３９０において、プロセッサ２０５は、現在のＣＴＵがスライス１１１６内の最後のＣＴＵであるかどうかをテストする。スライス１１１６内の最後のＣＴＵでない場合、プロセッサ２０５内の制御は、コーディングツリー決定工程１３５０に戻る。そうではなく、現在のＣＴＵが最後である場合（工程１３９０で「ＹＥＳ」）、プロセッサ内の制御は、最後のスライステスト工程１３１００に進む。
最後のスライステスト工程１３１００において、プロセッサ２０５は、符号化されている現在のスライスがフレーム内の最後のスライスであるかどうかをテストする。最後のスライスでない場合（工程１３１００で「ＮＯ」）、プロセッサ２０５の制御は、スライスヘッダ符号化工程１３３０に進む。そうではなく、現在のスライスが最後であり、すべてのスライス（連続部分）が符号化されている場合（工程１３１００で「ＹＥＳ」）、方法１３００は終了する。
図１４は、工程１３３０で実施されるように、スライスヘッダ１１１８をビットストリーム１１５へと符号化するための方法１４００を示す。方法１４００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰなどの装置によって実装されてもよい。さらに、方法１４００は、プロセッサ２０５の実行下でビデオエンコーダ１１４によって実行されてもよい。そのようなものとして、方法１４００は、コンピュータ可読記憶媒体に、及び／又はメモリ２０６に格納されてもよい。
方法１４００は、パーティション制約上書き有効化テスト工程１４１０で開始する。工程１４１０で、プロセッサ２０５はＳＰＳ１１１０で符号化されたように、パーティション制約が有効フラグを上書きするかどうかをテストし、パーティション制約がスライスレベルで上書きされ得ることを示す。パーティション制約がスライスレベルで上書きされてもよい場合（工程１４１０で「ＹＥＳ」）、プロセッサ２０５の制御は、パーティション制約決定工程１４２０に進む。そうではなく、パーティション制約がスライスレベルで上書きされない可能性がある場合（工程１４１０で「ＮＯ」）、プロセッサ２０５の制御は、他パラメータ符号化工程１４８０に進む。
パーティション制約決定工程１４２０において、プロセッサ２０５は現在のスライス１１１６に適したパーティション制約（例えば、最大ＭＴＴ分割深度）を決定する。一例では、フレームデータ３１０は、２Ｄフレームにマッピングされ、いくつかのサブピクチャに分割されたシーンの３６０度ビューの投射を含む。選択されたビューポートに応じて、あるスライスはより高い忠実度を必要とする場合があり、他のスライスは、より低い忠実度を必要とする場合がある。所与のスライスに対するパーティション制約は（例えば、工程１３４０に従って）スライスによって符号化されたフレームデータ３１０のその部分の忠実度要件に基づいて設定されてもよい。より低い忠実度が許容可能であると見なされる場合、より大きなＣＵを有するより浅いコーディングツリーが許容可能であり、したがって、最大ＭＴＴ深度は、より低い値に設定され得る。フラグcu_qp_delta_subdivを用いてシグナリングされる細分割レベル１１３６は、少なくとも、決定された最大ＭＴＴ深度１１３４から得られる範囲において、それに応じて決定される。対応する彩度細分割レベルも決定され、シグナリングされる。
方法１４００は、工程１４２０からパーティション制約上書きフラグ符号化工程１４３０に続く。工程１４３０において、エントロピーエンコーダ３３８は、ＳＰＳ１１１０においてシグナリングされたパーティション制約がスライス１１１６に対して上書きされるべきかどうかを示すフラグをビットストリーム１１５へと符号化する。工程１４２０において、現在のスライスに特有のパーティション制約が導出された場合、フラグ値は、パーティション制約上書き機能の使用を示す。工程１４２０で決定された制約が、ＳＰＳ１１１０で既に符号化されているものと一致する場合、信号を送るべき変更はなく、フラグ値はそれに応じて符号化されるので、パーティション制約を上書きする必要はない。
方法１４００は、工程１４３０からパーティション制約上書きテスト工程１４４０に続く。工程１４４０で、プロセッサ２０５は、工程１４３０で符号化されたフラグ値をテストする。フラグがパーティション制約が上書きされることを示す場合（工程１４４０で「ＹＥＳ」）、プロセッサ２０５の制御は、スライスパーティション制約符号化工程１４５０に進む。そうではなく、パーティション制約が上書きされない場合（工程１４４０で「ＮＯ」）、プロセッサ２０５の制御は、他パラメータ符号化工程１４８０に進む。
方法１４００は、工程１４４０からスライスパーティション制約符号化工程１４５０に続く。工程１４５０の実行において、エントロピーエンコーダ３３８は、スライスについて決定されたパーティション制約をビットストリーム１１５へと符号化する。スライスのパーティション制約には「slice_max_mtt_hierarchy_depth_luma」が含まれ、そこからMaxMttDepthY１１３４が導出される。
方法１４００は、工程１４５０からＱＰ細分割レベル符号化工程１４６０に続く。工程１４６０において、エントロピーエンコーダ３３８は図１１を参照して説明したように、「cu_qp_delta_subdiv」構文要素を使用して、輝度ＣＢの細分割レベルを符号化する。
方法１４００は工程１４６０から、彩度ＱＰ細分割レベル符号化工程１４７０に続く。工程１４７０において、エントロピーエンコーダ３３８は図１１を参照して説明したように、「cu_chroma_qp_offset_subdiv」構文要素を使用して、ＣＵ彩度ＱＰオフセットのシグナリングのための細分割レベルを符号化する。
工程１４６０及び１４７０は、フレームのスライス（連続部分）の全体的なＱＰ細分割レベルを符号化するように動作する。この全体の細分割レベルは、輝度コーディングユニットの細分割レベルと、スライスの彩度コーディングユニットの細分割レベルとの両方を含む。例えば、Ｉスライスにおける輝度及び彩度のための別々のコーディングツリーの使用により、彩度及び輝度細分割レベルは異なる可能性がある。
方法１４００は、工程１４７０から他パラメータ符号化工程１４８０に続く。工程１４８０において、エントロピーエンコーダ３３８は、（量子化パラメータの変換ブロックへの不均一な適用のために）デブロッキング、適応ループフィルタ、スケーリングリストの任意の選択のような特定のツールの制御に必要なものなどの他のパラメータを、以前にシグナリングされたものからスライスヘッダ１１１８へと符号化する。方法１４００は、工程１４８０の実行時に終了する。
図１５は、図１３の工程１３７０に対応する、コーディングユニットをビットストリーム１１５へと符号化するための方法１５００を示す。方法１５００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰなどの装置によって実装されてもよい。さらに、方法１５００は、プロセッサ２０５の実行下でビデオエンコーダ１１４によって実行されてもよい。したがって、方法１５００は、コンピュータ可読記憶媒体及び／又はメモリ２０６に格納されてもよい。
方法１５００は、予測モード符号化工程１５１０で開始する。工程１５１０において、エントロピーエンコーダ３３８は、工程１３６０で決定されたコーディングユニットの予測モードをビットストリーム１１５へと符号化する。「pred_mode」構文要素は、コーディングユニットのためのイントラ予測、インター予測、又は他の予測モードの使用を区別するために符号化される。コーディングユニットにイントラ予測が使用される場合、輝度イントラ予測モードが符号化され、彩度イントラ予測モードが符号化される。コーディングユニットにインター予測が使用される場合、「マージインデックス」はこのコーディングユニットによって使用される隣接するコーディングユニットから動きベクトルを選択するために符号化されてもよく、動きベクトルデルタは空間的に隣接するブロックから導出された動きベクトルにオフセットを導入するために符号化されてもよい。第１変換タイプはＤＣＴ－２の使用を水平及び垂直に選択し、変換スキップを水平及び垂直に、又はＤＣＴ－８及びＤＳＴ－７の組合せを水平及び垂直にコーディングユニットの輝度ＴＢのために選択するように符号化される。
方法１５００は、工程１５１０からコーディング残差テスト工程１５２０に続く。工程１５２０で、プロセッサ２０５は、残差がコーディングユニットのためにコーディングされる必要があるかどうかを決定する。コーディングユニットについてコーディングされるべき有効な残差係数がある場合（工程１５２０で「ＹＥＳ」）、プロセッサ２０５の制御は、新しいＱＧテスト工程１５３０に進む。そうではなく、コーディングについて有効な残差係数がない場合（工程１５２０で「いいえ」）、コーディングユニットを復号するために必要なすべての情報がビットストリーム１１５に存在するので、方法１５００は終了する。
新しいＱＧテスト工程１５３０で、プロセッサ２０５は、コーディングユニットが新しい量子化グループに対応するかどうかを決定する。コーディングユニットがプロセッサ２０５内の新しい量子化グループに対応する場合（工程１５３０で「ＹＥＳ」）、制御は、デルタＱＰ符号化工程１５４０に進む。そうではなく、コーディングユニットがプロセッサ２０５内の新しい量子化グループ（工程１５３０で「ＮＯ」）制御に関係しない場合、第１変換工程１５５０を実行するように進む。各コーディングユニットを符号化する際に、ＣＴＵのコーディングツリーのノードが工程１５３０で横断される。現在のノードの子ノードのいずれかが、「cu_qp_delta_subdiv」から決定されるような、現在のスライスに対する細分割レベル１１３６以下の細分割レベルを有するとき、新しい量子化グループはノードに対応するＣＴＵの領域で開始し、工程１５３０は「ＹＥＳ」を返す。コーディングされた残差を含む量子化グループの第１ＣＵはまた、コーディングされたデルタＱＰを含み、この量子化グループの残差係数に適用可能な量子化パラメータへの任意の変更をシグナリングする。
デルタＱＰ符号化工程１５４０において、エントロピーエンコーダ３３８は、デルタＱＰをビットストリーム１１５へと符号化する。デルタＱＰは、予測されたＱＰと、現在の量子化グループで使用するための意図されたＱＰとの間の差を符号化する。この予測されたＱＰは、隣接するより早い（上及び左の）量子化グループのＱＰを平均することによって導出される。細分割レベルがより低いとき、量子化グループはより大きく、デルタＱＰはより少ない頻度でコーディングされる。デルタＱＰのより少ない頻度のコーディングは、ＱＰにおけるシグナリング変更のためのより低いオーバヘッドをもたらすが、レート制御におけるより少ない柔軟性ももたらす。量子化グループごとの量子化パラメータの選択は、ＱＰ制御モジュール３９０によって実行され、ＱＰ制御モジュールは基本となるフレームデータ１１３の統計量の変化に少し独立して、ビットストリーム１１５のための特定のビットレートを目標とするために、典型的にはレート制御アルゴリズムを実装する。方法１５００は、工程１５４０から第１変換実行工程１５５０に続く。
第１変換実行工程１５５０において、順方向第１変換モジュール３２６はコーディングユニットの第１変換タイプに従って第１変換を実行し、その結果、第１変換係数３２８が得られる。第１変換は、各色チャネル上で、最初に輝度チャネル（Ｙ）上で実行され、次いで、現在のＴＵのための工程１５５０の後続の呼出し時にＣｂ及びＣｒ ＴＢ上で実行される。輝度チャネルについては第１変換タイプ（ＤＣＴ－２、変換スキップ、ＭＴＳオプション）が実行され、彩度チャネルについてはＤＣＴ－２が実行される。
方法１５００は、工程１５５０から第１変換係数量子化工程１５６０に続く。工程１５６０において、量子化モジュール３３４は量子化パラメータ３９２に従って第１変換係数３２８を量子化し、量子化された第１変換係数３３２を生成する。デルタＱＰは、変換係数３２８を符号化するために存在する場合に使用される。
方法１５００は工程１５６０から続き、第２変換工程１５７０を実行する。工程１５７０において、第２変換モジュール３３０は量子化された第１変換係数３３２に対して、現在の変換ブロックに対する第２変換インデックス３８８に従って第２変換を実行し、第２変換係数３３６を生成する。第２変換は量子化の後に実行されるが、第１変換係数３２８は量子化パラメータ３９２の最終的な意図された量子化工程サイズと比較して、より高い精度を保持することができ、例えば、量子化パラメータ３９２の適用から直接得られるであろうものよりも、大きさは１６倍大きくすることができ、すなわち、４ビットの追加の精度が保持されるであろう。量子化された第１変換係数３３２内に追加の精度ビットを保持することにより、第２変換モジュール３３０は、一次係数ドメイン内の係数に対してより高い精度で動作することができる。第２変換の適用後、工程１５６０における最終スケーリング（例えば、４ビットによる右シフト）は、量子化パラメータ３９２の意図された量子化工程サイズへの量子化をもたらす。「スケーリングリスト」の適用は、トレーニングされた第２変換カーネルから生じる第２変換係数で動作するのではなく、周知の変換基底関数（ＤＣＴ－２、ＤＣＴ－８、ＤＳＴ－７）に対応する第１変換係数で実行される。変換ブロックに対する第２変換インデックス３８８が第２変換の適用を示さない場合（ゼロに等しいインデックス値）、第２変換はバイパスされる。すなわち、第１変換係数３３２は第２変換係数３３６になるように、変更されずに第２変換モジュール３３０を通って伝播される。輝度第２変換インデックスは、輝度イントラ予測モードと共に、輝度ＴＢに適用するための第２変換カーネルを選択するために使用される。彩度第２変換インデックスは、彩度イントラ予測モードと共に、彩度ＴＢに適用するための第２変換カーネルを選択するために使用される。
方法１５００は、工程１５７０から最後の位置符号化工程１５８０に続く。工程１５８０において、エントロピーエンコーダ３３８は、現在の変換ブロックのための第２変換係数３３６内の最後の有効係数の位置をビットストリーム１１５へと符号化する。工程１５８０の最初の呼び出し時に、輝度ＴＢが考慮され、その後の呼び出しはＣｂ、次いでＣｒ ＴＢを考慮する。
第２変換インデックス３８８が最後の位置の直後に符号化される構成では、方法１５００がＬＦＮＳＴインデックス符号化工程１５９０に進む。工程１５９０で、エントロピーエンコーダ３３８は、工程１５８０で符号化された最後の位置に基づいて第２変換インデックスがゼロであると推測されなかった場合、切り捨てられた単項コードワードを使用して、第２変換インデックス３３８を「lfnst_index」としてビットストリーム１１５に符号化する。各ＣＵは１つの輝度ＴＢを有し、輝度ブロックに対して工程１５９０が実行されることを可能にし、「ジョイント」コーディングモードが彩度に対して使用されるとき、単一の彩度ＴＢがコーディングされ、したがって、工程１５９０は、彩度に対して実行され得る。各残差係数を復号する前の第２変換インデックスの知識は、係数が復号されるときに、例えば乗算及び累算ロジックを使用して、係数ごとに第２変換を適用することを可能にする。方法１５００は、工程１５９０からサブブロック符号化工程１５１００に続く。
第２変換インデックス３８８が最後の位置の直後に符号化されない場合、方法１５００は工程１５８０からサブブロック符号化工程１５１００に進み、サブブロック符号化工程１５１００において、現在の変換ブロック（３３６）の残差係数が、一連のサブブロックとしてビットストリーム１１５へと符号化される。この残差係数は最後の有効係数位置を含むサブブロックから、ＤＣ残差係数を含むサブブロックに向かって進行するように符号化される。
方法１５００は、工程１５１００から最後のＴＢテスト工程１５１１０に続く。工程において、プロセッサ２０５は、現在の変換ブロックが色チャネル、すなわち、Ｙ、Ｃｂ、及びＣｒにわたる進行における最後のものであるかどうかをテストする。符号化されたばかりの変換ブロックがＣｒ ＴＢに対するものである場合（工程１５１１０において「ＹＥＳ」）、プロセッサ２０５における制御は、輝度ＬＦＮＳＴインデックス符号化工程１５１２０へ進む。そうではなく、現在のＴＢが最後でない場合（１５１１０で「ＹＥＳ」）、プロセッサ２０５の制御は第１変換実行工程１５５０に戻り、次のＴＢ(Ｃｂ又はＣｒが選択される）が選択される。
工程１５５０～１５１１０は予測モードがイントラ予測であり、ＤＣＴ－２を使用する共有コーディングツリー構造の例に関連して説明される。第１変換を実行する（１５５０）、第１変換係数を量子化する（１５６０）、最後の位置を符号化する（１５９０）などの工程の動作は既知の方法を使用して、インター予測モードのために、又は共有コーディングツリー構造以外のイントラ予測モードのために実施され得る。工程１５１０～１５４０は、予測モード又はコーディングツリー構造にかかわらず実施することができる。
方法１５００は、工程１５１１０から、輝度ＬＦＮＳＴインデックスを符号化する工程１５１２０に続く。工程１５１２０において、輝度ＴＢに適用された第２変換インデックスは、ゼロであると推測されない場合（第２変換が適用されない場合）、エントロピーエンコーダ３３８によってビットストリーム１１５へと符号化される。輝度第２変換インデックスは、輝度ＴＢの最後の有効位置が有効な第１のみの残差係数を示す場合、又はＤＣＴ－２以外の第１変換が実行される場合、ゼロであると推定される。加えて、輝度ＴＢに適用される第２変換インデックスは、イントラ予測及び共有コーディングツリー構造を使用して、コーディングユニットについてのみビットストリームへと符号化される。輝度ＴＢに適用される第２変換インデックスは、フラグ１２２０（又はジョイントＣｂＣｒモードのためのフラグ１２３０）を使用して符号化される。
方法１５００は、工程１５１２０から彩度ＬＦＮＳＴインデックス符号化工程１５１３０に続く。工程１５３０において、彩度ＴＢに適用される第２変換インデックスは、その彩度第２変換インデックスがゼロであると推測されない場合（第２変換が適用されない場合）、エントロピーエンコーダ３３８によってビットストリーム１１５へと符号化される。いずれかの彩度ＴＢの最後の有効位置が有効な第１のみの残差係数を示す場合、彩度第２変換インデックスはゼロであると推測される。方法１５００は、工程１５１３０の実行時に終了し、プロセッサ２０５内の制御は方法１３００に戻る。彩度ＴＢに適用される第２変換インデックスは、イントラ予測及び共有コーディングツリー構造を使用して、コーディングユニットについてのみビットストリームへと符号化される。彩度ＴＢに適用される第２変換インデックスは、フラグ１２２１（又はジョイントＣｂＣｒモードのためのフラグ１２３０）を使用して符号化される。
図１６は、スライスに配列されたコーディングユニットのシーケンスとしてビットストリームからフレームを復号するための方法１６００を示す。方法１６００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰなどの装置によって実装されてもよい。さらに、方法１６００は、プロセッサ２０５の実行中にビデオデコーダ１３４によって実行されてもよい。そのようなものとして、方法１６００は、コンピュータ可読記憶媒体及び／又はメモリ２０６に記憶することができる。
方法１６００は、分割制約及び量子化グループ定義がビットストリーム１１５の各部分（スライス）を符号化する際のレート制御の目的に有益であると考えられるように、スライスごとに異なり得る方法１３００を使用して、符号化されたビットストリームを復号する。量子化グループの細分割レベルがスライス毎に異なり得るだけでなく、第２変換の適用は、輝度及び彩度について独立して制御可能である。
方法１６００は、ＳＰＳ／ＰＰＳ復号工程１６１０で始まる。工程１６１０の実行において、ビデオデコーダ１３４は、固定長及び可変長パラメータのシーケンスとして、ビットストリーム１３３からＳＰＳ１１１０及びＰＰＳ１１１２を復号する。partition_constraints_override_enabled_flagは、ＳＰＳ１１１０の一部として復号され、各スライス（１１１６など）のスライスヘッダ（１１１８など）でパーティション制約を上書きできるかどうかを示す。デフォルト（すなわち、ＳＰＳ１１１０において信号を受け、後続する上書きがないスライスにおいて使用される）パーティション制約パラメータ１１３０も、ビデオデコーダ１３４によってＳＰＳ１１１０の一部として復号される。
方法１６００は、工程１６１０からスライス境界決定工程１６２０に続く。工程１６２０の実行において、プロセッサ２０５は、ビットストリーム１３３内の現在のアクセスユニット内のスライスの場所を決定する。一般に、スライスは（「開始コード」を検出することによって）ＮＡＬユニット境界を決定し、各ＮＡＬユニットについて、「ＮＡＬユニットタイプ」を含むＮＡＬユニットヘッダを読み取ることによって識別される。特定のＮＡＬユニットタイプは、「Ｉスライス」、「Ｐスライス」、及び「Ｂスライス」などのスライスタイプを識別する。スライス境界を識別すると、適用２３３は並列復号のために、例えばマルチプロセッサアーキテクチャなどの異なるプロセッサ上で方法１６００の後続の工程の性能を分散させることができる。異なるスライスはより高い復号スループットのために、マルチプロセッサシステム内の各プロセッサによって復号されてもよい。
方法１６００は、工程１６１０からスライスヘッダ復号工程１６３０に続く。工程１６３０で、エントロピーデコーダ４２０は、ビットストリーム１３３からスライスヘッダ１１１８を復号する。工程１６３０で実施されるような、ビットストリーム１３３からスライスヘッダ１１１８を復号する例示的な方法を、図１７を参照して以下に説明する。
方法１６００は、工程１６３０からＣＴＵへのスライス分割工程１６４０に続く。工程１６４０において、ビデオデコーダ１３４は、スライス１１１６をＣＴＵのシーケンスに分割する。スライス境界はＣＴＵ境界に整列され、スライス内のＣＴＵはＣＴＵスキャン順序に従って順序付けられる。ＣＴＵスキャン順序は一般に、ラスタスキャン順序である。ＣＴＵへのスライスの分割は、現在のスライスを復号する際にフレームデータ１１３のどの部分がビデオデコーダ１３４によって処理されるべきかを確立する。
方法１６００は、工程１６４０からコーディングツリー復号工程１６５０に続く。工程１６５０の実行において、ビデオデコーダ１３３は、工程１６５０の最初の呼び出し時にスライス１１１６内の最初のＣＴＵから開始して、ビットストリーム１３３からのスライス内の現在のＣＴＵのコーディングツリーを復号する。ＣＴＵのコーディングツリーは、図６に従って分割フラグを復号することによって復号される。ＣＴＵのための工程１６５０の後続の反復では、スライス１１１６内の後続のＣＴＵのために復号が実行される。コーディングツリーがイントラ予測モードと共有コーディングツリー構造とを使用して符号化された場合、そのコーディングユニットは、第１色チャネル（輝度又はＹ）並びに少なくとも１つの第２色チャネル（彩度、Ｃｂ及びＣｒ又はＣｂＣｒ）を有する。この場合、コーディングツリーを復号することは、コーディングツリーユニットの分割フラグに従って、第１色チャネル及び少なくとも１つの第２色チャネルを含むコーディングユニットを復号することに関する。
方法１６００は、工程１６６０からコーディングユニット復号工程１６７０に続く。工程１６７０において、ビデオデコーダ１３４は、ビットストリーム１３３からコーディングユニットを復号する。工程１６７０で実施されるようなコーディングユニットを復号する例示的な方法を、図１８を参照して以下に説明する。
方法１６００は、工程１６１０から最後のコーディングユニットテスト工程１６８０に続く。工程１６８０において、プロセッサ２０５は、現在のコーディングユニットがＣＴＵ内の最後のコーディングユニットであるかどうかをテストする。最後のコーディングユニットでない場合（工程１６８０で「ＮＯ」）、プロセッサ２０５の制御は、復号コーディングユニット工程１６７０に戻って、コーディングツリーユニットの次のコーディングユニットを復号する。現在のコーディングユニットが最後のコーディングユニットである場合（工程１６８０で「ＹＥＳ」）、プロセッサ２０５の制御は、最後のＣＴＵテスト工程１６９０に進む。
最後のＣＴＵテスト工程１６９０において、プロセッサ２０５は、現在のＣＴＵがスライス１１１６内の最後のＣＴＵであるかどうかをテストする。スライス内の最後のＣＴＵでない場合（工程１６９０で「いいえ」）、プロセッサ２０５内の制御はスライス１１１６の次のコーディングツリーユニットを復号するために、コーディングツリー復号工程１６５０に戻る。現在のＣＴＵがスライス１１１６の最後のＣＴＵである場合（工程１６９０で「ＹＥＳ」）、プロセッサ２０５の制御は、最後のスライステスト工程１６１００に進む。
最後のスライステスト工程１６１００で、プロセッサ２０５は、復号されている現在のスライスがフレーム内の最後のスライスであるかどうかをテストする。フレーム内の最後のスライスでない場合（工程１６１００で「ＮＯ」）、プロセッサ２０５の制御はスライスヘッダ復号工程１６３０に戻り、工程１６３０はフレーム内の次のスライス（例えば、図１１「スライス２」）のスライスヘッダを復号するように動作する。現在のスライスがフレーム内の最後のスライスである場合（工程１６００で「ＹＥＳ」）、方法１６００は終了する。
複数のコーディングユニットに対する方法１６００の動作は図１における装置１３０に関連して説明されるように、画像フレームを生成するように動作する。
図１７は工程１６３０で実施されるように、スライスヘッダをビットストリームへと復号するための方法１７００を示す。方法１７００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰなどの装置によって実装されてもよい。さらに、方法１７００は、プロセッサ２０５の実行下でビデオデコーダ１３４によって実行されてもよい。そのようなものとして、方法１７００は、コンピュータ可読記憶媒体に、及び／又はメモリ２０６に記憶することができる。
方法１５００と同様に、方法１７００は、フレーム、例えばフレーム１１０１内の現在のスライス又は連続部分（１１１６）に対して実行される。方法１７００は、パーティション制約上書き有効化テスト工程１７１０で開始する。工程１７１０で、プロセッサ２０５はＳＰＳ１１１０から復号されたように、パーティション制約が有効フラグを上書きするかどうかをテストし、パーティション制約がスライスレベルで上書きされ得ることを示す。パーティション制約が、プロセッサ２０５内のスライスレベル制御で上書きされてもよい場合（工程１７１０で「ＹＥＳ」）、復号パーティション制約上書きフラグ工程１７２０に進む。そうではなく、パーティション制約上書き有効フラグが、プロセッサ２０５内のスライスレベル制御で制約が上書きされない可能性があることを示す場合（工程１７１０で「ＮＯ」）、他パラメータ復号工程１７７０に進む。
パーティション制約上書きフラグ復号工程１７２０において、エントロピーデコーダ４２０は、ビットストリーム１３３からパーティション制約上書きフラグを復号する。復号されたフラグは、現在のスライス１１１６に対して、ＳＰＳ１１１０に示されたパーティション制約を上書きするかどうかを示す。
方法１７００は、工程１７２０からパーティション制約上書きテスト工程１７３０に続く。工程１７３０の実行において、プロセッサ２０５は、工程１７２０で復号されたフラグ値をテストする。復号されたフラグがパーティション制約を上書きすべきであることを示す場合（工程１７３０において「ＹＥＳ」）、プロセッサ２０５における制御は復号スライスパーティション制約工程１７４０に進む。そうではなく、プロセッサ２０５におけるパーティション制約を上書きすべきでないことを示す場合（工程１７３０において「ＮＯ」）、復号されたフラグは、他パラメータを復号する工程１７７０に進む。
復号スライスパーティション制約工程１７４０において、エントロピーデコーダ４２０は、ビットストリーム１３３からのスライスについて決定されたパーティション制約を復号する。スライスのパーティション制約には「slice_max_mtt_hierarchy_depth_luma」が含まれ、そこからMaxMttDepthY１１３４が導出される。
方法１７００は、工程１７４０からＱＰ細分割レベル復号工程１７５０に続く。工程１７２０で、エントロピーデコーダ４２０は図１１を参照して説明したように、構文要素cu_qp_delta_subdivを使用して、輝度ＣＢのための細分割レベルを復号する。
方法１７００は、工程１７５０から彩度ＱＰ細分割レベル復号工程１７６０に続く。工程１７６０で、エントロピーデコーダ４２０は図１１を参照して説明したように、構文要素cu_chroma_qp_offset_subdivを使用して、ＣＵ彩度ＱＰオフセットのシグナリングのための細分割レベルを復号する。
工程１７５０及び１７６０は、ビットストリームの特定の連続部分（スライス）の細分割レベルを決定するように動作する。工程１６３０と１６１００との間で繰り返される反復は、ビットストリーム内の各連続部分（スライス）の細分割レベルを決定するように動作する。後述するように、各細分割レベルは、対応するスライス（連続部分）のコーディングユニットに適用可能である。
方法１７００は、工程１７６０から他パラメータを復号する工程１７７０に続く。工程１７７０において、エントロピーデコーダ４２０は、（量子化パラメータの変換ブロックへの不均一な適用のために）デブロッキング、適応ループフィルタ、スケーリングリストの任意の選択のような特定のツールの制御に必要なパラメータなどの他のパラメータを、以前にシグナリングされたものスライスヘッダ１１１８へとから復号する。方法１７００は、工程１７７０の実行時に終了する。
図１８は、ビットストリームからコーディングユニットを復号するための方法１８００を示す。方法１８００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰなどの装置によって実装されてもよい。さらに、方法１８００は、プロセッサ２０５の実行下でビデオデコーダ１３４によって実行されてもよい。そのようなものとして、方法１８００は、コンピュータ可読記憶媒体に、及び／又はメモリ２０６に記憶され得る。
方法１８００は現在のＣＴＵの現在のコーディングユニット（例えば、スライス１１１６のＣＴＵ０）に対して実施される。方法１８００は、予測モード復号工程１８１０で開始する。工程１８００において、エントロピーデコーダ４２０は、図１３の工程１３６０において決定されたコーディングユニットの予測モードをビットストリーム１３３から復号する。工程１８１０において、「pred_mode」構文要素は、コーディングユニットのためのイントラ予測、インター予測、又は他の予測モードの使用を区別するために復号される。
コーディングユニットにイントラ予測が使用される場合、工程１８１０で、輝度イントラ予測モード及び彩度イントラ予測モードも復号される。コーディングユニットにインター予測が使用される場合、「マージインデックス」は工程１８１０において、このコーディングユニットによって使用される隣接するコーディングユニットからの動きベクトルを決定するために復号されてもよく、動きベクトルデルタは空間的に隣接するブロックから導出された動きベクトルにオフセットを導入するために復号されてもよい。工程１８１０において第１変換タイプは、ＤＣＴ－２の使用を水平及び垂直に選択し、変換スキップを水平及び垂直に選択し、又はＤＣＴ－８とＤＳＴ－７との組合せを水平及び垂直にコーディングユニットの輝度ＴＢのために選択するように復号される。
方法１８００は、工程１８１０から残差テストコーディング工程１８２０に続く。工程１８２０の実行において、プロセッサ２０５は、エントロピーデコーダ４２０を使用してコーディングユニットの「ルートコーディングブロックフラグ」を復号することによって、残差をコーディングユニットのために復号する必要があるかどうかを決定する。コーディングユニットについて復号されるべき有効な残差係数がある場合（工程１８２０で「ＹＥＳ」）、プロセッサ２０５の制御は、新しいＱＧテスト工程１８３０に進む。そうではなく、復号すべき残差係数がない場合（工程１８２０で「いいえ」）、コーディングユニットを復号するのに必要なすべての情報がビットストリーム１１５で得られたため、方法１８００は終了する。方法１８００が終了すると、図４を参照して説明したように、ＰＢ生成、インループフィルタリングの適用などの後続する工程が実行され、復号サンプルが生成される。
新しいＱＧテスト工程１８３０において、プロセッサ２０５は、コーディングユニットが新しい量子化グループに対応するかどうかを決定する。コーディングユニットが新しい量子化グループに対応する場合（工程１８３０で「ＹＥＳ」）、プロセッサ２０５の制御は、復号デルタＱＰ工程１８４０に進む。そうではなく、コーディングユニットが新しい量子化グループに対応しない場合（工程１８３０で「いいえ」）、プロセッサ２０５の制御は、最終位置復号工程１８５０に進む。新しい量子化グループは、現在のモード又はコーディングユニットの細分割レベルに関連する。各コーディングユニットを復号する際に、ＣＴＵのコーディングツリーのノードが横断される。現在のノードの子ノードのいずれかが、現在のスライスの細分割レベル１１３６以下の細分割レベル、すなわち「cu_qp_delta_subdiv」から決定されるような細分割レベルを持つ場合、新しい量子化グループはノードに対応するＣＴＵの領域で開始される。コーディング残差係数を含む量子化グループの第１ＣＵはまた、コーディングされたデルタＱＰを含み、この量子化グループの残差係数に適用可能な量子化パラメータへの任意の変更をシグナリングする。実際には、１つの（多くとも１つの）量子化パラメータデルタが各エリア（量子化グループ）に対して復号される。図８Ａ～図８Ｃに関連して説明したように、各エリア（量子化グループ）は各スライスのコーディングツリーユニットの分解、及び対応する細分割レベル（例えば、工程１４６０及び１４７０で符号化される）に基づく。言い換えれば、各エリア又は量子化グループは、コーディングユニットに関連付けられた細分割レベルと、対応する連続部分について決定された細分割レベルとの比較に基づく。
デルタＱＰ復号工程１８４０において、エントロピーデコーダ４２０は、デルタＱＰをビットストリーム１３３から復号する。デルタＱＰは、予測されたＱＰと、現在の量子化グループで使用するための意図されたＱＰとの間の差を符号化する。この予測されたＱＰは、隣接する（左上の）量子化グループのＱＰを平均することによって導出される。
方法１８００は、工程１８４０から最終位置復号工程１８５０に続く。工程１８５０の実行において、エントロピーデコーダ４２０は、現在の変換ブロックのための第２変換係数４２４内の最後の有効係数の位置をビットストリーム１３３から復号する。工程１８５０が最初に呼び出されると、輝度ＴＢに対してこの工程が実行される。現在のＣＵに対する工程１８５０の後続の呼出しにおいて、Ｃｂ ＴＢに対してこの工程が実行される。最後の位置が輝度ブロック又は彩度ブロックのための第２変換係数セットの外側（すなわち、９２８又は９６６の外側）の有効係数を示す場合、輝度チャネル又は彩度チャネルのための第２変換インデックスは、それぞれゼロであると推測される。この工程は、Ｃｂに対する反復の後に、Ｃｒ ＴＢに対して実行される。
図１５の工程１５９０に関連して説明したように、いくつかの構成では、第２変換インデックスがコーディングユニットの最後の有効係数位置の直後に符号化される。同じコーディングユニットを復号する際に、工程１８４０で復号されたＴＢの最後の位置の場所に基づいて、第２変換インデックス４７０がゼロであると推定されなかった場合、第２変換インデックス４７０は、コーディングユニットの最後の有効な残差係数の場所を復号した直後に復号される。第２変換インデックス４７０がコーディングユニットの最後の有効係数位置の直後に復号される構成では、方法１８００が工程１８５０からＬＦＮＳＴインデックス復号工程１８６０に続く。工程１８６０の実行において、エントロピーデコーダ４２０は全ての有効係数が二次逆変換（例えば、９２８又は９６６内）を受けるときに、切り捨てられた単項コードワードを使用して、ビットストリーム１３３からの第２変換インデックス４７０を「lfnst_index」として復号する。第２変換インデックス４７０は単一の変換ブロックを使用して彩度ＴＢのジョイントコーディングが実行されるときに、輝度ＴＢ又は彩度について復号されることができる。方法１８００は、工程１８６０からサブブロック復号工程１８７０に続く。
第２変換インデックス４７０がコーディングユニットの最後の有効位置の直後に復号されない場合、方法１８００は、工程１８５０からサブブロック復号工程１８７０に続く。工程１８７０で、現在の変換ブロックの残差係数、すなわち４２４が、ビットストリーム１３３から一連のサブブロックとして復号され、最後の有効係数位置を含むサブブロックからＤＣ残差係数を含むサブブロックに戻る。
方法１８００は、工程１８７０から最後のＴＢテスト工程１８８０に続く。工程１８８０の実行において、プロセッサ２０５は、現在の変換ブロックが色チャネル、すなわち、Ｙ、Ｃｂ、及びＣｒにわたる進行における最後の変換ブロックであるかどうかをテストする。復号されたばかりの（現在の）変換ブロックがＣｒ ＴＢに対するものである場合、プロセッサ２０５内の制御はすべてのＴＢが復号されている（工程１８８０で「ＹＥＳ」）ので、方法１８００は輝度ＬＦＮＳＴインデックス復号工程１８９０に進む。そうではなく、ＴＢが復号されていない場合（工程１８８０で「ＮＯ」）、プロセッサ２０５の制御は最後の位置復号工程１８５０に戻る。次のＴＢ（Ｙ、Ｃｂ、Ｃｒの順序に従う）は、工程１８５０の反復で復号のために選択される。
方法１８００は工程１８８０から、輝度ＬＦＮＳＴインデックスを復号する工程１８９０に続く。工程１８９０の実行において、輝度ＴＢの最後の位置が二次逆変換（例えば、９２８又は９６６）を受ける係数のセット内にあり、輝度ＴＢがＤＣＴ－２を第１変換として水平及び垂直に使用している場合、輝度ＴＢに適用される第２変換インデックス４７０は、エントロピーデコーダ４２０によってビットストリーム１３３から復号される。輝度ＴＢの最後の有効位置が第２逆変換を受ける係数のセットの外側（例えば、９２８又は９６６の外側）に有効な第１係数が存在することを示す場合、輝度第２変換インデックスはゼロであると推測される（第２変換は適用されない）。工程１８９０で復号された第２変換インデックスは、図１２の１２２０（又はジョイントＣｂＣｒモードの１２３０）として示される。
方法１８００は工程１８９０から、彩度ＬＦＮＳＴインデックス復号工程１８９５に続く。工程１８９５において、各彩度ＴＢの最後の位置が第２逆変換（例えば、９２８又は９６６）を被写体係数のセット内にある場合、彩度ＴＢに適用される第２変換インデックス４７０は、エントロピーデコーダ４２０によってビットストリーム１３３から復号される。いずれかの彩度ＴＢの最後の有効位置が第２逆変換を受ける係数のセットの外側（例えば、９２８又は９６６の外側）に有効な第１係数の存在を示す場合、彩度第２変換インデックスはゼロであると推測される（第２変換は適用されない）。工程１８９５で復号された第２変換インデックスは、図１２の１２２１（又はジョイントＣｂＣｒモードの１２３０）として示される。輝度と彩度のための別個のインデックスを復号する際には、切り捨てられた各単項コードワードのための別個の算術コンテキストが使用されてもよく、又は輝度及び彩度切り捨てられた単項コードワードのそれぞれのｎ番目のビンが同じコンテキストを共有するように、そのコンテキストが共有されてもよい。
実質的には、工程１８９０及び１８９５が第１インデックス（１２２０など）を復号して、輝度（原色）チャネルのためのカーネルを選択し、第２インデックス（１２２１など）を復号して、少なくとも１つの彩度（第２色チャネル）のためのカーネルをそれぞれ選択することに関する。
方法１８００は、工程１８９５から続き、逆第２変換工程１８１００を実行する。この工程において、逆第２変換モジュール４３６は第２変換係数４３２を生成するために、復号された残差変換係数４２４上の電流変換ブロックに対して、第２変換インデックス４７０に従って逆第２変換を行う。工程１８９０で復号された第２変換インデックスは輝度ＴＢに適用され、工程１８９５で復号された第２変換インデックスは彩度ＴＢに適用される。輝度及び彩度のためのカーネル選択は、輝度イントラ予測モード及び彩度イントラ予測モード（それぞれ、工程１８１０で復号された）にもそれぞれ依存する。工程１８１００では、輝度のＬＦＮＳＴインデックスに従ってカーネルを選択し、彩度のＬＦＮＳＴインデックスに従ってカーネルを選択する。
方法１８００は、工程１８１００から第１変換係数逆量子化工程１８１１０に続く。工程１８１１０において、逆量子化器モジュール４２８は、量子化パラメータ４７４に従って第２変換係数４３２を逆量子化して、逆量子化された第１変換係数４４０を生成する。工程１８４０でデルタＱＰが復号された場合、エントロピーデコーダ４２０は、量子化グループ（エリア）のデルタＱＰと、画像フレームの以前のコーディングユニットの量子化パラメータとに従って、その量子化パラメータを決定する。上述したように、この以前のコーディングユニットは、典型的には隣接する左上のコーディングユニットに関連する。
方法１８００は、工程１８７０から続き、第１変換実行工程１８１２０に進む。工程１８２０において、逆第１変換モジュール４４４はコーディングユニットの第１変換タイプに従って逆第１変換を実行し、その結果、変換係数４４０が空間ドメインの残差サンプル４４８に変換されている。逆第１変換は、各色チャネル上で、最初に輝度チャネル（Ｙ）上で、次に、現在のＴＵのための工程１６５０の後続の呼出し時にＣｂ及びＣｒ ＴＢ上で実行される。工程１８１００～１８１２０は、工程１８９０において輝度についてＬＦＮＳＴインデックスに従って選択されたカーネルを輝度チャネルの復号された残差係数に適用することにより、及び工程１８９０において彩度についてＬＦＮＳＴインデックスに従って選択されたカーネルを少なくとも１つの彩度チャネルのための復号された残差係数に適用することにより、実質的に現在のコーディングユニットを復号するように動作する。
方法１８００は、工程１８１２０の実行時に終了し、プロセッサ２０５内の制御は方法１６００に戻る。
工程１８５０～１８１２０は、予測モードがイントラ予測であり、その変換がＤＣＴ－２である共有コーディングツリー構造の例に関連して説明される。例えば、輝度ＴＢに適用される第２変換インデックスはイントラ予測及び共有コーディングツリー構造を使用するコーディングユニットについてのみ、ビットストリームから復号される（１８９０）。同様に、彩度ＴＢに適用される第２変換インデックスは、イントラ予測及び共有コーディングツリー構造を使用して、コーディングユニットについてのみビットストリームから復号される（１８９５）。サブブロックを復号する（１８７０）、第１変換係数を逆量子化する（１８１１０）、及び第１変換を実行するなどの工程の動作は既知の方法を使用して、インター予測モードのために、又は共有コーディングツリー構造のため以外のイントラ予測モードのために実施され得る。工程１８１０～１８４０は、予測モード又は構造にかかわらず、説明した手法で実行される。
方法１８００が終了すると、モジュール４７６によってイントラ予測サンプル４８０を生成し、モジュール４５０によって復号された残差サンプル４４８を予測ブロック４５２と合計し、インループフィルタモジュール４８８を適用してフィルタリングされたサンプル４９２を生成し、フレームデータ１３５として出力することを含む、コーディングユニットを復号するための後続する工程が実行される。
図１９Ａ及び１９Ｂは、輝度及び彩度チャネルへの第２変換の適用又はバイパスのためのルールを示す。図１９Ａは、共有コーディングツリーから生じるＣＵ内の輝度チャネル及び彩度チャネルにおける第２変換の適用のための条件を例示する表１９００を示す。
輝度ＴＢの最後の有効係数位置が順方向第２変換から生じなかった復号有効係数を示し、したがって逆第２変換を受けない場合、条件１９０１が存在する。輝度ＴＢの最後の有効係数位置が順方向第２変換から生じた復号された有効係数を示し、したがって逆第２変換を受ける場合、条件１９０２が存在する。さらに、輝度チャネルの場合、条件１９０２が存在するためには第１変換タイプはＤＣＴ－２である必要があり、そうでない場合は条件１９０１が存在する。
１つ又は２つの彩度ＴＢの最後の有効係数位置が順方向第２変換から生じなかった復号有効係数を示し、したがって逆第２変換を受けない場合、条件１９１０が存在する。１つ又は２つの彩度ＴＢの最後の有効係数位置が順方向第２変換から生じた復号された有効係数を示し、したがって逆方向第２変換を受ける場合、条件１９１１が存在する。さらに、彩度ブロックの幅及び高さは、条件１９１１が存在するために、少なくとも４つのサンプルである必要がある（例えば、４：２：０又は４：２：２の彩度フォーマットが使用される場合の彩度サブサンプリングは２つのサンプルの幅又は高さをもたらすことができる）。
条件１９０１及び１９１０が存在する場合、第２変換インデックスは、（独立して、又は一緒に）シグナリングされず、輝度又は彩度において適用されない（すなわち１９２０）。条件１９０１と１９１１が存在する場合、１つの第２変換インデックスがシグナリングされ、選択されたカーネルの適用、又は輝度チャネルのみのバイパス、すなわち１９２１が示される。条件１９０２と１９１０が存在する場合、１つの第２変換インデックスがシグナリングされ、選択されたカーネルの適用、又は彩度チャネルのみのバイパス、すなわち１９２２が示される。条件１９１１及び１９０２が存在する場合、独立したシグナリング信号を有する構成は２つの第２変換インデックス、すなわち、１つは輝度ＴＢのためのものであり、もう１つは彩度ＴＢのためのもの、すなわち、１９２３のためのものである。単一のシグナリングされた第２変換インデックスを有する構成は、条件１９０２及び１９１１が存在するときに、輝度及び彩度の選択を制御するために１つのインデックスを使用するが、この選択されたカーネルは輝度及び彩度イントラ予測モードにも依存し、これが異なっていてもよい。輝度又は彩度（すなわち、１９２１及び１９２２）のいずれかに第２変換を適用する能力は、符号化効率利得をもたらす。
図１９Ｂは、工程１３６０でビデオエンコーダ１１４が利用可能な探索オプションのテーブル１９５０を示す。輝度（１９５２）及び彩度（１９５３）の第２変換インデックスは、それぞれ１９５２及び１９５３として示されている。インデックス値０は第２変換がバイパスされることを示し、インデックス値１及び２は、輝度又は彩度イントラ予測モードから導出された候補セットの２つのカーネルのうちのどちらが使用されるかを示す。９つの組合せの結果として得られる探索空間が存在し（「０，０」から「２，２」）、これは、図１９Ａを参照して説明した制約に左右されて制約され得る。すべての許容可能な組合せを探索することと比較して、３つの組合せの単純化された探索（１９５１）は輝度及び彩度の第２変換インデックスが同じである組合せだけをテストすることができ、最後の有効係数位置が一次のみの係数が存在することを示すチャネルのインデックスをゼロにすることを条件とする。例えば、条件１９２１が存在する場合、オプション「１，１」及び「２，２」はそれぞれ「０，１」及び「０，２」になる（すなわち、１９５４）。条件１９２２が存在する場合、オプション「１，１」及び「２，２」はそれぞれ「１，０」及び「２，０」になる（すなわち、１９５５）。条件１９２０が存在する場合、第２変換インデックスをシグナリングする必要はなく、オプション「０，０」が使用される。事実上、条件１９２１及び１９２２は共有ツリーＣＵにおいて、オプション「０，１」、「０，２」、「１，０」、及び「２，０」を可能にし、より高い圧縮効率をもたらす。これらのオプションが禁止された場合、条件１９０１又は１９１０のいずれかが条件１９２０につながり、すなわち、オプション「１，１」及び「２，２」が禁止され、「０，０」の使用につながる（１９５６参照）。
スライスヘッダにおける量子化グループ細分割レベルのシグナリングは、ピクチャレベルの下の制御のより高い粒度を提供する。制御のより高い粒度は、符号化忠実度要件が画像のある部分から別の部分で異なる適用、特に、リアルタイム処理能力を提供するために複数のエンコーダがいくらか独立して動作する必要がある場合に有利である。スライスヘッダ内の量子化グループ細分割レベルのシグナリングは、スライスヘッダ内のシグナリングパーティション上書き設定及びスケーリングリスト適用設定とも一致する。
ビデオエンコーダ１１４及びビデオデコーダ１３４の１つの構成では、彩度イントラ予測ブロックの第２変換インデックスは常にゼロに設定され、すなわち、第２変換は彩度イントラ予測ブロックには適用されない。この場合、彩度第２変換インデックスをシグナリングする必要はなく、したがって、工程１５１３０及び１８９５を省略することができ、したがって、工程１３６０、１５７０、並びに１８１００が簡略化される。
共有ツリー内のコーディングツリー内のノードが６４輝度サンプルのエリアを有する場合、バイナリ又はクアッドツリー分割でさらに分割すると、４×４ブロックなどのより小さな輝度ＣＢが得られるが、より小さな彩度ＣＢは得られない。代わりに、４×４彩度ＣＢのような６４輝度サンプルのエリアに対応するサイズの単一の彩度ＣＢが存在する。同様に、１２８輝度サンプルのエリアを有し、ターナリ分割を受けるコーディングツリーノードは、より小さな輝度ＣＢと１つの彩度ＣＢの集合を結果として得る。各輝度ＣＢは対応する輝度第２変換インデックスを有し、彩度ＣＢは彩度第２変換インデックスを有する。
コーディングツリー内のノードが６４のエリアを有し、さらなる分割がシグナリングされるか、又は１２８の輝度サンプルのエリア及びターナリ分割がシグナリングされる場合、その分割は輝度チャネルのみに適用され、結果として生じるＣＢ（各彩度チャネルについていくつかの輝度ＣＢ及び１つの彩度ＣＢ）は、すべてイントラ予測されるか、又はすべてインター予測される。ＣＵが４つの輝度サンプルの幅又は高さを有し、色チャネル（Ｙ、ＣＢ、及びＣｒ）の各々に対して１つのＣＢを含む場合、そのＣＵの彩度ＣＢは、２つのサンプルの幅又は高さを有する。２つのサンプルの幅又は高さを有するＣＢは、１６ポイント又は４８ポイントのＬＦＮＳＴカーネルでは動作せず、したがって、第２変換を必要としない。２つのサンプルの幅又は高さを有するブロックについて、工程１５１３０、１８９５、１３６０、１５７０、及び１８１００は、実行される必要はない。
ビデオエンコーダ１１４及びビデオデコーダ１３４の別の構成では、輝度及び彩度の一方又は両方が第１変換のみを受けるそれぞれのＴＢの領域内に非有効残差係数のみを含む場合に、単一の第２変換インデックスがシグナリングされる。輝度ＴＢが復号された残差の非第２変換領域（例えば、１０６６、９６８）に有効な残差係数を含むか、又は第１変換としてＤＣＴ－２を使用しないことが示される場合、示された第２変換カーネル（又は第２変換バイパス）は、彩度ＴＢのみに適用される。いずれかの彩度ＴＢが復号された残差の非第２変換領域に有効な残差係数を含む場合、示された第２変換カーネル（又は第２変換バイパス）は、輝度ＴＢのみに適用される。彩度ＴＢに対してその第２変換の適用が可能でない場合であっても、輝度ＴＢに対して可能になり、逆もまた同様であり、ＣＵの任意のＴＢが第２変換を受けることができる前に、すべてのＴＢの最後の位置が第２係数ドメイン内にあることを必要とすることと比較して、符号化効率利得を与える。さらに、共有コーディングツリー内のＣＵに必要な第２変換インデックスは１つだけである。輝度第１変換がＤＣＴ－２である場合、第２変換は、輝度だけでなく彩度についても無効であると推論され得る。
ビデオエンコーダ１１４及びビデオデコーダ１３４の別の構成では、第２変換が（それぞれモジュール３３０及び４３６によって）ＣＵの輝度ＴＢのみに適用され、ＣＵの任意の彩度ＴＢには適用されない。彩度チャネルのための第２変換ロジックの欠如はより少ない複雑さ、例えば、より少ない実行時間又は減少されたシリコン面積をもたらす。彩度チャネルのための第２変換ロジックの不在は、１つの第２変換インデックスをシグナリングする必要のみ結果として生じさせ、これは輝度ＴＢの最後の位置の後にシグナリングされてもよい。すなわち、工程１５９０及び１８６０は工程１５１２０及び１８９０の代わりに、輝度ＴＢに対して実行される。この場合、工程１５１３０及び１８９５は省略される。
ビデオエンコーダ１１４及びビデオデコーダ１３４の別の構成では、量子化グループサイズ（すなわち、cu_chroma_qp_offset_subdiv及びcu_qp_delta_subdiv）を定義する構文要素がＰＰＳ１１１２にシグナリングされる。パーティション制約がスライスヘッダ１１１８で上書きされても、細分割レベルの値の範囲は、ＳＰＳ１１１０に示されるパーティション制約に従って定義される。例えば、cu_qp_delta_subdivとcu_chroma_qp_offset_subdivの範囲は０から２×(log2_ctu_size_minus5 + 5 - (MinQtLog2SizeInterY or MinQtLog2SizeIntraY) + MaxMttDepthY_SPS)として定義される。この値MaxMyyDepthYは、ＳＰＳ１１１０から導出される。つまり、MaxMttDepthYは、現在のスライスがＩスライスの場合はsps_max_mtt_hierarchy_depth_intra_slice_lumaに等しく、現在のスライスがＰ又はＢスライスの場合はsps_max_mtt_hierarchy_depth_inter_sliceに等しく設定される。ＳＰＳ１１１０でシグナリングされる深度より浅くなるように上書きされたパーティション制約を有するスライスについて、ＰＰＳ１１１２から決定される量子化グループ細分割レベルがスライスヘッダから決定されるより浅いコーディングツリー深度下で最も高い達成可能な細分割レベルよりも高い（より深い）場合、ｌｐのスライスの量子化グループ細分割レベルは、そのスライスの最も高い達成可能な細分割レベルに等しくなるようにクリップされる。例えば、特定のスライスcu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivは、０から２×(log2_ctu_size_minus5 + 5 - (MinQtLog2SizeInterY or MinQtLog2SizeIntraY) + MaxMttDepthY_slice_header)にクリップされ、このクリップされた値がスライスに使用される。この値MaxMttDepthY_slice_headerはスライスヘッダ１１１８から導出され、すなわち、MaxMttDepthY_slice_headerはslice_max_mtt_hierarchy_depth_lumaと等しく設定される
ビデオエンコーダ１１４及びビデオデコーダ１３４のさらに別の構成では、輝度及び彩度の細分割レベルを導出するために、ＰＰＳ１１１２から復号されたcu_chroma_qp_offset_subdiv及びcu_qp_delta_subdivから細分割レベルが決定される。スライスヘッダ１１１８から復号されたパーティション制約がスライスのための異なる範囲の細分割レベルをもたらすとき、スライスに適用される細分割レベルは、ＳＰＳ１１１０から復号されたパーティション制約に従って、最も深い許容された細分割レベルに対して同じオフセットを維持するように調整される。例えば、ＳＰＳ１１１０が最大細分割レベル４を示し、ＰＰＳ１１１２が細分割レベル３を示し、スライスヘッダ１１１８が最大値を３に低減する場合、スライス内で適用される細分割レベルは２に設定される（最大許容細分割レベルに対して１のオフセットを維持する）。特定のスライスに対するパーティション制約の変更に対応するように量子化グループエリアを調整することにより、スライスレベルのパーティショニング制約の変更に適応する粒度を提供しながら、細分割レベルのシグナリングをより少ない頻度とする（すなわち、ＰＰＳレベルとする）ことを可能にする。細分割レベルがＰＰＳ１１１２内でシグナリングされる構成は、ＳＰＳ１１１０から復号されたパーティショニング制約に従って定義された範囲を使用し、スライスヘッダ１１１８から復号された上書きされたパーティション制約に基づいた後の調整が可能であり、スライスヘッダ１１１８内でファイナライズされたパーティション制約に応じたＰＰＳ構文要素を有するという構文解析に依存する問題を回避する。
［産業上の利用可能性］
記載される構成はコンピュータ及びデータ処理産業に、特にビデオ及び画像信号のような信号の復号のためのデジタル信号処理に適用可能であり、高い圧縮効率を達成する。
記載される構成はコンピュータ及びデータ処理産業に、特にビデオ及び画像信号のような信号の復号のためのデジタル信号処理に適用可能であり、高い圧縮効率を達成する。
本明細書で説明される構成は、入力ビデオデータから高度に圧縮されたビットストリームを生成する際にビデオエンコーダに与えられる柔軟性を増大させる。フレーム内の異なる領域又はサブピクチャの量子化は変化する粒度、及び１つの領域から別の領域への異なる粒度で制御することができ、コーディングされた残差データの量を低減する。したがって、必要に応じて、例えば、上述のような３６０度画像に対して、より高い粒度を実現することができる。
いくつかの構成では、工程１５１２０及び１５１３０（及び対応する工程１８９０及び１８９５）に関連して説明したように、第２変換の適用を輝度及び彩度について独立して制御することができ、コーディングされた残差データのさらなる低減を達成する。ビデオデコーダは、そのようなビデオエンコーダによって生成されたビットストリームを復号するために必要な機能を用いて説明される。
上記は本発明のいくつかの実施形態のみを記載し、本発明の範囲及び精神から逸脱することなく、本発明に修正及び／又は変更を加えることができ、実施形態は例示的であり、限定的ではない。
Claims (14)
- ビデオビットストリームからの画像フレームのコーディングツリーユニットからコーディングツリーのコーディングユニットを復号する方法であって、前記コーディングユニットは第１色チャネル及び少なくとも１つの第２色チャネルを有し、前記方法は、
前記コーディングツリーユニットの復号された分割フラグに従って、前記第１色チャネル及び前記少なくとも１つの第２色チャネルを含むコーディングユニットを決定することと、
前記第１色チャネルのためのカーネルを選択するために第１インデックスを復号し、前記少なくとも１つの第２色チャネルのためのカーネルを選択するために第２インデックスを復号することと、
前記第１インデックスに従って第１カーネルを選択し、前記第２インデックスに従って第２カーネルを選択することと、
前記第１カーネルを前記第１色チャネルの残差係数に適用し、前記第２カーネルを前記少なくとも１つの第２色チャネルの残差係数に適用することによって、前記コーディングユニットを復号することと、
を含む方法。 - 前記第１インデックス又は前記第２インデックスは、前記コーディングユニットの最後の有効残差係数の位置を復号した直後に復号される、請求項１に記載の方法。
- 単一の前記残差係数が、複数の第２色チャネルについて復号される、請求項２に記載の方法。
- 単一の前記残差係数が、単一の第２色チャネルについて復号される、請求項２に記載の方法。
- 前記第１インデックス及び前記第２インデックスは、互いに独立している、請求項１に記載の方法。
- 前記第１カーネル及び前記第２カーネルは、それぞれ、前記第１色チャネル及び前記少なくとも１つの第２色チャネルのためのイントラ予測モードに依存する、請求項１に記載の方法。
- 前記第１カーネル及び前記第２カーネルは、それぞれ、前記第１色チャネルのブロックサイズ及び前記少なくとも１つの第２色チャネルのブロックサイズに関連する、請求項１に記載の方法。
- 前記第２カーネルは、符号化された前記ビットストリームの彩度サブサンプリング比に関連する、請求項１に記載の方法。
- 前記カーネルのそれぞれは、分離不可能な第２変換を実施する、請求項１に記載の方法。
- 前記コーディングユニットは２つの第２色チャネルを含み、前記第２色チャネルそれぞれについて別個のインデックスが復号される、請求項１に記載の方法。
- ビデオビットストリームからの画像フレームのコーディングツリーユニットからコーディングツリーのコーディングユニットを復号する方法であって、前記コーディングユニットは第１色チャネル及び少なくとも１つの第２色チャネルを有し、前記方法は、
前記コーディングツリーユニットの復号された分割フラグに従って、前記第１色チャネル及び前記少なくとも１つの第２色チャネルを含むコーディングユニットを決定することと、
前記第１色チャネルの復号されたインデックスに従って分離不可能な変換カーネルを選択することと、
第２変換係数を生成するために、選択された前記分離不可能な変換カーネルを前記第１色チャネルの復号された残差に適用することと、
前記第２変換係数に分離可能な変換カーネルを適用し、前記少なくとも１つの第２色チャネルの復号された残差に分離可能な変換カーネルを適用することによって、前記コーディングユニットを復号することと、
を含む、方法。 - ビデオビットストリームからの画像フレームのコーディングツリーユニットからコーディングツリーのコーディングユニットを復号する方法を実施するためにそこに格納されたコンピュータプログラムを有する非一時的コンピュータ可読媒体であって、前記コーディングユニットは第１色チャネル及び少なくとも１つの第２色チャネルを有し、前記方法は、
前記コーディングツリーユニットの復号された分割フラグに従って、前記第１色チャネル及び前記少なくとも１つの第２色チャネルを含むコーディングユニットを決定することと、
前記第１色チャネルのためのカーネルを選択するために第１インデックスを復号し、前記少なくとも１つの第２色チャネルのためのカーネルを選択するために第２インデックスを復号することと、
前記第１インデックスに従って第１カーネルを選択し、前記第２インデックスに従って第２カーネルを選択することと、
前記第１カーネルを前記第１色チャネルの残差係数に適用し、前記第２カーネルを前記少なくとも１つの第２色チャネルの残差係数に適用することによって、前記コーディングユニットを復号することと、
を含む、非一時的コンピュータ可読媒体。 - ビデオビットストリームからのイメージフレームのコーディングツリーユニットからコーディングツリーのコーディングユニットを復号する方法を実施するために構成されたビデオデコーダであって、前記コーディングユニットは第１色チャネル及び少なくとも１つの第２色チャネルを有し、前記方法は、
前記コーディングツリーユニットの復号された分割フラグに従って、前記第１色チャネル及び前記少なくとも１つの第２色チャネルを含むコーディングユニットを決定することと、
前記第１色チャネルのためのカーネルを選択するために第１インデックスを復号し、前記少なくとも１つの第２色チャネルのためのカーネルを選択するために第２インデックスを復号することと、
前記第１インデックスに従って第１カーネルを選択し、前記第２インデックスに従って第２カーネルを選択することと、
前記第１カーネルを前記第１色チャネルの残差係数に適用し、前記第２カーネルを前記少なくとも１つの第２色チャネルの残差係数に適用することによって、前記コーディングユニットを復号することと、
を含む、ビデオデコーダ。 - メモリと、
プロセッサであって、前記プロセッサはビデオビットストリームからの画像フレームのコーディングツリーユニットからコーディングツリーのコーディングユニットを復号する方法を実施するために、前記メモリに格納されたコードを実行するように構成され、前記コーディングユニットは、第１色チャネル及び少なくとも１つの第２色チャネルを有し、前記方法は、
前記コーディングツリーユニットの復号された分割フラグに従って、前記第１色チャネル及び前記少なくとも１つの第２色チャネルを含むコーディングユニットを決定することと、
前記第１色チャネルのためのカーネルを選択するために第１インデックスを復号し、前記少なくとも１つの第２色チャネルのためのカーネルを選択するために第２インデックスを復号することと、
前記第１インデックスに従って第１カーネルを選択し、前記第２インデックスに従って第２カーネルを選択することと、
前記第１カーネルを前記第１色チャネルの残差係数に適用し、前記第２カーネルを前記少なくとも１つの第２色チャネルの残差係数に適用することによって、前記コーディングユニットを復号することと、
を含む、プロセッサと、
を備える、システム。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962849661P | 2019-05-17 | 2019-05-17 | |
| US62/849,661 | 2019-05-17 | ||
| JP2021568655A JP2022533978A (ja) | 2019-05-17 | 2020-05-13 | 製造方法、射出成形システムおよび金型 |
| PCT/US2020/032733 WO2020236489A1 (en) | 2019-05-17 | 2020-05-13 | Manufacturing method, injection molding system, and mold |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021568655A Division JP2022533978A (ja) | 2019-05-17 | 2020-05-13 | 製造方法、射出成形システムおよび金型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024046650A true JP2024046650A (ja) | 2024-04-03 |
Family
ID=73458842
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021568655A Pending JP2022533978A (ja) | 2019-05-17 | 2020-05-13 | 製造方法、射出成形システムおよび金型 |
| JP2023201021A Pending JP2024046650A (ja) | 2019-05-17 | 2023-11-28 | ビデオサンプルのブロックを符号化並びに復号するための方法、装置、及びシステム |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021568655A Pending JP2022533978A (ja) | 2019-05-17 | 2020-05-13 | 製造方法、射出成形システムおよび金型 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220203587A1 (ja) |
| EP (1) | EP3969249A4 (ja) |
| JP (2) | JP2022533978A (ja) |
| WO (1) | WO2020236489A1 (ja) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3694529A (en) * | 1970-04-02 | 1972-09-26 | Allied Chem | Method for molding articles |
| US3719441A (en) * | 1970-06-22 | 1973-03-06 | Allied Chem | Apparatus for molding articles |
| CA1097870A (en) * | 1978-12-14 | 1981-03-24 | Jobst U. Gellert | Stack injection molding melt transfer system |
| JPH0623805A (ja) * | 1992-07-07 | 1994-02-01 | Mitsubishi Materials Corp | ホットランナー金型 |
| JP3618609B2 (ja) * | 1999-12-03 | 2005-02-09 | 矢崎総業株式会社 | 成形金型及びそれを用いた成形方法 |
| EP1587659A1 (de) * | 2003-01-15 | 2005-10-26 | Foboha Gmbh Formenbau | Vorrichtung zum verteilen von kunststoffschmelze in einer spritzgiessform mit mehreren etagen |
| DE202008000727U1 (de) * | 2008-01-17 | 2008-04-24 | Synventive Molding Solutions B.V. | Übergabesystem für Etagenformen |
| JP6121601B1 (ja) * | 2016-07-07 | 2017-04-26 | キヤノンベトナム カンパニー リミテッドＣａｎｏｎ Ｖｉｅｔｎａｍ Ｃｏ．， Ｌｔｄ． | 製造方法および射出成形システム |
| US11179872B2 (en) * | 2017-10-24 | 2021-11-23 | Canon Kabushiki Kaisha | Resin shaping mold and method of producing resin molded product |
| CN112996641B (zh) * | 2018-12-06 | 2023-02-17 | 佳能弗吉尼亚股份有限公司 | 使用流道的多模具系统 |
-
2020
- 2020-05-13 EP EP20808786.6A patent/EP3969249A4/en not_active Withdrawn
- 2020-05-13 WO PCT/US2020/032733 patent/WO2020236489A1/en active Application Filing
- 2020-05-13 US US17/611,417 patent/US20220203587A1/en active Pending
- 2020-05-13 JP JP2021568655A patent/JP2022533978A/ja active Pending
-
2023
- 2023-11-28 JP JP2023201021A patent/JP2024046650A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP3969249A1 (en) | 2022-03-23 |
| US20220203587A1 (en) | 2022-06-30 |
| WO2020236489A1 (en) | 2020-11-26 |
| EP3969249A4 (en) | 2023-02-01 |
| JP2022533978A (ja) | 2022-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7441314B2 (ja) | ビデオサンプルのブロックを符号化および復号するための方法、装置、およびシステム | |
| US20230037302A1 (en) | Method, apparatus and system for encoding and decoding a coding tree unit | |
| US20220394311A1 (en) | Method apparatus and system for encoding and decoding a coding tree unit | |
| AU2022204353B2 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| AU2022203416B2 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| JP2024012610A (ja) | 符号化ブロックを復号する方法、符号化ブロックを符号化する方法、復号装置、符号化装置、コンピュータプログラム | |
| JP2022522576A (ja) | ビデオサンプルのツリー若しくはブロックを符号化および復号する方法、装置、およびシステム | |
| JP2024046650A (ja) | ビデオサンプルのブロックを符号化並びに復号するための方法、装置、及びシステム | |
| JP2023525619A (ja) | ビデオサンプルのブロックを符号化および復号する方法、装置、およびシステム | |
| AU2020201694A1 (en) | Method, apparatus and system for encoding and decoding a coding unit tree |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231128 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231128 |
|
| A59 | Written plea |
Free format text: JAPANESE INTERMEDIATE CODE: A59 Effective date: 20231206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240318 |