JP7341254B2 - ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステム - Google Patents
ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステム Download PDFInfo
- Publication number
- JP7341254B2 JP7341254B2 JP2021573290A JP2021573290A JP7341254B2 JP 7341254 B2 JP7341254 B2 JP 7341254B2 JP 2021573290 A JP2021573290 A JP 2021573290A JP 2021573290 A JP2021573290 A JP 2021573290A JP 7341254 B2 JP7341254 B2 JP 7341254B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- encoding
- slice
- bitstream
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 169
- 238000013139 quantization Methods 0.000 claims description 195
- 238000005192 partition Methods 0.000 claims description 95
- 230000001419 dependent effect Effects 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 181
- 241000023320 Luma <angiosperm> Species 0.000 description 172
- 230000009466 transformation Effects 0.000 description 53
- 230000000875 corresponding effect Effects 0.000 description 45
- 238000012360 testing method Methods 0.000 description 41
- 238000000638 solvent extraction Methods 0.000 description 34
- 239000000523 sample Substances 0.000 description 28
- 238000003860 storage Methods 0.000 description 26
- 239000013598 vector Substances 0.000 description 20
- 238000004891 communication Methods 0.000 description 18
- 238000001914 filtration Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 238000000354 decomposition reaction Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000011664 signaling Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 239000013074 reference sample Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010044625 Trichorrhexis Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012882 sequential analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
［関連出願への参照］
本願は、３５ＵＳＣ１１９の下で、２０１９年９月１７日に出願されたオーストラリア特許出願番号２０１９２３２７９７の出願日の利益を主張するものであり、その全体が本明細書に完全に記載されているかのように参照により組み込まれる。
本願は、３５ＵＳＣ１１９の下で、２０１９年９月１７日に出願されたオーストラリア特許出願番号２０１９２３２７９７の出願日の利益を主張するものであり、その全体が本明細書に完全に記載されているかのように参照により組み込まれる。
［技術分野］
本発明は、概してデジタルビデオ信号処理に関し、特に、ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステムに関する。本発明は、ビデオサンプルのブロックを符号化及び復号するためのコンピュータプログラムを記録したコンピュータ読み取り可能な媒体を含むコンピュータプログラム製品にも関する。
本発明は、概してデジタルビデオ信号処理に関し、特に、ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステムに関する。本発明は、ビデオサンプルのブロックを符号化及び復号するためのコンピュータプログラムを記録したコンピュータ読み取り可能な媒体を含むコンピュータプログラム製品にも関する。
現在、ビデオデータの送信及び保存のための応用例を含む、ビデオ符号化のための多くの応用例が存在する。多くのビデオ符号化規格がまた開発されており、他の規格は現在開発中である。最近のビデオ符号化標準化の進展により、「Joint Video Experts Team」（ＪＶＥＴ）と呼ばれるグループが結成された。Joint Video Experts Team（ＪＶＥＴ）には、「Video Coding Experts Group」（ＶＣＥＧ）として知られる、国際電気通信連合（ＩＴＵ）の電気通信標準化部門（ＩＴＵ－Ｔ）のStudy Group 16, Question 6（ＳＧ１６／Ｑ６）のメンバーと、「Moving Picture Experts Group」（ＭＰＥＧ）として知られる、国際標準化機構／国際電気標準会議合同技術委員会(Joint Technical Committee 1 / Subcommittee 29 / Working Group 11)（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）のメンバーが参加している。
Joint Video Experts Team（ＪＶＥＴ）は提案募集（ＣｆＰ）を行い、米国サンディエゴで開催された第１０回会議でその回答を分析した。提出された提案は、現在の技術水準であるビデオ圧縮規格「高効率ビデオ符号化」（ＨＥＶＣ）を大幅に上回るビデオ圧縮能力を示していた。この結果を受けて、新たなビデオ圧縮規格である「多用途ビデオ符号化」（ＶＶＣ）の開発プロジェクトを開始することが決定した。ＶＶＣは、ビデオフォーマットの高能力化（例えば高解像度化及び高フレームレート化）に伴うより高い圧縮性能に対する従来からの要求に応え、また帯域コストが相対的に高いＷＡＮでのサービス提供に対する市場の増加する要求に応えることが想定されている。没入型ビデオのようなユースケースは、このような高度なフォーマットのリアルタイム符号化及び復号を必要とし、例えば、キューブマッププロジェクション（ＣＭＰ）では、最終的にレンダリングされる「ビューポート」が低解像度であっても、８Ｋフォーマットを使用することがある。ＶＶＣは、現代のシリコンプロセスで実装可能であり、かつ達成される性能と実装コストの間の許容できるトレードオフを提供する必要がある。実装コストは、例えば、シリコン面積、ＣＰＵのプロセッサ負荷、メモリ使用量、及び帯域幅のうちの１つ又は複数に関して考えることができる。より高度なビデオフォーマットは、フレームエリアをセクションに分割し、各セクションを並行して処理することによって、処理されてもよい。圧縮されたフレームの複数のセクションから構築されたビットストリームは、「単一コア」復号器による復号に依然として適しており、すなわち、ビットレートを含むフレームレベルの制約は、応用例における必要性に応じて各セクションに割り当てられる。
ビデオデータは、画像データの一連のフレームを含み、各フレームは１つ以上のカラーチャネルを含む。一般的には、１つのプライマリカラーチャネルと２つのセカンダリカラーチャネルが必要とされる。プライマリカラーチャネルは一般に「ルマ」チャネルと呼ばれ、セカンダリカラーチャネルは一般に「クロマ」チャネルと呼ばれる。ビデオデータは通常、ＲＧＢ（赤－緑－青）色空間で表示されるが、この色空間は、３つの成分の間に高度の相関関係を有している。符号化器や復号器が見るビデオデータの表現は、多くの場合、ＹＣｂＣｒなどの色空間を用いている。ＹＣｂＣｒは、伝達関数に従って「ルマ」にマッピングされた輝度をＹ（プライマリ）チャネルに、クロマをＣｂ及びＣｒ（セカンダリ）チャネルに集約している。相関が失われたＹＣｂＣｒ信号の使用のために、ルマチャネルの統計量とクロマチャネルの統計量は大きく異なる。主な違いは、量子化後のクロマチャネルには、対応するルマチャネルブロックの係数と比較して、特定のブロックについての有意な係数が比較的少ないことである。さらに、Ｃｂ及びＣｒチャネルは、ルマチャネルに比べて低いレートで空間的にサンプリングされる（サブサンプリングされる）ことがある（例えば、「４：２：０クロマフォーマット」として知られるように、水平方向に半分及び垂直方向に半分）。４：２：０クロマフォーマットは、インターネットビデオストリーミング、テレビ放送、ブルーレイディスク（登録商標）への格納など、「コンシューマ」応用例でよく使用されている。ＣｂチャネルとＣｒチャネルを水平方向にハーフレートでサブサンプリングし、垂直方向にはサブサンプリングしないものは「４：２：２クロマフォーマット」と呼ばれる。４：２：２クロマフォーマットは、典型的には、映画制作用の映像を撮影することなどを含む、プロ向けの用途で使用される。４：２：２クロマフォーマットは、サンプリングレートが高いため、カラーグレーディングなどの編集作業に強いビデオが得られる。４：２：２クロマフォーマットの素材は、消費者に配信される前に、４：２：０クロマフォーマットに変換され、消費者に配信されるように符号化されることが多い。クロマフォーマットに加えて、ビデオは解像度及びフレームレートによっても特徴付けられる。例示的な解像度は、３８４０×２１６０の超高精細（ＵＨＤ）又は７６８０×４３２０の「８Ｋ」であり、例示的なフレームレートは６０Ｈｚ又は１２０Ｈｚである。ルマのサンプルレートは、約５００メガサンプル／秒から数ギガサンプル／秒の範囲でありうる。４：２：０クロマフォーマットの場合、各クロマチャネルのサンプルレートはルマサンプルレートの１／４であり、４：２：２クロマフォーマットの場合、各クロマチャネルのサンプルレートはルマサンプルレートの１／２である。
ＶＶＣ規格は「ブロックベース」のコーデックで、フレームはまず「符号化ツリーユニット」（ＣＴＵ）と呼ばれる領域の正方形の配列に分割される。ＣＴＵは一般に、１２８×１２８のルマサンプルのような比較的大きなエリアを占めている。ただし、各フレームの右端や下端にあるＣＴＵは面積が小さい場合がある。各ＣＴＵには、ルマチャネルとクロマチャネルの両方についての「符号化ツリー」（「共有ツリー」）が関連付けられ、又はルマチャネルとクロマチャネルのそれぞれに個別のツリーが関連付けられる。符号化ツリーは、ＣＴＵのエリアの、「符号化ブロック」（ＣＢ）と呼ばれるブロックのセットへの分解を定義する。共有ツリーが使用されている場合、単一の符号化ツリーは、ルマチャネルとクロマチャネルの両方のブロックを指定し、この場合、コロケートされた符号化ブロックの集合は「符号化ユニット」（ＣＵ）と呼ばれ、すなわち各ＣＵは各カラーチャネルについての符号化ブロックを持つ。ＣＢは特定の順序で符号化又は復号のために処理される。４：２：０クロマフォーマットを採用している結果として、１２８×１２８のルマサンプルエリアについてのルマ符号化ツリーを持つＣＴＵは、１２８×１２８のルマサンプルエリアとコロケートされた６４×６４のクロマサンプルエリアについてのクロマ符号化ツリーを持っている。ルマチャネルとクロマチャネルに単一の符号化ツリーが使用されている場合、所与のエリアにコロケートされたブロックの集合は、一般に「ユニット」と呼ばれ、例えば上記のＣＵであり、また「予測ユニット」（ＰＵ）、「変換ユニット」（ＴＵ）もある。４：２：０クロマフォーマットのビデオデータのカラーチャネルにまたがるＣＵを備える単一のツリーの結果、クロマブロックの幅と高さは、対応するルマブロックの半分になる。所与のエリアに別々の符号化ツリーを使用する場合は、上記のＣＢに加えて、「予測ブロック」（ＰＢ）及び「変換ブロック」（ＴＢ）を使用する。
上記の「ユニット」と「ブロック」の区別にかかわらず、「ブロック」という用語は、全てのカラーチャネルに演算が適用されるフレームのエリア又は領域についての一般的な用語として使用することができる。
各ＣＵに対して、フレームデータの対応するエリアの内容（サンプル値）の予測ユニット（ＰＵ）が生成される（「予測ユニット」）。さらに、予測と、符号化器への入力時に見られる領域の内容との差分（又は「空間ドメイン」の残差）の表現が形成される。各カラーチャネルの差は、残差係数のシーケンスとして変換及び符号化され、所与のＣＵについての１つ又は複数のＴＵを形成してもよい。適用される変換は、各ブロックの残差値に適用される離散コサイン変換（ＤＣＴ）又は他の変換であってもよい。この変換は、分離して適用され、すなわち、２次元の変換が２つのパスで実行される。このブロックは、ブロック内のサンプルの各行に１次元変換を適用することによってまず変換される。次に、部分結果の各列に１次元変換を適用することにより部分結果を変換し、残差サンプルの相関を実質的に失わせた変換係数の最終ブロックを生成する。ＶＶＣ規格では、様々なサイズの変換がサポートされており、各辺の大きさが２の累乗になっている長方形のブロックの変換も含まれる。変換係数は、ビットストリームへとエントロピー符号化するために数値化される。
ＶＶＣには、フレーム内予測とフレーム間予測の機能がある。フレーム内予測では、フレーム内で以前に処理されたサンプルを使用して、フレーム内の現在のサンプルブロックの予測を生成する。フレーム間予測では、以前に復号されたフレームから得られたサンプルのブロックを使用して、フレーム内の現在のサンプルのブロックの予測を生成する。前に復号されたフレームから得られたサンプルのブロックは、動きベクトルに応じて現在のブロックの空間的な位置からオフセットされており、多くの場合、フィルタリングが適用されている。フレーム内予測ブロックは、（ｉ）一様なサンプル値（「ＤＣイントラ予測」）、（ｉｉ）オフセット並びに水平及び垂直方向の勾配を持つ面（「平面イントラ予測」）、（ｉｉｉ）隣接サンプルを持ち特定の方向に適用されたブロックの配置（「角度イントラ予測」）、又は（ｉｖ）隣接サンプルと選択されたマトリックス係数を用いたマトリックス乗算の結果、でありうる。予測されたブロックと対応する入力サンプルの間のさらなる不一致は、ビットストリームに「残差」を符号化することで、ある程度補正することができる。残差は一般的に、空間ドメインから周波数ドメインに変換され、（「一次変換ドメイン」における）残差係数を形成し、この残差係数は、「二次変換」の適用によって（「二次変換ドメイン」における残差係数を生成するように）さらに変換されてもよい。残差係数は、量子化パラメータに従って量子化され、その結果、復号器で生成されるサンプルの再構成の精度は低下するが、ビットストリームのビットレートは低下する。量子化パラメータは、フレーム間及び各フレーム内で変化してもよい。フレーム内で量子化パラメータを変化させることは、「レート制御された」符号化器について典型的である。レート制御された符号化器は、受信した入力サンプルの統計（ノイズの特性や動きの程度など）にかかわらず、実質的に一定のビットレートのビットストリームを生成しようと試みる。ビットストリームは、典型的には帯域幅の限られたネットワーク上で伝送されるため、レート制御は、符号化器に入力されるオリジナルフレームの変動にかかわらず、ネットワーク上で信頼性の高い性能を確保するための技術として広く普及している。フレームが並列セクションに符号化されている場合には、望ましい忠実度に関して異なるセクションが異なる要件を持つ可能性があるため、レート制御の使用に柔軟性があることが望まれる。
本発明の目的は、既存の構成の１つ以上の欠点を実質的に克服し、又は少なくとも改善することである。
本開示の１つの態様は、画像フレームを生成するためにビットストリームから複数の符号化ユニットを復号する方法を提供し、前記符号化ユニットは符号化ツリーユニットの分解の結果であり、前記複数の符号化ユニットは前記ビットストリームの１つ以上の連続部分を形成し、前記方法は、前記ビットストリームの前記１つ以上の連続部分のそれぞれについて細分化（サブディビジョン）レベルを決定することであって、それぞれの細分化レベルは、前記ビットストリームのそれぞれの前記連続部分の前記符号化ユニットに適用可能である、決定することと、複数のエリアのそれぞれについての量子化パラメータデルタを復号することであって、それぞれのエリアは、前記ビットストリームのそれぞれの連続部分の符号化ユニットへの符号化ツリーユニットの分解と、対応する決定された前記細分化レベルとに基づく、復号することと、それぞれのエリアについての量子化パラメータを、前記エリアについての復号された前記量子化パラメータデルタ及び前記画像フレームの先行する符号化ユニットの前記量子化パラメータに基づいて決定することと、前記画像フレームを生成するために、それぞれのエリアについて決定された前記量子化パラメータを用いて前記複数の符号化ユニットを復号することと、を含む。
別の態様によると、それぞれのエリアは、前記符号化ユニットに関連付けられた細分化レベルの、対応する連続部分について決定された前記細分化レベルに対する比較に基づく。
別の態様によると、対応する符号化ツリーが、対応する連続部分について決定された前記細分化レベル以下の細分化レベルを有するエリアのそれぞれについて、量子化パラメータデルタが決定される。
別の態様によると、対応する決定された前記細分化レベル以下である細分化レベルを有する前記符号化ツリーユニットの任意のノードについて、新しいエリアが設定される。
別の態様によると、連続部分のそれぞれについて決定された前記細分化レベルは、前記連続部分の、ルマ符号化ユニットについての第１の細分化レベルと、クロマ符号化ユニットについての第２の細分化レベルと、を備える。
別の態様によると、前記第１及び第２の細分化レベルが異なる。
別の態様によると、前記方法は、前記ビットストリームに関連するシーケンスパラメータセットのパーティション制約が上書きできることを示すフラグを復号することをさらに含む。
別の態様によると、前記１つ以上の連続部分のそれぞれについて決定された前記細分化レベルは、前記領域についての最大ルマ符号化ユニット深度を含む。
別の態様によると、前記１つ以上の連続部分のそれぞれについて決定された前記細分化レベルは、対応する領域についての最大クロマ符号化ユニット深度を含む。
別の態様によると、前記連続部分の１つについて決定された前記細分化レベルは、前記ビットストリームの前記パーティション制約についての復号された最も深い許容細分化レベルに対するオフセットを維持するように調整される。
本開示の別の態様は、画像フレームを生成するためにビットストリームから複数の符号化ユニットを復号する方法を実装するコンピュータプログラムが格納された非一時的コンピュータ読み取り可能媒体を提供し、前記符号化ユニットは符号化ツリーユニットの分解の結果であり、前記複数の符号化ユニットは前記ビットストリームの１つ以上の連続部分を形成し、前記方法は、前記ビットストリームの前記１つ以上の連続部分のそれぞれについて細分化レベルを決定することであって、それぞれの細分化レベルは、前記ビットストリームのそれぞれの前記連続部分の前記符号化ユニットに適用可能である、決定することと、複数のエリアのそれぞれについての量子化パラメータデルタを復号することであって、それぞれのエリアは、前記ビットストリームのそれぞれの連続部分の符号化ユニットへの符号化ツリーユニットの分解と、対応する決定された前記細分化レベルとに基づく、復号することと、それぞれのエリアについての量子化パラメータを、前記エリアについての復号された前記量子化パラメータデルタ及び前記画像フレームの先行する符号化ユニットの前記量子化パラメータに基づいて決定することと、前記画像フレームを生成するために、それぞれのエリアについて決定された前記量子化パラメータを用いて前記複数の符号化ユニットを復号することと、を含む。
本開示の別の態様は、画像フレームを生成するためにビットストリームから複数の符号化ユニットを復号する方法を実装するように構成されたビデオ復号器を提供し、前記符号化ユニットは符号化ツリーユニットの分解の結果であり、前記複数の符号化ユニットは前記ビットストリームの１つ以上の連続部分を形成し、前記方法は、前記ビットストリームの前記１つ以上の連続部分のそれぞれについて細分化レベルを決定することであって、それぞれの細分化レベルは、前記ビットストリームのそれぞれの前記連続部分の前記符号化ユニットに適用可能である、決定することと、複数のエリアのそれぞれについての量子化パラメータデルタを復号することであって、それぞれのエリアは、前記ビットストリームのそれぞれの連続部分の符号化ユニットへの符号化ツリーユニットの分解と、対応する決定された前記細分化レベルとに基づく、復号することと、それぞれのエリアについての量子化パラメータを、前記エリアについての復号された前記量子化パラメータデルタ及び前記画像フレームの先行する符号化ユニットの前記量子化パラメータに基づいて決定することと、前記画像フレームを生成するために、それぞれのエリアについて決定された前記量子化パラメータを用いて前記複数の符号化ユニットを復号することと、を含む。
本開示の別の態様は、メモリと、プロセッサと、を備えるシステムを提供し、前記プロセッサは、画像フレームを生成するためにビットストリームから複数の符号化ユニットを復号する方法を実装する、前記メモリに格納されたコードを実行するように構成され、前記符号化ユニットは符号化ツリーユニットの分解の結果であり、前記複数の符号化ユニットは前記ビットストリームの１つ以上の連続部分を形成し、前記方法は、前記ビットストリームの前記１つ以上の連続部分のそれぞれについて細分化レベルを決定することであって、それぞれの細分化レベルは、前記ビットストリームのそれぞれの前記連続部分の前記符号化ユニットに適用可能である、決定することと、複数のエリアのそれぞれについての量子化パラメータデルタを復号することであって、それぞれのエリアは、前記ビットストリームのそれぞれの連続部分の符号化ユニットへの符号化ツリーユニットの分解と、対応する決定された前記細分化レベルとに基づく、復号することと、それぞれのエリアについての量子化パラメータを、前記エリアについての復号された前記量子化パラメータデルタ及び前記画像フレームの先行する符号化ユニットの前記量子化パラメータに基づいて決定することと、前記画像フレームを生成するために、それぞれのエリアについて決定された前記量子化パラメータを用いて前記複数の符号化ユニットを復号することと、を含む。
本開示の別の態様は、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法を提供し、前記符号化ユニットは、プライマリカラーチャネル及び少なくとも１つのセカンダリカラーチャネルを有し、前記方法は、前記符号化ツリーユニットの復号された分割フラグに従って、前記プライマリカラーチャネル及び前記少なくとも１つのセカンダリカラーチャネルを含む符号化ユニットを決定することと、前記プライマリカラーチャネルについてのカーネルを選択するための第１のインデックス及び前記少なくとも１つのセカンダリカラーチャネルについてのカーネルを選択するための第２のインデックスを復号することと、前記第１のインデックスに従って第１のカーネルを選択し、前記第２のインデックスに従って第２のカーネルを選択することと、前記プライマリカラーチャネルの残差係数に前記第１のカーネルを適用し、前記少なくとも１つのセカンダリカラーチャネルの残差係数に第２のカーネルを適用することにより、前記符号化ユニットを復号することと、を含む。
別の態様によれば、前記第１又は第２のインデックスは、前記符号化ユニットの最終有意残差係数位置を復号した直後に復号される。
別の態様によれば、複数のセカンダリカラーチャネルについて単一の残差係数が復号される。
別の態様によれば、単一のセカンダリカラーチャネルについて単一の残差係数が復号される。
別の態様によれば、前記第１のインデックスと前記第２のインデックスとは互いに独立している。
別の態様によれば、前記第１及び第２カーネルは、前記プライマリ及び前記少なくとも１つのセカンダリカラーチャネルのイントラ予測モードにそれぞれ依存する。
別の態様によれば、前記第１及び第２カーネルは、前記プライマリチャネルのブロックサイズ及び前記少なくとも１つのセカンダリカラーチャネルのブロックサイズにそれぞれ関連している。
別の態様によれば、前記第２のカーネルは前記符号化ビットストリームのクロマサブサンプリング比に関連する。
別の態様によれば、前記カーネルのそれぞれは、非分離（ｎｏｎ－ｓｅｐａｒａｂｌｅ）二次変換を実装する。
別の態様によれば、前記符号化ユニットは２つのセカンダリカラーチャネルを有し、前記セカンダリカラーチャネルのそれぞれについて別個のインデックスが復号される。
本開示の別の態様は、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法を実装するコンピュータプログラムが格納された非一時的コンピュータ読み取り可能媒体を提供し、前記符号化ユニットは、プライマリカラーチャネル及び少なくとも１つのセカンダリカラーチャネルを有し、前記方法は、前記符号化ツリーユニットの復号された分割フラグに従って、前記プライマリカラーチャネル及び前記少なくとも１つのセカンダリカラーチャネルを含む符号化ユニットを決定することと、前記プライマリカラーチャネルについてのカーネルを選択するための第１のインデックス及び前記少なくとも１つのセカンダリカラーチャネルについてのカーネルを選択するための第２のインデックスを復号することと、前記第１のインデックスに従って第１のカーネルを選択し、前記第２のインデックスに従って第２のカーネルを選択することと、前記プライマリカラーチャネルの残差係数に前記第１のカーネルを適用し、前記少なくとも１つのセカンダリカラーチャネルの残差係数に第２のカーネルを適用することにより、前記符号化ユニットを復号することと、を含む。
本開示の別の態様は、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法を実装するように構成されたビデオ復号器を提供し、前記符号化ユニットは、プライマリカラーチャネル及び少なくとも１つのセカンダリカラーチャネルを有し、前記方法は、前記符号化ツリーユニットの復号された分割フラグに従って、前記プライマリカラーチャネル及び前記少なくとも１つのセカンダリカラーチャネルを含む符号化ユニットを決定することと、前記プライマリカラーチャネルについてのカーネルを選択するための第１のインデックス及び前記少なくとも１つのセカンダリカラーチャネルについてのカーネルを選択するための第２のインデックスを復号することと、前記第１のインデックスに従って第１のカーネルを選択し、前記第２のインデックスに従って第２のカーネルを選択することと、前記プライマリカラーチャネルの残差係数に前記第１のカーネルを適用し、前記少なくとも１つのセカンダリカラーチャネルの残差係数に第２のカーネルを適用することにより、前記符号化ユニットを復号することと、を含む。
本開示の別の態様は、メモリと、プロセッサと、を備えるシステムを提供し、前記プロセッサは、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法を実装する、前記メモリに格納されたコードを実行するように構成され、前記符号化ユニットは、プライマリカラーチャネル及び少なくとも１つのセカンダリカラーチャネルを有し、前記方法は、前記符号化ツリーユニットの復号された分割フラグに従って、前記プライマリカラーチャネル及び前記少なくとも１つのセカンダリカラーチャネルを含む符号化ユニットを決定することと、前記プライマリカラーチャネルについてのカーネルを選択するための第１のインデックス及び前記少なくとも１つのセカンダリカラーチャネルについてのカーネルを選択するための第２のインデックスを復号することと、前記第１のインデックスに従って第１のカーネルを選択し、前記第２のインデックスに従って第２のカーネルを選択することと、前記プライマリカラーチャネルの残差係数に前記第１のカーネルを適用し、前記少なくとも１つのセカンダリカラーチャネルの残差係数に第２のカーネルを適用することにより、前記符号化ユニットを復号することと、を含む。
他の態様もまた開示されている。
次に、本発明の少なくとも１つの実施形態を、以下の図面及び付録を参照して説明する。
１つ又は複数の添付図面において、同じ参照符号を持つステップ及び／又は機能が参照されている場合、それらのステップ及び／又は機能は、反対の意図が現れない限り、本説明の目的で、同じ機能又は動作を有する。
レート制御されたビデオ符号化器には、ブロックパーティショニングの制約に適した粒度で量子化パラメータを調整する柔軟性が必要である。ブロックパーティショニング制約は、例えば、複数のビデオ符号化器が並行して動作して各フレームを圧縮する場合など、フレームのある部分と別の部分とで異なる場合がある。それに応じて、量子化パラメータの調整が必要なエリアの粒度も異なる。さらに、可能性のある二次変換の適用を含め、適用される変換の選択の制御は、変換される残差が生成された予測信号の範囲内で適用される。特にイントラ予測については、ルマブロックとクロマブロックで異なるイントラ予測モードを使用する可能性があるため、ルマブロックとクロマブロックでそれぞれ別のモードが利用可能である。
ビデオのいくつかのセクションは、レンダリングされたビューポートの忠実度に対する貢献度が他のセクションよりも高いため、より高いビットレートを割り当て、ブロック構造及び量子化パラメータの変動に大きな柔軟性を持たせることができる。レンダリングされたビューポートの忠実度への貢献度が低いセクション、例えばレンダリングされたビューの横や後ろにあるセクションは、符号化の労力を減らすためによりシンプルなブロック構造で、量子化パラメータの制御におけるより低い柔軟性で、圧縮されてもよい。一般的には、より低いビットレートでは、変換係数をより粗く量子化するために、より大きな値が選択される。さらに、変換選択の適用は、ルマチャネルとクロマチャネルの間で独立していてもよく、これは、変換選択のためにルマとクロマを同時に考慮する必要性を回避して、符号化プロセスをさらに単純化するためである。特に、ルマとクロマのイントラ予測モードを別々に検討した後に、二次変換の選択のためにルマとクロマを一緒に検討する必要性を回避することができる。
図１は、ビデオ符号化及び復号システム１００の機能モジュールを示す概略ブロック図である。システム１００は、フレームのそれぞれの部分で有効になっている可能性のある異なるブロックパーティショニング制約に対応するために、フレームの異なる部分において、量子化パラメータが調整されるエリアを変化させることができる。
システム１００は、ソースデバイス１１０と、デスティネーションデバイス１３０とを含む。通信チャネル１２０は、ソースデバイス１１０からデスティネーションデバイス１３０に符号化されたビデオ情報を通信するために使用される。いくつかの構成では、ソースデバイス１１０及びデスティネーションデバイス１３０のいずれか又は両方が、それぞれの携帯電話ハンドセット又は「スマートフォン」を備えてもよく、その場合、通信チャネル１２０は、無線チャネルである。他の構成では、ソースデバイス１１０及びデスティネーションデバイス１３０は、ビデオ会議装置を備えてもよくその場合、通信チャネル１２０は、典型的には、インターネット接続などの有線チャネルである。さらに、ソースデバイス１１０及びデスティネーションデバイス１３０は、オーバーザエアテレビジョン放送をサポートするデバイス、ケーブルテレビ応用例、インターネットビデオ応用例（ストリーミングを含む）、及び符号化されたビデオデータがファイルサーバ内のハードディスクドライブのような何らかのコンピュータ読み取り可能な記憶媒体に取り込まれる応用例を含む、広範囲のデバイスのいずれかを備えてもよい。
図１に示すように、ソースデバイス１１０は、ビデオソース１１２、ビデオ符号化器１１４、及び送信器１１６を含む。ビデオソース１１２は、典型的には、画像キャプチャセンサ、非一時的記録媒体に格納された以前にキャプチャされたビデオシーケンス、又は遠隔の画像キャプチャセンサからのビデオフィードなど、キャプチャされたビデオフレームデータ（１１３として示される）のソースを備える。また、ビデオソース１１２は、コンピュータグラフィックスカードの出力であってもよく、例えば、タブレットコンピュータなどのコンピューティングデバイス上で実行されるオペレーティングシステムや様々な応用例のビデオ出力を表示するものである。ビデオソース１１２としてイメージキャプチャセンサを含んでいてもよいソースデバイス１１０の例は、スマートフォン、ビデオカムコーダ、プロ用ビデオカメラ、及びネットワークビデオカメラを含む。
ビデオ符号化器１１４は、図３を参照してさらに説明するように、ビデオソース１１２からのキャプチャされたフレームデータ（矢印１１３で示す）をビットストリーム（矢印１１５で示す）に変換（又は「符号化」）する。ビットストリーム１１５は、送信器１１６によって、符号化されたビデオデータ（又は「符号化されたビデオ情報」）として、通信チャネル１２０を介して送信される。また、ビットストリーム１１５が、後に通信チャネル１２０を介して送信されるまで、又は通信チャネル１２０を介した送信に代えて、「フラッシュ」メモリやハードディスクドライブなどの非一時的記憶デバイス１２２に記憶されることも可能である。例えば、符号化されたビデオデータは、ビデオストリーミング応用例のために、ワイドエリアネットワーク（ＷＡＮ）を介して顧客にオンデマンドで提供されることがある。
デスティネーションデバイス１３０は、受信器１３２、ビデオ復号器１３４、ディスプレイデバイス１３６を含む。受信器１３２は、通信チャネル１２０から符号化されたビデオデータを受信し、受信したビデオデータをビットストリーム（矢印１３３で示す）としてビデオ復号器１３４に渡す。そして、ビデオ復号器１３４は、復号されたフレームデータ（矢印で示す１３５）をディスプレイデバイス１３６に出力する。復号されたフレームデータ１３５は、フレームデータ１１３と同じクロマフォーマットを有している。ディスプレイデバイス１３６の例は、ブラウン管、又はスマートフォン、タブレットコンピュータ、コンピュータモニタ、若しくはスタンドアロンのテレビにあるような液晶ディスプレイを含む。また、ソースデバイス１１０及びデスティネーションデバイス１３０のそれぞれの機能が単一のデバイスで実装されることも可能であり、その例には、携帯電話のハンドセット及びタブレットコンピュータが含まれる。復号されたフレームデータは、ユーザに提示する前にさらに変換されてもよい。例えば、特定の緯度と経度を持つ「ビューポート」が、シーンの３６０°ビューを表現するために、プロジェクションフォーマットを使用して復号されたフレームデータからレンダリングされてもよい。
上述した例示的なデバイスにかかわらず、ソースデバイス１１０及びデスティネーションデバイス１３０のそれぞれは、典型的にはハードウェア及びソフトウェアコンポーネントの組み合わせによって、汎用のコンピューティングシステム内に構成されてもよい。図２Ａは、そのようなコンピュータシステム２００を示しており、このコンピュータシステム２００は、コンピュータモジュール２０１と、キーボード２０２、マウスポインタデバイス２０３、スキャナ２２６、ビデオソース１１２として構成されてもよいカメラ２２７、及びマイクロフォン２８０などの入力デバイスと、プリンタ２１５、ディスプレイデバイス１３６として構成されてもよいディスプレイデバイス２１４、及びスピーカー２１７などの出力デバイスとを含む。外部の変復調器（モデム）トランシーバデバイス２１６が、接続２２１を介して通信ネットワーク２２０との間で通信するために、コンピュータモジュール２０１によって使用されてもよい。通信チャネル１２０を表すことができる通信ネットワーク２２０は、インターネット、セルラ通信ネットワーク、又はプライベートＷＡＮなどの（ＷＡＮ）であってもよい。接続が電話回線で２２１ある場合、モデム２１６は、従来の「ダイアルアップ」モデムであってもよい。あるいは、接続２２１が大容量（例えば、ケーブル又は光）接続である場合、モデム２１６は、ブロードバンドモデムであってもよい。また、通信ネットワーク２２０への無線接続には、無線モデムを用いてもよい。送受信デバイス２１６は、送信器１１６及び受信器１３２の機能を提供してもよく、通信チャネル１２０は、接続２２１において実現されてもよい。
コンピュータモジュール２０１は、典型的には、少なくとも１つのプロセッサユニット２０５と、メモリユニット２０６とを含む。例えば、メモリユニット２０６は、半導体ランダムアクセスメモリ（ＲＡＭ）及び半導体リードオンリーメモリ（ＲＯＭ）を有していてもよい。また、コンピュータモジュール２０１は、ビデオディスプレイ２１４、スピーカー２１７及びマイクロフォン２８０に結合するオーディオ－ビデオインタフェース２０７、キーボード２０２、マウス２０３、スキャナ２２６、カメラ２２７及び任意にジョイスティック又は他のヒューマンインタフェースデバイス（不図示）に結合するＩ／Ｏインタフェース２１３、及び外部モデム２１６及びプリンタ２１５用のインタフェース２０８を含む複数の入出力（Ｉ／Ｏ）インタフェースを含む。オーディオビデオインタフェース２０７からコンピュータモニタ２１４への信号は、一般に、コンピュータグラフィックスカードの出力である。いくつかの実装では、モデム２１６は、例えばインタフェース２０８内で、コンピュータモジュール２０１内に組み込まれてもよい。コンピュータモジュール２０１はまた、ローカルネットワークインタフェース２１１を有し、これは、ローカルエリアネットワーク（ＬＡＮ）として知られるローカルエリア通信ネットワーク２２２への接続２２３を介したコンピュータシステム２００の結合を可能にする。図２Ａに示されているように、ローカル通信ネットワーク２２２は、接続２２４を介して広域ネットワーク２２０に結合することもでき、これは、いわゆる「ファイアウォール」デバイス又は同様の機能を有するデバイスを典型的に含むであろう。ローカルネットワークインタフェース２１１は、イーサネット（登録商標）回路カード、ブルートゥース（登録商標）無線構成、又はＩＥＥＥ ８０２．１１無線構成を備えていてもよいが、インタフェース２１１として多くの他のタイプのインタフェースが使用されてよい。また、ローカルネットワークインタフェース２１１は、送信器１１６と受信器１３２の機能を提供してもよく、通信チャネル１２０もローカル通信ネットワーク２２２において実現されてもよい。
Ｉ／Ｏインタフェース２０８及び２１３は、シリアル接続とパラレル接続のいずれか又は両方を与えてもよく、前者は通常、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格に従って実装され、対応するＵＳＢコネクタ（不図示）を有する。記憶デバイス２０９は、典型的にはハードディスクドライブ（ＨＤＤ）２１０を含む。また、フロッピーディスクドライブや磁気テープドライブ（不図示）などの他の記憶デバイスも使用することができる。光ディスクドライブ２１２は、典型的には、データの不揮発性ソースとして機能するために提供される。コンピュータシステム２００への適切なデータソースとして、例えば、光ディスク（例えば、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイディスク（登録商標））、ＵＳＢ－ＲＡＭ、ポータブルな外部ハードドライブ、及びフロッピーディスクなどのポータブルメモリデバイスが使用されてもよい。典型的には、ＨＤＤ２１０、光学ドライブ２１２、ネットワーク２２０及び２２２のいずれもが、ビデオソース１１２として、又はディスプレイ２１４を介した再生のために保存される復号されたビデオデータの送信先としても動作するように構成されてもよい。システム１００のソースデバイス１１０及びデスティネーションデバイス１３０は、コンピュータシステム２００において実装されてもよい。
コンピュータモジュール２０１のコンポーネント２０５～２１３は、典型的には、相互接続されたバス２０４を介して、当業者に知られているコンピュータシステム２００の従来の動作モードをもたらす方法で通信する。例えば、プロセッサ２０５は、接続２１８を用いてシステムバス２０４に結合される。同様に、メモリ２０６及び光ディスクドライブ２１２は、接続２１９によってシステムバス２０４に結合されている。説明された構成が実現できるコンピュータの例には、ＩＢＭ－ＰＣ及び互換機、Ｓｕｎ ＳＰＡＲＣｓｔａｔｉｏｎｓ、Ａｐｐｌｅ Ｍａｃ（登録商標）又は同様のコンピュータシステムが含まれる。
適切な又は所望される場合、ビデオ符号化器１１４及びビデオ復号器１３４、並びに以下に説明する方法は、コンピュータシステム２００を使用して実装されてもよい。特に、ビデオ符号化器１１４、ビデオ復号器１３４、及びこれから説明する方法は、コンピュータシステム２００内で実行可能な１つ又は複数のソフトウェアアプリケーションプログラム２３３として実装されてもよい。特に、ビデオ符号化器１１４、ビデオ復号器１３４、及び説明する方法のステップは、コンピュータシステム２００内で実行されるソフトウェア２３３内の命令２３１（図２Ｂ参照）によって実現される。ソフトウェアの命令２３１は、それぞれが１つ又は複数の特定のタスクを実行するための１つ又は複数のコードモジュールとして形成されてもよい。また、ソフトウェアは、２つの別々の部分に分割されてもよく、その場合、第１の部分及び対応するコードモジュールは、説明した方法を実行し、第２の部分及び対応するコードモジュールは、第１の部分とユーザとの間のユーザインタフェースを管理する。
ソフトウェアは、例えば、後述の記憶デバイスを含むコンピュータ読み取り可能媒体に格納されてもよい。ソフトウェアは、コンピュータ読み取り可能媒体からコンピュータシステム２００にロードされた後、コンピュータシステム２００によって実行される。このようなソフトウェア又はコンピュータプログラムが記録されたコンピュータ読み取り可能媒体は、コンピュータプログラム製品である。コンピュータシステム２００におけるコンピュータプログラム製品の使用は、好ましくは、ビデオ符号化器１１４、ビデオ復号器１３４及び説明した方法を実装するための有利な装置をもたらす。
ソフトウェア２３３は、典型的には、ＨＤＤ２１０又はメモリ２０６に格納されている。ソフトウェアは、コンピュータ読み取り可能な媒体からコンピュータシステム２００にロードされ、コンピュータシステム２００によって実行される。したがって、例えば、ソフトウェア２３３は、光ディスクドライブ２１２によって読み取られる光学的に読み取り可能なディスク記憶媒体（例えば、ＣＤ－ＲＯＭ）２２５に格納されていてもよい。
いくつかの例では、アプリケーションプログラム２３３は、１つ又は複数のＣＤ－ＲＯＭ２２５に符号化されてユーザに供給され、対応するドライブ２１２を介して読み取られてもよく、又は代替的に、ネットワーク２２０又は２２２からユーザによって読み取られてもよい。さらに、ソフトウェアは、他のコンピュータ読み取り可能媒体からコンピュータシステム２００にロードすることもできる。コンピュータ読み取り可能記憶媒体とは、実行及び／又は処理のために、記録された命令及び／又はデータをコンピュータシステム２００に提供する任意の非一時的有形記憶媒体を指す。このような記憶媒体の例には、フロッピーディスク、磁気テープ、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイディスク（登録商標）、ハードディスクドライブ、ＲＯＭ若しくは集積回路、ＵＳＢメモリ、光磁気ディスク、又はＰＣＭＣＩＡカード等のコンピュータ読み取り可能カードが含まれ、このようなデバイスがコンピュータモジュール２０１の内部にあるか外部にあるかを問わない。コンピュータモジュール４０１へのソフトウェア、アプリケーションプログラム、命令及び／又はビデオデータ若しくは符号化されたビデオデータの提供にも参加し得る一時的又は非有形のコンピュータ読み取り可能伝送媒体の例には、無線又は赤外線の伝送路のほか、他のコンピュータ又はネットワークデバイスとのネットワーク接続、及び電子メールの送信やＷｅｂサイトなどに記録された情報を含むインターネット又はイントラネットなどを含む。
上述したアプリケーションプログラム２３３の第２の部分及び対応するコードモジュールは、ディスプレイ２１４上にレンダリング又はその他の方法で表現される１つ又は複数のグラフィカルユーザインタフェース（ＧＵＩ）を実装するために実行されてもよい。典型的なキーボード２０２及びマウス２０３の操作を通じて、コンピュータシステム２００及びアプリケーションのユーザは、ＧＵＩに関連するアプリケーションに制御コマンド及び／又は入力を提供するために、機能的に適応可能な方法でインタフェースを操作することができる。また、スピーカー２１７を介して出力される音声プロンプトや、マイクロフォン２８０を介して入力されるユーザの音声コマンドを利用したオーディオインタフェースなど、機能的に適応可能なユーザインタフェースの他の形態も実装可能である。
図２Ｂは、プロセッサ２０５と「メモリ」２３４の詳細な概略ブロック図である。メモリ２３４は、図２Ａのコンピュータモジュール２０１がアクセス可能な全てのメモリモジュール（ＨＤＤ２０９と半導体メモリ２０６を含む）の論理的な集合を表している。
コンピュータモジュール２０１の初期電源投入時には、電源投入時自己診断（ＰＯＳＴ）プログラム２５０が実行される。ＰＯＳＴプログラム２５０は、典型的には、図２Ａの半導体メモリ２０６のＲＯＭ２４９に格納されている。なお、ＲＯＭ２４９のようにソフトウェアを格納しているハードウェアデバイスをファームウェアと呼ぶことがある。ＰＯＳＴプログラム２５０は、正しい機能を保証するためにコンピュータモジュール２０１内のハードウェアを検査し、典型的には、プロセッサ２０５、メモリ２３４（２０９、２０６）、及び同じく典型的にはＲＯＭ２４９に格納されている基本入出力システムソフトウェア（ＢＩＯＳ）モジュール２５１が正しく動作することをチェックする。ＰＯＳＴプログラム２５０が正常に実行されると、ＢＩＯＳ２５１は、図２Ａのハードディスクドライブ２１０を起動する。ハードディスクドライブ２１０の起動により、ハードディスクドライブ２１０に常駐しているブートストラップローダプログラム２５２がプロセッサ２０５を介して実行される。これにより、ＲＡＭメモリ２０６にオペレーティングシステム２５３がロードされ、これによりオペレーティングシステム２５３の動作が開始される。オペレーティングシステム２５３は、プロセッサ２０５によって実行可能なシステムレベルのアプリケーションであり、プロセッサ管理、メモリ管理、デバイス管理、ストレージ管理、ソフトウェアアプリケーションインタフェース、汎用ユーザインタフェースなどの様々な高レベルの機能を実現する。
オペレーティングシステム２５３は、コンピュータモジュール２０１上で実行される各プロセス又はアプリケーションが、他のプロセスに割り当てられたメモリと衝突することなく実行できる十分なメモリを有することを保証するために、メモリ２３４（２０９、２０６）を管理する。さらに、各プロセスが効果的に実行できるように、図２Ａのコンピュータシステム２００で利用可能な異なる種類のメモリが適切に使用されなければならない。したがって、集約されたメモリ２３４は、（特に断らない限り）メモリの特定のセグメントがどのように割り当てられるかを説明することを意図したものではなく、むしろコンピュータシステム２００によってアクセス可能なメモリの一般的なビューと、これがどのように使用されるかを提供することを意図したものである。
図２Ｂに示すように、プロセッサ２０５は、制御ユニット２３９、算術論理ユニット（ＡＬＵ）２４０、キャッシュメモリと呼ばれることもあるローカル又は内部メモリ２４８を含む多数の機能モジュールを含む。キャッシュメモリ２４８は、典型的には、レジスタセクションに多数の記憶レジスタ２４４～２４６を含む。１つ又は複数の内部バス２４１は、これらの機能モジュールを機能的に相互接続する。プロセッサ２０５はまた、典型的には、接続２１８を用いて、システムバス２０４を介して外部デバイスと通信するための１つ以上のインタフェース２４２を有する。メモリ２３４は、接続２１９を用いてバス２０４に結合されている。
アプリケーションプログラム２３３は、条件付きの分岐命令やループ命令を含んでもよい一連の命令２３１を含む。プログラム２３３はまた、プログラム２３３の実行時に使用されるデータ２３２を含んでいてもよい。命令２３１及びデータ２３２は、それぞれ、メモリ位置２２８、２２９、２３０及び２３５、２３６、２３７に格納される。命令２３１及びメモリ位置２２８～２３０の相対的なサイズに応じて、メモリ位置２３０に示された命令によって描かれるように、特定の命令が単一のメモリ位置に格納されてもよい。代わりに、命令は、メモリ位置２２８及び２２９に示された命令セグメントによって描かれるように、それぞれが別のメモリ位置に格納されるいくつかの部分にセグメント化されてもよい。
一般的に、プロセッサ２０５は、そこで実行される命令のセットを与えられる。プロセッサ２０５は、後続の入力を待ち、それに対してプロセッサ２０５は、別の命令セットを実行することによって反応する。各入力は、入力デバイス２０２、２０３のうちの１つ以上によって生成されたデータ、ネットワーク２２０、２０２のうちの１つを介して外部ソースから受信されたデータ、記憶デバイス２０６、２０９のうちの１つから取得されたデータ、又は対応するリーダ２１２に挿入された記憶媒体２２５から取得されたデータを含む、複数のソースのうちの１つ以上から提供されてもよく、これらは全て図２Ａに描かれている。一連の命令の実行は、場合によっては、データの出力を伴うことがある。また、実行は、データ又は変数をメモリ２３４に格納することを含んでもよい。
ビデオ符号化器１１４、ビデオ復号器１３４、及び説明した方法は、対応するメモリ位置２５５、２５６、２５７でメモリ２３４に格納される２５４，入力変数を使用してもよい。ビデオ符号化器１１４、ビデオ復号器１３４、及び説明した方法は、対応するメモリ位置２６２、２６３、２６４においてメモリ２３４に格納される出力変数２６１を生成する。中間変数２５８が、メモリ位置２５９、２６０、２６６、２６７に格納されてもよい。
図２Ｂのプロセッサ２０５を参照すると、レジスタ２４４、２４５、２４６、算術論理ユニット（ＡＬＵ）２４０、及び制御ユニット２３９は、プログラム２３３を構成する命令セットの全ての命令について「フェッチ、復号、及び実行」サイクルを実行するために必要なマイクロ演算のシーケンスを実行するために協働する。各フェッチ、復号、及び実行サイクルは、以下のものを含む。
メモリ位置２２８、２２９、２３０から命令２３１をフェッチ又は読み出すフェッチ動作。
制御ユニット２３９が、どの命令がフェッチされたかを判断する復号動作。
制御ユニット２３９及び／又はＡＬＵ２４０が命令を実行する実行動作。
メモリ位置２２８、２２９、２３０から命令２３１をフェッチ又は読み出すフェッチ動作。
制御ユニット２３９が、どの命令がフェッチされたかを判断する復号動作。
制御ユニット２３９及び／又はＡＬＵ２４０が命令を実行する実行動作。
その後、次の命令のためのさらなるフェッチ、復号、及び実行サイクルが実行されてもよい。同様に、制御ユニット２３９がメモリ位置２３２に値を格納又は書き込む格納サイクルが実行されてもよい。
これから説明する図１３～１８の方法における各ステップ又はサブプロセスは、プログラム２３３の１つ又は複数のセグメントに関連付けられており、典型的には、プロセッサ２０５内のレジスタ部２４４、２４５、２４７、ＡＬＵ２４０、及び制御ユニット２３９が協働して、プログラム２３３の言及されたセグメントについての命令セット内の全ての命令のフェッチ、復号、及び実行サイクルを実行することにより実行される。
図３は、ビデオ符号化器１１４の機能モジュールを示す概略ブロック図である。図４は、ビデオ復号器１３４の機能モジュールを示す概略ブロック図である。一般に、ブロックの固定サイズのサブブロックへの分割のような、サンプル若しくは係数のグループ、又はアレイとして、データはビデオ符号化器１１４内の機能モジュール及びビデオ復号器１３４内の機能モジュール間を通過する。ビデオ符号化器１１４及びビデオ復号器１３４は、図２Ａ及び図２Ｂに示すように、汎用コンピュータシステム２００を使用して実装されてもよく、ここで、様々な機能モジュールは、コンピュータシステム２００内の専用ハードウェアによって、ハードディスクドライブ２０５に存在しプロセッサ２０５によってその実行が制御される、ソフトウェアアプリケーションプログラム２３３の１つ以上のソフトウェアコードモジュールのようなコンピュータシステム２００内で実行可能なソフトウェアによって、実装されてもよい。あるいは、ビデオ符号化器１１４及びビデオ復号器１３４は、専用のハードウェアと、コンピュータシステム２００内で実行可能なソフトウェアとの組み合わせによって実装されてもよい。ビデオ符号化器１１４、ビデオ復号器１３４、及び説明した方法は、代替的に、説明した方法の機能又はサブ機能を実行する１つ又は複数の集積回路などの専用ハードウェアに実装されてもよい。そのような専用ハードウェアは、グラフィックプロセッシングユニット（ＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け標準製品（ＡＳＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は１つ又は複数のマイクロプロセッサ及び関連するメモリを含んでもよい。特に、ビデオ符号化器１１４はモジュール３１０～３９０を備え、ビデオ復号器１３４はモジュール４２０～４９６を備え、それぞれがソフトウェアアプリケーションプログラム２３３の１つ以上のソフトウェアコードモジュールとして実装されてもよい。
図３のビデオ符号化器１１４は、多用途ビデオ符号化（ＶＶＣ）ビデオ符号化パイプラインの一例であるが、本明細書で説明する処理段階を実行するために他のビデオコーデックを使用することもできる。ビデオ符号化器１１４は、一連のフレームのようなキャプチャされたフレームデータ１１３を受け取り、各フレームは１つ以上のカラーチャネルを含む。フレームデータ１１３は、例えば４：０：０、４：２：０、４：２：２、又は４：４：４のクロマフォーマットなど、任意のクロマフォーマットであってよい。ブロックパーティショナー３１０は、まず、フレームデータ１１３を、一般的に正方形の形状で、ＣＴＵの特定のサイズが使用されるように構成されている、ＣＴＵに分割する。ＣＴＵのサイズは、例えば、６４×６４、１２８×１２８、又は２５６×２５６のルマサンプルであってもよい。ブロックパーティショナー３１０は、さらに、各ＣＴＵを、ルマ符号化ツリー及びクロマ符号化ツリーに従って、１つ又は複数のＣＢに分割する。ルマチャネルは、プライマリカラーチャネルと呼ばれることもある。また、各クロマチャネルは、セカンダリカラーチャネルと呼ばれることもある。ＣＢは、様々なサイズを有し、正方形及び非正方形のアスペクト比の両方を含んでいてもよい。ブロックパーティショナー３１０の動作については、図１３～１５を参照してさらに説明する。しかし、ＶＶＣ規格では、ＣＢ、ＣＵ、ＰＵ、及びＴＵは、常に２の累乗である辺の長さを有する。したがって、３１２として表される現在のＣＢはブロックパーティショナー３１０から出力され、これはＣＴＵのルマ符号化ツリー及びクロマ符号化ツリーに従って、ＣＴＵの１つ又は複数のブロックに対する繰り返しに従って進行する。ＣＴＵをＣＢに分割するための選択肢（オプション）については、図５及び図６を参照して以下でさらに説明する。動作はおおむねＣＴＵごとに説明されるが、ビデオ符号化器１１４及びビデオ復号器１３４は、メモリ消費を減らすために、より小さいサイズの領域で動作することができる。例えば、各ＣＴＵは、サイズ６４×６４の「仮想パイプラインデータユニット」（ＶＰＤＵ）として知られるより小さな領域に分割することができる。ＶＰＤＵは、完全なＣＴＵに対して動作する場合と比較して、メモリフットプリントの削減によりシリコン面積が減少し、その結果コストが削減されるハードウェアアーキテクチャにおいて、パイプライン処理により適したデータの粒度を形成する。
フレームデータ１１３の第１の分割から得られるＣＴＵは、ラスタースキャン順にスキャンされてもよく、１つ以上の「スライス」にグループ化されてもよい。スライスは、「イントラ」（又は「Ｉ」）スライスであってもよい。イントラスライス（Ｉスライス）は、そのスライス内の全てのＣＵがイントラ予測されていることを示す。また、スライスが片方向予測又は双方向予測（それぞれ「Ｐ」又は「Ｂ」スライス）されていてもよく、これはそのスライスにおいて片方向予測及び双方向予測がそれぞれ追加的に利用可能であることを示す。
Ｉスライスでは、各ＣＴＵの符号化ツリーが、ルマ用とクロマ用の２つの別の符号化ツリーへと、６４×６４レベルより下で分岐している場合がある。別々のツリーを使用することは、ＣＴＵのルマ６４×６４エリア内で、ルマとクロマとの間で異なるブロック構造が存在することを可能にする。例えば、大きなクロマＣＢが多数の小さなルマＣＢとコロケートされていてもよく、その反対であってもよい。Ｐ又はＢスライスでは、ＣＴＵの単一符号化ツリーが、ルマとクロマに共通のブロック構造を定義する。単一のツリーの結果として得られるブロックは、イントラ予測又はインター予測されてもよい。
各ＣＴＵについて、ビデオ符号化器１１４は、２つの段階で動作する。第１の段階（「検索」段階と呼ばれる）では、ブロックパーティショナー３１０は、符号化ツリーの様々な潜在的な構成をテストする。符号化ツリーの各潜在的な構成は、関連する「候補」ＣＢを有する。第１段階では、相対的に高い圧縮効率を相対的に低い歪みで提供するＣＢを選択するために、様々な候補ＣＢをテストする。このテストには一般的にラグランジュ最適化が含まれており、それによって候補ＣＢはレート（符号化コスト）と歪み（入力フレームデータ１１３に対する誤差）の重み付けされた組み合わせに基づいて評価される。「最良」の候補ＣＢ（評価されたレート／歪みが最も小さいＣＢ）は、その後のビットストリーム１１５への符号化のために選択される。候補ＣＢの評価に含まれるのは、所与のエリアに対するＣＢを使用するか、又は様々な分割オプションに従ってエリアにさらに分割し、小さくなった結果のエリアのそれぞれをさらなるＣＢで符号化するか、又はエリアをよりさらに分割するか、というオプションである。結果として、符号化ツリーとＣＢの両方が検索段階で選択されることになる。
ビデオ符号化器１１４は、各ＣＢ、例えばＣＢ３１２に対して、矢印３２０で示される予測ブロック（ＰＢ）を生成する。ＰＢ３２０は、関連するＣＢ３１２の内容を予測したものである。減算器モジュール３２２は、ＰＢ３２０とＣＢ３１２との間の、３２４として示される差分（又は、差分が空間ドメインにあることを指して「残差」）を生成する。差分３２４は、ＰＢ３２０とＣＢ３１２の対応するサンプル間のブロックサイズでの差分である。差分３２４は、変換され、量子化され、矢印３３６で示される変換ブロック（ＴＢ）として表される。ＰＢ３２０及び関連するＴＢ３３６は、典型的には、例えば、評価されたコスト又は歪みに基づいて、多数の可能な候補ＣＢの１つから選択される。
候補符号化ブロック（ＣＢ）は、関連するＰＢについての、ビデオ符号化器１１４が利用可能な予測モードの１つと、その結果得られる残差により得られるＣＢである。ビデオ復号器１１４において予測されたＰＢと組み合わされるときに、ＴＢ３３６は、ビットストリームにおける追加のシグナリングを費用として、復号されたＣＢとオリジナルのＣＢ３１２との間の差を低減する。
各候補符号化ブロック（ＣＢ）、つまり予測ブロック（ＰＢ）と変換ブロック（ＴＢ）の組み合わせは、したがって、関連する符号化コスト（又は「レート」）と関連する差分（又は「歪み」）を有している。ＣＢの歪みは、サンプル値の差、例えば、絶対差の和（ＳＡＤ）や二乗差の和（ＳＳＤ）として推定される。予測モード３８７を決定するために、各候補ＰＢから得られる推定が、モードセレクタ３８６によって差分３２４を用いて決定されてもよい。予測モード３８７は、現在のＣＢに対して、例えばフレーム内予測やフレーム間予測などの特定の予測モードを使用する決定を示す。各候補予測モード及び対応する残差符号化に関連する符号化コストの推定は、残差のエントロピー符号化よりも著しく低いコストで実行することができる。これにより、リアルタイムビデオ符号化器においても、複数の候補モードを評価して、レート－歪みの観点から最適なモードを決定することができる。
レート－歪みの観点からの最適なモードの決定は、典型的には、ラグランジュ最適化のバリエーションを使用して達成される。
ラグランジュ又は同様の最適化処理は、（ブロックパーティショナー３１０による）ＣＴＵのＣＢへの最適な分割と、複数の可能性からの最良の予測モードの選択との双方に採用することができる。モードセレクタモジュール３８６における候補モードのラグランジュ最適化プロセスの適用により、最も低コストの測定値を伴うイントラ予測モードが「最良」のモードとして選択される。最も低コストのモードは、選択された二次変換インデックス３８８であり、これもまたエントロピー符号化器３３８によってビットストリーム１１５に符号化される。
ビデオ符号化器１１４の動作の第２段階（「符号化」段階と呼ばれる）では、各ＣＴＵの決定された符号化ツリーに対する繰り返しが、ビデオ符号化器１１４において行われる。別々のツリーを使用するＣＴＵの場合、ＣＴＵの各６４×６４のルマ領域に対して、まずルマ符号化ツリーが符号化され、続いてクロマ符号化ツリーが符号化される。ルマ符号化ツリー内では、ルマＣＢのみが符号化され、クロマ符号化ツリー内では、クロマＣＢのみが符号化される。共有ツリーを用いたＣＴＵでは、共有ツリーの共通ブロック構造に従って、単一のツリーがＣＵ、すなわちルマＣＢ及びクロマＣＢを記述される。
エントロピー符号化器３３８は、シンタックス要素の可変長符号化とシンタックス要素の算術符号化の両方をサポートしている。「パラメータセット」のようなビットストリームの部分、例えばシーケンスパラメータセット（ＳＰＳ）やピクチャパラメータセット（ＰＰＳ）は、固定長コードワードと可変長コードワードの組み合わせを使用する。スライス（連続部分とも呼ばれる）は、可変長符号化を使用するスライスヘッダと、それに続く算術符号化を使用するスライスデータとを有する。スライスヘッダには、スライスレベルの量子化パラメータオフセットなど、現在のスライスに固有のパラメータが定義されている。スライスデータには、スライス内の各ＣＴＵのシンタックス要素が含まれている。可変長符号化と算術符号化を使用するには、ビットストリームの各部分の中で順次解析を行う必要がある。部分はスタートコードで区切られてもよく、「ネットワーク抽象化層ユニット」又は「ＮＡＬユニット」を形成することができる。算術符号化は、コンテキスト適応型の二値算術符号化プロセスを使用してサポートされる。算術符号化されたシンタックス要素は、１つ又は複数の「ビン」のシーケンスで構成される。ビンは、ビットと同様に、「０」又は「１」の値を持つ。しかし、ビンは、ビットストリーム１１５において、離散的なビットとして符号化されない。ビンは、関連する予測された（又は「可能性が高い」又は「最もありそうな」）値と、関連する確率とを有し、これは「コンテキスト」として知られている、。符号化される実際のビンが予測値と一致する場合、「優勢シンボル」（ＭＰＳ）が符号化される。優勢シンボルの符号化は、ビットストリーム１１５において消費されるビット点で比較的安価であり、１つの離散ビット未満に相当するコストを含む。符号化される実際のビンが、可能性が高い値とミスマッチする場合、「劣勢シンボル」（ＬＰＳ）が符号化される。劣勢シンボルの符号化は、消費されるビットの観点では比較的高いコストを有する。ビン符号化技術は、「０」と「１」の確率が偏っているビンの効率的な符号化を可能とする。２つの可能な値を持つシンタックス要素（つまり「フラグ」）の場合、１つのビンで十分である。多くの可能な値を持つシンタックス要素については、ビンのシーケンスが必要である。
また、シーケンス内の後のビンの存在は、シーケンス内の先行するビンの値に基づいて決定されてもよい。さらに、各ビンは複数のコンテキストと関連していてもよい。特定のコンテキストの選択は、シンタックス要素の先行するビン、隣接するシンタックス要素（すなわち、隣接するブロックのもの）のビンの値などに依存することができる。コンテキスト符号化されたビンが符号化されるたびに、そのビンに対して選択されたコンテキスト（もしあれば）は、新しいビンの値を反映した方法で更新される。このように、二値算術符号化方式は適応的であると言われている。
また、ビデオ符号化器１１４がサポートするのは、コンテキストを持たないビン（「バイパスビン」）である。バイパスビンは、「０」と「１」の間の等しい(equiprobable)分布を仮定して符号化される。したがって、各ビンは、ビットストリーム１１５の１ビット分の符号化コストを有する。コンテキストがないため、メモリを節約し、複雑さを軽減することができる。したがって、バイパスビンは、特定のビンの値の分布が歪んでいない場合に使用される。コンテキストと適応を採用したエントロピー符号化器の一例は、ＣＡＢＡＣ(Context Adaptive Binary Arithmetic Coder)として当技術分野で知られており、この符号化器の多くの変形がビデオ符号化に採用されている。
エントロピー符号化器３３８は、コンテキスト符号化されたビンとバイパス符号化されたビンとの組み合わせを用いて、量子化パラメータ３９２と、現在のＣＢに使用されている場合には、ＬＦＮＳＴインデックス３８８とを符号化する。量子化パラメータ３９２は、「デルタＱＰ」を用いて符号化される。デルタＱＰは、「量子化グループ」と呼ばれる各エリアで最大１回だけシグナリングされる。量子化パラメータ３９２は、ルマＣＢの残差係数に適用される。調整された量子化パラメータは、コロケートされたクロマＣＢの残差係数に適用される。調整された量子化パラメータは、マッピングテーブルに従ったルマ量子化パラメータ３９２からのマッピングと、オフセットのリストから選択されたＣＵレベルのオフセットとを含んでもよい。二次変換インデックス３８８は、変換ブロックに関連付けられた残差が、二次変換の適用による一次係数への変換の対象となる係数位置においてのみ有意な残差係数を含む場合に、シグナリングされる。
マルチプレクサモジュール３８４は、各候補ＣＢのテストされた予測モードから選択された、決定された最良のイントラ予測モードに従って、ＰＢ３２０をイントラフレーム予測モジュール３６４から出力する。候補予測モードは、ビデオ符号化器１１４がサポートする考えられる全ての予測モードを含む必要はない。イントラ予測は、３つのタイプに分類される。「ＤＣイントラ予測」は、近くの再構成されたサンプルの平均を表す単一の値でＰＢを埋めることを伴う。「平面イントラ予測」は、平面に応じたサンプルをＰＢに配置することを伴い、ＤＣオフセットと垂直及び水平勾配は、近くの再構成された隣接サンプルから得られる。近くの再構成されたサンプルは、典型的には、現在のＰＢの上にあり、ＰＢの右側にある程度伸びている再構成されたサンプルの行と、現在のＰＢの左にあり、ＰＢを超えて下にある程度延びている再構成されたサンプルの列と、を含む。「角度イントラ予測」は、フィルタリングされ、特定の方向（又は「角度」）にＰＢを横切って広がる、再構成された隣接サンプルをＰＢに配置することを伴う。ＶＶＣでは、６５個の角度がサポートされており、長方形のブロックは、正方形のブロックでは利用できない追加の角度を利用することができ、合計８７個の角度を作り出すことができる。４つ目のイントラ予測は、クロマＰＢで利用可能である。これは、「クロスコンポーネントリニアモデル」（ＣＣＬＭ）モードに従って、コロケートされたルマの再構成されたサンプルからＰＢを生成するものである。３つの異なるＣＣＬＭモードが利用可能であり、それぞれのモードは、隣接するルマとクロマのサンプルから得られる異なるモデルを使用する。得られたモデルは、コロケートされたルマサンプルからクロマＰＢのサンプルのブロックを生成するために用いられる。
フレームの端など、以前に再構成されたサンプルが利用できない場合は、サンプルの範囲の半分のハーフトーンのデフォルト値が使用される。例えば、１０ビットのビデオの場合、５１２の値が使用される。フレームの左上に位置するＣＢについては、以前に利用可能なサンプルがないため、角度イントラ予測モード及び平面イントラ予測モードは、ＤＣ予測モードと同じ出力、すなわちハーフトーン値を大きさとするサンプルの平坦な平面を生成する。
フレーム間予測のためには、動き補償モジュール３８０によって、ビットストリーム内の符号化順序フレームにおいて現在のフレームに先行する１つ又は２つのフレームからのサンプルを用いて予測ブロック３８２が生成され、マルチプレクサモジュール３８４によってＰＢ３２０として出力される。さらに、フレーム間予測のためには、典型的には、単一の符号化ツリーが、ルマチャネルとクロマチャネルの両方に使用される。ビットストリーム内の符号化フレームの順序は、キャプチャ又は表示時のフレームの順序とは異なる場合がある。予測に１つのフレームが使用される場合、そのブロックは「片方向予測される」と呼ばれ、関連する１つの動きベクトルを有する。予測に２つのフレームが使用される場合、そのブロックは「双方向予測される」と呼ばれ、関連する２つの動きベクトルを有する。Ｐスライスの場合、各ＣＵは、イントラ予測又は片方向予測されるだろう。Ｂスライスの場合、各ＣＵは、イントラ予測、片方向予測、又は双方向予測されるだろう。フレームは、典型的には、「ピクチャのグループ」構造を用いて符号化され、フレームの時間的な階層化を可能にする。フレームは複数のスライスに分割されてもよく、各スライスはフレームの一部を符号化する。フレームの時間的な階層化により、フレームを表示する順番に、先行する画像と後続する画像を参照することができる。画像は、各フレームを復号するための依存関係が満たされることを保証するために必要な順序で符号化される。
サンプルは、動きベクトル３７８及び参照ピクチャインデックスに従って選択される。動きベクトル３７８及び参照ピクチャインデックスは、全てのカラーチャネルに適用され、したがって、インター予測は、ＰＢではなくＰＵに対する操作の観点から主に記述され、すなわち、各ＣＴＵの１つ又は複数のインター予測されたブロックへの分解は、単一の符号化ツリーで記述される。インター予測方式は、動きパラメータの数及びその精度において異なる場合がある。動きパラメータは、通常、参照フレームのリストのうちの参照フレームを使用するかを示す参照フレームインデックスと、各参照フレームの空間変換とを含むが、より多くのフレーム、特別フレーム、又はスケーリング及びローテーションなどの複雑なアフィンパラメータを含んでいてもよい。さらに、参照サンプルブロックに基づいて緻密な動きの推定値を生成するために、事前に決定された動きの精緻化プロセスが適用されてもよい。
ＰＢ３２０を決定及び選択し、減算器３２２でオリジナルのサンプルブロックからＰＢ３２０を減算した結果、３２４で表される符号化コストが最も低い残差が得られ、非可逆圧縮にかけられる。非可逆圧縮処理は、変換、量子化、エントロピー符号化の各ステップからなる。順方向一次変換モジュール３２６は、差分３２４に順方向変換を適用して、差分３２４を空間ドメインから周波数ドメインに変換し、矢印３２８で表される一次変換係数を生成する。一次元における最大の一次変換サイズは、３２ポイントのＤＣＴ－２又は６４ポイントのＤＣＴ－２変換のいずれかである。符号化されるＣＢが、ブロックサイズとして表されるサポートされる最大の一次変換サイズ、すなわち６４×６４又は３２×３２よりも大きい場合、一次変換３２６は、差分３２４の全てのサンプルを変換するために、タイル状に適用される。変換３２６の適用は、ＣＢに対する複数のＴＢをもたらす。変換の各適用が、３２×３２よりも大きい、例えば６４×６４の、差分３２４のＴＢに対して行われる場合、結果として生じる、ＴＢの左上３２×３２のエリアの外側にある全ての一次変換係数３２８は、ゼロに設定され、すなわち廃棄される。残りの一次変換係数３２８は、量子化モジュール３３４に渡される。一次変換係３２８数は、ＣＢに関連付けられた量子化パラメータ３９２に従って量子化され、一次変換係数３３２を生成する。量子化パラメータ３９２は、ルマＣＢと各クロマＣＢとで異なる場合がある。一次変換係数３３２は、順方向二次変換モジュール３３０に渡され、非分離二次変換（ＮＳＳＴ）演算又は二次変換のバイパスのいずれかを実行することにより、矢印３３６で表される変換係数を生成する。順方向一次変換は、典型的には分離可能であり、各ＴＢの行のセットを変換し、次に列のセットを変換する。順方向一次変換モジュール３２６は、幅及び高さが１６サンプルを超えないルマＴＢに対して、水平及び垂直方向にＩＩ型離散コサイン変換（ＤＣＴ－２）を使用するか、水平及び垂直方向に変換をバイパスするか、又は、水平又は垂直方向にＶＩＩ型離散サイン変換（ＤＳＴ－７）とＶＩＩＩ型離散コサイン変換（ＤＣＴ－８）の組み合わせを使用する。ＶＶＣ規格では、ＤＳＴ－７とＤＣＴ－８の組み合わせを「マルチトランスフォームセレクションセット」（ＭＴＳ）と呼んでいる。
モジュール３３０の順方向二次変換は、一般に非分離変換であり、イントラ予測されたＣＵの残差に対してのみ適用され、それにもかかわらず、バイパスされることもある。フォワード二次変換は、１６サンプル（一次変換係数３２８の左上の４×４サブブロックとして配置されている）又は４８サンプル（一次変換係数３２８の８×８係数左上における３つの４×４サブブロックとして配置されている）のいずれかに対して行われ、二次変換係数のセットを生成する。二次変換係数のセットは、それらが導出される一次変換係数のセットよりも数が少なくてもよい。互いに隣接し、ＤＣ係数を含む係数のセットのみに二次変換を適用するために、二次変換は「低周波数非分離二次変換」（ＬＦＮＳＴ）と呼ばれる。さらに、ＬＦＮＳＴが適用されると、一次変換ドメインと二次変換ドメインの両方で、ＴＢの残りの全ての係数はゼロでなければならない。
量子化パラメータ３９２は、所与のＴＢに対して一定であり、したがって、ＴＢの一次変換ドメインにおける残差係数の生成に対して一様なスケーリングをもたらす。量子化パラメータ３９２は、シグナリングされた「デルタ量子化パラメータ」で周期的に変化してもよい。デルタ量子化パラメータ（ｄｅｌｔａ ＱＰ）は、「量子化グループ」と称される所与のエリア内に含まれるＣＵに対して一度だけシグナリングされる。１つのＣＵが量子化グループのサイズよりも大きい場合、デルタＱＰはＣＵのＴＢの１つについて１回シグナリングされる。つまり、デルタＱＰは、エントロピー符号化器３３８によって、ＣＵの最初の量子化グループに対して１回だけシグナリングされ、それ以降のＣＵの量子化グループに対してはシグナリングされない。不均一なスケーリングは、「量子化マトリックス」の適用によっても可能であり、これにより、各残差係数に適用されるスケーリング係数は、量子化パラメータ３９２とスケーリングマトリックスの対応するエントリとの組み合わせから得られる。スケーリングマトリックスは、ＴＢのサイズよりも小さいサイズを有することができ、ＴＢに適用されるときには、ＴＢのサイズよりも小さいサイズのスケーリングマトリックスから各残差係数のスケーリング値を提供するために、最近傍アプローチが使用される。残差係数３３６は、ビットストリーム１１５内で符号化するために、エントロピー符号化器３３８に供給される。典型的には、ＴＵの少なくとも１つの有意な残差係数を有する各ＴＢの残差係数は、スキャンパターンに従って、値の順序付けられたリストを生成するためにスキャンされる。スキャンパターンは、一般に、４×４の「サブブロック」のシーケンスとしてＴＢをスキャンし、残差係数の４×４セットの粒度で規則的なスキャン動作を提供し、サブブロックの構成はＴＢのサイズに依存する。各サブブロック内のスキャンと、あるサブブロックから次のサブブロックへの進行は、典型的には、後方対角線スキャン(backward diagonal scan)パターンに従う。さらに、量子化パラメータ３９２は、デルタＱＰシンタックス要素を用いてビットストリーム１１５に符号化され、二次変換インデックス３８８は、図１３～１５を参照して説明する条件でビットストリーム１１５に符号化される。
上述したように、ビデオ符号化器１１４は、ビデオ復号器１３４で見られる復号されたフレーム表現に対応するフレーム表現にアクセスする必要がある。したがって、残差係数３３６は、二次変換インデックス３８８に従って動作する逆二次変換モジュール３４４に渡され、矢印３４２で表される中間逆変換係数が生成される。中間逆変換係数は、量子化パラメータ３９２に従って逆量子化モジュール３４０によって逆量子化され、矢印３４６で表される逆変換係数を生成する。中間逆変換係数３４６は、逆一次変換モジュール３４８に渡され、矢印３５０で表されるＴＵの残差サンプルを生成する。逆二次変換モジュール３４４によって実行される逆変換のタイプは、順二次変換モジュール３３０によって実行される順変換のタイプに対応する。逆一次変換モジュール３４８によって実行される逆変換のタイプは、一次変換モジュール３２６によって実行される一次変換のタイプに対応する。積算モジュール３５２は、残差サンプル３５０とＰＵ３２０とを加算して、ＣＵの再構成されたサンプル（矢印３５４で示す）を生成する。
再構成されたサンプル３５４は、参照サンプルキャッシュ３５６及びインループフィルタモジュール３６８に渡される。参照サンプルキャッシュ３５６は、典型的にはＡＳＩＣ上のスタティックＲＡＭを使用して実装され（したがって、コストのかかるオフチップメモリアクセスを回避する）、フレーム内の後続のＣＵについてのイントラフレームＰＢを生成するための依存関係を満たすために必要な最小限のサンプルストレージを提供する。最小限の依存性は、典型的には、次の行のＣＴＵで使用するための、ＣＴＵの行の下端に沿ったサンプルの「ラインバッファ」、及びＣＴＵの高さによって設定される程度の列バッファを含む。参照サンプルキャッシュ３５６は、参照サンプル（矢印３５８で表される）を参照サンプルフィルタ３６０に供給する。サンプルフィルタは、平滑化操作を適用３６０して、フィルタリングされた参照サンプル（矢印３６２で示す）を生成する。フィルタリングされた参照サンプル３６２は、イントラフレーム予測モジュール３６４によって使用され、矢印３６６で表されるイントラ予測されたサンプルのブロックを生成する。各候補イントラ予測モードについて、イントラフレーム予測モジュール３６４は、サンプルのブロック、つまり３６６を生成する。サンプルのブロック３６６は、ＤＣイントラ予測、平面イントラ予測、角度イントラ予測などの技術を用いて、モジュール３６４によって生成される。
インループフィルタモジュール３６８は、再構成されたサンプル３５４にいくつかのフィルタリング段階を適用する。フィルタリング段階は、「デブロッキングフィルタ」（ＤＢＦ）を含み、これは、不連続性から生じるアーティファクトを低減するために、ＣＵ境界に整列した平滑化を適用する。インループフィルタモジュール３６８に存在する別のフィルタリング段階は、「適応ループフィルタ」（ＡＬＦ）であり、これは、ウィーナーベースの適応フィルタを適用して歪みをさらに低減する。インループフィルタモジュール３６８に存在する別のフィルタリング段階は、「サンプル適応オフセット」（ＳＡＯ）フィルタである。ＳＡＯフィルタは、まず、再構成されたサンプルを１つ又は複数のカテゴリに分類し、割り当てられたカテゴリに応じて、サンプルレベルでオフセットを適用することにより動作する。
矢印３７０で表されるフィルタリングされたサンプルは、インループフィルタモジュール３６８から出力される。フィルタリングされたサンプル３７０は、フレームバッファ３７２に格納される。フレームバッファ３７２は、典型的には、複数（例えば最大１６枚）のピクチャを格納する容量を有しており、そして、メモリ２０６に格納される。フレームバッファ３７２は、必要なメモリ消費が大きいため、典型的にはオンチップメモリを使用して格納されない。そのため、フレームバッファ３７２へのアクセスは、メモリの帯域幅の点でコストがかかる。フレームバッファ３７２は、動き推定モジュール３７６及び動き補償モジュール３８０に参照フレーム（矢印３７４で表される）を提供する。
動き推定モジュール３７６は、フレームバッファ３７２内の参照フレームの１つのブロックを参照して、それぞれが現在のＣＢの位置からのデカルト空間オフセットである複数の「動きベクトル」（３７８として示される）を推定する。参照サンプルのフィルタリングされたブロック（３８２として示される）は、各動きベクトルに対して生成される。フィルタリングされた参照サンプル３８２は、モードセレクタ３８６による潜在的な選択のために利用可能な更なる候補モードを形成する。さらに、所与のＣＵについて、ＰＵ３２０は、１つの参照ブロックを用いて形成されてもよいし（「片方向予測」）、２つの参照ブロックを用いて形成されてもよい（「双方向予測」）。選択された動きベクトルに対して、動き補償モジュール３８０は、動きベクトルのサブピクセル精度を支えるフィルタリング処理に従って、ＰＢ３２０を生成する。このように、動き推定モジュール３７６（多くの候補の動きベクトルに対して動作する）は、動き補償モジュール３８０（選択された候補のみに対して動作する）のフィルタリング処理と比較して簡略化されたフィルタリング処理を実行して、計算複雑性の低減を実現してもよい。ビデオ符号化器１１４がＣＵに対してインター予測を選択すると、動きベクトル３７８がビットストリーム１１５に符号化される。
図のビデオ符号化器１１４は、多用途ビデオ符号化（ＶＶＣ）に関して説明されている３が、他のビデオ符号化規格又は実装も、モジュール３１０～３９０の処理段階を採用することができる。また、フレームデータ１１３（ビットストリーム１１５）は、メモリ２０６、ハードディスクドライブ２１０、ＣＤ－ＲＯＭ、ブルーレイディスク（登録商標）、又はその他のコンピュータ読み取り可能記憶媒体から読み出されて（又は書き込まれて）もよい。さらに、フレームデータ（１１３及びビットストリーム１１５）は、通信ネットワーク２２０に接続されたサーバ又は無線周波数受信器などの外部ソースから受信されてもよい（又は、外部ソースに送信されてもよい）。通信ネットワーク２２０は、限られた帯域幅を提供してもよく、フレームデータ１１３の圧縮が困難な時にネットワークが飽和しないように、ビデオ符号化器１１４でレート制御を使用する必要が生じる。さらに、ビットストリーム１１５は、プロセッサ２０５の制御下で協調的に動作するビデオ符号化器１１４の１つ又は複数のインスタンスによって生成された、フレームデータ１１３の空間セクション（ＣＴＵの集合）を表す１つ又は複数のスライスから構成されてもよい。本開示のコンテキストでは、スライスは、ビットストリームの「連続部分」とも呼ばれる。スライスは、ビットストリーム内で連続しており、例えば、並列処理が使用されている場合には、別々の部分として符号化又は復号することができる。
ビデオ復号器１３４は、図４に示されている。図４のビデオ復号器１３４は、ＶＶＣ(Various Video Coding)ビデオ復号パイプラインの一例であるが、他のビデオコーデックを使用して、本明細書で説明する処理段階を実行することもできる。図４に示すように、ビデオ復号器１３４には、ビットストリーム１３３が入力される。ビットストリーム１３は、メモリ２０６、ハードディスクドライブ２１０、ＣＤ－ＲＯＭ、ブルーレイディスク（登録商標）又はその他の非一時的コンピュータ読み取り可能記憶媒体から読み取られて３もよい。あるいは、ビットストリーム１３３は、通信ネットワーク２２０に接続されたサーバ又は無線周波数受信器などの外部ソースから受信されてもよい。ビットストリーム１３３は、復号されるキャプチャされたフレームデータを表す符号化されたシンタックス要素を含んでいる。
このビットストリームは、エントロピー復号器モジュール４２０に１３３入力される。エントロピー復号器モジュール４２０は、「ビン」のシーケンスを復号することにより、ビットストリーム１３３からシンタックス要素を抽出し、シンタックス要素の値をビデオ復号器１３４の他のモジュールに渡す。エントロピー復号器モジュール４２０は、可変長及び固定長復号を使用して、ＳＰＳ、ＰＰＳ又はスライスヘッダを復号し、算術復号エンジンを使用して、スライスデータのシンタックス要素を１つ又は複数のビンのシーケンスとして復号する。各ビンは、１つ以上の「コンテキスト」を使用することができ、コンテキストには、そのビンの「１」と「０」の値を符号化するために使用される確率レベルが記述されている。あるビンに対して複数のコンテキストが利用可能な場合、「コンテキストモデリング」又は「コンテキスト選択」ステップが実行され、ビンを復号するために利用可能なコンテキストの１つが選択される。ビンを復号するプロセスは、逐次的なフィードバックループを形成し、したがって、各スライスは、所与のエントロピー復号器４２０のインスタンスによって全体が復号され得る。単一の（又は少数の）高性能のエントロピー復号器４２０のインスタンスが、ビットストリーム１１５からのフレームについての全てのスライスを復号してもよいし、複数の低性能のエントロピー復号器４２０のインスタンスが、ビットストリーム１３３からのフレームについてのスライスを同時に復号してもよい。
エントロピー復号器モジュール４２０は、例えば「ＣＡＢＡＣ(Context Adaptive Binary Arithmetic Coding)」などの算術符号化アルゴリズムを適用して、ビットストリーム１３３からシンタックス要素を復号する。復号されたシンタックス要素は、ビデオ復号器１３４内のパラメータを再構築するために使用される。パラメータには、残差係数（矢印４２０で表す）、量子化パラメータ４７４、二次変換インデックス４７０、及びイントラ予測モードなどのモード選択情報（矢印４５８で表す）が含まれる。また、モード選択情報には、動きベクトル、及び各ＣＴＵを１つ以上のＣＢにパーティションするような情報も含まれる。パラメータは、典型的には、以前に復号されたＣＢからのサンプルデータと組み合わせて、ＰＢを生成するために使用される。
残差係数４２４は、逆二次変換モジュール４３６に渡され、ここでは、図１６～１８を参照して説明する方法に従って、二次変換が適用されるか、又は処理が実行されない（バイパス）。逆二次変換モジュール４３６は、二次変換ドメイン係数から、再構成された変換係数４３２、すなわち一次変換ドメイン係数を生成する。再構成された変換係数４３２は、逆量子化モジュール４２８に入力される。逆量子化モジュール４２８は、残差係数４３２に対して、つまり一次変換係数ドメインにおいて、逆量子化（又は「スケーリング」）を行い、量子化パラメータ４７４に従って、矢印４４０で表される再構成された中間変換係数を生成する。不均一な逆量子化マトリックスの使用がビットストリーム１３３に示される場合、ビデオ復号器１３４は、スケーリング係数のシーケンスとしてビットストリーム１３３から量子化マトリックスを読み取り、スケーリング係数をマトリックスに構成する。逆スケーリングでは、量子化マトリックスを量子化パラメータと組み合わせて使用し、再構成された中間変換係数４４０を作成する。
再構成された変換係数４４０は、逆一次変換モジュール４４４に渡される。モジュール４４４は、係数４４０を周波数ドメインから空間ドメインに戻すように変換する。モジュール４４４の動作の結果は、矢印４４８で表される残差サンプルのブロックである。残差サンプルのブロック４４８は、対応するＣＢと等しいサイズである。残差サンプル４４８は、積算モジュール４５０に供給される。積算モジュール４５０では、残差サンプル４４８が復号されたＰＢ（４５２で表される）に追加されて、矢印４５６で表される再構成されたサンプルのブロックが生成される。再構成されたサンプル４５６は、再構成サンプルキャッシュ４６０及びインループフィルタリングモジュール４８８に供給される。インループフィルタリングモジュール４８８は、矢印４９２で表される、フレームサンプルの再構成されたブロックを生成する。フレームサンプル４９２は、フレームバッファ４９６に書き込まれる。
再構成サンプルキャッシュ４６０は、ビデオ符号化器１１４の再構成されたサンプルキャッシュ３５６と同様に動作する。再構成サンプルキャッシュ４６０は、メモリ２０６を使用せずに（例えば、典型的なオンチップメモリであるデータ２３２を代わりに使用することにより）、後続のＣＢをイントラ予測するために必要な再構成されたサンプルのストレージを提供する。矢印４６４で表される参照サンプルは、再構成サンプルキャッシュ４６０から得られ、参照サンプルフィルタ４６８に供給されて、矢印４７２で示されるフィルタリングされた参照サンプルを生成する。フィルタリングされた参照サンプル４７２は、イントラフレーム予測モジュール４７６に供給される。このモジュール４７６は、ビットストリーム１３３にシグナリングされ、エントロピー復号器４２０によって復号されたイントラ予測モードパラメータに従って、矢印４８０で示されるイントラ予測されたサンプルのブロックを生成する。サンプルのブロック４８０は、ＤＣイントラ予測、平面イントラ予測、又は角度イントラ予測などのモードを用いて生成される。
ＣＢの予測モードがビットストリーム１３３内のイントラ予測を使用するように指示された場合、イントラ予測されたサンプル４８０は、マルチプレクサモジュール４８４を介して復号されたＰＢ４５２を形成する。イントラ予測は、サンプルの予測ブロック（ＰＢ）、すなわち、同じ色成分の「隣接サンプル」を用いて導出された１つの色成分のブロックを生成する。隣接サンプルとは、現在のブロックに隣接するサンプルであり、ブロックの復号順序において先行していることから、既に再構成されている。ルマブロックとクロマブロックがコロケートされている場合、ルマブロックとクロマブロックは異なるイントラ予測モードを使用することができる。しかし、２つのクロマＣＢは同じイントラ予測モードを共有している。
ＣＢの予測モードがビットストリーム１３３においてインター予測であることが示されている場合、動き補償モジュール４３４は、フレームバッファ４９６からのサンプルのブロック４９８を選択してフィルタリングするために（エントロピー復号器４２０によってビットストリーム１３３から復号された）動きベクトルと参照フレームインデックスとを用いて、４３８として表されるインター予測されたサンプルのブロックを生成する。サンプルのブロック４９８は、フレームバッファ４９６に格納された以前に復号されたフレームから得られる。双方向予測のために、サンプルの２つのブロックが生成され、復号されたＰＢ４５２についてのサンプルを生成するためにブレンドされる。フレームバッファ４９６には、インループフィルタリングモジュール４８８からのフィルタリングされたブロックデータ４９２が配置される。ビデオ符号化器１１４のインループフィルタリングモジュール３６８と同様に、インループフィルタリングモジュール４８８は、ＤＢＦ、ＡＬＦ及びＳＡＯフィルタリング演算のいずれかを適用する。ルマチャネル及びクロマチャネルにおけるサブサンプル補間のためのフィルタリング処理は異なるが、一般に、動きベクトルはルマチャネルとクロマチャネルの両方に適用される。
図５は、多用途ビデオ符号化のツリー構造において、１つの領域を１つ以上のサブ領域に分割する利用可能な分割又は分割の集合５００を示す概略ブロック図である。集合５００に示された分割は、図３を参照して説明したように、ラグランジュ最適化によって決定されたように、符号化ツリーに従って各ＣＴＵを１つ以上のＣＵ又はＣＢに分割するために、符号化器１１４のブロックパーティショナー３１０が利用可能である。
集合５００は、正方形の領域のみが他の、ことによると非正方形のサブ領域に分割されることを示しているが、集合５００は、符号化ツリーの親ノードから符号化ツリーの子ノードへのありうる分割を示しており、親ノードが正方形の領域に対応することを要求していないことを理解すべきである。包含する領域が非正方形である場合、分割の結果得られるブロックの寸法は、含むブロックのアスペクト比に応じてスケーリングされる。ある領域がさらに分割されないとき、つまり符号化ツリーのリーフノードでは、ＣＵがその領域を占有することになる。
領域をサブ領域に細分化(subdivide)するプロセスは、結果として生じるサブ領域が最小のＣＵサイズ（一般には４×４ルマサンプル）に達したときに終了しなければならない。所定の最小サイズ（例えば１６サンプル）よりも小さいブロックエリアを禁止するようにＣＵを制約することに加えて、ＣＵは幅又は高さの最小値が４であるように制約されている。幅と高さの両方、又は幅若しくは高さについて、他の最小値も可能である。細分化のプロセスは、最も深い分解レベルの前に終了してもよく、その結果、最小のＣＵサイズよりも大きいＣＵができる。分割が行われず、１つのＣＵがＣＴＵの全体を占めることも可能である。ＣＴＵの全体を占める単一のＣＵは、利用可能な最大の符号化ユニットサイズとなる。４：２：０などのサブサンプルされたクロマフォーマットの使用により、ビデオ符号化器１１４及びビデオ復号器１３４の構成は、ルマ及びクロマチャネルのブロック構造を定義する共有符号化ツリーの場合を含めて、クロマチャネルにおける領域の分割をルマチャネルよりも早く終了させることができる。ルマ及びクロマに別々の符号化ツリーが使用される場合、利用可能な分割操作に対する制約は、ＣＢがより大きなルマエリア、例えば６４のルマサンプルとコロケートされていても、１６サンプルの最小のクロマＣＢエリアを保証する。
符号化ツリーのリーフノードには、それ以上細分化されていないＣＵが存在する。例えば、リーフノード５１０は、１つのＣＵを含む。符号化ツリーの非リーフノードには、２つ以上のさらなるノードへの分割が存在し、その各々は、１つのＣＵを形成するリーフノード、又は、より小さな領域へのさらなる分割を含む非リーフノードでありうる。符号化ツリーの各リーフノードには、カラーチャネルごとに１つの符号化ブロックが存在する。ルマとクロマの双方で分割が同じ深度で終了することにより、３つのコロケートされたＣＢが得られる。ルマについてクロマよりも深い深度で分割が終了することにより、複数のルマＣＢがクロマチャネルのＣＢとコロケートされることになる。
四分ツリー分割５１２は、図に示すように、包含する領域を４つの同じサイズの領域に分割する。ＨＥＶＣと比較して、多用途ビデオ符号化（ＶＶＣ）は、水平二分割５１４及び垂直二分割５１６を含む追加の分割により、さらなる柔軟性を達成する。分割５１４と５１６のそれぞれは、包含する領域を２つの等しいサイズの領域に分割する。分割は、含むブロック内の水平境界（５１４）又は垂直境界（５１６）に沿って行われる。
多用途ビデオ符号化では、三分割の水平分割５１８と三分割の垂直分割５２０を追加することで、さらなる柔軟性が得られる。三分割５１８及び５２０は、ブロックを３つの領域に分割し、これらは、包含する領域の幅又は高さの１／４及び３／４に沿って、水平方向（５１８）又は垂直方向（５２０）に区切られる。四分ツリー、二分ツリー、及び三分ツリーの組み合わせは、「ＱＴＢＴＴＴ」と呼ばれる。ツリーのルートには、ゼロ又はそれ以上の四分ツリー分割（ツリーの「ＱＴ」セクション）が含まれる。ＱＴセクションが終了すると、ゼロ又はそれ以上の二分割又は三分割が生じてもよく（ツリーの「マルチツリー」又は「ＭＴ」セクション）、最終的にツリーのリーフノードにおけるＣＢ又はＣＵで終了する。ツリーが全てのカラーチャネルを記述している場合、ツリーのリーフノードはＣＵとなる。ツリーがルマチャネル又はクロマチャネルを記述している場合、ツリーのリーフノードはＣＢである。
ＱＴＢＴＴＴは、四分ツリーしかサポートしておらず、正方形のブロックしかサポートしていないＨＥＶＣと比較して、特に二分ツリー及び／又は三分ツリー分割を再帰的に適用する可能性を考慮すると、より大きいＣＵサイズの可能性につながる。四分ツリー分割のみが利用可能である場合、符号化ツリーの深度が増すことは、ＣＵサイズが親領域の１／４に削減されることに相当する。ＶＶＣにおいて、二分割及び三分割が利用可能であることは、符号化ツリーの深度がもはやＣＵエリアと直接一致しなくなることを意味する。ブロックの幅又は高さが４サンプル未満又は４サンプルの倍数にならない分割を排除するように分割オプションを制限することで、通常とは異なる（正方形ではない）ブロックサイズになる可能性を減らすことができる。一般的に、この制約はルマサンプルを考慮して適用されるだろう。しかし、ここで説明する構成では、クロマチャネルについてのブロックに個別に制約を適用することができる。例えば、フレームデータが４：２：０クロマフォーマット又は４：２：２クロマフォーマットである場合、クロマチャネルの分割オプションに制約を適用すると、ルマとクロマの最小ブロックサイズが異なることになる。各分割により、包含する領域に対して横方向の寸法が変わらないか、半分になるか、４分の１になるか、であるサブ領域が生成される。そして、ＣＴＵのサイズは２の累乗であるため、全てのＣＴＵの辺の寸法も２の累乗となる。
図６は、多用途ビデオ符号化で使用されるＱＴＢＴＴＴ（又は「符号化ツリー」）構造のデータフロー６００を示す概略フロー図である。ＱＴＢＴＴＴ構造は、ＣＴＵの１つ以上のＣＵへの分割を定義するために各ＣＴＵに使用される。各ＣＴＵのＱＴＢＴＴＴ構造は、ビデオ符号化器１１４内のブロックパーティショナー３１０によって決定され、ビデオ復号器１３４内のエントロピー復号器４２０によって、ビットストリーム１１５に符号化されるか、又はビットストリーム１３３から復号される。データフロー６００はさらに、図５に示す分割に従って、ＣＴＵを１つ又は複数のＣＵに分割するためにブロックパーティショナー３１０が利用できる許容可能な組み合わせを特徴づける。
階層のトップレベルから開始して、すなわちＣＴＵにおいて、ゼロ又はより多い四分ツリー分割がまず行われる。具体的には、ブロックパーティショナー３１０によって、四分ツリー（ＱＴ）分割の判断６１０が行われる。「１」のシンボルを返す６１０におけるこの判断は、四分ツリー分割５１２に従って現在のノードを４つのサブノードに分割する判断を示す。その結果、６２０におけるように、４つの新しいノードが生成され、それぞれの新しいノードについて、ＱＴ分割の判断６１０に再帰的に戻ることになる。各新しいノードは、ラスタ（又はＺ－ｓｃａｎ）順に検討される。あるいは、ＱＴ分割判断６１０が、さらなる分割を行わないことを示す（「０」シンボルを返す）場合、四分ツリー分割は中止され、続いてマルチツリー（ＭＴ）分割が検討される。
まず、ブロックパーティショナー３１０によって、ＭＴ分割の判断６１２が行われる。６１２で、ＭＴ分割を行う判断が示される。判断６１２で「０」記号を返すことは、ノードのサブノードへのさらなる分割を実行しないことを示す。ノードのさらなる分割を行わない場合、そのノードは符号化ツリーのリーフノードであり、ＣＵに対応する。リーフノードは６２２で出力される。あるいは、ＭＴ分割６１２がＭＴ分割を実行する判断を示す（「１」シンボルを返す）場合、ブロックパーティショナー３１０は、方向判断６１４に進む。
方向判断６１４は、ＭＴ分割の方向を、水平（「Ｈ」又は「０」）又は垂直（「Ｖ」又は「１」）のいずれかとして示す。ブロックパーティショナー３１０は、判断６１４が水平方向を示す「０」を返した場合、判断６１６に進む。ブロックパーティショナー３１０は、判断６１４が垂直方向を示す「１」を返した場合、判断６１８に進む。
判断６１６、６１８のそれぞれにおいて、ＭＴ分割の分割数は、ＢＴ／ＴＴ分割において、２つ（二分割又は「ＢＴ」ノード）又は３つ（三分割又は「ＴＴ」）のいずれかとして示される。すなわち、６１４からの指示された方向が水平の場合には、ブロックパーティショナー３１０によってＢＴ／ＴＴ分割の判断６１６がなされ、６１４からの指示された方向が垂直の場合には、ブロックパーティショナー３１０によってＢＴ／ＴＴ分割の判断６１８がなされる。
ＢＴ／ＴＴ分割判定６１６は、水平方向の分割が二分割５１４であるか（これは「０」を返すことで示される）、三分割５１８であるか（これは「１」を返すことで示される）、を示す。ＢＴ／ＴＴ分割判定６１６が二分割を示す場合、ＨＢＴ ＣＴＵノード生成ステップ６２５において、水平二分割５１４に応じて、ブロックパーティショナー３１０によって２つのノードが生成される。ＢＴ／ＴＴ分割６１６が三分割を示すとき、ＨＴＴ ＣＴＵノード生成ステップ６２６において、水平三分割５１８に従って、ブロックパーティショナー３１０によって３つのノードが生成される。
ＢＴ／ＴＴ分割判定６１８は、垂直分割が二分割５１６であるか（これは「０」を返すことで示される）、三分割５２０であるか（これは「１」を返すことで示される）、を示す。ＢＴ／ＴＴ分割６１８が二分割を示すとき、ＶＢＴ ＣＴＵノード生成ステップ６２７において、垂直二分割５１６に従って、ブロックパーティショナー３１０によって２つのノードが生成される。ＢＴ／ＴＴ分割６１８が三分割を示す場合、ＶＴＴ ＣＴＵノード生成ステップ６２８において、垂直三分割５２０に従って、ブロックパーティショナー３１０によって３つのノードが生成される。ステップ６２５～６２８から得られる各ノードに対して、方向６１４に応じて、左から右又は上から下の順序で、データフロー６００がＭＴ分割決定６１２に戻って再帰的に適用される。結果として、二分ツリー及び三分ツリー分割は、様々なサイズを有するＣＵを生成するために適用され得る。
図７Ａ及び図７Ｂは、ＣＴＵ７１０を複数のＣＵ又はＣＢに分割する例示的な分割７００を与える。例示的なＣＵ７１２が、図７Ａに示されている。図７Ａは、ＣＴＵ７１０におけるＣＵの空間的構成を示す。例示的な分割７００は、図７Ｂに符号化ツリー７２０としても示されている。
図７ＡのＣＴＵ７１０の各非リーフノード、例えばノード７１４、７１６、７１８では、含まれるノード（さらに分割されていてもよいし、ＣＵであってもよい）が「Ｚ順」にスキャン又はトラバースされて、符号化ツリー７２０の列として表されるノードのリストが作成される。四分ツリー分割の場合、Ｚ順のスキャンは、左上から右、左下から右の順に行われる。水平及び垂直分割では、Ｚ順のスキャン（トラバーサル）は、それぞれ上から下へのスキャン及び左から右へのスキャンに簡略化される。図７Ｂの符号化ツリー７２０は、適用されたスキャン順序に従って、全てのノード及びＣＵをリストする。各分割は、リーフノード（ＣＵ）に到達するまで、ツリーの次のレベにおいて２つ、３つ、又は４つの新しいノードのリストを生成する。
図３を参照して説明したように、画像をＣＴＵに分解し、ブロックパーティショナー３１０によってさらにＣＵに分解し、ＣＵを使用して各残差ブロック（３２４）を生成した後、残差ブロックはビデオ符号化器１１４による順方向変換及び量子化にかけられる。結果として得られたＴＢ３３６は、エントロピー符号化モジュール３３８の動作の一部として、残差係数のシーケンシャルリストを形成するためにスキャンされる。同等のプロセスが、ビットストリーム１３３からＴＢを得るためにビデオ復号器１３４で実行される。
図８Ａ、８Ｂ、及び８Ｃは、符号化ツリーの分割に起因する細分化レベル、及び符号化ツリーユニットの量子化グループへの分割に対する対応する効果を示す。デルタＱＰ（３９２）は、量子化グループごとに最大１回、ＴＢの残差とともにシグナリングされる。ＨＥＶＣでは、量子化グループの定義は、定義が固定サイズのエリアにつながるため、符号化ツリーの深度に対応する。ＶＶＣにおいては、追加の分割は、符号化ツリーの深度がＣＴＵエリアの適切な代用とはもはやならないことを意味する。ＶＶＣでは、「細分化レベル」が定義され、それぞれの増分は含まれるエリアを半減することに相当する。
図８Ａは、符号化ツリーの分割の集合８００と、それに対応する細分化レベルを示している。符号化ツリーのルートノードでは、細分化レベルはゼロに初期化される。符号化ツリーに四分ツリー分割が含まれている場合（例えば８１０）、その中に含まれる全てのＣＵについて、細分化レベルが２つ増加する。符号化ツリーに二分割が含まれる場合（８１２）、その中に含まれる全てのＣＵについて、細分化レベルが１つ増加する。符号化ツリーが三分割を含む場合（例えば８１４）、細分化レベルは、外側の２つのＣＵについては２つ、三分割により生じる内側のＣＵについては１つ増加する。各ＣＴＵの符号化ツリーがトラバースされると、図６を参照して説明したように、結果として生じる各ＣＵの細分化レベルが集合８００に従って決定される。
図８Ｂは、ＣＵノードの例示的なセット８４０を示し、分割の効果を説明している。細分化レベルがゼロのセット８４０の例示的な親ノード８２０は、図８Ｂの例では、サイズ６４×６４のＣＴＵに対応する。親ノード８２０は、それぞれ１６×６４、３２×６４、１６×６４のサイズを有する３つの子ノード８２１、８２２、及び８２３を生成するように三分割される。子ノード８２１、８２２、及び８２３は、それぞれ２、１、及び２の細分化レベルを有する。
図８Ｂの例では、量子化グループの閾値が１に設定されており、これは６４×６４エリアの半分、すなわち２０４８サンプルのエリアに相当する。フラグは、新しいＱＧの開始を追跡する。新しいＱＧを追跡するフラグは、細分化レベルが量子化グループ閾値以下のノードに対してリセットされる。フラグは、ゼロの細分化レベルを有する親ノード８２０をトラバースするときに設定される。サイズ３２×６４のセンターＣＵ８２２は、２０４８サンプルのエリアを有するが、２つの兄弟ＣＵ８２１及び８２３は、２の細分化レベル、すなわち１０２４のエリアを有するため、センターＣＵをトラバースする際にフラグはリセットされず、量子化グループはセンターＣＵにおいて開始しない。代わりに、フラグは、最初のフラグリセットと同様に、親ノードにおいて、８２４で示されるように開始する。事実上、ＱＰは、量子化グループエリアの倍数と整列している境界上でのみ変更される可能性がある。デルタＱＰは、ＣＢに関連付けられたＴＢの残差とともにシグナリングされる。有意な係数が存在しない場合は、デルタＱＰを符号化する機会はない。
図８Ｃは、細分化レベル、ＱＧ、及びデルタＱＰのシグナリングの関係を説明するための、ＣＴＵ８６２の複数のＣＵ及びＱＧへの分割の例８６０を示す。垂直二分割により、ＣＴＵ８６２は２つに分割され、左半分８７０は１つのＣＵ ＣＵ０を含み、右半分８７２はいくつかのＣＵ（ＣＵ１～ＣＵ４）を含む。図８Ｃの例では、量子化グループの閾値は２に設定されており、その結果、量子化グループは通常、ＣＴＵのエリアの１／４に等しいエリアを有する。親ノード、すなわち符号化ツリーのルートノードは、細分化レベルがゼロであるため、ＱＧフラグはリセットされ、新しいＱＧが、次の符号化されたＣＵ、すなわち矢印８６８のＣＵで開始するだろう。ＣＵ０（８７０）は符号化された係数を有するので、ＣＵ０の残差とともにデルタＱＰ８６４が符号化される。右半分８７２には水平二分割が行われ、右半分８７２の上部及び下部セクションには更なる分割が行われ、ＣＵ１～ＣＵ４となる。右半分８７２の上部（ＣＵ１とＣＵ２を含む８７７）及び下部（ＣＵ３とＣＵ４を含む８７８）セクションに対応する符号化ツリーノードは、細分化レベルが２である。細分化レベルの２は、量子化グループの閾値である２と等しいため、各セクションで新しいＱＧが開始し、それぞれ８７４と８７６と記されている。ＣＵ１には符号化された係数を有さず（残差なし）、ＣＵ２は「スキップされた」ＣＵであってこれも符号化された係数を有さない。そのため、上部セクションについてはデルタＱＰが符号化されない。ＣＵ３はスキップされたＣＵであり、ＣＵ４は符号化された残差を有するので、ＣＵ３とＣＵ４を含むＱＧについて、ＣＵ４の残差とともにデルタＱＰ８６６が符号化される。
図９Ａ及び図９Ｂは、４×４変換ブロックのスキャンパターン及び関連する一次及び二次変換係数を示す。一次残差係数に対する二次変換モジュール３３０の動作を、ビデオ符号化器１１４について説明する。４×４ＴＢ９００は、後方対角線スキャンパターン９１０に従ってスキャンされる。スキャンパターン９１０は、「最終有意係数(last significant coefficient)」位置からＤＣ（左上）の係数位置に向かって戻るように進む。スキャンされない全ての係数位置、例えば、順方向のスキャンを考慮した場合、最終有意係数位置の後に位置する残差係数は、暗黙的に非有意である。二次変換が使用される場合、全ての残る係数は有意ではない。すなわち、二次変換の対象となっていない全ての二次ドメイン残差係数は有意ではなく、二次変換の適用によって配置されない全ての一次ドメイン残差係数は有意ではないことが要求される。さらに、モジュール３３０による順方向二次変換の適用後に、二次変換モジュール３３０によって処理された一次変換された係数の数よりも、少ない数の二次変換された係数が存在してもよい。例えば、図９Ｂは、ブロックのセット９２０を示している。図９Ｂでは、１６個の一次係数が１つの４×４サブブロックとして構成されており、これは４×４ＴＢ９２０のうちの９２４である。一次残差係数は、図９Ｂの例では、二次変換されたブロック９２６を生成するために、二次変換を受けてもよい。二次変換されたブロック９２６は、８つの二次変換された係数９２８を含む。８つの二次変換された係数９２８は、スキャンパターン９１０に従って、ＤＣの係数位置から順に詰めてＴＢに格納される。エリア９３０として示される４×４サブブロックの残りの係数位置は、一次変換からの量子化された残差係数を含み、二次変換が適用されるためには、全てが有意ではないことが要求される。したがって、ＴＢ９２０の最初の８つのスキャン位置の１つである係数を指定する４×４ＴＢの最終有意係数位置は、（ｉ）二次変換の適用、又は（ｉｉ）量子化後の一次変換の出力がＴＢ９２０の８番目のスキャン位置を超えて有意な係数を持たないことのいずれかを示す。
ＴＢに対して二次変換を行うことが可能な場合、ありうる二次変換の適用を示すために、二次変換インデックス、すなわち３８８が符号化される。また、二次変換インデックスは、複数の変換カーネルが利用可能な場合、どのカーネルがモジュール３３０で二次変換として適用されるかを示すことができる。これに対応して、ビデオ復号器１３４は、最終有意係数位置が、二次変換された係数を保持するために予約されたスキャン位置のいずれか１つ、例えば９２８に位置するときに、二次変換インデックス４７０を復号する。
１６個の一次係数を８個の二次係数にマッピングする二次変換カーネルが説明されたが、異なる数の二次変換係数にマッピングするカーネルを含め、異なるカーネルが可能である。二次変換係数の数は、一次変換係数の数と同じであってもよく、例えば１６である。幅が４、高さが４より大きいＴＢの場合、４×４ＴＢのケースに関して説明した動作は、ＴＢの最上位サブブロックに適用される。ＴＢの他のサブブロックは、二次変換が適用されたときに、ゼロ値の残差係数を有する。幅が４より大きく、高さが４に等しいＴＢの場合、４×４ＴＢのケースに関して説明した動作は、ＴＢの左端のサブブロックに適用され、ＴＢの他のサブブロックは、ゼロ値の残差係数を有し、最終有意係数位置を使用して二次変換インデックスを復号する必要があるかどうかを決定することを可能にする。
図９Ｃ及び図９Ｄは、８×８変換ブロックスキャンパターンと、関連する一次及び二次変換係数の例を示す。図９Ｃは、８×８ＴＢ９４０に対する４×４サブブロックベースの後方対角線スキャンパターン９５０を示す。８×８ＴＢ９４０は、４×４サブブロックベースの後方対角線スキャンパターン９５０でスキャンされる。図９Ｄは、二次変換の演算の効果を示すセット９６０を示す。スキャン９５０は、最終有意係数位置からＤＣ（左上）の係数位置に戻るように進む。９４０のエリア９６２として示されている４８個の一次係数に対する順方向二次変換カーネルの適用は、９６４として示される残る１６個の一次係数がゼロ値である場合に可能である。このエリア９６２に二次変換を適用すると、９６６として示される１６個の二次変換された係数が得られる。ＴＢの他の係数位置はゼロ値であり、９６８として示される。８８×ＴＢ９４０の最終有意位置が、二次変換された係数が９６６内にあることを示す場合、二次変換インデックス３８８は、モジュール３３０による特定の変換カーネルの適用（又はカーネルのバイパス）を示すように符号化される。ビデオ復号器１３４は、ＴＢの最終有意位置を使用して、二次変換インデックス、すなわちインデックス４７０を復号するかどうかを判定する。幅又は高さが８サンプルを超える変換ブロックについては、図９Ｃ及び図９Ｄのアプローチが、左上の８×８領域に、すなわちＴＢの左上２×２サブブロックに適用される。
図９Ａ～９Ｄで説明したように、２つのサイズの二次変換カーネルが利用可能である。１つのサイズの二次変換カーネルは、幅又は高さが４の変換ブロック用で、もう１つのサイズの二次変換は、幅及び高さが４よりも大きい変換ブロック用である。各サイズのカーネルの中で、複数のセット（例えば４つ）の二次変換カーネルが利用可能である。一つのセットは、ブロックのイントラ予測モードに基づいて選択され、これはルマブロックとクロマブロックの間で異なる場合がある。選択されたセット内では、１つ又は２つのカーネルが利用可能である。選択されたセット内の１つのカーネルの使用又は二次変換のバイパスは、符号化ツリーユニットの共有ツリーに属する符号化ユニット内のルマブロック及びクロマブロックについて独立に、二次変換インデックスを介してシグナリングされる。つまり、ルマチャネルに使用されるインデックスと、クロマチャネルに使用されるインデックスは、互いに独立している。
図１０は、多用途ビデオ符号化（ＶＶＣ）規格で利用可能な変換ブロックのセット１０００を示す。また、図１０は、セット１０００の変換ブロックからの残差係数のサブセットへの二次変換の適用を示している。図１０は、幅と高さが４から３２の範囲のＴＢを示している。しかし、幅と高さが６４のＴＢも可能であるが、参照を容易にするために示されていない。
１６ポイントの二次変換１０５２（より濃い陰影で示す）は、４×４の係数のセットに適用される。１６ポイントの二次変換１０５２は、幅又は高さが４のＴＢ、例えば、４×４ＴＢ１０１０、８×４ＴＢ１０１２、１６×４ＴＢ１０１４、３２×４ＴＢ１０１６、４×８ＴＢ１０２０、４×１６ＴＢ１０３０、及び４×３２ＴＢ１０４０に適用される。６４ポイントの一次変換が利用可能な場合、１６ポイントの二次変換１０５２は、サイズ４×６４及び６４×４のＴＢに適用される（図１０では示されていない）。幅又は高さが４であるが、１６以上の一次係数を有するＴＢについては、１６ポイントの二次変換は、ＴＢの左上の４×４サブブロックにのみ適用され、他のサブブロックは、二次変換が適用されるために、ゼロ値の係数を有することが要求される。一般に、１６ポイントの二次変換を適用すると、１６個の二次変換係数が得られる。これらの二次変換係数は、オリジナルの１６個の一次変換係数が得られたサブブロックに符号化するために、ＴＢに詰め込まれる。二次変換カーネルは、例えば、図９Ｂを参照して説明したように、二次変換が適用された一次変換係数の数よりも少ない数の二次変換係数を生成することがある。
幅及び高さが４よりも大きい変換サイズの場合、図１０に示すように、変換ブロックの左上８×８領域の残差係数の３つの４×４サブブロックに適用するための４８ポイントの二次変換１０５０（より薄い陰影で示す）が利用可能である。４８ポイントの二次変換１０５０は、８×８変換ブロック１０２２、１６×８変換ブロック１０２４、３２×８変換ブロック１０２６、８×１６変換ブロック１０３２、１６×１６変換ブロック１０３４、３２×１６変換ブロック１０３６、８×３２変換ブロック１０４２、１６×３２変換ブロック１０４４、及び３２×３２変換ブロック１０４６に対し、それぞれの場合において薄い陰影と破線の輪郭で示された領域において、適用される。６４ポイントの一次変換が利用可能な場合、４８ポイントの二次変換１０５０もまた、サイズ８×６４、１６×６４、３２×６４、６４×６４、６４×３２、６４×１６、６４×８（不図示）のＴＢに適用可能である。４８ポイントの二次変換カーネルを適用すると、一般的に、４８未満の二次変換係数が生成される。例えば、８個又は１６個の二次変換係数が生成されるかもしれない。二次変換係数は、左上の領域の変換ブロックに格納され、例えば、図９Ｄには、８つの二次変換係数が示されている。二次変換の対象とならない一次変換係数（「一次のみの係数」）、例えばＴＢ１０３４の係数１０６６（図９Ｄの９６４と同様）は、二次変換が適用されるためにゼロ値であることが要求される。順方向に４８ポイントの二次変換１０５０を適用した後、有意な係数を含む可能性がある領域は、４８個の係数から１６個の係数に減少し、有意な係数を含む可能性がある係数位置の数をさらに減少させる。例えば、９６８は有意ではない係数のみを含むだろう。逆二次変換のために、例えばＴＢの９６６にのみ存在する、復号された有意な係数が、領域、例えば９６２、においていずれかが有意であり得る係数を生成するように変換され、これらは次に逆一次変換を受ける。二次変換によって１つ以上のサブブロックが１６個の二次変換係数のセットに縮小されるとき、左上の４×４サブブロックのみが有意な係数を含むかもしれない。二次変換係数が格納されてもよい任意の係数位置にある最終有意係数位置は、二次変換の適用か、又は一次変換のみが適用されたかを示す。しかし、量子化された後で、得られた有意な係数は、二次変換カーネルが適用された場合と同じ領域にある。
最終有意係数位置がＴＢ内の二次変換係数位置を示す場合（例えば、９２２又は９６２）、二次変換カーネルを適用するか、二次変換をバイパスするかを区別するために、シグナリングされた二次変換インデックスが必要である。図１０では様々なサイズのＴＢへの二次変換の適用をビデオ符号化器１１４の観点から説明してきたが、ビデオ復号器１３４では対応する逆のプロセスが実行される。ビデオ復号器１３４は、まず、最終有意係数位置を復号する。復号された最終有意係数位置が二次変換の適用の可能性を示している場合、すなわち、その位置が８個又は１６個の二次変換係数を生成する二次変換カーネルについてそれぞれ９２８又は９６６の中にある場合、逆二次変換を適用するかバイパスするかを決定するために、二次変換インデックスが復号される。
図１１は、複数のスライスを有するビットストリーム１１０１のシンタックス構造１１００を示す。スライスの各々は、複数の符号化ユニットを含む。ビットストリーム１１０１は、例えばビットストリーム１１５として、ビデオ符号化器１１４によって生成されてもよく、あるいは、例えばビットストリーム１３３として、ビデオ復号器１３４によって解析されてもよい。ビットストリーム１１０１は、例えばＮＡＬ(Network Abstraction Layer)ユニットなどの部分に分割され、この区切りは、１１０８のようなＮＡＬユニットヘッダが各ＮＡＬユニットに先行することにより達成される。シーケンスパラメータセット（ＳＰＳ）１１１０は、ビットストリームの符号化及び復号に使用されるプロファイル（ツールのセット）、クロマフォーマット、サンプルビット深度、及びフレーム解像度などのシーケンスレベルのパラメータを定義する。また、各ＣＴＵの符号化ツリーにおいて、異なるタイプの分割の適用を制約するパラメータもセット１１１０に含まれる。分割のタイプを制約するパラメータの符号化は、例えば、ブロックサイズの制約にｌｏｇ２基底を使用する、及び最小ＣＴＵサイズなどの他のパラメータに対して相対的なパラメータを表現するなどの、よりコンパクトな表現に最適化することができる。ＳＰＳ１１１０で符号化されるいくつかのパラメータは以下の通りである。
・log2_ctu_size_minus5：ＣＴＵサイズを特定し、符号化された値０、１、及び２は、それぞれ３２×３２、６４×６４、及び１２８×１２８のＣＴＵサイズを特定する。
・partition_constraints_override_enabled_flag：パーティション制約パラメータ１１３０として総称されるいくつかのパラメータの、スライスレベルでの上書きを適用する能力を有効にする。
・log2_min_luma_coding_block_size_minus2：最小の符号化ブロックサイズ（ルマサンプル）を特定し、値０、１、２、……は、４×４、８×８、１６×１６、……の最小ルマＣＢサイズを特定する。符号化された最大値は、特定されたＣＴＵサイズによって、すなわちlog2_min_luma_coding_block_size_minus2≦log2_ctu_size_minus5 + 3となるように、制約される。使用可能なクロマブロックの寸法は、使用中のクロマフォーマットのクロマチャネルサブサンプリングに応じてスケーリングされた使用可能なルマブロックの寸法に対応する。
・sps_max_mtt_hierarchy_depth_inter_slice：インター（Ｐ又はＢ）スライスについて、符号化ツリーの四分ツリーノード（すなわち符号化ツリーにおいて四分ツリーの分割が中止している）に対する、マルチツリータイプの分割（すなわち、二分割及び三分割）についての符号化ツリーにおける符号化ユニットの最大階層深度を特定し、パラメータ１１３０の１つである。
・sps_max_mtt_hierarchy_depth_intra_slice_luma：イントラ（Ｉ）スライスについて、符号化ツリーの四分ツリーノード（すなわち符号化ツリーにおいて四分ツリー分割が中止している）に対するマルチツリータイプの分割（すなわち、二分割及び三分割）についての符号化ツリー内の符号化ユニットの最大階層深度を特定し、パラメータ１１３０の１つである。
・partition_constraints_override_flag：このパラメータは、ＳＰＳのpartition_constraints_override_enabled_flagが１であるときにスライスヘッダにおいてシグナリングされ、ＳＰＳでシグナリングされたパーティション制約が対応するスライスについて上書きされることを示す。
・log2_ctu_size_minus5：ＣＴＵサイズを特定し、符号化された値０、１、及び２は、それぞれ３２×３２、６４×６４、及び１２８×１２８のＣＴＵサイズを特定する。
・partition_constraints_override_enabled_flag：パーティション制約パラメータ１１３０として総称されるいくつかのパラメータの、スライスレベルでの上書きを適用する能力を有効にする。
・log2_min_luma_coding_block_size_minus2：最小の符号化ブロックサイズ（ルマサンプル）を特定し、値０、１、２、……は、４×４、８×８、１６×１６、……の最小ルマＣＢサイズを特定する。符号化された最大値は、特定されたＣＴＵサイズによって、すなわちlog2_min_luma_coding_block_size_minus2≦log2_ctu_size_minus5 + 3となるように、制約される。使用可能なクロマブロックの寸法は、使用中のクロマフォーマットのクロマチャネルサブサンプリングに応じてスケーリングされた使用可能なルマブロックの寸法に対応する。
・sps_max_mtt_hierarchy_depth_inter_slice：インター（Ｐ又はＢ）スライスについて、符号化ツリーの四分ツリーノード（すなわち符号化ツリーにおいて四分ツリーの分割が中止している）に対する、マルチツリータイプの分割（すなわち、二分割及び三分割）についての符号化ツリーにおける符号化ユニットの最大階層深度を特定し、パラメータ１１３０の１つである。
・sps_max_mtt_hierarchy_depth_intra_slice_luma：イントラ（Ｉ）スライスについて、符号化ツリーの四分ツリーノード（すなわち符号化ツリーにおいて四分ツリー分割が中止している）に対するマルチツリータイプの分割（すなわち、二分割及び三分割）についての符号化ツリー内の符号化ユニットの最大階層深度を特定し、パラメータ１１３０の１つである。
・partition_constraints_override_flag：このパラメータは、ＳＰＳのpartition_constraints_override_enabled_flagが１であるときにスライスヘッダにおいてシグナリングされ、ＳＰＳでシグナリングされたパーティション制約が対応するスライスについて上書きされることを示す。
ピクチャパラメータセット（ＰＰＳ）１１１２は、ゼロ又はより多いフレームに適用可能なパラメータのセットを定義する。ＰＰＳ１１１２に含まれるパラメータは、フレームを１つ又は複数の「タイル」及び／又は「ブリック」に分割するパラメータを含む。また、ＰＰＳ１１１２のパラメータは、ＣＵクロマＱＰオフセットのリストを含んでもよく、そのうちの１つは、クロマブロックで使用するための量子化パラメータをコロケートされているルマＣＢの量子化パラメータから導出するように、ＣＵレベルで適用されてもよい。
１つのピクチャを形成する一連のスライスは、ＡＵ ０ １１１４のように、アクセスユニット（ＡＵ）として知られている。ＡＵ ０ １１１４は、スライス０～２のような３つのスライスを含む。スライス１は１１１６としてマークされている。他のスライスと同様に、スライス１（１１１６）は、スライスヘッダ１１１８とスライスデータ１１２０を含む。
スライスヘッダは、１１３４としてグループ化されたパラメータを含む。グループ１１３４は以下のものを含む。
・slice_max_mtt_hierarchy_depth_luma：スライスヘッダのpartition_constraints_override_flagが１であるときにスライスヘッダ１１１８においてシグナリングされ、ＳＰＳから得られた値を上書きする。Ｉスライスについては、MaxMttDepthを１１３４で設定するために、sps_max_mtt_hierarchy_depth_intra_slice_lumaを使用する代わりに、slice_max_mtt_hierarchy_depth_lumaが使用される。Ｐ又はＢスライスについては、sps_max_mtt_hierarchy_depth_inter_sliceを使用する代わりに、slice_max_mtt_hierarchy_depth_lumaが使用される。
変数MinQtLog2SizeIntraY（不図示）は、ＳＰＳ１１１０から復号されたシンタックス要素sps_log2_diff_min_qt_min_cb_intra_slice_lumaから導出され、Ｉスライスについて、ゼロ又はそれより多い四分ツリー分割により生じる（すなわち、符号化ツリー内にそれ以上のＭＴＴ分割が発生していない）、最小符号化ブロックサイズを特定する。変数MinQtLog2SizeInterY（不図示）は、ＳＰＳ１１１０から復号されたシンタックス要素sps_log2_diff_min_qt_min_cb_inter_sliceから導出される。変数MinQtLog2SizeInterYは、Ｐ及びＢスライスについて、ゼロ又はそれ以上の四分ツリー分割により生じる（すなわち、符号化ツリー内にそれ以上のＭＴＴ分割が発生していない）、最小符号化ブロックサイズを特定する。四分ツリー分割により生じるＣＵは正方形であるため、変数MinQtLog2SizeIntraY及びMinQtLog2SizeInterYは、それぞれ幅及び高さを（ＣＵの幅／高さのｌｏｇ２として）を特定する。
・slice_max_mtt_hierarchy_depth_luma：スライスヘッダのpartition_constraints_override_flagが１であるときにスライスヘッダ１１１８においてシグナリングされ、ＳＰＳから得られた値を上書きする。Ｉスライスについては、MaxMttDepthを１１３４で設定するために、sps_max_mtt_hierarchy_depth_intra_slice_lumaを使用する代わりに、slice_max_mtt_hierarchy_depth_lumaが使用される。Ｐ又はＢスライスについては、sps_max_mtt_hierarchy_depth_inter_sliceを使用する代わりに、slice_max_mtt_hierarchy_depth_lumaが使用される。
変数MinQtLog2SizeIntraY（不図示）は、ＳＰＳ１１１０から復号されたシンタックス要素sps_log2_diff_min_qt_min_cb_intra_slice_lumaから導出され、Ｉスライスについて、ゼロ又はそれより多い四分ツリー分割により生じる（すなわち、符号化ツリー内にそれ以上のＭＴＴ分割が発生していない）、最小符号化ブロックサイズを特定する。変数MinQtLog2SizeInterY（不図示）は、ＳＰＳ１１１０から復号されたシンタックス要素sps_log2_diff_min_qt_min_cb_inter_sliceから導出される。変数MinQtLog2SizeInterYは、Ｐ及びＢスライスについて、ゼロ又はそれ以上の四分ツリー分割により生じる（すなわち、符号化ツリー内にそれ以上のＭＴＴ分割が発生していない）、最小符号化ブロックサイズを特定する。四分ツリー分割により生じるＣＵは正方形であるため、変数MinQtLog2SizeIntraY及びMinQtLog2SizeInterYは、それぞれ幅及び高さを（ＣＵの幅／高さのｌｏｇ２として）を特定する。
パラメータcu_qp_delta_subdivは、スライスヘッダ１１１８で任意にシグナリングすることができ、共有ツリーについての符号化ツリー又は別のツリースライスのルマブランチにおいてデルタＱＰがシグナリングされる最大細分化レベルを示す。Ｉスライスについては、cu_qp_delta_subdivの範囲は、0～2×(log2_ctu_size_minus5 + 5 - MinQtLog2SizeIntraY + MaxMttDepthY １１３４である。Ｐ又はＢスライスについては、cu_qp_delta_subdivの範囲は0～2×(log2_ctu_size_minus5 + 5 - MinQtLog2SizeInterY + MaxMttDepthY １１３４である。cu_qp_delta_subdivの範囲は、ＳＰＳ１１１０又はスライスヘッダ１１１８から得られるパーティション制約から導出される値MaxMttDepthY １１３４に依存しているため、解析上の問題はない。
パラメータcu_chroma_qp_offset_subdivは、任意的にはスライスヘッダ１１１８でシグナリングすることができ、共有ツリー又は別のツリースライスのクロマブランチにおいてクロマＣＵ ＱＰオフセットがシグナリングされる最大細分化レベルを示す。Ｉ又はＰ／Ｂスライスについてのcu_chroma_qp_offset_subdivの範囲制約は、cu_qp_delta_subdivについての対応する範囲制約と同じである。
細分化レベル１１３６は、スライス１１２０内のＣＴＵについて導出され、ルマＣＢについてはcu_qp_delta_subdivと指定され、クロマＣＢについてはcu_chroma_qp_offset_subdivと指定される。細分化レベルは、図８Ａ～Ｃを参照して説明したように、ＣＴＵデルタＱＰシンタックス要素が符号化されるポイントを確率するために使用される。クロマＣＢについては、クロマＣＵレベルのオフセットの有効化（及び有効化されている場合はインデックス）が、同じく図８Ａ～Ｃのアプローチを用いてシグナリングされる。
図１２は、ＣＴＵ１２１０のような符号化ツリーユニットのルマ及びクロマ符号化ブロックのための共有ツリーを有するビットストリーム１１０１（例えば１１５又は１３３）のスライスデータ１１２０のためのシンタックス構造１２００を示す。ＣＴＵ１２１０は、１つ又は複数のＣＵを含み、その例はＣＵ１２１４として示されている。ＣＵ１２１４は、シグナリングされた予測モード１２１６ａと、それに続く変換ツリー１２１６ｂとを含む。ＣＵ１２１４のサイズが最大変換サイズ（３２×３２又は６４×６４のいずれか）を超えていない場合、変換ツリー１２１６ｂは、ＴＵ１２１８として示される１つの変換ユニットを含む。
予測モード１２１６ａがＣＵ１２１４のイントラ予測の使用を示す場合、ルマイントラ予測モードとクロマイントラ予測モードが指定される。また、ＣＵ１２１４のルマＣＢについては、一次変換タイプもまた、（ｉ）水平及び垂直のＤＣＴ－２、（ｉｉ）水平及び垂直の変換スキップ、又は（ｉｉｉ）水平及び垂直のＤＳＴ－７とＤＣＴ－８との組み合わせ、のいずれかとしてシグナリングされる。シグナリングされたルマ変換タイプが水平及び垂直のＤＣＴ－２である場合（選択肢（ｉ））、図９Ａ～Ｄを参照して説明した条件で、「低周波数非分離変換」（ＬＦＮＳＴ）インデックスとしても知られる追加のルマ二次変換タイプ１２２０がビットストリームにおいてシグナリングされる。クロマ二次変換タイプ１２２１もまたシグナリングされる。クロマ二次変換タイプ１２２１は、ルマ一次変換タイプがＤＣＴ－２であるか否かとは独立してシグナリングされる。
共有符号化ツリーを使用すると、ＴＵ１２１８は、ルマＴＢ Ｙ １２２２、第１のクロマＴＢ Ｃｂ １２２４、及び第２のクロマＴＢ Ｃｒ １２２６として示される各カラーチャネルのＴＢを含むことになる。ＣｂチャネルとＣｒチャネルの両方のクロマ残差を特定するために単一のクロマＴＢが送信される符号化モードが利用可能であり、これは「ジョイントＣｂＣｒ」符号化モードとして知られている。ジョイントＣｂＣｒ符号化モードが有効であるとき、単一のクロマＴＢが符号化される。
カラーチャネルに関係なく、各ＴＢは、最終位置１２２８を含む。最終位置１２２８は、ＴＢの係数の配列を直列化するために使用される対角線スキャンパターンの係数を順方向に（すなわち、ＤＣ係数から進むように考慮した場合の、ＴＢの最終有意残差係数位置を示す。ＴＢの最終位置１２２８が、二次変換ドメインの係数のみが有意であること、すなわち、残りの全ての係数が一次変換のみの対象となるであろうことを示す場合、二次変換を適用するか否かを指定するために、二次変換インデックスがシグナリングされる。
二次変換が適用される場合で、複数の二次変換カーネルが利用可能な場合、二次変換インデックスは、どのカーネルが選択されるかを示す。一般的に、１つのカーネルが利用可能であるか、２つのカーネルが「候補セット」において利用可能である。候補セットは、ブロックのイントラ予測モードから決定される。一般的には、４つの候補セットがあるが、候補セットの数がより少ない場合もある。上述したように、ルマ及びクロマのための二次変換の使用、及びそれに応じて選択されるカーネルは、ルマ及びクロマチャネルそれぞれのイントラ予測モードに依存する。カーネルは、対応するルマ及びクロマのＴＢのブロックサイズにも依存する。クロマについて選択されるカーネルは、ビットストリームのクロマのサブサンプリング比率にも依存する。カーネルが１つしかない場合、シグナリングは二次変換の適用又は不適用に限定される（インデックスの範囲は０～１）。カーネルが２つ利用可能である場合、インデックスの値は０（適用しない）、１（第１カーネルを適用）、又は２（第２カーネルを適用）である。クロマについては、同じ二次変換カーネルが各クロマチャネルに適用され、したがって、Ｃｂブロック１２２４及びＣｒブロック１２２６の残差は、図９Ａ～Ｄを参照して説明したように、二次変換の対象となる位置において有意な係数のみを含む必要がある。ジョイントＣｂＣｒ符号化が使用される場合、二次変換の対象となる位置に有意な係数のみを含むという要件は、結果として得られるＣｂ及びＣｒ残差はジョイント符号化されたＴＢにおける有意な係数に対応する位置の有意な係数のみを含むため、単一符号化されたクロマＴＢにのみ適用される。所与の二次インデックスの適用可能なカラーチャネルが単一のＴＢ（単一の最終位置、例えば１２２８）によって記述される場合、すなわち、ジョイントＣｂＣｒ符号化が使用される場合にルマが常に１つのＴＢのみを必要としクロマが１つのＴＢを必要とする場合、二次変換インデックスは、ＴＵの後ではなく、最終位置を符号化した直後に符号化されてもよく、すなわち、１２２０（又は１２２１）の代わりにインデックス１２３０として符号化されてもよい。ビットストリームにおいて二次変換を早くシグナリングすることにより、ビデオ復号器１３４は、残差係数１２３２の各残差係数が復号される際に、二次変換の適用を開始することができ、システム１００のレイテンシを低減することができる。
ビデオ符号化器１１４及びビデオ復号器１３４の構成では、ジョイントＣｂＣｒ符号化が使用されない場合、各クロマＴＢ、すなわち１２２４及び１２２６に対して別個の二次変換インデックスがシグナリングされ、その結果、各カラーチャネルに対する二次変換の独立した制御が行われる。各ＴＢが独立して制御される場合、各ＴＢの二次変換インデックスは、（ジョイントＣｂＣｒモードの適用の有無にかかわらず）ルマ用及びクロマ用の対応するＴＢの最終位置の直後にシグナリングされてもよい。
図１３は、フレームデータ１１３をビットストリーム１１５に符号化するための方法１３００を示しており、ビットストリーム１１５は、符号化ツリーユニットのシーケンスとして１つ又は複数のスライスを含む。方法１３００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰのような装置によって実装されてもよい。さらに、方法１３００は、プロセッサ２０５の実行下で、ビデオ符号化器１１４によって実行されてもよい。フレームを符号化する作業負荷のために、方法１３００のステップは、作業負荷を共有するために、例えば、現代のマルチコアプロセッサを使用して、異なるスライスが異なるプロセッサによって符号化されるように、異なるプロセッサで実行されてもよい。さらに、ビットストリーム１１５の各部分（スライス）を符号化する際に、レート制御の目的で有益と考えられるように、パーティショニング制約及び量子化グループの定義はスライスごとに異なっていてもよい。各符号化ユニットの残差を符号化する際のさらなる柔軟性のために、量子化グループの細分化レベルがスライスごとに変化してもよいだけでなく、二次変換の適用はルマ及びクロマについて独立して制御可能である。このように、方法１３００は、コンピュータ読み取り可能な記憶媒体及び／又はメモリ２０６に格納されてもよい。
方法１３００は、ＳＰＳ／ＰＰＳ符号化ステップ１３１０で始まる。ステップ１３１０において、ビデオ符号化器１１４は、ＳＰＳ１１１０及びＰＰＳ１１１２を、固定長及び可変長符号化されたパラメータのシーケンスとして、ビットストリーム１１５に符号化する。partition_constraints_override_enabled_flagがＳＰＳ１１１０の一部として符号化され、それぞれのスライス（１１１６など）のスライスヘッダ（１１１８）において、パーティション制約を上書きすることができることを示す。また、デフォルトのパーティション制約は、ビデオ符号化器１１４によってＳＰＳ１１１０の一部として符号化される。
方法１３００は、ステップ１３１０から、フレームをスライスに分割するステップ１３２０に続く。ステップ１３２０の実行において、プロセッサ２０５は、フレームデータ１１３を１つ又は複数のスライス又は連続部分に分割する。並列化が望まれる場合には、ビデオ符号化器１１４の別々のインスタンスが、各スライスを幾分独立して符号化する。単一のビデオ符号化器１１４が各スライスを順次処理してもよいし、何らかの中間程度の並列性が実装されてもよい。一般に、フレームのスライス（連続部分）への分割は、「サブピクチャ」又はタイルなどとして知られる領域へのフレームの分割の境界に合わせられる。
方法１３００は、ステップ１３２０から、スライスヘッダ符号化ステップ１３３０に続く。ステップ１３３０において、エントロピー符号化器３３８は、スライスヘッダ１１１８をビットストリーム１１５に符号化する。以下、図１４を参照して、ステップ１３３０の実装例を提供する。
方法１３００は、ステップ１３３０から、スライスをＣＴＵに分割するステップ１３４０に続く。ステップ１３４０の実行において、ビデオ符号化器１１４は、スライス１１１６をＣＴＵのシーケンスに分割する。スライスの境界はＣＴＵの境界に整列され、スライス内のＣＴＵは、ＣＴＵのスキャン順序、一般的にはラスタースキャン順序に従って順序付けられる。ＣＴＵへのスライスの分割は、フレームデータ１１３のどの部分が、現在のスライスを符号化する際にビデオ符号化器１１３によって処理されるかを確立する。
方法１３００は、ステップ１３４０から、符号化ツリー決定ステップ１３５０へと続く。ステップ１３５０において、ビデオ符号化器１１４は、スライス内の現在の選択されたＣＴＵに対する符号化ツリーを決定する。方法１３００は、ステップ１３５０の最初の呼び出しにおいて、スライス１１１６内の第１のＣＴＵから開始し、その後の呼び出しにおいて、スライス１１１６内の後続のＣＴＵに進行する。ＣＴＵの符号化ツリーを決定する際には、四分ツリー、二分ツリー、及び三分ツリーの様々な組み合わせがブロックパーティショナー３１０によって生成され、テストされる。
方法１３００は、ステップ１３５０から、符号化ユニットを決定するステップ１３６０へと続く。ステップ１３６０において、ビデオ符号化器１１４は、既知の方法を使用して、評価中の様々な符号化ツリーから得られるＣＵについての「最適な」符号化を決定するように実行する。最適な符号化を決定することは、予測モード（例えば、特定のモードによるイントラ予測又は動きベクトルを用いるインター予測）、変換の選択（一次変換タイプ及び任意選択として二次変換タイプ）を決定することを含む。ルマＴＢの一次変換タイプがＤＣＴ－２と決定された場合、又は順方向二次変換の対象とならない量子化された一次変換係数が有意である場合、ルマＴＢの二次変換インデックスは、二次変換の適用を示すことができる。そうでなければ、ルマ用の二次変換インデックスは、二次変換のバイパスを示す。ルマチャネルの場合、一次変換タイプは、ＤＣＴ－２、変換スキップ、又はクロマチャネルについてのＭＴＳオプションのうちの１つに決定され、ＤＣＴ－２が利用可能な変換タイプとなる。二次変換タイプの決定については、図１９Ａ及び図１９Ｂを参照してさらに説明する。符号化の決定は、ＱＰを変更することが可能な場所、すなわち量子化グループの境界において、量子化パラメータを決定することも含むことができる。個々の符号化ユニットを決定する際には、最適な符号化ツリーもまた、共同で決定される。符号化ユニットがイントラ予測を用いて符号化される場合には、ルマイントラ予測モード及びクロマイントラ予測が決定される。
符号化ユニット決定ステップ１３６０は、ＤＣＴ－２一次変換の適用から生じる一次ドメイン残差に「ＡＣ」（変換ブロックの左上位置以外の場所にある係数）の残差係数が存在しない場合、二次変換の適用をテストすることを禁止してもよい。ＤＣ係数のみを含む変換ブロック（最終位置は、変換ブロックの左上の係数のみが有意であることを示す）に対して二次変換の適用がテストされる場合、符号化ゲインが見られる。ＤＣ一次係数のみが存在する場合の二次変換テストの禁止は、、単一のインデックスが符号化される場合、二次変換インデックスが適用されるブロック、すなわち共有ツリーについてのＹ、Ｃｂ、及びＣｒ（Ｃｂ及びＣｒブロックが２サンプルの幅又は高さの場合にはＹチャネルのみ）に及ぶ。ＤＣ係数のみを持つ残差は、少なくとも１つのＡＣ係数を持つ残差に比べて符号化コストが低いにもかかわらず、有意なＤＣ係数のみを持つ残差に対しても二次変換を適用すると、最終的な符号化されたＤＣ係数の大きさがさらに減少する。符号化の前にさらなる量子化及び／又は丸め処理を行った後でも、他の（ＡＣ）係数は、二次変換後に十分な大きさを持っておらず、ビットストリーム内における有意な符号化された残差係数につながる。共有ツリー又は別個のツリーの符号化ツリーにおいて、少なくとも１つの有意な一次係数が存在することを条件として、二次変換インデックスの適用範囲内で、それぞれの変換ブロックのＤＣ係数（複数可）のみであっても、ビデオ符号化器１１４は、ゼロではない二次変換インデックス値の選択について（つまり、二次変換の適用について）テストする。
方法１３００は、ステップ１３６０から符号化ユニット符号化ステップ１３７０へと続く。ステップ１３７０において、ビデオ符号化器１１４は、ステップ１３６０の決定された符号化ユニットをビットストリーム１１５に符号化する。符号化ユニットがどのように符号化されるかの一例を、図１５を参照してより詳細に説明する。
方法１３００は、ステップ１３７０から最後の符号化ユニットテストステップ１３８０に続く。ステップ１３８０において、プロセッサ２０５は、現在の符号化ユニットがＣＴＵの最後の符号化ユニットであるかどうかをテストする。そうではない場合（ステップ１３８０で「ＮＯ」）、プロセッサ２０５における制御は、符号化ユニット決定ステップ１３６０に進む。そうではなく、現在の符号化ユニットが最後の符号化ユニットである場合（ステップ１３８０で「ＹＥＳ」）、プロセッサ２０５内の制御は、最後のＣＴＵテストステップ１３９０に進む。
最後のＣＴＵテストステップ１３９０において、プロセッサ２０５は、現在のＣＴＵがスライス１１１６における最後のＣＴＵであるかどうかをテストする。スライス１１１６内の最後のＣＴＵでない場合、プロセッサ２０５内の制御は、符号化ツリーの決定ステップ１３５０に戻る。そうではなく、現在のＣＴＵが最後のものである場合（ステップ１３９０で「ＹＥＳ」）、プロセッサ内の制御は、最後のスライステストステップ１３１００に進む。
最後のスライステストステップ１３１００で、プロセッサ２０５は、符号化されている現在のスライスがフレームの最後のスライスであるかどうかをテストする。最後のスライスでなければ（ステップ１３１００で「ＮＯ」）、プロセッサ２０５内の制御は、スライスヘッダ符号化ステップ１３３０に進む。そうではなく、現在のスライスが最後であり、全てのスライス（連続部分）が符号化されていれば（ステップ１３１００で「ＹＥＳ」）、方法１３００は終了する。
図１４は、ステップ１３３０で実装される、スライスヘッダ１１１８をビットストリーム１１５に符号化するための方法１４００を示す。方法１４００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰのような装置によって実装されてもよい。さらに、方法１４００は、プロセッサ２０５の実行下で、ビデオ符号化器１１４によって実行されてもよい。このように、方法１４００は、コンピュータ読み取り可能な記憶媒体及び／又はメモリ２０６に格納されてもよい。
方法１４００は、パーティション制約上書き有効化テスト(partition constraints override enabled test)ステップ１４１０で開始する。ステップ１４１０で、プロセッサ２０５は、ＳＰＳ１１１０において符号化されたパーティション制約上書き有効フラグ(partition constraints override enabled flag)が、パーティション制約がスライスレベルで上書きされてもよいことを示しているかどうかをテストする。パーティション制約がスライスレベルで上書きされてもよい場合（ステップ１４１０で「ＹＥＳ」）、プロセッサ２０５における制御は、パーティション制約決定ステップ１４２０に進む。そうではなく、スライスレベルでパーティション制約を上書きすることができない場合（ステップ１４１０で「ＮＯ」）、プロセッサ２０５内の制御は、他のパラメータ符号化ステップ１４８０に進む。
パーティション制約決定ステップ１４２０において、プロセッサ２０５は、現在のスライス１１１６に適したパーティション制約（例えば、最大ＭＴＴ分割深度）を決定する。一例では、フレームデータ３１０は、２Ｄフレームにマッピングされたシーンの３６０度ビューの投影を含み、いくつかのサブピクチャに分割されている。選択されたビューポートに応じて、特定のスライスはより高い忠実度を必要とし、他のスライスはより低い忠実度を必要とするかもしれない。所与のスライスに対するパーティション制約は、そのスライスによって符号化されたフレームデータ３１０の部分の忠実度要件に基づいて設定されてもよい（例えば、ステップ１３４０による）。より低い忠実度が許容されると考えられる場合には、より大きなＣＵを有するより浅い符号化ツリーが許容され、したがって、最大ＭＴＴ深度がより低い値に設定されてもよい。フラグcu_qp_delta_subdivでシグナリングされる細分化レベル１１３６は、それに応じて、少なくとも決定された最大ＭＴＴ深度１１３４から生じる範囲内で決定される。また、対応するクロマ細分化レベルも決定され、シグナリングされる。
方法１４００は、ステップ１４２０から、パーティション制約上書きフラグ符号化ステップ１４３０に続く。ステップ１４３０において、エントロピー符号化器３３８は、ＳＰＳ１１１０においてシグナリングされたパーティション制約がスライス１１１６について上書きされるかどうかを示すフラグをビットストリーム１１５に符号化する。現在のスライスに固有のパーティション制約がステップ１４２０で導出された場合、フラグの値は、パーティション制約の上書き機能の使用を示すことになる。ステップ１４２０で決定された制約が、ＳＰＳ１１１０において既に符号化されたものと一致する場合、シグナリングされる変更が存在しないため、パーティション制約を上書きする必要はなく、フラグ値はそれに応じて符号化される。
方法１４００は、ステップ１４３０からパーティション制約上書きテスト(partition constraints override test)ステップ１４４０へと続く。ステップ１４４０において、プロセッサ２０５は、ステップ１４３０で符号化されたフラグ値をテストする。フラグがパーティション制約を上書きすることを示している場合（ステップ１４４０で「ＹＥＳ」）、プロセッサ２０５における制御は、スライスパーティション制約符号化ステップ１４５０に進む。そうではなく、パーティション制約が上書きされない場合（ステップ１４４０で「ＮＯ」）、プロセッサ２０５内の制御は、他のパラメータ符号化ステップ１４８０に進む。
方法１４００は、ステップ１４４０から、スライスパーティション制約符号化ステップ１４５０へと続く。ステップ１４５０の実行において、エントロピー符号化器３３８は、スライスについて決定されたパーティション制約をビットストリーム１１５に符号化する。スライスについてのパーティション制約は「slice_max_mtt_hierarchy_depth_luma」を含み、そこからMaxMttDepthY １１３４が導出される。
方法１４００は、ステップ１４５０から、ＱＰ細分化レベル符号化ステップ１４６０へと続く。ステップ１４６０において、エントロピー符号化器３３８は、図１１を参照して説明したように、「cu_qp_delta_subdiv」シンタックス要素を用いて、ルマＣＢについての細分化レベルを符号化する。
方法１４００は、ステップ１４６０から、クロマＱＰ細分化レベル符号化ステップ１４７０へと続く。ステップ１４７０において、エントロピー符号化器３３８は、図１１を参照して説明したように、「cu_chroma_qp_offset_subdiv」シンタックス要素を用いて、ＣＵクロマＱＰオフセットのシグナリングのための細分化レベルを符号化する。
ステップ１４６０及び１４７０は、フレームのスライス（連続部分）に対する全体的なＱＰ細分化レベルを符号化するように動作する。全体的な細分化レベルは、スライスのルマ符号化ユニットの細分化レベルとクロマ符号化ユニットの細分化レベルの両方を含む。クロマとルマの細分化レベルは、例えばＩスライスにおけるルマとクロマに別々の符号化ツリーを使用することにより、異なることがある。
方法１４００は、ステップ１４７０から、他のパラメータ符号化ステップ１４８０に続く。ステップ１４８０において、エントロピー符号化器３３８は、デブロッキング、適応ループフィルタのような特定のツールの制御、（変換ブロックへの量子化パラメータの不均一な適用のための）以前にシグナリングされたものからのスケーリングリストの任意的な選択のために必要なもののような、他のパラメータをスライスヘッダ１１１８に符号化する。方法１４００は、ステップ１４８０の実行により終了する。
図１５は、図１３のステップ１３７０に対応する、ビットストリーム１１５に符号化ユニットを符号化するための方法１５００を示す。方法１５００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰのような装置によって実装されてもよい。さらに、方法１５００は、プロセッサ２０５の実行下でビデオ符号化器１１４によって実行されてもよい。このように、方法１５００は、コンピュータ読み取り可能な記憶媒体及び／又はメモリ２０６に格納されてもよい。
方法１５００は、予測モード符号化ステップ１５１０で開始する。ステップ１５１０において、エントロピー符号化器３３８は、ステップ１３６０で決定された、符号化ユニットのための予測モードを、ビットストリーム１１５に符号化する。「pred_mode」シンタックス要素は、符号化ユニットに対するイントラ予測、インター予測、又は他の予測モードの使用を区別するために符号化される。符号化ユニットにイントラ予測が使用される場合、ルマイントラ予測モードが符号化され、クロマイントラ予測モードが符号化される。符号化ユニットにインター予測が使用される場合、隣接する符号化ユニットからの動きベクトルをこの符号化ユニットで使用するために選択するために、「マージインデックス」が符号化されてもよいし、空間的に隣接するブロックから得られる動きベクトルにオフセットを導入するために、動きベクトルデルタが符号化されてもよい。一次変換タイプは、符号化ユニットのルマＴＢに対して、水平及び垂直にＤＣＴ－２を使用するか、水平及び垂直に変換スキップを使用するか、又は水平及び垂直にＤＣＴ－８とＤＳＴ－７の組み合わせを使用するかを選択するために符号化される。
方法１５００は、ステップ１５１０から符号化残差テストステップ１５２０へと続く。ステップ１５２０において、プロセッサ２０５は、残差が符号化ユニットについて符号化される必要があるかどうかを決定する。符号化ユニットについて符号化される有意な残差係数が存在する場合（ステップ１５２０で「ＹＥＳ」）、プロセッサ２０５の制御は、新しいＱＧテストステップ１５３０に進む。そうではなく、符号化される有意な残差係数が存在しない場合（ステップ１５２０で「ＮＯ」）、符号化ユニットを復号するために必要な全ての情報がビットストリーム１１５に存在するため、方法１５００は終了する。
新しいＱＧテストステップ１５３０において、プロセッサ２０５は、符号化ユニットが新しい量子化グループに対応するかどうかを決定する。符号化ユニットが新しい量子化グループに対応する場合（ステップ１５３０で「ＹＥＳ」）、プロセッサ２０５の制御は、符号化デルタＱＰステップ１５４０に進む。そうではなく、符号化ユニットが新しい量子化グループに関係しない場合（ステップ１５３０で「ＮＯ」）、プロセッサ２０５内の制御は、一次変換実行ステップ１５５０に進む。各符号化ユニットを符号化する際には、ステップ１５３０において、ＣＴＵの符号化ツリーのノードがトラバースされる。現在のノードの子ノードのいずれかが、現在のスライスについての細分化レベル１１３６以下の細分化レベルを有すると「cu_qp_delta_subdiv」から決定される場合、そのノードに対応するＣＴＵのエリアで新たな量子化グループが開始し、ステップ１５３０は「ＹＥＳ」を返す。符号化された残差を含む量子化グループ内の最初のＣＵは、符号化されたデルタＱＰも含み、この量子化グループ内の残差係数に適用される量子化パラメータへのあらゆる変更をシグナリングする。
デルタＱＰ符号化ステップ１５４０において、エントロピー符号化器３３８は、デルタＱＰをビットストリーム１１５に符号化する。デルタＱＰは、予測されたＱＰと、現在の量子化グループで使用するように意図されたＱＰとの間の差分を符号化する。予測されたＱＰは、隣り合う先行する（上と左の）量子化グループのＱＰを平均することによって得られる。細分化レベルがより低い場合、量子化グループはより大きくなり、デルタＱＰの符号化頻度はより低くなる。デルタＱＰの符号化頻度がより低いと、ＱＰの変化をシグナリングするためのオーバーヘッドがより小さくなるが、レート制御の柔軟性もより低くなる。各量子化グループに対する量子化パラメータの選択は、基礎となるフレームデータ１１３の統計の変化とは幾分独立して、ビットストリーム１１５について特定のビットレートを目標とするレート制御アルゴリズムを典型的には実装する、ＱＰコントローラモジュール３９０によって実行される。方法１５００は、ステップ１５４０から一次変換実行ステップ１５５０に続く。
一次変換実行ステップ１５５０において、順方向一次変換モジュール３２６は、符号化ユニットの一次変換タイプに従って一次変換を実行し、その結果、一次変換係数３２８が得られる。一次変換は、各カラーチャネルに対して実行され、まず、ルマチャネル（Ｙ）に対して実行され、次に、現在のＴＵに対する引き続くステップ１５５０の呼び出し時に、Ｃｂ及びＣｒのＴＢに対して実行される。ルマチャネルに対しては、一次変換タイプ（ＤＣＴ－２、変換スキップ、ＭＴＳオプション）が実行され、クロマチャネルに対しては、ＤＣＴ－２が実行される。
方法１５００は、ステップ１５５０から一次変換係数量子化ステップ１５６０へと続く。ステップ１５６０において、量子化モジュール３３４は、量子化パラメータ３９２に従って一次変換係数３２８を量子化し、量子化された一次変換係数３３２を生成する。デルタＱＰは、存在する場合、変換係数３２８を符号化するために使用される。
方法１５００は、ステップ１５６０から、二次変換実行ステップ１５７０に続く。ステップ１５７０において、二次変換モジュール３３０は、量子化された一次変換係数３３２に対して、現在の変換ブロックについての二次変換インデックス３８８に従って二次変換を実行し、二次変換係数３３６を生成する。二次変換は、量子化の後に実行されるが、一次変換係数３２８は、量子化パラメータ３９２の最終的に意図された量子化ステップサイズと比較して、より高い精度を保持してもよく、例えば、大きさは、量子化パラメータ３９２の適用から直接得られるであろうものよりも１６倍大きくてもよく、すなわち、４つの追加ビット精度が保持されるだろう。量子化された一次変換係数３３２に追加のビット精度を保持することにより、二次変換モジュール３３０は、一次係数ドメイン内の係数に対してより高い精度で動作することができる。二次変換の適用後、ステップ１５６０における最終的なスケーリング（例えば、４ビットの右シフト）により、量子化パラメータ３９２の意図された量子化ステップサイズへの量子化が行われる。「スケーリングリスト」の適用は、訓練された二次変換カーネルから生じる二次変換係数に対して動作するのではなく、周知の変換基底関数（ＤＣＴ－２、ＤＣＴ－８、ＤＳＴ－７）に対応する一次変換係数に対して行われる。変換ブロックについての二次変換インデックス３８８が二次変換の適用がないことを示す場合（インデックス値がゼロに等しい）、二次変換はバイパスされる。すなわち、一次変換係数３３２は、変更されずに二次変換モジュール３３０を介して伝搬され、二次変換係数３３６となる。ルマ二次変換インデックスは、ルマイントラ予測モードと組み合わせて、ルマＴＢに適用する二次変換カーネルを選択するために使用される。クロマ二次変換インデックスは、クロマイントラ予測モードと組み合わせて、クロマＴＢに適用するための二次変換カーネルを選択するために使用される。
方法１５００は、ステップ１５７０から、最終位置符号化ステップ１５８０に続く。ステップ１５８０において、エントロピー符号化器３３８は、現在の変換ブロックについての二次変換係数３３６における最終有意係数位置をビットストリーム１１５に符号化する。ステップ１５８０の最初の呼び出し時にはルマＴＢが考慮され、その後の呼び出しではＣｂ及び次いでＣｒのＴＢが考慮される。
二次変換インデックス３８８が最終位置の直後に符号化される構成では、方法１５００は、ＬＦＮＳＴインデックス符号化ステップ１５９０に続く。ステップ１５９０において、エントロピー符号化器３３８は、ステップ１５８０で符号化された最終位置に基づいて二次変換インデックスがゼロであると推測されなかった場合、トランケーテッドユナリー(truncated unary)コードワードを使用して、二次変換インデックス３３８を「lfnst_index」としてビットストリーム１１５に符号化する。各ＣＵは１つのルマＴＢを有し、ステップ１５９０をルマブロックに対して実行することを可能し、クロマについて「ジョイント」符号化モードが使用される場合には、１つのクロマＴＢが符号化されるので、ステップ１５９０をクロマに対して実行することができる。各残差係数を復号する前に二次変換インデックスを知ることで、係数が復号される際に、例えば乗算及び積算論理を用いて、二次変換を係数ごとに適用することができる。方法１５００は、ステップ１５９０からサブブロック符号化ステップ１５１００へと続く。
二次変換インデックス３８８が最終位置の直後に符号化されない場合、方法１５００は、ステップ１５８０からサブブロック符号化ステップ１５１００へと続く。サブブロック符号化ステップ１５１００では、現在の変換ブロック（３３６）の残差係数が、一連のサブブロックとしてビットストリーム１１５に符号化される。残差係数は、最終有意係数位置を含むサブブロックから、ＤＣ残差係数を含むサブブロックに戻って進行するように符号化される。
方法１５００は、ステップ１５１００から最後のＴＢテストステップ１５１１０に続く。ステップでは、プロセッサ２０５は、現在の変換ブロックがカラーチャネル、すなわちＹ、Ｃｂ、及びＣｒにわたる進行の最後のものであるかどうかをテストする。ちょうど符号化された変換ブロックがＣｒ ＴＢについてのものである場合（ステップ１５１１０で「ＹＥＳ」）、プロセッサ２０５の制御は、ルマＬＦＮＳＴインデックス符号化ステップ１５１２０に進む。そうではなく、現在のＴＢが最後のものではない場合（ステップ１５１１０で「ＹＥＳ」）、プロセッサ２０５内の制御は、一次変換実行ステップ１５５０に戻り、次のＴＢ（Ｃｂ又はＣｒが選択される）となる。
ステップ１５５０～１５１１０は、予測モードがイントラ予測であり、ＤＣＴ－２を使用する共有符号化ツリー構造の例に関連して説明される。一次変換の実行（１５５０）、一次変換係数の量子化（１５６０）、及び最終位置の符号化（１５９０）などのステップの動作は、既知の方法を使用して、共有符号化ツリー構造以外のインター予測モード又はイントラ予測モードについて実装することができる。ステップ１５１０～１５４０は、予測モード又は符号化ツリー構造に関係なく実装することができる。
方法１５００は、ステップ１５１１０から、ルマＬＦＮＳＴインデックス符号化ステップ１５１２０に続く。ステップ１５１２０では、ルマＴＢに適用される二次変換インデックスは、ゼロ（二次変換が適用されない）であると推測されない場合、エントロピー符号化器３３８によってビットストリーム１１５に符号化される。ルマ二次変換インデックスは、ルマＴＢについての最終有意位置が有意な一次のみの残差係数を示す場合、又はＤＣＴ－２以外の一次変換が実行される場合、ゼロであると推測される。さらに、ルマＴＢに適用される二次変換インデックスは、イントラ予測と共有符号化ツリー構造を使用する符号化ユニットについてのみ、ビットストリームに符号化される。ルマＴＢに適用される２次変換インデックスは、フラグ１２２０（ジョイントＣｂＣｒモードの場合はフラグ１２３０）を用いて符号化される。
方法１５００は、ステップ１５１２０から、クロマＬＦＮＳＴインデックス符号化ステップ１５１３０に続く。ステップ１５３０では、クロマ二次変換インデックスがゼロ（二次変換が適用されない）であると推測されない場合、エントロピー符号化器３３８によって、クロマＴＢに適用された二次変換インデックスがビットストリーム１１５に符号化される。クロマ二次変換インデックスは、いずれかのクロマＴＢについての最終有意位置が有意な一次のみの残差係数を示す場合、ゼロであると推測される。方法１５００は、ステップ１５１３０を実行すると終了し、プロセッサ２０５における制御は方法１３００に戻る。クロマＴＢに適用される二次変換インデックスは、イントラ予測及び共有符号化ツリー構造を用いる符号化ユニットについてのみ、ビットストリームに符号化される。クロマＴＢに適用される二次変換インデックスは、フラグ１２２１（ジョイントＣｂＣｒモードの場合は、フラグ１２３０）を用いて符号化される。
図１６は、スライスに構成された符号化ユニットのシーケンスとしてのビットストリームからフレームを復号するための方法１６００を示す。方法１６００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰのような装置によって実装されてもよい。さらに、方法１６００は、プロセッサ２０５の実行下で、ビデオ復号器１３４によって実行されてもよい。このように、方法１６００は、コンピュータ読み取り可能な記憶媒体及び／又はメモリ２０６に格納されてもよい。
方法１６００は、ビットストリーム１１５の各部分（スライス）を符号化する際に、レート制御の目的で有益と考えられるように、パーティショニング制約及び量子化グループ定義がスライスごとに変化してもよい方法１３００を用いて符号化されたビットストリームを復号する。量子化グループの細分化レベルがスライスごとに変化してもよいだけでなく、二次変換の適用は、ルマ及びクロマについて独立して制御可能である。
方法１６００は、ＳＰＳ／ＰＰＳ復号ステップ１６１０で始まる。ステップ１６１０の実行において、ビデオ復号器１３４は、固定長及び可変長のパラメータのシーケンスとして、ビットストリーム１３３からＳＰＳ１１１０及びＰＰＳ１１１２を復号する。partition_constraints_override_enabled_flagは、それぞれのスライス（例えば１１１６）のスライスヘッダ（例えば１１１８）において、パーティション制約を上書きできるかどうかを示す、ＳＰＳ１１１０の一部として復号される。デフォルトの（つまり、ＳＰＳ１１１０でシグナリングされ、その後の上書きがない場合にスライスで使用される）パーティション制約パラメータ１１３０も、ビデオ復号器１３４によってＳＰＳ１１１０の一部として復号される。
方法１６００は、ステップ１６１０から、スライス境界を決定するステップ１６２０に続く。ステップ１６２０の実行において、プロセッサ２０５は、ビットストリーム１３３内の現在のアクセスユニットにおけるスライスの位置を決定する。一般に、スライスは、ＮＡＬユニット境界を（「スタートコード」を検出することによって）決定し、各ＮＡＬユニットについて、「ＮＡＬユニットタイプ」を含むＮＡＬユニットヘッダを読み取ることによって識別される。特定のＮＡＬユニットタイプは、「Ｉスライス」、「Ｐスライス」、「Ｂスライス」などのスライスタイプを識別する。スライス境界を識別すると、アプリケーション２３３は、方法１６００の続くのステップの実行を、異なるプロセッサ上で、例えばマルチプロセッサアーキテクチャにおいて、並列復号のために分散させてもよい。より高い復号スループットのために、マルチプロセッサシステム内の各プロセッサによって異なるスライスが復号されてもよい。
方法１６００は、ステップ１６１０から、スライスヘッダ復号ステップ１６３０へと続く。ステップ１６３０において、エントロピー復号器４２０は、ビットストリーム１３３からスライスヘッダ１１１８を復号する。ステップ１６３０で実装される、ビットストリーム１３３からスライスヘッダ１１１８を復号する例示的な方法を、図１７を参照して以下に説明する。
方法１６００は、ステップ１６３０から、スライスをＣＴＵに分割するステップ１６４０に続く。ステップ１６４０において、ビデオ復号器１３４は、スライス１１１６をＣＴＵのシーケンスに分割する。スライスの境界はＣＴＵの境界に整列され、スライス内のＣＴＵはＣＴＵスキャン順に従って順序付けられる。ＣＴＵスキャン順序は、一般にラスタースキャン順序である。ＣＴＵへのスライスの分割は、現在のスライスを復号する際に、フレームデータ１１３のどの部分がビデオ復号器１３４によって処理されるかを確立する。
方法１６００は、ステップ１６４０から、符号化ツリー復号ステップ１６５０へと続く。ステップ１６５０の実行において、ビデオ復号器１３３は、ステップ１６５０の最初の呼び出しにおいてスライス１１１６の最初のＣＴＵから開始して、ビットストリーム１３３からスライス内の現在のＣＴＵについての符号化ツリーを復号する。ＣＴＵの符号化ツリーは、図６に従って分割フラグを復号することによって復号される。ＣＴＵに対するステップ１６５０の続く繰り返しにおいて、復号はスライス１１１６内の後続するＣＴＵに対して実行される。符号化ツリーがイントラ予測モード及び共有符号化ツリー構造を用いて符号化された場合、符号化ユニットは、プライマリカラーチャネル（ルマ又はＹ）及び少なくとも１つのセカンダリカラーチャネル（クロマ、Ｃｂ及びＣｒ又はＣｂＣｒ）を有する。この場合、符号化ツリーの復号は、符号化ツリーユニットの分割フラグに従って、プライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルを含む符号化ユニットを復号することに関連する。
方法１６００は、ステップ１６６０から、符号化ユニット復号ステップ１６７０へと続く。ステップ１６７０において、ビデオ復号器３１４は、ビットストリーム１３３から符号化ユニットを復号する。ステップ１６７０で実装される、符号化ユニットを復号する方法の例を、図１８を参照して以下に説明する。
方法１６００は、ステップ１６１０から最後の符号化ユニットテストステップ１６８０へと続く。ステップ１６８０において、プロセッサ２０５は、現在の符号化ユニットがＣＴＵの最後の符号化ユニットであるかどうかをテストする。最後の符号化ユニットでない場合（ステップ１６８０で「ＮＯ」）、プロセッサ２０５における制御は、符号化ツリーユニットの次の符号化ユニットを復号するために、符号化ユニット復号ステップ１６７０に戻る。現在の符号化ユニットが最後の符号化ユニットである場合（ステップ１６８０で「ＹＥＳ」）、プロセッサ２０５内の制御は、最後のＣＴＵテストステップ１６９０に進む。
最後のＣＴＵテストステップ１６９０において、プロセッサ２０５は、現在のＣＴＵがスライス１１１６の最後のＣＴＵであるかどうかをテストする。スライスの最後のＣＴＵでない場合（ステップ１６９０で「ＮＯ」）、プロセッサ２０５内の制御は、スライス１１１６の次の符号化ツリーユニットを復号するために、符号化ツリー復号ステップ１６５０に戻る。現在のＣＴＵがスライス１１１６の最後のＣＴＵである場合（ステップ１６９０で「ＹＥＳ」）、プロセッサ２０５内の制御は、最後のスライステストステップ１６１００に進む。
最後のスライステストステップ１６１００で、プロセッサ２０５は、復号されている現在のスライスがフレームの最後のスライスであるかどうかをテストする。フレーム内の最後のスライスでない場合（ステップ１６１００で「ＮＯ」）、プロセッサ２０５内の制御は、スライスヘッダ復号ステップ１６３０に戻り、ステップ１６３０は、フレーム内の次のスライス（例えば図１１の「スライス２」）のスライスヘッダを復号するように動作する。現在のスライスがフレーム内の最後のスライスである場合（ステップ１６００で「ＹＥＳ」）、方法１６００は終了する。
複数の符号化ユニットに対する方法１６００の動作は、図１でデバイス１３０に関連して説明したように、画像フレームを生成するように動作する。
図１７は、ステップ１６３０で実装される、スライスヘッダをビットストリームに復号するための方法１７００を示す。方法１７００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰのような装置によって実装されてもよい。さらに、方法１７００は、プロセッサ２０５の実行下で、ビデオ復号器１３４によって実行されてもよい。このように、方法１７００は、コンピュータ読み取り可能な記憶媒体及び／又はメモリ２０６に格納されてもよい。
方法１５００と同様に、方法１７００は、例えばフレーム１１０１などのフレーム内の現在のスライス又は連続部分（１１１６）に対して実行される。方法１７００は、パーティション制約上書き有効テストステップ１７１０で始まる。ステップ１７１０において、プロセッサ２０５は、ＳＰＳ１１１０から復号されたパーティション制約上書き有効フラグが、パーティション制約がスライスレベルで上書きされてもよいことを示しているかどうかをテストする。パーティション制約がスライスレベルで上書きされてもよい場合（ステップ１７１０で「ＹＥＳ」）、プロセッサ２０５における制御は、パーティション制約上書きフラグ復号ステップ１７２０に進む。そうではなく、パーティション制約上書き有効フラグが、スライスレベルで制約を上書きできないことを示す場合（ステップ１７１０で「ＮＯ」）、プロセッサ２０５内の制御は、他のパラメータ復号ステップ１７７０に進む。
パーティション制約上書きフラグ復号ステップ１７２０において、エントロピー復号器４２０は、ビットストリーム１３３からパーティション制約上書きフラグを復号する。復号されたフラグは、ＳＰＳ１１１０でシグナリングされたパーティション制約が、現在のスライス１１１６について上書きされるかどうかを示す。
方法１７００は、ステップ１７２０からパーティション制約上書きテストステップ１７３０へと続く。ステップ１７３０の実行において、プロセッサ２０５は、ステップ１７２０で復号されたフラグ値をテストする。復号されたフラグがパーティション制約が上書きされることを示している場合（ステップ１７３０で「ＹＥＳ」）、プロセッサ２０５における制御は、スライスパーティション制約復号ステップ１７４０に進む。そうではなく、復号されたフラグがパーティション制約を上書きしないことを示している場合（ステップ１７３０で「ＮＯ」）、プロセッサ２０５における制御は、他のパラメータ復号ステップ１７７０に進む。
スライスパーティション制約復号ステップ１７４０において、エントロピー復号器４２０は、ビットストリーム１３３からスライスについて決定されたパーティション制約を復号する。スライスについてのパーティション制約は、「slice_max_mtt_hierarchy_depth_luma」を含み、ここからMaxMttDepthY １１３４が導出される。
方法１７００は、ステップ１７４０からＱＰ細分化レベル復号ステップ１７５０へと続く。ステップ１７２０で、エントロピー復号器４２０は、図１１を参照して説明したように、「cu_qp_delta_subdiv」シンタックス要素を用いて、ルマＣＢについての細分化レベルを復号する。
方法１７００は、ステップ１７５０から、クロマＱＰ細分化レベル復号ステップ１７６０へと続く。ステップ１７６０で、エントロピー復号器４２０は、図１１を参照して説明したように、「cu_chroma_qp_offset_subdiv」シンタックス要素を用いて、ＣＵクロマＱＰオフセットのシグナリングのための細分化レベルを復号する。
ステップ１７５０及び１７６０は、ビットストリームの特定の連続部分（スライス）についての細分化レベルを決定するように動作する。ステップ１６３０と１６１００の間で繰り返される反復は、ビットストリームの各連続部分（スライス）に対する細分化レベルを決定するように動作する。以下で説明するように、各細分化レベルは、対応するスライス（連続部分）の符号化ユニットに適用可能である。
方法１７００は、ステップ１７６０から、他のパラメータ復号ステップ１７７０へと続く。ステップ１７７０において、エントロピー復号器４２０は、例えば、デブロッキング、適応ループフィルタのような特定のツールの制御、（変換ブロックへの量子化パラメータの不均一な適用のための）以前にシグナリングされたものからのスケーリングリストの任意の選択的な選択のために必要なもののような、スライスヘッダ１１１８からの他のパラメータを復号する。方法１７００は、ステップ１７７０の実行により終了する。
図１８は、ビットストリームから符号化ユニットを復号するための方法１８００を示す。方法１８００は、構成されたＦＰＧＡ、ＡＳＩＣ、又はＡＳＳＰのような装置によって実装されてもよい。さらに、方法１８００は、プロセッサ２０５の実行下で、ビデオ復号器１３４によって実行されてもよい。このように、方法１８００は、コンピュータ読み取り可能な記憶媒体及び／又はメモリ２０６に格納されてもよい。
方法１８００は、現在のＣＴＵの現在の符号化ユニット（例えば、スライス１１１６のＣＴＵ０）に対して実装される。方法１８００は、予測モード復号ステップ１８１０で開始する。ステップ１８００において、エントロピー復号器４２０は、図１３のステップ１３６０で決定された、符号化ユニットの予測モードを、ビットストリーム１３３から復号する。符号化ユニットについてのイントラ予測、インター予測、又は他の予測モードの使用を区別するために、ステップ１８１０で「pred_mode」シンタックス要素が復号される。
符号化ユニットにイントラ予測が使用されている場合、ステップ１８１０で、ルマイントラ予測モードとクロマイントラ予測モードも復号される。符号化ユニットにインター予測が使用される場合、この符号化ユニットで使用するために隣接する符号化ユニットからの動きベクトルを決定するためにステップ１８１０で「マージインデックス」も復号されてもよく、空間的に隣接するブロックから導出される動きベクトルに対するオフセットを導入するために動きベクトルデルタが復号されてもよい。符号化ユニットのルマＴＢについて、水平及び垂直のＤＣＴ－２の使用、水平及び垂直の変換スキップ、又は水平及び垂直のＤＣＴ－８とＤＳＴ－７の組み合わせ、の間で選択するために、一次変換タイプもステップ１８１０で復号される。
方法１８００は、ステップ１８１０から符号化残差テストステップ１８２０へと続く。ステップ１８２０の実行において、プロセッサ２０５は、エントロピー復号器４２０を使用して符号化ユニットについての「ルート符号化ブロックフラグ」を復号することによって、符号化ユニットについての残差を復号する必要があるかどうかを決定する。符号化ユニットについて復号される有意な残差係数が存在する場合（ステップ１８２０で「ＹＥＳ」）、プロセッサ２０５における制御は、新しいＱＧテストステップ１８３０に進む。そうではなく、復号される残差係数が存在しない場合（ステップ１８２０で「ＮＯ」）、符号化ユニットを復号するために必要な全ての情報がビットストリーム１１５で得られているため、方法１８００は終了する。方法１８００が終了時すると、ＰＢ生成、インループフィルタリングの適用などの後続のステップが実行され、図４を参照して説明したように、復号されたサンプルが生成される。
新しいＱＧテストステップ１８３０において、プロセッサ２０５は、符号化ユニットが新しい量子化グループに対応するかどうかを決定する。符号化ユニットが新しい量子化グループに対応する場合（ステップ１８３０で「ＹＥＳ」）、プロセッサ２０５における制御は、デルタＱＰ復号ステップ１８４０に進む。そうではなく、符号化ユニットが新しい量子化グループに対応していない場合（ステップ１８３０で「ＮＯ」）、プロセッサ２０５における制御は、最終位置復号ステップ８１５０に進む。新しい量子化グループは、現在のモード又は符号化ユニットの細分化レベルに関連する。各符号化ユニットを復号する際、ＣＴＵの符号化ツリーのノードがトラバースされる。現在のノードの子ノードのいずれかが、すなわち「cu_qp_delta_subdiv」から決定されるような、現在のスライスの細分化レベル１１３６以下の細分化レベルを有するとき、そのノードに対応するＣＴＵのエリアで新たな量子化グループが開始する。符号化された残差係数を含む量子化グループの最初のＣＵは、符号化されたデルタＱＰも含み、この量子化グループの残差係数に適用可能な量子化パラメータへのあらゆる変更をシグナリングするだろう。実際には、各エリア（量子化グループ）について、単一の（多くても１つの）量子化パラメータデルタが復号される。図８Ａ～図８Ｃに関連して説明したように、各エリア（量子化グループ）は、各スライスの符号化ツリーユニットの分解及び（例えば、ステップ１４６０及び１４７０で符号化されたような）対応する細分化レベルに基づいている。言い換えれば、各エリア又は量子化グループは、符号化ユニットに関連する細分化レベルの、対応する連続部分について決定された細分化レベルに対する比較に基づいている。
デルタＱＰ復号ステップ１８４０において、エントロピー復号器４２０は、ビットストリーム１３３からデルタＱＰを復号する。デルタＱＰは、予測されたＱＰと、現在の量子化グループで使用することが意図されたＱＰとの間の差分を符号化する。予測されたＱＰは、隣接する（上と左の）量子化グループのＱＰを平均化することによって得られる。
方法１８００は、ステップ１８４０から、最終位置復号ステップ１８５０へと続く。ステップ１８５０の実行において、エントロピー復号器４２０は、ビットストリーム１３３から、現在の変換ブロックについての二次変換係数４２４における最終有意係数位置を復号する。ステップ１８５０の最初の呼び出しでは、ステップはルマＴＢについて実行される。現在のＣＵに対するステップ１８５０のその後の呼び出しでは、ステップはＣｂ ＴＢについて実行される。最終位置が、ルマブロック又はクロマブロックについての二次変換係数セットの外側（すなわち９２８又は９６６の外側）の有意な係数を示す場合、ルマチャネル又はクロマチャネルについてのそれぞれの二次変換インデックスは、ゼロであると推測される。このステップは、Ｃｒ ＴＢに対しては、Ｃｂに対するものの後の繰り返しにおいて行われる。
図１５のステップ１５９０に関連して説明したように、いくつかの構成では、二次変換インデックスは、符号化ユニットの最終有意係数位置の直後に符号化される。同じ符号化ユニットを復号する際に、ステップ１８４０で復号されたＴＢについての最終位置の位置に基づいて二次変換インデックス４７０がゼロであると推測されなかった場合、二次変換インデックス４７０は、符号化ユニットの最終有意残差係数位置を復号した直後に復号される。二次変換インデックス４７０が符号化ユニットの最終有意係数位置の直後に復号される構成において、方法１８００では、ステップ１８５０からＬＦＮＳＴインデックス復号ステップ１８６０に続く。ステップ１８６０の実行において、エントロピー復号器４２０は、全ての有意な係数が逆二次変換を受ける場合（例えば９２８又は９６６内）、トランケーテッドユナリーコードワードを使用して、ビットストリーム１３３から二次変換インデックス４７０を「lfnst_index」として復号する。二次変換インデックス４７０は、ルマＴＢについて、又は、単一の変換ブロックを用いたクロマＴＢについてのジョイント符号化が実行されるときにクロマについて、復号することができる。方法１８００は、ステップ１８６０からサブブロック復号ステップ１８７０へと続く。
符号化ユニットの最終有意位置の直後に二次変換インデックス４７０が復号されない場合、方法１８００は、ステップ１８５０からサブブロック復号ステップ１８７へと続く０。ステップ１８７０では、現在の変換ブロックの残差係数、すなわち４２４が、最終有意係数位置を含むサブブロックからＤＣ残差係数を含むサブブロックに戻るように進行する一連のサブブロックとして、ビットストリーム１３３から復号される。
方法１８００は、ステップ１８７０から最後のＴＢテストステップ１８８０に続く。ステップ１８８０の実行において、プロセッサ２０５は、現在の変換ブロックがカラーチャネル、すなわちＹ、Ｃｂ、及びＣｒにわたる進行における最後の変換ブロックであるかどうかをテストする。ちょうど復号された（現在の）変換ブロックがＣｒ ＴＢについてのものである場合、プロセッサ２０５における制御は、全てのＴＢが復号され（ステップ１８８０で「ＹＥＳ」）、方法１８００はルマＬＦＮＳＴインデックス復号ステップ１８９０に進む。そうではなく、ＴＢが復号されていない場合（ステップ１８８０で「ＮＯ」）、プロセッサ２０５内の制御は、最終位置復号ステップ１８５０に戻る。次のＴＢ（Ｙ、Ｃｂ、Ｃｒの順に続く）が、ステップ１８５０の繰り返しにおいて復号のために選択される。
方法１８００は、ステップ１８８０から、ルマＬＦＮＳＴインデックス復号ステップ１８９０へと続く。ステップ１８９０の実行において、ルマＴＢの最終位置が逆二次変換の対象となる係数のセット（例えば９２８又は９６６）内にあり、ルマＴＢが一次変換としてＤＣＴ－２を水平及び垂直に使用している場合、ルマＴＢに適用される二次変換インデックス４７０は、エントロピー復号器４２０によってビットストリーム１３３から復号される。ルマＴＢの最終有意位置が、逆二次変換の対象となる係数のセットの外側（例えば、９２８又は９６６の外側）にある有意な一次係数の存在を示す場合、ルマ二次変換インデックスはゼロ（二次変換が適用されない）であると推測される。ステップ１８９０で復号された二次変換インデックスは、図１２では１２２０（ジョイントＣｂＣｒモードでは１２３０）と示されている。
方法１８００は、ステップ１８９０からクロマＬＦＮＳＴインデックス復号ステップ１８９５へと続く。ステップ１８９５では、各クロマＴＢについての最終位置が逆二次変換の対象となる係数のセット（例えば、９２８又は９６６）内にある場合、エントロピー復号器４２０によって、クロマＴＢに適用される二次変換インデックス４７０がビットストリーム１３３から復号される。いずれかのクロマＴＢの最終有意位置が、逆二次変換の対象となる係数のセットの外側（例えば、９２８又は９６６の外側）にある有意な一次係数の存在を示す場合、クロマ二次変換インデックスは、ゼロ（二次変換が適用されない）であると推測される。ステップ１８９５で復号された二次変換インデックスは、図１２では１２２１（ジョイントＣｂＣｒモードでは１２３０）と示されている。輝度と彩度の別々のインデックスを復号する際には、各切り捨てられたユナリーコードワードのための別々の算術コンテキストが使用されるか、又は、輝度と彩度の切り捨てられたユナリーコードワードのそれぞれのｎ番目のビンが同じコンテキストを共有するように、コンテキストが共有されてもよい。
実質的に、ステップ１８９０及び１８９５は、ルマ（プライマリカラー）チャネルについてのカーネルを選択するための第１のインデックス（１２２０など）、及び少なくとも１つのクロマ（セカンダリカラー）チャネルについてのカーネルを選択するための第２のインデックス（１２２１など）を、それぞれ復号することに関連する。
方法１８００は、ステップ１８９５から逆二次変換を行うステップ１８１００に続く。ステップでは、逆二次変換モジュール４３６は、二次変換係数４３２を生成するために、復号された残差変換係数４２４に対して、現在の変換ブロックについての二次変換インデックス４７０に従って逆二次変換を実行する。ステップ１８９０で復号された二次変換インデックスは、ルマＴＢに適用され、ステップ１８９５で復号された二次変換インデックスは、クロマＴＢに適用される。ルマ及びクロマについてのカーネル選択は、ルマイントラ予測モード及びクロマイントラ予測モードのそれぞれ（それぞれ、ステップ１８１０で復号された）にも依存する。ステップ１８１００では、ルマ用のＬＦＮＳＴインデックスに応じたカーネルと、クロマ用のＬＦＮＳＴインデックスに応じたカーネルを選択する。
方法１８００は、ステップ１８１００から一次変換係数逆量子化ステップ１８１１０へと続く。ステップ１８１１０において、逆量子化モジュール４２８は、逆量子化された一次変換係数４４０を生成するために、量子化パラメータ４７４に従って二次変換係数４３２を逆量子化する。ステップ１８４０でデルタＱＰが復号された場合、エントロピー復号器４２０は、量子化グループ（エリア）についてのデルタＱＰと、画像フレームの先行する符号化ユニットの量子化パラメータとに従って、量子化パラメータを決定する。本明細書で前に説明したように、先行する符号化ユニットは、典型的には、隣り合う上－左の符号化ユニットに関する。
方法１８００は、ステップ１８７０から、一次変換実行ステップ１８１２０へと続く。ステップ１８２０において、逆一次変換モジュール４４４は、符号化ユニットの一次変換タイプに従って逆一次変換を実行し、その結果、変換係数４４０は、空間ドメインの残差サンプル４４８に変換される。逆一次変換は、各カラーチャネルに対して実行され、まず、ルマチャネル（Ｙ）に対して実行され、次に、現在のＴＵについてのステップ１６５０のその後の呼び出し時に、Ｃｂ及びＣｒ ＴＢに対して実行される。ステップ１８１００から１８１２０は、ステップ１８９０でルマについてのＬＦＮＳＴインデックスに従って選択されたカーネルを、ルマチャネルの復号された残差係数に適用し、ステップ１８９０でクロマについてのＬＦＮＳＴインデックスに従って選択されたカーネルを、少なくとも１つのクロマチャネルの復号された残差係数に適用することによって、現在の符号化ユニットを復号するように実質的に動作する。
方法１８００は、ステップ１８１２０を実行すると終了し、プロセッサ２０５における制御は方法１６００に戻る。
ステップ１８５０から１８１２０は、予測モードがイントラ予測であり、変換がＤＣＴ－２である共有符号化ツリー構造の例に関連して説明される。例えば、ルマＴＢに適用される二次変換インデックスは、イントラ予測及び共有符号化ツリー構造を使用する符号化ユニットについてのみ、ビットストリーム（１８９０）から復号される。同様に、クロマＴＢに適用される二次変換インデックスは、イントラ予測及び共有符号化ツリー構造を使用する符号化ユニットについてのみ、ビットストリーム（１８９５）から復号される。サブブロックの復号（１８７０）、一次変換係数の逆量子化（１８１１０）、及び一次変換の実行などのステップの動作は、既知の方法を用いて、共有符号化ツリー構造以外のインター予測モード又はイントラ予測モードについて実装することができる。ステップ１８１０から１８４０は、予測モード又は構造に関係なく、説明した方法で実行される。
方法１８００が終了すると、モジュール４７６によるイントラ予測サンプル４８０の生成、モジュール４５０による予測ブロック４５２と復号された残差サンプル４４８との合計、及びフィルタリングされたサンプル４９２を生成するためのインループフィルタモジュール４８８の適用を含む、符号化ユニットを復号するための後続のステップが実行され、フレームデータ１３５として出力される。
図１９Ａ及び図１９Ｂは、二次変換をルマチャネル及びクロマチャネルに適用し又はバイパスするための規則を示す。図１９Ａは、共有符号化ツリーから得られるＣＵにおいて、ルマチャネルとクロマチャネルにおいて二次変換を適用するための条件を例示するテーブル１９００を示す。
ルマＴＢの最終有意係数位置が、順方向二次変換の結果として得られるものではない、したがって逆二次変換の対象ではない復号された有意な係数を示す場合、条件１９０１が存在する。ルマＴＢの最終有意係数位置が、順方向二次変換の結果として得られた、したがって逆二次変換の対象となる復号された有意な係数を示す場合、条件１９０２が存在する。さらに、ルマチャネルについては、条件１９０２が存在するためには一次変換タイプがＤＣＴ－２である必要があり、そうでなければ条件１９０１が存在する。
１つ又は２つのクロマＴＢの最終有意係数位置が、順方向の二次変換の結果として得られるものではない、したがって逆二次変換の対象ではない復号された有意な係数を示す場合、条件１９１０が存在する。また、１つ又は２つのクロマＴＢの最終有意係数位置が、順方向二次変換の結果として得られた、したがって逆二次変換の対象となる復号された有意な係数を示す場合、条件１９１１が存在する。さらに、条件１９１１が存在するためには、クロマブロックの幅及び高さが少なくとも４サンプルである必要がある（例えば、４：２：０又は４：２：２のクロマフォーマットが使用されるときのクロマサブサンプリングによれば幅又は高さが２サンプルになる可能性がある）。
条件１９０１及び１９１０が存在する場合、二次変換インデックスは（独立して又は共同で）シグナリングされず、ルマ又はクロマにおいて適用されない、すなわち１９２０である。条件１９０１及び１９１１が存在する場合、１つの二次変換インデックスが、ルマチャネルのみについて選択されたカーネルの適用又はバイパスを示すためにシグナリングされる、すなわち１９２１である。条件１９０２及び１９１０が存在する場合、１つの二次変換インデックスが、選択されたカーネルの適用又はクロマチャネルのみのバイパス処理（すなわち１９２２）を示すようにシグナリングされる。条件１９１１及び１９０２が存在する場合、独立したシグナリングを持つ構成は２つの二次変換インデックスをシグナリングし、１つはルマＴＢについてのものであり、もう１つはクロマＴＢについてのものである、すなわち１９２３である。条件１９０２及び１９１１が存在する場合に、単一のシグナリングされた二次変換インデックスを用いる構成は、ルマ及びクロマについての選択を制御するために１つのインデックスを用いるが、選択されるカーネルは、異なるかもしれないルマ及びクロマのイントラ予測モードにも依存する。ルマとクロマのいずれか（すなわち１９２１と１９２２）に二次変換を適用する能力は、符号化効率の獲得につながる。
図１９Ｂは、ステップ１３６０でビデオ符号化器１１４に利用可能な検索オプションのテーブル１９５０を示す。ルマ（１９５２）及びクロマ（１９５３）についての二次変換インデックスは、それぞれ１９５２及び１９５３として示されている。インデックス値０は、二次変換がバイパスされることを示し、インデックス値１及び２は、ルマ又はクロマのイントラ予測モードから得られる候補セットについての２つのカーネルのうちどちらが使用されるかを示す。その結果得られる９つの組み合わせの検索空間が存在し（「０，０」～「２，２」）、これは、図１９Ａを参照して説明した制約に従って制約されるかもしれない。全ての許容可能な組み合わせを検索することと比較して、３つの組み合わせの簡略化された検索（１９５１）では、一次のみの係数が存在することを最終有意係数位置が示すチャネルについてインデックスをゼロにすることを条件に、ルマ及びクロマの二次変換インデックスが同じとなる組み合わせだけをテストしてもよい。例えば、条件１９２１が存在する場合、選択肢「１，１」及び「２，２」はそれぞれ「０，１」及び「０，２」になる（すなわち１９５４）。条件１９２２が存在する場合、選択肢「１，１」及び「２，２」はそれぞれ「１，０」及び「２，０」になる（すなわち１９５５）。条件１９２０が存在する場合、二次変換インデックスをシグナリングする必要はなく、選択肢「０，０」が使用される。実質的に、条件１９２１及び１９２２は、共有ツリーＣＵにおいて選択肢「０，１」、「０，２」、及び「１，０」、「２，０」を許容し、結果として高い圧縮効率につながる。仮にこれらの選択肢を禁止した場合、条件１９０１又は１９１０のいずれかでは、条件１９２０、つまり選択肢「１，１」及び「２，２」が禁止されることになり、「０，０」が使用されることになる（１９５６を参照）。
スライスヘッダにおいて量子化グループの細分化レベルをシグナリングすることで、ピクチャレベルの下でのより高い粒度での制御が可能になる。制御の粒度が高いことは、符号化の忠実度の要件が画像の部分ごとに変化するような、及び特にリアルタイムの処理能力を提供するために複数の符号化がある程度独立して動作する必要があるかもしれないような応用例にとって有利である。スライスヘッダにおいて量子化グループの細分化レベルをシグナリングすることは、スライスヘッダでパーティション上書き設定及びスケーリングリスト適用設定をシグナリングすることも整合している。
ビデオ符号化器１１４及びビデオ復号器１３４の１つの構成では、クロマイントラ予測ブロックについての二次変換インデックスは常にゼロに設定され、すなわち、クロマイントラ予測ブロックについて二次変換は適用されない。この場合、クロマ二次変換インデックスをシグナリングする必要はなく、したがってステップ１５１３０及び１８９５を省略してもよく、それに応じてステップ１３６０、１５７０、及び１８１００が簡略化される。
共有ツリーにおける符号化ツリーのノードが６４個のルマサンプルのエリアを持っている場合、二分ツリー又は四分ツリー分割でさらに分割すると、４×４ブロックなどのより小さなルマＣＢが生じるが、より小さなクロマＣＢは生じないだろう。その代わりに、４×４クロマＣＢなど、６４個のルマサンプルのエリアに対応するサイズの単一のクロマＣＢが存在する。同様に、１２８個のルマサンプルのエリアを持つ符号化ツリーノードが三分割を受けると、より小さなルマＣＢと１つのクロマＣＢの集合が生じる。各ルマＣＢは、対応するルマ二次変換インデックスを有し、クロマＣＢはクロマ二次変換インデックスを有する。
符号化ツリーのノードが６４の面積を持ちさらなる分割がシグナリングされた場合、又は１２８のルマサンプルの面積を持ち三分割がシグナリングされた場合、分割はルマチャネルのみに適用され、結果として得られるＣＢ（複数のルマＣＢ及び各クロマチャネルについて１つのクロマＣＢ）は、全てイントラ予測されるか又は全てインター予測される。ＣＵが４ルマサンプルの幅又は高さを持ち、カラーチャネル（Ｙ、ＣＢ、及びＣｒ）のそれぞれについて１つのＣＢを含む場合、ＣＵのクロマＣＢは２サンプルの幅又は高さを持つ。幅又は高さが２サンプルのＣＢは、１６ポイント又は４８ポイントのＬＦＮＳＴカーネルでは動作しないため、二次変換を必要としない。幅又は高さが２サンプルのブロックについては、ステップ１５１３０、１８９５、１３６０、１５７０、及び１８１００を実行する必要はない。
ビデオ符号化器１１４及びビデオ復号器１３４の別の構成では、ルマ及びクロマのいずれか又は両方が、一次変換のみの対象となるそれぞれのＴＢの領域に有意でない残差係数のみを含む場合、単一の二次変換インデックスがシグナリングされる。ルマＴＢが、復号された残差の非二次変換領域（例えば１０６６、９６８）に有意な残差係数を含む場合、又は一次変換としてＤＣＴ－２を使用しないことが指示された場合、指示された二次変換カーネル（又は二次変換バイパス）はクロマＴＢのみに適用される。いずれかのクロマＴＢが、復号された残差の非二次変換領域に有意な残差係数を含む場合、指示された二次変換カーネル（又は二次変換バイパス）はルマＴＢのみに適用される。クロマＴＢについては不可能である場合にも二次変換の適用がルマＴＢに対しては可能になり、及びこの反対も成り立ち、ＣＵの任意のＴＢを二次変換の対象とできるようになる前に全てのＴＢの最終位置が二次係数ドメイン内にあることを要求する場合と比較して、符号化効率の向上が得られる。さらに、共有符号化ツリーのＣＵについて必要な二次変換インデックスは１つだけである。ルマの一次変換がＤＣＴ－２である場合、二次変換はルマと同様にクロマについて無効であると推測されてもよい。
ビデオ符号化器１１４及びビデオ復号器１３４の別の構成では、二次変換は、（それぞれモジュール３３０及び４３６によって）ＣＵのルマＴＢのみに適用され、ＣＵのいかなるクロマＴＢにも適用されない。クロマチャネルについての二次変換論理が存在しないことは、例えば少ない実行時間又はシリコン面積の減少など、複雑さの低減をもたらす。クロマチャネルについての二次変換論理が存在しないことは、１つの二次変換インデックスをシグナリングする必要だけがあるという結果になり、これはルマＴＢの最終位置の後にシグナリングされてもよい。すなわち、ステップ１５１２０及び１８９０の代わりに、ステップ１５９０及び１８６０がルマＴＢについて実行される。ステップ１５１３０及び１８９５は、この場合には省略される。
ビデオ符号化器１１４及びビデオ復号器１３４の別の構成では、量子化グループサイズを定義するシンタックス要素（すなわち、cu_chroma_qp_offset_subdiv及びcu_qp_delta_subdiv）は、ＰＰＳ１１１２においてシグナリングされる。スライスヘッダ１１１８においてパーティション制約が上書きされても、ＳＰＳ１１１０でシグナリングされたパーティション制約に応じて、細分化レベルの値の範囲が定義される。例えば、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivの範囲は、0～2×(log2_ctu_size_minus5 + 5 - (MinQtLog2SizeInterY or MinQtLog2SizeIntraY) + MaxMttDepthY_SPSと定義される。値ＭａｘＭｔｔＤｅｐｔｈＹは、ＳＰＳ１１１０から導出される。すなわち、MaxMttDepthYは、現在のスライスがＩスライスである場合には、sps_max_mtt_hierarchy_depth_intra_slice_lumaと等しくなるように設定され、現在のスライスがＰスライス又はＢスライスである場合には、sps_max_mtt_hierarchy_depth_inter_sliceに等しくなるように設定される。ＳＰＳ１１１０でシグナリングされた深度よりも浅くなるようにパーティション制約が上書きされたスライスについては、ＰＰＳ１１１２から決定された量子化グループ細分化レベルが、スライスヘッダから決定されたより浅い符号化ツリー深度の下で達成可能な最も高い細分化レベルよりも高い（深い）場合、そのスライスについての量子化グループ細分化レベルは、そのスライスについて達成可能な最も高い細分化レベルと等しくなるようにクリップされる。例えば、あるスライスについてのcu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivは、0～2×(log2_ctu_size_minus5 + 5 - (MinQtLog2SizeInterY or MinQtLog2SizeIntraY) + MaxMttDepthY_slice_header)の内に入るようにクリップされ、このクリップされた値がこのスライスに使用される。値MaxMttDepthY_slice_headerは、スライスヘッダ１１１８から導出され、すなわち、MaxMttDepthY_slice_headerは、slice_max_mtt_hierarchy_depth_lumaと等しくなるように設定される。
ビデオ符号化器１１４及びビデオ復号器１３４のさらに別の構成では、ルマ及びクロマの細分化レベルを導出するために、細分化レベルはＰＰＳ１１１２から復号されたcu_chroma_qp_offset_subdiv及びcu_qp_delta_subdivから決定される。スライスヘッダ１１１８から復号されたパーティション制約が、スライスについての細分化レベルの異なる範囲につながる場合、スライスに適用される細分化レベルは、ＳＰＳ１１１０から復号されたパーティション制約に従って、最も深い許容細分化レベルに対して同じオフセットを維持するように調整される。例えば、ＳＰＳ１１１０が最大細分化レベル４を示し、ＰＰＳ１１１２が細分化レベル３を示し、スライスヘッダ１１１８が最大値を３に減らす場合、スライス内に適用される細分化レベルは２に設定される（最大許容細分化レベルに対して１のオフセットを維持する。特定のスライスについてのパーティション制約の変化に対応して量子化グループのエリアを調整することは、スライスレベルのパーティション制約の変化に適応した粒度を与えながら、細分化レベルのシグナリングをより少ない頻度（すなわちＰＰＳレベル）で行うことを可能にする。ＳＰＳ１１１０から復号されたパーティショニング制約に従って定義された範囲を使用して、スライスヘッダ１１１８から復号された上書きされたパーティショニング制約に基づいて後で調整することが可能なように、細分化レベルがＰＰＳ１１１２でシグナリングされる構成は、スライスヘッダ１１１８で確定されたパーティショニング制約に依存するＰＰＳシンタックス要素を持つという解析依存請の問題を回避する。
記載された構成は、コンピュータ及びデータ処理の産業に、特にビデオ及び画像信号のような信号の符号化・復号のためのデジタル信号処理のために適用可能であり、高い圧縮効率を実現する。
本明細書に記載された構成は、入力ビデオデータから高圧縮ビットストリームを生成する際にビデオ符号化器に与えられる柔軟性を高めている。フレーム内の異なる領域又はサブピクチャの量子化は、変化する粒度で制御することができ、領域ごとに粒度を変えることで、符号化された残差データの量を減らすことができる。したがって、必要される場合に、例えば上述の３６０°画像のために、より高い粒度を実装することができる。
いくつかの構成では、二次変換の適用は、ステップ１５１２０及び１５１３０（及び対応するステップ１８９０及び１８９５）に関連して説明したように、ルマ及びクロマについて独立して制御することができ、符号化された残差データのさらなる削減を達成する。ビデオ復号器は、そのようなビデオ符号化器によって生成されたビットストリームを復号するために必要な機能とともに説明された。
ここまで、本発明のいくつかの実施形態のみが説明されたが、本発明の範囲及び精神から逸脱することなく、これらに対して修正及び／又は変更を加えることができ、実施形態は例示的なものであり、制限的なものではない。
Claims (9)
- 所定の方式を用いるビットストリームから複数の符号化ツリーユニットを含む画像を復号する方法であって、
１つの量子化パラメータデルタが共有される量子化グループを決定するためのサブディビジョン値を決定する第１の決定工程であって、前記１つの量子化パラメータデルタは、前記量子化グループに対する量子化パラメータと予測量子化パラメータとの差分を表し、前記サブディビジョン値は符号化ツリーユニットが符号化ユニットへと分割される回数が増えると増加する値であり、前記量子化グループは複数の符号化ユニットを含むことができる、第１の決定工程と、
前記ビットストリームから所定のシンタックス要素を復号する第１の復号工程と、
前記所定のシンタックス要素に従って前記量子化グループを決定するための最大サブディビジョン値を決定する第２の決定工程と、
前記サブディビジョン値と前記最大サブディビジョン値とを比較することによって前記量子化グループを決定する第３の決定工程と、
前記量子化グループに対する前記１つの量子化パラメータデルタを復号する第２の復号工程と、
前記１つの量子化パラメータデルタ及び前記予測量子化パラメータに従って前記量子化グループに対する前記量子化パラメータを導出する導出工程と、
前記量子化グループに対する前記量子化パラメータを用いて前記量子化グループに含まれる１つ以上の符号化ユニットを復号する第３の復号工程と、を含み、
スライスタイプがイントラスライスであり、パーティション・コンストレインツ・オーバーライド・フラグの値が第１の値である場合、前記最大サブディビジョン値は、前記ビットストリームのシーケンスパラメータセットに含まれる第１のシンタックス要素に依存する範囲に制限され、
スライスタイプがインター予測を用いることが可能なＰスライス又はＢスライスであり、前記パーティション・コンストレインツ・オーバーライド・フラグの値が前記第１の値である場合、前記最大サブディビジョン値は、前記ビットストリームの前記シーケンスパラメータセットに含まれる第２のシンタックス要素に依存する範囲に制限され、
前記パーティション・コンストレインツ・オーバーライド・フラグの値が前記第１の値と異なる第２の値である場合、前記最大サブディビジョン値は、前記所定の方式において前記ビットストリームのスライスヘッダーに含まれることが可能なシンタックス要素であって、前記第１のシンタックス要素および前記第２のシンタックス要素と異なるシンタックス要素に依存する範囲に制限され、
前記最大サブディビジョン値を決定するための前記所定のシンタックス要素は、前記パーティション・コンストレインツ・オーバーライド・フラグの値によらず、前記所定の方式において前記ビットストリームの前記スライスヘッダーに含まれることが可能である、
ことを特徴とする方法。 - 前記第１のシンタックス要素は、前記イントラスライスについてのmax_mtt_hierarchy_depthであり、前記第２のシンタックス要素は、前記Ｐスライス及び前記Ｂスライスについてのmax_mtt_hierarchy_depthである、請求項１に記載の方法。
- 前記パーティション・コンストレインツ・オーバーライド・フラグは、パーティション制約に関するフラグであることを特徴とする請求項１に記載の方法。
- 所定の方式を用いてビットストリームへと複数の符号化ツリーユニットを含む画像を符号化する方法であって、
１つの量子化パラメータデルタが共有される量子化グループを決定するためのサブディビジョン値を決定する第１の決定工程であって、前記１つの量子化パラメータデルタは、前記量子化グループに対する量子化パラメータと予測量子化パラメータとの差分を表し、前記サブディビジョン値は符号化ツリーユニットが符号化ユニットへと分割される回数が増えると増加する値であり、前記量子化グループは複数の符号化ユニットを含むことができる、第１の決定工程と、
前記量子化グループを決定するための最大サブディビジョン値を決定する第２の決定工程と、
前記最大サブディビジョン値を決定するための所定のシンタックス要素を前記ビットストリームへ符号化する第１の符号化工程と、
前記サブディビジョン値と前記最大サブディビジョン値とを比較することによって前記量子化グループを決定する第３の決定工程と、
前記量子化グループに対する前記１つの量子化パラメータデルタを符号化する第２の符号化工程と、
前記量子化グループに対する前記量子化パラメータを用いて前記量子化グループに含まれる１つ以上の符号化ユニットを符号化する第３の符号化工程と、を含み、
スライスタイプがイントラスライスであり、パーティション・コンストレインツ・オーバーライド・フラグの値が第１の値である場合、前記最大サブディビジョン値は、前記ビットストリームのシーケンスパラメータセットに含まれる第１のシンタックス要素に依存する範囲に制限され、
前記スライスタイプがインター予測を用いることが可能なＰスライス又はＢスライスであり、前記パーティション・コンストレインツ・オーバーライド・フラグの値が前記第１の値である場合、前記最大サブディビジョン値は、前記ビットストリームの前記シーケンスパラメータセットに含まれる第２のシンタックス要素に依存する範囲に制限され、
前記パーティション・コンストレインツ・オーバーライド・フラグの値が前記第１の値と異なる第２の値である場合、前記最大サブディビジョン値は、前記所定の方式において前記ビットストリームのスライスヘッダーに含まれることが可能なシンタックス要素であって、前記第１のシンタックス要素および前記第２のシンタックス要素と異なるシンタックス要素に依存する範囲に制限され、
前記最大サブディビジョン値を決定するための前記所定のシンタックス要素は、前記パーティション・コンストレインツ・オーバーライド・フラグの値によらず、前記所定の方式において前記ビットストリームの前記スライスヘッダーに含まれることが可能である、
ことを特徴とする方法。 - 前記第１のシンタックス要素は、前記イントラスライスについてのmax_mtt_hierarchy_depthであり、前記第２のシンタックス要素は、前記Ｐスライス及び前記Ｂスライスについてのmax_mtt_hierarchy_depthである、請求項４に記載の方法。
- 前記パーティション・コンストレインツ・オーバーライド・フラグは、パーティション制約に関するフラグであることを特徴とする請求項４に記載の方法。
- 所定の方式を用いるビットストリームから複数の符号化ツリーユニットを含む画像を復号する装置であって、
１つの量子化パラメータデルタが共有される量子化グループを決定するためのサブディビジョン値を決定する第１の決定手段であって、前記１つの量子化パラメータデルタは、前記量子化グループに対する量子化パラメータと予測量子化パラメータとの差分を表し、前記サブディビジョン値は符号化ツリーユニットが符号化ユニットへと分割される回数が増えると増加する値であり、前記量子化グループは複数の符号化ユニットを含むことができる、第１の決定手段と、
前記ビットストリームから所定のシンタックス要素を復号する第１の復号手段と、
前記所定のシンタックス要素に従って前記量子化グループを決定するための最大サブディビジョン値を決定する第２の決定手段と、
前記サブディビジョン値と前記最大サブディビジョン値とを比較することによって前記量子化グループを決定する第３の決定手段と、
前記量子化グループに対する前記１つの量子化パラメータデルタを復号する第２の復号手段と、
前記１つの量子化パラメータデルタ及び前記予測量子化パラメータに従って前記量子化グループに対する前記量子化パラメータを導出する導出手段と、
前記量子化グループに対する前記量子化パラメータを用いて前記量子化グループに含まれる１つ以上の符号化ユニットを復号する第３の復号手段と、を備え、
スライスタイプがイントラスライスであり、パーティション・コンストレインツ・オーバーライド・フラグの値が第１の値である場合、前記最大サブディビジョン値は、前記ビットストリームのシーケンスパラメータセットに含まれる第１のシンタックス要素に依存する範囲に制限され、
スライスタイプがインター予測を用いることが可能なＰスライス又はＢスライスであり、前記パーティション・コンストレインツ・オーバーライド・フラグの値が前記第１の値である場合、前記最大サブディビジョン値は、前記ビットストリームの前記シーケンスパラメータセットに含まれる第２のシンタックス要素に依存する範囲に制限され、
前記パーティション・コンストレインツ・オーバーライド・フラグの値が前記第１の値と異なる第２の値である場合、前記最大サブディビジョン値は、前記所定の方式において前記ビットストリームのスライスヘッダーに含まれることが可能なシンタックス要素であって、前記第１のシンタックス要素および前記第２のシンタックス要素と異なるシンタックス要素に依存する範囲に制限され、
前記最大サブディビジョン値を決定するための前記所定のシンタックス要素は、前記パーティション・コンストレインツ・オーバーライド・フラグの値によらず、前記所定の方式において前記ビットストリームの前記スライスヘッダーに含まれることが可能である、
装置。 - 所定の方式を用いてビットストリームへと複数の符号化ツリーユニットを含む画像を符号化する装置であって、
１つの量子化パラメータデルタが共有される量子化グループを決定するためのサブディビジョン値を決定する第１の決定手段であって、前記１つの量子化パラメータデルタは、前記量子化グループに対する量子化パラメータと予測量子化パラメータとの差分を表し、前記サブディビジョン値は符号化ツリーユニットが符号化ユニットへと分割される回数が増えると増加する値であり、前記量子化グループは複数の符号化ユニットを含むことができる、第１の決定手段と、
前記量子化グループを決定するための最大サブディビジョン値を決定する第２の決定手段と、
前記最大サブディビジョン値を決定するための所定のシンタックス要素を前記ビットストリームへ符号化する第１の符号化手段と、
前記サブディビジョン値と前記最大サブディビジョン値とを比較することによって前記量子化グループを決定する第３の決定手段と、
前記量子化グループに対する前記１つの量子化パラメータデルタを符号化する第２の符号化手段と、
前記量子化グループに対する前記量子化パラメータを用いて前記量子化グループに含まれる１つ以上の符号化ユニットを符号化する第３の符号化手段と、を含み、
スライスタイプがイントラスライスであり、パーティション・コンストレインツ・オーバーライド・フラグの値が第１の値である場合、前記最大サブディビジョン値は、前記ビットストリームのシーケンスパラメータセットに含まれる第１のシンタックス要素に依存する範囲に制限され、
スライスタイプがインター予測を用いることが可能なＰスライス又はＢスライスであり、前記パーティション・コンストレインツ・オーバーライド・フラグの値が前記第１の値である場合、前記最大サブディビジョン値は、前記ビットストリームの前記シーケンスパラメータセットに含まれる第２のシンタックス要素に依存する範囲に制限され、
前記パーティション・コンストレインツ・オーバーライド・フラグの値が前記第１の値と異なる第２の値である場合、前記最大サブディビジョン値は、前記所定の方式で前記ビットストリームのスライスヘッダーに含まれることが可能なシンタックス要素であって、前記第１のシンタックス要素および前記第２のシンタックス要素と異なるシンタックス要素に依存する範囲に制限され、
前記最大サブディビジョン値を決定するための前記所定のシンタックス要素は、前記パーティション・コンストレインツ・オーバーライド・フラグの値によらず、前記所定の方式で前記ビットストリームの前記スライスヘッダーに含まれることが可能である、
装置。 - コンピュータに請求項１から６のいずれか１項に記載の方法を実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023138201A JP7564921B2 (ja) | 2019-09-17 | 2023-08-28 | ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| AU2019232797A AU2019232797A1 (en) | 2019-09-17 | 2019-09-17 | Method, apparatus and system for encoding and decoding a block of video samples |
| AU2019232797 | 2019-09-17 | ||
| PCT/AU2020/050799 WO2021051156A1 (en) | 2019-09-17 | 2020-08-04 | Method, apparatus and system for encoding and decoding a block of video samples |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023138201A Division JP7564921B2 (ja) | 2019-09-17 | 2023-08-28 | ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022548448A JP2022548448A (ja) | 2022-11-21 |
| JP7341254B2 true JP7341254B2 (ja) | 2023-09-08 |
Family
ID=74882922
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021573290A Active JP7341254B2 (ja) | 2019-09-17 | 2020-08-04 | ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステム |
| JP2023138201A Active JP7564921B2 (ja) | 2019-09-17 | 2023-08-28 | ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023138201A Active JP7564921B2 (ja) | 2019-09-17 | 2023-08-28 | ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステム |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US12081773B2 (ja) |
| EP (1) | EP4032277A4 (ja) |
| JP (2) | JP7341254B2 (ja) |
| KR (1) | KR102709144B1 (ja) |
| CN (1) | CN114365491A (ja) |
| AU (2) | AU2019232797A1 (ja) |
| BR (1) | BR112022001469A2 (ja) |
| TW (1) | TWI796589B (ja) |
| WO (1) | WO2021051156A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023549771A (ja) * | 2021-08-30 | 2023-11-29 | テンセント・アメリカ・エルエルシー | 適応カーネルオプションを用いた二次変換の方法および装置 |
| WO2023174407A1 (zh) * | 2022-03-18 | 2023-09-21 | 杭州海康威视数字技术股份有限公司 | 用于编码、解码的方法、装置及其设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015053680A (ja) | 2013-09-09 | 2015-03-19 | アップル インコーポレイテッド | 動画符号化における彩度量子化 |
| JP2021034966A (ja) | 2019-08-28 | 2021-03-01 | シャープ株式会社 | 動画像符号化装置、動画像復号装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3336754B2 (ja) * | 1994-08-19 | 2002-10-21 | ソニー株式会社 | デジタルビデオ信号の記録方法及び記録装置 |
| US10448056B2 (en) * | 2016-07-15 | 2019-10-15 | Qualcomm Incorporated | Signaling of quantization information in non-quadtree-only partitioned video coding |
| US10848788B2 (en) * | 2017-01-06 | 2020-11-24 | Qualcomm Incorporated | Multi-type-tree framework for video coding |
| US10469854B2 (en) | 2017-06-21 | 2019-11-05 | Intel Corporation | Content, psychovisual, region of interest, and persistence based adaptive quantization for video coding |
| SG11202006004PA (en) | 2018-01-02 | 2020-07-29 | Samsung Electronics Co Ltd | Encoding method and apparatus therefor, and decoding method and apparatus therefor |
| US10904529B2 (en) * | 2018-01-19 | 2021-01-26 | Qualcomm Incorporated | Quantization group for video coding |
| US20200359024A1 (en) * | 2018-01-30 | 2020-11-12 | Sharp Kabushiki Kaisha | Systems and methods for deriving quantization parameters for video blocks in video coding |
| US11356701B2 (en) | 2018-02-14 | 2022-06-07 | Sony Corporation | Image processing apparatus and image processing method |
| CN118540508A (zh) | 2018-09-18 | 2024-08-23 | 华为技术有限公司 | 视频编码器、视频解码器及对应方法 |
| EP4002848A4 (en) | 2019-07-19 | 2022-08-31 | Wilus Institute of Standards and Technology Inc. | VIDEO SIGNAL PROCESSING METHOD AND DEVICE |
-
2019
- 2019-09-17 AU AU2019232797A patent/AU2019232797A1/en not_active Abandoned
-
2020
- 2020-08-04 JP JP2021573290A patent/JP7341254B2/ja active Active
- 2020-08-04 US US17/642,090 patent/US12081773B2/en active Active
- 2020-08-04 EP EP20865637.1A patent/EP4032277A4/en active Pending
- 2020-08-04 WO PCT/AU2020/050799 patent/WO2021051156A1/en active Application Filing
- 2020-08-04 BR BR112022001469A patent/BR112022001469A2/pt unknown
- 2020-08-04 KR KR1020227008931A patent/KR102709144B1/ko not_active Application Discontinuation
- 2020-08-04 CN CN202080062639.6A patent/CN114365491A/zh active Pending
- 2020-08-24 TW TW109128776A patent/TWI796589B/zh active
-
2022
- 2022-05-20 AU AU2022203416A patent/AU2022203416B2/en active Active
-
2023
- 2023-08-28 JP JP2023138201A patent/JP7564921B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015053680A (ja) | 2013-09-09 | 2015-03-19 | アップル インコーポレイテッド | 動画符号化における彩度量子化 |
| JP2021034966A (ja) | 2019-08-28 | 2021-03-01 | シャープ株式会社 | 動画像符号化装置、動画像復号装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2019232797A1 (en) | 2021-04-01 |
| TWI796589B (zh) | 2023-03-21 |
| CN114365491A (zh) | 2022-04-15 |
| KR20220041940A (ko) | 2022-04-01 |
| EP4032277A4 (en) | 2023-10-11 |
| JP2023159400A (ja) | 2023-10-31 |
| JP2022548448A (ja) | 2022-11-21 |
| AU2022203416A1 (en) | 2022-06-09 |
| KR102709144B1 (ko) | 2024-09-25 |
| BR112022001469A2 (pt) | 2022-03-22 |
| TW202114413A (zh) | 2021-04-01 |
| JP7564921B2 (ja) | 2024-10-09 |
| EP4032277A1 (en) | 2022-07-27 |
| AU2022203416B2 (en) | 2024-03-14 |
| WO2021051156A1 (en) | 2021-03-25 |
| US12081773B2 (en) | 2024-09-03 |
| US20240073431A1 (en) | 2024-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12075058B2 (en) | Method, apparatus and system for encoding and decoding a coding tree unit | |
| TWI784345B (zh) | 用於將編碼樹單元編碼與解碼的方法、設備及系統 | |
| JP7564921B2 (ja) | ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステム | |
| AU2022204353B2 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| JP2024109963A (ja) | ビデオサンプルのブロックを符号化および復号する方法、装置、およびシステム | |
| US20240364901A1 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| US20240364902A1 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| US20240364903A1 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| US20240364900A1 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| JP2024046650A (ja) | ビデオサンプルのブロックを符号化並びに復号するための方法、装置、及びシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220310 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230731 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230829 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7341254 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |