JP2023507099A - ビデオコーディングにおけるマルチプル変換選択シグナリングに対する係数グループベースの制限 - Google Patents

ビデオコーディングにおけるマルチプル変換選択シグナリングに対する係数グループベースの制限 Download PDF

Info

Publication number
JP2023507099A
JP2023507099A JP2022535903A JP2022535903A JP2023507099A JP 2023507099 A JP2023507099 A JP 2023507099A JP 2022535903 A JP2022535903 A JP 2022535903A JP 2022535903 A JP2022535903 A JP 2022535903A JP 2023507099 A JP2023507099 A JP 2023507099A
Authority
JP
Japan
Prior art keywords
transform
block
transform block
coefficient
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022535903A
Other languages
English (en)
Inventor
コバン、ムハンメド・ゼイド
カルチェビチ、マルタ
エギルメス、ヒルミ・エネス
セレジン、バディム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2023507099A publication Critical patent/JP2023507099A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオコーダは、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定することができ、ここにおいて、少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つである。ビデオコーダは、少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるという決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定し得る。ビデオコーダは、変換ブロックのためのマルチプル変換選択を示すシンタックス要素をコーディングしないという決定に少なくとも部分的に基づいて、ビデオデータをコーディングし得る。【選択図】 図１１

Description

優先権の主張
[0001]本出願は、各々の全内容がその全体において参照により本明細書に組み込まれる、２０１９年１２月２０日に出願された米国仮出願第６２／９５１，９７５号の利益を主張する２０２０年１２月１７日に出願された米国出願第１７／１２５，１５９号の優先権を主張する。
[0002]本開示は、ビデオ符号化およびビデオ復号に関する。
[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコーディングされた（Ｉ）スライスの中のビデオブロックは、同じピクチャ中の近隣ブロックの中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライスの中のビデオブロックは、同じピクチャ中の隣接ブロックの中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0005]一般に、本開示の態様は、ビデオ圧縮規格の要素である、変換コーディングに関する。本開示の態様は、符号化および／または復号のためのマルチプル変換候補の中から選択された変換を指定するためにビデオエンコーダまたはデコーダ（コーデック）において使用され得る変換シグナリング技法について説明する。本明細書で説明される技法は、イントラモードなどの利用可能なサイド情報に基づいてシグナリングオーバーヘッドを低減し、それによってコーディング効率を改善することができ、高効率ビデオコーディング（ＨＥＶＣ／Ｈ．２６５）の拡張と、多用途ビデオコーディング（ＶＶＣ／Ｈ．２６６）などの次世代のビデオコーディング規格とを含む高度ビデオコーデックにおいて使用され得る。
[0006]一例では、本開示は、ビデオデータをコーディングする方法が、ビデオデータの変換ブロックについて、非０変換係数を備える、変換ブロックの少なくとも１つの係数グループが、変換ブロックの最低周波数領域の外側にあると決定することと、ここにおいて、少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり；少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるという決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ：multiple transform selection）を示すシンタックス要素をコーディングしないと決定することと；変換ブロックのためのマルチプル変換選択を示すシンタックス要素をコーディングしないという決定に少なくとも部分的に基づいて、ビデオデータをコーディングすることとを含むことについて説明する。
[0007]別の例では、本開示は、データをコーディングするためのデバイスが、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定するための手段と、ここにおいて、少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり；少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるという決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定するための手段と；変換ブロックのためのマルチプル変換選択を示すシンタックス要素をコーディングしないという決定に少なくとも部分的に基づいて、ビデオデータをコーディングするための手段とを含むことについて説明する。
[0008]別の例では、本開示は、実行されたとき、１つまたは複数のプロセッサに、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定することと、ここにおいて、少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり；少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるという決定に少なくとも部分的に基づいて、変換ブロックについてのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定することと；変換ブロックについてのマルチプル変換選択を示すシンタックス要素をコーディングしないという決定に少なくとも部分的に基づいて、ビデオデータをコーディングすることとを行わせる命令を記憶したコンピュータ可読記憶媒体について説明する。
[0009]別の例では、本開示は、デバイスについて説明する。本デバイスは、メモリと、回路内に実装されたプロセッサと、を含み、当該プロセッサは、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定することと、ここにおいて、少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり；少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるという決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定することと；変換ブロックのためのマルチプル変換選択を示すシンタックス要素をコーディングしないという決定に少なくとも部分的に基づいて、ビデオデータをコーディングすることと、を行うように構成される。
[0010]１つまたは複数の例の詳細が、添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。
[0011]本開示の技法を実行し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0012]例示的な４分木２分木（ＱＴＢＴ）構造を示す概念図。 対応するコーディングツリーユニット（ＣＴＵ）を示す概念図。 [0013]ＨＥＶＣの残差４分木に基づく例示的な変換方式を示す概念図。 ＨＥＶＣの残差４分木に基づく例示的な変換方式を示す概念図。 [0014]個別の変換実装形態として水平変換を示す概念図。 個別の変換実装形態として垂直変換を示す概念図。 [0015]変換シグナリングを示す概念図。 [0016]変換ブロックを示す概念図。 変換ブロックを示す概念図。 [0017]本開示の技法を実行し得る例示的なビデオエンコーダを示すブロック図。 [0018]本開示の技法を実行し得る例示的なビデオデコーダを示すブロック図。 [0019]本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャート。 [0020]本開示の技法による、現在のブロックを復号するための例示的な方法を示すフローチャート。 [0021]マルチプル変換選択をコーディングすべきかどうかを決定するための例示的な方法を示すフローチャート。
[0022]本開示は、変換コーディングに関する。変換コーディングでは、ビデオエンコーダのために、残差データのブロック（たとえば、符号化されている現在のブロックと予測ブロックとの間の残差）がある。残差データは、空間ドメインから周波数ドメインに変換されて、変換係数の変換係数ブロック（本明細書では変換ブロックとも呼ばれる）が生じる。ビデオデコーダは、変換係数ブロック（または場合によっては量子化の後の変換係数ブロック）を受信し、残差データを値の空間ドメインに再構成して戻すために逆量子化（必要な場合）と逆変換とを実行する。
[0023]変換ユニット（ＴＵ）は、ルーマサンプルの変換ブロックと、対応するクロマサンプルの変換ブロックとを含む。変換ブロックは、復号プロセスにおける変換から生じるサンプルの矩形Ｍ×Ｎブロックであり得、変換は、変換係数のブロックが空間ドメイン値のブロックにコンバートされる復号プロセスの一部であり得る。したがって、残差ブロックは、ＴＵの一例であり得る。残差ブロックは、サンプルドメインから周波数ドメインに変換された残差データであり得、複数の変換係数を含む。変換コーディングは、Ｍ．Ｗｉｅｎ，Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：Ｃｏｄｉｎｇ Ｔｏｏｌｓ ａｎｄ Ｓｐｅｃｉｆｉｃａｔｉｏｎ，Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ，Ｂｅｒｌｉｎ，２０１５により詳細に記載されている。
[0024]より詳細に説明されるように、本開示で説明される１つまたは複数の例において説明される技法は、適応マルチプル（またはマルチコア）変換（ＡＭＴ：adaptive multiple (or multi-core) transform）またはマルチプル変換選択（ＭＴＳ:multiple transform selection）と呼ばれる変換方式を利用する。ＡＭＴとＭＴＳは、ビデオコーディング規格間の名称変更により、同じ変換ツールを指すことがあり、ＡＭＴは今ではＭＴＳと呼ばれ、ＭＴＳに関して本明細書で説明される技法は、ＡＭＴに等しく適用可能である。以下の米国特許出願は、すなわち、２０１９年５月２８日に発行された米国特許第１０，３０６，２２９号、２０１８年１月１８日に公開された米国特許公開第２０１８／００２０２１８号、および２０１９年５月３０日に出願された米国特許出願第１６／４２６，７４９号は、マルチプル変換選択（ＭＴＳ）技法について説明している。ＭＴＳ技法は、一般に、前述のＡＭＴ技法と同じである。２０１９年５月３０日に出願された米国特許出願第１６／４２６，７４９号に記載されたＭＴＳの例は、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）のＪｏｉｎｔ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｍｏｄｅｌ（ＪＥＭ－７．０）に採用されており（ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）、ＪＥＭ Ｓｏｆｔｗａｒｅ、ｈｔｔｐｓ：／／ｊｖｅｔ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿ＨＭＪＥＭＳｏｆｔｗａｒｅ／ｔａｇｓ／ＨＭ－１６．６－ＪＥＭ－７．０参照）、以降、ＭＴＳの簡略版がＶＶＣに採用されている。
[0025]より詳細に説明されるように、いくつかの例では、ＭＴＳの技法によれば、現在のコーディングユニット中の関連するルーマ変換ブロックの水平方向および垂直方向に沿ってどの変換カーネルが適用されるかを指定するために、ＭＴＳインデックスがシグナリングされ得る。しかしながら、ＭＴＳインデックスは、変換ブロックの最低周波数領域の外側に位置する非０変換係数が存在しない（たとえば、０値変換係数のみである）場合にのみシグナリングされ得る。変換ブロックの最低周波数領域の外側に非０変換係数が存在する場合、ＭＴＳインデックスはシグナリングされない。代わりに、ＭＴＳインデックスの値は、適用可能な変換カーネルを決定するために推測され得る。
[0026]本開示の態様は、変換ブロックの最低周波数領域の外側に位置する非０変換係数が存在しない場合のみＭＴＳインデックスがシグナリングされることを確実にする方法で、変換ブロックのためのＭＴＳインデックスをシグナリングすべきかどうかを決定するための技法について説明する。たとえば、ビデオエンコーダまたはビデオデコーダなどのビデオコーダは、

ビデオデータの変換ブロックのための変換係数を備える複数の係数グループのうちの最後にコーディングされた係数グループが変換ブロックの最低周波数領域の外側にあるかどうかを決定することによって、変換ブロックの最低周波数領域の外側に少なくとも１つの非０変換係数が存在するかどうかを決定し得る。ビデオコーダは、最後にコーディングされた係数グループが変換ブロックの最低周波数領域の外側に位置するかどうかの決定に少なくとも部分的に基づいて、変換ブロックのためのＭＴＳインデックスを示すシンタックス要素をコーディングすべきかどうかを決定し得る。したがって、ビデオコーダは、マルチプル変換選択を示すシンタックス要素をコーディングすべきかどうかの決定に少なくとも部分的に基づいてビデオデータをコーディングし得る。
[0027]このようにして、本開示で説明される技法は、変換ブロックの最低周波数領域の外側に非０変換係数が存在する場合、ＭＴＳインデックスがシグナリングされるのを防ぎ、それによって、変換ブロックの最低周波数領域の外側に非０変換係数を有する変換ブロックのためのＭＴＳインデックスの冗長なシグナリングを防ぐ。シグナリングされ得る冗長データの量を低減することによって、本開示で説明される技法は、ビデオデータのコーディング効率を改善することができ、ＨＥＶＣの拡張とＶＶＣなどの次世代のビデオコーディング規格とを含む高度ビデオコーデックにおいて使用され得る。
[0028]図１は、本開示の技法を実行し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディング（符号化および／または復号）することを対象とする。一般に、ビデオデータは、ビデオを処理するための何らかのデータを含む。したがって、ビデオデータは、生の符号化されていないビデオ、符号化されたビデオ、復号された（たとえば、再構成された）ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。
[0029]図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき、符号化されたビデオデータを提供するソースデバイス１０２を含む。具体的には、ソースデバイス１０２は、コンピュータ可読媒体１１０を介して、宛先デバイス１１６にビデオデータを提供する。ソースデバイス１０２および宛先デバイス１１６は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス、ブロードキャスト受信機デバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１０２および宛先デバイス１１６は、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。
[0030]図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００と、宛先デバイス１１６のビデオデコーダ３００とは、変換ブロックのためのＭＴＳインデックスをコーディングすべきかどうかを決定するための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの一例を表し、宛先デバイス１１６はビデオ復号デバイスの一例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配置を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
[0031]図１に示されているシステム１００は、一例にすぎない。一般に、どんなデジタルビデオ符号化および／または復号デバイスも、変換ブロックのためのＭＴＳインデックスをコーディングすべきかどうかを決定するための技法を実行し得る。ソースデバイス１０２および宛先デバイス１１６は、ソースデバイス１０２が宛先デバイス１１６への送信のためにコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示では、データのコーディング（符号化および／または復号）を実施するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングデバイス、特に、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス１０２および宛先デバイス１１６は、ソースデバイス１０２と宛先デバイス１１６との各々がビデオ符号化および復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのために、ソースデバイス１０２と宛先デバイス１１６との間の一方向または双方向のビデオ送信をサポートし得る。
[0032]一般に、ビデオソース１０４は、ビデオデータ（すなわち、生の符号化されていないビデオデータ）のソースを表し、ビデオデータの連続的な一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためにデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラ、以前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなど、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとして、コンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ２００は、符号化されたビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および／または取出しのために、出力インターフェース１０８を介して符号化されたビデオデータをコンピュータ可読媒体１１０上に出力し得る。
[0033]ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、生のビデオデータ、たとえば、ビデオソース１０４からの生のビデオ、およびビデオデコーダ３００からの生の復号されたビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００とビデオデコーダ３００とによって実行可能なソフトウェア命令を記憶し得る。メモリ１０６およびメモリ１２０は、この例ではビデオエンコーダ２００およびビデオデコーダ３００は別個に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００は、機能的に同様のまたは等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化されたビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、生の復号および／または符号化されたビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。
[0034]コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化されたビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化されたビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化されたビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を復調し得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。
[0035]いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１２に符号化データを出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介して記憶デバイス１１２から符号化データにアクセスし得る。記憶デバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体などの、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。
[0036]いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化されたビデオデータを記憶し得るファイルサーバ１１４または別の中間ストレージデバイスに符号化されたビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介してファイルサーバ１１４からの記憶されたビデオデータにアクセスし得る。
[0037]ファイルサーバ１１４は、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイトのための）ウェブサーバ、（ファイル転送プロトコル（ＦＴＰ）またはファイル配信オーバー単方向トランスポート（ＦＬＵＴＥ：File Delivery over Unidirectional Transport）プロトコルなどの）ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク（ＣＤＮ）デバイス、ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバ、マルチメディアブロードキャストマルチキャストサービス（ＭＢＭＳ）または拡張ＭＢＭＳ（ｅＭＢＭＳ）サーバ、および／あるいはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。ファイルサーバ１１４は、追加または代替として、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、ＨＴＴＰライブストリーミング（ＨＬＳ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ＨＴＴＰ動的ストリーミングなど、１つまたは複数のＨＴＴＰストリーミングプロトコルを実装し得る。
[0038]宛先デバイス１１６は、インターネット接続を含む、任意の標準のデータ接続を通してファイルサーバ１１４から符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ１１４に記憶された符号化されたビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、デジタル加入者回線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。入力インターフェース１２２は、ファイルサーバ１１４からメディアデータを取り出すまたは受信するための上記で説明された様々なプロトコル、あるいはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか１つまたは複数に従って動作するように構成され得る。
[0039]出力インターフェース１０８および入力インターフェース１２２は、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８および入力インターフェース１２２がワイヤレス構成要素を備える例では、出力インターフェース１０８および入力インターフェース１２２は、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなど、セルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８および入力インターフェース１２２は、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの、他のワイヤレス規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属される機能を実行するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属される機能を実行するためのＳｏＣデバイスを含み得る。
[0040]本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
[0041]宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４など）から符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームは、ビデオブロックまたは他のコーディングされたユニット（たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素など、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、復号されたビデオデータの復号されたピクチャをユーザに表示する。ディスプレイデバイス１１８は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。
[0042]図１には示されていないが、いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は各々、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームをハンドリングするために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
[0043]ビデオエンコーダ２００およびビデオデコーダ３００は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、個別論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路および／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００およびビデオデコーダ３００の各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として組み込まれ得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／または携帯電話などのワイヤレス通信デバイスを備えてもよい。
[0044]ビデオエンコーダ２００およびビデオデコーダ３００は、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５、またはマルチビューおよび／もしくはスケーラブルビデオコーディング拡張などのそれらの拡張などの、ビデオコーディング規格に従って動作し得る。代替的に、ビデオエンコーダ２００およびビデオデコーダ３００は、汎用ビデオコーディング（ＶＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６など、他のプロプライエタリ規格または業界規格に従って動作し得る。ＶＶＣ規格のドラフトは、Ｂｒｏｓｓら、「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ１０）」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントビデオエキスパーツチーム（ＪＶＥＴ）、第１８回会合：遠隔会議による、２０２０年６月２２日～７月１日、ＪＶＥＴ－Ｓ２００１－ｖＡ（以下では「ＶＶＣ Ｄｒａｆｔ１０」）に記載されている。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
[0045]一般に、ビデオエンコーダ２００およびビデオデコーダ３００は、ピクチャのブロックベースのコーディングを実行し得る。「ブロック」という用語は、一般に、処理されるべき（たとえば、符号化されるべき、復号されるべき、あるいは、さもなければ符号化および／または復号プロセスにおいて他の方法で使用されるべき）データを含む構造を指す。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。一般に、ビデオエンコーダ２００およびビデオデコーダ３００は、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマットのデータをＹＵＶ表現にコンバートし、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットにコンバートする。代替的に、前処理および後処理ユニット（図示せず）が、これらの変換を実行し得る。
[0046]本開示は、一般に、ピクチャのデータを符号化または復号するプロセスを含むように、ピクチャのコーディング（たとえば、符号化および復号）に言及することがある。同様に、本開示は、ブロックのためのデータを符号化または復号するプロセス、たとえば、予測および／または残差コーディングを含むように、ピクチャのブロックのコーディングに言及することがある。符号化されたビデオビットストリームは、一般に、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素のための一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、一般に、ピクチャまたはブロックを形成するシンタックス要素についての値をコーディングすることとして理解されるべきである。
[0047]ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、４分木構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとを４つの等しい重複しない正方形に区分し、クワッドツリーの各ノードは、０個または４つのいずれかの子ノードを有する。子ノードのないノードは、「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つもしくは複数のＰＵおよび／または１つもしくは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差４分木（ＲＱＴ）はＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。
[0048]別の例として、ビデオエンコーダ２００およびビデオデコーダ３００は、ＶＶＣに従って動作するように構成され得る。ＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、４分木２分木（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造などの、木構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、２つのレベル、すなわち、４分木区分に従って区分される第１のレベルと、２分木区分に従って区分される第２のレベルとを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。２分木のリーフノードは、コーディングユニット（ＣＵ）に対応する。
[0049]ＭＴＴ区分構造では、ブロックは、４分木（ＱＴ）区分と、２分木（ＢＴ）区分と、１つまたは複数のタイプの３分木（ＴＴ：triple tree）（３元木（ＴＴ：ternary tree）とも呼ばれる）区分とを使用して区分され得る。３分木または３元木区分は、ブロックが３つのサブブロックに分割される区分である。いくつかの例では、３分木または３元木区分は、中心を通って元のブロックを分割することなくブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称的または非対称的であり得る。
[0050]いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得、他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）などの、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。
[0051]ビデオエンコーダ２００およびビデオデコーダ３００は、ＨＥＶＣによる４分木区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はＱＴＢＴ区分に関して提示される。しかしながら、本開示の技法は、４分木区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。
[0052]いくつかの例では、ＣＴＵは、ルーマサンプルのコーディングツリーブロック（ＣＴＢ）、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するＣＴＢ、あるいはモノクロームピクチャ、またはサンプルをコーディングするために使用される３つの別個の色平面とシンタックス構造とを使用してコーディングされるピクチャのサンプルのＣＴＢを含む。ＣＴＢは、ＣＴＢへの成分の分割が区分になるように、何らかの値のＮに対して、サンプルのＮ×Ｎブロックであり得る。成分は、ピクチャを４：２：０、４：２：２、または４：４：４色フォーマットに構成する３つのアレイ（ルーマおよび２つのクロマ）のうちの１つからのアレイまたは単一のサンプル、あるいはピクチャをモノクロームフォーマットに構成するアレイまたはアレイの単一のサンプルである。いくつかの例では、コーディングブロックは、コーディングブロックへのＣＴＢの分割が区分になるように、何らかの値のＭとＮとに対して、サンプルのＭ×Ｎブロックである。
[0053]ブロック（たとえば、ＣＴＵまたはＣＵ）は、ピクチャ中で様々な仕方でグループ化され得る。一例として、ブリックは、ピクチャ中の特定のタイル内のＣＴＵ行の矩形領域を参照し得る。タイルは、ピクチャ中の特定のタイル列と特定のタイル行との内のＣＴＵの矩形領域であり得る。タイル列は、ピクチャの高さに等しい高さと、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された幅とを有するＣＴＵの矩形領域を参照する。タイル行は、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された高さと、ピクチャの幅に等しい幅とを有するＣＴＵの矩形領域を参照する。
[0054]いくつかの例では、タイルは複数のブリックに区分され得、それらの各々は、タイル内に１つまたは複数のＣＴＵ行を含み得る。複数のブリックに区分されないタイルもブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。
[0055]ピクチャ中のブリックはまた、スライス中に配置され得る。スライスは、もっぱら単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニット中に含まれていることがあるピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、いくつかの完全なタイル、または１つのタイルの完全なブリックの連続シーケンスのみのいずれかを含む。
[0056]本開示では、たとえば、１６×１６サンプルまたは１６掛ける１６のサンプルなど、垂直および水平寸法に関して、（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル寸法を参照するために「Ｎ×Ｎ」と「Ｎ掛けるＮ（Ｎ ｂｙ Ｎ）」とを互換的に使用し得る。一般に、１６×１６のＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×ＮのＣＵは、一般に、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵの中のサンプルは、行および列に配置され得る。さらに、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。
[0057]ビデオエンコーダ２００は、予測および／または残差情報、ならびに他の情報を表すＣＵのためにビデオデータを符号化する。予測情報は、ＣＵについて予測ブロックを形成するためにＣＵがどのように予測されるべきかを示す。残差情報は、一般に、符号化より前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。
[0058]ＣＵを予測するために、ビデオエンコーダ２００は、一般に、インター予測またはイントラ予測を通してＣＵについて予測ブロックを形成し得る。インター予測は、一般に、以前にコーディングされたピクチャのデータからＣＵを予測することを指すが、イントラ予測は、一般に、同じピクチャの以前にコーディングされたデータからＣＵを予測することを指す。インター予測を実行するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、一般に、たとえば、ＣＵと参照ブロックとの間の差分に関して、ＣＵに厳密に一致する参照ブロックを識別するために動き探索を実行し得る。ビデオエンコーダ２００は、参照ブロックが現在のＣＵに厳密に一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在のＣＵを予測し得る。
[0059]ＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す２つ以上の動きベクトルを決定し得る。
[0060]イントラ予測を実施するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。ＶＶＣのいくつかの例は、様々な方向性モード、ならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。一般に、ビデオエンコーダ２００は、現在のブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在のブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、一般に、現在のブロックと同じピクチャ中の現在のブロックの上方、上方および左側、または左側にあり得る。
[0061]ビデオエンコーダ２００は、現在のブロックについて予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードの動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードのための動きベクトルを符号化するために、同様のモードを使用し得る。
[0062]ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックのための予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域中に変換データを作り出すために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、第１の変換に続いて、モード依存非分離可能２次変換（ＭＤＮＳＳＴ：mode-dependent non-separable secondary transform）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）などの２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を作り出す。
[0063]上述のように、変換係数を作り出すための任意の変換に続いて、ビデオエンコーダ２００は変換係数の量子化を実施し得る。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ２００は、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化の間にｎビット値をｍビット値に切り捨てることがあり、ここにおいて、ｎはｍよりも大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ２００は、量子化されるべき値のビットごとの右シフトを実行し得る。
[0064]量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを作り出し得る。走査は、より高いエネルギー（したがって、より低い頻度）の変換係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、シリアル化されたベクトルを作り出すために、量子化された変換係数を走査するために、あらかじめ定義された走査順序を利用し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は、適応型走査を実施し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化されたビデオデータに関連付けられたメタデータを記述するシンタックス要素についての値をエントロピー符号化し得る。
[0065]ＣＡＢＡＣを実行するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの近隣値が０値であるか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
[0066]ビデオエンコーダ２００は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、またはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、もしくはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータの中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。
[0067]このようにして、ビデオエンコーダ２００は、符号化されたビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックのための予測および／または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化されたビデオデータを復号し得る。
[0068]一般に、ビデオデコーダ３００は、ビットストリームの符号化されたビデオデータを復号するために、ビデオエンコーダ２００によって実行されたものの逆プロセスを実行する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素の値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ピクチャをＣＴＵに区分するための区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）のための予測および残差情報をさらに定義し得る。
[0069]残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関連する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、次いで、元のブロックを再生するために（サンプルごとに）予測ブロックと残差ブロックとを組み合わせ得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキング処理を実行することなどの、追加の処理を実行し得る。
[0070]本開示の技法によれば、ビデオエンコーダ２００およびビデオデコーダ３００は、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるかどうかを決定すること、ここにおいて、少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり、と、少なくとも１つのコーディングされた係数グループが変換ブロックの最低周波数領域の外側にあるかどうかの決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングすべきかどうかを決定することと、マルチプル変換選択を示すシンタックス要素をコーディングすべきかどうかの決定に少なくとも部分的に基づいてビデオデータをコーディングすることとを行い得る。
[0071]図２Ａおよび図２Ｂは、例示的な４分木２分木（ＱＴＢＴ）構造１３０と、対応するコーディングツリーユニット（ＣＴＵ）１３２とを示す概念図である。実線は４分木分割を表し、点線は２分木分割を表す。２分木の各分割（すなわち、非リーフ）ノードでは、どの分割タイプ（すなわち、水平または垂直）が使用されるかを示すために１つのフラグがシグナリングされ、ここにおいて、この例では、０は水平分割を示し、１は垂直分割を示す。４分木分割では、４分木ノードが、ブロックを、等しいサイズをもつ４つのサブブロックに水平および垂直に分割するので、分割タイプを示す必要がない。したがって、ＱＴＢＴ構造１３０の領域ツリーレベル（すなわち、実線）のための（分割情報などの）シンタックス要素と、ＱＴＢＴ構造１３０の予測ツリーレベル（すなわち、破線）のための（分割情報などの）シンタックス要素とを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。ＱＴＢＴ構造１３０の端末リーフノードによって表されるＣＵのための、予測および変換データなどのビデオデータを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。
[0072]一般に、図２ＢのＣＴＵ１３２は、第１および第２のレベルにおいてＱＴＢＴ構造１３０のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、（サンプル単位でＣＴＵ１３２のサイズを表す）ＣＴＵサイズと、最小４分木サイズ（最小許容４分木リーフノードサイズを表す、ＭｉｎＱＴＳｉｚｅ）と、最大２分木サイズ（最大許容２分木ルートノードサイズを表す、ＭａｘＢＴＳｉｚｅ）と、最大２分木深度（最大許容２分木深度を表す、ＭａｘＢＴＤｅｐｔｈ）と、最小２分木サイズ（最小許容２分木リーフノードサイズを表す、ＭｉｎＢＴＳｉｚｅ）とを含み得る。
[0073]ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有し得、それらの各々は、４分木区分に従って区分され得る。すなわち、第１のレベルのノードは、（子ノードを有しない）リーフノードであるか、または４つの子ノードを有するかのいずれかである。ＱＴＢＴ構造１３０の例は、分岐のために実線を有する親ノードと子ノードとを含むようなノードを表す。第１のレベルのノードが最大許容２分木ルートノードサイズ（ＭａｘＢＴＳｉｚｅ）よりも大きくない場合、ノードはそれぞれの２分木によってさらに区分され得る。１つのノードの２分木分割は、分割から得られるノードが最小許容２分木リーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容２分木深度（ＭａｘＢＴＤｅｐｔｈ）に到達するまで反復され得る。ＱＴＢＴ構造１３０の例は、ブランチのために破線を有するようなノードを表す。２分木リーフノードは、コーディングユニット（ＣＵ）と呼ばれ、コーディングユニット（ＣＵ）は、それ以上区分することなく、予測（たとえば、イントラピクチャ予測またはインターピクチャ予測）および変換のために使用される。上記で説明されたように、ＣＵは、「ビデオブロック」または「ブロック」と呼ばれることもある。
[0074]ＱＴＢＴ区分構造の一例では、ＣＴＵサイズは、１２８×１２８（ルーマサンプルおよび２つの対応する６４×６４クロマサンプル）として設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、（幅と高さの両方について）ＭｉｎＢＴＳｉｚｅは４として設定され、ＭａｘＢＴＤｅｐｔｈは４として設定される。４分木リーフノードを生成するために、最初に４分木区分がＣＴＵに適用される。４分木リーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有してよい。４分木リーフノードが１２８×１２８である場合、リーフ４分木ノードは、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では、６４×６４）を超えるので、２分木によってさらに分割されない。そうでない場合、４分木リーフノードは、２分木によってさらに区分される。したがって、４分木リーフノードはまた、２分木に対してルートノードであり、０としての２分木深度を有する。２分木深度がＭａｘＢＴＤｅｐｔｈ（この例では４）に達したとき、さらなる分割は許可されない。ＭｉｎＢＴＳｉｚｅ（この例では、４）に等しい幅を有する２分木ノード、それは、その２分木ノードのためにさらなる垂直分割（すなわち、幅の分割）が許可されないことを暗示する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有する２分木ノードは、その２分木ノードのためにさらなる水平分割（すなわち、高さの分割）が許可されないことを暗示する。上述のように、２分木のリーフノードはＣＵと呼ばれ、さらなる区分なしに予測および変換に従ってさらに処理される。
[0075]本開示は、一般に、シンタックス要素などのある情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、一般に、符号化されたビデオデータを復号するために使用されるシンタックス要素および／または他のデータについての値の通信を指し得る。すなわち、ビデオエンコーダ２００は、ビットストリームにおいてシンタックス要素についての値をシグナリングし得る。一般に、シグナリングは、ビットストリームにおいて値を生成することを指す。上述のように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素を記憶デバイス１１２に記憶するときに行われ得るように、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。
[0076]図３Ａおよび図３Ｂは、ＨＥＶＣの残差４分木に基づく例示的な変換方式を示す概念図である。ＨＥＶＣでは、残差ブロックの様々な特性を適応させるために、残差４分木（ＲＱＴ）を使用する変換コーディング構造が適用され、これは、Ｊ．Ｈａｎ、Ａ．ＳａｘｅｎａおよびＫ．Ｒｏｓｅ、「Ｔｏｗａｒｄｓ ｊｏｉｎｔｌｙ ｏｐｔｉｍａｌ ｓｐａｔｉａｌ ｐｒｅｄｉｃｔｉｏｎ ａｎｄ ａｄａｐｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｉｎ ｖｉｄｅｏ／ｉｍａｇｅ ｃｏｄｉｎｇ」、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ、Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ）、２０１０年３月、７２６～７２９ページに手短に記載されている。ＲＱＴに関する追加の情報は、ｈｔｔｐ：／／ｗｗｗ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｆｉｅｌｄｓ－ｏｆ－ｃｏｍｐｅｔｅｎｃｅ／ｉｍａｇｅ－ｐｒｏｃｅｓｓｉｎｇ／ｒｅｓｅａｒｃｈ－ｇｒｏｕｐｓ／ｉｍａｇｅ－ｖｉｄｅｏ－ｃｏｄｉｎｇ／ｈｅｖｃ－ｈｉｇｈ－ｅｆｆｉｃｉｅｎｃｙ－ｖｉｄｅｏ－ｃｏｄｉｎｇ／ｔｒａｎｓｆｏｒｍ－ｃｏｄｉｎｇ－ｕｓｉｎｇ－ｔｈｅ－ｒｅｓｉｄｕａｌ－ｑｕａｄｔｒｅｅ－ｒｑｔ．ｈｔｍｌにおいて入手可能である。
[0077]ＲＱＴでは、各ピクチャは、特定のタイルまたはスライスについてラスタ走査順序でコーディングされるコーディングツリーユニット（ＣＴＵ）に分割される。ＣＴＵは、正方形ブロックであり、４分木、すなわち、コーディングツリーのルートを表す。ＣＴＵサイズは８×８から６４×６４ルーマサンプルにわたり得るが、一般に６４×６４が使用される。各ＣＴＵは、コーディングユニット（ＣＵ）と呼ばれるより小さい正方形ブロックにさらに分割され得る。ＣＴＵがＣＵに再帰的に分割された後、各ＣＵは、予測ユニット（ＰＵ）と変換ユニット（ＴＵ）とにさらに分けられる。ＴＵへのＣＵの区分は、４分木手法に基づいて再帰的に行われ、したがって、各ＣＵの残差信号は、ツリー構造、すなわち、残差４分木（ＲＱＴ）によってコーディングされる。ＲＱＴは、４×４から３２×３２ルーマサンプルまでのＴＵサイズを可能にする。
[0078]図３Ａは、ＣＵ１３４が、文字ａ～ｊで標示された１０個のＴＵを含む一例と、対応するブロック区分とを示す。図３Ｂに示されているＲＱＴ１３６の各ノードは、図３Ａに対応する変換ユニット（ＴＵ）である。個々のＴＵは、深度優先トラバーサル（depth-first traversal）による再帰的Ｚ走査に従う、アルファベット順として図３Ａに示されている深度優先ツリートラバーサル順序で処理される。４分木手法は、残差信号の変動する空間周波数特性に対する変換の適応を可能にする。
[0079]一般に、より大きい空間サポートを有するより大きい変換ブロックサイズは、より良い周波数解像度を与える。しかしながら、より小さい空間サポートを有するより小さい変換ブロックサイズは、より良い空間解像度を与える。その２つ、すなわち、空間解像度と周波数解像度との間のトレードオフは、たとえばレートひずみ最適化技法に基づいて、エンコーダモード決定によって選定される。レートひずみ最適化技法は、各コーディングモード（たとえば、特定のＲＱＴスプリッティング構造）についてコーディングビットと再構成ひずみとの加重和、すなわち、レートひずみコストを計算し、最小レートひずみコストをもつコーディングモードを最良のモードとして選択する。
[0080]ツリーの最大深度、最小許容変換サイズおよび最大許容変換サイズという、３つのパラメータがＲＱＴにおいて定義される。最小変換サイズおよび最大変換サイズは、前の段落において述べられたサポートされるブロック変換に対応する、４×４から３２×３２サンプルまでの範囲内で変動することがある。ＲＱＴの最大許容深度はＴＵの数を制限する。０に等しい最大深度は、各含まれるＴＢが最大許容変換サイズ、たとえば、３２×３２に達した場合、コーディングブロック（ＣＢ）がこれ以上分割され得ないことを意味する。
[0081]これらすべてのパラメータは、相互作用し、ＲＱＴ構造に影響を及ぼす。ルートＣＢサイズが６４×６４であり、最大深度が０に等しく、最大変換サイズが３２×３２に等しい場合について考える。この場合、ＣＢは、さもなければ、それが、許容されない６４×６４ＴＢにつながることになるので、少なくとも１回区分されるべきである。ＲＱＴパラメータ、すなわち、最大ＲＱＴ深度、最小および最大変換サイズは、シーケンスパラメータセットレベルにおいてビットストリーム中で送信される。ＲＱＴ深度に関して、イントラコード化ＣＵとインターコード化ＣＵとについて異なる値が指定され、シグナリングされ得る。
[0082]４分木変換は、イントラ残差ブロックとインター残差ブロックの両方のために適用される。一般に、現在の残差４分木区分の同じサイズのＤＣＴ－ＩＩ変換が残差ブロックに適用される。しかしながら、現在の残差４分木ブロックが４×４であり、イントラ予測によって生成される場合、上記の４×４ＤＳＴ－ＶＩＩ変換が適用される。
[0083]ＨＥＶＣでは、より大きいサイズの変換、たとえば、６４×６４変換は、主に、それの限られた利益の考慮と、より比較的小さい分解能のビデオに対する比較的高い複雑さとにより、採用されない。
[0084]計算の複雑さを低減するために、ブロック変換は通常、分離可能様式で計算され、すなわち、水平ラインおよび垂直ラインは、図４Ａおよび図４Ｂに示されているように、独立して変換される。図４Ａおよび図４Ｂは、分離可能な変換実装形態として水平変換と垂直変換とを示す概念図である。図４Ａは、Ｈ個の水平変換１７０のセットを表すが、図４Ｂは、Ｗ個の垂直変換１７２のセットを表す。特に、残差値の水平ラインおよび垂直ラインは、それぞれ、水平変換１７０と垂直変換１７２とを使用して独立して変換され得る。
[0085]ＨＥＶＣより前のビデオコーディング規格では、固定の分離可能変換のみが使用され、ここにおいて、ＤＣＴ－２が垂直と水平の両方に使用される。ＨＥＶＣでは、ＤＣＴ－２に加えて、ＤＳＴ－７も、固定の分離可能変換として４×４ブロックのために採用される。米国特許公開第２０１６／０２１９２９０号と、米国特許公開第２０１８／００２０２１８号とは、それらの固定変換の適応拡張をカバーし、米国特許公開第２０１６／０２１９２９０号におけるＡＭＴの一例は、ジョイントビデオエキスパーツチーム（ＪＶＥＴ）の共同探査モデル（ＪＥＭ）、Ｘ．Ｚｈａｏ、Ｊ．Ｃｈｅｎ、Ｍ．Ｋａｒｃｚｅｗｉｃｚ、Ｌ．Ｚｈａｎｇ、Ｘ．Ｌｉ、およびＷ．－Ｊ．Ｃｈｉｅｎ、「Ｅｎｈａｎｃｅｄ ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｆｏｒ ｖｉｄｅｏ ｃｏｄｉｎｇ」、Ｐｒｏｃ． Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ、７３～８２ページ、２０１６年３月に採用されている。
[0086]米国特許公開第２０１６／０２１９２９０号と米国特許公開第２０１８／００２０２１８号とに記載のＡＭＴ設計は、ビデオエンコーダ２００がブロックごとに選択するための５つの変換オプションを提示する（この選択は、一般にレートひずみメトリックに基づいて行われる）。次いで、選択された変換インデックスは、ビデオデコーダ３００にシグナリングされる。
[0087]図５は、変換シグナリングを示す概念図である。たとえば、図５は、米国特許公開第２０１６／０２１９２９０号と米国特許公開第２０１８／００２０２１８号とにおいて提案されるシグナリングを示し、ここにおいて、デフォルト変換をシグナリングするために１ビットが使用され、４つの変換をシグナリングするために追加の２ビット（すなわち、合計３ビット）が使用される。たとえば、５つの変換のうちの１つ（デフォルト変換）は０（すなわち、１ビット）を使用してシグナリングされ、他の４つの変換は３ビット（すなわち、１００、１０１、１１０、および１１１）を使用してシグナリングされる。
[0088]米国特許公開第２０１６／０２１９２９０号と米国特許公開第２０１８／００２０２１８号とにおいて、デフォルト変換は、垂直と水平の両方にＤＣＴ－２を適用する分離可能２Ｄ ＤＣＴとして選択される。ＡＭＴの残りは、米国特許公開第２０１６／０２１９２９０号におけるイントラモード情報に基づいて定義される。米国特許公開第２０１８／００２０２１８号は、予測モード情報とブロックサイズ情報の両方に基づいてそれらの４つの変換のセットを定義することによって米国特許公開第２０１６／０２１９２９０号の拡張を提案している。
[0089]ＶＶＣ参照ソフトウェアのバージョン、ＶＴＭ３．０では、図５に示されているシグナリング方式が使用される。コーディングユニット（ＣＵ）ごとに、（ｉ）ＤＣＴ２が水平と垂直の両方向に使用されるかどうかを決定するために単一のビット（フラグ）が使用されるか、あるいは（ｉｉ）水平または垂直に適用される１－Ｄ変換を指定するために（ＡＭＴ／ＭＴＳインデックスと呼ばれる）追加の２ビットが使用される。これらの４つの変換は、所与のブロックの行／列上に適用されるべきＤＳＴ－７／ＤＣＴ－８を割り当てることによって定義される。たとえば、００の値を有する２つの追加のビットは、水平と垂直の両方にＤＳＴ－７を適用する分離可能な変換に対応し得、０１の値を有する２つの追加のビットは、水平にＤＣＴ－８を、垂直にＤＳＴ－７を適用することに対応し得る。
[0090]本開示全体にわたって、ＭＴＳインデックスは、現在のコーディングユニット中の関連するルーマ変換ブロックの水平方向および垂直方向に沿って適用される分離可能な変換を指定するシンタックス要素であり得る。いくつかの例では、ＭＴＳインデックスは、図５に関して上記で説明されたように、先行する１ビット値または３ビット値であり得る。他の例では、ＭＴＳインデックスは、任意の適切なマルチプル変換を指定する１つまたは複数のビットであり得る。
[0091]ＭＴＳの技法によれば、ＭＴＳインデックスは、現在のコーディングユニット中の関連するルーマ変換ブロックの水平方向および垂直方向に沿ってどの変換カーネルが適用されるかを指定するためにシグナリングされ得る。しかしながら、ＭＴＳインデックスは、３２×３２変換ブロックの１６×１６左上領域などの、変換ブロックの左上領域であり得る、変換ブロックの最低周波数領域の外側に変換ブロックのための非０変換係数が存在しない場合にのみシグナリングされ得る。変換ブロックの最低周波数領域の外側に非０変換係数が存在する場合、ＭＴＳインデックスはシグナリングされない。代わりに、ＭＴＳインデックスの値は、適用可能な変換カーネルを決定するために推測され得る。
[0092]図６Ａおよび図６Ｂは、変換ブロックを示す概念図である。図６Ａに示されているように、変換ブロック１８２は、３２×３２サンプルを備え得る。図６Ａは、３２×３２サンプルを備えるものとして変換ブロック１８２を示すが、本開示で説明される技法は、Ｎ×Ｍサンプルを備える任意の変換ブロックに適用可能であり得、ここにおいて、Ｍは必ずしもＮに等しいとは限らない。変換ブロック１８２は、変換ブロック１８２の最低周波数変換係数を表す変換ブロック１８２の左上部分（たとえば、左上サブブロック）であり得る最低周波数領域１８４（図６Ａでは影付きである）を含み得る。図６Ａの例では、変換ブロック１８２の最低周波数領域１８４は、ｘ軸とｙ軸の両方の上で０から１５に及ぶ変換ブロック１８２の左上１６×１６サンプルであり得る。
[0093]一例として、変換ブロック１８２は、ＤＣＴ変換またはＤＳＴ変換に基づいて生成され得る。ＤＣＴまたはＤＳＴ変換の１つの可能な結果は、変換係数がそれぞれの周波数に基づいて順序付けられることである。たとえば、低周波数に関連する変換係数は、変換ブロック１８２の左上部分に集められる傾向がある。したがって、最低周波数領域１８４は、低周波数に関連する変換係数を含む。
[0094]いくつかの例では、ＭＴＳインデックス（すなわち、マルチプル変換選択を示すシンタックス要素）は、変換ブロック１８２中の最低周波数領域１８４の外側にある変換ブロック１８２中の変換係数が各々０の値を有する場合のみ、変換ブロック１８２のために選択されたマルチプル変換（すなわち、分離可能な変換）を示す。変換ブロック１８２中の最低周波数領域１８４の外側の係数グループのいずれも非０変換係数を含まない場合、ビデオエンコーダ２００は、変換ブロック１８２のために選択されたマルチプル変換を示すＭＴＳインデックスを符号化し得、ビデオデコーダ３００は、変換ブロック１８２のためのＭＴＳインデックスを復号し得る。
[0095]しかしながら、変換ブロック１８２中の最低周波数領域１８４の外側の少なくとも１つの変換係数が非０値を有する場合、ビデオエンコーダ２００は、変換ブロック１８２のために選択されたマルチプル変換を示すＭＴＳインデックスを符号化しないと決定し得、ビデオデコーダ３００は、代わりに、ＭＴＳインデックスの値が０などのデフォルト値であると推測し（たとえば、明示的なシンタックス要素なしで決定し）得、デフォルト変換（たとえば、ＤＣＴ－２変換）を変換ブロックに適用し得る。
[0096]ＶＶＣ Ｄｒａｆｔ７、ドラフト１４（すなわち、ＪＶＥＴ－Ｐ２００１－ｖＥ）では、以下で「ｍｔｓ＿ｉｄｘ」と呼ばれるＭＴＳインデックスは、以下の条件セットが満たされる場合にシグナリングされる。
Figure 2023507099000002
[0097]表１に見られるように、ビデオコーダ（たとえば、ビデオエンコーダ２００および／またはビデオデコーダ３００）は、シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が１に等しいかどうかに少なくとも部分的に基づいて、シンタックス要素ｍｔｓ＿ｉｄｘがシグナリングされるかどうかを決定し得る。シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が１に等しい場合、ビデオコーダは、シンタックス要素ｍｔｓ＿ｉｄｘをシグナリングし得る。シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が０であるときなど、シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が１に等しくない場合、ビデオコーダは、シンタックス要素ｍｔｓ＿ｉｄｘをシグナリングしないことがある。代わりに、ビデオコーダは、０などの、ＭＴＳインデックスの値を推測し得る。ＭＴＳインデックスの推測値は、水平変換と垂直変換の両方に対するＤＣＴ－２変換などの特定の変換の選択に対応し得る。
[0098]シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値は、変換ブロックの最低周波数領域の外側にある変換ブロックの係数の値がゼロ化される（すなわち、各々が０の値を有する）かどうかを示す。いくつかの例では、３２×３２変換ブロック１８２の場合、最低周波数領域１８４は、変換ブロックの左上１６×１６領域であり、これは、変換ブロック１８２の位置（０、０）から変換ブロック１８２の位置（１５、１５）に及ぶ。
[0099]したがって、ＶＶＣ Ｄｒａｆｔ７、ドラフト１４では、表１のシンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値は、最後有意係数の位置に応じて以下の条件に従って０に設定される。
Figure 2023507099000003
[0100]表２に見られるように、ビデオコーダは、変換ブロック１８２中の最後有意（すなわち、非０）係数の位置（たとえば、ｘ軸上およびｙ軸上の位置）に基づいてシンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値を決定し得る。３２×３２変換ブロック１８２の最後有意係数の位置が１６×１６最低周波数領域１８４の外側にあるかどうかを決定するために、ビデオコーダは、最後有意係数の位置がｘ軸上およびｙ軸上で１５よりも大きいかどうかを検査し、ここにおいて、シンタックス要素ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸの値は、変換ブロック１８２中のｘ軸上の最後有意係数の位置であり、ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹは、変換ブロック１８２中のｙ軸上の最後有意係数の位置である。
[0101]最後有意係数の位置がｘ軸上またはｙ軸上の少なくとも１つにおいて１５よりも大きい場合、ビデオコーダは、変換ブロック１８２の最低周波数領域１８４の外側にある変換ブロック１８２の係数の値がゼロ化されていないと決定することができ、したがって、シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値を０に設定することができる。最後有意係数の位置がｘ軸上またはｙ軸上のいずれにおいても１５よりも大きくない場合、ビデオコーダは、変換ブロック１８２の最低周波数領域１８４の外側にある変換ブロック１８２の係数の値がゼロ化されたと決定することができ、したがって、シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値を１に設定することができる。
[0102]しかしながら、変換ブロック１８２中の最後有意係数の位置は、常に、変換ブロック１８２の最低周波数領域１８４の外側にある変換ブロック１８２の係数の値がゼロ化されるかどうかの信頼できるインジケータであるとは限らないことがある。変換ブロック１８２中の最後有意係数が最低周波数領域１８４内にある場合であっても、変換ブロック１８２の最低周波数領域１８４の外側にある変換ブロック１８２の係数の値がゼロ化されない状況があり得る。
[0103]たとえば、ビデオコーダは、変換ブロック１８２の係数の対角走査を介して変換ブロック１８２の最後有意係数を決定するので、変換ブロック１８２中の最低周波数領域１８４中にある最後有意係数を走査する前に、変換ブロック１８２中の最低周波数領域１８４の外側の非０係数が走査されることが可能である。この例では、非０係数が変換ブロック１８２中の最低周波数領域１８４の外側に存在しても、ビデオコーダは、それにもかかわらず、最後有意係数が変換ブロック１８２中の最低周波数領域１８４中にあるので、変換ブロック１８２の最低周波数領域１８４の外側に非０係数値が存在しないと決定し得る。
[0104]この問題を解決するために、ビデオビットストリームは、次のように制限され得る。現在のコーディングユニットにおいて、ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ（ｘ０，ｙ０，ｌｏｇ２ｓＴｂＷｉｄｔｈ，ｌｏｇ２ＴｂＨｅｉｇｈｔ，ｃＩｄｘ）シンタックス構造中の少なくとも１つのｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ［ｘＳ］［ｙＳ］が、０に等しいｃＩｄｘおよび３よりも大きいｘＳまたはｙＳに対して、０に等しくない場合、ｍｔｓ＿ｉｄｘが０に等しくなるべきであることがビットストリーム適合の要件である。しかしながら、ビットストリーム制限は、変換ブロック１８２が変換ブロック１８２の最低周波数領域１８４の外側に非０係数を含む場合でも、準拠していないビデオエンコーダが変換ブロック１８２のＭＴＳインデックスを依然としてシグナリングしないことを保証しない場合がある。
[0105]したがって、本開示の態様は、上記で説明されたＭＴＳシグナリングのためのビットストリーム制限をシンタックスベース制限で置き換えるための変換シグナリング技法について説明する。たとえば、ＭＴＳインデックスのシグナリングを制限するために最後有意係数位置の位置を使用する代わりに、ＭＴＳインデックスのシグナリングは、最後にコーディングされた係数グループ（ＣＧ）のロケーションに基づいて制限され得、ここにおいて、コーディングされたＣＧは、少なくとも１つの非０係数を含むＣＧであり、その結果、（ｉ）ＭＴＳの潜在的な冗長シグナリングが回避され、（ｉｉ）ＭＴＳが使用されるとき（たとえば、ＤＳＴ－７とＤＣＴ－８との組合せが分離可能な変換として使用されるとき）、３２×３２ＴＵ中の左上１６×１６領域の外側の非０係数は可能でない。
[0106]いくつかの例では、ＣＧは、走査順序で連続する係数のセットであり得る。たとえば、ＣＧは、ＣＧが変換ブロック１８２の４×４サブブロックに対応し得るように、走査順序で１６個の連続する係数のセットであり得る。この例では、３２×３２ＴＵは、６４個の重複しないＣＧを含み得る。ＣＧの他の例は、本明細書で開示される技法に等しく適用可能であり得る。
[0107]図６Ｂに示されているように、４×４係数グループを有する３２×３２変換ブロック１８２の例では、変換ブロック１８２中のＣＧの位置は（ｘ，ｙ）として示され、ここにおいて、ｘおよびｙは各々、変換ブロック１８２中のＣＧの位置が（０、０）から（７、７）までの範囲となり得るように、０から７までの範囲であり得る。したがって、変換ブロック１８２の１６×１６最低周波数領域１８４は、変換ブロック１８２において（０、０）から（３、３）に及ぶことがあり、したがって、ｘ軸およびｙ軸のうちの少なくとも１つに沿ったＣＧの位置が３よりも大きい場合、ＣＧは変換ブロック１８２の最低周波数領域１８４の外側にある。
[0108]したがって、本開示のいくつかの態様では、ビデオコーダは、ＭＴＳインデックス（すなわち、シンタックス要素ｍｔｓ＿ｉｄｘ）をシグナリングすることを許容されず、ｘ軸またはｙ軸に沿った最後にコーディングされたＣＧの位置が３よりも大きい場合、ＭＴＳインデックスの値は０と推測される（すなわち、ＤＣＴ－２が係数ブロックの水平変換および垂直変換として使用されると推測される）。そうでない場合、変換ブロック１８２中のＣＧがｘ軸およびｙ軸のうちの少なくとも１つに沿って３よりも大きい位置を有さない場合、ビデオコーダは、ＭＴＳインデックスをシグナリングし得る。
[0109]本開示の態様によれば、ビデオコーダは、ｘ軸またはｙ軸における最後にコーディングされたＣＧの位置が３よりも大きい場合、ＭＴＳインデックスの値が代わりにデフォルト値と推測される（たとえば、ＤＣＴ－２変換の選択を示すためにＭＴＳインデックスの値が０であると推測する）ように、変換ブロック１８２のためのＭＴＳインデックスをシグナリングしないと決定し得る。そうでない場合、コーディングされたＣＧがｘ軸またはｙ軸のいずれにおいても３よりも大きい位置を有さない場合、ＭＴＳインデックスは、ビデオエンコーダ２００などによってシグナリングされ得る。同様に、コーディングされたＣＧがｘ軸またはｙ軸のいずれにおいても３よりも大きい位置を有さない場合、ＭＴＳインデックスは、変換ブロック１８２のための選択された分離可能な変換を決定するために、ビデオデコーダ３００などによって構文解析され（parsed）得る。３は、ＭＴＳインデックスがシグナリング／構文解析され得るかどうかを決定するためのｘ軸およびｙ軸における最後にコーディングされたＣＧのしきい値のほんの一例であり得、任意の適切なファクタ（たとえば、変換ブロック１８２のサイズ）に応じて、３とは異なる値が、開示された技法に等しく適用可能であり得る。
[0110]本開示で改善され得るＶＶＣ Ｄｒａｆｔ７、ドラフト１４のセクションは、以下の表３に示される。ビデオエンコーダ２００は、表１に示されたコーディングシンタックスに基づいて変換ブロック１８２のためのＭＴＳインデックスをシグナリングすべきかどうかを決定し得、ビデオデコーダ３００は、表１に示されたコーディングシンタックスに基づいて変換ブロック１８２のためのＭＴＳインデックスを推測すべきかどうか、および／または符号化されたＭＴＳインデックスを構文解析すべきかどうかを決定し得る。
[0111]ＶＶＣ Ｄｒａｆｔ７、バージョン１４へのシンタックス変更が表３に記載されており、ここにおいて、＜ＤＥＬＥＴＥ＞＜／ＤＥＬＥＴＥ＞の間のコンテンツは残差コーディングシンタックスから、および／またはスライスデータセマンティクスから削除されるが、＜ＡＤＤ＞＜／ＡＤＤ＞の間のコンテンツは、本開示の技法に従って、残差コーディングシンタックスおよび／またはスライスデータセマンティクスに追加され、そのようなタグは、実際には残差コーディングシンタックスの一部ではない。同様に、＜ＡＤＤ＞、＜／ＡＤＤ＞、＜ＤＥＬＥＴＥ＞、および＜／ＤＥＬＥＴＥ＞は、本開示の技法に従って、残差コーディングシンタックスから削除されたシンタックスを示すために、本開示では単に読みやすさを目的として追加されており、そのようなタグは、実際には残差コーディングシンタックスの一部ではない。
Figure 2023507099000004
Figure 2023507099000005
Figure 2023507099000006
[0112]表３に見られるように、最後有意係数の位置が変換ブロック１８２の最低周波数領域１８４の外側にあるかどうかを検査する、シンタックスｉｆ（（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ＞１５｜｜ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ＞１５）＆＆ｃＩｄｘ＝＝０）は、残差コーディングシンタックスから削除される。代わりに、変換ブロック１８２のＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値を決定するために、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、ＣＧについて、それがコーディングされたＣＧである（すなわち、非０係数を含む）かどうかを決定し、ＣＧがコーディングされたＣＧである場合、コーディングされたＣＧが変換ブロック１８２の最低周波数領域１８４の外側にあるかどうかを決定するために、変換ブロック１８２中のＣＧを通して反復し得る。コーディングされたＣＧが変換ブロック１８２の最低周波数領域１８４の外側にあるとビデオコーダが決定した場合、ビデオコーダは、変換ブロック１８２の最低周波数領域１８４の外側の係数がゼロ化されていないことを示すために、変換ブロック１８２のＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値を０に設定し得る。
[0113]ビデオコーダは、変換ブロック１８２について、最後のサブブロックから開始する走査順序（たとえば、対角走査順序）に従って、変換ブロック１８２のＣＧを横断し（traverse through）得る。ビデオコーダは、ビデオコーダによって遭遇された各ＣＧについて、コーディングされたサブブロックフラグがＣＧについて設定されているかどうかを決定することによって、ＣＧがコーディングされたＣＧであるかどうかを決定し得る。表３に示されているように、ビデオコーダによって遭遇される各ＣＧは、［ｘＳ］［ｙＳ］の位置を有するように示され、ここにおいて、ｘＳは、変換ブロック１８２中のｘ軸に沿ったＣＧの位置であり、ｙＸは、変換ブロック１８２中のｙ軸に沿ったＣＧの位置である。
[0114]同じく表３に示すように、位置［ｘＳ］［ｙＳ］におけるＣＧのためのコーディングされたサブブロックフラグは、シンタックス要素ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ［ｘＳ］［ｙＳ］として示される。ＣＧのためのコーディングされたサブブロックフラグは、１の値または０の値のいずれかを有し得る。ＣＧのためのコーディングされたサブフロックフラグは、ＣＧ中の変換係数のすべてが０である場合、０の値を有し、ＣＧのためのコーディングされたサブブロックフラグは、ＣＧ中の変換係数のうちの少なくとも１つが非０である場合、１の値を有する。
[0115]ビデオコーダがＣＧに遭遇するとき、ビデオコーダは、ＣＧのためのコーディングされたサブブロックフラグの値に基づいて、ＣＧがコーディングされたＣＧである（非０係数を含む）かどうかを決定し得る。たとえば、ビデオコーダが、ＣＧのためのコーディングされたサブブロックフラグの値が１であると決定する場合、ビデオコーダは、ＣＧがコーディングされたＣＧであると決定し得る。ビデオコーダが、ＣＧのためのコーディングされたサブブロックフラグの値が０であると決定する場合、ビデオコーダは、ＣＧがコーディングされたＣＧではないと決定し得る。
[0116]ビデオコーダは、ＣＧがコーディングされたＣＧであると決定したことに応答して、ＣＧが変換ブロック１８２の最低周波数領域１８４の外側に位置するかどうかを決定し得る。４×４サブブロックとしてＣＧをもつ６４×６４変換ブロック１８２の場合、変換ブロック１８２中のＣＧの位置は、（０、０）から（７、７）に及ぶことができ、変換ブロック１８２の最低周波数領域１８４は、（０、０）から（３、３）に及ぶことができる。したがって、コーディングされたＣＧが変換ブロック１８２の最低周波数領域１８４の外側に位置するかどうかを決定するために、ビデオコーダは、ｘ軸またはｙ軸のうちの少なくとも１つにおけるコーディングされたＣＧの位置が３よりも大きいかどうかを決定し得る。ｘ軸またはｙ軸のうちの少なくとも１つにおけるコーディングされたＣＧの位置が３よりも大きいとビデオコーダが決定した場合、ビデオコーダは、非０変換係数を備える少なくとも１つのＣＧが変換ブロック１８２の最低周波数領域１８４の外側にあると決定し得る。
[0117]ＣＧの位置が残差コーディングシンタックスにおいて［ｘＳ］［ｙＳ］として示されると仮定すれば、ビデオコーダは、ｘＳまたはｙＳのいずれかの値が３よりも大きいかどうかを決定することによって、コーディングされたＣＧが最低周波数領域１８４の外側に位置するかどうかを決定し得る。コーディングされたＣＧのｘＳまたはｙＳのいずれかの値が３よりも大きいとビデオコーダが決定する場合、ビデオコーダは、非０変換係数を備える少なくとも１つのＣＧが変換ブロック１８２の最低周波数領域１８４の外側にあると決定し得る。
[0118]表３に見られるように、本開示の技法は、条件付きシンタックスｉｆ（（ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ［ｘＳ］［ｙＳ］｜｜ｉ＝＝ｌａｓｔＳｕｂＢｌｏｃｋ）＆＆ｃＩｄｘ＝＝０＆＆（ｘＳ＞３｜｜ｙＳ＞３）ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝０を残差コーディングシンタックスに追加する。ビデオコーダは、ＣＧのためのコーディングされたサブブロックフラグ（ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ［ｘＳ］［ｙＳ］）が１に設定されているかどうかと、ｘ軸またはｙ軸のうちの少なくとも１つの上のＣＧの位置が３よりも大きいかどうか（ｘＳ＞３｜｜ｙＳ＞３）とを決定することに基づいて、ＣＧについて、ＣＧがコーディングされたＣＧであるかどうかを検査するために条件付きシンタックスを実行する。ＣＧがコーディングされたＣＧであり、ｘ軸上またはｙ軸上のうちの少なくとも１つにおけるＣＧの位置が３よりも大きいとビデオコーダが決定する場合、ビデオコーダは、少なくとも１つの非０変換係数が変換ブロック１８２の最低周波数領域１８４の外側にあると決定し得、したがって、シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値を０に設定し得る。ＣＧがコーディングされたＣＧではない、および／または、ｘ軸上でもｙ軸上でもＣＧの位置が３よりも大きくないとビデオコーダが決定した場合、ビデオコーダは、シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値を設定することを控え得る。
[0119]したがって、ビデオコーダは、非０変換係数を備える少なくとも１つのＣＧが変換ブロック１８２の最低周波数領域１８４の外側にあるかどうかを決定するために、上記で説明された技法に従って、走査順序において変換ブロック１８２のＣＧを通して反復し得る。ビデオコーダが、変換ブロック１８２のＣＧを通して反復した後に、非０変換係数を備えるＣＧが変換ブロック１８２の最低周波数領域１８４の外側にないと決定する場合、ビデオコーダは、変換ブロック１８２のためのＭＴＳインデックスをシグナリングおよび／または構文解析し得る。すなわち、ビデオエンコーダ２００は、変換ブロック１８２に適用されるべきマルチプル変換を示すためにＭＴＳインデックスをシグナリングし得、ビデオデコーダ３００は、変換ブロック１８２に適用されるべきマルチプル変換を示すためにＭＴＳインデックスを構文解析し得る。
[0120]ビデオコーダが、変換ブロック１８２のＣＧを通して反復した後に、非０変換係数を備える少なくとも１つのＣＧが変換ブロック１８２の最低周波数領域１８４の外側にあると決定する場合、ビデオコーダは、変換ブロック１８２のためのＭＴＳインデックスをシグナリングおよび／または構文解析することを控え得る。すなわち、ビデオエンコーダ２００は、変換ブロック１８２に適用されるべきマルチプル変換を示すためにＭＴＳインデックスをシグナリングしないと決定し得る。同様に、ビデオデコーダ３００は、ビデオエンコーダ２００が変換ブロック１８２のためのＭＴＳインデックスをシグナリングする場合でも、ＭＴＳインデックスのデフォルト値を推測し得る。
[0121]表１に関して上記で説明されたように、ビデオコーダは、シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が１に等しいかどうかに少なくとも部分的に基づいて、変換ブロック１８２のためのＭＴＳインデックス（シンタックス要素ｍｔｓ＿ｉｄｘ）がシグナリングされるかどうかを決定し得る。シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が１に等しい場合、ビデオコーダは、シンタックス要素ｍｔｓ＿ｉｄｘをシグナリングし得る。シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が０であるときなど、シンタックス要素ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が１に等しくない場合、ビデオコーダは、シンタックス要素ｍｔｓ＿ｉｄｘをシグナリングしないことがある。代わりに、ビデオコーダは、０などの、ＭＴＳインデックスの値を推測し得る。ＭＴＳインデックスの推測値は、水平変換と垂直変換の両方に対するＤＣＴ－２変換などの特定の変換の選択に対応し得る。このようにして、ビデオエンコーダ２００は、変換ブロック１８２のためのＭＴＳインデックスをシグナリングすべきかどうかを決定し得、ビデオデコーダ３００は、変換ブロック１８２のためのＭＴＳインデックスを推測すべきかどうかを決定し得る。
[0122]ビデオエンコーダ２００が、表１に示されたコーディングシンタックスに基づいて変換ブロック１８２のためのＭＴＳインデックスをシグナリングすべきかどうかを決定し、ビデオデコーダ３００が、表３に示されたコーディングシンタックスに基づいて変換ブロック１８２のためのＭＴＳインデックスを推測すべきかどうか、および／または符号化されたＭＴＳインデックスを構文解析すべきかどうかを決定するための、ＶＶＣ Ｄｒａｆｔ７、ドラフト１４に記載された技法を改善する代替方法が表４に示されている。
[0123]ビデオエンコーダ２００は、表１に示されたコーディングシンタックスに基づいて変換ブロック１８２のためのＭＴＳインデックスをシグナリングすべきかどうかを決定し得、ビデオデコーダ３００は、表１に示されたコーディングシンタックスに基づいて変換ブロック１８２のためのＭＴＳインデックスを推測すべきかどうか、および／または符号化されたＭＴＳインデックスを構文解析すべきかどうかを決定し得る。
[0124]ＶＶＣ Ｄｒａｆｔ７、バージョン１４への代替のシンタックス変更が表４に記載されており、ここにおいて、＜ＤＥＬＥＴＥ＞＜／ＤＥＬＥＴＥ＞の間のコンテンツは残差コーディングシンタックスおよび／またはスライスデータセマンティクスから削除されるが、＜ＡＤＤ＞＜／ＡＤＤ＞の間のコンテンツは、本開示の技法に従って、残差コーディングシンタックスおよび／またはスライスデータセマンティクスに追加され、そのようなタグは、実際には残差コーディングシンタックスの一部ではない。同様に、＜ＡＤＤ＞、＜／ＡＤＤ＞、＜ＤＥＬＥＴＥ＞、および＜／ＤＥＬＥＴＥ＞は、本開示の技法に従って、残差コーディングシンタックスから削除されたシンタックスを示すために、本開示では単に読みやすさを目的として追加されており、そのようなタグは、実際には残差コーディングシンタックスの一部ではない。
Figure 2023507099000007
Figure 2023507099000008
[0125]表４の例示的な残差コーディングシンタックスに見られるように、ｘ軸における最後にコーディングされたＣＧの位置は、シンタックス要素ｌａｓｔＳｕｂＢｌｏｃｋＸとして定義され、ｙ軸における最後にコーディングされたＣＧの位置は、シンタックス要素ｌａｓｔＳｕｂＢｌｏｃｋＹとして定義される。さらに、条件付きシンタックスｉｆ（（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ＞１５｜｜ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ＞１５）＆＆ｃＩｄｘ＝＝０）が削除され、条件付きシンタックスｉｆ（（ｌａｓｔＳｕｂＢｌｏｃｋＸ＞３｜｜ｌａｓｔＳｕｂＢｌｏｃｋＹ＞３）＆＆ｃＩｄｘ＝＝０）に置き換えられる。したがって、最後の係数位置を使用する代わりに、最後にコーディングされたＣＧ位置が、ＭＴＳインデックスのシグナリングを制限するために使用される。
[0126]したがって、ビデオコーダは、変換ブロック１８２について、最後のサブブロックから開始する走査順序（たとえば、対角走査順序）に従って、変換ブロック１８２のＣＧを横断し（traverse through）得る。ビデオコーダは、ビデオコーダによって遭遇された各ＣＧについて、コーディングされたサブブロックフラグがＣＧについて設定されているかどうかを決定することなどによって、ＣＧがコーディングされたＣＧであるかどうかを決定し得る。ビデオコーダは、ＣＧがコーディングされたＣＧであると決定する場合、ＣＧが変換ブロック１８２の最低周波数領域１８４の外側に位置するかどうかを決定する。
[0127]４×４サブブロックとしてＣＧをもつ６４×６４変換ブロック１８２の場合、変換ブロック１８２中のＣＧの位置は、（０、０）から（７、７）に及ぶことができ、変換ブロック１８２の最低周波数領域１８４は、（０、０）から（３、３）に及ぶことができる。したがって、コーディングされたＣＧが変換ブロック１８２の最低周波数領域１８４の外側に位置するかどうかを決定するために、ビデオコーダは、ｘ軸またはｙ軸のうちの少なくとも１つにおけるコーディングされたＣＧの位置が３よりも大きいかどうかを決定し得る。ｘ軸またはｙ軸のうちの少なくとも１つにおけるコーディングされたＣＧの位置が３よりも大きいとビデオコーダが決定した場合、ビデオコーダは、非０変換係数を備える少なくとも１つのＣＧが変換ブロック１８２の最低周波数領域１８４の外側にあると決定し得る。
[0128]このようにして、上記の例示的なシンタックスでは、変換ブロック１８２において、ｘ軸における最後にコーディングされたＣＧの位置（すなわち、ｌａｓｔＳｕｂＢｌｏｃｋＸ）が３よりも大きい場合、または、ｙ軸における最後にコーディングされたＣＧの位置（すなわち、ｌａｓｔＳｕｂＢｌｏｃｋＹ）が３よりも大きい場合、ビデオエンコーダ２００は、変換ブロック１８２のためのＭＴＳインデックスをシグナリングしないことがあり、ビデオデコーダ３００は、ＭＴＳインデックスの値が０であると推測することがある（すなわち、ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇが０に設定される）。他方では、ｘ軸における最後にコーディングされたＣＧの位置（すなわち、ｌａｓｔＳｕｂＢｌｏｃｋＸ）が３よりも大きくなく、ｙ軸における最後にコーディングされたＣＧの位置（すなわち、ｌａｓｔＳｕｂＢｌｏｃｋＹ）が３よりも大きくない場合、ＭＴＳインデックスは、（たとえば、ビデオエンコーダ２００などのビデオエンコーダによって）シグナリングされるか、または（たとえば、ビデオデコーダ３００などのビデオデコーダによって）構文解析される。
[0129]上記に示されるように、表３および表４では、「現在のコーディングユニットにおいて、ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ（ｘ０，ｙ０，ｌｏｇ２ＴｂＷｉｄｔｈ，ｌｏｇ２ＴｂＨｅｉｇｈｔ，ｃＩｄｘ）シンタックス構造における少なくとも１つのｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ［ｘＳ］［ｙＳ］が、０に等しいｃＩｄｘおよび３よりも大きいｘＳまたはｙＳに対して、０に等しくない場合、ｍｔｓ＿ｉｄｘが０に等しくなるべきであることがビットストリーム適合の要件である」という句が、スライスデータセマンティクスから削除される。上記で説明されたように、代わりに、ＭＴＳインデックスは、ｘ軸における最後にコーディングされたＣＧの位置が３よりも大きい場合、または、ｙ軸における最後にコーディングされたＣＧの位置が３よりも大きい場合、０などの値であると推測され得る。
[0130]図７は、本開示の技法を実行し得る例示的なビデオエンコーダ２００を示すブロック図である。図７は、説明の目的で与えられており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示は、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）およびＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法に従って、ビデオエンコーダ２００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオ符号化デバイスによって実行され得る。
[0131]図７の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構成ユニット２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ）２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構成ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つまたは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオエンコーダ２００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路構成の一部として、またはプロセッサ、ＡＳＩＣ、もしくはＦＰＧＡの一部として、実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実行するために、追加または代替のプロセッサまたは処理回路構成を含んでよい。
[0132]ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）からビデオデータメモリ２３０中に記憶されたビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０およびＤＰＢ２１８は、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０およびＤＰＢ２１８は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0133]本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在のブロックのビデオデータ）を記憶する参照メモリとして理解されたい。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的記憶を提供し得る。
[0134]図７の様々なユニットは、ビデオエンコーダ２００によって実行される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を与える回路を指し、実行され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実施するように、および実行され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。
[0135]ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示せず）が、そのような命令を記憶し得る。
[0136]ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット２０４とモード選択ユニット２０２とに提供し得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべきである生のビデオデータであり得る。
[0137]モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実行するための追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。
[0138]モード選択ユニット２０２は、一般に、符号化パラメータの組合せと、そのような組合せのための得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。
[0139]ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに区分し、スライス内の１つまたは複数のＣＴＵをカプセル化し得る。モード選択ユニット２０２は、上記で説明されたＨＥＶＣのＱＴＢＴ構造またはクワッドツリー構造など、ツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明されたように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、概して「ビデオブロック」または「ブロック」と呼ばれることもある。
[0140]一般に、モード選択ユニット２０２はまた、現在のブロック（たとえば、現在ＣＵまたはＨＥＶＣでは、ＰＵとＴＵとの重複する部分）のための予測ブロックを生成するように、それの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在のブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶された１つまたは複数の以前にコーディングされたピクチャ）中で１つまたは複数の厳密に一致する参照ブロックを識別するために動き探索を実施し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在のブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、一般に、現在のブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実行し得る。動き推定ユニット２２２は、現在のブロックに最も厳密に一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。
[0141]動き推定ユニット２２２は、現在のピクチャ中の現在のブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測では、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが部分サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックについての値を補間し得る。さらに、双方向インター予測では、動き補償ユニット２２４は、それぞれの動きベクトルによって識別された２つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または重み付け平均化を通して取り出されたデータを組み合わせ得る。
[0142]別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット２２６は、現在のブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、一般に、予測ブロックを作り出すために、隣接サンプルの値を数学的に組み合わせ、現在のブロックにわたって規定の方向にこれらの計算された値をポピュレートし得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在のブロックに対する隣接サンプルの平均を計算し、予測ブロックのサンプルごとにこの得られた平均を含むように予測ブロックを生成し得る。
[0143]モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在のブロックの生の符号化されていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在のブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在のブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ）を使用して残差ブロックを生成するために、残差ブロック中のサンプル値間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実行する１つまたは複数の減算器回路を使用して形成され得る。
[0144]モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと、対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００およびビデオデコーダ３００は、様々なサイズを有するＰＵをサポートし得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指し得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測のための２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測のための２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称ＰＵサイズとをサポートし得る。ビデオエンコーダ２００およびビデオデコーダ３００はまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズの非対称区分をサポートし得る。
[0145]モード選択ユニット２０２がＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００およびビデオデコーダ３００は、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。
[0146]いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法では、モード選択ユニット２０２は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在のブロックのための予測ブロックを生成する。パレットモードコーディングなどの、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成しないことがあり、代わりに、選択されたパレットに基づいてブロックを再構成すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。
[0147]上記で説明されたように、残差生成ユニット２０４は、現在のブロックのビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット２０４は、次いで、現在のブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在のブロックとの間のサンプルごとの差分を計算する。
[0148]変換処理ユニット２０６は、変換係数のブロック（本明細書では「変換係数ブロック」と呼ばれる）を生成するために、残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向性変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックにマルチプル変換、たとえば、回転変換などの１次変換および２次変換を実行し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。
[0149]いくつかの例では、変換処理ユニット２０６は、残差ブロックの区分から生じる複数の残差サブブロックの各々にマルチプル変換（ＭＴ）方式のマルチプル変換を適用することを含めて、現在のブロックのための残差ブロックにＭＴ方式のマルチプル変換を適用し得る。ＭＴ方式は、たとえば、残差ブロックに適用されるべき１次変換と２次変換とを定義し得る。追加または代替として、ＭＴ方式は、上記で論じられた図４Ａと図４Ｂとに示されているものなどの、水平変換と垂直変換とを定義し得る。いずれの場合も、変換処理ユニット２０６は、変換係数ブロックの変換係数を生成するために、残差ブロックにＭＴ方式の各変換を適用し得る。
[0150]量子化ユニット２０８は、量子化された変換係数ブロックを生成するために変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在のブロックに関連付けられた量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵに関連付けられたＱＰ値を調整することによって、現在のブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失をもたらし得、したがって、量子化された変換係数は、変換処理ユニット２０６によって作り出された元の変換係数よりも低い精度を有し得る。
[0151]逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構成するために、それぞれ、量子化された変換係数ブロックに逆量子化および逆変換を適用し得る。再構成ユニット２１４は、再構成された残差ブロックと、モード選択ユニット２０２によって生成された予測ブロックとに基づいて、（潜在的にある程度のひずみを伴うが）現在のブロックに対応する再構成されたブロックを作り出し得る。たとえば、再構成ユニット２１４は、再構成されたブロックを作り出すために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構成された残差ブロックのサンプルを加算し得る。
[0152]フィルタユニット２１６は、再構成されたブロックに対して１つまたは複数のフィルタ演算を実行し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実行し得る。フィルタユニット２１６の動作は、いくつかの例では、スキップされ得る。
[0153]ビデオエンコーダ２００は、ＤＰＢ２１８中に再構成されたブロックを記憶する。たとえば、フィルタユニット２１６の動作が実行されない例では、再構成ユニット２１４は、ＤＰＢ２１８に再構成されたブロックを記憶し得る。フィルタユニット２１６の動作が実行される例では、フィルタユニット２１６は、フィルタ処理された再構成されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２および動き補償ユニット２２４は、後で符号化されるピクチャのブロックをインター予測するために、再構成（および潜在的にフィルタ処理）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。さらに、イントラ予測ユニット２２６は、現在のピクチャ中の他のブロックをイントラ予測するために、現在のピクチャのＤＰＢ２１８中の再構成されたブロックを使用し得る。
[0154]一般に、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化データを生成するために、ビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実行し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実行し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
[0155]いくつかの例では、各変換ブロックを符号化すること（たとえば、各量子化された変換係数ブロックをエントロピー符号化すること）の一部として、エントロピー符号化ユニット２２０は、各変換ブロックについて、ビデオエンコーダ２００によって有意性マップをシグナリングするために送信されるべきビンの数を低減することの一部として変換ブロックのための１つまたは複数のコード化ブロックフラグを決定するために、変換ブロックの変換係数を走査し得る。たとえば、エントロピー符号化ユニット２２０は、変換ブロック中の各係数グループ（たとえば、変換係数の４×４グループ）について、係数グループのためのコード化サブブロックフラグを決定し得、ここにおいて、係数グループのためのコード化サブブロックフラグの値は、係数グループが非０変換係数を含むかどうかを示し、変換ブロックのためのコード化サブブロックフラグをシグナリング（たとえば、エントロピー符号化）し得る。
[0156]エントロピー符号化ユニット２２０は、ビデオデータの変換ブロックのために（たとえば、変換処理ユニット２０６によって）選択されたマルチプル変換（すなわち、分離可能な（separable）変換）を示すＭＴＳインデックスを符号化する（すなわち、マルチプル変換選択を示すシンタックス要素を符号化する）ように構成され得る。
[0157]いくつかの例では、エントロピー符号化ユニット２２０は、ビデオデータの変換ブロックのために（たとえば、変換処理ユニット２０６によって）選択されたマルチプル変換（すなわち、分離可能な変換）を示すＭＴＳインデックスを符号化する（すなわち、マルチプル変換選択を示すシンタックス要素を符号化する）べきかどうかを決定するように構成され得る。いくつかの例では、エントロピー符号化ユニット２２０は、変換ブロック中の最低周波数領域の外側にある変換ブロック中の変換係数が各々０の値を有する場合のみ、ＭＴＳインデックスを符号化することを決定するように構成され得、ここにおいて、変換ブロック中の最低周波数領域は、変換ブロックの最低周波数変換係数を表す変換ブロックの左上部分であり得る。
[0158]変換ブロック中の最低周波数領域の外側の各変換係数が０の値を有するかどうかを決定するために、エントロピー符号化ユニット２２０は、変換ブロック中の最低周波数領域の外側の少なくとも１つの係数グループが非０変換係数を有するかどうかを決定し得る。たとえば、エントロピー符号化ユニット２２０は、非０変換係数を含む係数グループについて、変換ブロックを係数グループごとに走査し得る。
[0159]エントロピー符号化ユニット２２０は、変換ブロックについて、係数グループが非０変換係数を含むかどうかを示す係数グループごとにコード化サブブロックフラグを決定したので、エントロピー符号化ユニット２２０は、非０変換係数を含む係数グループについて係数グループごとに変換ブロックを走査するために、係数グループのためのコード化サブブロックフラグを使用することが可能であり得る。たとえば、エントロピー符号化ユニット２２０は、変換ブロック中の各係数グループについて、係数グループのためのコード化サブブロックフラグの値に基づいて、係数グループが非ゼロ係数を含むかどうかを決定し得る。
[0160]コード化サブブロックフラグは、ビデオエンコーダ２００によってシグナリングされる有意性フラグの数を低減するために、たとえば、符号化ユニット２２０によってすでに決定されているので、エントロピー符号化ユニット２２０は、係数グループが非０変換係数を含むかどうかを決定するために、コード化サブブロックフラグを使用することによって、変換ブロック中の非０変換係数の位置をより効率的に決定する（たとえば、より少ない処理サイクルを使用する）ことが可能であり得る。たとえば、６４×６４変換ブロックおよび４×４係数グループが与えられれば、エントロピー符号化ユニット２２０は、非０変換係数を含む係数グループについて変換ブロックを係数グループごとに走査するために、潜在的に変換ブロックの４，０９６個までの係数を走査しなければならないことと比較して、１６個までのコード化サブブロックフラグを潜在的に走査し得、それによって、符号化ユニット２２０が変換ブロック中の非０変換係数の位置をより効率的に決定することを可能にする。
[0161]エントロピー符号化ユニット２２０が、非０変換係数を含む係数グループ（たとえば、係数が非０変換を含むことを示す、関連するコード化サブブロックフラグを有する係数グループ）に遭遇するとき、エントロピー符号化ユニット２２０は、係数グループが変換ブロック中の最低周波数領域の外側にあるかどうかを決定し得る。エントロピー符号化ユニット２２０によって遭遇された非０変換係数を含む係数グループが変換ブロック中の最低周波数領域の外側にあるとエントロピー符号化ユニット２２０が決定する場合、エントロピー符号化ユニット２２０は、変換ブロック中の最低周波数領域の外側の少なくとも１つの変換係数が非０値を有すると決定し得る。
[0162]係数グループが非０変換係数を含むことを示すコード化サブブロックフラグに各々が関連付けられた１つまたは複数の係数グループを変換ブロック内で決定するために、変換ブロックについて決定されたコード化サブブロックフラグを走査することによって、非０変換係数を含む係数グループについて係数グループごとに変換ブロック。
[0163]エントロピー符号化ユニット２２０が、変換ブロック中の最低周波数領域の外側の係数グループのいずれも非０変換係数を含んでいないと決定する場合、エントロピー符号化ユニット２２０は、変換ブロック中の最低周波数領域の外側にある変換ブロック中の変換係数が各々０の値を有すると決定し得る。エントロピー符号化ユニット２２０は、変換ブロック中の最低周波数領域の外側の係数がゼロ化される（すなわち、各々がゼロの値を有する）ことを示すフラグを設定することなどによって、ビデオデータの変換ブロックのために選択されたマルチプル変換を示すＭＴＳインデックスを符号化し得る。
[0164]エントロピー符号化ユニット２２０が、変換ブロック中の最低周波数領域の外側の少なくとも１つの変換係数が非０値を有すると決定する場合、エントロピー符号化ユニット２２０は、ビデオデータの変換ブロックのために選択されたマルチプル変換を示すＭＴＳインデックスを符号化しないと決定し得る。代わりに、ビデオデコーダ３００は、ＭＴＳインデックスの値が０などのデフォルト値であると推測し（たとえば、明示的なシンタックス要素なしで決定し）得、デフォルト変換（たとえば、ＤＣＴ－２変換）を変換ブロックに適用し得る。
[0165]ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構成するために必要とされるエントロピー符号化シンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０がビットストリームを出力し得る。
[0166]上記で説明された動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマ成分およびクロマ成分である。
[0167]いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであり得る。
[0168]以下でより詳細に説明されるように、ビデオエンコーダ２００は、ビデオデータを記憶するように構成されたメモリと、ビデオデータの変換ブロックについて、変換係数を備える複数の係数グループのうちの非０変換係数を備える少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるかどうかを決定することと、少なくとも１つのコーディングされた係数グループが変換ブロックの最低周波数領域の外側にあるかどうかの決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素を符号化すべきかどうかを決定することと、マルチプル変換選択を示すシンタックス要素をコーディングすべきかどうかの決定に少なくとも部分的に基づいて、ビデオデータを符号化することとを行うように構成された、回路内に実装された１つまたは複数の処理ユニットとを含む、ビデオデータを符号化するように構成されたデバイスの一例を表す。
[0169]図８は、本開示の技法を実行し得る例示的なビデオデコーダ３００を示すブロック図である。図８は、説明の目的で与えられており、本開示において広く例示され、説明される技法を限定するものではない。説明の目的で、本開示は、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）およびＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法に従って、ビデオデコーダ３００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実行され得る。
[0170]図８の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ）３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構成ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つもしくは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオデコーダ３００のユニットは、１つもしくは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはプロセッサ、ＡＳＩＣ、またはＦＰＧＡの一部として実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実行するための追加もしくは代替のプロセッサまたは処理回路を含み得る。
[0171]予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能の構成要素を含み得る。
[0172]ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化されたビデオビットストリームからの符号化されたビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなどの、コーディングされたピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、一般に、符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するときにビデオデコーダ３００が参照ビデオデータとして出力および／または使用し得る、復号されたピクチャを記憶する。ＣＰＢメモリ３２０およびＤＰＢ３１４は、ＳＤＲＡＭを含むＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0173]追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコーディングされたビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０を用いて上記で説明されたようにデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部またはすべてが、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。
[0174]図８に示されている様々なユニットは、ビデオデコーダ３００によって実行される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図７と同様に、固定機能回路は、特定の機能を与える回路を指し、実行され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作中にフレキシブルな機能を与える。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。
[0175]ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行するソフトウェアによって実行される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。
[0176]エントロピー復号ユニット３０２は、ＣＰＢから符号化されたビデオデータを受信し、シンタックス要素を再生するためにビデオデータをエントロピー復号し得る。予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２とは、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成し得る。
[0177]一般に、ビデオデコーダ３００は、ブロックごとにピクチャを再構成する。ビデオデコーダ３００は、各ブロックに対して個々に再構成動作を実行し得る（ここにおいて、現在再構成されているブロック、すなわち、現在復号されているブロックは、「現在のブロック」と呼ばれることがある）。
[0178]エントロピー復号ユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ（ＱＰ）および／または（１つまたは複数の）変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度を決定するために、また同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度を決定するために、量子化された変換係数ブロックと関連付けられるＱＰを使用し得る。逆量子化ユニット３０６は、たとえば、量子化された変換係数を逆量子化するためにビット単位の左シフト演算を実行し得る。逆量子化ユニット３０６は、それによって、変換係数を含む変換係数ブロックを形成し得る。
[0179]いくつかの例では、各変換ブロックを復号すること（たとえば、各変換係数ブロックをエントロピー復号すること）の一部として、エントロピー復号ユニット３０２は、変換ブロック中の各係数グループ（たとえば、変換係数の４×４グループ）のためのコード化サブブロックフラグを復号し得、ここにおいて、係数グループのためのコード化サブブロックフラグの値は、係数グループが非０変換係数を含むかどうかを示す。
[0180]逆量子化ユニット３０６が変換係数ブロックを形成した後、逆変換処理ユニット３０８は、現在のブロックに関連付けられた残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。
[0181]いくつかの例では、逆変換処理ユニット３０８は、ビデオデータの変換ブロックに（たとえば、ＭＴＳ技法を使用して）１つまたは複数の逆マルチプル変換を適用するように構成され得る。上記で説明されたように、ビデオエンコーダ２００は、変換ブロック中に非０変換係数が存在しない場合のみ、ビデオデータの変換ブロックのために選択されたマルチプル変換を示すシンタックス要素を符号化し得る。したがって、以下でより詳細に説明されるように、いくつかの例では、逆変換処理ユニット３０８は、ビデオデータの変換ブロックのためにビデオエンコーダ２００によって選択されたマルチプル変換（すなわち、分離可能な変換）を示すビットストリーム中でシグナリングされたＭＴＳインデックスをビデオエンコーダ２００が復号する（すなわち、マルチプル変換選択を示すシンタックス要素を復号する）べきかどうかを決定するように構成され得る。
[0182]いくつかの例では、逆変換処理ユニット３０８は、変換ブロック中の最低周波数領域の外側にある変換ブロック中の変換係数が各々０の値を有する場合のみ、ビットストリーム中でシグナリングされたＭＴＳインデックスを復号および使用するように構成され得、ここにおいて、変換ブロック中の最低周波数領域は、変換ブロックの最低周波数変換係数を表す変換ブロックの左上部分であり得る。
[0183]変換ブロック中の最低周波数領域の外側の各変換係数が０の値を有するかどうかを決定するために、逆変換処理ユニット３０８は、変換ブロック中の最低周波数領域の外側の少なくとも１つの係数グループが非０変換係数を有するかどうかを決定し得る。たとえば、逆変換処理ユニット３０８は、非０変換係数を含む係数グループについて、変換ブロックを係数グループごとに走査し得る。
[0184]エントロピー復号ユニット３０２は、変換ブロックについて、係数グループが非０変換係数を含むかどうかを示す係数グループごとにコード化サブブロックフラグをすでに復号したので、逆変換処理ユニット３０８は、非０変換係数を含む係数グループについて係数グループごとに変換ブロックを走査するために、係数グループのためのコード化サブブロックフラグを使用することが可能であり得る。たとえば、逆変換処理ユニット３０８は、変換ブロック中の各係数グループについて、係数グループのためのコード化サブブロックフラグの値に基づいて、係数グループが非ゼロ係数を含むかどうかを決定し得る。
[0185]コード化サブブロックフラグはエントロピー復号ユニット３０２によってすでに復号されているので、逆変換処理ユニット３０８は、係数グループが非０変換係数を含むかどうかを決定するためにコード化サブブロックフラグを使用することによって、変換ブロック中の非０変換係数の位置をより効率的に（たとえば、より少ない処理サイクルを使用して）決定することが可能であり得る。たとえば、６４×６４変換ブロックおよび４×４係数グループが与えられれば、逆変換処理ユニット３０８は、非０変換係数を含む係数グループについて変換ブロックを係数グループごとに走査するために、潜在的に変換ブロックの４，０９６個までの係数を走査しなければならないことと比較して、１６個までのコード化サブブロックフラグを潜在的に走査し得、それによって、逆変換処理ユニット３０８が変換ブロック中の非０変換係数の位置をより効率的に決定することを可能にする。
[0186]逆変換処理ユニット３０８が、非０変換係数を含む係数グループ（たとえば、係数が非０変換を含むことを示す、関連するコード化サブブロックフラグを有する係数グループ）に遭遇するとき、逆変換処理ユニット３０８は、係数グループが変換ブロック中の最低周波数領域の外側にあるかどうかを決定し得る。逆変換処理ユニット３０８によって遭遇された非０変換係数を含む係数グループが変換ブロック中の最低周波数領域の外側にあると逆変換処理ユニット３０８が決定する場合、逆変換処理ユニット３０８は、変換ブロック中の最低周波数領域の外側の少なくとも１つの変換係数が非０値を有すると決定し得る。
[0187]逆変換処理ユニット３０８が、変換ブロック中の最低周波数領域の外側の係数グループのいずれも非０変換係数を含んでいないと決定する場合、逆変換処理ユニット３０８は、変換ブロック中の最低周波数領域の外側にある変換ブロック中の変換係数が各々０の値を有すると決定し得る。したがって、逆変換処理ユニット３０８は、シンタックス要素によって示されるマルチプル変換の逆マルチプル変換をビデオデータの変換ブロックに適用し得る。
[0188]逆変換処理ユニット３０８が、変換ブロック中の最低周波数領域の外側の少なくとも１つの変換係数が非０値を有すると決定する場合、逆変換処理ユニット３０８は、変換ブロックのためのＭＴＳインデックスの値が０などのデフォルト値であると推測し（たとえば、明示的なシンタックス要素なしで決定し）得、ビデオデータの変換ブロックにデフォルト変換（たとえば、ＤＣＴ－２変換）を適用し得る。逆変換処理ユニット３０８は、ビデオエンコーダ２００から受信されたビットストリームが変換ブロックのためのＭＴＳインデックスをシグナリングする場合でも、変換ブロックのためのＭＴＳインデックスの値を推測し、それによって、変換ブロックのためのＭＴＳインデックスを復号することを控え得る。
[0189]さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在のブロックがインター予測されていることを予測情報シンタックス要素が示す場合、動き補償ユニット３１６は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそれから取り出すべきＤＰＢ３１４中の参照ピクチャ、ならびに現在のピクチャ中の現在のブロックのロケーションに対する参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット３１６は、一般に、動き補償ユニット２２４（図７）に関して説明された方式と実質的に同様である方式でインター予測プロセスを実行し得る。
[0190]別の例として、予測情報シンタックス要素が、現在のブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、一般に、イントラ予測ユニット２２６（図７）に関して説明された方式と実質的に同様である方式でイントラ予測プロセスを実行し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在のブロックに対する隣接サンプルのデータを取り出し得る。
[0191]再構成ユニット３１０は、予測ブロックと残差ブロックとを使用して現在のブロックを再構成し得る。たとえば、再構成ユニット３１０は、現在のブロックを再構成するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。
[0192]フィルタユニット３１２は、再構成されたブロックに対して１つまたは複数のフィルタ演算を実行し得る。たとえば、フィルタユニット３１２は、再構成されたブロックの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。フィルタユニット３１２の動作は、必ずしもすべての例で実行されるとは限らない。
[0193]ビデオデコーダ３００は、再構成されたブロックをＤＰＢ３１４に記憶し得る。たとえば、フィルタユニット３１２の動作が実行されない例では、再構成ユニット３１０は、ＤＰＢ３１４に再構成されたブロックを記憶し得る。フィルタユニット３１２の動作が実行される例では、フィルタユニット３１２は、フィルタ処理された再構成されたブロックをＤＰＢ３１４に記憶し得る。上記で説明されたように、ＤＰＢ３１４は、イントラ予測のための現在のピクチャのサンプル、および後続の動き補償のための以前に復号されたピクチャなどの、参照情報を予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢ３１４からの復号されたピクチャ（たとえば、復号されたビデオ）を、図１のディスプレイデバイス１１８などのディスプレイデバイス上での後続の提示のために、出力し得る。
[0194]このようにして、ビデオデコーダ３００は、ビデオデータを記憶するように構成されたメモリと、ビデオデータの変換ブロックについて、変換係数を備える複数の係数グループのうちの非０変換係数を備える少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるかどうかを決定することと、少なくとも１つのコーディングされた係数グループが変換ブロックの最低周波数領域の外側にあるかどうかの決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素を復号すべきかどうかを決定することと、マルチプル変換選択を示すシンタックス要素をコーディングすべきかどうかの決定に少なくとも部分的に基づいて、ビデオデータを復号することとを行うように構成された、回路内に実装された１つまたは複数の処理ユニットとを含む、ビデオ復号デバイスの一例を表す。
[0195]図９は、本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャートである。現在のブロックは、現在のＣＵを備え得る。ビデオエンコーダ２００（図1および図7）に関して説明されるが、他のデバイスが図９の方法と同様の方法を実行するように構成され得ることを理解されたい。
[0196]この例では、ビデオエンコーダ２００は、最初に現在のブロックを予測する（３５０）。たとえば、ビデオエンコーダ２００は、現在のブロックのための予測ブロックを形成し得る。ビデオエンコーダ２００は、次いで、現在のブロックのための残差ブロックを計算し得る（３５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、元の符号化されていないブロックと、現在のブロックのための予測ブロックとの間の差分を計算し得る。ビデオエンコーダ２００は、次いで、残差ブロックを変換し、残差ブロックの変換係数を量子化し得る（３５４）。たとえば、ビデオエンコーダ２００は、残差ブロックのためのマルチプル変換を選択し、ＭＴＳインデックスを介して選択されたマルチプル変換をシグナリングし得る。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査し得る（３５６）。走査中に、ビデオエンコーダ２００は、変換係数を備える複数の係数グループのうちの非０変換係数を備える少なくとも１つの係数グループが残差ブロックの最低周波数領域の外側にあるかどうかを決定し得る。走査中に、または走査に続いて、ビデオエンコーダ２００は、変換係数をエントロピー符号化し得る（３５８）。たとえば、ビデオエンコーダ２００は、少なくとも１つのコーディングされた係数グループが変換ユニットの最低周波数領域の外側にあるかどうかの決定に少なくとも部分的に基づいて、残差ブロックのためのマルチプル変換選択を示すシンタックス要素を符号化すべきかどうかを決定し得、マルチプル変換選択を示すシンタックス要素を符号化すべきかどうかの決定に少なくとも部分的に基づいてビデオデータを符号化し得る。ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して変換係数を符号化し得る。ビデオエンコーダ２００は、次いで、ブロックのエントロピー符号化データを出力し得る（３６０）。
[0197]図１０は、本開示の技法による、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは、現在のＣＵを備え得る。ビデオデコーダ３００（図１および図８）に関して説明されるが、他のデバイスが、図１０の方法と同様の方法を実行するように構成され得ることを理解されたい。
[0198]ビデオデコーダ３００は、エントロピー符号化された予測情報、および現在のブロックに対応する残差ブロックの変換係数のためのエントロピー符号化されたデータなどの、現在のブロックのためのエントロピー符号化されたデータを受信し得る（３７０）。ビデオデコーダ３００は、現在のブロックのための予測情報を決定するために、および残差ブロックの変換係数を再生するために、エントロピー符号化されたデータをエントロピー復号し得る（３７２）。たとえば、ビデオデコーダ３００は、変換係数を備える複数の係数グループのうちの非０変換係数を備える少なくとも１つの係数グループが残差ブロックの最低周波数領域の外にあるかどうかを決定し得、少なくとも１つのコーディングされた係数グループが変換ユニットの最低周波数領域の外にあるかどうかの決定に少なくとも部分的に基づいて、残差ブロックのためのマルチプル変換選択を示すシンタックス要素を復号すべきかどうかを決定し得る。ビデオデコーダ３００が、変換係数を備える複数の係数グループのうちの非０変換係数を備える少なくとも１つの係数グループが残差ブロックの最低周波数領域の外側にあると決定する場合、ビデオデコーダ３００は、残差ブロックのためのマルチプル変換選択を示すシンタックス要素を復号せず、代わりに、残差ブロックのためのマルチプル変換選択を示すシンタックス要素の値を推測し得る。
[0199]ビデオデコーダ３００は、現在のブロックのための予測ブロックを計算するために、たとえば、現在のブロックのための予測情報によって示されるイントラ予測またはインター予測モードを使用して、現在のブロックを予測し得る（３７４）。ビデオデコーダ３００は、次いで、量子化された変換係数のブロックを作成するために、再生された変換係数を逆走査し得る（３７６）。ビデオデコーダ３００は、次いで、変換係数を逆量子化し、残差ブロックを生成するために、ビデオデコーダ３００によって推測されたマルチプル変換の逆などの逆変換を変換係数に適用し得る。（３７８）。ビデオデコーダ３００は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在のブロックを復号し得る（３８０）。
[0200]図１１は、マルチプル変換選択をコーディングすべきかどうかを決定するための例示的な方法を示すフローチャートである。図１１に示されているように、ビデオエンコーダ２００またはビデオデコーダ３００などのビデオコーダは、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定することができ、ここにおいて、少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つである（４０２）。ビデオコーダは、少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるという決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定し得る（４０４）。ビデオコーダは、変換ブロックのためのマルチプル変換選択を示すシンタックス要素をコーディングしないという決定に少なくとも部分的に基づいて、ビデオデータをコーディングすることを決定し得る（４０６）。
[0201]いくつかの例では、非０変換係数を備える係数ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定するために、ビデオコーダは、変換係数を備える複数の係数グループのうちの係数グループについて、係数グループのためのコード化サブブロックフラグが設定されていると決定し、係数グループのためのコード化サブブロックフラグが設定されていると決定したことに応答して、係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定し、係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定したことに応答して、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定し得る。
[0202]いくつかの例では、ビデオコーダはさらに、ビデオデータの第２の変換ブロックについて、第２の変換ブロックの第２の複数の係数グループのうち、非０変換係数を備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定することと、ここにおいて、第２の複数の係数グループは各々複数の変換係数を備える、係数グループが第２の変換ブロックの最低周波数領域の外側にないという決定に少なくとも部分的に基づいて、第２の変換ブロックのためのＭＴＳを示す第２のシンタックス要素をコーディングすることを決定することと、第２の変換ブロックのためのＭＴＳを示す第２のシンタックス要素をコーディングするという決定に少なくとも部分的に基づいて、ビデオデータをコーディングすることとを行うことができる。
[0203]いくつかの例では、非０係数グループを備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定するために、ビデオコーダはさらに、第２の変換ブロックの複数の係数グループから、コード化サブブロックフラグが１つまたは複数の係数グループの各々について設定される１つまたは複数の係数グループを決定し、１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定し、１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定したことに応答して、ビデオデータの第２の変換ブロックについて、第２の変換ブロックの第２の複数の係数グループのうちの非０変換係数を備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定することができる。
[0204]いくつかの例では、変換ブロックの最低周波数領域は、変換ブロックの左上領域を備える。いくつかの例では、変換ブロックは３２×３２ブロックを備え、変換ブロックの左上領域は３２×３２ブロックの左上１６×１６領域を備え、複数の係数グループの各々は、変換ブロックに関連付けられた係数の４×４ブロックを備える。いくつかの例では、変換ブロックのためのマルチプル変換選択を示すシンタックス要素は、変換ブロックのための分離可能な変換（separable transform）を指定するＭＴＳインデックスを示す。
[0205]いくつかの例では、ビデオコーダは、ビデオエンコーダ２００を備える。シンタックス要素をコーディングしないと決定するために、ビデオエンコーダ２００は、シンタックス要素を符号化しないと決定し得、シンタックス要素をコーディングしないという決定に基づいてビデオデータをコーディングするために、ビデオエンコーダ２００は、シンタックス要素を符号化することなくビデオデータを符号化するように構成される。
[0206]いくつかの例では、ビデオコーダは、ビデオデコーダ３００を備える。シンタックス要素をコーディングしないと決定するために、ビデオデコーダ３００は、シンタックス要素を復号しないと決定するように構成される。シンタックス要素をコーディングしないという決定に基づいてビデオデータをコーディングするために、ビデオデコーダ３００は、シンタックス要素を復号することなくビデオデータを復号するように構成される。いくつかの例では、ビデオデータを復号するために、ビデオデコーダ３００は、シンタックス要素を復号しないと決定したことに応答して、シンタックス要素の値を推測するように構成される。
[0207]いくつかの例では、ビデオコーダは、復号されたビデオデータを表示するように構成されるディスプレイをさらに備える。いくつかの例では、ビデオコーダは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える。いくつかの例では、デバイスは、集積回路、マイクロプロセッサ、またはワイヤレス通信デバイスのうちの少なくとも１つを備える。
[0208]いくつかの例では、変換係数を備える複数の係数グループのうちの非０変換係数を備える少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定するために、ビデオコーダは、変換係数を備える複数の係数グループのうちの１つの係数グループについて、係数グループのためのコード化サブブロックフラグが設定されているかどうかを決定し、係数グループのためのコード化サブブロックフラグが設定されていると決定したことに応答して、係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいかどうかを決定し、係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定したことに応答して、ビデオデータの変換ブロックについて、変換係数を備える複数の係数グループのうちの非０変換係数を備える少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定し得る。
[0209]いくつかの例では、ビデオデータの変換ブロックについて、変換係数を備える複数の係数グループのうちの非０変換係数を備える少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるかどうかを決定するために、ビデオコーダは、変換係数を備える係数グループのいずれも変換ブロックの最低周波数領域の外側にないと決定し得る。いくつかの例では、少なくとも１つのコーディングされた係数グループが変換ブロックの最低周波数領域の外側にあるかどうかの決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択を示すシンタックス要素をコーディングすべきかどうかを決定するために、ビデオコーダは、変換係数を備える係数グループのいずれも変換ブロックの最低周波数領域の外側にないと決定したことに応答して、変換ブロックのためのマルチプル変換選択を示すシンタックス要素をコーディングすることを決定し得る。いくつかの例では、マルチプル変換選択を示すシンタックス要素をコーディングすべきかどうかの決定に少なくとも部分的に基づいてビデオデータをコーディングするために、ビデオコーダは、変換ブロックのためのマルチプル変換選択を示すシンタックス要素を含むビデオデータをコーディングし得る。
[0210]いくつかの例では、変換係数を備える係数グループのいずれも変換ブロックの最低周波数領域の外側にないと決定するために、ビデオコーダは、変換係数を備える複数の係数グループから、１つまたは複数の係数グループの各々についてコード化サブブロックフラグが設定されている１つまたは複数の係数グループを決定し、１つまたは複数の係数グループの各々の位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定し、１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定したことに応答して、ビデオデータの変換ブロックについて、変換係数を備える係数グループのいずれも変換ブロックの最低周波数領域の外側にないと決定し得る。
[0211]いくつかの例では、変換ブロックの最低周波数領域は、変換ブロックの左上領域を備える。いくつかの例では、変換ブロックは３２×３２ブロックを備え、変換ブロックの左上領域は３２×３２ブロックの左上１６×１６領域を備え、複数の係数グループの各々は、変換ブロックに関連付けられた係数の４×４ブロックを備える。
[0212]いくつかの例では、変換ブロックのためのマルチプル変換選択を示すシンタックス要素は、変換ブロックのための分離可能な変換を指定するＭＴＳインデックスを示す。
[0213]いくつかの例では、ビデオコーダはビデオデコーダ３００であり、ここにおいて、シンタックス要素をコーディングすべきかどうかを決定するために、ビデオデコーダ３００は、シンタックス要素を復号すべきかどうかを決定するように構成され、ビデオデータをコーディングするために、ビデオデコーダ３００は、ビデオデータを復号するように構成される。いくつかの例では、ビデオデータを復号するために、ビデオデコーダ３００は、シンタックス要素を復号しないと決定したことに応答して、シンタックス要素の値を推測し得る。
[0214]いくつかの例では、ビデオデコーダ３００は、復号されたビデオデータを表示するように構成されたディスプレイをさらに含む。いくつかの例では、ビデオデコーダ３００は、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える。いくつかの例では、ビデオデコーダ３００は、集積回路、マイクロプロセッサ、またはワイヤレス通信デバイスのうちの少なくとも１つを備える。
[0215]本開示は、以下の態様を含む。
[0216]態様１：ビデオデータをコーディングする方法は、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定することと、ここにおいて、少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり；少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるという決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定することと；変換ブロックのためのマルチプル変換選択を示すシンタックス要素をコーディングしないという決定に少なくとも部分的に基づいて、ビデオデータをコーディングすることとを含む。
[0217]態様２：非０変換係数を備える変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定することは、変換係数を備える複数の係数グループのうちの１つの係数グループについて、係数グループのためのコード化サブブロックフラグが設定されていると決定することと；係数グループのためのコード化サブブロックフラグが設定されていると決定したことに応答して、係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定することと；係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定したことに応答して、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定することとをさらに備える、態様１に記載の方法。
[0218]態様３：態様１に記載の方法は、ビデオデータの第２の変換ブロックについて、第２の変換ブロックの第２の複数の係数グループのうち、非０変換係数を備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定することと、ここにおいて、第２の複数の係数グループは各々複数の変換係数を備え；係数グループが第２の変換ブロックの最低周波数領域の外側にないという決定に少なくとも部分的に基づいて、第２の変換ブロックのためのＭＴＳを示す第２のシンタックス要素をコーディングすることを決定することと；第２の変換ブロックのためのＭＴＳを示す第２のシンタックス要素をコーディングするという決定に少なくとも部分的に基づいて、ビデオデータをコーディングすることとをさらに含む。
[0219]態様４：非０係数グループを備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定することは、第２の変換ブロックの複数の係数グループから、コード化サブブロックフラグが１つまたは複数の係数グループの各々について設定される１つまたは複数の係数グループを決定することと；１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定することと；１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定したことに応答して、ビデオデータの第２の変換ブロックについて、第２の変換ブロックの第２の複数の係数グループのうちの非０変換係数を備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定することとを備える、態様３に記載の方法。
[0220]態様５：変換ブロックの最低周波数領域は、変換ブロックの左上領域を備える、態様１から４のいずれかに記載の方法。
[0221]態様６：変換ブロックは３２×３２ブロックを備え；変換ブロックの左上領域は３２×３２ブロックの左上１６×１６領域を備え；複数の係数グループの各々は、変換ブロックに関連付けられた係数の４×４ブロックを備える、態様５に記載の方法。
[0222]態様７：変換ブロックのためのマルチプル変換選択を示すシンタックス要素は、変換ブロックのための分離可能な変換を指定するＭＴＳインデックスを示す、態様１から６のいずれかに記載の方法。
[0223]態様８：シンタックス要素をコーディングしないと決定することは、シンタックス要素を符号化しないと決定することを備え；シンタックス要素をコーディングしないという決定に基づいてビデオデータをコーディングすることは、シンタックス要素を符号化することなくビデオデータを符号化することを備える、態様１および２のいずれかに記載の方法。
[0224]態様９：シンタックス要素をコーディングしないと決定することは、シンタックス要素を復号しないと決定することを備え；シンタックス要素をコーディングしないという決定に基づいてビデオデータをコーディングすることは、シンタックス要素を復号することなくビデオデータを復号することを備える、態様１および２のいずれかに記載の方法。
[0225]態様１０：ビデオデータを復号することは、シンタックス要素を復号しないと決定したことに応答して、シンタックス要素の値を推測することをさらに備える、態様９に記載の方法。
[0226]態様１１：ビデオデータをコーディングするためのデバイスは、メモリと、回路内に実装されたプロセッサとを含み、当該プロセッサは、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定することと、ここにおいて、少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり；少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるという決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定することと；変換ブロックのためのマルチプル変換選択を示すシンタックス要素をコーディングしないという決定に少なくとも部分的に基づいて、ビデオデータをコーディングすることとを行うように構成される。
[0227]態様１２：非０変換係数を備える変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定するために、プロセッサは、変換係数を備える複数の係数グループのうちの係数グループについて、係数グループのためのコード化サブブロックフラグが設定されていると決定することと；係数グループのためのコード化サブブロックフラグが設定されていると決定したことに応答して、係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定することと；係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定したことに応答して、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定することとを行うようにさらに構成される、態様１１に記載のデバイス。
[0228]態様１３：プロセッサは、ビデオデータの第２の変換ブロックについて、第２の変換ブロックの第２の複数の係数グループのうち、非０変換係数を備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定することと、ここにおいて、第２の複数の係数グループは各々複数の変換係数を備え；係数グループが第２の変換ブロックの最低周波数領域の外側にないという決定に少なくとも部分的に基づいて、第２の変換ブロックのためのＭＴＳを示す第２のシンタックス要素をコーディングすることを決定することと；第２の変換ブロックのためのＭＴＳを示す第２のシンタックス要素をコーディングするという決定に少なくとも部分的に基づいて、ビデオデータをコーディングすることとを行うようにさらに構成される、態様１１に記載のデバイス。
[0229]態様１４：非０係数グループを備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定するために、プロセッサは、第２の変換ブロックの複数の係数グループから、コード化サブブロックフラグが１つまたは複数の係数グループの各々について設定される１つまたは複数の係数グループを決定することと；１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定することと；１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定したことに応答して、ビデオデータの第２の変換ブロックについて、第２の変換ブロックの第２の複数の係数グループのうちの非０変換係数を備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定することとを行うようにさらに構成される、態様１３に記載のデバイス。
[0230]態様１５：変換ブロックの最低周波数領域は、変換ブロックの左上領域を備える、態様１１から１４のいずれかに記載のデバイス。
[0231]態様１６：変換ブロックは３２×３２ブロックを備え；変換ブロックの左上領域は３２×３２ブロックの左上１６×１６領域を備え；複数の係数グループの各々は、変換ブロックに関連付けられた係数の４×４ブロックを備える、態様１５に記載のデバイス。
[0232]態様１７：変換ブロックのためのマルチプル変換選択を示すシンタックス要素は、変換ブロックのための分離可能な変換を指定するＭＴＳインデックスを示す、態様１１から１６のいずれかに記載のデバイス。
[0233]態様１８：デバイスは、シンタックス要素をコーディングしないと決定するためのビデオエンコーダを備え、プロセッサは、シンタックス要素を符号化しないと決定するように構成され；シンタックス要素をコーディングしないという決定に基づいてビデオデータをコーディングするために、プロセッサは、シンタックス要素を符号化することなくビデオデータを符号化するように構成される、態様１１および１２のいずれかに記載のデバイス。
[0234]態様１９：デバイスは、シンタックス要素をコーディングしないと決定するためのビデオデコーダを備え、プロセッサは、シンタックス要素を復号しないと決定するように構成され；シンタックス要素をコーディングしないという決定に基づいてビデオデータをコーディングするために、プロセッサは、シンタックス要素を復号することなくビデオデータを復号するように構成される、態様１１および１２のいずれかに記載のデバイス。
[0235]態様２０：ビデオデータを復号するために、プロセッサは、シンタックス要素を復号しないと決定したことに応答して、シンタックス要素の値を推測するように構成される、態様１９に記載のデバイス。
[0236]態様２１：復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、態様１１から２０のいずれかに記載のデバイス。
[0237]態様２２：デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、態様１１から２１のいずれかに記載のデバイス。
[0238]態様２３：集積回路、マイクロプロセッサ、またはワイヤレス通信デバイスのうちの少なくとも１つを備える、態様１１から２２のいずれかに記載のデバイス。
[0239]態様２４：データをコーディングするためのデバイスは、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定するための手段と、ここにおいて、少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり；少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるという決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定するための手段と；変換ブロックのためのマルチプル変換選択を示すシンタックス要素をコーディングしないという決定に少なくとも部分的に基づいて、ビデオデータをコーディングするための手段とを含む。
[0240]態様２５：非０変換係数を備える変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定するための手段は、変換係数を備える複数の係数グループのうちの係数グループについて、係数グループのためのコード化サブブロックフラグが設定されていると決定するための手段と；係数グループのためのコード化サブブロックフラグが設定されていると決定したことに応答して、係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定するための手段と；係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定したことに応答して、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定するための手段とをさらに備える、態様２４に記載のデバイス。
[0241]態様２６：態様２４に記載のデバイスは、ビデオデータの第２の変換ブロックについて、第２の変換ブロックの第２の複数の係数グループのうち、非０変換係数を備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定するための手段と、ここにおいて、第２の複数の係数グループは各々複数の変換係数を備え；係数グループが第２の変換ブロックの最低周波数領域の外側にないという決定に少なくとも部分的に基づいて、第２の変換ブロックのためのＭＴＳを示す第２のシンタックス要素をコーディングすることを決定するための手段と；第２の変換ブロックのためのＭＴＳを示す第２のシンタックス要素をコーディングするという決定に少なくとも部分的に基づいて、ビデオデータをコーディングするための手段とをさらに含む。
[0242]態様２７：非０係数グループを備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定するための手段は、第２の変換ブロックの複数の係数グループから、コード化サブブロックフラグが１つまたは複数の係数グループの各々について設定される１つまたは複数の係数グループを決定するための手段と；１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定するための手段と；１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定したことに応答して、ビデオデータの第２の変換ブロックについて、第２の変換ブロックの第２の複数の係数グループのうちの非０変換係数を備える係数グループが第２の変換ブロックの最低周波数領域の外側にないと決定するための手段とを備える、態様２６に記載のデバイス。
[0243]態様２８：シンタックス要素をコーディングしないと決定するための手段は、シンタックス要素を復号しないと決定するための手段を備え；シンタックス要素をコーディングしないという決定に基づいてビデオデータをコーディングするための手段は、シンタックス要素を復号することなくビデオデータを復号するための手段を備える、態様２４および２５のいずれかに記載のデバイス。
[0244]態様２９：ビデオデータを復号するための手段は、シンタックス要素を復号しないと決定したことに応答して、シンタックス要素の値を推測するための手段をさらに備える、態様２８に記載のデバイス。
[0245]態様３０：実行されたとき、１つまたは複数のプロセッサに、ビデオデータの変換ブロックについて、非０変換係数を備える変換ブロックの少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあると決定することと、ここにおいて、少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり；少なくとも１つの係数グループが変換ブロックの最低周波数領域の外側にあるという決定に少なくとも部分的に基づいて、変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定することと；変換ブロックのためのマルチプル変換選択を示すシンタックス要素をコーディングしないという決定に少なくとも部分的に基づいて、ビデオデータをコーディングすることとを行わせる命令を記憶したコンピュータ可読記憶媒体。
[0246]態様３１：ビデオデータをコーディングする方法であって、ｘ軸またはｙ軸のうちの少なくとも１つにおける最後にコーディングされた係数グループの位置を決定することと；ｘ軸またはｙ軸のうちの少なくとも１つにおける最後にコーディングされた係数グループの位置に基づいて、マルチプル変換選択（ＭＴＳ）インデックスをシグナリングすべきかどうか、またはＭＴＳインデックスを構文解析すべきかどうかを決定することと；ＭＴＳインデックスをシグナリングすべきかどうか、またはＭＴＳインデックスを構文解析すべきかどうかの決定に少なくとも部分的に基づいてビデオデータをコーディングすることとを備える、方法。
[0247]態様３２：ｘ軸またはｙ軸のうちの少なくとも１つにおける最後にコーディングされた係数グループの位置に基づいて、ＭＴＳインデックスをシグナリングすべきかどうか、またはＭＴＳインデックスを構文解析すべきかどうかを決定することは、ｘ軸またはｙ軸のうちの少なくとも１つにおける最後にコーディングされた係数グループの位置が３よりも大きいことに基づいて、ＭＴＳインデックスをシグナリングしないと決定すること、またはＭＴＳインデックスを構文解析しないと決定することをさらに備える、態様３１に記載の方法。
[0248]態様３３：ＭＴＳインデックスをシグナリングしないと決定すること、またはＭＴＳインデックスを構文解析しないと決定することは、ＭＴＳインデックスについての値を推測することをさらに備える、態様３２に記載の方法。
[0249]態様３４：ＭＴＳインデックスについての値を推測することは、ＭＴＳインデックスについての値が０であると推測することを備える、態様３１から３３のいずれかに記載の方法。
[0250]態様３５：ＭＴＸインデックスの値を推測することは、ＤＣＴ－２変換に対応するＭＴＳインデックスについての値を推測することを備える、態様３１から３４のいずれかに記載の方法。
[0251]態様３６：ｘ軸またはｙ軸のうちの少なくとも１つにおける最後にコーディングされた係数グループの位置に基づいて、ＭＴＳインデックスをシグナリングすべきかどうか、またはＭＴＳインデックスを構文解析すべきかどうかを決定することは、ｘ軸とｙ軸の両方における最後にコーディングされた係数グループの位置が３よりも大きくないことに基づいて、ＭＴＳインデックスをシグナリングすることを決定すること、および／またはＭＴＳインデックスを構文解析することを決定することをさらに備える、態様３１から３５のいずれかに記載の方法。
[0252]態様３７：ＭＴＳインデックスは、ビデオデータをコーディングするために使用されている分離可能な変換を指定する、態様３１から３６のいずれかに記載の方法。
[0253]態様３８：ＭＴＳインデックスは、ビデオデータの現在のコーディングユニット中の１つまたは複数の関連するルーマ変換ブロックの水平方向および垂直方向に沿って１つまたは複数の変換カーネルが適用されることを指定する、態様３１から３７のいずれかに記載の方法。
[0254]態様３９：コーディングすることは、復号することを備える、態様３１から３８のいずれかに記載の方法。
[0255]態様４０：コーディングすることは、符号化することを備える、態様３１から３８のいずれかに記載の方法。
[0256]態様４１：ビデオデータをコーディングするためのデバイスであって、態様３１から４０のいずれかの方法を実行するための１つまたは複数の手段を備えるデバイス。
[0257]態様４２：１つまたは複数の手段は、回路内に実装された１つまたは複数のプロセッサを備える、態様４１に記載のデバイス。
[0258]態様４３：ビデオデータを記憶するためのメモリをさらに備える、態様４１および４２のいずれかに記載のデバイス。
[0259]態様４４：復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、態様４１から４３のいずれかに記載のデバイス。
[0260]態様４５：カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、態様４１から４４のいずれかに記載のデバイス。
[0261]態様４６：ビデオデコーダを備える、態様４１から４５のいずれかに記載のデバイス。
[0262]態様４７：ビデオエンコーダを備える、態様４１から４６のいずれかに記載のデバイス。
[0263]態様４８：実行されたとき、１つまたは複数のプロセッサに、態様３０から４０のいずれかに記載の方法を実行させる命令を記憶したコンピュータ可読記憶媒体。
[0264]上記例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。さらに、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。
[0265]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的な有形コンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示において説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0266]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含むのではなく、代わりに非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書において使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。
[0267]命令は、１つまたは複数のＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、あるいは他の等価な集積回路またはディスクリート論理回路などの、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素で十分に実装され得る。
[0268]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明しているが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされ得るか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。
[0269]様々な例について説明してきた。これらおよび他の例は、次の特許請求の範囲内に入る。

Claims (30)

  1. ビデオデータをコーディングする方法であって、
    ビデオデータの変換ブロックについて、非０変換係数を備える前記変換ブロックの少なくとも１つの係数グループが前記変換ブロックの最低周波数領域の外側にあると決定することと、ここにおいて、前記少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり、
    前記少なくとも１つの係数グループが前記変換ブロックの前記最低周波数領域の外側にあるという前記決定に少なくとも部分的に基づいて、前記変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定することと、
    前記変換ブロックのための前記マルチプル変換選択を示す前記シンタックス要素をコーディングしないという前記決定に少なくとも部分的に基づいて、前記ビデオデータをコーディングすることと、
    を備える、方法。
  2. 非０変換係数を備える前記変換ブロックの少なくとも１つの係数グループが前記変換ブロックの前記最低周波数領域の外側にあると決定することは、
    変換係数を備える前記複数の係数グループのうちの１つの係数グループについて、前記係数グループのためのコード化サブブロックフラグが設定されていると決定することと、
    前記係数グループのための前記コード化サブブロックフラグが設定されていると決定したことに応答して、前記係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定することと、
    前記係数グループの前記位置が前記ｘ軸または前記ｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定したことに応答して、前記ビデオデータの前記変換ブロックについて、非０変換係数を備える前記変換ブロックの少なくとも１つの係数グループが前記変換ブロックの前記最低周波数領域の外側にあると決定することと、
    をさらに備える、請求項１に記載の方法。
  3. ビデオデータの第２の変換ブロックについて、前記第２の変換ブロックの第２の複数の係数グループのうちの、非０変換係数を備える係数グループが前記第２の変換ブロックの最低周波数領域の外側にないと決定することと、ここにおいて、前記第２の複数の係数グループは各々、複数の変換係数を備え、
    係数グループが前記第２の変換ブロックの前記最低周波数領域の外側にないという前記決定に少なくとも部分的に基づいて、前記第２の変換ブロックのための前記ＭＴＳを示す第２のシンタックス要素をコーディングすることを決定することと、
    前記第２の変換ブロックのための前記ＭＴＳを示す前記第２のシンタックス要素をコーディングするという前記決定に少なくとも部分的に基づいて前記ビデオデータをコーディングすることと、
    をさらに備える、請求項１に記載の方法。
  4. 非０係数グループを備える係数グループが前記第２の変換ブロックの前記最低周波数領域の外側にないと決定することは、
    前記第２の変換ブロックの前記複数の係数グループから、コード化サブブロックフラグが前記１つまたは複数の係数グループの各々について設定されている１つまたは複数の係数グループを決定することと、
    前記１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定することと、
    前記１つまたは複数の係数グループの各々の前記位置が前記ｘ軸と前記ｙ軸の両方において３よりも大きくないと決定したことに応答して、前記ビデオデータの前記第２の変換ブロックについて、前記第２の変換ブロックの前記第２の複数の係数グループのうちの、非０変換係数を備える係数グループが前記第２の変換ブロックの最低周波数領域の外側にないと決定することと、
    を備える、請求項３に記載の方法。
  5. 前記変換ブロックの前記最低周波数領域は、前記変換ブロックの左上領域を備える、請求項１に記載の方法。
  6. 前記変換ブロックは、３２×３２ブロックを備え、
    前記変換ブロックの前記左上領域は、前記３２×３２ブロックの左上１６×１６領域を備え、
    前記複数の係数グループの各々は、前記変換ブロックに関連付けられた係数の４×４ブロックを備える、
    請求項５に記載の方法。
  7. 前記変換ブロックのための前記マルチプル変換選択を示す前記シンタックス要素は、前記変換ブロックのための分離可能な変換を指定するＭＴＳインデックスを示す、
    請求項１に記載の方法。
  8. 前記シンタックス要素をコーディングしないと決定することは、前記シンタックス要素を符号化しないと決定することを備え、
    前記シンタックス要素をコーディングしないという前記決定に基づいて前記ビデオデータをコーディングすることは、前記シンタックス要素を符号化することなく前記ビデオデータを符号化することを備える、
    請求項１に記載の方法。
  9. 前記シンタックス要素をコーディングしないと決定することは、前記シンタックス要素を復号しないと決定することを備え、
    前記シンタックス要素をコーディングしないという前記決定に基づいて前記ビデオデータをコーディングすることは、前記シンタックス要素を復号することなく前記ビデオデータを復号することを備える、
    請求項１に記載の方法。
  10. 前記ビデオデータを復号することは、
    前記シンタックス要素を復号しないと決定したことに応答して、前記シンタックス要素の値を推測すること、
    をさらに備える、請求項９に記載の方法。
  11. ビデオデータをコーディングするためのデバイスであって、
    メモリと、
    回路内に実装されたプロセッサと、を備え、前記プロセッサは、
    ビデオデータの変換ブロックについて、非０変換係数を備える前記変換ブロックの少なくとも１つの係数グループが前記変換ブロックの最低周波数領域の外側にあると決定することと、ここにおいて、前記少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり、
    前記少なくとも１つの係数グループが前記変換ブロックの前記最低周波数領域の外側にあるという前記決定に少なくとも部分的に基づいて、前記変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定することと、
    前記変換ブロックのための前記マルチプル変換選択を示す前記シンタックス要素をコーディングしないという前記決定に少なくとも部分的に基づいて、前記ビデオデータをコーディングすることと、
    を行うように構成された、デバイス。
  12. 非０変換係数を備える前記変換ブロックの少なくとも１つの係数グループが前記変換ブロックの前記最低周波数領域の外側にあると決定するために、前記プロセッサは、
    変換係数を備える前記複数の係数グループのうちの１つの係数グループについて、前記係数グループのためのコード化サブブロックフラグが設定されていると決定することと、
    前記係数グループのための前記コード化サブブロックフラグが設定されていると決定したことに応答して、前記係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定することと、
    前記係数グループの前記位置が前記ｘ軸または前記ｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定したことに応答して、前記ビデオデータの前記変換ブロックについて、非０変換係数を備える前記変換ブロックの少なくとも１つの係数グループが前記変換ブロックの前記最低周波数領域の外側にあると決定することと、
    を行うようにさらに構成される、請求項１１に記載のデバイス。
  13. 前記プロセッサは、
    ビデオデータの第２の変換ブロックについて、前記第２の変換ブロックの第２の複数の係数グループのうちの、非０変換係数を備える係数グループが前記第２の変換ブロックの最低周波数領域の外側にないと決定することと、ここにおいて、前記第２の複数の係数グループは各々、複数の変換係数を備え、
    係数グループが前記第２の変換ブロックの前記最低周波数領域の外側にないという前記決定に少なくとも部分的に基づいて、前記第２の変換ブロックのための前記ＭＴＳを示す第２のシンタックス要素をコーディングすることを決定することと、
    前記第２の変換ブロックのための前記ＭＴＳを示す前記第２のシンタックス要素をコーディングするという前記決定に少なくとも部分的に基づいて前記ビデオデータをコーディングすることと、
    を行うようにさらに構成される、請求項１１に記載のデバイス。
  14. 非０係数グループを備える係数グループが前記第２の変換ブロックの前記最低周波数領域の外側にないと決定するために、前記プロセッサは、
    前記第２の変換ブロックの前記複数の係数グループから、コード化サブブロックフラグが前記１つまたは複数の係数グループの各々について設定されている１つまたは複数の係数グループを決定することと、
    前記１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定することと、
    前記１つまたは複数の係数グループの各々の前記位置が前記ｘ軸と前記ｙ軸の両方において３よりも大きくないと決定したことに応答して、前記ビデオデータの前記第２の変換ブロックについて、前記第２の変換ブロックの前記第２の複数の係数グループのうちの、非０変換係数を備える係数グループが前記第２の変換ブロックの最低周波数領域の外側にないと決定することと、
    を行うようにさらに構成される、請求項１３に記載のデバイス。
  15. 前記変換ブロックの前記最低周波数領域は、前記変換ブロックの左上領域を備える、請求項１１に記載のデバイス。
  16. 前記変換ブロックは、３２×３２ブロックを備え、
    前記変換ブロックの前記左上領域は、前記３２×３２ブロックの左上１６×１６領域を備え、
    前記複数の係数グループの各々は、前記変換ブロックに関連付けられた係数の４×４ブロックを備える、
    請求項１５に記載のデバイス。
  17. 前記変換ブロックのための前記マルチプル変換選択を示す前記シンタックス要素は、前記変換ブロックのための分離可能な変換を指定するＭＴＳインデックスを示す、
    請求項１１に記載のデバイス。
  18. 前記デバイスは、ビデオエンコーダを備え、
    前記シンタックス要素をコーディングしないと決定するために、前記プロセッサは、前記シンタックス要素を符号化しないと決定するように構成され、
    前記シンタックス要素をコーディングしないという前記決定に基づいて前記ビデオデータをコーディングするために、前記プロセッサは、前記シンタックス要素を符号化することなく前記ビデオデータを符号化するように構成される、
    請求項１１に記載のデバイス。
  19. 前記デバイスは、ビデオデコーダを備え、
    前記シンタックス要素をコーディングしないと決定するために、前記プロセッサは、前記シンタックス要素を復号しないと決定するように構成され、
    前記シンタックス要素をコーディングしないという前記決定に基づいて前記ビデオデータをコーディングするために、前記プロセッサは、前記シンタックス要素を復号することなく前記ビデオデータを復号するように構成される、
    請求項１１に記載のデバイス。
  20. 前記ビデオデータを復号するために、前記プロセッサは、
    前記シンタックス要素を復号しないと決定したことに応答して、前記シンタックス要素の値を推測するように構成される、請求項１９に記載のデバイス。
  21. 復号ビデオデータを表示するように構成されたディスプレイをさらに備える、請求項１１に記載のデバイス。
  22. 前記デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、請求項１１に記載のデバイス。
  23. 前記デバイスは、
    集積回路、
    マイクロプロセッサ、または
    ワイヤレス通信デバイス
    のうちの少なくとも１つを備える、請求項１１に記載のデバイス。
  24. データをコーディングするためのデバイスであって、
    ビデオデータの変換ブロックについて、非０変換係数を備える前記変換ブロックの少なくとも１つの係数グループが前記変換ブロックの最低周波数領域の外側にあると決定するための手段と、ここにおいて、前記少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり、
    前記少なくとも１つの係数グループが前記変換ブロックの前記最低周波数領域の外側にあるという前記決定に少なくとも部分的に基づいて、前記変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定するための手段と、
    前記変換ブロックのための前記マルチプル変換選択を示す前記シンタックス要素をコーディングしないという前記決定に少なくとも部分的に基づいて、前記ビデオデータをコーディングするための手段と、
    を備える、デバイス。
  25. 非０変換係数を備える前記変換ブロックの少なくとも１つの係数グループが前記変換ブロックの前記最低周波数領域の外側にあると決定するための前記手段は、
    変換係数を備える前記複数の係数グループのうちの１つの係数グループについて、前記係数グループのためのコード化サブブロックフラグが設定されていると決定するための手段と、
    前記係数グループのための前記コード化サブブロックフラグが設定されていると決定したことに応答して、前記係数グループの位置がｘ軸またはｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定するための手段と、
    前記係数グループの前記位置が前記ｘ軸または前記ｙ軸のうちの少なくとも１つにおいて３よりも大きいと決定したことに応答して、前記ビデオデータの前記変換ブロックについて、非０変換係数を備える前記変換ブロックの少なくとも１つの係数グループが前記変換ブロックの前記最低周波数領域の外側にあると決定するための手段と、
    をさらに備える、請求項２４に記載のデバイス。
  26. ビデオデータの第２の変換ブロックについて、前記第２の変換ブロックの第２の複数の係数グループのうちの、非０変換係数を備える係数グループが前記第２の変換ブロックの最低周波数領域の外側にないと決定するための手段と、ここにおいて、前記第２の複数の係数グループは各々、複数の変換係数を備え、
    係数グループが前記第２の変換ブロックの前記最低周波数領域の外側にないという前記決定に少なくとも部分的に基づいて、前記第２の変換ブロックのための前記ＭＴＳを示す第２のシンタックス要素をコーディングすることを決定するための手段と、
    前記第２の変換ブロックのための前記ＭＴＳを示す前記第２のシンタックス要素をコーディングするという前記決定に少なくとも部分的に基づいて前記ビデオデータをコーディングするための手段と、
    をさらに備える、請求項２４に記載のデバイス。
  27. 非０係数グループを備える係数グループが前記第２の変換ブロックの前記最低周波数領域の外側にないと決定するための前記手段は、
    前記第２の変換ブロックの前記複数の係数グループから、コード化サブブロックフラグが前記１つまたは複数の係数グループの各々について設定されている１つまたは複数の係数グループを決定するための手段と、
    前記１つまたは複数の係数グループの各々の位置がｘ軸とｙ軸の両方において３よりも大きくないと決定するための手段と、
    前記１つまたは複数の係数グループの各々の前記位置が前記ｘ軸と前記ｙ軸の両方において３よりも大きくないと決定したことに応答して、前記ビデオデータの前記第２の変換ブロックについて、前記第２の変換ブロックの前記第２の複数の係数グループのうちの、非０変換係数を備える係数グループが前記第２の変換ブロックの最低周波数領域の外側にないと決定するための手段と、
    を備える、請求項２６に記載のデバイス。
  28. 前記シンタックス要素をコーディングしないと決定するための前記手段は、前記シンタックス要素を復号しないと決定するための手段を備え、
    前記シンタックス要素をコーディングしないという前記決定に基づいて前記ビデオデータをコーディングするための前記手段は、前記シンタックス要素を復号することなく前記ビデオデータを復号するための手段を備える、
    請求項２４に記載のデバイス。
  29. 前記ビデオデータを復号するための前記手段は、
    前記シンタックス要素を復号しないと決定したことに応答して、前記シンタックス要素の値を推測するための手段
    をさらに備える、請求項２８に記載のデバイス。
  30. 命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されたとき、１つまたは複数のプロセッサに、
    ビデオデータの変換ブロックについて、非０変換係数を備える前記変換ブロックの少なくとも１つの係数グループが前記変換ブロックの最低周波数領域の外側にあると決定することと、ここにおいて、前記少なくとも１つの係数グループは、各々が変換係数を備える複数の係数グループのうちの１つであり、
    前記少なくとも１つの係数グループが前記変換ブロックの前記最低周波数領域の外側にあるという前記決定に少なくとも部分的に基づいて、前記変換ブロックのためのマルチプル変換選択（ＭＴＳ）を示すシンタックス要素をコーディングしないと決定することと、
    前記変換ブロックのための前記マルチプル変換選択を示す前記シンタックス要素をコーディングしないという前記決定に少なくとも部分的に基づいて、前記ビデオデータをコーディングすることと、
    を行わせる、コンピュータ可読記憶媒体。
JP2022535903A 2019-12-20 2020-12-18 ビデオコーディングにおけるマルチプル変換選択シグナリングに対する係数グループベースの制限 Pending JP2023507099A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962951975P 2019-12-20 2019-12-20
US62/951,975 2019-12-20
US17/125,159 US20210195192A1 (en) 2019-12-20 2020-12-17 Coefficient group based restriction on multiple transform selection signaling in video coding
US17/125,159 2020-12-17
PCT/US2020/065963 WO2021127402A1 (en) 2019-12-20 2020-12-18 Coefficient group based restriction on multiple transform selection signaling in video coding

Publications (1)

Publication Number Publication Date
JP2023507099A true JP2023507099A (ja) 2023-02-21

Family

ID=76438662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022535903A Pending JP2023507099A (ja) 2019-12-20 2020-12-18 ビデオコーディングにおけるマルチプル変換選択シグナリングに対する係数グループベースの制限

Country Status (11)

Country Link
US (1) US20210195192A1 (ja)
EP (1) EP4078976A1 (ja)
JP (1) JP2023507099A (ja)
KR (1) KR20220110757A (ja)
CN (1) CN114868397A (ja)
AU (1) AU2020405164A1 (ja)
BR (1) BR112022011535A2 (ja)
CA (1) CA3162707A1 (ja)
MX (1) MX2022007316A (ja)
TW (1) TW202131686A (ja)
WO (1) WO2021127402A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11785254B2 (en) * 2020-05-29 2023-10-10 Tencent America LLC Implicit mode dependent primary transforms

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10972733B2 (en) 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
CN113950829B (zh) * 2019-06-06 2025-01-10 北京字节跳动网络技术有限公司 简化的变换编解码工具

Also Published As

Publication number Publication date
EP4078976A1 (en) 2022-10-26
US20210195192A1 (en) 2021-06-24
MX2022007316A (es) 2022-07-13
BR112022011535A2 (pt) 2022-08-30
AU2020405164A1 (en) 2022-06-16
WO2021127402A1 (en) 2021-06-24
TW202131686A (zh) 2021-08-16
CN114868397A (zh) 2022-08-05
KR20220110757A (ko) 2022-08-09
CA3162707A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US11032572B2 (en) Low-frequency non-separable transform signaling based on zero-out patterns for video coding
US11206400B2 (en) Low-frequency non-separable transform (LFNST) simplifications
CN113940069A (zh) 用于视频译码中的低频不可分离变换的变换和最后有效系数位置信令
US11539982B2 (en) Merge estimation region for multi-type-tree block structure
JP2023544705A (ja) ビデオコーディング中の、ジョイント成分ニューラルネットワークベースのフィルタ処理
JP2023040020A (ja) ビデオコーディングにおける係数領域ブロック差分パルスコード変調
JP2022539316A (ja) ビデオコーディングにおける簡略化されたイントラクロマモードコーディング
US11368715B2 (en) Block-based delta pulse code modulation for video coding
US11973983B2 (en) Signaling coding scheme for residual values in transform skip for video coding
JP2023517467A (ja) ビデオ圧縮のための低複雑度適応量子化
JP2022538225A (ja) ビデオコーディングにおけるクロマデルタ量子化パラメータ
US11706425B2 (en) Multiple transform set signaling for video coding
US12184853B2 (en) Residual coding selection and low-level signaling based on quantization parameter
US20210092376A1 (en) Mode dependent block partition for lossless and mixed lossless and lossy video coding
JP2022537155A (ja) ビデオコーディングにおけるｄｃイントラモード予測
US11863752B2 (en) Most probable modes for intra prediction for video coding
US11729381B2 (en) Deblocking filter parameter signaling
JP2023507099A (ja) ビデオコーディングにおけるマルチプル変換選択シグナリングに対する係数グループベースの制限
JP2024501138A (ja) ビデオコーディングのイントラ予測のための最確モード
JP2023517429A (ja) ビデオコーディングのためのモノクロームパレットモード
WO2021061968A1 (en) Parameter set signaling for video coding
WO2020257557A1 (en) Maximum allowed block size for bdpcm mode
TWI871345B (zh) 調色板及預測模式信令發送