JP2023508368A - ビデオコーディングにおける参照ピクチャリサンプリングのためのラップアラウンドオフセット - Google Patents
ビデオコーディングにおける参照ピクチャリサンプリングのためのラップアラウンドオフセット Download PDFInfo
- Publication number
- JP2023508368A JP2023508368A JP2022538851A JP2022538851A JP2023508368A JP 2023508368 A JP2023508368 A JP 2023508368A JP 2022538851 A JP2022538851 A JP 2022538851A JP 2022538851 A JP2022538851 A JP 2022538851A JP 2023508368 A JP2023508368 A JP 2023508368A
- Authority
- JP
- Japan
- Prior art keywords
- block
- picture
- wraparound
- reference picture
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012952 Resampling Methods 0.000 title description 2
- 239000013598 vector Substances 0.000 claims abstract description 52
- 230000004044 response Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 110
- 230000015654 memory Effects 0.000 claims description 62
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 description 46
- 238000013139 quantization Methods 0.000 description 36
- 241000023320 Luma <angiosperm> Species 0.000 description 22
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 22
- 238000005192 partition Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 20
- 239000000523 sample Substances 0.000 description 19
- 238000000638 solvent extraction Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000011664 signaling Effects 0.000 description 10
- 239000011449 brick Substances 0.000 description 9
- 239000000872 buffer Substances 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 229920000069 polyphenylene sulfide Polymers 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102100026466 POU domain, class 2, transcription factor 3 Human genes 0.000 description 1
- 101710084413 POU domain, class 2, transcription factor 3 Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Color Television Systems (AREA)
Abstract
ビデオデコーダは、ビデオデータのピクチャパラメータセット(PPS)データ構造からラップアラウンドオフセットの値を取得することと、ビデオデータのブロックがインター予測モードで符号化されると判定したことに応じて、ビデオデータのブロックについての動きベクトルおよびビデオデータのブロックについての参照ピクチャを決定することと、ラップアラウンドオフセットの値に基づいて参照ピクチャにおける水平ラップアラウンド位置を決定することと、水平ラップアラウンド位置に基づいてビデオデータのブロックについての予測ブロックを決定することとを行うように構成することができる。
Description
本出願は、2019年12月27日に出願された米国仮特許出願第62/954,341号の利益を主張する、2020年12月22日に出願された米国出願第17/131,192号の優先権を主張し、これらの出願の各々の内容全体は、参照により本明細書に組み込まれる。
本開示は、ビデオ符号化およびビデオ復号に関する。
デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれる場合がある。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10アドバンストビデオコーディング(AVC)、ITU-T H.265/高効率ビデオコーディング(HEVC)によって定義された規格、およびそのような規格の拡張に記載されている技法などの、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶する場合がある。
ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間(ピクチャ内)予測および/または時間(ピクチャ間)予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス(たとえば、ビデオピクチャ、またはビデオピクチャの一部分)は、ビデオブロックに区分されてもよく、ビデオブロックは、コーディングツリーユニット(CTU)、コーディングユニット(CU)、および/またはコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされた(I)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックの中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックの中の参照サンプルに対する空間的予測または他の参照ピクチャの中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
Brossらの「Versatile Video Coding(Draft 7)」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のJoint Video Experts Team(JVET)、第16回会議:ジュネーブ、スイス、2019年10月11日、JVET-P2001-v14
本開示の技法は、インター予測に関し、より詳細には、水平ラップアラウンド動き補償を利用するインター予測に関する。360度ビデオなどのいくつかの種類のビデオでは、参照ピクチャはピクチャの左右の境界にパディング後領域を含むことがある。パディング後領域同士は同じであり、したがって、ピクチャの右側から左側に遷移する際、逆に左側から右側に遷移する際に視覚アーティファクトが低減する。いくつかのコーディングシナリオでは、予測されるブロックについての動きベクトルが参照ピクチャの境界の外側を指し示すことがある。たとえば、動きベクトルは、参照ピクチャの左端の境界の左側にあるサンプルを指し示すことがある。しかし、それにもかかわらず、そのような例において、ビデオデコーダは、参照の逆半分、たとえば、動きベクトルが参照ピクチャの左端境界の左側を指し示す場合は参照ピクチャの右側部分における水平ラップアラウンド位置を算出することによって動きベクトルに基づいて予測ブロックを決定することができる。以下にさらに詳しく説明するように、水平ラップアラウンド位置を決定するために、ビデオデコーダはビットストリームにおけるラップアラウンドオフセットの値を受信する。しかし、いくつかのコーディングシナリオにおいて、参照ピクチャは、参照ピクチャリサンプリング(RPR)に起因してコーディングされるピクチャとは異なるサイズまたは解像度を有し、それによって、水平ラップアラウンド動き補償の既存の実装形態では、ラップアラウンドオフセットが生じ、ビデオデコーダは参照ピクチャにおける誤った予測ブロックを特定する。
本開示の技法は、有利には、ビデオコーディングシステムが、ラップアラウンドオフセットを生じさせ、ビデオデコーダが参照ピクチャにおける誤った予測ブロックを特定することのないように、RPRを水平ラップアラウンド動き補償とともに利用するのを可能にする。具体的には、ビデオデータのPPSデータ構造からラップアラウンドオフセットの値を取得することによって、本開示の技法に従って構成されたビデオデコーダは、ビデオデコーダがリサンプリングされた参照ピクチャにおける誤った予測ブロックを特定することに起因して予測エラーを生じさせることなくRPRと水平ラップアラウンド動き補償を同時にサポートすることができる場合がある。
一例では、ビデオデータを復号する方法は、ビデオデータの現在のピクチャについてのピクチャパラメータセット(PPS)データ構造からラップアラウンドオフセットの値を取得するステップと、現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、ブロックについての動きベクトルおよびブロックについての参照ピクチャを決定するステップと、ラップアラウンドオフセットの値に基づいて参照ピクチャにおける水平ラップアラウンド位置を決定するステップと、水平ラップアラウンド位置に基づいてブロックについての予測ブロックを決定するステップとを含む。
別の例では、ビデオデータを復号するためのデバイスは、ビデオデータを記憶するように構成されたメモリと、回路に実装された1つまたは複数のプロセッサであって、ビデオデータの現在のピクチャについてのピクチャパラメータセット(PPS)データ構造からラップアラウンドオフセットの値を取得することと、現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、ブロックについての動きベクトルおよびブロックについての参照ピクチャを決定することであって、ブロックがPPSデータ構造を参照するスライスに属する、参照ピクチャを決定することと、ラップアラウンドオフセットの値に基づいて参照ピクチャにおける水平ラップアラウンド位置を決定することと、水平ラップアラウンド位置に基づいてブロックについての予測ブロックを決定することとを行うように構成された1つまたは複数のプロセッサとを含む。
別の例では、コンピュータ可読記憶媒体は、1つまたは複数のプロセッサによって実行されたときに、1つまたは複数のプロセッサに、ビデオデータの現在のピクチャについてのピクチャパラメータセット(PPS)データ構造からラップアラウンドオフセットの値を取得することと、現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、ブロックについての動きベクトルおよびブロックについての参照ピクチャを決定することであって、ブロックがPPSデータ構造を参照するスライスに属する、参照ピクチャを決定することと、ラップアラウンドオフセットの値に基づいて参照ピクチャにおける水平ラップアラウンド位置を決定することと、水平ラップアラウンド位置に基づいてブロックについての予測ブロックを決定することとを行わせる命令を記憶する。
別の例では、ビデオデータを復号するためのデバイスは、ビデオデータの現在のピクチャについてのピクチャパラメータセット(PPS)データ構造からラップアラウンドオフセットの値を取得するための手段と、現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、ブロックについての動きベクトルおよびブロックについての参照ピクチャを決定するための手段と、ラップアラウンドオフセットの値に基づいて参照ピクチャにおける水平ラップアラウンド位置を決定するための手段と、水平ラップアラウンド位置に基づいてブロックについての予測ブロックを決定するための手段とを含む。
別の例では、ビデオデータを符号化するための方法は、ラップアラウンドオフセットの値を決定するステップと、現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、ブロックについての動きベクトルおよびブロックについての参照ピクチャを決定するステップであって、ブロックが、PPSデータ構造を参照するスライスに属する、ステップと、ラップアラウンドオフセットの値に基づいて参照ピクチャにおける水平ラップアラウンド位置を決定するステップと、水平ラップアラウンド位置に基づいてブロックについての予測ブロックを決定するステップと、ビデオデータの現在のピクチャについてのピクチャパラメータセット(PPS)データ構造にラップアラウンドオフセットの値を含めるステップと、PPSデータ構造を含む符号化済みビデオデータのビットストリームを出力するステップとを含む。
別の例では、ビデオデータを符号化するためのデバイスは、ビデオデータを記憶するように構成されたメモリと、回路に実装された1つまたは複数のプロセッサであって、ラップアラウンドオフセットの値を決定することと、現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、ブロックについての動きベクトルおよびブロックについての参照ピクチャを決定することと、ラップアラウンドオフセットの値に基づいて参照ピクチャにおける水平ラップアラウンド位置を決定することと、水平ラップアラウンド位置に基づいてブロックについての予測ブロックを決定することと、ビデオデータの現在のピクチャについてのピクチャパラメータセット(PPS)データ構造にラップアラウンドオフセットの値を含めることと、PPSデータ構造を含む符号化済みビデオデータのビットストリームを出力することとを行うように構成された1つまたは複数のプロセッサとを含む。
別の例では、コンピュータ可読記憶媒体は、1つまたは複数のプロセッサによって実行されたときに、1つまたは複数のプロセッサに、ビデオデータを符号化するための方法は、ラップアラウンドオフセットの値を決定することと、現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、ブロックについての動きベクトルおよびブロックについての参照ピクチャを決定することと、ラップアラウンドオフセットの値に基づいて参照ピクチャにおける水平ラップアラウンド位置を決定することと、水平ラップアラウンド位置に基づいてブロックについての予測ブロックを決定することと、ビデオデータの現在のピクチャについてのピクチャパラメータセット(PPS)データ構造にラップアラウンドオフセットの値を含めることと、PPSデータ構造を含む符号化済みビデオデータのビットストリームを出力することとを行わせる命令を記憶する。
別の例では、ビデオデータを符号化するためのデバイスは、ラップアラウンドオフセットの値を決定するための手段と、現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、ブロックについての動きベクトルおよびブロックについての参照ピクチャを決定するための手段であって、ブロックが、PPSデータ構造を参照するスライスに属する手段と、ラップアラウンドオフセットの値に基づいて参照ピクチャにおける水平ラップアラウンド位置を決定するための手段と、水平ラップアラウンド位置に基づいてブロックについての予測ブロックを決定するための手段と、ビデオデータの現在のピクチャについてのピクチャパラメータセット(PPS)データ構造にラップアラウンドオフセットの値を含めるための手段と、PPSデータ構造を含む符号化済みビデオデータのビットストリームを出力するための手段とを含む。
1つまたは複数の例の詳細が、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
ビデオコーディング(たとえば、ビデオ符号化および/またはビデオ復号)は、通常、同じピクチャの中のビデオデータのすでにコーディングされたブロック(たとえば、イントラ予測)または異なるピクチャの中のビデオデータのすでにコーディングされたブロック(たとえば、インター予測)のいずれかから、ビデオデータのブロックを予測することを伴う。いくつかの事例では、ビデオエンコーダはまた、予測ブロックを元のブロックと比較することによって残差データを計算する。したがって、残差データは、予測ブロックと元のブロックとの間の差を表す。残差データをシグナリングするために必要とされるビットの数を低減するために、ビデオエンコーダは、残差データを変換して量子化し、変換され量子化された残差データを符号化済みビットストリームにおいてシグナリングする。変換プロセスおよび量子化プロセスによって達成される圧縮は不可逆であることがあり、これは変換プロセスおよび量子化プロセスが復号済みビデオデータにひずみをもたらし得ることを意味する。
ビデオデコーダは、残差データを復号し予測ブロックに加算して、予測ブロック単独よりも元のビデオブロックとよく一致する再構成されたビデオブロックを生成する。残差データの変換および量子化によってもたらされる損失により、最初の再構成されたブロックはひずみまたはアーティファクトを有することがある。1つのよくあるタイプのアーティファクトまたはひずみはブロッキネスと呼ばれ、この場合、ビデオデータをコーディングするために使用されるブロックの境界が見える。
復号済みビデオの品質をさらに改善するために、ビデオデコーダは、再構成されたビデオブロックに対して1つまたは複数のフィルタリング動作を実施することができる。これらのフィルタリング動作の例は、デブロッキングフィルタリング、サンプル適応オフセット(SAO)フィルタリング、および適応ループフィルタリング(ALF)を含む。これらのフィルタリング動作のためのパラメータは、ビデオエンコーダによって決定され、符号化済みビデオビットストリームにおいて明示的にシグナリングされ得るか、またはパラメータが符号化済みビデオビットストリームにおいて明示的にシグナリングされる必要なしに、ビデオデコーダによって暗黙的に決定され得るかのいずれかである。
本開示の技法は、インター予測に関し、より詳細には、水平ラップアラウンド動き補償を利用するインター予測に関する。360度ビデオなどのいくつかの種類のビデオでは、参照ピクチャはピクチャの左右の境界にパディング後領域を含むことがある。パディング後領域同士は同じであり、したがって、ピクチャの右側から左側に遷移する際、逆に左側から右側に遷移する際に視覚アーティファクトが低減する。いくつかのコーディングシナリオにおいて、予測されるブロックについての動きベクトルは、参照ピクチャの左端の境界の外側のサンプルを指し示すことがある。たとえば、動きベクトルは、参照ピクチャの左端の境界の左側に位置するサンプルを指し示すことがある。他のコーディングシナリオにおいて、動きベクトルは、参照ピクチャの境界の内側に位置するが、参照ピクチャの境界の外側のサンプルを使用する補間演算を使用して決定された補間されたサンプルを指し示すことがある。しかし、それにもかかわらず、そのような例において、ビデオデコーダは、参照の逆半分、たとえば、動きベクトルが参照ピクチャの左端境界の左側を指し示す場合は参照ピクチャの右側部分における水平ラップアラウンド位置を算出することによって動きベクトルに基づいて予測ブロックを決定することができる。以下にさらに詳しく説明するように、水平ラップアラウンド位置を決定するために、ビデオデコーダはビットストリームにおけるラップアラウンドオフセットの値を受信する。しかし、いくつかのコーディングシナリオにおいて、参照ピクチャは、RPRに起因してコーディングされるピクチャとは異なるサイズまたは解像度を有することがあり、それによって、水平ラップアラウンド動き補償の既存の実装形態では、ラップアラウンドオフセットが生じ、ビデオデコーダが参照ピクチャにおける誤った予測ブロックを特定することがある。
本開示の技法は、有利には、ビデオコーディングシステムが、ラップアラウンドオフセットを生じさせ、ビデオデコーダが参照ピクチャにおける誤った予測ブロックを特定することのないように、RPRを水平ラップアラウンド動き補償とともに利用するのを可能にする。具体的には、ビデオデータのピクチャパラメータセット(PPS)データ構造からラップアラウンドオフセットの値を取得することによって、本開示の技法に従って構成されたビデオデコーダは、ビデオデコーダがリサンプリングされた参照ピクチャにおける誤った予測ブロックを特定することに起因して予測エラーを生じさせることなくRPRと水平ラップアラウンド動き補償を同時にサポートすることができる場合がある。
図1は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム100を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディング(符号化および/または復号)することを対象とする。一般に、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、未加工の符号化されていないビデオ、符号化済みビデオ、復号済み(たとえば、再構成された)ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。
図1に示すように、システム100は、この例では、復号され、宛先デバイス116によって表示されるべき符号化済みビデオデータを提供するソースデバイス102を含む。具体的には、ソースデバイス102は、コンピュータ可読媒体110を介して宛先デバイス116にビデオデータを提供する。ソースデバイス102および宛先デバイス116は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。場合によっては、ソースデバイス102および宛先デバイス116は、ワイヤレス通信用に装備されることがあり、したがって、ワイヤレス通信デバイスと呼ばれることがある。
図1の例では、ソースデバイス102は、ビデオソース104、メモリ106、ビデオエンコーダ200、および出力インターフェース108を含む。宛先デバイス116は、入力インターフェース122、ビデオデコーダ300、メモリ120、およびディスプレイデバイス118を含む。本開示によれば、ソースデバイス102のビデオエンコーダ200および宛先デバイス116のビデオデコーダ300は、ラップアラウンドオフセットをシグナリングし処理するための技法を適用するように構成されてもよい。したがって、ソースデバイス102はビデオ符号化デバイスの例を表し、宛先デバイス116はビデオ復号デバイスの例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配置を含み得る。たとえば、ソースデバイス102は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス116は、統合されたディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースしてもよい。
図1に示すようなシステム100は一例にすぎない。一般に、任意のデジタルビデオ符号化および/または復号デバイスが、ラップアラウンドオフセットをシグナリングし処理するための技法を実施してもよい。ソースデバイス102および宛先デバイス116は、ソースデバイス102が宛先デバイス116への送信のためにコーディング済みビデオデータを生成するような、コーディングデバイスの例にすぎない。本開示は、データのコーディング(符号化および/または復号)を実施するデバイスとして、「コーディング」デバイスに言及する。したがって、ビデオエンコーダ200およびビデオデコーダ300は、コーディングデバイス、具体的には、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス102および宛先デバイス116は、ソースデバイス102および宛先デバイス116の各々がビデオ符号化および復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム100は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ソースデバイス102と宛先デバイス116との間の一方向または双方向のビデオ送信をサポートし得る。
一般に、ビデオソース104は、ビデオデータのソース(すなわち、未加工の符号化されていないビデオデータ)を表し、ビデオデータの逐次的な一連のピクチャ(「フレーム」とも呼ばれる)をビデオエンコーダ200に提供し、ビデオエンコーダ200はピクチャのためのデータを符号化する。ソースデバイス102のビデオソース104は、ビデオカメラ、以前にキャプチャされた未加工ビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース104は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブされたビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ200は、キャプチャされた、事前にキャプチャされた、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ200は、受信された順序(「表示順序」と呼ばれることがある)からコーディング用のコーディング順序にピクチャを並べ替え得る。ビデオエンコーダ200は、符号化済みビデオデータを含むビットストリームを生成し得る。次いで、ソースデバイス102は、たとえば、宛先デバイス116の入力インターフェース122による受信および/または取出しのために、符号化済みビデオデータを、出力インターフェース108を介してコンピュータ可読媒体110上に出力し得る。
ソースデバイス102のメモリ106および宛先デバイス116のメモリ120は、汎用メモリを表す。いくつかの例では、メモリ106、120は、未加工ビデオデータ、たとえば、ビデオソース104からの未加工ビデオと、ビデオデコーダ300からの未加工の復号済みビデオデータとを記憶してもよい。追加または代替として、メモリ106、120は、たとえば、それぞれ、ビデオエンコーダ200およびビデオデコーダ300によって実行可能なソフトウェア命令を記憶し得る。メモリ106およびメモリ120は、この例ではビデオエンコーダ200およびビデオデコーダ300とは別々に示されているが、ビデオエンコーダ200およびビデオデコーダ300は、機能的に同様のまたは等価な目的で内部メモリも含み得ることを理解されたい。さらに、メモリ106、120は、たとえばビデオエンコーダ200から出力されビデオデコーダ300へと入力される、符号化済みビデオデータを記憶し得る。いくつかの例では、メモリ106、120の一部は、たとえば未加工の、復号済み、および/または符号化済みビデオデータを記憶するために、1つまたは複数のビデオバッファとして割り振られ得る。
コンピュータ可読媒体110は、符号化済みビデオデータをソースデバイス102から宛先デバイス116にトランスポートすることが可能な任意のタイプの媒体またはデバイスを表してもよい。一例では、コンピュータ可読媒体110は、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、ソースデバイス102が符号化済みビデオデータを宛先デバイス116にリアルタイムで直接送信することを可能にする通信媒体を表す。ワイヤレス通信プロトコルなどの通信規格に従って、出力インターフェース108が、符号化済みビデオデータを含む送信信号を変調してよく、入力インターフェース122が、受信された送信信号を復調してよい。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどのパケットベースネットワークの一部を形成してもよい。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス102から宛先デバイス116への通信を容易にするために有用であり得る任意の他の機器を含んでもよい。
いくつかの例では、ソースデバイス102は、符号化済みデータを出力インターフェース108から記憶デバイス112に出力してもよい。同様に、宛先デバイス116は、入力インターフェース122を介して、記憶デバイス112からの符号化済みデータにアクセスし得る。記憶デバイス112は、ハードドライブ、ブルーレイディスク、DVD、CD-ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化済みビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散型またはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。
いくつかの例では、ソースデバイス102は、ソースデバイス102によって生成された符号化済みビデオを記憶し得るファイルサーバ114または別の中間記憶デバイスに、符号化済みビデオデータを出力してもよい。宛先デバイス116は、ストリーミングまたはダウンロードを介して、ファイルサーバ114からの記憶されたビデオデータにアクセスし得る。ファイルサーバ114は、符号化済みビデオデータを記憶し、その符号化済みビデオデータを宛先デバイス116に送信することが可能な任意のタイプのサーバデバイスであってもよい。ファイルサーバ114は、ウェブサーバ(たとえば、ウェブサイトのための)、ファイル転送プロトコル(FTP)サーバ、コンテンツ配信ネットワークデバイス、またはネットワーク接続ストレージ(NAS)デバイスを表し得る。宛先デバイス116は、インターネット接続を含む任意の標準的なデータ接続を通して、ファイルサーバ114からの符号化済みビデオデータにアクセスしてもよい。これは、ワイヤレスチャネル(たとえば、Wi-Fi接続)、ワイヤード接続(たとえば、デジタル加入者回線(DSL)、ケーブルモデムなど)、またはファイルサーバ114上に記憶された符号化済みビデオデータにアクセスするのに適した両方の組合せを含み得る。ファイルサーバ114および入力インターフェース122は、ストリーミング送信プロトコル、ダウンロード送信プロトコル、またはそれらの組合せに従って動作するように構成され得る。
出力インターフェース108および入力インターフェース122は、ワイヤレス送信機/受信機、モデム、ワイヤードネットワーキング構成要素(たとえば、イーサネットカード)、種々のIEEE 802.11規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理構成要素を表してもよい。出力インターフェース108および入力インターフェース122がワイヤレス構成要素を備える例では、出力インターフェース108および入力インターフェース122は、4G、4G-LTE(ロングタームエボリューション)、LTEアドバンスト、5Gなどのセルラー通信規格に従って、符号化済みビデオデータなどのデータを転送するように構成され得る。出力インターフェース108がワイヤレス送信機を備えるいくつかの例では、出力インターフェース108および入力インターフェース122は、IEEE 802.11仕様、IEEE 802.15仕様(たとえば、ZigBee(商標))、Bluetooth(商標)規格などの他のワイヤレス規格に従った、符号化済みビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス102および/または宛先デバイス116は、それぞれのシステムオンチップ(SoC)デバイスを含み得る。たとえば、ソースデバイス102は、ビデオエンコーダ200および/または出力インターフェース108に起因する機能性を実施するためのSoCデバイスを含むことができ、宛先デバイス116は、ビデオデコーダ300および/または入力インターフェース122に起因する機能性を実施するためのSoCデバイスを含んでもよい。
本開示の技法は、オーバージエアテレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用されてもよい。
宛先デバイス116の入力インターフェース122は、コンピュータ可読媒体110(たとえば、通信媒体、記憶デバイス112、ファイルサーバ114など)から、符号化済みビデオビットストリームを受信する。符号化済みビデオビットストリームは、ビデオブロックまたは他のコーディング済みユニット(たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど)の特性および/または処理を記述する値を有するシンタックス要素などの、ビデオデコーダ300によっても使用されるビデオエンコーダ200によって定義されるシグナリング情報を含み得る。ディスプレイデバイス118は、復号済みビデオデータの復号済みピクチャをユーザに表示する。ディスプレイデバイス118は、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなどの、様々なディスプレイデバイスのいずれかを表してもよい。
図1には示されていないが、いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は各々、オーディオエンコーダおよび/またはオーディオデコーダと統合されることがあり、共通のデータストリーム中のオーディオとビデオの両方を含む多重化されたストリームを処理するために、適切なMUX-DEMUXユニット、または他のハードウェアおよび/もしくはソフトウェアを含んでもよい。適用可能な場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
ビデオエンコーダ200およびビデオデコーダ300は各々、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な適切なエンコーダおよび/またはデコーダ回路構成のいずれかとして実装されてもよい。技法が部分的にソフトウェアにおいて実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェア用の命令を記憶し、本開示の技法を実施するために1つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオエンコーダ200およびビデオデコーダ300の各々は、1つまたは複数のエンコーダまたはデコーダに含まれもてよく、それらのいずれも、それぞれのデバイスの中で複合エンコーダ/デコーダ(コーデック)の一部として統合されてもよい。ビデオエンコーダ200および/またはビデオデコーダ300を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備えてもよい。
ビデオエンコーダ200およびビデオデコーダ300は、高効率ビデオコーディング(HEVC)とも呼ばれるITU-T H.265などのビデオコーディング規格、またはマルチビューおよび/もしくはスケーラブルビデオコーディング拡張などのその拡張に従って動作してもよい。代替として、ビデオエンコーダ200およびビデオデコーダ300は、多用途ビデオコーディング(VVC)とも呼ばれる共同探索テストモデル(JEM)またはITU-T H.266などの、他のプロプライエタリ規格または業界規格に従って動作し得る。VVC規格の最近の草案は、Brossらの「Versatile Video Coding(Draft 7)」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のJoint Video Experts Team(JVET)、第16回会議:ジュネーブ、スイス、2019年10月11日、JVET-P2001-v14(以下では「VVC Draft 7」)に記載されている。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
一般に、ビデオエンコーダ200およびビデオデコーダ300は、ピクチャのブロックベースのコーディングを実施してもよい。「ブロック」という用語は、一般に、処理される(たとえば、符号化および/または復号プロセスにおいて符号化される、復号される、または他の方法で使用される)べきデータを含む構造を指す。たとえば、ブロックは、ルミナンスおよび/またはクロミナンスデータのサンプルの2次元行列を含んでもよい。一般に、ビデオエンコーダ200およびビデオデコーダ300は、YUV(たとえば、Y、Cb、Cr)フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのための赤、緑、および青(RGB)データをコーディングするのではなく、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分およびクロミナンス成分をコーディングしてもよく、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含んでもよい。いくつかの例では、ビデオエンコーダ200が、符号化に先立って、受信されたRGBフォーマットされたデータをYUV表現にコンバートし、ビデオデコーダ300が、YUV表現をRGBフォーマットにコンバートする。代替として、前処理ユニットおよび後処理ユニット(図示せず)が、これらのコンバージョンを実施してもよい。
本開示は、一般に、ピクチャのデータを符号化または復号するプロセスを含めるように、ピクチャのコーディング(たとえば、符号化および復号)に言及することがある。同様に、本開示は、ブロックのためのデータを符号化または復号するプロセスを含めるように、ピクチャのブロックのコーディング、たとえば、予測および/または残差コーディングに言及することがある。符号化済みビデオビットストリームは、一般に、コーディング決定(たとえば、コーディングモード)およびブロックへのピクチャの区分を表すシンタックス要素のための一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、一般に、ピクチャまたはブロックを形成するシンタックス要素のためのコーディング値として理解されるべきである。
HEVCは、コーディングユニット(CU)、予測ユニット(PU)、および変換ユニット(TU)を含む、様々なブロックを定義する。HEVCによると、(ビデオエンコーダ200などの)ビデオコーダは、4分木構造に従ってコーディングツリーユニット(CTU)をCUに区分する。すなわち、ビデオコーダは、CTUおよびCUを4個の等しい重複しない正方形に区分し、4分木の各ノードは、0個または4個のいずれかの子ノードを有する。子ノードがないノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのCUは、1つもしくは複数のPUおよび/または1つもしくは複数のTUを含み得る。ビデオコーダはPUおよびTUをさらに区分し得る。たとえば、HEVCでは、残差4分木(RQT)はTUの区分を表す。HEVCでは、PUはインター予測データを表し、TUは残差データを表す。イントラ予測されるCUは、イントラモード指示などのイントラ予測情報を含む。
別の例として、ビデオエンコーダ200およびビデオデコーダ300は、JEMまたはVVCに従って動作するように構成され得る。JEMまたはVVCによると、(ビデオエンコーダ200などの)ビデオコーダは、ピクチャを複数のコーディングツリーユニット(CTU)に区分する。ビデオエンコーダ200は、4分木2分木(QTBT)構造またはマルチタイプツリー(MTT)構造などのツリー構造に従ってCTUを区分し得る。QTBT構造は、HEVCのCU、PU、およびTUの間の区別など、複数の区分タイプの概念を排除する。QTBT構造は、2つのレベル、すなわち、4分木区分に従って区分された第1のレベルおよび2分木区分に従って区分された第2のレベルを含む。QTBT構造のルートノードはCTUに対応する。2分木のリーフノードはコーディングユニット(CU)に対応する。
MTT区分構造では、ブロックは四分木(QT)区分、二分木(BT)区分、および1つまたは複数のタイプの三分木(triple tree)(TT)(三分木(ternary tree)(TT)とも呼ばれる)区分を使用して区分され得る。三分木(triple tree)または三分木(ternary tree)区分は、ブロックが3つのサブブロックに分割される区分である。いくつかの例では、三分木(triple tree)または三分木(ternary tree)区分は、中心を通って元のブロックを分割することなく、ブロックを3つのサブブロックへと分割する。MTTにおける区分タイプ(たとえば、QT、BT、およびTT)は、対称的であっても、または非対称であってもよい。
いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分およびクロミナンス成分の各々を表すために単一のQTBTまたはMTT構造を使用してもよいが、他の例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分のための1つのQTBT/MTT構造および両方のクロミナンス成分のための別のQTBT/MTT構造(またはそれぞれのクロミナンス成分のための2つのQTBT/MTT構造)などの、2つ以上のQTBTまたはMTT構造を使用してもよい。
ビデオエンコーダ200およびビデオデコーダ300は、HEVCごとの4分木区分、QTBT区分、MTT区分、または他の区分構造を使用するように構成されてもよい。説明のために、本開示の技法の記載はQTBT区分に関して提示される。しかしながら、本開示の技法はまた、4分木区分、または他のタイプの区分も使用するように構成されたビデオコーダに適用され得ることを理解されたい。
ブロック(たとえば、CTUまたはCU)は、ピクチャにおいて様々な方法でグループ化され得る。一例として、ブリックは、ピクチャの中の特定のタイル内のCTU行の長方形領域を指し得る。タイルは、ピクチャにおける特定のタイル列および特定のタイル行の中のCTUの長方形領域であり得る。タイル列は、ピクチャの高さに等しい高さおよび(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される幅を有する、CTUの長方形領域を指す。タイル行は、(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される高さおよびピクチャの幅に等しい幅を有する、CTUの長方形領域を指す。
いくつかの例では、タイルは複数のブリックへと区分されてもよく、ブリックの各々はタイル内の1つまたは複数のCTU行を含んでもよい。複数のブリックへと区分されないタイルは、ブリックとも呼ばれ得る。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。
ピクチャの中のブリックは、スライスにおいても並べられ得る。スライスは、単一のネットワーク抽象化レイヤ(NAL)ユニットに独占的に含まれ得る、整数個のピクチャのブリックであり得る。いくつかの例では、スライスは、ある数の完全なタイル、または、1つのタイルの完全なブリックの連続的なシーケンスのみの、いずれかを含む。
本開示は、垂直次元および水平次元に換算して(CUまたは他のビデオブロックなどの)ブロックのサンプル次元を指すために、互換的に「N×N」および「NかけるN」、たとえば、16×16サンプルまたは16かける16サンプルを使用してもよい。一般に、16×16 CUは、垂直方向に16個のサンプル(y=16)および水平方向に16個のサンプル(x=16)を有する。同様に、N×N CUは、一般に、垂直方向にN個のサンプルおよび水平方向にN個のサンプルを有し、ここで、Nは負ではない整数値を表す。CU中のサンプルは、行および列に配置され得る。さらに、CUは、必ずしも水平方向に垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、CUはN×Mサンプルを備えてもよく、ここで、Mは必ずしもNに等しいとは限らない。
ビデオエンコーダ200は、予測および/または残差情報、ならびに他の情報を表すCUのためのビデオデータを符号化する。予測情報は、CUのための予測ブロックを形成するためにCUがどのように予測されることになるかを示す。残差情報は、一般に、符号化に先立つCUのサンプルと予測ブロックのサンプルとの間のサンプルごとの差分を表す。
CUを予測するために、ビデオエンコーダ200は、一般に、インター予測またはイントラ予測を通してCUのための予測ブロックを形成してもよい。インター予測は、一般に、以前にコーディングされたピクチャのデータからCUを予測することを指すが、イントラ予測は、一般に、同じピクチャの以前にコーディングされたデータからCUを予測することを指す。インター予測を実施するために、ビデオエンコーダ200は、1つまたは複数の動きベクトルを使用して予測ブロックを生成してもよい。ビデオエンコーダ200は、一般に、たとえば、CUと参照ブロックとの間の差分に関してCUと厳密に一致する参照ブロックを識別するために、動き探索を実施し得る。ビデオエンコーダ200は、参照ブロックが現在のCUと厳密に一致するかどうかを判断するために、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)、または他のそのような差分算出を使用して差分メトリックを算出し得る。いくつかの例では、ビデオエンコーダ200は、単方向予測または双方向予測を使用して現在のCUを予測し得る。
JEMおよびVVCのいくつかの例は、インター予測モードと見なされ得るアフィン動き補償モードも提供する。アフィン動き補償モードでは、ビデオエンコーダ200は、ズームインもしくはズームアウト、回転、遠近運動、または他の不規則な運動タイプなどの、非並進運動を表す2つ以上の動きベクトルを判断してもよい。
イントラ予測を実施するために、ビデオエンコーダ200は、イントラ予測モードを選択して予測ブロックを生成してもよい。JEMおよびVVCのいくつかの例は、様々な方向モードを含む67個のイントラ予測モード、ならびに平面モードおよびDCモードを提供する。一般に、ビデオエンコーダ200は、そこから現在のブロックのサンプルを予測するための現在のブロック(たとえば、CUのブロック)に対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、一般に、ビデオエンコーダ200がラスタ走査順序で(左から右に、上から下に)CTUおよびCUをコーディングすると仮定すると、現在のブロックと同じピクチャ中の現在のブロックの上方、上方および左側、または左側にあり得る。
ビデオエンコーダ200は、現在のブロックのための予測モードを表すデータを符号化する。たとえば、インター予測モードの場合、ビデオエンコーダ200は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードについての動き情報を表すデータを符号化してもよい。単方向または双方向インター予測の場合、たとえば、ビデオエンコーダ200は、高度動きベクトル予測(AMVP)またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ200は、アフィン動き補償モードのための動きベクトルを符号化するために類似のモードを使用し得る。
ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ200はブロックのための残差データを算出してもよい。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成されたそのブロックのための予測ブロックとの間のサンプルごとの差分を表す。ビデオエンコーダ200は、サンプルドメインではなく変換ドメインにおいて変換データを生成するために、1つまたは複数の変換を残差ブロックに適用してもよい。たとえば、ビデオエンコーダ200は、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に類似の変換を残差ビデオデータに適用し得る。加えて、ビデオエンコーダ200は、モード依存非分離可能2次変換(MDNSST:mode-dependent non-separable secondary transform)、信号依存変換、カルーネンレーベ変換(KLT)などの2次的な変換を、最初の変換に続いて適用してもよい。ビデオエンコーダ200は、1つまたは複数の変換の適用に続いて、変換係数を生成する。
上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ200は、変換係数の量子化を実施してもよい。量子化は一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ200は、変換係数の一部またはすべてと関連付けられるビット深度を低減し得る。たとえば、ビデオエンコーダ200は量子化の間にnビット値をmビット値に丸めてもよく、ここで、nはmよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ200は、量子化されるべき値のビット単位の右シフトを実施してもよい。
量子化に続いて、ビデオエンコーダ200は、変換係数を走査し、量子化された変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、より高いエネルギー(それゆえより低い周波数)の変換係数をベクトルの前方に置き、より低いエネルギー(それゆえより高い周波数)の変換係数をベクトルの後方に置くように設計され得る。いくつかの例では、ビデオエンコーダ200は、量子化された変換係数を走査するためにあらかじめ定められた走査順序を利用して直列化されたベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ200は適応走査を実施し得る。量子化された変換係数を走査して1次元ベクトルを形成した後、ビデオエンコーダ200は、たとえば、コンテキスト適応型バイナリ算術コーディング(CABAC)に従って、1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ200はまた、ビデオデータを復号する際にビデオデコーダ300によって使用するための符号化済みビデオデータに関連付けられたメタデータを記述するシンタックス要素のための値をエントロピー符号化してもよい。
CABACを実施するために、ビデオエンコーダ200は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当ててもよい。コンテキストは、たとえば、シンボルの隣接値がゼロ値化されているかどうかに関係し得る。確率判断は、シンボルに割り当てられたコンテキストに基づき得る。
ビデオエンコーダ200は、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、または、適応パラメータセット(APS)、ピクチャヘッダ(PH)、シーケンスパラメータセット(SPS)、PPS、もしくはビデオパラメータセット(VPS)などの他のシンタックスデータにおいて、ビデオデコーダ300へのブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータをさらに生成してもよい。APSは一般に、スライスヘッダに存在する0個以上のシンタックス要素によって決定される0個以上のスライスに適用されるシンタックス要素を含むシンタックス構造を指す。PHは、コーディング済みピクチャのすべてのスライスに適用されるシンタックス要素を含むシンタックス構造を指す。PPSは、各スライスヘッダに存在するシンタックス要素によって決定される0個以上のコーディング済みピクチャ全体に適用されるシンタックス要素を含むシンタックス構造を指す。SPSは、各スライスヘッダに存在するシンタックス要素によって参照されるPPSに存在するシンタックス要素のコンテンツによって決定される0個以上のCVS全体に適用されるシンタックス要素を含むシンタックス構造を指す。シンタックス構造は一般に、指定された順序でビットストリームに一緒に存在する0個以上のシンタックス要素を指す。
ビデオデコーダ300は、そのようなシンタックスデータを同様に復号して、対応するビデオデータをどのように復号するかを判断してもよい。このようにして、ビデオエンコーダ200は、符号化済みビデオデータ、たとえば、ブロック(たとえば、CU)へのピクチャの区分ならびにこれらのブロックについての予測および/または残差情報を記述するシンタックス要素を含むビットストリームを生成してもよい。最終的に、ビデオデコーダ300は、ビットストリームを受信し、符号化済みビデオデータを復号し得る。
一般に、ビデオデコーダ300は、ビデオエンコーダ200によって実施されるプロセスとは逆のプロセスを実施して、ビットストリームの符号化済みビデオデータを復号する。たとえば、ビデオデコーダ300は、ビデオエンコーダ200のCABAC符号化プロセスとは逆であるが実質的に同様の方法で、CABACを使用してビットストリームのシンタックス要素のための値を復号し得る。シンタックス要素は、CTUへのピクチャの区分情報、およびQTBT構造などの対応する区分構造に従った各CTUの区分を定義して、CTUのCUを定義し得る。シンタックス要素は、ビデオデータのブロック(たとえば、CU)についての予測および残差情報をさらに定義し得る。
残差情報は、たとえば、量子化された変換係数によって表されてもよい。ビデオデコーダ300は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換してもよい。ビデオデコーダ300は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード(イントラ予測またはインター予測)および関連する予測情報(たとえば、インター予測についての動き情報)を使用する。次いで、ビデオデコーダ300は、元のブロックを再生するために、予測ブロックおよび残差ブロックを(サンプルごとに)合成してもよい。ビデオデコーダ300は、ブロックの境界に沿って視覚アーティファクトを低減するためのデブロッキングプロセスを実施するなどの、追加の処理を実施し得る。
本開示は、一般に、シンタックス要素などの特定の情報を「シグナリングすること」を指す。「シグナリング」という用語は、一般に、シンタックス要素および/または符号化済みビデオデータを復号するために使用される他のデータのための値の通信を指すことがある。すなわち、ビデオエンコーダ200は、ビットストリーム中でシンタックス要素のための値をシグナリングし得る。一般に、シグナリングすることは、ビットストリーム中で値を生成することを指す。上述のように、ソースデバイス102は、実質的にリアルタイムで、または、宛先デバイス116によって後で取り出すためにシンタックス要素を記憶デバイス112に記憶するときに行われ得るなど、リアルタイムではなく、ビットストリームを宛先デバイス116にトランスポートし得る。
図2Aおよび図2Bは、例示的な4分木2分木(QTBT)構造130および対応するコーディングツリーユニット(CTU)132を示す概念図である。実線は4分木分裂を表し、点線は2分木分裂を示す。2分木の各分裂(すなわち、非リーフ)ノードでは、どの分裂タイプ(すなわち、水平または垂直)が使用されるかを示すために1つのフラグがシグナリングされ、ここで、この例では、0が水平分裂を示し、1が垂直分裂を示す。4分木分裂の場合、4分木ノードはブロックをサイズが等しい4個のサブブロックに水平および垂直に分裂するので、分裂タイプを示す必要はない。したがって、ビデオエンコーダ200は、QTBT構造130の領域木レベル(すなわち、実線)のための(分裂情報などの)シンタックス要素およびQTBT構造130の予測木レベル(すなわち、破線)のための(分裂情報などの)シンタックス要素を符号化してもよく、ビデオデコーダ300は、それらのシンタックス要素を復号してもよい。QTBT構造130の末端リーフノードによって表されるCUのための、予測データおよび変換データなどのビデオデータを、ビデオエンコーダ200は符号化することができ、ビデオデコーダ300は復号することができる。
一般に、図2BのCTU132は、第1のレベルおよび第2のレベルでQTBT構造130のノードに対応するブロックのサイズを定義するパラメータに関連付けられてもよい。これらのパラメータは、CTUサイズ(サンプル中のCTU132のサイズを表す)、最小4分木サイズ(MinQTSize、最小の許容される4分木リーフノードサイズを表す)、最大2分木サイズ(MaxBTSize、最大の許容される2分木ルートノードサイズを表す)、最大2分木深度(MaxBTDepth、最大の許容される2分木深度を表す)、および最小2分木サイズ(MinBTSize、最小の許容される2分木リーフノードサイズを表す)を含んでもよい。
CTUに対応するQTBT構造のルートノードは、QTBT構造の第1のレベルで4個の子ノードを有することがあり、子ノードの各々は、4分木区分に従って区分されることがある。すなわち、第1のレベルのノードは、(子ノードを有しない)リーフノードであるか、4個の子ノードを有するかのいずれかである。QTBT構造130の例は、分岐のための実線を有する親ノードと子ノードとを含むようなノードを表す。第1のレベルのノードが最大の許容される2分木ルートノードサイズ(MaxBTSize)より大きくない場合、ノードはそれぞれの2分木によってさらに区分され得る。1つのノードの2分木分裂は、分裂の結果として生じるノードが最小の許容される2分木リーフノードサイズ(MinBTSize)または最大の許容される2分木深度(MaxBTDepth)に達するまで繰り返され得る。QTBT構造130の例は、分岐のための破線を有するようなノードを表す。2分木リーフノードはコーディングユニット(CU)と呼ばれ、コーディングユニット(CU)は、これ以上の区分なしで、予測(たとえば、イントラピクチャ予測またはインターピクチャ予測)および変換のために使用される。上記で説明したように、CUは「ビデオブロック」または「ブロック」と呼ばれることもある。
QTBT区分構造の一例では、CTUサイズは128×128(ルーマサンプルおよび2つの対応する64×64クロマサンプル)として設定され、MinQTSizeは16×16として設定され、MaxBTSizeは64×64として設定され、(幅と高さの両方についての)MinBTSizeは4として設定され、MaxBTDepthは4として設定される。4分木リーフノードを生成するために、4分木区分がまずCTUに適用される。四分木リーフノードは、16x16(すなわち、MinQTSize)から128x128(すなわち、CTUサイズ)までのサイズを有し得る。リーフ四分木ノードは、128x128である場合、サイズがMaxBTSize(すなわち、この例では64x64)を超えるので、二分木によってさらに分割されることはない。それ以外の場合、リーフ4分木ノードは2分木によってさらに区分される。したがって、4分木リーフノードは2分木のルートノードでもあり、0としての2分木深度を有する。2分木深度がMaxBTDepth(この例では4)に達するとき、さらなる分裂は許可されない。2分木ノードがMinBTSize(この例では4)に等しい幅を有するとき、それはさらなる水平分裂が許可されないことを示唆する。同様に、MinBTSizeに等しい高さを有する2分木ノードは、その2分木ノードに対してさらなる垂直分裂が許可されないことを示唆する。上で述べられたように、二分木のリーフノードはCUと呼ばれ、さらなる区分なしで予測および変換に従ってさらに処理される。
本開示では、水平ラップアラウンド動き補償をRPRとともに使用するのを可能にする場合があるVVC Draft 7の部分に対する可能な修正について説明する。本明細書では、改善される場合があるVVC Draft 7の部分のいくつかについて説明する。VVC Draft 7バージョン14における第7.3.2.3項には次のように記載されている。
VVC Draft 7バージョン14における第7.4.3.3項には次のように記載されている。
sps_ref_wraparound_enabled_flagが1に等しい場合、インター予測において水平ラップアラウンド動き補償が適用されることが指定される。
sps_ref_wraparound_enabled_flagが0に等しい場合、水平ラップアラウンド動き補償が適用されないことが指定される。(CtbSizeY/MinCbSizeY + 1)の値が(pic_width_in_luma_samples/MinCbSizeY - 1)以上であり、pic_width_in_luma_samplesが、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値であるとき、sps_ref_wraparound_enabled_flagの値は0に等しいものとする。
sps_ref_wraparound_offset_minus1プラス1は、水平ラップアラウンド位置をMinCbSizeYルーマサンプル単位で算出するために使用されるオフセットを指定する。ref_wraparound_offset_minus1の値は、境界値も含めて(CtbSizeY/MinCbSizeY) + 1～(pic_width_in_luma_samples/MinCbSizeY) - 1の範囲であるものとし、ここで、pic_width_in_luma_samplesは、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値である。
sps_ref_wraparound_enabled_flagが1に等しい場合、インター予測において水平ラップアラウンド動き補償が適用されることが指定される。
sps_ref_wraparound_enabled_flagが0に等しい場合、水平ラップアラウンド動き補償が適用されないことが指定される。(CtbSizeY/MinCbSizeY + 1)の値が(pic_width_in_luma_samples/MinCbSizeY - 1)以上であり、pic_width_in_luma_samplesが、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値であるとき、sps_ref_wraparound_enabled_flagの値は0に等しいものとする。
sps_ref_wraparound_offset_minus1プラス1は、水平ラップアラウンド位置をMinCbSizeYルーマサンプル単位で算出するために使用されるオフセットを指定する。ref_wraparound_offset_minus1の値は、境界値も含めて(CtbSizeY/MinCbSizeY) + 1～(pic_width_in_luma_samples/MinCbSizeY) - 1の範囲であるものとし、ここで、pic_width_in_luma_samplesは、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値である。
VVC Draft 7バージョン14における第7.3.2.4項には次のように記載されている。
VVC Draft 7バージョン14における第7.4.3.4項には次のように記載されている。
pic_width_in_luma_samplesは、PPSを参照する各復号済みピクチャの幅をルーマサンプル単位で指定する。pic_width_in_luma_samplesは、0に等しくないものとし、Max(8, MinCbSizeY)の整数倍数であるものとし、pic_width_max_in_luma_samples以下であるものとする。
subpics_present_flagが1に等しいかまたはref_pic_resampling_enabled_flagが0に等しいとき、pic_width_in_luma_samplesの値はpic_width_max_in_luma_samplesに等しいものとする。
pic_height_in_luma_samplesは、PPSを参照する各復号済みピクチャの高さをルーマサンプル単位で指定する。pic_height_in_luma_samplesは、0に等しくないものとし、Max(8, MinCbSizeY)の整数倍数であるものとし、pic_height_max_in_luma_samples以下であるものとする。
subpics_present_flagが1に等しいかまたはref_pic_resampling_enabled_flagが0に等しいとき、pic_height_in_luma_samplesの値はpic_height_max_in_luma_samplesに等しいものとする。
pic_width_in_luma_samplesは、PPSを参照する各復号済みピクチャの幅をルーマサンプル単位で指定する。pic_width_in_luma_samplesは、0に等しくないものとし、Max(8, MinCbSizeY)の整数倍数であるものとし、pic_width_max_in_luma_samples以下であるものとする。
subpics_present_flagが1に等しいかまたはref_pic_resampling_enabled_flagが0に等しいとき、pic_width_in_luma_samplesの値はpic_width_max_in_luma_samplesに等しいものとする。
pic_height_in_luma_samplesは、PPSを参照する各復号済みピクチャの高さをルーマサンプル単位で指定する。pic_height_in_luma_samplesは、0に等しくないものとし、Max(8, MinCbSizeY)の整数倍数であるものとし、pic_height_max_in_luma_samples以下であるものとする。
subpics_present_flagが1に等しいかまたはref_pic_resampling_enabled_flagが0に等しいとき、pic_height_in_luma_samplesの値はpic_height_max_in_luma_samplesに等しいものとする。
VVC Draft 7バージョン14における第8.5.3.2.2項には次のように記載されている。
xInti = Clip3(0, picW - 1, sps_ref_wraparound_enabled_flag?
ClipH((sps_ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL + i))
xIntL + i) (644)
yInti = Clip3(0, picH - 1, yIntL + i) (645)
xInti = Clip3(0, picW - 1, sps_ref_wraparound_enabled_flag?
ClipH((sps_ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL + i))
xIntL + i) (644)
yInti = Clip3(0, picH - 1, yIntL + i) (645)
VVC Draft 7バージョン14における第8.5.6.3.2項には次のように記載されている。
xInti = Clip3(0, picW - 1, sps_ref_wraparound_enabled_flag?
ClipH((sps_ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL + i - 3)
xIntL + i - 3) (957)
yInti = Clip3(0, picH - 1, yIntL + i - 3) (958)
xInti = Clip3(0, picW - 1, sps_ref_wraparound_enabled_flag?
ClipH((sps_ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL + i - 3)
xIntL + i - 3) (957)
yInti = Clip3(0, picH - 1, yIntL + i - 3) (958)
VVC Draft 7バージョン14における第8.5.6.3.3項には次のように記載されている。
xInt = Clip3(0, picW - 1, sps_ref_wraparound_enabled_flag? (968)
ClipH((sps_ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL): xIntL)
yInti = Clip3(0, picH - 1, yIntL) (969)
xInt = Clip3(0, picW - 1, sps_ref_wraparound_enabled_flag? (968)
ClipH((sps_ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL): xIntL)
yInti = Clip3(0, picH - 1, yIntL) (969)
VVC Draft 7バージョン14における第8.5.6.3.4項には次のように記載されている。
xInti = Clip3(0, picW - 1, sps_ref_wraparound_enabled_flag? ClipH(xOffset, picWC, xIntC + i - 1):
xIntC + i - 1)
yInti = Clip3(0, picHC - 1, yIntC + i - 1) (974)
xInti = Clip3(0, picW - 1, sps_ref_wraparound_enabled_flag? ClipH(xOffset, picWC, xIntC + i - 1):
xIntC + i - 1)
yInti = Clip3(0, picHC - 1, yIntC + i - 1) (974)
本開示は、VVC Draft 7における1つまたは複数の問題に対処する場合がある。動き補償における水平ラップアラウンドオフセットは、パディング後正距円筒図法(PERP:padded equirectangular projection)フォーマットを使用する360度ユースケースについての主観的視覚アーティファクトを低減させるためにVVCに取り入れられた。パディング後正距円筒図法(PERP)フォーマットでは、左側ピクチャ境界と右側ピクチャ境界が同じになるようにパディングされる。すなわち、PERPフォーマットのピクチャでは、左側ピクチャ境界におけるサンプル値は、右側ピクチャ境界におけるサンプル値と同じであってもよい。
図3は、PERPフォーマットを有する参照ピクチャにおけるラップアラウンドオフセットの例を示す。図3の例では、ビデオエンコーダ200またはビデオデコーダ300はたとえば、現在のピクチャ138の現在のPU136を予測してもよい。現在のPU136を予測するために、ビデオエンコーダ200またはビデオデコーダ300は、動きベクトル140を使用して、コロケートされたPU144の左上角に対する予測ブロック142の左上角を特定する。予測ブロック142およびコロケートされたPU144は、参照ピクチャ146内に位置する。参照ピクチャ146の境界の外側に延びる参照ピクセルは、図3に示すように位置をERP幅の距離だけ移動させることによってラップアラウンドされる。すなわち、他の場合には参照ピクチャ146の左側境界の左側に位置する参照サンプルが右側部分に存在する。参照ピクチャ146の右側部分におけるこれらの参照サンプルは、図3ではラップアラウンド参照サンプル148として示されている。ERP幅がラップアラウンドオフセットであることがシグナリングされる。ラップアラウンド使用可能フラグおよびラップアラウンドオフセットは、VVC Draft 7におけるSPSでは次のようにシグナリングされる。
- sps_ref_wraparound_enabled_flagが1に等しい場合、インター予測において水平ラップアラウンド動き補償が適用されることが指定される。
sps_ref_wraparound_enabled_flagが0に等しい場合、水平ラップアラウンド動き補償が適用されないことが指定される。(CtbSizeY/MinCbSizeY + 1)の値が(pic_width_in_luma_samples/MinCbSizeY - 1)以下であり、pic_width_in_luma_samplesが、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値であるとき、sps_ref_wraparound_enabled_flagの値は0に等しいものとする。
- sps_ref_wraparound_offset_minus1プラス1は、水平ラップアラウンド位置をMinCbSizeYルーマサンプル単位で算出するために使用されるオフセットを指定する。ref_wraparound_offset_minus1の値は、境界値も含めて(CtbSizeY/MinCbSizeY) + 1～(pic_width_in_luma_samples/MinCbSizeY) - 1の範囲であるものとし、ここで、pic_width_in_luma_samplesは、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値である。
- sps_ref_wraparound_enabled_flagが1に等しい場合、インター予測において水平ラップアラウンド動き補償が適用されることが指定される。
sps_ref_wraparound_enabled_flagが0に等しい場合、水平ラップアラウンド動き補償が適用されないことが指定される。(CtbSizeY/MinCbSizeY + 1)の値が(pic_width_in_luma_samples/MinCbSizeY - 1)以下であり、pic_width_in_luma_samplesが、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値であるとき、sps_ref_wraparound_enabled_flagの値は0に等しいものとする。
- sps_ref_wraparound_offset_minus1プラス1は、水平ラップアラウンド位置をMinCbSizeYルーマサンプル単位で算出するために使用されるオフセットを指定する。ref_wraparound_offset_minus1の値は、境界値も含めて(CtbSizeY/MinCbSizeY) + 1～(pic_width_in_luma_samples/MinCbSizeY) - 1の範囲であるものとし、ここで、pic_width_in_luma_samplesは、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値である。
図4は、参照ピクセルの位置が、現在のピクチャのラップアラウンドオフセットによってどのように誤って未知の位置、すなわち、参照ピクチャの外側にシフトされ得るかを示す。図4では、wraparound_offset_currは、現在のピクチャ150のPPSから導出されたラップアラウンドオフセットを表す。参照ピクチャ152は現在のピクチャ150とは異なる高さおよび幅を有するので、wraparound_offset_currは参照ピクチャ152の外側を指し示す。
ラップアラウンドオフセットは、ピクチャ幅以下であってもよい。RPRデザインではPPSにおけるピクチャの幅および高さが更新されることがあるので、ラップアラウンドオフセットは、異なるPPSに属する異なるピクチャについて異なる場合がある。すなわち、図4に示すように、2つの異なるPPSを参照する現在のピクチャおよび参照ピクチャは、異なる幅および高さを有する場合がある。VVC Draft 7では、コーディング済みレイヤビデオシーケンス(CLVS:coded layer video sequence)においてラップアラウンドオフセットを固定する。しかし、VVC Draft 7では、ビデオコーダが、図4に示すように、現在のピクチャによって参照されるPPSから導出されるラップアラウンドオフセットによってピクセルの位置を誤って参照ピクチャの外側にシフトさせることがある。これは、RPRが有効化されているので参照ピクチャの幅と現在のピクチャの幅が異なるからである。
本開示では、VVC Draft 7の欠点に対処し得る技法について説明する。本開示では、上記で説明した欠点に対処し得るVVC Draft 7に対するいくつかの修正について説明する。本開示の一技法によれば、ラップアラウンドオフセットのシグナリングをSPSからPPSに移動させてもよい。すなわち、ビデオエンコーダ200は、ラップアラウンドオフセットをPPSシンタックス構造の一部として含むように構成されてもよく、ビデオデコーダ300は、ラップアラウンドオフセットをPPSシンタックス構造の一部として受信するように構成されてもよい。
ラップアラウンドオフセットは、ピクチャ幅以下であってもよい。RPRデザインではPPSにおけるピクチャの幅および高さを更新することができるので、本開示の提案では、RPRのデザインを整合させるようにラップアラウンドオフセットをSPSではなくPPSでシグナリングしてもよい。そのような制限の第1の例では、ref_wraparound_enabled_flagの値はCLVSにおけるコーディング済みピクチャによって参照されるすべてのPPSについて同じであってもよい。そのような制限の第2の例では、ref_wraparound_enabled_flagの値がCLVSにおいて変更されてもよい。両方の例が、本開示において提案される変更のいずれか1つに適用されてもよい。
本開示の技法を実施するためのVVC Draft 7に対する変更の例は次のように示される。本開示全体にわたって、タグ"<ADD>"は、本開示によって提案される追加事項の開始位置を示し、タグ"</ADD>"は追加事項の終了位置を示す。タグ"<DEL>"は、本開示によって提案される削除事項(すなわち、テキスト削除)の開始位置を示し、タグ"</DEL>"はそのような削除事項の終了位置を示す。
いくつかの例では、VVC Draft 7バージョン14における第7.3.2.3項は次のように修正されてもよい。
いくつかの例では、VVC Draft 7バージョン14における第7.4.3.3項には次のように記載されている。
<DEL>sps_ref_wraparound_enabled_flagが1に等しい場合、インター予測において水平ラップアラウンド動き補償が適用されることが指定される。
sps_ref_wraparound_enabled_flagが0に等しい場合、水平ラップアラウンド動き補償が適用されないことが指定される。(CtbSizeY/MinCbSizeY + 1)の値が(pic_width_in_luma_samples/MinCbSizeY - 1)以上であり、pic_width_in_luma_samplesが、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値であるとき、sps_ref_wraparound_enabled_flagの値は0に等しいものとする。
sps_ref_wraparound_offset_minus1プラス1は、水平ラップアラウンド位置をMinCbSizeYルーマサンプル単位で算出するために使用されるオフセットを指定する。ref_wraparound_offset_minus1の値は、両端値も含めて(CtbSizeY/MinCbSizeY) + 1～(pic_width_in_luma_samples/MinCbSizeY) - 1の範囲内であるものとし、ここで、pic_width_in_luma_samplesは、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値である。</DEL>
<DEL>sps_ref_wraparound_enabled_flagが1に等しい場合、インター予測において水平ラップアラウンド動き補償が適用されることが指定される。
sps_ref_wraparound_enabled_flagが0に等しい場合、水平ラップアラウンド動き補償が適用されないことが指定される。(CtbSizeY/MinCbSizeY + 1)の値が(pic_width_in_luma_samples/MinCbSizeY - 1)以上であり、pic_width_in_luma_samplesが、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値であるとき、sps_ref_wraparound_enabled_flagの値は0に等しいものとする。
sps_ref_wraparound_offset_minus1プラス1は、水平ラップアラウンド位置をMinCbSizeYルーマサンプル単位で算出するために使用されるオフセットを指定する。ref_wraparound_offset_minus1の値は、両端値も含めて(CtbSizeY/MinCbSizeY) + 1～(pic_width_in_luma_samples/MinCbSizeY) - 1の範囲内であるものとし、ここで、pic_width_in_luma_samplesは、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値である。</DEL>
いくつかの例では、VVC Draft 7バージョン14における第7.3.2.4項は次のように修正されてもよい。
いくつかの例では、VVC Draft 7バージョン14における第7.4.3.4項は次のように修正されてもよい。
<ADD>ref_wraparound_enabled_flagが1に等しい場合、インター予測において水平ラップアラウンド動き補償が適用されることが指定される。
ref_wraparound_enabled_flagが0に等しい場合、水平ラップアラウンド動き補償が適用されないことが指定される。(CtbSizeY/MinCbSizeY + 1)の値が(pic_width_in_luma_samples/MinCbSizeY - 1)以上であり、pic_width_in_luma_samplesが、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値であるとき、ref_wraparound_enabled_flagの値は0に等しいものとする。
ビットストリーム適合の要件として、ref_wraparound_enabled_flagの値は、CLVSにおけるコーディング済みピクチャによって参照されるすべてのPPSについて同じであるものとする。
ref_wraparound_offset_minus1プラス1は、水平ラップアラウンド位置をMinCbSizeYルーマサンプル単位で算出するために使用されるオフセットを指定する。ref_wraparound_offset_minus1の値は、両端値も含めて(CtbSizeY/MinCbSizeY) + 1～(pic_width_in_luma_samples/MinCbSizeY) - 1の範囲内であるものとする。</ADD>
<ADD>ref_wraparound_enabled_flagが1に等しい場合、インター予測において水平ラップアラウンド動き補償が適用されることが指定される。
ref_wraparound_enabled_flagが0に等しい場合、水平ラップアラウンド動き補償が適用されないことが指定される。(CtbSizeY/MinCbSizeY + 1)の値が(pic_width_in_luma_samples/MinCbSizeY - 1)以上であり、pic_width_in_luma_samplesが、SPSを参照する任意のPPSにおけるpic_width_in_luma_samplesの値であるとき、ref_wraparound_enabled_flagの値は0に等しいものとする。
ビットストリーム適合の要件として、ref_wraparound_enabled_flagの値は、CLVSにおけるコーディング済みピクチャによって参照されるすべてのPPSについて同じであるものとする。
ref_wraparound_offset_minus1プラス1は、水平ラップアラウンド位置をMinCbSizeYルーマサンプル単位で算出するために使用されるオフセットを指定する。ref_wraparound_offset_minus1の値は、両端値も含めて(CtbSizeY/MinCbSizeY) + 1～(pic_width_in_luma_samples/MinCbSizeY) - 1の範囲内であるものとする。</ADD>
本開示の技法は、動き補償に関する問題にも対処する場合がある。VVC Draft 7では、図4に示すように、参照ピクチャの外側のピクセルの位置が、現在のピクチャのラップアラウンドオフセットによって誤ってシフトされることがあり、この場合、RPRが有効化されているので参照ピクチャの幅と現在のピクチャの幅が異なる。本開示では、現在のピクチャのラップアラウンドオフセットを、参照ピクチャによって参照されるPPSにおいて導出されるラップアラウンドオフセットで置き換えることによってこの問題を解決するための技法について説明する。
本開示の技法を実施するためのVVC Draft 7に対する変更の例は次のように示される。
いくつかの例では、VVC Draft 7バージョン14における第8.5.3.2.2項は次のように修正されてもよい。
<ADD>ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL + i)):
(644)
xIntL + i)
yInti = Clip3(0, picH - 1, yIntL + i) (645)
<ADD>ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL + i)):
(644)
xIntL + i)
yInti = Clip3(0, picH - 1, yIntL + i) (645)
いくつかの例では、VVC Draft 7バージョン14における第8.5.6.3.2項は次のように修正されてもよい。
<ADD>
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL + i - 3):
(957)
xIntL + i - 3)
yInti = Clip3(0, picH - 1, yIntL + i - 3) (958)
<ADD>
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL + i - 3):
(957)
xIntL + i - 3)
yInti = Clip3(0, picH - 1, yIntL + i - 3) (958)
いくつかの例では、VVC Draft 7バージョン14における第8.5.6.3.3項は次のように修正されてもよい。
<ADD>
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
xInt = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag? (968)
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, xIntL): xIntL)
yInt = Clip3(0, picH - 1, yIntL) (969)
<ADD>
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
xInt = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag? (968)
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, xIntL): xIntL)
yInt = Clip3(0, picH - 1, yIntL) (969)
いくつかの例では、VVC Draft 7バージョン14における第8.5.6.3.4項は次のように修正されてもよい。
<ADD>
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
変数xOffsetは、(<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY)/SubWidthCに等しく設定される。
xInti = Clip3(0, picWC - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag? ClipH(xOffset, picWC, xIntC + i - 1):
xIntC + i - 1)
yInti = Clip3(0, picHC - 1, yIntC + i - 1) (974)
<ADD>
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
変数xOffsetは、(<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY)/SubWidthCに等しく設定される。
xInti = Clip3(0, picWC - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag? ClipH(xOffset, picWC, xIntC + i - 1):
xIntC + i - 1)
yInti = Clip3(0, picHC - 1, yIntC + i - 1) (974)
いくつかの例では、本開示の技法は、現在のピクチャのラップアラウンドオフセットを参照ピクチャによって参照されるPPSにおいて導出されるラップアラウンドオフセットで置き換えることだけでなく、現在のピクチャのラップアラウンドフラグを参照ピクチャによって参照されるPPSにおいて導出されるラップアラウンドフラグで置き換えることも含まれる。本開示の技法を実施するためのVVC Draft 7に対する変更の例は次のように示される。
いくつかの例では、VVC Draft 7バージョン14における第8.5.3.2.2項は次のように修正されてもよい。
<ADD>ref_wraparound_enabled_flagは、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_enabled_flagである。
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL + i)):
(644)
xIntL + i)
yInti = Clip3(0, picH - 1, yIntL + i) (645)
<ADD>ref_wraparound_enabled_flagは、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_enabled_flagである。
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, (xIntL + i)):
(644)
xIntL + i)
yInti = Clip3(0, picH - 1, yIntL + i) (645)
いくつかの例では、VVC Draft 7バージョン14における第8.5.6.3.2項は次のように修正されてもよい。
<ADD>
ref_wraparound_enabled_flagは、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_enabled_flagである。
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, xIntL + i - 3): (957)
xIntL + i - 3)
yInti = Clip3(0, picH - 1, yIntL + i - 3) (958)
<ADD>
ref_wraparound_enabled_flagは、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_enabled_flagである。
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, xIntL + i - 3): (957)
xIntL + i - 3)
yInti = Clip3(0, picH - 1, yIntL + i - 3) (958)
いくつかの例では、VVC Draft 7バージョン14における第8.5.6.3.3項は次のように修正されてもよい。
<ADD>
ref_wraparound_enabled_flagは、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_enabled_flagである。
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
xInt = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag? (968)
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, xIntL): xIntL)
yInt = Clip3(0, picH - 1, yIntL) (969)
<ADD>
ref_wraparound_enabled_flagは、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_enabled_flagである。
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。
</ADD>
xInt = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag? (968)
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY, picW, xIntL): xIntL)
yInt = Clip3(0, picH - 1, yIntL) (969)
いくつかの例では、VVC Draft 7バージョン14における第8.5.6.3.4項は次のように修正されてもよい。
<ADD>ref_wraparound_enabled_flagは、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_enabled_flagである。
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。</ADD>
変数xOffsetは、(<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY)/SubWidthCに等しく設定される。
xInti = Clip3(0, picWC - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag? ClipH(xOffset, picWC, xIntC + i - 1):
xIntC + i - 1)
yInti = Clip3(0, picHC - 1, yIntC + i - 1) (974)
<ADD>ref_wraparound_enabled_flagは、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_enabled_flagである。
ref_wraparound_offset_minus1は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1である。</ADD>
変数xOffsetは、(<DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1) * MinCbSizeY)/SubWidthCに等しく設定される。
xInti = Clip3(0, picWC - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag? ClipH(xOffset, picWC, xIntC + i - 1):
xIntC + i - 1)
yInti = Clip3(0, picHC - 1, yIntC + i - 1) (974)
いくつかの例では、本開示の技法は、動き補償のために参照ピクチャと現在のピクチャとのスケーリング比を使用して、現在のピクチャによって参照されるPPSから導出されるラップアラウンドオフセットをスケーリングすることを含む。ref_wraparound_offsetとして定義される参照ピクチャのラップアラウンドオフセットを導出するための一般的公式は次のように表される式であってもよい。
ref_wraparound_offset = curr_wraparound_offset * ref_pic_width ÷ curr_pic_width,
curr_wraparound_offsetは、現在のピクチャのラップアラウンドオフセットであり、ref_pic_widthは、参照ピクチャのpic_width_max_in_luma_samplesとして定義され、curr_pic_widthは、現在のピクチャのpic_width_max_in_luma_samplesとして定義される。
ref_wraparound_offset = curr_wraparound_offset * ref_pic_width ÷ curr_pic_width,
curr_wraparound_offsetは、現在のピクチャのラップアラウンドオフセットであり、ref_pic_widthは、参照ピクチャのpic_width_max_in_luma_samplesとして定義され、curr_pic_widthは、現在のピクチャのpic_width_max_in_luma_samplesとして定義される。
固定小数点計算の精度を考慮すると、この公式の計算はより高い精度で実施されてもよい。一例として、VVC Draft 7において定義され、ref_pic_widthに対する左シフト14によってref_pic_width ÷ curr_pic_widthの値を算出するscalingRatio[0]が使用される。その場合、参照ピクチャのラップアラウンドオフセットは次のようにして導出されてもよい。
ref_wraparound_offset = ((curr_wraparound_offset * scalingRatio[0]) + 8192) >> 14
ref_wraparound_offset = ((curr_wraparound_offset * scalingRatio[0]) + 8192) >> 14
いくつかの例では、本開示の技法は、RPR機能とラップアラウンドオフセット機能を同時に有効化することを許可しないことを含む。たとえば、いくつかの例では、ビデオデコーダ300は、sps_ref_wraparound_enabled_flagが1に等しい場合にref_pic_resampling_enabled_flagを0と推定するように構成されてもよい。いくつかの例では、ビデオデコーダ300は、ref_pic_resampling_enabled_flagが1に等しい場合にsps_ref_wraparound_enabled_flagを0と推定するように構成されてもよい。
ビデオエンコーダ200およびビデオデコーダ300は、サブピクチャを有効化してラップアラウンドオフセットを適用するように構成されてもよい。ビデオエンコーダ200およびビデオデコーダ300は、PPSにおける解析プロセスおよび動き補償のための復号プロセスの間ラップアラウンドオフセットのシグナリングにサブピクチャインデックスを付加するように構成されてもよい。本開示の技法を実施するためのVVC Draft 7に対する変更の例は次のように示される。
いくつかの例では、VVC Draft 7バージョン14における第7.3.2.4項は次のように修正されてもよい。
いくつかの例では、VVC Draft 7バージョン14における第7.4.3.4項は次のように修正されてもよい。
<ADD>
Ref_wraparound_enabled_flag[i]が1に等しい場合、インター予測においてi番目のサブピクチャについての水平ラップアラウンド動き補償が適用されることが指定される。
ref_wraparound_enabled_flagが0に等しい場合、i番目のサブピクチャには水平ラップアラウンド動き補償が適用されないことが指定される。(CtbSizeY/MinCbSizeY + 1)の値が(subpic_width_in_luma_samples/MinCbSizeY - 1)以上であり、subpic_width_in_luma_samplesがi番目のサブピクチャのサブピクチャ幅の値であるとき、ref_wraparound_enabled_flagの値は0に等しいものとする。
ref_wraparound_offset_minus1プラス1は、i番目のサブピクチャの水平ラップアラウンド位置をMinCbSizeYルーマサンプル単位で算出するために使用されるオフセットを指定する。ref_wraparound_offset_minus1の値は、両端値も含めて(CtbSizeY/MinCbSizeY) + 1～(subpic_width_in_luma_samples/MinCbSizeY) - 1の範囲内であるものとする。
</ADD>
<ADD>
Ref_wraparound_enabled_flag[i]が1に等しい場合、インター予測においてi番目のサブピクチャについての水平ラップアラウンド動き補償が適用されることが指定される。
ref_wraparound_enabled_flagが0に等しい場合、i番目のサブピクチャには水平ラップアラウンド動き補償が適用されないことが指定される。(CtbSizeY/MinCbSizeY + 1)の値が(subpic_width_in_luma_samples/MinCbSizeY - 1)以上であり、subpic_width_in_luma_samplesがi番目のサブピクチャのサブピクチャ幅の値であるとき、ref_wraparound_enabled_flagの値は0に等しいものとする。
ref_wraparound_offset_minus1プラス1は、i番目のサブピクチャの水平ラップアラウンド位置をMinCbSizeYルーマサンプル単位で算出するために使用されるオフセットを指定する。ref_wraparound_offset_minus1の値は、両端値も含めて(CtbSizeY/MinCbSizeY) + 1～(subpic_width_in_luma_samples/MinCbSizeY) - 1の範囲内であるものとする。
</ADD>
いくつかの例では、VVC Draft 7バージョン14における第8.5.3.2.2項は次のように修正されてもよい。
<ADD>
RefSubPicIdxは、参照ピクチャのSubpicIdList[RefSubPicIdx]が現在のスライスのslice_subpic_idに等しくなるように導出される。
ref_wraparound_offset_minus1[RefSubPicIdx]は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1[RefSubPicIdx]である。
</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[RefSubPicIdx]</ADD>?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1<ADD>[RefSubPicIdx]</ADD> + 1) * MinCbSizeY, picW, (xIntL + i)): (644)
xIntL + i)
yInti = Clip3(0, picH - 1, yIntL + i) (645)
<ADD>
RefSubPicIdxは、参照ピクチャのSubpicIdList[RefSubPicIdx]が現在のスライスのslice_subpic_idに等しくなるように導出される。
ref_wraparound_offset_minus1[RefSubPicIdx]は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1[RefSubPicIdx]である。
</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[RefSubPicIdx]</ADD>?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1<ADD>[RefSubPicIdx]</ADD> + 1) * MinCbSizeY, picW, (xIntL + i)): (644)
xIntL + i)
yInti = Clip3(0, picH - 1, yIntL + i) (645)
いくつかの例では、VVC Draft 7バージョン14における第8.5.6.3.2項は次のように修正されてもよい。
<ADD>RefSubPicIdxは、参照ピクチャのSubpicIdList[RefSubPicIdx]が現在のスライスのslice_subpic_idに等しくなるように導出される。
ref_wraparound_offset_minus1[RefSubPicIdx]は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1[RefSubPicIdx]である。</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[RefSubPicIdx]</ADD>?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1<ADD>[RefSubPicIdx]</ADD> + 1) * MinCbSizeY, picW, xIntL + i - 3): (957)
xIntL + i - 3)
yInti = Clip3(0, picH - 1, yIntL + i - 3) (958)
<ADD>RefSubPicIdxは、参照ピクチャのSubpicIdList[RefSubPicIdx]が現在のスライスのslice_subpic_idに等しくなるように導出される。
ref_wraparound_offset_minus1[RefSubPicIdx]は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1[RefSubPicIdx]である。</ADD>
xInti = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[RefSubPicIdx]</ADD>?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1<ADD>[RefSubPicIdx]</ADD> + 1) * MinCbSizeY, picW, xIntL + i - 3): (957)
xIntL + i - 3)
yInti = Clip3(0, picH - 1, yIntL + i - 3) (958)
いくつかの例では、VVC Draft 7バージョン14における第8.5.6.3.3項は次のように修正されてもよい。
<ADD>RefSubPicIdxは、参照ピクチャのSubpicIdList[RefSubPicIdx]が現在のスライスのslice_subpic_idに等しくなるように導出される。
ref_wraparound_offset_minus1[RefSubPicIdx]は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1[RefSubPicIdx]である。</ADD>
xInt = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[RefSubPicIdx]</ADD>?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1<ADD>[RefSubPicIdx]</ADD> + 1) * MinCbSizeY, picW, xIntL): xIntL) (968)
yInt = Clip3(0, picH - 1, yIntL) (969)
<ADD>RefSubPicIdxは、参照ピクチャのSubpicIdList[RefSubPicIdx]が現在のスライスのslice_subpic_idに等しくなるように導出される。
ref_wraparound_offset_minus1[RefSubPicIdx]は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1[RefSubPicIdx]である。</ADD>
xInt = Clip3(0, picW - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[RefSubPicIdx]</ADD>?
ClipH((<DEL>sps_</DEL>ref_wraparound_offset_minus1<ADD>[RefSubPicIdx]</ADD> + 1) * MinCbSizeY, picW, xIntL): xIntL) (968)
yInt = Clip3(0, picH - 1, yIntL) (969)
いくつかの例では、VVC Draft 7バージョン14における第8.5.6.3.4項は次のように修正されてもよい。
<ADD>RefSubPicIdxは、参照ピクチャのSubpicIdList[RefSubPicIdx]が現在のスライスのslice_subpic_idに等しくなるように導出される。
ref_wraparound_offset_minus1[RefSubPicIdx]は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1[RefSubPicIdx]である。</ADD>
変数xOffsetは、(<DEL>sps_</DEL>ref_wraparound_offset_minus1 <ADD>[RefSubPicIdx]</ADD>+ 1) * MinCbSizeY)/SubWidthCに等しく設定される。
xInti = Clip3(0, picWC - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[RefSubPicIdx]</ADD>? ClipH(xOffset, picWC, xIntC + i - 1):
xIntC + i - 1)
yInti = Clip3(0, picHC - 1, yIntC + i - 1) (974)
<ADD>RefSubPicIdxは、参照ピクチャのSubpicIdList[RefSubPicIdx]が現在のスライスのslice_subpic_idに等しくなるように導出される。
ref_wraparound_offset_minus1[RefSubPicIdx]は、参照ピクチャによって参照されるPPSにおいて解析されるref_wraparound_offset_minus1[RefSubPicIdx]である。</ADD>
変数xOffsetは、(<DEL>sps_</DEL>ref_wraparound_offset_minus1 <ADD>[RefSubPicIdx]</ADD>+ 1) * MinCbSizeY)/SubWidthCに等しく設定される。
xInti = Clip3(0, picWC - 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[RefSubPicIdx]</ADD>? ClipH(xOffset, picWC, xIntC + i - 1):
xIntC + i - 1)
yInti = Clip3(0, picHC - 1, yIntC + i - 1) (974)
図5は、本開示の技法を実施し得る例示的なビデオエンコーダ200を示すブロック図である。図5は、説明のために提供され、本開示において広く例示および説明するような技法の限定と見なされるべきでない。説明のために、本開示では、JEM、VVC(ITU-T H.266、開発中)、およびHEVC(ITU-TH.265)の技法によるビデオエンコーダ200について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されたビデオ符号化デバイスによって実施されてもよい。
図5の例では、ビデオエンコーダ200は、ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、フィルタユニット216、復号済みピクチャバッファ(DPB)218、およびエントロピー符号化ユニット220を含む。ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、フィルタユニット216、DPB218、およびエントロピー符号化ユニット220のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路構成において実装されてもよい。たとえば、ビデオエンコーダ200のユニットは、ハードウェア回路の一部としての1つもしくは複数の回路または論理要素として実装されてもよく、あるいはプロセッサ、ASIC、またはFPGAの一部として実装されてもよい。さらに、ビデオエンコーダ200は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路構成を含んでもよい。
ビデオデータメモリ230は、ビデオエンコーダ200の構成要素によって符号化されるべきビデオデータを記憶してもよい。ビデオエンコーダ200は、たとえば、ビデオソース104(図1)から、ビデオデータメモリ230に記憶されたビデオデータを受信してもよい。DPB218は、ビデオエンコーダ200による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして作用してもよい。ビデオデータメモリ230およびDPB218は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ230およびDPB218は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ230は、図示のように、ビデオエンコーダ200の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。
本開示では、ビデオデータメモリ230への言及は、特に記載のない限り、ビデオエンコーダ200の内部のメモリに限定されるものとして解釈されるべきではなく、または、特に記載のない限り、ビデオエンコーダ200の外部のメモリに限定されるものとして解釈されるべきではない。むしろ、ビデオデータメモリ230への言及は、符号化するためにビデオエンコーダ200が受信するビデオデータ(たとえば、符号化されるべき現在のブロックのためのビデオデータ)を記憶する参照メモリとして理解されるべきである。図1のメモリ106はまた、ビデオエンコーダ200の様々なユニットからの出力の一時的な記憶を提供し得る。
図5の様々なユニットは、ビデオエンコーダ200によって実施される動作を理解するのを助けるために示されている。ユニットは、固定機能の回路、プログラム可能回路、またはこれらの組合せとして実装され得る。固定機能の回路は、特定の機能性を提供する回路を指し、実施され得る動作があらかじめ設定される。プログラマブル回路は、様々なタスクを実施するようにプログラムできる回路を指し、実施できる動作において柔軟な機能性を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは概して不変である。いくつかの例では、ユニットのうちの1つまたは複数はそれぞれに異なる回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、1つまたは複数のユニットは集積回路であってもよい。
ビデオエンコーダ200は、算術論理ユニット(ALU)、初等関数ユニット(EFU)、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含んでもよい。ビデオエンコーダ200の動作がプログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ106(図1)が、ビデオエンコーダ200が受信および実行するソフトウェアのオブジェクトコードを記憶してもよく、またはビデオエンコーダ200内の別のメモリ(図示せず)が、そのような命令を記憶してもよい。
ビデオデータメモリ230は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ200は、ビデオデータメモリ230からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット204およびモード選択ユニット202に提供し得る。ビデオデータメモリ230中のビデオデータは、符号化されるべき未加工ビデオデータであってもよい。
モード選択ユニット202は、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226を含む。モード選択ユニット202は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含んでもよい。例として、モード選択ユニット202は、パレットユニット、(動き推定ユニット222および/または動き補償ユニット224の一部であり得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。
モード選択ユニット202は、一般に、符号化パラメータの組合せおよびそのような組合せに対する結果として生じるレート歪み値をテストするために複数の符号化パスを協調させる。符号化パラメータは、CUへのCTUの区分、CUのための予測モード、CUの残差データのための変換タイプ、CUの残差データのための量子化パラメータなどを含み得る。モード選択ユニット202は、その他のテストされた組合せよりもよいレート歪み値を有する符号化パラメータの組合せを最終的に選択してもよい。
ビデオエンコーダ200は、ビデオデータメモリ230から取り出されたピクチャを一連のCTUに区分し、スライス内に1つまたは複数のCTUをカプセル化し得る。モード選択ユニット202は、上記で説明したHEVCのQTBT構造または4分木構造などのツリー構造に従ってピクチャのCTUを区分し得る。上記で説明したように、ビデオエンコーダ200は、ツリー構造に従ってCTUを区分することから1つまたは複数のCUを形成し得る。そのようなCUは、一般に、「ビデオブロック」または「ブロック」と呼ばれることもある。
一般に、モード選択ユニット202はまた、現在のブロック(たとえば、現在のCU、またはHEVCでは、PUおよびTUの重複する部分)のための予測ブロックを生成するために、その構成要素(たとえば、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226)を制御する。現在のブロックのインター予測の場合、動き推定ユニット222は、1つまたは複数の参照ピクチャ(たとえば、DPB218に記憶された1つまたは複数の以前にコーディングされたピクチャ)中の1つまたは複数の厳密に一致する参照ブロックを識別するために動き探索を実施してもよい。具体的には、動き推定ユニット222は、たとえば、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)などに従って、潜在的な参照ブロックが現在のブロックにどのくらい類似しているかを表す値を算出し得る。動き推定ユニット222は一般に、現在のブロックと検討されている参照ブロックとの間のサンプルごとの差を使用して、これらの算出を実施し得る。動き推定ユニット222は、現在のブロックに最も厳密に一致する参照ブロックを示す、これらの算出の結果として生じる最も低い値を有する参照ブロックを識別し得る。
動き推定ユニット222は、現在のピクチャ中の現在のブロックの位置に対する参照ピクチャ中の参照ブロックの位置を定義する1つまたは複数の動きベクトル(MV)を形成してもよい。次いで、動き推定ユニット222は動きベクトルを動き補償ユニット224に提供し得る。たとえば、単方向インター予測の場合、動き推定ユニット222は単一の動きベクトルを提供し得るが、双方向インター予測の場合、動き推定ユニット222は2つの動きベクトルを提供し得る。次いで、動き補償ユニット224は、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット224は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルがフラクショナルサンプル精度を有する場合、動き補償ユニット224は、1つまたは複数の補間フィルタに従って予測ブロックのための値を補間してもよい。さらに、双方向インター予測の場合、動き補償ユニット224は、それぞれの動きベクトルによって識別された2つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または重み付けされた平均化によって、取り出されたデータを合成し得る。
別の例として、イントラ予測またはイントラ予測コーディングの場合、イントラ予測ユニット226は、現在のブロックに隣接するサンプルから予測ブロックを生成してもよい。たとえば、方向モードの場合、イントラ予測ユニット226は、一般に、隣接サンプルの値を数学的に合成し、これらの算出された値を現在のブロックにわたる定義された方向に投入して、予測ブロックを生成してもよい。別の例として、DCモードの場合、イントラ予測ユニット226は、現在のブロックに対する隣接サンプルの平均を算出し、予測ブロックのサンプルごとにこの結果として生じる平均を含めるべき予測ブロックを生成し得る。
モード選択ユニット202は、予測ブロックを残差生成ユニット204に提供する。残差生成ユニット204は、ビデオデータメモリ230から現在のブロックの未加工の符号化されていないバージョンを受信し、モード選択ユニット202から予測ブロックを受信する。残差生成ユニット204は、現在のブロックと予測ブロックとの間のサンプルごとの差分を算出する。結果として生じるサンプルごとの差分は、現在のブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット204はまた、残差差分パルスコード変調(RDPCM)を使用して残差ブロックを生成するために、残差ブロック中のサンプル値の間の差分を判断してもよい。いくつかの例では、残差生成ユニット204は、バイナリ減算を実施する1つまたは複数の減算器回路を使用して形成され得る。
モード選択ユニット202がCUをPUに区分する例では、各PUはルーマ予測ユニットおよび対応するクロマ予測ユニットに関連付けられてもよい。ビデオエンコーダ200およびビデオデコーダ300は、様々なサイズを有するPUをサポートし得る。上記で示したように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがあり、PUのサイズは、PUのルーマ予測ユニットのサイズを指すことがある。特定のCUのサイズが2N×2Nであると仮定すると、ビデオエンコーダ200は、イントラ予測に対して2N×2NまたはN×NのPUサイズ、およびインター予測に対して2N×2N、2N×N、N×2N、N×N、または類似の、対称のPUサイズをサポートし得る。ビデオエンコーダ200およびビデオデコーダ300はまた、インター予測に対して、2N×nU、2N×nD、nL×2N、およびnR×2NというPUサイズのための非対称区分をサポートし得る。
モード選択ユニット202がCUをPUにさらに区分しない例では、各CUはルーマコーディングブロックおよび対応するクロマコーディングブロックに関連付けられてもよい。上記のように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがある。ビデオエンコーダ200およびビデオデコーダ300は、2N×2N、2N×N、またはN×2NのCUサイズをサポートしてもよい。
少数の例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル(LM)モードコーディングなどの他のビデオコーディング技法では、モード選択ユニット202は、コーディング技法と関連付けられるそれぞれのユニットを介して、符号化されている現在のブロックに対する予測ブロックを生成する。パレットモードコーディングなどのいくつかの例では、モード選択ユニット202は、予測ブロックを生成しなくてもよく、代わりに、選択されたパレットに基づいてブロックを再構成する方式を示すシンタックス要素を生成してもよい。そのようなモードでは、モード選択ユニット202は、符号化されるべきエントロピー符号化ユニット220にこれらのシンタックス要素を提供し得る。
上記で説明したように、残差生成ユニット204は、現在のブロックおよび対応する予測ブロックのためのビデオデータを受信する。次いで、残差生成ユニット204は現在のブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット204は予測ブロックと現在のブロックとの間のサンプルごとの差分を算出する。
変換処理ユニット206は、変換係数のブロック(本明細書では「変換係数ブロック」と呼ばれる)を生成するために、1つまたは複数の変換を残差ブロックに適用する。変換処理ユニット206は、変換係数ブロックを形成するために、様々な変換を残差ブロックに適用し得る。たとえば、変換処理ユニット206は、離散コサイン変換(DCT)、方向変換、カルーネンレーベ変換(KLT)、または概念的に類似の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット206は、複数の変換、たとえば、回転変換などの、1次変換および2次変換を残差ブロックに対して実施してもよい。いくつかの例では、変換処理ユニット206は、変換を残差ブロックに適用しない。
量子化ユニット208は、変換係数ブロック中で変換係数を量子化して、量子化された変換係数ブロックを生成してもよい。量子化ユニット208は、現在のブロックに関連付けられた量子化パラメータ(QP)値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ200は(たとえば、モード選択ユニット202を介して)、CUと関連付けられるQP値を調整することによって、現在のブロックと関連付けられる変換係数ブロックに適用される量子化の程度を調節し得る。量子化が情報の損失をもたらすことがあり、したがって、量子化された変換係数は、変換処理ユニット206によって生成される元の変換係数より精度が低いことがある。
逆量子化ユニット210および逆変換処理ユニット212は、それぞれ、逆量子化および逆変換を量子化された変換係数ブロックに適用して、変換係数ブロックから残差ブロックを再構成してもよい。再構成ユニット214は、再構成された残差ブロックおよびモード選択ユニット202によって生成された予測ブロックに基づいて、(潜在的にある程度のひずみを伴うが)現在のブロックに対応する再構成されたブロックを生成し得る。たとえば、再構成ユニット214は、再構成された残差ブロックのサンプルをモード選択ユニット202によって生成された予測ブロックからの対応するサンプルに加えて、再構成されたブロックを生成し得る。
フィルタユニット216は、再構成されたブロックに対して1回または複数回のフィルタ動作を実施してもよい。たとえば、フィルタユニット216は、CUの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実施し得る。フィルタユニット216の動作は、いくつかの例では、スキップされ得る。
ビデオエンコーダ200は、再構成されたブロックをDPB218に記憶する。たとえば、フィルタユニット216の動作が必要とされない例では、再構成ユニット214は再構成されたブロックをDPB218に記憶し得る。フィルタユニット216の動作が必要とされる例では、フィルタユニット216はフィルタリングされた再構成されたブロックをDPB218に記憶し得る。動き推定ユニット222および動き補償ユニット224は、後で符号化されるピクチャのブロックをインター予測するために、再構成された(かつ潜在的にフィルタリングされた)ブロックから形成された参照ピクチャをDPB218から取り出し得る。加えて、イントラ予測ユニット226は、現在のピクチャ中の他のブロックをイントラ予測するために、現在のピクチャのDPB218中の再構成されたブロックを使用してもよい。
一般に、エントロピー符号化ユニット220は、ビデオエンコーダ200の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット220は、量子化ユニット208からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット220は、モード選択ユニット202からの予測シンタックス要素(たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報)をエントロピー符号化し得る。エントロピー符号化ユニット220は、ビデオデータの別の例であるシンタックス要素に対して1つまたは複数のエントロピー符号化動作を実施して、エントロピー符号化済みデータを生成してもよい。たとえば、エントロピー符号化ユニット220は、コンテキスト適応型可変長コーディング(CAVLC)動作、CABAC動作、可変対可変(V2V)長コーディング動作、シンタックスベースのコンテキスト適応型バイナリ算術コーディング(SBAC)動作、確率間隔区分エントロピー(PIPE)コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット220は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
ビデオエンコーダ200は、スライスまたはピクチャのブロックを再構成するために必要とされるエントロピー符号化シンタックス要素を含むビットストリームを出力してもよい。具体的には、エントロピー符号化ユニット220がビットストリームを出力し得る。
上記で説明した動作は、ブロックに関して説明している。そのような説明は、ルーマコーディングブロックおよび/またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明したように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、CUのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、PUのルーマ成分およびクロマ成分である。
いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル(MV)および参照ピクチャを識別するための動作は、クロマブロックのためのMVおよび参照ピクチャを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのMVはクロマブロックのためのMVを判断するためにスケーリングされてもよく、参照ピクチャは同じであってもよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであってもよい。
ビデオエンコーダ200は、ビデオデータを符号化するように構成されたデバイスの例を表し、ビデオデータを記憶するように構成されたメモリと、回路において実装され、特許請求の範囲における技法を含む本開示の技法を実施するように構成された1つもしくは複数の処理ユニットとを含む。
図6は、本開示の技法を実施することができる例示的なビデオデコーダ300を示すブロック図である。図6は説明のために提供され、本開示において広く例示および説明するような技法を限定するものではない。説明のために、本開示では、JEM、VVC(ITU-T H.266、開発中)、およびHEVC(ITU-TH.265)の技法によるビデオデコーダ300について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されたビデオコーディングデバイスによって実施されてもよい。
図6の例では、ビデオデコーダ300は、コーディング済みピクチャバッファ(CPB:coded picture buffer)メモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、フィルタユニット312、および復号済みピクチャバッファ(DPB)314を含む。CPBメモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、フィルタユニット312、およびDPB314のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路構成において実装されてもよい。たとえば、ビデオデコーダ300のユニットは、ハードウェア回路の一部としての1つもしくは複数の回路または論理要素として実装されてもよく、あるいはプロセッサ、ASIC、またはFPGAの一部として実装されてもよい。さらに、ビデオデコーダ300は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路構成を含んでもよい。
予測処理ユニット304は、動き補償ユニット316およびイントラ予測ユニット318を含む。予測処理ユニット304は、他の予測モードに従って予測を実施するための追加のユニットを含んでもよい。例として、予測処理ユニット304は、パレットユニット、(動き補償ユニット316の一部を形成し得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含んでもよい。他の例では、ビデオデコーダ300は、より多いか、より少ないか、または異なる機能構成要素を含んでもよい。
CPBメモリ320は、ビデオデコーダ300の構成要素によって復号されるべき、符号化済みビデオビットストリームなどのビデオデータを記憶してもよい。CPBメモリ320に記憶されたビデオデータは、たとえば、コンピュータ可読媒体110(図1)から取得され得る。CPBメモリ320は、符号化済みビデオビットストリームからの符号化済みビデオデータ(たとえば、シンタックス要素)を記憶するCPBを含んでもよい。また、CPBメモリ320は、ビデオデコーダ300の様々なユニットからの出力を表す一時的なデータなど、コーディング済みピクチャのシンタックス要素以外のビデオデータを記憶してもよい。DPB314は、一般に、符号化済みビデオビットストリームの後続のデータまたはピクチャを復号するときにビデオデコーダ300が参照ビデオデータとして出力および/または使用し得る復号済みピクチャを記憶する。CPBメモリ320およびDPB314は、SDRAMを含むDRAM、MRAM、RRAM、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。CPBメモリ320およびDPB314は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、CPBメモリ320は、ビデオデコーダ300の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。
追加または代替として、いくつかの例では、ビデオデコーダ300はメモリ120(図1)からコーディング済みビデオデータを取り出してもよい すなわち、メモリ120は、CPBメモリ320に関して上記で説明したようなデータを記憶し得る。同様に、メモリ120は、ビデオデコーダ300の機能性の一部または全部がビデオデコーダ300の処理回路構成によって実行されるべきソフトウェアにおいて実装されるとき、ビデオデコーダ300によって実行されるべき命令を記憶してもよい。
図6に示される様々なユニットは、ビデオデコーダ300によって実施される動作を理解するのを助けるために示されている。ユニットは、固定機能の回路、プログラム可能回路、またはこれらの組合せとして実装され得る。図5と同様に、固定機能回路は、特定の機能性を提供する回路を指し、実施することのできる動作に対してプリセットされる。プログラマブル回路は、様々なタスクを実施するようにプログラムできる回路を指し、実施できる動作において柔軟な機能性を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは概して不変である。いくつかの例では、ユニットのうちの1つまたは複数はそれぞれに異なる回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、1つまたは複数のユニットは集積回路であってもよい。
ビデオデコーダ300は、ALU、EFU、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含んでもよい。ビデオデコーダ300の動作がプログラマブル回路上で実行するソフトウェアによって実施される例では、オンチップメモリまたはオフチップメモリが、ビデオデコーダ300が受信および実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶してもよい。
エントロピー復号ユニット302は、CPBから符号化済みビデオデータを受信し、ビデオデータをエントロピー復号して、シンタックス要素を再生してもよい。予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、およびフィルタユニット312は、ビットストリームから抽出されたシンタックス要素に基づいて、復号済みビデオデータを生成してもよい。
一般に、ビデオデコーダ300は、ブロックごとにピクチャを再構成する。ビデオデコーダ300は、各ブロックに対して個々に再構成動作を実施してもよい(ここで、現在再構成されている、すなわち、復号されているブロックは「現在のブロック」と呼ばれることがある)。
エントロピー復号ユニット302は、量子化された変換係数ブロックの量子化された変換係数、ならびに量子化パラメータ(QP)および/または変換モード指示などの変換情報を定義するシンタックス要素をエントロピー復号してもよい。逆量子化ユニット306は、量子化の程度と、同様に、逆量子化ユニット306が適用すべき逆量子化の程度とを判断するために、量子化された変換係数ブロックに関連付けられたQPを使用してもよい。逆量子化ユニット306は、たとえば、量子化された変換係数を逆量子化するために、ビット単位の左シフト演算を実施し得る。逆量子化ユニット306は、それによって、変換係数を含む変換係数ブロックを形成し得る。
逆量子化ユニット306が変換係数ブロックを形成した後、逆変換処理ユニット308は、現在のブロックに関連付けられた残差ブロックを生成するために、1つまたは複数の逆変換を変換係数ブロックに適用してもよい。たとえば、逆変換処理ユニット308は、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向変換、または別の逆変換を、変換係数ブロックに適用し得る。
さらに、予測処理ユニット304は、エントロピー復号ユニット302によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在のブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット316は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、そこから参照ブロックを取り出すべきDPB314中の参照ピクチャ、ならびに現在のピクチャ中の現在のブロックの場所に対する参照ピクチャ中の参照ブロックの場所を識別する動きベクトルを示し得る。動き補償ユニット316は一般に、動き補償ユニット224(図5)に関して説明した方式と実質的に同様の方式で、インター予測処理を実施してもよい。
別の例として、現在のブロックがイントラ予測されることを予測情報シンタックス要素が示す場合、イントラ予測ユニット318は、予測情報シンタックス要素によって示されたイントラ予測モードに従って予測ブロックを生成してもよい。この場合も、イントラ予測ユニット318は一般に、イントラ予測ユニット226(図5)に関して説明した方式と実質的に同様の方式で、イントラ予測処理を実施してもよい。イントラ予測ユニット318は、DPB314から、現在のブロックに隣接するサンプルのデータを取り出し得る。
再構成ユニット310は、予測ブロックおよび残差ブロックを使用して現在のブロックを再構成してもよい。たとえば、再構成ユニット310は、残差ブロックのサンプルを予測ブロックの対応するサンプルに加えて、現在のブロックを再構成してもよい。
フィルタユニット312は、再構成されたブロックに対して1回または複数回のフィルタ動作を実施してもよい。たとえば、フィルタユニット312は、再構成されたブロックの端部に沿ったブロッキネスアーティファクトを減らすために、デブロッキング動作を実施してもよい。フィルタユニット312の動作は、必ずしもすべての例において実施されるとは限らない。
ビデオデコーダ300は、再構成されたブロックをDPB314に記憶してもよい。たとえば、フィルタユニット312の動作が必要とされない例では、再構成ユニット310は再構成されたブロックをDPB314に記憶してもよい。フィルタユニット312の動作が実施される例では、フィルタユニット312は、フィルタリングされた再構成されたブロックをDPB314に記憶してもよい。上記で説明したように、DPB314は、イントラ予測のための現在のピクチャおよび後続の動き補償のための以前に復号されたピクチャのサンプルなどの参照情報を予測処理ユニット304に提供してもよい。さらに、ビデオデコーダ300は、図1のディスプレイデバイス118などのディスプレイデバイス上に後で提示するための、DPB314からの復号済みピクチャ(たとえば、復号済みビデオ)を出力してもよい。
このようにして、ビデオデコーダ300は、ビデオ復号デバイスの例を表し、ビデオデータを記憶するように構成されたメモリと、回路において実装され、特許請求の範囲の技法を含む本開示の技法を実施するように構成された1つまたは複数の処理ユニットとを含む。
図7は、現在のブロックを符号化するための例示的な方法を示すフローチャートである。現在のブロックは現在のCUを含んでもよい。ビデオエンコーダ200(図1および図5)に関して説明するが、他のデバイスが図7の方法と同様の方法を実施するように構成され得ることを理解されたい。
この例では、ビデオエンコーダ200は最初に、現在のブロックを予測する(350)。たとえば、ビデオエンコーダ200は、現在のブロックに対する予測ブロックを形成し得る。次いで、ビデオエンコーダ200は、現在のブロックのための残差ブロックを算出してもよい(352)。残差ブロックを算出するために、ビデオエンコーダ200は、元の符号化されていないブロックと現在のブロックのための予測ブロックとの間の差分を算出し得る。次いで、ビデオエンコーダ200は、残差ブロックを変換して残差ブロックの変換係数を量子化してもよい(354)。次に、ビデオエンコーダ200は、残差ブロックの量子化された変換係数を走査してもよい(356)。走査の間、または走査に続いて、ビデオエンコーダ200は、変換係数をエントロピー符号化し得る(358)。たとえば、ビデオエンコーダ200は、CAVLCまたはCABACを使用して変換係数を符号化し得る。次いで、ビデオエンコーダ200は、ブロックのエントロピー符号化済みデータを出力してもよい(360)。
図8は、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは現在のCUを含んでもよい。ビデオデコーダ300(図1および図6)に関して説明するが、他のデバイスが図8の方法に類似の方法を実施するように構成され得ることを理解されたい。
ビデオデコーダ300は、エントロピー符号化予測情報および現在のブロックに対応する残差ブロックの係数のためのエントロピー符号化済みデータなどの、現在のブロックのためのエントロピー符号化済みデータを受信してもよい(370)。ビデオデコーダ300は、現在のブロックのための予測情報を判断するために、および残差ブロックの係数を再生するために、エントロピー符号化済みデータをエントロピー復号してもよい(372)。ビデオデコーダ300は、現在のブロックに対する予測ブロックを算出するために、たとえば、現在のブロックに対する予測情報によって示されるようなイントラ予測モードまたはインター予測モードを使用して、現在のブロックを予測してもよい(374)。次いで、ビデオデコーダ300は、量子化された変換係数のブロックを作成するために、再現された係数を逆走査し得る(376)。次いで、ビデオデコーダ300は、変換係数を逆量子化し逆変換して、残差ブロックを生成し得る(378)。ビデオデコーダ300は、予測ブロックおよび残差ブロックを合成することによって、現在のブロックを最終的に復号し得る(380)。
図9は、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。ビデオデータは、たとえば360度ビデオデータであってもよい。現在のブロックは現在のCUを含んでもよい。ビデオエンコーダ200(図1および図5)に関して説明するが、他のデバイスが図9の方法と同様の方法を実施するように構成され得ることを理解されたい。
ビデオエンコーダ200は、ラップアラウンドオフセットの値を決定する(400)。ビデオデータの現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、ビデオエンコーダ200は、ブロックについての動きベクトルおよびブロックについての参照ピクチャを決定する。参照ピクチャはたとえば、PERPフォーマットのピクチャであってもよい。参照ピクチャの左側部分と参照ピクチャの右側部分が同じになるようにパディングされてもよい。
ビデオエンコーダ200は、ラップアラウンドオフセットの値に基づいて参照ピクチャにおける水平ラップアラウンド位置を決定する(404)。水平ラップアラウンド位置はたとえば、予測ブロックの左上角に対応してもよい。
ビデオエンコーダ200は、水平ラップアラウンド位置に基づいてブロックについての予測ブロックを決定する(406)。ビデオエンコーダ200はたとえば、さらに参照ピクチャについてのピクチャ幅およびピクチャ高さに基づいて参照ピクチャにおける水平ラップアラウンド位置を決定し、参照ピクチャについてのピクチャ幅およびピクチャ高さを特定する情報をPPSデータ構造に含める。
ビデオエンコーダ200は、現在のピクチャについてのPPSデータ構造にラップアラウンドオフセットの値を含める(408)。ラップアラウンドオフセットはたとえば、第1のサブピクチャについての第1のラップアラウンドオフセットであってもよく、ビデオエンコーダ200は、第1のサブピクチャと同じピクチャの一部である第2のサブピクチャについての第2のラップアラウンドオフセットの値をPPSデータ構造に含めるように構成されてもよい。ビデオエンコーダ200はたとえば、ブロックについて水平ラップアラウンド動き補償が有効化されると判定し、ブロックについて水平ラップアラウンド動き補償が有効化されることを示すシンタックス要素をPPSデータ構造に含め、ブロックについて水平ラップアラウンド動き補償が有効化されると判定したことに応じて、ラップアラウンドオフセットの値をPPSデータ構造に含める。
ビデオエンコーダ200は、PPSデータ構造を含む符号化済みビデオデータのビットストリームを出力する(410)。ビデオエンコーダ200は、符号化済みビデオデータのビットストリームにSPS ID値を有するSPSを含めてもよく、PPSデータ構造は、SPS ID値を特定するシンタックス要素を含んでもよい。ビデオエンコーダ200はたとえば、ビットストリームを復号および表示ができるように出力するかまたはビットストリームを後で復号できるように記憶することによって、符号化済みビデオデータのビットストリームを出力してもよい。
図10は、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。ビデオデータは、たとえば360度ビデオデータであってもよい。現在のブロックは現在のCUを含んでもよい。ビデオデコーダ300(図1および図6)に関して説明するが、他のデバイスが図10の方法に類似の方法を実施するように構成され得ることを理解されたい。
ビデオデコーダ300は、ビデオデータの現在のピクチャについてのPPSデータ構造からラップアラウンドオフセットの値を取得する(420)。ビデオデコーダ300はたとえば、PPSデータ構造におけるシンタックス要素を受信し、シンタックス要素の値に基づいてブロックについて水平ラップアラウンド動き補償が有効化されると判定し、ブロックについて水平ラップアラウンド動き補償が有効化されると判定したことに応じてラップアラウンドオフセットの値を受信してもよい。ビデオデコーダ300はまた、SPS ID値を有するSPSを含んでもよく、PPSデータ構造は、SPS ID値を特定するシンタックス要素を含んでもよい。ラップアラウンドオフセットはたとえば、第1のサブピクチャについての第1のラップアラウンドオフセットであってもよく、ビデオデコーダ300は、第2のサブピクチャについての第2のラップアラウンドオフセットの値をPPSデータ構造から取得するようにさらに構成されてもよく、第1のサブピクチャと第2のサブピクチャは同じピクチャのサブピクチャである。
現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、ビデオデコーダ300は、ブロックについての動きベクトルおよびブロックについての参照ピクチャを決定する(422)。参照ピクチャはたとえば、PERPフォーマットのピクチャであってもよい。参照ピクチャの左側部分と参照ピクチャの右側部分が同じになるようにパディングされてもよい。参照ピクチャは、現在のピクチャについてのPPSデータ構造から分離した関連するPPSデータ構造を有してもよい。
ビデオデコーダ300は、ラップアラウンドオフセットの値に基づいて参照ピクチャにおける水平ラップアラウンド位置を決定する(424)。水平ラップアラウンド位置はたとえば、予測ブロックの左上角に対応してもよい。ビデオデコーダ300はまた、参照ピクチャについてのピクチャ幅およびピクチャ高さを特定するPPSデータ構造における情報を受信し、さらに参照ピクチャについてのピクチャ幅およびピクチャ高さに基づいて参照ピクチャにおける水平ラップアラウンド位置を決定してもよい。
ビデオデコーダ300は、水平ラップアラウンド位置に基づいてブロックについての予測ブロックを決定する(426)。ビデオデコーダ300はまた、残差ブロックを決定し、残差ブロックを予測ブロックに加算してビデオデータの再構成ブロックを決定し、1つもしくは複数のフィルタを再構成ブロックに適用して最終復号済みブロックを決定し、最終復号済みブロックを含むビデオデータの復号済みピクチャを出力するように構成されてもよい。
以下の条項では、上述のデバイスおよび技法の特徴について説明する。
条項1: ビデオデータを復号する方法は、ピクチャパラメータセット(PPS)において1つもしくは複数のラップアラウンドオフセットを受信するステップと、本開示において説明する任意の技法または技法の組合せに従って1つまたは複数のラップアラウンドオフセットを処理するステップとを含む。
条項2: シーケンスパラメータセット(SPS) ID値を有するSPSを受信するステップであって、PPSが、SPS ID値を特定するシンタックス要素を含む、ステップをさらに含む、条項1に記載の方法。
条項3: ビデオデータを復号するためのデバイスであって、条項1または2に記載の方法を実施するための1つまたは複数の手段を備えるデバイス。
条項4: 1つまたは複数の手段が、回路において実装された1つまたは複数のプロセッサを備える、条項3に記載のデバイス。
条項5: ビデオデータを記憶するためのメモリをさらに備える、条項3または4に記載のデバイス。
条項6: 復号済みビデオデータを表示するように構成されたディスプレイをさらに備える、条項3から5のいずれか一項に記載のデバイス。
条項7: デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、条項3から6のいずれか一項に記載のデバイス。
条項8: デバイスは、ビデオデコーダを備える、条項3から7のいずれか一項に記載のデバイス。
条項9: ビデオデータを符号化する方法であって、本開示で説明する任意の技法または技法の組合せに従って1つまたは複数のラップアラウンドオフセットを決定するステップと、1つまたは複数のラップアラウンドオフセットを含むピクチャパラメータセットを生成するステップとを含む方法。
条項10: シーケンスパラメータセット(SPS) ID値を有するSPSを生成するステップであって、PPSが、SPS ID値を特定するシンタックス要素を含む、ステップをさらに含む、条項1に記載の方法。
条項11: ビデオデータを復号するためのデバイスであって、条項9または10に記載の方法を実施するための1つまたは複数の手段を備えるデバイス。
条項12: 1つまたは複数の手段が、回路において実装された1つまたは複数のプロセッサを備える、条項11に記載のデバイス。
条項13: ビデオデータを記憶するためのメモリをさらに備える、条項11または12に記載のデバイス。
条項14: ビデオデータを取り込むように構成されたカメラをさらに備える、条項11から13のいずれか一項に記載のデバイス。
条項15: デバイスは、カメラ、コンピュータ、またはモバイルデバイスのうちの1つまたは複数を備える、条項11から14のいずれか一項に記載のデバイス。
条項16: デバイスは、ビデオエンコーダを備える、条項11から15のいずれか一項に記載のデバイス。
条項17: 実行されたときに、1つまたは複数のプロセッサに条項1、2、9、または10のいずれか一項に記載の方法を実施させる命令が記憶されたコンピュータ可読記憶媒体。
条項18: ビデオデータをコーディングするためのデバイスは、条項1、2、9、または10のいずれか一項に記載の方法を実施するための手段を含む。
例に応じて、本明細書で説明する技法のいずれかのいくつかの作用またはイベントが、異なるシーケンスで実施される場合があり、追加され、統合され、または完全に除外されてもよい(たとえば、説明したすべての作用またはイベントが技法の実践にとって必要であるとは限らない)ことを認識されたい。さらに、いくつかの例では、作用またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して、同時に実施されてもよい。
1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せとして実装されてもよい。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を通じて送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は一般に、(1)非一時的な有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応してもよい。データ記憶媒体は、本開示で説明した技法の実装のための命令、コード、および/またはデータ構造を取り出すために、1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であってもよい。コンピュータプログラム製品がコンピュータ可読媒体を含んでもよい。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用でき、コンピュータによってアクセスすることができる任意の他の媒体を備えることができる。また、いかなる接続も適切にコンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他の同等の集積論理回路もしくはディスクリート論理回路などの、1つまたは複数のプロセッサによって実行されてもよい。したがって、本明細書で使用する「プロセッサ」および「処理回路構成」という用語は、上記の構造、または本明細書で説明する技法の実装に適した任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明する機能性は、符号化および復号のために構成された専用のハードウェアモジュールおよび/もしくはソフトウェアモジュール内で提供されてもよく、または複合コーデックに組み込まれてもよい。また、技法は、1つまたは複数の回路または論理要素において完全に実装され得る。
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置に実装されてもよい。開示される技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットについて本開示において説明したが、それらは必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わされてよく、または適切なソフトウェアおよび/もしくはファームウェアとともに、上で説明したような1つまたは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてよい。
様々な例について説明してきた。これらおよび他の例は、以下の特許請求の範囲内に入る。
100 システム
102 ソースデバイス
104 ビデオソース
106 メモリ
108 出力インターフェース
110 コンピュータ可読媒体
112 記憶デバイス
114 ファイルサーバ
116 宛先デバイス
118 ディスプレイデバイス
120 メモリ
122 入力インターフェース
130 QTBT構造
132 コーディングツリーユニット(CTU)
136 現在のPU
138 現在のピクチャ
140 動きベクトル
142 予測ブロック
144 コロケートされたPU
146 参照ピクチャ
148 ラップアラウンド参照サンプル
150 現在のピクチャ
152 参照ピクチャ
200 ビデオエンコーダ
202 モード選択ユニット
204 残差生成ユニット
206 変換処理ユニット
208 量子化ユニット
210 逆量子化ユニット
212 逆変換処理ユニット
214 再構成ユニット
216 フィルタユニット
218 復号済みピクチャバッファ(DPB)
220 エントロピー符号化ユニット
222 動き推定ユニット
224 補償ユニット
226 イントラ予測ユニット
230 ビデオデータメモリ
300 ビデオデコーダ
302 エントロピー復号ユニット
304 予測処理ユニット
306 逆量子化ユニット
308 逆変換処理ユニット
310 再構成ユニット
312 フィルタユニット
314 復号済みピクチャバッファ(DPB)
316 動き補償ユニット
318 イントラ予測ユニット
320 コーディング済みピクチャバッファ(CPB)メモリ
102 ソースデバイス
104 ビデオソース
106 メモリ
108 出力インターフェース
110 コンピュータ可読媒体
112 記憶デバイス
114 ファイルサーバ
116 宛先デバイス
118 ディスプレイデバイス
120 メモリ
122 入力インターフェース
130 QTBT構造
132 コーディングツリーユニット(CTU)
136 現在のPU
138 現在のピクチャ
140 動きベクトル
142 予測ブロック
144 コロケートされたPU
146 参照ピクチャ
148 ラップアラウンド参照サンプル
150 現在のピクチャ
152 参照ピクチャ
200 ビデオエンコーダ
202 モード選択ユニット
204 残差生成ユニット
206 変換処理ユニット
208 量子化ユニット
210 逆量子化ユニット
212 逆変換処理ユニット
214 再構成ユニット
216 フィルタユニット
218 復号済みピクチャバッファ(DPB)
220 エントロピー符号化ユニット
222 動き推定ユニット
224 補償ユニット
226 イントラ予測ユニット
230 ビデオデータメモリ
300 ビデオデコーダ
302 エントロピー復号ユニット
304 予測処理ユニット
306 逆量子化ユニット
308 逆変換処理ユニット
310 再構成ユニット
312 フィルタユニット
314 復号済みピクチャバッファ(DPB)
316 動き補償ユニット
318 イントラ予測ユニット
320 コーディング済みピクチャバッファ(CPB)メモリ
Claims (43)
- ビデオデータを復号する方法であって、
前記ビデオデータの現在のピクチャについてのピクチャパラメータセット(PPS)データ構造からラップアラウンドオフセットの値を取得するステップと、
前記現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、前記ブロックについての動きベクトルおよび前記ブロックについての参照ピクチャを決定するステップと、
前記ラップアラウンドオフセットの前記値に基づいて前記参照ピクチャにおける水平ラップアラウンド位置を決定するステップと、
前記水平ラップアラウンド位置に基づいて前記ブロックについての予測ブロックを決定するステップとを含む方法。 - 前記PPSデータ構造におけるシンタックス要素を受信するステップと、
前記シンタックス要素の値に基づいて、前記ブロックについて水平ラップアラウンド動き補償が有効化されると判定するステップと、
前記ブロックについて前記水平ラップアラウンド動き補償が有効化されると判定したことに応じて、前記ラップアラウンドオフセットの前記値を受信するステップとをさらに含む、請求項1に記載の方法。 - 前記参照ピクチャについてのピクチャ幅およびピクチャ高さを特定する前記PPSデータ構造における情報を受信するステップと、
さらに前記参照ピクチャについての前記ピクチャ幅および前記ピクチャ高さに基づいて前記参照ピクチャにおける前記水平ラップアラウンド位置を決定するステップとをさらに含む、請求項1に記載の方法。 - 前記ビデオデータは、360度ビデオデータを含む、請求項1に記載の方法。
- 前記参照ピクチャは、パディング後正距円筒図法(PERP)フォーマットのピクチャを含む、請求項1に記載の方法。
- 前記参照ピクチャの左側部分と前記参照ピクチャの右側部分が同じになるようにパディングされる、請求項1に記載の方法。
- シーケンスパラメータセット(SPS) ID値を有するSPSを受信するステップであって、前記PPSデータ構造が、前記SPS ID値を特定するシンタックス要素を含み、前記ブロックが、前記PPSデータ構造を参照するスライスに属する、ステップをさらに含む、請求項1に記載の方法。
- 前記参照ピクチャは、前記現在のピクチャについての前記PPSデータ構造から分離した関連するPPSデータ構造を有する、請求項1に記載の方法。
- 前記水平ラップアラウンド位置は、前記予測ブロックの左上角に対応する、請求項1に記載の方法。
- 前記ラップアラウンドオフセットは、第1のサブピクチャについての第1のラップアラウンドオフセットを含み、前記方法は、
第2のサブピクチャについての第2のラップアラウンドオフセットの値を前記PPSデータ構造から取得するステップであって、前記第1のサブピクチャと前記第2のサブピクチャが同じピクチャのサブピクチャである、ステップをさらに含む、請求項1に記載の方法。 - 残差ブロックを決定するステップと、
前記残差ブロックを前記予測ブロックに加算してビデオデータの再構成ブロックを決定するステップと、
前記再構成ブロックに1つまたは複数のフィルタを適用して最終復号済みブロックを決定するステップと、
前記最終復号済みブロックを含む前記ビデオデータの復号済みピクチャを出力するステップとをさらに含む、請求項1に記載の方法。 - 前記動きベクトルは、前記参照ピクチャの境界の外側のサンプルを指し示す、請求項1に記載の方法。
- 前記動きベクトルは、前記参照ピクチャの境界の外側のサンプルを使用する補間演算によって決定される補間サンプルを指し示す、請求項1に記載の方法。
- ビデオデータを復号するためのデバイスであって、
前記ビデオデータを記憶するように構成されたメモリと、
回路において実装された1つまたは複数のプロセッサであって、
前記ビデオデータの現在のピクチャについてのピクチャパラメータセット(PPS)データ構造からラップアラウンドオフセットの値を取得することと、
前記現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、前記ブロックについての動きベクトルおよび前記ブロックについての参照ピクチャを決定することであって、前記ブロックが、前記PPSデータ構造を参照するスライスに属する、参照ピクチャを決定することと、
前記ラップアラウンドオフセットの前記値に基づいて前記参照ピクチャにおける水平ラップアラウンド位置を決定することと、
前記水平ラップアラウンド位置に基づいて前記ブロックについての予測ブロックを決定することとを行うように構成された1つまたは複数のプロセッサとを備えるデバイス。 - 前記1つまたは複数のプロセッサは、
前記PPSデータ構造におけるシンタックス要素を受信することと、
前記シンタックス要素の値に基づいて、前記ブロックについて水平ラップアラウンド動き補償が有効化されると判定することと、
前記ブロックについて前記水平ラップアラウンド動き補償が有効化されると判定したことに応じて、前記ラップアラウンドオフセットの前記値を受信することとを行うようにさらに構成される、請求項14に記載のデバイス。 - 前記1つまたは複数のプロセッサは、
前記参照ピクチャについてのピクチャ幅およびピクチャ高さを特定する前記PPSデータ構造における情報を受信することと、
さらに前記参照ピクチャについての前記ピクチャ幅および前記ピクチャ高さに基づいて前記参照ピクチャにおける前記水平ラップアラウンド位置を決定することとを行うようにさらに構成される、請求項14に記載のデバイス。 - 前記ビデオデータは、360度ビデオデータを含む、請求項14に記載のデバイス。
- 前記参照ピクチャは、パディング後正距円筒図法(PERP)フォーマットのピクチャを含む、請求項14に記載のデバイス。
- 前記参照ピクチャの左側部分と前記参照ピクチャの右側部分が同じになるようにパディングされる、請求項14に記載のデバイス。
- 前記1つまたは複数のプロセッサは、
シーケンスパラメータセット(SPS) ID値を有するSPSを受信することであって、前記PPSデータ構造が、前記SPS ID値を特定するシンタックス要素を含み、前記ブロックが、前記PPSデータ構造を参照するスライスに属する、受信することを行うようにさらに構成される、請求項14に記載のデバイス。 - 前記参照ピクチャは、前記現在のピクチャについての前記PPSデータ構造から分離した関連するPPSデータ構造を有する、請求項14に記載のデバイス。
- 前記水平ラップアラウンド位置は、前記予測ブロックの左上角に対応する、請求項14に記載のデバイス。
- 前記ラップアラウンドオフセットは、第1のサブピクチャについての第1のラップアラウンドオフセットを含み、前記1つまたは複数のプロセッサは、
第2のサブピクチャについての第2のラップアラウンドオフセットの値を前記PPSデータ構造から取得することであって、前記第1のサブピクチャと前記第2のサブピクチャが同じピクチャのサブピクチャである、取得することを行うようにさらに構成される、請求項14に記載のデバイス。 - 前記1つまたは複数のプロセッサは、
残差ブロックを決定することと、
前記残差ブロックを前記予測ブロックに加算してビデオデータの再構成ブロックを決定することと、
前記再構成ブロックに1つまたは複数のフィルタを適用して最終復号済みブロックを決定することと、
前記最終復号済みブロックを含む前記ビデオデータの復号済みピクチャを出力することとを行うようにさらに構成される、請求項14に記載のデバイス。 - ワイヤレス通信デバイスを備え、符号化済みビデオデータを受信するように構成された受信機をさらに備える、請求項14に記載のデバイス。
- 前記ワイヤレス通信デバイスが電話ハンドセットを備え、前記受信機が、ワイヤレス通信規格に従って、前記符号化済みビデオデータを含む信号を復調するように構成される、請求項25に記載のデバイス。
- 復号済みビデオデータを表示するように構成されるディスプレイをさらに備える、請求項14に記載のデバイス。
- 前記デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、請求項14に記載のデバイス。
- 前記動きベクトルは、前記参照ピクチャの境界の外側のサンプルを指し示す、請求項14に記載のデバイス。
- 前記動きベクトルは、前記参照ピクチャの境界の外側のサンプルを使用する補間演算によって決定される補間サンプルを指し示す、請求項14に記載のデバイス。
- 命令を記憶するコンピュータ可読記憶媒体であって、前記命令が、1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
ビデオデータの現在のピクチャについてのピクチャパラメータセット(PPS)データ構造からラップアラウンドオフセットの値を取得することと、
前記現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、前記ブロックについての動きベクトルおよび前記ブロックについての参照ピクチャを決定することであって、前記ブロックが、前記PPSデータ構造を参照するスライスに属する、参照ピクチャを決定することと、
前記ラップアラウンドオフセットの前記値に基づいて前記参照ピクチャにおける水平ラップアラウンド位置を決定することと、
前記水平ラップアラウンド位置に基づいて前記ブロックについての予測ブロックを決定することとを行わせるコンピュータ可読記憶媒体。 - ビデオデータを符号化するためのデバイスであって、
前記ビデオデータを記憶するように構成されたメモリと、
回路において実装された1つまたは複数のプロセッサであって、
ラップアラウンドオフセットの値を決定することと、
現在のピクチャのブロックがインター予測モードで符号化されると判定したことに応じて、前記ブロックについての動きベクトルおよび前記ブロックについての参照ピクチャを決定することと、
前記ラップアラウンドオフセットの前記値に基づいて前記参照ピクチャにおける水平ラップアラウンド位置を決定することと、
前記水平ラップアラウンド位置に基づいて前記ブロックについての予測ブロックを決定することと、
前記ビデオデータの前記現在のピクチャについてのピクチャパラメータセット(PPS)データ構造にラップアラウンドオフセットの値を含めることと、
前記PPSデータ構造を含む符号化済みビデオデータのビットストリームを出力することとを行うように構成された1つまたは複数のプロセッサとを備えるデバイス。 - 前記1つまたは複数のプロセッサは、
前記ブロックについて水平ラップアラウンド動き補償が有効化されると判定することと、
前記PPSデータ構造にシンタックス要素を含めることであって、前記シンタックス要素が、前記ブロックについて前記水平ラップアラウンド動き補償が有効化されることを示す値に設定される、シンタックス要素を含めることと、
前記ブロックについて前記水平ラップアラウンド動き補償が有効化されると判定したことに応じて、前記ラップアラウンドオフセットの前記値を前記PPSデータ構造に含めることとを行うようにさらに構成される、請求項32に記載のデバイス。 - 前記1つまたは複数のプロセッサは、
さらに前記参照ピクチャについてのピクチャ幅およびピクチャ高さに基づいて前記参照ピクチャにおける前記水平ラップアラウンド位置を決定することと、
前記参照ピクチャについての前記ピクチャ幅および前記ピクチャ高さを特定する情報を前記PPSデータ構造に含めることとを行うようにさらに構成される、請求項32に記載のデバイス。 - 前記ビデオデータは、360度ビデオデータを含む、請求項32に記載のデバイス。
- 前記参照ピクチャは、パディング後正距円筒図法(PERP)フォーマットのピクチャを含む、請求項32に記載のデバイス。
- 前記参照ピクチャの左側部分と前記参照ピクチャの右側部分が同じになるようにパディングされる、請求項32に記載のデバイス。
- 前記1つまたは複数のプロセッサは、
シーケンスパラメータセット(SPS) ID値を有するSPSを前記符号化済みビデオデータのビットストリームに含めることであって、前記PPSデータ構造が、前記SPS ID値を特定するシンタックス要素を含む、SPSを含めることを行うようにさらに構成される、請求項32に記載のデバイス。 - 前記水平ラップアラウンド位置は、前記予測ブロックの左上角に対応する、請求項32に記載のデバイス。
- 前記ラップアラウンドオフセットは、第1のサブピクチャについての第1のラップアラウンドオフセットを含み、前記1つまたは複数のプロセッサは、
第2のサブピクチャについての第2のラップアラウンドオフセットの値を前記PPSデータ構造に含めることであって、前記第1のサブピクチャと前記第2のサブピクチャが同じピクチャのサブピクチャである、値を含めることを行うようにさらに構成される、請求項32に記載のデバイス。 - ワイヤレス通信デバイスを備え、前記符号化済みビデオデータのビットストリームを送信するように構成された送信機をさらに備える、請求項32に記載のデバイス。
- 前記ワイヤレス通信デバイスは、電話ハンドセットを備え、前記送信機は、ワイヤレス通信規格に従って、前記符号化済みビデオデータのビットストリームを含む信号を変調するように構成される、請求項41に記載のデバイス。
- 前記デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、請求項32に記載のデバイス。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962954341P | 2019-12-27 | 2019-12-27 | |
| US62/954,341 | 2019-12-27 | ||
| US17/131,192 | 2020-12-22 | ||
| US17/131,192 US11425420B2 (en) | 2019-12-27 | 2020-12-22 | Wraparound offsets for reference picture resampling in video coding |
| PCT/US2020/066952 WO2021133979A1 (en) | 2019-12-27 | 2020-12-23 | Wraparound offsets for reference picture resampling in video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023508368A true JP2023508368A (ja) | 2023-03-02 |
| JPWO2021133979A5 JPWO2021133979A5 (ja) | 2023-12-19 |
Family
ID=76546772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022538851A Pending JP2023508368A (ja) | 2019-12-27 | 2020-12-23 | ビデオコーディングにおける参照ピクチャリサンプリングのためのラップアラウンドオフセット |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US11425420B2 (ja) |
| EP (1) | EP4082203A1 (ja) |
| JP (1) | JP2023508368A (ja) |
| KR (1) | KR20220115962A (ja) |
| CN (1) | CN114846796A (ja) |
| IL (1) | IL293447A (ja) |
| TW (1) | TW202131676A (ja) |
| WO (1) | WO2021133979A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114868393A (zh) | 2019-12-17 | 2022-08-05 | 阿里巴巴集团控股有限公司 | 执行环绕运动补偿的方法 |
| US11418804B2 (en) * | 2019-12-31 | 2022-08-16 | Tencent America LLC | Method for wrap around motion compensation with reference picture resampling |
| US11368708B2 (en) * | 2020-01-08 | 2022-06-21 | Tencent America LLC | Method for combination of wrap-around offset and reference picture resampling |
| US11412253B2 (en) * | 2020-02-24 | 2022-08-09 | Alibaba Group Holding Limited | Methods for combining decoder side motion vector refinement with wrap-around motion compensation |
| JP2023521295A (ja) * | 2020-03-26 | 2023-05-24 | アリババ グループ ホウルディング リミテッド | 映像符号化データをシグナリングするための方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10915986B2 (en) * | 2017-03-20 | 2021-02-09 | Qualcomm Incorporated | Adaptive perturbed cube map projection |
| US11252434B2 (en) * | 2018-12-31 | 2022-02-15 | Tencent America LLC | Method for wrap-around padding for omnidirectional media coding |
| US11539939B2 (en) * | 2019-11-27 | 2022-12-27 | Hfi Innovation Inc. | Video processing methods and apparatuses for horizontal wraparound motion compensation in video coding systems |
| CN114868393A (zh) * | 2019-12-17 | 2022-08-05 | 阿里巴巴集团控股有限公司 | 执行环绕运动补偿的方法 |
-
2020
- 2020-12-22 US US17/131,192 patent/US11425420B2/en active Active
- 2020-12-23 JP JP2022538851A patent/JP2023508368A/ja active Pending
- 2020-12-23 CN CN202080088830.8A patent/CN114846796A/zh active Pending
- 2020-12-23 WO PCT/US2020/066952 patent/WO2021133979A1/en active Application Filing
- 2020-12-23 KR KR1020227020803A patent/KR20220115962A/ko unknown
- 2020-12-23 EP EP20842894.6A patent/EP4082203A1/en active Pending
- 2020-12-23 IL IL293447A patent/IL293447A/en unknown
- 2020-12-24 TW TW109145921A patent/TW202131676A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220115962A (ko) | 2022-08-19 |
| IL293447A (en) | 2022-07-01 |
| TW202131676A (zh) | 2021-08-16 |
| WO2021133979A1 (en) | 2021-07-01 |
| US20210203988A1 (en) | 2021-07-01 |
| CN114846796A (zh) | 2022-08-02 |
| EP4082203A1 (en) | 2022-11-02 |
| US11425420B2 (en) | 2022-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11350083B2 (en) | Intra block copy merging data syntax for video coding | |
| US11563980B2 (en) | General constraint information syntax in video coding | |
| US11095916B2 (en) | Wraparound motion compensation in video coding | |
| US11490099B2 (en) | Reference subpicture scaling ratios for subpictures in video coding | |
| JP2022533664A (ja) | ビデオコーディングのためのマージモードコーディング | |
| US20210099702A1 (en) | Low-frequency non-separable transform (lfnst) simplifications | |
| US20210235124A1 (en) | Decoded picture buffer (dpb) parameter signaling for video coding | |
| US11425420B2 (en) | Wraparound offsets for reference picture resampling in video coding | |
| US11659207B2 (en) | General constraints of syntax elements for video coding | |
| US11496771B2 (en) | Reference picture list and collocated picture signaling in video coding | |
| US20210368209A1 (en) | General constraint information signaling in video coding | |
| US11589037B2 (en) | Motion compensation using size of reference picture | |
| US11563963B2 (en) | Determining whether to code picture header data of pictures of video data in slice headers | |
| US20220201322A1 (en) | Multiple hypothesis prediction for video coding | |
| US11395014B2 (en) | Transform unit design for video coding | |
| US20230199226A1 (en) | High-level constraints for transform skip blocks in video coding | |
| US11418787B2 (en) | Chroma delta QP in video coding | |
| US11457229B2 (en) | LFNST signaling for chroma based on chroma transform skip | |
| US11330305B2 (en) | Signaling constraints and sequence parameter set sharing in video coding | |
| US11863787B2 (en) | Maximum allowed block size for BDPCM mode | |
| US20210203930A1 (en) | Monochrome palette mode for video coding | |
| JP2022552173A (ja) | ビデオコーディングのための変換スキップにおける残差値のためのコーディング方式をシグナリングすること | |
| JP2022537155A (ja) | ビデオコーディングにおけるｄｃイントラモード予測 | |
| US11412264B2 (en) | Parameter set signaling for video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231208 |