JP2023508895A - 仮想境界及びラップアラウンド動き補償をシグナリングするための方法 - Google Patents
仮想境界及びラップアラウンド動き補償をシグナリングするための方法 Download PDFInfo
- Publication number
- JP2023508895A JP2023508895A JP2022537463A JP2022537463A JP2023508895A JP 2023508895 A JP2023508895 A JP 2023508895A JP 2022537463 A JP2022537463 A JP 2022537463A JP 2022537463 A JP2022537463 A JP 2022537463A JP 2023508895 A JP2023508895 A JP 2023508895A
- Authority
- JP
- Japan
- Prior art keywords
- pictures
- picture
- signaled
- virtual
- boundaries
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 139
- 230000033001 locomotion Effects 0.000 title claims description 75
- 230000011664 signaling Effects 0.000 title description 30
- 238000012545 processing Methods 0.000 claims abstract description 79
- 230000004044 response Effects 0.000 claims abstract description 41
- 238000001914 filtration Methods 0.000 claims abstract description 32
- 238000012952 Resampling Methods 0.000 claims description 50
- 230000008859 change Effects 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 14
- 238000003672 processing method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 80
- 241000023320 Luma <angiosperm> Species 0.000 description 50
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 50
- 238000013139 quantization Methods 0.000 description 23
- 230000002123 temporal effect Effects 0.000 description 22
- 230000003044 adaptive effect Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000013213 extrapolation Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000006837 decompression Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 229920000069 polyphenylene sulfide Polymers 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 1
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002490 spark plasma sintering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Abstract
本開示は、ピクチャ処理のための方法を提供する。この方法は、ピクチャのセットを含むビットストリームを受信すること、受信されたビットストリームに従い、ピクチャのセットに関してシーケンスレベルで仮想境界がシグナリングされるかどうかを判定すること、シーケンスレベルで仮想境界がシグナリングされることに応答して、ピクチャのセットに関する仮想境界の位置を決定することであって、位置は、受信されたビットストリーム内でシグナリングされる範囲によって制限されること、及び仮想境界を横断するインループフィルタリング演算を無効にすることを含み得る。
Description
関連出願の相互参照
[001] 本開示は、参照によりその全体が本明細書に援用される、２０１９年１２月３０日に出願された米国仮特許出願第６２／９５４，８２８号に対する優先権を主張する。
[001] 本開示は、参照によりその全体が本明細書に援用される、２０１９年１２月３０日に出願された米国仮特許出願第６２／９５４，８２８号に対する優先権を主張する。
技術分野
[002] 本開示は、概して、映像処理に関し、より詳細には、仮想境界及びラップアラウンド動き補償をシグナリングするための方法に関する。
[002] 本開示は、概して、映像処理に関し、より詳細には、仮想境界及びラップアラウンド動き補償をシグナリングするための方法に関する。
背景
[003] 映像は、視覚情報を取り込んだ静的ピクチャ（又は「フレーム」）のセットである。記憶メモリ及び伝送帯域幅を低減するために、映像を記憶又は伝送前に圧縮し、表示前に復元することができる。圧縮プロセスは、通常、符号化と称され、復元プロセスは、通常、復号化と称される。最も一般的には、予測、変換、量子化、エントロピー符号化及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、高効率ビデオコーディング（ＨＥＶＣ／Ｈ．２６５）規格、多用途ビデオコーディング（ＶＶＣ／Ｈ．２６６）規格、及びＡＶＳ規格などの映像符号化規格が標準化機関によって開発されている。進化した映像符号化技術が映像規格に次々と採用されるに従って、新たな映像符号化規格の符号化効率が一層高くなる。
[003] 映像は、視覚情報を取り込んだ静的ピクチャ（又は「フレーム」）のセットである。記憶メモリ及び伝送帯域幅を低減するために、映像を記憶又は伝送前に圧縮し、表示前に復元することができる。圧縮プロセスは、通常、符号化と称され、復元プロセスは、通常、復号化と称される。最も一般的には、予測、変換、量子化、エントロピー符号化及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、高効率ビデオコーディング（ＨＥＶＣ／Ｈ．２６５）規格、多用途ビデオコーディング（ＶＶＣ／Ｈ．２６６）規格、及びＡＶＳ規格などの映像符号化規格が標準化機関によって開発されている。進化した映像符号化技術が映像規格に次々と採用されるに従って、新たな映像符号化規格の符号化効率が一層高くなる。
[004] 本開示は、ピクチャ処理のための方法を提供する。この方法は、ピクチャのセットを含むビットストリームを受信すること、受信されたビットストリームに従い、ピクチャのセットに関してシーケンスレベルで仮想境界がシグナリングされるかどうかを判定すること、シーケンスレベルで仮想境界がシグナリングされることに応答して、ピクチャのセットに関する仮想境界の位置を決定することであって、位置は、受信されたビットストリーム内でシグナリングされる範囲によって制限されること、及び仮想境界を横断するインループフィルタリング演算を無効にすることを含み得る。
[005] 本開示の実施形態は、ピクチャ処理のための機器をさらに提供する。この機器は、命令のセットを記憶するメモリと、１つ以上のプロセッサとを含み得、１つ以上のプロセッサは、ピクチャのセットを含むビットストリームを受信すること、受信されたビットストリームに従い、ピクチャのセットに関してシーケンスレベルで仮想境界がシグナリングされるかどうかを判定すること、シーケンスレベルで仮想境界がシグナリングされることに応答して、ピクチャのセットに関する仮想境界の位置を決定することであって、位置は、受信されたビットストリーム内でシグナリングされる範囲によって制限されること、及び仮想境界を横断するインループフィルタリング演算を無効にすることを機器に行わせるために命令のセットを実行するように構成される。
[006] 本開示の実施形態は、命令のセットを記憶する非一時的コンピュータ可読媒体をさらに提供し、命令のセットは、ピクチャ処理方法をコンピュータに行わせるためにコンピュータの少なくとも１つのプロセッサによって実行可能であり、当該方法は、ピクチャのセットを含むビットストリームを受信すること、受信されたビットストリームに従い、ピクチャのセットに関してシーケンスレベルで仮想境界がシグナリングされるかどうかを判定すること、シーケンスレベルで仮想境界がシグナリングされることに応答して、ピクチャのセットに関する仮想境界の位置を決定することであって、位置は、受信されたビットストリーム内でシグナリングされる範囲によって制限されること、及び仮想境界を横断するインループフィルタリング演算を無効にすることを含む。
図面の簡単な説明
[007] 本開示の実施形態及び様々な態様が以下の詳細な説明及び添付の図において例示される。図に示される様々な特徴は、原寸に比例して描かれていない。
[007] 本開示の実施形態及び様々な態様が以下の詳細な説明及び添付の図において例示される。図に示される様々な特徴は、原寸に比例して描かれていない。
詳細な説明
[026] ここで、添付の図面に例が示された例示的な実施形態を詳細に参照する。以下の説明は、添付の図面を参照し、図面において、異なる図面における同じ符号は、別途示されない限り、同じ又は同様の要素を表す。例示的な実施形態の以下の説明において示される実装形態は、本開示に従う全ての実装形態を表すものではない。むしろ、それらは、添付の請求項において列挙されるとおりの本開示に関連する態様に従う機器及び方法の単なる例にすぎない。本開示の特定の態様が以下でより詳細に説明される。参照により組み込まれる用語及び／又は定義と矛盾する場合、本明細書において提供される用語及び定義が優先する。
[026] ここで、添付の図面に例が示された例示的な実施形態を詳細に参照する。以下の説明は、添付の図面を参照し、図面において、異なる図面における同じ符号は、別途示されない限り、同じ又は同様の要素を表す。例示的な実施形態の以下の説明において示される実装形態は、本開示に従う全ての実装形態を表すものではない。むしろ、それらは、添付の請求項において列挙されるとおりの本開示に関連する態様に従う機器及び方法の単なる例にすぎない。本開示の特定の態様が以下でより詳細に説明される。参照により組み込まれる用語及び／又は定義と矛盾する場合、本明細書において提供される用語及び定義が優先する。
[027] 上述のとおり、映像は、視覚情報を記憶するために時系列で配列されたフレームである。映像取り込みデバイス（例えば、カメラ）を、それらのピクチャを時系列で取り込んで記憶するために用いることができ、映像再生デバイス（例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ又は表示機能を有する任意のエンドユーザ端末）を、このようなピクチャを時系列で表示するために用いることができる。また、一部の用途では、映像取り込みデバイスは、取り込まれた映像を、監督、会議開催又は生放送などのために映像再生デバイス（例えば、モニタを有するコンピュータ）にリアルタイムで伝送することができる。
[028] このような用途によって必要とされる記憶空間及び伝送帯域幅を低減するために、映像を記憶及び伝送前に圧縮し、表示前に復元することができる。圧縮及び復元は、プロセッサ（例えば、汎用コンピュータのプロセッサ）によって実行されるソフトウェア又は特殊ハードウェアによって実施され得る。圧縮のためのモジュールは、一般的に、「符号器」と称され、復元のためのモジュールは、一般的に、「復号器」と称される。符号器及び復号器は、まとめて「コーデック」と称され得る。符号器及び復号器は、種々の好適なハードウェア、ソフトウェア、又はこれらの組み合わせの任意のものとして実施することができる。例えば、符号器及び復号器のハードウェア実装形態は、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、個別論理、又はこれらの任意の組み合わせなどの回路機構を含むことができる。符号器及び復号器のソフトウェア実装形態は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体内に固定された任意の好適なコンピュータ実施アルゴリズム若しくはプロセスを含むことができる。一部の用途では、コーデックは、映像を第１の符号化規格から復元し、復元された映像を、第２の符号化規格を用いて再圧縮することができる。この場合、コーデックは、「トランスコーダ」と称され得る。
[029] 映像符号化プロセスは、ピクチャを再構成するために用いることができる有用な情報を識別して維持し、再構成のために重要でない情報を無視することができる。無視された重要でない情報を完全に再構成することができない場合、このような符号化プロセスは、「非可逆」と称され得る。さもなければ、それは、「可逆」と称され得る。大抵の符号化プロセスは、非可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を低減するためのトレードオフである。
[030] 符号化中のピクチャ（「現在のピクチャ」と称される）の有用な情報は、参照ピクチャ（例えば、以前に符号化され、再構成されたピクチャ）に対する変化を含む。このような変化は、ピクセルの位置の変化、明るさの変化、又は色の変化を含むことができ、これらの中でも、位置の変化が最も重要である。オブジェクトを表現するピクセルのグループの位置の変化は、参照ピクチャと現在のピクチャとの間のオブジェクトの動きを反映することができる。
[031] 別のピクチャを参照することなく符号化されたピクチャ（すなわちそれがそれ自身の参照ピクチャである）は、「Ｉピクチャ」と称される。以前のピクチャを参照ピクチャとして用いて符号化されたピクチャは、「Ｐピクチャ」と称される。以前のピクチャ及び将来のピクチャの両方を参照ピクチャとして用いて符号化されたピクチャ（すなわち、参照は、「双方向性」である）は、「Ｂピクチャ」と称される。
[032] 半分の帯域幅を用いてＨＥＶＣ／Ｈ．２６５と同じ主観的品質を達成するために、ＪＶＥＴは、共同探索モデル（ＪＥＭ）参照ソフトウェアを用いて、ＨＥＶＣを超える技術を開発している。符号化技術がＪＥＭに組み込まれたため、ＪＥＭは、ＨＥＶＣよりも実質的に高い符号化性能を達成した。
[033] ＶＶＣ規格は、より優れた圧縮性能をもたらすより多くの符号化技術を引き続き含んでいる。ＶＶＣは、ＨＥＶＣ、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ２、Ｈ．２６３などの現代的な映像圧縮規格において用いられてきた同じハイブリッド映像符号化システムに基づく。３６０度映像などのアプリケーションでは、特定の投影フォーマットのレイアウトが複数の面を通常有する。例えば、ＭＰＥＧ－Ｉパート２：全方向性メディアフォーマット（ＯＭＡＦ）は、面を６つ有するＣＭＰと名付けられたキューブマップベースの投影フォーマットを規格化する。複数の面を含む投影フォーマットに関して、どのような種類のコンパクトフレームパッキング構成が使用されるかに関係なく、フレームパックピクチャ内の２つ以上の隣接する面間に不連続性が生じる。この不連続性にわたってインループフィルタリング演算を実行した場合、レンダリング後の再構成映像内で面の継ぎ目のアーティファクトが見えるようになり得る。面の継ぎ目のアーティファクトを軽減するために、フレームパックピクチャ内の不連続性にわたるインループフィルタリング演算を無効にしなければならない。仮想境界を横断するインループフィルタリングを無効にしてアーティファクトを防ぐために、仮想境界は、３６０度映像のための符号化ツールの１つとして設定され得る。
[034] 図１は、本開示のいくつかの実施形態に係る、例示的な映像シーケンス１００の構造を示す。映像シーケンス１００は、ライブ映像又は取り込まれ、アーカイブされた映像であり得る。映像１００は、現実の映像、コンピュータ生成映像（例えば、コンピュータゲーム映像）、又はこれらの組み合わせ（例えば、拡張現実感効果を伴う現実の映像）であり得る。映像シーケンス１００は、映像取り込みデバイス（例えば、カメラ）、以前に取り込まれた映像を包含する映像アーカイブ（例えば、記憶デバイス内に記憶された映像ファイル）、又は映像コンテンツプロバイダからの映像を受信するための映像供給インターフェース（例えば、映像放送トランシーバ）から入力され得る。
[035] 図１に示されるように、映像シーケンス１００は、ピクチャ１０２、１０４、１０６及び１０８を含む、タイムラインに沿って時間的に配列された一連のピクチャを含むことができる。ピクチャ１０２～１０６は、連続しており、ピクチャ１０６及び１０８間にさらなるピクチャが存在する。図１において、ピクチャ１０２は、Ｉピクチャであり、その参照ピクチャは、ピクチャ１０２自身である。ピクチャ１０４は、Ｐピクチャであり、その参照ピクチャは、矢印によって指示されるように、ピクチャ１０２である。ピクチャ１０６は、Ｂピクチャであり、その参照ピクチャは、矢印によって指示されるように、ピクチャ１０４及び１０８である。一部の実施形態では、ピクチャ（例えば、ピクチャ１０４）の参照ピクチャは、そのピクチャの直前又は直後になくてもよい。例えば、ピクチャ１０４の参照ピクチャは、ピクチャ１０２の前のピクチャであり得る。ピクチャ１０２～１０６の参照ピクチャは、単なる例にすぎず、本開示は、参照ピクチャの実施形態を、図１に示される例として限定しないことに留意されたい。
[036] 典型的には、映像コーデックは、このようなタスクの計算の複雑性のため、ピクチャ全体を一度に符号化又は復号化しない。むしろ、それらは、ピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号化することができる。このような基本セグメントは、本開示において基本処理ユニット（「ＢＰＵ」）と称される。例えば、図１における構造１１０は、映像シーケンス１００のピクチャ（例えば、ピクチャ１０２～１０８の任意のもの）の例示的な構造を示す。構造１１０では、ピクチャが４×４基本処理ユニットに分割され、それらの境界は、破線として示されている。一部の実施形態では、基本処理ユニットは、いくつかの映像符号化規格（例えば、ＭＰＥＧファミリー、Ｈ．２６１、Ｈ．２６３若しくはＨ．２６４／ＡＶＣ）では「マクロブロック」と、又はいくつかの他の映像符号化規格（例えば、Ｈ．２６５／ＨＥＶＣ若しくはＨ．２６６／ＶＶＣ）では「符号化ツリーユニット」（「ＣＴＵ」）と称され得る。基本処理ユニットは、１２８×１２８、６４×６４、３２×３２、１６×１６、４×８、１６×３２など、ピクチャにおける可変サイズ又はピクセルの任意の随意の形状及びサイズを有することができる。基本処理ユニットのサイズ及び形状は、ピクチャのために、符号化効率と、基本処理ユニットにおいて維持されるべき詳細さのレベルとのバランスに基づいて選択することができる。
[037] 基本処理ユニットは、コンピュータメモリ内（例えば、映像フレームバッファ内）に記憶された異なる種類の映像データのグループを含むことができる論理ユニットであり得る。例えば、カラーピクチャの基本処理ユニットは、無色の輝度情報を表現するルマ成分（Ｙ）、色情報を表現する１つ以上のクロマ成分（例えば、Ｃｂ及びＣｒ）、及び関連構文要素を含むことができ、ここで、ルマ及びクロマ成分は、基本処理ユニットの同じサイズを有することができる。ルマ及びクロマ成分は、いくつかの映像符号化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、「符号化ツリーブロック」（「ＣＴＢ」）と称され得る。基本処理ユニットに対して遂行される任意の演算は、そのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。
[038] 映像符号化は、複数の演算段階を有し、図２Ａ～２Ｂ及び３Ａ～３Ｂにその例が詳細に示される。段階ごとに、基本処理ユニットのサイズは、依然として処理のために大きすぎるものになり得、そのため、本開示において「基本処理サブユニット」と称されるセグメントにさらに分割され得る。一部の実施形態では、基本処理サブユニットは、いくつかの映像符号化規格（例えば、ＭＰＥＧファミリー、Ｈ．２６１、Ｈ．２６３若しくはＨ．２６４／ＡＶＣ）では「ブロック」と、又はいくつかの他の映像符号化規格（例えば、Ｈ．２６５／ＨＥＶＣ若しくはＨ．２６６／ＶＶＣ）では「符号化ユニット」（「ＣＵ」）と称され得る。基本処理サブユニットは、基本処理ユニットと同じであるか又はそれよりも小さいサイズを有することができる。基本処理ユニットと同様に、基本処理サブユニットも、コンピュータメモリ内（例えば、映像フレームバッファ内）に記憶された異なる種類の映像データ（例えば、Ｙ、Ｃｂ、Ｃｒ及び関連構文要素）のグループを含むことができる論理ユニットである。基本処理サブユニットに対して遂行される任意の動作は、そのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。このような分割は、処理の必要に応じてさらなるレベルまで遂行され得ることに留意されたい。また、異なる段階は、異なる方式を用いて基本処理ユニットを分割できることにも留意されたい。
[039] 例えば、モード決定段階（図２Ｂにその例が詳細に示される）において、符号器は、どのような予測モード（例えば、イントラピクチャ予測又はインターピクチャ予測）を基本処理ユニットのために用いるかを決定することができるが、基本処理ユニットは、このような決定を行うには大きすぎるものになり得る。符号器は、基本処理ユニットを複数の基本処理サブユニット（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣの場合のように、ＣＵ）に分割し、個々の基本処理サブユニットごとに予測の種類を決めることができる。
[040] 別の例として、予測段階（図２Ａ～２Ｂにその例が詳細に示される）において、符号器は、基本処理サブユニット（例えば、ＣＵ）のレベルで予測演算を遂行することができる。しかし、場合により、基本処理サブユニットは、依然として処理するには大きすぎるものになり得る。符号器は、基本処理サブユニットをより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは「予測ブロック」又は「ＰＢ」と称される）にさらに分割することができ、そのレベルで予測演算が遂行され得る。
[041] 別の例として、変換段階（図２Ａ～２Ｂにその例が詳細に示される）において、符号器は、残差基本処理サブユニット（例えば、ＣＵ）のための変換演算を遂行することができる。しかし、場合により、基本処理サブユニットは、依然として処理するには大きすぎるものになり得る。符号器は、基本処理サブユニットをより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは「変換ブロック」又は「ＴＢ」と称される）にさらに分割することができ、そのレベルで変換演算が遂行され得る。同じ基本処理サブユニットの分割方式は、予測段階及び変換段階において異なり得ることに留意されたい。例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは、同じＣＵの予測ブロック及び変換ブロックが異なるサイズ及び数を有し得る。
[042] 図１の構造１１０では、基本処理ユニット１１２は、３×３基本処理サブユニットにさらに分割され、それらの境界は、点線として示されている。同じピクチャの異なる基本処理ユニットは、異なる方式で基本処理サブユニットに分割され得る。
[043] 一部の実装形態では、並列処理及び誤り耐性の能力を映像符号化及び復号化にもたらすために、ピクチャを処理のための領域に分割することができ、これにより、符号化又は復号化プロセスは、ピクチャ領域に関して、ピクチャのいかなる他の領域からの情報にも依存しなくてすむ。換言すれば、ピクチャの各領域は、独立して処理され得る。そうすることにより、コーデックは、ピクチャの異なる領域を並行して処理することができ、そうすることで、符号化効率を増大させる。また、領域のデータが処理中に破損したか、又はネットワーク伝送中に失われたとき、コーデックは、破損した又は失われたデータを依存することなく、同じピクチャの他の領域を正しく符号化又は復号化することもでき、そうすることで、誤り耐性の能力をもたらす。いくつかの映像符号化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、Ｈ．２６５／ＨＥＶＣ及びＨ．２６６／ＶＶＣは２種類の領域：「スライス」及び「タイル」を提供する。また、映像シーケンス１００の異なるピクチャは、ピクチャを領域に分割するための異なる区分方式を有し得ることにも留意されたい。
[044] 例えば、図１では、構造１１０は、３つの領域１１４、１１６及び１１８に分割され、それらの境界は、構造１１０の内部の実線として示されている。領域１１４は、４つの基本処理ユニットを含む。領域１１６及び１１８の各々は、６つの基本処理ユニットを含む。図１における構造１１０の基本処理ユニット、基本処理サブユニット、及び領域は、単なる例にすぎず、本開示は、その実施形態を限定しないことに留意されたい。
[045] 図２Ａは、本開示の実施形態に従う、例示的な符号化プロセス２００Ａの概略図を示す。例えば、符号化プロセス２００Ａは、符号器によって遂行され得る。図２Ａに示されるように、符号器は、プロセス２００Ａに従って映像シーケンス２０２を映像ビットストリーム２２８に符号化することができる。図１における映像シーケンス１００と同様に、映像シーケンス２０２は、時間的順序で配列されたピクチャ（「原ピクチャ」と称される）のセットを含むことができる。図１における構造１１０と同様に、映像シーケンス２０２の各原ピクチャは、符号器によって処理のために基本処理ユニット、基本処理サブユニット、又は領域に分割され得る。一部の実施形態では、符号器は、映像シーケンス２０２の原ピクチャごとに基本処理ユニットのレベルでプロセス２００Ａを遂行することができる。例えば、符号器は、プロセス２００Ａを反復的な方法で遂行することができ、その場合、符号器は、基本処理ユニットをプロセス２００Ａの１回の反復において符号化することができる。一部の実施形態では、符号器は、プロセス２００Ａを映像シーケンス２０２の各原ピクチャの領域（例えば、領域１１４～１１８）のために並行して遂行することができる。
[046] 図２Ａにおいて、符号器は、映像シーケンス２０２の原ピクチャの基本処理ユニット（「原ＢＰＵ」と称される）を予測段階２０４に供給し、予測データ２０６及び予測ＢＰＵ２０８を生成することができる。符号器は、予測ＢＰＵ２０８を原ＢＰＵから減算し、残差ＢＰＵ２１０を生成することができる。符号器は、残差ＢＰＵ２１０を変換段階２１２及び量子化段階２１４に供給し、量子化変換係数２１６を生成することができる。符号器は、予測データ２０６及び量子化変換係数２１６を２値符号化段階２２６に供給し、映像ビットストリーム２２８を生成することができる。構成要素２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１６、２２６及び２２８は、「順方向経路」と称され得る。プロセス２００Ａ中、量子化段階２１４後、符号器は、量子化変換係数２１６を逆量子化段階２１８及び逆変換段階２２０に供給し、再構成残差ＢＰＵ２２２を生成することができる。符号器は、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算し、プロセス２００Ａの次の反復のために予測段階２０４において用いられる、予測基準２２４を生成することができる。プロセス２００Ａの構成要素２１８、２２０、２２２及び２２４は、「再構成経路」と称され得る。再構成経路は、符号器及び復号器の両方が同じ参照データを予測のために用いることを確実にするために用いられ得る。
[047] 符号器は、原ピクチャの各原ＢＰＵを（順方向経路内で）符号化し、原ピクチャの次の原ＢＰＵを符号化するための予測基準２２４を（再構成経路内で）生成するために、プロセス２００Ａを反復的に遂行することができる。原ピクチャの全ての原ＢＰＵを符号化した後、符号器は、映像シーケンス２０２内の次のピクチャを符号化するために進むことができる。
[048] プロセス２００Ａを参照すると、符号器は、映像取り込みデバイス（例えば、カメラ）によって生成された映像シーケンス２０２を受信することができる。本明細書において用いられる用語「受信する」は、受信すること、入力すること、獲得すること、取得すること、得ること、読み込むこと、アクセスすること又はデータを入力するための任意の方法による任意の行為を指すことができる。
[049] 予測段階２０４では、現在の反復において、符号器は、原ＢＰＵ及び予測基準２２４を受信し、予測演算を遂行し、予測データ２０６及び予測ＢＰＵ２０８を生成することができる。予測基準２２４は、プロセス２００Ａの以前の反復の再構成経路から生成され得る。予測段階２０４の目的は、予測データ２０６を抽出することにより、情報冗長性を低減することであり、予測データ２０６は、予測データ２０６及び予測基準２２４から原ＢＰＵを予測ＢＰＵ２０８として再構成するために用いることができる。
[050] 理想的には、予測ＢＰＵ２０８は、原ＢＰＵと同一であり得る。しかし、非理想的な予測及び再構成演算のため、予測ＢＰＵ２０８は、概して、原ＢＰＵと若干異なる。このような差を記録するために、予測ＢＰＵ２０８を生成した後、符号器は、それを原ＢＰＵから減算し、残差ＢＰＵ２１０を生成することができる。例えば、符号器は、予測ＢＰＵ２０８のピクセルの値（例えば、グレースケール値又はＲＧＢ値）を原ＢＰＵの対応するピクセルの値から減算することができる。残差ＢＰＵ２１０の各ピクセルは、原ＢＰＵ及び予測ＢＰＵ２０８の対応するピクセル間のこのような減算の結果としての残差値を有することができる。原ＢＰＵと比べて、予測データ２０６及び残差ＢＰＵ２１０は、より少数のビットを有することができるが、それらは、著しい品質劣化を伴うことなく原ＢＰＵを再構成するために用いられ得る。そのため、原ＢＰＵは、圧縮される。
[051] 残差ＢＰＵ２１０をさらに圧縮するために、変換段階２１２において、符号器は、それを２次元「基底パターン」のセットに分解することにより、残差ＢＰＵ２１０の空間的冗長性を低減することができ、各基底パターンは、「変換係数」に関連付けられている。基底パターンは、同じサイズ（例えば、残差ＢＰＵ２１０のサイズ）を有することができる。各基底パターンは、残差ＢＰＵ２１０の変化周波数（例えば、輝度変化の周波数）成分を表現することができる。基底パターンのいずれも、いかなる他の基底パターンのいかなる結合（例えば、線形結合）からも再現することができない。換言すれば、分解は、残差ＢＰＵ２１０の変化を周波数領域に分解することができる。このような分解は、関数の離散フーリエ変換と類似しており、この場合、基底パターンは、離散フーリエ変換の基底関数（例えば、三角関数）と類似しており、変換係数は、基底関数に関連付けられた係数と類似している。
[052] 異なる変換アルゴリズムは、異なる基底パターンを用いることができる。例えば、離散余弦変換、離散正弦変換、又は同様のものなど、様々な変換アルゴリズムを変換段階２１２において用いることができる。変換段階２１２における変換は、逆演算可能である。すなわち、符号器は、変換の逆演算（「逆変換」と称される）によって残差ＢＰＵ２１０を回復することができる。例えば、残差ＢＰＵ２１０のピクセルを回復するために、逆変換は、基底パターンの対応するピクセルの値にそれぞれの関連係数を乗算し、積を加算していき、加重和を生成することができる。映像符号化規格のために、符号器及び復号器は、両方とも同じ変換アルゴリズム（従って同じ基底パターン）を用いることができる。そのため、符号器は、変換係数のみを記録することができ、復号器は、基底パターンを符号器から受信することなく、変換係数から残差ＢＰＵ２１０を再構成することができる。残差ＢＰＵ２１０と比べて、変換係数は、より少数のビットを有することができるが、それらは、著しい品質劣化を伴うことなく残差ＢＰＵ２１０を再構成するために用いられ得る。そのため、残差ＢＰＵ２１０は、さらに圧縮される。
[053] 符号器は、量子化段階２１４において変換係数をさらに圧縮することができる。変換プロセスにおいて、異なる基底パターンは、異なる変化周波数（例えば、輝度変化周波数）を表現することができる。人間の眼は、概して、低周波数変化を認識することがより得意であるため、符号器は、復号化において著しい品質劣化を生じさせることなく高周波数変化の情報を無視することができる。例えば、量子化段階２１４において、符号器は、各変換係数を整数値（「量子化パラメータ」と称される）で除算し、商をその最近傍の整数に丸めることにより、量子化変換係数２１６を生成することができる。このような演算後、高周波数基底パターンの一部の変換係数は、０に変換され得、低周波数基底パターンの変換係数は、より小さい整数に変換され得る。符号器は、０値の量子化変換係数２１６を無視することができ、これにより、変換係数は、さらに圧縮される。量子化プロセスも逆演算可能であり、この場合、量子化変換係数２１６は、量子化の逆演算（「逆量子化」と称される）において変換係数に再構成され得る。
[054] 符号器は、このような除算の剰余を丸め演算において無視するため、量子化段階２１４は、非可逆になり得る。典型的には、量子化段階２１４は、プロセス２００Ａにおいて最大の情報損失に寄与し得る。情報損失が大きいほど、量子化変換係数２１６は、少ないビットを必要とし得る。異なる情報損失レベルを得るために、符号器は、量子化パラメータ又は量子化プロセスの任意の他のパラメータの異なる値を用いることができる。
[055] ２値符号化段階２２６において、符号器は、例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応２値算術符号化、又は任意の他の可逆若しくは非可逆圧縮アルゴリズムなどの２値符号化技法を用いて、予測データ２０６及び量子化変換係数２１６を符号化することができる。一部の実施形態では、予測データ２０６及び量子化変換係数２１６の他に、符号器は、例えば、予測段階２０４において用いられる予測モード、予測演算のパラメータ、変換段階２１２における変換の種類、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）、又は同様のものなど、他の情報を２値符号化段階２２６において符号化することができる。符号器は、２値符号化段階２２６の出力データを用いて映像ビットストリーム２２８を生成することができる。一部の実施形態では、映像ビットストリーム２２８をネットワーク伝送のためにさらにパケット化することができる。
[056] プロセス２００Ａの再構成経路を参照すると、逆量子化段階２１８において、符号器は、量子化変換係数２１６に対して逆量子化を遂行し、再構成変換係数を生成することができる。逆変換段階２２０において、符号器は、再構成変換係数に基づいて再構成残差ＢＰＵ２２２を生成することができる。符号器は、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算し、プロセス２００Ａの次の反復において用いられることになる予測基準２２４を生成することができる。
[057] 映像シーケンス２０２を符号化するために、プロセス２００Ａの他の変形形態を用いることもできることに留意されたい。一部の実施形態では、プロセス２００Ａの段階は、符号器により異なる順序で遂行され得る。一部の実施形態では、プロセス２００Ａの１つ以上の段階を単一の段階に組み合わせることができる。一部の実施形態では、プロセス２００Ａの単一の段階を複数の段階に分割することができる。例えば、変換段階２１２及び量子化段階２１４を単一の段階に組み合わせることができる。一部の実施形態では、プロセス２００Ａは、追加の段階を含むことができる。一部の実施形態では、プロセス２００Ａは、図２Ａにおける１つ以上の段階を省略することができる。
[058] 図２Ｂは、本開示の実施形態に従う、別の例示的な符号化プロセス２００Ｂの概略図を示す。プロセス２００Ｂは、プロセス２００Ａから変更され得る。例えば、プロセス２００Ｂは、ハイブリッド映像符号化規格（例えば、Ｈ．２６ｘシリーズ）に準拠した符号器によって用いられ得る。プロセス２００Ａと比べて、プロセス２００Ｂの順方向経路は、モード決定段階２３０を追加的に含み、予測段階２０４を空間的予測段階２０４２及び時間的予測段階２０４４に分割する。プロセス２００Ｂの再構成経路は、ループフィルタ段階２３２及びバッファ２３４を追加的に含む。
[059] 概して、予測技法は、２つの種類：空間的予測及び時間的予測に分類することができる。空間的予測（例えば、イントラピクチャ予測又は「イントラ予測」）は、現在のＢＰＵを予測するために、同じピクチャ内の１つ以上のすでに符号化された隣接ＢＰＵからのピクセルを用いることができる。すなわち、空間的予測における予測基準２２４は、隣接ＢＰＵを含むことができる。空間的予測は、ピクチャの固有の空間的冗長性を低減することができる。時間的予測（例えば、インターピクチャ予測又は「インター予測」）は、現在のＢＰＵを予測するために、１つ以上のすでに符号化されたピクチャからの領域を用いることができる。すなわち、時間的予測における予測基準２２４は、符号化ピクチャを含むことができる。時間的予測は、ピクチャの固有の時間的冗長性を低減することができる。
[060] プロセス２００Ｂを参照すると、順方向経路内において、符号器は、予測演算を空間的予測段階２０４２及び時間的予測段階２０４４において遂行する。例えば、空間的予測段階２０４２において、符号器は、イントラ予測を遂行することができる。符号化中のピクチャの原ＢＰＵのために、予測基準２２４は、（順方向経路内で）符号化され、（再構成経路内で）再構成された１つ以上の隣接ＢＰＵを同じピクチャ内に含むことができる。符号器は、隣接ＢＰＵを外挿することによって予測ＢＰＵ２０８を生成することができる。外挿技法は、例えば、線形外挿若しくは補間、多項式外挿若しくは補間、又は同様のものを含むことができる。一部の実施形態では、符号器は、予測ＢＰＵ２０８のピクセルごとに、対応するピクセルの値を外挿することによるなどして、外挿をピクセルレベルで遂行することができる。外挿のために用いられる隣接ＢＰＵは、（例えば、原ＢＰＵの上の）鉛直方向、（例えば、原ＢＰＵの左の）水平方向、（例えば、原ＢＰＵの左下、右下、左上若しくは右上の）対角方向、又は用いられる映像符号化規格において定義される任意の方向など、様々な方向から原ＢＰＵに対して位置することができる。イントラ予測のために、予測データ２０６は、例えば、用いられる隣接ＢＰＵの場所（例えば、座標）、用いられる隣接ＢＰＵのサイズ、外挿のパラメータ、原ＢＰＵに対する用いられる隣接ＢＰＵの方向、又は同様のものを含むことができる。
[061] 別の例として、時間的予測段階２０４４において、符号器は、インター予測を遂行することができる。現在のピクチャの原ＢＰＵのために、予測基準２２４は、（順方向経路内で）符号化され、（再構成経路内で）再構成された１つ以上のピクチャ（「参照ピクチャ」と称される）を含むことができる。一部の実施形態では、参照ピクチャは、ＢＰＵごとに符号化され、再構成され得る。例えば、符号器は、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算し、再構成ＢＰＵを生成することができる。同じピクチャの全ての再構成ＢＰＵが生成されたとき、符号器は、再構成ピクチャを参照ピクチャとして生成することができる。符号器は、参照ピクチャの（「探索窓」と称される）範囲内のマッチング領域を探索するために「動き推定」の演算を遂行することができる。参照ピクチャ内の探索窓の場所は、現在のピクチャの原ＢＰＵの場所に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内の、現在のピクチャ内の原ＢＰＵと同じ座標を有する場所に中心を有することができ、所定の距離にわたって外に拡張され得る。符号器が（例えば、画素再帰アルゴリズム、ブロックマッチングアルゴリズム、又は同様のものを用いることによって）探索窓内の原ＢＰＵと同様の領域を識別したとき、符号器は、このような領域をマッチング領域と決定することができる。マッチング領域は、原ＢＰＵと異なる（例えば、原ＢＰＵよりも小さい、それに等しい、それよりも大きい、又は異なる形状の）寸法を有することができる。参照ピクチャ及び現在のピクチャが（例えば、図１に示されるように）タイムライン内で時間的に分離されているため、時間が経過するにつれて、マッチング領域は、原ＢＰＵの場所に「移動する」と見なすことができる。符号器は、このような動きの方向及び距離を「動きベクトル」として記録することができる。（例えば、図１におけるピクチャ１０６のように）複数の参照ピクチャが用いられるとき、符号器は、参照ピクチャごとにマッチング領域を探索し、その関連動きベクトルを決定することができる。一部の実施形態では、符号器は、それぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを付与することができる。
[062] 動き推定は、例えば、並進、回転、ズーミング、又は同様のものなど、様々な種類の動きを識別するために用いることができる。インター予測のために、予測データ２０６は、例えば、マッチング領域の場所（例えば、座標）、マッチング領域に関連付けられた動きベクトル、参照ピクチャの数、参照ピクチャに関連付けられた重み、又は同様のものを含むことができる。
[063] 予測ＢＰＵ２０８を生成するために、符号器は、「動き補償」の演算を遂行することができる。動き補償は、予測データ２０６（例えば、動きベクトル）及び予測基準２２４に基づいて予測ＢＰＵ２０８を再構成するために用いることができる。例えば、符号器は、動きベクトルに従い、参照ピクチャのマッチング領域を移動させることができ、その場合、符号器は、現在のピクチャの原ＢＰＵを予測することができる。（例えば、図１におけるピクチャ１０６のように）複数の参照ピクチャが用いられるとき、符号器は、それぞれの動きベクトルに従って参照ピクチャのマッチング領域を移動させ、マッチング領域のピクセル値を平均することができる。一部の実施形態では、符号器がそれぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを付与した場合、符号器は、ピクセル値の加重和を、移動されたマッチング領域に加算することができる。
[064] 一部の実施形態では、インター予測は、一方向性又は双方向性であり得る。一方向性インター予測は、現在のピクチャに対して同じ時間方向の１つ以上の参照ピクチャを用いることができる。例えば、図１におけるピクチャ１０４は、参照ピクチャ（すなわちピクチャ１０２）がピクチャ１０４に先行する一方向インター予測ピクチャである。双方向インター予測は、現在のピクチャに対して両方の時間方向にある１つ以上の参照ピクチャを用いることができる。例えば、図１におけるピクチャ１０６は、参照ピクチャ（すなわちピクチャ１０４及び１０８）がピクチャ１０４に対して両方の時間方向にある双方向インター予測ピクチャである。
[065] プロセス２００Ｂの順方向経路をなおも参照すると、空間的予測２０４２及び時間的予測段階２０４４の後、モード決定段階２３０において、符号器は、予測モード（例えば、イントラ予測又はインター予測の一方）をプロセス２００Ｂの現在の反復のために選択することができる。例えば、符号器は、レート－歪み最適化技法を遂行することができる。本技法では、符号器は、候補予測モードのビットレート及び候補予測モード下での再構成参照ピクチャの歪みに依存するコスト関数の値を最小化するための予測モードを選択することができる。選択された予測モードに応じて、符号器は、対応する予測ＢＰＵ２０８及び予測データ２０６を生成することができる。
[066] プロセス２００Ｂの再構成経路内において、イントラ予測モードが順方向経路内で選択された場合、予測基準２２４（例えば、現在のピクチャにおいて符号化され、再構成された現在のＢＰＵ）を生成した後、符号器は、予測基準２２４を後の使用のために（例えば、現在のピクチャの次のＢＰＵの外挿のために）空間的予測段階２０４２に直接供給することができる。インター予測モードが順方向経路内で選択された場合、予測基準２２４（例えば、全てのＢＰＵが符号化され、再構成された現在のピクチャ）を生成した後、符号器は、予測基準２２４をループフィルタ段階２３２に供給することができ、そこで、符号器は、ループフィルタを予測基準２２４に適用し、インター予測によって導入された歪み（例えば、ブロッキングアーチファクト）を低減又は解消することができる。符号器は、例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ、又は同様のものなど、様々なループフィルタ技法をループフィルタ段階２３２において適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために（例えば、映像シーケンス２０２の将来のピクチャのためのインター予測基準ピクチャとして用いられるために）バッファ２３４（又は「復号化ピクチャバッファ」）内に記憶され得る。符号器は、１つ以上の参照ピクチャを、時間的予測段階２０４４において用いるためにバッファ２３４内に記憶することができる。一部の実施形態では、符号器は、ループフィルタのパラメータ（例えば、ループフィルタ強度）を、量子化変換係数２１６、予測データ２０６、及び他の情報と共に、２値符号化段階２２６において符号化することができる。
[067] 図３Ａは、本開示の実施形態に従う、例示的な復号化プロセス３００Ａの概略図を示す。プロセス３００Ａは、図２Ａにおける圧縮プロセス２００Ａに対応する復元プロセスであり得る。一部の実施形態では、プロセス３００Ａは、プロセス２００Ａの再構成経路と似たものであり得る。復号器は、プロセス３００Ａに従って映像ビットストリーム２２８を映像ストリーム３０４に復号化することができる。映像ストリーム３０４は、映像シーケンス２０２とよく似たものであり得る。しかし、圧縮及び復元プロセス（例えば、図２Ａ～２Ｂにおける量子化段階２１４）における情報損失のため、概して、映像ストリーム３０４は、映像シーケンス２０２と同一ではない。図２Ａ～２Ｂにおけるプロセス２００Ａ及び２００Ｂと同様に、復号器は、映像ビットストリーム２２８内に符号化されたピクチャごとに基本処理ユニット（ＢＰＵ）のレベルでプロセス３００Ａを遂行することができる。例えば、復号器は、プロセス３００Ａを反復的な方法で遂行することができ、その場合、復号器は、基本処理ユニットをプロセス３００Ａの１回の反復において復号化することができる。一部の実施形態では、復号器は、プロセス３００Ａを、映像ビットストリーム２２８内に符号化された各ピクチャの領域（例えば、領域１１４～１１８）のために並行して遂行することができる。
[068] 図３Ａにおいて、復号器は、符号化ピクチャの基本処理ユニット（「符号化ＢＰＵ」と称される）に関連付けられた映像ビットストリーム２２８の部分を２値復号化段階３０２に供給することができる。２値復号化段階３０２において、復号器は、当該部分を予測データ２０６及び量子化変換係数２１６に復号化することができる。復号器は、量子化変換係数２１６を逆量子化段階２１８及び逆変換段階２２０に供給し、再構成残差ＢＰＵ２２２を生成することができる。復号器は、予測データ２０６を予測段階２０４に供給し、予測ＢＰＵ２０８を生成することができる。復号器は、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算し、予測基準２２４を生成することができる。一部の実施形態では、予測基準２２４をバッファ（例えば、コンピュータメモリ内の復号化ピクチャバッファ）内に記憶することができる。復号器は、予測演算をプロセス３００Ａの次の反復において遂行するために予測基準２２４を予測段階２０４に供給することができる。
[069] 復号器は、符号化ピクチャの各符号化ＢＰＵを復号化し、符号化ピクチャの次の符号化ＢＰＵを符号化するための予測基準２２４を生成するために、プロセス３００Ａを反復的に遂行することができる。符号化ピクチャの全ての符号化ＢＰＵを復号化した後、復号器は、ピクチャを表示のために映像ストリーム３０４に出力し、映像ビットストリーム２２８内の次の符号化ピクチャを復号化するために進むことができる。
[070] ２値復号化段階３０２において、復号器は、符号器によって用いられた２値符号化技法（例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応２値算術符号化、又は任意の他の可逆圧縮アルゴリズム）の逆演算を遂行することができる。一部の実施形態では、予測データ２０６及び量子化変換係数２１６の他に、復号器は、例えば、予測モード、予測演算のパラメータ、変換の種類、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）、又は同様のものなど、他の情報を２値復号化段階３０２において復号化することができる。一部の実施形態では、映像ビットストリーム２２８がネットワークを通してパケットの形式で伝送される場合、復号器は、映像ビットストリーム２２８を、それを２値復号化段階３０２に供給する前にデパケット化することができる。
[071] 図３Ｂは、本開示の実施形態に従う、別の例示的な復号化プロセス３００Ｂの概略図を示す。プロセス３００Ｂは、プロセス３００Ａから変更され得る。例えば、プロセス３００Ｂは、ハイブリッド映像符号化規格（例えば、Ｈ．２６ｘシリーズ）に準拠した復号器によって用いられ得る。プロセス３００Ａと比べて、プロセス３００Ｂは、予測段階２０４を空間的予測段階２０４２及び時間的予測段階２０４４に追加的に分割し、ループフィルタ段階２３２及びバッファ２３４を追加的に含む。
[072] プロセス３００Ｂにおいて、復号化中の符号化ピクチャ（「現在のピクチャ」と称される）の符号化基本処理ユニット（「現在のＢＰＵ」と称される）のために、復号器によって２値復号化段階３０２から復号化された予測データ２０６は、いかなる予測モードが符号器によって現在のＢＰＵを符号化するために用いられたかに依存して、様々な種類のデータを含むことができる。例えば、イントラ予測が、符号器により、現在のＢＰＵを符号化するために用いられた場合、予測データ２０６は、イントラ予測、イントラ予測演算のパラメータ、又は同様のものを指示する予測モードインジケータ（例えば、フラグ値）を含むことができる。イントラ予測演算のパラメータは、例えば、参照として用いられる１つ以上の隣接ＢＰＵの場所（例えば、座標）、隣接ＢＰＵのサイズ、外挿のパラメータ、原ＢＰＵに対する隣接ＢＰＵの方向、又は同様のものを含むことができる。別の例として、インター予測が、符号器により、現在のＢＰＵを符号化するために用いられた場合、予測データ２０６は、インター予測、インター予測演算のパラメータ、又は同様のものを指示する予測モードインジケータ（例えば、フラグ値）を含むことができる。インター予測演算のパラメータは、例えば、現在のＢＰＵに関連付けられた参照ピクチャの数、参照ピクチャにそれぞれ関連付けられた重み、それぞれの参照ピクチャ内の１つ以上のマッチング領域の場所（例えば、座標）、マッチング領域にそれぞれ関連付けられた１つ以上の動きベクトル、又は同様のものを含むことができる。
[073] 予測モードインジケータに基づいて、復号器は、空間的予測段階２０４２において空間的予測（例えば、イントラ予測）を遂行するべきか、又は時間的予測段階２０４４において時間的予測（例えば、インター予測）を遂行するべきかを決定することができる。このような空間的予測又は時間的予測を遂行することの詳細は、図２Ｂにおいて説明されており、以下で繰り返されない。このような空間的予測又は時間的予測を遂行した後、復号器は、予測ＢＰＵ２０８を生成することができる。復号器は、図３Ａにおいて説明されたように、予測ＢＰＵ２０８及び再構成残差ＢＰＵ２２２を加算し、予測基準２２４を生成することができる。
[074] プロセス３００Ｂにおいて、復号器は、予測演算をプロセス３００Ｂの次の反復において遂行するために、予測基準２２４を空間的予測段階２０４２又は時間的予測段階２０４４に供給することができる。例えば、現在のＢＰＵが空間的予測段階２０４２においてイントラ予測を用いて復号化される場合、予測基準２２４（例えば、復号化された現在のＢＰＵ）を生成した後、復号器は、予測基準２２４を後の使用のために（例えば、現在のピクチャの次のＢＰＵの外挿のために）空間的予測段階２０４２に直接供給することができる。現在のＢＰＵが時間的予測段階２０４４においてインター予測を用いて復号化される場合、予測基準２２４（例えば、全てのＢＰＵが復号化された参照ピクチャ）を生成した後、符号器は、予測基準２２４をループフィルタ段階２３２に供給し、歪み（例えば、ブロッキングアーチファクト）を低減又は解消することができる。復号器は、図２Ｂにおいて説明されたとおりの方法でループフィルタを予測基準２２４に適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために（例えば、映像ビットストリーム２２８の将来の符号化ピクチャのためのインター予測基準ピクチャとして用いられるために）、バッファ２３４（例えば、コンピュータメモリ内の復号化ピクチャバッファ）内に記憶され得る。復号器は、１つ以上の参照ピクチャを、時間的予測段階２０４４において用いられるためにバッファ２３４内に記憶することができる。一部の実施形態では、予測データ２０６の予測モードインジケータが、現在のＢＰＵを符号化するためにインター予測が用いられたことを指示するとき、予測データは、ループフィルタのパラメータ（例えば、ループフィルタ強度）をさらに含むことができる。
[075] 図４は、本開示の実施形態に従う、映像を符号化又は復号化するための例示的な機器４００のブロック図である。図４に示されるように、機器４００は、プロセッサ４０２を含むことができる。プロセッサ４０２が、本明細書において説明される命令を実行したとき、機器４００は、映像符号化又は復号化のための特殊機械になることができる。プロセッサ４０２は、情報を操作又は処理する能力を有する任意の種類の回路機構であり得る。例えば、プロセッサ４０２は、中央処理装置（又は「ＣＰＵ」）、グラフィック処理装置（又は「ＧＰＵ」）、ニューラル処理装置（「ＮＰＵ」）、マイクロコントローラユニット（「ＭＣＵ」）、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産（ＩＰ）コア、プログラマブル論理アレイ（ＰＬＡ）、プログラマブルアレイ論理（ＰＡＬ）、ジェネリックアレイ論理（ＧＡＬ）、複合プログラマブル論理装置（ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、特定用途向け集積回路（ＡＳＩＣ）、又は同様のものの任意の数の任意の組み合わせを含むことができる。一部の実施形態では、プロセッサ４０２は、単一の論理構成要素としてグループ化されたプロセッサのセットでもあり得る。例えば、図４に示されるように、プロセッサ４０２は、プロセッサ４０２ａ、プロセッサ４０２ｂ、及びプロセッサ４０２ｎを含む複数のプロセッサを含むことができる。
[076] 機器４００は、データ（例えば、命令のセット、コンピュータコード、中間データ、又は同様のもの）を記憶するように構成されたメモリ４０４も含むことができる。例えば、図４に示されるように、記憶されるデータは、プログラム命令（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂにおける段階を実施するためのプログラム命令）、及び処理のためのデータ（例えば、映像シーケンス２０２、映像ビットストリーム２２８、又は映像ストリーム３０４）を含むことができる。プロセッサ４０２は、（例えば、バス４１０を介して）プログラム命令及び処理のためのデータにアクセスし、プログラム命令を実行し、処理のためのデータに対する演算又は操作を遂行することができる。メモリ４０４は、高速ランダムアクセス記憶デバイス、又は不揮発性記憶デバイスを含むことができる。一部の実施形態では、メモリ４０４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、光ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル（ＳＤ）カード、メモリスティック、コンパクトフラッシュ（登録商標）（ＣＦ）カード、又は同様のものの任意の数の任意の組み合わせを含むことができる。メモリ４０４は、単一の論理構成要素としてグループ化されたメモリのグループ（図４には示されていない）でもあり得る。
[077] バス４１０は、内部バス（例えば、ＣＰＵ－メモリバス）、外部バス（例えば、ユニバーサルシリアルバスポート、ペリフェラルコンポーネントインターコネクトエクスプレスポート）、又は同様のものなど、機器４００の内部の構成要素間でデータを転送する通信デバイスであり得る。
[078] 曖昧さを生じさせることなく説明を容易にするために、プロセッサ４０２及び他のデータ処理回路は、本開示においてまとめて「データ処理回路」と称される。データ処理回路は、完全にハードウェアとして、又はソフトウェア、ハードウェア若しくはファームウェアの組み合わせとして実施され得る。加えて、データ処理回路は、単一の独立モジュールであり得るか、又は機器４００の任意の他の構成要素に完全に若しくは部分的に組み合わされ得る。
[079] 機器４００は、ネットワーク（例えば、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク、又は同様のもの）との有線又は無線通信を提供するためのネットワークインターフェース４０６をさらに含むことができる。一部の実施形態では、ネットワークインターフェース４０６は、ネットワークインターフェースコントローラ（ＮＩＣ）、無線周波数（ＲＦ）モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetooth（登録商標）アダプタ、赤外線アダプタ、近距離無線通信（「ＮＦＣ」）アダプタ、セルラーネットワークチップ、又は同様のものの任意の数の任意の組み合わせを含むことができる。
[080] 一部の実施形態では、任意選択的に、機器４００は、１つ以上の周辺デバイスへの接続を提供するための周辺インターフェース４０８をさらに含むことができる。図４Ａに示されるように、周辺デバイスは、限定するものではないが、カーソル制御デバイス（例えば、マウス、タッチパッド、若しくはタッチスクリーン）、キーボード、ディスプレイ（例えば、陰極線管ディスプレイ、液晶ディスプレイ、若しくは発光ダイオードディスプレイ）、映像入力デバイス（例えば、カメラ、若しくは映像アーカイブに結合された入力インターフェース）、又は同様のものを含むことができる。
[081] 映像コーデック（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂを遂行するコーデック）は、機器４００内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実施され得ることに留意されたい。例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂの一部又は全ての段階は、メモリ４０４内にロードされ得るプログラム命令など、機器４００の１つ以上のソフトウェアモジュールとして実施され得る。別の例として、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂの一部又は全ての段階は、特殊データ処理回路（例えば、ＦＰＧＡ、ＡＳＩＣ、ＮＰＵ又は同様のもの）など、機器４００の１つ以上のハードウェアモジュールとして実施され得る。
[082] 開示する実施形態によれば、３６０度映像又は漸進的復号化リフレッシュ（ＧＤＲ）を符号化するためにいくつかの符号化ツールが使用され得る。仮想境界は、これらの符号化ツールの１つである。３６０度映像などのアプリケーションでは、特定の投影フォーマットのレイアウトが複数の面を通常有する。例えば、ＭＰＥＧ－Ｉパート２：全方向性メディアフォーマット（ＯＭＡＦ）は、面を６つ有するＣＭＰと名付けられたキューブマップベースの投影フォーマットを規格化する。複数の面を含む投影フォーマットに関して、どのような種類のコンパクトフレームパッキング構成が使用されるかに関係なく、フレームパックピクチャ内の２つ以上の隣接する面間に不連続性が生じる。この不連続性にわたってインループフィルタリング演算を実行した場合、レンダリング後の再構成映像内で面の継ぎ目のアーティファクトが見えるようになり得る。面の継ぎ目のアーティファクトを軽減するために、フレームパックピクチャ内の不連続性にわたるインループフィルタリング演算を無効にしなければならない。従って、開示する実施形態に従い、横断するようなループフィルタリング演算が無効にされる仮想境界と呼ばれる概念を使用することができる。符号器は、不連続境界を仮想境界として設定することができ、それにより不連続境界上でループフィルタを適用しないことができる。仮想境界の位置は、ビットストリーム内でシグナリングされ、符号器は、現在の投影フォーマットに従って仮想境界の位置を変更することができる。
[083] ３６０度映像の他に、仮想境界は、超低遅延アプリケーション内で主に使用される漸進的復号化リフレッシュ（ＧＤＲ）にも使用することができる。超低遅延アプリケーションでは、ランダムアクセスポイントピクチャとしてイントラ符号化ピクチャを挿入することは、イントラ符号化ピクチャのサイズが大きいことにより、許容できない伝送レイテンシを引き起こす場合がある。レイテンシを減らすために、Ｂ／Ｐピクチャ内にイントラ符号化領域を挿入することによってピクチャが漸進的にリフレッシュされるＧＤＲが採用される。誤り伝播を防ぐために、ピクチャ内のリフレッシュ領域内のピクセルは、現在のピクチャ又は参照ピクチャの未リフレッシュ領域内のものを参照することができない。従って、リフレッシュ領域及び未フレッシュ領域の境界にわたってループフィルタリングを適用することができない。上記の仮想境界の方式により、符号器は、リフレッシュ領域及び未リフレッシュ領域の境界を仮想境界として設定することができ、その場合、その境界を横断してループフィルタリング演算を適用することができない。
[084] いくつかの実施形態によれば、仮想境界は、シーケンスパラメータセット（ＳＰＳ）、又はピクチャヘッダ（ＰＨ）内でシグナリングすることができる。ピクチャヘッダは、特定のピクチャに関する情報を運び、同じピクチャに属する全てのスライスに共通の情報を含む。ＰＨは、仮想境界に関係する情報を含み得る。ピクチャごとに１つのＰＨが設定される。シーケンスパラメータセットは、符号化レイヤ映像シーケンス（ＣＬＶＳ）に関する構文要素を含む。ＳＰＳは、全符号化レイヤ映像シーケンス（ＣＬＶＳ）内の全てのピクチャによって共有されるシーケンスレベル情報を含み、ビットストリームが何を含むか、及びビットストリーム内の情報をどのように使用できるかについての全体像を与えることができる。ＳＰＳでは、仮想境界存在フラグ「sps_virtual_boundaries_present_flag」が最初にシグナリングされる。フラグが真である場合、仮想境界の数及び各仮想境界の位置が、ＳＰＳを参照するピクチャについてシグナリングされる。「sps_virtual_boundaries_present_flag」が偽である場合、別の仮想境界存在フラグ「ph_virtual_boundaries_present_flag」がＰＨ内でシグナリングされ得る。同様に、「ph_virtual_boundaries_present_flag」が真である場合、仮想境界の数及び各仮想境界の位置が、ＰＨに関連するピクチャについてシグナリングされ得る。
[085] 図５の表１に仮想境界のＳＰＳ構文を示す。図５のＳＰＳ構文のセマンティクスを以下のように示す。
[086] １に等しい「sps_virtual_boundaries_present_flag」は、仮想境界の情報がＳＰＳ内でシグナリングされることを指定する。０に等しい「sps_virtual_boundaries_present_flag」は、仮想境界の情報がＳＰＳ内でシグナリングされないことを指定する。１つ以上の仮想境界がＳＰＳ内でシグナリングされる場合、ＳＰＳを参照するピクチャ内の仮想境界にわたるインループフィルタリング演算が無効にされる。インループフィルタリング演算は、デブロッキングフィルタ、サンプル適応オフセットフィルタ、及び適応ループフィルタ演算を含む。
[087] 「sps_num_ver_virtual_boundaries」は、ＳＰＳ内にある「sps_virtual_boundaries_pos_x[i]」構文要素の数を指定する。「sps_num_ver_virtual_boundaries」がない場合、その値は、０に等しいと推論される。
[088] 「sps_virtual_boundaries_pos_x[i]」は、８で割ったルマサンプル単位のｉ番目の垂直仮想境界の位置を指定する。「sps_virtual_boundaries_pos_x[i]」の値は、１～Ceil（pic_width_in_luma_samples÷８）－１の範囲内にある。
[089] 「sps_num_hor_virtual_boundaries」は、ＳＰＳ内にある「sps_virtual_boundaries_pos_y[i]」構文要素の数を指定する。「sps_num_hor_virtual_boundaries」がない場合、その値は、０に等しいと推論される。
[090] 「sps_virtual_boundaries_pos_y[i]」は、８で割ったルマサンプル単位のｉ番目の水平仮想境界の位置を指定する。「sps_virtual_boundaries_pos_y[i]」の値は、１～Ceil（pic_height_in_luma_samples÷８）－１の範囲内にある。
[091] 図６の表２に仮想境界のＰＨ構文を示す。図６のＰＨ構文のセマンティクスを以下に示す。
[092] 「ph_num_ver_virtual_boundaries」は、ＰＨ内にある「ph_virtual_boundaries_pos_x[i]」構文要素の数を指定する。「ph_num_ver_virtual_boundaries」がない場合、その値は、０に等しいと推論される。
[093] パラメータVirtualBoundariesNumVerは、以下のように導出される。
VirtualBoundariesNumVer=sps_virtual_boundaries_present_flag?
sps_num_ver_virtual_boundaries:ph_num_ver_virtual_boundaries
VirtualBoundariesNumVer=sps_virtual_boundaries_present_flag?
sps_num_ver_virtual_boundaries:ph_num_ver_virtual_boundaries
[094] 「ph_virtual_boundaries_pos_x[i]」は、８で割ったルマサンプル単位のｉ番目の垂直仮想境界の位置を指定する。「ph_virtual_boundaries_pos_x[i]」の値は、１～Ceil（pic_width_in_luma_samples÷８）－１の範囲内にある。
[095] ルマサンプル単位の垂直仮想境界「VirtualBoundariesPosX[i]」の位置は、以下のように導出される。
VirtualBoundariesPosX[i]=(sps_virtual_boundaries_present_flag?
sps_virtual_boundaries_pos_x[i]:ph_virtual_boundaries_pos_x[i])*8
VirtualBoundariesPosX[i]=(sps_virtual_boundaries_present_flag?
sps_virtual_boundaries_pos_x[i]:ph_virtual_boundaries_pos_x[i])*8
[096] 任意の２つの垂直仮想境界間の距離は、CtbSizeYルマサンプル以上であり得る。
[097] 「ph_num_hor_virtual_boundaries」は、ＰＨ内にある「ph_virtual_boundaries_pos_y[i]」構文要素の数を指定する。「ph_num_hor_virtual_boundaries」がない場合、その値は、０に等しいと推論される。
[098] パラメータVirtualBoundariesNumHorは、以下のように導出される。
VirtualBoundariesNumHor=sps_virtual_boundaries_present_flag?
sps_num_hor_virtual_boundaries:ph_num_hor_virtual_boundaries
VirtualBoundariesNumHor=sps_virtual_boundaries_present_flag?
sps_num_hor_virtual_boundaries:ph_num_hor_virtual_boundaries
[099] 「ph_virtual_boundaries_pos_y[i]」は、８で割ったルマサンプル単位のｉ番目の水平仮想境界の位置を指定する。「ph_virtual_boundaries_pos_y[i]」の値は、１～Ceil（pic_height_in_luma_samples÷８）－１の範囲内にある。
[100] ルマサンプル単位の水平仮想境界「VirtualBoundariesPosY[i]」の位置は、以下のように導出される。
VirtualBoundariesPosY[i]=(sps_virtual_boundaries_present_flag?
sps_virtual_boundaries_pos_y[i]:ph_virtual_boundaries_pos_y[i])*8
VirtualBoundariesPosY[i]=(sps_virtual_boundaries_present_flag?
sps_virtual_boundaries_pos_y[i]:ph_virtual_boundaries_pos_y[i])*8
[101] 任意の２つの水平仮想境界間の距離は、CtbSizeYルマサンプル以上であり得る。
[102] ラップアラウンド動き補償は、別の３６０度映像符号化ツールである。従来の動き補償では、動きベクトルが参照ピクチャのピクチャ境界を超えてサンプルを参照する場合、対応するピクチャ境界上の最近傍からコピーすることによって境界外のサンプルの値を導出するために反復パディングが適用される。３６０度映像では、この反復パディングの方法は、適しておらず、再構成されたビューポート映像において「シームアーティファクト」と呼ばれる視覚的アーティファクトを引き起こし得る。３６０度映像は、球上で捕捉され、元来「境界」を有さないため、投影領域内の参照ピクチャの境界の外側の参照サンプルは、球領域内の隣接サンプルから常に得ることができる。２Ｄから３Ｄ及び３Ｄから２Ｄへの座標変換並びに端数サンプル位置のためのサンプル補間を含むため、一般的な投影フォーマットでは、球領域内の対応する隣接サンプルを導出することが困難であり得る。左側のピクチャ境界の外側の球近傍を右側のピクチャ境界の内側のサンプルから得ることができ、その逆も同様であるため、この問題は、正距円筒図法による投影（ＥＲＰ）又はパデッドＥＲＰ（ＰＥＲＰ）フォーマットの左右の境界に関して非常に単純である。ＥＲＰ又はＰＥＲＰ投影フォーマットの広範な使用、及び実装が相対的に容易であることを所与として、ＥＲＰ投影フォーマットで符号化された３６０度映像の視覚的品質を改善するために水平ラップアラウンド動き補償を使用することができる。
[103] 図７Ａに水平ラップアラウンド動き補償プロセスを示す。参照ブロックの一部が投影領域内の参照ピクチャの左側（又は右側）の境界の外側にある場合、反復パディングの代わりに、投影領域内の右側（又は左側）の境界の方に参照ピクチャ内で位置する対応する球近傍から「境界外」の部分が取られる。反復パディングは、上部及び下部のピクチャ境界にのみ使用される。図７Ｂに示すように、水平ラップアラウンド動き補償は、３６０度映像符号化で多くの場合に使用される非規範的パディング方法（non-normative padding method）と組み合わせることができる。これは、パディングの前のＥＲＰピクチャの幅に設定されるべきラップアラウンドオフセットを示すための高レベル構文要素をシグナリングすることによって実現され得る。この構文は、水平ラップアラウンドの位置を適宜調節するために使用される。この構文は、左側及び右側のピクチャ境界上の特定のパディング量の影響を受けず、従って（左右のパディングが異なる）ＥＲＰピクチャの非対称パディングを当然にサポートする。水平ラップアラウンド動き補償は、参照サンプルが参照ピクチャの左側及び右側の境界の外側にある場合に動き補償にとってより有意味の情報を提供する。このツールは、レート－歪み性能に関してだけでなく、再構成される３６０度映像のシームアーティファクトを低減すること及び主観的品質を改善することに関しても圧縮性能を改善する。水平ラップアラウンド動き補償は、調節された等積投影など、水平方向に一定のサンプリング密度を有する他の単一面投影フォーマットにも使用することができる。
[104] いくつかの実施形態によれば、ラップアラウンド動き補償は、ＳＰＳ内でシグナリングされる。まず、有効化フラグがシグナリングされる。有効化フラグが真である場合、ラップアラウンドオフセットがシグナリングされる。ＳＰＳ構文を図８に示し、対応するセマンティクスを以下で与える。
[105] １に等しい「sps_ref_wraparound_enabled_flag」は、水平ラップアラウンド動き補償がインター予測内で適用されることを指定する。０に等しい「sps_ref_wraparound_enabled_flag」は、水平ラップアラウンド動き補償が適用されないことを指定する。（CtbSizeY／MinCbSizeY＋１）の値が（pic_width_in_luma_samples／MinCbSizeY－１）よりも大きく、「pic_width_in_luma_samples」が、ＳＰＳを参照する任意のピクチャパラメータセット（ＰＰＳ）内の「pic_width_in_luma_samples」の値である場合、「sps_ref_wraparound_enabled_flag」の値は、０に等しい。
[106] 「sps_ref_wraparound_offset_minus1」プラス１は、MinCbSizeYルマサンプル単位の水平ラップアラウンド位置を計算するために使用されるオフセットを指定する。「ref_wraparound_offset_minus1」の値は（CtbSizeY／MinCbSizeY）＋１～（pic_width_in_luma_samples／MinCbSizeY）－１の範囲内にあり、「pic_width_in_luma_samples」は、ＳＰＳを参照する任意のＰＰＳ内の「pic_width_in_luma_samples」の値である。
[107] CtbSizeYは、符号化ツリーブロック（ＣＴＢ）のルマサイズであり、MinCbSizeYは、ルマ符号化ブロックの最小サイズであり、「pic_width_in_luma_samples」は、ルマサンプル単位のピクチャ幅である。
[108] いくつかの実施形態によれば、ピクチャシーケンス内の全てのピクチャの幅及び高さの最大値がＳＰＳ内でシグナリングされ、次いで現在のピクチャに関してピクチャの幅及び高さが各ＰＰＳ内でシグナリングされる。ピクチャの幅及び高さの最大値をシグナリングするための構文を図９の表４に示し、ピクチャの幅及び高さをシグナリングするための構文を図１０の表５に示す。図９及び図１０に対応するセマンティクスを以下で与える。
[109] １に等しい「ref_pic_resampling_enabled_flag」は、ＳＰＳを参照する符号化レイヤ映像シーケンス（ＣＬＶＳ）内の符号化ピクチャを復号化するとき、参照ピクチャ再サンプリングを適用できることを指定する。０に等しいref_pic_resampling_enabled_flagは、ＳＰＳを参照するＣＬＶＳ内のピクチャを復号化するとき、参照ピクチャ再サンプリングが適用されないことを指定する。例えば、復号化プログラムは、フレームのそれぞれを復号化することができる。現在のフレームの解像度が参照ピクチャの解像度と異なると復号化プログラムが判定する場合、復号化プログラムは、参照ピクチャに対して適切な再サンプリングを行い、生成した再サンプリング参照ピクチャを現在のフレームのための参照ピクチャとして使用することができる。すなわち、ピクチャの空間解像度が映像シーケンス内で変更されることが許可される場合、参照ピクチャの再サンプリングが必要である。参照ピクチャの適切な再サンプリングは、参照ピクチャのダウンサンプリング又はアップサンプリングであり得る。
[110] 「pic_width_max_in_luma_samples」は、ＳＰＳを参照する各復号化ピクチャのルマサンプル単位の最大幅を指定する。「pic_width_max_in_luma_samples」は、０に等しくなくてもよく、Max（8,MinCbSizeY）の整数倍であり得る。
[111] 「pic_height_max_in_luma_samples」は、ＳＰＳを参照する各復号化ピクチャのルマサンプル単位の最大高さを指定する。「pic_height_max_in_luma_samples」は、０に等しくなくてもよく、Max（8,MinCbSizeY）の整数倍であり得る。
[112] 「pic_width_in_luma_samples」は、ＰＰＳを参照する各復号化ピクチャのルマサンプル単位の幅を指定する。「pic_width_in_luma_samples」は、０に等しくなくてもよい。むしろ、「pic_width_in_luma_samples」は、Max（8,MinCbSizeY）の整数倍であり得、「pic_width_max_in_luma_samples」以下であり得る。
[113] 「subpics_present_flag」が１に等しいか又は「ref_pic_resampling_enabled_flag」が０に等しい場合、「pic_width_in_luma_samples」の値は、「pic_width_max_in_luma_samples」に等しい。
[114] 「pic_height_in_luma_samples」は、ＰＰＳを参照する各復号化ピクチャのルマサンプル単位の高さを指定する。「pic_height_in_luma_samples」は、０に等しくなくてもよい。むしろ、「pic_height_in_luma_samples」は、Max（8,MinCbSizeY）の整数倍であり得、「pic_height_max_in_luma_samples」以下であり得る。
[115] 「subpics_present_flag」が１に等しいか又は「ref_pic_resampling_enabled_flag」が０に等しい場合、「pic_height_in_luma_samples」の値は、「pic_height_max_in_luma_samples」に等しい。
[116] 上述の仮想境界のＳＰＳシグナリングは、いくらかの曖昧さを引き起こし得る。具体的には、ＳＰＳ内でシグナリングされる「sps_virtual_boundaries_pos_x[i]」及び「sps_virtual_boundaries_pos_y[i]」の範囲は、それぞれ０～Ceil（pic_width_in_luma_samples÷８）－１及び０～Ceil（pic_height_in_luma_samples÷８）－１である。しかし、上記で説明したように、「pic_width_in_luma_samples」及び「pic_height_in_luma_samples」は、ＰＰＳ内でシグナリングされ、それらは、ＰＰＳごとに異なり得る。同じＳＰＳを参照する複数のＰＰＳがあり得るため、「pic_width_in_luma_samples」及び「pic_height_in_luma_samples」が「sps_virtual_boundaries_pos_x[i]」及び「sps_virtual_boundaries_pos_y[i]」の上限として設定されるべきであるかどうかは、明らかではない。
[117] さらに、上述のラップアラウンド動き補償のＳＰＳシグナリングは、いくつかの問題を有し得る。具体的には、「sps_ref_wraparound_enabled_flag」及び「sps_ref_wraparound_offset_minus1」は、ＳＰＳ内でシグナリングされる構文要素であるが、ＰＰＳ上でシグナリングされる「pic_width_in_luma_samples」に依存する「sps_ref_wraparound_enabled_flag」の適合制約がある。「sps_ref_wraparound_offset_minus1」の範囲も、ＰＰＳ上でシグナリングされる「pic_width_in_luma_samples」に依存する。これらの依存関係は、いくらかの問題を引き起こす。まず、関連するＰＰＳの全てにおいて構文要素によってＳＰＳ構文要素の値を制限することは、効率的な方法ではなく、なぜなら、ＳＰＳは、ＰＰＳよりも高いレベルであるためである。さらに、高レベル構文が低レベル構文を参照すべきでないことが通常理解される。第２に、現在の設計によれば、「sps_ref_wraparound_enabled_flag」は、ＳＰＳを参照するシーケンス内の全てのピクチャの幅が制約条件を満たす場合にのみ真であり得る。従って、たとえ全シーケンス内の１フレームのみでも制約条件を満たさない場合、ラップアラウンド動き補償を使用することができない。従って、全シーケンスに対するラップアラウンド動き補償の利益が１つのフレームのみを理由に失われる。
[118] 本開示は、仮想境界又はラップアラウンド動き補償をシグナリングすることに関連する上記の問題を解決するための方法を提供する。開示する方法に従ういくつかの例示的実施形態を以下で詳細に説明する。
[119] いくつかの例示的実施形態では、仮想境界のシグナリングに関連する上記の問題を解決するために、「sps_virtual_boundaries_pos_x[i]」及び「sps_virtual_boundaries_pos_y[i]」の値の上限をシーケンス内のピクチャの幅及び高さの最小値に変更する。従って、各ピクチャについて、ＳＰＳ内でシグナリングされる仮想境界の位置（「sps_virtual_boundaries_pos_x[i]」及び「sps_virtual_boundaries_pos_y[i]」）がピクチャ境界を越えない。
[120] これらの実施形態に従うセマンティクスを以下に記載する。
[121] 「sps_virtual_boundaries_pos_x[i]」は、８で割ったルマサンプル単位のｉ番目の垂直仮想境界の位置を指定する。「sps_virtual_boundaries_pos_x[i]」の値は、１～Ceil（pic_width_in_luma_samples÷８）－１の範囲内にあり、「pic_width_in_luma_samples」は、ＳＰＳを参照する任意のＰＰＳ内の「pic_width_in_luma_samples」の値である。
[122] 「sps_virtual_boundaries_pos_y[i]」は、８で割ったルマサンプル単位のｉ番目の水平仮想境界の位置を指定する。「sps_virtual_boundaries_pos_y[i]」の値は、１～Ceil（pic_height_in_luma_samples÷８）－１の範囲内にあり、「pic_height_in_luma_samples」は、ＳＰＳを参照する任意のＰＰＳ内の「pic_width_in_luma_samples」の値である。
[123] いくつかの例示的実施形態では、仮想境界のシグナリングに関連する上記の問題を解決するために、「sps_virtual_boundaries_pos_x[i]」及び「sps_virtual_boundaries_pos_y[i]」の値の上限を、シーケンス内のピクチャの幅及び高さそれぞれの最大値である「pic_width_max_in_luma_samples」及び「pic_height_max_in_luma_samples」にそれぞれ変更する。各ピクチャについて、ＳＰＳ内でシグナリングされる仮想境界の位置（「sps_virtual_boundaries_pos_x[i]」及び「sps_virtual_boundaries_pos_y[i]」）がピクチャ境界を越える場合、仮想境界を境界内で切り取るか又は破棄する。
[124] これらの実施形態に従うセマンティクスを以下に記載する。
[125] 「sps_virtual_boundaries_pos_x[i]」は、８で割ったルマサンプル単位のｉ番目の垂直仮想境界の位置を指定する。「sps_virtual_boundaries_pos_x[i]」の値は、１～Ceil（pic_width_max_in_luma_samples÷８）－１の範囲内にある。
[126] 「sps_virtual_boundaries_pos_y[i]」は、８で割ったルマサンプル単位のｉ番目の水平仮想境界の位置を指定する。「sps_virtual_boundaries_pos_y[i]」の値は、１～Ceil（pic_height_max_in_luma_samples÷８）－１の範囲内にある。
[127] 一例として、各ピクチャについて、ＳＰＳ内でシグナリングされる仮想境界の位置が現在のピクチャ境界内で切り取られる。この例では、導出される仮想境界の位置VirtualBoundariesPosX[i]及びVirtualBoundariesPosY[i]並びに仮想境界の数VirtualBoundariesNumVer及びVirtualBoundariesNumHorが以下のように導出される。
VirtualBoundariesNumVer=sps_virtual_boundaries_present_flag?
sps_num_ver_virtual_boundaries:ph_num_ver_virtual_boundaries
VirtualBoundariesPosX[i]=(sps_virtual_boundaries_present_flag?
min(Ceil(pic_width_in_luma_samples÷8)-1,sps_virtual_boundaries_pos_x[i]):ph_virtual_boundaries_pos_x[i])*8
VirtualBoundariesNumHor=sps_virtual_boundaries_present_flag?
sps_num_hor_virtual_boundaries:ph_num_hor_virtual_boundaries
VirtualBoundariesPosY[i]=(sps_virtual_boundaries_present_flag?
min(Ceil(pic_width_in_luma_samples÷8)-1,sps_virtual_boundaries_pos_y[i]):ph_virtual_boundaries_pos_y[i])*8
VirtualBoundariesNumVer=sps_virtual_boundaries_present_flag?
sps_num_ver_virtual_boundaries:ph_num_ver_virtual_boundaries
VirtualBoundariesPosX[i]=(sps_virtual_boundaries_present_flag?
min(Ceil(pic_width_in_luma_samples÷8)-1,sps_virtual_boundaries_pos_x[i]):ph_virtual_boundaries_pos_x[i])*8
VirtualBoundariesNumHor=sps_virtual_boundaries_present_flag?
sps_num_hor_virtual_boundaries:ph_num_hor_virtual_boundaries
VirtualBoundariesPosY[i]=(sps_virtual_boundaries_present_flag?
min(Ceil(pic_width_in_luma_samples÷8)-1,sps_virtual_boundaries_pos_y[i]):ph_virtual_boundaries_pos_y[i])*8
[128] 任意の２つの垂直仮想境界間の距離は、０又はCtbSizeYルマサンプル以上であり得る。
[129] 任意の２つの水平仮想境界間の距離は、０又はCtbSizeYルマサンプル以上であり得る。
[130] 別の例として、各ピクチャについて、ＳＰＳ内でシグナリングされる仮想境界の位置が現在のピクチャ境界を越える場合、現在のピクチャ内で仮想境界は、使用されない。導出される仮想境界の位置VirtualBoundariesPosX[i]及びVirtualBoundariesPosY[i]並びに仮想境界の数VirtualBoundariesNumVer及びVirtualBoundariesNumHorは、以下のように導出される。
VirtualBoundariesNumVer=sps_virtual_boundaries_present_flag?
sps_num_ver_virtual_boundaries:ph_num_ver_virtual_boundaries
VirtualBoundariesPosXInPic[i]=(sps_virtual_boundaries_present_flag?
sps_virtual_boundaries_pos_x[i]:ph_virtual_boundaries_pos_x[i])*8,(i=0..VirtualBoundariesNumVer)
VirtualBoundariesNumHor=sps_virtual_boundaries_present_flag?
sps_num_hor_virtual_boundaries:ph_num_hor_virtual_boundaries
VirtualBoundariesPosYInPic[i]=(sps_virtual_boundaries_present_flag?
sps_virtual_boundaries_pos_y[i]:ph_virtual_boundaries_pos_y[i])*8,(i=0..VirtualBoundariesNumHor)
for(i=0,j=0;i<VirtualBoundariesNumVer;i++){
if(VirtualBoundariesPosXInPic[i]<=Ceil(pic_width_in_luma_samples÷8)-1){
VirtualBoundariesPosX[j++]=VirtualBoundariesPosXInPic[i]
}
}
VirtualBoundariesNumVer=j
for(i=0,j=0;i<VirtualBoundariesNumHor;i++){
if(VirtualBoundariesPosYInPic[i]<=Ceil(pic_height_in_luma_samples÷8)-1){
VirtualBoundariesPosY[j++]=VirtualBoundariesPosYInPic[i]
}
}
VirtualBoundariesNumHor=j
VirtualBoundariesNumVer=sps_virtual_boundaries_present_flag?
sps_num_ver_virtual_boundaries:ph_num_ver_virtual_boundaries
VirtualBoundariesPosXInPic[i]=(sps_virtual_boundaries_present_flag?
sps_virtual_boundaries_pos_x[i]:ph_virtual_boundaries_pos_x[i])*8,(i=0..VirtualBoundariesNumVer)
VirtualBoundariesNumHor=sps_virtual_boundaries_present_flag?
sps_num_hor_virtual_boundaries:ph_num_hor_virtual_boundaries
VirtualBoundariesPosYInPic[i]=(sps_virtual_boundaries_present_flag?
sps_virtual_boundaries_pos_y[i]:ph_virtual_boundaries_pos_y[i])*8,(i=0..VirtualBoundariesNumHor)
for(i=0,j=0;i<VirtualBoundariesNumVer;i++){
if(VirtualBoundariesPosXInPic[i]<=Ceil(pic_width_in_luma_samples÷8)-1){
VirtualBoundariesPosX[j++]=VirtualBoundariesPosXInPic[i]
}
}
VirtualBoundariesNumVer=j
for(i=0,j=0;i<VirtualBoundariesNumHor;i++){
if(VirtualBoundariesPosYInPic[i]<=Ceil(pic_height_in_luma_samples÷8)-1){
VirtualBoundariesPosY[j++]=VirtualBoundariesPosYInPic[i]
}
}
VirtualBoundariesNumHor=j
[131] 代わりに、導出される仮想境界の位置「VirtualBoundariesPosX[i]」、「VirtualBoundariesPosY[i]」並びに仮想境界の数VirtualBoundariesNumVer及びVirtualBoundariesNumHorは、以下のように導出される。
for(i=0,j=0;i<sps_num_ver_virtual_boundaries;i++){
if(sps_virtual_boundaries_pos_x[i]<=Ceil(pic_width_in_luma_samples÷8)-1){
VirtualBoundariesPosX[j++]=sps_virtual_boundaries_pos_x[i]
}
}
VirtualBoundariesNumVer=j
for(i=0,j=0;i<sps_num_hor_virtual_boundaries;i++){
if(sps_virtual_boundaries_pos_y[i]<=Ceil(pic_height_in_luma_samples÷8)-1){
VirtualBoundariesPosY[j++]=sps_virtual_boundaries_pos_y[i]
}
}
VirtualBoundariesNumHor=j
VirtualBoundariesNumVer=sps_virtual_boundaries_present_flag?
VirtualBoundariesNumVer:ph_num_ver_virtual_boundaries
VirtualBoundariesPosX[i]=(sps_virtual_boundaries_present_flag?
VirtualBoundariesPosX[i]:ph_virtual_boundaries_pos_x[i])*8,(i=0..VirtualBoundariesNumVer)
VirtualBoundariesNumHor=sps_virtual_boundaries_present_flag?
VirtualBoundariesNumHor:ph_num_hor_virtual_boundaries
VirtualBoundariesPosY[i]=(sps_virtual_boundaries_present_flag?
VirtualBoundariesPosY[i]:ph_virtual_boundaries_pos_y[i])*8,(i=0..VirtualBoundariesNumHor)
for(i=0,j=0;i<sps_num_ver_virtual_boundaries;i++){
if(sps_virtual_boundaries_pos_x[i]<=Ceil(pic_width_in_luma_samples÷8)-1){
VirtualBoundariesPosX[j++]=sps_virtual_boundaries_pos_x[i]
}
}
VirtualBoundariesNumVer=j
for(i=0,j=0;i<sps_num_hor_virtual_boundaries;i++){
if(sps_virtual_boundaries_pos_y[i]<=Ceil(pic_height_in_luma_samples÷8)-1){
VirtualBoundariesPosY[j++]=sps_virtual_boundaries_pos_y[i]
}
}
VirtualBoundariesNumHor=j
VirtualBoundariesNumVer=sps_virtual_boundaries_present_flag?
VirtualBoundariesNumVer:ph_num_ver_virtual_boundaries
VirtualBoundariesPosX[i]=(sps_virtual_boundaries_present_flag?
VirtualBoundariesPosX[i]:ph_virtual_boundaries_pos_x[i])*8,(i=0..VirtualBoundariesNumVer)
VirtualBoundariesNumHor=sps_virtual_boundaries_present_flag?
VirtualBoundariesNumHor:ph_num_hor_virtual_boundaries
VirtualBoundariesPosY[i]=(sps_virtual_boundaries_present_flag?
VirtualBoundariesPosY[i]:ph_virtual_boundaries_pos_y[i])*8,(i=0..VirtualBoundariesNumHor)
[132] いくつかの例示的実施形態では、仮想境界のシグナリングに関連する上記の問題を解決するために、「sps_virtual_boundaries_pos_x[i]」及び「sps_virtual_boundaries_pos_y[i]」の値の上限を、シーケンス内のピクチャの幅及び高さそれぞれの最大値である「pic_width_max_in_luma_samples」及び「pic_height_max_in_luma_samples」にそれぞれ変更する。各ピクチャについて、ＳＰＳ内でシグナリングされる仮想境界の位置（「sps_virtual_boundaries_pos_x[i]」及び「sps_virtual_boundaries_pos_y[i]」）が、ＳＰＳ内でシグナリングされる最大ピクチャ幅及び高さと、ＰＰＳ内でシグナリングされる現在のピクチャの幅及び高さとの間の比率に従ってスケーリングされる。
[133] これらの実施形態に従うセマンティクスを以下に記載する。
[134] 「sps_virtual_boundaries_pos_x[i]」は、８で割ったルマサンプル単位のｉ番目の垂直仮想境界の位置を指定する。「sps_virtual_boundaries_pos_x[i]」の値は、１～Ceil（pic_width_max_in_luma_samples÷８）－１の範囲内にある。
[135] 「sps_virtual_boundaries_pos_y[i]」は、８で割ったルマサンプル単位のｉ番目の水平仮想境界の位置を指定する。「sps_virtual_boundaries_pos_y[i]」の値は、１～Ceil（pic_height_max_in_luma_samples÷８）－１の範囲内にある。
[136] ピクチャごとの仮想境界の位置を導出するために、スケーリング比を最初に計算し、次いでＳＰＳ内でシグナリングされる仮想境界の位置を以下のようにスケーリングする。
VBScaleX=((pic_width_max_in_luma_samples<<14)+(pic_width_in_luma_samples>>1))/pic_width_in_luma_samples
VBScaleY=((pic_height_max_in_luma_samples<<14)+(pic_height_in_luma_samples>>1))/pic_height_in_luma_samples
SPSVirtualBoundariesPosX[i]=(sps_virtual_boundaries_pos_x[i]×VBScaleX+(1<<13))>>14
SPSVirtualBoundariesPosY[i]=(sps_virtual_boundaries_pos_y[i]×VBScaleY+(1<<13))>>14
VBScaleX=((pic_width_max_in_luma_samples<<14)+(pic_width_in_luma_samples>>1))/pic_width_in_luma_samples
VBScaleY=((pic_height_max_in_luma_samples<<14)+(pic_height_in_luma_samples>>1))/pic_height_in_luma_samples
SPSVirtualBoundariesPosX[i]=(sps_virtual_boundaries_pos_x[i]×VBScaleX+(1<<13))>>14
SPSVirtualBoundariesPosY[i]=(sps_virtual_boundaries_pos_y[i]×VBScaleY+(1<<13))>>14
[137] 例えば「SPSVirtualBoundariesPosX[i]」及び「SPSVirtualBoundariesPosY[i]」は、以下のように８ピクセルグリッドにさらに丸めることができる。
SPSVirtualBoundariesPosX[i]=((SPSVirtualBoundariesPosX[i]+4)>>3)<<3
SPSVirtualBoundariesPosY[i]=((SPSVirtualBoundariesPosY[i]+4)>>3)<<3
SPSVirtualBoundariesPosX[i]=((SPSVirtualBoundariesPosX[i]+4)>>3)<<3
SPSVirtualBoundariesPosY[i]=((SPSVirtualBoundariesPosY[i]+4)>>3)<<3
[138] 最後に、導出される仮想境界の位置「VirtualBoundariesPosX[i]」及び「VirtualBoundariesPosY[i]」並びに仮想境界の数「VirtualBoundariesNumVer」及び「VirtualBoundariesNumHor」は、以下のように導出される。
VirtualBoundariesNumVer=sps_virtual_boundaries_present_flag?
sps_num_ver_virtual_boundaries:ph_num_ver_virtual_boundaries
VirtualBoundariesPosX[i]=(sps_virtual_boundaries_present_flag?
SPSVirtualBoundariesPosX[i]:ph_virtual_boundaries_pos_x[i])*8,(i=0..VirtualBoundariesNumVer)
VirtualBoundariesNumHor=sps_virtual_boundaries_present_flag?
sps_num_hor_virtual_boundaries:ph_num_hor_virtual_boundaries
VirtualBoundariesPosY[i]=(sps_virtual_boundaries_present_flag?
SPSVirtualBoundariesPosY[i]:ph_virtual_boundaries_pos_y[i])*8,(i=0..VirtualBoundariesNumHor)
VirtualBoundariesNumVer=sps_virtual_boundaries_present_flag?
sps_num_ver_virtual_boundaries:ph_num_ver_virtual_boundaries
VirtualBoundariesPosX[i]=(sps_virtual_boundaries_present_flag?
SPSVirtualBoundariesPosX[i]:ph_virtual_boundaries_pos_x[i])*8,(i=0..VirtualBoundariesNumVer)
VirtualBoundariesNumHor=sps_virtual_boundaries_present_flag?
sps_num_hor_virtual_boundaries:ph_num_hor_virtual_boundaries
VirtualBoundariesPosY[i]=(sps_virtual_boundaries_present_flag?
SPSVirtualBoundariesPosY[i]:ph_virtual_boundaries_pos_y[i])*8,(i=0..VirtualBoundariesNumHor)
[139] いくつかの例示的実施形態では、仮想境界のシグナリングに関連する上記の問題を解決するために、シーケンスレベルの仮想境界のシグナリングと、ピクチャの幅及び高さの変更とを相互排他的に使用する。例えば、仮想境界がＳＰＳ内でシグナリングされる場合、ピクチャの幅及び高さをシーケンス内で変更することができない。ピクチャの幅及び高さがシーケンス内で変更される場合、仮想境界をＳＰＳ内でシグナリングすることができない。
[140] 本発明の実施形態では、「sps_virtual_boundaries_pos_x[i]」及び「sps_virtual_boundaries_pos_y[i]」の値の上限を、シーケンス内のピクチャの幅及び高さそれぞれの最大値である「pic_width_max_in_luma_samples」及び「pic_width_max_in_luma_samples」にそれぞれ変更する。
[141] 本発明の実施形態に従う「sps_virtual_boundaries_pos_x[i]」及び「sps_virtual_boundaries_pos_y[i]」のセマンティクスは、下記のとおりである。
[142] 「sps_virtual_boundaries_pos_x[i]」は、８で割ったルマサンプル単位のｉ番目の垂直仮想境界の位置を指定する。「sps_virtual_boundaries_pos_x[i]」の値は、１～Ceil（pic_width_max_in_luma_samples÷８）－１の範囲内にある。
[143] 「sps_virtual_boundaries_pos_y[i]」は、８で割ったルマサンプル単位のｉ番目の水平仮想境界の位置を指定する。「sps_virtual_boundaries_pos_y[i]」の値は、１～Ceil（pic_height_max_in_luma_samples÷８）－１の範囲内にある。
[144] 一例として、「pic_width_in_luma_samples」及び「pic_height_in_luma_samples」のビットストリーム適合要件は、以下のように課すことができる。
[145] （１）「subpics_present_flag」が１に等しいか、又は（２）「ref_pic_resampling_enabled_flag」が０に等しいか、又は（３）「sps_virtual_boundaries_present_flag」が１に等しい場合、「pic_width_in_luma_samples」の値は、「pic_width_max_in_luma_samples」に等しい。この制約の第３の条件（すなわち「sps_virtual_boundaries_present_flag」が１に等しいこと）に従い、仮想境界がＳＰＳ内にある場合、シーケンス内の各ピクチャは、シーケンス内のピクチャの最大幅に等しい同じ幅を有する。
[146] （１）「subpics_present_flag」が１に等しいか、又は（２）「ref_pic_resampling_enabled_flag」が０に等しいか、又は（３）「sps_virtual_boundaries_present_flag」が１に等しい場合、「pic_height_in_luma_samples」の値は、「pic_height_max_in_luma_samples」に等しい。この制約の第３の条件（すなわち「sps_virtual_boundaries_present_flag」が１に等しいこと）に従い、仮想境界がＳＰＳ内にある場合、シーケンス内の各ピクチャは、シーケンス内のピクチャの最大高さに等しい同じ高さを有する。
[147] 別の例として、「pic_width_in_luma_samples」及び「pic_height_in_luma_samples」のビットストリーム適合要件は、以下のように課すことができる。
[148] （１）「subpics_present_flag」が１に等しいか、又は（２）「ref_pic_resampling_enabled_flag」が０に等しいか、又は（３）「sps_num_ver_vritual_boundaries」が０に等しくない場合、「pic_width_in_luma_samples」の値は、「pic_width_max_in_luma_samples」に等しい。この制約の第３の条件（すなわち「sps_num_ver_vritual_boundarieｓ」が０に等しくないこと）に従い、垂直仮想境界の数が０を上回る（すなわち少なくとも１つの垂直仮想境界がある）場合、シーケンス内の各ピクチャは、シーケンス内のピクチャの最大幅に等しい同じ幅を有する。
[149] （１）「subpics_present_flag」が１に等しいか、又は（２）「ref_pic_resampling_enabled_flag」が０に等しいか、又は（３）「sps_num_hor_vritual_boundaries」が０に等しくない場合、「pic_height_in_luma_samples」の値は、「pic_height_max_in_luma_samples」に等しい。この制約の第３の条件（すなわち「sps_num_hor_vritual_boundaries」が０に等しくないこと）に従い、垂直仮想境界の数が０を上回る（すなわち少なくとも１つの垂直仮想境界がある）場合、シーケンス内の各ピクチャは、シーケンス内のピクチャの最大幅に等しい同じ幅を有する。
[150] 別の例として、「sps_virtual_boundaries_present_flag」のビットストリーム適合要件は、以下のように課すことができる：「ref_pic_resampling_enabled_flag」が１である場合に「sps_virtual_boundaries_present_flag」が０であることは、ビットストリーム適合の要件である。この制約に従い、参照ピクチャ再サンプリングが有効にされる場合、仮想境界は、ＳＰＳ内にあるべきではない。この制約の原理は、以下のとおりである。参照ピクチャ再サンプリングは、現在のピクチャが、参照ピクチャと異なる解像度を有する場合に使用される。ピクチャの解像度がシーケンス内で変更されることが許可される場合、異なるピクチャは、異なる解像度を有し得るため、仮想境界の位置もピクチャごとに変更することができる。従って、仮想境界の位置をピクチャレベル（例えば、ＰＰＳ）でシグナリングすることができる。シーケンスレベルの（すなわちＳＰＳ内でシグナリングされる）仮想境界のシグナリングは、適切ではない。
[151] 別の例として、「sps_virtual_boundaries_present_flag」は、「ref_pic_resampling_enabled_flag」に基づいて条件付きでシグナリングされる。例えば、０に等しい「ref_pic_resampling_enabled_flag」は、ＳＰＳを参照するＣＬＶＳ内のピクチャを復号化するとき、参照ピクチャ再サンプリングが適用されないことを指定し、「sps_virtual_boundaries_present_flag」は、「!ref_pic_resampling_enabled_flag」の値が１であることに基づいてシグナリングされる。この構文を図１１に示し、表１（図５）内の構文に対する変更をイタリック体で示す。関連するセマンティクスを以下のとおり記載する。
[152] １に等しい「sps_virtual_boundaries_present_flag」は、仮想境界の情報がＳＰＳ内でシグナリングされることを指定する。０に等しい「sps_virtual_boundaries_present_flag」は、仮想境界の情報がＳＰＳ内でシグナリングされないことを指定する。１つ以上の仮想境界がＳＰＳ内でシグナリングされる場合、ＳＰＳを参照するピクチャ内の仮想境界を横断するインループフィルタリング演算が無効にされる。「sps_virtual_boundaries_present_flag」がない場合、その値は、０であると推論される。インループフィルタリング演算は、デブロッキングフィルタ、サンプル適応オフセットフィルタ、及び適応ループフィルタ演算を含む。
[153] 別の例として、「ref_pic_resampling_enabled_flag」は、「sps_virtual_boundaries_present_flag」に基づいて条件付きでシグナリングされる。この構文を図１２に示し、表１（図５）内の構文に対する変更を、イタリック体及び取り消し線を用いて示す。関連するセマンティクスを以下に記載する。
[154] １に等しい「ref_pic_resampling_enabled_flag」は、ＳＰＳを参照するＣＬＶＳ内の符号化ピクチャを復号化するとき、参照ピクチャ再サンプリングを適用できることを指定する。０に等しい「ref_pic_resampling_enabled_flag」は、ＳＰＳを参照するＣＬＶＳ内のピクチャを復号化するとき、参照ピクチャ再サンプリングが適用されないことを指定する。「ref_pic_resampling_enabled_flag」がない場合、その値は、０であると推論される。
[155] さらに、ラップアラウンド動き補償のシグナリングに関連する上記の問題を解決するために、「sps_ref_wraparound_enabled_flag」は、ＳＰＳを参照するシーケンス内の全てのピクチャの幅が制約条件を満たす場合にのみ真であり得、本開示によって以下の実施形態が与えられる。
[156] 一部の実施形態では、ラップアラウンド動き補償有効化フラグ及びラップアラウンドオフセットに対する制約は、ＳＰＳ内でシグナリングされる最大ピクチャ幅に依存するように変更される。ピクチャレベルにおいて、ピクチャ幅のチェックが導入される。ラップアラウンドは、条件を満たす幅を有するピクチャにのみ適用することができる。その幅が条件を満たさないピクチャでは、たとえ「sps_ref_wraparound_enabled_flag」が真でもラップアラウンドがオフにされる。そうすることにより、ＰＰＳ内でシグナリングされるピクチャ幅を使用してＳＰＳ内でシグナリングされる「sps_ref_wraparound_enabled_flag」及び「sps_ref_wraparound_offset_minus1」を制限する必要がない。構文は、変更されず、「sps_ref_wraparound_enabled_flag」及び「sps_ref_wraparound_offset_minus1」のセマンティクスは、下記のとおりである。
[157] １に等しい「sps_ref_wraparound_enabled_flag」は、水平ラップアラウンド動き補償がインター予測内で適用され得ることを指定する。０に等しいsps_ref_wraparound_enabled_flagは、水平ラップアラウンド動き補償が適用されないことを指定する。（CtbSizeY／MinCbSizeY＋１）の値が（pic_width_max_in_luma_samples／MinCbSizeY－１）を上回る場合、sps_ref_wraparound_enabled_flagの値は、０に等しいものとする。
[158] 「sps_ref_wraparound_offset_minus1」プラス１は、MinCbSizeYルマサンプル単位の水平ラップアラウンド位置を計算するために使用されるオフセットの最大値を指定する。sps_ref_wraparound_offset_minus1の値は（CtbSizeY／MinCbSizeY）＋１～（pic_width_max_in_luma_samples／MinCbSizeY）－１の範囲内にあるものとする。
[159] ＶＶＣドラフト７のとおり、pic_width_max_in_luma_samplesは、ＳＰＳを参照する各復号化ピクチャのルマサンプル単位の最大幅である。CtbSizeY及びMinCbSizeYは、ＶＶＣドラフト７で定められているとおりである。
[160] シーケンスの各ピクチャについて、変数「PicRefWraparoundEnableFlag」が以下のように定められる。
[161] PicRefWraparoundEnableFlag=sps_ref_wraparound_enabled_flag&&sps_ref_wraparound_offset_minus1<=(pic_width_in_luma_samples/MinCbSizeY-1))
[162] ここで、「pic_width_in_luma_samples」は、ＶＶＣドラフト７のとおり、「pic_width_in_luma_samples」がシグナリングされるＰＰＳを参照するピクチャの幅である。CtbSizeY及びMinCbSizeYは、ＶＶＣドラフト７で定められているとおりである。
[163] 変数「PicRefWraparoundEnableFlag」は、現在のピクチャに対してラップアラウンドＭＣを有効にできるかどうかを判定するために使用される。
[164] 代替的な方法では、シーケンスの各ピクチャについて、２つの変数「PicRefWraparoundEnableFlag」及び「PicRefWraparoundOffset」が以下のように定められる。
[165] PicRefWraparoundEnableFlag=sps_ref_wraparound_enabled_flag&&((ctbSizeY/MinCbSizeY+1)<=(pic_width_in_luma_samples/MinCbSizeY-1))
[166] PicRefWraparoundOffset=min(sps_ref_wraparound_ofset_minus+1,(pic_width_in_luma_samples/MinCbSizeY))
[167] ここで、「pic_width_in_luma_samples」は、ＶＶＣドラフト７のとおり、「pic_width_in_luma_samples」がシグナリングされるＰＰＳを参照するピクチャの幅である。CtbSizeY及びMinCbSizeYは、ＶＶＣドラフト７で定められているとおりである。
[168] 変数「PicRefWraparoundEnableFlag」は、現在のピクチャに対してラップアラウンドＭＣを有効にできるかどうかを判定するために使用される。ラップアラウンドＭＣを有効にできる場合、オフセット「PicRefWraparoundOffset」を動き補償プロセス内で使用することができる。
[169] 一部の実施形態では、ラップアラウンド動き補償及びシーケンスレベルの仮想境界のシグナリングとピクチャ幅の変更との相互排他的な使用を提供する。ラップアラウンド動き補償が有効にされる場合、ピクチャ幅をシーケンス内で変更することができない。ピクチャ幅がシーケンス内で変更される場合、ラップアラウンド動き補償が無効にされる。
[170] 一例として、本発明の実施形態に従う「sps_ref_wraparound_enabled_flag」及び「sps_ref_wraparound_offset_minus1」のセマンティクスを以下のとおり記載する。
[171] １に等しい「sps_ref_wraparound_enabled_flag」は、水平ラップアラウンド動き補償がインター予測内で適用されることを指定する。０に等しい「sps_ref_wraparound_enabled_flag」は、水平ラップアラウンド動き補償が適用されないことを指定する。（CtbSizeY／MinCbSizeY＋１）の値が（pic_width_max_in_luma_samples／MinCbSizeY－１）を上回る場合、sps_ref_wraparound_enabled_flagの値は、０に等しくてもよい。
[172] 「sps_ref_wraparound_offset_minus1」プラス１は、MinCbSizeYルマサンプル単位の水平ラップアラウンド位置を計算するために使用されるオフセットを指定する。「ref_wraparound_offset_minus1」の値は、（CtbSizeY／MinCbSizeY）＋１～（pic_width_max_in_luma_samples／MinCbSizeY）－１の範囲内にあり得る。
[173] 「pic_width_in_luma_samples」及び「pic_height_in_luma_samples」のビットストリーム適合要件は、以下のように課すことができる。
[174] 「subpics_present_flag」が１に等しいか、又は「ref_pic_resampling_enabled_flag」が０に等しいか、又は「sps_ref_wraparound_enabled_flag」が１に等しい場合、「pic_width_in_luma_samples」の値は、「pic_width_max_in_luma_samples」に等しい。
[175] 別の例として、「sps_ref_wraparound_enabled_flag」のビットストリーム適合要件を課すことができる。本発明の実施形態に従う「sps_ref_wraparound_enabled_flag」及び「sps_ref_wraparound_offset_minus1」のセマンティクスを以下のとおり記載する。
[176] １に等しい「sps_ref_wraparound_enabled_flag」は、水平ラップアラウンド動き補償がインター予測内で適用されることを指定する。０に等しい「sps_ref_wraparound_enabled_flag」は、水平ラップアラウンド動き補償が適用されないことを指定する。（CtbSizeY／MinCbSizeY＋１）の値が（pic_width_max_in_luma_samples／MinCbSizeY－１）を上回る場合、sps_ref_wraparound_enabled_flagの値は、０に等しい。
[177] ref_pic_resampling_enabled_flagが１である場合、「sps_ref_wraparound_enabled_flag」の値は、０であり得る。ref_pic_resampling_enabled_flagは、参照再サンプリングが有効にされるかどうかを指定する。参照再サンプリングは、参照ピクチャの解像度が現在のピクチャの解像度と異なる場合に参照ピクチャを再サンプリングするために使用される。そのため、ピクチャレベル（例えば、ＰＰＳ、ＰＨ）では、参照ピクチャの解像度が現在のピクチャと異なる場合、現在のピクチャを予測するためにラップアラウンド動き補償は使用されない。
[178] 「sps_ref_wraparound_offset_minus1」プラス１は、MinCbSizeYルマサンプル単位の水平ラップアラウンド位置を計算するために使用されるオフセットを指定する。「ref_wraparound_offset_minus1」の値は、（CtbSizeY／MinCbSizeY）＋１～（pic_width_max_in_luma_samples／MinCbSizeY）－１の範囲内にある。
[179] 別の例として、「sps_ref_wraparound_enabled_flag」は、「ref_pic_resampling_enabled_flag」に基づいて条件付きでシグナリングされる。この構文を図１３に示し、表３（図８）内の構文に対する変更をイタリック体で示す。関連するセマンティクスを以下のとおり記載する。
[180] １に等しい「sps_ref_wraparound_enabled_flag」は、水平ラップアラウンド動き補償がインター予測内で適用されることを指定する。０に等しい「sps_ref_wraparound_enabled_flag」は、水平ラップアラウンド動き補償が適用されないことを指定する。（CtbSizeY／MinCbSizeY＋１）の値が（pic_width_max_in_luma_samples／MinCbSizeY－１）を上回る場合、「sps_ref_wraparound_enabled_flag」の値は、０に等しい。「sps_ref_wraparound_enabled_flag」がない場合、その値は、０であると推論される。
[181] 「sps_ref_wraparound_offset_minus1」プラス１は、MinCbSizeYルマサンプル単位の水平ラップアラウンド位置を計算するために使用されるオフセットを指定する。ref_wraparound_offset_minus1の値は（CtbSizeY／MinCbSizeY）＋１～（pic_width_max_in_luma_samples／MinCbSizeY）－１の範囲内にある。
[182] 一例として、「ref_pic_resampling_enabled_flag」は、「sps_ref_wraparound_enabled_flag」に基づいて条件付きでシグナリングされる。この構文を図１４の表９として示し、表３（図８）内の構文に対する変更を、イタリック体及び取り消し線を用いて示す。関連するセマンティクスは、以下のとおりである。
[183] １に等しい「ref_pic_resampling_enabled_flag」は、ＳＰＳを参照するＣＬＶＳ内の符号化ピクチャを復号化するとき、参照ピクチャ再サンプリングを適用できることを指定する。０に等しいref_pic_resampling_enabled_flagは、ＳＰＳを参照するＣＬＶＳ内のピクチャを復号化するとき、参照ピクチャ再サンプリングが適用されないことを指定する。ref_pic_resampling_enabled_flagがない場合、その値は、０であると推論される。
[184] 図１５は、本開示のいくつかの実施形態に従う例示的な方法１５００のフローチャートを示す。一部の実施形態では、方法１５００は、符号器、機器（例えば、図４の機器４００）の１つ以上のソフトウェア又はハードウェアコンポーネントによって実行され得る。例えば、プロセッサ（例えば、図４のプロセッサ４０２）が方法１５００を実行することができる。一部の実施形態では、方法１５００は、コンピュータ（例えば、図４の機器４００）によって実行されるプログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体内に具体化されるコンピュータプログラム製品によって実装することができる。
[185] 誤り及びアーティファクトを防ぐためにインループフィルタリングを無効にすることができるように、３６０度映像又は漸進的復号化リフレッシュ（ＧＤＲ）符号化のための符号化ツールの１つとして仮想境界を設定することができる。これを、図１５に示す方法で例示する。
[186] ステップ１５０１では、ピクチャのシーケンスを含むビットストリームを受信する。ピクチャのシーケンスは、ピクチャのセットであり得る。記載したように、カラーピクチャの基本処理ユニットは、無色の輝度情報を表現するルマ成分（Ｙ）、色情報を表現する１つ以上のクロマ成分（例えば、Ｃｂ及びＣｒ）、並びに関連構文要素を含むことができ、ここで、ルマ及びクロマ成分は、基本処理ユニットの同じサイズを有することができる。ルマ及びクロマ成分は、いくつかの映像符号化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、「符号化ツリーブロック」（「ＣＴＢ」）と称され得る。基本処理ユニットに対して遂行される任意の演算は、そのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。
[187] ステップ１５０３では、受信されたストリームに従い、シーケンスレベルで（すなわちＳＰＳ内で）仮想境界がシグナリングされるかどうかを判定する。仮想境界がシーケンスレベルでシグナリングされる場合、仮想境界の数及び各仮想境界の位置が、ＳＰＳを参照するピクチャについてシグナリングされる。
[188] 仮想境界は、シーケンスパラメータセット（ＳＰＳ）又はピクチャヘッダ（ＰＨ）内でシグナリングされ得る。ＳＰＳでは、仮想境界存在フラグ「sps_virtual_boundaries_present_flag」が最初にシグナリングされる。フラグが真である場合、仮想境界の数及び各仮想境界の位置が、ＳＰＳを参照するピクチャについてシグナリングされる。
[189] ステップ１５０５では、任意選択的に、仮想境界がピクチャのセットについてシーケンスレベルでシグナリングされないことに応答して、受信されたストリームに従い、ピクチャのセット内のピクチャについて仮想境界がピクチャレベル（例えば、ＰＰＳ又はＰＨ）でシグナリングされるかどうかを判定する。例えば、「sps_virtual_boundaries_present_flag」が偽である場合、別の仮想境界存在フラグ「ph_virtual_boundaries_present_flag」がＰＨ内でシグナリングされ得る。同様に、「ph_virtual_boundaries_present_flag」が真である場合、仮想境界の数及び各仮想境界の位置が、ＰＨに関連するピクチャについてシグナリングされ得る。ステップ１５０５は、任意選択的であり、一部の実施形態では、本方法は、仮想境界がシーケンスレベルでシグナリングされないことに応答してステップ１５０５を含み得る。一部の実施形態では、仮想境界がシーケンスレベルでシグナリングされないことに応答して、本方法は、ステップ１５０５を行うことなしに終了することができる。仮想境界がピクチャレベルでシグナリングされることに応答して、本方法は、仮想境界の位置を決定するためのステップ１５０７に進む。
[190] 一部の実施形態では、仮想境界がシーケンスレベルでシグナリングされていないことを示す任意の条件が満たされているかどうかを判定することができる。例で上述したように、図５の表１内の「sps_virtual_boundaries_present_flag」の値を決定することができ、値が１であることは、仮想境界がシーケンスレベルでシグナリングされることを示す。しかし、仮想境界がシーケンスレベルで適用されないことを示す他の条件がある。シーケンスレベルの仮想境界のシグナリングがないことを示す第１の条件は、参照再サンプリングが有効にされることである。第２の条件は、ピクチャのセット内のピクチャの解像度の変更が許可されることである。これらの２つの条件のいずれかが満たされる場合、仮想境界は、シーケンスレベルでシグナリングされない。これらの２つの条件のいずれも満たされない場合、及び本実施例にあるように、「sps_virtual_boundaries_present_flag」の値が１であると決定される場合、仮想信号がピクチャのセットについてシーケンスレベルでシグナリングされると決定される。この方法は、仮想境界の位置を決定するためのステップ１５０７に進む。
[191] 一部の実施形態では、受信されたビットストリームに従い、ピクチャのシーケンスに関して参照再サンプリングが有効にされるかどうかを判定する。ピクチャのシーケンスに関して参照再サンプリングが有効にされることに応答して、仮想境界がシーケンスレベルでシグナリングされない。
[192] 復号化プログラムは、フレームのそれぞれを復号化することができる。現在のフレームの解像度が参照ピクチャの解像度と異なると復号化プログラムが判定する場合、復号化プログラムは、参照ピクチャに対して適切な再サンプリングを行い、生成した再サンプリングされた参照ブロックを、現在のフレーム内のブロックを復号化するための参照ブロックとして使用することができる。ピクチャの空間解像度が映像シーケンス内で変更されることが許可される場合、参照ピクチャの再サンプリングが必要である。再サンプリングが有効にされる場合、解像度の変更を許可しても又はしなくてもよい。ピクチャの解像度の変更が許可される場合、再サンプリングが必要であるため、再サンプリングが有効にされる。参照ピクチャの適切な再サンプリングは、参照ピクチャのダウンサンプリング又はアップサンプリングであり得る。例えば、図９に示すように、１に等しい「ref_pic_resampling_enabled_flag」は、ＳＰＳを参照するＣＬＶＳ内の符号化ピクチャを復号化するとき、参照ピクチャ再サンプリングを適用できることを指定する。０に等しいref_pic_resampling_enabled_flagは、ＳＰＳを参照するＣＬＶＳ内のピクチャを復号化するとき、参照ピクチャ再サンプリングが適用されないことを指定する。
[193] 例えば、図５の表１内の「sps_virtual_boundaries_present_flag」は、「ref_pic_resampling_enabled_flag」に基づいて条件付きでシグナリングされ得る。「ref_pic_resampling_enabled_flag」の値を決定することができる。０に等しい「ref_pic_resampling_enabled_flag」は、ＳＰＳを参照するＣＬＶＳ内のピクチャを復号化するとき、参照ピクチャ再サンプリングが適用されないことを指定する。「ref_pic_resampling_enabled_flag」が１である場合、「sps_virtual_boundaries_present_flag」は、０である。
[194] 一部の実施形態では、ピクチャのシーケンス内のピクチャの解像度の変更が許可されるかどうかを判定する。解像度の変更が許可されることに応答して、仮想境界がシーケンスレベルでシグナリングされないと判定される。
[195] 参照ピクチャ再サンプリングは、現在のピクチャが、参照ピクチャと異なる解像度を有する場合に使用される。ピクチャの解像度がシーケンス内で変更されることが許可される場合、異なるピクチャは、異なる解像度を有し得るため、仮想境界の位置もピクチャごとに変更することができる。従って、仮想境界の位置をピクチャレベル（例えば、ＰＰＳ及びＰＨ）でシグナリングすることができる一方、シーケンスレベルの（すなわちＳＰＳ内でシグナリングされる）仮想境界のシグナリングは、適切ではない。従って、ピクチャの解像度の変更が許可される場合、仮想境界がシーケンスレベルでシグナリングされないと判定される。同時に、再サンプリングが許可されるが、ピクチャの解像度の変更が許可されない場合、仮想境界のシグナリングに対する制約は、課されない。
[196] 一部の実施形態では、ピクチャのシーケンスに関して参照再サンプリングが有効にされることに応答して、ピクチャのシーケンスに関してラップアラウンド動き補償が無効にされると判定される。
[197] 例えば、図１３内の「ref_pic_resampling_enabled_flag」の値が１であり、「sps_ref_wraparound_enabled_flag」が０であり、水平ラップアラウンド動き補償が適用されないことが決定される。「ref_pic_resampling_enabled_flag」は、参照再サンプリングが有効にされるかどうかを指定する。参照再サンプリングは、参照ピクチャの解像度が現在のピクチャの解像度と異なる場合に参照ピクチャを再サンプリングするために使用される。ピクチャレベル（例えば、ＰＰＳ）において、この例では参照ピクチャの解像度が現在のピクチャと異なる場合、現在のピクチャを予測するためにラップアラウンド動き補償が使用されない。「ref_pic_resampling_enabled_flag」の値が０であると判定される場合、「sps_ref_wraparound_enabled_flag」は１であり、水平ラップアラウンド動き補償が適用される。
[198] 一部の実施形態では、ピクチャのシーケンス内のピクチャの解像度の変更が許可されることに応答して、ピクチャのシーケンスに関してラップアラウンド動き補償が無効にされると判定される。
[199] ステップ１５０７では、仮想境界がシーケンスレベルでシグナリングされることに応答して、シーケンスの仮想境界の位置を決定する。位置は、シーケンス内のピクチャの幅及び高さに基づく範囲によって制限される。仮想境界は、垂直境界及び水平境界を含み得る。仮想境界の位置は、垂直境界の位置点及び水平境界の位置点を含み得る。例えば、図５の表１に示すように、「sps_virtual_boundaries_pos_x[i]」は、８で割ったルマサンプル単位のｉ番目の垂直仮想境界の位置を指定する一方、「sps_virtual_boundaries_pos_y[i]」は、８で割ったルマサンプル単位のｉ番目の水平仮想境界の位置を指定する。
[200] 一部の実施形態では、この位置の垂直範囲は、シーケンス内のピクチャの各ピクチャについて許可された最大幅以下であり、水平範囲は、セット内のピクチャのそれぞれについて許可された最大高さ以下である。最大幅及び最大高さは、受信されたストリーム内でシグナリングされる。セマンティクスにおける例は、以下のとおりである。
[201] 「sps_virtual_boundaries_pos_x[i]」は、８で割ったルマサンプル単位のｉ番目の垂直仮想境界の位置を指定する。「sps_virtual_boundaries_pos_x[i]」の値は、１～Ceil（pic_width_max_in_luma_samples÷８）－１の範囲内にある。
[202] 「sps_virtual_boundaries_pos_y[i]」は、８で割ったルマサンプル単位のｉ番目の水平仮想境界の位置を指定する。「sps_virtual_boundaries_pos_y[i]」の値は、１～Ceil（pic_height_max_in_luma_samples÷８）－１の範囲内にある。
[203] 仮想境界がＳＰＳ内にある、すなわち「sps_virtual_boundaries_present_flag」が１に等しい場合、シーケンス内の各ピクチャは、シーケンス内のピクチャの最大幅に等しい同じ幅を有する。
[204] 一部の実施形態では、ピクチャのセット内の１つのピクチャについて仮想境界がピクチャレベルでシグナリングされることに応答して、その１つのピクチャの仮想境界の位置を決定することができる。セット内の１つ以上のピクチャに関して１つ以上の境界をシグナリングすることができる。例えば、図６のＰＨ構文のセマンティクスに示すように、「ph_num_ver_virtual_boundaries」は、ＰＨ内にある「ph_virtual_boundaries_pos_x[i]」構文要素の数を指定する。「ph_num_ver_virtual_boundaries」がない場合、その値は、０に等しいと推論される。
[205] 「ph_virtual_boundaries_pos_x[i]」は、８で割ったルマサンプル単位のｉ番目の垂直仮想境界の位置を指定する。「ph_virtual_boundaries_pos_x[i]」の値は、１～Ceil（pic_width_in_luma_samples÷８）－１の範囲内にある。
[206] 「ph_virtual_boundaries_pos_y[i]」は、８で割ったルマサンプル単位のｉ番目の水平仮想境界の位置を指定する。「ph_virtual_boundaries_pos_y[i]」の値は、１～Ceil（pic_height_in_luma_samples÷８）－１の範囲内にある。
[207] 記載したように、３６０度映像などのアプリケーションでは、特定の投影フォーマットのレイアウトが複数の面を通常有する。例えば、ＭＰＥＧ－Ｉパート２：全方向性メディアフォーマット（ＯＭＡＦ）は、面を６つ有するＣＭＰと名付けられたキューブマップベースの投影フォーマットを規格化する。複数の面を含む投影フォーマットに関して、どのような種類のコンパクトフレームパッキング構成が使用されるかに関係なく、フレームパックピクチャ内の２つ以上の隣接する面間に不連続性が生じる。この不連続性にわたってインループフィルタリング演算を実行した場合、レンダリング後の再構成映像内で面の継ぎ目のアーティファクトが見えるようになり得る。面の継ぎ目のアーティファクトを軽減するために、フレームパックピクチャ内の不連続性にわたるインループフィルタリング演算を無効にしなければならない。横断するようなループフィルタリング演算が無効にされる仮想境界を使用することができる。符号器は、不連続境界を仮想境界として設定することができ、それにより不連続境界上でループフィルタを適用しないことができる。３６０度映像の他に、仮想境界は、超低遅延アプリケーション内で主に使用される漸進的復号化リフレッシュ（ＧＤＲ）にも使用することができる。超低遅延アプリケーションでは、ランダムアクセスポイントピクチャとしてイントラ符号化ピクチャを挿入することは、イントラ符号化ピクチャのサイズが大きいことにより、許容できない伝送レイテンシを引き起こす場合がある。レイテンシを減らすために、Ｂ／Ｐピクチャ内にイントラ符号化領域を挿入することによってピクチャが漸進的にリフレッシュされるＧＤＲが採用される。誤り伝播を防ぐために、ピクチャ内のリフレッシュ領域内のピクセルは、現在のピクチャ又は参照ピクチャの未リフレッシュ領域内のものを参照することができない。従って、リフレッシュ領域及び未フレッシュ領域の境界を横断するループフィルタリングを適用することができない。上記の仮想境界の方式により、符号器は、リフレッシュ領域及び未リフレッシュ領域の境界を仮想境界として設定することができ、従ってその境界を横断してループフィルタリング演算を適用することができない。
[208] ステップ１５０９では、ピクチャの仮想境界を横断するインループフィルタリング演算（例えば、図３Ａ内のルックフィルタ段階２３２）を無効にする。１つ以上の仮想境界がＳＰＳ内でシグナリングされる場合、ＳＰＳを参照するピクチャ内の仮想境界を横断するインループフィルタリング演算が無効にされ得る。インループフィルタリング演算は、デブロッキングフィルタ、サンプル適応オフセットフィルタ、及び適応ループフィルタ演算を含む。
[209] 本開示のいくつかの実施形態に従い、別の例示的方法１６００を提供する。この方法は、符号器、機器（例えば、図４の機器４００）の１つ以上のソフトウェア又はハードウェアコンポーネントによって実行され得る。例えば、プロセッサ（例えば、図４のプロセッサ４０２）が方法１６００を実行することができる。一部の実施形態では、方法１６００は、コンピュータ（例えば、図４の機器４００）によって実行されるプログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体内に具体化されるコンピュータプログラム製品によって実装することができる。この方法は、以下のステップを含むことができる。
[210] ステップ１６０１では、ピクチャのシーケンスを含むビットストリームを受信する。ピクチャのシーケンスは、ピクチャのセットであり得る。記載したように、カラーピクチャの基本処理ユニットは、無色の輝度情報を表現するルマ成分（Ｙ）、色情報を表現する１つ以上のクロマ成分（例えば、Ｃｂ及びＣｒ）、並びに関連構文要素を含むことができ、ここで、ルマ及びクロマ成分は、基本処理ユニットの同じサイズを有することができる。ルマ及びクロマ成分は、いくつかの映像符号化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、「符号化ツリーブロック」（「ＣＴＢ」）と称され得る。基本処理ユニットに対して遂行される任意の演算は、そのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。
[211] ステップ１６０３では、受信されたビットストリームに従い、ピクチャのシーケンスに関して参照再サンプリングが有効にされるかどうかを判定する。
[212] ステップ１６０５では、ピクチャのシーケンスに関して参照再サンプリングが有効にされることに応答して、ピクチャのシーケンスに関してラップアラウンド動き補償が無効にされると判定する。
[213] 例えば、図１３内の「ref_pic_resampling_enabled_flag」の値が１であり、「sps_ref_wraparound_enabled_flag」が０であり、水平ラップアラウンド動き補償が適用されないことが決定される。「ref_pic_resampling_enabled_flag」は、参照再サンプリングが有効にされるかどうかを指定する。参照再サンプリングは、参照ピクチャの解像度が現在のピクチャの解像度と異なる場合に、参照ピクチャを再サンプリングするために使用される。ピクチャレベル（例えば、ＰＰＳ）において、この例では参照ピクチャの解像度が現在のピクチャと異なる場合、現在のピクチャを予測するためにラップアラウンド動き補償が使用されない。「ref_pic_resampling_enabled_flag」の値が０であると判定される場合、「sps_ref_wraparound_enabled_flag」は１であり、水平ラップアラウンド動き補償が適用される。
[214] 従って、ステップ１６０３の代替的ステップであるステップ１７０３では、ピクチャのシーケンスの参照ピクチャの解像度がピクチャのシーケンスの現在のピクチャの解像度と異なるかどうかを判定する。
[215] ステップ１６０５の代替的ステップであるステップ１７０５では、ピクチャのシーケンスの参照ピクチャの解像度が、ピクチャのシーケンスの現在のピクチャの解像度と異なることに応答して、現在のピクチャに関してラップアラウンド動き補償が無効にされると判定する。
[216] 一部の実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、デバイス（本開示の符号器及び復号器など）により、上述の方法を遂行するために実行され得る。一般的な形態の非一時的媒体としては、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ又は任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ及びＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ、又は任意の他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、任意の他のメモリチップ又はカートリッジ、並びにこれらのネットワーク化バージョンが挙げられる。デバイスは、１つ以上のプロセッサ（ＣＰＵ）、入力／出力インターフェース、ネットワークインターフェース、及び／又はメモリを含むことができる。
[217] 開示する実施形態は、以下の条項を用いてさらに記述することができる：
１．ピクチャのセットを受信すること、
セット内のピクチャの幅及び高さを決定すること、及び
ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定すること
を含む方法。
２．ピクチャの決定された幅及び高さの最小値を決定すること
をさらに含み、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最小値に基づいて決定すること
をさらに含む、条項１に記載の方法。
３．ピクチャの決定された幅及び高さの最大値を決定すること
をさらに含み、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最大値に基づいて決定すること
をさらに含む、条項１に記載の方法。
４．セット内の第１のピクチャの幅が所与の条件を満たすかどうかを判定すること、及び
第１のピクチャの幅が所与の条件を満たすという判定に応答して、第１のピクチャに対する水平ラップアラウンド動き補償を無効にすること
をさらに含む、条項１に記載の方法。
５．ピクチャのセットの仮想境界を横断するインループフィルタリング演算を無効にすること
をさらに含む、条項１に記載の方法。
６．セット内の第１のピクチャに対して再サンプリングが行われているかどうかを判定すること、
第１のピクチャに対する再サンプリングが行われていないという判定に応答して、仮想境界又はラップアラウンド動き補償のシグナリングの少なくとも１つを第１のピクチャに関して無効にすること
をさらに含む、条項１に記載の方法。
７．仮想境界の位置は、シーケンスパラメータセット（ＳＰＳ）又はピクチャヘッダ（ＰＨ）の少なくとも１つにおいてシグナリングされる、条項１に記載の方法。
８．命令のセットを記憶するメモリと、
１つ以上のプロセッサとを含み、１つ以上のプロセッサは、
ピクチャのセットを受信すること、
セット内のピクチャの幅及び高さを決定すること、及び
ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定すること
を機器に行わせるために命令のセットを実行するように構成される、機器。
９．１つ以上のプロセッサは、
ピクチャの決定された幅及び高さの最小値を決定すること
を機器にさらに行わせるために命令のセットを実行するように構成され、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最小値に基づいて決定すること
をさらに含む、条項８に記載の機器。
１０．１つ以上のプロセッサは、
ピクチャの決定された幅及び高さの最大値を決定すること
を機器にさらに行わせるために命令のセットを実行するように構成され、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最大値に基づいて決定すること
をさらに含む、条項８に記載の機器。
１１．１つ以上のプロセッサは、
セット内の第１のピクチャの幅が所与の条件を満たすかどうかを判定すること、及び
第１のピクチャの幅が所与の条件を満たすという判定に応答して、第１のピクチャに対する水平ラップアラウンド動き補償を無効にすること
を機器にさらに行わせるために命令のセットを実行するように構成される、条項８に記載の機器。
１２．１つ以上のプロセッサは、
ピクチャのセットの仮想境界にわたるインループフィルタリング演算を無効にすること
を機器にさらに行わせるために命令のセットを実行するように構成される、条項８に記載の機器。
１３．１つ以上のプロセッサは、
セット内の第１のピクチャに対して再サンプリングが行われているかどうかを判定すること、
第１のピクチャに対する再サンプリングが行われていないという判定に応答して、仮想境界又はラップアラウンド動き補償のシグナリングの少なくとも１つを第１のピクチャに関して無効にすること
を機器にさらに行わせるために命令のセットを実行するように構成される、条項８に記載の機器。
１４．仮想境界の位置は、シーケンスパラメータセット（ＳＰＳ）又はピクチャヘッダ（ＰＨ）の少なくとも１つにおいてシグナリングされる、条項８に記載の機器。
１５．命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像処理方法をコンピュータに行わせるためにコンピュータの少なくとも１つのプロセッサによって実行可能であり、方法は、
ピクチャのセットを受信すること、
セット内のピクチャの幅及び高さを決定すること、及び
ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定すること
を含む、非一時的コンピュータ可読媒体。
１６．命令のセットは、
ピクチャの決定された幅及び高さの最小値を決定すること
をコンピュータにさらに行わせるためにコンピュータによって実行可能であり、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最小値に基づいて決定すること
をさらに含む、条項１５に記載の非一時的コンピュータ可読媒体。
１７．命令のセットは、
ピクチャの決定された幅及び高さの最大値を決定すること
をコンピュータにさらに行わせるためにコンピュータによって実行可能であり、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最大値に基づいて決定すること
をさらに含む、条項１５に記載の非一時的コンピュータ可読媒体。
１８．命令のセットは、
セット内の第１のピクチャの幅が所与の条件を満たすかどうかを判定すること、及び
第１のピクチャの幅が所与の条件を満たすという判定に応答して、第１のピクチャに対する水平ラップアラウンド動き補償を無効にすること
をコンピュータにさらに行わせるためにコンピュータによって実行可能である、条項１５に記載の非一時的コンピュータ可読媒体。
１９．命令のセットは、
ピクチャのセットの仮想境界にわたるインループフィルタリング演算を無効にすること
をコンピュータにさらに行わせるためにコンピュータによって実行可能である、条項１５に記載の非一時的コンピュータ可読媒体。
２０．命令のセットは、
セット内の第１のピクチャに対して再サンプリングが行われているかどうかを判定すること、
第１のピクチャに対する再サンプリングが行われていないという判定に応答して、仮想境界又はラップアラウンド動き補償のシグナリングの少なくとも１つを第１のピクチャに関して無効にすること
をコンピュータにさらに行わせるためにコンピュータによって実行可能である、条項１５に記載の非一時的コンピュータ可読媒体。
２１．仮想境界の位置は、シーケンスパラメータセット（ＳＰＳ）又はピクチャヘッダ（ＰＨ）の少なくとも１つにおいてシグナリングされる、条項１５に記載の非一時的コンピュータ可読媒体。
１．ピクチャのセットを受信すること、
セット内のピクチャの幅及び高さを決定すること、及び
ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定すること
を含む方法。
２．ピクチャの決定された幅及び高さの最小値を決定すること
をさらに含み、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最小値に基づいて決定すること
をさらに含む、条項１に記載の方法。
３．ピクチャの決定された幅及び高さの最大値を決定すること
をさらに含み、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最大値に基づいて決定すること
をさらに含む、条項１に記載の方法。
４．セット内の第１のピクチャの幅が所与の条件を満たすかどうかを判定すること、及び
第１のピクチャの幅が所与の条件を満たすという判定に応答して、第１のピクチャに対する水平ラップアラウンド動き補償を無効にすること
をさらに含む、条項１に記載の方法。
５．ピクチャのセットの仮想境界を横断するインループフィルタリング演算を無効にすること
をさらに含む、条項１に記載の方法。
６．セット内の第１のピクチャに対して再サンプリングが行われているかどうかを判定すること、
第１のピクチャに対する再サンプリングが行われていないという判定に応答して、仮想境界又はラップアラウンド動き補償のシグナリングの少なくとも１つを第１のピクチャに関して無効にすること
をさらに含む、条項１に記載の方法。
７．仮想境界の位置は、シーケンスパラメータセット（ＳＰＳ）又はピクチャヘッダ（ＰＨ）の少なくとも１つにおいてシグナリングされる、条項１に記載の方法。
８．命令のセットを記憶するメモリと、
１つ以上のプロセッサとを含み、１つ以上のプロセッサは、
ピクチャのセットを受信すること、
セット内のピクチャの幅及び高さを決定すること、及び
ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定すること
を機器に行わせるために命令のセットを実行するように構成される、機器。
９．１つ以上のプロセッサは、
ピクチャの決定された幅及び高さの最小値を決定すること
を機器にさらに行わせるために命令のセットを実行するように構成され、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最小値に基づいて決定すること
をさらに含む、条項８に記載の機器。
１０．１つ以上のプロセッサは、
ピクチャの決定された幅及び高さの最大値を決定すること
を機器にさらに行わせるために命令のセットを実行するように構成され、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最大値に基づいて決定すること
をさらに含む、条項８に記載の機器。
１１．１つ以上のプロセッサは、
セット内の第１のピクチャの幅が所与の条件を満たすかどうかを判定すること、及び
第１のピクチャの幅が所与の条件を満たすという判定に応答して、第１のピクチャに対する水平ラップアラウンド動き補償を無効にすること
を機器にさらに行わせるために命令のセットを実行するように構成される、条項８に記載の機器。
１２．１つ以上のプロセッサは、
ピクチャのセットの仮想境界にわたるインループフィルタリング演算を無効にすること
を機器にさらに行わせるために命令のセットを実行するように構成される、条項８に記載の機器。
１３．１つ以上のプロセッサは、
セット内の第１のピクチャに対して再サンプリングが行われているかどうかを判定すること、
第１のピクチャに対する再サンプリングが行われていないという判定に応答して、仮想境界又はラップアラウンド動き補償のシグナリングの少なくとも１つを第１のピクチャに関して無効にすること
を機器にさらに行わせるために命令のセットを実行するように構成される、条項８に記載の機器。
１４．仮想境界の位置は、シーケンスパラメータセット（ＳＰＳ）又はピクチャヘッダ（ＰＨ）の少なくとも１つにおいてシグナリングされる、条項８に記載の機器。
１５．命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像処理方法をコンピュータに行わせるためにコンピュータの少なくとも１つのプロセッサによって実行可能であり、方法は、
ピクチャのセットを受信すること、
セット内のピクチャの幅及び高さを決定すること、及び
ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定すること
を含む、非一時的コンピュータ可読媒体。
１６．命令のセットは、
ピクチャの決定された幅及び高さの最小値を決定すること
をコンピュータにさらに行わせるためにコンピュータによって実行可能であり、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最小値に基づいて決定すること
をさらに含む、条項１５に記載の非一時的コンピュータ可読媒体。
１７．命令のセットは、
ピクチャの決定された幅及び高さの最大値を決定すること
をコンピュータにさらに行わせるためにコンピュータによって実行可能であり、ピクチャのセットに関する仮想境界の位置を前記幅及び高さに基づいて決定することは、
ピクチャのセットに関する仮想境界の位置を前記最大値に基づいて決定すること
をさらに含む、条項１５に記載の非一時的コンピュータ可読媒体。
１８．命令のセットは、
セット内の第１のピクチャの幅が所与の条件を満たすかどうかを判定すること、及び
第１のピクチャの幅が所与の条件を満たすという判定に応答して、第１のピクチャに対する水平ラップアラウンド動き補償を無効にすること
をコンピュータにさらに行わせるためにコンピュータによって実行可能である、条項１５に記載の非一時的コンピュータ可読媒体。
１９．命令のセットは、
ピクチャのセットの仮想境界にわたるインループフィルタリング演算を無効にすること
をコンピュータにさらに行わせるためにコンピュータによって実行可能である、条項１５に記載の非一時的コンピュータ可読媒体。
２０．命令のセットは、
セット内の第１のピクチャに対して再サンプリングが行われているかどうかを判定すること、
第１のピクチャに対する再サンプリングが行われていないという判定に応答して、仮想境界又はラップアラウンド動き補償のシグナリングの少なくとも１つを第１のピクチャに関して無効にすること
をコンピュータにさらに行わせるためにコンピュータによって実行可能である、条項１５に記載の非一時的コンピュータ可読媒体。
２１．仮想境界の位置は、シーケンスパラメータセット（ＳＰＳ）又はピクチャヘッダ（ＰＨ）の少なくとも１つにおいてシグナリングされる、条項１５に記載の非一時的コンピュータ可読媒体。
[218] 「第１」及び「第２」などの本明細書における関係語は、単に実体又は動作を別の実体又は動作と区別するために使用されるにすぎず、これらの実体又は動作間のいかなる実際の関係又は順序も必要とせず、暗示もしないことに留意されたい。さらに、単語「含む」、「有する」、「含有する」及び「包含する」並びに他の同様の形式は、意味が均等であり、これらの単語の任意のものに続く要素若しくは要素群は、このような要素若しくは要素群の限定列挙であることを意味されないか、又は列挙された要素若しくは要素群のみに限定されることを意味されない点でオープンエンドなものであることを意図される。
[219] 本明細書において使用するとき、別途特に断りのない限り、用語「又は」は、実行不可能な場合を除き、全ての可能な組み合わせを包含する。例えば、データベースがＡ又はＢを含むことができると述べられた場合、このとき、別途特に断りのない限り又は実行不可能でない限り、データベースは、Ａ若しくはＢ又はＡ及びＢを含むことができる。第２の例として、データベースがＡ、Ｂ又はＣを含むことができると述べられた場合、このとき、別途特に断りのない限り又は実行不可能でない限り、データベースは、Ａ、Ｂ若しくはＣ、又はＡ及びＢ、Ａ及びＣ若しくはＢ及びＣ、又はＡ、及びＢ、及びＣを含むことができる。
[220] 上述の実施形態は、ハードウェア、又はソフトウェア（プログラムコード）、又はハードウェア及びソフトウェアの組み合わせによって実施され得ることが理解される。ソフトウェアによって実施される場合、それは、上述のコンピュータ可読媒体内に記憶され得る。ソフトウェアは、プロセッサによって実行されたとき、本開示の方法を遂行することができる。本開示において説明される計算ユニット及び他の機能ユニットは、ハードウェア、又はソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実施され得る。当業者は、上述のモジュール／ユニットの複数のものを１つのモジュール／ユニットとして組み合わせることができ、上述のモジュール／ユニットの各々を複数のサブモジュール／サブユニットにさらに分割できることも理解するであろう。
[221] 上述の本明細書において、実施形態は、実装形態ごとに異なり得る多くの特定の詳細を参照して説明された。上述の実施形態の特定の適応形態及び変更形態がなされ得る。本明細書の考慮及び本明細書において開示された本発明の実施から、他の実施形態が当業者に明らかになり得る。本明細書及び実施例は、例示としてのみ考慮されることが意図されており、本発明の真の範囲及び趣旨は、添付の請求項によって指示される。また、図に示されるステップの配列は、単に例示目的のためのものにすぎず、ステップのいかなる特定の配列にも限定されることを意図されないことも意図される。そのため、当業者は、これらのステップが、同じ方法を実施しながらも、異なる順序で遂行され得ることを理解することができる。
[222] 図面及び本明細書において、例示的な実施形態が開示された。しかし、これらの実施形態に対する多くの変形形態及び変更形態がなされ得る。従って、特定の用語が採用されていても、これらは、単に一般的な説明の意味で使用されているにすぎず、限定を目的として使用されているものではない。
Claims (20)
- ピクチャ処理のための方法であって、
ピクチャのセットを含むビットストリームを受信すること、
前記受信されたビットストリームに従い、前記ピクチャのセットに関してシーケンスレベルで仮想境界がシグナリングされるかどうかを判定すること、
前記シーケンスレベルで前記仮想境界がシグナリングされることに応答して、前記ピクチャのセットに関する前記仮想境界の位置を決定することであって、前記位置は、前記受信されたビットストリーム内でシグナリングされる範囲によって制限されること、及び
前記仮想境界を横断するインループフィルタリング演算を無効にすること
を含む方法。 - 前記位置が制限される前記範囲は、垂直範囲又は水平範囲の少なくとも１つを含み、
前記垂直範囲は、前記ピクチャのセットに関して許可される最大幅以下であり、前記最大幅は、前記受信されたストリーム内でシグナリングされ、及び
前記水平範囲は、前記ピクチャのセットに関して許可される最大高さ以下であり、前記最大高さは、前記受信されたビットストリーム内でシグナリングされる、請求項１に記載の方法。 - 前記受信されたビットストリームに従い、前記シーケンスレベルで前記仮想境界がシグナリングされるかどうかを判定することは、
前記受信されたビットストリームに従い、前記ピクチャのセットに関して参照再サンプリングが有効にされるかどうかを判定すること、及び
前記ピクチャのセットに関して前記参照再サンプリングが有効にされることに応答して、前記シーケンスレベルで前記仮想境界がシグナリングされないと判定すること
を含む、請求項１に記載の方法。 - 前記ピクチャのセットに関して前記参照再サンプリングが有効にされることに応答して、前記ピクチャのセットに関してラップアラウンド動き補償が無効にされると判定すること
をさらに含む、請求項３に記載の方法。 - 前記受信されたビットストリームに従い、前記シーケンスレベルで前記仮想境界がシグナリングされるかどうかを判定することは、
前記受信されたビットストリームに従い、前記ピクチャのセット内の第１のピクチャの解像度の変更が許可されるかどうかを判定すること、及び
前記第１のピクチャの前記解像度の変更が許可されることに応答して、前記シーケンスレベルで前記仮想境界がシグナリングされないと判定すること
を含む、請求項１に記載の方法。 - 前記第１のピクチャの前記解像度の変更が許可されることに応答して、前記ピクチャのセットに関してラップアラウンド動き補償が無効にされると判定すること
をさらに含む、請求項５に記載の方法。 - ピクチャ処理のための機器であって、
命令のセットを記憶するメモリと、
１つ以上のプロセッサとを含み、前記１つ以上のプロセッサは、
ピクチャのセットを含むビットストリームを受信すること、
前記受信されたビットストリームに従い、前記ピクチャのセットに関してシーケンスレベルで仮想境界がシグナリングされるかどうかを判定すること、
前記シーケンスレベルで前記仮想境界がシグナリングされることに応答して、前記ピクチャのセットに関する前記仮想境界の位置を決定することであって、前記位置は、前記受信されたビットストリーム内でシグナリングされる範囲によって制限されること、及び
前記仮想境界を横断するインループフィルタリング演算を無効にすること
を前記機器に行わせるために前記命令のセットを実行するように構成される、機器。 - 前記位置が制限される前記範囲は、垂直範囲又は水平範囲の少なくとも１つを含み、
前記垂直範囲は、前記ピクチャのセットに関して許可される最大幅以下であり、前記最大幅は、前記受信されたストリーム内でシグナリングされ、及び
前記水平範囲は、前記ピクチャのセットに関して許可される最大高さ以下であり、前記最大高さは、前記受信されたビットストリーム内でシグナリングされる、請求項７に記載の機器。 - 前記受信されたビットストリームに従い、前記シーケンスレベルで前記仮想境界がシグナリングされるかどうかを判定することは、
前記受信されたビットストリームに従い、前記ピクチャのセットに関して参照再サンプリングが有効にされるかどうかを判定すること、及び
前記ピクチャのセットに関して前記参照再サンプリングが有効にされることに応答して、前記シーケンスレベルで前記仮想境界がシグナリングされないと判定すること
を含む、請求項７に記載の機器。 - 前記１つ以上のプロセッサが、
前記ピクチャのセットに関して前記参照再サンプリングが有効にされることに応答して、前記ピクチャのセットに関してラップアラウンド動き補償が無効にされると判定すること
を前記機器にさらに行わせるために前記命令のセットを実行するように構成される、請求項９に記載の機器。 - 前記受信されたビットストリームに従い、前記シーケンスレベルで前記仮想境界がシグナリングされるかどうかを判定することは、
前記受信されたビットストリームに従い、前記ピクチャのセット内の第１のピクチャの解像度の変更が許可されるかどうかを判定すること、及び
前記第１のピクチャの前記解像度の変更が許可されることに応答して、前記シーケンスレベルで前記仮想境界がシグナリングされないと判定すること
を含む、請求項７に記載の機器。 - 前記１つ以上のプロセッサが、
前記第１のピクチャの前記解像度の変更が許可されることに応答して、前記ピクチャのセットに関してラップアラウンド動き補償が無効にされると判定すること
を前記機器にさらに行わせるために前記命令のセットを実行するように構成される、請求項１１に記載の機器。 - 前記１つ以上のプロセッサが、
前記シーケンスレベルで前記仮想境界がシグナリングされていないことに応答して、
前記セット内の１つ以上のピクチャに関してピクチャレベルで前記仮想境界がシグナリングされるかどうかを判定すること、及び
前記セット内の前記１つ以上のピクチャに関して前記ピクチャレベルで前記仮想境界がシグナリングされることに応答して、前記１つ以上のピクチャに関する前記仮想境界の位置を決定すること
を前記機器にさらに行わせるために前記命令のセットを実行するように構成される、請求項７に記載の機器。 - 命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、ピクチャ処理方法をコンピュータに行わせるために前記コンピュータの少なくとも１つのプロセッサによって実行可能であり、前記方法は、
ピクチャのセットを含むビットストリームを受信すること、
前記受信されたビットストリームに従い、前記ピクチャのセットに関してシーケンスレベルで仮想境界がシグナリングされるかどうかを判定すること、
前記シーケンスレベルで前記仮想境界がシグナリングされることに応答して、前記ピクチャのセットに関する前記仮想境界の位置を決定することであって、前記位置は、前記受信されたビットストリーム内でシグナリングされる範囲によって制限されること、及び
前記仮想境界を横断するインループフィルタリング演算を無効にすること
を含む、非一時的コンピュータ可読媒体。 - 前記位置が制限される前記範囲は、垂直範囲又は水平範囲の少なくとも１つを含み、
前記垂直範囲は、前記ピクチャのセットに関して許可される最大幅以下であり、前記最大幅は、前記受信されたストリーム内でシグナリングされ、及び
前記水平範囲は、前記ピクチャのセットに関して許可される最大高さ以下であり、前記最大高さは、前記受信されたビットストリーム内でシグナリングされる、請求項１４に記載の非一時的コンピュータ可読媒体。 - 前記受信されたビットストリームに従い、前記シーケンスレベルで前記仮想境界がシグナリングされるかどうかを判定することは、
前記受信されたビットストリームに従い、前記ピクチャのセットに関して参照再サンプリングが有効にされるかどうかを判定すること、及び
前記ピクチャのセットに関して前記参照再サンプリングが有効にされることに応答して、前記シーケンスレベルで前記仮想境界がシグナリングされないと判定すること
を含む、請求項１４に記載の非一時的コンピュータ可読媒体。 - 前記命令のセットは、
前記ピクチャのセットに関して前記参照再サンプリングが有効にされることに応答して、前記ピクチャのセットに関してラップアラウンド動き補償が無効にされると判定すること
を前記コンピュータにさらに行わせるために前記コンピュータによって実行可能である、請求項１６に記載の非一時的コンピュータ可読媒体。 - 前記受信されたビットストリームに従い、前記シーケンスレベルで前記仮想境界がシグナリングされるかどうかを判定することは、
前記受信されたビットストリームに従い、前記ピクチャのセット内の第１のピクチャの解像度の変更が許可されるかどうかを判定すること、及び
前記第１のピクチャの前記解像度の変更が許可されることに応答して、前記シーケンスレベルで前記仮想境界がシグナリングされないと判定すること
をさらに含む、請求項１４に記載の非一時的コンピュータ可読媒体。 - 前記命令のセットは、
前記第１のピクチャの前記解像度の変更が許可されることに応答して、前記ピクチャのセットに関してラップアラウンド動き補償が無効にされると判定すること
を前記コンピュータにさらに行わせるために前記コンピュータによって実行可能である、請求項１８に記載の非一時的コンピュータ可読媒体。 - 前記命令のセットは、
前記シーケンスレベルで前記仮想境界がシグナリングされていないことに応答して、
前記セット内の１つ以上のピクチャに関してピクチャレベルで前記仮想境界がシグナリングされるかどうかを判定すること、及び
前記セット内の前記１つ以上のピクチャに関して前記ピクチャレベルで前記仮想境界がシグナリングされることに応答して、前記１つ以上のピクチャに関する前記仮想境界の位置を決定すること
を前記コンピュータにさらに行わせるために前記コンピュータによって実行可能である、請求項１４に記載の非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962954828P | 2019-12-30 | 2019-12-30 | |
| US62/954,828 | 2019-12-30 | ||
| PCT/US2020/066569 WO2021138143A1 (en) | 2019-12-30 | 2020-12-22 | Methods for signaling virtual boundaries and wrap-around motion compensation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023508895A true JP2023508895A (ja) | 2023-03-06 |
| JPWO2021138143A5 JPWO2021138143A5 (ja) | 2023-10-26 |
Family
ID=76546783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022537463A Pending JP2023508895A (ja) | 2019-12-30 | 2020-12-22 | 仮想境界及びラップアラウンド動き補償をシグナリングするための方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11671613B2 (ja) |
| EP (1) | EP4085610A4 (ja) |
| JP (1) | JP2023508895A (ja) |
| KR (1) | KR20220123018A (ja) |
| CN (2) | CN114788264B (ja) |
| WO (1) | WO2021138143A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113940077A (zh) * | 2019-06-19 | 2022-01-14 | 韩国电子通信研究院 | 用于视频编码/解码的虚拟边界信令方法和设备 |
| JP7180001B2 (ja) * | 2019-12-24 | 2022-11-29 | テレフオンアクチーボラゲット エルエム エリクソン（パブル） | 適応ループフィルタ処理のための仮想境界処理 |
| US11418804B2 (en) * | 2019-12-31 | 2022-08-16 | Tencent America LLC | Method for wrap around motion compensation with reference picture resampling |
| CN115699755A (zh) * | 2020-03-26 | 2023-02-03 | Lg电子株式会社 | 基于卷绕运动补偿的图像编码/解码方法和装置及存储比特流的记录介质 |
| WO2023249301A1 (ko) * | 2022-06-24 | 2023-12-28 | 엘지전자 주식회사 | 가상 경계를 픽처 경계로 처리하는 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9509999B2 (en) * | 2013-06-11 | 2016-11-29 | Qualcomm Incorporated | Inter-layer prediction types in multi-layer video coding |
| WO2016078599A1 (en) * | 2014-11-20 | 2016-05-26 | Mediatek Inc. | Method of motion vector and block vector resolution control |
| US10368067B2 (en) | 2016-06-15 | 2019-07-30 | Mediatek Inc. | Method and apparatus for selective filtering of cubic-face frames |
| US10887621B2 (en) * | 2016-07-08 | 2021-01-05 | Vid Scale, Inc. | 360-degree video coding using geometry projection |
| EP3685585A1 (en) * | 2017-09-20 | 2020-07-29 | Vid Scale, Inc. | Handling face discontinuities in 360-degree video coding |
| CN111989920A (zh) | 2018-02-20 | 2020-11-24 | 弗劳恩霍夫应用研究促进协会 | 支持变化的分辨率和/或有效地处理区域级打包的图片/视频编码 |
| CN109600611B (zh) * | 2018-11-09 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 环路滤波方法、环路滤波装置、电子设备和可读介质 |
| CA3164459A1 (en) * | 2019-12-12 | 2021-06-17 | Lg Electronics Inc. | Filtering-based image coding device and method |
-
2020
- 2020-12-22 CN CN202080086150.2A patent/CN114788264B/zh active Active
- 2020-12-22 US US17/130,791 patent/US11671613B2/en active Active
- 2020-12-22 KR KR1020227025251A patent/KR20220123018A/ko unknown
- 2020-12-22 EP EP20910544.4A patent/EP4085610A4/en active Pending
- 2020-12-22 CN CN202310791838.6A patent/CN117014601A/zh active Pending
- 2020-12-22 WO PCT/US2020/066569 patent/WO2021138143A1/en unknown
- 2020-12-22 JP JP2022537463A patent/JP2023508895A/ja active Pending
-
2023
- 2023-04-27 US US18/308,484 patent/US20230300360A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220123018A (ko) | 2022-09-05 |
| CN114788264B (zh) | 2023-07-25 |
| US20230300360A1 (en) | 2023-09-21 |
| CN117014601A (zh) | 2023-11-07 |
| EP4085610A1 (en) | 2022-11-09 |
| WO2021138143A1 (en) | 2021-07-08 |
| EP4085610A4 (en) | 2023-04-19 |
| CN114788264A (zh) | 2022-07-22 |
| US11671613B2 (en) | 2023-06-06 |
| US20210203972A1 (en) | 2021-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3987795A1 (en) | Block partitioning methods for video coding | |
| JP2023508895A (ja) | 仮想境界及びラップアラウンド動き補償をシグナリングするための方法 | |
| US11956463B2 (en) | Methods for performing wrap-around motion compensation | |
| CN116506635B (zh) | 用于对图像执行逐步解码刷新处理的方法和系统 | |
| US20210306648A1 (en) | Methods for signaling video coding data | |
| KR20220143859A (ko) | 크로마 신호를 처리하기 위한 방법 | |
| JP2023507270A (ja) | ピクチャ境界におけるブロック区分のための方法及び装置 | |
| KR20220062655A (ko) | 비디오 데이터의 무손실 코딩 | |
| CN116918333A (zh) | 用于跨分量样值偏移补偿的方法、装置和非暂时性计算机可读介质 | |
| US20210306623A1 (en) | Sign data hiding of video recording | |
| CN114788284B (zh) | 用于在调色板模式下对视频数据进行编码的方法和装置 | |
| JP2023509838A (ja) | サブピクチャ分割情報をシグナリングするための方法及び機器 | |
| KR20220160019A (ko) | 루프 필터의 높은 레벨 신택스 제어 | |
| CN114762332A (zh) | 构建合并候选列表的方法 | |
| US20210368170A1 (en) | High level control of pdpc and intra reference sample filtering of video coding | |
| EP4256787A1 (en) | Method for using adaptive loop filter and system thereof | |
| JP2023534098A (ja) | 映像コンテンツを処理するための方法及び機器 | |
| JP2023515321A (ja) | 最大変換サイズ及び残差符号化方法のシグナリング | |
| CN116438567A (zh) | 用于视频编码的基于神经网络的环内滤波 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231018 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231018 |