JP7490068B2 - ビデオコーディングおよびデコーディング - Google Patents
ビデオコーディングおよびデコーディング Download PDFInfo
- Publication number
- JP7490068B2 JP7490068B2 JP2022545938A JP2022545938A JP7490068B2 JP 7490068 B2 JP7490068 B2 JP 7490068B2 JP 2022545938 A JP2022545938 A JP 2022545938A JP 2022545938 A JP2022545938 A JP 2022545938A JP 7490068 B2 JP7490068 B2 JP 7490068B2
- Authority
- JP
- Japan
- Prior art keywords
- aps
- unit
- nal
- picture
- nal unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 96
- 230000006978 adaptation Effects 0.000 claims description 50
- 238000012545 processing Methods 0.000 description 42
- 230000033001 locomotion Effects 0.000 description 41
- 208000031212 Autoimmune polyendocrinopathy Diseases 0.000 description 32
- 238000004891 communication Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 26
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 19
- 235000019395 ammonium persulphate Nutrition 0.000 description 17
- 238000000261 appearance potential spectroscopy Methods 0.000 description 17
- 238000000638 solvent extraction Methods 0.000 description 12
- 241000023320 Luma <angiosperm> Species 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000001914 filtration Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000002123 temporal effect Effects 0.000 description 8
- 238000003491 array Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 241000710173 Carnation latent virus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004895 liquid chromatography mass spectrometry Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Description
本発明は、ビデオコーディング及びデコーディングに関し、特に、適応パラメータセット（ＡＰＳ）を用いたビデオコーディング及びデコーディングに関する。
最近、ＭＰＥＧとITU-T Study Group １６のＶＣＥＧにより形成された協力チームであるJoint Video Experts Team(JVET)は、VVC(Versatile Video Coding)と呼ばれる新しいビデオコーディング規格の研究を開始した。ＶＶＣの目標は、既存のＨＥＶＣ規格を上回る（すなわち、典型的には、前の２倍の）圧縮性能の著しい改善を提供し、２０２０年に完了することである。主なターゲットアプリケーションおよびサービスは、３６０度およびハイダイナミックレンジ（ＨＤＲ）ビデオを含むが、これらに限定されない。全体として、ＪＶＥＴは、３２の組織からの応答を、独立した試験機関によって実施された正式な主観的試験を用いて評価した。いくつかの提案は、ＨＥＶＣを使用する場合と比較して、典型的には４０％以上の圧縮効率の向上を実証した。超高精細（ＵＨＤ）ビデオ試験材料について特に有効性を示した。したがって、最終規格の目標５０％をはるかに超える圧縮効率の向上が期待できる。
ＶＶＣは、コード化ビデオシーケンスの１つまたは複数のスライスによって共有され得るパラメータを搬送するための適応パラメータセットまたはＡＰＳを与える。ＶＶＣドラフト８は、スライスまたはピクチャヘッダ中に見出される０個以上のシンタックス要素によって決定される、０個以上のスライスに適用するシンタックス要素を含むシンタックス構造としてＡＰＳを定義する。２つ以上のＡＰＳは、同じコード化ピクチャに属するスライスに適用され得る。ピクチャユニットは、正確に１つのコード化ピクチャに対応する。ピクチャユニットは次に、ネットワーク抽象化レイヤ（ＮＡＬ）ユニットのセットである。ＶＶＣドラフト８では、ピクチャユニット内に存在する任意のＡＰＳが同じＡＰＳタイプおよび同じＡＰＳ識別子を有するとき、同じコンテンツを共有するように制約される。また、ピクチャユニットがスライスＮＡＬユニットの前に送られたＡＰＳを参照し得る複数のスライスを使用してコーディングされるとき、複数の構成は使用中のＡＰＳをメモリ中に維持するための追加のデコーディング動作、および／またはコーディングされたビデオシーケンス中の特定のタイミングでランダムアクセスデコーディングを実行するときのビットストリーム書き換え動作を必要とし得る。
ＡＰＳのコーディングおよびそれらの参照を改善することが望ましい。
本発明の第１の態様によれば、ビットストリーム内に一連の画像を符号化する方法であって、ビットストリーム内に一連のピクチャユニットを提供することと、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つそれぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、ピクチャユニットに、関連するピクチャユニットの最初のNALユニットの後にプレフィックスAPS NALユニットを含めることを禁止することと、を含むことを特徴とする方法が提供される。
これは、ＶＶＣ８において、ＡＰＳの２つのバージョンが同じピクチャユニットの異なるスライスに適用され得るという問題を解決することができる。次いで、ビットストリームをデコードするために、デコーダは、ＡＰＳ識別子およびＡＰＳタイプの値の所与のペアについてＡＰＳの２つのバージョンをメモリに記憶しなければならない。最悪の場合の例では、デコーダがピクチャユニットをデコードするために必要とされるＡＰＳを記憶するために、（各ＡＰＳの２つのバージョンを維持するために）メモリサイズを２倍にしなければならないことがある。さらに、デコーダはどのVCL NALユニットがAPS NALユニットの第１のバージョンまたは第２のバージョンを参照するかを決定するために、APS NALユニットに対するVCL NALユニットの順序を維持しなければならない。ピクチャユニットに、関連するピクチャユニットの最初のNALユニットの後にプレフィックスAPS NALユニットを含めることを禁止することにより、ＡＰＳの２つのバージョンが必要とされるいくつかの状況を排除することができる。
本発明の第２の態様によれば、第１の態様のように、関連するピクチャユニットの最初のＮＡＬユニットの後のプレフィックスAPS NALユニットをピクチャユニットに含めることを禁止する代わりに、第２の態様は、関連するピクチャユニットの最後のＮＡＬユニットの前のサフィックスAPS NALユニットをピクチャユニットに含めることを禁止することを含むことを除いて、第１の態様と同じである画像のシーケンスを符号化する方法が提供される。
この方法は第１の態様の方法と相補的であり、同じ問題に対処する。ピクチャユニットに、関連するピクチャユニットの最後のＮＡＬユニットの前のサフィックスAPS NALユニットを含めることを禁止することによって、ＡＰＳの２つのバージョンが必要とされるいくつかの状況を排除することができる。
また、関連するピクチャユニットの最後のＮＡＬユニットの前のサフィックスAPS NALユニットをピクチャユニットに含めることを禁止することと、関連するピクチャユニットの最初のＮＡＬユニットの後のプレフィックスAPS NALユニットをピクチャユニットに含めることを禁止することと、の両方を行うことも可能である。次に、ＡＰＳの２つのバージョンが必要とされる状況の排除がさらに強化される。
本発明の第３の態様によれば、ビットストリーム内に一連の画像を符号化する方法であって、ビットストリーム内に一連のピクチャユニットを提供することと、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つそれぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSは、プレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、それぞれの前記APS NALユニットはＡＰＳタイプおよびＡＰＳ識別子を有し、同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが、異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることを可能にすることと、を含むことを特徴とする方法が提供される。
同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが、異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることを可能にすることは、ＶＶＣ８における制約に対する新しい自由度が得られる。ＶＶＣ８では、APS NALユニットが異なる（プレフィックスおよびサフィックス）タイプであっても、それらは１つのピクチャユニット内に存在することができない。
アプリケーションが、あるピクチャユニット（ランダムアクセスポイント）において復号を開始するためにビットストリームへのランダムアクセスを実行するとき、アプリケーションは、ピクチャユニットのVCL NALユニットの前に、あるAPS NALユニットを与えなければならないことがある。例えば、アプリケーションは、ピクチャユニットの先頭に必要なAPS NALユニットを挿入することができる。しかし、結果として生じるビットストリームは、ＶＶＣ８の特定の制約を破る可能性が高い。これは、復号がエラー状態に入る結果となり得る。
１つの制約は、ＰＵの最初のVCL NALの前にＡＰＳが送信されるときにエンコーダがプレフィックスAPS NALユニットを使用しなければならないという制約に反して、サフィックスAPS NALユニットがＰＵの最初のVCL NALユニットの前に挿入され得ることである。また、挿入は同じ識別子およびタイプを有するが、ＶＶＣ８では許可されていない異なるコンテンツを有するＡＰＳを含む、サフィックスおよびプレフィックスAPS NALユニットを有するピクチャユニットをもたらし得る。
したがって、アプリケーションは、新しいプレフィックスAPS NALユニットを生成するために、APS NALユニットのＡＰＳタイプ（nal＿ｕｎｉｔ＿ｔｙｐｅ）を書き換えなければならないことがある。さらに、アプリケーションは、次のＰＵの先頭に、新しいプレフィックスAPS NALユニットとして、サフィックスAPS NALユニットを移動し、書き換えなければならない場合がある。この次のＰＵもまた、新しいプレフィックスAPS NALユニットと同じ識別子およびタイプを有するAPS NALユニットを含む場合、アプリケーションは、それを移動し、書き換えなければならないこともある。
ビットストリームをＶＶＣ８に準拠させるためのこれらの移動動作は、最悪の場合、ランダムアクセスされたピクチャユニットの後にＰＵのすべてのAPS NALユニットを書き換える必要があるため、コストがかかる。
本発明の第３の態様の方法は、シンタックス構造に制約を課すか、削除するか、または変更して、書き換え動作がより少ないか、またはまったくないことを保証する。
一実施形態は、特定のVCL NALユニットに関連付けられたサフィックスAPS NALユニットの使用を、サフィックスAPS NALユニットを含むピクチャユニットのVCL NALユニットによって禁止することと、該サフィックスAPS NALユニットの使用を、復号順序で該サフィックスAPS NALユニットに続くピクチャユニットのVCL NALユニットによって許可することと、をさらに含む。
別の実施形態は、プレフィックスAPS NALユニットが、関連するピクチャユニット内の任意のサフィックスAPS NALユニットの前および関連するピクチャユニットの最後のVCL NALユニットの前でなければならず、サフィックスAPS NALユニットが、関連するピクチャユニット内の任意のプレフィックスAPS NALユニットの後および関連するピクチャユニットの最初のVCL NALユニットの後でなければならないように、ピクチャユニットに含まれるＡＰＳ ＮＡＬユニットを制約することをさらに含む。
別の実施形態は、関連するピクチャユニットの最後のＮＡＬユニットの前にサフィックスAPS NALユニットをピクチャユニットに含めることを禁止することをさらに含む。
別の実施形態は、関連するピクチャユニットの最初のＮＡＬユニットの後にプレフィックスAPS NALユニットをピクチャユニットに含めることを禁止することをさらに含む。
別の実施形態は、ピクチャユニットにおいて、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットの後に、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むプレフィックスAPS NALユニットが続くことを禁止することをさらに含む。この方法（measure）は、同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが、異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることを許可することなく（第３の態様と同様に）、本発明の第２の態様にも適用することができる。
別の実施形態は、ピクチャユニットにおいて、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットが、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むサフィックスAPS NALユニットに先行されることを禁止することをさらに含む。この方法（measure）は、同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが、異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることを許可することなく（第３の態様と同様に）、本発明の第１の態様にも適用することができる。
また、最後の２つの方法は、ピクチャユニットに、関連するピクチャユニットの最初のＮＡＬユニットの後のプレフィックスAPS NALユニットを含めることを禁止せず（第１の態様のように）、ピクチャユニットに、関連するピクチャユニットの最後のＮＡＬユニットの前のサフィックスAPS NALユニットを含めることを禁止せず（第２の態様のように）、同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることを許可せず（第３の態様のように）に、使用することができる。したがって、本発明の別の態様によれば、ビットストリーム内に一連の画像を符号化する方法であって、ビットストリーム内に一連のピクチャユニットを提供することと、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含む一連のピクチャユニットに含まれ、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含み、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSは、プレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、それぞれの前記APS NALユニットはＡＰＳタイプおよびＡＰＳ識別子を有し、ピクチャユニットにおいて、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットの後に、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むプレフィックスAPS NALユニットが続くことを禁止することと、ピクチャユニットにおいて、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットが、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むサフィックスAPS NALユニットに先行されることを禁止することと、の一方または両方を行うことと、を含むことを特徴とする方法が提供される。
本発明の第４の態様によれば、一連の符号化された画像を復号する方法であって、一連のピクチャユニットを有するビットストリームを受信することと、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含む一連のピクチャユニットに含まれ、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含み、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、受信されたビットストリームの１つまたは複数の適合性基準との適合性をチェックすることとを含み、ここで、前記または１つの前記適合性基準は、ピクチャユニット内に、関連するピクチャユニットの最初のＮＡＬユニットの後にプレフィックスAPS NALユニットを含めることを禁止する制約である、ことを特徴とする方法が提供される。
本発明の第５の態様によれば、一連の符号化された画像を復号する方法であって、受信されたビットストリームの、関連するピクチャユニットの最初のＮＡＬユニットの後にプレフィックスAPS NALユニットをピクチャユニットに含めることを禁止する制約との適合性をチェックする（第４の様態のように）代わりに、受信したビットストリームの、関連するピクチャユニットの最後のＮＡＬユニットの前のサフィックスAPS NALユニットがピクチャユニットに含まれることを禁止する制約との適合性をチェックする、ことを特徴とする方法が提供される。
一実施形態では、チェックすることは、関連するピクチャユニットの最後のＮＡＬユニットの前のサフィックスAPS NALユニットのピクチャユニットに含めることを禁止する制約と、関連するピクチャユニットの最初のＮＡＬユニットの後のプレフィックスAPS NALユニットをピクチャユニットに含めることを禁止する制約と、の両方との適合性をチェックすることを含む。
本発明の第６の態様によれば、一連の符号化された画像を復号する方法であって、一連のピクチャユニットを有するビットストリームを受信することと、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、それぞれの前記ＡＰＳ ＮＡＬユニットは、ＡＰＳタイプとＡＰＳ識別子とを有し、前記受信されたビットストリームの、１つまたは複数の適合性基準との適合性をチェックすることと、を含み、前記または１つの前記適合性基準は、同じピクチャユニット内に、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることは許可される、ことを特徴とする方法が提供される。
一実施形態では、適合性基準は、特定のVCL NALユニットを含むピクチャユニットのVCL NALユニットによる特定のVCL NALユニットに関連付けられたサフィックスAPS NALユニットの使用を禁止することと、該サフィックスAPS NALユニットの、復号順序において該サフィックスAPS NALユニットに後続するピクチャユニットのVCL NALユニットによる使用を可能にすることとを含む。
別の実施形態では、適合性基準は、プレフィックスAPS NALユニットが、関連するピクチャユニット内の任意のサフィックスAPS NALユニットの前および関連するピクチャユニットの最後のVCL NALユニットの前でなければならず、サフィックスAPS NALユニットが、関連するピクチャユニット内の任意のプレフィックスAPS NALユニットの後および関連するピクチャユニットの最初のVCL NALユニットの後でなければならないように、ピクチャユニットに含まれるＡＰＳ ＮＡＬユニットを制約することを含む。
別の実施形態では、適合性基準は、ピクチャユニット内に、関連するピクチャユニットの最後のＮＡＬユニットの前にサフィックスAPS NALユニットを含めることを禁止する制約を含む。
別の実施形態では、適合性基準は、関連するピクチャユニットの最初のＮＡＬユニットの後のプレフィックスAPS NALユニットの、ピクチャユニットへの包含を禁止することを含む。
別の実施形態では、適合性基準は、ピクチャユニット内で、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットの後に、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むプレフィックスAPS NALユニットが続くことを禁止する、ことを含む。この方法（measure）は、同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが、異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることを許可することなく（第６の態様と同様に）、本発明の第５の態様にも適用することができる。
別の実施形態では、適合性基準は、ピクチャユニット内に、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットが、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むサフィックスAPS NALユニットに先行されることを禁止することを含む。この方法（measure）は、同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることを許可することなく（第６の態様と同様に）、本発明の第４の態様にも適用することができる。
また、最後の２つの方法は、ピクチャユニットに、関連するピクチャユニットの最初のＮＡＬユニットの後のプレフィックスAPS NALユニットを含めることを禁止せず（第４の態様のように）、ピクチャユニットに、関連するピクチャユニットの最後のＮＡＬユニットの前のサフィックスAPS NALユニットを含めることを禁止せず（第５の態様のように）、同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることを許可せず（第６の態様のように）に、使用することができる。したがって、本発明の別の態様によれば、一連の符号化された画像を復号する方法であって、一連のピクチャユニットを有するビットストリームを受信することと、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、それぞれのＡＰＳ ＮＡＬユニットは、ＡＰＳタイプとＡＰＳ識別子とを有し、受信されたビットストリームの、１つまたは複数の適合性基準との適合性をチェックすることと、を含み、ここで、適合性基準は、ピクチャユニット内で、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットの後に、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むプレフィックスAPS NALユニットが続くことを禁止する基準、ピクチャユニット内に、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットが、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むサフィックスAPS NALユニットに先行されることを禁止する基準、の一方もしくは両方を含む。
本発明の前述の第１～第６の態様およびさらなる態様を具現化する方法では、ＮＡＬユニットは、VCL NALユニットおよびAPS NALユニットに限定されない。たとえば、一連のピクチャユニットに含まれるＮＡＬユニットは、VCL NALユニットでもAPS NALユニットでもなく、ピクチャユニット中に存在する場合、関連するピクチャユニットの最初のVCL NALユニットに先行するピクチャヘッダＮＡＬユニットをさらに備え得る。その場合、このＰＨで参照されるAPS NALユニットは、最初のVCL NALユニットよりも前であるだけでなく、PH NALユニットよりも前でなければならない。PH NALユニットの代わりに、より一般的な定式化は、１つまたは複数のVCL NALユニットのためのＡＰＳへの参照を通知するVCL NALユニットでもAPS NALユニットでもない非VCL NALユニットである。APS NALユニットの順序付けのための制約は、ここで、これらの非VCL NALユニットと相対的であるべきである。例えば、プレフィックスAPS NALユニットは、最初の非VCL NALユニットおよび最初のVCL NALユニットの前にあるべきである。
本発明の第７の態様によれば、ビットストリーム内に画像のシーケンスを符号化するための装置であって、ビットストリーム内に一連のピクチャユニットを提供する手段と、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含み、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、ピクチャユニットに、関連するピクチャユニットの最初のNALユニットの後にプレフィックスAPS NALユニットを含めることを禁止する手段とを備えることを特徴とする装置が提供される。
本発明の第８の態様によれば、ビットストリーム内に画像のシーケンスを符号化するための装置であって、ビットストリーム内に一連のピクチャユニットを提供する手段と、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、ピクチャユニットに、関連するピクチャユニットの最後のNALユニットの前にサフィックスAPS NALユニットを含めることを禁止する手段とを備えることを特徴とする装置が提供される。
本発明の第９の態様によれば、ビットストリーム内に画像のシーケンスを符号化するための装置であって、ビットストリーム内に一連のピクチャユニットを提供する手段と、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSは、プレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、それぞれの前記ＡＰＳ ＮＡＬユニットは、ＡＰＳタイプとＡＰＳ識別子とを有し、同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが、異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることを可能にする手段とを備えることを特徴とする装置が提供される。
本発明の第１０の態様によれば、符号化された画像のシーケンスを復号するための装置であって、一連のピクチャユニットを有するビットストリームを受信する手段を備え、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、受信されたビットストリームの、１つまたは複数の適合性基準との適合性をチェックする手段と、を備え、ここで、前記または１つの前記適合性基準は、ピクチャユニット内に、関連するピクチャユニットの最初のＮＡＬユニットの後にプレフィックスAPS NALユニットを含めることを禁止する制約であることを特徴とする装置が提供される。
本発明の第１１の態様によれば、符号化された画像のシーケンスを復号するための装置であって、一連のピクチャユニットを有するビットストリームを受信する手段を備え、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、受信されたビットストリームの、１つまたは複数の適合性基準との適合性をチェックする手段を備え、ここで、前記または１つの前記適合性基準は、ピクチャユニット内に、関連する前記ピクチャユニットの最後のＮＡＬユニットの前にサフィックスAPS NALユニットを含めることを禁止する制約であることを特徴とする装置が提供される。
本発明の第１２の態様によれば、符号化された画像のシーケンスを復号するための装置であって、一連のピクチャユニットを有するビットストリームを受信する手段を備え、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、それぞれの前記ＡＰＳ ＮＡＬユニットは、ＡＰＳタイプとＡＰＳ識別子とを有し、受信されたビットストリームの、１つまたは複数の適合性基準との適合性をチェックする手段と、を備え、前記または１つの前記適合性基準は、同じピクチャユニット内に、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることは許可することを特徴とする装置が提供される。
第４～第６の態様およびさらなる態様の方法、ならびに第１０～第１２の態様のデバイスでは、適合性チェックにより適合しないビットストリームが明らかになった場合、ビットストリームの復号は全体的または部分的に放棄される可能性がある。また、デコーダのユーザに誤差を通知するなどのアクションが行われてもよい。デコーダはまた、ビットストリームが非準拠であり、復号に不適切であることをエンコーダに通知し得る。エンコーダは、画像のシーケンスを再符号化して適合ビットストリームを生成することで応答する場合がある。後に述べるように、適合性検査は、本発明を実施するすべての復号方法またはすべてのデコーダにおいて必須ではない。
本発明の第１３の態様によれば、プロセッサまたはコンピュータによって実行されると、本発明の第１～第６の態様のいずれか１つの方法をプロセッサまたはコンピュータに実行させるプログラムが提供される。
プログラムはそれ自体で提供されてもよいし、キャリア媒体上、キャリア媒体によって、またはキャリア媒体中で搬送されてもよい。キャリア媒体は非一時的な、例えば、記憶媒体、特にコンピュータ可読記憶媒体であってもよい。キャリア媒体はまた、一時的なもの、例えば、信号または他の伝送媒体であってもよい。信号は、インターネットを含む任意の適切なネットワークを介して送信され得る。本発明のさらなる特徴は、独立請求項および従属請求項によって特徴付けられる
本発明の第１４の態様によれば、一連の符号化された画像を表し且つ一連のピクチャユニットを有するビットストリームであって、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、前記ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる前記画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む前記一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、ここで、一連のピクチャユニットのピクチャユニットのいずれも、関連するピクチャユニットの最初のＮＡＬユニットの後にプレフィックスAPS NALユニットを含まないことを特徴とするビットストリームが提供される。
本発明の第１４の態様によれば、一連の符号化された画像を表し且つ一連のピクチャユニットを有するビットストリームであって、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、前記ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる前記画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む前記一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、ここで、一連のピクチャユニットのピクチャユニットのいずれも、関連するピクチャユニットの最初のＮＡＬユニットの後にプレフィックスAPS NALユニットを含まないことを特徴とするビットストリームが提供される。
先行するビットストリーム特性を表現する代替的な方法は、ピクチャユニットにおいて、関連するピクチャユニットの最初のＮＡＬユニットの後にプレフィックスAPS NALユニットを含めることが禁止されることである。
本発明の第１５の態様によれば、一連の符号化された画像を表し且つ一連のピクチャユニットを有するビットストリームであって、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる前記画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、ここで、一連のピクチャユニットのピクチャユニットのいずれも、関連するピクチャユニットの最後のＮＡＬユニットの前にサフィックスAPS NALユニットを含まないことを特徴とするビットストリームが提供される。
先行するビットストリーム特性を表現する代替的な方法は、関連するピクチャユニットの最後のＮＡＬユニットの前にサフィックスAPS NALユニットをピクチャユニットに含めることが禁止されることである。
好ましくは、一連のピクチャユニットのうちのいずれのピクチャユニットも、関連するピクチャユニットの最後のＮＡＬユニットの前にサフィックスAPS NALユニットを含まず、一連のピクチャユニットのうちのいずれのピクチャユニットも、関連するピクチャユニットの最初のＮＡＬユニットの後にプレフィックスAPS NALユニットを含まない。
先行するビットストリーム特性を表現する代替的な方法は、ピクチャユニットに、関連するピクチャユニットの最後のＮＡＬユニットの前のサフィックスAPS NALユニットを含めることが禁止され、ピクチャユニットに、関連するピクチャユニットの最初のＮＡＬユニットの後のプレフィックスAPS NALユニットを含めることが禁止されることである。
本発明の第１６の態様によれば、一連の符号化された画像を表し且つビットストリーム内に一連のピクチャユニットを有する該ビットストリームであって、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、それぞれの前記ＡＰＳ ＮＡＬユニットは、ＡＰＳタイプとＡＰＳ識別子とを有し、ここで、一連のピクチャユニットのうちの少なくとも１つのピクチャユニットは、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む、
ことを特徴とするビットストリームが提供される。
ことを特徴とするビットストリームが提供される。
先行するビットストリーム特性を表現する代替的な方法は、同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることが許可されることである。
一実施形態では、サフィックスAPS NALユニットがある一連のピクチャユニットのそれぞれにおいて、該サフィックスユニットは、特定のVCL NALユニットを含むピクチャユニットのVCL NALユニットによって使用されず、特定のVCL NALユニットを含むピクチャユニットのVCL NALユニットによって使用されないそのようなサフィックスAPS NALユニットを有する少なくとも１つのピクチャユニットについて、該サフィックスAPS NALユニットは、復号順序において該サフィックスAPS NALユニットに後続する１つまたは複数のピクチャユニットの１つまたは複数のVCL NALユニットによって使用される。
先行するビットストリーム特性を表現する代替的な方法は、特定のVCL NALユニットを含むピクチャユニットのVCL NALユニットによるサフィックスAPS NALユニットの使用が禁止され、復号順序においてサフィックスAPS NALユニットに続くピクチャユニットのVCL NALユニットによる該サフィックスAPS NALユニットの使用が許可されることである。
一実施形態では、プレフィックスAPS NALユニットを含む各ピクチャユニットにおいて、プレフィックスAPS NALユニットは、関連するピクチャユニット内の任意のサフィックスAPS NALユニットの前であって、関連するピクチャユニットの最後のVCL NALユニットの前であり、サフィックスAPS NALユニットを含む各ピクチャユニットにおいて、サフィックスAPS NALユニットは、関連するピクチャユニット内の任意のプレフィックスAPS NALユニットの後であって、関連するピクチャユニットの最初のVCL NALユニットの後でなければならない。
先行するビットストリーム特性を表現する代替的な方法は、一連のピクチャユニットに含まれるAPS NALユニットが、プレフィックスAPS NALユニットが、関連するピクチャユニット内の任意のサフィックスAPS NALユニットの前であって且つ関連するピクチャユニットの最後のVCL NALユニットの前であり、サフィックスAPS NALユニットが、関連するピクチャユニット内の任意のプレフィックスAPS NALユニットの後であって且つ関連するピクチャユニットの最初のVCL NALユニットの後であるように制約されることである。
一実施形態では、一連のピクチャユニットのいずれも、関連するピクチャユニットの最後のＮＡＬユニットの前にサフィックスAPS NALユニットを含まない。
先行するビットストリーム特性を表現する代替的な方法は、ピクチャユニットにおいて、関連するピクチャユニットの最後のＮＡＬユニットの後にサフィックスAPS NALユニットを含めることが禁止されることである。
一実施形態では、一連のピクチャユニットのいずれも、関連するピクチャユニットの最初のＮＡＬユニットの後にプレフィックスAPS NALユニットを含まない。
先行するビットストリーム特性を表現する代替的な方法は、ピクチャユニットにおいて、関連するピクチャユニットの最初のＮＡＬユニットの後にプレフィックスAPS NALユニットを含めることが禁止されることである。
一実施形態では、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットを含む任意のピクチャユニットにおいて、参照するVCL NALユニットは、同じAPSタイプおよび同じAPS識別子を有するAPSを含むプレフィックスAPS NALユニットにより後続されない。この方法（measure）は、同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることを許可することなく（第１６の態様と同様に）、本発明の第１５の態様にも適用することができる。
先行するビットストリーム特性を表現する代替的な方法は、ピクチャユニットにおいて、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットの後に、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むプレフィックスAPS NALユニットが続くことが禁止されることである。
一実施形態では、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットを含む任意のピクチャユニットにおいて、参照するVCL NALユニットは、同じAPSタイプおよび同じAPS識別子を有するAPSを含むサフィックスAPS NALユニットにより先行されない。この方法（measure）は、同じピクチャユニットに、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含めることを許可することなく（第１６の態様と同様に）、本発明の第１４の態様にも適用することができる。
先行するビットストリーム特性を表現する代替的な方法は、ピクチャユニットにおいて、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットが同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むサフィックスAPS NALユニットが先行することが禁止されることである。
また、最後の２つの方法は、一連のピクチャユニットにおけるピクチャユニットのいずれもが、関連するピクチャユニットの最初のＮＡＬユニットの後にプレフィックスAPS NALユニットを含まない（第１４の様態の）ビットストリーム特性無しに、一連のピクチャユニットにおけるピクチャユニットのいずれもが、関連するピクチャユニットの最後のＮＡＬユニットの前にサフィックスAPS NALユニットを含まない（第１５の態様の）ビットストリーム特性無しに、一連のピクチャユニットの少なくとも１つのピクチャユニットが同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む（第１６の態様の）ビットストリーム特性無しに、使用可能である。したがって、本発明の別の態様によれば、一連の符号化された画像を表し且つビットストリーム内に一連のピクチャユニットを有する該ビットストリームであって、それぞれの前記ピクチャユニットは、１つの符号化された画像に対応し、且つ１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、ＮＡＬユニットは、それぞれが、符号化された画像データを含むビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを含み、且つ、それぞれが、１つまたは複数のVCL NALユニットに含まれる画像データに対して１つまたは複数のタイプの処理動作を実行するためのパラメータを有する適応パラメータセット（ＡＰＳ）を含む適応パラメータセットＮＡＬユニットも含む一連のピクチャユニットに含まれ、APS NALユニットは、プレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを含む一連のピクチャユニットに含まれ、ここで、APSが、関連するピクチャユニットの最初のVCL NALの前のピクチャユニットに存在する場合、該APSはプレフィックスAPS NALユニットに含まれなければならず、ＡＰＳが、関連するピクチャユニットの最後のVCL NALの後のピクチャユニットに存在する場合、該APSは、サフィックスAPS NALユニットに含まれなくてはならず、それぞれの前記ＡＰＳ ＮＡＬユニットは、ＡＰＳタイプとＡＰＳ識別子とを有し、ビットストリームは、以下の特性の一方または両方を有する：特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットを含む任意のピクチャユニットにおいて、参照するVCL NALユニットの後に、同じAPSタイプおよび同じAPS識別子を有するAPSを含むプレフィックスAPS NALユニットは続かない、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットを含む任意のピクチャユニットにおいて、参照するVCL NALユニットは、同じAPSタイプおよび同じAPS識別子を有するAPSを含むサフィックスAPS NALユニットにより先行されない、ことを特徴とするビットストリームが提供される。
第１４の態様～第１６の態様、および上記のさらなる態様のビットストリームがどのように使用されるかは、特に限定されない。本発明の第１７の態様は、第１４～第１６の態様およびさらなる態様のいずれか１つによる、ビットストリーム中の画像のシーケンスを符号化する方法を提供する。
本発明の第１８の態様は、符号化画像のシーケンスを復号する方法であって、第１４～第１６の態様のいずれか１つによるビットストリームを受信することを含む方法を提供する。
この態様では、ビットストリームを受信するのに十分である。適合性チェックは不要である。例えば、デコーダは単に、第１４～第１６の態様のいずれか１つのビットストリームを受信し、それを復号することができる。例えば、一実施形態は、ＮＡＬユニットを復号することと、VCL NALユニットに含まれる画像データおよびAPS NALユニットに含まれるＡＰＳのパラメータを取得することと、取得されたＡＰＳパラメータを使用して、取得された画像データを処理することと、をさらに含む。
本発明の第１９の態様によれば、本発明の第１～第３の態様のいずれか１つの符号化の方法によって生成されるビットストリームが提供される。
ビットストリームは、通常、一時的な信号の形態である。しかしながら、非一時的な形態では、ビットストリームが例えば、媒体記憶装置などの記録媒体またはコンピュータ可読記憶装置に記憶され得る。ＤＶＤ、ブルーレイディスク、または他の光学記憶媒体は、ビットストリームのための記憶媒体の一例である。したがって、本発明の第２０の態様によれば、本発明の第１４～第１６および第１９の態様のいずれか１つのビットストリームを記憶するコンピュータ可読記憶媒体が提供される。
本発明の一態様における任意の特徴は、任意の適切な組み合わせで、本発明の他の態様に適用され得る。特に、方法の態様は、装置の態様に適用されてもよく、逆もまた同様である。
さらに、ハードウェアで実装される特徴は、ソフトウェアで実装されてもよく、逆もまた同様である。本明細書におけるソフトウェアおよびハードウェア特徴へのいかなる参照も、それに応じて解釈されるべきである。
本明細書に記載される任意の装置特徴は、方法特徴として提供されてもよく、逆もまた同様である。本明細書で使用される場合、ミーンズプラスファンクション特徴は、適切にプログラムされたプロセッサおよび関連するメモリなど、それらの対応する構造に関して代替的に表現され得る。
また、本発明の任意の態様に記載および定義された様々な特徴の特定の組み合わせが、独立して実装および／または供給および／または使用され得ることが理解されるべきである。
次に、本発明の実施形態を、単なる例として、以下の図面を参照して説明する。
図１は、本発明の実施形態による、ピクチャのタイルおよびスライスへの分割を示す。
図２は、例示的なＶＶＣビットストリームを示す。
図３は、本発明の１つまたは複数の実施形態が実施され得るデータ通信システムを概略的に示すブロック図である。
図４は、本発明の１つまたは複数の実施形態が実装され得る処理デバイスの構成要素を示すブロック図である。
図５は、本発明の１つまたは複数の実施形態が実装され得るエンコーダの構成要素を示すブロック図である。
図６は、本発明の１つまたは複数の実施形態が実装され得るデコーダの構成要素を示すブロック図である。
図７は、本発明の実施形態による符号化プロセスを示すフローチャートである。
図８は、本発明の実施形態によるデコード処理を示すフローチャートである。
図９は、図８の復号処理の部分をより詳細に示すフローチャートである。
図１０は、図８の復号処理のさらなる部分をより詳細に示すフローチャートである。
図１１Ａは、ＶＶＣ８に準拠したビットストリームの例を示す。
図１１Ｂは、本発明の一実施形態によるビットストリームを示す。
図１２Ａは、ＶＶＣ８に準拠するビットストリームの別の例を示す。
図１２Ｂは、ランダムアクセスが必要とされる場合の図１２Ａのビットストリームの第１の変形例を示す。
図１２Ｃは、ランダムアクセスが必要とされる場合の図１２Ａのビットストリームの第２の変形例を示す。
図１２Ｄは、本発明の一実施形態による、図１２Ａの例に対応するビットストリームを示す。
図１３は、本発明の別の実施形態によるビットストリームを示す。
図１４は、本発明の１つまたは複数の実施形態が実装され得るネットワークカメラシステムを示す図である。
図１５は、本発明の１つまたは複数の実施形態が実装され得るスマートフォンを示す図である。
以下に説明する本発明の実施形態は、画像（又はピクチャ）の符号化及び復号の改善に関する。
本明細書では、「通知（signalling）」は、１つまたは複数のパラメータまたはシンタックス要素に関するビットストリーム情報、たとえば、サブピクチャの識別子、サブピクチャのサイズ／幅／高さ、単一の画像部分（たとえば、スライス）のみがサブピクチャに含まれるかどうか、スライスが長方形スライスであるかどうか、および／またはサブピクチャに含まれるスライスの数のうちのいずれか１つまたは複数を決定するための情報に挿入すること（提供すること／含むこと／符号化すること）、または該情報から抽出すること／取得すること（復号すること）を指し得る。
本明細書では、「処理（processing）」は、データに対して実行されている任意の種類の動作、たとえば、１つまたは複数の画像／ピクチャのための画像データを符号化または復号することを指し得る。
本明細書では、用語「スライス」が画像部分の例（そのような画像部分の他の例が１つまたは複数のコーディングツリーユニットを含む画像部分である）として使用される。本発明の実施形態はまた、スライスの代わりに画像部分と、（スライスヘッダまたはスライスセグメントヘッダの代わりに）画像部分のためのヘッダなどの適切に修正されたパラメータ／値／シンタックスとに基づいて実装され得ることが理解される。スライスヘッダ、スライスセグメントヘッダ、シーケンスパラメータセット(SPS:sequence parameter set)、またはピクチャパラメータセット(PPS:Picture Parameter Set)中で通知されるものとして本明細書で説明する様々な情報は、それらをそれらのメディア中で通知することによって提供される同じ機能を提供することが可能である限り、それらが他の場所でシグナリングされ得ることも理解されたい。スライス、タイルグループ、タイル、コーディングツリーユニット（ＣＴＵ）／最大コーディングユニット（ＬＣＵ）、コーディングツリーブロック（ＣＴＢ）、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、変換ユニット（ＴＵ）、またはピクセル／サンプルのブロックのうちのいずれかを画像部分と呼ぶことができることも理解されたい。
また、構成要素またはツールが「アクティブ」として記述される場合、構成要素／ツールは「有効（enabled）」、または「利用可能（available for use）」、または「使用される（used）」、であり、「非アクティブ」として記述される場合、構成要素／ツールは、「無効（disabled）」、または「利用不可能（unavailable for use）」、または「使用されない（not used）」、であり、「推測可能（can be inferred）」は、ビットストリーム内でそれを明示的に通知することなく、関連する値またはパラメータを他の情報から決定／取得できることを指すことが理解される。さらに、フラグが「アクティブ」と記述されるとき、フラグは関連する構成要素／ツールが「アクティブ」（すなわち、「有効（effective）」）であることを示すことを意味することも理解されたい。
本明細書において、特に明記しない限り、関連する用語は、以下に示す最新のＶＶＣドラフト８、ＶＶＣ８におけるものと同じ定義を有する。イタリック体の用語は、それら独自のＶＶＣ８定義を有する。
スライス：単一のＮＡＬユニットに排他的に含まれるピクチャのタイル内の整数個の完了タイルまたは整数個の連続する完了ＣＴＵ行
スライスヘッダ：スライス内に表されるタイル内のすべてのタイルまたはＣＴＵ行に関係するデータ要素を含む符号化スライスの一部
タイル：ピクチャ内の特定のタイル列および特定のタイル行内のＣＴＵの矩形領域
サブピクチャ：ピクチャ内の１つまたは複数のスライスの矩形領域
ピクチャ（または画像）：モノクロフォーマットのルマサンプルのアレイ、または４：２：０、４：２：２、および４：４：４カラーフォーマットのクロマサンプルの２つの対応するアレイとルマサンプルのアレイ
符号化ピクチャ：ＡＵ内のｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値を有するVCL NALユニットを備え、ピクチャのすべてのＣＴＵを含むピクチャの符号化表現
符号化表現：その符号化形式で表されるデータ要素
ラスタ走査：１次元パターン内の最初のエントリが左から右に走査される２次元パターンの一番上の行からであり、同様に、各々が左から右に走査されるパターンの２番目、３番目などの行（下に行く）が後に続くような、矩形の２次元パターンの１次元パターンへのマッピング
ブロック：サンプルのＭｘＮ(Ｍ列×Ｎ行）アレイ、または変換係数のＭｘＮアレイ
符号化ブロック：符号化ブロックへのＣＴＢの分割が区分（partitioning）であるような、ＭおよびＮのいくつかの値のためのサンプルのＭｘＮブロック
コーディングツリーブロック（ＣＴＢ）：構成要素のＣＴＢへの分割が区分であるような、Ｎのいくつかの値に対するサンプルのＮｘＮブロック
コーディングツリーユニット（ＣＴＵ）：ルマサンプルのＣＴＢ、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するＣＴＢ、または、サンプルを符号化するために使用される３つの別個のカラープレーンおよびシンタックス構造を使用して符号化されるモノクロピクチャまたはピクチャのサンプルのＣＴＢ
コーディングユニット（ＣＵ）：ルマサンプルのコーディングブロック、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するコーディングブロック、または、サンプルを符号化するために使用される３つの別個のカラープレーンおよびシンタックス構造を使用して符号化されるモノクロピクチャまたはピクチャのサンプルのコーディングブロック
構成要素：４：２：０、４：２：２、または４：４：４カラーフォーマットのピクチャを構成する３つのアレイ（ルマと２つのクロマ）のうちの１つからのアレイまたは単一サンプル、またはモノクロフォーマットのピクチャを構成するアレイまたはアレイの単一サンプル
ピクチャパラメータセット（ＰＰＳ）：ピクチャヘッダまたはスライスヘッダ内で見つかったシンタックス要素によって決定される、０個以上の符号化ピクチャ全体に適用されるシンタックス要素を含むシンタックス構造
シーケンスパラメータセット（ＳＰＳ）：ピクチャヘッダ中に見出されるシンタックス要素によって参照されるＰＰＳ中に見出されるシンタックス要素の内容によって決定される、０個以上のＣＬＶ全体に適用されるシンタックス要素を含むシンタックス構造
適応パラメータセット（ＡＰＳ）：スライスまたはピクチャヘッダ中に見出される０個以上のシンタックス要素によって決定される、０個以上のスライスに適用されるシンタックス要素を含むシンタックス構造
ネットワーク抽象化レイヤ（ＮＡＬ）ユニット：後続すべきデータのタイプの指示と、エミュレーション防止バイトと共に必要に応じて散在されるＲＢＳＰの形態のそのデータを含むバイトとを含むシンタックス構造
ビデオコーディングレイヤ(ＶＣＬ)ＮＡＬユニット：本明細書においてVCL NALユニットとして分類されるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの予約値を有する、符号化スライスＮＡＬユニットおよびＮＡＬユニットのサブセットのための総称
ピクチャヘッダ（ＰＨ）：符号化ピクチャのすべてのスライスに適用されるシンタックス要素を含むシンタックス構造
スライスヘッダ：スライス内に表されるタイル内のすべてのタイルまたはＣＴＵ行に関係するデータ要素を含む符号化スライスの一部
適応ループフィルタ（ＡＬＦ）：復号処理の一部として適用され、ＡＰＳにおいて伝達されるパラメータによって制御されるフィルタリングプロセス
クロマスケーリングを用いたルママッピング（ＬＭＣＳ）：ルマサンプルを特定の値にマッピングし、スケーリング演算をクロマサンプルの値に適用し得る、復号処理の一部として適用されるプロセス
スケーリングリスト：各頻度インデックスをスケーリングプロセスのスケールファクターに関連付けるリスト
ピクチャユニット（ＰＵ）：指定された分類ルールに従って互いに関連付けられたＮＡＬユニットのセットは復号順序で連続しており、正確に１つの符号化ピクチャを含む
アクセスユニット（ＡＵ）：異なるレイヤに属し、ＤＰＢからの出力のために同時に関連付けられた符号化ピクチャを含む、ＰＵのセット
図１は、ＶＶＣ８と互換性のある、本発明の実施形態による、ピクチャをタイルおよびスライスに分割（partitioning）することを示す。ピクチャ１０１および１０２は、点線によって表されるコーディングツリーユニット（ＣＴＵ）に分割される。ＣＴＵは、ＶＶＣ８のための符号化および復号の基本単位である。たとえば、ＶＶＣ８では、ＣＴＵが１２８×１２８画素のエリアを符号化することができる。
スライスヘッダ：スライス内に表されるタイル内のすべてのタイルまたはＣＴＵ行に関係するデータ要素を含む符号化スライスの一部
タイル：ピクチャ内の特定のタイル列および特定のタイル行内のＣＴＵの矩形領域
サブピクチャ：ピクチャ内の１つまたは複数のスライスの矩形領域
ピクチャ（または画像）：モノクロフォーマットのルマサンプルのアレイ、または４：２：０、４：２：２、および４：４：４カラーフォーマットのクロマサンプルの２つの対応するアレイとルマサンプルのアレイ
符号化ピクチャ：ＡＵ内のｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値を有するVCL NALユニットを備え、ピクチャのすべてのＣＴＵを含むピクチャの符号化表現
符号化表現：その符号化形式で表されるデータ要素
ラスタ走査：１次元パターン内の最初のエントリが左から右に走査される２次元パターンの一番上の行からであり、同様に、各々が左から右に走査されるパターンの２番目、３番目などの行（下に行く）が後に続くような、矩形の２次元パターンの１次元パターンへのマッピング
ブロック：サンプルのＭｘＮ(Ｍ列×Ｎ行）アレイ、または変換係数のＭｘＮアレイ
符号化ブロック：符号化ブロックへのＣＴＢの分割が区分（partitioning）であるような、ＭおよびＮのいくつかの値のためのサンプルのＭｘＮブロック
コーディングツリーブロック（ＣＴＢ）：構成要素のＣＴＢへの分割が区分であるような、Ｎのいくつかの値に対するサンプルのＮｘＮブロック
コーディングツリーユニット（ＣＴＵ）：ルマサンプルのＣＴＢ、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するＣＴＢ、または、サンプルを符号化するために使用される３つの別個のカラープレーンおよびシンタックス構造を使用して符号化されるモノクロピクチャまたはピクチャのサンプルのＣＴＢ
コーディングユニット（ＣＵ）：ルマサンプルのコーディングブロック、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するコーディングブロック、または、サンプルを符号化するために使用される３つの別個のカラープレーンおよびシンタックス構造を使用して符号化されるモノクロピクチャまたはピクチャのサンプルのコーディングブロック
構成要素：４：２：０、４：２：２、または４：４：４カラーフォーマットのピクチャを構成する３つのアレイ（ルマと２つのクロマ）のうちの１つからのアレイまたは単一サンプル、またはモノクロフォーマットのピクチャを構成するアレイまたはアレイの単一サンプル
ピクチャパラメータセット（ＰＰＳ）：ピクチャヘッダまたはスライスヘッダ内で見つかったシンタックス要素によって決定される、０個以上の符号化ピクチャ全体に適用されるシンタックス要素を含むシンタックス構造
シーケンスパラメータセット（ＳＰＳ）：ピクチャヘッダ中に見出されるシンタックス要素によって参照されるＰＰＳ中に見出されるシンタックス要素の内容によって決定される、０個以上のＣＬＶ全体に適用されるシンタックス要素を含むシンタックス構造
適応パラメータセット（ＡＰＳ）：スライスまたはピクチャヘッダ中に見出される０個以上のシンタックス要素によって決定される、０個以上のスライスに適用されるシンタックス要素を含むシンタックス構造
ネットワーク抽象化レイヤ（ＮＡＬ）ユニット：後続すべきデータのタイプの指示と、エミュレーション防止バイトと共に必要に応じて散在されるＲＢＳＰの形態のそのデータを含むバイトとを含むシンタックス構造
ビデオコーディングレイヤ(ＶＣＬ)ＮＡＬユニット：本明細書においてVCL NALユニットとして分類されるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの予約値を有する、符号化スライスＮＡＬユニットおよびＮＡＬユニットのサブセットのための総称
ピクチャヘッダ（ＰＨ）：符号化ピクチャのすべてのスライスに適用されるシンタックス要素を含むシンタックス構造
スライスヘッダ：スライス内に表されるタイル内のすべてのタイルまたはＣＴＵ行に関係するデータ要素を含む符号化スライスの一部
適応ループフィルタ（ＡＬＦ）：復号処理の一部として適用され、ＡＰＳにおいて伝達されるパラメータによって制御されるフィルタリングプロセス
クロマスケーリングを用いたルママッピング（ＬＭＣＳ）：ルマサンプルを特定の値にマッピングし、スケーリング演算をクロマサンプルの値に適用し得る、復号処理の一部として適用されるプロセス
スケーリングリスト：各頻度インデックスをスケーリングプロセスのスケールファクターに関連付けるリスト
ピクチャユニット（ＰＵ）：指定された分類ルールに従って互いに関連付けられたＮＡＬユニットのセットは復号順序で連続しており、正確に１つの符号化ピクチャを含む
アクセスユニット（ＡＵ）：異なるレイヤに属し、ＤＰＢからの出力のために同時に関連付けられた符号化ピクチャを含む、ＰＵのセット
図１は、ＶＶＣ８と互換性のある、本発明の実施形態による、ピクチャをタイルおよびスライスに分割（partitioning）することを示す。ピクチャ１０１および１０２は、点線によって表されるコーディングツリーユニット（ＣＴＵ）に分割される。ＣＴＵは、ＶＶＣ８のための符号化および復号の基本単位である。たとえば、ＶＶＣ８では、ＣＴＵが１２８×１２８画素のエリアを符号化することができる。
コーディングツリーユニット（ＣＴＵ）は、（ピクセルまたは構成要素サンプル（値）のブロック、マクロブロック、またはコーディングブロックと呼ばれることさえもある。それは、ピクチャの異なる画像構成要素を同時に符号化／復号するために使用することができ、またはピクチャの異なる画像構成要素を別々に／個別に符号化／復号することができるように、１つの画像構成要素のみに限定することができる。画像のデータが各構成要素のための別個のデータを備えるとき、ＣＴＵは、構成要素ごとに１つのＣＴＢをもつコーディングツリーブロック（ＣＴＢ）のグループである。
図１に示すように、ピクチャはタイルの格子に従って（すなわち、タイルの１つまたは複数の格子に）分割（partitioned）することもでき、タイル境界は細い実線によって表される。タイルは、ＣＴＵ分割とは無関係に定義することができる（ピクセル／構成要素サンプルの）矩形領域であるピクチャ部分（ピクチャの部分（parts）／部分（portions））である。タイルはまた、例えばＶＶＣ８におけるＣＴＵのシーケンスに対応してもよく、そのため、図１に示される例では、分割技術がタイルの境界をＣＴＵの境界と一致／整列するように制限することができる。
タイルは、タイル境界が符号化／復号プロセスの空間依存性を破るように定義される。言い換えれば、所与のピクチャにおいて、タイルは、同じピクチャの別の空間的に「隣接する」タイルとは無関係に符号化／復号され得るように定義／指定される。これは、タイル中のＣＴＵの符号化／復号が、同じピクチャ中の別のタイルからのピクセル／サンプルまたはリファレンスデータに基づかない、ことを意味する。
いくつかの符号化／復号システム、例えば、本発明の実施形態またはＶＶＣ８の実施形態はスライスの概念を提供する（すなわち、１つまたは複数のスライスに基づく分割技術も使用する）。このメカニズムは、ピクチャを１つのグループに、またはタイルのいくつかのグループに、まとめてスライスと呼ばれるタイルのグループの分割を可能にする。各スライスは、１つのタイル、またはいくつかのタイル、または部分的なタイルから構成される。ピクチャ１０１および１０２によって示されるように、２つの異なる種類のスライスが提供される。第１の種類のスライスはピクチャ１０１内の太い実線で表されるように、ピクチャ内の長方形のエリア／領域を形成するスライスに制限される。ピクチャ１０１は、ピクチャを６つの異なる矩形スライス（０）～（５）に分割する。第２の種類のスライスは、ピクチャ１０２内の太い実線で表されるラスタ走査順序で連続するタイル（タイルのシーケンスを形成するように）に制限される。ピクチャ１０２は、ラスタ走査順序で連続するタイルから構成される３つの異なるスライス（０）～（２）へのピクチャの分割を有する。
多くの場合、矩形スライスは、ビデオ内の注目領域（ＲｏＩ）を扱うための選択の構造／アレンジメント／構成である。
スライスは、１つまたはいくつかのネットワーク抽象化レイヤ（ＮＡＬ）ユニットとしてビットストリーム内で符号化（またはビットストリームから復号）され得る。ＮＡＬユニットは、符号化／復号ビットストリーム中のデータのカプセル化のためのデータの論理ユニットである（たとえば、整数のバイト数を含むパケットであって、複数のパケットが集合的に符号化ビデオデータを形成する）。
ＶＶＣ８の符号化／復号システムでは、スライスが通常、単一のＮＡＬユニットとして符号化される。スライスがいくつかのＮＡＬユニットとしてビットストリーム中で符号化されるとき、スライスのための各ＮＡＬユニットは、スライスセグメントと呼ばれる。スライスセグメントは、そのスライスセグメントの符号化パラメータを含むスライスセグメントヘッダを含む。変形例によれば、スライスの最初のスライスセグメントＮＡＬユニットのヘッダは、スライスのためのすべての符号化パラメータを含む。スライスの後続のＮＡＬユニットのスライスセグメントヘッダは、最初のＮＡＬユニットよりも少ないパラメータを含み得る。そのような場合、最初のスライスセグメントは独立したスライスセグメントであり、後続のセグメントは、（最初のスライスセグメントのＮＡＬユニットからの符号化パラメータに依存するので）依存するスライスセグメントである。
図２は、ＶＶＣ８のための符号化システムの要件に適合する、本発明の一実施形態によるビットストリームの構成（すなわち、アレンジメント、構成、または配置）を示す。ビットストリーム２００は、シンタックス要素の順序付けられたシーケンスを表す／示すデータと、符号化（画像）データとから構成される。シンタックス要素および符号化（画像）データは、一連のＮＡＬユニット２０１～２０９に配置される（すなわち、パッケージ化／グループ化される）。異なるＮＡＬユニットのタイプがある。ネットワーク抽象化レイヤ（ＮＡＬ）は、リアルタイムプロトコル／インターネットプロトコル（ＲＴＰ／ＩＰ）、ＩＳＯベースメディアファイルフォーマットなどのような、異なるプロトコルのパケットにビットストリームをカプセル化する能力を提供する。ネットワーク抽象化レイヤはまた、パケット損失回復力のためのフレームワークを提供する。
ＮＡＬユニットは、ビデオコーディングレイヤ(ＶＣＬ)ＮＡＬユニットと非VCL NALユニットとに分割される。VCL NALユニットは、実際の符号化ビデオデータを含む。非VCL NALユニットには、追加情報が含まれる。この追加情報は、復号されたビデオデータの有用性を高めることができる、符号化ビデオデータまたは補足データの復号に必要なパラメータであり得る。図２のＮＡＬユニット２０６は、スライスに対応し（すなわち、それらは、スライスの実際の符号化ビデオデータを含む）、図２の例示的なビットストリームのVCL NALユニットを構成する。
単一の符号化ピクチャを符号化するすべてのＮＡＬユニット（ＶＣＬおよび関連する非VCL NALユニット）は、１つのピクチャユニットを形成する。この例では、非VCL NALユニット２０８は２つのVCL NALユニット２０６に関連付けられ、これらの３つのＮＡＬユニットは一緒に１つのピクチャユニットを形成し得る。
異なるＮＡＬユニット２０１～２０５および２０９は、異なるパラメータセットに対応し、これらのＮＡＬユニットは非VCL NALユニットである。
ＤＣＩは、Decoding Capability Informationの略である。DCI NALユニット２０１は、所与の復号プロセスに対して一定であるパラメータを含む。
ＶＰＳはVideo Parameter Setの略である。VPS NALユニット２０２は、ビデオ全体について定義されたパラメータを含み（たとえば、ビデオ全体がピクチャ／画像の１つまたは複数のシーケンスを含む）、したがって、ビットストリーム全体の符号化ビデオデータを復号するときに適用可能である。
DCI NALユニットは、VPS NALユニット内のパラメータよりも静的な（それらが安定しており、復号プロセス中にそれほど変化しないという意味で）パラメータを定義することができる。言い換えれば、DCI NALユニットのパラメータは、VPS NALユニットのパラメータよりも頻繁に変化しない。
ＳＰＳは、Sequence Parameter Setの略である。SPS NALユニット２０３は、ビデオシーケンス（すなわち、ピクチャまたは画像のシーケンス）のために定義されたパラメータを含む。特に、SPS NALユニットは、ビデオシーケンスのサブピクチャレイアウトおよび関連するパラメータを定義することができる。各サブピクチャに関連するパラメータは、サブピクチャに適用される符号化制約を指定する。一変形例によれば、SPS NALユニットは、同じサブピクチャから来るデータのみが時間予測プロセス中に使用するために利用可能であるように、サブピクチャ間の時間予測が制限されることを示すフラグを備える。別のフラグは、サブピクチャ境界にわたってループフィルタ（すなわち、ポストフィルタリング）を有効または無効にし得る。
ＰＰＳは、Picture Parameter Setの略である。PPS NALユニット２０４は、ピクチャまたはピクチャのグループに対して定義されたパラメータを含む。ＶＶＣ８において指定されるＰＰＳのシンタックスは、ルマサンプル中のピクチャのサイズを指定するシンタックス要素と、タイルおよびスライス中の各ピクチャの分割を指定するためのシンタックス要素も、備える。ＰＰＳは、ピクチャ／フレーム内のスライス位置を決定することを可能にするシンタックス要素を含む。
ＡＰＳは、Adaptation Parameter Setの略である。ＡＰＳはループフィルタ、典型的には、スライスレベルで使用される適応ループフィルタ（ＡＬＦ）またはリシェーパモデル（またはクロマスケーリングを用いたルママッピング（ＬＭＣＳ）モデル）またはスケーリング行列、のパラメータを含む。
ＡＰＳは、ＡＰＳに存在するパラメータのタイプを記述するａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素を含む。例えば、ＡＬＦ＿ＡＰＳに等しいａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅは，ＡＰＳがＡＬＦパラメータを含むことを示し、ＬＭＣＳ＿ＡＰＳに等しいａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅはＬＭＣＳパラメータを含むことを示し、最後に、ＳＣＡＬＩＮＧ＿ＡＰＳに等しいとき、それは、スケーリングリストパラメータの存在を示す。
第２（second）のシンタックス要素ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、ＡＰＳの識別子を提供する。
２種類のＮＡＬユニット、プレフィックスAPS NALユニット２０５およびサフィックスAPS NALユニット２０９が、ＡＰＳをカプセル化し得る。ＶＶＣ８明細書によれば、プレフィックスAPS NALユニットがＰＵ中に存在するとき、それらは、ＰＵの最後のVCL NALユニットに従わない。サフィックスAPS NALユニットがＰＵ中に存在するとき、それらは、ＰＵの最初のVCL NALユニットに先行しない。最初のVCL NALユニットと最後のVCL NALユニットとの間には、プレフィックスおよびサフィックスAPS NALユニットが任意の順序で存在し得る。たとえば、最初のサフィックスAPS NALの後に、１つのプレフィックスＮＡＬユニット、次いでVCL NALユニット、および別のサフィックスAPS NALユニットが続き得る。
ＳＥＩは、Supplemental Enhancement Informationの略である。ビットストリームは、また、SEI NALユニット（図３には図示せず）を含み得る。
ビットストリームにおける様々なパラメータセット（またはＮＡＬユニット）の出現頻度（または包含頻度）は可変である。ビットストリーム全体に対して定義されるＶＰＳは、ビットストリーム内で１回だけ発生することができる。対照的に、スライスについて定義されるＡＰＳは、各ピクチャ中の各スライスについて１回生じ得る。実際には、異なるスライスが同じＡＰＳに依存する（たとえば、それを参照する）ことができ、したがって、一般的には、ピクチャのためのビットストリーム中のスライスよりも少ないAPS NALユニットが存在する。
AUD NALユニット２０７は、２つのアクセスユニットを分離するアクセスユニットデリミタＮＡＬユニットである。アクセスユニットは同じデコーディングタイムスタンプをもつ１つまたは複数の符号化ピクチャ（すなわち、同じタイムスタンプを有する１つまたは複数の符号化ピクチャに関係するＮＡＬユニットのグループ）を備え得るＮＡＬユニットのセットである。
PH NALユニット２０８は、単一の符号化ピクチャのスライスのセットに共通するパラメータをグループ化するピクチャヘッダＮＡＬユニットである。ピクチャは、ピクチャのスライスによって使用されるスケーリング行列、リシェーパモデル、およびＡＬＦパラメータを示すために、１つまたは複数のＡＰＳを指し得る。
VCL NALユニット２０６の各々は、スライスのためのビデオ／画像データを含む。スライスは、ピクチャ全体またはサブピクチャ、単一のタイルもしくは複数のタイル、またはタイルの一部（部分タイル）に対応し得る。例えば、図２のスライスは、いくつかのタイル２２０を含む。スライスは、スライスヘッダ２１０と、符号化ブロック２４０として符号化された符号化画素／構成要素サンプルデータを含む生バイトシーケンスペイロード（ＲＢＳＰ）２１１とから構成される。スライスがピクチャ全体に対応するとき、PH NALユニット２０８は存在しなくてもよく、そのコンテンツはスライスヘッダ２１０の最初に挿入される。
スライスヘッダ２１０(VCL NALユニット２０６の一部である）およびピクチャヘッダ(PH NALユニット２０８の一部である）は、参照されたＡＰＳを含むAPS NALユニットまたは各々のAPS NALユニットの識別子およびタイプを通知することによって、１つまたは複数のＡＰＳ中のパラメータを参照し得る。ＡＰＳを含むＮＡＬユニットが、ＡＰＳを参照するＰＨまたはVCL NALユニットの前であることが、ＶＶＣ８明細書の要件である。
図３は、本発明の１つ以上の実施形態が実装され得るデータ通信システムを示す。データ通信システムは、データ通信ネットワーク３００を介して、受信装置、この場合クライアント端末３０２にデータストリームのデータパケットを送信するように動作可能な送信装置、この場合サーバ３０１を備える。データ通信ネットワーク３００は、ワイドエリアネットワーク(ＷＡＮ)またはローカルエリアネットワーク(ＬＡＮ)であってよい。このようなネットワークは例えば、無線ネットワーク(Wifi／８０２．１１ａまたはｂまたはｇ）、イーサネットネットワーク、インターネットネットワーク、または幾つかの異なるネットワークから構成される混合ネットワーク、であってもよい。本発明の特定の実施形態では、データ通信システムがサーバ３０１が同じデータコンテンツを複数のクライアントに送信するデジタルテレビ放送システムであってもよい。
サーバ３０１によって提供されるデータストリーム３０４は、ビデオおよびオーディオデータを表すマルチメディアデータから構成され得る。オーディオおよびビデオデータストリームは、本発明のいくつかの実施形態では、それぞれマイクロフォンおよびカメラを使用してサーバ３０１によってキャプチャされ得る。いくつかの実施形態では、データストリームがサーバ３０１に格納されてもよく、または別のデータプロバイダからサーバ３０１によって受信されてもよく、またはサーバ３０１において生成されてもよい。サーバ３０１は特に、エンコーダへの入力として提示されるデータのよりコンパクトな表現である、伝送のための圧縮ビットストリームを提供するために、ビデオおよびオーディオストリームを符号化するためのエンコーダを提供される。
送信されたデータの品質と送信されたデータの量とのより良好な比を得るために、ビデオデータの圧縮はたとえば、ＨＥＶＣフォーマットまたはＨ．２６４／ＡＶＣフォーマットまたはVVC(Versatile Video Coding)フォーマットによる。
クライアント３０２は、送信されたビットストリームを受信し、再構成されたビットストリームを復号して、表示装置上のビデオ画像およびラウドスピーカによるオーディオデータを再生する。
図２の例では、ストリーミングシナリオが考慮されるが、本発明のいくつかの実施形態ではエンコーダとデコーダとの間のデータ通信が例えば、光ディスクなどの媒体記憶装置を使用して実行され得ることが理解されよう。
図４は、本発明の少なくとも１つの実施形態を実施するように構成された処理装置４００を概略的に示す。処理装置４００は、マイクロコンピュータ、ワークステーション、またはライトポータブルデバイスなどのデバイスであってもよい。装置４００は、以下に接続される通信バス４１３を備える。
-ＣＰＵと示されるマイクロプロセッサなどの中央処理ユニット４１１；
-本発明を実施するためのコンピュータプログラムを格納するための、ＲＯＭと示される読み出し専用メモリ４０６；
-本発明の実施形態の方法の実行可能コード、ならびに本発明の実施形態によるデジタル画像のシーケンスを符号化する方法および／またはビットストリームを復号する方法を実施するために必要な変数およびパラメータを記録するように適合されたレジスタを格納するための、ＲＡＭと示されるランダムアクセスメモリ４１２；
-処理対象のデジタルデータが送受信される通信ネットワーク４０３に接続された通信インターフェース４０２
任意選択的に、装置４００は、以下の構成要素も含むことができる。
-本発明を実施するためのコンピュータプログラムを格納するための、ＲＯＭと示される読み出し専用メモリ４０６；
-本発明の実施形態の方法の実行可能コード、ならびに本発明の実施形態によるデジタル画像のシーケンスを符号化する方法および／またはビットストリームを復号する方法を実施するために必要な変数およびパラメータを記録するように適合されたレジスタを格納するための、ＲＡＭと示されるランダムアクセスメモリ４１２；
-処理対象のデジタルデータが送受信される通信ネットワーク４０３に接続された通信インターフェース４０２
任意選択的に、装置４００は、以下の構成要素も含むことができる。
-本発明の１つまたは複数の実施形態の方法を実施するためのコンピュータプログラム、および本発明の１つまたは複数の実施形態の実施中に使用または生成されるデータを格納するための、ハードディスクなどのデータ記憶手段４０４；
-ディスク４０６のためのディスクドライブ４０５であって、ディスクドライブは、ディスク４０６からデータを読み取るか、または前記ディスクにデータを書き込むように適合される；
-キーボード４１０または任意の他のポインティング手段の手段によって、ユーザとのグラフィカルインターフェースとしての役割を果たす、および／またはデータを表示するための画面４０９
-ディスク４０６のためのディスクドライブ４０５であって、ディスクドライブは、ディスク４０６からデータを読み取るか、または前記ディスクにデータを書き込むように適合される；
-キーボード４１０または任意の他のポインティング手段の手段によって、ユーザとのグラフィカルインターフェースとしての役割を果たす、および／またはデータを表示するための画面４０９
装置４００は例えば、デジタルカメラ４２０またはマイクロフォン４０８などの様々な周辺機器に接続することができ、それぞれが、装置４００にマルチメディアデータを供給するように入出力カード（図示せず）に接続される。
通信バスは、装置４００に含まれるかまたはそれに接続される様々な要素間の通信および相互運用性を提供する。バスの表現は限定的ではなく、特に、中央処理ユニットは装置４００の任意の要素に直接的に、または装置４００の別の要素の手段によって命令を通信するように動作可能である。
ディスク４０６は例えば、コンパクトディスク（ＣＤ－ＲＯＭ）、書き換え可能または書き換え不可能、ＺＩＰディスクまたはメモリカードなどの任意の情報媒体に置き換えることができ、一般的には、マイクロコンピュータまたはマイクロプロセッサによって読み取ることができる情報記憶手段によって置き換えることができ、装置に組み込まれるもしくは組み込まれず、場合によっては、リムーバブルであって且つ１つまたは複数のプログラムを格納するように適合され、その実行により、一連のディジタル画像を符号化する方法および／または本発明のビットストリームを復号する方法を実行可能にする。
実行可能コードは、読み出し専用メモリ４０６、ハードディスク４０４、または前述のような例えばディスク４０６などのリムーバブルデジタル媒体のいずれかに格納され得る。変形例によれば、プログラムの実行可能コードは、ハードディスク４０４などの実行される以前に装置４００の格納手段の１つに格納されるために、インターフェース４０２を介して、通信ネットワーク４０３の手段によって受信され得る。
中央処理ユニット４１１は、上述の格納手段のうちの１つに格納された命令で、本発明によるプログラムまたはプログラム群の命令またはソフトウェアコードの一部の実行を制御し、指示するように適合される。電源投入時に、不揮発性メモリ、例えばハードディスク４０４または読み出し専用メモリ４０６に格納されたプログラムまたはプログラム群は、ランダムアクセスメモリ４１２に転送され、このランダムアクセスメモリはプログラムまたはプログラム群の実行可能コード、ならびに本発明を実施するために必要な変数およびパラメータを格納するためのレジスタを含む。
この実施形態では、装置が本発明を実施するためにソフトウェアを使用するプログラマブル装置である。しかし、代替的には、本発明はハードウェア（例えば、特定用途向け集積回路またはＡＳＩＣの形態で）で実現されてもよい。
図５は、本発明の少なくとも１つの実施形態によるエンコーダのブロック図を示す。エンコーダは、接続されたモジュールによって表され、各モジュールは例えば、装置４００のＣＰＵ４１１によって実行されるプログラム命令の形態で実装されるように適合され、方法の少なくとも１つの対応するステップは、本発明の１つまたは複数の実施形態による、一連の画像の画像を符号化する少なくとも１つの実施形態を実装する。
デジタル画像ｉ０～ｉｎ５０１のオリジナルのシーケンスは、エンコーダ５００によって入力として受信される。各デジタル画像は、ピクセルとも呼ばれることもあるサンプルのセットによって表される。
ビットストリーム５１０は、符号化プロセスの実施後にエンコーダ５００によって出力される。ビットストリーム５１０は、スライスなどの複数の画像部分または複数の符号化ユニットのデータを含み、各スライスは、スライスを符号化するために使用される符号化パラメータの符号化値を送信するためのスライスヘッダを含み、スライス本体は符号化ビデオデータを含む。
入力デジタル画像ｉ０～ｉｎ５０１は、モジュール５０２によって画素のブロックに分割される。ブロックは画像部分に対応し、可変サイズであり得る（たとえば、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４、１２８ｘ１２８ピクセル、およびいくつかの矩形ブロックサイズも考慮され得る）。入力ブロックごとに符号化モードが選択される。符号化モードの２つのファミリ、すなわち空間予測符号化に基づく符号化モード（イントラ予測）と、時間予測に基づく符号化モード（インター符号化、マージ、ＳＫＩＰ）が提供される。可能な符号化モードがテストされる。
モジュール５０３は、符号化される所与のブロックが符号化される前記ブロックの近隣の画素から計算された予測子によって予測されるイントラ予測プロセスを実施する。イントラ符号化が選択された場合、選択されたイントラ予測子および所与のブロックとその予測子との間の差分の指示は、残差を提供するために符号化される。
時間予測は、動き推定モジュール５０４および動き補償モジュール５０５によって実施される。まず、参照画像のセット５１６の中から参照画像を選択し、符号化する所与のブロックに最も近い領域（画素値類似度で最も近い）である、参照領域または画像部分とも呼ばれる参照画像の部分を、動き推定モジュール５０４で選択する。次いで、動き補償モジュール５０５は、選択された領域を使用して符号化されるブロックを予測する。選択された参照領域と残差ブロックとも呼ばれる所与のブロックとの間の差分は、動き補償モジュール５０５によって計算される。選択された参照領域は、動き情報（例えば、動きベクトル）によって示される。
したがって、両方の場合（空間予測および時間予測）において、残差は、オリジナルのブロックから予測を減算することによって計算される。ＳＫＩＰモードは例外である。この場合、いかなる残差も無視される。
モジュール５０３によって実施されるＩＮＴＲＡ予測では、予測方向が符号化される。時間予測では、少なくとも１つの動きベクトルが符号化される。モジュール５０４、５０５、５１６、５１８、５１７によって実施されるインター予測では、そのような動きベクトルを識別するための少なくとも１つの動きベクトルまたは情報（データ）が時間予測のために符号化される。
インター予測が選択される場合、動きベクトルおよび残差ブロックに関する情報が符号化される。ビットレートをさらに低減するために、動きが均一であると仮定すると、動きベクトルは、動きベクトル予測子に対する差分によって符号化される。動き情報予測子のセットの動きベクトル予測子は、動きベクトル予測符号化モジュール５１７によって動きベクトルフィールド５１８から取得される。
エンコーダ５００は、レート歪み基準などの符号化コスト基準を適用することによって符号化モードを選択するための選択モジュール５０６をさらに備える。冗長性をさらに低減するために、変換モジュール５０７によって変換（ＤＣＴなど）が残差ブロックに適用され、次いで、得られた変換されたデータが量子化モジュール５０８によって量子化され、エントロピー符号化モジュール５０９によってエントロピー符号化される。最後に、ＳＫＩＰモードを除いて、符号化されている現在のブロックの符号化された残差ブロックがビットストリーム５１０に挿入される。
エンコーダ５００はまた、後続の画像の動き推定のための参照画像を生成するために、符号化された画像の復号を実行する。参照画像のセット５１６がメモリに格納される。これは、エンコーダと、ビットストリームを受信するデコーダと、が同じ参照フレームを有することを可能にする。逆量子化モジュール５１１は、量子化されたデータの逆量子化（逆量子化）を実行し、その後、逆変換モジュール５１２によって逆変換を実行する。逆イントラ予測モジュール５１３は、予測情報を使用して、所与のブロックのためにどの予測子を使用すべきかを決定し、逆動き補償モジュール５１４は、モジュール５１２によって取得された残差を、参照画像のセット５１６から取得された参照領域に実際に加算する。
次いで、後フィルタリングは画素の再構成されたフレーム（画像または画像部分）をフィルタリングするために、モジュール５１５によって適用される。結果として得られるフィルタリングされ再構成されたフレームは、セット５１６内に別の参照画像として追加される。
図６は、本発明の一実施形態による、エンコーダからデータを受信するために使用され得るデコーダ６００のブロック図を示す。デコーダは、接続されたモジュールによって表され、各モジュールは例えば、デバイス４００のＣＰＵ４１１によって実行されるプログラム命令の形で、デコーダ６００によって実施される方法の対応するステップを実施するように適合される。
デコーダ６００は、符号化ユニット（たとえば、画像オプション、ブロック、またはコーディングユニットＣＵに対応するデータ）を含むビットストリーム６０１を受信し、各符号化ユニットは、符号化パラメータに関する情報を含むヘッダと、符号化ビデオデータを含む本体と、から構成される。ＶＶＣにおけるビットストリームの例示的な構造は、図２を参照して上述された。図５に関して説明されたように、符号化ビデオデータはエントロピー符号化され、動きベクトル予測子のインデックスは、所定のビット数で、所与の画像部分（例えば、ブロックまたはＣＵ）について符号化される。受信された符号化ビデオデータは、モジュール６０２によってエントロピー復号される。残差データは、次いで、モジュール６０３によって逆量子化され、次いで、逆変換がピクセル値を取得するためにモジュール６０４によって適用される。
符号化モードを示すモードデータもエントロピー復号され、そのモードに基づいて、画像データの符号化ブロック（ユニット／セット／グループ）に対してＩＮＴＲＡタイプ復号またはインタータイプ復号が行われる。
ＩＮＴＲＡモードの場合、ＩＮＴＲＡ予測子は、ビットストリームにおいて指定されたイントラ予測モードに基づいて、イントラ逆予測モジュール６０５によって決定される。
モードがインターである場合、エンコーダによって使用される参照領域を見つける（識別する）ために、動き予測情報がビットストリームから抽出される。動き予測情報は、参照フレームインデックスと動きベクトル残差とから構成される。動きベクトル予測子は、動きベクトルを得るために、動きベクトル復号モジュール６１０によって動きベクトル残差に加算される。
動きベクトル復号モジュール６１０は、動き予測によって符号化された画像部分（たとえば、現在のブロックまたはＣＵ）ごとに動きベクトル復号を適用する。現在のブロックＣＵの動きベクトル予測子のインデックスが取得されると、画像部分（たとえば、現在のブロックまたはＣＵ）に関連付けられた動きベクトルの実際の値が復号され、モジュール６０６によって逆動き補償を適用するために使用され得る。復号された動きベクトルによって示される参照画像部分は、モジュール６０６が動き補償を実行できるように、参照画像／ピクチャのセット６０８内の参照画像から抽出される。動きベクトルフィールドデータ６１１は、後続の復号された動きベクトルの逆予測に使用されるために、復号された動きベクトルで更新される。
最後に、復号されたブロックが得られる。適切な場合、ポストフィルタリングは、ポストフィルタリングモジュール６０７によって適用される。復号されたビデオ信号６０９は、最終的にデコーダ６００によって提供される。
図７は、本発明の一実施形態による、ビデオのピクチャをビットストリームに符号化するためにエンコーダ５００によって実行される符号化方法の一部を示す。処理ループ７０１は、符号化される各ピクチャにステップ７０２～７０５を連続的に適用する。ピクチャの符号化は、典型的にはスライスである部分へのピクチャサンプルの圧縮によって開始される。ステップ７０２において、ピクチャは１つ以上のスライスに分割され、スライスは連続的に圧縮される。スライスを圧縮することは、スライスをコーディングユニットに分割することを伴い、各コーディングユニットはたとえば、ＩＮＴＲＡ予測またはＩＮＴＥＲ予測を使用して符号化される。ステップ７０３では、適応ループフィルタ（ＡＬＦ）またはＬＭＣＳフィルタなどのループフィルタを構成するパラメータのセットが決定される。別の例では、残差の量子化のためのスケーリングパラメータが決定される。これらのパラメータは、通常、ＡＰＳにおいて符号化される。
各ＡＰＳは、ＡＰＳタイプ（例えば、ＡＬＦ＿ＡＰＳ、ＬＭＣＳ＿ＡＰＳまたはＳＣＡＬＩＮＧ＿ＡＰＳ）およびＡＰＳ識別子を有する。ステップ７０４において、ＡＰＳタイプは、ＡＰＳコンテナの内容に従って設定される。エンコーダは、ＡＰＳタイプごとに使用中の識別子のリストを維持する。これらのリストの各々は、関連するＡＰＳタイプのＡＰＳパラメータがステップ７０３において決定されたＡＰＳのＡＰＳ識別子を含む。処理ループ７０１の最初の反復の前に、各リストは空の状態で初期化される。
所与のタイプのＡＰＳについて、ステップ７０４は、以前に決定されたＡＰＳおよびそれらの識別子値に基づいて、現在のＡＰＳに関連付けるための識別子値を決定する。
例えば、ＡＰＳのタイプごとに以下が適用される。現在のＡＰＳのＡＰＳコンテンツ（ＡＰＳパラメータ）が、同じタイプのＡＰＳの以前の識別子のリストに存在する既存の識別子を有する以前のＡＰＳと同じであるかどうかが決定される。そうである場合、既存の識別子は、現在のＡＰＳに関連付けられる。
そわない場合、リスト内に存在する既存の識別子を有するすべてのＡＰＳは、現在のＡＰＳとは異なるコンテンツを有するので、新しい識別子が現在のＡＰＳに関連付けられ、次いでリスト内に挿入されなければならない。任意の所与の時間に利用可能な有限数の可能な識別子値があり、すべての可能な識別された値がすでに使用されている場合、リスト内の既存のＡＰＳ識別子が決定され、現在のＡＰＳがリスト内で置き換えられる。たとえば、決定されたＡＰＳは、使用頻度が最も低いＡＰＳ、または代替的に最も古いＡＰＳであり得る。
ステップ７０５において、エンコーダはそのとき、符号化されたデータを含むＮＡＬユニットを生成する。特に、それは、ＡＰＳ、スライスＮＡＬユニット、および任意選択でピクチャヘッダＮＡＬユニットを含むＮＡＬユニットを生成する。
APS NALユニットは、ＡＰＳのタイプおよび識別子を通知する。たとえば、ＡＰＳのシンタックス要素は、以下のものであり得る。
ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、ＡＰＳの識別子値であり、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅは、ＡＰＳのタイプである。ＡＰＳタイプＡＬＦパラメータａｌｆ＿ｄａｔａ（）に応じて、ＬＭＣＳパラメータｌｍｃｓ＿ｄａｔａ（））またはスケーリングリストデータscaling_list_data()を提供できる。
所与のピクチャユニットにおいて、エンコーダは、ＡＰＳが最初のVCL NALユニットの前に存在するときにプレフィックスAPS NALユニットを使用しなければならず、ＡＰＳがＰＵの最後のＶＣＬに続くときにサフィックスＮＡＬユニットを使用しなければならない。最初のVCL NALユニットと最後のVCL NALユニットとの間で、エンコーダは、プレフィックスまたはサフィックスAPS NALユニットのいずれかを使用することができる（本発明のいくつかの実施形態において別段に述べられていない限り）。
スライスＮＡＬユニットのヘッダまたはピクチャヘッダは、ＡＰＳのタイプおよび識別子を参照することによって、それらのAPS NALユニットを参照し得る。しかしながら、スライスＮＡＬユニットのヘッダまたはピクチャヘッダは、ＡＰＳ識別子のための所定のセマンティクスを有するシンタックス要素を有し、ＡＰＳタイプごとに、ＡＰＳ識別子のセマンティクスが異なるので、ＡＰＳタイプはセマンティクスにおいて暗黙的であり、デコーダによって推論され得る。
エンコーダは、ピクチャヘッダがループフィルタパラメータのための特定のＡＰＳを参照することを通知する。たとえば、ＶＶＣ８において現在企図されている実施形態では、ピクチャヘッダが以下のシンタックス要素を含む。
この考えられる実装におけるピクチャヘッダは、ＰＵのスライスに対してＡＬＦフィルタリングを適用するためのいくつかのALF APS識別子を含む。これらの識別子は例えばｐｈ＿ａｌｆ＿ａｐｓ＿ｉｄ＿ｌｕｍａ［ｉ］シンタックス要素で指定され、ｉは０～ｐｈ＿ｎｕｍ＿ａｌｆ＿ａｐｓ＿ｉｄｓ＿ｌｕｍａの範囲にある。ｐｈ＿ｎｕｍ＿ａｌｆ＿ａｐｓ＿ｉｄｓ＿ｌｕｍａは，ルマ成分のＡＬＦフィルタリングのためにピクチャヘッダに通知されるＡＰＳ識別子の数を指定する。さらに、ｐｈ＿ａｌｆ＿ａｐｓ＿ｉｄ＿ｃｈｒｏｍａ、ｐｈ＿ｃｃ＿ａｌｆ＿ｃｂ＿ａｐｓ＿ｉｄ、およびｐｈ＿ｃｃ＿ａｌｆ＿ｃｒ＿ａｐｓ＿ｉｄシンタックス要素は、クロマ成分のためのALF APS識別子を指定する。
この考えられる実装におけるピクチャヘッダはまた、現在のＰＵに適用されるＬＭＣＳパラメータを含むＬＭＣＳ＿ＡＰＳタイプ（すなわち、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）をもつＡＰＳの識別子を示すｐｈ＿ｌｍｃｓ＿ａｐｓ＿ｉｄシンタックス要素を含む。
同様に、ピクチャヘッダは、現在のＰＵのために使用されるスケーリングリストデータを定義するＳＣＡＬＩＮＧ＿ＡＰＳに等しいａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅを有するＡＰＳの識別子を指定するｐｈ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄを含む。
本発明の実施形態では、すべての異なるＡＰＳタイプが使用される必要はなく、ＡＰＳタイプのうちの１つまたは２つのみを用いて代替の実装が想定され得る。また、特定のＡＰＳタイプが何であるかは関係ない。ＡＬＦ以外のフィルタのためのパラメータが例えば、考え得る。また、パラメータはフィルタリングパラメータに限定されない。
使用中のＡＰＳがＰＵのそれぞれのスライスについて、またはＰＵの２つ以上のスライスについて異なるとき、ＡＰＳ識別子は、ピクチャヘッダ中の１つまたは複数のスライスについて通知され得る。代替的に、ＡＰＳ識別子は、ピクチャヘッダＮＡＬユニット内の代わりに（またはオーバーライド値として）、スライスヘッダで通知され得る。たとえば、ＶＶＣ８において考えられる１つの実装では、スライスヘッダが以下のシンタックス要素を含み得る。
スライスヘッダはたとえば、ルマ成分のためにスライスによって使用されるｉ番目のALF APS識別子であるｓｌｉｃｅ＿ａｌｆ＿ａｐｓ＿ｉｄ＿ｌｕｍａ［ｉ］を定義し得る。ピクチャヘッダに関して、ｓｌｉｃｅ＿ａｌｆ＿ａｐｓ＿ｉｄ＿ｃｈｒｏｍａ、ｓｌｉｃｅ＿ｃｃ＿ａｌｆ＿ｃｂ＿ａｐｓ＿ｉｄ、およびｓｌｉｃｅ＿ｃｃ＿ａｌｆ＿ｃｒ＿ａｐｓ＿ｉｄは、クロマ成分のためのALF APSの識別子を示し得る。
図８は、本発明の一実施形態による符号化ビデオシーケンスの一般的な復号プロセスを示す。符号化ビデオシーケンスを構成するＮＡＬユニットの復号プロセスは、ループ８０１を使用して、符号化ビデオシーケンスのピクチャユニットのＮＡＬユニットを連続的に処理することを伴う。各ＮＡＬユニットについて、ステップ８０２において、デコーダは、ＮＡＬユニットヘッダを構文解析することによって、ＮＡＬユニットのタイプを決定する。例えば、ＶＶＣでは、ＮＡＬユニットヘッダが２バイト長であり、以下の順序で５つのシンタックス要素を含む。
最初のｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔは、通常０に等しくなければならないビットである。１に等しいとき、ＮＡＬユニットの内容は指定されず、適合デコーダによって無視されるべきである。そして、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔは、０に等しいビットである。ｎｕｈ＿ｌａｙｅｒ＿ｉｄは６ビットで表される整数値である。それは、符号化ビデオシーケンス中のレイヤの識別子を指定する。このシンタックス要素の後には、５ビットで符号化された整数であり、ＮＡＬユニットのタイプを表すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが続く。異なるタイプのＮＡＬユニットごとに一意の値が割り当てられる。たとえば、プレフィックスＡＰＳ ＮＡＬユニットの場合、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは１７に等しくなり得、サフィックスＡＰＳ ＮＡＬユニットの場合、nal＿ｕｎｉｔ＿ｔｙｐｅは１８に等しくなり得る。最後に、２バイトのＮＡＬユニットヘッダの最後の３ビットは、ｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１シンタックス要素をコーディングする。それは、ＮＡＬユニットの時間レベルを示す。
次いで、復号プロセスは、ステップ８０３において、ＮＡＬユニットのタイプに応じたＮＡＬユニットデータの復号を継続する。
特に、ここで図９を参照すると、ステップ９０１において、ＮＡＬユニットがＡＰＳを含むかどうかがチェックされる。そのような場合、プレフィックスおよびサフィックスAPS NALユニット（ＶＶＣ８について１７または１８に等しいnal＿ｕｎｉｔ＿ｔｙｐｅ）は以下のように復号される：最初に、デコーダは、ステップ９０２においてＡＰＳのタイプ（ＡＰＳのａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素において指定される）と、ステップ９０３においてAPS NALユニットの識別子（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素）とを構文解析する。
ステップ９０４において、デコーダは、ＮＡＬユニットに含まれるＡＰＳデータをメモリに格納する。ＡＰＳデータは、ステップ９０２および９０３で構文解析されたタイプおよび識別子に対応する値のペアに関連付けられる。さらに、デコーダは、現在のＡＰＳがサフィックスまたはプレフィックスＮＡＬユニットとして提供されるかどうかを指定するブール値を、格納されたＡＰＳデータに関連付けることもできる。
さらに、デコーダは、他のＮＡＬユニットに対する現在のAPS NALユニットの位置を表す位置データを格納することができる。例えば、現在のAPS NALユニットの位置は、符号化ビデオシーケンスの最初からのＮＡＬユニットのインデックスと、それが属するＰＵのインデックスと、の組合せによって表され得る。この情報は、スライスまたはピクチャヘッダＮＡＬユニットがＡＰＳタイプとＡＰＳ識別子値とのペアを有するＡＰＳを参照するときに使用するＡＰＳデータをデコーダが決定することを可能にする。
ＡＰＳデータが格納されるメモリの部分は、ＡＰＳバッファと呼ばれることがある。
VCL (すなわち、スライスヘッダを含む）およびピクチャヘッダ(ＰＨ)ＮＡＬユニットの復号プロセスを図１０に示す。
ステップ１００１において、デコーダは、ＮＡＬユニットタイプがＶＣＬまたはPH NALユニットに対応するかどうかを最初にチェックする。ＶＶＣ８の場合、それは、０から１２までの範囲内のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに対応し、またはピクチャヘッダの場合、１９に等しい。ＮＡＬユニットがVCL／PH NALユニットであることが検証されると、デコーダは、ステップ１００２～１００６を適用する。ステップ１００２において、ＮＡＬユニットに含まれるスライスまたはピクチャヘッダが構文解析されて、ＡＰＳへの参照が決定される。ＡＰＳタイプごとに、デコーダは、ＡＰＳ識別子を使用して参照のリストを維持する。
先ず、ＮＡＬユニットがピクチャヘッダを含むとき、ＡＰＳへの参照は、ＰＵのすべてのスライスに適用され得る。ピクチャヘッダに存在するＡＰＳ識別子およびＡＰＳタイプが抽出され、ＡＰＳタイプごとに、ステップ１００３において、関連するＡＰＳタイプのＡＰＳへの参照のリストが更新される。
ステップ１００３は、存在する場合、以下のシンタックス要素の値を構文解析することを伴う。
－ ｐｈ＿ｌｍｃｓ＿ａｐｓ＿ｉｄシンタックス要素 ＡＰＳタイプＬＭＣＳ＿ＡＰＳのＡＰＳのＡＰＳ識別子を示す。存在しない場合、ＬＭＣＳフィルタリングは適用されず、このＡＰＳタイプのＡＰＳへの参照のリストに何も挿入されない。それ以外の場合、構文解析された値は、ＬＭＣＳ＿ＡＰＳタイプに関連付けられたリストに追加される。
－ ｐｈ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素 ＳＣＡＬＩＮＧ＿ＡＰＳに等しいタイプのＡＰＳの識別子を指定する。存在しない場合、スケーリングリストはデフォルト値を使用することができ、このＡＰＳタイプのＡＰＳへの参照のリストは変更されない。それ以外の場合、デコーダは、構文解析された値をＳＣＡＬＩＮＧ＿ＡＰＳタイプに関連付けられたリストに追加する。
－ ｉが０からｐｈ＿ｎｕｍ＿ａｌｆ＿ａｐｓ＿ｉｄｓ＿ｌｕｍａおよび／またはｐｈ＿ｃｃ＿ａｌｆ＿ｃｂ＿ａｐｓ＿ｉｄおよび／またはｐｈ＿ｃｃ＿ａｌｆ＿ｃｒ＿ａｐｓ＿ｉｄおよび／またはｐｈ＿ａｌｆ＿ａｐｓ＿ｉｄ＿ｃｈｒｏｍａシンタックス要素の範囲内にあるｐｈ_ａｌｆ_ａｐｓ_ｉｄ_ｌｕｍａ[ｉ]。これらのシンタックス要素は、ＡＬＦ＿ＡＰＳに等しいタイプを有するＡＰＳの識別子を示す。構成要素について存在しない場合、それは、ＡＬＦが関連する構成要素に適用されないこと、またはそれがデフォルト値を使用することを示し得る。このＡＰＳタイプのリストは変更されずに維持される。それ以外の場合、構文解析された値のそれぞれが、ＡＬＦ＿ＡＰＳタイプに関連付けられたリストに追加される。
－ ｐｈ＿ｌｍｃｓ＿ａｐｓ＿ｉｄシンタックス要素 ＡＰＳタイプＬＭＣＳ＿ＡＰＳのＡＰＳのＡＰＳ識別子を示す。存在しない場合、ＬＭＣＳフィルタリングは適用されず、このＡＰＳタイプのＡＰＳへの参照のリストに何も挿入されない。それ以外の場合、構文解析された値は、ＬＭＣＳ＿ＡＰＳタイプに関連付けられたリストに追加される。
－ ｐｈ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素 ＳＣＡＬＩＮＧ＿ＡＰＳに等しいタイプのＡＰＳの識別子を指定する。存在しない場合、スケーリングリストはデフォルト値を使用することができ、このＡＰＳタイプのＡＰＳへの参照のリストは変更されない。それ以外の場合、デコーダは、構文解析された値をＳＣＡＬＩＮＧ＿ＡＰＳタイプに関連付けられたリストに追加する。
－ ｉが０からｐｈ＿ｎｕｍ＿ａｌｆ＿ａｐｓ＿ｉｄｓ＿ｌｕｍａおよび／またはｐｈ＿ｃｃ＿ａｌｆ＿ｃｂ＿ａｐｓ＿ｉｄおよび／またはｐｈ＿ｃｃ＿ａｌｆ＿ｃｒ＿ａｐｓ＿ｉｄおよび／またはｐｈ＿ａｌｆ＿ａｐｓ＿ｉｄ＿ｃｈｒｏｍａシンタックス要素の範囲内にあるｐｈ_ａｌｆ_ａｐｓ_ｉｄ_ｌｕｍａ[ｉ]。これらのシンタックス要素は、ＡＬＦ＿ＡＰＳに等しいタイプを有するＡＰＳの識別子を示す。構成要素について存在しない場合、それは、ＡＬＦが関連する構成要素に適用されないこと、またはそれがデフォルト値を使用することを示し得る。このＡＰＳタイプのリストは変更されずに維持される。それ以外の場合、構文解析された値のそれぞれが、ＡＬＦ＿ＡＰＳタイプに関連付けられたリストに追加される。
ＮＡＬユニットがVCL NALユニット（nal＿ｕｎｉｔ＿ｔｙｐｅがＶＶＣ８では０～１２の範囲内）の場合、それはスライスヘッダを含む。このスライスヘッダは、ステップ１００２においてスライスヘッダを構文解析することによって見つけられたＡＰＳへの参照を含み得る。たとえば、スライスヘッダのｓｌｉｃｅ_ａｌｆ_ａｐｓ_ｉｄ_ｌｕｍａ[ｉ]、ｓｌｉｃｅ＿ａｌｆ＿ａｐｓ＿ｉｄ＿ｃｈｒｏｍａ、ｓｌｉｃｅ＿ｃｃ＿ａｌｆ＿ｃｂ＿ａｐｓ＿ｉｄ、およびｓｌｉｃｅ＿ｃｃ＿ａｌｆ＿ｃｒ＿ａｐｓ＿ｉｄシンタックス要素は、ＶＶＣ８中のALF APSへの参照を示す。スライスヘッダ内に存在する場合、デコーダは、ステップ１００３において、構文解析された識別子値を、ＡＬＦ＿ＡＰＳタイプに関連する参照ＡＰＳのリスト内に格納する。
次いで、ステップ１００４で、デコーダは、ステップ９０４で埋められたＡＰＳバッファから、ステップ１００３で決定されたＡＰＳ参照のリストに存在するタイプおよび識別子を有するＡＰＳを取り出す。これらのＡＰＳは、現在のＰＵのVCL NALユニットの復号のために使用中とマークされる。任意選択で、ステップ１００５において、デコーダは、ピクチャヘッダまたはスライスヘッダに含まれるＡＰＳへの参照が有効であることを確認する。例えば、ステップ１００３において参照のリストを更新した後、ＡＰＳバッファ内に存在しないＡＰＳへの参照をリストが含む場合、ＡＰＳバッファ内に同じＡＰＳタイプおよびＡＰＳ識別子を有するＡＰＳが存在しないという意味で、デコーダはエラーを返すことができ、デコーダはスライスまたはＰＵの復号を停止することができる。実際、１つのピクチャユニットのスライスまたはピクチャヘッダを復号するために必要なすべてのＡＰＳは、ＡＰＳへの参照を行うＮＡＬユニットの前に提供されなければならない。
ステップ１００６において、ＮＡＬユニットが復号される。PH NALユニットの場合、ピクチャヘッダの復号は主に、ＮＡＬユニットにおいて提供されるパラメータを構文解析することからなる。それらは、ＰＨが属するＰＵのVCL NALユニットの復号のためにメモリに格納される。VCL NALユニットの復号は、符号化ユニットを復号することを伴う。デコーダは典型的には、ピクチャヘッダＮＡＬユニット（および他の非VCL NALユニットも）中で構文解析されたパラメータを使用して、ピクセル値を復号する。特に、それは、ＡＰＳバッファ内のＡＰＳにアクセスするために、ステップ１００３において更新されたＡＰＳへの参照のリストを使用し、次いで、参照されたＡＰＳのＡＰＳパラメータを使用して、ＬＭＣＳ、スケーリング変換、およびＡＬＦフィルタリングを適用する。
ステップ８０２において図８に戻ると、デコーダは、ＡＰＳ、ＰＨ、およびVCL NALユニット以外の他のＮＡＬユニットタイプ、たとえばパラメータセットＮＡＬユニットおよびＳＥＩメッセージを決定することができる。その場合、ステップ８０３におけるＮＡＬユニットの復号は、ＮＡＬユニット内に存在するパラメータを構文解析することと、それらを参照し得るVCL NALユニットの復号のためにそれらをメモリに格納することと、を伴う。
第１の実施形態群
上述の提案されたＶＶＣ８シンタックス構造は、実際にはいくつかの問題をもたらし得る。例えば、使用中のＡＰＳを格納するために必要なＡＰＳバッファのサイズは過剰であり得る。また、ＡＰＳを管理するために必要な処理量も過剰になることがある。これらの問題は、図１１Ａを参照して以下に説明される。
上述の提案されたＶＶＣ８シンタックス構造は、実際にはいくつかの問題をもたらし得る。例えば、使用中のＡＰＳを格納するために必要なＡＰＳバッファのサイズは過剰であり得る。また、ＡＰＳを管理するために必要な処理量も過剰になることがある。これらの問題は、図１１Ａを参照して以下に説明される。
図１１Ａは、ＶＶＣ８に準拠する例示的なビットストリームを示す。ＶＶＣ８に準拠するためには、所与のピクチャユニットにおいてそれが必要である。
(ａ) ＡＰＳが関連するピクチャユニットの最初のVCL NALの前にピクチャユニット内に存在する場合、ＡＰＳは、プレフィックスAPS NALユニット内に含まれなければならない。
(ｂ) ＡＰＳが関連するピクチャユニットの最後のVCL NALの後にピクチャユニット内に存在する場合、ＡＰＳは、サフィックスAPS NALユニット内に含まれなければならない。
一方、ＰＵの最初のVCL NALユニットと最後のVCL NALユニットとの間で、エンコーダは、プレフィックスまたはサフィックスAPS NALユニットのいずれかを使用し得る。
さらなる制約がある。
(ｃ) 特定のVCL NALユニットに関連付けられたプレフィックスまたはサフィックスAPS NALユニットは、特定のVCL NALユニットによる使用のためではなく、復号順序においてプレフィックスまたはサフィックスAPS NALユニットに続くVCL NALユニットによる使用のためのものである。
ＶＶＣ８は以下のように、ＶＣＬと非VCL NALユニットとの間の関連付けを定義する。
(1) 関連する非VCL NALユニット:VCL NALユニットが非VCL NALユニットの関連するVCL NALユニットであるVCL NALユニットのための非VCL NALユニット（存在する場合）。
(2) 関連するVCL NALユニット：ＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴ、ＲＳＶ＿ＮＶＣＬ＿２７に等しい、またはＵＮＳＰＥＣ＿３０、、ＵＮＳＰＥＣ＿３１の範囲内、のnal＿ｕｎｉｔ＿ｔｙｐｅを有する非VCL NALユニットの、復号順序における先行するVCL NALユニット、または、そうでなければ、復号順序における次のVCL NALユニット。
これらの定義の効果は、サフィックスＮＡＬユニットに関連付けられたVCL NALユニットが復号順序において関連するサフィックスAPS NALユニットに先行するVCL NALユニットであり、プレフィックスＮＡＬユニットに関連付けられたVCL NALユニットが復号順序において関連するサフィックスAPS NALユニットに後続するVCL NALユニットであることである。
図１１Ａの準拠ビットストリームは、３つのピクチャユニットＰＵ－０１、ＰＵ－０２、およびＰＵ－０３のＮＡＬユニットを有する。
最初のピクチャユニットＰＵ－０１は、プレフィックスAPS NALユニットであるＮＡＬユニットＮＡＬ－０１が後続するPH NALユニットを有する。このプレフィックスAPS NALユニットは、０に等しい識別子をもつ第１のＡＰＳタイプ（たとえば、ＡＬＦタイプ）のＡＰＳを与える。図１１Ａにおいて、第１のＡＰＳタイプは、水平ハッチングによって示される。ＰＵ－０１において、単一スライスＮＡＬユニットＮＡＬ－０２は、プレフィックスAPS NALユニットＮＡＬ－０１に続く。このスライスは、ＡＰＳ識別子が０（たとえば、ｓｌｉｃｅ＿ａｌｆ＿ａｐｓ＿ｌｕｍａ［０］が０に等しい）であるＡＰＳを参照する。
２番目のピクチャユニットＰＵ－０２では、最初のＮＡＬユニットＮＡＬ－０３が０に等しいが異なるタイプを有する（たとえば、それはＬＣＭＳパラメータを含む）識別子も有するプレフィックスＮＡＬユニットである。この第２のＡＰＳタイプ（例えば、ＬＭＣＳタイプ）は、垂直ハッチングによって示される。次いで、ピクチャヘッダ(ＰＨ)ＮＡＬユニットＮＡＬ－０４は、０に等しいｐｈ＿ｌｍｃｓ＿ａｐｓ＿ｉｄを示すことによって、ＬＭＣＳパラメータのためのこのＡＰＳを参照する。後続のスライスＮＡＬユニットＮＡＬ－０５は、前のピクチャユニットＰＵ－０１のＮＡＬユニットＮＡＬ－０１において提供された、識別子が０に等しいALF APSを参照する。なお、スライスＮＡＬユニットＮＡＬ－０５は、復号順序においてそれに先行するため、サフィックスAPS NALユニットＮＡＬ－０６に関連付けられている。それは、制約（ｃ）のもとでは、VCL NALユニットＮＡＬ－０５がサフィックスAPS NALユニットＮＡＬ－０６のＡＰＳを使用することができなかった。
ピクチャユニットＰＵ－０２は、識別子が０に等しいALF APSを含むサフィックスAPS NALユニットＮＡＬ－０６も含む。このＡＰＳは、ＮＡＬユニットＮＡＬ－０１のＡＰＳと同じタイプ（ＡＬＦ、水平ハッチング）および同じ識別子（０）を有する。したがって、エンコーダは、ＡＬＦタイプおよび識別子０のＡＰＳを、ＮＡＬユニットＮＡＬ－０６のＡＰＳに更新する。スライスＮＡＬユニットＮＡＬ－０７は、識別子が０に等しいALF APSを参照し、したがって、ＮＡＬ－０６のALF APSを参照する。これは、ＮＡＬ－０７が復号順序においてＮＡＬ－０６に後続するので、制約（ｃ）と一致する。したがって、ＮＡＬ－０７は、APS NALユニットＮＡＬ－０６に関連付けられたVCL NALユニットではない。
この例示的なビットストリームでは、ＰＵ－０２のスライスＮＡＬ－０５およびＮＡＬ－０７が同じ識別子値を使用する２つの異なるALF APSをそれぞれ参照するが、ビットストリーム中のAPS NALユニットの順序は、関連する２つのスライスのために使用されるALF APSパラメータが異なる（または異なることが許可され、エンコーダがＮＡＬ－０１およびＮＡＬ－０６の内容を同一にすることを排除することはない）ことを暗示する。結果として、図１１Ａのビットストリームを復号するために、デコーダは、ＡＰＳ識別子とＡＰＳタイプの値の所与のペアについてＡＰＳの２つのバージョンをメモリに（図９のステップ９０４において）格納しなければならない。最悪の場合の例では、デコーダが、ピクチャユニットを復号するために必要とされるＡＰＳを格納するために、（各ＡＰＳの２つのバージョンを維持するために）メモリサイズを２倍にしなければならないことがある。さらに、デコーダは、どのVCL NALユニットがAPS NALユニットの第１のバージョンまたは第２のバージョンを参照するかを決定するために、APS NALユニットに対するVCL NALユニットの順序を維持しなければならない。
これらの問題を解決するために、実施形態の第１のグループは、ＰＵのスライスがＡＰＳの単一のバージョンを参照することを保証するために、シンタックス構造にさらなる制約を課す。
なお、ＶＶＣ８では、ＡＬＦパラメータ（ＬＭＣＳパラメータやスケーリングリストではない）のみが、同じピクチャユニット内でスライス毎に変化することが許可される。しかしながら、ＶＶＣの将来のバージョンは一般にＡＰＳパラメータを変更することを可能にし得、以下の実施形態は、ＰＵのスライスのためのALF APSパラメータの２つ以上のバージョンの問題を解決することに限定されない。
第１実施形態
第１の実施形態では、（ＶＶＣ８制約に加えて）ビットストリーム符号化のさらなる制約が
（ｄ１） プレフィックスAPS NALユニットがＰＵのVCL NALユニット（すなわち、ピクチャユニットの最初のスライスＮＡＬユニット）の前でなければならない
ことである。
第１の実施形態では、（ＶＶＣ８制約に加えて）ビットストリーム符号化のさらなる制約が
（ｄ１） プレフィックスAPS NALユニットがＰＵのVCL NALユニット（すなわち、ピクチャユニットの最初のスライスＮＡＬユニット）の前でなければならない
ことである。
言い換えれば、ＶＶＣ８の自由度は、ＰＵの最初のVCL NALユニットと最後のVCL NALユニットとの間で、エンコーダがプレフィックスAPS NALユニットを使用しないように制約される。その結果、それは、最初のVCL NALユニットの後の前のピクチャユニットにおいて送信されたＡＰＳの更新を防止する。更新は、最初のVCL NALユニットの前に行われ、したがって、最初のVCL NALユニット（またはピクチャユニットの任意の後続のVCL NALユニット）は、現在のピクチャユニットにおいて更新されたＡＰＳの前のバージョンを参照することができない。
デコーダは、ステップ１００５において、ビットストリームの制約が有効であることをチェックする。そわない場合、デコーダは、復号プロセスを中止することができる。
エンコーダは、ステップ７０５において、ビットストリーム制約が有効であるようにＮＡＬユニットを生成する。たとえば、エンコーダは、各ＰＵ中の最初のVCL NALユニットの前にのみプレフィックスＮＡＬユニットを生成する。
第２の実施形態
第２の実施形態では、それは（ＶＶＣ８制約に加えて）ビットストリーム符号化のさらなる制約が
(ｄ２) サフィックスAPS NALユニットは、（最後の)VCL NALユニットの後にある
ことである。
第２の実施形態では、それは（ＶＶＣ８制約に加えて）ビットストリーム符号化のさらなる制約が
(ｄ２) サフィックスAPS NALユニットは、（最後の)VCL NALユニットの後にある
ことである。
第１の実施形態で課されたプレフィックスＮＡＬユニットに対する制約（ｄ１）と同様に、最後のVCL NALユニットの前の前のＰＵで送信されたＡＰＳの更新を防止する。サフィックス中のＡＰＳは、前のＰＵ中で送信されたＡＰＳを更新することができない。例えば、図１１Ａのビットストリームは、サフィックスAPS NAL－０６がピクチャユニットＰＵ－０２の最後のVCL NALユニットＮＡＬ－０７の前に送信されるので、適合していない。したがって、デコーダは、ステップ１００５において、ビットストリームが適合しておらず、問題を通知するために復号警告またはエラーを返すことができると考えることができる。
第３の実施形態
もちろん、第１および第２の実施形態のさらなる制約（ｄ１）および（ｄ２）は、両方とも組み合わせて課されてもよい。
もちろん、第１および第２の実施形態のさらなる制約（ｄ１）および（ｄ２）は、両方とも組み合わせて課されてもよい。
図１１Ｂは、本発明の第２または第３の実施形態に係るエンコーダで生成されるビットストリームの一例である。この例では、ピクチャユニットＰＵ－０１、ＰＵ－０２、およびＰＵ－０３は、図１１Ａのピクチャユニットに相当する。主な違いは、エンコーダが（ステップ７０４において）ＰＵ－０２内のAPS NALユニットＮＡＬ－０７の順序を制約することである：図１１ＡのピクチャユニットＰＵ－０２のサフィックスAPS NAL－０６の均等物が、図１１ＢのピクチャユニットＰＵ－０２内の最後のVCL NALユニット（現在はＮＡＬ－０６）の後にＮＡＬ－０７として送信される。２つのＮＡＬユニットＮＡＬ－０５およびＮＡＬ－０６中のスライスは、識別子０およびタイプがＡＬＦに等しいALF APS：現在のＰＵの開始時または前のＰＵ中で送信されたプレフィックスＡＰＳ中で送信されたＡＰＳ、または前のＰＵ中でのみ送信されたサフィックスＡＰＳ中で送信されたＡＰＳを参照する。
復号９０４は、ＰＵのすべてのスライスを復号するために単一バージョンのＡＰＳが必要とされるので、メモリ消費に関してより効果的である。
さらに、これらのＡＰＳは、ＡＰＳバッファの更新プロセスを簡略化する、前のＰＵ中または現在のＰＵの開始時のいずれかに提供される。ＰＵの最初のVCL NALユニットを復号することは、ＡＰＳバッファ状態が復号の準備ができていることの確認であり、これはＶＶＣ８準拠のビットストリームの場合ではない。さらに、所与の識別子およびタイプを有するＡＰＳの適切なバージョンを選択しなければならないステップ１００４は、本発明がＰＵのすべてのスライスがＡＰＳの一意のバージョンを使用することを保証するので、簡略化される。
図１１Ｂは、第２／第３の実施形態の例を示すが、第１の実施形態では同じまたは対応する利点が達成されることが理解されるのであろう。第１および第２の実施形態の制約（ｄ１）および（ｄ２）が組み合わせて使用される場合、最良の利点が達成される。
第２の実施形態群
ＶＶＣ８シンタックス構造から生じる別の問題は、以下で説明される第２の実施形態のグループによって対処される。
ＶＶＣ８シンタックス構造から生じる別の問題は、以下で説明される第２の実施形態のグループによって対処される。
ＶＶＣ８におけるＡＰＳは、ビットストリームの１つまたは複数のスライスのためのパラメータを再利用することを可能にする。これらの１つまたは複数のスライスは、異なるピクチャユニットに属し得る。例えば、図１２Ａのビットストリームは、３つのピクチャユニットＰＵ－０１、ＰＵ－０２、およびＰＵ－０３を有する。ＰＵ－０１は、２つのプレフィックスAPS NALユニットＮＡＬ－０２およびＮＡＬ－０６と、２つのサフィックスAPS NALユニットＮＡＬ－０４およびＮＡＬ－０８とを含む。この例では、それらは、ピクチャユニットＰＵ－０１のVCL NALユニットＮＡＬ－０３、ＮＡＬ－０５、およびＮＡＬ－０８とインターリーブされる。ＮＡＬ－０２、ＮＡＬ－０４、およびＮＡＬ－０６のＡＰＳは、異なるＡＰＳタイプ、たとえば、それぞれＡＬＦ、スケーリングリスト、およびＬＭＣＳであるが、同じ識別子０を有する。ＮＡＬ－０８のＡＰＳは、ＮＡＬ－０２のＡＰＳと同様にＡＬＦタイプであり、識別子１を有する。
ピクチャユニットＰＵ－０２は、２つのスライスＮＡＬユニットＮＡＬ－０９およびＮＡＬ－１０を含む。エンコーダは、ステップ７０３において、ＰＵ－０１のＡＰＳが次のPU PU－０２に対して有効であると判定する。スライスＮＡＬ－０９はたとえば、ＮＡＬ－０６を参照し、スライスＮＡＬ－１０からＮＡＬ－０８を参照し得る。PU PU－０２を符号化している間、エンコーダは、０に等しい識別子を有するタイプＬＭＣＳのＡＰＳがスライスＮＡＬ－１０のコンテンツに基づいて更新を必要とすると決定する。この理由から、それは、識別子０を有するタイプＬＭＣＳのＡＰＳのための新しいパラメータを生成した。サフィックスAPS NALユニットＮＡＬ－１１は、ＮＡＬユニットＮＡＬ－１１が最後のVCL NALユニットＮＡＬ－１０の後にあるので（プレフィックスAPS NALユニットが、ＰＵの最後のVCL NALユニットに続くことができないという上の制約（ａ）に従って）、
このＡＰＳを含む。
このＡＰＳを含む。
アプリケーションがピクチャユニットＰＵ－０２において復号を開始するためにビットストリームへのランダムアクセスを実行するとき（ＰＵ－０２がランダムアクセスポイントであると仮定すると）、アプリケーションは、PU PU－０２のスライスＮＡＬユニットの前にＮＡＬユニットＮＡＬ－０６およびＮＡＬ－０８を提供しなければならない。その結果、図１２Ｂに示すように、ＮＡＬユニットＮＡＬ－０９の前のPU PU－０２の先頭にＮＡＬ－０６およびＮＡＬ－０８が挿入される。図１２Ｂに示されるこの結果として生じるビットストリームは、ＶＶＣ８の２つの制約を破る。それは、復号のステップ１００５をエラー状態にする。
最初に、ＮＡＬ－０８は、ＰＵの最初のVCL NALユニットの前のサフィックスAPS NALユニットであり、上記の制約（ａ）に従って、ＡＰＳがＰＵの最初のVCL NALの前に送信される場合、エンコーダはプレフィックスAPS NALユニットを使用しなければならない。図１２Ｂの例では、サフィックスＮＡＬユニットＮＡＬ－０８がＶＶＣに適合しないPU PU－０２の最初のVCL NALユニットの前に挿入される。
第２に、ＰＵ－０２は同じ識別子（０）およびタイプ（ＬＭＣＳ）を有するが、ＶＶＣ８では許可されていない異なるコンテンツを有するＡＰＳを含む、サフィックスおよびプレフィックスAPS NALユニットＮＡＬ－１１およびＮＡＬ－０６を有する。
したがって、アプリケーションは、図１２Ｃに示すように、プレフィックスAPS NALユニットＮＡＬ－０８のタイプ（nal＿ｕｎｉｔ＿ｔｙｐｅ）を書き換えて、新しいプレフィックスAPS NALユニットＮＡＬ－２３（nal＿ｕｎｉｔ＿ｔｙｐｅは１８に設定される）を生成しなければならない。さらに、アプリケーションはPU PU－０３の最初に、新しいプレフィックスAPS NALユニットＮＡＬ－２４として、図１２ＢのサフィックスAPS NALユニットＮＡＬ－１１を移動し、書き換えなければならない。このＰＵ－０３ ＰＵもまた、ＮＡＬ－２４と同じ識別子およびタイプを有するAPS NALユニットを含む場合、アプリケーションはそれらを移動し、書き換えなければならないこともある。
ビットストリームをＶＶＣ８に準拠させるためのこれらの移動動作は、最悪の場合、ランダムアクセスされたピクチャユニットの後にＰＵのすべてのAPS NALユニットを書き換えることを必要とし得るので、コストがかかる。
これらの問題を解決するために、第２の実施形態のグループは、書き換え動作がより少ないか、またはまったくないことを保証するために、シンタックス構造に制約を課し、除去し、または修正する。
第４の実施形態
ＶＶＣ８では、（上述の制約（ａ）および（ｂ）に加えて）同じＡＰＳタイプおよび同じ識別子を有する任意のＡＰＳが同じコンテンツを有さなければならないという制約である。この制約は、ＡＰＳが異なるAPS NALユニットタイプ（サフィックスとプレフィックス）の意味で異なる場合でも適用される。言い換えれば、既存のＡＰＳパラメータとは異なる新しいＡＰＳパラメータが必要とされる場合、エンコーダは新しいＡＰＳパラメータを担持するAPS NALユニットに異なるＡＰＳタイプおよび識別子の組合せを割り当てなければならず、または使用する自由な組合せが残っていない場合、エンコーダは最も古い既存のＡＰＳなどの既存のＡＰＳを置き換えなければならない。
ＶＶＣ８では、（上述の制約（ａ）および（ｂ）に加えて）同じＡＰＳタイプおよび同じ識別子を有する任意のＡＰＳが同じコンテンツを有さなければならないという制約である。この制約は、ＡＰＳが異なるAPS NALユニットタイプ（サフィックスとプレフィックス）の意味で異なる場合でも適用される。言い換えれば、既存のＡＰＳパラメータとは異なる新しいＡＰＳパラメータが必要とされる場合、エンコーダは新しいＡＰＳパラメータを担持するAPS NALユニットに異なるＡＰＳタイプおよび識別子の組合せを割り当てなければならず、または使用する自由な組合せが残っていない場合、エンコーダは最も古い既存のＡＰＳなどの既存のＡＰＳを置き換えなければならない。
第４の実施形態では、デコーダが同じタイプおよび識別子を有するサフィックスおよびプレフィックスAPS NALユニットが異なるコンテンツを有することを可能にする。その結果、次のステートメントが第４の実施形態に適合するビットストリームに対して有効である場合、ビットストリームは有効である（すなわち、ステップ１００５において適合性チェックに通過する）。
(ｅ) 特定のＮＡＬユニットタイプ（nal＿ｕｎｉｔ＿ｔｙｐｅ）と、ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値と、ＰＵ内のａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの特定の値と、を有するすべてのAPS NALユニットは、同じ内容を有する。
その結果、ＮＡＬユニットＮＡＬ－０６（プレフィックスAPS NALユニット）は、ＮＡＬユニットＮＡＬ－１１（サフィックスAPS NALユニット）とは異なるＮＡＬユニットタイプを有するため、ＮＡＬユニットＮＡＬ－１１の移動動作は不要である。図１２Ｄは、ＮＡＬユニットＮＡＬ－１１の移動動作を伴わないビットストリームを表す。
第５の実施形態
上述の第４の実施形態は、同じ識別子およびタイプのＡＰＳを有するプレフィックスおよびサフィックスAPS NALユニットが異なる内容を有することを可能にする。しかしながら、この変更の１つの結果は、ＡＰＳを提供するための異なるタイプのＮＡＬユニットを使用することによって、２つのスライス間のＡＰＳを更新することを可能にすることである。例えば、ここで図１３を参照すると、PU PU－０１は、ピクチャヘッダＮＡＬユニットＮＡＬ－０１から始まる。このＰＵは、同じ識別子および同じタイプであるが異なる内容を有するＡＰＳを含む２つのAPS NALユニットＮＡＬ－０２およびＮＡＬ－０４を含む。ＮＡＬ－０２は、プレフィックスＮＡＬユニットであり、ＮＡＬ－０４はサフィックスＮＡＬユニットである。その結果、スライスＮＡＬ－０３はＮＡＬ－０２APS NALユニット内のＡＰＳパラメータを参照し、スライスＮＡＬ－０５は、ＮＡＬ－０４APS NALユニット内のパラメータを参照することができる。その結果、PU PU－０１の復号は、タイプおよび識別子値の同じ組合せをもつＡＰＳの２つのバージョンを格納するために追加のメモリを必要とする。
上述の第４の実施形態は、同じ識別子およびタイプのＡＰＳを有するプレフィックスおよびサフィックスAPS NALユニットが異なる内容を有することを可能にする。しかしながら、この変更の１つの結果は、ＡＰＳを提供するための異なるタイプのＮＡＬユニットを使用することによって、２つのスライス間のＡＰＳを更新することを可能にすることである。例えば、ここで図１３を参照すると、PU PU－０１は、ピクチャヘッダＮＡＬユニットＮＡＬ－０１から始まる。このＰＵは、同じ識別子および同じタイプであるが異なる内容を有するＡＰＳを含む２つのAPS NALユニットＮＡＬ－０２およびＮＡＬ－０４を含む。ＮＡＬ－０２は、プレフィックスＮＡＬユニットであり、ＮＡＬ－０４はサフィックスＮＡＬユニットである。その結果、スライスＮＡＬ－０３はＮＡＬ－０２APS NALユニット内のＡＰＳパラメータを参照し、スライスＮＡＬ－０５は、ＮＡＬ－０４APS NALユニット内のパラメータを参照することができる。その結果、PU PU－０１の復号は、タイプおよび識別子値の同じ組合せをもつＡＰＳの２つのバージョンを格納するために追加のメモリを必要とする。
第５の実施形態では、エンコーダが、現在のＰＵのＮＡＬユニットがＰＵ内のサフィックスAPS NALユニットの位置にかかわらず、サフィックスAPS NALユニット内のＡＰＳを参照しないという制約を有する、所与のＰＵ内のサフィックスAPS NALユニットを生成し得る。サフィックスAPS NALユニットを含むビットストリームは、次の制約に従う必要がある。
(ｆ) サフィックスAPS NALユニットは、サフィックスAPS NALユニットを含むＰＵのVCL NALユニットによって使用されるためではなく、復号順序においてサフィックスAPS NALユニットに続くＰＵのVCL NALユニットによって使用されるためのものである。
図１３の例を参照すると、サフィックスAPS NALユニットＮＡＬ－０４は、第５の実施形態における後続のＰＵにおけるＮＡＬユニットによる使用のためにのみ利用可能である。したがって、スライスＮＡＬ－０５は、サフィックスAPS NALユニットＮＡＬ－０４内のパラメータを参照することができない。次のPU PU－０２のスライスＮＡＬ－０９およびＮＡＬ－１０は、サフィックスAPS NALユニットＮＡＬ－０４中のＡＰＳを参照し得る。しかしながら、ＮＡＬ－０４のＡＰＳは、ＮＡＬ－０２のＡＰＳと同じ識別子およびタイプを有するので、これらのスライス（ＮＡＬ－０９およびＮＡＬ－１０）はＮＡＬ－０２のＡＰＳの初期バージョンを参照することができない。
第６の実施形態
ＰＵのＮＡＬユニットがＰＵのサフィックスAPS NALユニット内のＡＰＳを参照しないという第５の実施形態の制約に加えて、第６の実施形態は、所与のＰＵ中のプレフィックスおよびサフィックスＮＡＬユニットの特定の混合を禁止する。それは、
（ｇ１) PREFIX APS NALユニットがＰＵ中に存在するとき、それらはＰＵの最後のVCL NALユニット、またはSUFFIX APS NALユニットに後続しない、および
（ｇ２) SUFFIX APS NALユニットがＰＵ中に存在するとき、それらはＰＵの最初のVCL NALユニット、またはPREFIX APS NALユニットに先行しない
ことを意味する。
ＰＵのＮＡＬユニットがＰＵのサフィックスAPS NALユニット内のＡＰＳを参照しないという第５の実施形態の制約に加えて、第６の実施形態は、所与のＰＵ中のプレフィックスおよびサフィックスＮＡＬユニットの特定の混合を禁止する。それは、
（ｇ１) PREFIX APS NALユニットがＰＵ中に存在するとき、それらはＰＵの最後のVCL NALユニット、またはSUFFIX APS NALユニットに後続しない、および
（ｇ２) SUFFIX APS NALユニットがＰＵ中に存在するとき、それらはＰＵの最初のVCL NALユニット、またはPREFIX APS NALユニットに先行しない
ことを意味する。
言い換えれば、ＡＰＳがＰＵの最初のVCL NALの前に送信されるときにエンコーダがプレフィックスAPS NALユニットを使用しなければならないという制約（ａ）、およびＡＰＳがＰＵの最後のＶＣＬに続くときにエンコーダがサフィックスＮＡＬユニットを使用しなければならないという制約（ｂ）が依然として適用される。しかしながら、ＰＵの最初のVCL NALユニットと最後のVCL NALユニットとの間で、エンコーダは、任意の混合においてプレフィックスまたはサフィックスAPS NALユニットのいずれかを使用することができるという自由が制約される。順序がプレフィックスAPS NALユニット、つぎにサフィックスAPS NALユニットである混合のみが許可される。この制約は、ＡＰＳタイプおよびＡＰＳ識別子とは無関係である。変形例では、制約が１つのＡＰＳタイプに適用され得るが、別のＡＰＳタイプには適用されない。
これは、デコーダが、ビットストリームの最初のサフィックスAPS NALユニットを構文解析するとすぐに、デコーダが所与のＰＵにおいて参照され得るＡＰＳのリストが完了すると決定することができるので、復号プロセスを単純化する。
第７の実施形態
第４の実施形態と同様に、第７の実施形態は、同じタイプおよび識別子を有するサフィックスおよびプレフィックスAPS NALユニットが異なるコンテンツを有することを可能にする。したがって、制約（ｅ）は、第７の実施形態に準拠するビットストリームに適用される。
第４の実施形態と同様に、第７の実施形態は、同じタイプおよび識別子を有するサフィックスおよびプレフィックスAPS NALユニットが異なるコンテンツを有することを可能にする。したがって、制約（ｅ）は、第７の実施形態に準拠するビットストリームに適用される。
(ｅ) 特定のＮＡＬユニットタイプ、ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値、およびＰＵ内のａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの特定の値を有するすべてのAPS NALユニットは、同じコンテンツを有する。
第２の実施形態のさらなる制約も課される。
(ｄ２) サフィックスAPS NALユニットは、最後のVCL NALユニットの後になければならない。
この制約は、ＡＰＳタイプおよびＡＰＳ識別子とは無関係である。変形例では、制約が１つのＡＰＳタイプに適用され得るが、別のＡＰＳタイプには適用されない。
ＶＶＣ８の制約（ａ）および（ｂ）は、依然として適用される。ＰＵの最初のVCL NALユニットと最後のVCL NALユニットとの間で、エンコーダが任意の混合においてプレフィックスまたはサフィックスAPS NALユニットのいずれかを使用し得るという自由は、制約（ｄ２）によって制約される。それは、任意のVCL NALユニットまたはＰＵのピクチャヘッダがサフィックスAPS NALユニットにおいて定義されたＡＰＳを参照することを防止する。実際、参照されるべきＡＰＳは、それを参照するＮＡＬユニットの前に提供されるべきである。この最後の制約は、SUFFIX APS NALユニット中のＡＰＳが所与のＰＵ中のＡＰＳを参照し得るすべてのＮＡＬユニットの後にあることを暗示する。復号順序において次のＰＵからのVCL NALユニットのみが、これらのＡＰＳを参照し得る。
第８の実施形態
第８の実施形態は、第４から第６の実施形態のいずれか１つを基礎とし、第１の実施形態のさらなる制約を加える。
第８の実施形態は、第４から第６の実施形態のいずれか１つを基礎とし、第１の実施形態のさらなる制約を加える。
（ｄ１） プレフィックスAPS NALユニットは、最初のVCL NALユニットの前にある必要がある。
ＶＶＣ８の制約（ａ）および（ｂ）は、依然として適用される。ＰＵの最初のVCL NALユニットと最後のVCL NALユニットとの間で、エンコーダが任意の混合においてプレフィックスまたはサフィックスAPS NALユニットのいずれかを使用し得るという自由は、制約（ｄ１）によって制約される。
これは、複雑な書き換え動作を防ぐだけでなく、第１の実施形態に関して説明したように、デコーダが所与のＰＵのスライスを復号するためにＡＰＳの２つのバージョンをバッファリングする必要がないことも保証する。
第９の実施形態
第９の実施形態は、第７の実施形態を基礎とし、このプレフィックスAPS NALユニットが最初のVCL NALユニットの前でなければならないという上のさらなる制約（ｄ１）を追加する。
第９の実施形態は、第７の実施形態を基礎とし、このプレフィックスAPS NALユニットが最初のVCL NALユニットの前でなければならないという上のさらなる制約（ｄ１）を追加する。
ＶＶＣ８の制約（ａ）および（ｂ）は、依然として適用される。ＰＵの最初のVCL NALユニットと最後のVCL NALユニットとの間で、エンコーダが任意の混合においてプレフィックスまたはサフィックスAPS NALユニットのいずれかを使用し得るという自由は、制約（ｄ１）によって制約される。
これは、複雑な書き換え動作を防ぐだけでなく、第１の実施形態に関して説明したように、デコーダが所与のＰＵのスライスを復号するためにＡＰＳの２つのバージョンをバッファリングする必要がないことも保証する。
第１０実施形態
第１０の実施形態では、エンコーダが、ＡＰＳの同じタイプおよび識別子を共有するとき、サフィックスおよびプレフィックスAPS NALユニットが異なるコンテンツを有することを可能にする。また、準拠ビットストリームには、以下のような制約が必要である。
第１０の実施形態では、エンコーダが、ＡＰＳの同じタイプおよび識別子を共有するとき、サフィックスおよびプレフィックスAPS NALユニットが異なるコンテンツを有することを可能にする。また、準拠ビットストリームには、以下のような制約が必要である。
（ｈ１） ＰＵ内の、特定の識別子値および特定のタイプ値をもつＡＰＳを参照するVCL NALユニットの後に、識別子およびタイプのこれらの特定の値をもつＡＰＳを含むプレフィックスAPS NALユニットが続くことはない。
この実施形態は、２つのVCL NALユニット間にプレフィックスおよびサフィックスAPS NALユニットを提供することを可能にする。エンコーダは、次のＰＵのＡＰＳを有する新しいAPS NALユニットを生成する必要がある場合、いくつかのVCL NALユニットのためにＡＰＳをバッファリングする必要がない。
制約（ｈ１）は、同じ識別子およびタイプ値を使用するとき、同じＰＵの２つのスライスが（プレフィックスAPS NALユニット中で提供される）異なるＡＰＳを参照しないことを保証する。
変形例では、エンコーダが、ＰＰＳまたはＳＰＳなどのパラメータセットヘッダ中のフラグを用いて、インターリーブされたＡＰＳが許可されるか、または許可されないか、を、ＳＰＳで通知し得る。
第１１実施形態
第１１の実施形態では、エンコーダがＡＰＳの同じタイプおよび識別子を共有するとき、サフィックスおよびプレフィックスAPS NALユニットが異なるコンテンツを有することを可能にする。また、準拠ビットストリームには、以下のような制約が必要である。
第１１の実施形態では、エンコーダがＡＰＳの同じタイプおよび識別子を共有するとき、サフィックスおよびプレフィックスAPS NALユニットが異なるコンテンツを有することを可能にする。また、準拠ビットストリームには、以下のような制約が必要である。
（ｈ２） ＰＵ内の、特定の識別子値および特定のタイプ値を有するＡＰＳを参照するVCL NALユニットは、識別子およびタイプのこれらの特定の値を有するＡＰＳを含むサフィックスAPS NALユニットによって先行されない。
この実施形態は、２つのVCL NALユニット間にプレフィックスおよびサフィックスAPS NALユニットを提供することを可能にする。エンコーダは、次のＰＵのＡＰＳを有する新しいAPS NALユニットを生成する必要がある場合、いくつかのVCL NALユニットのＡＰＳをバッファリングする必要がない。
制約（ｈ２）は、サフィックスAPS NALユニットが所与のＰＵ中のＮＡＬユニットのために使用されないが、後続のＰＵのVCL NALユニットによってのみ使用されることを保証する。
変形例では、エンコーダが、ＰＰＳまたはＳＰＳなどのパラメータセットヘッダ中のフラグを用いて、インターリーブされたＡＰＳが許可されるか、または許可されないのか、を、ＳＰＳにおいて通知し得る。
第１２の実施形態
第１２の実施形態では、エンコーダが、ＡＰＳの同じタイプおよび識別子を共有するとき、サフィックスおよびプレフィックスAPS NALユニットが異なるコンテンツを有することを可能にする。さらに、第１０および第１１の実施形態でそれぞれ適用される制約（ｈ１）および（ｈ２）は共に、準拠ビットストリームに必要とされる。
第１２の実施形態では、エンコーダが、ＡＰＳの同じタイプおよび識別子を共有するとき、サフィックスおよびプレフィックスAPS NALユニットが異なるコンテンツを有することを可能にする。さらに、第１０および第１１の実施形態でそれぞれ適用される制約（ｈ１）および（ｈ２）は共に、準拠ビットストリームに必要とされる。
この実施形態は、２つのVCL NALユニット間にプレフィックスおよびサフィックスAPS NALユニットを提供することを可能にする。エンコーダは、次のＰＵのＡＰＳを有する新しいAPS NALユニットを生成する必要がある場合、いくつかのVCL NALユニットのＡＰＳをバッファリングする必要がない。
変形例では、エンコーダが、ＰＰＳまたはＳＰＳなどのパラメータセットヘッダ中のフラグを用いて、インターリーブされたＡＰＳが許可されるか、または許可されないのか、を、ＳＰＳにおいて通知し得る。
第１の実施形態のグループのさらなる実施形態
第２の実施形態のグループの実施形態において使用される特定の方法（Certain measures）は、第１の実施形態のグループによって対処される問題を解決するためにも有用である。したがって、第１の実施形態のグループのさらなる実施形態は、以下のように考えられる。これらのさらなる実施形態は、ランダムアクセス問題を解決するために必要とされず、したがって、ＰＵ内の特定のＮＡＬユニットタイプ（nal＿ｕｎｉｔ＿ｔｙｐｅ）とａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値とａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの特定の値とを有するすべてのAPS NALユニットが同じコンテンツを有するべきであるという第４～第１２の実施形態の制約（ｅ）を伴わない。
第２の実施形態のグループの実施形態において使用される特定の方法（Certain measures）は、第１の実施形態のグループによって対処される問題を解決するためにも有用である。したがって、第１の実施形態のグループのさらなる実施形態は、以下のように考えられる。これらのさらなる実施形態は、ランダムアクセス問題を解決するために必要とされず、したがって、ＰＵ内の特定のＮＡＬユニットタイプ（nal＿ｕｎｉｔ＿ｔｙｐｅ）とａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値とａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの特定の値とを有するすべてのAPS NALユニットが同じコンテンツを有するべきであるという第４～第１２の実施形態の制約（ｅ）を伴わない。
第１３の実施形態
この実施形態は、制約：
この実施形態は、制約：
(ｈ１) ＰＵ内で、特定の識別子値および特定のタイプ値を有するＡＰＳを参照するVCL NALユニットの後に、識別子およびタイプのこれらの特定の値を有するＡＰＳを含むプレフィックスAPS NALユニットが続くことはない；および
(ｄ２) サフィックスAPS NALユニットは、最後のVCL NALユニットの後になければならない
を組み合わせる。
を組み合わせる。
第１４の実施形態
この実施形態は、制約：
この実施形態は、制約：
（ｈ２） ＰＵ内の、特定の識別子値および特定のタイプ値を有するＡＰＳを参照するVCL NALユニットは、識別子およびタイプのこれらの特定の値を有するＡＰＳを含むサフィックスAPS NALユニットによって先行されないものとし；および
（ｄ１） プレフィックスAPS NALユニットは、最初のVCL NALユニットの前でなければならない
を組み合わせる。
（ｄ１） プレフィックスAPS NALユニットは、最初のVCL NALユニットの前でなければならない
を組み合わせる。
第１５の実施形態
この実施形態は、制約：
この実施形態は、制約：
（ｈ１） ＰＵ内の、特定の識別子値および特定のタイプ値を有するＡＰＳを参照するVCL NALユニットの後に、識別子およびタイプのこれらの特定の値を有するＡＰＳを含むプレフィックスAPS NALユニットが続かないものとし、；および
（ｈ２） ＰＵ内で、特定の識別子値および特定のタイプ値を有するＡＰＳを参照するVCL NALユニットは、識別子およびタイプのこれらの特定の値を有するＡＰＳを含むサフィックスAPS NALユニットによって先行されないものとする
を組み合わせる。
（ｈ２） ＰＵ内で、特定の識別子値および特定のタイプ値を有するＡＰＳを参照するVCL NALユニットは、識別子およびタイプのこれらの特定の値を有するＡＰＳを含むサフィックスAPS NALユニットによって先行されないものとする
を組み合わせる。
この実施形態では、制約（ｄ１）も制約（ｄ２）も必要とされない。
本発明の実施形態の実施
また、本発明の他の実施形態によれば、前述の実施形態／変形例によるデコーダは、ユーザにコンテンツを提供／表示することができるコンピュータ、携帯電話（携帯電話）、タブレット、または任意の他のタイプのデバイス（例えば、ディスプレイ装置）などのユーザ端末において提供されることも理解される。さらに別の実施形態によれば、前述の実施形態／変形例によるエンコーダは、エンコーダがエンコードするコンテンツをキャプチャおよび提供する、カメラ、ビデオカメラ、またはネットワークカメラ（たとえば、閉回路テレビジョンまたはビデオ監視カメラ）も含む画像キャプチャ装置において提供される。２つのそのような実施形態が、図１４および図１５を参照して以下に提供される。
また、本発明の他の実施形態によれば、前述の実施形態／変形例によるデコーダは、ユーザにコンテンツを提供／表示することができるコンピュータ、携帯電話（携帯電話）、タブレット、または任意の他のタイプのデバイス（例えば、ディスプレイ装置）などのユーザ端末において提供されることも理解される。さらに別の実施形態によれば、前述の実施形態／変形例によるエンコーダは、エンコーダがエンコードするコンテンツをキャプチャおよび提供する、カメラ、ビデオカメラ、またはネットワークカメラ（たとえば、閉回路テレビジョンまたはビデオ監視カメラ）も含む画像キャプチャ装置において提供される。２つのそのような実施形態が、図１４および図１５を参照して以下に提供される。
図１４は、ネットワークカメラ１４０２およびクライアント装置１４０４を含むネットワークカメラシステム１４００を示す図である。
ネットワークカメラ１４０２は、撮像ユニット１４０６と、符号化ユニット１４０８と、通信ユニット１４１０と、制御ユニット１４１２と、を備える。ネットワークカメラ１４０２とクライアント装置１４０４とは、ネットワーク３００を介して互いに通信可能に相互に接続されている。
撮像ユニット１４０６は、レンズ及び撮像素子（例えば、CCD(charge coupled device)又はCMOS(complementary metal oxide semiconductor))を備え、被写体の画像を撮像し、画像に基づいて画像データを生成する。この画像は、静止画像またはビデオ画像とすることができる。撮像ユニットはまた、それぞれ（光学的に又はデジタル的に）ズーム又はパンするように適合されたズーム手段及び／又はパン手段を含むことができる。
符号化ユニット１４０８は、前述の実施形態／変形例のうちの１つまたは複数において説明された前記符号化方法を使用することによって、画像データを符号化する。符号化ユニット１４０８は、上記の実施形態／変形例で説明した符号化方法の少なくとも１つを用いる。別の例として、符号化ユニット１４０８は、前述の実施形態／変形例で説明した符号化方法の組合せを使用することができる。
ネットワークカメラ１４０２の通信ユニット１４１０は、符号化ユニット１４０８で符号化された符号化画像データをクライアント装置１４０４に送信する。
また、通信ユニット１４１０は、クライアント装置１４０４からコマンドを受信してもよい。コマンドは、符号化ユニット１４０８による符号化のためのパラメータを設定するためのコマンドを含む。
制御ユニット１４１２は、通信ユニット１４１０が受信したコマンドやユーザ入力に応じて、ネットワークカメラ１４０２内の他のユニットを制御する。
クライアント装置１４０４は、通信ユニット１４１４と、復号ユニット１４１６と、制御ユニット１４１８とを備える。
クライアント装置１４０４の通信ユニット１４１４は、ネットワークカメラ１４０２にコマンドを送信してもよい。また、クライアント装置１４０４の通信ユニット１４１４は、ネットワークカメラ１４０２から符号化画像データを受信する。
復号ユニット１４１６は、上述の実施形態／変形例のうちの１つまたは複数で説明した前記復号方法を用いて、符号化画像データを復号する。別の例として、復号ユニット１４１６は、前述の実施形態／変形例で説明された復号方法の組合せを使用することができる。
クライアント装置１４０４の制御ユニット１４１８は、通信ユニット１４１４が受信したユーザ操作やコマンドに応じて、クライアント装置１４０４内の他のユニットを制御する。また、クライアント装置１４０４の制御ユニット１４１８は、復号ユニット１４１６で復号された画像を表示するように表示装置１４２０を制御してもよい。
また、クライアント装置１４０４の制御ユニット１４１８は、GUI(Graphical User Interface)を表示するように表示装置１４２０を制御し、ネットワークカメラ１４０２のパラメータ、例えば符号化ユニット１４０８による符号化のためのパラメータの値を指定してもよい。また、クライアント装置１４０４の制御ユニット１４１８は、表示装置１４２０が表示するＧＵＩに対するユーザ操作入力に応じて、クライアント装置１４０４内の他のユニットを制御してもよい。
また、クライアント装置１４０４の制御ユニット１４１８は、表示装置１４２０が表示するＧＵＩに対するユーザ操作入力に応じて、ネットワークカメラ１４０２のパラメータの値を指定するコマンドをネットワークカメラ１４０２に送信するようにクライアント装置１４０４の通信ユニット１４１４を制御してもよい。
図１５は、スマートフォン１５００を示す図である。
スマートフォン１５００は、通信ユニット１５０２と、復号／符号化ユニット１５０４と、制御ユニット１５０６と、表示ユニット１５０８とを備える。
通信ユニット１５０２は、ネットワーク９２００を介して符号化画像データを受信する。
復号／符号化ユニット１５０４は、通信ユニット１５０２により受信された符号化画像データを復号する。復号／符号化ユニット１５０４は、前述の実施形態／変形例のうちの１つまたは複数において説明された前記復号方法を使用することによって、符号化画像データを復号する。復号／符号化ユニット１５０４はまた、前述の実施形態／変形例において説明された符号化方法または復号方法のうちの少なくとも１つを使用することができる。別の例として、復号／符号化ユニット１５０４は、前述の実施形態／変形例で説明した復号または符号化方法の組合せを使用することができる。
制御ユニット１５０６は、通信ユニット１５０２によって受信されたユーザ操作またはコマンドに従って、スマートフォン１５００内の他のユニットを制御する。例えば、制御ユニット１５０６は、復号／符号化ユニット１５０４により復号された画像を表示するように表示ユニット１５０８を制御する。
スマートフォンは、画像またはビデオを記録するための画像記録デバイス１５１０（例えば、デジタルカメラおよび関連する回路）をさらに備えてもよい。このように記録された画像やビデオは、制御ユニット１５０６の指示のもと、復号／符号化ユニット１５０４で符号化されてもよい。
スマートフォンは、モバイルデバイスの向きを感知するように適合されたセンサ１５１２をさらに備え得る。そのようなセンサは、加速度計、ジャイロスコープ、コンパス、全地球測位（ＧＰＳ）ユニット、または同様の位置センサ、を含むことができる。そのようなセンサ１５１２は、スマートフォンが向きを変えるかどうかを判定することができ、そのような情報は、ビデオストリームを符号化するときに使用され得る。
本発明は、実施形態およびその変形を参照して説明されてきたが、本発明は開示された実施形態／変形例に限定されないことを理解されたい。添付の特許請求の範囲に定義されるように、本発明の範囲から逸脱することなく、様々な変更および修正を行うことができることが、当業者によって理解されるのであろう。この明細書（任意の添付の特許請求の範囲、要約、および図面を含む）に開示される特徴のすべて、および／またはそのように開示される任意の方法またはプロセスのステップのすべては、そのような特徴および／またはステップの少なくともいくつかが相互に排他的である組合せを除いて、任意の組合せで組み合わせることができる。本明細書（任意の添付の特許請求の範囲、要約、および図面を含む）に開示される各特徴は、別段の明示的な記載がない限り、同じ、同等、または類似の目的を果たす代替の特徴によって置き換えられ得る。したがって、特に明記しない限り、開示される各特徴は、一般的な一連の同等または同様の特徴の一例に過ぎない。
上述の比較、決定、推論、評価、選択、実行、実行、または検討の任意の結果、例えば、符号化、プロセッシング、または区分化プロセス中に行われた選択は、ビットストリーム内のデータ、例えば、結果を示すフラグまたは情報に示され得るか、またはそれから決定可能／推論可能であり、したがって、示されたまたは決定された／推論された結果は例えば、復号または区分化プロセス中に、比較、決定、評価、選択、実行、実行、または検討を実際に実行する代わりに、プロセッシングにおいて使用され得ることも理解されたい。「テーブル」または「ルックアップテーブル」が使用されるとき、アレイなどの他のデータタイプも、そのデータタイプが同じ機能を実行することができる（たとえば、異なる要素間の関係／マッピングを表す）限り、同じ機能を実行するために使用され得ることを理解されたい。
請求項において、単語「有する（ｃｏｍｐｒｉｓｉｎｇ）」は他の要素又はステップを除外せず、不定冠詞「ａ」又は「ａｎ」は複数を除外しない。異なる特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組合せが有利に使用され得ないことを示すものではない。特許請求の範囲に現れる参照符号は、例示のためだけのものであり、特許請求の範囲に限定的な効果を有するものではない。
前述の実施形態／変形例では、説明される機能がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に格納され、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。
コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は、一般的には、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法を実施するための命令、コード、および／またはデータ構造を取り出すために１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置、または他の磁気記憶デバイス、フラッシュメモリ、または命令またはデータ構造の形で所望のプログラムコードを格納するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含み得る。また、任意のコネクションは、コンピュータ可読媒体と適切に呼ばれる。たとえば、命令が同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（Disk）およびディスク（disc）は、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスクおよびブルーレイディスクを含み、ディスク（disks）は通常、データを磁気的に再生し、ディスク（discs）は、データをレーザで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート／論理アレイ（ＦＰＧＡ）、または他の同等の集積または個別論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造のいずれか、または本明細書で説明する技法の実装に適した任意の他の構造を指すことがある。加えて、いくつかの態様では、本明細書で説明する機能が符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供され得るか、または組み合わされたコーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において完全に実装され得る。
本発明による方法／プロセスの任意のステップまたは本明細書で説明される機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実現される場合、ステップ／機能は、１つ以上の命令またはコードもしくはプログラム、またはコンピュータ可読媒体として格納または伝送され、ＰＣ（「パーソナルコンピュータ」）、ＤＳＰ（「デジタル信号プロセッサ」）、回路（circuit）、回路（circuitry）、プロセッサおよびメモリ、汎用マイクロプロセッサまたは中央処理ユニット、マイクロコントローラ、ＡＳＩＣ（「特定用途向け集積回路」）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の同等の集積またはディスクリートロジック回路であり得るプログラマブル計算機などの１つまたは複数のハードウェアベースの処理ユニットによって実行されてもよい。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造のいずれか、または本明細書で説明する技術の実装に適した任意の他の構造を指すことがある。
本発明の実施形態はまた、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＪＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置によって実現され得る。本明細書では様々な構成要素、モジュール、またはユニットがそれらの実施形態を実行するように構成されたデバイス／装置の機能的態様を示すために説明されるが、必ずしも異なるハードウェアユニットによる実現を必要としない。むしろ、種々モジュール／ユニットは、コーデックハードウェアユニットにおいて組み合わされてもよく、または適切なソフトウェア／ファームウェアと併せて１つまたは複数のプロセッサを含む、相互運用ハードウェアユニットの集合によって提供されてもよい。
本発明の実施形態は、記憶媒体に記録されたコンピュータ実行可能命令（例えば、１つまたは複数のプログラム）を読み出して実行し、１つ以上の上述の実施形態のモジュール／ユニット／機能を実行する、及び／又は１つ以上の上述の実施形態の機能を実行するための１つ以上の中央処理ユニット又は回路を含むシステム又は装置のコンピュータによって、及び、例えば、１つ以上の上述の実施形態の機能を実行するために記憶媒体からコンピュータ実行可能命令を読み出して実行する、及び／又は１つ以上の上述の実施形態の機能を実行するために１つ以上のプロセッシングユニット又は回路を制御することによって、システム又は装置のコンピュータによって実行される方法によって、実現することができる。コンピュータは、コンピュータ実行可能命令を読み出して実行するために、別個のコンピュータまたは別個のプロセッシングユニットのネットワークを含むことができる。コンピュータ実行可能命令はたとえば、ネットワークまたは有形記憶媒体を介した通信媒体などのコンピュータ可読媒体からコンピュータに提供され得る。通信媒体は、信号／ビットストリーム／搬送波であり得る。有形記憶媒体は例えば、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、分散コンピューティングシステムの記憶装置、光ディスク（コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、またはブルーレイディスク（ＢＤ）ＴＭなど）、フラッシュメモリデバイス、メモリカードなどのうちの１つまたは複数を含み得る「非一時的コンピュータ可読記憶媒体」である。ステップ／機能の少なくともいくつかはまた、ＦＰＧＡ（「フィールドプログラマブルゲートアレイ」）またはＡＳＩＣ（「特定用途向け集積回路」）などの機械または専用構成要素によってハードウェアで実装され得る。
Claims (17)
- ビットストリーム内に画像のシーケンスを符号化する方法であって、
前記ビットストリーム内に一連のピクチャユニットを提供することを有し、
前記ピクチャユニットの各々は、１つの符号化された画像に対応し、且つ、一または複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、
前記一連のピクチャユニットに含まれうる複数のＮＡＬユニットは、符号化された画像データを各々が含む複数のビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニット、および、適応パラメータセット（ＡＰＳ）を各々が含む複数の適応パラメータセット（ＡＰＳ） ＮＡＬユニットを含み、
前記複数のAPS NALユニットは、プレフィックスAPS NALユニットとサフィックスAPS NALユニットとを含み、
プレフィックスAPS ＮＡＬユニットがピクチャユニットにおいて存在する場合、当該プレフィックスＡＰＳ ＮＡＬユニットは当該ピクチャユニットの最初のVCL NALユニットの前でなければならず、
サフィックスＡＰＳ ＮＡＬユニットがピクチャユニットにおいて存在する場合、当該サフィックスＡＰＳ ＮＡＬユニットは当該ピクチャユニットの最後のVCL NALユニットの後でなければならず、
前記ＡＰＳ ＮＡＬユニットは、ＡＰＳタイプとＡＰＳ識別子とを有し、
同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが、異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを同じピクチャユニットに含めることが許容される
ことを特徴とする方法。 - 前記サフィックスAPS NALユニットを含む前記ピクチャユニットの前記VCL NALユニットによるサフィックスAPS NALユニットの使用を禁止し、
該サフィックスAPS NALユニットを、復号順序で該サフィックスAPS NALユニットに続くピクチャユニットのVCL NALユニットにより使用することを可能にする
ことを特徴とする請求項１に記載の方法。 - ピクチャユニットに、前記ピクチャユニットの前記最後のＶＣＬ ＮＡＬユニットの前にサフィックスAPS NALユニットを含めることが禁止される、ことを含むことを特徴とする請求項１に記載の方法。
- ピクチャユニットに、前記ピクチャユニットの前記最初のＶＣＬ ＮＡＬユニットの後にプレフィックスAPS NALユニットを含めることが禁止される、ことを含むことを特徴とする請求項１ないし３のいずれか一項に記載の方法。
- ピクチャユニットにおいて、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットの後に、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むプレフィックスAPS NALユニットが続くことを禁止する、ことを含むことを特徴とする請求項１に記載の方法。
- ピクチャユニットにおいて、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットが、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むサフィックスAPS NALユニットに先行されることを禁止する、ことを含むことを特徴とする、請求項１に記載の方法。
- 一連の符号化された画像を復号する方法であって、
一連のピクチャユニットを有するビットストリームを受信することを含み、
前記ピクチャユニットの各々は、１つの符号化された画像に対応し、且つ、一または複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、
前記一連のピクチャユニットに含まれうる複数のＮＡＬユニットは、符号化された画像データを各々が含む複数のビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニット、および、適応パラメータセット（ＡＰＳ）を各々が含む複数の適応パラメータセット（ＡＰＳ） ＮＡＬユニットを含み、
前記複数のAPS NALユニットは、プレフィックスAPS NALユニットとサフィックスAPS NALユニットとを含み、
プレフィックスAPS ＮＡＬユニットがピクチャユニットにおいて存在する場合、当該プレフィックスＡＰＳ ＮＡＬユニットは当該ピクチャユニットの最初のVCL NALユニットの前でなければならず、
サフィックスＡＰＳ ＮＡＬユニットがピクチャユニットにおいて存在する場合、当該サフィックスＡＰＳ ＮＡＬユニットは当該ピクチャユニットの最後のVCL NALユニットの後でなければならず、
前記ＡＰＳ ＮＡＬユニットは、ＡＰＳタイプとＡＰＳ識別子とを有し、
同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを同じピクチャユニットに含めることは許容される、
ことを特徴とする方法。 - 所与のピクチャユニット内のプレフィックスＮＡＬユニットタイプであり特定のＡＰＳ識別子および特定のＡＰＳタイプである全てのAPS NALユニットは、同じコンテンツを有し、
所与のピクチャユニット内のサフィックスＮＡＬユニットタイプであり特定のＡＰＳ識別子および特定のＡＰＳタイプを有するすべてのAPS NALユニットは同じコンテンツを有することを特徴とする請求項７に記載の方法。 - 特定のVCL NALユニットを含む前記ピクチャユニットの前記VCL NALユニットによるサフィックスAPS NALユニットの使用を禁止することと、
該サフィックスAPS NALユニットの、復号順序において該サフィックスAPS NALユニットに後続するピクチャユニットのVCL NALユニットによる使用を可能にすることと
を含むことを特徴とする請求項７に記載の方法。 - ピクチャユニットに、前記ピクチャユニットの前記最後のＶＣＬ ＮＡＬユニットの前にサフィックスAPS NALユニットを含めることが禁止されることを特徴とする請求項７に記載の方法。
- ピクチャユニットに、前記ピクチャユニットの前記最初のＶＣＬ ＮＡＬユニットの後のプレフィックスAPS NALユニットを含めることが禁止されることを特徴とする請求項７に記載の方法。
- ピクチャユニット内で、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットの後に、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むプレフィックスAPS NALユニットが続くことを禁止する、ことを含む、ことを特徴とする請求項７に記載の方法。
- ピクチャユニット内に、特定のＡＰＳタイプおよび特定のＡＰＳ識別子を有するＡＰＳを参照するVCL NALユニットが、同じＡＰＳタイプおよび同じＡＰＳ識別子を有するＡＰＳを含むサフィックスAPS NALユニットに先行されることを禁止することを含む、ことを特徴とする、請求項７に記載の方法。
- ビットストリーム内に画像のシーケンスを符号化するための装置であって、
前記ビットストリーム内に一連のピクチャユニットを提供する手段を有し、
前記ピクチャユニットの各々は、１つの符号化された画像に対応し、且つ、一または複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、
前記一連のピクチャユニットに含まれうる複数のＮＡＬユニットは、符号化された画像データを各々が含む複数のビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニット、および、適応パラメータセット（ＡＰＳ）を各々が含む複数の適応パラメータセット（ＡＰＳ） ＮＡＬユニットを含み、
前記複数のAPS NALユニットは、プレフィックスAPS NALユニットとサフィックスAPS NALユニットとを含み、
プレフィックスAPS ＮＡＬユニットがピクチャユニットにおいて存在する場合、当該プレフィックスＡＰＳ ＮＡＬユニットは当該ピクチャユニットの最初のVCL NALユニットの前でなければならず、
サフィックスＡＰＳ ＮＡＬユニットがピクチャユニットにおいて存在する場合、当該サフィックスＡＰＳ ＮＡＬユニットは当該ピクチャユニットの最後のVCL NALユニットの後でなければならず、
前記ＡＰＳ ＮＡＬユニットは、ＡＰＳタイプとＡＰＳ識別子とを有し、
同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが、異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを同じピクチャユニットに含めることが許容される
ことを特徴とする装置。 - 符号化された画像のシーケンスを復号するための装置であって、
一連のピクチャユニットを有するビットストリームを受信する手段を備え、
前記ピクチャユニットの各々は、１つの符号化された画像に対応し、且つ、一または複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、
前記一連のピクチャユニットに含まれうる複数のＮＡＬユニットは、符号化された画像データを各々が含む複数のビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニット、および、適応パラメータセット（ＡＰＳ）を各々が含む複数の適応パラメータセット（ＡＰＳ） ＮＡＬユニットを含み、
前記複数のAPS NALユニットは、プレフィックスAPS NALユニットとサフィックスAPS NALユニットとを含み、
プレフィックスAPS ＮＡＬユニットがピクチャユニットにおいて存在する場合、当該プレフィックスＡＰＳ ＮＡＬユニットは当該ピクチャユニットの最初のVCL NALユニットの前でなければならず、
サフィックスＡＰＳ ＮＡＬユニットがピクチャユニットにおいて存在する場合、当該サフィックスＡＰＳ ＮＡＬユニットは当該ピクチャユニットの最後のVCL NALユニットの後でなければならず、
前記ＡＰＳ ＮＡＬユニットは、ＡＰＳタイプとＡＰＳ識別子とを有し、
同じＡＰＳタイプおよび同じＡＰＳ識別子を有するが異なるコンテンツを有するプレフィックスAPS NALユニットおよびサフィックスAPS NALユニットを同じピクチャユニットに含めることは許容される、
ことを特徴とする装置。 - コンピュータに、請求項１に記載の方法を実行させるプログラム。
- コンピュータに、請求項７に記載の方法を実行させるプログラム。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB2004540.7 | 2020-03-27 | ||
| GB2004540.7A GB2593543B (en) | 2020-03-27 | 2020-03-27 | Video coding and decoding |
| GB2004958.1A GB2593549B (en) | 2020-03-27 | 2020-04-03 | Video coding and decoding |
| GB2004958.1 | 2020-04-03 | ||
| PCT/EP2021/057302 WO2021191159A1 (en) | 2020-03-27 | 2021-03-22 | Video coding and decoding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023518925A JP2023518925A (ja) | 2023-05-09 |
| JP7490068B2 true JP7490068B2 (ja) | 2024-05-24 |
Family
ID=70553452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022545938A Active JP7490068B2 (ja) | 2020-03-27 | 2021-03-22 | ビデオコーディングおよびデコーディング |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US20230121486A1 (ja) |
| EP (1) | EP4128785A1 (ja) |
| JP (1) | JP7490068B2 (ja) |
| KR (1) | KR20220160029A (ja) |
| CN (1) | CN115362684A (ja) |
| BR (1) | BR112022016463A2 (ja) |
| CL (6) | CL2022002565A1 (ja) |
| GB (2) | GB2593543B (ja) |
| TW (1) | TWI817099B (ja) |
| WO (1) | WO2021191159A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115428463A (zh) * | 2020-04-02 | 2022-12-02 | 抖音视界有限公司 | 变换跳过模式下的系数编解码 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013031315A1 (ja) * | 2011-08-30 | 2013-03-07 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| AU2020332558A1 (en) * | 2019-08-19 | 2022-03-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Usage of access unit delimiters and adaptation parameter sets |
-
2020
- 2020-03-27 GB GB2004540.7A patent/GB2593543B/en active Active
- 2020-04-03 GB GB2004958.1A patent/GB2593549B/en active Active
-
2021
- 2021-03-22 JP JP2022545938A patent/JP7490068B2/ja active Active
- 2021-03-22 BR BR112022016463A patent/BR112022016463A2/pt unknown
- 2021-03-22 CN CN202180024884.2A patent/CN115362684A/zh active Pending
- 2021-03-22 WO PCT/EP2021/057302 patent/WO2021191159A1/en active Application Filing
- 2021-03-22 US US17/914,096 patent/US20230121486A1/en active Pending
- 2021-03-22 EP EP21715503.5A patent/EP4128785A1/en active Pending
- 2021-03-22 KR KR1020227036372A patent/KR20220160029A/ko active Search and Examination
- 2021-03-26 TW TW110111131A patent/TWI817099B/zh active
-
2022
- 2022-09-21 CL CL2022002565A patent/CL2022002565A1/es unknown
- 2022-11-17 CL CL2022003212A patent/CL2022003212A1/es unknown
- 2022-11-17 CL CL2022003218A patent/CL2022003218A1/es unknown
- 2022-11-17 CL CL2022003217A patent/CL2022003217A1/es unknown
- 2022-11-17 CL CL2022003214A patent/CL2022003214A1/es unknown
- 2022-11-17 CL CL2022003216A patent/CL2022003216A1/es unknown
Non-Patent Citations (2)
| Title |
|---|
| BROSS, Benjamin et al.，Versatile Video Coding (Draft 8)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Brussels, BE, 7-17 January 2020, [JVET-Q2001-vE]，JVET-Q2001 (version 15)，ITU-T，2020年01月18日，＜URL:https://jvet-experts.org/doc_en_user/documents/17_Brussels/wg11/JVET-Q2001-v15.zip＞: JVET-Q2001-vE.docx: pp.8,46-47,88-93,118-119 |
| OUEDRAOGO, Nael et al.，AHG9: On prefix and suffix APSs，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 18th Meeting: by teleconference, 15-24 April 2020, [JVET-R0201]，JVET-R0201 (version 1)，ITU-T，2020年04月03日，＜URL:https://jvet-experts.org/doc_end_user/documents/18_Alpbach/wg11/JVET-R0201-v1.zip＞: JVET-R0201.docx: pp.1-4, JVET-R0201_Spec_from_JVET-Q2001-vE.docx: pp.93,118-119 |
Also Published As
| Publication number | Publication date |
|---|---|
| CL2022003212A1 (es) | 2023-07-21 |
| US20230121486A1 (en) | 2023-04-20 |
| GB202004958D0 (en) | 2020-05-20 |
| GB2593543A (en) | 2021-09-29 |
| BR112022016463A2 (pt) | 2022-10-04 |
| CL2022003218A1 (es) | 2023-06-23 |
| JP2023518925A (ja) | 2023-05-09 |
| GB2593549B (en) | 2022-12-14 |
| GB2593549A (en) | 2021-09-29 |
| EP4128785A1 (en) | 2023-02-08 |
| CN115362684A (zh) | 2022-11-18 |
| CL2022003214A1 (es) | 2023-06-23 |
| KR20220160029A (ko) | 2022-12-05 |
| TWI817099B (zh) | 2023-10-01 |
| TW202137768A (zh) | 2021-10-01 |
| CL2022002565A1 (es) | 2023-05-12 |
| GB2593543B (en) | 2023-04-19 |
| WO2021191159A1 (en) | 2021-09-30 |
| CL2022003216A1 (es) | 2023-06-23 |
| GB202004540D0 (en) | 2020-05-13 |
| CL2022003217A1 (es) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7403633B2 (ja) | ビデオの符号化及び復号のための高レベルシンタックス | |
| TW202139701A (zh) | 用於視頻編碼及解碼之高階語法 | |
| JP7345051B2 (ja) | サブピクチャ、スライス、およびタイルをサポートするビデオ符号化 | |
| TWI827919B (zh) | 用於視頻編碼及解碼的高階語法 | |
| TWI811651B (zh) | 用於視頻編碼及解碼的高階語法 | |
| JP7475455B2 (ja) | ビデオの符号化および復号のためのハイレベルシンタックス | |
| JP7490068B2 (ja) | ビデオコーディングおよびデコーディング | |
| JP7497441B2 (ja) | ビデオの符号化及び復号のための高レベルシンタックス | |
| JP7383808B2 (ja) | ビデオコーディング及び復号のための高レベルシンタックス |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221026 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240514 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7490068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |