JP2024074856A - 接尾辞ｓｅｉメッセージのためのスケーラブルネスティング - Google Patents

接尾辞ｓｅｉメッセージのためのスケーラブルネスティング Download PDF

Info

Publication number
JP2024074856A
JP2024074856A JP2024053670A JP2024053670A JP2024074856A JP 2024074856 A JP2024074856 A JP 2024074856A JP 2024053670 A JP2024053670 A JP 2024053670A JP 2024053670 A JP2024053670 A JP 2024053670A JP 2024074856 A JP2024074856 A JP 2024074856A
Authority
JP
Japan
Prior art keywords
sei message
layer
sei
picture
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024053670A
Other languages
English (en)
Inventor
イェ－クイ・ワン
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2024074856A publication Critical patent/JP2024074856A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】ビデオコーディングメカニズムが開示される。
【解決手段】このメカニズムは、1つまたは複数のコーディングされたピクチャをビットストリームにエンコードすることを含む。また、ビットストリームには、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）と等しいNALユニット型（nal＿unit＿type）を持つ補足拡張情報（SEI）ネットワーク抽象化層（NAL）ユニットもエンコードされる。SEI NALユニットは、スケーラブルネスティングSEIメッセージを含む。スケーラブルネスティングSEIメッセージに基づいて、ビットストリームに対してビットストリーム適合性試験のセットが実行される。ビットストリームは、デコーダへの通信のために記憶される。
【選択図】図７

Description

関連出願の相互参照
本特許出願は、参照により本明細書に組み込まれる、Ye－Kui Wangによって2019年9月2
4日に出願された「Video Coding Improvements」と題する米国仮特許出願第62／905，236
号の利益を主張する。
本開示は、概して、ビデオコーディングに関し、具体的には、複数層ビットストリーム
のコーディングをサポートするためのシグナリングパラメータの改善に関する。
たとえ比較的短いビデオであっても、これを表すのに必要なビデオデータはかなりの量
となるため、データのストリーミングが行われたり、帯域幅容量に限りがある通信ネット
ワークにまたがってデータが伝達されたりする場合には困難が生じることがある。このた
め、ビデオデータは通常、今日の通信ネットワークを介して伝達される前に圧縮される。
ビデオが記憶装置に記憶される場合に、メモリリソースが乏しい場合もあるため、ビデオ
のサイズが問題になることもある。ビデオ圧縮デバイスは多くの場合、送信または記憶に
先立ち供給元でソフトウェアおよび／またはハードウェアを使ってビデオデータをコーデ
ィングし、そうすることでデジタルビデオ画像を表すのに必要なデータの量を減らす。そ
の後、圧縮されたデータは、供給先でビデオデータをデコードするビデオ解凍装置によっ
て受け取られる。ネットワークリソースには限りがあり、より高いビデオ品質を求める要
求が増大しているため、画質をほとんど犠牲にしないかまったく犠牲にせずに圧縮率を高
める改善された圧縮・解凍技法が望まれている。
一実施形態において、本開示は、デコーダによって実施される方法を含み、本方法は、
デコーダの受信器によって、コーディングされたピクチャと、接尾辞SEI NALユニット型
（SUFFIX＿SEI＿NUT）に等しいNALユニット型（nal＿unit＿type）を有し、スケーラブル
ネスティングSEIメッセージを含む補足拡張情報（SEI）ネットワーク抽象化層（NAL）ユ
ニットとを含むビットストリームを受信するステップと、デコーダのプロセッサによって
、コーディングされたピクチャをデコードしてデコードされたピクチャを生成するステッ
プと、を含む。
いくつかのビデオ・コーディング・システムは、SEIメッセージを使用する。SEIメッセ
ージは、デコードされたピクチャ内のサンプルの値を決定するためにデコードプロセスに
よって必要とされない情報を含む。例えば、SEIメッセージは、規格に準拠しているかど
うかビットストリームをチェックするために使用されるパラメータを含み得る。さらに、
ビデオ・コーディング・システムは、ピクチャを複数の層および／または出力層セット（
OLS）にエンコードすることができる。スケーラブルネスティングSEIメッセージを使用し
て、接頭辞SEIメッセージを層および／またはOLSに相関させることができる。いくつかの
ビデオ・コーディング・システムは、接尾辞SEIメッセージも使用するが、スケーラブル
ネスティングSEIメッセージを接尾辞SEIメッセージで使用することはできない。様々な型
のSEIメッセージは、接頭辞SEIメッセージまたは接尾辞SEIメッセージのいずれかとして
含めることができる。しかしながら、デコードされたピクチャハッシュSEIメッセージの
ようなある型のSEIメッセージは、接尾辞SEIメッセージとしての使用に制限される。その
ため、デコードされたピクチャハッシュSEIメッセージなどの特定のSEIメッセージは、そ
のようなシステムにおけるスケーラブルネスティングSEIメッセージにおいてコード化す
ることができない。この例は、スケーラブルネスティングSEIメッセージにおいて、例え
ばデコードされたピクチャハッシュSEIメッセージのようなあるSEIメッセージをコード化
するためのメカニズムを含む。具体的には、接尾辞SEIメッセージは、スケーラブルネス
ティングSEIメッセージと併せて使用されることが可能にされる。別の言い方をすれば、S
UFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有するSEI NALユニットは、スケーラブルネ
スティングSEIメッセージを含み得る。このようにして、デコードされたピクチャハッシ
ュSEIメッセージなどの接尾辞SEIメッセージは、スケーラブルネスティングSEIメッセー
ジとして、および／またはスケーラブルネスティングSEIメッセージに含まれるスケーラ
ブルにネストされたSEIメッセージとして使用することができる。これにより、指定され
た層および／またはOLSに適用しながら、接尾辞SEI
メッセージをネストすることができる。その結果、エンコーダおよびデコーダの機能が向
上する。さらに、コーディング効率を高めることができ、これにより、エンコーダおよび
デコーダの両方におけるプロセッサ、メモリ、および／またはネットワークシグナリング
リソースの使用が低減される。
任意に、上記態様のいずれかにおいて、上記態様の別の実施態様が提供され、スケーラ
ブルネスティングSEIメッセージは、1つまたは複数のスケーラブルにネストされたSEIメ
ッセージを含む。
任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、1つまた
は複数のスケーラブルにネストされたSEIメッセージは、デコードされたピクチャハッシ
ュSEIメッセージを含む。
任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラ
ブルネスティングSEIメッセージはSEIメッセージを特定のOLSと関連付ける。
任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラ
ブルネスティングSEIメッセージはSEIメッセージを特定の層に関連付ける。
任意に、上記態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラブル
ネスティングSEIメッセージは、133に設定されたペイロード型（payloadType）を含む。
任意に、上記態様のいずれかにおいて、態様の別の実現例を提供し、スケーラブルネス
ティングSEIメッセージは、スケーラブルにネストされたSEIメッセージが適用される第i
層のNALユニットヘッダ層識別子（nuh＿layer＿id）値を指定するスケーラブルネスティ
ング層識別子（layer＿id［i］）を含む。
一実施形態では、本開示は、エンコーダによって実施される方法を含み、本方法は、エ
ンコーダのプロセッサによって、1つまたは複数のコーディングされたピクチャをビット
ストリームにエンコードするステップと、プロセッサが、SUFFIX＿SEI＿NUTに等しいnal
＿unit＿typeを有し、スケーラブルネスティングSEIメッセージを含むSEI NALユニットを
ビットストリームにエンコードするステップと、プロセッサによって、スケーラブルネス
ティングSEIメッセージに基づいてビットストリームに対してビットストリーム適合性試
験のセットを実行するステップと、プロセッサに結合されたメモリによって、デコーダへ
の通信のためにビットストリームを記憶するステップと、を含む。
いくつかのビデオ・コーディング・システムは、SEIメッセージを使用する。SEIメッセ
ージは、デコードされたピクチャ内のサンプルの値を決定するためにデコードプロセスに
よって必要とされない情報を含む。例えば、SEIメッセージは、規格に準拠しているかど
うかビットストリームをチェックするために使用されるパラメータを含み得る。さらに、
ビデオ・コーディング・システムは、ピクチャを複数の層および／または出力層セット（
OLS）にエンコードすることができる。スケーラブルネスティングSEIメッセージを使用し
て、接頭辞SEIメッセージを層および／またはOLSに相関させることができる。いくつかの
ビデオ・コーディング・システムは、接尾辞SEIメッセージも使用するが、スケーラブル
ネスティングSEIメッセージを接尾辞SEIメッセージで使用することはできない。様々な型
のSEIメッセージは、接頭辞SEIメッセージまたは接尾辞SEIメッセージのいずれかとして
含めることができる。しかしながら、デコードされたピクチャハッシュSEIメッセージの
ようなある型のSEIメッセージは、接尾辞SEIメッセージとしての使用に制限される。その
ため、デコードされたピクチャハッシュSEIメッセージなどの特定のSEIメッセージは、そ
のようなシステムにおけるスケーラブルネスティングSEIメッセージにおいてコード化す
ることができない。この例は、スケーラブルネスティングSEIメッセージにおいて、例え
ばデコードされたピクチャハッシュSEIメッセージのようなあるSEIメッセージをコード化
するためのメカニズムを含む。具体的には、接尾辞SEIメッセージは、スケーラブルネス
ティングSEIメッセージと併せて使用されることが可能にされる。別の言い方をすれば、S
UFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有するSEI NALユニットは、スケーラブルネ
スティングSEIメッセージを含み得る。このようにして、デコードされたピクチャハッシ
ュSEIメッセージなどの接尾辞SEIメッセージは、スケーラブルネスティングSEIメッセー
ジとして、および／またはスケーラブルネスティングSEIメッセージに含まれるスケーラ
ブルにネストされたSEIメッセージとして使用することができる。これにより、指定され
た層および／またはOLSに適用しながら、接尾辞SEI
メッセージをネストすることができる。その結果、エンコーダおよびデコーダの機能が向
上する。さらに、コーディング効率を高めることができ、これにより、エンコーダおよび
デコーダの両方におけるプロセッサ、メモリ、および／またはネットワークシグナリング
リソースの使用が低減される。
任意に、上記態様のいずれかにおいて、上記態様の別の実施態様が提供され、スケーラ
ブルネスティングSEIメッセージは、1つまたは複数のスケーラブルにネストされたSEIメ
ッセージを含む。
任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、1つまた
は複数のスケーラブルにネストされたSEIメッセージは、デコードされたピクチャハッシ
ュSEIメッセージを含む。
任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラ
ブルネスティングSEIメッセージはSEIメッセージを特定のOLSと関連付ける。
任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラ
ブルネスティングSEIメッセージはSEIメッセージを特定の層に関連付ける。
任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラ
ブルネスティングSEIメッセージは、133に設定されたpayloadTypeを含む。
任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラ
ブルネスティングSEIメッセージは、スケーラブルにネストされたSEIメッセージが適用さ
れる第iの層のnuh＿layer＿id値を指定するスケーラブルネスティング層＿id［i］を含む
。
一実施形態において、本開示は、プロセッサと、プロセッサに結合された受信器と、プ
ロセッサに結合されたメモリと、プロセッサに結合された送信器とを備え、プロセッサ、
受信器、メモリ、および送信器は、前述の態様の方法を実行するように構成される、ビデ
オコーディング装置を含む。
一実施形態において、本開示は、ビデオコーディング装置によって使用されるコンピュ
ータプログラム製品を含む非一時的コンピュータ可読媒体を含み、コンピュータプログラ
ム製品は非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含み、
プロセッサによって実行されると、ビデオコーディング装置に前述の態様のいずれかの方
法を実行させる。
一実施形態において、本開示は、デコーダであって、コーディングされたピクチャと、
SUFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有し、スケーラブルネスティングSEIメッセ
ージを含むSEI NALユニットとを含むビットストリームを受信する受信手段と、コーディ
ングされたピクチャをデコードしてデコードされたピクチャを生成するデコード手段と、
デコードされたビデオシーケンスの一部として表示するためにデコードされたピクチャを
転送するための転送手段と、と備える、デコーダを含む。
いくつかのビデオ・コーディング・システムは、SEIメッセージを使用する。SEIメッセ
ージは、デコードされたピクチャ内のサンプルの値を決定するためにデコードプロセスに
よって必要とされない情報を含む。例えば、SEIメッセージは、規格に準拠しているかど
うかビットストリームをチェックするために使用されるパラメータを含み得る。さらに、
ビデオ・コーディング・システムは、ピクチャを複数の層および／または出力層セット（
OLS）にエンコードすることができる。スケーラブルネスティングSEIメッセージを使用し
て、接頭辞SEIメッセージを層および／またはOLSに相関させることができる。いくつかの
ビデオ・コーディング・システムは、接尾辞SEIメッセージも使用するが、スケーラブル
ネスティングSEIメッセージを接尾辞SEIメッセージで使用することはできない。様々な型
のSEIメッセージは、接頭辞SEIメッセージまたは接尾辞SEIメッセージのいずれかとして
含めることができる。しかしながら、デコードされたピクチャハッシュSEIメッセージの
ようなある型のSEIメッセージは、接尾辞SEIメッセージとしての使用に制限される。その
ため、デコードされたピクチャハッシュSEIメッセージなどの特定のSEIメッセージは、そ
のようなシステムにおけるスケーラブルネスティングSEIメッセージにおいてコード化す
ることができない。この例は、スケーラブルネスティングSEIメッセージにおいて、例え
ばデコードされたピクチャハッシュSEIメッセージのようなあるSEIメッセージをコード化
するためのメカニズムを含む。具体的には、接尾辞SEIメッセージは、スケーラブルネス
ティングSEIメッセージと併せて使用されることが可能にされる。別の言い方をすれば、S
UFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有するSEI NALユニットは、スケーラブルネ
スティングSEIメッセージを含み得る。このようにして、デコードされたピクチャハッシ
ュSEIメッセージなどの接尾辞SEIメッセージは、スケーラブルネスティングSEIメッセー
ジとして、および／またはスケーラブルネスティングSEIメッセージに含まれるスケーラ
ブルにネストされたSEIメッセージとして使用することができる。これにより、指定され
た層および／またはOLSに適用しながら、接尾辞SEI
メッセージをネストすることができる。その結果、エンコーダおよびデコーダの機能が向
上する。さらに、コーディング効率を高めることができ、これにより、エンコーダおよび
デコーダの両方におけるプロセッサ、メモリ、および／またはネットワークシグナリング
リソースの使用が低減される。
任意で、前述の態様のいずれかにおいて、態様の別の実施態様が提供され、デコーダは
、前述の態様のいずれかの方法を実行するようにさらに構成される。
一実施形態では、本開示は、エンコーダを含み、エンコーダは、エンコード手段であっ
て、1つまたは複数のコーディングされたピクチャをビットストリームにエンコードし、S
UFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有し、スケーラブルネスティングSEIメッセ
ージを含むSEI NALユニットをビットストリームにエンコードする、エンコード手段と、
スケーラブルネスティングSEIメッセージに基づいてビットストリームに対してビットス
トリーム適合性試験のセットを実行するためのHRD手段と、デコーダに向けて通信するた
めのビットストリームを記憶するための記憶手段とを含む。
いくつかのビデオ・コーディング・システムは、SEIメッセージを使用する。SEIメッセ
ージは、デコードされたピクチャ内のサンプルの値を決定するためにデコードプロセスに
よって必要とされない情報を含む。例えば、SEIメッセージは、規格に準拠しているかど
うかビットストリームをチェックするために使用されるパラメータを含み得る。さらに、
ビデオ・コーディング・システムは、ピクチャを複数の層および／または出力層セット（
OLS）にエンコードすることができる。スケーラブルネスティングSEIメッセージを使用し
て、接頭辞SEIメッセージを層および／またはOLSに相関させることができる。いくつかの
ビデオ・コーディング・システムは、接尾辞SEIメッセージも使用するが、スケーラブル
ネスティングSEIメッセージを接尾辞SEIメッセージで使用することはできない。様々な型
のSEIメッセージは、接頭辞SEIメッセージまたは接尾辞SEIメッセージのいずれかとして
含めることができる。しかしながら、デコードされたピクチャハッシュSEIメッセージの
ようなある型のSEIメッセージは、接尾辞SEIメッセージとしての使用に制限される。その
ため、デコードされたピクチャハッシュSEIメッセージなどの特定のSEIメッセージは、そ
のようなシステムにおけるスケーラブルネスティングSEIメッセージにおいてコード化す
ることができない。この例は、スケーラブルネスティングSEIメッセージにおいて、例え
ばデコードされたピクチャハッシュSEIメッセージのようなあるSEIメッセージをコード化
するためのメカニズムを含む。具体的には、接尾辞SEIメッセージは、スケーラブルネス
ティングSEIメッセージと併せて使用されることが可能にされる。別の言い方をすれば、S
UFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有するSEI NALユニットは、スケーラブルネ
スティングSEIメッセージを含み得る。このようにして、デコードされたピクチャハッシ
ュSEIメッセージなどの接尾辞SEIメッセージは、スケーラブルネスティングSEIメッセー
ジとして、および／またはスケーラブルネスティングSEIメッセージに含まれるスケーラ
ブルにネストされたSEIメッセージとして使用することができる。これにより、指定され
た層および／またはOLSに適用しながら、接尾辞SEI
メッセージをネストすることができる。その結果、エンコーダおよびデコーダの機能が向
上する。さらに、コーディング効率を高めることができ、これにより、エンコーダおよび
デコーダの両方におけるプロセッサ、メモリ、および／またはネットワークシグナリング
リソースの使用が低減される。
任意で、前述の態様のいずれかにおいて、エンコーダは、前述の態様のいずれかの方法
を実行するようにさらに構成される、態様の別の実施態様が提供される。
明確にするために、前述の実施形態のうちのいずれか1つは、他の前述の実施形態のう
ちのいずれか1つまたは複数と組み合わされて、本開示の範囲内の新しい実施形態を作成
する場合がある。
上記その他の特徴は、以下の詳細な説明を添付の図面および特許請求の範囲と併せて読
めばより明確に理解されるであろう。
本開示をより十分に理解するために、次に、添付の図面および詳細な説明と関連して理
解される以下の簡単な説明を参照する。添付の図面および詳細な説明において、類似の参
照番号は類似の部分を表す。
ビデオ信号をコーディングする例示的な方法のフローチャートである。 ビデオコーディングのための例示的なコーディング・デコーディング（コーデック）・システムの概略図である。 例示的なビデオエンコーダを示す概略図である。 例示的なビデオデコーダを示す概略図である。 例示的な仮想参照デコーダ（HRD）を示す概略図である。 例示的な複数層ビデオシーケンスを示す概略図である。 例示的なビットストリームを示す概略図である。 例示的なビデオコーディング装置の概略図である。 スケーラブルネスティングSEIメッセージを含む接尾辞補足拡張情報（SEI）メッセージを適用することによって、ビデオシーケンスをビットストリームにエンコードする例示的な方法のフローチャートである。 スケーラブルネスティングSEIメッセージを含む接尾辞SEIメッセージを使用するビットストリームからビデオシーケンスをデコードする例示的な方法のフローチャートである。 スケーラブルネスティングSEIメッセージを含む接尾辞SEIメッセージを用いるビットストリームを用いてビデオシーケンスをコーディングするための例示的なシステムの概略図である。
最初に、1つまたは複数の実施形態の例示的な実装態様が以下に提供されるが、開示さ
れたシステムおよび／または方法は、現在知られているか存在するかにかかわらず、任意
の数の技術を使用して実装され得ることを理解されたい。本開示は、本明細書において図
示または記載される例示的な設計および実装形態を含む、以下に示される例示的な実装形
態、図面、および技法に決して限定されるべきでなく、それらの均等物の全範囲とともに
添付の特許請求の範囲の範囲内で修正されてよい。
以下の用語は、本明細書で反対の文脈で使用されない限り、次のように定義される。具
体的に述べると、以下の定義は本開示をさらに明確にすることを意図している。しかしな
がら、用語は、異なる文脈では異なって記載される場合がある。したがって、以下の定義
は補助的なものとみなされるべきであり、本明細書でかかる用語に与えられている説明の
他の定義を制限するものと考えられるべきではない。
ビットストリームは、エンコーダとデコーダとの間で送信するために圧縮されたビデオ
データを含む、一連のビットである。エンコーダは、ビデオデータを圧縮してビットスト
リームにするために、エンコーディングプロセスを使用するように構成された装置である
。デコーダは、表示用にビットストリームからビデオデータを復元するために、デコーデ
ィングプロセスを使用するように構成された装置である。ピクチャは、フレームまたはそ
のフィールドを生成するルーマサンプルのアレイおよび／またはクロマサンプルのアレイ
である。スライスは、単一のネットワーク抽象化層（NAL）ユニットに排他的に含まれる
整数個の完全なタイル、または整数個のピクチャの連続する完全なコーディング・ツリー
・ユニット（CTU）行（例えば、タイル内）である。説明を明確にするために、エンコー
ドまたはデコードされたピクチャを現在のピクチャと呼ぶことができる。コーディングさ
れたピクチャは、アクセスユニット（AU）内のNALユニットヘッダ層識別子（nuh＿layer
＿id）の特定の値を有するビデオコーディング層（VCL）NALユニットを備え、ピクチャの
すべてのコーディング・ツリー・ユニット（CTU）を含むピクチャのコーディングされた
表現である。デコードされたピクチャは、コーディングされたピクチャにデコード処理を
施して生成されたピクチャである。
AUは、異なる層に含まれ、デコードされたピクチャバッファ（DPB）からの出力のため
に同じ時間に関連付けられた、コーディングされたピクチャのセットである。NALユニッ
トは、生バイト・シーケンス・ペイロード（RBSP）の形態のデータ、データの型の指示を
含むシンタックス構造であり、エミュレーション防止バイトを用いて所望に応じて散在さ
れる。VCL NALユニットは、ピクチャのコード化スライスなどのビデオデータを含むよう
にコーディングされたNALユニットである。非VCL NALユニットは、ビデオデータのデコー
ド、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／または
パラメータなどの非ビデオデータを含むNALユニットである。NALユニット型（nal＿unit
＿type）は、NALユニットに含まれるデータの型を示す、NALユニットに含まれるシンタッ
クス要素である。層は、層IDおよび関連付けられた非VCL NALユニットによって示される
ように、指定された特性（例えば、共通解像度、フレームレート、画像サイズなど）を共
有するVCL NALユニットのセットである。nuh＿layer＿idは、NALユニットを含む層の識別
子を指定するシンタックス要素である。出力層セット（OLS）は、1以上の層が出力層とし
て指定される層の集合である。
仮想参照デコーダ（HRD）は、エンコーディングプロセスによって生成されたビットス
トリームの変動性をチェックして指定された制約との適合性を検証するエンコーダ上で動
作するデコーダモデルである。ビットストリーム適合性試験は、エンコードされたビット
ストリームが多用途ビデオコーディング（VVC）などの規格に準拠しているかどうかを判
定するための試験である。HRDパラメータは、HRDの動作条件を初期化および／または定義
するシンタックス要素である。HRDパラメータは、補足拡張情報（SEI）メッセージおよび
／またはビデオ・パラメータ・セット（VPS）に含まれ得る。
SEIメッセージは、デコードされたピクチャ内のサンプルの値を決定するために、デコ
ーディングプロセスで必要とされない情報を伝達する、特定のセマンティクスを有するシ
ンタックス構造である。SEI NALユニットは、1つまたは複数のSEIメッセージを含むNALユ
ニットである。特定のSEI NALユニットは、カレントSEI NALユニットと称されてもよい。
スケーラブルネスティングSEIメッセージは、1つまたは複数の出力層セット（OLS）また
は1つまたは複数の層に対応する複数のSEIメッセージを含むメッセージである。接頭辞SE
Iメッセージは、1つ以上の後続のNALユニットに適用されるSEIメッセージである。prefix
SEI NAL unit type（PREFIX＿SEI＿NUT）は、対応するSEIメッセージが接頭辞SEIメッセ
ージであることを表す。接尾辞SEIメッセージは、1つまたは複数の先行するNALユニット
に適用されるSEIメッセージである。suffix SEI NAL unit type（SUFFIX＿SEI＿NUT）は
、対応するSEIメッセージが接尾辞SEIメッセージであることを表す。ペイロード型（payl
oadType）は、SEIメッセージに含まれるデータの種類を表すシンタックス要素であり、SE
I NALユニットに含まれるSEIメッセージの種類を表す。バッファリング期間（BP）SEIメ
ッセージは、コードされたピクチャバッファ（CPB）を管理するためにHRDを初期化するた
めのHRDパラメータを含むSEIメッセージの一種である。ピクチャタイミング（PT）SEIメ
ッセージは、CPBおよび／またはデコードされたピクチャバッファ（DPB）におけるAUのた
めの配信情報を管理するためのHRDパラメータを含むSEIメッセージの型である。デコード
ユニット情報（DUI）SEIメッセージは、CPBおよび／またはDPBにおけるDUの配信情報を管
理するためのHRDパラメータを含むSEIメッセージの一種である。デコードされたピクチャ
ハッシュSEIメッセージは、デコードされたピクチャのサンプル値から導出されたチェッ
クサムを含むSEIメッセージの一種である。デコードされたピクチャハッシュSEIメッセー
ジは、デコーダにおいてピクチャが正しく受信され、デコードされたか否かを検出するた
めに使用され得る。スケーラブルネスティングSEIメッセージは、スケーラブルにネスト
されたSEIメッセージのセットである。スケーラブルにネストされたSEIメッセージは、ス
ケーラブルネスティングSEIメッセージ内にネストされたSEIメッセージである。スケーラ
ブルネスティング層id（layer＿id［i］）は、スケーラブルにネストされたSEIメッセー
ジが適用される第i層のnuh＿layer＿id値を指定する、スケーラブルネスティングSEIメッ
セージ内のシンタックス要素である。
ピクチャパラメータセット（PPS）は、各ピクチャヘッダに見られるシンタックス要素
によって決定されるコーディングされたピクチャ全体に適用されるシンタックス要素を含
むシンタックス構造である。ピクチャヘッダは、コーディングされたピクチャの全スライ
スに適用されるシンタックス要素を含む、シンタックス構造である。スライスヘッダは、
スライスで表されるタイル内のすべてのタイルまたはCTU行に関するデータ要素を含むコ
ーディングされたスライスの一部である。コーディングされたビデオシーケンスは、1つ
または複数のコーディングされたピクチャのセットである。デコードされたビデオシーケ
ンスは、1つまたは複数のデコードされたピクチャのセットである。
本明細書では、以下の頭字語、すなわち、アクセスユニット（AU）、コーディング・ツ
リー・ブロック（CTB）、コーディング・ツリー・ユニット（CTU）、コーディングユニッ
ト（CU）、コーディングされた層ビデオシーケンス（CLVS）、コーディングされたビデオ
シーケンス開始（CLVSS）、コーディングされたビデオシーケンス（CVS）、コーディング
されたビデオシーケンス開始（CVSS）、ジョイント・ビデオ・エキスパート・チーム（JV
ET）、仮想参照デコーダHRD、動き制約タイルセット（MCTS）、最大転送ユニット（MTU）
、ネットワーク抽象化層（NAL）、出力層セット（OLS）、ピクチャ・オーダ・カウント（
POC）、ランダム・アクセスポイント（RAP）、生バイト・シーケンス・ペイロード（RBSP
）、シーケンス・パラメータ・セット（SPS）、ビデオ・パラメータ・セット（VPS）、多
用途ビデオコーディング（VVC）が使用される。
データ損失を最小にしながらビデオファイルのサイズを縮小するために、多くのビデオ
圧縮技法を使用することができる。例えば、ビデオ圧縮技法は、ビデオシーケンスにおけ
るデータ冗長性を低減または除去するために、空間（例えば、イントラピクチャ）予測お
よび／または時間（例えば、インターピクチャ）予測を実行することを含み得る。ブロッ
クベースのビデオコーディングでは、ビデオスライス（例えば、ビデオピクチャまたはビ
デオピクチャの一部）はビデオブロックに区分けされてよく、ビデオブロックは、ツリー
ブロック、コーディング・ツリー・ブロック（CTB）、コーディング・ツリー・ユニット
（CTU）、コーディングユニット（CU）、および／または、コーディングノードとも称さ
れてよい。ピクチャのイントラ符号化（I）スライス内のビデオブロックは、同じピクチ
ャ内の隣り合うブロックにおける、参照サンプルに対する空間予測を使用してコーディン
グされる。ピクチャのインター符号化片方向予測（P）または双方向予測（B）スライス内
のビデオブロックは、同じピクチャ内の隣り合うブロックにおける、参照サンプルに対す
る空間予測、または他の参照ピクチャにおける、参照サンプルに対する時間予測を使用し
てコーディングされてよい。ピクチャはフレームおよび／または画像と称されてもよく、
参照ピクチャはフレームおよび／または参照画像と称されてよい。空間予測または時間予
測は、画像ブロックを表す予測ブロックになる。残余データは、元の画像ブロックと予測
ブロックとの画素差を表す。したがって、インター符号化ブロックは、予測ブロックを形
成する参照サンプルのブロックを指し示す動きベクトルと、符号化ブロックと予測ブロッ
クとの差分を示す残余データとに従ってエンコードされる。イントラ符号化ブロックは、
イントラコーディングモードと残余データとに従ってエンコードされる。さらに圧縮する
ために、残余データは、画素領域から変換領域に変換されてよい。これらは残余変換係数
になり、量子化され得る。量子化された変換係数は、最初は二次元配列で配置されてよい
。量子化された変換係数は、変換係数の一次元ベクトルを生成するためにスキャンされ得
る。さらなる圧縮を実現するために、エントロピーコーディングが適用される場合がある
。かかるビデオ圧縮技法は、以下でより詳細に説明される。
エンコードされたビデオを正確にデコードできるように、ビデオは、対応するビデオコ
ーディング標準に従ってエンコードされデコードされる。ビデオコーディング標準には、
国際電気通信連合（ITU）標準化部門（ITU－T）H．261、国際標準化機構／国際電気標準
会議（ISO／IEC）動画専門家グループ（MPEG）－1パート2、ITU－T H．262またはISO／IE
C MPEG－2パート2、ITU－T H．263、ISO／IEC MPEG－4パート2、ITU－T H．264またはISO
／IEC MPEG－4パート10としても知られる高度ビデオコーディング（AVC）、およびITU－T
H．265またはMPEG－Hパート2としても知られる高効率ビデオコーディング（HEVC）が含
まれる。AVCは、スケーラブルビデオコーディング（SVC）、マルチビュービデオコーディ
ング（MVC）、マルチビュービデオコーディングプラス深度（MVC＋D）、および三次元（3
D）AVC（3D－AVC）などの拡張を含む。HEVCは、スケーラブルHEVC（SHVC）、マルチビュ
ーHEVC（MV－HEVC）、および3D HEVC（3D－HEVC）などの拡張を含む。ITU－TおよびISO／
IECの合同ビデオ専門家チーム（JVET）は、多用途ビデオコーディング（VVC）と称される
ビデオコーディング標準の開発に着手した。VVCは、JVET－O 2001－v14を含むワーキング
ドラフト（WD）に含まれる。
いくつかのビデオ・コーディング・システムは、補足拡張情報（SEI）メッセージを用
いる。SEIメッセージは、デコードされたピクチャ内のサンプルの値を決定するためにデ
コードプロセスによって必要とされない情報を含む。例えば、SEIメッセージは、規格に
準拠しているかどうかビットストリームをチェックするために使用されるパラメータを含
み得る。さらに、ビデオ・コーディング・システムは、ピクチャを複数の層および／また
は出力層セット（OLS）にエンコードすることができる。スケーラブルネスティングSEIメ
ッセージを使用して、接頭辞SEIメッセージを層および／またはOLSに相関させることがで
きる。いくつかのビデオ・コーディング・システムは、接尾辞SEIメッセージも使用する
が、スケーラブルネスティングSEIメッセージを接尾辞SEIメッセージで使用することはで
きない。様々な型のSEIメッセージは、接頭辞SEIメッセージまたは接尾辞SEIメッセージ
のいずれかとして含めることができる。しかしながら、デコードされたピクチャハッシュ
SEIメッセージのようなある型のSEIメッセージは、接尾辞SEIメッセージとしての使用に
制限される。そのため、デコードされたピクチャハッシュSEIメッセージなどの特定のSEI
メッセージは、そのようなシステムにおけるスケーラブルネスティングSEIメッセージに
おいてコード化することができない。
本明細書で開示されるのは、スケーラブルネスティングSEIメッセージにおいて、例え
ばデコードされたピクチャハッシュSEIメッセージのようなあるSEIメッセージをコーディ
ングするためのメカニズムである。具体的には、接尾辞SEIメッセージは、スケーラブル
ネスティングSEIメッセージと併せて使用されることが可能にされる。別の言い方をすれ
ば、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）と等しいNALユニット型（nal＿unit
＿type）を有するSEI NALユニットは、スケーラブルネスティングSEIメッセージを含み得
る。このようにして、デコードされたピクチャハッシュSEIメッセージなどの接尾辞SEIメ
ッセージは、スケーラブルネスティングSEIメッセージとして、および／またはスケーラ
ブルネスティングSEIメッセージに含まれるスケーラブルにネストされたSEIメッセージと
して使用することができる。これにより、指定された層および／またはOLSに適用しなが
ら、接尾辞SEIメッセージをネストすることができる。その結果、エンコーダおよびデコ
ーダの機能が向上する。さらに、コーディング効率を高めることができ、これにより、エ
ンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワー
クシグナリングリソースの使用が低減される。
図1は、ビデオ信号のコーディングの例示的な動作方法100のフローチャートである。具
体的に述べると、ビデオ信号はエンコーダでエンコードされる。エンコーディングプロセ
スは、ビデオファイルのサイズを減じる様々な手法を用いてビデオ信号を圧縮する。ファ
イルのサイズが小さければ、圧縮されたビデオファイルをユーザへ伝送し、これにともな
う帯域幅オーバーヘッドを減らすことが可能となる。その後、デコーダは圧縮されたビデ
オファイルをデコードし、エンドユーザに向けて表示するため元のビデオ信号を復元する
。デコーダでビデオ信号を着実に復元することを可能にするため、デコーディングプロセ
スは通常、エンコーディングプロセスを反映する。
ステップ101では、ビデオ信号がエンコーダに入力される。例えば、ビデオ信号はメモ
リに記憶された圧縮されていないビデオファイルであってよい。もう一つの例として、ビ
デオカメラなどのビデオキャプチャ装置によってビデオファイルがキャプチャされ、ビデ
オのライブストリーミングを支援するためエンコードされてもよい。ビデオファイルはオ
ーディオ成分とビデオ成分の両方を含むことがある。ビデオ成分は一連の画像フレームを
含み、これが連続して見られると、視覚的な動きの印象を与える。フレームは画素を含み
、画素は、ここでルマ成分（またはルマサンプル）と呼ばれる光と、クロマ成分（または
色サンプル）と呼ばれる色とによって表される。いくつかの例では、三次元閲覧を支援す
るため、フレームがデプス値を含むこともある。
ステップ103では、ビデオがブロックに区分けされる。区分けは、各フレーム内の画素
を圧縮のために正方形および／または長方形のブロックに細分することを含む。例えば、
高効率ビデオコーディング（HEVC）（H．265およびMPEG－Hパート2としても知られている
）では、フレームは、まずコーディング・ツリー・ユニット（CTU）に細分化でき、これ
は所定のサイズ（例えば、64画素×64画素）のブロックである。CTUはルマおよびクロマ
の両方のサンプルを含む。コーディングツリーを使ってCTUをブロックに分割し、その後
、さらなるエンコーディングを支援する構成が達成されるまでブロックを再帰的に細分す
ることができる。例えば、フレームのルマ成分は、個々のブロックが比較的均一な照明値
を含むようになるまで細分されてよい。さらに、フレームのクロマ成分は、個々のブロッ
クが比較的均一な色値を含むようになるまで細分されてよい。したがって、区分け手法は
ビデオフレームの内容に応じて異なる。
ステップ105では、ステップ103で区分けされた画像ブロックを様々な圧縮手法を用いて
圧縮する。例えば、インター予測および／またはイントラ予測が使われてよい。インター
予測は、一般的なシーンの中の物体が連続するフレームに現れる傾向があるという事実を
利用するようになっている。したがって、参照フレーム内の物体を表すブロックは、近接
するフレームで繰り返し記述される必要はない。具体的に述べると、机などの物体は複数
のフレームにわたって一定の位置にとどまることがある。それ故、机は一度記述され、近
接するフレームは参照フレームを参照できる。パターンマッチング手法を用いることで、
複数のフレームにわたって物体を整合させることができる。さらに、例えば物体の動きや
カメラの動きにより、複数のフレームにわたって動く物体が表されることがある。個別の
一例として、ビデオは複数のフレームにわたって画面を横切る自動車を表示することがあ
る。このような動きは動きベクトルを使って記述できる。動きベクトルは、或るフレーム
内の或る物体の座標から参照フレーム内の当該物体の座標までのオフセットを提供する二
次元ベクトルである。このため、インター予測は、現在フレーム内の画像ブロックを、参
照フレーム内の対応するブロックからのオフセットを示す1組の動きベクトルとしてエン
コードできる。
イントラ予測は一般的なフレーム内のブロックをエンコードする。イントラ予測は、ル
マ成分とクロマ成分がフレームの中で群がる傾向があるという事実を利用する。例えば、
木の一部分にある緑のパッチは、同様の緑のパッチの近くに位置する傾向がある。イント
ラ予測は、複数の方向予測モード（例えばHEVCで33）、平面モード、およびダイレクトカ
レント（DC）モードを使用する。方向モードは、現在ブロックが対応する方向で隣接ブロ
ックのサンプルと同様／同じであることを指示する。平面モードは、行／列（例えば平面
）沿いの一連のブロックを、行のエッジの隣接ブロックに基づいて補間できることを指示
する。平面モードは、実際には、変化する値の比較的一定のスロープを使うことによって
、行／列にわたる光／色の滑らかな遷移を示す。DCモードは境界平滑化に使われ、ブロッ
クが、方向予測モードの角度方向と関連するすべての隣接ブロックのサンプルと関連する
平均値と同様／同じであることを指示する。したがって、イントラ予測ブロックは、実際
の値の代わりに様々な関係予測モード値として画像ブロックを表すことができる。さらに
、インター予測ブロックは、実際の値の代わりに動きベクトル値として画像ブロックを表
すことができる。いずれの場合でも、予測ブロックは場合によっては画像ブロックを正確
に表さないことがある。差異は残余ブロックに保管される。ファイルをさらに圧縮するた
め、残余ブロックには変換が適用できる。
ステップ107では、様々なフィルタリング技法が適用される。HEVCではインループフィ
ルタリング方式に従ってフィルタが適用される。上述したブロックに基づく予測は、デコ
ーダでブロック状の画像を作ることがある。さらに、ブロックに基づく予測方式はブロッ
クをエンコードし、エンコードされたブロックを後ほど参照ブロックとして使用するため
復元することができる。インループフィルタリング方式は、ノイズ抑制フィルタ、デブロ
ッキングフィルタ、適応型ループフィルタ、およびサンプル適応型オフセット（SAO）フ
ィルタをブロック／フレームに繰り返し適用する。これらのフィルタはそのようなブロッ
キングアーチファクトを軽減するため、エンコードされたファイルは正確に復元できる。
さらに、これらのフィルタは復元された参照ブロックでアーチファクトを軽減するため、
復元された参照ブロックに基づいてエンコードされる後続のブロックでさらなるアーチフ
ァクトが発生する見込みは少なくなる。
ビデオ信号が区分けされ、圧縮され、フィルタされたら、できあがったデータがステッ
プ109にてビットストリームでエンコードされる。このビットストリームは上述したデー
タを含む他、デコーダでの適切なビデオ信号復元を支援するにあたって望ましいシグナリ
ングデータを含む。例えば、かかるデータは、区分データ、予測データ、残余ブロック、
およびデコーダにコーディング指示を提供する様々なフラグを含み得る。ビットストリー
ムは、要求に応じてデコーダへ伝送できるようにメモリに保管されてよい。ビットストリ
ームはまた、複数のデコーダに向けてブロードキャストおよび／またはマルチキャストさ
れてもよい。ビットストリームの作成は繰り返し作業である。したがって、ステップ101
、103、105、107、および109は、多数のフレームおよびブロックにわたって連続的に、お
よび／または同時に、行われてよい。図1に示された順序は説明を明瞭かつ平易にするた
めに提示されており、ビデオコーディングプロセスを特定の順序に限定することを意図す
るものではない。
デコーダはビットストリームを受け取り、ステップ111でデコーディングプロセスを開
始する。具体的に述べると、デコーダはエントロピーデコーディング方式を用いてビット
ストリームを対応するシンタックスデータとビデオデータに変換する。デコーダはステッ
プ111で、ビットストリームからのシンタックスデータを使ってフレームの区分を判断す
る。区分けはステップ103におけるブロック区分けの結果に整合しなければならない。こ
れより、ステップ111で使われるエントロピーエンコーディング／デコーディングを説明
する。エンコーダは、入力画像における値の空間的配置に基づいて数通りの選択肢からブ
ロック区分け方式を選択するなど、圧縮過程で多数の選択を行う。ぴったりの選択肢を伝
えるため、多数のビンを使用することがある。ここで使われるビンは、変数として扱われ
る2進値である（例えば、状況に応じて変わり得るビット値）。エントロピーコーディン
グでは、エンコーダはある特定の状況で明らかに成り立たないオプションを破棄し、許容
可能オプションからなる集合を残すことができる。その後、それぞれの許容可能オプショ
ンには符号語が割り当てられる。符号語の長さは許容可能オプションの数に基づいている
（例えば、2つのオプションに対し1ビン、3乃至4つのオプションに対し2ビンなど）。そ
の後、エンコーダは選択されたオプションの符号語をエンコードする。符号語は、すべて
の可能なオプションからなる大きい集合からの選択を一意に指示するのに対し、許容可能
オプションからなる小さいサブセットからの選択を一意に指示する場合に所望の大きさに
なるため、この方式は符号語のサイズを縮小する。その後、デコーダは、エンコーダと同
様に許容可能オプションからなる集合を割り出すことによって選択をデコードする。デコ
ーダは、許容可能オプションからなる集合を割り出すことによって符号語を読み取り、エ
ンコーダによって行われた選択を割り出すことができる。
ステップ113では、デコーダがブロックデコーディングを行う。具体的に述べると、デ
コーダは逆変換を用いて残余ブロックを生成する。その後、デコーダは残余ブロックと対
応する予測ブロックを使用し、区分けに基づいて画像ブロックを復元する。予測ブロック
は、ステップ105においてエンコーダで生成されたイントラ予測ブロックとインター予測
ブロックの両方を含み得る。その後、復元された画像ブロックは、ステップ111で判断さ
れた区分けデータに基づいて復元されたビデオ信号のフレームの中に配置される。ステッ
プ113のシンタックスも上述したエントロピーコーディングによりビットストリームで伝
達されてよい。
ステップ115では、エンコーダにおけるステップ107と同様に復元されたビデオ信号のフ
レームに対してフィルタリングが行われる。ブロッキングアーチファクトを除去するため
、例えばノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、および
SAOフィルタをフレームに適用できる。フレームがフィルタされたら、ステップ117でビデ
オ信号をエンドユーザによる閲覧のためディスプレイへ出力できる。
図2は、ビデオコーディングのための例示的なコーディングおよびデコーディング（コ
ーデック）システム200の概略図である。具体的に述べると、コーデックシステム200は動
作方法100の実施を支援する機能を提供する。エンコーダとデコーダの両方で使われるコ
ンポーネントを描くため、コーデックシステム200は概括されている。コーデックシステ
ム200は動作方法100のステップ101および103に関して述べたようにビデオ信号を受け取り
、これを区分けし、その結果、区分けされたビデオ信号201が得られる。コーデックシス
テム200はその後、方法100のステップ105、107、および109に関して述べたようにエンコ
ーダとして機能する場合に、区分けされたビデオ信号201をコーディングされたビットス
トリームに圧縮する。コーデックシステム200は、デコーダとして機能する場合に、動作
方法100のステップ111、113、115、および117に関して述べたように、ビットストリーム
から出力ビデオ信号を生成する。コーデックシステム200は、総合コーダ制御コンポーネ
ント211、変換スケーリング量子化コンポーネント213、イントラピクチャ推定コンポーネ
ント215、イントラピクチャ予測コンポーネント217、動き補償コンポーネント219、動き
推定コンポーネント221、スケーリング逆変換コンポーネント229、フィルタ制御解析コン
ポーネント227、インループフィルタコンポーネント225、デコードされたピクチャバッフ
ァコンポーネント223、およびヘッダフォーマッティング・コンテキスト適応型バイナリ
算術コーディング（CABAC）コンポーネント231を含む。かかるコンポーネントは図示され
た通りに結合されている。図2で、黒い線はエンコード／デコードされるデータの動きを
示しており、破線は他のコンポーネントの動作を制御する制御データの動きを示している
。コーデックシステム200のコンポーネントはどれもエンコーダ内に存在してよい。デコ
ーダはコーデックシステム200のコンポーネントのサブセットを含んでよい。例えば、デ
コーダは、イントラピクチャ予測コンポーネント217、動き補償コンポーネント219、スケ
ーリング逆変換コンポーネント229、インループフィルタコンポーネント225、およびデコ
ードされたピクチャバッファコンポーネント223を含
んでよい。これよりこれらのコンポーネントを説明する。
区分けされたビデオ信号201は、コーディングツリーによって画素からなるブロックに
区分けされたキャプチャ済みビデオシーケンスである。コーディングツリーは様々なスプ
リットモードを用いて画素からなるブロックをより小さい画素からなるブロックに細分す
る。その後、これらのブロックはより小さいブロックにさらに細分できる。ブロックはコ
ーディングツリー上でノードと呼ばれることがある。大きい親ノードは小さい子ノードに
スプリットされる。ノードが細分される回数はノード／コーディングツリーの深度と呼ば
れる。分割されたブロックは、場合によってはコーディングユニット（CU）に含まれる可
能性がある。例えば、CUは、対応するCUのシンタックス命令とともに、ルマブロック、（
1つまたは複数の）赤差のクロマ（Cr）ブロック、および（1つまたは複数の）青差のクロ
マ（Cb）ブロックを含む、CTUのサブ部分であってもよい。スプリットモードは、バイナ
リツリー（BT）、トリプルツリー（TT）、およびクアドツリー（QT）を含み、これらのモ
ードは、使用するスプリットモードに応じて形が異なる2つ、3つ、または4つの子ノード
にノードを区分けするために使われる。区分けされたビデオ信号201は、圧縮のため、総
合コーダ制御コンポーネント211、変換スケーリング量子化コンポーネント213、イントラ
ピクチャ推定コンポーネント215、フィルタ制御解析コンポーネント227、および動き推定
コンポーネント221へ転送される。
総合コーダ制御コンポーネント211は、用途の制約条件に応じてビデオシーケンスの画
像をビットストリームにコーディングすることに関係する決定を下すように構成される。
例えば、総合コーダ制御コンポーネント211はビットレート／ビットストリームサイズと
復元品質との最適化を管理する。そのような決定は、使用できるストレージ空間／帯域幅
と画像の解像度要求に基づいて下されてよい。総合コーダ制御コンポーネント211はまた
、バッファのアンダーラン問題とオーバーラン問題を軽減するため、伝送速度を踏まえて
バッファの使用状況を管理する。これらの問題を管理するため、総合コーダ制御コンポー
ネント211は、他のコンポーネントによる区分けと予測とフィルタリングを管理する。例
えば、総合コーダ制御コンポーネント211は、解像度を上げて帯域幅使用を増大させるた
めに圧縮の複雑度を動的に増大させることができ、あるいは解像度と帯域幅使用を低下さ
せるために圧縮の複雑度を低下させることができる。それ故、総合コーダ制御コンポーネ
ント211はコーデックシステム200の他のコンポーネントを制御することで、ビデオ信号の
復元品質とビットレート問題のバランスをとる。総合コーダ制御コンポーネント211は、
他のコンポーネントの動作を制御する制御データを生成する。制御データはまた、デコー
ダでのデコードのためのパラメータをシグナリングするため、ヘッダーフォーマッティン
グCABACコンポーネント231へ転送されてビットストリームでエンコードされる。
区分けされたビデオ信号201は、インター予測のため、動き推定コンポーネント221と動
き補償コンポーネント219にも送信される。区分けされたビデオ信号201のフレームまたは
スライスは複数のビデオブロックに分割できる。動き推定コンポーネント221と動き補償
コンポーネント219は、時間予測を提供するため、1つ以上の参照フレーム内の1つ以上の
ブロックを基準にして受信したビデオブロックのインター予測コーディングを行う。コー
デックシステム200は、例えばビデオデータのブロックごとに適切なコーディングモード
を選択するために、複数のコーディング工程を実行できる。
動き推定コンポーネント221と動き補償コンポーネント219は高度に一体化されてもよい
が、概念的な目的のため別々に示されている。動き推定コンポーネント221によって行わ
れる動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスであ
る。動きベクトルは、例えば、予測ブロックに対するコーディングされた物体の移動を示
すことができる。予測ブロックとは、画素差の観点から、コーディングされるブロックに
よく一致することが分かっているブロックである。予測ブロックは参照ブロックとも称さ
れてよい。かかる画素差は、絶対差の和（SAD）、二乗差の和（SSD）、またはその他の差
指標によって割り出すことができる。HEVCは、CTU、コーディング・ツリー・ブロック（C
TB）、およびCUを含むいくつかのコーディングされた物体を使用する。例えば、CTUはCTB
に分割でき、その後CTBは、CUに含めるためにCBに分割することができる。CUは、予測デ
ータを含む予測ユニットとして、および／またはCUの変換された残余データを含む変換ユ
ニット（TU）として、エンコードできる。動き推定コンポーネント221は、レート歪み最
適化プロセスの一部としてレート歪み解析を用いることによって動きベクトル、予測ユニ
ット、およびTUを生成する。例えば、動き推定コンポーネント221は、現在ブロック／フ
レームについて複数の参照ブロック、複数の動きベクトルなどを割り出すことができ、最
良のレート歪み特性を有する参照ブロック、動きベクトルなどを選択できる。最良のレー
ト歪み特性とは、ビデオ復元の質（例えば、圧縮によるデータ損失量）とコーディング効
率（例えば、最終的なエンコーディングのサイズ）とのバランスをとるものである。
いくつかの例において、コーデックシステム200は、デコードされたピクチャバッファ
コンポーネント223に保管された参照ピクチャのサブ整数画素位置の値を計算できる。例
えば、ビデオコーデックシステム200は、参照ピクチャの4分の1画素位置、8分の1画素位
置、またはその他の小数画素位置の値を補間できる。したがって、動き推定コンポーネン
ト221は全画素位置と小数画素位置を基準にして動き探索を行い、小数画素精度の動きベ
クトルを出力できる。動き推定コンポーネント221は、予測ユニットの位置を参照ピクチ
ャの予測ブロックの位置に比較することによって、インター符号化スライス内のビデオブ
ロックの予測ユニットについて動きベクトルを計算する。動き推定コンポーネント221は
、計算した動きベクトルを動きデータとしてヘッダーフォーマッティングCABACコンポー
ネント231にエンコーディングのため出力し、動き補償コンポーネント219に動きを出力す
る。
動き補償コンポーネント219によって行われる動き補償では、動き推定コンポーネント2
21によって割り出された動きベクトルに基づいて予測ブロックを取得または生成できる。
繰り返しになるが、いくつかの例において、動き推定コンポーネント221と動き補償コン
ポーネント219は機能的に一体化されてもよい。現在ビデオブロックの予測ユニットの動
きベクトルを受け取った動き補償コンポーネント219は、動きベクトルが指し示す予測ブ
ロックの位置を特定できる。その後、コーディングされる現在ビデオブロックの画素値か
ら予測ブロックの画素値を引いて画素差の値を形成することによって、残余ビデオブロッ
クが形成される。通常、動き推定コンポーネント221はルマ成分について動き推定を行い
、動き補償コンポーネント219はルマ成分に基づいて計算された動きベクトルをクロマ成
分とルマ成分の両方に使用する。予測ブロックと残余ブロックは変換スケーリング量子化
コンポーネント213へ転送される。
区分けされたビデオ信号201はイントラピクチャ推定コンポーネント215とイントラピク
チャ予測コンポーネント217にも送信される。動き推定コンポーネント221ならびに動き補
償コンポーネント219と同様、イントラピクチャ推定コンポーネント215とイントラピクチ
ャ予測コンポーネント217も高度に一体化されてよいが、概念的な目的のため別々に示さ
れている。イントラピクチャ推定コンポーネント215とイントラピクチャ予測コンポーネ
ント217は、上述したように、動き推定コンポーネント221と動き補償コンポーネント219
によってフレームからフレームにかけて行われるインター予測の代わりに、現在フレーム
内のブロックを基準にして現在ブロックをイントラ予測する。具体的に述べると、イント
ラピクチャ推定コンポーネント215は現在ブロックをエンコードするために使うイントラ
予測モードを決定する。いくつかの例において、イントラピクチャ推定コンポーネント21
5は複数の実証済みイントラ予測モードから現在ブロックをエンコードする適切なイント
ラ予測モードを選択する。その後、選択されたイントラ予測モードはエンコーディングの
ためヘッダーフォーマッティングCABACコンポーネント231へ転送される。
例えば、イントラピクチャ推定コンポーネント215は様々な実証済みイントラ予測モー
ドについてレート歪み解析を用いてレート歪み値を計算し、実証済みモードの中から最良
のレート歪み特性を有するイントラ予測モードを選択する。レート歪み解析は通常、エン
コードされたブロックと、エンコードされたブロックを生成するためにエンコードされた
元のエンコードされていないブロックとの歪み（または誤差）の量と、エンコードされた
ブロックの生成に使われたビットレート（例えばビット数）を割り出す。イントラピクチ
ャ推定コンポーネント215は様々なエンコードされたブロックの歪みとレートから比率を
計算することで、ブロックで最良のレート歪み値を示すイントラ予測モードがどれかを判
断する。加えて、イントラピクチャ推定コンポーネント215は、レート歪み最適化（RDO）
に基づくデプスモデリングモード（DMM）を使ってデプスマップのデプスブロックをコー
ディングするように構成されてよい。
イントラピクチャ予測コンポーネント217は、エンコーダ上で実行される場合は、イン
トラピクチャ推定コンポーネント215によって決定された選択済みのイントラ予測モード
に基づいて予測ブロックから残余ブロックを生成でき、あるいはデコーダ上で実行される
場合は、ビットストリームから残余ブロックを読み取る。残余ブロックは、行列として表
現される、予測ブロックと元のブロックとの値の差を含む。その後、残余ブロックは変換
スケーリング量子化コンポーネント213へ転送される。イントラピクチャ推定コンポーネ
ント215とイントラピクチャ予測コンポーネント217はルマ成分とクロマ成分の両方に作用
できる。
変換スケーリング量子化コンポーネント213は、残余ブロックをさらに圧縮するように
構成される。変換スケーリング量子化コンポーネント213は、離散コサイン変換（DCT）、
離散サイン変換（DST）、または概念的に類似する変換などの変換を残余ブロックに適用
し、残余変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、
サブバンド変換、または他種変換を用いることもできる。変換は、画素値領域から周波数
領域などの変換領域に残余情報を変換できる。変換スケーリング量子化コンポーネント21
3はまた、例えば周波数に基づいて、変換された残余情報をスケールするように構成され
る。かかるスケーリングでは残余情報にスケール率を適用し、これにより様々な周波数情
報が様々な粒度で量子化され、これにより、復元されたビデオの最終的な視覚的品質が左
右され得る。変換スケーリング量子化コンポーネント213はまた、ビットレートをさらに
低減するため、変換係数を量子化するように構成される。量子化プロセスは係数の一部ま
たは全部に関連するビットデプスを減らすことができる。量子化の度合いは量子化パラメ
ータを調節することによって変更できる。いくつかの例において、変換スケーリング量子
化コンポーネント213はその後、量子化された変換係数を含む行列のスキャンを行うこと
ができる。量子化された変換係数は、ビットストリームでエンコードされるため、ヘッダ
ーフォーマッティングCABACコンポーネント231へ転送される。
スケーリング逆変換コンポーネント229は、動き推定を支援するため、変換スケーリン
グ量子化コンポーネント213の逆の操作を適用する。スケーリング逆変換コンポーネント2
29は、逆スケーリング、変換、および／または量子化を適用することで、例えば、別の現
在ブロックの予測ブロックになり得る参照ブロックとして後ほど使用するため、残余ブロ
ックを画素領域で復元する。動き推定コンポーネント221および／または動き補償コンポ
ーネント219は、残余ブロックを、後のブロック／フレームの動き推定で使用する対応す
る予測ブロックに加えることによって、参照ブロックを計算できる。スケーリングと量子
化と変換の時に生じるアーチファクトを軽減するため、復元された参照ブロックにはフィ
ルタが適用される。さもないと、後続のブロックが予測される時に、そのようなアーチフ
ァクトによって予測が不正確になる（また、さらなるアーチファクトが生じる）可能性が
ある。
フィルタ制御解析コンポーネント227とインループフィルタコンポーネント225は、残余
ブロックに、および／または復元された画像ブロックに、フィルタを適用する。例えば、
元の画像ブロックを復元するため、スケーリング逆変換コンポーネント229からの変換済
み残余ブロックを、イントラピクチャ予測コンポーネント217および／または動き補償コ
ンポーネント219からの対応する予測ブロックに組み合わせることができる。その後、復
元された画像ブロックにフィルタを適用できる。いくつかの例において、フィルタは、代
わりに、残余ブロックに適用できる。図2の他のコンポーネントと同様、フィルタ制御解
析コンポーネント227とインループフィルタコンポーネント225は高度に一体化されてとも
に実行されてもよいが、概念的な目的のため別々に描かれている。復元された参照ブロッ
クに適用されるフィルタは特定の空間領域に適用され、かかるフィルタがどのように適用
されるかを調整する複数のパラメータを含む。フィルタ制御解析コンポーネント227は復
元された参照ブロックを解析することで、かかるフィルタが適用されるべき状況を判断し
、該当するパラメータを設定する。かかるデータは、エンコーディングのため、フィルタ
制御データとしてヘッダーフォーマッティングCABACコンポーネント231へ転送される。イ
ンループフィルタコンポーネント225はフィルタ制御データに基づいてかかるフィルタを
適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、SAOフィルタ、
および適応型ループフィルタを含み得る。かかるフィルタは、例に応じて空間／画素領域
（例えば、復元された画素ブロック上）で、または周波数領域で、適用されてよい。
エンコーダとして作動する場合、フィルタされた復元済み画像ブロック、残余ブロック
、および／または予測ブロックは、上述した動き推定で後ほど使用するためデコードされ
たピクチャバッファコンポーネント223に保管される。デコーダとして作動する場合、デ
コードされたピクチャバッファコンポーネント223は復元されフィルタされたブロックを
保管し、出力ビデオ信号の一部としてディスプレイへ転送する。デコードされたピクチャ
バッファコンポーネント223は、予測ブロック、残余ブロック、および／または復元済み
画像ブロックを保管できる何らかのメモリ装置であってよい。
ヘッダーフォーマッティングCABACコンポーネント231はコーデックシステム200の様々
なコンポーネントからデータを受信し、かかるデータをデコーダへ伝送するためコーディ
ングされたビットストリームにエンコードする。具体的に述べると、ヘッダーフォーマッ
ティングCABACコンポーネント231は、一般制御データやフィルタ制御データなどの制御デ
ータをエンコードするため、様々なヘッダーを生成する。さらに、イントラ予測および動
きデータを含む予測データ、ならびに量子化された変換係数データの形をとる残余データ
は、いずれもビットストリームでエンコードされる。最終的なビットストリームは、デコ
ーダが元の区分けされたビデオ信号201を復元するにあたって必要となる全情報を含んで
いる。かかる情報は、イントラ予測モードインデックステーブル（符号語マッピングテー
ブルとも呼ばれる）、様々なブロックのエンコーディングコンテキストの定義、最も可能
性の高いイントラ予測モードの指示、区分情報の指示なども含み得る。かかるデータは、
エントロピーコーディングを使用してエンコードされ得る。例えば、情報は、コンテキス
ト適応型可変長コーディング（CAVLC）、CABAC、シンタックス方式コンテキスト適応型バ
イナリ算術コーディング（SBAC）、確率区間区分エントロピー（PIPE）コーディング、ま
たは他のエントロピーコーディング技法を用いてエンコードできる。エントロピーコーデ
ィングの後には、コーディングされたビットストリームを別の装置（例えばビデオデコー
ダ）へ伝送でき、あるいは後ほど伝送したり取り出したりするため保管できる。
図3は、例示的なビデオエンコーダ300を示すブロック図である。ビデオエンコーダ300
は、コーデックシステム200のエンコーディング機能を実施するため、および／または動
作方法100のステップ101、103、105、107、および／または109を実施するために使われて
よい。エンコーダ300は入力ビデオ信号を区分けし、その結果として得られる区分けされ
たビデオ信号301は区分けされたビデオ信号201と実質的に同様である。その後、区分けさ
れたビデオ信号301はエンコーダ300のコンポーネントによって圧縮され、ビットストリー
ムにエンコードされる。
具体的に述べると、区分けされたビデオ信号301はイントラ予測のためイントラピクチ
ャ予測コンポーネント317へ転送される。イントラピクチャ予測コンポーネント317はイン
トラピクチャ推定コンポーネント215およびイントラピクチャ予測コンポーネント217と実
質的に同様であってよい。区分けされたビデオ信号301は、デコードされたピクチャバッ
ファコンポーネント323内の参照ブロックに基づくインター予測のため、動き補償コンポ
ーネント321にも転送される。動き補償コンポーネント321は動き推定コンポーネント221
および動き補償コンポーネント219と実質的に同様であってよい。イントラピクチャ予測
コンポーネント317と動き補償コンポーネント321からの予測ブロックと残余ブロックは、
残余ブロックの変換と量子化のため、変換量子化コンポーネント313へ転送される。変換
量子化コンポーネント313は変換スケーリング量子化コンポーネント213と実質的に同様で
あってよい。変換され量子化された残余ブロックと対応する予測ブロックは（関連制御デ
ータとともに）、ビットストリームへのコーディングのため、エントロピーコーディング
コンポーネント331へ転送される。エントロピーコーディングコンポーネント331はヘッダ
ーフォーマッティングCABACコンポーネント231と実質的に同様であってよい。
変換され量子化された残余ブロックおよび／または対応する予測ブロックは、動き補償
コンポーネント321によって使用される参照ブロックへの復元のため、変換量子化コンポ
ーネント313から逆変換量子化コンポーネント329にも転送される。逆変換量子化コンポー
ネント329はスケーリング逆変換コンポーネント229と実質的に同様であってよい。例によ
っては、残余ブロックおよび／または復元された参照ブロックにインループフィルタコン
ポーネント325内のインループフィルタも適用される。インループフィルタコンポーネン
ト325はフィルタ制御解析コンポーネント227およびインループフィルタコンポーネント22
5と実質的に同様であってよい。インループフィルタコンポーネント325はインループフィ
ルタコンポーネント225に関して述べた複数のフィルタを含んでよい。フィルタされたブ
ロックはその後、動き補償コンポーネント321によって参照ブロックとして使用されるた
め、デコードされたピクチャバッファコンポーネント323に保管される。デコードされた
ピクチャバッファコンポーネント323はデコードされたピクチャバッファコンポーネント2
23と実質的に同様であってよい。
図4は、例示的なビデオデコーダ400を示すブロック図である。ビデオデコーダ400は、
コーデックシステム200のデコーディング機能を実施するため、および／または動作方法1
00のステップ111、113、115、および／または117を実施するために使われてよい。デコー
ダ400は、例えばエンコーダ300から、ビットストリームを受信し、エンドユーザ向けの表
示のため、ビットストリームに基づいて復元された出力ビデオ信号を生成する。
ビットストリームはエントロピーデコーディングコンポーネント433によって受信され
る。エントロピーデコーディングコンポーネント433は、CAVLC、CABAC、SBAC、PIPEコー
ディング、またはその他のエントロピーコーディング技法など、エントロピーデコーディ
ング方式を実施するように構成される。例えば、エントロピーデコーディングコンポーネ
ント433はヘッダー情報を使用して、ビットストリームで符号語としてエンコードされる
追加データを解釈するためのコンテキストを提供できる。デコードされた情報は、一般制
御データ、フィルタ制御データ、区分情報、動きデータ、予測データ、残余ブロックから
の量子化された変換係数など、ビデオ信号のデコードにあたって望ましい情報を含む。量
子化された変換係数は残余ブロックへの復元のため逆変換量子化コンポーネント429へ転
送される。逆変換量子化コンポーネント429は逆変換量子化コンポーネント329と同様であ
ってよい。
復元された残余ブロックおよび／または予測ブロックは、イントラ予測操作に基づく画
像ブロックへの復元のためイントラピクチャ予測コンポーネント417へ転送される。イン
トラピクチャ予測コンポーネント417はイントラピクチャ推定コンポーネント215およびイ
ントラピクチャ予測コンポーネント217と同様であってよい。具体的に述べると、イント
ラピクチャ予測コンポーネント417は予測モードを使ってフレーム内で参照ブロックの位
置を特定し、その結果に残余ブロックを適用してイントラ予測された画像ブロックを復元
する。復元されたイントラ予測された画像ブロックおよび／または残余ブロックと対応す
るインター予測データは、インループフィルタコンポーネント425を経由してデコードさ
れたピクチャバッファコンポーネント423へ転送され、これらのコンポーネントはそれぞ
れデコードされたピクチャバッファコンポーネント223およびインループフィルタコンポ
ーネント225と実質的に同様であってよい。インループフィルタコンポーネント425は復元
済みの画像ブロック、残余ブロック、および／または予測ブロックをフィルタし、かかる
情報はデコードされたピクチャバッファコンポーネント423に保管される。復元済み画像
ブロックはインター予測のためデコードされたピクチャバッファコンポーネント423から
動き補償コンポーネント421へ転送される。動き補償コンポーネント421は動き推定コンポ
ーネント221および／または動き補償コンポーネント219と実質的に同様であってよい。具
体的に述べると、動き補償コンポーネント421は参照ブロックからの動きベクトルを使っ
て予測ブロックを生成し、その結果に残余ブロックを適用して画像ブロックを復元する。
そうして得られた復元済みブロックはまた、インループフィルタコンポーネント425を経
由してデコードされたピクチャバッファコンポーネント423へ転送されてもよい。デコー
ドされたピクチャバッファコンポーネント423はさらなる復元済み画像ブロックを引き続
き保管し、これらの復元済み画像ブロックは区分情報によってフレームに復元できる。か
かるフレームはシーケンスにも並べられてもよい。このシーケンスは復元された出力ビデ
オ信号としてディスプレイへ出力される。
図5は、例示的なHRD 500を示す概略図である。HRD 500は、コーデックシステム200およ
び／またはエンコーダ300などのエンコーダで使用されてよい。HRD 500は、ビットストリ
ームがデコーダ400などのデコーダに転送される前に、方法100のステップ109で生成され
たビットストリームを検査し得る。いくつかの例において、ビットストリームがエンコー
ドされると、ビットストリームはHRD 500を介して継続的に転送され得る。ビットストリ
ームの一部が関連する制約条件に適合しない場合、HRD 500は、エンコーダがビットスト
リームの対応部分を別のメカニズムで再エンコードするように、このような異常をエンコ
ーダに示すことができる。
HRD 500は、仮想ストリームスケジューラ（HSS）541を備える。HSS 541は、仮想配信メ
カニズムを実行するように構成されたコンポーネントである。仮想配信メカニズムは、HR
D 500に入力されるビットストリーム551のタイミングおよびデータフローに関して、ビッ
トストリームまたはデコーダの適合性を検査するために使用される。例えば、HSS 541は
、エンコーダから出力されたビットストリーム551を受信し、ビットストリーム551の適合
性テストのプロセスを管理し得る。個別の一例において、HSS 541は、コーディングされ
たピクチャがHRD 500を通過するレートを制御し、ビットストリーム551が不適合データを
含んでいないことを検証することができる。
HSS 541は、CPB 543にビットストリーム551を所定のレートで転送し得る。HRD 500は、
デコードユニット（DU）553でデータを管理することができる。DU 553は、アクセスユニ
ット（AU）、またはAUおよび関連する非ビデオコーディング層（VCL）ネットワーク抽象
化層（NAL）ユニットのサブセットである。具体的には、AUは、出力時刻に対応付けられ
た1以上のピクチャを含む。例えば、AUは、単一の層ビットストリームに単一のピクチャ
を含み、複数層ビットストリームに層ごとのピクチャを含み得る。AUの各ピクチャは、対
応するVCL NALユニットにそれぞれ含まれるスライスに分割され得る。したがって、DU 55
3は、1つもしくは複数のピクチャ、ピクチャの1つもしくは複数のスライス、またはそれ
らの組み合わせを含み得る。また、AU、ピクチャ、および／またはスライスをデコードす
るために使用されるパラメータは、非VCL NALユニットに含まれ得る。したがって、DU 55
3は、DU 553内のVCL NALユニットのデコードをサポートするために必要なデータを含む非
VCL NALユニットを含む。CPB 543は、HRD 500の先入先出バッファである。CPB 543は、デ
コード順にビデオデータを含むDU 553を含む。CPB 543は、ビットストリーム適合性検証
中に使用するためのビデオデータを記憶する。
CPB 543は、DU 553をデコードプロセスコンポーネント545に転送する。デコードプロセ
スコンポーネント545は、VVC標準に適合したコンポーネントである。例えば、デコードプ
ロセスコンポーネント545は、エンドユーザによって使用されるデコーダ400をエミュレー
トしてよい。デコードプロセスコンポーネント545は、例示的なエンドユーザデコーダで
達成できるレートでDU 553をデコードする。デコードプロセスコンポーネント545が、CPB
543のオーバーフローを防止するほど充分な速さでDU 553をデコードできない場合は、ビ
ットストリーム551は標準に適合しておらず、再エンコードが必要になる。
デコードプロセスコンポーネント545はDU 553をデコードし、デコード済みDU 555を生
成する。デコード済みDU 555は、デコードされたピクチャを含む。デコード済みDU 555は
、DPB 547に転送される。DPB 547は、デコード済みピクチャバッファコンポーネント223
、323、および／または423と実質的に同様であってよい。インター予測を支援する目的で
、デコード済みDU 555から取得された、参照ピクチャ556として使用するためにマーキン
グされたピクチャは、さらなるデコードを支援するために、デコードプロセスコンポーネ
ント545に戻される。DPB 547は、デコードされたビデオシーケンスを一連のピクチャ557
として出力する。ピクチャ557は、通常はエンコーダによってビットストリーム551にエン
コードされたピクチャを反映した、復元されたピクチャである。
ピクチャ557は、出力クロッピングコンポーネント549に転送される。出力クロッピング
コンポーネント549は、ピクチャ557に適合性クロッピングウィンドウを適用するように構
成される。これにより、出力クロッピング済みピクチャ559が得られる。出力クロッピン
グ済みピクチャ559は、完全に復元されたピクチャである。したがって、出力クロッピン
グ済みピクチャ559は、ビットストリーム551をデコードした時にエンドユーザが見ること
になるものを模倣している。このようにエンコーダは、エンコードが良好なことを確認す
るために、出力クロッピング済みピクチャ559を検討することができる。
HRD 500は、ビットストリーム551内のHRDパラメータに基づいて初期化される。例えば
、HRD 500は、VPS、SPS、および／またはSEIメッセージからHRDパラメータを読み取るこ
とができる。次いで、HRD 500は、そのようなHRDパラメータ内の情報に基づいてビットス
トリーム551に対して適合性試験動作を実行することができる。具体例として、HRD 500は
、HRDパラメータから1つまたは複数のCPB配信スケジュールを決定することができる。配
信スケジュールは、CPBおよび／またはDPBなどのメモリ位置との間のビデオデータの配信
のタイミングを指定する。したがって、CPB配信スケジュールは、CPB 543との間のAU、DU
553、および／またはピクチャの配信のタイミングを指定する。HRD 500は、CPB配信スケ
ジュールと同様のDPB 547のDPB配信スケジュールを使用することができることに留意され
たい。
ビデオは、様々なレベルのハードウェア能力を有するデコーダによって使用するために
、また様々なネットワーク条件のために、異なる層および／またはOLSにコーディングさ
れ得る。CPB配信スケジュールは、これらの問題を反映するように選択される。したがっ
て、上位層サブビットストリームは、最適なハードウェアおよびネットワーク条件に指定
され、したがって、上位層は、CPB 543内の大量のメモリおよびDPB 547に向かうDU 553の
転送のための短い遅延を使用する1つまたは複数のCPB配信スケジュールを受信することが
できる。同様に、下位層サブビットストリームは、限られたデコーダハードウェア能力お
よび／または劣悪なネットワーク条件に対して指定される。したがって、下位層は、CPB
543内の少量のメモリおよびDPB 547に向かうDU 553の転送のためのより長い遅延を使用す
る1つまたは複数のCPB配信スケジュールを受信することができる。その後、OLS、層、サ
ブ層、またはこれらの組み合わせは、結果として得られるサブビットストリームがサブビ
ットストリームに対して期待される条件下で正しくデコードされ得ることを保証するため
に、対応する配信スケジュールに従ってテストされ得る。したがって、ビットストリーム
551内のHRDパラメータは、CPB配信スケジュールを示すとともに、HRD 500がCPB配信スケ
ジュールを決定し、CPB配信スケジュールを対応するOLS、層、および／またはサブ層に相
関付けることを可能にするのに十分なデータを含み得る。
図6は、例示的な複数層ビデオシーケンス600を示す概略図である。複数層ビデオシーケ
ンス600は、例えば方法100に従って、コーデックシステム200および／またはエンコーダ3
00などのエンコーダによってエンコードされ、コーデックシステム200および／またはデ
コーダ400などのデコーダによってデコードされ得る。さらに、複数層ビデオシーケンス6
00は、HRD 500などのHRDによって規格適合性についてチェックすることができる。複数層
ビデオシーケンス600は、コーディングされたビデオシーケンス内の層の例示的なアプリ
ケーションを示すために含まれる。複数層ビデオシーケンス600は、層N 631および層N＋1
632などの複数の層を使用する任意のビデオシーケンスである。
一例では、複数層ビデオシーケンス600は、層間予測621を使用することができる。層間
予測621は、異なる層のピクチャ611、612、613、614とピクチャ615、616、617、618との
間に適用される。示されている例では、ピクチャ611，612，613および614は層N＋1 632の
一部であり、ピクチャ615，616，617および618は層N 631の一部である。層N 631および／
または層N＋1 632などの層は、すべて、同様のサイズ、品質、解像度、信号対雑音比、能
力などの特性の同様の値に関連付けられたピクチャのグループである。層は、同じ層IDお
よび関連する非VCL NALユニットを共有するVCL NALユニットのセットとして形式的に定義
され得る。VCL NALユニットは、ピクチャのコード化スライスなどのビデオデータを含む
ようにコーディングされたNALユニットである。非VCL NALユニットは、ビデオデータのデ
コード、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／ま
たはパラメータなどの非ビデオデータを含むNALユニットである。
図示の例では、層N＋1 632は、層N 631よりも大きい画像サイズに関連付けられている
。したがって、この例では、層N＋1 632のピクチャ611，612，613，614のピクチャサイズ
（例えば、より大きな高さおよび幅、したがってより多くのサンプル）は、層N 631のピ
クチャ615，616，617，618のピクチャサイズよりも大きい。しかしながら、このようなピ
クチャは、他の特性によって、層N＋1 632と層N 631との間で分離され得る。層N＋1 632
および層N 631の2つの層のみが示されているが、ピクチャのセットは、関連する特性に基
づいて任意の数の層に分離することができる。層N＋1 632および層N 631はまた、層IDに
よって示されてもよい。層IDは、ピクチャに関連付けられたデータの項目であり、ピクチ
ャが指示された層の一部であることを示す。したがって、各ピクチャ611～618は、どの層
N＋1 632または層N 631が対応するピクチャを含むかを示すために、対応する層IDに関連
付けられ得る。例えば、層IDは、NALユニット（例えば、層内のピクチャのスライスおよ
び／またはパラメータを含む）を含む層の識別子を指定するシンタックス要素であるnuh
＿layer＿id 635を含んでもよい。層N 631などの低品質／小画像サイズ／小ビットストリ
ームサイズに関連付けられた層は、一般に、下位層IDが割り当てられ、下位層と呼ばれる
。さらに、層N＋1 632などの、より高い品質／より大きい画像サイズ／より大きいビット
ストリームサイズに関連付けられた層には、一般に、より高い層IDが割り当てられ、上位
層と呼ばれる。
異なる層631－632内の画像611－618は、代替形態で表示されるように構成される。具体
的な例として、デコーダは、より小さいピクチャが望まれる場合、現在の表示時間におい
てピクチャ615をデコードおよび表示してもよく、または、デコーダは、より大きいピク
チャが望まれる場合、現在の表示時間においてピクチャ611をデコードおよび表示しても
よい。したがって、上位層N＋1 632におけるピクチャ611－614は、（ピクチャサイズの違
いにかかわらず）下位層N 631における対応するピクチャ615－618と実質的に同じ画像デ
ータを含む。具体的には、ピクチャ611はピクチャ615と実質的に同じ画像データを含み、
ピクチャ612はピクチャ616と実質的に同じ画像データを含む、などである。
ピクチャ611－618は、同じ層N 631またはN＋1 632内の他のピクチャ611－618を参照す
ることによってコーディングされ得る。同じ層内の別のピクチャを参照してピクチャをコ
ーディングすると、インター予測623が得られる。インター予測623は実線矢印で示されて
いる。例えば、ピクチャ613は、層N＋1 632内のピクチャ611，612および／または614のう
ちの1つまたは2つを参照として使用するインター予測623を使用することによってコーデ
ィングされてもよく、1つのピクチャは、単方向インター予測のために参照され、および
／または2つのピクチャは、双方向インター予測のために参照される。さらに、ピクチャ6
17は、層N 631内のピクチャ615，616および／または618のうちの1つまたは2つを参照とし
て使用してインター予測623を使用することによってコーディングされてもよく、一方向
インター予測のためには1つのピクチャが参照され、および／または双方向インター予測
のためには2つのピクチャが参照される。インター予測623を行う際に、あるピクチャが同
じ層内の別のピクチャの参照として使用される場合、そのピクチャは参照ピクチャと呼ば
れる場合がある。例えば、ピクチャ612は、インター予測623に従ってピクチャ613をコー
ディングするために使用される参照ピクチャであり得る。インター予測623は、複数層コ
ンテキストにおける層内予測とも呼ばれ得る。したがって、インター予測623は、参照ピ
クチャと現在のピクチャとが同じ層内にある現在のピクチャとは異なる参照ピクチャ内の
指示されたサンプルを参照することによって現在のピクチャのサンプルをコーディングす
るメカニズムである。
ピクチャ611－618は、異なる層内の他のピクチャ611－618を参照することによってコー
ディングすることもできる。このプロセスは層間予測621として知られており、破線の矢
印で示されている。層間予測621は、現在のピクチャと参照ピクチャとが異なる層にあり
、したがってnuh＿layer＿id 635の値が異なる参照ピクチャ内の指示されたサンプルを参
照することによって現在のピクチャのサンプルをコーディングするメカニズムである。例
えば、下位層N 631のピクチャを参照ピクチャとして使用して、上位層N＋1 632の対応す
るピクチャをコーディングすることができる。具体的な一例として、ピクチャ611は、層
間予測621に従ってピクチャ615を参照することによってコーディングされ得る。このよう
な場合、ピクチャ615が層間参照ピクチャとして用いられる。層間参照ピクチャは、層間
予測621に用いられる参照ピクチャである。ほとんどの場合、層間予測621は、ピクチャ61
1などの現在のピクチャが、同じAU 627に含まれ、ピクチャ615などの下位層にある層間参
照ピクチャのみを使用できるように制約される。複数の層（例えば、2を超える）が利用
可能である場合、層間予測621は、現在のピクチャよりも低いレベルにある複数の層間参
照ピクチャに基づいて現在のピクチャをコーディング／デコードすることができる。
ビデオエンコーダは、複数層ビデオシーケンス600を使用して、インター予測623および
層間予測621の多くの異なる組み合わせおよび／または順列を介してピクチャ611－618を
コーディングすることができる。例えば、ピクチャ615は、イントラ予測に従ってコーデ
ィングされ得る。その後、ピクチャ616～618は、ピクチャ615を参照ピクチャとして使用
することによってインター予測623に従ってコーディングされ得る。さらに、ピクチャ611
は、ピクチャ615を層間参照ピクチャとして使用することにより、層間予測621に従ってコ
ーディングされ得る。その後、ピクチャ612－614は、ピクチャ611を参照ピクチャとして
使用することによってインター予測623に従ってコーディングされ得る。したがって、参
照ピクチャは、異なるコーディングメカニズムのための単一層参照ピクチャおよび層間参
照ピクチャの両方として機能することができる。下位層N 632個のピクチャに基づいて上
位層N＋1 631個のピクチャをコーディングすることにより、上位層N＋1 632は、インター
予測623および層間予測621よりもはるかに低いコーディング効率を有するイントラ予測を
使用することを回避することができる。このように、イントラ予測の不十分なコーディン
グ効率は、最小／最低品質のピクチャに制限され、したがって、最小量のビデオデータを
コーディングすることに制限され得る。参照ピクチャおよび／または層間参照ピクチャと
して使用されるピクチャは、参照ピクチャリスト構造に含まれる参照ピクチャリストのエ
ントリで示すことができる。
そのような動作を実行するために、層N 631および層N＋1 632などの層がOLS 628に含ま
れてもよい。OLS 628は、1つまたは複数の層が出力層として指定される層の集合である。
出力層は、出力（例えば、ディスプレイに）のために指定される層である。例えば、層N
631は、層間予測621をサポートするためだけに含まれてもよく、決して出力されなくても
よい。この場合、層N 632に基づいて、層N＋1 631がデコードされて出力される。この場
合、OLS 628は、出力層として、層N＋1 632を有する。場合によっては、OLS 628は、サイ
マルキャスト層と呼ばれる出力層のみを含む。他の場合には、OLS 628は、異なる組み合
わせで多くの層を含み得る。例えば、OLS 628内の出力層は、1つ、2つ、または多数の下
位層に基づく層間予測621に従ってコーディングすることができる。また、OLS 628は、複
数の出力層を含んでもよい。したがって、OLS 628は、1つまたは複数の出力層と、出力層
を再構成するのに必要な任意の支持層とを含み得る。複数層ビデオシーケンス600は、各
々が層の異なる組み合わせを使用する多くの異なるOLS 628を使用することによってコー
ディングすることができる。OLS 628には、OLS 628を一意に識別するためのインデックス
であるOLSインデックスが対応付けられている。
ピクチャ611－618はまた、アクセスユニット（AU）627に含まれ得る。AU 627は、異な
る層に含まれる、デコード時の出力時刻が同一のコーディングされたピクチャの集合であ
る。したがって、同じAU 627内のコーディングされたピクチャは、同時にデコーダにおい
てDPBから出力されるようにスケジュールされる。例えば、ピクチャ614および618は、同
じAU 627内にある。ピクチャ613および617は、ピクチャ614および618とは異なるAU 627に
ある。代替例では、同じAU 627内のピクチャ614および618が表示されてもよい。例えば、
小さいピクチャサイズが望まれる場合にピクチャ618が表示され、大きいピクチャサイズ
が望まれる場合にピクチャ614が表示されてもよい。大きいピクチャサイズが望まれる場
合、ピクチャ614が出力され、ピクチャ618は層間予測621にのみ使用される。この場合、
ピクチャ618は、層間予測621が完了すると、出力されずに破棄される。
図7は、例示的なビットストリーム700を示す概略図である。例えば、ビットストリーム
700は、方法100に従って、コーデックシステム200および／またはデコーダ400でデコード
するために、コーデックシステム200および／またはエンコーダ300で生成することができ
る。さらに、ビットストリーム700は、複数層ビデオシーケンス600を含み得る。さらに、
ビットストリーム700は、HRD 500などのHRDの動作を制御するための様々なパラメータを
含み得る。そのようなパラメータに基づいて、HRDは、デコード化のためにデコーダに向
けて送信する前に、規格に準拠しているかどうかビットストリーム700をチェックするこ
とができる。
ビットストリーム700は、VPS 711と、一つ以上のSPS 713と、複数のPPS（Picture Para
meter Set）715と、複数のスライスヘッダ717と、画像データ720と、接頭辞SEIメッセー
ジ718と、接尾辞SEIメッセージ719とを含む。VPS 711は、ビットストリーム700全体に関
するデータを含む。例えば、VPS 711は、ビットストリーム700で使用されるデータ関連OL
S、層、および／またはサブ層を含み得る。SPS713は、ビットストリーム700に含まれるコ
ーディングされたビデオシーケンス内の全ピクチャに共通するシーケンスデータを含む。
例えば、各層は、1つまたは複数のコーディングされたビデオシーケンスを含むことがで
き、各コーディングされたビデオシーケンスは、対応するパラメータについてSPS 713を
参照することができる。SPS 713内のパラメータは、ピクチャサイジング、ビット深度、
コーディングツールパラメータ、ビットレート制限などを含み得る。各シーケンスはSPS
713を指すが、いくつかの例では、単一のSPS 713は複数のシーケンスのデータを含み得る
ことに留意されたい。PPS 715は、ピクチャ全体に適用されるパラメータを含む。それ故
、ビデオシーケンス内の各ピクチャは、PPS715を参照してよい。いくつかの例において、
各ピクチャがPPS715を参照する一方で、単一のPPS715が、複数のピクチャのデータを含む
ことが可能なことに留意されたい。例えば、複数の類似したピクチャが、類似したパラメ
ータに従ってコーディングされてよい。このような場合は、単一のPPS715が、かかる類似
したピクチャのデータを含み得る。PPS 715は、対応するピクチャ内のスライスに利用可
能なコーディングツール、量子化パラメータ、オフセットなどを示すことができる。
スライスヘッダ717は、ピクチャ内の各スライスに固有のパラメータを含む。それ故、
ビデオシーケンスにおいて、スライスごとに1つのスライスヘッダ717があってよい。スラ
イスヘッダ717は、スライス型情報、フィルタリング情報、予測重み、タイルエントリポ
イント、デブロッキングパラメータなどを含み得る。いくつかの例では、ビットストリー
ム700は、単一のピクチャ内のすべてのスライスに適用されるパラメータを含むシンタッ
クス構造であるピクチャヘッダも含み得ることに留意されたい。この理由により、いくつ
かのコンテキストでは、ピクチャヘッダとスライスヘッダ717とは、同じように使用され
てよい。例えば、いくつかのパラメータは、かかるパラメータがピクチャ内の全スライス
に共通しているかどうかに応じて、スライスヘッダ717とピクチャヘッダとの間を移動し
てよい。
画像データ720は、インター予測および／またはイントラ予測に従ってエンコードされ
たビデオデータ、ならびに対応する変換され量子化された残余データを含む。例えば、画
像データ720は、層723、ピクチャ725、および／またはスライス727を含み得る。層723は
、nuh＿layer＿idなどの層IDによって示されるような指定された特性（例えば、共通解像
度、フレームレート、画像サイズなど）を共有するVCL NALユニット745と、関連する非VC
L NALユニット741とのセットである。例えば、層723は、同じnuh＿layer＿idを共有する
ピクチャ725のセットを含み得る。層723は、層631および／または632と実質的に同様であ
ってもよい。nuh＿layer＿idは、少なくとも一つのNALユニットを含む層723の識別子を指
定するシンタックス要素である。例えば、ベース層として知られる最低品質層723は、よ
り高い品質の層723についてnuh＿layer＿idの値が増加するnuh＿layer＿idの最低値を含
み得る。したがって、下位層はnuh＿layer＿idの値が小さい層723であり、上位層はnuh＿
layer＿idの値が大きい層723である。
ピクチャ725は、フレームまたはそのフィールドを生成するルーマサンプルのアレイお
よび／またはクロマサンプルのアレイである。例えば、ピクチャ725は、表示のために出
力され得るか、または、出力のための他のピクチャ725のコーディングをサポートするた
めに使用され得るコーディングされた画像である。ピクチャ725は、一つ以上のスライス7
27を含む。スライス727は、整数個の完全なタイル、または単一のNALユニットに排他的に
含まれるピクチャ725の整数個の連続する完全なコーディング・ツリー・ユニット（CTU）
行（例えば、タイル内）として定義され得る。スライス727は、CTUおよび／またはコーデ
ィング・ツリー・ブロック（CTB）にさらに分割される。CTUは、コーディングツリーで区
分けできる、所定のサイズの一群のサンプルである。CTBは、CTUのサブセットであり、CT
Uのルマ成分またはクロマ成分を含む。CTU／CTBは、コーディングツリーに基づいて、コ
ーディングブロックにさらに分割される。コーディングブロックは、次に、予測メカニズ
ムに従ってエンコード／デコードすることができる。
SEIメッセージは、デコードされたピクチャ内のサンプルの値を決定するために、デコ
ーディングプロセスで必要とされない情報を伝達する、特定のセマンティクスを有するシ
ンタックス構造である。例えば、SEIメッセージは、HRDプロセスをサポートするためのデ
ータ、またはデコーダにおけるビットストリーム700のデコードに直接関連しない他のサ
ポートデータを含み得る。SEIメッセージは、接頭辞SEIメッセージ718または接尾辞SEIメ
ッセージ719として構成することができる。接頭辞SEIメッセージ718は、一以上の後続のN
ALユニットに適用されるSEIメッセージである。接尾辞SEIメッセージ719は、先行する1つ
または複数のNALユニットに適用されるSEIメッセージである。接頭辞SEIメッセージ718は
、指定された型のSEIメッセージを含むことができ、接尾辞SEIメッセージ719は、他の型
のSEIメッセージを含み得る。
接頭辞SEIメッセージ718は、対応するOLSおよび／または層723をテストするためのCPB
を管理するためにHRDを初期化するためのHRDパラメータを含むバッファリング期間（BP）
SEIメッセージを含み得る。接頭辞SEIメッセージ718はまた、対応するOLSおよび／または
層723をテストするためのCPBおよび／またはDPBにおけるAUのための配信情報を管理する
ためのHRDパラメータを含むピクチャタイミング（PT）SEIメッセージを含み得る。接頭辞
SEIメッセージ718はまた、対応するOLSおよび／または層723をテストするために、CPBお
よび／またはDPBにおいてデコードユニット（DU）のための配信情報を管理するためのHRD
パラメータを含むデコードユニット情報（DUI）SEIメッセージを含み得る。
接尾辞SEIメッセージ719は、デコードされたピクチャハッシュSEIメッセージ748を含み
得る。デコードされたピクチャハッシュSEIメッセージ748は、デコードされたピクチャの
サンプル値から導出されたチェックサムを含むSEIメッセージの一種である。デコードさ
れたピクチャハッシュSEIメッセージ748は、デコーダによって、ピクチャが正しく受信さ
れ、デコードされたか否かを検出するために使用され得る。このように、デコードされた
ピクチャハッシュSEIメッセージ748は、デコードされたピクチャハッシュSEIメッセージ7
48に先行するピクチャ725に関連する送信およびデコードエラーを検出するために使用す
ることができる。
SEIメッセージのセットは、スケーラブルネスティングSEIメッセージ746として実装さ
れ得る。スケーラブルネスティングSEIメッセージ746は、SEIメッセージを特定の層723と
関連付けるためのメカニズムを提供する。スケーラブルネスティングSEIメッセージ746は
、複数のスケーラブルにネストされたSEIメッセージ747を含むメッセージである。スケー
ラブルにネストされたSEIメッセージ747は、1つまたは複数のOLSまたは1つまたは複数の
層723に対応するSEIメッセージである。OLSは、層723の少なくとも一つが出力層である層
723の集合である。したがって、スケーラブルネスティングSEIメッセージ746は、コンテ
キストに依存して、スケーラブルにネストされたSEIメッセージ747のセットを含むとも、
SEIメッセージのセットを含むとも言える。さらに、スケーラブルネスティングSEIメッセ
ージ746は、同じ型のスケーラブルにネストされたSEIメッセージ747のセットを含む。
いくつかのビデオ・コーディング・システムは、スケーラブルネスティングSEIメッセ
ージ746が接尾辞SEIメッセージ719において使用されることを可能にしない。様々な型のS
EIメッセージを、接頭辞SEIメッセージ718または接尾辞SEIメッセージ719のいずれかとし
て含めることができる。しかしながら、デコードされたピクチャハッシュSEIメッセージ7
48などの特定の型のSEIメッセージは、接尾辞SEIメッセージ719としての使用に制限され
る。このように、デコードされたピクチャハッシュSEIメッセージ748などの特定のSEIメ
ッセージは、このようなシステムでは、スケーラブルネスティングSEIメッセージ746にコ
ーディングすることができない。
ビットストリーム700は、前述の欠陥に対処するように修正される。具体的には、接尾
辞SEIメッセージ719は、スケーラブルネスティングSEIメッセージ746を含むように構成さ
れる。したがって、接尾辞SEIメッセージ719は、層743および／またはOLSに対応するスケ
ーラブルにネストされたSEIメッセージ747も含み得る。これにより、デコードされたピク
チャハッシュSEIメッセージ748などの特定のSEIメッセージを、スケーラブルネスティン
グSEIメッセージ746内のスケーラブルにネストされたSEIメッセージ747として使用するこ
とが可能になる。
ビットストリーム700は、NALユニットのシーケンスとしてコーディングすることができ
ることに留意されたい。NALユニットは、ビデオデータおよび／またはサポートシンタッ
クスのためのコンテナである。NALユニットは、VCL NALユニット745または非VCL NALユニ
ット741であり得る。VCL NALユニット745は、ビデオデータを含むようにコーディングさ
れたNALユニットである。具体的には、VCL NALユニット745は、スライス727および関連す
るスライスヘッダ717を含む。非VCL NALユニット741は、ビデオデータのデコード、適合
性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメー
タなどの非ビデオデータを含むNALユニットである。非VCL NALユニット741は、VPS NALユ
ニット、SPS NALユニット、PPS NALユニット、およびSEI NALユニット744を含むことがで
き、これらはそれぞれ、VPS 711、SPS 713、PPS 715、および接頭辞SEIメッセージ718ま
たは接尾辞SEIメッセージ719を含む。NALユニットの前述のリストは例示的なものであり
、網羅的なものではないことに留意されたい。各NALユニットは、NALユニット型（nal＿u
nit＿type）731を有する。nal＿unit＿type 731は、NALユニットに含まれるデータの種類
を示す、NALユニットに含まれるシンタックス要素である。
SEI NALユニット744は、SEIメッセージを含むNALユニットである。SEI NALユニット744
は、SEI NALユニット744が接頭辞SEI NALユニット型（PREFIX＿SEI＿NUT）742であること
を示すように設定されたnal＿unit＿type 731を有することができる。SEI NALユニット74
4は、SEI NALユニット744がSUFFIX＿SEI＿NUT 743であることを示すように設定されたnal
＿unit＿type 731を有することもできる。したがって、SUFFIX＿SEI＿NUT 743に等しいna
l＿unit＿type 731を有するSEI NALユニット744は、スケーラブルネスティングSEIメッセ
ージ746および／または1つもしくは複数のスケーラブルにネストされたSEI 747を含み得
る。このようにして、デコードされたピクチャハッシュSEIメッセージ748などの接尾辞SE
Iメッセージ719は、スケーラブルネスティングSEIメッセージ746として、および／または
スケーラブルネスティングSEIメッセージ746に含まれるスケーラブルにネストされたSEI
メッセージ747として使用することができる。これにより、接尾辞SEIメッセージ719を、
指定された層723および／またはOLS（例えば、図6に示すようなOLS 628）に適用している
間にネストすることが可能になる。さらに、（例えば、SEI NALユニット744がSUFFIX＿SE
I＿NUT 743であることを示すように設定されたnal＿unit＿type 731を有するSEI NALユニ
ット744において）接尾辞SEIメッセージ719内に配置される場合、BP、PT、および／また
はDUI SEIメッセージなど、接尾辞SEIメッセージ719内で使用することができる他のSEIメ
ッセージは、スケーラブルネスティングSEIメッセージ746および／またはスケーラブルに
ネストされたSEIメッセージ747として使用することもできる。その結果、エンコーダおよ
びデコーダの機能が向上する。さらに、コーディング効率を高めることができ、これによ
り、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネッ
トワークシグナリングリソースの使用が低減される。
スケーラブルネスティングSEIメッセージ746はまた、スケーラブルにネストされたSEI
メッセージ747を層723および／またはOLSと関連付けるためのシンタックス要素を含む。
例えば、スケーラブルネスティングSEIメッセージ746は、ペイロード型（payloadType）7
33およびスケーラブルネスティング層識別子（layer＿id［i］）735を含み得る。SEIメッ
セージに含まれるデータの種類を表すシンタックス要素であるので、SEI NALユニット744
に含まれるSEIメッセージの種類（例えば、接尾辞SEIメッセージ719）を表す。例えば、p
ayloadType 733は、接尾辞SEIメッセージ719がスケーラブルネスティングSEIメッセージ7
46を含むことを示すように設定することができる。特定の例において、payloadType 733
は、接尾辞SEIメッセージ719がスケーラブルネスティングSEIメッセージ746を含むことを
指示する値133に設定することができる。別の言い方をすれば、payloadType 733は、SEI
NALユニット744がSUFFIX＿SEI＿NUT 743のnal＿unit＿type 731を有し、スケーラブルネ
スティングSEIメッセージ746を含むことを示す値133に設定することができる。スケーラ
ブルネスティング層＿id［i］735は、スケーラブルにネストされたSEIメッセージ747が適
用される第i層723のnuh＿layer＿id値を指定する、スケーラブルネスティングSEIメッセ
ージ746におけるシンタックス要素である。したがって、スケーラブルネスティング層＿i
d［i］735は、スケーラブルネスティングSEIメッセージ746内のスケーラブルにネストさ
れたSEIメッセージ747の各々を、対応する層723に関連付けることができる。したがって
、HRDおよび／またはデコーダはpayloadType 733を読み取って、スケーラブルネスティン
グSEIメッセージ746が接尾辞SEIメッセージ719内に存在すると判定することができる。次
いで、HRDおよび／またはデコーダは、スケーラブルネスティングSEIメッセージ746内の
スケーラブルにネストされたSEIメッセージ747ごとに、スケーラブルネスティング層＿id
［i］735内の層ID値に基づいて層723を決定することができる。
ここで、前述した情報が以下でより詳細に説明される。階層化ビデオコーディングは、
スケーラブルコーディングまたはスケーラビリティを有するビデオコーディングとも呼ば
れる。ビデオコーディングにおけるスケーラビリティは、複数層コーディング技術を使用
することによってサポートされ得る。複数層ビットストリームは、ベース層（BL）および
1つまたは複数のエンハンスメント層（EL）を備える。スケーラビリティの例は、空間ス
ケーラビリティ、品質／信号対雑音比（SNR）スケーラビリティ、マルチビュースケーラ
ビリティ、フレームレートスケーラビリティなどを含む。複数層コーディング技術が使用
される場合、ピクチャまたはその一部は、参照ピクチャを使用せずにコーディングされて
もよく（イントラ予測）、同じ層内の参照ピクチャを参照することによってコーディング
されてもよく（インター予測）、および／または他の層内の参照ピクチャを参照すること
によってコーディングされてもよい（層間予測）。カレントピクチャの層間予測に用いら
れる参照ピクチャを層間参照ピクチャ（ILRP）と呼ぶ。図6は、異なる層のピクチャが異
なる解像度を有する空間スケーラビリティのための複数層コーディングの例を示す。
いくつかのビデオコーディングファミリーは、単層コーディングのためのプロファイル
から分離されたプロファイルにおけるスケーラビリティのサポートを提供する。スケーラ
ブルコーディング（SVC）は、空間、時間、および品質のスケーラビリティをサポートす
る高度なビデオコーディング（AVC）のスケーラブルな拡張である。SVCの場合、下位層か
らのコロケートブロックを使用してEL MBが予測されるかどうかを示すために、ELピクチ
ャ内の各マクロブロック（MB）においてフラグがシグナリングされる。コロケートブロッ
クからの予測は、テクスチャ、動きベクトル、および／またはコーディングモードを含み
得る。SVCの実装は、それらの設計において修正されていないAVC実装を直接再利用しない
場合がある。SVC ELマクロブロック・シンタックスおよびデコーディングプロセスは、AV
Cシンタックスおよびデコーディングプロセスとは異なる。
スケーラブルHEVC（SHVC）は、空間および品質の拡張性をサポートするHEVCの拡張であ
る。マルチビューHEVC（MV－HEVC）は、マルチビュースケーラビリティのサポートを提供
するHEVCの拡張である。3 D HEVC（3 D－HEVC）は、MV－HEVCよりも高度で効率的な3 D
ビデオコーディングのサポートを提供するHEVCの拡張である。時間スケーラビリティは、
単層HEVCコーデックの不可欠な部分として含まれ得る。HEVCの複数層拡張では、層間予測
に用いられるデコードされたピクチャは、同じAUのみから来て、ロングターム参照ピクチ
ャ（LTRP）として扱われる。このようなピクチャには、現在の層内の他の時間参照ピクチ
ャとともに、参照ピクチャリスト内の参照インデックスが割り当てられる。層間予測（IL
P）は、参照ピクチャリスト内の層間参照ピクチャを参照するための参照インデックスの
値を設定することにより、予測単位レベルで実現される。空間スケーラビリティは、ILRP
がコーディングまたはデコードされている現在のピクチャとは異なる空間分解能を有する
場合、参照ピクチャまたはその一部をリサンプルする。参照ピクチャの再サンプリングは
、ピクチャ・レベルまたはコーディング・ブロック・レベルのいずれかで実現され得る。
VVCはまた、階層化ビデオコーディングをサポートし得る。VVCビットストリームは、複
数の層を含み得る。層はすべて互いに独立していてもよい。例えば、層間予測を用いずに
、各層をコーディングすることができる。この場合、各層は、サイマルキャスト層とも呼
ばれる。場合によっては、層の一部はILPを使用してコーディングされる。VPS内のフラグ
は、層がサイマルキャスト層であるかどうか、またはいくつかの層がILPを使用するかど
うかを示すことができる。いくつかの層がILPを使用する場合、層間の層依存関係もVPSで
シグナリングされる。SHVCおよびMV－HEVCとは異なり、VVCはOLSを指定しない場合がある
。OLSは、指定された層のセットを含み、層のセット内の1つまたは複数の層が出力層であ
るように指定される。出力層は、出力されるOLSの層である。VVCのいくつかの実装形態で
は、層がサイマルキャスト層である場合、デコードおよび出力のために1つの層のみが選
択され得る。VVCのいくつかの実装形態では、任意の層がILPを使用する時、すべての層を
含むビットストリーム全体がデコードされるように指定される。また、これらの層のうち
、ある層を出力層とする。出力層は、最上位層のみ、すべての層、または最上位層に示さ
れた下位層のセットを加えたものであると示されてもよい。
前述した態様には、いくつか問題がある。例えば、SPS、PPS、およびAPS NALユニット
のnuh＿layer＿id値は、適切に制約されない場合がある。さらに、SEI NALユニットのTem
poralId値が適切に制約されない場合がある。また、参照ピクチャのリサンプリングが有
効であり、CLVS内のピクチャの空間解像度が異なる場合、NoOutputOfPriorPicsFlagの設
定が適切に指定されないことがある。また、いくつかのビデオ・コーディング・システム
では、接尾辞SEIメッセージをスケーラブルネスティングSEIメッセージに含めることがで
きない。別の例として、バッファリング期間、ピクチャタイミング、およびデコードユニ
ット情報SEIメッセージは、VPSおよび／またはSPSに対する解析依存性を含み得る。
一般に、本開示は、ビデオコーディング改善手法を説明する。技術の説明は、VVCに基
づく。しかしながら、これらの技術は、他のビデオコーデック仕様に基づく階層化ビデオ
コーディングにも適用される。
上述した1つ以上の問題が、以下の通り解決され得る。SPS、PPS、およびAPS NALユニッ
トのnuh＿layer＿id値は、本明細書では適切に制約される。SEI NALユニットのTemporalI
d値は、本明細書では適切に制約される。NoOutputOfPriorPicsFlagの設定は、参照ピクチ
ャのリサンプリングが有効にされ、CLVS内のピクチャが異なる空間解像度を有する場合に
適切に指定される。接尾辞SEIメッセージは、スケーラブルネスティングSEIメッセージに
含めることができる。VPSまたはSPS上のBP、PT、およびDUI SEIメッセージの解析依存性
は、BP SEIメッセージ構文内のシンタックス要素decoding＿unit＿hrd＿params＿present
＿flag、PT SEIメッセージ構文内のシンタックス要素decoding＿unit＿hrd＿params＿pre
sent＿flagおよびdecoding＿unit＿cpb＿params＿in＿pic＿timing＿sei＿flag、ならび
にDUI SEIメッセージ内のシンタックス要素decoding＿unit＿cpb＿params＿in＿pic＿tim
ing＿sei＿flagを繰り返すことによって除去することができる。
前述の機構の例示的な実施態様は以下の通りである。一般的なNALユニットセマンティ
クスの例を以下に示す。
nuh＿temporal＿id＿plus1－1は、NALユニットのテンポラル識別子を指定する。nuh＿t
emporal＿id＿plus1の値は0に等しくすべきではない。変数TemporalIdは、以下のように
導出することができる。
TemporalId＝nuh＿temporal＿id＿plus1－1
nal＿unit＿typeがIDR＿W＿RADLからRSV＿IRAP＿13（両端を含む）の範囲内にある時、
TemporalIdは0に等しくなければならない。nal＿unit＿typeがSTSA＿NUTに等しい時、Tem
poralIdは0に等しくてはならない。
TemporalIdの値は、アクセスユニットのすべてのVCL NALユニットについて同じでなけ
ればならない。コーディングされたピクチャ、層アクセスユニット、またはアクセスユニ
ットのTemporalIdの値は、コーディングされたピクチャ、層アクセスユニット、またはア
クセスユニットのVCL NALユニットのTemporalIdの値であってもよい。サブ層表現のTempo
ralIdの値は、サブ層表現内のすべてのVCL NALユニットのTemporalIdの最大値であっても
よい。
非VCL NALユニットに対するTemporalIdの値は、以下のように制約される。nal＿unit＿
typeがDPS＿NUT、VPS＿NUT、またはSPS＿NUTに等しい場合、TemporalIdは0に等しく、NAL
ユニットを含むアクセスユニットのTemporalIdは0に等しくなければならない。そうでは
なく、nal＿unit＿typeがEOS＿NUTまたはEOB＿NUTに等しい場合、TemporalIdは0に等しく
なければならない。そうではなく、nal＿unit＿typeがAUD＿NUT、FD＿NUT、PREFIX＿SEI
＿NUT、またはSUFFIX＿SEI＿NUTに等しい場合、TemporalIdは、NALユニットを含むアクセ
スユニットのTemporalIdに等しくなければならない。そうではなく、nal＿unit＿typeがP
PS＿NUTまたはAPS＿NUTに等しい場合、TemporalIdは、NALユニットを含むアクセスユニッ
トのTemporalId以上でなければならない。NALユニットが非VCL NALユニットである場合、
TemporalIdの値は、非VCL NALユニットが適用するすべてのアクセスユニットのTemporalI
d値の最小値に等しくなければならない。nal＿unit＿typeがPPS＿NUTまたはAPS＿NUTに等
しい場合、TemporalIdは、包含するアクセスユニットのTemporalId以上であってもよい。
これは、すべてのPPSおよびAPSがビットストリームの先頭に含まれ得るからである。さら
に、第1のコーディングされたピクチャは0に等しいTemporalIdを有する。
シーケンス・パラメータ・セットRBSPセマンティクスの例は以下の通りである。SPS RB
SPは、参照される前にデコードプロセスに利用可能でなければならない。SPSは、0に等し
いTemporalIdを有する少なくとも1つのアクセスユニットに含まれてもよく、または外部
機構を介して提供されてもよい。SPSを含むSPS NALユニットは、SPSを参照するPPS NALユ
ニットの最も低いnuh＿layer＿id値に等しいnuh＿layer＿idを有するように制約され得る
。
例示的なピクチャパラメータセットRBSPセマンティクスは以下の通りである。PPS RBSP
は、参照される前にデコーディングプロセスに利用可能でなければならない。PPSは、PPS
NALユニットのTemporalId以下のTemporalIdを有する少なくとも1つのアクセスユニット
に含まれるか、または外部機構を介して提供されるべきである。PPS RBSPを含むPPS NAL
ユニットは、PPSを参照するコーディングされたスライスNALユニットの最低nuh＿layer＿
id値に等しいnuh＿layer＿idを有するべきである。
例示的な適応パラメータセットのセマンティクスは以下の通りである。各APS RBSPは、
参照される前にデコーディングプロセスに利用可能でなければならない。APSはまた、APS
を参照する、または外部機構を介して提供されるコード化スライスNALユニットのTempora
lId以下のTemporalIdを有する少なくとも1つのアクセスユニットに含まれるべきである。
APS NALユニットは、複数層のピクチャ／スライスで共有することができる。APS NALユニ
ットのnuh＿layer＿idは、APS NALユニットを参照するコード化スライスNALユニットの最
も低いnuh＿layer＿id値に等しくなければならない。あるいは、APS NALユニットは、複
数の層のピクチャ／スライスによって共有されなくてもよい。APS NALユニットのnuh＿la
yer＿idは、APSを参照するスライスのnuh＿layer＿idと等しくなければならない。
一例では、現在のピクチャのデコード前のDPBからのピクチャの除去は、以下のように
説明される。現在のピクチャのデコード前（しかし、現在のピクチャの第1のスライスの
スライスヘッダを解析した後）のDPBからのピクチャの除去は、（現在のピクチャを含む
）アクセスユニットnの第1のデコードユニットのCPB除去時間に行われ得る。これは次の
ように進行する。参照ピクチャリスト構築のためのデコーディングプロセスが呼び出され
、参照ピクチャマーキングのためのデコーディングプロセスが呼び出される。
現在のピクチャがピクチャ0ではない符号化層ビデオ・シーケンス・スタート（CLVSS）
ピクチャである場合、以下の順序付きステップが適用される。被試験デコーダについて、
変数NoOutputOfPriorPicsFlagを以下のように導出する。SPSから導出されたpic＿width＿
in＿luma＿samples、pic＿height＿max＿in＿luma＿samples、chroma＿format＿idc、sep
arate＿colour＿plane＿flag、bit＿depth＿luma＿minus8、bit＿depth＿chroma＿minus8
、またはsps＿max＿dec＿pic＿buffering＿minus1［Htid］の値が、先行するSPSからそれ
ぞれ導出されたpic＿width＿in＿luma＿samples、pic＿height＿in＿luma＿samples、chr
oma＿format＿idc、separate＿colour＿plane＿flag、bit＿depth＿luma＿minus8、bit＿
depth＿chroma＿minus8、またはsps＿max＿dec＿pic＿buffering＿minus1［Htid］の値と
異なる場合、NoOutputOfPriorPicsFlagは、no＿output＿of＿prior＿pics＿flagの値にか
かわらず、テスト中のデコーダによって1に設定され得る。これらの条件下では、NoOutpu
tOfPriorPicsFlagをno＿output＿of＿prior＿pics＿flagと等しく設定することが好まし
い場合があるが、この場合、テスト中のデコーダは、NoOutputOfPriorPicsFlagを1に設定
することができることに留意されたい。そうでない場合は、NoOutputOfPriorPicsFlagは
、no＿output＿of＿prior＿pics＿flagと同じに設定してよい。
被試験デコーダに対して導出されたNoOutputOfPriorPicsFlagの値がHRDに適用され、そ
の結果、NoOutputOfPriorPicsFlagの値が1に等しい時、DPB内のすべてのピクチャ記憶バ
ッファは、それらが含むピクチャの出力なしで空にされ、DPBフルネスは0に設定される。
以下の条件の両方がDPB内の任意のピクチャkに当てはまる場合、DPB内のそのようなピク
チャkはすべてDPBから削除される。ピクチャkは参照用に未使用としてマークされ、ピク
チャkは0に等しいPictureOutputFlagを有するか、または対応するDPB出力時間が現在のピ
クチャnの第1のデコードユニット（デコードユニットmとして示される）のCPB除去時間以
下である。これは、DpbOutputTime［k］がDuCpbRemovalTime［m］以下である場合に発生
し得る。DPBから除去された各ピクチャについて、DPBフルネスは1だけデクリメントされ
る。
一例では、DPBからのピクチャの出力および除去は以下のように説明される。現在のピ
クチャのデコード前（しかし、現在のピクチャの第1のスライスのスライスヘッダを解析
した後）のDPBからのピクチャの出力および除去は、現在のピクチャを含むアクセスユニ
ットの第1のデコードユニットがCPBから除去され、以下のように進む時に行われ得る。参
照ピクチャリスト構築のためのデコーディングプロセスおよび参照ピクチャマーキングの
ためのデコーディングプロセスが呼び出される。
現在のピクチャがピクチャ0ではないCLVSSピクチャである場合、以下の順序付きステッ
プが適用される。テスト対象のデコーダに対し、変数NoOutputOfPriorPicsFlagが以下の
通りに得られる。SPSから導出されたpic＿width＿in＿luma＿samples、pic＿height＿max
＿in＿luma＿samples、chroma＿format＿idc、separate＿colour＿plane＿flag、bit＿de
pth＿luma＿minus8、bit＿depth＿chroma＿minus8またはsps＿max＿dec＿pic＿再建buffe
ring＿minus1［Htid］の値が、それぞれ、pic＿width＿in＿luma＿samples、pic＿height
＿in＿luma＿samples、chroma＿format＿idc、separate＿colour＿plane＿flag、bit＿de
pth＿luma＿minus8、bit＿depth＿chroma＿minus8またはsps＿max＿dec＿pic＿buffering
＿minus1［Htid］の値と異なる場合、前のピクチャによって参照されるSPSから導出され
、NoOutputOfPriorPicsFlagは、no＿output＿of＿prior＿pics＿flagの値にかかわらず、
テスト中のデコーダによって1に設定され得る。これらの条件下では、NoOutputOfPriorPi
csFlagをno＿output＿of＿prior＿pics＿flagと等しく設定することが好ましいが、この
場合、テスト中のデコーダは、NoOutputOfPriorPicsFlagを1に設定することができること
に留意されたい。そうでなければ、NoOutputOfPriorPicsFlagをno＿output＿of＿prior＿
pics＿flagと等しく設定することができる。
被試験デコーダに対して導出されたNoOutputOfPriorPicsFlagの値は、以下のようにHRD
に適用することができる。NoOutputOfPriorPicsFlagが1に等しい場合、DPB内のすべての
ピクチャ記憶バッファは、それらが含むピクチャの出力なしで空にされ、DPBフルネスは0
に設定される。そうでない場合（NoOutputOfPriorPicsFlagが0に等しい）、出力に不要で
あるとしてマークされ、参照に使用されないピクチャを含むすべてのピクチャ・ストレー
ジ・バッファが空にされ（出力なし）、DPB内のすべての空でないピクチャ・ストレージ
・バッファが、バンピングプロセスを繰り返し呼び出すことによって空にされ、DPBフル
ネスが0に設定される。
そうでない場合（現在のピクチャはCLVSSピクチャではない）、出力に不要であるとし
てマークされ、参照のために未使用であるピクチャを含むすべてのピクチャ・ストレージ
・バッファが空にされる（出力なし）。空になった各ピクチャ・ストレージ・バッファに
ついて、DPBフルネスは1デクリメントされる。以下の条件のうちの1つまたは複数が真で
ある時、バンピングプロセスは、以下の条件のいずれも真でなくなるまで空にされる各追
加のピクチャ記憶バッファについてDPBフルネスを1だけさらにデクリメントしながら繰り
返し呼び出される。条件は、出力に必要とされるようにマークされたDPB内のピクチャの
数がsps＿max＿num＿reorder＿pics［Htid］より大きいことである。別の条件は、sps＿m
ax＿latency＿increase＿plus1［Htid］が0に等しくなく、関連する変数PicLatencyCount
がSpsMaxLatencyPictures［Htid］以上である出力に必要に応じてマークされた少なくと
も1つのピクチャがDPBに存在することである。他の条件は、DPBのピクチャ数がSubDpbSiz
e［Htid］以上であることである。
例示的な一般的なSEIメッセージ構文は以下の通りである。
スケーラブルネスティングSEIメッセージ・シンタックスの例は以下の通りである。
スケーラブルネスティングSEIメッセージセマンティクスの例は以下の通りである。ス
ケーラブルネスティングSEIメッセージは、SEIメッセージを、特定のOLSのコンテキスト
における特定の層またはOLSのコンテキストではない特定の層に関連付けるためのメカニ
ズムを提供する。スケーラブルネスティングSEIメッセージは、1つまたは複数のSEIメッ
セージを含む。スケーラブルネスティングSEIメッセージに含まれるSEIメッセージは、ス
ケーラブルにネストされたSEIメッセージとも呼ばれる。ビットストリーム適合性は、SEI
メッセージがスケーラブルネスティングSEIメッセージに含まれる場合に以下の制限が適
用されることを要求し得る。
payloadTypeが132（デコードされたピクチャハッシュ）または133（スケーラブルネス
ティング）であるSEIメッセージは、スケーラブルネスティングSEIメッセージに含まれる
べきではない。スケーラブルネスティングSEIメッセージがバッファリング期間、ピクチ
ャタイミング、またはデコードユニット情報SEIメッセージを含む場合、スケーラブルネ
スティングSEIメッセージは、payloadTypeが0（バッファリング期間）、1（ピクチャタイ
ミング）、または130（デコードユニット情報）ではないその他のSEIメッセージを含むべ
きではない。
ビットストリーム適合性はまた、スケーラブルネスティングSEIメッセージを含むSEI N
ALユニットのnal＿unit＿typeの値に以下の制限が適用されることを要求し得る。スケー
ラブルネスティングSEIメッセージが、0（バッファリング期間）、1（ピクチャタイミン
グ）、130（デコードユニット情報）、145（従属RAPインジケーション）、または168（フ
レーム・フィールド情報）に等しいpayloadTypeを有するSEIメッセージを含む場合、スケ
ーラブルネスティングSEIメッセージを含むSEI NALユニットは、PREFIX＿SEI＿NUTに等し
いnal＿unit＿typeを有するはずである。スケーラブルネスティングSEIメッセージが、13
2に等しいpayloadType（デコードされたピクチャハッシュ）を有するSEIメッセージを含
む場合、スケーラブルネスティングSEIメッセージを含むSEI NALユニットは、SUFFIX＿SE
I＿NUTに等しいnal＿unit＿typeセットを有するべきである。
nesting＿ols＿flagは、スケーラブルにネストされたSEIメッセージが特定のOLSのコン
テキストにおける特定の層に適用されることを指定するために、1に等しく設定され得る
。nesting＿ols＿flagは、スケーラブルにネストされたSEIメッセージが一般に特定の層
に適用される（例えば、OLSの文脈ではない）ことを指定するために、0に等しく設定され
得る。
ビットストリーム適合性は、nesting＿ols＿flagの値に以下の制限が適用されることを
必要とする場合がある。スケーラブルネスティングSEIメッセージが、payloadTypeが0（
バッファリング期間）、1（ピクチャタイミング）、または130（デコードユニット情報）
に等しいSEIメッセージを含んでいる場合、nesting＿ols＿flagの値は1に等しくなければ
ならない。スケーラブルネスティングSEIメッセージが、VclAssociatedSeiList内の値に
等しいpayloadTypeを有するSEIメッセージを含む時、nesting＿ols＿flagの値は0に等し
くなければならない。
nesting＿num＿olss＿minus1に1を加えたものは、スケーラブルにネストされたSEIメッ
セージが適用されるOLSの数を指定する。nesting＿num＿olss＿minus1の値は、0以上、To
talNumOlss－1以下の範囲であればよい。nesting＿ols＿idx＿delta＿minus1［i］は、ne
sting＿ols＿flagが1である場合に、スケーラブルにネストされたSEIメッセージが適用さ
れるi番目のOLSのOLSインデックスを指定する変数NestingOlsIdx［i］を導出するために
使用される。nesting＿ols＿idx＿delta＿minus1［i］の値は、0以上TotalNumOlss－2以
下の範囲である必要がある。変数NestingOlsIdx［i］は、以下のように導出することがで
きる。
if（i＝＝0）
NestingOlsIdx［i］＝nesting＿ols＿idx＿delta＿minus1［i］
else
NestingOlsIdx［i］＝NestingOlsIdx［i－1］＋nesting＿ols＿idx＿delta＿minus1［i
］＋1
nesting＿num＿ols＿layers＿minus1［i］＋1は、NestingOlsIdx［i］番目のOLSのコン
テキストにおいて、スケーラブルにネストされたSEIメッセージが適用される層の数を指
定する。nesting＿num＿ols＿layers＿minus 1［i］の値は、0以上、NumLayersInOls［Ne
stingOlsIdx［i］］－1以下の範囲にする必要がある。
nesting＿ols＿layer＿idx＿delta＿minus1［i］［j］は、nesting＿ols＿flagが1であ
る場合に、NestingOlsIdx［i］番目のOLSのコンテキストにおいて、スケーラブルにネス
トされたSEIメッセージが適用されるj番目の層のOLS層インデックスを指定する変数Nesti
ngOlsLayerIdx［i］［j］を導出するために使用される。nesting＿ols＿layer＿idx＿del
ta＿minus1［i］の値は、0以上、NumLayersInOls［nestingOlsIdx［i］］－2以下の範囲
である必要がある。
変数NestingOlsLayerIdx［i］［j］は、以下のように導出することができる。
if（j＝＝0）
NestingOlsLayerIdx［i］［j］＝nesting＿ols＿layer＿idx＿delta＿minus1［i］［j
］
else
NestingOlsLayerIdx［i］［j］＝NestingOlsLayerIdx［i］［j－1］＋
nesting＿ols＿layer＿idx＿delta＿minus1［i］［j］＋1
0以上、nesting＿num＿olss＿minus1以下の範囲のiについてのLayerIdInOls［NestingO
lsIdx［i］］［NestingOlsLayerIdx［i］［0］］のすべての値のうちの最も低い値は、カ
レントSEI NALユニット（例えば、スケーラブルネスティングSEIメッセージを含むSEI NA
Lユニット）のnuh＿layer＿idに等しくなければならない。nesting＿all＿layers＿flag
は、スケーラブルにネストされたSEIメッセージが、一般に、カレントSEI NALユニットの
nuh＿layer＿id以上のnuh＿layer＿idを有するすべての層に適用されることを指定するた
めに、1に等しく設定され得る。nesting＿all＿layers＿flagは、スケーラブルにネスト
されたSEIメッセージが、一般に、カレントSEI NALユニットのnuh＿layer＿id以上のnuh
＿layer＿idを有するすべての層に適用される場合も適用されない場合もあることを指定
するために、0に等しく設定され得る。
nesting＿num＿layers＿minus1に1を加えたものは、スケーラブルにネストされたSEIメ
ッセージが一般に適用される層の数を指定する。nuh＿layer＿idがカレントSEI NALユニ
ットのnuh＿layer＿idである場合、nesting＿num＿layers＿minus1の値は、0～vps＿max
＿layers＿minus1－GeneralLayerIdx［nuh＿layer＿id］の範囲内でなければならない。n
esting＿layer＿id［i］は、nesting＿all＿layers＿flagが0である場合に、スケーラブ
ルにネストされたSEIメッセージが一般に適用される第i層のnuh＿layer＿id値を指定する
。nesting＿layer＿id［i］の値はnuh＿layer＿idより大きくなければならず、nuh＿laye
r＿idはカレントSEI NALユニットのnuh＿layer＿idである。
nesting＿ols＿flagが1に等しい場合、スケーラブルにネストされたSEIメッセージが一
般に適用される層の数を指定する変数NestingNumLayersと、スケーラブルにネストされた
SEIメッセージが一般に適用される層のnuh＿layer＿id値のリストを指定する、0からNest
ingNumLayers－1の範囲内のiについてのリストNestingLayerId［i］とは、以下のように
導出され、nuh＿layer＿idは、カレントSEI NALユニットのnuh＿layer＿idである。
if（nesting＿all＿layers＿flag）｛
NestingNumLayers＝vps＿max＿layers＿minus1＋1－GeneralLayerIdx［nuh＿layer＿id
］
for（i＝0；i＜NestingNumLayers；i＋＋）
NestingLayerId［i］＝vps＿layer＿id［GeneralLayerIdx［nuh＿layer＿id］＋i］（D
－2）
｝else｛
NestingNumLayers＝nesting＿num＿layers＿minus1＋1
for（i＝0；i＜NestingNumLayers；i＋＋）
NestingLayerId［i］＝（i＝＝0）？nuh＿layer＿id：nesting＿layer＿id［i］
｝
nesting＿num＿seis＿minus1に1を加えたものは、スケーラブルにネストされたSEIメッ
セージの数を指定する。nesting＿num＿seis＿minus1の値は、0以上63以下の範囲内の値
であればよい。nesting＿0＿bitは0に等しく設定されるべきである。
図8は、例示的なビデオコーディング装置800の概略図である。ビデオコーディング装置
800は、ここで説明されているように、開示される例／実施形態を実施するのに適してい
る。ビデオコーディング装置800は、ダウンストリームポート820、アップストリームポー
ト850、および／またはネットワークにわたってデータをアップストリームおよび／また
はダウンストリームに伝達する送信器および／または受信器を含むトランシーバユニット
（Tx／Rx）810を含む。ビデオコーディング装置800はまた、データを処理するために論理
装置および／または中央処理装置（CPU）を含むプロセッサ830と、データを保管するメモ
リ832とを含む。ビデオコーディング装置800はまた、電気、光－電気（OE）コンポーネン
ト、電気－光（EO）コンポーネント、および／または電気、光または無線通信ネットワー
クを介したデータ通信のためにアップストリームポート850および／またはダウンストリ
ームポート820に結合された無線通信コンポーネントを含んでよい。ビデオコーディング
装置800はまた、ユーザとデータをやり取りする入力および／または出力（I／O）デバイ
ス860を含んでよい。I／Oデバイス860は、ビデオデータを表示するためのディスプレイ、
オーディオデータを出力するためのスピーカなどの出力デバイスを含んでもよい。I／Oデ
バイス860はまた、キーボード、マウス、トラックボールなどの入力デバイス、および／
またはそのような出力デバイスと対話するための対応するインターフェースを含んでもよ
い。
プロセッサ830は、ハードウェアおよびソフトウェアによって実装される。プロセッサ8
30は、1つまたは複数のCPUチップ、コア（例えば、複数コアプロセッサとして）、フィー
ルドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、およびデジ
タル信号プロセッサ（DSP）として実装されてもよい。プロセッサ830は、ダウンストリー
ムポート820、Tx／Rx 810、アップストリームポート850、およびメモリ832と通信する。
プロセッサ830はコーディングモジュール814を含む。コーディングモジュール814は、複
数層ビデオシーケンス600および／またはビットストリーム700を使用することができる方
法100，900および1000などの本明細書に記載された開示された実施形態を実施する。コー
ディングモジュール814は、本明細書で説明する他の任意の方法／メカニズムも実装して
もよい。さらに、コーディングモジュール814は、コーデックシステム200、エンコーダ30
0、デコーダ400、および／またはHRD 500を実装し得る。例えば、コーディングモジュー
ル814は、本明細書で説明されるように様々なパラメータを信号および／または読み取る
ことができる。さらに、コーディングモジュールは、そのようなパラメータに基づいてビ
デオシーケンスをエンコードおよび／またはデコードするために使用され得る。したがっ
て、本明細書に記載されたシグナリング変更は、コーディングモジュール814における効
率を高め、かつ／または誤りを回避することができる。したがって、コーディングモジュ
ール814は、上述した問題のうちの1つまたは複数に対処するためのメカニズムを実行する
ように構成され得る。それ故、コーディングモジュール814により、ビデオコーディング
装置800は、ビデオデータをコーディングする時に、追加機能および／またはコーディン
グ効率を提供する。このように、コーディングモジュール814は、ビデオコーディング装
置800の機能を向上させるとともに、ビデオコーディング技術固有の問題に対処する。さ
らに、コーディングモジュール814はビデオコーディング装置800の変換を異なる状態まで
達成する。あるいは、コーディングモジュール814はメモリ832に保管された命令として実
施でき、（例えば、非一時的媒体に保管されたコンピ
ュータプログラム製品として）プロセッサ830によって実行できる。
メモリ832は、ディスク、テープドライブ、ソリッドステートドライブ、読取専用メモ
リ（ROM）、ランダムアクセスメモリ（RAM）、フラッシュメモリ、3値連想メモリ（TCAM
）、スタティックランダムアクセスメモリ（SRAM）などの1つ以上のメモリ種別を含む。
メモリ832は、かかるプログラムが実行のために選択された時にそのようなプログラムを
保管するため、かつプログラムの実行中に読み取られる命令およびデータを保管するため
に、オーバーフローデータストレージ装置として使用されてもよい。
図9は、スケーラブルネスティングSEIメッセージを含む接尾辞SEIメッセージを用いる
ことによって、ビデオシーケンスをビットストリーム700のようなビットストリームにエ
ンコードする例示的な方法900のフローチャートである。方法900は、方法100を実行する
時に、コーデックシステム200、エンコーダ300、および／またはビデオコーディング装置
800などのエンコーダで使用されてよい。さらに、方法900は、HRD 500上で動作すること
ができ、したがって、複数層ビデオシーケンス600に対して適合性試験を実行することが
できる。
方法900は、エンコーダがビデオシーケンスを受信し、例えばユーザ入力に基づいて、
そのビデオシーケンスを複数層ビットストリームにエンコードすることを決定した時に開
始することができる。ステップ901において、エンコーダは、ビットストリーム内の1つま
たは複数のVCL NALユニット内の1つまたは複数のコーディングされたピクチャをエンコー
ドする。例えば、コーディングされたピクチャは、層内のAUに含まれてもよい。さらに、
エンコーダは、コーディングされたピクチャを含む1つまたは複数の層を複数層ビットス
トリームにエンコードすることができる。層は、同じ層IDおよび関連付けられた非VCL NA
Lユニットを有するVCL NALユニットのセットを含み得る。例えば、VCL NALユニットのセ
ットは、VCL NALユニットのセットがすべてnuh＿layer＿idの特定の値を有する場合、層
の一部である。層は、エンコードされたピクチャのビデオデータを含むVCL NALユニット
のセットと、このようなピクチャをコード化するために使用される任意のパラメータセッ
トとを含み得る。これらの層は、1つまたは複数のOLSに含まれ得る。1つまたは複数の層
は、出力層（例えば、各OLSは、少なくとも1つの出力層を含む。）であってもよい。出力
層ではない層は、出力層の再構築をサポートするためにコーディングされるが、そのよう
なサポート層は、デコーダでの出力を意図するものではない。このようにして、エンコー
ダは、要求に応じてデコーダに送信するために層の様々な組み合わせをコーディングする
ことができる。層は、デコーダがネットワーク条件、ハードウェア能力、および／または
ユーザ設定に応じてビデオシーケンスの異なる表現を取得することを可能にするために、
必要に応じて送信することができる。
ステップ903において、エンコーダは、1つまたは複数の非VCL NALユニットをビットス
トリームへコーディングし得る。例えば、層および／または層のセットはまた、様々な非
VCL NALユニットを含む。非VCL NALユニットは、すべてがnuh＿layer＿idの特定の値を有
するVCL NALユニットのセットに関連付けられる。具体的には、エンコーダは、SUFFIX＿S
EI＿NUTに等しいnal＿unit＿typeを有するSEI NALユニットをコーディングすることがで
き、SEI NALユニットは、スケーラブルネスティングSEIメッセージを含む。別の言い方を
すれば、エンコーダは、スケーラブルネスティングSEIメッセージを接尾辞SEIメッセージ
へエンコードし得る。スケーラブルネスティングSEIメッセージは、1つまたは複数のスケ
ーラブルにネストされたSEIメッセージを含む。スケーラブルにネストされたSEIメッセー
ジは、接尾辞SEIメッセージに含めることができる任意の型のSEIメッセージとすることが
できる。例えば、スケーラブルにネストされたSEIメッセージは、デコードされたピクチ
ャハッシュSEIメッセージ（例えば、またはBP SEI、PT SEI、および／またはDUI SEIメッ
セージ）を含み得る。したがって、スケーラブルネスティングSEIメッセージは、例に依
存して、接尾辞SEIメッセージを特定のOLSおよび／または特定の層に関連付ける。（接尾
辞SEIメッセージ内の）スケーラブルネスティングSEIメッセージは、スケーラブルにネス
トされたSEIメッセージが適用される第i層のnuh＿layer＿id値を指定するスケーラブルネ
スティング層＿id［i］を含み得ることに留意されたい。したがって、スケーラブルネス
ティング層＿id［i］は、スケーラブルネスティングSEIメッセージ内のスケーラブルにネ
ストされたSEIメッセージを層に関連付けることができる。いくつかの例では、接尾辞SEI
メッセージ内のスケーラブルネスティングSEIメッセージは、133に設定されたpayloadTyp
eを含み得る。payloadTypeは、SEIメッセージに含まれるデータの種類を示すシンタック
ス要素であるので、SEI NALユニットに含まれるSEIメッセージの種類を示す。したがって
、payloadTypeは、接尾辞SEIメッセージがスケーラブルネスティングSEIメッセージおよ
び／または1もしくは複数のスケーラブルにネストされたSEIメッセージを含むことを指示
し得る。したがって、スケーラブルネスティングSEIメッセージおよび／または1つまたは
複数のスケーラブルにネストされたSEIメッセージは、スケーラブルネスティングSEIメッ
セージおよび／またはスケーラブルにネストされたSEIメッセージに先行するVCL NALユニ
ットなどのNALユニットに適用するためにエンコードされる。
ステップ905において、エンコーダは、HRDを使用して、スケーラブルネスティングSEI
メッセージに基づいてビットストリームに対してビットストリーム適合性試験のセットを
実行することができる。ビットストリーム適合性試験のセットは、1つまたは複数の試験
を含み得る。例えば、HRDは、nal＿unit＿typeを使用して、スケーラブルネスティングSE
Iメッセージおよび／または1つもしくは複数のスケーラブルにネストされたSEIメッセー
ジを含む接尾辞SEIメッセージを決定することができる。さらに、HRDは、スケーラブルネ
スティング層＿id［i］および／nuh＿layer＿id値を用いて、接尾辞SEIメッセージ内のス
ケーラブルにネストされたSEIメッセージを、コーディングされたピクチャ、層、および
／またはOLSに相関させることができる。したがって、HRDは、SEIメッセージからのパラ
メータを使用して、接尾辞SEIメッセージの直前のVCL NALユニットから始まるコード化さ
れたピクチャ、層、および／またはOLSに対して1つまたは複数の適合テストを実行するこ
とができる。次いで、エンコーダは、ステップ907において、デコーダに向けて通信する
ためにビットストリームを記憶することができる。エンコーダはまた、必要に応じてビッ
トストリームをデコーダに向けて送信することができる。
図10は、スケーラブルネスティングSEIメッセージを含む接尾辞SEIメッセージを使用す
る、ビットストリーム700などのビットストリームからビデオシーケンスをデコードする
例示的な方法1000のフローチャートである。方法1000は、方法100を実行する時に、コー
デックシステム200、デコーダ400、および／またはビデオコーディング装置800などのデ
コーダで使用されてよい。さらに、方法1000は、HRD 500などのHRDによって適合性がチェ
ックされた複数層ビデオシーケンス600上で使用することができる。
方法1000は、デコーダが、例えば方法900の結果として、および／またはデコーダによ
る要求に応答して、複数層ビデオシーケンスを表すコーディングされたデータのビットス
トリームを受信し始める時に開始することができる。ステップ1001において、デコーダは
、1つまたは複数のVCL NALユニット内のコーディングされたピクチャを備えるビットスト
リームを受信する。さらに、ビットストリームは、コーディングされたピクチャを含む1
つまたは複数の層を含み得る。層は、同じ層IDおよび関連付けられた非VCL NALユニット
を有するVCL NALユニットのセットを含み得る。例えば、VCL NALユニットのセットは、VC
L NALユニットのセットがすべてnuh＿layer＿idの特定の値を有する場合、層の一部であ
る。層は、コーディングされたピクチャのビデオデータを含むVCL NALユニットのセット
と、このようなピクチャをコーディングするために使用される任意のパラメータセットと
を含み得る。1つ以上の層は出力層であってもよい。出力層ではない層は、出力層の再構
築をサポートするためにコーディングされるが、そのようなサポート層は出力を意図する
ものではない。このようにして、デコーダは、ネットワーク条件、ハードウェア能力、お
よび／またはユーザ設定に応じてビデオシーケンスの異なる表現を取得することができる
。層はまた、様々な非VCL NALユニットを含む。非VCL NALユニットは、すべてがnuh＿lay
er＿idの特定の値を有するVCL NALユニットのセットに関連付けられる。
具体的には、ビットストリームは、SUFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有す
るSEI NALユニットを含むことができ、これは、SEI NALユニットが接尾辞SEIメッセージ
を含むことを示す。また、SEI NALユニットは、スケーラブルネスティングSEIメッセージ
を含んでもよい。言い換えれば、接尾辞SEIメッセージは、スケーラブルネスティングSEI
メッセージを含む。スケーラブルネスティングSEIメッセージは、1つまたは複数のスケー
ラブルにネストされたSEIメッセージを含む。スケーラブルにネストされたSEIメッセージ
は、接尾辞SEIメッセージに含めることができる任意の型のSEIメッセージとすることがで
きる。例えば、スケーラブルにネストされたSEIメッセージは、デコードされたピクチャ
ハッシュSEIメッセージ（例えば、またはBP SEI、PT SEI、および／またはDUI SEIメッセ
ージ）を含み得る。したがって、スケーラブルネスティングSEIメッセージは、例に依存
して、接尾辞SEIメッセージを特定のOLSおよび／または特定の層に関連付ける。（接尾辞
SEIメッセージ内の）スケーラブルネスティングSEIメッセージは、スケーラブルにネスト
されたSEIメッセージが適用される第i層のnuh＿layer＿id値を指定するスケーラブルネス
ティング層＿id［i］を含み得ることに留意されたい。したがって、スケーラブルネステ
ィング層＿id［i］は、スケーラブルネスティングSEIメッセージ内のスケーラブルにネス
トされたSEIメッセージを層に関連付けることができる。いくつかの例では、接尾辞SEIメ
ッセージ内のスケーラブルネスティングSEIメッセージは、133に設定されたpayloadType
を含み得る。payloadTypeは、SEIメッセージに含まれるデータの種類を示すシンタックス
要素であるので、SEI NALユニットに含まれるSEIメッセージの種類を示す。したがって、
payloadTypeは、接尾辞SEIメッセージがスケーラブルネスティングSEIメッセージおよび
／または1もしくは複数のスケーラブルにネストされたSEIメッセージを含むことを指示し
得る。したがって、受信されたスケーラブルネスティングSEIメッセージおよび／または1
つまたは複数のスケーラブルにネストされたSEIメッセージは、スケーラブルネスティン
グSEIメッセージおよび／またはスケーラブルにネストされたSEIメッセージに先行する、
VCL NALユニットなどのNALユニットに適用される。
ステップ1003において、デコーダは、デコードされたピクチャを生成するために、VCL
NALユニットからのコーディングされたピクチャをデコードし得る。例えば、デコーダは
、nal＿unit＿typeを使用して、スケーラブルネスティングSEIメッセージおよび／または
1つもしくは複数のスケーラブルにネストされたSEIメッセージを含む接尾辞SEIメッセー
ジを決定することができる。さらに、デコーダは、スケーラブルネスティング層＿id［i
］および／nuh＿layer＿id値を用いて、接尾辞SEIメッセージ内のスケーラブルにネスト
されたSEIメッセージを、コーディングされたピクチャ、層、および／またはOLSに相関さ
せることができる。そして、デコーダは、コーディングされたピクチャをデコードする時
に、所望に応じて、接尾辞SEIメッセージからスケーラブルネスティングSEIメッセージお
よび／またはスケーラブルにネストされたSEIメッセージを使用することができる。例え
ば、デコーダは、デコードされたピクチャハッシュSEIメッセージを使用して、1つまたは
複数の層内の1つまたは複数のピクチャ（例えば、コーディングされたピクチャを含む）
がエラーなしで正しく受信およびデコードされたことを確認することができる。ステップ
1005において、デコーダは、デコードされたビデオシーケンスの一部として表示するため
にデコードされたピクチャを転送することができる。
図11は、スケーラブルネスティングSEIメッセージを含む接尾辞SEIメッセージを用いる
ビットストリームを用いてビデオシーケンスをコーディングするための典型的なシステム
1100の概略図である。システム1100は、コーデックシステム200、エンコーダ300、デコー
ダ400、および／またはビデオコーディング装置800などのエンコーダおよびデコーダによ
って実施され得る。さらに、システム1100は、HRD 500を使用して、複数層ビデオシーケ
ンス600および／またはビットストリーム700に対して適合性試験を実行することができる
。さらに、システム1100は、方法100、900および／または1000を実施する時に使用され得
る。
システム1100は、ビデオエンコーダ1102を含む。ビデオエンコーダ1102は、コーディン
グされた1つまたは複数のピクチャをビットストリームにエンコードするためのエンコー
ディングモジュール1103を備える。さらに、エンコーディングモジュール1103は、SUFFIX
＿SEI＿NUTに等しいnal＿unit＿typeを有し、スケーラブルネスティングSEIメッセージを
含むSEI NALユニットをビットストリームにエンコードするためのものである。ビデオエ
ンコーダ1102は、スケーラブルネスティングSEIメッセージに基づいてビットストリーム
に対してビットストリーム適合性試験のセットを実行するためのHRDモジュール1105をさ
らに備える。ビデオエンコーダ1102はさらに、デコーダへの通信のためにビットストリー
ムを記憶するための記憶モジュール1106を備える。ビデオエンコーダ1102は、ビットスト
リームをビデオデコーダ1110に向けて送信するための送信モジュール1107をさらに備える
。ビデオエンコーダ1102はさらに、方法900のステップのうちのいずれかを実行するよう
に構成され得る。
システム1100はまた、ビデオデコーダ1110を含む。ビデオデコーダ1110は、1つまたは
複数のコーディングされたピクチャを備えるビットストリームと、SUFFIX＿SEI＿NUTに等
しいnal＿unit＿typeを有し、スケーラブルネスティングSEIメッセージを含むSEI NALユ
ニットとを受信するための受信モジュール1111を備える。ビデオデコーダ1110はさらに、
デコードされたピクチャを生成するために、コーディングされたピクチャをデコードする
ためのデコーディングモジュール1113を備える。ビデオデコーダ1110は、デコードされた
ビデオシーケンスの一部として表示するためにデコードされたピクチャを転送するための
転送モジュール1115をさらに備える。ビデオデコーダ1110はさらに、方法1000のステップ
のうちのいずれかを実行するように構成され得る。
第1のコンポーネントは、第1のコンポーネントと第2のコンポーネントとの間の線、ト
レース、またはその他の媒介物を除いて介在するコンポーネントがない場合は、第2のコ
ンポーネントに直接的に結合される。第1のコンポーネントは、第1のコンポーネントと第
2のコンポーネントとの間の線、トレース、またはその他の媒介物以外に介在するコンポ
ーネントがある場合は、第2のコンポーネントに間接的に結合される。用語「結合」とそ
の変化形は直接的な結合と間接的な結合の両方を含む。用語「約」の使用は、別段の記載
がない限り、後続する数値の±10％を含む範囲を意味する。
本明細書に記載されている例示的な方法のステップは、記載されている順に実行するこ
とを必ずしも必要としていないことも理解されたく、かかる方法のステップの順序は、単
なる例と理解されるべきである。同様に、本開示の様々な実施形態と合致する方法におい
て、かかる方法には追加のステップが含まれてよく、いくつかのステップが省略されたり
組み合わされたりしてよい。
本開示ではいくつかの実施形態が提供されているが、開示されたシステムおよび方法は
、本開示の趣旨または範囲から逸脱することなく、多くの他の特定の形態で具現化されて
もよいことが理解されよう。本開示の例は、限定ではなく例示とみなされるべきであり、
その意図は、本明細書に与えられた詳細に限定されるべきではない。例えば、様々な要素
または構成要素が別のシステムにおいて結合もしくは統合されてもよく、または特定の機
能が省略されるか、もしくは実装されなくてもよい。
加えて、様々な実施形態において個別または別個のものとして記載および例示された技
法、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他の
システム、構成要素、技法、または方法と結合または統合されてもよい。変更、代用、お
よび改変の他の例は当業者によって解明可能であり、本明細書に開示された趣旨および範
囲から逸脱することなく行われてもよい。
100 動作方法
200 コーデックシステム
201 区分けされたビデオ信号
211 総合コーダ制御コンポーネント
213 変換スケーリング量子化コンポーネント
215 イントラピクチャ推定コンポーネント
217 イントラピクチャ予測コンポーネント
219 動き補償コンポーネント
221 動き推定コンポーネント
223 デコードされたピクチャバッファコンポーネント
225 インループフィルタコンポーネント
227 フィルタ制御解析コンポーネント
229 スケーリング逆変換コンポーネント
231 ヘッダーフォーマッティングCABACコンポーネント
300 エンコーダ
301 区分けされたビデオ信号
313 変換量子化コンポーネント
317 イントラピクチャ予測コンポーネント
321 動き補償コンポーネント
323 デコードされたピクチャバッファコンポーネント
325 インループフィルタコンポーネント
329 逆変換量子化コンポーネント
331 エントロピーコーディングコンポーネント
400 デコーダ
417 イントラピクチャ予測コンポーネント
421 動き補償コンポーネント
423 デコードされたピクチャバッファコンポーネント
425 インループフィルタコンポーネント
429 逆変換量子化コンポーネント
433 エントロピーデコーディングコンポーネント
500 HRD
600 複数層ビデオシーケンス
611、612、613、614、615、616、617、618 ピクチャ
621 層間予測
623 インター予測
627 アクセスユニット（AU）
628 OLS
631 層N
632 層N＋1
635 nuh＿layer＿id
700 ビットストリーム
711 VPS
713 SPS
715 PPS
717 スライスヘッダ
718 接頭辞SEIメッセージ
719 接尾辞SEIメッセージ
720 画像データ
723 層
725 ピクチャ
727 スライス
731 nal＿unit＿type
733 ペイロード型（payloadType）
735 スケーラブルネスティング層＿id［i］
741 非VCL NALユニット
742 PREFIX＿SEI＿NUT
743 SUFFIX＿SEI＿NUT
744 SEI NALユニット
745 VCL NALユニット
746 スケーラブルネスティングSEIメッセージ
747 スケーラブルにネストされたSEIメッセージ
748 デコードされたピクチャハッシュSEIメッセージ
800 ビデオコーディング装置
810 トランシーバユニット（Tx／Rx）
814 コーディングモジュール
820 ダウンストリームポート
830 プロセッサ
832 メモリ
850 アップストリームポート
860 入力および／または出力（I／O）デバイス
1100 システム
1102 ビデオエンコーダ
1103 エンコーディングモジュール
1105 HRDモジュール
1106 記憶モジュール
1107 送信モジュール
1110 ビデオデコーダ
1111 受信モジュール
1113 デコーディングモジュール
1115 転送モジュール

Claims (20)

  1. デコーダによって実施される方法であって、前記方法は、
    前記デコーダの受信器によって、コーディングされたピクチャと、接尾辞SEI NALユニ
    ット型（SUFFIX＿SEI＿NUT）と等しいNALユニット型（nal＿unit＿type）を有し、スケー
    ラブルネスティングSEIメッセージを含む補足拡張情報（SEI）ネットワーク抽象化層（NA
    L）ユニットとを含むビットストリームを受信するステップと、
    前記デコーダのプロセッサによって、前記コーディングされたピクチャをデコードして
    デコードされたピクチャを生成するステップと、
    を含む、方法。
  2. 前記スケーラブルネスティングSEIメッセージは、1つまたは複数のスケーラブルにネス
    トされたSEIメッセージを含む、請求項1に記載の方法。
  3. 前記1つまたは複数のスケーラブルにネストされたSEIメッセージは、デコードされたピ
    クチャハッシュSEIメッセージを含む、請求項1または2に記載の方法。
  4. 前記スケーラブルネスティングSEIメッセージは、SEIメッセージを特定の出力層セット
    （OLS）に関連付ける、請求項1から3のいずれか一項に記載の方法。
  5. 前記スケーラブルネスティングSEIメッセージは、SEIメッセージを特定の層に関連付け
    る、請求項1から4のいずれか一項に記載の方法。
  6. 前記スケーラブルネスティングSEIメッセージが、133に設定されたペイロード型（payl
    oadType）を含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記スケーラブルネスティングSEIメッセージは、前記スケーラブルにネストされたSEI
    メッセージが適用される第i層のNALユニットヘッダ層識別子（nuh＿layer＿id）値を指定
    するスケーラブルネスティング層識別子（layer＿id［i］）を含む、請求項1から6のいず
    れか一項に記載の方法。
  8. エンコーダによって実施される方法であって、前記方法は、
    前記エンコーダのプロセッサによって、1つまたは複数のコーディングされたピクチャ
    をビットストリームにエンコードするステップと、
    前記プロセッサが、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）と等しいNALユニッ
    ト型（nal＿unit＿type）を有し、スケーラブルネスティングSEIメッセージを含む補足拡
    張情報（SEI）ネットワーク抽象化層（NAL）ユニットを前記ビットストリームにエンコー
    ドするステップと、
    前記プロセッサによって、前記スケーラブルネスティングSEIメッセージに基づいて前
    記ビットストリームに対してビットストリーム適合性試験のセットを実行するステップと
    、
    前記プロセッサに結合されたメモリによって、デコーダへの通信のために前記ビットス
    トリームを記憶するステップと、
    を含む、方法。
  9. 前記スケーラブルネスティングSEIメッセージは、1つまたは複数のスケーラブルにネス
    トされたSEIメッセージを含む、請求項8に記載の方法。
  10. 前記1つまたは複数のスケーラブルにネストされたSEIメッセージは、デコードされたピ
    クチャハッシュSEIメッセージを含む、請求項8または9に記載の方法。
  11. 前記スケーラブルネスティングSEIメッセージは、SEIメッセージを特定の出力層セット
    （OLS）に関連付ける、請求項8から10のいずれか一項に記載の方法。
  12. 前記スケーラブルネスティングSEIメッセージは、SEIメッセージを特定の層に関連付け
    る、請求項8から11のいずれか一項に記載の方法。
  13. 前記スケーラブルネスティングSEIメッセージが、133に設定されたペイロード型（payl
    oadType）を含む、請求項8から12のいずれか一項に記載の方法。
  14. 前記スケーラブルネスティングSEIメッセージは、前記スケーラブルにネストされるSEI
    メッセージが適用される第i層のNALユニットヘッダ層識別子（nuh＿layer＿id）値を指定
    するスケーラブルネスティング層識別子（layer＿id［i］）を含む、請求項8から13のい
    ずれか一項に記載の方法。
  15. プロセッサと、前記プロセッサに結合された受信器と、前記プロセッサに結合されたメ
    モリと、前記プロセッサに結合された送信器とを備え、前記プロセッサ、受信器、メモリ
    、および送信器は、請求項1から14のいずれか一項に記載の方法を実行するように構成さ
    れている、
    ビデオコーディング装置。
  16. ビデオコーディング装置によって使用されるコンピュータプログラム製品を含む非一時
    的コンピュータ可読媒体であって、前記コンピュータプログラム製品は前記非一時的コン
    ピュータ可読媒体に記憶されたコンピュータ実行可能命令を含み、プロセッサによって実
    行されると、前記ビデオコーディング装置に請求項1から14のいずれか一項に記載の方法
    を実行させる、非一時的コンピュータ可読媒体。
  17. デコーダであって、
    コーディングされたピクチャと、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）に等
    しいNALユニット型（nal＿unit＿type）を有する補足拡張情報（SEI）ネットワーク抽象
    化層（NAL）ユニットとを備える、スケーラブルネスティングSEIメッセージを含むビット
    ストリームを受信する受信手段と、
    前記コーディングされたピクチャをデコードしてデコードされたピクチャを生成するデ
    コード手段と、
    デコードされたビデオシーケンスの一部として表示するために前記デコードされたピク
    チャを転送するための転送手段と、
    を備える、デコーダ。
  18. 前記デコーダが請求項1から7のいずれか一項に記載の方法を実行するようにさらに構成
    されている、請求項17に記載のデコーダ。
  19. エンコーダであって、
    エンコード手段であって、
    1つまたは複数のコーディングされたピクチャをビットストリームにエンコードし、
    前記ビットストリームに、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）に等しいNAL
    ユニット型（nal＿unit＿type）を有し、スケーラブルネスティングSEIメッセージを含む
    補足拡張情報（SEI）ネットワーク抽象化層（NAL）ユニットをエンコードする、
    エンコード手段と、
    前記スケーラブルネスティングSEIメッセージに基づいて前記ビットストリームに対し
    てビットストリーム適合性試験のセットを実行するための仮想参照デコーダ（HRD）手段
    と、
    デコーダに向けて通信するための前記ビットストリームを記憶する記憶手段と、
    を備える、エンコーダ。
  20. 前記エンコーダが、請求項8から14のいずれか一項に記載の方法を実行するようにさら
    に構成されている、請求項19に記載のエンコーダ。
JP2024053670A 2019-09-24 2024-03-28 接尾辞ｓｅｉメッセージのためのスケーラブルネスティング Pending JP2024074856A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962905236P 2019-09-24 2019-09-24
US62/905,236 2019-09-24
JP2022518798A JP2022548405A (ja) 2019-09-24 2020-09-17 接尾辞ｓｅｉメッセージのためのスケーラブルネスティング
PCT/US2020/051315 WO2021061495A1 (en) 2019-09-24 2020-09-17 Scalable nesting for suffix sei messages

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022518798A Division JP2022548405A (ja) 2019-09-24 2020-09-17 接尾辞ｓｅｉメッセージのためのスケーラブルネスティング

Publications (1)

Publication Number Publication Date
JP2024074856A true JP2024074856A (ja) 2024-05-31

Family

ID=75166352

Family Applications (8)

Application Number Title Priority Date Filing Date
JP2022518793A Pending JP2022548330A (ja) 2019-09-24 2020-09-17 レイヤベースのパラメータセットｎａｌユニット制約
JP2022519005A Pending JP2022550320A (ja) 2019-09-24 2020-09-17 ビデオ符号化におけるｓｅｉメッセージ依存性の簡略化
JP2022518797A Active JP7416921B2 (ja) 2019-09-24 2020-09-17 解像度変更のためのデコードされたピクチャバッファ動作
JP2022518798A Pending JP2022548405A (ja) 2019-09-24 2020-09-17 接尾辞ｓｅｉメッセージのためのスケーラブルネスティング
JP2022518794A Active JP7400088B2 (ja) 2019-09-24 2020-09-17 Ｓｅｉメッセージのための時間識別子の制限
JP2023206257A Pending JP2024023566A (ja) 2019-09-24 2023-12-06 Ｓｅｉメッセージのための時間識別子の制限
JP2024000298A Pending JP2024028383A (ja) 2019-09-24 2024-01-04 解像度変更のためのデコードされたピクチャバッファ動作
JP2024053670A Pending JP2024074856A (ja) 2019-09-24 2024-03-28 接尾辞ｓｅｉメッセージのためのスケーラブルネスティング

Family Applications Before (7)

Application Number Title Priority Date Filing Date
JP2022518793A Pending JP2022548330A (ja) 2019-09-24 2020-09-17 レイヤベースのパラメータセットｎａｌユニット制約
JP2022519005A Pending JP2022550320A (ja) 2019-09-24 2020-09-17 ビデオ符号化におけるｓｅｉメッセージ依存性の簡略化
JP2022518797A Active JP7416921B2 (ja) 2019-09-24 2020-09-17 解像度変更のためのデコードされたピクチャバッファ動作
JP2022518798A Pending JP2022548405A (ja) 2019-09-24 2020-09-17 接尾辞ｓｅｉメッセージのためのスケーラブルネスティング
JP2022518794A Active JP7400088B2 (ja) 2019-09-24 2020-09-17 Ｓｅｉメッセージのための時間識別子の制限
JP2023206257A Pending JP2024023566A (ja) 2019-09-24 2023-12-06 Ｓｅｉメッセージのための時間識別子の制限
JP2024000298A Pending JP2024028383A (ja) 2019-09-24 2024-01-04 解像度変更のためのデコードされたピクチャバッファ動作

Country Status (11)

Country Link
US (6) US20220217388A1 (ja)
EP (5) EP4022772A4 (ja)
JP (8) JP2022548330A (ja)
KR (5) KR20220062657A (ja)
CN (11) CN114845112B (ja)
AU (5) AU2020354368A1 (ja)
BR (6) BR112022004873A2 (ja)
CA (2) CA3152353A1 (ja)
CL (2) CL2022000702A1 (ja)
MX (2) MX2022003547A (ja)
WO (5) WO2021061492A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4014497A4 (en) 2019-09-14 2022-11-30 ByteDance Inc. QUANTIZE PARAMETER FOR CHROMINANCE UNBLOCKING FILTERING
AU2020354368A1 (en) * 2019-09-24 2022-04-14 Huawei Technologies Co., Ltd. Temporal identifier constraints for SEI messages
WO2021072177A1 (en) * 2019-10-09 2021-04-15 Bytedance Inc. Cross-component adaptive loop filtering in video coding
WO2021068954A1 (en) * 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. High level syntax for video coding tools
CN114586370B (zh) 2019-10-14 2024-01-23 字节跳动有限公司 在视频编解码中使用色度量化参数的方法、装置及介质
WO2021118977A1 (en) 2019-12-09 2021-06-17 Bytedance Inc. Using quantization groups in video coding
CN114868158A (zh) 2019-12-26 2022-08-05 字节跳动有限公司 层级视频中的解码图片缓冲区参数的信令通知
EP4062640A4 (en) 2019-12-26 2023-01-11 ByteDance Inc. PROFILE, ROW AND LAYER INDICATION IN VIDEO CODING
BR112022011719A2 (pt) 2019-12-26 2022-09-06 Bytedance Inc Método de processamento de vídeo, aparelho de processamento de dados de vídeo, e, mídias de armazenamento e de gravação legíveis por computador
WO2021134055A1 (en) 2019-12-27 2021-07-01 Bytedance Inc. Subpicture signaling in parameter sets
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换
CN114946174A (zh) 2020-01-09 2022-08-26 字节跳动有限公司 层间参考图片的存在的信令通知
MX2022011208A (es) * 2020-03-17 2022-09-19 Bytedance Inc Uso de conjunto de parametros de video en codificacion de video.
CN115699747A (zh) 2020-05-22 2023-02-03 字节跳动有限公司 视频子比特流提取过程中的可缩放嵌套sei消息处理
KR20230013264A (ko) 2020-05-22 2023-01-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처 서브-비트스트림 추출 개선들
CN117528004A (zh) * 2020-06-09 2024-02-06 字节跳动有限公司 多层视频比特流的子比特流提取
CN117296317A (zh) * 2021-04-19 2023-12-26 Lg 电子株式会社 媒体文件处理方法及其设备
WO2022225369A1 (ko) * 2021-04-23 2022-10-27 엘지전자 주식회사 레이어 식별자 정보를 포함하는 sei 메시지 기반의 영상 부호화/복호화 방법, 장치, 및 비트스트림을 전송하는 방법

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
CN101317459A (zh) * 2005-10-11 2008-12-03 诺基亚公司 用于可伸缩视频编码的有效解码图像缓存管理
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
JP2007166129A (ja) * 2005-12-13 2007-06-28 Victor Co Of Japan Ltd 符号化データ生成装置
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8594203B2 (en) * 2006-10-16 2013-11-26 Nokia Corporation System and method for using parallelly decodable slices for multi-view video coding
EP3968642A1 (en) 2007-04-12 2022-03-16 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
CN103748884A (zh) * 2011-08-30 2014-04-23 索尼公司 图像处理装置和图像处理方法
US9106927B2 (en) * 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
US9578326B2 (en) * 2012-04-04 2017-02-21 Qualcomm Incorporated Low-delay video buffering in video coding
RU2584501C1 (ru) * 2012-04-16 2016-05-20 Нокиа Текнолоджиз Ой Способ и устройство для видеокодирования
US20130343465A1 (en) * 2012-06-26 2013-12-26 Qualcomm Incorporated Header parameter sets for video coding
US9912941B2 (en) * 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US10110890B2 (en) 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US9967583B2 (en) * 2012-07-10 2018-05-08 Qualcomm Incorporated Coding timing information for video coding
US9380289B2 (en) 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
US9014051B2 (en) 2012-08-30 2015-04-21 Abb Inc. Updating multicast group information of a client device of a wireless mesh network
US9686542B2 (en) * 2012-09-05 2017-06-20 Qualcomm Incorporated Network abstraction layer header design
US9426462B2 (en) * 2012-09-21 2016-08-23 Qualcomm Incorporated Indication and activation of parameter sets for video coding
US9654802B2 (en) * 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
US9351005B2 (en) * 2012-09-24 2016-05-24 Qualcomm Incorporated Bitstream conformance test in video coding
US9319703B2 (en) * 2012-10-08 2016-04-19 Qualcomm Incorporated Hypothetical reference decoder parameter syntax structure
WO2014058177A1 (ko) * 2012-10-08 2014-04-17 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
US9521393B2 (en) 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
US20140269896A1 (en) * 2013-03-13 2014-09-18 Futurewei Technologies, Inc. Multi-Frame Compression
US10003815B2 (en) 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US10284862B2 (en) 2013-07-14 2019-05-07 Sharp Kabushiki Kaisha Signaling indications and constraints
WO2015008477A1 (en) * 2013-07-14 2015-01-22 Sharp Kabushiki Kaisha Tile alignment signaling and conformance constraints
US20150016547A1 (en) * 2013-07-15 2015-01-15 Sony Corporation Layer based hrd buffer management for scalable hevc
JP6150011B2 (ja) * 2013-07-15 2017-06-21 ソニー株式会社 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張
JP6363088B2 (ja) * 2013-10-08 2018-07-25 シャープ株式会社 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
US9648333B2 (en) 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
US10187662B2 (en) * 2013-10-13 2019-01-22 Sharp Kabushiki Kaisha Signaling parameters in video parameter set extension and decoder picture buffer operation
CN105981387B (zh) * 2013-10-15 2019-09-27 诺基亚技术有限公司 用于处理视频的方法、装置和计算机可读存储介质
US9860540B2 (en) * 2014-01-03 2018-01-02 Qualcomm Incorporated Inference of nooutputofpriorpicsflag in video coding
US20170171563A1 (en) * 2014-02-24 2017-06-15 Sharp Kabushiki Kaisha Restrictions on signaling
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US9866869B2 (en) * 2014-03-17 2018-01-09 Qualcomm Incorporated POC value design for multi-layer video coding
US9894370B2 (en) * 2014-03-24 2018-02-13 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US9712871B2 (en) * 2014-05-01 2017-07-18 Qualcomm Incorporated Determination bitstream decoding capability in video coding
WO2015194191A1 (en) * 2014-06-19 2015-12-23 Sharp Kabushiki Kaisha Method for decoding a video bitstream
US10455242B2 (en) * 2015-03-04 2019-10-22 Qualcomm Incorporated Signaling output indications in codec-hybrid multi-layer video coding
MX369288B (es) * 2015-04-09 2019-11-04 Arris Entpr Llc Metodo y aparato para descubrimiento automatico de elementos en un sistema de codificadores.
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
US10575013B2 (en) * 2015-10-19 2020-02-25 Mediatek Inc. Method and apparatus for decoded picture buffer management in video coding system using intra block copy
CN109963176B (zh) * 2017-12-26 2021-12-07 中兴通讯股份有限公司 视频码流处理方法、装置、网络设备和可读存储介质
US11321516B2 (en) 2018-01-19 2022-05-03 Qualcomm Incorporated Processing dynamic web content of an ISO BMFF web resource track
US11956471B2 (en) 2018-12-20 2024-04-09 Telefonaktiebolaget Lm Ericsson (Publ) Normative indication of recovery point
MX2021010337A (es) * 2019-02-27 2021-09-28 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes.
KR102393325B1 (ko) * 2019-02-28 2022-05-02 엘지전자 주식회사 Aps 시그널링 기반 비디오 또는 영상 코딩
GB2584295A (en) * 2019-05-28 2020-12-02 Canon Kk Method and apparatus for encoding and decoding a video bitstream for merging regions of interest
US11166033B2 (en) * 2019-06-06 2021-11-02 Qualcomm Incorporated Adaptation parameter set in access unit in video coding
WO2021006621A1 (ko) * 2019-07-08 2021-01-14 엘지전자 주식회사 적응적 루프 필터 기반 비디오 또는 영상 코딩
CN114556925A (zh) * 2019-08-19 2022-05-27 弗劳恩霍夫应用研究促进协会 接入单元分隔符和自适应参数集的使用
CN114424529A (zh) * 2019-09-18 2022-04-29 北京字节跳动网络技术有限公司 视频编解码中自适应环路滤波器的两部分信令
US11375223B2 (en) * 2019-09-20 2022-06-28 Tencent America LLC Method for signaling output layer set with sub-picture
AU2020354368A1 (en) * 2019-09-24 2022-04-14 Huawei Technologies Co., Ltd. Temporal identifier constraints for SEI messages
BR112022005407A2 (pt) * 2019-09-24 2022-06-21 Huawei Tech Co Ltd Método implementado por um decodificador, dispositivo de codificação de vídeo, mídia legível por computador não transitória e decodificador
KR20220084060A (ko) * 2019-10-29 2022-06-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로스 컴포넌트 적응적 루프 필터의 시그널링

Also Published As

Publication number Publication date
US11800130B2 (en) 2023-10-24
KR20220062657A (ko) 2022-05-17
EP4022451A4 (en) 2022-11-23
WO2021061494A1 (en) 2021-04-01
AU2020356300A1 (en) 2022-04-14
BR112022005394A2 (pt) 2022-06-21
EP4022772A4 (en) 2022-11-23
MX2022003548A (es) 2022-06-02
WO2021061493A1 (en) 2021-04-01
AU2020352453A1 (en) 2022-04-21
JP7416921B2 (ja) 2024-01-17
CN114450962A (zh) 2022-05-06
JP2024028383A (ja) 2024-03-04
BR112022004883A2 (pt) 2022-06-07
CN114978232B (zh) 2023-04-04
US20220217411A1 (en) 2022-07-07
US20220217388A1 (en) 2022-07-07
CN114978232A (zh) 2022-08-30
KR20220065055A (ko) 2022-05-19
CN114968894A (zh) 2022-08-30
BR112022004873A2 (pt) 2022-06-07
WO2021061492A1 (en) 2021-04-01
BR112022004862A2 (pt) 2022-06-07
JP2022549010A (ja) 2022-11-22
JP7400088B2 (ja) 2023-12-18
CN114979663B (zh) 2023-08-04
EP4022777A4 (en) 2022-11-23
US20220217410A1 (en) 2022-07-07
US20220217387A1 (en) 2022-07-07
BR112022005000A2 (pt) 2022-06-14
CN114979663A (zh) 2022-08-30
EP4022778A4 (en) 2022-11-23
CN114968894B (zh) 2023-08-04
AU2020354926A1 (en) 2022-04-07
AU2020354368A1 (en) 2022-04-14
JP2022548405A (ja) 2022-11-18
KR20220065051A (ko) 2022-05-19
EP4022778A1 (en) 2022-07-06
CN115002467B (zh) 2023-04-04
EP4035377A4 (en) 2022-11-23
CN114467262A (zh) 2022-05-10
CL2022000703A1 (es) 2022-11-18
KR20220063269A (ko) 2022-05-17
WO2021061496A1 (en) 2021-04-01
CA3152357A1 (en) 2021-04-01
EP4035377A1 (en) 2022-08-03
JP2022548330A (ja) 2022-11-17
KR20220065054A (ko) 2022-05-19
MX2022003547A (es) 2022-05-30
CN114424559A (zh) 2022-04-29
CN114845112A (zh) 2022-08-02
JP2022550320A (ja) 2022-12-01
JP2022548404A (ja) 2022-11-18
BR122022007954A2 (pt) 2022-07-05
CN115002467A (zh) 2022-09-02
AU2020352914A1 (en) 2022-04-14
US20230269389A1 (en) 2023-08-24
EP4022772A1 (en) 2022-07-06
CN116744002A (zh) 2023-09-12
CN114450675A (zh) 2022-05-06
CN114845112B (zh) 2023-04-04
US20220217390A1 (en) 2022-07-07
WO2021061495A1 (en) 2021-04-01
CL2022000702A1 (es) 2022-11-18
JP2024023566A (ja) 2024-02-21
CN114514703A (zh) 2022-05-17
CA3152353A1 (en) 2021-04-01
EP4022451A1 (en) 2022-07-06
EP4022777A1 (en) 2022-07-06

Similar Documents

Publication Publication Date Title
CN114845112B (zh) 后缀sei消息的可伸缩嵌套的方法、设备、介质、解码器和编码器
JP7427774B2 (ja) サブビットストリーム抽出におけるｓｐｓエラー回避
CN114514741B (zh) 用于基于层的一致性测试的hrd参数

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240402