JP2024531112A - グリーンメタデータシグナリング - Google Patents

グリーンメタデータシグナリング Download PDF

Info

Publication number
JP2024531112A
JP2024531112A JP2024506707A JP2024506707A JP2024531112A JP 2024531112 A JP2024531112 A JP 2024531112A JP 2024506707 A JP2024506707 A JP 2024506707A JP 2024506707 A JP2024506707 A JP 2024506707A JP 2024531112 A JP2024531112 A JP 2024531112A
Authority
JP
Japan
Prior art keywords
bitstream
syntax element
granularity
picture
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024506707A
Other languages
English (en)
Inventor
ヘー、ヨン
コバン、ムハンメド・ゼイド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2024531112A publication Critical patent/JP2024531112A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオデータを処理するためのシステム、方法、装置、およびコンピュータ可読媒体が開示される。たとえば、ビデオデータを処理するための装置が、少なくとも１つのメモリと、少なくとも１つのメモリに結合された少なくとも１つのプロセッサとを含み得、少なくとも１つのプロセッサは、ビットストリームを取得することと、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すことと、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定する、ビットストリームに関連する期間タイプシンタックス要素を取り出すことと、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とに基づいてビットストリームの一部分を復号することとを行うように構成される。

Description

[0001] 本出願は、一般に、ビデオ処理に関する。たとえば、本出願の態様は、グリーンメタデータ（green metadata）に関してビデオコーディング技法（たとえば、ビデオを符号化および／または復号すること）を改善することに関する。
[0002] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。そのようなデバイスは、ビデオデータが消費のために処理および出力されることを可能にする。デジタルビデオデータは、消費者およびビデオプロバイダの需要を満たすための大量のデータを含む。たとえば、ビデオデータの消費者は、高い忠実度、解像度、フレームレートなどを伴う、最高の品質のビデオを望む。その結果、これらの需要を満たすために必要とされる大量のビデオデータは、ビデオデータを処理および記憶する通信ネットワークおよびデバイスに負担をかける。
[0003] デジタルビデオデバイスは、ビデオデータを圧縮するためのビデオコーディング技法を実装することができる。ビデオコーディングは、１つまたは複数のビデオコーディング規格またはフォーマットに従って実施される。たとえば、ビデオコーディング規格またはフォーマットは、特に、汎用ビデオコーディング（ＶＶＣ）、高効率ビデオコーディング（ＨＥＶＣ）、アドバンストビデオコーディング（ＡＶＣ）、ＭＰＥＧ－２ Ｐａｒｔ２コーディング（ＭＰＥＧはムービングピクチャエキスパートグループを表す）、ならびにＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａによって開発されたＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）などのプロプライエタリビデオコーダデコーダ（コーデック）／フォーマットを含む。ビデオコーディングは、概してビデオ画像またはシーケンス中に存在する冗長を利用する予測方法（たとえば、インター予測、イントラ予測など）を利用する。ビデオコーディング技法の目標は、ビデオ品質に対する劣化を回避するかまたは最小限に抑えながら、より低いビットレートを使用する形式にビデオデータを圧縮することである。常に発展しつつあるビデオサービスが利用可能になるとともに、より良いコーディング効率をもつコーディング技法が必要とされる。
[0004] ビデオデータを処理するためのシステムおよび技法が本明細書で説明される。少なくとも１つの例によれば、ビットストリーム（bitstream）を取得することと、ビットストリームに関連するグラニュラリティタイプシンタックス要素（granularity type syntax element）を取り出すことと、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ：complexity metric）が適用可能であるグラニュラリティのタイプを指定する、を含む、ビデオを処理する方法が提供される。
[0005] ビデオデータを処理するためのシステム、方法、装置（apparatus）、およびコンピュータ可読媒体が開示される。１つの例示的な例では、ビデオデータを処理するための装置が提供される。本装置は、少なくとも１つのメモリと、少なくとも１つのメモリに結合された（たとえば、回路において実装される）少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、ビットストリームを取得することと、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すことと、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャ（picture）のグラニュラリティのタイプを指定する、ビットストリームに関連する期間タイプシンタックス要素（period type syntax element）を取り出すことと、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とに基づいてビットストリームの一部分を復号することとを行うように構成される。
[0006] 別の例では、ビデオデータを処理するための方法が提供される。本方法は、ビットストリームを取得することと、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すことと、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定する、ビットストリームに関連する期間タイプシンタックス要素を取り出すことと、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とに基づいてビットストリームの一部分を復号することとを含む。
[0007] 別の例では、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ビットストリームを取得することと、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すことと、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定する、ビットストリームに関連する期間タイプシンタックス要素を取り出すことと、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とに基づいてビットストリームの一部分を復号することとを行わせる命令を有する、非一時的コンピュータ可読媒体が提供される。
[0008] 別の例では、ビデオデータを処理するための装置が提供される。本装置は、ビットストリームを取得するための手段と、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すための手段と、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定する、ビットストリームに関連する期間タイプシンタックス要素を取り出すための手段と、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とに基づいてビットストリームの一部分を復号するための手段とを含む。
[0009] 別の例では、ビデオデータを処理するための装置が提供される。本装置は、少なくとも１つのメモリと、少なくとも１つのメモリに結合された（たとえば、回路において実装される）少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、ビデオデータを取得することと、ビットストリームについて、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成することと、ビットストリームについて、ビットストリームに関連する期間タイプシンタックス要素を生成することと、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、ビデオデータに関連するビットストリームを生成することと、ビットストリームが、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とを含む、生成されたビットストリームを出力することとを行うように構成される。
[0010] 別の例では、ビデオデータを処理するための方法が提供される。本方法は、ビデオデータを取得することと、ビットストリームについて、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成することと、ビットストリームについて、ビットストリームに関連する期間タイプシンタックス要素を生成することと、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、ビデオデータに関連するビットストリームを生成することと、ビットストリームが、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とを含む、生成されたビットストリームを出力することとを含む。
[0011] 別の例では、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ビデオデータを取得することと、ビットストリームについて、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成することと、ビットストリームについて、ビットストリームに関連する期間タイプシンタックス要素を生成することと、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、ビデオデータに関連するビットストリームを生成することと、ビットストリームが、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とを含む、生成されたビットストリームを出力することとを行わせる命令を有する、非一時的コンピュータ可読媒体が提供される。
[0012] 別の例では、ビデオデータを処理するための装置が提供される。本装置は、ビデオデータを取得するための手段と、ビットストリームについて、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成するための手段と、ビットストリームについて、ビットストリームに関連する期間タイプシンタックス要素を生成するための手段と、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、ビデオデータに関連するビットストリームを生成するための手段と、ビットストリームが、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とを含む、生成されたビットストリームを出力するための手段とを含む。
[0013] 少なくとも１つの他の例によれば、少なくとも１つのメモリと、メモリに結合された（たとえば、回路において実装される）１つまたは複数のプロセッサとを含む、ビデオデータを処理するための装置が提供される。１つまたは複数のプロセッサは、ビットストリームを取得することと、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すことと、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能であるグラニュラリティのタイプを指定する、を行うように構成される。
[0014] 少なくとも１つの他の例によれば、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ビットストリームを取得することと、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すことと、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能であるグラニュラリティのタイプを指定する、を行わせる命令を含む、非一時的コンピュータ可読媒体が提供される。
[0015] 少なくとも１つの他の例によれば、ビットストリームを取得するための手段と、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すための手段と、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能であるグラニュラリティのタイプを指定する、を含む、ビデオデータを処理するための装置が提供される。
[0016] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのピクチャに適用可能であることを指定する。
[0017] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのスライスに適用可能であることを指定する。
[0018] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのタイルに適用可能であることを指定する。
[0019] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのサブピクチャに適用可能であることを指定する。
[0020] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのスケーラブルレイヤに適用可能であることを指定する。
[0021] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのコーディングツリーユニット（ＣＴＵ：coding tree unit）行に適用可能であることを指定する。
[0022] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームに関連する期間タイプシンタックス要素を取り出すことを含むことができ、期間タイプシンタックス要素は、ＣＭが適用可能である今度の期間（upcoming period）のタイプを指定する。
[0023] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームに関連するピクチャレベルＣＭシンタックス構造を取り出すことを含むことができ、ピクチャレベルＣＭシンタックス構造は、期間にわたる１つまたは複数のピクチャについての複雑さメトリックを指定する。
[0024] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームに関連するグラニュラリティレベルＣＭシンタックス構造（granularity level CM syntax structure）を取り出すことを含むことができ、グラニュラリティレベルＣＭシンタックス構造は、期間にわたる１つまたは複数のエンティティについてのグラニュラリティレベル複雑さメトリック（granularity level complexity metrics）を指定する。いくつかの態様では、１つまたは複数のエンティティは、スライス、タイル、サブピクチャ、およびレイヤのうちの少なくとも１つを含む。
[0025] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームに関連するサブピクチャシンタックス要素（subpicture syntax element）を取り出すことを含むことができ、サブピクチャシンタックス要素は、期間が複数のピクチャにわたるとき、サブピクチャ識別子（ＩＤ）がＣＭ中でシグナリングされることを示す。
[0026] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームに関連するコーディングツリーブロック（ＣＴＢ）数シンタックス要素（coding tree block (CTB) number syntax element）を取り出すことを含むことができ、ＣＴＢ数シンタックス要素は、グラニュラリティのタイプがスライスまたはタイルに等しく、期間が複数のピクチャにわたるとき、期間にわたるコーディングツリールーマブロック（coding tree luma block）の総数がＣＭ中でシグナリングされ得ることを示す。
[0027] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームに関連する平均コーディングツリーブロック（ＣＴＢ）数シンタックス要素を取り出すことを含むことができ、平均ＣＴＢ数シンタックス要素（average CTB number syntax element）は、ピクチャごとのグラニュラリティごとのＣＴＢまたは４×４ブロックの平均数（average number）を示す。
[0028] いくつかの態様では、イントラコード化ブロック統計値（intra-coded block statistics）は、ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロック（intra-coded block）があるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる。
[0029] いくつかの態様では、インターコード化ブロック統計値（inter-coded block statistics）は、ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロック（inter-coded block）があるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる。
[0030] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームの１つまたは複数のグラニュラリティセグメント（granularity segment）に関連する１つまたは複数の品質復元メトリックを取り出すことを含むことができる。いくつかの態様では、ビットストリームの１つまたは複数のグラニュラリティセグメントは、スライス、タイル、およびサブピクチャのうちの少なくとも１つを含む。
[0031] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、ＳＥＩメッセージからグラニュラリティタイプシンタックス要素を取り出すこととを含むことができる。
[0032] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームに関連するＣＭに基づいて装置の動作周波数を決定することを含むことができる。
[0033] いくつかの態様では、本装置はデコーダを含む。
[0034] 少なくとも１つの他の例によれば、ビデオデータを取得することと、ビデオデータに関連するビットストリームを生成することと、ビットストリームについて、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能であるグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成することとを含む、ビデオを処理する方法が提供される。
[0035] 少なくとも１つの他の例によれば、少なくとも１つのメモリと、メモリに結合された（たとえば、回路において実装される）１つまたは複数のプロセッサとを含む、ビデオデータを処理するための装置が提供される。１つまたは複数のプロセッサは、ビデオデータを取得することと、ビデオデータに関連するビットストリームを生成することと、ビットストリームについて、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能であるグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成することとを行うように構成される。
[0036] 少なくとも１つの他の例によれば、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ビデオデータを取得することと、ビデオデータに関連するビットストリームを生成することと、ビットストリームについて、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能であるグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成することとを行わせる命令を含む、非一時的コンピュータ可読媒体が提供される。
[0037] 少なくとも１つの他の例によれば、ビデオデータを取得するための手段と、ビデオデータに関連するビットストリームを生成するための手段と、ビットストリームについて、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能であるグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成するための手段とを含む、ビデオデータを処理するための装置が提供される。
[0038] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのピクチャに適用可能であることを指定する。
[0039] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのスライスに適用可能であることを指定する。
[0040] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのタイルに適用可能であることを指定する。
[0041] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのサブピクチャに適用可能であることを指定する。
[0042] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのスケーラブルレイヤに適用可能であることを指定する。
[0043] いくつかの態様では、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのコーディングツリーユニット（ＣＴＵ）行に適用可能であることを指定する。
[0044] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームについて、ＣＭが適用可能である今度の期間のタイプを指定する期間タイプシンタックス要素を生成することを含むことができる。
[0045] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームについて、期間にわたる１つまたは複数のピクチャについての複雑さメトリックを指定するピクチャレベルＣＭシンタックス構造を生成することを含むことができる。
[0046] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームについて、期間にわたる１つまたは複数のエンティティについてのグラニュラリティレベル複雑さメトリックを指定するグラニュラリティレベルＣＭシンタックス構造を生成することを含むことができる。いくつかの態様では、１つまたは複数のエンティティは、スライス、タイル、サブピクチャ、およびレイヤのうちの少なくとも１つを含む。
[0047] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームについて、期間が複数のピクチャにわたるとき、サブピクチャ識別子（ＩＤ）がＣＭ中でシグナリングされることを示すサブピクチャシンタックス要素を生成することを含むことができる。
[0048] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームについて、グラニュラリティのタイプがスライスまたはタイルに等しく、期間が複数のピクチャにわたるとき、期間にわたるコーディングツリールーマブロックの総数がＣＭ中でシグナリングされ得ることを示す、コーディングツリーブロック（ＣＴＢ）数シンタックス要素を生成することを含むことができる。
[0049] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームについて、ピクチャごとのグラニュラリティごとのコーディングツリーブロック（ＣＴＢ）または４×４ブロックの平均数を示す平均ＣＴＢ数シンタックス要素を生成することを含むことができる。
[0050] いくつかの態様では、イントラコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる。
[0051] いくつかの態様では、インターコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる。
[0052] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームについて、ビットストリームの１つまたは複数のグラニュラリティセグメントに関連する１つまたは複数の品質復元メトリックを生成することを含むことができる。
[0053] いくつかの態様では、ビットストリームの１つまたは複数のグラニュラリティセグメントは、スライス、タイル、およびサブピクチャのうちの少なくとも１つを含む。
[0054] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、グラニュラリティタイプシンタックス要素をＳＥＩメッセージ中に含めることとを含むことができる。
[0055] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームを記憶することを含むことができる。
[0056] いくつかの態様では、上記で説明された方法、装置、および非一時的コンピュータ可読媒体は、ビットストリームを送信することを含むことができる。
[0057] いくつかの態様では、本装置はエンコーダを含む。
[0058] いくつかの態様では、デバイスは、モバイルデバイス（たとえば、携帯電話、またはいわゆる「スマートフォン」または他のモバイルデバイス）、ウェアラブルデバイス、エクステンデッドリアリティデバイス（たとえば、仮想現実（ＶＲ）デバイス、拡張現実（ＡＲ）デバイス、または複合現実（ＭＲ）デバイス）、カメラ、パーソナルコンピュータ、ラップトップコンピュータ、サーバコンピュータ、ビークルまたはビークルのコンピューティングデバイスもしくは構成要素、ロボティクスデバイスまたはシステム（テレビジョン）、あるいは他のデバイスであり、それらの一部であり、および／またはそれらを含む。いくつかの態様では、デバイスは、１つまたは複数の画像をキャプチャするための１つまたは複数のカメラを含む。いくつかの態様では、デバイスは、１つまたは複数の画像、通知、および／または他の表示可能なデータを表示するためのディスプレイを含む。いくつかの態様では、デバイスは、１つまたは複数のセンサ（たとえば、１つまたは複数のジャイロメータ、１つまたは複数の加速度計、それらの任意の組合せ、および／または他のセンサなど、１つまたは複数の慣性測定ユニット（ＩＭＵ））を含むことができる。
[0059] この概要は、特許請求される主題の重要なまたは本質的な特徴を識別することを意図されておらず、また、特許請求される主題の範囲を決定するために分離して使用されることも意図されていない。主題は、本特許の明細書全体と、いずれかまたはすべての図面と、各請求項との適切な部分を参照することによって理解されるべきである。
[0060] 前述の内容は、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲、および添付の図面を参照すれば、より明らかになるであろう。
[0061] 本出願の例示的な例が、以下の図を参照しながら以下で詳細に説明される。
[0062] 本開示のいくつかの例による、符号化デバイスおよび復号デバイスの一例を示すブロック図。 [0063] ビデオピクチャについてのグラニュラリティレベル複雑さメトリックの例示的な使用を示す図。 [0064] 本開示の態様による、符号化ビデオを復号するための技法を示す流れ図。 [0065] 本開示の態様による、ビデオを符号化するための技法を示す流れ図。 [0066] 本開示のいくつかの例による、例示的なビデオ復号デバイスを示すブロック図。 [0067] 本開示のいくつかの例による、例示的なビデオ符号化デバイスを示すブロック図。
[0068] 本開示のいくつかの態様および実施形態が以下で提供される。当業者に明らかであるように、これらの態様および実施形態のうちのいくつかは独立して適用され得、それらのうちのいくつかは組み合わせて適用され得る。以下の説明では、説明の目的で、本出願の実施形態の完全な理解を提供するために具体的な詳細が記載される。しかしながら、様々な実施形態は、これらの具体的な詳細なしに実践され得ることは明らかであろう。図および説明は限定するものではない。
[0069] 以下の説明は、例示的な実施形態を提供するにすぎず、本開示の範囲、適用可能性、または構成を限定するものではない。そうではなく、例示的な実施形態の以下の説明は、例示的な実施形態を実装することを可能にする説明を当業者に提供する。添付の特許請求の範囲に記載されるように、本出願の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得ることを理解されたい。
[0070] ビデオコーディングデバイスは、ビデオデータを効率的に符号化および復号するためのビデオ圧縮技法を実装する。ビデオ圧縮技法は、ビデオシーケンスに固有の冗長を低減または除去するために、空間予測（たとえば、イントラフレーム予測またはイントラ予測）、時間予測（たとえば、インターフレーム予測またはインター予測）、（ビデオデータの異なるレイヤにわたる）レイヤ間予測、および／または他の予測技法を含む、異なる予測モードを適用することを含み得る。ビデオエンコーダは、元のビデオシーケンスの各ピクチャを（以下でより詳細に説明される）ビデオブロックまたはコーディングユニットと呼ばれる矩形領域に区分することができる。これらのビデオブロックは、特定の予測モードを使用して符号化され得る。
[0071] ビデオブロックは、１つまたは複数のやり方で、より小さいブロックの１つまたは複数のグループに分割され得る。ブロックは、コーディングツリーブロック、予測ブロック、変換ブロック、または他の好適なブロックを含むことができる。概して「ブロック」への言及は、別段に規定されていない限り、そのようなビデオブロック（たとえば、当業者によって理解されるように、コーディングツリーブロック、コーディングブロック、予測ブロック、変換ブロック、あるいは他の適切なブロックまたはサブブロック）を指すことがある。さらに、これらのブロックの各々はまた、本明細書では、互換的に「ユニット」（たとえば、コーディングツリーユニット（ＣＴＵ）、コーディングユニット、予測ユニット（ＰＵ）、変換ユニット（ＴＵ）など）と呼ばれることがある。いくつかの場合には、ユニットは、ビットストリーム中で符号化されるコーディング論理ユニットを示し得、ブロックは、プロセスがターゲットであるビデオフレームバッファの一部分を示し得る。
[0072] インター予測モードの場合、ビデオエンコーダは、参照フレームまたは参照ピクチャと呼ばれる、別の時間ロケーション中にあるフレーム（またはピクチャ）中で符号化されているブロックと同様のブロックを探索することができる。ビデオエンコーダは、その探索を、符号化されるべきブロックからのある空間変位に制限し得る。最良の一致が、水平変位成分と垂直変位成分とを含む２次元（２Ｄ）動きベクトルを使用して特定され得る。イントラ予測モードの場合、ビデオエンコーダは、同じピクチャ内の前に符号化された隣接ブロックからのデータに基づいて、空間予測技法を使用して、予測されたブロックを形成し得る。
[0073] ビデオエンコーダは予測誤差を決定し得る。たとえば、予測は、符号化されているブロック中のピクセル値と予測されたブロック中のピクセル値との間の差分として決定され得る。予測誤差は残差と呼ばれることもある。ビデオエンコーダはまた、変換係数を生成するために、予測誤差に変換（たとえば、離散コサイン変換（ＤＣＴ）または他の好適な変換）を適用し得る。変換の後に、ビデオエンコーダは変換係数を量子化し得る。量子化された変換係数と動きベクトルとは、シンタックス要素を使用して表され、制御情報とともに、ビデオシーケンスのコード化表現を形成し得る。いくつかの事例では、ビデオエンコーダはシンタックス要素をエントロピーコーディングし、それにより、さらに、それらの表現のために必要とされるビット数を低減し得る。
[0074] ビデオデコーダは、上記で説明されたシンタックス要素および制御情報を使用して、現在フレームを復号するための予測データ（たとえば、予測ブロック）を構築し得る。たとえば、ビデオデコーダは、予測されたブロックと圧縮された予測誤差とを加え得る。ビデオデコーダは、量子化された係数を使用して変換基底関数を重み付けすることによって、圧縮された予測誤差を決定し得る。再構築されたフレームと元のフレームとの間の差分は、再構築誤差と呼ばれる。
[0075] （すべての目的のためにその全体が参照により本明細書に組み込まれる）国際規格番号ＩＳＯ／ＩＥＣ２３００１－１１をもつ、エネルギー効率の高いメディア消費（グリーンメタデータまたはグリーンＭＰＥＧ）規格は、メディア消費中のエネルギー使用の低減を促進するためにグリーンメタデータを指定する。エネルギー効率の高い復号のためのグリーンメタデータは、情報の２つのセット、すなわち、複雑さメトリック（ＣＭ）メタデータと復号演算低減要求（ＤＯＲ－Ｒｅｑ：Decoding Operation Reduction Request）メタデータとを指定する。たとえば、デコーダは、プロセッサの動作周波数を変動させ、したがって、デコーダ電力消費を低減するために、ＣＭメタデータを使用することができる。１つの例示的な例では、ポイントツーポイントビデオ会議アプリケーションでは、（符号化ビットストリームを生成することができる）リモートエンコーダは、ＤＯＲ－Ｒｅｑメタデータを受信することができ、ビットストリームの復号複雑さを修正するためにＤＯＲ－Ｒｅｑメタデータを使用し、したがって、ローカルデコーダ電力消費を低減することができる。ビットストリームの復号複雑さをシグナリングすることによって、ローカルデコーダは、ビットストリームを復号するために必要とされる電力量を推定することと、たとえば、より複雑でない（またはより複雑な）ビットストリームを要求することによって、残っているバッテリー電力の量に基づいて、ビットストリームを潜在的に適応させることとを行うことが可能であり得る。いくつかの場合には、補足エンハンスメント情報（ＳＥＩ）メッセージが、ビットストリーム（たとえば、ＡＶＣ、ＨＥＶＣ、ＶＶＣ、ＡＶ１、または他のストリーム）中でグリーンメタデータをシグナリングするために使用され得る。
[0076] ＩＳＯ／ＩＥＣ２３００１－１１の第２版においてＡＶＣおよびＨＥＶＣについてグリーンメタデータが指定された。第３版グリーンＭＰＥＧ（ＭＰＥＧ ＭＤＳ２０５８４＿ＷＧ０３＿Ｎ００３３０）のワーキングドラフトにおいて、ＶＶＣコーダデコーダ（コーデック）をサポートするための新しいグリーンメタデータが提案され、ＣＭは、様々なグラニュラリティにおいて指定された。シンタックス構造は、様々な期間タイプにわたってより多くのグラニュラリティタイプをサポートするために改善され得る。さらに、単一のタイプを使用してスライス、タイル、サブピクチャ、またはレイヤグラニュラリティについてのＣＭをシグナリングすることは、問題になり得る。ＶＶＣの場合など、いくつかの場合には、エンコーダは、符号化されているビデオのピクチャ（たとえば、フレーム）を、スライス、タイル、サブピクチャ、レイヤなど、１つまたは複数の部分に分割し得る。たとえば、ピクチャは１つまたは複数のタイルに分割され得、各タイルは１つまたは複数のブロックに分割され得る。スライスは、複数のタイルまたはタイル内の複数のブロックを含み得る。サブピクチャは、１つまたは複数の完全な矩形スライスであり得、各矩形スライスは、ピクチャの矩形領域をカバーする。サブピクチャは、同じピクチャの他のサブピクチャとは無関係にコーディングされることもされないこともある。
[0077] 現在、ＡＶＣ／ＨＥＶＣの場合などのデコーダは、ＣＭがスライスについて計算されるのかタイルについて計算されるのかを識別するために、スライスの数およびタイルの数を使用することができる。たとえば、スライスの数がタイルの数に等しいとき、ＣＭグラニュラリティを識別することは複雑である。さらに、ＡＶＣおよびＨＥＶＣは、サブピクチャグラニュラリティをサポートしない。サブピクチャグラニュラリティとレイヤグラニュラリティとを定義することとともに、異なるタイプにおいてスライスグラニュラリティとタイルグラニュラリティとを定義することは有益であろう。
[0078] ＶＶＣは、サブピクチャがコード化レイヤビデオシーケンス（ＣＬＶＳ）内の異なるサブピクチャと置き換えられることを可能にする。コード化ビデオシーケンス（ＣＶＳ）は、ＣＬＶＳのレイヤ単位のセットであり得る。いくつかの場合には、サブピクチャ識別子（ＩＤ）を使用してＣＭを特定のサブピクチャにマッピングするためのシグナリングが必要である。
[0079] また、ＶＶＣは、ＣＬＶＳの解像度変更を可能にする。いくつかの場合には、スライスまたはタイルごとの正規化された符号化された統計値を解釈するために期間にわたる総コーディングブロックの数を導出するために、各スライスヘッダをパースすることは複雑であり得る。スライスヘッダはスライスとともに含まれ得、スライスヘッダは、関連するスライスに関する情報を伝達し得る。ピクチャのすべてのスライスに適用される情報は、ピクチャヘッダ中で伝達され得る。ＣＴＢの総数を示すためのシンタックス要素は、導出を簡略化するために有益であろう。
[0080] 現在、ＣＭは、すべてのブロックがイントラコード化されたとき、イントラコード化ブロック統計値を提供する。ＰスライスおよびＢスライスがインターコード化ブロックよりも多くのイントラコード化ブロックを有し得ること、あるいはＰピクチャまたはＢピクチャがインターコード化ブロックよりも多くのイントラコード化ブロックを有し得ることが可能である。その結果、ＣＭは、複雑さを正確に表さないことがある。イントラコード化ブロックは、同じピクチャ内の別のブロックに基づいて予測されるブロックを指し、インターコード化ブロックは、異なるピクチャからの別のブロックに基づいて予測されるブロックを指す。Ｉスライスは、イントラコード化ブロックを含み、インターコード化ブロックを含まないスライスを指す。ＰスライスおよびＢスライスは、イントラコード化ブロックとインターコード化ブロックの両方を含むことができる。
[0081] さらに、ピクチャ全体に対して品質メトリックを適用するのではなく、品質メトリックは、ＶＶＣ中の個々のサブピクチャにそれぞれ適用され得る。
[0082] 本開示は、複雑さメトリック（ＣＭ）シグナリングを改善するためのものなど、拡張グリーンメタデータシグナリングを提供するためのシステム、装置、方法、およびコンピュータ可読媒体（「システムおよび技法」と総称される）について説明する。たとえば、いくつかの場合には、グラニュラリティタイプインジケータ（たとえば、ｇｒａｎｕｌａｒｉｔｙ＿ｔｙｐｅなどのグラニュラリティタイプシンタックス要素）が、スライス、タイル、サブピクチャ、スケーラブルレイヤ、および／または他のグラニュラリティなど、様々なグラニュラリティをサポートするために提供される。いくつかの例では、期間タイプシンタックス要素（たとえば、ｐｅｒｉｏｄ＿ｔｙｐｅ）のセマンティクスが修正される。
[0083] いくつかの場合には、システムおよび技法は、改善された複雑さメトリック（ＣＭ）シグナリングを提供する。たとえば、本明細書で説明されるシステムおよび技法は、ビデオコーデック（たとえば、ビデオエンコーダ、ビデオエンコーダ、または組み合わせられたビデオエンコーダデコーダ）が、ビデオの複数のピクチャについて、スライス、タイル、サブピクチャ、および／またはレイヤなど、ピクチャの部分に適用可能であるＣＭ値を指定する能力を提供する。たとえば、前に説明されたように、サブピクチャが、符号化ビデオについて定義され得る。サブピクチャは、ピクチャの右上隅など、ピクチャの一部分を含む。ＣＭがサブピクチャについて指定され得、ここで、そのＣＭは、ピクチャのスライス（または他の一部分）について指定される少なくとも１つの他のＣＭとは異なる。サブピクチャに関連するＣＭ値は、第１のピクチャからの３０個のピクチャについてなど、複数のピクチャについて１回定義され得る。ＣＭは、符号化ビデオとともに含まれるメタデータの一部として提供され得る。単一のＣＭ値が複数のフレームにわたるサブピクチャについて指定されることを可能にすることは、ピクチャの部分についてのＣＭを定義するための増加されたフレキシビリティおよびグラニュラリティを可能にしながら符号化ビデオについてのメタデータのサイズを低減するのに役立つ。
[0084] いくつかの態様では、解像度変更に関連するＣＭシグナリング変更が提供される。いくつかの場合には、イントラコード化ブロック統計値に関するＣＭシグナリング変更が提供される。いくつかの態様では、サブピクチャ品質メトリックが提供される。
[0085] 本明細書で説明されるシステムおよび技法は、汎用ビデオコーディング（ＶＶＣ）、高効率ビデオコーディング（ＨＥＶＣ）、アドバンストビデオコーディング（ＡＶＣ）、ＶＰ９、ＡＶ１フォーマット／コーデックなど、既存のビデオコーデック、および／あるいは開発中のまたは開発されることになる他のビデオコーディング規格、コーデック、フォーマットなどのいずれかに適用され得る。
[0086] 図１は、符号化デバイス１０４と復号デバイス１１２とを含むシステム１００の一例を示すブロック図である。符号化デバイス１０４はソースデバイスの一部であり得、復号デバイス１１２は受信デバイスの一部であり得る。ソースデバイスおよび／または受信デバイスは、モバイルまたは固定電話ハンドセット（たとえば、スマートフォン、セルラー電話など）、デスクトップコンピュータ、ラップトップまたはノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、インターネットプロトコル（ＩＰ）カメラ、あるいは任意の他の好適な電子デバイスなど、電子デバイスを含み得る。いくつかの例では、ソースデバイスと受信デバイスとは、ワイヤレス通信のための１つまたは複数のワイヤレストランシーバを含み得る。本明細書で説明されるコーディング技法は、（たとえば、インターネットを介した）ストリーミングビデオ送信、テレビジョン放送または送信、データ記憶媒体上に記憶するためのデジタルビデオの符号化、データ記憶媒体上に記憶されたデジタルビデオの復号、あるいは他の適用例を含む、様々なマルチメディア適用例におけるビデオコーディングに適用可能である。本明細書で使用されるコーディングという用語は、符号化および／または復号を指すことができる。いくつかの例では、システム１００は、ビデオ会議、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、ゲーミング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または二方向のビデオ送信をサポートすることができる。
[0087] 符号化デバイス１０４（またはエンコーダ）は、符号化されたビデオビットストリームを生成するためにビデオコーディング規格、フォーマット、コーデック、またはプロトコルを使用してビデオデータを符号化するために使用され得る。ビデオコーディング規格およびフォーマット／コーデックの例は、ＩＴＵ－Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ－１ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｖｉｓｕａｌ、そのスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ ＡＶＣとしても知られる）ＩＴＵ－Ｔ Ｈ．２６４、高効率ビデオコーディング（ＨＥＶＣ）またはＩＴＵ－Ｔ Ｈ．２６５、および汎用ビデオコーディング（ＶＶＣ）またはＩＴＵ－Ｔ Ｈ．２６６を含む。範囲およびスクリーンコンテンツコーディング拡張、３Ｄビデオコーディング（３Ｄ－ＨＥＶＣ）ならびにマルチビュー拡張（ＭＶ－ＨＥＶＣ）ならびにスケーラブル拡張（ＳＨＶＣ）を含む、マルチレイヤビデオコーディングに対処するＨＥＶＣへの様々な拡張が存在する。ＨＥＶＣおよびそれの拡張は、ＩＴＵ－Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ）のジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ－ＶＣ）ならびにジョイントコラボレーションチームオン３Ｄビデオコーディング拡張開発（ＪＣＴ－３Ｖ）によって開発された。ＶＰ９、Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ Ａｌｌｉａｎｃｅ ｏｆ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭｅｄｉａ）によって開発されたＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）、およびエッセンシャルビデオコーディング（ＥＶＣ）は、本明細書で説明される技法が適用され得る他のビデオコーディング規格である。
[0088] 本明細書で説明される技法は、既存のビデオコーデック（たとえば、高効率ビデオコーディング（ＨＥＶＣ）、アドバンストビデオコーディング（ＡＶＣ）、または他の好適な既存のビデオコーデック）のいずれかに適用され得るか、ならびに／あるいは、たとえば、ＶＶＣ、および／または開発中のもしくは開発されることになる他のビデオコーディング規格など、任意の開発されているビデオコーディング規格および／または将来のビデオコーディング規格のための効率的なコーディングツールであり得る。たとえば、本明細書で説明される例は、ＶＶＣ、ＨＥＶＣ、ＡＶＣ、および／またはそれらの拡張などのビデオコーデックを使用して実施され得る。しかしながら、本明細書で説明される技法およびシステムは、ＭＰＥＧ、ＪＰＥＧ（または静止画像のための他のコーディング規格）、ＶＰ９、ＡＶ１、それらの拡張、あるいはすでに利用可能であるか、またはまだ利用可能ではないか、もしくは開発されていない他の好適なコーディング規格など、他のコーディング規格、コーデック、またはフォーマットにも適用可能であり得る。たとえば、いくつかの例では、符号化デバイス１０４および／または復号デバイス１１２は、ＡＶ１、ＡＶＩの拡張、および／あるいはＡＶ１の後継バージョン（たとえば、ＡＶ２）、あるいは他のプロプライエタリフォーマットまたは業界規格など、プロプライエタリビデオコーデック／フォーマットに従って動作し得る。したがって、本明細書で説明される技法およびシステムは、特定のビデオコーディング規格を参照しながら説明され得るが、当業者は、説明がその特定の規格にのみ適用されると解釈されるべきではないことを諒解されよう。
[0089] 図１を参照すると、ビデオソース１０２は、符号化デバイス１０４にビデオデータを提供し得る。ビデオソース１０２は、ソースデバイスの一部であり得るか、またはソースデバイス以外のデバイスの一部であり得る。ビデオソース１０２は、ビデオキャプチャデバイス（たとえば、ビデオカメラ、カメラフォン、ビデオフォンなど）、記憶されたビデオを含んでいるビデオアーカイブ、ビデオデータを提供するビデオサーバまたはコンテンツプロバイダ、ビデオサーバまたはコンテンツプロバイダからビデオを受信するビデオフィードインターフェース、コンピュータグラフィックスビデオデータを生成するためのコンピュータグラフィックスシステム、そのようなソースの組合せ、あるいは任意の他の好適なビデオソースを含み得る。
[0090] ビデオソース１０２からのビデオデータは、１つまたは複数の入力ピクチャまたはフレームを含み得る。ピクチャまたはフレームは、いくつかの場合には、ビデオの一部である静止画像である。いくつかの例では、ビデオソース１０２からのデータは、ビデオの一部でない静止画像であり得る。ＨＥＶＣ、ＶＶＣ、および他のビデオコーディング仕様では、ビデオシーケンスは、一連のピクチャを含むことができる。ピクチャは、ＳＬ、ＳＣｂ、およびＳＣｒと示される、３つのサンプルアレイを含み得る。ＳＬはルーマサンプルの２次元アレイであり、ＳＣｂはＣｂクロミナンスサンプルの２次元アレイであり、ＳＣｒはＣｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれることもある。ピクセルは、ピクチャのアレイ中の所与のロケーションについてのすべての３つの成分（ルーマおよびクロマサンプル）を指すことがある。他の事例では、ピクチャは、モノクロームであり得、ルーマサンプルのアレイのみを含み得、その場合、ピクセルおよびサンプルという用語は互換的に使用され得る。説明の目的で個々のサンプルに言及する本明細書で説明される例示的な技法に関して、同じ技法がピクセル（たとえば、ピクチャのアレイ中の所与のロケーションについてのすべて３つのサンプル成分）に適用され得る。説明の目的でピクセル（たとえば、ピクチャのアレイ中の所与のロケーションについてのすべて３つのサンプル成分）に言及する本明細書で説明される例示的な技法に関して、同じ技法が個々のサンプルに適用され得る。
[0091] 符号化デバイス１０４のエンコーダエンジン１０６（またはエンコーダ）は、符号化されたビデオビットストリームを生成するためにビデオデータを符号化する。いくつかの例では、符号化されたビデオビットストリーム（または「ビデオビットストリーム」または「ビットストリーム」）は、一連の１つまたは複数のコード化ビデオシーケンスである。コード化ビデオシーケンス（ＣＶＳ）は、ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャを有するアクセスユニット（ＡＵ）で開始し、ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャを有する次のＡＵまでの、次のＡＵを含まない一連のＡＵを含む。たとえば、ＣＶＳを開始するランダムアクセスポイントピクチャのいくつかのプロパティは、１に等しいＲＡＳＬフラグ（たとえば、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇ）を含み得る。他の場合、（０に等しいＲＡＳＬフラグをもつ）ランダムアクセスポイントピクチャはＣＶＳを開始しない。アクセスユニット（ＡＵ）は、１つまたは複数のコード化ピクチャと、同じ出力時間を共有するコード化ピクチャに対応する制御情報とを含む。ピクチャのコード化スライスは、ビットストリームレベルにおいて、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットと呼ばれるデータユニット中にカプセル化される。たとえば、ＨＥＶＣビデオビットストリームは、ＮＡＬユニットを含む１つまたは複数のＣＶＳを含み得る。ＮＡＬユニットの各々はＮＡＬユニットヘッダを有する。一例では、ヘッダは、（マルチレイヤ拡張を除いて）Ｈ．２６４／ＡＶＣでは１バイトであり、ＨＥＶＣでは２バイトである。ＮＡＬユニットヘッダ中のシンタックス要素は、指定されたビットをとり、したがって、特にトランスポートストリーム、リアルタイムトランスポート（ＲＴＰ）プロトコル、ファイルフォーマットなど、すべての種類のシステムおよびトランスポートレイヤに可視である。
[0092] ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとを含む、ＮＡＬユニットの２つのクラスがＨＥＶＣ規格に存在する。ＶＣＬ ＮＡＬユニットは、コード化ビデオビットストリームを形成するコード化ピクチャデータを含む。たとえば、コード化ビデオビットストリームを形成するビットのシーケンスは、ＶＣＬ ＮＡＬユニット中に存在する。ＶＣＬ ＮＡＬユニットは、コーディングされたピクチャデータの（以下で説明される）１つのスライスまたはスライスセグメントを含むことができ、非ＶＣＬ ＮＡＬユニットは、１つまたは複数のコーディングされたピクチャに関係する制御情報を含む。いくつかの場合には、ＮＡＬユニットはパケットと呼ばれることがある。ＨＥＶＣ ＡＵは、コーディングされたピクチャデータを含んでいるＶＣＬ ＮＡＬユニットと、（もしあれば）コーディングされたピクチャデータに対応する非ＶＣＬ ＮＡＬユニットとを含む。非ＶＣＬ ＮＡＬユニットは、他の情報に加えて、符号化ビデオビットストリームに関係する高レベル情報をもつパラメータセットを含んでいることがある。たとえば、パラメータセットは、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセット（ＳＰＳ）と、ピクチャパラメータセット（ＰＰＳ）とを含み得る。いくつかの場合には、ビットストリームの各スライスまたは他の部分は、復号デバイス１１２がビットストリームのスライスまたは他の部分を復号するために使用され得る情報にアクセスすることを可能にするために単一のアクティブなＰＰＳ、ＳＰＳ、および／またはＶＰＳを参照することができる。
[0093] ＮＡＬユニットは、ビデオ中のピクチャのコード化表現など、ビデオデータのコード化表現を形成するビットのシーケンス（たとえば、符号化ビデオビットストリーム、ビットストリームのＣＶＳなど）を含んでいることがある。エンコーダエンジン１０６は、各ピクチャを複数のスライスに区分することによってピクチャのコード化表現を生成する。スライスは、スライス中の情報が、同じピクチャ内の他のスライスからのデータへの依存性なしにコーディングされるように、他のスライスから独立している。スライスは、独立したスライスセグメントを含む１つまたは複数のスライスセグメントと、存在する場合、前のスライスセグメントに依存する１つまたは複数の依存するスライスセグメントとを含む。
[0094] ＨＥＶＣでは、スライスは、次いで、ルーマサンプルおよびクロマサンプルのコーディングツリーブロック（ＣＴＢ）に区分される。ルーマサンプルのＣＴＢおよびクロマサンプルの１つまたは複数のＣＴＢは、サンプルのためのシンタックスとともに、コーディングツリーユニット（ＣＴＵ）と呼ばれる。ＣＴＵは「ツリーブロック」または「最大コーディングユニット」（ＬＣＵ）と呼ばれることもある。ＣＴＵは、ＨＥＶＣ符号化のための基本処理ユニットである。ＣＴＵは、様々なサイズの複数のコーディングユニット（ＣＵ）にスプリットされ得る。ＣＵは、コーディングブロック（ＣＢ）と呼ばれるルーマおよびクロマサンプルアレイを含んでいる。
[0095] ルーマおよびクロマＣＢは、予測ブロック（ＰＢ）にさらにスプリットされ得る。ＰＢは、（利用可能なとき、または使用のために有効にされたとき）インター予測またはイントラブロックコピー（ＩＢＣ）予測のために同じ動きパラメータを使用するルーマ成分またはクロマ成分のサンプルのブロックである。ルーマＰＢおよび１つまたは複数のクロマＰＢは、関連するシンタックスとともに、予測ユニット（ＰＵ）を形成する。インター予測の場合、動きパラメータのセット（たとえば、１つまたは複数の動きベクトル、参照インデックスなど）は、ＰＵごとにビットストリーム中でシグナリングされ、ルーマＰＢおよび１つまたは複数のクロマＰＢのインター予測のために使用される。動きパラメータは動き情報と呼ばれることもある。ＣＢはまた、１つまたは複数の変換ブロック（ＴＢ）に区分され得る。ＴＢは、予測残差信号をコーディングするために残差変換（たとえば、いくつかの場合には、同じ２次元変換）が適用される色成分のサンプルの正方形ブロックを表す。変換ユニット（ＴＵ）は、ルーマおよびクロマサンプルのＴＢと、対応するシンタックス要素とを表す。変換コーディングが以下でより詳細に説明される。
[0096] ＣＵのサイズは、コーディングモードのサイズに対応し、形状が正方形であり得る。たとえば、ＣＵのサイズは、８×８サンプル、１６×１６サンプル、３２×３２サンプル、６４×６４サンプル、または対応するＣＴＵのサイズまでの任意の他の適切なサイズであり得る。「Ｎ×Ｎ」という句は、本明細書では、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法（たとえば、８ピクセル×８ピクセル）を指すために使用される。ブロック中のピクセルは行および列に配置され得る。いくつかの実装形態では、ブロックは、水平方向において垂直方向と同じ数のピクセルを有しないことがある。ＣＵに関連するシンタックスデータは、たとえば、１つまたは複数のＰＵへのＣＵの区分を表し得る。区分モードは、ＣＵがイントラ予測モード符号化されるのか、インター予測モード符号化されるのかの間で異なり得る。ＰＵは、形状が非正方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、ＣＴＵに従う１つまたは複数のＴＵへのＣＵの区分をも表し得る。ＴＵは、形状が正方形または非正方形であり得る。
[0097] ＨＥＶＣ規格によれば、変換は、変換ユニット（ＴＵ）を使用して実施され得る。ＴＵは、異なるＣＵでは異なり得る。ＴＵは、所与のＣＵ内のＰＵのサイズに基づいてサイズ決定され得る。ＴＵは、ＰＵと同じサイズであるか、またはＰＵよりも小さいことがある。いくつかの例では、ＣＵに対応する残差サンプルは、残差クワッドツリー（ＲＱＴ：residual quad tree）として知られるクワッドツリー構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードはＴＵに対応し得る。ＴＵに関連するピクセル差分値は、変換係数を作り出すために変換され得る。変換係数は、次いで、エンコーダエンジン１０６によって量子化され得る。
[0098] ビデオデータのピクチャがＣＵに区分されると、エンコーダエンジン１０６は、予測モードを使用して各ＰＵを予測する。予測ユニットまたは予測ブロックは、次いで、（以下で説明される）残差を得るために元のビデオデータから減算される。ＣＵごとに、シンタックスデータを使用してビットストリーム内で予測モードがシグナリングされ得る。予測モードは、イントラ予測（またはピクチャ内予測）またはインター予測（またはピクチャ間予測）を含み得る。イントラ予測は、ピクチャ内の空間的に隣接するサンプル間の相関を利用する。たとえば、イントラ予測を使用して、各ＰＵは、たとえば、ＰＵに関する平均値を見つけるためのＤＣ予測、平坦面をＰＵに適合させるための平面予測、隣接データから外挿するための方向予測、または任意の他の好適なタイプの予測を使用して、同じピクチャ中の隣接画像データから予測される。インター予測は、画像サンプルのブロックについての動き補償予測を導出するためにピクチャ間の時間相関を使用する。たとえば、インター予測を使用して、各ＰＵは、（出力順序において現在ピクチャの前または後の）１つまたは複数の参照ピクチャ中の画像データからの動き補償予測を使用して予測される。ピクチャ間予測を使用してピクチャエリアをコーディングすべきなのか、ピクチャ内予測を使用してピクチャエリアをコーディングすべきなのかの決定は、たとえば、ＣＵレベルにおいて行われ得る。
[0099] エンコーダエンジン１０６および（以下でより詳細に説明される）デコーダエンジン１１６は、ＶＶＣに従って動作するように構成され得る。ＶＶＣによれば、（エンコーダエンジン１０６および／またはデコーダエンジン１１６などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する（ここで、ルーマサンプルのＣＴＢとクロマサンプルの１つまたは複数のＣＴＢとが、サンプルのためのシンタックスとともに、ＣＴＵと呼ばれる）。ビデオコーダは、クワッドツリーバイナリツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造など、ツリー構造に従ってＣＴＵを区分することができる。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、クワッドツリー区分に従って区分される第１のレベルと、バイナリツリー区分に従って区分される第２のレベルとを含む、２つのレベルを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。バイナリツリーのリーフノードは、コーディングユニット（ＣＵ）に対応する。
[0100] ＭＴＴ区分構造では、ブロックは、クワッドツリー区分と、バイナリツリー区分と、１つまたは複数のタイプのトリプルツリー区分とを使用して区分され得る。トリプルツリー区分は、ブロックが３つのサブブロックにスプリットされる区分である。いくつかの例では、トリプルツリー区分は、中心を通して元のブロックを分割することなしにブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、クワッドツリー、バイナリツリー、およびトライプツリー）は、対称的または非対称的であり得る。
[0101] ＡＶ１コーデックに従って動作するとき、ビデオエンコーダ２００およびビデオデコーダ３００は、ブロック中のビデオデータをコーディングするように構成され得る。ＡＶ１では、処理され得る最大コーディングブロックは、スーパーブロックと呼ばれる。ＡＶ１では、スーパーブロックは、１２８×１２８ルーマサンプルまたは６４×６４ルーマサンプルのいずれかであり得る。しかしながら、後継ビデオコーディングフォーマット（たとえば、ＡＶ２）では、スーパーブロックは、異なる（たとえば、より大きい）ルーマサンプルサイズによって定義され得る。いくつかの例では、スーパーブロックは、ブロッククワッドツリーのトップレベルである。ビデオエンコーダ２００は、さらに、スーパーブロックをより小さいコーディングブロックに区分し得る。ビデオエンコーダ２００は、正方形または非正方形区分を使用してスーパーブロックおよび他のコーディングブロックをより小さいブロックに区分し得る。非正方形ブロックは、Ｎ／２×Ｎ、Ｎ×Ｎ／２、Ｎ／４×Ｎ、およびＮ×Ｎ／４ブロックを含み得る。ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングブロックの各々に対して別個の予測および変換プロセスを実施し得る。
[0102] ＡＶ１はまた、ビデオデータのタイルを定義する。タイルは、他のタイルから独立してコーディングされ得るスーパーブロックの矩形アレイである。すなわち、ビデオエンコーダ２００およびビデオデコーダ３００は、他のタイルからのビデオデータを使用せずにタイル内のコーディングブロックを、それぞれ、符号化および復号し得る。ただし、ビデオエンコーダ２００およびビデオデコーダ３００は、タイル境界にわたってフィルタ処理を実施し得る。タイルは、サイズが均一または非均一であり得る。タイルベースコーディングは、エンコーダおよびデコーダ実装形態のための並列処理および／またはマルチスレッディングを可能にし得る。
[0103] いくつかの例では、ビデオコーダは、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用することができ、他の例では、ビデオコーダは、ルミナンス成分のための１つのＱＴＢＴまたはＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴまたはＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴおよび／またはＭＴＴ構造）など、２つまたはそれ以上のＱＴＢＴまたはＭＴＴ構造を使用することができる。
[0104] ビデオコーダは、クワッドツリー区分、ＱＴＢＴ区分、ＭＴＴ区分、スーパーブロック区分、または他の区分構造を使用するように構成され得る。
[0105] いくつかの例では、ピクチャの１つまたは複数のスライスは、スライスタイプを割り当てられる。スライスタイプは、イントラコード化スライス（Ｉスライス）と、インターコード化Ｐスライスと、インターコード化Ｂスライスとを含む。Ｉスライス（イントラコード化フレーム、独立して復号可能）は、イントラ予測によってのみコーディングされるピクチャのスライスであり、したがって、Ｉスライスは、スライスの任意の予測ユニットまたは予測ブロックを予測するためにフレーム内のデータのみを必要とするので、独立して復号可能である。Ｐスライス（単方向予測されるフレーム）は、イントラ予測を用いて、および単方向インター予測を用いてコーディングされ得るピクチャのスライスである。Ｐスライス内の各予測ユニットまたは予測ブロックは、イントラ予測またはインター予測のいずれかを用いてコーディングされる。インター予測が適用されるとき、予測ユニットまたは予測ブロックは、１つの参照ピクチャによってのみ予測され、したがって、参照サンプルは、１つのフレームの１つの参照領域からのみのものである。Ｂスライス（双方向予測フレーム）は、イントラ予測を用いて、およびインター予測（たとえば、双予測または単予測のいずれか）を用いてコーディングされ得るピクチャのスライスである。Ｂスライスの予測ユニットまたは予測ブロックは、２つの参照ピクチャから双方向予測され得、ここで、各ピクチャが１つの参照領域を導き（contribute）、双方向予測されたブロックの予測信号を作り出すために、２つの参照領域のサンプルセットが（たとえば、等しい重みを用いて、または異なる重みを用いて）重み付けされる。上記で説明されたように、１つのピクチャのスライスが独立してコーディングされる。いくつかの場合には、ピクチャは、ただ１つのスライスとしてコーディングされ得る。
[0106] 上述のように、ピクチャのピクチャ内予測は、ピクチャ内の空間的に隣接するサンプル間の相関を利用する。（「イントラモード」とも呼ばれる）複数のイントラ予測モードがある。いくつかの例では、ルーマブロックのイントラ予測は、平面モードと、ＤＣモードと、３３個の角モード（たとえば、対角イントラ予測モードおよび対角イントラ予測モードに隣接する角モード）とを含む３５個のモードを含む。イントラ予測の３５個のモードは、以下の表１に示されているようにインデックス付けされる。他の例では、３３個の角モードによってまだ表されていないことがある予測角度を含むより多くのイントラモードが定義され得る。他の例では、角モードに関連する予測角度は、ＨＥＶＣにおいて使用されるものとは異なり得る。
Figure 2024531112000002
[0107] ピクチャ間予測は、画像サンプルのブロックについての動き補償予測を導出するためにピクチャ間の時間相関を使用する。並進動きモデルを使用して、前に復号されたピクチャ（参照ピクチャ）中のブロックの位置は、動きベクトル（Δｘ，Δｙ）によって示され、Δｘは、現在ブロックの位置に対する参照ブロックの水平変位を指定し、Δｙはその垂直変位を指定する。いくつかの場合には、動きベクトル（Δｘ，Δｙ）は、（整数正確さ（accuracy）とも呼ばれる）整数サンプル正確さであり得、その場合、動きベクトルは、参照フレームの整数ペルグリッド（または整数ピクセルサンプリンググリッド）を指す。いくつかの場合には、動きベクトル（Δｘ，Δｙ）は、参照フレームの整数ペルグリッドに制限されることなしに、基礎をなすオブジェクトの移動をより正確にキャプチャするために、（分数ペル正確さまたは非整数正確さとも呼ばれる）分数サンプル正確さのものであり得る。動きベクトルの正確さは、動きベクトルの量子化レベルによって表され得る。たとえば、量子化レベルは、整数正確さ（たとえば、１ピクセル）または分数ペル正確さ（たとえば、１／４ピクセル、１／２ピクセル、または他のサブピクセル値）であり得る。対応する動きベクトルが分数サンプル正確さを有するとき、予測信号を導出するために、参照ピクチャに補間が適用される。たとえば、整数位置において利用可能なサンプルは、分数位置における値を推定するために、（たとえば、１つまたは複数の補間フィルタを使用して）フィルタ処理され得る。前に復号された参照ピクチャは、参照ピクチャリストへの参照インデックス（ｒｅｆＩｄｘ）によって示される。動きベクトルおよび参照インデックスは、動きパラメータと呼ばれることがある。単予測と双予測とを含む、２つの種類のピクチャ間予測が実施され得る。
[0108] （双方向インター予測とも呼ばれる）双予測を使用するインター予測の場合、動きパラメータの２つのセット（Δｘ0、ｙ0、ｒｅｆＩｄｘ0、および、Δｘ1、ｙ1、ｒｅｆＩｄｘ1）が、（同じ参照ピクチャから、または場合によっては異なる参照ピクチャから）２つの動き補償予測を生成するために使用される。たとえば、双予測の場合、各予測ブロックは、２つの動き補償予測信号を使用し、Ｂ予測ユニットを生成する。２つの動き補償予測は、次いで、最終の動き補償予測を得るために組み合わせられる。たとえば、２つの動き補償予測は、平均化によって組み合わせられ得る。別の例では、重み付け予測が使用され得、その場合、異なる重みが、各動き補償予測に適用され得る。双予測において使用され得る参照ピクチャは、リスト０およびリスト１として示される、２つの別個のリストに記憶される。動きパラメータは、動き推定プロセスを使用してエンコーダにおいて導出され得る。
[0109] （単方向インター予測とも呼ばれる）単予測を使用するインター予測の場合、動きパラメータ（Δｘ0，ｙ0，ｒｅｆＩｄｘ0）の１つのセットが、参照ピクチャから動き補償予測を生成するために使用される。たとえば、単予測の場合、各予測ブロックは、高々１つの動き補償予測信号を使用し、Ｐ予測ユニットを生成する。
[0110] ＰＵは、予測プロセスに関係するデータ（たとえば、動きパラメータまたは他の好適なデータ）を含み得る。たとえば、ＰＵがイントラ予測を使用して符号化されるとき、ＰＵは、ＰＵのためのイントラ予測モードを表すデータを含み得る。別の例として、ＰＵがインター予測を使用して符号化されるとき、ＰＵは、ＰＵのための動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分（Δｘ）、動きベクトルの垂直成分（Δｙ）、動きベクトルの解像度（たとえば、整数精度（precision）、１／４ピクセル精度、または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、参照インデックス、動きベクトルのための参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）、またはそれらの任意の組合せを表し得る。
[0111] ＡＶ１は、ビデオデータのコーディングブロックを符号化および復号するための２つの一般的な技法を含む。２つの一般的な技法は、イントラ予測（たとえば、イントラフレーム予測または空間予測）およびインター予測（たとえば、インターフレーム予測または時間予測）である。ＡＶ１のコンテキストでは、イントラ予測モードを使用するビデオデータの現在フレームのブロックを予測するとき、ビデオエンコーダ２００およびビデオデコーダ３００は、ビデオデータの他のフレームからのビデオデータを使用しない。たいていのイントラ予測モードでは、ビデオ符号化デバイス１０４は、現在ブロック中のサンプル値と、同じフレーム中の参照サンプルから生成される予測される値との間の差分に基づいて、現在フレームのブロックを符号化する。ビデオ符号化デバイス１０４は、イントラ予測モードに基づいて参照サンプルから生成される予測される値を決定する。
[0112] イントラ予測および／またはインター予測を使用して予測を実施した後に、符号化デバイス１０４は、変換および量子化を実施することができる。たとえば、予測の後に、エンコーダエンジン１０６は、ＰＵに対応する残差値を計算し得る。残差値は、コーディングされているピクセルの現在ブロック（ＰＵ）と、現在ブロックを予測するために使用される予測ブロック（たとえば、現在ブロックの予測されたバージョン）との間のピクセル差分値を備え得る。たとえば、予測ブロックを生成した（たとえば、インター予測またはイントラ予測を出した）後に、エンコーダエンジン１０６は、現在ブロックから、予測ユニットによって作り出された予測ブロックを減算することによって、残差ブロックを生成することができる。残差ブロックは、現在ブロックのピクセル値と予測ブロックのピクセル値との間の差分を定量化するピクセル差分値のセットを含む。いくつかの例では、残差ブロックは、２次元ブロックフォーマット（たとえば、ピクセル値の２次元行列またはアレイ）で表され得る。そのような例では、残差ブロックはピクセル値の２次元表現である。
[0113] 予測が実施された後に残存していることがあるいずれの残差データも、離散コサイン変換、離散サイン変換、整数変換、ウェーブレット変換、他の好適な変換関数、またはそれらの任意の組合せに基づき得るブロック変換を使用して変換される。いくつかの場合には、１つまたは複数のブロック変換（たとえば、サイズ３２×３２、１６×１６、８×８、４×４、または他の好適なサイズ）が各ＣＵ中の残差データに適用され得る。いくつかの実施形態では、エンコーダエンジン１０６によって実装される変換および量子化プロセスのためにＴＵが使用され得る。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数のＴＵをも含み得る。以下でさらに詳細に説明されるように、残差値は、ブロック変換を使用して変換係数に変換され得、次いで、エントロピーコーディングのためのシリアル化変換係数を作り出すために、ＴＵを使用して量子化および走査され得る。
[0114] いくつかの実施形態では、ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、エンコーダエンジン１０６は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、空間ドメイン（またはピクセルドメイン）においてピクセルデータを備え得る。ＴＵは、ブロック変換の適用の後に変換ドメインにおいて係数を備え得る。前記のように、残差データは、符号化されていないピクチャのピクセルとＰＵに対応する予測値との間のピクセル差分値に対応し得る。エンコーダエンジン１０６は、ＣＵのための残差データを含むＴＵを形成し得、次いで、ＣＵのための変換係数を作り出すためにＴＵを変換し得る。
[0115] エンコーダエンジン１０６は、変換係数の量子化を実施し得る。量子化は、係数を表すために使用されるデータの量を低減するために変換係数を量子化することによって、さらなる圧縮を提供する。たとえば、量子化は、係数の一部または全部に関連するビット深度を低減し得る。一例では、ｎビット値をもつ係数は、量子化中にｍビット値に切り捨てられ得、ｎはｍよりも大きい。
[0116] 量子化が実施されると、コーディングされたビデオビットストリームは、量子化された変換係数と、予測情報（たとえば、予測モード、動きベクトル、ブロックベクトルなど）と、区分情報と、他のシンタックスデータなどの任意の他の好適なデータとを含む。コーディングされたビデオビットストリームの異なる要素は、次いで、エンコーダエンジン１０６によってエントロピー符号化され得る。いくつかの例では、エンコーダエンジン１０６は、エントロピー符号化され得るシリアル化ベクトルを作り出すために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。いくつかの例では、エンコーダエンジン１０６は適応型走査を実施し得る。ベクトル（たとえば、１次元ベクトル）を形成するために量子化変換係数を走査した後に、エンコーダエンジン１０６は、ベクトルをエントロピー符号化し得る。たとえば、エンコーダエンジン１０６は、コンテキスト適応型可変長コーディング、コンテキスト適応型バイナリ算術コーディング、シンタックスベースコンテキスト適応型バイナリ算術コーディング、確率間隔区分エントロピーコーディング、または別の好適なエントロピー符号化技法を使用し得る。
[0117] 符号化デバイス１０４の出力部１１０は、通信リンク１２０を介して受信デバイスの復号デバイス１１２に、符号化ビデオビットストリームデータを構成するＮＡＬユニットを送り得る。復号デバイス１１２の入力部１１４はＮＡＬユニットを受信し得る。通信リンク１２０は、ワイヤレスネットワーク、ワイヤードネットワーク、またはワイヤードネットワークとワイヤレスネットワークとの組合せによって提供されるチャネルを含み得る。ワイヤレスネットワークは、任意のワイヤレスインターフェースまたはワイヤレスインターフェースの組合せを含み得、任意の好適なワイヤレスネットワーク（たとえば、インターネットまたは他のワイドエリアネットワーク、パケットベースネットワーク、ＷｉＦｉ（登録商標）、無線周波数（ＲＦ）、超広帯域（ＵＷＢ）、ＷｉＦｉ－Ｄｉｒｅｃｔ、セルラー、５Ｇ新無線（ＮＲ）、ロングタームエボリューション（ＬＴＥ（登録商標））、ＷｉＭａｘ（登録商標）など）を含み得る。ワイヤードネットワークは、任意のワイヤードインターフェース（たとえば、ファイバー、イーサネット（登録商標）、電力線イーサネット、同軸ケーブルを介したイーサネット、デジタル信号線（ＤＳＬ）など）を含み得る。ワイヤードおよび／またはワイヤレスネットワークは、基地局、ルータ、アクセスポイント、ブリッジ、ゲートウェイ、スイッチなど、様々な機器を使用して実装され得る。符号化ビデオビットストリームデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、受信デバイスに送信され得る。
[0118] いくつかの例では、符号化デバイス１０４は、符号化ビデオビットストリームデータをストレージ１０８に記憶し得る。出力部１１０は、エンコーダエンジン１０６から、またはストレージ１０８から符号化ビデオビットストリームデータを取り出し得る。ストレージ１０８は、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。たとえば、ストレージ１０８は、ハードドライブ、記憶ディスク、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体を含み得る。ストレージ１０８は、インター予測において使用するための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）をも含むことができる。さらなる例では、ストレージ１０８は、ソースデバイスによって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間記憶デバイスに対応することができる。そのような場合、復号デバイス１１２を含む受信デバイスは、ストリーミングまたはダウンロードを介して記憶デバイスから記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化ビデオデータを記憶することと、その符号化ビデオデータを受信デバイスに送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。受信デバイスは、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含み得る。ストレージ１０８からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
[0119] 復号デバイス１１２の入力部１１４は、符号化ビデオビットストリームデータを受信し、ビデオビットストリームデータをデコーダエンジン１１６に、またはデコーダエンジン１１６による後の使用のためにストレージ１１８に提供し得る。たとえば、ストレージ１１８は、インター予測において使用するための参照ピクチャを記憶するためのＤＰＢを含むことができる。復号デバイス１１２を含む受信デバイスは、ストレージ１０８を介して復号されるべき符号化ビデオデータを受信することができる。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、受信デバイスに送信され得る。符号化ビデオデータを送信するための通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備えることができる。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイスから受信デバイスへの通信を可能にするために有用であり得る任意の他の機器を含み得る。
[0120] デコーダエンジン１１６は、（たとえば、エントロピーデコーダを使用して）エントロピー復号し、符号化ビデオデータを構成する１つまたは複数のコード化ビデオシーケンスの要素を抽出することによって、符号化ビデオビットストリームデータを復号し得る。デコーダエンジン１１６は、次いで、符号化ビデオビットストリームデータを再スケーリングし、符号化ビデオビットストリームデータに対して逆変換を実施し得る。残差データが、次いで、デコーダエンジン１１６の予測段階にパスされる。デコーダエンジン１１６は、次いで、ピクセルのブロック（たとえば、ＰＵ）を予測する。いくつかの例では、逆変換の出力（残差データ）に予測が加算される。
[0121] ビデオ復号デバイス１１２は、復号ビデオをビデオ宛先デバイス１２２に出力し得、ビデオ宛先デバイス１２２は、復号ビデオデータをコンテンツの消費者に表示するためのディスプレイまたは他の出力デバイスを含み得る。いくつかの態様では、ビデオ宛先デバイス１２２は、復号デバイス１１２を含む受信デバイスの一部であり得る。いくつかの態様では、ビデオ宛先デバイス１２２は、受信デバイス以外の別個のデバイスの一部であり得る。
[0122] いくつかの実施形態では、ビデオ符号化デバイス１０４および／またはビデオ復号デバイス１１２は、それぞれオーディオ符号化デバイスおよびオーディオ復号デバイスと統合され得る。ビデオ符号化デバイス１０４および／またはビデオ復号デバイス１１２はまた、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、上記で説明されたコーディング技法を実装するために必要である他のハードウェアまたはソフトウェアを含み得る。ビデオ符号化デバイス１０４およびビデオ復号デバイス１１２は、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。
[0123] 図１に示されている例示的なシステムは、本明細書で使用され得る１つの例示的な例である。本明細書で説明される技法を使用してビデオデータを処理するための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実施され得る。概して、本開示の技法はビデオ符号化デバイスまたはビデオ復号デバイスによって実施されるが、本技法は、一般に「コーデック」と呼ばれる複合ビデオエンコーダ／デコーダによっても実施され得る。その上、本開示の技法はまた、ビデオプリプロセッサによって実施され得る。ソースデバイスおよび受信デバイスは、ソースデバイスが受信デバイスへの送信のためのコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、ソースデバイスおよび受信デバイスは、デバイスの各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、例示的なシステムは、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ビデオデバイス間の一方向または二方向のビデオ送信をサポートし得る。
[0124] ＨＥＶＣ規格に対する拡張は、ＭＶ－ＨＥＶＣと呼ばれるマルチビュービデオコーディング拡張と、ＳＨＶＣと呼ばれるスケーラブルビデオコーディング拡張とを含む。ＭＶ－ＨＥＶＣ拡張およびＳＨＶＣ拡張は、階層化コーディングの概念を共有し、異なるレイヤが符号化ビデオビットストリーム中に含まれる。コード化ビデオシーケンス中の各レイヤは、一意のレイヤ識別子（ＩＤ）によってアドレス指定される。レイヤＩＤは、ＮＡＬユニットがそれに関連するレイヤを識別するために、ＮＡＬユニットのヘッダ中に存在し得る。ＭＶ－ＨＥＶＣでは、異なるレイヤは、通常、ビデオビットストリーム中の同じシーンの異なるビューを表す。ＳＨＶＣでは、異なる空間解像度（またはピクチャ解像度）で、または異なる再構築忠実度でビデオビットストリームを表す異なるスケーラブルレイヤが提供される。スケーラブルレイヤは、（レイヤＩＤ＝０である）ベースレイヤと（レイヤＩＤ＝１、２、．．．ｎである）１つまたは複数のエンハンスメントレイヤとを含み得る。ベースレイヤは、ＨＥＶＣの第１のバージョンのプロファイルに適合し得、ビットストリーム中の利用可能な最下位レイヤを表す。エンハンスメントレイヤは、ベースレイヤと比較して、増加された空間解像度、時間解像度またはフレームレート、および／あるいは再構築忠実度（または品質）を有する。エンハンスメントレイヤは、階層的に編成されており、下位レイヤに依存すること（または依存しないこと）がある。いくつかの例では、単一規格コーデックを使用して、異なるレイヤがコーディングされ得る（たとえば、ＨＥＶＣ、ＳＨＶＣ、または他のコーディング規格を使用して、すべてのレイヤが符号化される）。いくつかの例では、多規格コーデックを使用して、異なるレイヤがコーディングされ得る。たとえば、ベースレイヤは、ＡＶＣを使用してコーディングされ得るが、１つまたは複数のエンハンスメントレイヤは、ＨＥＶＣ規格に対するＳＨＶＣ拡張および／またはＭＶ－ＨＥＶＣ拡張を使用してコーディングされ得る。
[0125] 概して、レイヤは、ＶＣＬ ＮＡＬユニットのセットと非ＶＣＬ ＮＡＬユニットの対応するセットとを含む。ＮＡＬユニットは、特定のレイヤＩＤ値を割り当てられる。レイヤは、あるレイヤが下位レイヤに依存し得るという意味で、階層的であり得る。レイヤセットは、自己完結型であるビットストリーム内で表されるレイヤのセットを指し、これは、レイヤセット内のレイヤが、復号プロセスにおいてレイヤセット中の他のレイヤに依存することがあるが、復号のために任意の他のレイヤに依存しないことを意味する。したがって、レイヤセット中のレイヤは、ビデオコンテンツを表すことができる独立したビットストリームを形成することができる。レイヤセット中のレイヤのセットは、サブビットストリーム抽出プロセスの動作によって別のビットストリームから取得され得る。レイヤセットは、デコーダがいくつかのパラメータに従って動作することを希望するときに復号されるべきであるレイヤのセットに対応し得る。
[0126] 前に説明されたように、ＨＥＶＣビットストリームは、ＶＣＬ ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとを含む、ＮＡＬユニットのグループを含む。ＶＣＬ ＮＡＬユニットは、コード化ビデオビットストリームを形成するコード化ピクチャデータを含む。たとえば、コード化ビデオビットストリームを形成するビットのシーケンスは、ＶＣＬ ＮＡＬユニット中に存在する。非ＶＣＬ ＮＡＬユニットは、他の情報に加えて、符号化ビデオビットストリームに関係する高レベル情報をもつパラメータセットを含んでいることがある。たとえば、パラメータセットは、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセット（ＳＰＳ）と、ピクチャパラメータセット（ＰＰＳ）とを含み得る。パラメータセットの目標の例は、ビットレート効率と、エラーレジリエンシーと、システムレイヤインターフェースを提供することとを含む。各スライスは、復号デバイス１１２がそのスライスを復号するために使用し得る情報にアクセスするために、単一のアクティブなＰＰＳ、ＳＰＳ、およびＶＰＳを参照する。ＶＰＳ識別子（ＩＤ）と、ＳＰＳ ＩＤと、ＰＰＳ ＩＤとを含むＩＤが、パラメータセットごとにコーディングされ得る。ＳＰＳは、ＳＰＳ ＩＤとＶＰＳ ＩＤとを含む。ＰＰＳは、ＰＰＳ ＩＤとＳＰＳ ＩＤとを含む。各スライスヘッダはＰＰＳ ＩＤを含む。ＩＤを使用して、アクティブなパラメータセットが所与のスライスについて識別され得る。
[0127] ＰＰＳは、所与のピクチャ中のすべてのスライスに適用される情報を含む。このため、ピクチャ中のすべてのスライスは、同じＰＰＳを指す。異なるピクチャ中のスライスも、同じＰＰＳを指すことがある。ＳＰＳは、同じコード化ビデオシーケンス（ＣＶＳ）またはビットストリーム中のすべてのピクチャに適用される情報を含む。前に説明されたように、コード化ビデオシーケンスは、（上記で説明された）ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャ（たとえば、瞬時復号参照（ＩＤＲ：instantaneous decode reference）ピクチャまたは切断リンクアクセス（ＢＬＡ：broken link access）ピクチャ、あるいは他の適切なランダムアクセスポイントピクチャ）で開始し、ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャを有する次のアクセスユニット（ＡＵ）（またはビットストリームの終端）までの、それを含まない、一連のＡＵである。ＳＰＳ中の情報は、コード化ビデオシーケンス内でピクチャごとに変化しないことがある。コード化ビデオシーケンス中のピクチャは、同じＳＰＳを使用し得る。ＶＰＳは、コード化ビデオシーケンスまたはビットストリーム内のすべてのレイヤに適用される情報を含む。ＶＰＳは、コード化ビデオシーケンス全体に適用されるシンタックス要素をもつシンタックス構造を含む。いくつかの実施形態では、ＶＰＳ、ＳＰＳ、またはＰＰＳは、符号化ビットストリームとともに帯域内で送信され得る。いくつかの実施形態では、ＶＰＳ、ＳＰＳ、またはＰＰＳは、コード化ビデオデータを含んでいるＮＡＬユニットとは別個の送信において帯域外で送信され得る。
[0128] 本開示は、概して、シンタックス要素などのある情報を「シグナリング」することに言及し得る。「シグナリング」という用語は、概して、符号化ビデオデータを復号するために使用されるシンタックス要素および／または他のデータについての値の通信を指すことがある。たとえば、ビデオ符号化デバイス１０４は、ビットストリーム中のシンタックス要素についての値をシグナリングし得る。概して、シグナリングは、ビットストリーム中で値を生成することを指す。上述のように、ビデオソース１０２は、実質的にリアルタイムでビットストリームをビデオ宛先デバイス１２２にトランスポートするか、または、ビデオ宛先デバイス１２２による後の取出しのためにシンタックス要素をストレージ１０８に記憶するときに行われ得るように、非リアルタイムでビットストリームをビデオ宛先デバイス１２２にトランスポートし得る。
[0129] ビデオビットストリームは、補足エンハンスメント情報（ＳＥＩ）メッセージをも含むことができる。たとえば、ＳＥＩ ＮＡＬユニットはビデオビットストリームの一部であり得る。いくつかの場合には、ＳＥＩメッセージは、復号プロセスによって必要とされない情報を含んでいることがある。たとえば、ＳＥＩメッセージ中の情報は、ビットストリームのビデオピクチャを復号するためのデコーダにとって必須でないことがあるが、デコーダは、ピクチャの表示または処理（たとえば、復号された出力）を改善するためにその情報を使用であることができる。ＳＥＩメッセージ中の情報は埋込みメタデータであり得る。１つの例示的な例では、ＳＥＩメッセージ中の情報は、コンテンツの視認性を改善するためにデコーダ側エンティティによって使用され得る。いくつかの事例では、いくつかの適用例規格は、適用例規格に準拠するすべてのデバイスに品質の改善がもたらされ得るように、ビットストリーム中のそのようなＳＥＩメッセージの存在（たとえば、多くの他の例に加えて、フレームパッキングＳＥＩメッセージがビデオのあらゆるフレームのために搬送される、フレーム互換平面立体視３ＤＴＶビデオフォーマットのためのフレームパッキングＳＥＩメッセージの搬送、リカバリポイントＳＥＩメッセージのハンドリング、ＤＶＢにおけるパンスキャンスキャン矩形ＳＥＩメッセージの使用）を規定し得る。
[0130] 上述のように、エネルギー効率の高いメディア消費規格（ＩＳＯ／ＩＥＣ２３００１－１１）は、メディア消費中のエネルギー使用の低減を促進するためにグリーンメタデータを指定する。グリーンメタデータは、複雑さメトリック（ＣＭ）メタデータと復号演算低減要求（ＤＯＲ－Ｒｅｑ）メタデータとを含む。デコーダは、電力消費を低減するのを助けるために復号を実施するプロセッサの動作周波数を調整するのを助けるためにＣＭメタデータを使用し得る。前に説明されたように、ＣＭシグナリングなど、グリーンメタデータを改善するためのシステムおよび技法が本明細書で説明される。たとえば、複数のピクチャにわたって単一のタイプを使用してスライス、タイル、および／またはサブフレームグラニュラリティについてのＣＭをシグナリングすることは、問題になり得る。いくつかの態様では、本明細書で説明されるシステムおよび技法は、より多くのグラニュラリティタイプ（たとえば、スライスグラニュラリティ、タイルグラニュラリティなど）を、いくつかの場合には、様々な期間タイプにわたってサポートするためにグリーンメタデータについてのシンタックス構造を改善する。いくつかの態様では、本明細書で説明されるシステムおよび技法は、サブピクチャ識別子（ＩＤ）を使用して１つまたは複数のＣＭを特定のサブピクチャにマッピングするためのシグナリングを提供する。いくつかの態様では、本明細書で説明されるシステムおよび技法は、ブロック（たとえば、ＣＴＢまたは他のブロック）の総数を示すためのシグナリング（たとえば、シンタックス要素）を提供する。いくつかの場合には（ブロックの総数を示す）そのようなシグナリングは、スライスまたはタイルごとの正規化された符号化された統計値を解釈するために期間にわたる総コーディングブロックの数の導出を簡略化することができる。シグナリングは、符号化ビデオとともに含まれるＣＭメタデータ中に含まれ得る。いくつかの態様では、本明細書で説明されるシステムおよび技法は、イントラコード化ブロック統計値のためのシグナリングを提供する。いくつかの場合には、そのようなイントラコード化ブロック統計値シグナリングは、すべてのブロックがイントラコード化されるときにＣＭがイントラコード化ブロック統計値を提供するとき（たとえば、ＰスライスおよびＢスライスがインターコード化ブロックよりも多くのイントラコード化ブロックを有するとき、ＰピクチャまたはＢピクチャがインターコード化ブロックよりも多くのイントラコード化ブロックを有するときなど）に起こる問題を解決することができる。いくつかの態様では、本明細書で説明されるシステムおよび技法は、ピクチャ全体に品質メトリックを適用するのではなく、品質メトリックを、ＶＶＣ中のものなど、ピクチャの個々の部分に（たとえば、個々のサブピクチャに）それぞれ適用するための機構を提供する。
[0131] 次に、上述の複雑さメトリック（ＣＭ）シグナリングの様々な態様が説明される。たとえば、いくつかの態様では、グラニュラリティタイプインジケータ（たとえば、ｇｒａｎｕｌａｒｉｔｙ＿ｔｙｐｅなどのグラニュラリティタイプシンタックス要素）が、スライス、タイル、サブピクチャ、スケーラブルレイヤ、および／または他のグラニュラリティなど、様々なグラニュラリティ（たとえば、グラニュラリティセグメント）をサポートするために提供される。たとえば、符号化デバイス１０４は、ビットストリーム中でまたはビットストリームを用いてグラニュラリティタイプインジケータをシグナリングし得る。グラニュラリティタイプインジケータは、複数のピクチャのために適用されるグラニュラリティＣＭシグナリングをサポートするために期間タイプシンタックス要素と組み合わせて使用され得る。いくつかの例では、期間タイプシンタックス要素（たとえば、ｐｅｒｉｏｄ＿ｔｙｐｅ）のセマンティクスが修正される。１つの例示的な例では、ＶＶＣグリーンメタデータについてのＣＭシグナリングが、以下の表２で提供される（ＩＳＯ／ＩＥＣ２３００１－１１への追加が＜＞間に示される（たとえば、＜追加された文言＞））。
Figure 2024531112000003
[0132] ｐｅｒｉｏｄ＿ｔｙｐｅシンタックス要素（たとえば、変数）が、複雑さメトリックが適用可能である今度の期間のタイプを指定し、ｐｅｒｉｏｄ＿ｔｙｐｅシンタックス要素についての値が（例示的な例として）以下の表３で定義され得る。
Figure 2024531112000004
[0133] ｇｒａｎｕｌａｒｉｔｙ＿ｔｙｐｅシンタックス要素が、複雑さメトリックが適用可能であるグラニュラリティのタイプを指定し、ｇｒａｎｕｌａｒｉｔｙ＿ｔｙｐｅシンタックス要素についての値が（例示的な例として）以下の表４で定義され得る。
Figure 2024531112000005
[0134] ｐｉｃｔｕｒｅ＿ｌｅｖｅｌ＿ＣＭｓシンタックス構造が、期間にわたる特定のピクチャについての複雑さメトリックを指定する。ｐｉｃｔｕｒｅ＿ｌｅｖｅｌ＿ＣＭｓシンタックス構造は、本明細書ではピクチャレベルＣＭシンタックス構造と呼ばれることがある。
[0135] ｇｒａｎｕｌａｒｉｔｙ＿ｌｅｖｅｌ＿ＣＭｓシンタックス構造が、期間にわたるスライス、タイル、サブピクチャ、またはレイヤなど、各エンティティについてのグラニュラリティレベル複雑さメトリックを指定する。ｇｒａｎｕｌａｒｉｔｙ＿ｌｅｖｅｌ＿ＣＭｓシンタックス構造は、本明細書ではグラニュラリティレベルＣＭシンタックス構造と呼ばれることがある。
[0136] 図２は、本開示の態様による、（フレームまたは画像とも呼ばれる）ビデオピクチャ２００についてのグラニュラリティレベルＣＭの例示的な使用を示す図である。ビデオピクチャ２００は、ビデオピクチャ２００のビューにわたって乗っており、動いている、自転車に乗る人２０２を含み、自転車に乗る人２０２は、ビデオピクチャ２００のピクチャのセット２０４中に現れる。ビデオピクチャ２００の各ピクチャは（たとえば、符号化デバイス１０４などのエンコーダによって）スライス、タイル、サブピクチャ、レイヤなど、１つまたは複数の部分に分割され得る。１６個のスライス２０８、４つのタイル２１０、および１つのサブピクチャ２１２に分割された、ピクチャのセット２０４のうちのピクチャ２０６が示され、ここで、各タイル２１０は４つのスライス２０８を含み、サブピクチャ２１２はピクチャの下側部分上に２つのタイル２１０を含む。
[0137] いくつかの場合には、復号デバイス（たとえば、復号デバイス１１２）に対して期間タイプとグラニュラリティタイプの両方を指定することが可能であることは、グラニュラリティレベルＣＭが複数のピクチャについてのスライス、タイル、サブピクチャ、またはレイヤについて１回定義されることを可能にすることによって、より大きいフレキシビリティおよび低減されたシグナリングを可能にする。たとえば、各ピクチャのサブピクチャについてのグラニュラリティレベルＣＭを定義しなければならないのではなく、符号化デバイス（たとえば、符号化デバイス１０４）は、単一のグラニュラリティレベルＣＭを、指定された時間間隔（time interval）におけるすべてのピクチャのサブピクチャに適用し得る。ビデオピクチャ２００では、ビデオにおいて自転車に乗る人２０２が動くにつれて、自転車に乗る人２０２が現れるエリアは、（動きがほとんどまたはまったくない）ピクチャのセット２０４の他のエリアと比較して、符号化／復号するのにより複雑であり得、グラニュラリティレベルＣＭを使用して異なるＣＭがそれらのエリアについて指定され得る。たとえば、グラニュラリティレベルＣＭは、ピクチャのセット２０４のうちの６つのピクチャなど、ピクチャの数について（たとえば、ｎｕｍ＿ｐｉｃｔｕｒｅｓ＝６）、サブピクチャ２１２エリアについて（たとえば、ｇｒａｎｕｌａｒｉｔｙ＿ｔｙｐｅ＝３）、１回指定され得る。グラニュラリティレベルＣＭが特定の時間間隔（たとえば、ピクチャの設定された数、時間期間など）について設定されることを可能にすることによって、単一のグラニュラリティレベルＣＭが、ピクチャのセット２０４のうちの第１のピクチャに対応するメタデータ中で使用され得、このグラニュラリティレベルＣＭは、指定された時間間隔に基づいて、ピクチャのセット２０４中のすべてのピクチャに適用され得る。ピクチャのセット２０４の後に、サブピクチャ２１２についてのグラニュラリティレベルＣＭは、サブピクチャ２１２によってカバーされるエリア中に自転車に乗る人２０２がもはやいないので、調整され得、次に、そのエリアは、符号化／復号するのに複雑でなくなり得る。同様に、複数の、場合によっては異なるグラニュラリティレベルＣＭがピクチャ中の任意の数のスライス、タイル、サブピクチャ、またはレイヤについて指定され得、ここで、各グラニュラリティレベルＣＭは、異なる今度の期間（たとえば、単一のピクチャ、指定された時間間隔の間のすべてのピクチャ、ピクチャの数、次のスライスを含んでいるピクチャまでのすべてのピクチャなど）にわたって適用され得る。
[0138] いくつかの態様では、符号化デバイス（たとえば、符号化デバイス１０４）は、ビデオの複数のピクチャについて、スライス、タイル、サブピクチャ、および／またはレイヤなど、ピクチャの部分に適用可能であるＣＭ値を指定し得る。たとえば、いくつかの態様によれば、符号化デバイスは、サブピクチャＣＭシグナリングを生成およびシグナリングし得る。サブピクチャＣＭシグナリングは、１つまたは複数のピクチャについて、ＣＭが適用されるのはどのサブピクチャかを示す。一例では、サブピクチャグラニュラリティについて、（たとえば、サブピクチャシンタックス要素と呼ばれる）シンタックス要素は、期間が複数のピクチャにわたるとき（たとえば、グラニュラリティレベルＣＭが複数のピクチャに適用される場合）サブピクチャＩＤがＣＭメタデータ中でシグナリングされることを示す。一例が以下の表５に示されている。
Figure 2024531112000006
[0139] ｓｕｂｐｉｃ＿ｉｄ［ｉ］は、関連する複雑さメトリック（ＣＭ）のサブピクチャＩＤを指定する。
[0140] ｓｕｂｐｉｃ＿ＣＭは、ｉ番目のサブピクチャ複雑さメトリック構造である。
[0141] いくつかの場合には、ｓｕｂｐｉｃ＿ｉｄおよび／またはｓｕｂｐｉｃ＿ＣＭ（ｉ）は、セグメントアドレスを指す１つまたは複数のシンタックス要素によって置き換えられ得る。いくつかの場合には、セグメントは、スライス、タイル、またはサブピクチャであり得、このセグメントアドレスは、たとえば、ピクチャの特定のスライス、タイル、および／またはサブピクチャを識別し得る。一例として、セグメントアドレス［ｔ］は、ｔ番目のセグメントのアドレスを示し得る。したがって、グラニュラリティタイプがサブピクチャグラニュラリティを指定する場合、セグメントアドレス［ｔ］はｔ番目のサブピクチャのサブピクチャＩＤを示し得る。
[0142] いくつかの場合には、態様は解像度変更に関連する。たとえば、ＶＶＣでは、コード化レイヤビデオシーケンス（ＣＬＶＳ）内の解像度変更は、ピクチャ、スライス、およびタイルグラニュラリティに適用可能であるが、サブピクチャグラニュラリティにおいて適用可能でない。いくつかの態様によれば、期間にわたるコーディングツリールーマブロックの総数を示す（たとえば、コーディングツリーブロック（ＣＴＢ）数シンタックス要素と呼ばれる）シンタックス要素は、グラニュラリティタイプがスライス（たとえば、表４からの０ｘ０１）またはタイル（たとえば、表４からの０ｘ０２）に等しく、期間タイプが複数のピクチャにわたるときなど、グリーンメタデータ中で（たとえば、ＣＭシンタックステーブル中で、以下の表６におけるｎｕｍ＿ｃｔｂｓ＿ｍｉｎｕｓ１など、１つまたは複数のシンタックス要素として）シグナリングされ得る。一例が以下の表６に示されている。
Figure 2024531112000007
[0143] ｎｕｍ＿ｃｔｂｓ＿ｍｉｎｕｓ１は、期間にわたる関連する複雑さメトリックのコーディングツリーブロックの総数を指定する。
[0144] いくつかの態様では、代替シンタックス要素（たとえば、ａｖｇ＿ｎｕｍｂｅｒ＿ｃｔｂｓ＿ｍｉｎｕｓ１）は、オーバーヘッドを低減するために、期間にわたるＣＴＢの総数の代わりに、ピクチャごとのグラニュラリティごとのＣＴＢまたは４×４ブロック（または他のサイズ決定されたブロック）の平均数を示し得る。そのようなシンタックス要素は、平均ＣＴＢ数シンタックス要素と呼ばれることがある。
[0145] いくつかの場合には、態様は、イントラコード化ブロック統計値に関連する。たとえば、現在のグリーンメタデータＣＭシンタックスは、すべてのブロックがイントラコード化ブロックであるとき、イントラコード化ブロック統計値をシグナリングするにすぎない（たとえば、ｐｏｒｔｉｏｎ＿ｉｎｔｒａ＿ｐｒｅｄｉｃｔｅｄ＿ｂｌｏｃｋｓ＿ａｒｅａ＝＝２５５）。以下の表７は、提案されるＣＭシグナリング変更を示し、ここで、追加が＜＞間に示され（たとえば、＜追加された文言＞）、削除が取り消し線付きテキストで示される（たとえば、《削除された文言》（注：《》は取り消し線の代替表示です））。イントラコード化ブロック統計値は、利用可能なイントラコード化ブロックがあるとき、シグナリングされる。インターコード化ブロック統計値は、利用可能なインターコード化ブロックがあるとき、シグナリングされる。
Figure 2024531112000008
[0146] 表７からの様々なシンタックス要素の定義の例が、ＶＶＣについて以下で提供される。
[0147] ｐｏｒｔｉｏｎ＿ｉｎｔｒａ＿ｐｒｅｄｉｃｔｅｄ＿ｂｌｏｃｋｓ＿ａｒｅａは、４サンプルグラニュラリティを使用する、指定された期間のピクチャ中のイントラ予測されたブロックによってカバーされるエリアの一部分を示し、以下のように定義される。
Figure 2024531112000009
[0148] ＮｕｍＩｎｔｒａＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓは、４サンプルグラニュラリティを使用する、指定された期間中のイントラ予測されたブロックの数である。エンコーダ側において、それは、以下のように算出される。
Figure 2024531112000010
[0149] ここで、ＮｕｍＩｎｔｒａＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓ＿Ｘは、指定された期間中の、Ｘ＝４、８、１６、３２、６４、１２８、２５６、５１２、１０２４、２０４８、４０９６からのサンプルの数についてのイントラ予測を使用するブロックの数である。
[0150] ＮｕｍＩｎｔｒａＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓは、デコーダにおいてｐｏｒｔｉｏｎ＿ｉｎｔｒａ＿ｐｒｅｄｉｃｔｅｄ＿ｂｌｏｃｋｓ＿ａｒｅａとＴｏｔａｌＮｕｍ４ＢｌｏｃｋｓＩｎＰｅｒｉｏｄとから導出される。
[0151] ｐｏｒｔｉｏｎ＿ｐｌａｎａｒ＿ｂｌｏｃｋｓ＿ｉｎ＿ｉｎｔｒａ＿ａｒｅａは、指定された期間中のイントラ予測されたエリアにおけるイントラ平面予測されたブロックエリアの一部分を示し、以下のように定義される。
Figure 2024531112000011
[0152] 存在しないとき、０に等しい。
[0153] ＮｕｍＰｌａｎａｒＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓは、４サンプルグラニュラリティを使用する、指定された期間中のイントラ平面予測されたブロックの数である。エンコーダ側において、それは、以下のように算出される。
Figure 2024531112000012
[0154] ここで、ＮｕｍＩｎｔｒａＰｌａｎａｒＢｌｏｃｋｓ＿Ｘは、指定された期間中の、Ｘ＝４、８、１６、３２、６４、１２８、２５６、５１２、１０２４、２０４８、４０９６からのサンプルの数についてのイントラ平面予測を使用するブロックの数である。
[0155] ＮｕｍＰｌａｎａｒＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓは、デコーダにおいてｐｏｒｔｉｏｎ＿ｐｌａｎａｒ＿ｂｌｏｃｋｓ＿ｉｎ＿ｉｎｔｒａ＿ａｒｅａとＮｕｍＩｎｔｒａＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓとから導出される。
[0156] ｐｏｒｔｉｏｎ＿ｄｃ＿ｂｌｏｃｋｓ＿ｉｎ＿ｉｎｔｒａ＿ａｒｅａは、指定された期間中のイントラ予測されたエリアにおけるイントラＤＣ予測されたブロックエリアの一部分を示し、以下のように定義される。
Figure 2024531112000013
[0157] 存在しないとき、０に等しい。
[0158] ＮｕｍＤｃＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓは、４サンプルグラニュラリティを使用する、指定された期間中のイントラＤＣ予測されたブロックの数である。エンコーダ側において、それは、以下のように算出される。
Figure 2024531112000014
[0159] ここで、ＮｕｍＩｎｔｒａＤｃＢｌｏｃｋｓ＿Ｘは、指定された期間中の、Ｘ＝４、８、１６、３２、６４、１２８、２５６、５１２、１０２４、２０４８、４０９６からのサンプルの数についてのイントラＤＣ予測を使用するブロックの数である。
[0160] ＮｕｍＤｃＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓは、デコーダにおいてｐｏｒｔｉｏｎ＿ｄｃ＿ｂｌｏｃｋｓ＿ｉｎ＿ｉｎｔｒａ＿ａｒｅａとＮｕｍＩｎｔｒａＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓとから導出される。
[0161] （ｐｏｒｔｉｏｎ＿ｈｖ＿ｂｌｏｃｋｓ＿ｉｎ＿ｉｎｔｒａ＿ａｒｅａとも呼ばれる）ｐｏｒｔｉｏｎ＿ａｎｇｕｌａｒ＿ｈｖ＿ｂｌｏｃｋｓ＿ｉｎ＿ｉｎｔｒａ＿ａｒｅａは、指定された期間中のイントラ予測されたエリアにおけるイントラ水平および垂直方向予測されたブロックエリアの一部分を示し、以下のように定義される。
Figure 2024531112000015
[0162] 存在しないとき、０に等しい。
[0163] ＮｕｍＨｖＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓは、４サンプルグラニュラリティを使用する、指定された期間中のイントラ水平および垂直方向予測されたブロックの数である。エンコーダ側において、それは、以下のように算出される。
Figure 2024531112000016
[0164] ここで、ＮｕｍＩｎｔｒａＨｖＢｌｏｃｋｓ＿Ｘは、指定された期間中の、Ｘ＝４、８、１６、３２、６４、１２８、２５６、５１２、１０２４、２０４８、４０９６からのサンプルの数についてのイントラ水平および垂直方向予測を使用するブロックの数である。
[0165] ＮｕｍＨｖＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓは、デコーダにおいてｐｏｒｔｉｏｎ＿ｈｖ＿ｂｌｏｃｋｓ＿ｉｎ＿ｉｎｔｒａ＿ａｒｅａとＮｕｍＩｎｔｒａＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓとから導出される。
[0166] ｐｏｒｔｉｏｎ＿ｍｉｐ＿ｂｌｏｃｋｓ＿ｉｎ＿ｉｎｔｒａ＿ａｒｅａは、指定された期間中のイントラ予測されたエリアにおけるイントラＭＩＰ予測されたブロックエリアの一部分を示し、以下のように定義される。
Figure 2024531112000017
[0167] 存在しないとき、０に等しい。
[0168] ＮｕｍＭｉｐＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓは、４サンプルグラニュラリティを使用する、指定された期間中のイントラＭＩＰ予測されたブロックの数である。エンコーダ側において、それは、以下のように算出される。
Figure 2024531112000018
[0169] ここで、ＮｕｍＩｎｔｒａＭｉｐＢｌｏｃｋｓ＿Ｘは、指定された期間中の、Ｘ＝４、８、１６、３２、６４、１２８、２５６、５１２、１０２４、２０４８、４０９６からのサンプルの数についてのイントラＭＩＰ予測を使用するブロックの数である。
[0170] ＮｕｍＭｉｐＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓは、デコーダにおいてｐｏｒｔｉｏｎ＿ｍｉｐ＿ｂｌｏｃｋｓ＿ｉｎ＿ｉｎｔｒａ＿ａｒｅａとＮｕｍＩｎｔｒａＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓとから導出される。
[0171] ｐｏｒｔｉｏｎ＿ｂｉ＿ａｎｄ＿ｇｐｍ＿ｐｒｅｄｉｃｔｅｄ＿ｂｌｏｃｋｓ＿ａｒｅａは、４サンプルグラニュラリティを使用する、指定された期間のピクチャ中のインター双予測またはＧＰＭ予測されたブロックによってカバーされるエリアの一部分を示し、以下のように定義される。
Figure 2024531112000019
[0172] ＮｕｍＢｉＡｎｄＧｐｍＰｒｅｄｉｃｔｅｄＢｌｏｃｋｓは、４サンプルグラニュラリティを使用する、指定された期間中のインター双予測およびＧＰＭ予測されたブロックの数である。エンコーダ側において、それは、以下のように算出される。
Figure 2024531112000020
[0173] ここで、ＮｕｍＢｉＰｒｅｄｉｃｔｅｄＸＢｌｏｃｋｓは、指定された期間中の、Ｘ＝４、８、１６、３２、６４、１２８、２５６、５１２、１０２４、２０４８、４０９６からのサンプルの数についてのインター双予測またはＧＰＭ予測を使用するブロックの数である。
[0174] ＮｕｍＢｉＰｒｅｄｉｃｔｅｄＸＢｌｏｃｋｓは、デコーダにおいてｐｏｒｔｉｏｎ＿ｂｉ＿ａｎｄ＿ｇｐｍ＿ｐｒｅｄｉｃｔｅｄ＿ｂｌｏｃｋｓ＿ａｒｅａとＴｏｔａｌＮｕｍ４ＢｌｏｃｋｓＩｎＰｅｒｉｏｄとから導出される。
[0175] ｐｏｒｔｉｏｎ＿ｄｅｂｌｏｃｋｉｎｇ＿ｉｎｓｔａｎｃｅｓは、指定された期間中の、本明細書の用語および定義において定義される、デブロッキングフィルタ処理インスタンスの一部分を示し、以下のように定義される。
Figure 2024531112000021
[0176] ＮｕｍＤｅｂｌｏｃｋｉｎｇＩｎｓｔａｎｃｅｓは、指定された期間中のデブロッキングフィルタ処理インスタンスの数である。それは、デコーダにおいてｐｏｒｔｉｏｎ＿ｄｅｂｌｏｃｋｉｎｇ＿ｉｎｓｔａｎｃｅｓとＭａｘＮｕｍＤｅｂｌｏｃｋｉｎｇＩｎｓｔａｎｃｅｓとから導出される。
[0177] ｐｏｒｔｉｏｎ＿ｓａｏ＿ｆｉｌｔｅｒｅｄ＿ｂｌｏｃｋｓは、４サンプルグラニュラリティを使用する、指定された期間中のＳＡＯフィルタ処理されたブロックの一部分を示す。エンコーダ側において、それは、以下のように算出される。
Figure 2024531112000022
[0178] ＮｕｍＳａｏＦｉｌｔｅｒｅｄＢｌｏｃｋｓは、４サンプルグラニュラリティを使用する、指定された期間中のＳＡＯフィルタ処理されたブロックの数である。それは、デコーダにおいてｐｏｒｔｉｏｎ＿ｓａｏ＿ｆｉｌｔｅｒｅｄ＿ｂｌｏｃｋｓ、ＴｏｔａｌＮｕｍ４ＢｌｏｃｋｓＩｎＰｅｒｉｏｄから導出される。
[0179] ｐｏｒｔｉｏｎ＿ａｌｆ＿ｆｉｌｔｅｒｅｄ＿ｂｌｏｃｋｓは、４サンプルグラニュラリティを使用する、指定された期間中のＡＬＦフィルタ処理されたブロックの一部分を示す。エンコーダ側において、それは、以下のように算出される。
Figure 2024531112000023
[0180] ＮｕｍＡｌｆＦｉｌｔｅｒｅｄＢｌｏｃｋｓは、４サンプルグラニュラリティを使用する、指定された期間中のＡＬＦフィルタ処理されたブロックの数である。それは、デコーダにおいてｐｏｒｔｉｏｎ＿ａｌｆ＿ｆｉｌｔｅｒｅｄ＿ｂｌｏｃｋｓ、ＴｏｔａｌＮｕｍ４ＢｌｏｃｋｓＩｎＰｅｒｉｏｄから導出される。
[0181] いくつかの場合には、態様は、サブピクチャ品質メトリックに関連する。たとえば、品質復元メトリックは、各グラニュラリティセグメントに適用され得る。いくつかの場合には、セグメントは、スライス、タイル、またはサブピクチャであり得る。表８は、グリーンＭＰＥＧについて提案された品質復元のためのサブピクチャベースメトリックの一例を提供し、ここで、追加が＜＞間に示される（たとえば、＜追加された文言＞）。
Figure 2024531112000024
[0182] ｘｓｄ＿ｓｕｂｐｉｃ＿ｎｕｍｂｅｒ＿ｍｉｎｕｓ１は、関連するピクチャ中で利用可能なサブピクチャの数を指定する。ｘｓｄ＿ｓｕｂｐｉｃ＿ｎｕｍｂｅｒ＿ｍｉｎｕｓ１が０に等しいとき、品質復元メトリックはピクチャ全体に適用される。
[0183] ｘｓｄ＿ｍｅｔｒｉｃ＿ｔｙｐｅ［ｉ］は、ｉ番目の客観的品質メトリックについての客観的品質メトリックのタイプを示す。
[0184] ｘｓｄ＿ｍｅｔｒｉｃ＿ｖａｌｕｅ［ｉ］［ｊ］は、関連するｊ番目のサブピクチャについてのｉ番目の客観的品質メトリックの値を含んでいる。
[0185] 現在の品質メトリックは、各セグメントの最後のピクチャの品質について説明する。本明細書で説明される態様は、ＳＥＩメッセージが、関連するピクチャの品質について説明する品質メトリックを搬送することを可能にする。たとえば、符号化デバイス（たとえば、図１および図４の符号化デバイス１０４）は、品質メトリックをＳＥＩメッセージに追加することができる。
[0186] 図３は、本開示の態様による、符号化ビデオ３００を復号するためのプロセスを示す流れ図である。動作３０２において、プロセス３００は、ビットストリームを取得することを含むことができる。動作３０４において、プロセス３００は、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すこと、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定する、を含むことができる。いくつかの場合には、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのピクチャまたはピクチャの一部分に適用可能であることを指定し、ピクチャの一部分はピクチャの全体よりも小さい。いくつかの場合には、グラニュラリティタイプシンタックス要素の値は、ＣＭが、ビットストリームの１つまたは複数のピクチャのスライス、タイル、サブピクチャ、スケーラブルレイヤ、またはコーディングツリーユニット（ＣＴＵ）行のうちの少なくとも１つに適用可能であることを指定する。
[0187] 動作３０６において、プロセス３００は、ビットストリームに関連する期間タイプシンタックス要素を取り出すこと、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、を含むことができる。いくつかの場合には、期間タイプシンタックス要素は、今度の期間についての指定された時間間隔、今度の期間についてのピクチャの数、今度の期間が、次のスライスを含むピクチャまでのすべてのピクチャを含むこと、または今度の期間が単一のピクチャを含むことのうちの少なくとも１つを示す。いくつかの場合には、プロセス３００は、ビットストリームに関連するグラニュラリティレベルＣＭシンタックス構造を取り出すことをも含むことができ、グラニュラリティレベルＣＭシンタックス構造は、今度の期間にわたるビットストリームの１つまたは複数のグラニュラリティセグメントについてのグラニュラリティレベル複雑さメトリックを指定する。いくつかの場合には、プロセス３００は、ビットストリームに関連する追加の期間タイプシンタックス要素（additional period type syntax element）を取り出すことと、追加の期間タイプシンタックス要素がグラニュラリティタイプシンタックス要素に関連し、ここにおいて、追加の期間タイプシンタックス要素が期間タイプシンタックス要素とは異なる、グラニュラリティタイプシンタックス要素と追加の期間タイプシンタックス要素とに基づいてビットストリームの一部分を復号することとをさらに含むことができる。
[0188] いくつかの場合には、プロセス３００は、ビットストリームに関連するサブピクチャシンタックス要素、サブピクチャシンタックス要素は、ＣＭが複数のピクチャに適用されるとき、サブピクチャ識別子（ＩＤ）がシグナリングされることを示す、ビットストリームに関連するコーディングツリーブロック（ＣＴＢ）数シンタックス要素、ＣＴＢ数シンタックス要素は、グラニュラリティのタイプがスライスまたはタイルに等しく、今度の期間が複数のピクチャにわたるとき、今度の期間にわたるコーディングツリールーマブロックの総数がＣＭ中でシグナリングされ得ることを示す、あるいはビットストリームに関連する平均コーディングツリーブロック（ＣＴＢ）数シンタックス要素、平均ＣＴＢ数シンタックス要素が、ピクチャごとのグラニュラリティごとのＣＴＢまたは４×４ブロックの平均数を示す、のうちの少なくとも１つを取り出すことをも含むことができる。
[0189] いくつかの場合には、プロセス３００について、イントラコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる。いくつかの場合には、インターコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる。いくつかの場合には、プロセス３００は、ビットストリームの少なくとも一部分をディスプレイ上に表示することをも含むことができる。いくつかの場合には、プロセス３００は、ビットストリームに関連するＣＭに基づいてデバイスの動作周波数を決定することをさらに含むことができる。
[0190] 動作３０８において、プロセス３００は、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とに基づいてビットストリームの一部分を復号することを含むことができる。いくつかの場合には、プロセス３００は、モバイルデバイス、ウェアラブルデバイス、エクステンデッドリアリティデバイス、カメラ、パーソナルコンピュータ、車両、ロボティックデバイス、テレビジョン、またはコンピューティングデバイスのうちの１つによって実施され得る。
[0191] 図４は、本開示の態様による、ビデオを符号化するための技法を示す流れ図４００である。動作４０２において、プロセス４００は、ビデオデータを取得することを含むことができる。動作４０４において、プロセス４００は、ビットストリームについて、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成することを含むことができる。いくつかの場合には、グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのピクチャまたはピクチャの一部分に適用可能であることを指定し、ピクチャの一部分はピクチャの全体よりも小さい。いくつかの場合には、グラニュラリティタイプシンタックス要素の値は、ＣＭが、ビットストリームの１つまたは複数のピクチャのスライス、タイル、サブピクチャ、スケーラブルレイヤ、またはコーディングツリーユニット（ＣＴＵ）行のうちの少なくとも１つに適用可能であることを指定する。
[0192] 動作４０６において、プロセス４００は、ビットストリームについて、ビットストリームに関連する期間タイプシンタックス要素を生成すること、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、を含むことができる。いくつかの場合には、期間タイプシンタックス要素は、今度の期間についての指定された時間間隔、今度の期間についてのピクチャの数、今度の期間が、次のスライスを含むピクチャまでのすべてのピクチャを含むこと、または今度の期間が単一のピクチャを含むことのうちの少なくとも１つを示す。いくつかの場合には、期間タイプシンタックス要素は、今度の期間についての指定された時間間隔、今度の期間についてのピクチャの数、今度の期間が、次のスライスを含んでいるピクチャまでのすべてのピクチャを含むこと、または今度の期間が単一のピクチャを含むことのうちの少なくとも１つを示す。
[0193] いくつかの場合には、プロセス４００は、ビットストリームについて、今度の期間にわたる１つまたは複数のエンティティについてのグラニュラリティレベル複雑さメトリックを指定するグラニュラリティレベルＣＭシンタックス構造を生成することをも含むことができる。いくつかの場合には、プロセス４００は、ビットストリームについて、グラニュラリティタイプシンタックス要素に関連する追加の期間タイプシンタックス要素を生成すること、ここにおいて、追加の期間タイプシンタックス要素が期間タイプシンタックス要素とは異なり、ここにおいて、追加の期間タイプシンタックス要素が、グラニュラリティタイプシンタックス要素でビットストリームの一部分を復号するためのものである、をさらに含むことができる。いくつかの場合には、プロセス４００は、ビットストリームについて、ビットストリームに関連するサブピクチャシンタックス要素、サブピクチャシンタックス要素は、ＣＭが複数のピクチャに適用されるとき、サブピクチャ識別子（ＩＤ）がシグナリングされることを示す、ビットストリームに関連するコーディングツリーブロック（ＣＴＢ）数シンタックス要素、ＣＴＢ数シンタックス要素は、グラニュラリティのタイプがスライスまたはタイルに等しく、今度の期間が複数のピクチャにわたるとき、今度の期間にわたるコーディングツリールーマブロックの総数がＣＭ中でシグナリングされ得ることを示す、あるいはビットストリームに関連する平均コーディングツリーブロック（ＣＴＢ）数シンタックス要素、平均ＣＴＢ数シンタックス要素が、ピクチャごとのグラニュラリティごとのＣＴＢまたは４×４ブロックの平均数を示す、のうちの少なくとも１つを生成することをも含むことができる。
[0194] いくつかの場合には、プロセス４００について、イントラコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる。いくつかの場合には、インターコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる。いくつかの場合には、プロセス４００は、モバイルデバイス、ウェアラブルデバイス、エクステンデッドリアリティデバイス、カメラ、パーソナルコンピュータ、車両、ロボティックデバイス、テレビジョン、またはコンピューティングデバイスのうちの１つによって実施され得る。
[0195] いくつかの実装形態では、本明細書で説明されるプロセス（または方法）は、図１に示されているシステム１００など、コンピューティングデバイスまたは装置によって実施され得る。たとえば、プロセスは、図１および図５に示されている符号化デバイス１０４によって、別のビデオソース側デバイスまたはビデオ送信デバイスによって、図１および図６に示されている復号デバイス１１２によって、ならびに／あるいは、プレーヤデバイス、ディスプレイ、または任意の他のクライアント側デバイスなど、別のクライアント側デバイスによって実施され得る。いくつかの場合には、コンピューティングデバイスまたは装置は、本明細書で説明される１つまたは複数のプロセスのステップを行うように構成された、１つまたは複数の入力デバイス、１つまたは複数の出力デバイス、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコンピュータ、および／または（１つまたは複数の）他の構成要素を含み得る。
[0196] いくつかの例では、コンピューティングデバイスは、モバイルデバイス、デスクトップコンピュータ、サーバコンピュータおよび／またはサーバシステム、あるいは他のタイプのコンピューティングデバイスを含み得る。コンピューティングデバイスの構成要素（たとえば、１つまたは複数の入力デバイス、１つまたは複数の出力デバイス、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコンピュータ、および／または他の構成要素）は、回路において実装され得る。たとえば、構成要素は、本明細書で説明される様々な動作を実施するために、１つまたは複数のプログラマブル電子回路（たとえば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、および／または他の好適な電子回路）を含むことができる、電子回路もしくは他の電子ハードウェアを含むことができ、および／またはそれらを使用して実装され得、ならびに／あるいは、コンピュータソフトウェア、ファームウェア、もしくはそれらの任意の組合せを含むことができ、および／またはそれらを使用して実装され得る。いくつかの例では、コンピューティングデバイスまたは装置は、ビデオフレームを含むビデオデータ（たとえば、ビデオシーケンス）をキャプチャするように構成されたカメラを含み得る。いくつかの例では、ビデオデータをキャプチャするカメラまたは他のキャプチャデバイスは、コンピューティングデバイスとは別個であり、その場合、コンピューティングデバイスは、キャプチャされたビデオデータを受信または取得する。コンピューティングデバイスは、ビデオデータを通信するように構成されたネットワークインターフェースを含み得る。ネットワークインターフェースは、インターネットプロトコル（ＩＰ）ベースのデータまたは他のタイプのデータを通信するように構成され得る。いくつかの例では、コンピューティングデバイスまたは装置は、ビデオビットストリームのピクチャのサンプルなど、出力ビデオコンテンツを表示するためのディスプレイを含み得る。
[0197] プロセスは、論理流れ図に関して説明され得、その動作は、ハードウェア、コンピュータ命令、またはそれらの組合せにおいて実施され得る動作のシーケンスを表す。コンピュータ命令のコンテキストでは、動作は、１つまたは複数のプロセッサによって実行されたとき、具陳された動作を実施する１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実施するか、または特定のデータタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されるものではなく、任意の数の説明される動作は、プロセスを実装するために任意の順序でおよび／または並行して組み合わされ得る。
[0198] さらに、プロセスは、実行可能命令で構成された１つまたは複数のコンピュータシステムの制御下で実施され得、まとめて１つまたは複数のプロセッサ上で、ハードウェアによって、あるいはそれらの組合せで実行するコード（たとえば、実行可能命令、１つまたは複数のコンピュータプログラム、または１つまたは複数のアプリケーション）として実装され得る。上述のように、コードは、たとえば、１つまたは複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読または機械可読記憶媒体に記憶され得る。コンピュータ可読または機械可読記憶媒体は非一時的であり得る。
[0199] 本明細書で説明されるコーディング技法は、例示的なビデオ符号化および復号システム（たとえば、システム１００）において実装され得る。いくつかの例では、システムは、宛先デバイスによって後で復号されるべき符号化ビデオデータを提供するソースデバイスを含む。特に、ソースデバイスは、コンピュータ可読媒体を介してビデオデータを宛先デバイスに提供する。ソースデバイスおよび宛先デバイスは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイスおよび宛先デバイスはワイヤレス通信のために装備され得る。
[0200] 宛先デバイスは、コンピュータ可読媒体を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体は、ソースデバイスから宛先デバイスに符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体は、ソースデバイスが符号化ビデオデータを宛先デバイスにリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイスに送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイスから宛先デバイスへの通信を促進するために有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。
[0201] いくつかの例では、符号化データは、出力インターフェースから記憶デバイスに出力され得る。同様に、符号化データは、入力インターフェースによって記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、記憶デバイスは、ソースデバイスによって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイスは、ストリーミングまたはダウンロードを介して記憶デバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することと、その符号化ビデオデータを宛先デバイスに送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイスは、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含み得る。記憶デバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
[0202] 本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システムは、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または二方向のビデオ送信をサポートするように構成され得る。
[0203] 一例では、ソースデバイスは、ビデオソースと、ビデオエンコーダと、出力インターフェースとを含む。宛先デバイスは、入力インターフェースと、ビデオデコーダと、ディスプレイデバイスとを含み得る。ソースデバイスのビデオエンコーダは、本明細書で開示される技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配置を含み得る。たとえば、ソースデバイスは、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイスは、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
[0204] 上記の例示的なシステムは一例にすぎない。ビデオデータを並行して処理するための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実施され得る。概して、本開示の技法はビデオ符号化デバイスによって実施されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実施され得る。その上、本開示の技法はまた、ビデオプリプロセッサによって実施され得る。ソースデバイスおよび宛先デバイスは、ソースデバイスが宛先デバイスに送信するためのコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、ソースデバイスおよび宛先デバイスは、デバイスの各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、例示的なシステムは、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ビデオデバイス間の一方向または二方向のビデオ送信をサポートし得る。
[0205] ビデオソースは、ビデオカメラなどのビデオキャプチャデバイス、前にキャプチャされたビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソースは、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。いくつかの場合には、ビデオソースがビデオカメラである場合、ソースデバイスおよび宛先デバイスは、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、上述のように、本開示で説明される技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。各場合において、キャプチャされたビデオ、プリキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダによって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェースによってコンピュータ可読媒体上に出力され得る。
[0206] 述べられたように、コンピュータ可読媒体は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信などの一時媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ－ｒａｙディスク、または他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、たとえば、ネットワーク送信を介して、ソースデバイスから符号化ビデオデータを受信し、その符号化ビデオデータを宛先デバイスに与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイスから符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを作り出し得る。したがって、コンピュータ可読媒体は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むことが理解され得る。
[0207] 宛先デバイスの入力インターフェースはコンピュータ可読媒体から情報を受信する。コンピュータ可読媒体の情報は、ビデオエンコーダによって定義され、またビデオデコーダによって使用される、ブロックおよび他のコード化ユニット、たとえば、ピクチャグループ（ＧＯＰ）の特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイスは、復号ビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。本出願の様々な実施形態が説明された。
[0208] 符号化デバイス１０４および復号デバイス１１２の具体的な詳細が、それぞれ図５および図６に示されている。図５は、本開示で説明される技法のうちの１つまたは複数を実装し得る例示的な符号化デバイス１０４を示すブロック図である。符号化デバイス１０４は、たとえば、本明細書で説明されるシンタックス要素および／または構造（たとえば、複雑さメトリック（ＣＭ）など、グリーンメタデータのシンタックス要素および／または構造、あるいは他のシンタックス要素および／または構造）を生成し得る。符号化デバイス１０４は、ビデオスライス、タイル、サブピクチャなどの内のビデオブロックのイントラ予測コーディングおよびインター予測コーディングを実施し得る。前に説明されたように、イントラコーディングは、所与のビデオフレームまたはピクチャ内の空間冗長性を低減または除去するために、空間予測に少なくとも部分的に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたは周囲のフレーム内の時間冗長性を低減または除去するために、時間予測に少なくとも部分的に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指すことがある。
[0209] 符号化デバイス１０４は、区分ユニット３５と、予測処理ユニット４１と、フィルタユニット６３と、ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロック再構築のために、符号化デバイス１０４はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。フィルタユニット６３は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表すものとする。図５では、フィルタユニット６３はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット６３はループ後フィルタとして実装され得る。後処理デバイス５７は、符号化デバイス１０４によって生成された符号化ビデオデータに対して追加の処理を実施し得る。本開示の技法は、いくつかの事例では、符号化デバイス１０４によって実装され得る。しかしながら、他の事例では、本開示の技法のうちの１つまたは複数は、後処理デバイス５７によって実装され得る。
[0210] 図５に示されているように、符号化デバイス１０４はビデオデータを受信し、区分ユニット３５はデータをビデオブロックに区分する。区分はまた、たとえば、ＬＣＵおよびＣＵのクワッドツリー構造に従って、スライス、スライスセグメント、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分を含み得る。符号化デバイス１０４は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに（および場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤差結果（たとえば、コーディングレートおよびひずみレベルなど）に基づいて現在ビデオブロックについて、複数のイントラ予測コーディングモードのうちの１つ、または複数のインター予測コーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に提供し、参照ピクチャとして使用するための符号化ブロックを再構築するために加算器６２に提供し得る。
[0211] 予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在ブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して現在ビデオブロックのイントラ予測コーディングを実施し得る。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対して現在ビデオブロックのインター予測コーディングを実施する。
[0212] 動き推定ユニット４２は、ビデオシーケンスに対する所定のパターンに従って、ビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスを、Ｐスライス、Ｂスライス、またはＧＰＢスライスに指定し得る。動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別個に示されている。動き推定ユニット４２によって実施される動き推定は、ビデオブロックについての動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する、現在ビデオフレームまたはピクチャ内のビデオブロックの予測ユニット（ＰＵ）の変位を示し得る。
[0213] 予測ブロックは、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。いくつかの例では、符号化デバイス１０４は、ピクチャメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置についての値を計算し得る。たとえば、符号化デバイス１０４は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置および分数ピクセル位置に対して動き探索を実施し、分数ピクセル精度で動きベクトルを出力し得る。
[0214] 動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵについての動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの各々は、ピクチャメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
[0215] 動き補償ユニット４４によって実施される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によっては、サブピクセル精度への補間を実施することを伴い得る。現在ビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストにおいて指す予測ブロックの位置を特定し得る。符号化デバイス１０４は、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。ピクセル差分値は、ブロックのための残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実施する１つまたは複数の構成要素を表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際に復号デバイス１１２が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
[0216] イントラ予測処理ユニット４６は、上記で説明されたように、動き推定ユニット４２と動き補償ユニット４４とによって実施されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測処理ユニット４６は、テストされたモードから使用するために適切なイントラ予測モードを選択し得る。たとえば、イントラ予測処理ユニット４６は、様々なテストされたイントラ予測モードのためにレートひずみ分析を使用してレートひずみ値を計算し得、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを作り出すために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを作り出すために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測処理ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのためのひずみおよびレートから比を計算し得る。
[0217] いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供し得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。符号化デバイス１０４は、様々なブロックのための符号化コンテキストの構成データ定義、ならびにコンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および修正されたイントラ予測モードインデックステーブルの指示を送信ビットストリーム中に含め得る。ビットストリーム構成データは、複数のイントラ予測モードインデックステーブルと、（コードワードマッピングテーブルとも呼ばれる）複数の修正されたイントラ予測モードインデックステーブルとを含み得る。
[0218] 予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在ビデオブロックのための予測ブロックを生成した後、符号化デバイス１０４は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセルドメインから周波数ドメインなどの変換ドメインにコンバートし得る。
[0219] 変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実施し得る。代替的に、エントロピー符号化ユニット５６が走査を実施し得る。
[0220] 量子化の後に、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピー符号化技法を実施し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化ビットストリームは復号デバイス１１２に送信されるか、あるいは復号デバイス１１２が後で送信するかまたは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在ビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
[0221] 逆量子化ユニット５８および逆変換処理ユニット６０は、参照ピクチャの参照ブロックとして後で使用するためにピクセルドメインにおいて残差ブロックを再構築するために、それぞれ逆量子化および逆変換を適用する。動き補償ユニット４４は、残差ブロックを参照ピクチャリスト内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、再構築された残差ブロックに１つまたは複数の補間フィルタを適用し得る。加算器６２は、ピクチャメモリ６４に記憶するための参照ブロックを作り出すために、再構築された残差ブロックを動き補償ユニット４４によって作り出された動き補償予測ブロックに加算する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。
[0222] このようにして、図５の符号化デバイス１０４は、本明細書で説明される技法のいずれかを実施するように構成されたビデオエンコーダの一例を表す。いくつかの場合には、本開示の技法のうちのいくつかは、後処理デバイス５７によっても実装され得る。
[0223] 図６は、例示的な復号デバイス１１２を示すブロック図である。復号デバイス１１２は、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換処理ユニット８８と、加算器９０と、フィルタユニット９１と、ピクチャメモリ９２とを含む。予測処理ユニット８１は、動き補償ユニット８２と、イントラ予測処理ユニット８４とを含む。復号デバイス１１２は、いくつかの例では、図５からの符号化デバイス１０４に関して説明された符号化パスとは概して逆の復号パスを実施し得る。
[0224] 復号プロセス中に、復号デバイス１１２は、符号化デバイス１０４によって送られた、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。いくつかの実施形態では、復号デバイス１１２は、符号化デバイス１０４から符号化ビデオビットストリームを受信し得る。いくつかの実施形態では、復号デバイス１１２は、サーバ、メディアアウェアネットワーク要素（ＭＡＮＥ）、ビデオエディタ／スプライサ、または上記で説明された技法のうちの１つまたは複数を実装するように構成された他のそのようなデバイスなど、ネットワークエンティティ７９から符号化ビデオビットストリームを受信し得る。ネットワークエンティティ７９は、符号化デバイス１０４を含むことも、含まないこともある。本開示で説明される技法のうちのいくつかは、ネットワークエンティティ７９が符号化ビデオビットストリームを復号デバイス１１２に送信するより前に、ネットワークエンティティ７９によって実装され得る。いくつかのビデオ復号システムでは、ネットワークエンティティ７９および復号デバイス１１２は別個のデバイスの部分であり得るが、他の事例では、ネットワークエンティティ７９に関して説明される機能は、復号デバイス１１２を備える同じデバイスによって実施され得る。
[0225] 復号デバイス１１２のエントロピー復号ユニット８０は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと他のシンタックス要素とを予測処理ユニット８１に転送する。復号デバイス１１２は、ビデオスライスレベルおよび／またはビデオブロックレベルのシンタックス要素を受信し得る。エントロピー復号ユニット８０は、ＶＰＳ、ＳＰＳ、およびＰＰＳなど、または複数のパラメータセット中の固定長シンタックス要素と可変長シンタックス要素の両方を処理し、パースし得る。
[0226] ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされたとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、Ｂ、ＰまたはＧＰＢ）スライスとしてコーディングされたとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを作り出す。予測ブロックは、参照ピクチャリスト内の参照ピクチャのうちの１つから作り出され得る。復号デバイス１１２は、ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構築技法を使用して、参照フレームリスト、すなわち、リスト０とリスト１とを構築し得る。
[0227] 動き補償ユニット８２は、動きベクトルと他のシンタックス要素とをパースすることによって現在ビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在ビデオブロックのための予測ブロックを作り出すために、その予測情報を使用する。たとえば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）と、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスのための１つまたは複数の参照ピクチャリストのための構築情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、パラメータセット中の１つまたは複数のシンタックス要素を使用し得る。
[0228] 動き補償ユニット８２はまた、補間フィルタに基づいて補間を実施し得る。動き補償ユニット８２は、参照ブロックのサブ整数ピクセルのための補間値を計算するために、ビデオブロックの符号化中に符号化デバイス１０４によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット８２は、受信されたシンタックス要素から符号化デバイス１０４によって使用された補間フィルタを決定し得、予測ブロックを作り出すためにその補間フィルタを使用し得る。
[0229] 逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された量子化変換係数を逆量子化、すなわち、量子化解除する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべきである逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとに符号化デバイス１０４によって計算される量子化パラメータの使用を含み得る。逆変換処理ユニット８８は、ピクセルドメインにおける残差ブロックを作り出すために、逆変換（たとえば、逆ＤＣＴまたは他の好適な逆変換）、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
[0230] 動き補償ユニット８２が、動きベクトルおよび他のシンタックス要素に基づいて現在ビデオブロックのための予測ブロックを生成した後に、復号デバイス１１２は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を実施する１つまたは複数の構成要素を表す。所望される場合、（コーディングループ内またはコーディングループ後のいずれかの）ループフィルタも、ピクセル遷移を平滑化するために、またはさもなければビデオ品質を改善するために使用され得る。フィルタユニット９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表すものとする。図６では、フィルタユニット９１はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット９１はループ後フィルタとして実装され得る。所与のフレームまたはピクチャ中の復号ビデオブロックは、次いで、後続の動き補償のために使用される参照ピクチャを記憶するピクチャメモリ９２に記憶される。ピクチャメモリ９２はまた、図１に示されているビデオ宛先デバイス１２２など、ディスプレイデバイス上で、後で提示するために復号ビデオを記憶する。
[0231] このようにして、図６の復号デバイス１１２は、本明細書で説明される技法のいずれかを実施するように構成されたビデオデコーダの一例を表す。
[0232] 本明細書で使用される「コンピュータ可読媒体」という用語は、限定はしないが、ポータブルまたは非ポータブル記憶デバイス、光記憶デバイス、ならびに（１つまたは複数の）命令および／またはデータを記憶、含有、または搬送することが可能な様々な他の媒体を含む。コンピュータ可読媒体は、データがそこに記憶され得る非一時的媒体を含み得、それは、ワイヤレスにまたはワイヤード接続を介して伝搬する搬送波および／または一時的電子信号を含まない。非一時的媒体の例は、限定はしないが、磁気ディスクまたはテープ、コンパクトディスク（ＣＤ）またはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリまたはメモリデバイスを含み得る。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラムステートメントの任意の組合せを表し得るコードおよび／または機械実行可能命令をその上に記憶していることがある。コードセグメントは、情報、データ、引数、パラメータ、またはメモリ内容をパスおよび／または受信することによって、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む、任意の好適な手段を介してパス、転送、または送信され得る。
[0233] いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、およびメモリは、ビットストリームなどを含んでいるケーブル信号またはワイヤレス信号を含むことができる。しかしながら、述べられるとき、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、および信号自体などの媒体を明確に除外する。
[0234] 本明細書で提供される実施形態および例の完全な理解を提供するために、具体的な詳細が上記の説明で提供される。ただし、実施形態はこれらの具体的な詳細なしに実践され得ることを当業者は理解されよう。説明の明快のために、いくつかの事例では、本技術は、デバイス、デバイス構成要素、ソフトウェアで具現される方法におけるステップまたはルーチン、あるいはハードウェアとソフトウェアとの組合せを備える機能ブロックを含む個々の機能ブロックを含むものとして提示され得る。図に示されているおよび／または本明細書で説明される構成要素以外の追加の構成要素が使用され得る。たとえば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不要な詳細で不明瞭にしないためにブロック図の形式で構成要素として示され得る。他の事例では、実施形態を不明瞭にすることを回避するために、よく知られている回路、プロセス、アルゴリズム、構造、および技法が不要な詳細なしに示され得る。
[0235] 個々の実施形態は、フローチャート、流れ図、データフロー図、構造図、またはブロック図として示されるプロセスまたは方法として、上記で説明され得る。フローチャートは動作を逐次プロセスとして説明することがあるが、動作の多くは並行してまたは同時に実施され得る。さらに、動作の順序は並べ替えられ得る。それの動作が完了されるとき、プロセスは終了されるが、図中に含まれない追加のステップを有し得る。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応するとき、それの終了は、呼出し関数またはメイン関数への関数の復帰に対応することができる。
[0236] 上記で説明された例によるプロセスおよび方法は、記憶されるかまたはさもなければコンピュータ可読媒体から利用可能である、コンピュータ実行可能命令を使用して実装され得る。そのような命令は、たとえば、汎用コンピュータ、専用コンピュータ、または処理デバイスが、ある機能または機能のグループを実施することを引き起こすか、あるいはさもなければそれらを実施するように構成する、命令とデータとを含むことができる。使用されるコンピュータリソースの部分が、ネットワークを介してアクセス可能であり得る。コンピュータ実行可能命令は、たとえば、バイナリ、アセンブリ言語などの中間フォーマット命令、ファームウェア、ソースコードなどであり得る。命令、使用される情報、および／または説明される例による方法中に作成される情報を記憶するために使用され得るコンピュータ可読媒体の例は、磁気または光ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワーク化された記憶デバイスなどを含む。
[0237] これらの開示によるプロセスおよび方法を実装するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せを含むことができ、様々なフォームファクタのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、必要なタスクを実施するためのプログラムコードまたはコードセグメント（たとえば、コンピュータプログラム製品）は、コンピュータ可読または機械可読媒体に記憶され得る。（１つまたは複数の）プロセッサが、必要なタスクを実施し得る。フォームファクタの一般的な例は、ラップトップ、スマートフォン、モバイルフォン、タブレットデバイスまたは他のスモールフォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウント（rackmount）デバイス、スタンドアロンデバイスなどを含む。本明細書で説明される機能はまた、周辺機器またはアドインカードで具現され得る。そのような機能はまた、さらなる例として、単一のデバイスにおいて実行する異なるチップまたは異なるプロセスの間で回路板上に実装され得る。
[0238] 命令、そのような命令を伝達するための媒体、それらを実行するためのコンピューティングリソース、およびそのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明される機能を提供するための例示的な手段である。
[0239] 上記の説明では、本出願の態様がそれの特定の実施形態を参照しながら説明されたが、本出願はそれに限定されないことを、当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されているが、従来技術によって限定される場合を除いて、発明概念が、場合によっては様々に具現および採用され得、添付の特許請求の範囲が、そのような変形形態を含むように解釈されるものであることを理解されたい。上記で説明された適用例の様々な特徴および態様は、個々にまたは一緒に使用され得る。さらに、実施形態は、本明細書のより広い趣旨および範囲から逸脱することなく、本明細書で説明される環境および適用例以外に、任意の数の環境および適用例において利用され得る。したがって、本明細書および図面は、限定的なものではなく例示的なものとして考慮されるべきである。説明の目的で、方法は特定の順序で説明された。代替実施形態では、方法は、説明された順序とは異なる順序で実施され得ることを諒解されたい。
[0240] 本明細書で使用される、よりも小さい（「＜」）、および、よりも大きい（「＞」）のシンボルまたは専門用語は、本説明の範囲から逸脱することなく、それぞれ、よりも小さいかまたはそれに等しい（「≦」）、および、よりも大きいかまたはそれに等しい（「≧」）のシンボルと置き換えられ得ることを、当業者は諒解されよう。
[0241] 構成要素が、ある動作を実施する「ように構成されて」いるものとして説明される場合、そのような構成は、たとえば、動作を実施するように電子回路または他のハードウェアを設計することによって、動作を実施するようにプログラマブル電子回路（たとえば、マイクロプロセッサ、または他の好適な電子回路）をプログラムすることによって、またはそれらの任意の組合せによって、達成され得る。
[0242] 「に結合された」という句は、直接的にまたは間接的にのいずれかで別の構成要素に物理的に接続された任意の構成要素、および／あるいは直接的にまたは間接的にのいずれかで別の構成要素と通信している（たとえば、ワイヤードまたはワイヤレス接続、および／あるいは他の好適な通信インターフェースを介して別の構成要素に接続された）任意の構成要素を指す。
[0243] セット「のうちの少なくとも１つ」、および／またはセットのうちの「１つまたは複数」を具陳するクレームの文言または本開示における他の文言は、セットのうちの１つのメンバーまたは（任意の組合せにおける）セットのうちの複数のメンバーがクレームを満足することを示す。たとえば、「ＡおよびＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味する。別の例では、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、Ｃ、またはＡおよびＢ、またはＡおよびＣ、またはＢおよびＣ、またはＡおよびＢおよびＣを意味する。セット「のうちの少なくとも１つ」および／またはセットのうちの「１つまたは複数」という文言は、セットを、セットに記載されている項目に限定しない。たとえば、「ＡおよびＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味することができ、さらに、ＡおよびＢのセットに記載されていない項目を含むことができる。
[0244] 本明細書で開示される実施形態に関して説明される、様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、概してそれらの機能に関して上記で説明された。そのような機能がハードウェアとして実装されるのかソフトウェアとして実装されるのかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明される機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本出願の範囲からの逸脱を生じるものと解釈されるべきではない。
[0245] 本明細書で説明される技法はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明される特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別個に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明された方法のうちの１つまたは複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気または光データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または伝搬波などの、命令またはデータ構造の形態でプログラムコードを搬送または通信し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって少なくとも部分的に実現され得る。
[0246] プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価の集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明される技法のいずれかを実施するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、あるいは本明細書で説明される技法の実装に好適な任意の他の構造または装置のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明される機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供され得、あるいは複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。
[0247] 本開示の例示的な態様は以下を含む。
[0248] 態様１．ビデオデータを処理するための装置であって、少なくとも１つのメモリと、少なくとも１つのメモリに結合された少なくとも１つのプロセッサとを備え、少なくとも１つのプロセッサは、ビットストリームを取得することと、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すことと、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定する、ビットストリームに関連する期間タイプシンタックス要素を取り出すことと、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とに基づいてビットストリームの一部分を復号することとを行うように構成された、装置。
[0249] 態様２．グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのピクチャまたはピクチャの一部分に適用可能であることを指定し、ピクチャの一部分がピクチャの全体よりも小さい、請求項１に記載の装置。
[0250] 態様３．グラニュラリティタイプシンタックス要素の値は、ＣＭが、ビットストリームの１つまたは複数のピクチャのスライス、タイル、サブピクチャ、スケーラブルレイヤ、またはコーディングツリーユニット（ＣＴＵ）行のうちの少なくとも１つに適用可能であることを指定する、請求項１に記載の装置。
[0251] 態様４．期間タイプシンタックス要素は、今度の期間についての指定された時間間隔、今度の期間についてのピクチャの数、今度の期間が、次のスライスを含むピクチャまでのすべてのピクチャを含むこと、または今度の期間が単一のピクチャを含むことのうちの少なくとも１つを示す、請求項１に記載の装置。
[0252] 態様５．少なくとも１つのプロセッサが、ビットストリームに関連するグラニュラリティレベルＣＭシンタックス構造を取り出すように構成され、グラニュラリティレベルＣＭシンタックス構造が、今度の期間にわたるビットストリームの１つまたは複数のグラニュラリティセグメントについてのグラニュラリティレベル複雑さメトリックを指定する、請求項１に記載の装置。
[0253] 態様６．少なくとも１つのプロセッサは、ビットストリームに関連する追加の期間タイプシンタックス要素を取り出すことと、追加の期間タイプシンタックス要素がグラニュラリティタイプシンタックス要素に関連し、ここにおいて、追加の期間タイプシンタックス要素が期間タイプシンタックス要素とは異なる、グラニュラリティタイプシンタックス要素と追加の期間タイプシンタックス要素とに基づいてビットストリームの一部分を復号することとを行うように構成された、請求項１に記載の装置。
[0254] 態様７．少なくとも１つのプロセッサは、ビットストリームに関連するサブピクチャシンタックス要素、サブピクチャシンタックス要素は、ＣＭが複数のピクチャに適用されるとき、サブピクチャ識別子（ＩＤ）がシグナリングされることを示す、ビットストリームに関連するコーディングツリーブロック（ＣＴＢ）数シンタックス要素、ＣＴＢ数シンタックス要素は、グラニュラリティのタイプがスライスまたはタイルに等しく、今度の期間が複数のピクチャにわたるとき、今度の期間にわたるコーディングツリールーマブロックの総数がＣＭ中でシグナリングされ得ることを示す、あるいはビットストリームに関連する平均コーディングツリーブロック（ＣＴＢ）数シンタックス要素、平均ＣＴＢ数シンタックス要素が、ピクチャごとのグラニュラリティごとのＣＴＢまたは４×４ブロックの平均数を示す、のうちの少なくとも１つを取り出すように構成された、請求項１に記載の装置。
[0255] 態様８．イントラコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる、請求項１に記載の装置。
[0256] 態様９．インターコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる、請求項１に記載の装置。
[0257] 態様１０．少なくとも１つのプロセッサが、ビットストリームに関連するＣＭに基づいて装置の動作周波数を決定するように構成された、請求項１に記載の装置。
[0258] 態様１１．ビットストリームの少なくとも一部分を表示するように構成されたディスプレイをさらに備える、請求項１に記載の装置。
[0259] 態様１２．装置が、モバイルデバイス、ウェアラブルデバイス、エクステンデッドリアリティデバイス、カメラ、パーソナルコンピュータ、車両、ロボティックデバイス、テレビジョン、またはコンピューティングデバイスのうちの１つである、請求項１に記載の装置。
[0260] 態様１３．ビデオデータを処理するための方法であって、ビットストリームを取得することと、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すことと、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定する、ビットストリームに関連する期間タイプシンタックス要素を取り出すことと、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とに基づいてビットストリームの一部分を復号することとを備える、方法。
[0261] 態様１４．グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのピクチャまたはピクチャの一部分に適用可能であることを指定し、ピクチャの一部分がピクチャの全体よりも小さい、請求項１３に記載の方法。
[0262] 態様１５．グラニュラリティタイプシンタックス要素の値は、ＣＭが、ビットストリームの１つまたは複数のピクチャのスライス、タイル、サブピクチャ、スケーラブルレイヤ、またはコーディングツリーユニット（ＣＴＵ）行のうちの少なくとも１つに適用可能であることを指定する、請求項１３に記載の方法。
[0263] 態様１６．期間タイプシンタックス要素は、今度の期間についての指定された時間間隔、今度の期間についてのピクチャの数、今度の期間が、次のスライスを含むピクチャまでのすべてのピクチャを含むこと、または今度の期間が単一のピクチャを含むことのうちの少なくとも１つを示す、請求項１３に記載の方法。
[0264] 態様１７．ビットストリームに関連するグラニュラリティレベルＣＭシンタックス構造を取り出すことをさらに備え、グラニュラリティレベルＣＭシンタックス構造が、今度の期間にわたるビットストリームの１つまたは複数のグラニュラリティセグメントについてのグラニュラリティレベル複雑さメトリックを指定する、請求項１３に記載の方法。
[0265] 態様１８．ビットストリームに関連する追加の期間タイプシンタックス要素を取り出すことと、追加の期間タイプシンタックス要素がグラニュラリティタイプシンタックス要素に関連し、ここにおいて、追加の期間タイプシンタックス要素が期間タイプシンタックス要素とは異なる、グラニュラリティタイプシンタックス要素と追加の期間タイプシンタックス要素とに基づいてビットストリームの一部分を復号することとをさらに備える、請求項１３に記載の方法。
[0266] 態様１９．ビットストリームに関連するサブピクチャシンタックス要素、サブピクチャシンタックス要素は、ＣＭが複数のピクチャに適用されるとき、サブピクチャ識別子（ＩＤ）がシグナリングされることを示す、ビットストリームに関連するコーディングツリーブロック（ＣＴＢ）数シンタックス要素、ＣＴＢ数シンタックス要素は、グラニュラリティのタイプがスライスまたはタイルに等しく、今度の期間が複数のピクチャにわたるとき、今度の期間にわたるコーディングツリールーマブロックの総数がＣＭ中でシグナリングされ得ることを示す、あるいはビットストリームに関連する平均コーディングツリーブロック（ＣＴＢ）数シンタックス要素、平均ＣＴＢ数シンタックス要素が、ピクチャごとのグラニュラリティごとのＣＴＢまたは４×４ブロックの平均数を示す、のうちの少なくとも１つを取り出すことをさらに備える、請求項１３に記載の方法。
[0267] 態様２０．イントラコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる、請求項１３に記載の方法。
[0268] 態様２１．インターコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる、請求項１３に記載の方法。
[0269] 態様２２．ビットストリームの少なくとも一部分をディスプレイ上に表示することをさらに備える、請求項１３に記載の方法。
[0270] 態様２３．ビットストリームに関連するＣＭに基づいてデバイスの動作周波数を決定することをさらに備える、請求項１３に記載の方法。
[0271] 態様２４．ビデオデータを処理するための装置であって、少なくとも１つのメモリと、少なくとも１つのメモリに結合された少なくとも１つのプロセッサとを備え、少なくとも１つのプロセッサは、ビデオデータを取得することと、ビットストリームについて、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成することと、ビットストリームについて、ビットストリームに関連する期間タイプシンタックス要素を生成することと、期間タイプシンタックス要素が、ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、ビデオデータに関連するビットストリームを生成することと、ビットストリームが、グラニュラリティタイプシンタックス要素と期間タイプシンタックス要素とを含む、生成されたビットストリームを出力することとを行うように構成された、装置。
[0272] 態様２５．グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのピクチャまたはピクチャの一部分に適用可能であることを指定し、ピクチャの一部分がピクチャの全体よりも小さい、請求項２４に記載の装置。
[0273] 態様２６．グラニュラリティタイプシンタックス要素の値は、ＣＭが、ビットストリームの１つまたは複数のピクチャのスライス、タイル、サブピクチャ、スケーラブルレイヤ、またはコーディングツリーユニット（ＣＴＵ）行のうちの少なくとも１つに適用可能であることを指定する、請求項２４に記載の装置。
[0274] 態様２７．期間タイプシンタックス要素は、今度の期間についての指定された時間間隔、今度の期間についてのピクチャの数、今度の期間が、次のスライスを含むピクチャまでのすべてのピクチャを含むこと、または今度の期間が単一のピクチャを含むことのうちの少なくとも１つを示す、請求項２４に記載の装置。
[0275] 態様２８．１つまたは複数のプロセッサが、ビットストリームについて、今度の期間にわたる１つまたは複数のエンティティについてのグラニュラリティレベル複雑さメトリックを指定するグラニュラリティレベルＣＭシンタックス構造を生成するように構成された、請求項２４に記載の装置。
[0276] 態様２９．期間タイプシンタックス要素は、今度の期間についての指定された時間間隔、今度の期間についてのピクチャの数、今度の期間が、次のスライスを含んでいるピクチャまでのすべてのピクチャを含むこと、または今度の期間が単一のピクチャを含むことのうちの少なくとも１つを示す、請求項２４に記載の装置。
[0277] 態様３０．少なくとも１つのプロセッサが、ビットストリームについて、関連する追加の期間タイプシンタックス要素を生成するように構成され、追加の期間タイプシンタックス要素がグラニュラリティタイプシンタックス要素に関連し、ここにおいて、追加の期間タイプシンタックス要素が期間タイプシンタックス要素とは異なり、ここにおいて、追加の期間タイプシンタックス要素が、グラニュラリティタイプシンタックス要素でビットストリームの一部分を復号するためのものである、請求項２４に記載の装置。
[0278] 態様３１．少なくとも１つのプロセッサは、ビットストリームについて、ビットストリームに関連するサブピクチャシンタックス要素、サブピクチャシンタックス要素は、ＣＭが複数のピクチャに適用されるとき、サブピクチャ識別子（ＩＤ）がシグナリングされることを示す、ビットストリームに関連するコーディングツリーブロック（ＣＴＢ）数シンタックス要素、ＣＴＢ数シンタックス要素は、グラニュラリティのタイプがスライスまたはタイルに等しく、今度の期間が複数のピクチャにわたるとき、今度の期間にわたるコーディングツリールーマブロックの総数がＣＭ中でシグナリングされ得ることを示す、あるいはビットストリームに関連する平均コーディングツリーブロック（ＣＴＢ）数シンタックス要素、平均ＣＴＢ数シンタックス要素が、ピクチャごとのグラニュラリティごとのＣＴＢまたは４×４ブロックの平均数を示す、のうちの少なくとも１つを生成するように構成された、請求項２４に記載の装置。
[0279] 態様３２．イントラコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる、請求項２４に記載の装置。
[0280] 態様３３．インターコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる、請求項２４に記載の装置。
[0281] 態様３４．ビデオデータをキャプチャするように構成されたカメラをさらに備える、請求項２４に記載の装置。
[0282] 態様３５．装置が、モバイルデバイス、ウェアラブルデバイス、エクステンデッドリアリティデバイス、カメラ、パーソナルコンピュータ、車両、ロボティックデバイス、テレビジョン、またはコンピューティングデバイスのうちの１つである、請求項２４に記載の装置。
[0283] 態様３６．少なくとも１つのプロセッサが、ビットストリームの１つまたは複数のグラニュラリティセグメントに関連する１つまたは複数の品質復元メトリックを取り出すように構成された、請求項１に記載の装置。
[0284] 態様３７．少なくとも１つのプロセッサが、補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、ＳＥＩメッセージからグラニュラリティタイプシンタックス要素を取り出すこととを行うように構成された、請求項１に記載の装置。
[0285] 態様３８．装置がデコーダを含む、請求項１に記載の装置。
[0286] 態様３９．装置が、１つまたは複数のピクチャをキャプチャするように構成されたカメラを含む、請求項１に記載の装置。
[0287] 態様４０．少なくとも１つのプロセッサが、ビットストリームの１つまたは複数のグラニュラリティセグメントに関連する１つまたは複数の品質復元メトリックを取り出すように構成された、請求項１３に記載の方法。
[0288] 態様４１．少なくとも１つのプロセッサが、補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、ＳＥＩメッセージからグラニュラリティタイプシンタックス要素を取り出すこととを行うように構成された、請求項１３に記載の方法。
[0289] 態様４２．装置がデコーダを含む、請求項１３に記載の方法。
[0290] 態様４３．装置が、１つまたは複数のピクチャをキャプチャするように構成されたカメラを含む、請求項１３に記載の方法。
[0291] 態様４４．少なくとも１つのプロセッサが、ビットストリームの１つまたは複数のグラニュラリティセグメントに関連する１つまたは複数の品質復元メトリックを符号化するように構成された、請求項２４に記載の装置。
[0292] 態様４５．少なくとも１つのプロセッサが、グラニュラリティタイプシンタックス要素で補足エンハンスメント情報（ＳＥＩ）メッセージを符号化するように構成された、請求項２４に記載の装置。
[0293] 態様４６．装置がデコーダを含む、請求項２４に記載の装置。
[0294] 態様４７．装置が、ビデオデータの１つまたは複数のピクチャをキャプチャするように構成されたカメラを含む、請求項２４に記載の装置。
[0295] 態様４８：態様２４から４７のいずれかに記載の動作のうちの１つまたは複数を備える、ビデオデータを処理する方法。
[0296] 態様４９：１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様１３から２３および態様４８のいずれかに記載の動作のうちの１つまたは複数を実施させる命令を記憶した非一時的コンピュータ可読媒体。
[0297] 態様５０：態様１３から２３および態様４８のいずれかに記載の動作のうちの１つまたは複数を実施するための手段を備える、ビデオデータを処理するための装置。
[0298] 態様１Ａ：ビデオデータを処理するための装置であって、少なくとも１つのメモリと、少なくとも１つのメモリに結合された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、ビットストリームを取得することと、ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すことと、グラニュラリティタイプシンタックス要素が、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能であるグラニュラリティのタイプを指定する、を行うように構成された、装置。
[0299] 態様２Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのピクチャに適用可能であることを指定する、態様１Ａに記載の装置。
[0300] 態様３Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのスライスに適用可能であることを指定する、態様２Ａに記載の装置。
[0301] 態様４Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのタイルに適用可能であることを指定する、態様２Ａに記載の装置。
[0302] 態様５Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのサブピクチャに適用可能であることを指定する、態様２Ａに記載の装置。
[0303] 態様６Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのスケーラブルレイヤに適用可能であることを指定する、態様２Ａに記載の装置。
[0304] 態様７Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのコーディングツリーユニット（ＣＴＵ）行に適用可能であることを指定する、態様２Ａに記載の装置。
[0305] 態様８Ａ：１つまたは複数のプロセッサが、ビットストリームに関連する期間タイプシンタックス要素を取り出すように構成され、期間タイプシンタックス要素は、ＣＭが適用可能である今度の期間のタイプを指定する、態様１Ａから７Ａのいずれかに記載の装置。
[0306] 態様９Ａ：１つまたは複数のプロセッサが、ビットストリームに関連するピクチャレベルＣＭシンタックス構造を取り出すように構成され、ピクチャレベルＣＭシンタックス構造が、期間にわたる１つまたは複数のピクチャについての複雑さメトリックを指定する、態様１Ａから８Ａのいずれかに記載の装置。
[0307] 態様１０Ａ：１つまたは複数のプロセッサが、ビットストリームに関連するグラニュラリティレベルＣＭシンタックス構造を取り出すように構成され、グラニュラリティレベルＣＭシンタックス構造が、期間にわたる１つまたは複数のエンティティについてのグラニュラリティレベル複雑さメトリックを指定する、態様１Ａから９Ａのいずれかに記載の装置。
[0308] 態様１１Ａ：１つまたは複数のエンティティが、スライス、タイル、サブピクチャ、およびレイヤのうちの少なくとも１つを含む、態様１０Ａに記載の装置。
[0309] 態様１２Ａ：１つまたは複数のプロセッサが、ビットストリームに関連するサブピクチャシンタックス要素を取り出すように構成され、サブピクチャシンタックス要素は、期間が複数のピクチャにわたるとき、サブピクチャ識別子（ＩＤ）がＣＭ中でシグナリングされることを示す、態様１Ａから１１Ａのいずれかに記載の装置。
[0310] 態様１３Ａ：１つまたは複数のプロセッサが、ビットストリームに関連するコーディングツリーブロック（ＣＴＢ）数シンタックス要素を取り出すように構成され、ＣＴＢ数シンタックス要素は、グラニュラリティのタイプがスライスまたはタイルに等しく、期間が複数のピクチャにわたるとき、期間にわたるコーディングツリールーマブロックの総数がＣＭ中でシグナリングされ得ることを示す、態様１Ａから１２Ａのいずれかに記載の装置。
[0311] 態様１４Ａ：１つまたは複数のプロセッサが、ビットストリームに関連する平均コーディングツリーブロック（ＣＴＢ）数シンタックス要素を取り出すように構成され、平均ＣＴＢ数シンタックス要素が、ピクチャごとのグラニュラリティごとのＣＴＢまたは４×４ブロックの平均数を示す、態様１Ａから１３Ａのいずれかに記載の装置。
[0312] 態様１５Ａ：イントラコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる、態様１Ａから１４Ａのいずれかに記載の装置。
[0313] 態様１６Ａ：インターコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる、態様１Ａから１５Ａのいずれかに記載の装置。
[0314] 態様１７Ａ：１つまたは複数のプロセッサが、ビットストリームの１つまたは複数のグラニュラリティセグメントに関連する１つまたは複数の品質復元メトリックを取り出すように構成された、態様１Ａから１６Ａのいずれかに記載の装置。
[0315] 態様１８Ａ：ビットストリームの１つまたは複数のグラニュラリティセグメントが、スライス、タイル、およびサブピクチャのうちの少なくとも１つを含む、態様１７Ａに記載の装置。
[0316] 態様１９Ａ：１つまたは複数のプロセッサが、補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、ＳＥＩメッセージからグラニュラリティタイプシンタックス要素を取り出すこととを行うように構成された、態様１Ａから１８Ａのいずれかに記載の装置。
[0317] 態様２０Ａ：１つまたは複数のプロセッサが、ビットストリームに関連するＣＭに基づいて装置の動作周波数を決定するように構成された、態様１Ａから１９Ａのいずれかに記載の装置。
[0318] 態様２１Ａ：装置がデコーダを含む、態様１Ａから２０Ａのいずれかに記載の装置。
[0319] 態様２２Ａ：１つまたは複数の出力ピクチャを表示するように構成されたディスプレイをさらに備える、態様１Ａから２１Ａのいずれかに記載の装置。
[0320] 態様２３Ａ：１つまたは複数のピクチャをキャプチャするように構成されたカメラをさらに備える、態様１Ａから２２Ａのいずれかに記載の装置。
[0321] 態様２４Ａ：装置がモバイルデバイスである、態様１Ａから２３Ａのいずれかに記載の装置。
[0322] 態様２５Ａ：態様１Ａから２４Ａのいずれかに記載の動作のうちの１つまたは複数を備える、ビデオデータを処理する方法。
[0323] 態様２６Ａ：１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様１Ａから２４Ａのいずれかに記載の動作のうちの１つまたは複数を実施させる命令を記憶した非一時的コンピュータ可読媒体。
[0324] 態様２７Ａ：態様１Ａから２４Ａのいずれかに記載の動作のうちの１つまたは複数を実施するための手段を備える、ビデオデータを処理するための装置。
[0325] 態様２８Ａ：ビデオデータを処理するための装置であって、メモリと、メモリに結合された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、ビデオデータを取得することと、ビデオデータに関連するビットストリームを生成することと、ビットストリームについて、ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能であるグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成することとを行うように構成された、装置。
[0326] 態様２９Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのピクチャに適用可能であることを指定する、態様２８Ａに記載の装置。
[0327] 態様３０Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのスライスに適用可能であることを指定する、態様２９Ａに記載の装置。
[0328] 態様３１Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのタイルに適用可能であることを指定する、態様２９Ａに記載の装置。
[0329] 態様３２Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのサブピクチャに適用可能であることを指定する、態様２９Ａに記載の装置。
[0330] 態様３３Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのスケーラブルレイヤに適用可能であることを指定する、態様２９Ａに記載の装置。
[0331] 態様３４Ａ：グラニュラリティタイプシンタックス要素の値は、ＣＭがビットストリームのコーディングツリーユニット（ＣＴＵ）行に適用可能であることを指定する、態様２９Ａに記載の装置。
[0332] 態様３５Ａ：１つまたは複数のプロセッサは、ビットストリームについて、ＣＭが適用可能である今度の期間のタイプを指定する期間タイプシンタックス要素を生成するように構成された、態様２８Ａから３４Ａのいずれかに記載の装置。
[0333] 態様３６Ａ：１つまたは複数のプロセッサが、ビットストリームについて、期間にわたる１つまたは複数のピクチャについての複雑さメトリックを指定するピクチャレベルＣＭシンタックス構造を生成するように構成された、態様２８Ａから３５Ａのいずれかに記載の装置。
[0334] 態様３７Ａ：１つまたは複数のプロセッサが、ビットストリームについて、期間にわたる１つまたは複数のエンティティについてのグラニュラリティレベル複雑さメトリックを指定するグラニュラリティレベルＣＭシンタックス構造を生成するように構成された、態様２８Ａから３６Ａのいずれかに記載の装置。
[0335] 態様３８Ａ：１つまたは複数のエンティティが、スライス、タイル、サブピクチャ、およびレイヤのうちの少なくとも１つを含む、態様３７Ａに記載の装置。
[0336] 態様３９Ａ：１つまたは複数のプロセッサは、ビットストリームについて、期間が複数のピクチャにわたるとき、サブピクチャ識別子（ＩＤ）がＣＭ中でシグナリングされることを示すサブピクチャシンタックス要素を生成するように構成された、態様２８Ａから３８Ａのいずれかに記載の装置。
[0337] 態様４０Ａ：１つまたは複数のプロセッサは、ビットストリームについて、グラニュラリティのタイプがスライスまたはタイルに等しく、期間が複数のピクチャにわたるとき、期間にわたるコーディングツリールーマブロックの総数がＣＭ中でシグナリングされ得ることを示す、コーディングツリーブロック（ＣＴＢ）数シンタックス要素を生成するように構成された、態様２８Ａから３９Ａのいずれかに記載の装置。
[0338] 態様４１Ａ：１つまたは複数のプロセッサが、ビットストリームについて、ピクチャごとのグラニュラリティごとのコーディングツリーブロック（ＣＴＢ）または４×４ブロックの平均数を示す平均ＣＴＢ数シンタックス要素を生成するように構成された、態様２８Ａから４０Ａのいずれかに記載の装置。
[0339] 態様４２Ａ：イントラコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる、態様２８Ａから４１Ａのいずれかに記載の装置。
[0340] 態様４３Ａ：インターコード化ブロック統計値は、ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロックがあるとき、ビットストリームの少なくとも一部分に関連してシグナリングされる、態様２８Ａから４２Ａのいずれかに記載の装置。
[0341] 態様４４Ａ：１つまたは複数のプロセッサが、ビットストリームについて、ビットストリームの１つまたは複数のグラニュラリティセグメントに関連する１つまたは複数の品質復元メトリックを生成するように構成された、態様２８Ａから４３Ａのいずれかに記載の装置。
[0342] 態様４５Ａ：ビットストリームの１つまたは複数のグラニュラリティセグメントが、スライス、タイル、およびサブピクチャのうちの少なくとも１つを含む、態様４４Ａに記載の装置。
[0343] 態様４６Ａ：１つまたは複数のプロセッサが、補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、グラニュラリティタイプシンタックス要素をＳＥＩメッセージ中に含めることとを行うように構成された、態様２８Ａから４５Ａのいずれかに記載の装置。
[0344] 態様４７Ａ：１つまたは複数のプロセッサが、ビットストリームを記憶するように構成された、態様２８Ａから４６Ａのいずれかに記載の装置。
[0345] 態様４８Ａ：１つまたは複数のプロセッサが、ビットストリームを送信するように構成された、態様２８Ａから４７Ａのいずれかに記載の装置。
[0346] 態様４９Ａ：装置がエンコーダを含む、態様２８Ａから４８Ａのいずれかに記載の装置。
[0347] 態様５０Ａ：１つまたは複数の出力ピクチャを表示するように構成されたディスプレイをさらに備える、態様２８Ａから４９Ａのいずれかに記載の装置。
[0348] 態様５１Ａ：１つまたは複数のピクチャをキャプチャするように構成されたカメラをさらに備える、態様２８Ａから５０Ａのいずれかに記載の装置。
[0349] 態様５２Ａ：装置がモバイルデバイスである、態様２８Ａから５１Ａのいずれかに記載の装置。
[0350] 態様５３Ａ：態様２８Ａから５２Ａのいずれかに記載の動作のうちの１つまたは複数を備える、ビデオデータを処理する方法。
[0351] 態様５４Ａ：１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様２８Ａから５２Ａのいずれかに記載の動作のうちの１つまたは複数を実施させる命令を記憶した非一時的コンピュータ可読媒体。
[0352] 態様５５Ａ：態様２８Ａから５２Ａのいずれかに記載の動作のうちの１つまたは複数を実施するための手段を備える、ビデオデータを処理するための装置。

Claims (35)

  1. ビデオデータを処理するための装置であって、
    少なくとも１つのメモリと、
    前記少なくとも１つのメモリに結合された少なくとも１つのプロセッサと
    を備え、前記少なくとも１つのプロセッサは、
    ビットストリームを取得することと、
    前記ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すことと、前記グラニュラリティタイプシンタックス要素が、前記ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定する、
    前記ビットストリームに関連する期間タイプシンタックス要素を取り出すことと、前記期間タイプシンタックス要素が、前記ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、
    前記グラニュラリティタイプシンタックス要素と前記期間タイプシンタックス要素とに基づいて前記ビットストリームの一部分を復号することと
    を行うように構成された、装置。
  2. 前記グラニュラリティタイプシンタックス要素の値は、前記ＣＭが前記ビットストリームのピクチャまたは前記ピクチャの一部分に適用可能であることを指定し、前記ピクチャの前記一部分が前記ピクチャの全体よりも小さい、請求項１に記載の装置。
  3. 前記グラニュラリティタイプシンタックス要素の値は、前記ＣＭが、前記ビットストリームの前記１つまたは複数のピクチャのスライス、タイル、サブピクチャ、スケーラブルレイヤ、またはコーディングツリーユニット（ＣＴＵ）行のうちの少なくとも１つに適用可能であることを指定する、請求項１に記載の装置。
  4. 前記期間タイプシンタックス要素は、前記今度の期間についての指定された時間間隔、前記今度の期間についてのピクチャの数、前記今度の期間が、次のスライスを含むピクチャまでのすべてのピクチャを含むこと、または前記今度の期間が単一のピクチャを含むことのうちの少なくとも１つを示す、請求項１に記載の装置。
  5. 前記少なくとも１つのプロセッサが、前記ビットストリームに関連するグラニュラリティレベルＣＭシンタックス構造を取り出すように構成され、前記グラニュラリティレベルＣＭシンタックス構造が、前記今度の期間にわたる前記ビットストリームの１つまたは複数のグラニュラリティセグメントについてのグラニュラリティレベル複雑さメトリックを指定する、請求項１に記載の装置。
  6. 前記少なくとも１つのプロセッサは、
    前記ビットストリームに関連する追加の期間タイプシンタックス要素を取り出すことと、前記追加の期間タイプシンタックス要素が前記グラニュラリティタイプシンタックス要素に関連し、ここにおいて、前記追加の期間タイプシンタックス要素が前記期間タイプシンタックス要素とは異なる、
    前記グラニュラリティタイプシンタックス要素と前記追加の期間タイプシンタックス要素とに基づいて前記ビットストリームの前記一部分を復号することと
    を行うように構成された、請求項１に記載の装置。
  7. 前記少なくとも１つのプロセッサは、
    前記ビットストリームに関連するサブピクチャシンタックス要素、前記サブピクチャシンタックス要素は、前記ＣＭが複数のピクチャに適用されるとき、サブピクチャ識別子（ＩＤ）がシグナリングされることを示す、
    前記ビットストリームに関連するコーディングツリーブロック（ＣＴＢ）数シンタックス要素、前記ＣＴＢ数シンタックス要素は、グラニュラリティの前記タイプがスライスまたはタイルに等しく、前記今度の期間が複数のピクチャにわたるとき、前記今度の期間にわたるコーディングツリールーマブロックの総数がＣＭ中でシグナリングされ得ることを示す、あるいは
    前記ビットストリームに関連する平均ＣＴＢ数シンタックス要素、前記平均ＣＴＢ数シンタックス要素が、ピクチャごとのグラニュラリティごとのＣＴＢまたは４×４ブロックの平均数を示す、
    のうちの少なくとも１つを取り出すように構成された、請求項１に記載の装置。
  8. イントラコード化ブロック統計値は、前記ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロックがあるとき、前記ビットストリームの少なくとも前記一部分に関連してシグナリングされる、請求項１に記載の装置。
  9. インターコード化ブロック統計値は、前記ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロックがあるとき、前記ビットストリームの少なくとも前記一部分に関連してシグナリングされる、請求項１に記載の装置。
  10. 前記少なくとも１つのプロセッサが、前記ビットストリームに関連する前記ＣＭに基づいて前記装置の動作周波数を決定するように構成された、請求項１に記載の装置。
  11. 前記ビットストリームの少なくとも前記一部分を表示するように構成されたディスプレイをさらに備える、請求項１に記載の装置。
  12. 前記装置が、モバイルデバイス、ウェアラブルデバイス、エクステンデッドリアリティデバイス、カメラ、パーソナルコンピュータ、車両、ロボティックデバイス、テレビジョン、またはコンピューティングデバイスのうちの１つである、請求項１に記載の装置。
  13. ビデオデータを処理するための方法であって、
    ビットストリームを取得することと、
    前記ビットストリームに関連するグラニュラリティタイプシンタックス要素を取り出すことと、前記グラニュラリティタイプシンタックス要素が、前記ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定する、
    前記ビットストリームに関連する期間タイプシンタックス要素を取り出すことと、前記期間タイプシンタックス要素が、前記ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、
    前記グラニュラリティタイプシンタックス要素と前記期間タイプシンタックス要素とに基づいて前記ビットストリームの一部分を復号することと
    を備える、方法。
  14. 前記グラニュラリティタイプシンタックス要素の値は、前記ＣＭが前記ビットストリームのピクチャまたは前記ピクチャの一部分に適用可能であることを指定し、前記ピクチャの前記一部分が前記ピクチャの全体よりも小さい、請求項１３に記載の方法。
  15. 前記グラニュラリティタイプシンタックス要素の値は、前記ＣＭが、前記ビットストリームの前記１つまたは複数のピクチャのスライス、タイル、サブピクチャ、スケーラブルレイヤ、またはコーディングツリーユニット（ＣＴＵ）行のうちの少なくとも１つに適用可能であることを指定する、請求項１３に記載の方法。
  16. 前記期間タイプシンタックス要素は、前記今度の期間についての指定された時間間隔、前記今度の期間についてのピクチャの数、前記今度の期間が、次のスライスを含むピクチャまでのすべてのピクチャを含むこと、または前記今度の期間が単一のピクチャを含むことのうちの少なくとも１つを示す、請求項１３に記載の方法。
  17. 前記ビットストリームに関連するグラニュラリティレベルＣＭシンタックス構造を取り出すことをさらに備え、前記グラニュラリティレベルＣＭシンタックス構造が、前記今度の期間にわたる前記ビットストリームの１つまたは複数のグラニュラリティセグメントについてのグラニュラリティレベル複雑さメトリックを指定する、請求項１３に記載の方法。
  18. 前記ビットストリームに関連する追加の期間タイプシンタックス要素を取り出すことと、前記追加の期間タイプシンタックス要素が前記グラニュラリティタイプシンタックス要素に関連し、ここにおいて、前記追加の期間タイプシンタックス要素が前記期間タイプシンタックス要素とは異なる、
    前記グラニュラリティタイプシンタックス要素と前記追加の期間タイプシンタックス要素とに基づいて前記ビットストリームの一部分を復号することと
    をさらに備える、請求項１３に記載の方法。
  19. 前記ビットストリームに関連するサブピクチャシンタックス要素、前記サブピクチャシンタックス要素は、前記ＣＭが複数のピクチャに適用されるとき、サブピクチャ識別子（ＩＤ）がシグナリングされることを示す、
    前記ビットストリームに関連するコーディングツリーブロック（ＣＴＢ）数シンタックス要素、前記ＣＴＢ数シンタックス要素は、グラニュラリティの前記タイプがスライスまたはタイルに等しく、前記今度の期間が複数のピクチャにわたるとき、前記今度の期間にわたるコーディングツリールーマブロックの総数がＣＭ中でシグナリングされ得ることを示す、あるいは
    前記ビットストリームに関連する平均ＣＴＢ数シンタックス要素、前記平均ＣＴＢ数シンタックス要素が、ピクチャごとのグラニュラリティごとのＣＴＢまたは４×４ブロックの平均数を示す、
    のうちの少なくとも１つを取り出すことをさらに備える、請求項１３に記載の方法。
  20. イントラコード化ブロック統計値は、前記ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロックがあるとき、前記ビットストリームの少なくとも前記一部分に関連してシグナリングされる、請求項１３に記載の方法。
  21. インターコード化ブロック統計値は、前記ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロックがあるとき、前記ビットストリームの少なくとも前記一部分に関連してシグナリングされる、請求項１３に記載の方法。
  22. 前記ビットストリームの少なくとも前記一部分をディスプレイ上に表示することをさらに備える、請求項１３に記載の方法。
  23. 前記ビットストリームに関連する前記ＣＭに基づいてデバイスの動作周波数を決定することをさらに備える、請求項１３に記載の方法。
  24. ビデオデータを処理するための装置であって、
    少なくとも１つのメモリと、
    前記少なくとも１つのメモリに結合された少なくとも１つのプロセッサと
    を備え、前記少なくとも１つのプロセッサは、
    ビデオデータを取得することと、
    ビットストリームについて、前記ビットストリームに関連する複雑さメトリック（ＣＭ）が適用可能である１つまたは複数のピクチャのグラニュラリティのタイプを指定するグラニュラリティタイプシンタックス要素を生成することと、
    前記ビットストリームについて、前記ビットストリームに関連する期間タイプシンタックス要素を生成することと、前記期間タイプシンタックス要素が、前記ＣＭが適用可能である今度の時間期間またはピクチャのセットを示す、
    前記ビデオデータに関連する前記ビットストリームを生成することと、前記ビットストリームが、前記グラニュラリティタイプシンタックス要素と前記期間タイプシンタックス要素とを含む、
    前記生成されたビットストリームを出力することと
    を行うように構成された、装置。
  25. 前記グラニュラリティタイプシンタックス要素の値は、前記ＣＭが前記ビットストリームのピクチャまたは前記ピクチャの一部分に適用可能であることを指定し、前記ピクチャの前記一部分が前記ピクチャの全体よりも小さい、請求項２４に記載の装置。
  26. 前記グラニュラリティタイプシンタックス要素の値は、前記ＣＭが、前記ビットストリームの前記１つまたは複数のピクチャのスライス、タイル、サブピクチャ、スケーラブルレイヤ、またはコーディングツリーユニット（ＣＴＵ）行のうちの少なくとも１つに適用可能であることを指定する、請求項２４に記載の装置。
  27. 前記期間タイプシンタックス要素は、前記今度の期間についての指定された時間間隔、前記今度の期間についてのピクチャの数、前記今度の期間が、次のスライスを含むピクチャまでのすべてのピクチャを含むこと、または前記今度の期間が単一のピクチャを含むことのうちの少なくとも１つを示す、請求項２４に記載の装置。
  28. 前記少なくとも１つのプロセッサが、前記ビットストリームについて、前記今度の期間にわたる１つまたは複数のエンティティについてのグラニュラリティレベル複雑さメトリックを指定するグラニュラリティレベルＣＭシンタックス構造を生成するように構成された、請求項２４に記載の装置。
  29. 前記期間タイプシンタックス要素は、前記今度の期間についての指定された時間間隔、前記今度の期間についてのピクチャの数、前記今度の期間が、次のスライスを含んでいるピクチャまでのすべてのピクチャを含むこと、または前記今度の期間が単一のピクチャを含むことのうちの少なくとも１つを示す、請求項２４に記載の装置。
  30. 前記少なくとも１つのプロセッサが、前記ビットストリームについて、関連する追加の期間タイプシンタックス要素を生成するように構成され、前記追加の期間タイプシンタックス要素が前記グラニュラリティタイプシンタックス要素に関連し、ここにおいて、前記追加の期間タイプシンタックス要素が前記期間タイプシンタックス要素とは異なり、ここにおいて、前記追加の期間タイプシンタックス要素が、前記グラニュラリティタイプシンタックス要素で前記ビットストリームの一部分を復号するためのものである、請求項２４に記載の装置。
  31. 前記少なくとも１つのプロセッサは、前記ビットストリームについて、
    前記ビットストリームに関連するサブピクチャシンタックス要素、前記サブピクチャシンタックス要素は、前記ＣＭが複数のピクチャに適用されるとき、サブピクチャ識別子（ＩＤ）がシグナリングされることを示す、
    前記ビットストリームに関連するコーディングツリーブロック（ＣＴＢ）数シンタックス要素、前記ＣＴＢ数シンタックス要素は、グラニュラリティの前記タイプがスライスまたはタイルに等しく、前記今度の期間が複数のピクチャにわたるとき、前記今度の期間にわたるコーディングツリールーマブロックの総数がＣＭ中でシグナリングされ得ることを示す、あるいは
    前記ビットストリームに関連する平均ＣＴＢ数シンタックス要素、前記平均ＣＴＢ数シンタックス要素が、ピクチャごとのグラニュラリティごとのＣＴＢまたは４×４ブロックの平均数を示す、
    のうちの少なくとも１つを生成するように構成された、請求項２４に記載の装置。
  32. イントラコード化ブロック統計値は、前記ビットストリームの少なくとも一部分中で利用可能なイントラコード化ブロックがあるとき、前記ビットストリームの少なくとも前記一部分に関連してシグナリングされる、請求項２４に記載の装置。
  33. インターコード化ブロック統計値は、前記ビットストリームの少なくとも一部分中で利用可能なインターコード化ブロックがあるとき、前記ビットストリームの少なくとも前記一部分に関連してシグナリングされる、請求項２４に記載の装置。
  34. 前記ビデオデータをキャプチャするように構成されたカメラをさらに備える、請求項２４に記載の装置。
  35. 前記装置が、モバイルデバイス、ウェアラブルデバイス、エクステンデッドリアリティデバイス、カメラ、パーソナルコンピュータ、車両、ロボティックデバイス、テレビジョン、またはコンピューティングデバイスのうちの１つである、請求項２４に記載の装置。
JP2024506707A 2021-08-09 2022-08-01 グリーンメタデータシグナリング Pending JP2024531112A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163231015P 2021-08-09 2021-08-09
US63/231,015 2021-08-09
US17/816,237 US11838553B2 (en) 2021-08-09 2022-07-29 Green metadata signaling
US17/816,237 2022-07-29
PCT/US2022/074402 WO2023019071A1 (en) 2021-08-09 2022-08-01 Green metadata signaling

Publications (1)

Publication Number Publication Date
JP2024531112A true JP2024531112A (ja) 2024-08-29

Family

ID=83049820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024506707A Pending JP2024531112A (ja) 2021-08-09 2022-08-01 グリーンメタデータシグナリング

Country Status (6)

Country Link
US (1) US11838553B2 (ja)
EP (1) EP4385208A1 (ja)
JP (1) JP2024531112A (ja)
KR (1) KR20240046714A (ja)
TW (1) TW202312739A (ja)
WO (1) WO2023019071A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024144957A1 (en) * 2022-12-30 2024-07-04 Qualcomm Incorporated Parallel processing for video coding

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9866846B2 (en) * 2014-10-14 2018-01-09 Samsung Electronics Co., Ltd. Method and apparatus for video processing with complexity information

Also Published As

Publication number Publication date
US11838553B2 (en) 2023-12-05
EP4385208A1 (en) 2024-06-19
KR20240046714A (ko) 2024-04-09
US20230056436A1 (en) 2023-02-23
TW202312739A (zh) 2023-03-16
WO2023019071A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
US11323712B2 (en) Chroma quantization parameter (QP) offset
US11368684B2 (en) Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters
US11190758B2 (en) Block-based quantized residual domain pulse code modulation assignment for intra prediction mode derivation
CN107852498B (zh) 一种编码视频数据的方法、设备及计算机可读媒体
KR102276273B1 (ko) 다중-계층 비디오 코딩에서의 3차원 룩업 테이블 기반 색역 스케일러빌리티
CN114128277B (zh) 针对局部双树的调色板预测器更新
JP2023521969A (ja) 色フォーマットサポートのための適応ループフィルタ処理
TW202203650A (zh) 解碼圖片緩衝器（ｄｐｂ）操作和存取單元定界符（ａｕｄ）
US11838553B2 (en) Green metadata signaling
US20230179805A1 (en) Adaptive film grain synthesis
TWI851707B (zh) 用於適應性迴圈濾波器變數之適應變數集合
RU2816752C9 (ru) Назначение импульсно-кодовой модуляции области квантованных на блочной основе остатков для выведения режима интра-предсказания
US20240214564A1 (en) Area optimized storage scheme for cross-component adaptive loop filtering
US20240015326A1 (en) Non-separable transform for inter-coded blocks
CN117769835A (zh) 绿色元数据信令
TW202433920A (zh) 用於跨分量適應性迴路濾波的區域優化儲存方案
JP2023552980A (ja) 高ビット深度ビデオコーディングのライスパラメータ導出のための低複雑度の履歴使用
KR20240087746A (ko) 그래디언트의 히스토그램 생성