JP7503663B2

JP7503663B2 - サブピクチャレベル及びバッファリング情報のシグナリング

Info

Publication number: JP7503663B2
Application number: JP2022575701A
Authority: JP
Inventors: ワン，イェ－クイ
Original assignee: ByteDance Inc
Current assignee: ByteDance Inc
Priority date: 2020-06-09
Filing date: 2021-06-08
Publication date: 2024-06-20
Anticipated expiration: 2041-06-08
Also published as: BR112022025075A2; CN115769563A; WO2021252543A1; EP4150914A1; BR112022025071A2; JP2023529449A; CA3182204A1; ZA202213432B; KR20230019850A; US20240098282A1; MX2022015674A; KR20230019851A; US20230095551A1; WO2021252541A1; JP2023529450A; EP4150913A4; AU2021288582A2; WO2021252546A1; EP4150913A1; US11871012B2

Description

［関連出願への相互参照］
本願は、２０２０年６月９日付けで出願された米国仮特許出願第６３／０３６８０８号に対する優先権及びその利益を請求して２０２１年６月８日付けで出願された国際特許出願第ＰＣＴ／ＵＳ２０２１／０３６４９１号に基づくものである。上記の全ての特許出願は、それらの全文を本願に参照により援用される。

［技術分野］
本特許明細書は、イメージ及びビデオのコーディング及び復号化に関係がある。

デジタルビデオは、インターネット及び他のデジタル通信網で最大のバンド幅使用を占めている。ビデオを受信及び表示することができるユーザ機器の接続数が増えるにつれて、デジタルビデオ利用のためのバンド幅需要は増え続けることが予想される。

本明細書は、ビデオ符号化又は復号化を実行するためにビデオエンコーダ及びデコーダによって使用され得る技術を開示する。

一例となる態様で、ビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、フォーマット規則に従い１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、前記フォーマット規則は、仮想参照デコーダ（hypothetical reference decoder，ＨＲＤ）に関する情報を含む非スケーラブルネスト化（non-scalable-nested）補足強化情報（supplemental enhancement information，ＳＥＩ）メッセージが、前記ビットストリームと同じビデオレイヤを含む全ての出力レイヤセットに適用可能である、ことを定める。

他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、フォーマット規則に従って１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、前記フォーマット規則は、非スケーラブルネスト化仮想参照デコーダ（ＨＲＤ）関連補足強化情報（ＳＥＩ）メッセージが、前記ビットストリームと同じレイヤの組を含む出力レイヤセットが存在しないという条件に応答して、除かれる。

他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、フォーマット規則に従って１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、前記フォーマット規則は、非スケーラブルネスト化補足強化情報（ＳＥＩ）メッセージを含むＳＥＩネットワーク抽象化レイヤ（network abstraction layer，ＮＡＬ）ユニットのレイヤ識別子の値が制約されない、ことを定める。

他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、フォーマット規則に従って１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、前記フォーマット規則は、サブピクチャレベル情報に対応する特定のペイロードタイプ値が、非仮想参照デコーダ（ＨＲＤ）関連補足強化情報（ＳＥＩ）メッセージの許容可能なＳＥＩペイロードタイプ値を含むリストから許可されない、ことを定める。

他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、フォーマット規則に従って１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、前記フォーマット規則は、仮想参照デコーダ（ＨＲＤ）にとって無関係の情報を含む非スケーラブルネスト化補足強化情報（ＳＥＩ）メッセージが前記ビットストリーム内の全てのレイヤに適用可能である、ことを定める。

他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと、規則に従って１つ以上の出力レイヤセットを含む前記ビデオのビットストリームとの間の変換を実行するステップを有し、前記規則は、ピクチャタイミング情報を運ぶスケーラブルネスト化補足強化情報（ＳＥＩ）メッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットが、前記ビットストリーム内の全ての出力レイヤセットでの同じピクチャタイミングの使用により含まれない、ことを定める。

他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、規則に従って１つ以上の補足強化情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、前記規則は、ＳＥＩＮＡＬユニットが第１ペイロードタイプの非スケーラブルネスト化ＳＥＩメッセージを含むことに応答して、当該ＳＥＩＮＡＬユニットが、第２ペイロードタイプの他のＳＥＩメッセージを含むことを許可されない、ことを定める。

他の例となる態様で、他のビデオ処理方法が開示される。方法は、規則に従ってビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、規則に従って１つ以上の補足強化情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、前記規則は、ＳＥＩＮＡＬユニットが第１ペイロードタイプのスケーラブルネスト化ＳＥＩメッセージを含むことに応答して、当該ＳＥＩＮＡＬユニットが、第２ペイロードタイプの他のＳＥＩメッセージを含むことを許可されない、ことを定める。

他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、規則に従って１つ以上の補足強化情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、前記規則は、ＳＥＩＮＡＬユニットが第１ペイロードタイプのＳＥＩメッセージを含むことに応答して、当該ＳＥＩＮＡＬユニットが、前記第１ペイロードタイプ又は第２ペイロードタイプに等しくない他のＳＥＩメッセージを含むことを許可されない、ことを定める。

他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、規則に従って１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、前記規則は、特定の出力レイヤセットに適用されるサブピクチャレベル情報（subpicture level information，ＳＬＩ）補足強化情報（ＳＥＩ）メッセージ及びバッファリング周期（buffering period，ＢＰ）ＳＥＩメッセージがアクセスユニットに含まれるという条件に応答して、前記ＳＬＩＳＥＩメッセージと前記ＢＰＳＥＩメッセージとの間に特定の復号化順序を定める。

他の例となる態様で、他のビデオ処理方法が開示される。方法は、規則に従ってビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記規則は、イニシャルコード化ピクチャバッファ（coded picture buffer，ＣＰＢ）削除遅延がバッファリング周期補足強化情報（ＳＥＩ）メッセージで示される時間的サブレイヤの最大数を示す第２シンタックスフィールドの特定の値に応答して、イニシャルＣＰＢ削除遅延関連シンタックス要素が存在するサブレイヤ表示情報を示す第１シンタックスフィールドが除かれる、ことを定める。

更なる他の例となる態様で、ビデオエンコーダ装置が開示される。ビデオエンコーダは、上記の方法を実装するよう構成されたプロセッサを有する。

更なる他の例となる態様では、ビデオデコーダ装置が開示される。ビデオデコーダは、上記の方法を実装するよう構成されたプロセッサを有する。

更なる他の例となる態様では、コードが記憶されているコンピュータ可読媒体が開示される。コードは、プロセッサ実行可能コードの形で、本明細書で記載される方法の１つを具現化する。

これら及び他の特徴は、本明細書にわたって記載される。

開示されている技術のいくつかの実施に従ってビデオコーディングシステムを表すブロック図である。ビデオ処理のために使用されるハードウェアプラットフォームの例のブロック図である。ビデオ処理の方法の例のフローチャートである。ビデオコーディングシステムの例を表すブロック図である。開示されている技術のいくつかの実施に従ってエンコーダを表すブロック図である。開示されている技術のいくつかの実施に従ってデコーダを表すブロック図である。開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。

セクション見出しは、理解を簡単にするために本明細書で使用されているのであって、各セクションで開示されている技術及び実施形態の適用可能性をそのセクションにのみ制限するものではない。更に、Ｈ．２６６という用語は、開示されている技術の範囲を限定するためではなく、理解を容易にするためにのみ、いくつかの記載で使用されている。そのようなものとして、本明細書で記載される技術は、他のビデオコーデックプロトコル及び設計にも適用可能である。

［１．導入］
本明細書は、ビデオコーディング技術に関係がある。具体的に、それは、シングルレイヤビデオコーディング及びマルチレイヤビデオコーディングの両方をサポートするビデオコーデックのためのレベル及びビットストリームコンフォーマンスを定義することに関する。それは、シングルレイヤビデオコーディング及びマルチレイヤビデオコーディングをサポートする任意のビデオコーディング標準規格又は非標準のビデオコーデック、例えば、開発中のＶＶＣ（Versatile Video Coding）に適用されてよい。

［２．頭字語］
ＡＰＳ Adaptation Parameter Set
ＡＵ Access Unit
ＡＵＤ Access Unit Delimiter
ＡＶＣ Advanced Video Coding
ＢＰ Buffering Period
ＣＬＶＳ Coded Layer Video Sequence
ＣＰＢ Coded Picture Buffer
ＣＲＡ Clean Random Access
ＣＴＵ Coding Tree Unit
ＣＶＳ Coded Video Sequence
ＤＰＢ Decoded Picture Buffer
ＤＰＳ Decoding Parameter Set
ＤＵＩ Decoding Unit Information
ＥＯＢ End Of Bitstream
ＥＯＳ End Of Sequence
ＧＣＩ General Constraints Information
ＧＤＲ Gradual Decoding Refresh
ＨＥＶＣ High Efficiency Video Coding
ＨＲＤ Hypothetical Reference Decoder
ＩＤＲ Instantaneous Decoding Refresh
ＪＥＭ Joint Exploration Model
ＭＣＴＳ Motion-Constrained Tile Sets
ＮＡＬ Network Abstraction Layer
ＯＬＳ Output Layer Set
ＰＨ Picture Header
ＰＰＳ Picture Parameter Set
ＰＴ Picture Timing
ＰＴＬ Profile, Tier and Level
ＰＵ Picture Unit
ＲＰＲ Reference Picture Resampling
ＲＢＳＰ Raw Byte Sequence Payload
ＳＥＩ Supplemental Enhancement Information
ＳＨ Slice Header
ＳＬＩ Subpicture Level Information
ＳＰＳ Sequence Parameter Set
ＳＶＣ Scalable Video Coding
ＶＣＬ Video Coding Layer
ＶＰＳ Video Parameter Set
ＶＴＭ VVC Test Model
ＶＵＩ Video Usability Information
ＶＶＣ Versatile Video Coding

［３．最初の議論］
ビデオコーディング標準規格は、よく知られているＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ標準規格の開発を通じて主に発展してきた。ＩＴＵ－ＴはＨ．２６１及びＨ．２６３を作り出し、ＩＳＯ／ＩＥＣはＭＰＥＧ－１及びＭＰＥＧ－４Ｖｉｓｕａｌを作り出し、２つの組織は共同でＨ．２６２／ＭＰＥＧ－２Ｖｉｄｅｏ及びＨ２６４／ＭＰＥＧ－４ＡＶＣ（Advanced Video Coding）及びＨ．２６５／ＨＥＶＣ標準規格を作り出した。Ｈ．２６２以降、ビデオコーディング標準規格は、時間予測に変換コーディングをプラスしたものが利用されるハイブリッド型ビデオコーディング構造に基づいている。ＨＥＶＣを超える将来のビデオコーディング技術を探求するために、ＪＶＥＴ（Joint Video Exploration Team）が２０１５年にＶＣＥＧ及びＭＰＥＧによって共同で設立された。それ以降、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Joint Exploration Model）と名付けられた参照ソフトウェアに置かれてきた。ＪＶＥＴミーティングは、4半期に一度同時に開催され、新しいコーディング標準規格は、ＨＥＶＣと比較してビットレートを５０％削減することを目標とする。新しいビデオコーディング標準規格は、２０１８年４月のＪＶＥＴミーティングでＶＶＣ（Versatile Video Coding）と正式に名付けられ、ＶＶＣテストモデル（ＶＴＭ）の最初のバージョンはその時にリリースされた。ＶＶＣ標準化に寄与する継続的な取り組みがあるので、新しいコーディング技術が、毎回のＪＶＥＴミーティングでＶＶＣ標準規格に採用されている。ＶＶＣ作業ドラフト及びテストモデルＶＴＭがそれから、毎回のミーティング後に更新されている。ＶＶＣプロジェクトは、現在、２０２０年７月のミーティングでの技術的完了（ＦＤＩＳ）を目指している。

［３．１．パラメータセット］
ＡＶＣ、ＨＥＶＣ、及びＶＶＣはパラメータセットを指定する。パラメータセットのタイプには、ＳＰＳ、ＰＰＳ、ＡＰＳ、及びＶＰＳがある。ＳＰＳ及びＰＰＳは、ＡＶＣ、ＨＥＶＣ、及びＶＶＣの全てでサポートされている。ＶＰＳは、ＨＥＶＣ以降に導入され、ＨＥＶＣ及びＶＶＣの両方に含まれている。ＡＰＳは、ＡＶＣ又はＨＥＶＣに含まれていなかったが、最新のＶＶＣドラフトテキストには含まれている。

ＳＰＳは、シーケンスレベルのヘッダ情報を運ぶよう設計され、ＰＰＳは、まれにしか変化しないピクチャレベルのヘッダ情報を運ぶよう設計された。ＳＰＳ及びＰＰＳによれば、まれにしか変化しない情報は、シーケンス又はピクチャごとに繰り返される必要がないので、この情報の冗長なシグナリングは回避可能である。更に、ＳＰＳ及びＰＰＳの使用は、重要なヘッダ情報の帯域外伝送を可能にするので、冗長な伝送の必要性を回避するだけでなく、誤り耐性（error resilience）も改善する。

ＶＰＳは、マルチレイヤビットストリーム内の全てのレイヤに共通するシーケンスレベルのヘッダ情報を運ぶために導入された。

ＡＰＳは、コーディングするためにかなりの数のビットを必要とし、複数のピクチャによって共有可能であり、シーケンス内にかなり多くの異なったバリエーションが存在する可能性があるピクチャレベル又はスライスレベルの情報を運ぶために導入された。

［３．２．シーケンス内でのピクチャ分解能の変更］
ＡＶＣ及びＨＥＶＣでは、ピクチャの空間分解能は、新しいＳＰＳを使用する新しいシーケンスがＩＲＡＰピクチャで始まらない限りは、変更することができない。ＶＶＣは、常にイントラコーディングされるＩＲＡＰピクチャを符号化せずに、ある位置でシーケンス内でのピクチャ分解能の変化を可能にする。この特徴は、インター予測に使用される参照ピクチャが復号されている現在ピクチャとは異なる分解能を有している場合にそれがその参照ピクチャのリサンプリングを必要とするということで、参照ピクチャリサンプリング（ＲＰＲ）と呼ばれることがある。

スケーリング比は、１／２以上（参照ピクチャから現在ピクチャへの２倍のダウンサンプリング）かつ８以下（８倍のアップサンプリング）であるよう制限される。異なる周波数カットオフを有する３組のリサンプリングフィルタが、参照ピクチャと現在ピクチャとの間の様々なスケーリング比を扱うために定められている。３組のリサンプリングフィルタは、１／２から１／１／７５まで、１／１．７５から１／１．２５まで、及び１／１．２５から８までの範囲をとるスケーリング比について夫々適用される。リサンプリングフィルタの各組は、ルーマのための１６個の位相及びクロマのための３２個の位相を有する。これは、動き補償補間フィルタの場合と同じである。実際に、通常のＭＣ補間プロセスは、１／１．２５から８までの範囲とるスケーリング比を有するリサンプリングプロセスの特別な場合である。水平及び垂直スケーリング比は、参照ピクチャ及び現在ピクチャについて指定されているピクチャ幅及び高さ、並びに左、右、上、及び下スケーリングオフセットに基づき、導出される。

ＨＥＶＣとは異なるこの特徴のサポートのためのＶＶＣ設計の他の態様には次がある：ｉ）ピクチャ分解能及び対応するコンフォーマンスウィンドウは、ＳＰＳでではなく、ＰＰＳでシグナリングされ、一方、ＳＰＳでは、最大ピクチャ分解能がシグナリングされる．ｉｉ）シングルレイヤビットストリームの場合に、各ピクチャストア（１つの復号されたピクチャの記憶のためのＤＰＢ内のスロット）は、最大ピクチャ分解能を有している復号化されたピクチャを記憶するのに必要なバッファサイズを占有する。

［３．３．ジェネラルでの及びＶＶＣでのスケーラブルビデオコーディング（ＳＶＣ）］
スケーラブルビデオコーディング（ＳＶＣ，ビデオコーディングにおけるスケーラビリティとも単に呼ばれることがある）は、参照レイヤ（ＲＬ）とも呼ばれることがあるベースレイヤ（ＢＬ）と、１つ以上のスケーラブルエンハンスメントレイヤ（ＥＬ）とが使用されるビデオコーディングを指す。ＳＶＣでは、ベースレイヤは、基本レベルの品質でビデオデータを運ぶことができる。１つ以上のエンハンスメントレイヤは、例えば、より高い空間、時間、及び／又は信号対雑音（ＳＮＲ）レベルをサポートするよう追加ビデオデータを運ぶことができる。エンハンスメントレイヤは、前に符号化されたレイヤに関して定義されてよい。例えば、下側レイヤがＢＬとしての機能を果たしてもよく、一方、上側レイヤがＥＬとしての機能を果たしてもよい。中間レイヤはＥＬ若しくはＲＬのどちらか一方、又は両方としての機能を果たしてもよい。例えば、中間レイヤ（例えば、最下レイヤでも最上レイヤでもないレイヤ）は、ベースレイヤ又は任意の介在するエンハンスメントレイヤなどの、その中間レイヤの下にあるレイヤのためのＥＬであると同時に、その中間レイヤの上にある１つ以上のエンハンスメントレイヤのためのＲＬとして機能を果たしてもよい。同様に、ＨＥＶＣ標準規格のマルチビュー又は３Ｄ拡張では、複数のビューが存在してよく、１つのビューの情報は、他のビューの情報（例えば、動き推定、動きベクトル予測、及び／又は他の冗長性）をコーディング（例えば、符号化又は復号化）するために利用されてもよい。

ＳＶＣでは、エンコーダ又はデコーダによって使用されるパラメータは、それらが利用され得るコーディングレベル（例えば、ビデオレベル、シーケンスレベル、ピクチャレベル、スライスレベル、など）に基づき、パラメータセットにグループ分けされる。例えば、ビットストリーム内の異なるレイヤの１つ以上のコーディングされたビデオシーケンスによって利用され得るパラメータは、ビデオパラメータセット（ＶＰＳ）に含まれてよく、コーディングされたビデオシーケンス内の１つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット（ＳＰＳ）に含まれてよい。同様に、ピクチャ内の１つ以上のスライスによって利用されるパラメータは、ピクチャパラメータセット（ＰＰＳ）に含まれてよく、単一スライスに特有である他のパラメータは、スライスヘッダに含まれてよい。同様に、特定のレイヤが所与の時点でどのパラメータセットを使用しているかの指示は、様々なコーディングレベルで供給されてよい。

ＶＶＣ内の参照ピクチャリサンプリング（ＲＰＲ）のサポートのおかげで、複数のレイヤ、例えば、ＶＶＣにおけるＳＤ解像度及びＨＤ解像度を有する２つのレイヤ、を含むビットストリームのサポートは、空間スケーラビリティサポートに必要なアップサンプリングがＲＰＲアップサンプリングフィルタを使用しさえすればよいので、如何なる追加の信号処理レベルコーディングツールも必要とせずに設計可能である。それでもなお、
ハイレベルシンタックス変更（スケーラビリティをサポートしないことと比較して）は、スケーラビリティサポートのために必要とされる。スケーラビリティサポートは、ＶＶＣバージョン１で定められている。ＡＶＣ及びＨＥＶＣの拡張に含まれるものを含め、如何なる先のビデオコーディング標準規格におけるスケーラビリティサポートとは異なり、ＶＶＣスケーラビリティの設計は、可能な限りシングルレイヤデコーダ設計に適したものとなっている。マルチレイヤビットストリームのための復号化能力は、あたかもビットストリームに単一レイヤしかないかのように定めされている。例えば、ＤＰＢサイズなどの復号化能力は、復号されるべきビットストリーム内のレイヤの数に依存しない方法で定められている。基本的に、シングルレイヤビットストリームのために設計されているデコーダは、マルチレイヤビットストリームを復号することができるように多くの変更を必要としない。ＡＶＣ及びＨＥＶＣのマルチレイヤ拡張の設計と比較して、ＨＬＳの側面は、いくらかの柔軟性を犠牲にして大幅に簡素化されている。例えば、ＩＲＡＰＡＵは、ＣＶＳに存在するレイヤの夫々についてピクチャを含むことを求められる。

［３．４．ＳＥＩメッセージ及びジェネラルＳＥＩセマンティクス並びに制約］
ＶＶＣの付録Ｄは、いくつかのＳＥＩメッセージのためのＳＥＩメッセージペイロードのシンタックス及びセマンティクスを規定し、かつ、シンタックス及びセマンティクスがＩＴＵ－ＴＨ．ＳＥＩ｜ＩＳＯ／ＩＥＣ２３００２－７で定められているＳＥＩメッセージ及びＶＵＩパラメータの使用を規定する。

ＳＥＩメッセージは、復号化、表示又は他の目的に関係があるプロセスを支援する。しかし、ＳＥＩメッセージは、復号化プロセスによってルーマ又はクロマサンプルを構成するために必要とされない。適合デコーダは、出力順序コンフォーマンスのためにこの情報を処理するよう求められない。いくつかのＳＥＩメッセージは、ビットストリームコンフォーマンスをチェックするために及び出力タイミングデコーダコンフォーマンスのために必要とされる。他のＳＥＩメッセージは、ビットストリームコンフォーマンスをチェックするために必要とされない。

最新のＶＶＣドラフトテキストにおいて、ジェネラルＳＥＩ。

最新のＶＶＣドラフトテキストにおけるスケーラブルネスティングＳＥＩメッセージのシンタックス及びセマンティクスは、次の通りである。

［４．開示されている技術的解決法によって解決される技術的課題］
ジェネラルＳＥＩ制約を含む既存のジェネラルＳＥＩペイロードセマンティクスには、次の課題がある：
１）非スケーラブルネスト化ＨＲＤ関連ＳＥＩメッセージは、ビットストリーム全体と同じレイヤの組を含むＯＬＳに適用するよう定められるべきである（０番目のＯＬＳにのみ適用されるのではない。）。
２）ビットストリーム全体は複数のレイヤを含んでよく、一方、全てのレイヤを含むＯＬＳは定められていない。この場合に、如何なる非スケーラブルネスト化ＨＲＤ関連ＳＥＩメッセージも、それらがビットストリーム全体と同じレイヤの組を含むＯＬＳに適用するということで、存在し得ない。
３）非スケーラブルネスト化非ＨＲＤ関連ＳＥＩメッセージは、nuh_layer_idがＳＥＩＮＡＬユニットのそれと等しいレイヤにのみ適用されることが現在定められている。しかし、非スケーラブルネスト化ＨＲＤ関連ＳＥＩメッセージと一致させるには、非スケーラブルネスト化ＨＲＤ関連ＳＥＩメッセージがビットストリーム全体の全てのレイヤに適用されることが定められるべきである。
４）非スケーラブルネスト化ＨＲＤ関連ＳＥＩメッセージを含むＳＥＩＮＡＬユニットのnuh_layer_idの値は、vps_layer_id[0]に等しくなければならず、非スケーラブルネスト化非ＨＲＤ関連ＳＥＩメッセージを含むＳＥＩＮＡＬユニットのnuh_layer_idは、ＳＥＩＮＡＬユニットに関連したＶＣＬＮＡＬユニットのnuh_layer_idに等しくなければならない。しかし、非スケーラブルネスト化ＳＥＩメッセージがビットストリーム全体に適用される場合に、nuh_layer_idの値に対するこれらの制約は、ＤＣＩ、ＶＰＳ、ＡＵＤ、及びＥＯＳＮＡＬユニットのnuh_layer_idと同じように、非スケーラブルネスト化ＳＥＩメッセージを含むＳＥＩＮＡＬユニットのnuh_layer_idの値が制約されないように、除かれるべきである。
５）リスト変数VclAssociatedSeiListは、現在、非ＨＲＤ関連ＳＥＩメッセージのＳＥＩ payloadType値から成る。しかし、ＳＬＩＳＥＩメッセージのための値２０３はＨＲＤ関連ＳＥＩメッセージでもある。従って、payloadType値２０３（ＳＬＩ）はリストから削除されるべきである。
６）general_same_pic_timing_in_all_ols_flagが１に等しい場合に、１（ＰＴ）に等しいpayloadTypeを有するスケーラブルネスト化ＳＥＩメッセージを含むＳＥＩＮＡＬユニットは存在すべきでないという制約はない。これは、general_same_pic_timing_in_all_ols_flagが１に等しい場合に、スケーラブルネスティングＳＥＩメッセージに含まれるＰＴＳＥＩメッセージを有する必要性がないためである。
７）ＳＥＩＮＡＬユニットが、０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、又は２０３（ＳＬＩ）に等しいpayloadTypeを有する非スケーラブルネスト化ＳＥＩメッセージを含む場合に、ＳＥＩＮＡＬユニットは、０、１、１３０又は２０３に等しくないpayloadTypeを有する如何なる他のＳＥＩメッセージを含むべきではないという制約はない。これだけで、サブビットストリーム抽出プロセス中の出力ビットストリームからのこれら４つのＨＲＤ関連ＳＥＩメッセージの削除は、これらのＳＥＩメッセージのうちの1つ以上を含むＳＥＩＮＡＬユニットを単純に除くことによって実行可能である。
８）ＳＥＩＮＡＬユニットが、０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、又は２０３（ＳＬＩ）に等しいpayloadTypeを有するスケーラブルネスト化ＳＥＩメッセージを含む場合に、ＳＥＩＮＡＬユニットは、０、１、１３０、２０３、又は１３３（スケーラブルネスティング）に等しくないpayloadTypeを有する如何なる他のＳＥＩメッセージを含むべきではないという制約はない。これだけで、スケーラブルネスト化ＨＲＤ関連及び非ＨＲＤ関連ＳＥＩメッセージについてスケーラブルネスティングＳＥＩメッセージのsn_ols_flagの値を問題なくセットすることが可能である。
９）ＳＥＩＮＡＬユニットが、３（フィラーペイロード）に等しいpayloadTypeを有するＳＥＩメッセージを含む場合に、ＳＥＩＮＡＬユニットは、３に等しくないpayloadTypeを有する如何なる他のＳＥＩメッセージも含むべきではないという制約はない。これだけで、サブビットストリーム抽出プロセス中の出力ビットストリームからのフィラーペイロードＳＥＩメッセージの削除は、1つ以上のフィラーペイロードＳＥＩメッセージを含むＳＥＩＮＡＬユニットを単純に除くことによって実行可能である。
１０）特定のＯＬＳに適用されるＳＬＩＳＥＩメッセージ及びＢＰＳＥＩメッセージがＡＵ内に存在する場合に、ＳＬＩＳＥＩメッセージは、復号化順序においてＢＰＳＥＩメッセージに先行すべきである。これは、ＳＬＩＳＥＩメッセージが、ＢＰＳＥＩメッセージと同じＡＵ内に存在する場合に、やはりＢＰＳＥＩメッセージに先行するＶＰＳ及びＳＰＳなどのシーケンスレベル情報を提供するので必要とされる。
１１）ＢＰＳＥＩメッセージにおいて、bp_sublayer_initial_cpb_removal_delay_present_flagは、bp_max_sublayers_minus1が０に等しい場合でさえシグナリングされる。しかし、bp_max_sublayers_minus1が０に等しい場合に、bp_sublayer_initial_cpb_removal_delay_present_flagの値は、0であることが知られている。

［５．解決法及び実施形態の例］
上記の課題及び他を解決するために、以下で要約されている方法が開示される。解決法の項目は、概要を説明するための例と見なされるべきであり、狭い意味で解釈されるべきではない。更に、これらの項目は、個々に適用されても、又はあらゆる方法で組み合わされてもよい。
１）第１の課題を解決するために、非スケーラブルネスト化ＨＲＤ関連ＳＥＩメッセージが、（０番目のＯＬＳにのみ適用されるのではなく）ビットストリーム全体と同じレイヤの組を含むＯＬＳに適用されることを定める。
ａ．一例で、ＨＲＤ関連ＳＥＩメッセージは、０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、又は２０３（ＳＬＩ）に等しいpayloadTypeを有するＳＥＩメッセージを参照する。
２）第２の課題を解決するために、ビットストリーム全体と同じレイヤの組を含むＯＬＳが存在しない場合に、非スケーラブルネスト化ＨＲＤ関連ＳＥＩメッセージは存在すべきでないという制約を追加する。
ａ．一例で、ＨＲＤ関連ＳＥＩメッセージは、０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、又は２０３（ＳＬＩ）に等しいpayloadTypeを有するＳＥＩメッセージを参照する。
３）第３の課題を解決するために、非スケーラブルネスト化非ＨＲＤ関連ＳＥＩメッセージは、非スケーラブルネスト化ＨＲＤ関連ＳＥＩメッセージと一致させるよう、ビットストリーム全体の全てのレイヤに適用可能であることを定める。
ａ．一例で、非ＨＲＤ関連ＳＥＩメッセージは、０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、又は２０３（ＳＬＩ）に等しくないpayloadTypeを有するＳＥＩメッセージを参照する。
４）第４の課題を解決するために、ＤＣＩ、ＶＰＳ、ＡＵＤ、及びＥＯＳＮＡＬユニットのnuh_layer_idと同じように、非スケーラブルネスト化ＳＥＩメッセージを含むＳＥＩＮＡＬユニットのnuh_layer_idの値が制約されないように、非スケーラブルネスト化ＳＥＩメッセージを含むＳＥＩＮＡＬユニットのnuh_layer_idの値に対する制約を削除する。
５）第５の課題を解決するために、VclAssociatedSeiListをNestingForLayersSeiListと改名し、payloadType値２０３（ＳＬＩ）をリストから削除する。
６）第６の課題を解決するために、general_same_pic_timing_in_all_ols_flagが１に等しい場合に、１（ＰＴ）に等しいpayloadTypeを有するスケーラブルネスト化ＳＥＩメッセージを含むＳＥＩＮＡＬユニットは存在すべきでないという制約を追加する。
ａ．一例で、追加的に、general_same_pic_timing_in_all_ols_flagが１に等しい場合に、非スケーラブルネスト化ＰＴＳＥＩメッセージは全てのＯＬＳに、更には、ＯＬＳのビットストリームから抽出され得るサブピクチャシーケンスに適用されることが定められる。
ｂ．一例で、代替的に、general_same_pic_timing_in_all_ols_flagが１に等しい場合に、sn_subpic_flagが０に等しい、１（ＰＴ）に等しいpayloadTypeを有するスケーラブルネスト化ＳＥＩメッセージを含むＳＥＩＮＡＬユニットは、存在すべきでないという制約を追加する。
７）第７の課題を解決するために、ＳＥＩＮＡＬユニットが、０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、又は２０３（ＳＬＩ）に等しいpayloadTypeを有する非スケーラブルネスト化ＳＥＩメッセージを含む場合に、ＳＥＩＮＡＬユニットは、０、１、１３０又は２０３に等しくないpayloadTypeを有する如何なる他のＳＥＩメッセージを含むべきではないことが定められる。
８）第８の課題を解決するために、ＳＥＩＮＡＬユニットが、０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、又は２０３（ＳＬＩ）に等しいpayloadTypeを有するスケーラブルネスト化ＳＥＩメッセージを含む場合に、ＳＥＩＮＡＬユニットは、０、１、１３０、２０３、又は１３３（スケーラブルネスティング）に等しくないpayloadTypeを有する如何なる他のＳＥＩメッセージを含むべきではないことが定められる。
９）第９の課題を解決するために、ＳＥＩＮＡＬユニットが、３（フィラーペイロード）に等しいpayloadTypeを有するＳＥＩメッセージを含む場合に、ＳＥＩＮＡＬユニットは、３に等しくないpayloadTypeを有する如何なる他のＳＥＩメッセージも含むべきではないという制約を追加する。
ａ．一例で、追加的に、フィラーデータＳＥＩメッセージはスケーラブルネスト化されるべきではない、つまり、スケーラブルネスティングＳＥＩメッセージに含まれるべきではないことが定められる。
ｂ．一例で、代替的に、ＳＥＩＮＡＬユニットが、３（フィラーペイロード）に等しいpayloadTypeを有するＳＥＩメッセージを含む場合に、ＳＥＩＮＡＬユニットは、３又は１３３（スケーラブルネスティング）に等しくないpayloadTypeを有する如何なる他のＳＥＩメッセージも含むべきではないという制約を追加する。
１０）第１０の課題を解決するために、特定のＯＬＳに適用されるＳＬＩＳＥＩメッセージ及びＢＰＳＥＩメッセージがＡＵ内に存在する場合に、ＳＬＩＳＥＩメッセージは、復号化順序においてＢＰＳＥＩメッセージに先行すべきであるという制約を追加する。
１１）第１１の課題を解決するために、bp_max_sublayers_minus1が０に等しい場合に、bp_sublayer_initial_cpb_removal_delay_present_flagはスキップされる（つまり、ＢＰＳＥＩメッセージでシグナリングされない）ことが定められる。
ａ．一例で、追加的に、bp_max_sublayers_minus1が０に等しい場合に、bp_sublayer_initial_cpb_removal_delay_present_flagの値は、０に等しいと推測される。

［６．実施形態］
以下は、ＶＶＣ仕様に適用可能な、本セクションで先に要約された本発明の態様のいくつかについてのいくつかの例示的な実施形態である。変更されたテキストは、ＪＶＥＴ－Ｓ０１５２－ｖ５の最新のＶＶＣテキストに基づいている。追加又は変更された最も関連する部分は太字イタリック体であり、削除された部分のいくつかは二重括弧でマークされている（例えば、［［ａ］］は、文字“ａ”の削除を表す。）。

［６．１．実施例１］
この実施例は、項目１乃至１１並びにそれらの下位項目のいくつかに係る。

図１は、本明細書で開示されている様々な技術が実装され得る例示的なビデオ処理システム１９００を示すブロック図である。様々な実施は、システム１９００のコンポーネントのいくつか又は全てを含み得る。システム１９００は、ビデオコンテンツを受ける入力部１９０２を含み得る。ビデオコンテンツは、生の又は圧縮されていないフォーマット、例えば、８又は１０ビットのマルチコンポーネントピクセル値で受け取られてよく、あるいは、圧縮又は符号化されたフォーマットにあってもよい。入力部１９０２は、ネットワークインターフェース、ペリフェラルバスインターフェース、又はストレージインターフェースに相当し得る。ネットワークインターフェースの例には、Ｅｔｈｅｒｎｅｔ（登録商標）、受動光ネットワーク（Passive Optical Network，ＰＯＮ）などのような有線インターフェース、及びＷｉ－Ｆｉ又はセルラーネットワークなどの無線インターフェースが含まれる。

システム１９００は、本明細書で記載されている様々なコーディング又は符号化方法を実装し得るコーディングコンポーネント１９０４を含んでもよい。コーディングコンポーネント１９０４は、ビデオのコーディングされた表現を生成するよう、入力部１９０２からコーディングコンポーネント１９０４の出力部へのビデオの平均ビットレートを低減し得る。コーディング技術は、従って、ビデオ圧縮又はビデオトランスコーディング技術と時々呼ばれる。コーディングコンポーネント１９０４の出力は、コンポーネント１９０６によって表されるように、保存されても、あるいは、接続された通信を介して伝送されてもよい。入力部１９０２で受け取られたビデオの保存又は通信されたビットストリーム（又はコーディングされた）表現は、ピクセル値又は表示インターフェース１９１０へ送られる表示可能なビデオを生成するコンポーネント１９０８によって使用されてもよい。ユーザが見ることができるビデオをビットストリーム表現から生成するプロセスは、ビデオ圧縮解除と時々呼ばれる。更に、特定のビデオ処理動作が「コーディング」動作又はツールと呼ばれる一方で、そのようなコーディングツール又は動作はエンコーダで使用され、コーディングの結果を入れ替える対応する復号化ツール又は動作は、デコーダによって実行されることになることが理解されるだろう。

ペリフェラルバスインターフェース又は表示インターフェースの例には、ユニバーサルシリアルバス（ＵＳＢ）又は高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））又はＤｉｓｐｌａｙｐｏｒｔ（登録商標）などが含まれ得る。ストレージインターフェースの例には、ＳＡＴＡ（Serial Advanced Technology Attachment）、ＰＣＩ（Peripheral Component Interconnect）、ＩＤＥ（Integrated Drive Electronics）インターフェース、などがある。本明細書で説明されている技術は、携帯電話機、ラップトップ、スマートフォン、あるいは、デジタルデータ処理及び／又はビデオ表示を実行する能力がある他のデバイスなどの、様々な電子デバイスで具現化されてもよい。

図２は、ビデオ処理装置３６００のブロック図である。装置３６００は、本明細書で記載されている方法の１つ以上を実装するために使用され得る。装置３６００は、スマートフォン、タブレット、コンピュータ、インターネット・オブ・シングス（ＩｏＴ）レシーバ、などで具現化されてもよい。装置３６００は、１つ以上のプロセッサ３６０２、１つ以上のメモリ３６０４、及びビデオ処理ハードウェア３６０６を含み得る。プロセッサ３６０２は、本明細書で記載される１つ以上の方法を実装するよう構成され得る。メモリ（複数のメモリ）３６０４は、本明細書で記載される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用され得る。ビデオ処理ハードウェア３６０６は、ハードウェア回路において、本明細書で記載されるいくつかの技術を実装するために使用され得る。

図４は、本開示の技術を利用し得る、例となるビデオコーディングシステム１００を表すブロック図である。

図４に示されるように、ビデオコーディングシステム１００は、送信元デバイス１１０及び送信先デバイス１２０を含んでよい。送信元デバイス１１０は、符号化されたビデオデータを生成し、ビデオ符号化デバイスと呼ばれ得る。送信先デバイス１２０は、送信元デバイス１１０によって生成された符号化されたビデオデータを復号することができ、ビデオ復号化デバイスと呼ばれ得る。

送信元デバイス１１０は、ビデオソース１１２、ビデオエンコーダ１１４、及び入力／出力（Ｉ／Ｏ）インターフェース１１６を含んでよい。

ビデオソース１１２は、ビデオ捕捉デバイスなどのソース、ビデオコンテンツプロバイダからビデオデータを受け取るインターフェース、及び／又はビデオデータを生成するコンピュータグラフィクスシステム、あるいは、そのようなソースの組み合わせを含んでよい。ビデオデータは１つ以上のピクチャを有してもよい。ビデオエンコーダ１１４は、ビットストリームを生成するようビデオソース１１２からのビデオデータを符号化する。ビットストリームは、ビデオデータのコーディングされた表現を形成するビットの連続を含んでよい。ビットストリームは、コーディングされたピクチャ及び関連するデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連するデータは、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造を含んでもよい。Ｉ／Ｏインターフェース１１６は、変調器／復調器（モデム）及び／又は送信器を含んでよい。符号化されたビデオデータは、Ｉ／Ｏインターフェース１１６を介して送信先デバイス１２０に対してネットワーク１３０ａを通じて直接に伝送されてよい。符号化されたビデオデータはまた、送信先デバイス１２０によるアクセスのために記憶媒体／サーバ１３０ｂに記憶されてもよい。

送信先デバイス１２０は、Ｉ／Ｏインターフェース１２６、ビデオデコーダ１２４、及び表示デバイス１２２を含んでよい。

Ｉ／Ｏインターフェース１２６は、受信器及び／又はモデムを含んでよい。Ｉ／Ｏインターフェース１２６は、送信元デバイス１１０又は記憶媒体／サーバ１３０ｂから符号化されたビデオデータを取得してよい。ビデオデコーダ１２４は、符号化されたビデオデータを復号してよい。表示デバイス１２２は、復号されたビデオデータをユーザに表示してよい。表示デバイス１２２は、送信先デバイス１２０と一体化されてもよく、あるいは、外付け表示デバイスとインターフェース接続するよう構成されて送信先デバイス１２０の外にあってもよい。

ビデオエンコーダ１１４及びビデオデコーダ１２４は、ＨＥＶＣ（High Efficiency Video Coding）標準規格、ＶＶＣ（Versatile Video Coding）標準規格、並びに他の現在の及び／又は更なる標準規格などのビデオ圧縮規格に従って作動してもよい。

図５は、ビデオエンコーダ２００の例を表すブロック図であり、図４に表されているシステム１００のビデオエンコーダ１１４であってよい。

ビデオエンコーダ２００は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。図５の例では、ビデオエンコーダ２００は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオエンコーダ２００の様々なコンポーネントの間で共有されてもよい。いくつかの例では、プロセッサが、本開示で記載される技術のいずれか又は全てを実行するよう構成されてもよい。

ビデオエンコーダ２００の機能コンポーネントは、パーティションユニット２０１と、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５及びイントラ予測ユニット２０６を含み得る予測ユニット２０２と、残差生成ユニット２０７と、変換ユニット２０８と、量子化ユニット２０９と、逆量子化ユニット２１０と、逆変換ユニット２１１と、再構成ユニット２１２と、バッファ２１３と、エントロピ符号化ユニット２１４とを含んでよい。

他の例では、ビデオエンコーダ２００は、より多い、より少ない、又は異なる機能コンポーネントを含んでもよい。例において、予測ユニット２０２は、イントラブロックコピー（Intra Block Copy，ＩＢＣ）ユニットを含んでもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが、現在のビデオブロックが位置しているピクチャであるところの、ＩＢＣモードで、予測を実行してよい。

更に、動き推定ユニット２０４及び動き補償ユニット２０５などのいくつかのコンポーネントは、高度に集積されてもよいが、説明のために図５の例では別々に表されている。

パーティションユニット２０１は、ピクチャを１つ以上のビデオブロックにパーティション化し得る。ビデオエンコーダ２００及びビデオデコーダ３００は、様々なビデオブロックサイズをサポートしてよい。

モード選択ユニット２０３は、例えば、エラー結果に基づいて、イントラ又はインターのコーディングモードの１つを選択し、結果として得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成する残差生成ユニット２０７へ、及び参照ピクチャとしての使用のために、符号化されたブロックを再構成する再構成ユニット２１２へ供給してよい。いくつかの例において、モード選択ユニット２０３は、予測がインター予測信号及びイントラ予測信号に基づくイントラ－インター複合予測（Combination of Intra and Inter Prediction，ＣＩＩＰ）モードを選択してもよい。モード選択ユニット２０３はまた、インター予測の場合に、ブロックの動きベクトルのための分解能（例えば、サブピクセル又は整数ピクセル精度）を選択してもよい。

現在のビデオブロックに対してインター予測を実行するために、動き推定ユニット２０４は、バッファ２１３からの１つ以上の参照フレームを現在のビデオブロックと比較することによって、現在のビデオブロックの動き情報を生成し得る。動き補償ユニット２０５は、動き情報と、現在のビデオブロックに関連したピクチャ以外のバッファ２１３からのピクチャの復号されたサンプルとに基づいて、現在のビデオブロックの予測されたビデオブロックを決定し得る。

動き推定ユニット２０４及び動き補償ユニット２０５は、例えば、現在のビデオブロックがＩスライス、Ｐスライス、又はＢスライスであるかどうかに応じて、現在のビデオブロックのために異なる動作を実行してもよい。

いくつかの例において、動き推定ユニット２０４は、現在のビデオブロックのために一方向予測を実行してもよく、動き推定ユニット２０４は、現在のビデオブロックのための参照ビデオブロックをリスト０又はリスト１の参照ピクチャから探してもよい。動き推定ユニット２０４は、次いで、参照ビデオブロックを含むリスト０又はリスト１内の参照ピクチャを示す参照インデックスと、現在のビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルとを生成してよい。動き推定ユニット２０４は、現在のビデオブロックの動き情報として参照インデックス、予測方向インジケータ、及び動きベクトルを出力してもよい。動き補償ユニット２０５は、現在のビデオブロックの動き情報によって示されている参照ビデオブロックに基づいて、現在のブロックの予測されたビデオブロックを生成してもよい。

他の例では、動き推定ユニット２０４は、現在のビデオブロックのために双方向予測を実行してもよく、動き推定ユニット２０４は、現在のビデオブロックのための参照ビデオブロックをリスト０内の参照ピクチャから探してもよく、また、現在のビデオブロックのためのもう１つの参照ビデオブロックをリスト１内の参照ピクチャから探してもよい。動き推定ユニット２０４は、次いで、参照ビデオブロックを含むリスト０及びリスト１内の参照ピクチャを示す参照インデックスと、それらの参照ビデオブロックと現在のビデオブロックとの間の空間変位を示す動きベクトルとを生成してもよい。動き推定ユニット２０４は、現在のビデオブロックの動き情報として、現在のビデオブロックの参照インデックス及び動きベクトルを出力してもよい。動き補償ユニット２０５は、現在のビデオブロックの動き情報によって示されている参照ビデオブロックに基づいて、現在のビデオブロックの予測されたビデオブロックを生成してもよい。

いくつかの例において、動き推定ユニット２０４は、デコーダの復号化処理のために動き情報のフルセットを出力してもよい。

いくつかの例において、動き推定ユニット２０４は、現在のビデオの動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、他のビデオブロックの動き情報を参照して現在のビデオブロックの動き情報をシグナリングしてもよい。例えば、動き推定ユニット２０４は、現在のビデオブロックの動き情報が隣接ビデオブロックの動き情報と十分に類似していることを決定してもよい。

一例において、動き推定ユニット２０４は、現在のビデオブロックに関連したシンタックス構造において、現在のビデオブロックが他のビデオブロックと同じ動き情報を有していることをビデオデコーダ３００に示す値を示してもよい。

他の例では、動き推定ユニット２０４は、現在のビデオブロックに関連したシンタックス構造において、他のビデオブロック及び動きベクトル差分（Motion Vector Difference，ＭＶＤ）を特定してもよい。動きベクトル差分は、現在のビデオブロックの動きベクトルと、指示されたビデオブロックの動きベクトルとの間の差を示す。ビデオデコーダ３００は、現在のビデオブロックの動きベクトルを決定するために、指示されたビデオブロックの動きベクトル及び動きベクトル差分を使用し得る。

上述されたように、ビデオエンコーダ２００は、動きベクトルを予測的にシグナリングしてもよい。ビデオエンコーダ２００によって実装され得る予測シグナリング技術の２つの例には、アドバンスド動きベクトル予測（Advanced Motion Vector Prediction，ＡＭＶＰ）及びマージモードシグナリングがある。

イントラ予測ユニット２０６は、現在のビデオブロックに対してイントラ予測を実行してよい。イントラ予測ユニット２０６が現在のビデオブロックに対してイントラ予測を実行する場合に、イントラ予測ユニット２０６は、同じピクチャ内の他のビデオブロックの復号されたサンプルに基づいて、現在のビデオブロックの予測データを生成し得る。現在のビデオブロックの予測データは、予測されたビデオブロック及び様々なシンタックス要素を含み得る。

残差生成ユニット２０７は、現在のビデオブロックから現在のビデオブロックの予測されたビデオブロックを減じること（例えば、マイナス符号によって示される。）によって、現在のビデオブロックの残差データを生成してよい。現在のビデオブロックの残差データは、現在のビデオブロック内のサンプルの異なるサンプルコンポーネントに対応する残差ビデオブロックを含み得る。

他の例では、例えば、スキップモードで、現在のビデオブロックの残差データは存在しない場合があり、残差生成ユニット２０７は、減算演算を実行しなくてもよい。

変換処理ユニット２０８は、現在のビデオブロックに関連した残差ビデオブロックに１つ以上の変換を適用することによって、現在のビデオブロックの１つ以上の変換係数ビデオブロックを生成してよい。

変換処理ユニット２０８が現在のビデオブロックに関連した変換係数ビデオブロックを生成した後、量子化ユニット２０９は、現在のビデオブロックに関連した１つ以上の量子化パラメータ（ＱＰ）値に基づいて、現在のビデオブロックに関連した変換係数ビデオブロックを量子化してよい。

逆量子化ユニット２１０及び逆変換ユニット２１１は、変換係数ビデオブロックに各々逆量子化及び逆変換を適用して、変換係数ビデオブロックから残差ビデオブロックを再構成してよい。再構成ユニット２１２は、再構成された残差ビデオブロックを、予測ユニット２０２によって生成された１つ以上の予測されたビデオブロックからの対応するサンプルに加えて、バッファ２１３での記憶のために、現在のブロックに関連した再構成されたビデオブロックを生成してよい。

再構成ユニット２１２がビデオブロックを再構成した後、ループフィルタリング動作が、ビデオブロックにおいてビデオブロッキングアーチファクトを低減するよう実行されてもよい。

エントロピ符号化ユニット２１４は、ビデオエンコーダ２００の他の機能コンポーネントからデータを受け取ってもよい。エントロピ符号化ユニット２１４がデータを受け取るとき、エントロピ符号化ユニット２１４は、エントロピ符号化されたデータを生成するよう１つ以上のエントロピ符号化動作を実行し、そのエントロピ符号化されたデータを含むビットストリームを出力し得る。

図６は、ビデオデコーダ３００の例を表すブロック図であり、図４で表されているシステム１００のビデオデコーダ１２４であってよい。

ビデオデコーダ３００は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。図６の例では、ビデオデコーダ３００は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオデコーダ３００の様々なコンポーネントの間で共有されてもよい。いくつかの例では、プロセッサが、本開示で記載される技術のいずれか又は全てを実行するよう構成されてもよい。

図６の例では、ビデオデコーダ３００は、エントロピ復号化ユニット３０１と、動き補償ユニット３０２と、イントラ予測ユニット３０３と、逆量子化ユニット３０４と、逆変換ユニット３０５と、再構成ユニット３０６と、バッファ３０７とを含む。ビデオデコーダ３００は、いくつかの例において、ビデオエンコーダ２００（図５）に関して記載された符号化パスとは概して逆の復号化パスを実行してもよい。

エントロピ復号化ユニット３０１は、符号化されたビットストリームを取り出し得る。符号化されたビットストリームは、エントロピコーディングされたビデオデータ（例えば、ビデオデータの符号化されたブロック）を含んでもよい。エントロピ復号化ユニット３０１は、エントロピコーディングされたビデオデータを復号してよく、エントロピ復号されたビデオデータから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を決定し得る。動き補償ユニット３０２は、例えば、ＡＭＶＰ及びマージモードを実行することによって、そのような情報を決定してよい。

動き補償ユニット３０２は、場合により、補間フィルタに基づいた補間を実行して、動き補償されたブロックを生成してよい。サブピクセル精度で使用される補間フィルタのための識別子が、シンタックス要素に含まれてもよい。

動き補償ユニット３０２は、参照ブロックのサブ整数ピクセルについて補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２００によって使用された補間フィルタを使用し得る。動き補償ユニット３０２は、受け取られたシンタックス情報に従って、ビデオエンコーダ２００によって使用された補間フィルタを決定し、その補間フィルタを使用して、予測ブロックを生成し得る。

動き補償ユニット３０２は、符号化されたビデオシーケンスのフレーム及び／又はスライスを符号化するために使用されるブロックのサイズと、符号化されたビデオシーケンスのピクチャの各マクロブロックがどのようにパーティション化されるかを記述するパーティション情報と、各パーティションがどのように符号化されるかを示すモードと、各インター符号化されたブロックについての１つ以上の参照フレーム（及び参照フレームリスト）と、符号化されたビデオシーケンスを復号するための他の情報とを決定するために、シンタックス情報のいくつかを使用してもよい。

イントラ予測ユニット３０３は、空間的に隣接するブロックから予測ブロックを形成するよう、例えば、ビットストリームで受け取られたイントラ予測モードを使用してもよい。逆量子化ユニット３０４は、ビットストリームで供給されてエントロピ復号化ユニット３０１によって復号された量子化されたビデオブロック係数を逆量子化、すなわち、量子化解除する。逆変換ユニット３０５は逆変換を適用する。

再構成ユニット３０６は、動き補償ユニット３０２又はイントラ予測ユニット３０３によって生成された対応する予測ブロックを残差ブロックに加算して、復号されたブロックを形成し得る。必要に応じて、デブロッキングフィルタも、ブロッキネスアーチファクトを取り除くために、復号されたブロックにフィルタをかけるよう適用されてもよい。復号されたビデオブロックは、次いで、バッファ３０７に格納され、バッファ３０７は、その後の動き補償／イントラ予測のために参照ブロックを供給し、更には、復号されたビデオを表示デバイスでの提示のために生成する。

解決法のリストは、開示されている技術のいくつかの実施形態について記載する。

第１の解決法の組が以下で与えられている。以下の解決法は、前のセクション（例えば、項目１～３）で議論されている技術の例示的な実施形態を示す。

解決法１．
１つ以上のビデオレイヤを含むビデオと、１つ以上の出力レイヤセットを含む前記ビデオのコーディングされた表現との間の変換を実行するステップ（６０２）を有し、
前記コーディングされた表現は、１つ以上のシンタックス要素が非スケーラブルネスト化仮想参照デコーダ（ＨＲＤ）関連補足強化情報（ＳＥＩ）に関係があるかどうか及びどのように関係があるかに関するフォーマット規則に従う、
ビデオ処理方法（例えば、図３に示される方法６００）。

解決法２．
前記フォーマット規則は、前記非スケーラブルネスト化ＨＲＤ関連ＳＥＩに関係があるメッセージが、前記コーディングされた表現の全体と同じレイヤの組を含む出力レイヤセットに適用されることを定める、
解決法１の方法。

解決法３．
前記フォーマット規則は、前記コーディングされた表現の全体と同じレイヤの組を有する出力レイヤセットがない場合に、前記１つ以上のシンタックス要素を省略することを定める、
解決法１～２のいずれかの方法。

解決法４．
前記フォーマット規則は、前記１つ以上のシンタックス要素が前記コーディングされた表現内の全てのレイヤに適用可能であることを定める、
解決法１の方法。

以下の解決法は、前のセクション（例えば、項目４～１０）で議論されている技術の例示的な実施形態を示す。

解決法５．
１つ以上のビデオレイヤを含むビデオと、１つ以上の出力レイヤセットを含む前記ビデオのコーディングされた表現との間の変換を実行するステップを有し、
前記コーディングされた表現は、１つ以上のシンタックス要素が補足強化情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットに含まれるかどうか及びどのように含まれるかに関するフォーマット規則に従う、
ビデオ処理方法。

解決法６．
前記フォーマット規則は、前記ＳＥＩＮＡＬユニットが非スケーラブルネスト化ＳＥＩメッセージを含む場合に、レイヤ識別子の値が制約されないことを定める、
解決法５の方法。

解決法７．
前記フォーマット規則は、前記コーディングされた表現の全ての出力レイヤセットでの同じピクチャタイミングの使用のシグナリングの結果として、特定のペイロードタイプのスケーラブルネスト化ＳＥＩメッセージを含むＳＥＩＮＡＬユニットの包含を無効にする、
解決法５～６のいずれかの方法。

解決法８．
前記フォーマット規則は、第１の特定のペイロードタイプの非スケーラブルネスト化ＳＥＩメッセージを含むＳＥＩＮＡＬユニットが、第２の特定のペイロードタイプの他のＳＥＩメッセージを含むことを許されないことを定める、
解決法５～７のいずれかの方法。

解決法９．
前記第１の特定のペイロードタイプは、０、１、１３０、又は２０３に等しい、
解決法８の方法。

解決法１０．
前記第２の特定のペイロードタイプは、０、１、１３０、２０３、又は１３３に等しい、
解決法８又は９の方法。

解決法１１．
前記第１の特定のペイロードタイプ及び前記第２の特定のペイロードタイプは、３である、
解決法８～１０の方法。

解決法１２．
前記変換を実行するステップは、前記ビデオを符号化して、前記コーディングされた表現を生成することを有する、
解決法１～１１のいずれかの方法。

解決法１３．
前記変換を実行するステップは、前記コーディングされた表現をパース及び復号して、前記ビデオを生成することを有する、
解決法１～１１のいずれかの方法。

解決法１４．
解決法１～１３のうちの１つ以上に記載される方法を実装するよう構成されたプロセッサを有するビデオ復号化装置。

解決法１５．
解決法１～１３のうちの１つ以上に記載される方法を実装するよう構成されたプロセッサを有するビデオ符号化装置。

解決法１６．
コンピュータコードを記憶しているコンピュータプログラム製品であって、
前記コードは、プロセッサによって実行される場合に、該プロセッサに、解決法１～１３のいずれかに記載される方法を実装させる、
コンピュータプログラム製品。

解決法１７．
本明細書に記載される方法、装置、又はシステム。

第２の解決法の組は、前のセクション（例えば、項目１～５）で議論されている技術の例示的な実施形態を示す。

解決法１．
ビデオデータを処理する方法（例えば、図７Ａに示される方法７００）であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ７０２を有し、
前記ビットストリームは、フォーマット規則に従って１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、
前記フォーマット規則は、仮想参照デコーダ（ＨＲＤ）に関する情報を含む非スケーラブルネスト化補足強化情報（ＳＥＩ）メッセージが、前記ビットストリームと同じビデオレイヤを含む全ての出力レイヤセットに適用可能である、ことを定める、
方法。

解決法２．
前記非スケーラブルネスト化ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないＳＥＩメッセージである、
解決法１の方法。

解決法３．
前記ＨＲＤに関する情報を含む前記非スケーラブルネスト化ＳＥＩメッセージは、バッファリング周期（ＢＰ）ＳＥＩメッセージ、ピクチャタイミング（ＰＴ）ＳＥＩメッセージ、復号化ユニット情報（ＤＵＩ）ＳＥＩメッセージ、又はサブピクチャレベル情報（ＳＬＩ）ＳＥＩメッセージである、
解決法１又は２の方法。

解決法４．
前記ＨＲＤに関する情報を含む前記非スケーラブルネスト化ＳＥＩメッセージは、０、１、１３０、又は２０３に等しいペイロードタイプを有する、
解決法１又は２の方法。

解決法５．
ビデオデータを処理する方法（例えば、図７Ｂに示される方法７１０）であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ７１２を有し、
前記ビットストリームは、フォーマット規則に従って１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、
前記フォーマット規則は、非スケーラブルネスト化仮想参照デコーダ（ＨＲＤ）関連補足強化情報（ＳＥＩ）メッセージが、前記ビットストリームと同じレイヤの組を含む出力レイヤセットが存在しないという条件に応答して、除かれる、
方法。

解決法６．
前記非スケーラブルネスト化ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないＳＥＩメッセージである、
解決法５の方法。

解決法７．
前記非スケーラブルネスト化ＨＲＤ関連ＳＥＩメッセージは、バッファリング周期（ＢＰ）ＳＥＩメッセージ、ピクチャタイミング（ＰＴ）ＳＥＩメッセージ、復号化ユニット情報（ＤＵＩ）ＳＥＩメッセージ、又はサブピクチャレベル情報（ＳＬＩ）ＳＥＩメッセージである、
解決法５又は６の方法。

解決法８．
前記非スケーラブルネスト化ＨＲＤ関連ＳＥＩメッセージは、０、１、１３０、又は２０３に等しいペイロードタイプを有する、
解決法５又は６の方法。

解決法９．
ビデオデータを処理する方法（例えば、図７Ｃに示される方法７２０）であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ７２２を有し、
前記ビットストリームは、フォーマット規則に従って１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、
前記フォーマット規則は、非スケーラブルネスト化補足強化情報（ＳＥＩ）メッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットのレイヤ識別子の値が制約されない、ことを定める、
方法。

解決法１０．
前記非スケーラブルネスト化ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないＳＥＩメッセージである、
解決法９の方法。

解決法１１．
前記非スケーラブルネスト化ＳＥＩメッセージは、バッファリング周期（ＢＰ）ＳＥＩメッセージ、ピクチャタイミング（ＰＴ）ＳＥＩメッセージ、復号化ユニット情報（ＤＵＩ）ＳＥＩメッセージ、又はサブピクチャレベル情報（ＳＬＩ）ＳＥＩメッセージである、
解決法９の方法。

解決法１２．
前記非スケーラブルネスト化ＳＥＩメッセージは、０、１、１３０、又は２０３に等しいペイロードタイプを有する、
解決法９の方法。

解決法１３．
ビデオデータを処理する方法（例えば、図７Ｄに示される方法７３０）であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ７３２を有し、
前記ビットストリームは、フォーマット規則に従って１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、
前記フォーマット規則は、サブピクチャレベル情報に対応する特定のペイロードタイプ値が、非仮想参照デコーダ（ＨＲＤ）関連補足強化情報（ＳＥＩ）メッセージの許容可能なＳＥＩペイロードタイプ値を含むリストから許可されない、ことを定める、
方法。

解決法１４．
前記特定のペイロードタイプ値は２０３である、
解決法１３の方法。

解決法１５．
前記許容可能なＳＥＩペイロードタイプ値は、フィラーペイロード、フィルムグレイン特性、フレームパッキング配置、パラメータセット包含指示、マスタリング表示色ボリューム、コンテンツ光レベル情報、依存的ラップ指示（dependent rap indication）、代替伝達特性（alternative transfer characteristics）、周囲視聴環境、コンテンツ色ボリューム、正距円筒図法、一般化されたキューブマップ投影（generalized cube map projection）、球回転、領域ごとのパッキング（region-wise packing）、オムニビューポート、フレームフィールド情報及びサンプルアスペクト比情報を含む、
解決法１３の方法。

解決法１６．
許容可能なＳＥＩペイロードタイプ値は、３、１９、４５、１２９、１３７、１４４、１４５、１４７～１５０、１５３～１５６、１６８、及び２０４を含む、
解決法１３の方法。

解決法１７．
ビデオデータを処理する方法（例えば、図７Ｅに示される方法７４０）であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ７４２を有し、
前記ビットストリームは、フォーマット規則に従って１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、
前記フォーマット規則は、仮想参照デコーダ（ＨＲＤ）にとって無関係の情報を含む非スケーラブルネスト化補足強化情報（ＳＥＩ）メッセージが前記ビットストリーム内の全てのレイヤに適用可能である、ことを定める、
方法。

解決法１８．
前記非スケーラブルネスト化ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないＳＥＩメッセージである、
解決法１７の方法。

解決法１９．
前記ＨＲＤにとって無関係の情報を含む前記非スケーラブルネスト化ＳＥＩメッセージは、０、１、１３０、又は２０３に等しくないペイロードタイプを有する、
解決法１７又は１８の方法。

解決法２０．
前記ＨＲＤにとって無関係の情報を含む前記非スケーラブルネスト化ＳＥＩメッセージは、バッファリング周期（ＢＰ）ＳＥＩメッセージ、ピクチャタイミング（ＰＩ）ＳＥＩメッセージ、復号化ユニット情報（ＤＵＩ）ＳＥＩメッセージ、又はサブピクチャレベル情報（ＳＬＩ）ＳＥＩメッセージに対応しない、
解決法１７又は１８の方法。

解決法２１．
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、
解決法１～２０のいずれかの方法。

解決法２２．
前記変換は、前記ビデオを前記ビットストリームから復号することを含む、
解決法１～２０のいずれかの方法。

解決法２３．
前記変換は、前記ビットストリームを前記ビデオから生成することを含み、
当該方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に有する、
解決法１～２０のいずれかの方法。

解決法２４．
解決法１～２３のうちいずれか１つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ処理装置。

解決法２５．
ビデオのビットストリームを記憶する方法であって、
解決法１～２３のうちいずれか１つに記載の方法を有し、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に含む、
方法。

解決法２６．
実行される場合に、プロセッサに、解決法１～２３のうちいずれか１つ以上に記載の方法を実装させるプログラムコードを記憶するコンピュータ可読媒体。

解決法２７．
上記の方法のいずれかに従って生成されたビットストリームを記憶するコンピュータ可読媒体。

解決法２８．
ビットストリームを記憶するビデオ処理装置であって、
解決法１～２３のうちいずれか１つ以上に記載の方法を実装するよう構成されるビデオ処理装置。

第３の解決法の組は、前のセクション（例えば、項目６）で議論されている技術の例示的な実施形態を示す。

解決法１．
ビデオデータを処理する方法（例えば、図８に示される方法８００）であって、
ビデオと、規則に従って１つ以上の出力レイヤセットを含む前記ビデオのビットストリームとの間の変換を実行するステップ８０２を有し、
前記規則は、前記ビットストリーム内の全ての出力レイヤセットでの同じピクチャタイミングの使用の結果として、ピクチャタイミング情報を運ぶスケーラブルネスト化補足強化情報（ＳＥＩ）メッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットが含まれないことを定める、
方法。

解決法２．
前記スケーラブルネスト化ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージである、
解決法１の方法。

解決法３．
前記ピクチャタイミング情報を運ぶ前記スケーラブルネスト化ＳＥＩメッセージは、ピクチャタイミング（ＰＴ）ＳＥＩメッセージに対応する、
解決法１又は２の方法。

解決法４．
前記ピクチャタイミング情報を運ぶ前記スケーラブルネスト化ＳＥＩメッセージは、１に等しいペイロードタイプを有する、
解決法１の方法。

解決法５．
前記規則は、前記ピクチャタイミング情報を運ぶ非スケーラブルネスト化ＳＥＩメッセージが、前記全ての出力レイヤセットと、前記ビットストリームから抽出されることを許されているサブピクチャシーケンスとに適用されることを更に定める、
解決法１～４のいずれかの方法。

解決法６．
非スケーラブルネスト化ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないＳＥＩメッセージである、
解決法５の方法。

解決法７．
前記規則は、特定の出力レイヤセット又はレイヤに適用される前記スケーラブルネスト化ＳＥＩメッセージが前記特定の出力レイヤセット又はレイヤの全てのサブピクチャに適用されることを指定する値をシンタックスフィールドが有する場合に、前記ピクチャタイミング情報を運ぶ前記スケーラブルネスト化ＳＥＩメッセージを含む前記ＳＥＩＮＡＬユニットが含まれないことを更に定める、
解決法１～４のいずれかの方法。

解決法８．
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、
解決法１～７のいずれかの方法。

解決法９．
前記変換は、前記ビデオを前記ビットストリームから復号することを含む、
解決法１～７のいずれかの方法。

解決法１０．
前記変換は、前記ビットストリームを前記ビデオから生成することを含み、
当該方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に有する、
解決法１～７のいずれかの方法。

解決法１１．
解決法１～１０のうちいずれか１つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ処理装置。

解決法１２．
ビデオのビットストリームを記憶する方法であって、
解決法１～１０のうちいずれか１つに記載の方法を有し、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に含む、
方法。

解決法１３．
実行される場合に、プロセッサに、解決法１～１０のうちいずれか１つ以上に記載の方法を実装させるプログラムコードを記憶するコンピュータ可読媒体。

解決法１４．
上記の方法のいずれかに従って生成されたビットストリームを記憶するコンピュータ可読媒体。

解決法１５．
ビットストリームを記憶するビデオ処理装置であって、
解決法１～１０のうちいずれか１つ以上に記載の方法を実装するよう構成されるビデオ処理装置。

第４の解決法の組は、前のセクション（例えば、項目７～９）で議論されている技術の例示的な実施形態を示す。

解決法１．
ビデオデータを処理する方法（例えば、図９Ａに示される方法９００）であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ９０２を有し、
前記ビットストリームは、規則に従って１つ以上の補足強化情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、
前記規則は、ＳＥＩＮＡＬユニットが第１ペイロードタイプの非スケーラブルネスト化ＳＥＩメッセージを含むことに応答して、当該ＳＥＩＮＡＬユニットが第２ペイロードタイプの他のＳＥＩメッセージを含むことを許可されない、ことを定める、
方法。

解決法３．
前記第１ペイロードタイプの前記非スケーラブルネスト化ＳＥＩメッセージは、バッファリング周期（ＢＰ）ＳＥＩメッセージ、ピクチャタイミング（ＰＴ）ＳＥＩメッセージ、復号化ユニット情報（ＤＵＩ）ＳＥＩメッセージ、又はサブピクチャレベル情報（ＳＬＩ）ＳＥＩメッセージに対応する、
解決法１又は２の方法。

解決法４．
前記第１ペイロードタイプは、０、１、１３０、又は２０３に等しい、
解決法１又は２の方法。

解決法５．
前記第２ペイロードタイプの前記非スケーラブルネスト化ＳＥＩメッセージは、バッファリング周期（ＢＰ）ＳＥＩメッセージ、ピクチャタイミング（ＰＴ）ＳＥＩメッセージ、復号化ユニット情報（ＤＵＩ）ＳＥＩメッセージ、及びサブピクチャレベル情報（ＳＬＩ）ＳＥＩメッセージのいずれにも対応しない、
解決法１～４のいずれかの方法。

解決法６．
前記第２ペイロードタイプは、０、１、１３０及び２０３のいずれにも等しくない、
解決法１～４のいずれかの方法。

解決法７．
ビデオデータを処理する方法（例えば、図９Ｂに示される方法９１０）であって、
ビデオと該ビデオのビットストリームとの間の変換を規則に従って実行するステップ９１２を有し、
前記ビットストリームは、規則に従って１つ以上の補足強化情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、
前記規則は、ＳＥＩＮＡＬユニットが第１ペイロードタイプのスケーラブルネスト化ＳＥＩメッセージを含むことに応答して、当該ＳＥＩＮＡＬユニットが第２ペイロードタイプの他のＳＥＩメッセージを含むことを許可されない、ことを定める、
方法。

解決法８．
前記スケーラブルネスト化ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージである、
解決法７の方法。

解決法９．
前記第１ペイロードタイプの前記スケーラブルネスト化ＳＥＩメッセージは、バッファリング周期（ＢＰ）ＳＥＩメッセージ、ピクチャタイミング（ＰＴ）ＳＥＩメッセージ、復号化ユニット情報（ＤＵＩ）ＳＥＩメッセージ、又はサブピクチャレベル情報（ＳＬＩ）ＳＥＩメッセージに対応する、
解決法７又は８の方法。

解決法１０．
前記第１ペイロードタイプは、０、１、１３０、又は２０３に等しい、
解決法７又は８の方法。

解決法１１．
前記第２ペイロードタイプの前記スケーラブルネスト化ＳＥＩメッセージは、バッファリング周期（ＢＰ）ＳＥＩメッセージ、ピクチャタイミング（ＰＴ）ＳＥＩメッセージ、復号化ユニット情報（ＤＵＩ）ＳＥＩメッセージ、及びサブピクチャレベル情報（ＳＬＩ）ＳＥＩメッセージのいずれにも対応しない、
解決法７～１０のいずれかの方法。

解決法１２．
前記第２ペイロードタイプは、０、１、１３０、２０３及び１３３のいずれにも等しくない、
解決法７～１０のいずれかの方法。

解決法１３．
ビデオデータを処理する方法（例えば、図９Ｃに示される方法９２０）であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ９２２を有し、
前記ビットストリームは、規則に従って１つ以上の補足強化情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み、
前記規則は、ＳＥＩＮＡＬユニットが第１ペイロードタイプのＳＥＩメッセージを含むことに応答して、当該ＳＥＩＮＡＬユニットが、前記第１ペイロードタイプ又は第２ペイロードタイプに等しくない他のＳＥＩメッセージを含むことを許可されない、ことを定める、
方法。

解決法１４．
前記第１ペイロードタイプの前記ＳＥＩメッセージは、フィラーペイロードＳＥＩメッセージに対応する、
解決法１３の方法。

解決法１５．
前記第１ペイロードタイプは３に等しい、
解決法１３又は１４の方法。

解決法１６．
前記規則は、前記第１ペイロードタイプの前記ＳＥＩメッセージが、スケーラブルネスティングＳＥＩメッセージに含まれることを許可されない、ことを更に定める、
解決法１３～１５のいずれかの方法。

解決法１７．
前記規則は、前記第２ペイロードタイプの前記ＳＥＩメッセージが、スケーラブルネスティングＳＥＩメッセージである、ことを更に定める、
解決法１３～１６のいずれかの方法。

解決法１８．
前記第２ペイロードタイプは１３３に等しい、
解決法１３～１６のいずれかの方法。

解決法１９．
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、
解決法１～１８のいずれかの方法。

解決法２０．
前記変換は、前記ビデオを前記ビットストリームから復号することを含む、
解決法１～１８のいずれかの方法。

解決法２１．
前記変換は、前記ビットストリームを前記ビデオから生成することを含み、
当該方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に有する、
解決法１～１８のいずれかの方法。

解決法２２．
解決法１～２１のうちいずれか１つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ処理装置。

解決法２３．
ビデオのビットストリームを記憶する方法であって、
解決法１～２１のうちいずれか１つに記載の方法を有し、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に含む、
方法。

解決法２４．
実行される場合に、プロセッサに、解決法１～２１のうちいずれか１つ以上に記載の方法を実装させるプログラムコードを記憶するコンピュータ可読媒体。

解決法２５．
上記の方法のいずれかに従って生成されたビットストリームを記憶するコンピュータ可読媒体。

解決法２６．
ビットストリームを記憶するビデオ処理装置であって、
解決法１～２１のうちいずれか１つ以上に記載の方法を実装するよう構成されるビデオ処理装置。

第５の解決法の組は、前のセクション（例えば、項目１０及び１１）で議論されている技術の例示的な実施形態を示す。

解決法１．
ビデオデータを処理する方法（例えば、図１０Ａに示される方法１０００）であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ１００２を有し、
前記ビットストリームは、規則に従って１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、
前記規則は、特定の出力レイヤセットに適用されるサブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージ及びバッファリング周期（ＢＰ）ＳＥＩメッセージがアクセスユニットに含まれるという条件に応答して、前記ＳＬＩＳＥＩメッセージと前記ＢＰＳＥＩメッセージとの間に特定の復号化順序を定める、
方法。

解決法２．
前記特定の復号化順序は、前記ＳＬＩＳＥＩメッセージが前記ＢＰＳＥＩメッセージに先行することである、
解決法１の方法。

解決法３．
ビデオデータを処理する方法（例えば、図１０Ｂに示される方法１０１０）であって、
ビデオと該ビデオのビットストリームとの間の変換を規則に従って実行するステップ１０１２を有し、
前記規則は、イニシャルコード化ピクチャバッファ（coded picture buffer，ＣＰＢ）削除遅延がバッファリング周期補足強化情報（ＳＥＩ）メッセージで示される時間的サブレイヤの最大数を示す第２シンタックスフィールドの特定の値に応答して、イニシャルＣＰＢ削除遅延関連シンタックス要素が存在するサブレイヤ表示情報を示す第１シンタックスフィールドが除かれる、ことを定める、
方法。

解決法４．
前記特定の値は０である、
解決法３の方法。

解決法５．
前記特定の値を有する前記第２シンタックスフィールドは、前記時間的サブレイヤの最大数が１であることを指定する、
解決法３又は４の方法。

解決法６．
他の特定の値に等しい前記第１シンタックスフィールドは、前記イニシャルＣＰＢ削除遅延関連シンタックス要素が０以上第２シンタックスフィールド以下の範囲内のサブレイヤ表示について存在する、ことを指定する、
解決法３～５のいずれかの方法。

解決法７．
他の特定の値は１である、
解決法６の方法。

解決法８．
他の特定の値に等しい前記第１シンタックスフィールドは、前記イニシャルＣＰＢ削除遅延関連シンタックス要素が、前記第２シンタックスフィールドの前記特定の値に対応するサブレイヤ表示について存在する、ことを指定する、
解決法３～７のいずれかの方法。

解決法９．
前記他の特定の値は０である、
解決法８の方法。

解決法１０．
前記規則は、前記第２シンタックスフィールドの前記特定の値に応答して、前記第１シンタックスフィールドの値を０に等しいと推測することを更に定める、
解決法３～９のいずれかの方法。

解決法１１．
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、
解決法１～１０のいずれかの方法。

解決法１２．
前記変換は、前記ビデオを前記ビットストリームから復号することを含む、
解決法１～１０のいずれかの方法。

解決法１３．
前記変換は、前記ビットストリームを前記ビデオから生成することを含み、
当該方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に有する、
解決法１～１０のいずれかの方法。

解決法１４．
解決法１～１３のうちいずれか１つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ処理装置。

解決法１５．
ビデオのビットストリームを記憶する方法であって、
解決法１～１３のうちいずれか１つに記載の方法を有し、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に含む、
方法。

解決法１６．
実行される場合に、プロセッサに、解決法１～１３のうちいずれか１つ以上に記載の方法を実装させるプログラムコードを記憶するコンピュータ可読媒体。

解決法１７．
上記の方法のいずれかに従って生成されたビットストリームを記憶するコンピュータ可読媒体。

解決法１８．
ビットストリームを記憶するビデオ処理装置であって、
解決法１～１３のうちいずれか１つ以上に記載の方法を実装するよう構成されるビデオ処理装置。

本明細書中で記載されている開示された及び他の解決法、例、実施形態、モジュール及び機能動作は、デジタル電子回路で、あるいは、本明細書で開示されている構造及びそれらの構造的な同等物を含むコンピュータソフトウェア、ファームウェア、又はハードウェアで、あるいは、それらのうちの１つ以上の組み合わせで実装可能である。開示された及び他の実施形態は、１つ以上のコンピュータプログラム製品、つまり、データ処理装置によって実行されるか又はその動作を制御するためにコンピュータ可読媒体で符号化されたコンピュータプログラム命令の１つ以上のモジュール、として実装可能である。コンピュータ可読媒体は、マシン可読記憶デバイス、マシン可読記憶基板、メモリデバイス、マシン可読な伝播信号に影響を与える物質の組成、又はそれらの１つ以上の組み合わせであることができる。「データ処理装置」という用語は、例として、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理するための全ての装置、デバイス、及びマシンを包含する。装置は、ハードウェアに加えて、問題となっているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成された信号、例えば、マシンにより生成された電気的、光学的、又は電磁気信号であり、適切なレシーバ装置への伝送のために情報を符号化するよう生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる。）は、コンパイル済み又は解釈済みの言語を含む如何なる形式のプログラミング言語でも記述可能であり、それは、スタンドアロンプログラムとして又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとしてを含め、如何なる形式でもデプロイ可能である。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するわけではない。プログラムは、問題となっているプログラムに専用の単一のファイルで、又は複数の協調したファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を保存するファイル）で、他のプログラム又はデータ（例えば、マークアップ言語文書で保存された１つ以上のスクリプト）を保持するファイルの部分において保存可能である。コンピュータプログラムは、１つのコンピュータで、あるいは、１つの場所に位置しているか、又は複数の場所にわたって分布しており、通信ネットワークによって相互接続されている複数のコンピュータで実行されるようデプロイ可能である。

本明細書で説明されているプロセス及びロジックフローは、入力データに作用して出力を生成することによって機能を実行するよう１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実行可能である。プロセス及びロジックフローはまた、専用のロジック回路、例えば、ＦＰＧＡ（Field Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）によっても実行可能であり、装置は、そのようなものとして実装可能である。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用のマイクロプロセッサ及び専用のマイクロプロセッサの両方、並びにあらゆる種類のデジタルコンピュータのいずれか１つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリー・メモリ若しくはランダム・アクセス・メモリ又はその両方から命令及びデータを読み出すことになる。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを保存する１つ以上のメモリデバイスとである。一般に、コンピュータはまた、データを保存する１つ以上の大容量記憶デバイス、例えば、磁気、光学磁気ディスク、又は光ディスクを含むか、あるいは、そのような１つ以上の大容量記憶デバイスからのデータの受信若しくはそれへのデータの転送又はその両方のために動作可能に結合されることになる。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを保存するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、消去可能なプログラム可能リード・オンリー・メモリ（ＥＰＲＯＭ）、電気的消去可能なプログラム可能リード・オンリー・メモリ（ＥＥＰＲＯＭ）、及びフラッシュメモリデバイス；磁気ディスク、例えば、内蔵ハードディスク又はリムーバブルディスク；光学磁気ディスク；並びにコンパクトディスク型リード・オンリー・メモリ（ＣＤＲＯＭ）及びデジタルバーサタイルディスク型リード・オンリー・メモリ（ＤＶＤ－ＲＯＭ）ディスクを含む全ての形式の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用のロジック回路によって強化されるか、あるいは、それに組み込まれ得る。

本明細書は、多数の詳細を含むが、それらは、あらゆる対象の又は請求される可能性があるものの範囲に対する限定としてではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態に関連して本明細書で説明されている特定の特徴は、単一の実施形態で組み合わせても実装可能である。逆に、単一の実施形態に関連して説明されている様々な特徴はまた、複数の実施形態で別々に、又は何らかの適切なサブコンビネーションで実装可能である。更に、特徴は、特定の組み合わせで動作するものとして先に説明され、更には、そのようなものとして最初に請求されることがあるが、請求されている組み合わせからの１つ以上の特徴は、いくつかの場合に、その組み合わせから削除可能であり、請求されている組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられてもよい。

同様に、動作は、特定の順序で図面において表されているが、これは、所望の結果を達成するために、そのような動作が示されているその特定の順序で又は順次的な順序で実行されること、あるいは、表されている全ての動作が実行されることを求めている、と理解されるべきではない。更に、本明細書で説明されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を求めている、と理解されるべきではない。

ほんのわずかの実施及び例が説明されており、他の実施、強化及び変形は、本特許文献で記載及び例示されているものに基づいて行われ得る。

Claims

ビデオデータを処理する方法であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、
前記ビットストリームは、規則に従い１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、
前記規則は、特定の出力レイヤセットに適用されるサブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージ及びバッファリング周期（ＢＰ）ＳＥＩメッセージがアクセスユニット内に存在する場合に、前記ＳＬＩＳＥＩメッセージが復号化順序において前記ＢＰＳＥＩメッセージより前にあることを定める、
方法。
前記規則は、イニシャルコード化ピクチャバッファ（ＣＰＢ）削除遅延が前記ＢＰＳＥＩメッセージで示される時間的サブレイヤの最大数を示す第２シンタックスフィールドの特定の値に応答して、イニシャルＣＰＢ削除遅延関連シンタックス要素が存在するサブレイヤ表示情報を示す第１シンタックスフィールドが除かれる、ことを定める、
請求項１に記載の方法。
前記特定の値は０である、
請求項２に記載の方法。
前記特定の値を有する前記第２シンタックスフィールドは、前記時間的サブレイヤの最大数が１であることを指定する、
請求項２又は３に記載の方法。
第１の値に等しい前記第１シンタックスフィールドは、前記イニシャルＣＰＢ削除遅延関連シンタックス要素が０以上第２シンタックスフィールド以下の範囲内のサブレイヤ表示について存在する、ことを指定する、
請求項２乃至４のうちいずれか一項に記載の方法。
前記第１の値は１である、
請求項５に記載の方法。
第２の値に等しい前記第１シンタックスフィールドは、前記イニシャルＣＰＢ削除遅延関連シンタックス要素が、前記第２シンタックスフィールドの前記特定の値に対応するサブレイヤ表示について存在する、ことを指定する、
請求項２乃至６のうちいずれか一項に記載の方法。
前記第２の値は０である、
請求項７に記載の方法。
前記規則は、前記第２シンタックスフィールドの前記特定の値に応答して、前記第１シンタックスフィールドの値を０に等しいと推測することを更に定める、
請求項２乃至８のうちいずれか一項に記載の方法。
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、
請求項１乃至９のうちいずれか一項に記載の方法。
前記変換は、前記ビデオを前記ビットストリームから復号することを含む、
請求項１乃至９のうちいずれか一項に記載の方法。
ビデオデータを処理する装置であって、
プロセッサと、命令を有する非一時的なメモリとを有し、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、ビデオと該ビデオのビットストリームとの間の変換を実行させ、
前記ビットストリームは、規則に従い１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、
前記規則は、特定の出力レイヤセットに適用されるサブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージ及びバッファリング周期（ＢＰ）ＳＥＩメッセージがアクセスユニット内に存在する場合に、前記ＳＬＩＳＥＩメッセージが復号化順序において前記ＢＰＳＥＩメッセージより前にあることを定める、
装置。
プロセッサに、ビデオと該ビデオのビットストリームとの間の変換を実行させる命令を記憶し、
前記ビットストリームは、規則に従い１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、
前記規則は、特定の出力レイヤセットに適用されるサブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージ及びバッファリング周期（ＢＰ）ＳＥＩメッセージがアクセスユニット内に存在する場合に、前記ＳＬＩＳＥＩメッセージが復号化順序において前記ＢＰＳＥＩメッセージより前にあることを定める、
非一時的なコンピュータ可読記憶媒体。
ビデオのビットストリームを記憶する方法であって、
前記ビデオの前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップと、を有し、
前記ビットストリームは、規則に従い１つ以上のビデオレイヤを含む１つ以上の出力レイヤセットを含み、
前記規則は、特定の出力レイヤセットに適用されるサブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージ及びバッファリング周期（ＢＰ）ＳＥＩメッセージがアクセスユニット内に存在する場合に、前記ＳＬＩＳＥＩメッセージが復号化順序において前記ＢＰＳＥＩメッセージより前にあることを定める、
方法。