JP2023529823A - マルチレイヤ映像ビットストリームのサブビットストリーム抽出 - Google Patents

Abstract

映像符号化方法および装置、並びに映像復号方法および装置の例について説明する。例示の映像処理方法は、規則に従って、映像とこの映像のビットストリームとの変換を行うことを含み、ビットストリームは、規則に従って、複数の映像レイヤに対するネットワーク抽象レイヤ（ＮＡＬ）部を含み、規則は、出力レイヤセット（ＯＬＳ）を含む出力ビットストリームを生成するためのサブビットストリーム抽出処理が、条件（１）ＯＬＳのＮＡＬ部ヘッダレイヤ識別子の値のリストが、ビットストリームのすべての映像コーディングレイヤ（ＶＣＬ）ＮＡＬ部のＮＡＬ部ヘッダレイヤ識別子のすべての値を含まない、および、条件（２）出力ビットストリームは、スケーラブルネスト化ＳＥＩメッセージを含む補足拡張情報（ＳＥＩ）ＮＡＬ部を含む、に応じて、選択的に行われる１つ以上の動作を含むことを定義する。【選択図】図３

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０２０年６月９日出願の米国特許仮出願第６３／０３６８６５号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

この特許明細書は、画像および映像のコーディングおよび復号に関する。

デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

本明細書は、映像の符号化または復号を行うために、映像のエンコーダおよびデコーダによって使用され得る技術を開示する。

１つの例示的な態様において、映像処理方法が開示される。この方法は、映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、規則に従って、複数の映像レイヤに対するネットワーク抽象レイヤ（ＮＡＬ）部を含み、この規則は、ビットストリームからＮＡＬ部を取り除き、出力ビットストリームを生成するサブビットストリーム抽出処理を定義し、この規則は、サブビットストリーム抽出処理に入力されるビットストリーム中のすべての映像コーディングレイヤ（ＶＣＬ）ＮＡＬ部のＮＡＬ部ヘッダレイヤ識別子のすべての値を含まないターゲットのＯＬＳインデックスを有する出力レイヤセット（ＯＬＳ）のＮＡＬ部ヘッダレイヤ識別子の値のリストに応じて、特定のペイロードタイプを有するスケーラブルネスト化されていないＳＥＩメッセージを含むすべての補足拡張情報（ＳＥＩ）ＮＡＬ部を削除することを規定する。

別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、出力ビットストリームを生成するためのサブビットストリーム抽出処理を規定する規則に従って１つ以上のサブビットストリームに分離可能であり、この規則は、映像コーディングレイヤ（ＶＣＬ）ネットワーク抽象レイヤ（ＮＡＬ）部のタイプおよびＶＣＬ ＮＡＬ部に関連付けられた映像コーディングレイヤの時間的識別子に基づいて、サブビットストリーム抽出処理中にＶＣＬ ＮＡＬ部が削除されるピクチャまたはサブピクチャに適用されるＳＥＩメッセージを含むすべての補足拡張情報（ＳＥＩ）ネットワーク抽象レイヤ（ＮＡＬ）部を削除するかどうか、または、どのように削除するかを規定する。

別の例示的な態様において、別の映像処理方法が開示される。この方法は、規則に従って映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、規則に従って複数の映像レイヤに対するネットワーク抽象レイヤ（ＮＡＬ）部を含み、この規則は、出力レイヤセット（ＯＬＳ）を含む出力ビットストリームを生成するためのサブビットストリーム抽出処理が、条件（１）前記ＯＬＳのＮＡＬ部ヘッダレイヤ識別子の値のリストが、前記ビットストリームのすべての映像コーディングレイヤ（ＶＣＬ）ＮＡＬ部のＮＡＬ部ヘッダレイヤ識別子のすべての値を含まない、および、条件（２）前記出力ビットストリームは、スケーラブルネスト化ＳＥＩメッセージを含む補足拡張情報（ＳＥＩ）ＮＡＬ部を含む、に応じて、選択的に行われる１つ以上の動作を含むことを定義する。

さらに別の例示的な態様において、映像エンコーダ装置が開示される。この映像エンコーダは、上述した方法を実装するように構成されたプロセッサを備える。

さらに別の例示的な態様において、映像デコーダ装置が開示される。この映像デコーダは、上述した方法を実装するように構成されたプロセッサを備える。

さらに別の例示的な態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の１つをプロセッサが実行可能なコードの形式で実施する。

これらのおよび他の特徴は、本文書全体にわたって説明される。

開示される技術のいくつかの実施形態による映像コーディングシステムを示すブロック図である。 映像処理に使用されるハードウェアプラットフォームの例を示すブロック図である。 映像処理方法の一例を示すフローチャートである。 映像コーディングシステムの一例を示すブロック図である。 開示される技術のいくつかの実施形態によるエンコーダを示すブロック図である。 開示される技術のいくつかの実施形態によるデコーダを示すブロック図である。 開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。 開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。 開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。

本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、Ｈ．２６６という用語は、ある説明において、理解を容易にするためだけに用いられ、開示される技術の範囲を限定するために用いられたものではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。

１． 導入
本明細書は、映像コーディング技術に関する。具体的には、一般的なサブビットストリーム抽出処理、ピクチャレベルのＨＲＤパラメータの信号通知、およびＳＥＩ ＮＡＬ部にＳＥＩメッセージを含めることについて、若干の改良がなされている。この考えは、個々にまたは様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）をサポートする任意の映像コーディング規格または非標準映像コーデックに適用されてもよい。

２． 略語
ＡＰＳ Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（適応パラメータセット）
ＡＵ Ａｃｃｅｓｓ Ｕｎｉｔ（アクセス部）
ＡＵＤ Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ（アクセス部区切り文字）
ＡＶＣ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高度映像コーディング）
ＣＬＶＳ Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ（コーディングされたレイヤ映像シーケンス）
ＣＰＢ Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ（コーディングされたピクチャバッファ）
ＣＲＡ Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ（クリーンランダムアクセス）
ＣＴＵ Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（コーディングツリー部）
ＣＶＳ Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ（コーディングされた映像シーケンス）
ＤＣＩ Ｄｅｃｏｄｉｎｇ Ｃａｐａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（復号能力情報）
ＤＰＢ Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ（復号されたピクチャバッファ）
ＥＯＢ Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ（ビットストリーム終端）
ＥＯＳ Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ（シーケンス終端）
ＧＤＲ Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ（漸次的復号更新）
ＨＥＶＣ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率映像コーディング）
ＨＲＤ Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想参照デコーダ）
ＩＤＲ Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ（瞬時復号更新）
ＩＬＰ Ｉｎｔｅｒ－Ｌａｙｅｒ Ｐｒｅｄｉｃｔｉｏｎ（インタレイヤ予測）
ＩＬＲＰ Ｉｎｔｅｒ－Ｌａｙｅｒ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ（インタレイヤ参照ピクチャ）
ＪＥＭ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（共同探索モデル）
ＬＴＲＰ Ｌｏｎｇ－Ｔｅｒｍ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ（長期参照ピクチャ）
ＭＣＴＳ Ｍｏｔｉｏｎ－Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ（動作制約タイルセット）
ＮＡＬ Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ（ネットワーク抽象レイヤ）
ＯＬＳ Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ（出力レイヤセット）
ＰＨ Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ（ピクチャヘッダ）
ＰＰＳ Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ピクチャパラメータセット）
ＰＴＬ Ｐｒｏｆｉｌｅ， Ｔｉｅｒ ａｎｄ Ｌｅｖｅｌ（プロファイル、層およびレベル）
ＰＵ Ｐｉｃｔｕｒｅ Ｕｎｉｔ（ピクチャ部）
ＲＡＰ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ（ランダムアクセスポイント）
ＲＢＳＰ Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ（生バイトシーケンスペイロード）
ＳＥＩ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補足拡張情報）
ＳＰＳ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（シーケンスパラメータセット）
ＳＴＲＰ Ｓｈｏｒｔ－Ｔｅｒｍ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ（短期参照ピクチャ）
ＳＶＣ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（スケーラブル映像コーディング）
ＶＣＬ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ（映像コーディングレイヤ）
ＶＰＳ Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（映像パラメータセット）
ＶＴＭ ＶＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＶＶＣ試験モデル）
ＶＵＩ Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（映像ユーザビリティ情報）
ＶＶＣ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（汎用映像コーディング）

３． 初期の協議
映像コーディング規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像コーディング規格は、時間的予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。ＨＥＶＣを超えた将来の映像コーディング技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ）と呼ばれる参照ソフトウェアに組み込まれてきた。ＪＶＥＴは四半期に１回開催され、新しいコーディング規格はＨＥＶＣに比べて５０％のビットレート低減を目指している。２０１８年４月のＪＶＥＴ会議において、新しい映像コーディング規格を「ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」と正式に命名し、その時、第１版のＶＶＣテストモデル（ＶＴＭ）をリリースした。ＶＶＣの標準化に寄与する努力が続けられているので、すべてのＪＶＥＴ会議において、ＶＶＣ標準に新しいコーディング技術が採用されている。毎回の会議の後、ＶＶＣ作業草案およびテストモデルＶＴＭを更新する。ＶＶＣプロジェクトは、現在、２０２０年７月の会合における技術完成（ＦＤＩＳ）を目指している。

３．１ シーケンス内のピクチャ解像度の変更
ＡＶＣおよびＨＥＶＣにおいて、ピクチャの空間的解像度は、新しいＳＰＳを使用する新しいシーケンスがＩＲＡＰピクチャで始まらない限り、変更することができない。ＶＶＣは、常にイントラコーディングされるＩＲＡＰピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャがデコードされている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるため、参照ピクチャリサンプリング（ＲＰＲ）と称することがある。

スケーリング比は、１／２（参照ピクチャから現在のピクチャへのダウンサンプリングの２倍）以上８（８倍のアップサンプリング）以下に制限される。参照ピクチャと現在のピクチャとの間の様々なスケーリング比に対処するために、周波数カットオフが異なる３つのリサンプリングフィルタセットを規定する。３つの組のリサンプリングフィルタは、それぞれ、１／２～１／１．７５、１／１．７５～１／１．２５、および１／１．２５～８の範囲のスケーリング比に適用される。各組のリサンプリングフィルタは、動き補償補間フィルタの場合と同様に、輝度に対して１６個のフェーズを有し、彩度に対して３２個のフェーズを有する。実際には、通常のＭＣ補間処理は、１／１．２５～８の範囲のスケーリング比を有するリサンプリング処理の特殊な場合である。水平および垂直スケーリング比は、ピクチャの幅および高さ、並びに参照ピクチャおよび現在のピクチャに対して規定された左、右、上および下のスケーリングオフセットに基づいて導出される。

ＨＥＶＣとは異なる、この特徴をサポートするためのＶＶＣ設計の他の態様は、ｉ）ＳＰＳの代わりにＰＰＳにおいてピクチャ解像度および対応する適合性ウィンドウを信号通知すること、ＳＰＳにおいて最大ピクチャ解像度を信号通知すること、ｉｉ）単レイヤビットストリームの場合、各ピクチャ記憶装置（１つの復号されたピクチャを記憶するためのＤＰＢにおける１つのスロット）は、最大ピクチャ解像度を有する復号されたピクチャを記憶するために必要なバッファサイズを占めることを含む。

３．２． 全般およびＶＶＣにおけるスケーラブル映像コーディング（ＳＶＣ）
ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、時には、映像コーディングにおけるスケーラビリティとも呼ばれる）は、ＢＬ（Ｂａｓｅ Ｌａｙｅｒ：基本レイヤ）（時には、ＲＬ（Ｒｅｆｅｒｅｎｃｅ Ｌａｙｅｒ：参照レイヤ）と呼ばれる）および１つ以上のスケーラブルＥＬ（Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ：拡張レイヤ）が使用される映像コーディングを参照する。ＳＶＣにおいて、ベースレイヤは、基本品質レベルを有する映像データを伝送することができる。１つ以上の拡張レイヤは、例えば、より高い空間的、時間的、および／または信号対雑音（ＳＮＲ）レベルをサポートするように、追加の映像データを伝送することができる。拡張レイヤは、前の、符号化されたレイヤに対して定義されてもよい。例えば、下層がＢＬとして機能し、上層がＥＬとして機能することができる。中間レイヤは、ＥＬまたはＲＬのいずれか、またはその両方として機能することができる。例えば、中間レイヤ（例えば、最下レイヤでも最上レイヤでもないレイヤ）は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する拡張レイヤのためのＥＬであってもよく、同時に、中間レイヤの上の１つ以上の拡張レイヤのためのＲＬとしての役割を果たす。同様に、ＨＥＶＣ規格のマルチビューまたは３Ｄ拡張では、複数のビューが存在してもよく、１つのビューの情報を利用して別のビューの情報をコーディング（例えば、符号化または復号）することができる（例えば、動き推定、動きベクトル予測および／または他の冗長性）。

ＳＶＣにおいて、エンコーダまたはデコーダで使用されるパラメータは、それらを利用することができるコーディングレベル（例えば、映像レベル、シーケンスレベル、ピクチャレベル、スライスレベル等）に基づいてパラメータセットにグループ分けされる。例えば、ビットストリームにおける異なるレイヤの１つ以上のコーディング映像シーケンスによって利用できるパラメータは、映像パラメータセット（ＶＰＳ）に含まれてもよく、コーディングされた映像シーケンスにおける１つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット（ＳＰＳ）に含まれてもよい。同様に、１つのピクチャの１つ以上のスライスで利用されるパラメータは、ピクチャパラメータセット（ＰＰＳ）に含まれてもよく、１つのスライスに固有の他のパラメータは、スライスヘッダに含まれてもよい。同様に、特定のレイヤが所与の時間にどのパラメータセットを使用しているかの指示は、様々なコーディングレベルで提供されてもよい。

ＶＶＣにおけるＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）のサポートのおかげで、空間的スケーラビリティサポートに必要なアップサンプリングはＲＰＲアップサンプリングフィルタを使用するだけでよいので、追加の信号処理レベルのコーディングツールを必要とせずに、複数のレイヤ、例えば、ＶＶＣにおけるＳＤおよびＨＤ解像度の２つのレイヤを含むビットストリームをサポートするように設計することができる。それにもかかわらず、スケーラビリティサポートのためには、高レベルの構文変更（スケーラビリティをサポートしない場合と比較して）が必要である。スケーラビリティサポートは、ＶＶＣバージョン１に規定されている。ＡＶＣおよびＨＥＶＣの拡張を含む、任意の以前の映像コーディング規格におけるスケーラビリティサポートとは異なり、ＶＶＣのスケーラビリティの設計は、単層デコーダの設計にできるだけ適したものにされてきた。多層ビットストリームの復号能力は、ビットストリームに１つのレイヤしかなかったかの如く規定される。例えば、ＤＰＢサイズのような復号能力は、復号されるビットストリームのレイヤの数に依存しないようで規定される。基本的に、単層ビットストリームのために設計されたデコーダは、多層ビットストリームを復号することができるようにするために、多くの変更を必要としない。ＡＶＣおよびＨＥＶＣの多層拡張の設計と比較して、ＨＬＳの態様は、ある程度の柔軟性を犠牲にして大幅に簡略化されてきた。例えば、ＩＲＡＰ ＡＵは、ＣＶＳに存在するレイヤの各々にピクチャを含むことが必要である。

３．３ パラメータセット
ＡＶＣ、ＨＥＶＣ、ＶＶＣはパラメータ集合を規定する。パラメータセットのタイプは、ＳＰＳ、ＰＰＳ、ＡＰＳ、ＶＰＳ等である。ＳＰＳ、ＰＰＳは、ＡＶＣ、ＨＥＶＣ、ＶＶＣのすべてでサポートされている。ＶＰＳは、ＨＥＶＣから導入されたものであり、ＨＥＶＣおよびＶＶＣの両方に含まれる。ＡＰＳは、ＡＶＣまたはＨＥＶＣに含まれていなかったが、最近のＶＶＣ草案のテキストに含まれている。

ＳＰＳは、シーケンスレベルのヘッダ情報を伝送するように設計され、ＰＰＳは、頻繁に変化しないピクチャレベルのヘッダ情報を伝送するように設計された。ＳＰＳおよびＰＰＳを用いると、シーケンスまたはピクチャごとに頻繁に変化する情報を繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、ＳＰＳおよびＰＰＳを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。

ＶＰＳは、マルチレイヤのビットストリームのすべてのレイヤに共通であるシーケンスレベルのヘッダ情報を伝送するために導入された。

ＡＰＳは、コーディングするためのかなりのビットを必要とし、複数のピクチャによって共有され、そして、シーケンスにおいて非常に多くの異なる変形例が存在し得る、そのようなピクチャレベルまたはスライスレベルの情報を伝送するために導入された。

３．４． 一般的なサブビットストリーム抽出処理
最新のＶＶＣテキストのＣ．６項は、一般的なサブビットストリーム抽出処理を以下のように規定している。

Ｃ．６ サブビットストリーム抽出処理
この処理への入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、およびターゲット最高ＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔである。
この処理の出力は、サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。
入力ビットストリームに対するビットストリーム適合性の要件は、以下の条件のすべてを満たす任意の出力サブビットストリームが適合ビットストリームであるものとする。
－ 出力サブビットストリームは、ＶＰＳで規定されたＯＬＳのリストのインデックスと等しいｔａｒｇｅｔＯｌｓＩｄｘ、および０から６の範囲内の任意の値であるｔＩｄＴａｒｇｅｔを入力として、本項で規定した処理の出力である。
－ 出力サブビットストリームは、ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］における各々のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値であるｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する少なくとも１つのＶＣＬ ＮＡＬ部を含む。
－ 出力サブビットストリームは、ｔＩｄＴａｒｇｅｔに等しいＴｅｍｐｏｒａｌＩｄを有する少なくとも１つのＶＣＬ ＮＡＬ部を含む。
注－ 適合するビットストリームは、ＴｅｍｐｏｒａｌＩｄが０に等しい１つ以上のコーディングされたスライスＮＡＬ部を含むが、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しいコーディングされたスライスＮＡＬ部を含む必要はない。
出力サブビットストリームＯｕｔＢｉｔｓｔｒｅａｍは、以下のように導出される。
１． ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一になるように設定される。
２． ｔＩｄＴａｒｇｅｔよりも大きいＴｅｍｐｏｒａｌＩｄを有するすべてのＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。
３． ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＶＰＳ＿ＮＵＴ、ＤＣＩ＿ＮＵＴ、およびＥＯＢ＿ＮＵＴのいずれとも等しくなく、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがリストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］に含まれないすべてのＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。
４． ｏｕｔＢｉｔｓｔｒｅａｍから、次のすべての条件が真であるすべてのＶＣＬ ＮＡＬ部と、それらに関連付けられた、０、１、１３０のいずれにも等しくないＰａｙｌｏａｄＴｙｐｅを有するＰＨ＿ＮＵＴ、ＦＤ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、およびＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する非ＶＣＬ ＮＡＬ部を削除する。
－ ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＴＲＡＩＬ＿ＮＵＴ、ＳＴＳＡ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ、ＲＡＳＬ＿ＮＵＴに等しいか、またはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＧＤＲ＿ＮＵＴに等しく、かつ関連するｐｈ＿ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔは０に等しくない。
－ ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、０からＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］－１の範囲内のｊの値に対して、ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｊ］と等しい。
－ ＴｅｍｐｏｒａｌＩｄは、ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］以上である。
５． １に等しいｓｎ＿ｏｌｓ＿ｆｌａｇおよび、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］がｔａｒｇｅｔＯｌｓＩｄｘと等しいような、ｉの値が０からｓｎ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の範囲内にないスケーラブルネスト化ＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。
６． ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］がビットストリーム内のすべてのＮＡＬ部のｎｕｈ＿ｌａｙｅｒ＿ｉｄのすべての値を含まない場合、以下が適用される。
ａ． ｐａｙｌｏａｄＴｙｐｅが０（ＢＰ）または１３０（ＤＵＩ）であるスケーラブルネスト化されていないＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬ 部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。
ｂ． ｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇが０に等しいとき、ｐａｙｌｏａｄＴｙｐｅが１（ＰＴ）に等しいスケーラブルネスト化されていないＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。
ｃ． ｏｕｔＢｉｔｓｔｒｅａｍが、ｓｎ＿ｏｌｓ＿ｆｌａｇが１に等しく、ｏｕｔＢｉｔｓｔｒｅａｍ（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］がｔａｒｇｅｔＯｌｓＩｄｘに等しい）に適用可能なスケーラブルネスト化ＳＥＩメッセージを含むＳＥＩ ＮＡＬ部を含む場合、以下が適用される。
－ ｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、スケーラブルネスト化ＳＥＩメッセージからｐａｙｌｏａｄＴｙｐｅが０（ＢＰ）、１（ＰＴ）または１３０（ＤＵＩ）に等しい適切なスケーラブルネスト化されていないＳＥＩメッセージを抽出し、それらのＳＥＩメッセージをｏｕｔＢｉｔｓｔｒｅａｍ内に含める。
－ そうでない場合（ｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇが１に等しい場合）、スケーラブルネスト化ＳＥＩメッセージからｐａｙｌｏａｄＴｙｐｅが０（ＢＰ）または１３０（ＤＵＩ）に等しい適切なスケーラブルネスト化されていないＳＥＩメッセージを抽出し、それらのＳＥＩメッセージをｏｕｔＢｉｔｓｔｒｅａｍ内に含める。

４． 開示される技術的解決策によって解決される技術課題
最新のＶＶＣテキスト（ＪＶＥＴ－Ｒ２００１－ｖＡ／ｖ１０）における一般的なサブビットストリーム抽出処理および関連する他の部分の既存の設計には、以下のような問題がある。
１） 出力サブビットストリームが適合ビットストリームであることが必要とされる条件においては、ｔＩｄＴａｒｇｅｔの値が０～６の範囲内にあると言われている。しかし、多くのビットストリームにおいて、最も高いＴｅｍｐｏｒａｌＩｄ値は６未満であり、この値は構文要素ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１によって規定される。
２） アクセス部区切り文字（ＡＵＤ）ＮＡＬ部は、存在する場合、任意のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有することができる。しかしながら、サブビットストリーム抽出処理のステップ３は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値がリストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］に含まれないＡＵＤ ＮＡＬ部を削除する。
３） いくつかのＳＥＩ ＮＡＬ部は、０に等しいｓｎ＿ｏｌｓ＿ｆｌａｇを有するスケーラブルネスト化ＳＥＩメッセージを含むが、スケーラブルネスト化ＳＥＩメッセージに示される適用可能なレイヤは、ターゲットのＯＬＳにおけるいずれのレイヤを含まない、すなわち、適用可能なレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値は、リストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］に含まれない。これらのＳＥＩ ＮＡＬ部も削除されるべきである。
４） ステップ６の条件、すなわち、「ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］が、ビットストリームにおけるすべてのＮＡＬ部のｎｕｈ＿ｌａｙｅｒ＿ｉｄのすべての値を含まない場合」には、以下の２つの問題がある。
ａ． ＤＣＩ、ＶＰＳ、ＡＵＤ、またはＥＯＢ ＮＡＬ部が存在し、かつ、ＶＣＬ ＮＡＬ部のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のいずれにも等しくないｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する場合、この条件は機能しない。
ｂ． 用語「ビットストリーム」は、コンテキストの中には２つのビットストリームｉｎＢｉｔｓｔｒｅａｍおよびｏｕｔＢｉｔｓｔｒｅａｍがあるため、明瞭ではない。
５） ステップ６．ｃは、スケーラブルネスト化されていないＳＥＩメッセージを生成するために、１に等しいｓｎ＿ｏｌｓ＿ｆｌａｇを有し、かつ、１に等しいｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇを有するスケーラブルネスト化ＳＥＩメッセージからスケーラブルネスト化されたＳＥＩメッセージを抽出するが、そのようなスケーラブルネスト化されたＳＥＩメッセージは特定のサブピクチャにのみ適用され、抽出されるべきではない。
６） ステップ６．ｃにおいて、１つのＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＡから複数のスケーラブルネスト化されたＳＥＩメッセージを抽出し、スケーラブルネスト化されていないＳＥＩメッセージとした場合、それらは１つのＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＢに含まれるべきであり、ＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＢはＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＡを含む同じＰＵに含まれているべきである。ただし、これは規定されていない。
７） ステップ６．ｃは、いくつかのＳＥＩメッセージが抽出され、スケーラブルネスト化されていないＳＥＩメッセージとして含まれたすべてのＳＥＩ ＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。ただし、これは規定されていない。
８） ＳＥＩ ＮＡＬ部が、０、１、または１３０に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含む場合、ＳＥＩ ＮＡＬ部は、０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、１３３（スケーラブルネスト化）のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含まないとする制約がない。これにより、ステップ４におけるＳＥＩメッセージの削除が、ＳＥＩ ＮＡＬ部の単なる削除よりも多く含むことになる。
９） フラグｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスト化されていないＰＴ ＳＥＩメッセージがすべてのＯＬＳに適用されるかどうかを規定するのみである。しかしながら、ＤＵＩ ＳＥＩメッセージに伝送される情報は、ＰＴ ＳＥＩメッセージと同様の目的のためである。
１０） 出力ビットストリームから、ａ）ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＴＲＡＩＬ＿ＮＵＴ、ＳＴＳＡ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ、ＲＡＳＬ＿ＮＵＴ、またはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＧＤＲ＿ＮＵＴに等しく、かつ関連付けられたｐｈ＿ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔが０より大きい、および、ｂ）ＴｅｍｐｏｒａｌＩｄがＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］以上であるという、２つの条件が共に真であるＶＣＬ ＮＡＬ部を削除する場合、このステップは、ＢＰ、ＰＴ、またはＤＵＩ ＳＥＩメッセージ以外のＳＥＩメッセージを含む、関連付けられたＳＥＩ ＮＡＬ部も削除する。しかしながら、削除されたこれらのＳＥＩメッセージの一部は、出力ビットストリームに残っているピクチャを含むＯＬＳまたはレイヤに適用できる。
１１） このサブピクチャレベル情報ＳＥＩメッセージは、存在する場合、他のＨＲＤ関連のＳＥＩメッセージ、即ちＢＰ、ＰＴ、ＤＵＩ ＳＥＩメッセージと同様に、ＯＬＳにも適用される。しかしながら、ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］がビットストリームのすべてのＮＡＬ部におけるｎｕｈ＿ｌａｙｅｒ＿ｉｄのすべての値を含まない場合、２０３に等しいｐａｙｌｏａｄＴｙｐｅを有するスケーラブルネスト化されていないＳＥＩメッセージ（すなわち、サブピクチャレベル情報ＳＥＩメッセージ）を含むＳＥＩ ＮＡＬ部は、抽出処理において対処されない。
１２） スケーラブルネスト化されたＳＥＩメッセージをスケーラブルネスト化されていないＳＥＩメッセージにする最後のステップは、以下の問題を有する。
ａ． ｓｎ＿ｏｌｓ＿ｆｌａｇが０に等しく、ｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇが０に等しい場合のＳＥＩメッセージはカバーされない。
ｂ． 結果として生じるスケーラブルネスト化されていないＳＥＩメッセージを、出力ビットストリームにおいて配置すべき（ＳＥＩ ＮＡＬ部の場合、ＳＥＩ ＮＡＬ部が配置されるべき）場所は、規定されていない。

５． 技術的解決策および実施形態の一覧
上記課題を解決するために、以下に示す方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。
１） 問題１を解決するために、出力サブビットストリームが適合ビットストリームであることが必要とされる条件を、ｔＩｄＴａｒｇｅｔの値が０からｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にあるように規定する。
ａ． あるいは、出力サブビットストリームが適合ビットストリームであることが必要とされる条件は、入力ビットストリームに複数のレイヤがある場合にはｔＩｄＴａｒｇｅｔの値は、０からｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にあるように規定され、入力ビットストリームに１つのみのレイヤがある場合には０からｓｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にあるように規定される。
２）問題２を解決するために、ＡＵＤ ＮＡＬ部を、ＶＰＳ＿ＮＵＴ、ＤＣＩ＿ＮＵＴまたはＥＯＢ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＮＡＬ部と同様に扱うように、一般的なサブビットストリーム抽出処理を規定する。すなわち、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に従って、出力ビットストリームｏｕｔＢｉｔｓｔｒｅａｍからＡＵＤ ＮＡＬ部を削除しない。
３）問題３を解決するために、一般的なサブビットストリーム抽出処理は、出力ビットストリームｏｕｔＢｉｔｓｔｒｅａｍから、０に等しいｓｎ＿ｏｌｓ＿ｆｌａｇを有するスケーラブルネスト化ＳＥＩメッセージを含むＳＥＩ ＮＡＬ部を削除する一方、スケーラブルネスト化ＳＥＩメッセージに示される適用可能なレイヤは、ターゲットのＯＬＳ内のいずれのレイヤも含まないように規定される。
ａ． 一例において、０に等しいｓｎ＿ｏｌｓ＿ｆｌａｇを有し、かつ０からｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲内にあるｉに対するリストｎｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］に、リストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］内に値がないスケーラブルネスト化ＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除することが規定されている。
４） 問題４を解決するために、「ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］が、ビットストリーム中のすべてのＮＡＬ部のｎｕｈ＿ｌａｙｅｒ＿ｉｄのすべての値を含まない」との条件は、「リストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］が、ビットストリームｉｎＢｉｔｓｔｒｅａｍにおけるすべてのＶＣＬ ＮＡＬ部のｎｕｈ＿ｌａｙｅｒ＿ｉｄのすべての値を含まない」となるように変更される。
５） 問題５を解決するために、一般的なサブビットストリーム抽出処理は、スケーラブルネスト化されていないＳＥＩメッセージを生成するために、１に等しいｓｎ＿ｏｌｓ＿ｆｌａｇ、および、０に等しいｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇを共に有するスケーラブルネスト化ＳＥＩメッセージから、スケーラブルネスト化されたＳＥＩメッセージのみを抽出するように規定される。
６）問題６を解決するため、一般的なサブビットストリーム抽出処理は、複数のスケーラブルネスト化されたＳＥＩメッセージが、１つのＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＡから抽出されて、スケーラブルネスト化されていないＳＥＩメッセージとなる場合、それらはまだ出力ビットストリームｏｕｔＢｉｔｓｔｒｅａｍ中の１つのＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＢに含まれ、ＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＢは、ＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＡを含むＰＵに含まれることが規定される。
７）問題７を解決するため、一般的なサブビットストリーム抽出処理は、出力ビットストリームｏｕｔＢｉｔｓｔｒｅａｍから、いくつかのＳＥＩメッセージが抽出され、スケーラブルネスト化されていないＳＥＩメッセージとして含まれているすべてのＳＥＩ ＮＡＬ部を削除するように規定される。
ａ． あるいは、このようなＳＥＩ ＮＡＬ部におけるスケーラブルネスト化されたＳＥＩメッセージがターゲットのＯＬＳ（すなわち、ＶＰＳによって規定されたｔａｒｇｅｔＯｌｓＩｄｘ番目のＯＬＳ）のみに適用される場合、そのＳＥＩ ＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。
ｂ． あるいは、このようなＳＥＩ ＮＡＬ部におけるスケーラブルネスト化されたＳＥＩメッセージが適用されるＯＬＳ内のターゲットのＯＬＳ以外に、リストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］にすべて含まれるレイヤを含むＯＬＳがない場合、そのＳＥＩ ＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。
８）問題８を解決するために、ＳＥＩ ＮＡＬ部が、０、１、または１３０に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含む場合、ＳＥＩ ＮＡＬ部は、０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、１３３（スケーラブルネスト化）のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含んではならないような制約を加える。
９）問題９を解決するために、フラグｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスト化されていないＰＴおよびＤＵＩ ＳＥＩメッセージがすべてのＯＬＳに適用されるかどうかを規定する。
ａ． あるいは、フラグｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスト化されていないＢＰ、ＰＴ、およびＤＵＩ ＳＥＩメッセージがすべてのＯＬＳに適用されるかどうかを規定する。
ｉ． 一例において、フラグｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇは、フラグｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｎｆｏ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇに改名され、スケーラブルネスト化されていないＢＰ、ＰＴ、ＤＵＩ ＳＥＩメッセージがすべてのＯＬＳに適用されるかどうかを規定する。
ｂ． あるいは、例えばｇｅｎｅｒａｌ＿ｓａｍｅ＿ｄｕｉ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇという新しいフラグが追加され、スケーラブルネスト化されていないＤＵＩ ＳＥＩメッセージがすべてのＯＬＳに適用されるかどうかが規定される。
ｃ． あるいは、例えばｇｅｎｅｒａｌ＿ｓａｍｅ＿ｂｐ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇという新しいフラグが追加され、スケーラブルネスト化されていないＢＰ ＳＥＩメッセージがすべてのＯＬＳに適用されるかどうかが規定される。
１０） 問題１０を解決するために、一例において、一般のサブビットストリーム抽出処理では、出力ビットストリームから、ａ）ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＴＲＡＩＬ＿ＮＵＴ、ＳＴＳＡ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ、ＲＡＳＬ＿ＮＵＴ、またはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＧＤＲ＿ＮＵＴに等しく、かつ関連付けられたｐｈ＿ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔが０より大きい、および、ｂ）ＴｅｍｐｏｒａｌＩｄがＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］以上であるという、２つの条件が共に真であるＶＣＬ ＮＡＬ部を削除する場合、ＢＰ、ＰＴ、またはＤＵＩ ＳＥＩメッセージ以外のＳＥＩメッセージを含む、関連付けられたＳＥＩ ＮＡＬ部を削除する代わりに、すべてのＶＣＬ ＮＡＬ部が削除されている１つ以上のピクチャまたはサブピクチャのみを適用するＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬ部を削除する。
ａ． 一例において、代替的に、このようなＶＣＬ ＮＡＬ部を削除するとき、関連付けられたＳＥＩ ＮＡＬ部を出力ビットストリームに保持する。
１１） 問題１１を解決するために、一例において、一般のサブビットストリーム抽出処理では、ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］がビットストリームのすべてのＮＡＬ部におけるｎｕｈ＿ｌａｙｅｒ＿ｉｄのすべての値を含まない場合、２０３に等しいｐａｙｌｏａｄＴｙｐｅを有するスケーラブルネスト化されていないＳＥＩメッセージ（すなわち、サブピクチャレベル情報ＳＥＩメッセージ）を含むすべてのＳＥＩ ＮＡＬ部を追加的に削除する。
１２） 問題１２を解決するために、一例において、一般的なサブビットストリーム抽出処理では、ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］が、ビットストリームにおけるすべてのＮＡＬ部のｎｕｈ＿ｌａｙｅｒ＿ｉｄの値をすべて含まない場合、そしてｏｕｔＢｉｔｓｔｒｅａｍが、ｏｕｔＢｉｔｓｔｒｅａｍと同じレイヤセットを有するＯＬＳ（ｓｎ＿ｏｌｓ_ｆｌａｇが１に等しい場合）またはレイヤ（ｓｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合）に適用される、ｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇが０に等しいスケーラブルネスト化ＳＥＩメッセージを含むＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＡを含む場合、下記のうちの１つ以上を行う。
ａ． 新しいＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＢを生成する。
ｂ． ｓｅｉＮａｌＵｎｉｔＡを含むＰＵにｓｅｉＮａｌＵｎｉｔＢを含める。
ｃ． ｓｅｉＮａｌＵｎｉｔＡのすぐ後に、ｓｅｉＮａｌＵｎｉｔＡを含むＰＵにｓｅｉＮａｌＵｎｉｔＢを含める。
ｄ． スケーラブルネスト化ＳＥＩメッセージからスケーラブルネスト化されたＳＥＩメッセージを抽出し、それらをｓｅｉＮａｌＵｎｉｔＢ（スケーラブルネスト化されていないＳＥＩメッセージ）に直接含める。
ｅ． ｏｕｔＢｉｔｓｔｒｅａｍからｓｅｉＮａｌＵｎｉｔＡを削除する。
１３） 一例において、一般的なサブビットストリーム抽出処理において、ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］がビットストリームにおけるすべてのＮＡＬ部のｎｕｈ＿ｌａｙｅｒ＿ｉｄのすべての値を含まない場合、ｏｕｔＢｉｔｓｔｒｅａｍは、スケーラブルネスト化ＳＥＩメッセージを含むＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＡを含み、ｓｅｉＮａｌＵｎｉｔＡを出力ビットストリームに維持する。

６． 実施形態

６．１． 第１の実施形態
本実施形態は、１、２、３、３．ａ、４、５、６、７．ｂ、および８項に対するものである。

この処理への入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットのＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、およびターゲットの最高ＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔである。
この処理の出力は、サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。
入力ビットストリームに対するビットストリーム適合性の要件は、以下の条件のすべてを満たす任意の出力サブビットストリームが適合ビットストリームであるものとする。

－ 出力サブビットストリームは、ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］における各々のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値であるｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する少なくとも１つのＶＣＬ ＮＡＬ部を含む。
－ 出力サブビットストリームは、ｔＩｄＴａｒｇｅｔであるＴｅｍｐｏｒａｌＩｄを有する少なくとも１つのＶＣＬ ＮＡＬ部を含む。
注－ 適合するビットストリームは、ＴｅｍｐｏｒａｌＩｄが０に等しい１つ以上のコーディングされたスライスＮＡＬ部を含むが、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しいコーディングされたスライスＮＡＬ部を含む必要はない。

１． ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一になるように設定される。
２． ｔＩｄＴａｒｇｅｔよりも大きいＴｅｍｐｏｒａｌＩｄを有するすべてのＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。

－ ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＴＲＡＩＬ＿ＮＵＴ、ＳＴＳＡ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ、ＲＡＳＬ＿ＮＵＴに等しいか、またはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＧＤＲ＿ＮＵＴに等しく、かつ関連するｐｈ＿ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔは０に等しくない。
－ ［［ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、０からＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］－１の範囲内のｊの値に対して、ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｊ］と等しい。］］
－ ＴｅｍｐｏｒａｌＩｄは、ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］以上である。
５． １に等しいｓｎ＿ｏｌｓ＿ｆｌａｇおよび、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］がｔａｒｇｅｔＯｌｓＩｄｘと等しいような、ｉの値が０からｓｎ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の範囲内にないスケーラブルネスト化ＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。

ａ． ｐａｙｌｏａｄＴｙｐｅが０（ＢＰ）または１３０（ＤＵＩ）であるスケーラブルネスト化されていないＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。
ｂ． ｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇが０に等しいとき、ｐａｙｌｏａｄＴｙｐｅが１（ＰＴ）に等しいスケーラブルネスト化されていないＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。

Ｄ．２．２ 一般的なＳＥＩペイロード意味論
．．．
ＳＥＩ ＮＡＬ部にＳＥＩメッセージを含めることに以下の制限が適用されることが、ビットストリーム適合性の要件である。
－ ＳＥＩ ＮＡＬ部が、スケーラブルネスト化されていないＢＰ ＳＥＩメッセージ、スケーラブルネスト化されていないＰＴ ＳＥＩメッセージ、またはスケーラブルネスト化されていないＤＵＩ ＳＥＩメッセージを含む場合、ＳＥＩ ＮＡＬ部は、０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有する他のＳＥＩメッセージを含まないものとする。
－ ＳＥＩ ＮＡＬ部が、スケーラブルネスト化されたＢＰ ＳＥＩメッセージ、スケーラブルネスト化されたＰＴ ＳＥＩメッセージ、またはスケーラブルネスト化されたＤＵＩ ＳＥＩメッセージを含む場合、ＳＥＩ ＮＡＬ部は、０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）１３３（スケーラブルネスト化）のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有する他のＳＥＩメッセージを含まないものとする。

６．２． 第二の実施形態
本実施形態は、項目１０～１２について、上記実施形態１テキストに対する変更点をハイライトで表示したものである。

Ｃ．６ 一般的なサブビットストリーム抽出処理
この処理への入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットのＯＬＳインデックス ｔａｒｇｅｔＯｌｓＩｄｘ、およびターゲットの最高ＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔである。
この処理の出力は、サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。

入力ビットストリームに対するビットストリーム適合性の要件は、以下の条件のすべてを満たす任意の出力サブビットストリームが適合ビットストリームであるものとする。
－ 出力サブビットストリームは、ＶＰＳで規定されたＯＬＳのリストのインデックスと等しいｔａｒｇｅｔＯｌｓＩｄｘ、および０からｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内の任意の値であるｔＩｄＴａｒｇｅｔを入力として、本項で規定した処理の出力である。
－ 出力サブビットストリームは、ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］における各々のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値であるｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する少なくとも１つのＶＣＬ ＮＡＬ部を含む。
－ 出力サブビットストリームは、ｔＩｄＴａｒｇｅｔに等しいＴｅｍｐｏｒａｌＩｄを有する少なくとも１つのＶＣＬ ＮＡＬ部を含む。
注－ 適合するビットストリームは、ＴｅｍｐｏｒａｌＩｄが０に等しい１つ以上のコーディングされたスライスＮＡＬ部を含むが、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しいコーディングされたスライスＮＡＬ部を含む必要はない。

出力サブビットストリームＯｕｔＢｉｔｓｔｒｅａｍは、以下の順序付けられたステップを適用して導出される。
１． ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一になるように設定される。
２． ｔＩｄＴａｒｇｅｔよりも大きいＴｅｍｐｏｒａｌＩｄを有するすべてのＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。

－ ＴｅｍｐｏｒａｌＩｄは、ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］以上である。

－ １に等しいｓｎ＿ｏｌｓ＿ｆｌａｇおよび、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］がｔａｒｇｅｔＯｌｓＩｄｘと等しいような、ｉの値が０からｓｎ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の範囲内にないスケーラブルネスト化ＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。
－ ０に等しいｓｎ＿ｏｌｓ＿ｆｌａｇを有し、かつ、リストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］内にある、０からｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲内にあるｉに対するリストｎｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］に値がないスケーラブルネスト化ＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬ部をｏｕｔＢｉｔｓｔｒｅａｍから削除する。

［［ｏｕｔＢｉｔｓｔｒｅａｍが、ｓｎ＿ｏｌｓ＿ｆｌａｇが１に等しく、ｔａｒｇｅｔＯｌｓＩｄｘ番目のＯＬＳに適用されるｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇが０に等しいスケーラブルネスト化ＳＥＩメッセージを含むＳＥＩ ＮＡＬ部を含む場合、（すなわち、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］がｔａｒｇｅｔＯｌｓＩｄｘと等しくなるような、０からｓｎ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の範囲内に少なくとも１つのｉの値が存在する場合）、以下がリスト化された順序で適用される。
ｉ． そのようなＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＡのスケーラブルネスト化されたＢＰまたはＤＵＩ ＳＥＩメッセージごとに、同一のｐａｙｌｏａｄＴｙｐｅとＳＥＩ ｐａｙｌｏａｄとを有するスケーラブルネスト化されていないＳＥＩメッセージを生成して、それをｏｕｔＢｉｔｓｔｒｅａｍにおいてｓｅｉＮａｌＵｎｉｔＡを含むＰＵのＳＥＩ ＮＡＬ部に含める。
ｉｉ． ｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、そのようなＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＡのスケーラブルネスト化されたＰＴ ＳＥＩメッセージごとに、同一のＳＥＩ ｐａｙｌｏａｄを有するスケーラブルネスト化されていないＳＥＩメッセージを生成して、それをｏｕｔＢｉｔｓｔｒｅａｍにおいてｓｅｉＮａｌＵｎｉｔＡを含むＰＵのＳＥＩ ＮＡＬ部に含める。
ｉｉｉ． 特定のこのようなＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＡに含まれた複数のＳＥＩメッセージをスケーラブルネスト化されていないＳＥＩメッセージにした場合、これらのスケーラブルネスト化されていないＳＥＩメッセージは１つのＳＥＩ ＮＡＬメッセージに含まれる。
ｉｖ． そのようなＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＡにおけるスケーラブルネスト化されたＳＥＩメッセージが適用されるＯＬＳにおいてターゲットのＯＬＳ以外に、リストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］にすべて含まれるレイヤを含んだＯＬＳがない場合、そのＳＥＩ ＮＡＬ部ｓｅｉＮａｌＵｎｉｔＡをｏｕｔＢｉｔｓｔｒｅａｍから削除する。

図１は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１９００を示すブロック図である。様々な実装形態は、システム１９００のコンポーネントの一部または全部を含んでもよい。システム１９００は、映像コンテンツを受信するための入力部１９０２を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、８または１０ビットのマルチコンポーネント画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力部１９０２は、ネットワークインターフェース、周辺バスインターフェース、またはストレージインターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、ＰＯＮ（Ｐａｓｓｉｖｅ Ｏｐｔｉｃａｌ Ｎｅｔｗｏｒｋ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。

システム１９００は、本明細書に記載される様々なコーディングまたは符号化方法を実装することができるコーディングコンポーネント１９０４を含んでもよい。コーディングコンポーネント１９０４は、入力１９０２からの映像の平均ビットレートをコーディングコンポーネント１９０４の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像コード変換技術と呼ばれることがある。コーディングコンポーネント１９０４の出力は、コンポーネント１９０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力１９０２において受信された、記憶されたまたは通信された映像のビットストリーム（またはコーディングされた）表現は、コンポーネント１９０８によって使用されて、表示インターフェース１９１０に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダで使用され、コーディングの結果を逆にする対応する復号ツールまたは動作は、デコーダによって行われることが理解されよう。

周辺バスインターフェースまたは表示インターフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）または高解像度マルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、ＳＡＴＡ（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および／または映像表示を実施可能な他のデバイス等の様々な電子デバイスにおいて実施されてもよい。

図２は、映像処理装置３６００のブロック図である。装置３６００は、本明細書に記載の方法の１つ以上を実装するために使用されてもよい。装置３６００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等に実施されてもよい。装置３６００は、１つ以上のプロセッサ３６０２と、１つ以上のメモリ３６０４と、映像処理ハードウェア３６０６と、を含んでもよい。１つまたは複数のプロセッサ３６０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。メモリ（複数可）３６０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア３６０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。

図４は、本開示の技術を利用し得る例示的な映像コーディングシステム１００を示すブロック図である。

図４に示すように、映像コーディングシステム１００は、送信元デバイス１１０と、送信先デバイス１２０と、を備えてもよい。送信元デバイス１１０は、映像符号化デバイスとも称され得る符号化された映像データを生成する。送信先デバイス１２０は、送信元装置１１０によって生成された、符号化された映像データを復号してよく、映像復号デバイスと呼ばれ得る。

送信元デバイス１１０は、映像ソース１１２と、映像エンコーダ１１４と、入出力（Ｉ／Ｏ）インターフェース１１６と、を備えてもよい。

映像ソース１１２は、映像キャプチャデバイス等のソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および／または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、１つ以上のピクチャを含んでもよい。映像エンコーダ１１４は、映像ソース１１２からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。Ｉ／Ｏインターフェース１１６は、変復調器（モデム）および／または送信機を含んでもよい。符号化された映像データは、ネットワーク１３０ａを介して、Ｉ／Ｏインターフェース１１６を介して送信先デバイス１２０に直接送信されてよい。エンコードされた映像データは、送信先デバイス１２０がアクセスするために、記録媒体／サーバ１３０ｂに記憶してもよい。

送信先デバイス１２０は、Ｉ／Ｏインターフェース１２６、映像デコーダ１２４、および表示デバイス１２２を含んでもよい。

Ｉ／Ｏインターフェース１２６は、受信機および／またはモデムを含んでもよい。Ｉ／Ｏインターフェース１２６は、送信元デバイス１１０または記憶媒体／サーバ１３０ｂから符号化された映像データを取得してもよい。映像デコーダ１２４は、符号化された映像データを復号してもよい。表示デバイス１２２は、復号された映像データをユーザに表示してもよい。表示デバイス１２２は、送信先デバイス１２０と一体化されてもよく、または外部表示装置とインターフェースで接続するように構成される送信先デバイス１２０の外部にあってもよい。

映像エンコーダ１１４および映像デコーダ１２４は、高効率映像コーディング（ＨＥＶＣ）規格、汎用映像コーディング（ＶＶＣ）規格、および他の現在のおよび／または更なる規格等の映像圧縮規格に従って動作してもよい。

図５は、映像エンコーダ２００の一例を示すブロック図であり、図４に示されるシステム１００における映像エンコーダ１１４であってもよい。

映像エンコーダ２００は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図５の例において、映像エンコーダ２００は、複数の機能コンポーネントを含む。本開示で説明される技術は、映像エンコーダ２００の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

映像エンコーダ２００の機能性コンポーネントは、分割部２０１、予測部２０２を含んでもよく、予測部２０２は、モード選択部２０３、動き推定部２０４、動き補償部２０５、およびイントラ予測部２０６、残差生成部２０７、変換部２０８、量子化部２０９、逆量子化部２１０、逆変換部２１１、再構成部２１２、バッファ２１３、およびエントロピー符号化部２１４を含んでもよい。

他の例において、映像エンコーダ２００は、より多くの、より少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測部２０２は、イントラブロックコピー（ＩＢＣ）部を含んでもよい。ＩＢＣ部は、少なくとも１つの参照ピクチャが現在の映像ブロックが位置するピクチャであるＩＢＣモードにおいて予測を行うことができる。

さらに、動き推定部２０４および動き補償部２０５などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図５の例においては別個に表現されている。

分割部２０１は、ピクチャを１つ以上の映像ブロックに分割してもよい。映像エンコーダ２００および映像デコーダ３００は、様々な映像ブロックサイズをサポートしてもよい。

モード選択部２０３は、例えば、誤りの結果に基づいて、イントラまたはインターによるコーディングモードのうちの１つを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成部２０７に供給し、残差ブロックデータを生成して再構成部２１２に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例において、モード選択部２０３は、インター予測信号およびイントラ予測信号に基づいて予測を行うＣＩＩＰ（Ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｉｎｔｒａ ａｎｄ Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）モードを選択してもよい。モード選択部２０３は、インター予測の場合、ブロックのために動きベクトルの解像度（例えば、サブピクセルまたは整数ピクセル精度）を選択してもよい。

現在の映像ブロックに対してインター予測を実行するために、動き推定部２０４は、バッファ２１３からの１つ以上の参照フレームと現在の映像ブロックとを比較することにより、現在の映像ブロックのために動き情報を生成してもよい。動き補償部２０５は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ２１３からのピクチャの動き情報および復号されたサンプルに基づいて、現在の映像ブロックに対する予測映像ブロックを判定してもよい。

動き推定部２０４および動き補償部２０５は、現在の映像ブロックがＩスライスであるか、Ｐスライスであるか、またはＢスライスであるかによって、例えば、現在の映像ブロックに対して異なる動作を行ってもよい。

いくつかの例において、動き推定部２０４は、現在の映像ブロックに対して単一方向予測を行い、動き推定部２０４は、現在の映像ブロックに対して、参照映像ブロック用のリスト０またはリスト１の参照ピクチャを検索してもよい。そして、動き推定部２０４は、参照映像ブロックを含むリスト０またはリスト１における参照ピクチャを示す参照インデックスと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルと、を生成する。動き推定部２０４は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償部２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。

他の例において、動き推定部２０４は、現在の映像ブロックを双方向予測してもよく、動き推定部２０４は、リスト０における参照ピクチャの中から現在の映像ブロックを求めるための参照映像ブロックを検索してもよく、また、リスト１における参照ピクチャの中から現在の映像ブロックを求めるための別の参照映像ブロックを検索してもよい。そして、動き推定部２０４は、参照映像ブロックを含むリスト０およびリスト１における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定部２０４は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償部２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。

いくつかの例において、動き推定部２０４は、デコーダの復号処理のために、動き情報のフルセットを出力してもよい。

いくつかの例において、動き推定部２０４は、現在の映像に対する動き情報のフルセットを出力しなくてもよい。むしろ、動き推定部２０４は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定部２０４は、現在の映像ブロックの動き情報が隣接する映像ブロックの動き情報に十分に類似していることを判定してもよい。

一例において、動き推定部２０４は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ３００に示す値を示してもよい。

他の例において、動き推定部２０４は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）とを識別してもよい。動きベクトルの差分は、現在の映像ブロックの動きベクトルと、指定された映像ブロックの動きベクトルとの差分を示す。映像デコーダ３００は、指定された映像ブロックの動きベクトルと動きベクトル差分とを使用して、現在の映像ブロックの動きベクトルを決定してもよい。

上述したように、映像エンコーダ２００は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ２００によって実装され得る予測信号通知技法の２つの例は、ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）およびマージモード信号通知を含む。

イントラ予測部２０６は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測部２０６が現在の映像ブロックをイントラ予測する場合、イントラ予測部２０６は、同じピクチャにおける他の映像ブロックの復号されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックに対する予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。

残差生成部２０７は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって（例えば、マイナス符号によって示されている）、現在の映像ブロックに対する残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。

他の例において、例えば、スキップモードにおいて、現在の映像ブロックに対する残差データがなくてもよく、残差生成部２０７は、減算動作を行わなくてもよい。

変換処理部２０８は、現在の映像ブロックに関連付けられた残差映像ブロックに１つ以上の変換を適用することによって、現在の映像ブロックに対する１つ以上の変換係数映像ブロックを生成してもよい。

変換処理部２０８が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化部２０９は、現在の映像ブロックに関連付けられた１つ以上の量子化パラメータ（ＱＰ：Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。

逆量子化部２１０および逆変換部２１１は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成部２１２は、予測部２０２によって生成された１つ以上の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを追加して、バッファ２１３に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。

再構成部２１２が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。

エントロピー符号化部２１４は、映像エンコーダ２００の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化部２１４がデータを受信すると、エントロピー符号化部２１４は、１つ以上のエントロピー符号化動作を行い、エントロピー符号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを出力してもよい。

図６は、映像デコーダ３００の一例を示すブロック図であり、映像デコーダ３００は、図４に示すシステム１００における映像デコーダ１１４であってもよい。

映像デコーダ３００は、本開示の技術のいずれかまたはすべてを行うように構成されてもよい。図５の実施例において、映像デコーダ３００は、複数の機能コンポーネントを含む。本開示で説明される技法は、映像デコーダ３００の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

図６の実施形態において、映像デコーダ３００は、エントロピー復号部３０１、動き補償部３０２、イントラ予測部３０３、逆量子化部３０４、逆変換部３０５、および再構成部３０６、並びにバッファ３０７を含む。映像デコーダ３００は、いくつかの例では、映像エンコーダ２００（図５）に関して説明した符号化パスとほぼ逆の復号パスを行ってもよい。

エントロピー復号部３０１は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピー符号化された映像データ（例えば、映像データの符号化されたブロック）を含んでもよい。エントロピー復号部３０１は、エントロピー符号化された映像データを復号し、エントロピー復号された映像データから、動き補償部３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償部３０２は、例えば、ＡＭＶＰおよびマージモードを行うことで、このような情報を判定してもよい。

動き補償部３０２は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。構文要素には、サブピクセルの精度で使用される補間フィルタに対する識別子が含まれてもよい。

動き補償部３０２は、映像ブロックの符号化中に映像エンコーダ２０によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間値を計算してもよい。動き補償部３０２は、受信した構文情報に基づいて、映像エンコーダ２００が使用する補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してもよい。

動き補償部３０２は、符号化された映像シーケンスのフレームおよび／またはスライスを符号化するために使用されるブロックのサイズを判定するための構文情報、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、各インター符号化されたブロックに対する１つ以上の参照フレーム（および参照フレームリスト）、および符号化された映像シーケンスを復号するための他の情報のうちのいくつかを使用してもよい。

イントラ予測部３０３は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化部３０３は、ビットストリームに提供され、エントロピー復号部３０１によって復号された量子化された映像ブロック係数を逆量子化（すなわち、逆量子化）する。逆変換部３０３は、逆変換を適用する。

再構成部３０６は、残差ブロックと、動き補償部２０２またはイントラ予測部３０３によって生成された対応する予測ブロックとを合計し、復号されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用してもよい。復号された映像ブロックは、バッファ３０７に記憶され、バッファ３０７は、後続の動き補償／イントラ予測のために参照ブロックを提供し、表示デバイスに表示するためにデコードされた映像を生成する。

次に、いくつかの実施形態において好適な解決策を列挙する。

第１の解決策のセットを次に提供する。以下の解決策は、前章（例えば、項目１～９）で論じた技術の例示的な実施形態を示す。

１．映像処理方法（例えば、図３の方法６００）であって、１つ以上の映像ピクチャを含む１つ以上の映像レイヤを含む映像と映像のコーディングされた表現との間で変換を行うこと（６０２）を含み、コーディングされた表現はコーディングされた表現からのサブビットストリームの抽出に関するフォーマット規則に準拠する。

２．フォーマット規則に従って、コーディングされた表現からサブビットストリームを抽出することをさらに含む、解決策１に記載の方法。

以下の解決策は、前章（例えば、項目１）で論じた技術の例示的な実施形態を示す。

３．サブビットストリームを抽出する間に、抽出することに使用されるターゲットのｉｄは、０から、コーディングされた表現のための映像パラメータセットで示す構文フィールドの値の間の範囲となるように許可される、解決策１から２のいずれかに記載の方法。

以下の解決策は、前章（例えば、項目２）で論じた技術の例示的な実施形態を示す。

４．レイヤｉｄに従って、出力ビットストリームからアクセス部区切り文字ネットワーク抽象レイヤ（ＡＵＤ ＮＡＬ）を削除せずに、サブビットストリームを抽出する、解決策１から３のいずれかに記載の方法。

以下の解決策は、前章（例えば、項目３）で論じた技術の例示的な実施形態を示す。

５．抽出される出力レイヤに適用できないスケーラブルネスト化補足拡張情報メッセージを含むネットワーク抽象レイヤ部を選択的に削除することによって、サブビットストリームを抽出する、解決策１から４のいずれかに記載の方法。

以下の解決策は、前章（例えば、項目５）で論じた技術の例示的な実施形態を示す。

６．設定されている出力レイヤセットのためのフラグ、および、無効にされているサブピクチャのためのフラグを使用して、スケーラブルネスト化ＳＥＩメッセージからスケーラブルネスト化されていない補足拡張情報（ＳＥＩ）を生成するために抽出化することを制約することによって、サブビットストリームを抽出する、解決策１から５のいずれかに記載の方法。

以下の解決策は、前章（例えば、項目６）で論じた技術の例示的な実施形態を示す。

７．単一のＳＥＩネットワーク抽象レイヤ部からの複数のスケーラブルネスト化された補足拡張情報メッセージの抽出を規定する規則に従って、サブビットストリームは抽出される、解決策１から６のいずれかに記載の方法。

以下の解決策は、前章（例えば、項目７）で論じた技術の例示的な実施形態を示す。

８．いくつかのＳＥＩメッセージが抽出され、スケーラブルネスト化されていないＳＥＩメッセージとして含まれるすべての補足拡張情報ネットワーク抽象レイヤＳＥＩ ＮＡＬ部をコーディングされた表現から削除する規則に従って、サブビットストリームは抽出される、解決策１から７のいずれかに記載の方法。

以下の解決策は、前章（例えば、項目８～１３）で論じた技術の例示的な実施形態を示す。

１０．映像処理映像と該映像のコーディングされた表現との変換を行うことを含み、該コーディングされた表現は、１つ以上のサブビットストリームを含み、該変換は、サブビットストリーム抽出処理と該コーディングされた表現の１つ以上の構文要素との関係を規定する規則に従って行われる、映像処理方法。

１１．前記規則は、（１）ＮＡＬ部のタイプが特定のタイプであるか、または（２）映像のコーディングされたレイヤの時間的識別子が特定の条件を満たす、という２つの条件のうちの１つ以上が真である場合に、映像のコーディングされたレイヤが除去されるピクチャまたはサブピクチャに適用されるＳＥＩメッセージを含むすべての補足拡張情報（ＳＥＩ）ネットワーク抽象レイヤ部（ＮＡＬ）を除去することを規定する、解決策１０に記載の方法。

１２．前記規則は、ターゲットの出力レイヤにおけるレイヤ識別子がコーディングされた表現におけるレイヤ識別子のすべての値を含まない場合、この処理は、ｐａｙｌｏａｄＴｙｐｅが２０３に等しいスケーラブルネスト化されていないＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬ部をさらに削除することを規定する、解決策１０～１１のいずれかに記載の方法。

１３．変換を実行することは、映像をコーディングされた表現に符号化することを含む、解決策１から１２のいずれか１つに記載の方法。

１４．変換を行うことは、コーディングされた表現を構文解析し、復号して映像を生成することを含む、解決策１～１２のいずれかに記載の方法。

１５．解決策１～１４の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像復号装置。

１６．解決策１～１４の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像符号化装置。

１７．コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コードは、処理装置により実行されると、前記処理装置に、解決策１～１４のいずれかに記載の方法を実装させるコンピュータプログラム製品。

１８．本明細書に記載の方法、装置またはシステム。

第２の解決策のセットは、前章（例えば、項目１０および１１）で論じた技術の例示的な実施形態を示す。

１． 映像データの処理方法（例えば、図７Ａに示す方法７００）であって、この方法は、映像とこの映像のビットストリームとの間で変換を行うこと７０２を含み、このビットストリームは、規則に従って、複数の映像レイヤに対するネットワーク抽象レイヤ（ＮＡＬ）部を含み、この規則は、ビットストリームからＮＡＬ部を取り除き、出力ビットストリームを生成するサブビットストリーム抽出処理を定義し、この規則は、サブビットストリーム抽出処理に入力されるビットストリーム中のすべての映像コーディングレイヤ（ＶＣＬ）ＮＡＬ部のＮＡＬ部ヘッダレイヤ識別子のすべての値を含まないターゲットのＯＬＳインデックスを有する出力レイヤセット（ＯＬＳ）のＮＡＬ部ヘッダレイヤ識別子のリストに応じて、特定のペイロードタイプによるスケーラブルネスト化されていないＳＥＩメッセージを含むすべての補足拡張情報（ＳＥＩ）ＮＡＬ部を削除することを規定する、方法。

２．前記特定のペイロードタイプを有する前記スケーラブルネスト化されていないＳＥＩメッセージは、サブピクチャレベル情報ＳＥＩメッセージに対応する、解決策１に記載の方法。

３．特定のペイロードタイプは２０３に等しい、解決策１に記載の方法。

４．前記特定のペイロードタイプを有する前記スケーラブルネスト化されていないＳＥＩメッセージは、復号部情報メッセージに対応する、解決策１に記載の方法。

５．特定のペイロードタイプは１３０に等しい、解決策１に記載の方法。

６．映像データの処理方法（例えば、図７Ｂに示す方法７１０）であって、この方法は、映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、出力ビットストリームを生成するためのサブビットストリーム抽出処理を規定する規則に従って１つ以上のサブビットストリームに分離可能であり、この規則は、映像コーディングレイヤ（ＶＣＬ）ネットワーク抽象レイヤ（ＮＡＬ）部のタイプおよびＶＣＬ ＮＡＬ部に関連付けられた映像コーディングレイヤの時間的識別子に基づいて、サブビットストリーム抽出処理中にＶＣＬ ＮＡＬ部が削除されるピクチャまたはサブピクチャに適用されるＳＥＩメッセージを含むすべての補足拡張情報（ＳＥＩ）ネットワーク抽象レイヤ（ＮＡＬ）部を削除するかどうか、または、どのように削除するかを規定する、方法。

７．前記規則は、（１）ＴＲＡＩＬ＿ＮＵＴ、ＳＴＳＡ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ、またはＲＡＳＬ＿ＮＵＴ、またはＧＤＲ＿ＮＵＴに等しいＶＣＬ ＮＡＬ部のタイプ、および（２）映像コーディングレイヤの時間的識別子が、出力レイヤセットの映像コーディングレイヤにおけるサブレイヤの数以上であることに応じて、すべてのＳＥＩ ＮＡＬ部を削除することを規定する、解決策６に記載の方法。

８．前記ＶＣＬ ＮＡＬ部のタイプがＧＤＲ＿ＮＵＴに等しい場合、出力順に復号ピクチャのリカバリポイントを示す構文フィールドの値が０よりも大きい、解決策７に記載の方法。

９．前記規則は、前記出力ビットストリーム内にＳＥＩ ＮＡＬ部を保持することを規定する、解決策６に記載の方法。

１０．変換は、映像をビットストリームにエンコーディングすることを含む、解決策１～９のいずれかに記載の方法。

１１．変換は、ビットストリームから映像をデコーディングすることを含む、解決策１～９のいずれかに記載の方法。

１２．変換は、映像からビットストリームを生成することを含み、方法は、ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、解決策１～９のいずれかに記載の方法。

１３．解決策１～１２のいずれか１つ以上に記載の方法を実装するように構成された処理装置を備える映像処理装置。

１４．解決策１～１２のいずれか１つに記載の方法と、ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、映像のビットストリームを記憶する方法。

１５．実行されると、解決策１～１２のいずれか１つ以上に記載の方法を処理装置に実装させるプログラムコードを記憶したコンピュータ可読媒体。

１６．上述した方法のいずれかに従って生成されたコーディング表現またはビットストリームを記憶する、コンピュータ可読媒体。

１７．解決策１～１２のいずれか１つ以上に記載の方法を実装するように構成された、ビットストリームを記憶するための映像処理装置。

第３の解決策のセットは、前章（例えば、項目１２および１３）で論じた技術の例示的な実施形態を示す。

１．映像データの処理方法（例えば、図８に示す方法８００）であって、この方法は、規則に従って、映像とこの映像のビットストリームとの変換を行うこと８０２を含み、前記ビットストリームは、規則に従って、複数の映像レイヤに対するネットワーク抽象レイヤ（ＮＡＬ）部を含み、前記規則は、出力レイヤセット（ＯＬＳ）を含む出力ビットストリームを生成するためのサブビットストリーム抽出処理が、条件（１）前記ＯＬＳのＮＡＬ部ヘッダレイヤ識別子の値のリストが、前記ビットストリームのすべての映像コーディングレイヤ（ＶＣＬ）ＮＡＬ部のＮＡＬ部ヘッダレイヤ識別子のすべての値を含まない、および、条件（２）前記出力ビットストリームは、スケーラブルネスト化ＳＥＩメッセージを含む補足拡張情報（ＳＥＩ）ＮＡＬ部を含む、に応じて、選択的に行われる１つ以上の動作を含むことを定義する。

２．前記スケーラブルネスト化ＳＥＩメッセージは、前記出力ビットストリームと同じレイヤセットを有する特定のＯＬＳまたは特定のレイヤに適用される特定の値に等しい第１のフラグに関連付けられる、解決策１に記載の方法。

３．前記第１のフラグが０に等しいことは、特定のＯＬＳまたは特定のレイヤに適用されるスケーラブルネスト化されたＳＥＩメッセージが、特定のＯＬＳまたは特定のレイヤのすべてのサブピクチャに適用されることを規定する、解決策２に記載の方法。

４．前記スケーラブルネスト化ＳＥＩメッセージは、前記スケーラブルネスト化ＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを示す第２のフラグに関連付けられる、解決策１に記載の方法。

５．前記１つ以上の動作は、追加のＳＥＩ ＮＡＬ部を生成することを含む、解決策１～４のいずれかに記載の方法。

６．前記１つ以上の操作は、ＳＥＩ ＮＡＬ部を含むピクチャ部に追加のＳＥＩ ＮＡＬ部を含めることを含む、解決策５に記載の方法。

７．追加のＳＥＩ ＮＡＬ部はＳＥＩ ＮＡＬ部の直後にある、解決策６に記載の方法。

８．前記１つ以上の動作は、前記スケーラブルネスト化ＳＥＩメッセージからスケーラブルネスト化されたＳＥＩメッセージを抽出することと、前記スケーラブルネスト化されたＳＥＩメッセージを前記追加のＳＥＩ ＮＡＬ部に含めることと、をさらに含む、解決策６のいずれかに記載の方法。

９．前記１つ以上の動作は、前記出力ビットストリームから前記ＳＥＩ ＮＡＬ部を削除することを含む、解決策１に記載の方法。

１０．前記１つ以上の動作は、前記出力ビットストリームに前記ＳＥＩ ＮＡＬ部を維持することを含む、解決策１に記載の方法。

１１．変換は、映像をビットストリームにエンコーディングすることを含む、解決策１～１０のいずれかに記載の方法。

１２．変換は、ビットストリームから映像をデコーディングすることを含む、解決策１～１０のいずれかに記載の方法。

１３．変換は、映像からビットストリームを生成することを含み、方法は、ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、解決策１～１０のいずれかに記載の方法。

１４．解決策１～１３のいずれか１つ以上に記載の方法を実装するように構成された処理装置を備える映像処理装置。

１５．解決策１～１３のいずれか１つに記載の方法と、ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、映像のビットストリームを記憶する方法。

１６．実行されると、解決策１～１３のいずれか１つ以上に記載の方法を処理装置に実装させるプログラムコードを記憶するコンピュータ可読媒体。

１７．上述した方法のいずれかに従って生成されたビットストリームを記憶する、コンピュータ可読媒体。

１８．解決策１～１３のいずれか１つ以上に記載の方法を実装するように構成された、ビットストリームを記憶するための映像処理装置。

本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサ、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他の部として含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１または複数のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための１または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示されたすべての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、すべての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

関連出願の相互参照
本願は、２０２０年６月９日出願の米国特許仮出願第６３／０３６８６５号の優先権および利益を主張する２０２１年６月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０２１／０３６４７３号に基づく。上記出願の開示全体は、本明細書の開示として参照によりここに援用される。

Claims (18)

1. 映像データの処理方法であって、
   規則に従って、映像と前記映像のビットストリームとの間で変換を行うこと、を含み、
   前記ビットストリームは、規則に従って、複数の映像レイヤに対するネットワーク抽象レイヤ（ＮＡＬ）部を含み、
   前記規則は、出力レイヤセット（ＯＬＳ）を含む出力ビットストリームを生成するためのサブビットストリーム抽出処理が、条件（１）前記ＯＬＳのＮＡＬ部ヘッダレイヤ識別子の値のリストが、前記ビットストリームのすべての映像コーディングレイヤ（ＶＣＬ）ＮＡＬ部のＮＡＬ部ヘッダレイヤ識別子のすべての値を含まない、および、条件（２）前記出力ビットストリームは、スケーラブルネスト化ＳＥＩメッセージを含む補足拡張情報（ＳＥＩ）ＮＡＬ部を含む、に応じて、選択的に行われる１つ以上の動作を含むことを定義する、
   映像データの処理方法。
2. 前記スケーラブルネスト化ＳＥＩメッセージは、前記出力ビットストリームと同じレイヤのセットを有する特定のＯＬＳまたは特定のレイヤに適用される特定の値に等しい第１のフラグに関連付けられる、
   請求項１に記載の方法。
3. 前記第１のフラグが０に等しいことは、前記特定のＯＬＳまたは前記特定のレイヤに適用されるスケーラブルネスト化されたＳＥＩメッセージが、前記特定のＯＬＳまたは前記特定のレイヤのすべてのサブピクチャに適用されることを規定する、
   請求項２に記載の方法。
4. 前記スケーラブルネスト化ＳＥＩメッセージは、前記スケーラブルネスト化ＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを示す第２のフラグに関連付けられる、
   請求項１に記載の方法。
5. 前記１つ以上の動作は、追加のＳＥＩ ＮＡＬ部を生成することを含む、
   請求項１～４のうちいずれかに記載の方法。
6. 前記１つ以上の動作は、前記ＳＥＩ ＮＡＬ部を含むピクチャ部に前記追加のＳＥＩ ＮＡＬ部を含めることを含む、
   請求項５に記載の方法。
7. 前記追加のＳＥＩ ＮＡＬ部は、前記ＳＥＩ ＮＡＬ部の直後にある、
   請求項６に記載の方法。
8. 前記１つ以上の動作は、前記スケーラブルネスト化ＳＥＩメッセージからスケーラブルネスト化されたＳＥＩメッセージを抽出することと、前記スケーラブルネスト化されたＳＥＩメッセージを前記追加のＳＥＩ ＮＡＬ部に含めることと、をさらに含む、
   請求項６のいずれかに記載の方法。
9. 前記１つ以上の動作は、前記出力ビットストリームから前記ＳＥＩ ＮＡＬ部を削除することを含む、請求項１に記載の方法。
10. 前記１つ以上の動作は、前記出力ビットストリームに前記ＳＥＩ ＮＡＬ部を保持することを含む、請求項１に記載の方法。
11. 前記変換は、前記映像を前記ビットストリームにエンコーディングすることを含む、請求項１から請求項１０のいずれか１項に記載の方法。
12. 前記変換は、前記ビットストリームから前記映像をデコーディングすることを含む、請求項１から請求項１０のいずれか１項に記載の方法。
13. 前記変換は、前記映像から前記ビットストリームを生成することを含み、前記方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、請求項１～１０のいずれかに記載の方法。
14. 請求項１～１３のいずれか１項以上に記載の方法を実装するように構成された処理装置を備える映像処理装置。
15. 請求項１～１３のいずれか１項に記載の方法を含み、
    前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、
    映像のビットストリームを記憶する方法。
16. 実行されると、請求項１～１３のいずれか１つ以上に記載の方法を処理装置に実装させるプログラムコードを記憶するコンピュータ可読媒体。
17. 上述した方法のいずれかに従って生成されたビットストリームを記憶する、コンピュータ可読媒体。
18. 請求項１～１３のいずれか１つ以上に記載の方法を実装するように構成された、ビットストリームを記憶するための映像処理装置。

Images