JP2023519939A - 映像コーディングにおけるスライスタイプ - Google Patents

Abstract

映像処理のための方法および装置が記載される。この映像処理は、映像符号化、映像復号化、または映像コーディング変換を含み得る。１つの例示的な映像処理方法は、１つ以上のスライスを含む映像と、この映像のコーディングされた表現との間で変換を行うことを含み、このコーディングされた表現は、このコーディングされた表現におけるフィールドの条件がスライスタイプの制約、またはこのスライスタイプが映像スライスのこのコーディングされた表現に含まれているかどうかを制御することを規定するフォーマット規則に準拠し、このフィールドは、一般制約フラグ、ネットワーク抽象化レイヤーユニットタイプまたはこの映像スライスがアクセスユニットの第１の映像ピクチャに含まれているかを含む。【選択図】図３

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０２０年３月３０日出願の米国特許仮出願第６３／００２０６４号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

この特許文献は、画像および映像処理に関する。

デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

本願は、コーディングされた表現の復号化に有用な制御情報を使用して、映像のコーディングされた表現を処理するために、映像エンコーダおよびデコーダにより使用され得る技術を開示する。

１つの例示的な態様において、映像処理方法が開示される。この方法は、１つ以上のスライスを含む１つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、この１つ以上のスライスのうちのスライスのスライスタイプが、このビットストリームにおいて示されるかどうかまたはどのように示されるかは条件に依存し、この条件は、一般制約フラグ、ネットワーク抽象化レイヤーユニットタイプ、またはこのスライスがアクセスユニットの第１のピクチャにあるかどうかに基づくことを規定している。

別の例示的な態様において、映像処理方法が開示される。この方法は、複数のスライスを含むピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、ピクチャヘッダにおけるフラグがこのピクチャにおけるすべてのスライスの適応ループフィルタリングの適用可能性を制御することを規定するフォーマット規則に準拠する。

別の例示的な態様において、映像処理方法が開示される。この方法は、１つ以上のスライスを含む１つ以上のピクチャを含む映像と、この映像のビットストリームとの間で、フォーマット規則に基づいて変換を行うことを含み、フォーマット規則は、この映像に関連付けられたパラメータセットの繰り返し時間を規定する。

別の例示的な態様において、映像処理方法が開示される。この方法は、映像ユニット内のピクチャを含む映像と、この映像のビットストリームとの間でフォーマット規則に従って変換を行うことを含み、このフォーマット規則は、ピクチャの幅がこの映像ユニット内の最大許容ピクチャ幅に等しく、このピクチャの高さがこの映像ユニット内の最大許容ピクチャ高さに等しいことに呼応して、このピクチャに対応するピクチャパラメータセットにおける適合性ウィンドウフラグをゼロ値に設定することを規定する。

別の例示的な態様において、映像処理方法が開示される。この方法は、１つ以上のスライスを含む１つ以上のピクチャを含む映像と、この映像のコーディングされた表現との間で変換を行うことを含み、このコーディングされた表現は、このコーディングされた表現におけるフィールドの条件がスライスタイプに対する制約を制御すること、またはこのスライスタイプがこの映像スライスのコーディングされた表現に含まれているかどうかを規定するフォーマット規則に準拠し、このフィールドは、一般制約フラグ、ネットワーク抽象レイヤーユニットタイプ、またはこの映像スライスがアクセスユニットの第１の映像ピクチャに含まれているかどうかを含む。

別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のスライスを含む１つ以上のピクチャを含む映像と、この映像のコーディングされた表現との間で変換を行うことを含み、このコーディングされた表現は、映像ピクチャのピクチャヘッダにおけるフラグの値に基づいて、映像ピクチャにおけるすべてのスライスの適応ループフィルタリングを無効化することを規定するフォーマット規則に準拠する。

別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のスライスを含む１つ以上のピクチャを含む映像と、この映像のコーディングされた表現との間で変換を行うことを含み、このコーディングされた表現は、現在のピクチャの高さおよび幅が映像の最大高さおよび最大幅に等しい場合、適合性ウィンドウフラグを無効モードに設定することを規定するフォーマット規則に従う。

別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のスライスを含む１つ以上のピクチャを含む映像と、この映像のコーディングされた表現との間で変換を行うことを含み、このコーディングされた表現は、パラメータセットの繰り返し時間を規定するフォーマット規則に準拠する。

さらに別の例示的な態様において、映像エンコーダ装置が開示される。この映像エンコーダは、上述した方法を実装するように構成されたプロセッサを備える。

さらに別の例示的な態様において、映像デコーダ装置が開示される。この映像デコーダは、上述した方法を実装するように構成されたプロセッサを備える。

さらに別の例示的な態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の１つをプロセッサが実行可能なコードの形式で実施する。

これらのおよび他の特徴は、本明細書全体にわたって説明される。

映像処理システム例を示すブロック図である。 映像処理装置のブロック図である。 映像処理方法の一例を示すフローチャートである。 本開示のいくつかの実施形態による映像コーディングシステムを示すブロック図である。 本発明のいくつかの実施形態によるエンコーダを示すブロック図である。 本発明のいくつかの実施形態によるデコーダを示すブロック図である。 適応ループフィルタ（ＡＬＦ）の形状の例を示す（彩度：５×５菱形、輝度：７×７菱形）。 ＡＬＦおよびＣＣ－ＡＬＦ図の例を示す。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。

本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、Ｈ．２６６という用語は、ある説明において、理解を容易にするためだけに用いられ、開示される技術の範囲を限定するために用いられたものではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。

１．導入
本明細書は、映像コーディング技術に関する。具体的には、スライスタイプ、ＡＬＦ、および適合性ウィンドウの信号通知、並びにＶＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ、およびＤＣＩ ＮＡＬユニットを含めたいくつかの非ＶＣＬ ＮＡＬユニットの繰り返しの改善に関する。この考えは、個々にまたは様々な組み合わせで、マルチレイヤー映像コーディング、例えば、現在開発されているＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）をサポートする任意の映像コーディング規約または非標準映像コーデックに適用されてもよい。
２．略語
ＡＬＦ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ（適応ループフィルタ）
ＡＰＳ Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（適応パラメータセット）
ＡＵ Ａｃｃｅｓｓ Ｕｎｉｔ（アクセスユニット）
ＡＵＤ Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ（アクセスユニットデリミター）
ＡＶＣ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高度映像コーディング）
ＣＬＶＳ Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ（コーディングされたレイヤー映像シーケンス）
ＣＰＢ Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ（コーディングされたピクチャバッファ）
ＣＲＡ Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ（クリーンランダムアクセス）
ＣＴＵ Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（コーディングツリーユニット）
ＣＶＳ Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ（コーディングされた映像シーケンス）
ＤＣＩ Ｄｅｃｏｄｉｎｇ Ｃａｐａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（復号化能力情報）
ＤＰＢ Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ（復号化されたピクチャバッファ）
ＤＵ Ｄｅｃｏｄｉｎｇ Ｕｎｉｔ（復号化ユニット）
ＥＯＢ Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ（ビットストリーム終端）
ＥＯＳ Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ（シーケンス終端）
ＧＤＲ Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ（漸次的復号リフレッシュ）
ＨＥＶＣ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率映像コーディング）
ＨＲＤ Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想参照デコーダ）
ＩＤＲ Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ（瞬時復号リフレッシュ）
ＪＥＭ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（共同探索モデル）
ＬＭＣＳ Ｌｕｍａ Ｍａｐｐｉｎｇ ｗｉｔｈ Ｃｈｒｏｍａ Ｓｃａｌｉｎｇ（彩度スケーリングを伴う輝度マッピング）
ＭＣＴＳ Ｍｏｔｉｏｎ－Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ（動き制約タイルセット）
ＮＡＬ Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ（ネットワーク抽象化レイヤー）
ＯＬＳ Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ（出力レイヤーセット）
ＰＨ Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ（ピクチャヘッダ）
ＰＰＳ Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ピクチャパラメータセット）
ＰＴＬ Ｐｒｏｆｉｌｅ，Ｔｉｅｒ ａｎｄ Ｌｅｖｅｌ（プロファイル、ティアおよびレベル）
ＰＵ Ｐｉｃｔｕｒｅ Ｕｎｉｔ（ピクチャユニット）
ＲＡＤＬ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ（Ｐｉｃｔｕｒｅ）（ランダムアクセス復号可能リード）（ピクチャ）
ＲＡＰ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ（ランダムアクセスポイント）
ＲＡＳＬ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ（Ｐｉｃｔｕｒｅ）（ランダムアクセススキップリード）（ピクチャ）
ＲＢＳＰ Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ（生バイトシーケンスペイロード）
ＲＰＬ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｌｉｓｔ（参照ピクチャリスト）
ＳＡＯ Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ（サンプル適応オフセット）
ＳＥＩ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補足強化情報）
ＳＰＳ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（シーケンスパラメータセット）
ＳＴＳＡ Ｓｔｅｐ－ｗｉｓｅ Ｔｅｍｐｏｒａｌ Ｓｕｂｌａｙｅｒ Ａｃｃｅｓｓ（ステップワイズ時間サブレイヤーアクセス）
ＳＶＣ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（スケーラブル映像コーディング）
ＶＣＬ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ（映像コーディングレイヤー）
ＶＰＳ Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（映像パラメータセット）
ＶＴＭ ＶＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＶＶＣ試験モデル）
ＶＵＩ Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（映像ユーザビリティ情報）
ＶＶＣ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（汎用映像コーディング）

３．初期の協議
映像コーディング規約は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４ Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ［１］規格を共同で作った。Ｈ．２６２以来、映像コーディング規約は、時間予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。ＨＥＶＣを超えた将来の映像コーディング技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅ）［２］と呼ばれる参照ソフトウェアに組み込まれてきた。ＪＶＥＴは四半期に１回開催され、新しいコーディング規約はＨＥＶＣに比べて５０％のビットレート低減を目指している。２０１８年４月のＪＶＥＴ会議において、新しい映像コーディング規約を「ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」と正式に命名し、その時、第１版のＶＶＣテストモデル（ＶＴＭ）をリリースした。ＶＶＣの標準化に寄与する努力が続けられているので、すべてのＪＶＥＴ会議において、ＶＶＣ標準に新しいコーディング技術が採用されている。毎回の会議の後、ＶＶＣ作業草案およびテストモデルＶＴＭを更新する。ＶＶＣプロジェクトは、現在、２０２０年７月の会合における技術完成（ＦＤＩＳ）を目指している。

３．１．パラメータセット
ＡＶＣ、ＨＥＶＣ、ＶＶＣはパラメータセットを指定する。パラメータセットのタイプは、ＳＰＳ、ＰＰＳ、ＡＰＳ、ＶＰＳ等である。ＳＰＳ、ＰＰＳは、ＡＶＣ、ＨＥＶＣ、ＶＶＣのすべてでサポートされている。ＶＰＳは、ＨＥＶＣから導入されたものであり、ＨＥＶＣおよびＶＶＣの両方に含まれる。ＡＰＳは、ＡＶＣまたはＨＥＶＣに含まれていなかったが、最近のＶＶＣ草案のテキストに含まれている。

ＳＰＳは、シーケンスレベルのヘッダ情報を伝送するように設計され、ＰＰＳは、頻繁に変化しないピクチャレベルのヘッダ情報を担持するように設計された。ＳＰＳおよびＰＰＳを用いると、シーケンスまたはピクチャごとに頻繁に変化する情報を繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、ＳＰＳおよびＰＰＳを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。

ＶＰＳは、マルチレイヤーのビットストリームのすべてのレイヤーに共通であるシーケンスレベルのヘッダ情報を担持するために導入された。

ＡＰＳは、コード化するためにかなりのビットを必要とし、複数のピクチャによって共有され得る、このようなピクチャレベルまたはスライスレベルの情報を担持するために導入された。そして、シーケンスにおいて、非常に多くの異なる変形例が存在し得る。

３．２．ＶＶＣにおけるスライスヘッダおよびピクチャヘッダ
ＨＥＶＣと同様に、ＶＶＣにおけるスライスヘッダは、特定のスライスに関する情報を伝達する。これは、スライスアドレス、スライスタイプ、スライスＱＰ、ピクチャオーダカウント（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ、ＬＳＢｓ）、ＲＰＳおよびＲＰＬ情報、重み付け予測パラメータ、ループフィルタリングパラメータ、タイルおよびＷＰＰのエントリオフセット等が含まれる。

ＶＶＣでは、特定のピクチャのためのヘッダパラメータを含むピクチャヘッダ（ＰＨ）を導入した。各ピクチャは、１つのＰＨまたは１つのＰＨのみを有する必要がある。ＰＨは、基本的に、ＰＨが導入されなかった場合に、それぞれが１つのピクチャのすべてのスライスに対して同じ値を有するが、スライスヘッダにあったであろうパラメータを伝える。これらは、ＩＲＡＰ／ＧＤＲピクチャ指示、インター／イントラスライス許可フラグ、ＰＯＣ ＬＳＢ、およびオプションとしてＰＯＣ ＭＳＢ、ＲＰＬ、デブロッキング、ＳＡＯ、ＡＬＦ、ＱＰデルタ、および重み付き予測、コーディングブロック分割情報、仮想境界、同一位置ピクチャ情報等に関する情報を含む。ピクチャのシーケンス全体における各ピクチャは１つのスライスのみを含むことが多い。このような場合、ピクチャごとに少なくとも２つのＮＡＬユニットを有することを許可しないために、ＰＨ構文構造は、ＰＨ ＮＡＬユニットまたはスライスヘッダのいずれかに含めることができる。

ＶＶＣにおいて、時間的動きベクトル予測に使用される同一位置ピクチャの情報は、ピクチャヘッダまたはスライスヘッダのいずれかにおいて信号通知される。

３．３ シーケンス内のピクチャ解像度の変更
ＡＶＣおよびＨＥＶＣにおいて、ピクチャの空間的解像度は、新しいＳＰＳを使用する新しいシーケンスがＩＲＡＰピクチャで始まらない限り、変更することができない。ＶＶＣは、常にイントラコーディング化されたＩＲＡＰピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャが復号化されている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるため、参照ピクチャリサンプリング（ＲＰＲ）と称する。

スケーリング比は、１／２（参照ピクチャから現在のピクチャへのダウンサンプリングの２倍）以上８（８倍のアップサンプリング）以下に制限される。参照ピクチャと現在のピクチャとの間の様々なスケーリング比に対処するために、周波数カットオフが異なる３つの再サンプリングフィルタを規定する。３つの組の再サンプリングフィルタは、それぞれ、１／２～１／１．７５、１／１．７５～１／１．２５、および１／１．２５～８の範囲のスケーリング比に適用される。各組の再サンプリングフィルタは、動き補償補間フィルタの場合と同様に、輝度に対して１６個の位相を有し、彩度に対して３２個の位相を有する。実際には、通常のＭＣ補間プロセスは、１／１．２５～８の範囲のスケーリング比を有する再サンプリングプロセスの特殊な場合である。水平および垂直スケーリング比は、ピクチャの幅および高さ、並びに参照ピクチャおよび現在のピクチャに対して指定された左、右、上および下のスケーリングオフセットに基づいて導出される。

ＨＥＶＣとは異なる、この特徴をサポートするためのＶＶＣ設計の他の態様は、ｉ）ＳＰＳの代わりにＰＰＳにおいてピクチャ解像度および対応する適合性ウィンドウを信号通知すること、ＳＰＳにおいて最大ピクチャ解像度を信号通知すること、ｉｉ）単レイヤービットストリームの場合、各ピクチャ記憶装置（１つの復号化ピクチャを記憶するためのＤＰＢにおける１つのスロット）は、最大ピクチャ解像度を有する復号化ピクチャを記憶するために必要なバッファサイズを占めることを含む。

３．４ 適応ループフィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）
２つの菱形フィルタ形状（図７に示す）がブロックベースのＡＬＦにおいて使用される。輝度成分に対し７×７の菱形が適用され、彩度成分には５×５の菱形が適用される。局所的な勾配の方向および活性度に基づいて、４×４ブロックごとに最大２５個までのフィルタのうち１つを選択する。ピクチャにおける各４×４ブロックは、方向性および活性度に基づいて分類される。各４×４ブロックをフィルタリングする前に、そのブロックに対して計算された勾配値に基づいて、回転または対角および垂直フリップ等の簡単な幾何学的変換をフィルタ係数に適用することができる。これは、これらの変換をフィルタサポート領域内のサンプルに適用することに等しい。その考えは、ＡＬＦが適用される異なるブロックを、それらの方向性を揃えることによって、より類似させることである。ブロックベースの分類は彩度成分には適用されない。

ＡＬＦフィルタパラメータは、適応パラメータセット（ＡＰＳ）において信号通知される。１つのＡＰＳにおいて、最大２５組の輝度フィルタ係数およびクリッピング値インデックス、並びに最大８組の彩度フィルタ係数およびクリッピング値インデックスを信号通知することができる。ビットオーバーヘッドを低減するために、輝度成分の異なる分類のフィルタ係数をマージすることができる。ピクチャまたはスライスヘッダにおいて、現在のピクチャまたはスライスに対して使用される輝度フィルタセットを特定するように、最大７個のＡＰＳのＩＤを通知することができる。フィルタリング処理はＣＴＢレベルでさらに制御される。１つの輝度ＣＴＢは、１６個の固定フィルタセットと複数のＡＰＳにおいて信号通知されるフィルタセットから、１つのフィルタセットを選択することができる。彩度成分の場合、現在のピクチャまたはスライスに使用されている彩度フィルタセットを示すように、ピクチャまたはスライスヘッダにＡＰＳ ＩＤを信号通知する。ＣＴＢレベルにおいて、ＡＰＳにおいて２以上の彩度フィルタセットが存在する場合、各彩度ＣＴＢに対しフィルタインデックスを信号通知する。ＣＴＢに対してＡＬＦが有効化されるとき、そのＣＴＢ内の各サンプルに対して、信号伝達された重みを有する菱形フィルタを実行し、クリッピング演算を適用して、隣接するサンプルと現在のサンプルとの間の差をクリップする。クリッピング演算は、現在のサンプル値とあまりにも異なる近傍サンプル値の影響を低減することによって、ＡＬＦをより効率的にするように、非線形性を導入する。

クロスコンポーネント適応ループフィルタ（ＣＣ－ＡＬＦ）は、前述のＡＬＦの上部の各彩度成分をさらに強化することができる。ＣＣ－ＡＬＦの目的は、輝度サンプル値を使用して各彩度成分を精製することである。これは、菱形のハイパス線形フィルタを適用し、このフィルタリング演算の出力を彩度微調整に用いることによって実現される。図８は、他のループフィルタに対するＣＣ－ＡＬＦ処理のシステムレベルダイアグラムを提供する。図８に示すように、ＣＣ－ＡＬＦは、全ループフィルタ処理の追加の工程を避けるために、輝度ＡＬＦと同じ入力を使用する。

４．開示される解決策によって解決される技術課題
最近のＶＶＣテキスト（ＪＶＥＴ－Ｑ２００１－ｖＥ／ｖ１５）における既存の設計は、以下の問題を有する。
１）ｓｌｉｃｅ＿ｔｙｐｅの値は、以下のように制約される。

２）ｐｈ＿ａｌｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇの意味は、次のように定義され、曖昧である。

３）適合性ウィンドウパラメータは、常にＰＰＳにおいて信号通知され、ピクチャの幅および高さが、ＰＰＳによって参照されるＳＰＳにおいて信号通知される最大のピクチャの幅および高さと同一である場合を含む。一方、ＳＰＳにおいて、最大のピクチャ幅および高さを有するピクチャの適合性ウィンドウパラメータも通知される。ＰＰＳにおいて、ピクチャの幅および高さが最大であるピクチャの適合性ウィンドウパラメータを信号通知することは、冗長である。
４）ＳＥＩメッセージの大部分の繰り返しは、１つのＰＵまたはＤＵ内で最大４倍に制限される。ＰＨ、ＡＵＤ、ＥＯＳ、ＥＯＢ ＮＡＬユニットの繰り返しは許可されない。フィラーデータＮＡＬユニットの繰り返しは、必要な回数だけ許可される必要がある（例えば、一定のビットレートを達成するために）。しかしながら、他の非ＶＣＬ ＮＡＬユニット、即ち、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ、およびＤＣＩ ＮＡＬユニットの繰り返し時間に制限はない。

５．技術的解決策の一覧
上述した課題等を解決するために、以下に示す方法が開示されている。本発明は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、本発明は、個々に適用されてもよいし、任意に組み合わせて適用されてもよい。
１）問題１を解決するために、ｓｌｉｃｅ＿ｔｙｐｅおよび／またはｓｌｉｃｅ＿ｔｙｐｅの信号通知に関する制約は、一般的な制約フラグ／ＮＡＬユニットのタイプ／現在のピクチャが現在のＡＵにおける第１のピクチャであるかどうかに関連付けられた条件に依存し得る。
ａ．一例において、この条件は、以下を含んでよい。
ｉ．ｉｎｔｒａ＿ｏｎｌｙ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇが１に等しい場合。
ｉｉ．ＮＡＬユニットタイプがＩＲＡＰ ＮＡＬユニットタイプであり、現在のピクチャが現在のＡＵにおける第１のピクチャである場合。
ｉｉｉ．指示（例えば、ＳＰＳフラグ）が、ピクチャ（または現在のピクチャを含むＣＬＶＳ、または現在のピクチャを含む任意の他のピクチャのセット）においてイントラスライスのみが許可されることを通知する場合。
ｂ．ｓｌｉｃｅ＿ｔｙｐｅ値の制約を更新し、最初の２つの条件のうちの１つまたは上記条件のすべてのうちの１つの条件が真である場合に、ｓｌｉｃｅ＿ｔｙｐｅ値も２に等しい値になるように要求されるようにしてもよい。
ｃ．あるいは、最初の２つの条件のうちの１つまたは上記条件のうちの１つが真である場合、ｓｌｉｃｅ＿ｔｙｐｅの信号通知をスキップし、Ｉスライスであると推論することができる（すなわち、ｓｌｉｃｅ＿ｔｙｐｅが２である）。
ｄ．さらに、ＮＡＬユニットタイプがＩＲＡＰ ＮＡＬユニットタイプであり、現在のレイヤーが独立レイヤーである場合、ｓｌｉｃｅ＿ｔｙｐｅの信号通知はスキップされ、Ｉスライスであると推論されてもよい。
２）問題２を解決するために、ｐｈ＿ａｌｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、現在のピクチャのすべてのスライスに対してＡＬＦを無効化することを規定することができる。
３）問題３を解決するために、ピクチャの幅および高さが最大ピクチャの幅および高さである場合、ｐｐｓ＿ｃｏｎｆｏｒｍａｎｃｅ＿ｗｉｎｄｏｗ＿ｆｌａｇの値は０に等しいことが必要な場合がある。
ａ．また、ピクチャの幅および高さが最大のピクチャの幅および高さである場合、ＰＰＳ適合性ウィンドウ構文要素の値は、ＳＰＳにおいて信号通知されるものと同じであると推論し、それ以外の場合には、０に等しいと推論するように規定してもよい。
４）問題４を解決するために、ランダムアクセスのような機能に影響を及ぼさない範囲でＶＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ、およびＤＣＩ ＮＡＬユニットの繰り返し時間に何らかの制限を設けるために、以下の制約の１つ以上を規定することができる。

ａ．ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有するＶＰＳ ＮＡＬユニットがＣＶＳに存在する場合、ＶＰＳ ＮＡＬユニットは、ＣＶＳの第１のＡＵに存在しなければならず、かつＩＤＲ＿Ｗ＿ＲＡＤＬ～ＧＤＲ＿ＮＵＴの範囲内にあるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する少なくとも１つのＶＣＬ ＮＡＬユニットを有する任意のＡＵに存在してもよく、かつ他のＡＵに存在してはならない。
ｉ．あるいは、上記中、「ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＧＤＲ＿ＮＵＴ」を「ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＲＳＶ＿ＩＲＡＰ＿１２」に変更する。
ｂ．１つのＰＵにおいてｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有するＶＰＳ ＮＡＬユニットの数は、１より大きくてはならない。

ｃ．ＣＬＶＳの関連付けられたＡＵセットを、復号順にＣＬＶＳの最初のピクチャを含むＡＵから、復号順にＣＬＶＳの最後のピクチャを含むＡＵまでのＡＵのセットとする。
ｄ．ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有するＳＰＳ ＮＡＬユニットが、ＳＰＳを参照するＣＬＶＳの関連付けられたＡＵセット（ａｓｓｏｃｉａｔｅｄＡｕＳｅｔ）に存在する場合、ＳＰＳ ＮＡＬユニットは、ａｓｓｏｃｉａｔｅｄＡｕＳｅｔの第１のＡＵに存在しなければならず、かつＩＤＲ＿Ｗ＿ＲＡＤＬ～ＧＤＲ＿ＮＵＴの範囲内にｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する少なくとも１つのＶＣＬ ＮＡＬユニットを有するａｓｓｏｃｉａｔｅｄＡｕＳｅｔの任意のＡＵに存在してもよく、かつ他のＡＵに存在してはならない。
ｉ．あるいは、ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有するＳＰＳ ＮＡＬユニットがＣＬＶＳに存在する場合、このユニットは、ＣＬＶＳの第１のＰＵに存在しなければならず、かつＩＤＲ＿Ｗ＿ＲＡＤＬ～ＧＤＲ＿ＮＵＴの範囲内にｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する少なくとも１つのコーディングされたスライスＮＡＬユニットを有する任意のＰＵに存在してもよく、かつ他のＰＵに存在してはならない。
ｉｉ．４．ｄ．または４．ｄ．ｉ項において、「ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＧＤＲ＿ＮＵＴ」を「ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＲＳＶ＿ＩＲＡＰ＿１２」に変更することができる。
ｅ．１つのＰＵにおいてｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有するＳＰＳ ＮＡＬユニットの数は、１以下でなくてはならない。

ｆ．１つのＰＵにおいてｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有するＰＰＳ ＮＡＬユニットの数は、１以下でなくてはならない。

ｇ．１つのＰＵにおいて、ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有し、かつ、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの特定の値を有するＡＰＳ ＮＡＬユニットの数は、１以下でなくてはならない。
ｉ．あるいは、１つのＤＵにおいて、ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値、かつ、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの特定の値を有するＡＰＳ ＮＡＬユニットの数は、１以下でなくてはならない。

ｈ．ＤＣＩ ＮＡＬユニットがビットストリームに存在するとき、このユニットはこのビットストリームの第１のＣＶＳに存在しなければならない。
ｉ．ＤＣＩ ＮＡＬユニットがＣＶＳに存在する場合、それはＣＶＳの第１のＡＵに存在しなければならず、ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＧＤＲ＿ＮＵＴの範囲内にあるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する少なくとも１つのＶＣＬ ＮＡＬユニットを有する任意のＡＵに存在してもよく、他のＡＵに存在してはならない。
ｊ．１つのＰＵにおけるＤＣＩ ＮＡＬユニットの数は、１以下でなくてはならない。

６．１．第１の実施形態
この実施形態は、項目１に対するものである。
以下の制約：
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＩＤＲ＿Ｗ＿ＲＡＤＬ～ＣＲＡ＿ＮＵＴの範囲内にあり、かつｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］が１に等しい場合は、ｓｌｉｃｅ＿ｔｙｐｅは２に等しいものとする。
は、以下の様に変更される。：

６．２．第２の実施形態
この実施形態は、項目２に対するものである。

６．３．第３の実施形態
この実施形態は、項目３に対するものである。

７．４．３．４ ピクチャパラメータセットＲＢＳＰ意味論
．．．

適合性クロッピングウィンドウは、ＳｕｂＷｉｄｔｈＣ＊ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔからｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－（ＳｕｂＷｉｄｔｈＣ＊ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＋１）への水平ピクチャ座標、およびＳｕｂＨｅｉｇｈｔＣ＊ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔからｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－（ＳｕｂＨｅｉｇｈｔＣ＊ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＋１）への垂直ピクチャ座標を有する輝度サンプルを含む。
ＳｕｂＷｉｄｔｈＣ＊（ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＋ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ）の値は、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓよりも小さいものとし、ＳｕｂＨｅｉｇｈｔＣ＊（ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ＋ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ）の値は、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより小さいものとする。
ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０に等しくない場合、２つの彩度配列の対応する規定されたサンプルは、ピクチャ座標（ｘ／ＳｕｂＷｉｄｔｈＣ，ｙ／ＳｕｂＨｅｉｇｈｔＣ）を有するサンプルであり、（ｘ，ｙ）は、規定された輝度サンプルのピクチャ座標である。
注２－適合性クロッピングウィンドウのオフセットパラメータは、出力側でのみ適用される。すべての内部復号化処理が、アンクロップされたピクチャサイズに対して適用される。
ｐｐｓＡおよびｐｐｓＢを、同じＳＰＳを参照する任意の２つのＰＰＳとする。ｐｐｓＡおよびｐｐｓＢが、それぞれｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓおよびｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓと同じ値を有する場合、ｐｐｓＡおよびｐｐｓＢは、それぞれｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔと同じ値を有するものとすることが、ビットストリーム適合性の要件である。
ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓがｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しく、かつ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓがｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しい場合、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔが、それぞれ、ｓｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｓｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｓｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｓｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔと等しいことがビットストリーム適合性の要件である。

図１は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１９００を示すブロック図である。様々な実装形態は、システム１９００のモジュールの一部または全部を含んでもよい。システム１９００は、映像コンテンツを受信するための入力１９０２を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、８または１０ビットのマルチコンポーネント画素値で受信されてもよく、または、圧縮または符号化フォーマットで受信されてもよい。入力１９０２は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、ＰＯＮ（登録商標；Ｐａｓｓｉｖｅ Ｏｐｔｉｃａｌ Ｎｅｔｗｏｒｋ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。

システム１９００は、本明細書に記載される様々なコーディングまたは符号化方法を実装することができるコーディングコンポーネント１９０４を含んでもよい。コーディングコンポーネント１９０４は、入力１９０２からの映像の平均ビットレートをコーディングコンポーネント１９０４の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像トランスコーディング技術と呼ばれることがある。コーディングコンポーネント１９０４の出力は、コンポーネント１９０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力１９０２において受信された、記憶されたまたは通信された映像のビットストリーム（またはコーディングされた）表現は、表示インターフェース１９１０に送信される画素値、または表示可能な映像の生成のために、コンポーネント１９０８によって使用されてもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作、またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダによって使用され、コーディングの結果を逆転させる対応する復号化ツールまたは動作は、デコーダによって行われることが理解されよう。

周辺バスインターフェースまたは表示インターフェースの例は、ＵＳＢ（登録商標；Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）またはＨＤＭＩ（登録商標；Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、ＳＡＴＡ（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および／または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。

図２は、映像処理装置３６００のブロック図である。装置３６００は、本明細書に記載の方法の１つ以上を実装するために使用されてもよい。装置３６００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等に実施されてもよい。装置３６００は、１つ以上のプロセッサ３６０２と、１つ以上のメモリ３６０４と、映像処理ハードウェア３６０６と、を含んでもよい。１つまたは複数のプロセッサ３６０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。メモリ（複数可）３６０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア３６０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。

図４は、本開示の技法を利用し得る例示的な映像コーディングシステム１００を示すブロック図である。

図４に示すように、映像コーディングシステム１００は、送信元装置１１０と、送信先装置１２０と、を備えてもよい。送信元装置１１０は、映像コーディング機器とも称され得る符号化された映像データを生成する。送信先装置１２０は、送信元装置１１０によって生成された符号化された映像データを復号化してよく、映像復号化機器とも呼ばれ得る。

送信元装置１１０は、映像ソース１１２と、映像エンコーダ１１４と、入出力（Ｉ／Ｏ）インターフェース１１６と、を含んでよい。

映像ソース１１２は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および／または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、１または複数のピクチャを含んでもよい。映像エンコーダ１１４は、映像ソース１１２からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。Ｉ／Ｏインターフェース１１６は、変復調器（モデム）および／または送信機を含んでもよい。符号化された映像データは、ネットワーク１３０ａを介して、Ｉ／Ｏインターフェース１１６を介して送信先装置１２０に直接送信されてよい。符号化された映像データは、送信先装置１２０がアクセスするために、記録媒体／サーバ１３０ｂに記憶してもよい。

送信先装置１２０は、Ｉ／Ｏインターフェース１２６、映像デコーダ１２４、および表示装置１２２を含んでもよい。

Ｉ／Ｏインターフェース１２６は、受信機および／またはモデムを含んでもよい。Ｉ／Ｏインターフェース１２６は、送信元装置１１０または記憶媒体／サーバ１３０ｂから符号化された映像データを取得してもよい。映像デコーダ１２４は、符号化された映像データを復号化してもよい。表示装置１２２は、復号化された映像データをユーザに表示してもよい。表示装置１２２は、送信先装置１２０と一体化されてもよく、または外部表示装置とインターフェースするように構成される送信先装置１２０の外部にあってもよい。

映像エンコーダ１１４および映像デコーダ１２４は、高効率映像コーディング（ＨＥＶＣ）規約、汎用映像コーディング（ＶＶＣ）規約、および他の現在および／または更なる規約等の映像圧縮規格に従って動作してもよい。

図５は、映像エンコーダ２００の一例を示すブロック図であり、図４に示されるシステム１００における映像エンコーダ１１４であってもよい。

映像エンコーダ２００は、本開示の技術のいずれかまたは全部を実行するように構成されてもよい。図５の実施例において、映像エンコーダ２００は、複数の機能性モジュールを含む。本開示で説明される技法は、映像エンコーダ２００の様々なモジュール間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

映像エンコーダ２００の機能コンポーネントは、分割部２０１、予測部２０２を含んでもよく、予測部２０２は、モード選択部２０３、動き推定部２０４、動き補償部２０５、およびイントラ予測部２０６、残差生成部２０７、変換部２０８、量子化部２０９、逆量子化部２１０、逆変換部２１１、再構成部２１２、バッファ２１３、およびエントロピー符号化部２１４を含んでもよい。

他の例において、映像エンコーダ２００は、より多く、より少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測部２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含んでもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが現在の映像ブロックが位置するピクチャであるＩＢＣモードにおいて予測を行うことができる。

さらに、動き推定部２０４および動き補償部２０５などのいくつかのモジュールは、高度に統合されてもよいが、説明のために、図５の例においては別個に表現されている。

分割部２０１は、１つのピクチャを１または複数の映像ブロックに分割してもよい。映像エンコーダ２００および映像デコーダ３００は、様々な映像ブロックサイズをサポートしてもよい。

モード選択部２０３は、例えば、誤りの結果に基づいて、イントラまたはインターのコーディングモードのうちの１つを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成部２０７に供給し、残差ブロックデータを生成して再構成部２１２に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例において、モード選択部２０３は、インター予測信号およびイントラ予測信号に基づいて予測を行うＣＩＩＰ（Ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｉｎｔｒａ ａｎｄ Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）モードを選択してもよい。また、モード選択部２０３は、インター予測の場合、ブロックの動きベクトルの解像度（例えば、サブピクセルまたは整数画素精度）を選択してもよい。

現在の映像ブロックに対してインター予測を行うために、動き推定部２０４は、バッファ２１３からの１または複数の参照フレームと現在の映像ブロックとを比較することで、現在の映像ブロックのための動き情報を生成してもよい。動き補償部２０５は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ２１３からのピクチャの動き情報および復号化されたサンプルに基づいて、現在の映像ブロックのための予測映像ブロックを判定してもよい。

動き推定部２０４および動き補償部２０５は、現在の映像ブロックがＩスライス、Ｐスライス、またはＢスライスであるかに基づいて、例えば、現在の映像ブロックに対して異なる動作を行ってもよい。

いくつかの例では、動き推定部２０４は、現在の映像ブロックに対して単一方向予測を行い、動き推定部２０４は、現在の映像ブロックに対して、参照映像ブロック用のリスト０またはリスト１の参照ピクチャを検索してもよい。動き推定部２０４は、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを含む、リスト０またはリスト１における参照ピクチャを示す参照インデックスを生成してもよい。動き推定部２０４は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償部２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。

他の例において、動き推定部２０４は、現在の映像ブロックに双方向予測を実行してもよく、動き推定部２０４は、リスト０における参照ピクチャの中から現在の映像ブロックを求めるための参照映像ブロックを検索してもよく、また、リスト１における参照ピクチャの中から現在の映像ブロックを求めるための別の参照映像ブロックを検索してもよい。動き推定部２０４は、参照映像ブロックを含むリスト０およびリスト１における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定部２０４は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償部２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。

いくつかの例では、動き推定部２０４は、デコーダの復号化処理のために、動き情報のフルセットを出力してもよい。

いくつかの例では、動き推定部２０４は、現在の映像のための動き情報のフルセットを出力しなくてもよい。むしろ、動き推定部２０４は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定部２０４は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似していることを判定してもよい。

一例において、動き推定部２０４は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが他の映像ブロックと同じ動き情報を有することを映像デコーダ３００に示す値を示してもよい。

他の例において、動き推定部２０４は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差分（ＭＶＤ；Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、指示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ３００は、指示された映像ブロックの動きベクトルおよび動きベクトル差分を使用して、現在の映像ブロックの動きベクトルを決定してもよい。

上述したように、映像エンコーダ２００は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ２００によって実装され得る予測信号通知技法の２つの例は、ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）およびマージモード信号通知を含む。

イントラ予測部２０６は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測部２０６が現在の映像ブロックをイントラ予測する場合、イントラ予測部２０６は、同じピクチャにおける他の映像ブロックの復号化されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。

残差生成部２０７は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって（例えば、マイナス符号によって示されている）、現在の映像ブロックのための残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。

他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差データがなくてもよく、残差生成部２０７は、減算動作を行わなくてもよい。

変換処理部２０８は、現在の映像ブロックに関連付けられた残差映像ブロックに１または複数の変換を適用することによって、現在の映像ブロックのための１または複数の変換係数映像ブロックを生成してもよい。

変換処理部２０８が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化部２０９は、現在の映像ブロックに関連付けられた１または複数の量子化パラメータ（ＱＰ：Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。

逆量子化部２１０および逆変換部２１１は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成部２１２は、予測部２０２によって生成された１または複数の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを追加して、バッファ２１３に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。

再構成部２１２が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。

エントロピー符号化部２１４は、映像エンコーダ２００の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化部２１４がデータを受信した場合、エントロピー符号化部２１４は、１または複数のエントロピー符号化動作を行い、エントロピー符号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを出力してもよい。

図６は、映像デコーダ３００の一例を示すブロック図であり、この映像デコーダ３００は、図４に示すシステム１００における映像デコーダ１１４であってもよい。

映像デコーダ３００は、本開示の技術のいずれかまたは全部を実行するように構成されてもよい。図６の実施例において、映像デコーダ３００は、複数の機能性モジュールを含む。本開示で説明される技法は、映像デコーダ３００の様々なモジュール間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

図６の実施例において、映像デコーダ３００は、エントロピー復号化部３０１、動き補償部３０２、イントラ予測部３０３、逆量子化部３０４、逆変換部３０５、および再構成部３０６、並びにバッファ３０７を含む。映像デコーダ３００は、いくつかの例では、映像エンコーダ２００（図５）に関して説明した符号化パスとほぼ逆の復号化パスを行ってもよい。

エントロピー復号化部３０１は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピーコーディングされた映像データ（例えば、映像データの符号化されたブロック）を含んでもよい。エントロピー復号化部３０１は、エントロピーコーディングされた映像データを復号化し、エントロピー復号化された映像データから、動き補償部３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償部３０２は、例えば、ＡＭＶＰおよびマージモードを実行することで、このような情報を判定してもよい。

動き補償部３０２は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を実行する。サブピクセルの精度で使用される補間フィルタのための識別子が、構文要素に含まれてもよい。

動き補償部３０２は、映像ブロックの符号化中に映像エンコーダ２００によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数画素のための補間値を計算してもよい。動き補償部３０２は、受信した構文情報に基づいて、映像エンコーダ２００が使用する補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してもよい。

動き補償部３０２は、符号化された映像シーケンスのフレームおよび／またはスライスを符号化するために使用されるブロックのサイズを判定するための構文情報、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、各インター符号化されたブロックに対する１または複数の参照フレーム（および参照フレームリスト）、および符号化された映像シーケンスを復号化するための他の情報のいくつかを使用してもよい。

イントラ予測部３０３は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化部３０３は、ビットストリームに提供され、エントロピー復号化部３０１によって復号化される量子化された映像ブロック係数を逆量子化（すなわち、逆量子化）する。逆変換部３０３は、逆変換を適用する。

再構成部３０６は、残差ブロックと、動き補償部２０２またはイントラ予測部３０３によって生成された対応する予測ブロックとを合計し、復号化されたブロックを形成してもよい。所望であれば、デブロッキングフィルタは、ブロッキングアーチファクトを除去するために、復号化されたブロックをフィルタリングするために適用されてもよい。復号化された映像ブロックは、バッファ３０７に記憶され、バッファ３０７は、後続の動き補償／イントラ予測のために参照ブロックを提供し、表示装置に表示するために復号化された映像を生成する。

次に、いくつかの実施形態において好適な解決策を列挙する。

以下の解決策は、前章（例えば、項目１）で論じた技術の例示的な実施形態を示す。

１．本発明の映像加工方法（例えば、図３に示される方法３０００）は、１つ以上のスライスを含む映像と、この映像のコーディングされた表現との間で変換を行うこと（３００２）を含み、このコーディングされた表現は、このコーディングされた表現におけるフィールドの条件がスライスタイプの制約、またはこのスライスタイプが映像スライスのこのコーディングされた表現に含まれているかどうかを制御することを規定するフォーマット規則に準拠し、このフィールドは、一般制約フラグ、ネットワーク抽象化レイヤーユニットタイプまたはこの映像スライスがアクセスユニットの第１の映像ピクチャに含まれているかを含む。

２．フォーマット規則は、映像スライスに対してイントラのみの制約が有効化されていることを条件と規定する、解決策１に記載の方法。

以下の解決策は、前章（例えば、項目２）で論じた技術の例示的な実施形態を示す。

３．１つ以上のスライスを含む１つ以上のピクチャを含む映像と、この映像のコーディングされた表現との間で変換を行うことを含み、コーディングされた表現は、映像ピクチャのピクチャヘッダにおけるフラグの値に基づいて、映像ピクチャにおけるすべてのスライスの適応ループフィルタリングを無効化することを規定するフォーマット規則に準拠する、映像処理方法。

以下の解決策は、前章（例えば、項目３）で論じた技術の例示的な実施形態を示す。

４．１つ以上のスライスを含む１つ以上のピクチャを含む映像と、この映像のコーディングされた表現との間で変換を行うことを含み、コーディングされた表現は、現在のピクチャの高さおよび幅が、映像の最大高さおよび最大幅に等しい場合、適合性ウィンドウフラグを無効モードに設定することを規定するフォーマット規則に準拠する、映像処理方法。

以下の解決策は、前章（例えば、項目４）で論じた技術の例示的な実施形態を示す。

５．１つ以上のスライスを含む１つ以上のピクチャを含む映像と、この映像のコーディングされた表現との間で変換を行うことを含み、このコーディングされた表現は、パラメータセットの繰り返し時間を規定するフォーマット規則に準拠する、映像処理方法。

６．パラメータセットは、映像パラメータセット、シーケンスパラメータセット、または適応パラメータセットのピクチャパラメータセットである、解決策５に記載の方法。

７．パラメータセットは、復号化能力情報ネットワーク抽象化レイヤーユニット（ＤＣＩ ＮＡＬ）である、解決策５に記載の方法。

８．パラメータセットは映像パラメータセットであり、かつ、フォーマット規則は、映像パラメータセットが特定の値の識別子フィールドを含む場合、映像パラメータセットがコーディングされた映像表現の第１のアクセスユニットに含まれることを規定する、解決策６に記載の方法。

９．フォーマット規則は、別のアクセスユニットが２つの予め規定された値の間の範囲内にあるネットワーク抽象化レイヤータイプを有する場合においてのみ、識別子フィールドの特定の値を有する映像パラメータセットを含むようにさらに規定する、解決策８に記載の方法。

１０．パラメータセットは、シーケンスパラメータセットであり、かつ、フォーマット規則は、コーディングされた表現が１つ以上の映像シーケンスのコーディングされたレイヤーのアクセスユニットとして編成されることを規定し、かつ、フォーマット規則は、シーケンスパラメータセットを参照するアクセスユニットセットの第１のアクセスユニットに、特定の識別子値を有するシーケンスパラメータセットを含むネットワーク抽象化レイヤーを含むことを規定する、解決策６に記載の方法。

１１．フォーマット規則は、ＤＣＩ ＮＡＬが映像のコーディングされた表現に含まれる場合、ＤＣＩ ＮＡＬが映像の第１のコーディングされた映像シーケンスに含まれることを規定する、解決策７に記載の方法。

１２．フォーマット規則は、１つの予測ユニットにおけるＤＣＩ ＮＡＬユニットの数を１に制限することをさらに規定する、解決策７または１１に記載の方法。

１３．変換は、映像をコーディングされた表現に符号化することを含む、解決策１～１２のいずれかに記載の方法。

１４．変換は、映像の画素値を生成するためにコーディングされた表現を復号化することを含む、解決策１～１２のいずれかに記載の方法。

１５．解決策１～１４の１つ以上に記載の方法を実装するように構成されたプロセッサを備える、映像復号化装置。

１６．解決策１～１４の１つ以上に記載の方法を実装するように構成されたプロセッサを備える、映像符号化装置。

１７．コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コードは、プロセッサにより実行されると、前記プロセッサに、解決策１～１４のいずれかに記載の方法を実装させるコンピュータプログラム製品。

１８．本明細書に記載の方法、装置またはシステム。

以下のリストは、いくつかの実施例によって実施される好適な解決策の第２のセットを提供する。

以下の解決策は、前章（例えば、項目１）で論じた技術の例示的な実施形態を示す。

１．本発明の映像処理方法（例えば、図３に記載の方法３０００）は、１つ以上のスライスを含む１つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うこと（３００２）を含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、この１つ以上のスライスのうちのスライスのスライスタイプが、このビットストリームにおいて示されるかどうか、またはどのように示されるかは条件に依存し、この条件は、一般制約フラグ、ネットワーク抽象化レイヤーユニットタイプ、またはこのスライスがアクセスユニットの第１のピクチャにあるかどうかの少なくとも１つに基づくことを規定している。

２．条件は、一般制約フラグがスライスのためのイントラのみの制約を示すことを含むまたはこれに対応する、解決策１に記載の方法。

３．条件は、スライスがアクセスユニットの第１のピクチャにあり、かつネットワーク抽象化レイヤーユニットタイプが特定のタイプを有し、特定のタイプがイントラランダムアクセスポイントタイプを示すことを含むまたは対応する、解決策１に記載の方法。

４．条件は、ビットストリームが、ピクチャを含むピクチャのセットにおいてイントラスライスのみが許可されることを示すことを含むまたはこれに対応する、解決策１に記載の方法。

５．ピクチャのセットがピクチャに対応する、解決策４に記載の方法。

６．ピクチャのセットは、ピクチャを含むコーディングされたレイヤー映像シーケンス（ＣＬＶＳ）に対応する、解決策４に記載の方法。

７．フォーマット規則は、（ａ）一般制約フラグまたはネットワーク抽象化レイヤーユニットタイプが条件を満たすか、または（ｂ）スライスがアクセスユニットの第１のピクチャにあること、に呼応して、スライスタイプ値２がビットストリームに示されることを規定する、解決策１～６のいずれか１項に記載の方法。

８．フォーマット規則は、スライスタイプが値２を有し、かつ、（ａ）一般制約フラグまたはネットワーク抽象化レイヤーユニットタイプが条件を満たすか、または（ｂ）スライスがアクセスユニットの第１のピクチャにあることに呼応して、スライスタイプの指示がビットストリームから省略されることを規定する、上記解決策１に記載の方法。

９．フォーマット規則は、スライスタイプが値２を有し、かつ、（ａ）ネットワーク抽象レイヤーユニットタイプがイントラランダムアクセスポイントタイプであり、かつ（ｂ）スライスを含むピクチャが属するレイヤーが独立して復号化可能なレイヤーであることに呼応して、スライスタイプの指示がビットストリームから省略されることを規定する、上記解決策１に記載の方法。

以下の解決策は、前章で論じた技法の例示的な実施形態の追加の例（例えば、項目２、４）を示す。

１．本発明の映像加工方法（例えば、図９に記載の方法９００）は、マルチプルスライスを含むピクチャを含む映像と、この映像のビットストリームとの間で変換を行うこと（９０２）を含み、このビットストリームは、ピクチャヘッダ内のフラグがこのピクチャにおけるすべてのスライスの適応ループフィルタリングの適用可能性を制御することを規定するフォーマット規則に準拠する。

２．フラグの値がゼロである場合、ピクチャにおけるすべてのスライスに対して適応ループフィルタリングが無効化されていることを示す、解決策１に記載の方法。

３．フラグの１つの値は、ピクチャにおけるすべてのスライスに対して適応ループフィルタリングが有効であることを示す、解決策１に記載の方法。

４．本発明の映像処理方法（例えば、図１０に記載の方法１０００）は、フォーマット規則に基づいて、１つ以上のスライスを含む１つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うこと（１００２）、フォーマット規則において、この映像に関連付けられたパラメータセットの繰り返し時間を特定する。

５．パラメータセットは、映像パラメータセット（ＶＰＳ）である、解決策４に記載の方法。

６．フォーマット規則は、特定の識別子値を有するＶＰＳを含むコーディングされた映像シーケンス（ＣＶＳ）のＶＰＳネットワーク抽象化レイヤー（ＮＡＬ）ユニットに呼応して、ＶＰＳ ＮＡＬユニットがＣＶＳの第１のアクセスユニット（ＡＵ）に含まれ、かつ、別のＡＵにおける別のＶＰＳ ＮＡＬユニットの値に基づいてＣＶＳの別のＡＵに選択的に含まれ、かつ、ＣＶＳの残りのＡＵから排除されることを規定する、解決策５に記載の方法。

７．別のＡＵにおける別のＶＰＳ ＮＡＬユニットの値は、ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＧＤＲ＿ＮＵＴの範囲内にある、解決策６に記載の方法。

８．別のＡＵにおける別のＶＰＳ ＮＡＬユニットの値は、ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＲＳＶ＿ＩＲＡＰ＿１２の範囲内にある、解決策６に記載の方法。

９．フォーマット規則は、所定の識別子値の１つ以上のＶＰＳ ＮＡＬユニットはビットストリーム内のピクチャユニット（ＰＵ）に含まれていないことをさらに規定する、解決策５～８のいずれか１つに記載の方法。

１０．パラメータセットはシーケンスパラメータセット（ＳＰＳ）である、解決策４に記載の方法。

１１．ビットストリームにおけるコーディングされたレイヤー映像シーケンス（ＣＬＶＳ）は、復号順にＣＬＶＳの第１のピクチャを含む第１のＡＵと、復号順にＣＬＶＳの最後のピクチャを含む最後のＡＵとを含むＡＵセットを含む、解決策１０に記載の方法。

１２．フォーマット規則は、特定の識別子値を有するＳＰＳを含むＳＰＳネットワーク抽象化レイヤー（ＮＡＬ）ユニットに呼応して、ＳＰＳ ＮＡＬユニットが関連付けられたＡＵセットの第１のＡＵに含まれ、かつ別のＡＵにおける別のＳＰＳ ＮＡＬユニットの値に基づいて関連付けられたセットの別のＡＵに選択的に含まれ、かつＣＶＳの残りのＡＵから排除されることを規定する、解決策１１に記載の方法。

１３．フォーマット規則は、ＣＶＬＳの第１のピクチャユニット（ＰＵ）において特定の識別子値を有するＳＰＳを含むコーディングされたレイヤー映像シーケンス（ＣＶＬＳ）に呼応して、ＳＰＳ ＮＡＬユニットを、別のＰＵにおけるスライスＮＡＬユニットの値に基づいて、ＣＶＬＳの別のＰＵに選択的に含ませ、かつＣＶＬＳの残りのＰＵから排除することを規定する、解決策１１に記載の方法。

１４．他のＡＵにおける他のＳＰＳ ＮＡＬユニットの値は、ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＧＤＲ＿ＮＵＴの範囲内にある、解決策１２に記載の方法。

１５．他のＰＵにおけるスライスＮＡＬユニットの値は、ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＧＤＲ＿ＮＵＴの範囲内にある、解決策１３に記載の方法。

１６．他のＡＵにおける他のＳＰＳ ＮＡＬユニットの値は、ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＲＳＶ＿ＩＲＡＰ＿１２の範囲内にある、解決策１２に記載の方法。

１７．他のＰＵにおけるスライスＮＡＬユニットの値は、ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＲＳＶ＿ＩＲＡＰ＿１２の範囲内にある、解決策１３に記載の方法。

１８．フォーマット規則は、所定の識別子値の１つ以上のＳＰＳ ＮＡＬユニットはビットストリーム内のピクチャユニット（ＰＵ）に含まれていないことをさらに規定する、解決策１１～１７のいずれか１項に記載の方法。

１９．パラメータセットはピクチャパラメータセット（ＰＰＳ）であり、かつ、フォーマット規則は、所定の識別子値の１つ以上のＰＰＳネットワーク抽象化レイヤー（ＮＡＬ）ユニットはビットストリーム内のピクチャユニット（ＰＵ）に含まれていないことをさらに規定する、解決策４に記載の方法。

２０．パラメータセットは適応パラメータセット（ＡＰＳ）である、解決策４に記載の方法。

２１．フォーマット規則は、所定の識別子値および特定のパラメータタイプの値を有する１つ以上のＡＰＳネットワーク抽象化レイヤー（ＮＡＬ）ユニットはビットストリーム内のピクチャユニット（ＰＵ）に含まれていないことをさらに規定する、解決策２０に記載の方法。

２２．フォーマット規則は、所定の識別子値および特定のパラメータタイプの値を有する１つ以上のＡＰＳネットワーク抽象化レイヤー（ＮＡＬ）ユニットはビットストリーム内の復号化ユニット（ＤＵ）に含まれていないことをさらに規定する、解決策２０に記載の方法。

２３．パラメータセットは、復号化能力情報ネットワーク抽象化レイヤーユニット（ＤＣＩ ＮＡＬ）である、解決策４に記載の方法。

２４．フォーマット規則は、存在する場合、ＤＣＩ ＮＡＬユニットが、ビットストリームにおける第１のＣＶＳでないビットストリームのコーディングされた映像シーケンス（ＣＶＳ）に含まれることを許可しないことを規定する、解決策２３に記載の方法。

２５．フォーマット規則は、ＤＣＩ ＮＡＬユニットを含むコーディングされた映像シーケンス（ＣＶＳ）に呼応して、ＤＣＩ ＮＡＬユニットがＣＶＳの第１のアクセスユニット（ＡＵ）にあり、かつ、他のＡＵが、特定のＮＡＬユニット識別子値を有し、かつ、ＣＶＳの残りのＡＵから排除される映像コーディングレイヤー（ＶＣＬ）ＮＡＬユニットを含むか否かに基づいて選択的に他のＡＵに存在することを規定する、解決策２３に記載の方法。

２６．特定の識別子値は、ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＧＤＲ＿ＮＵＴの範囲内にある、解決策２１に記載の方法。

２７．フォーマット規則は、ピクチャユニット（ＰＵ）が最大で１つのＤＣＩ ＮＡＬユニットを含むことを規定する、解決策２３～２６のいずれか１つに記載の方法。

以下の解決策は、前章（例えば、項目３）で論じた技術の好適な実施例の追加例を示す。

１．本発明の映像処理方法（例えば、図１１に記載の方法１１００）は、映像ユニット内のピクチャを含む映像と、この映像のビットストリームとの間でフォーマット規則に従って変換を行うことを含み、このフォーマット規則は、ピクチャの幅がこの映像ユニット内の最大許容ピクチャ幅に等しく、このピクチャの高さがこの映像ユニット内の最大許容ピクチャ高さに等しいことに呼応して、このピクチャに対応するピクチャパラメータセットにおける適合性ウィンドウフラグをゼロ値に設定することを規定する。

２．最大許容ピクチャ幅および最大許容ピクチャ高さは、映像ユニットが参照するシーケンスパラメータセットで示される、解決手段１に記載の方法。

３．フォーマット規則は、１つのピクチャの幅が映像ユニットにおける最大許容ピクチャ幅に等しく、かつ、このピクチャの高さが映像ユニットにおける最大許容ピクチャ高さに等しいことに呼応して、順応性ウィンドウ構文要素をこのピクチャパラメータセットから排除し、かつ、このシーケンスパラメータセットに示されるものと同じ値を有すると推測することを規定する、解決策２に記載の方法。

４．フォーマット規則は、あるピクチャの幅が映像ユニットにおける最大許容ピクチャ幅に等しくない、または、このピクチャの高さが映像ユニットにおける最大許容ピクチャ高さに等しくない場合、適合性ウィンドウ構文要素がゼロ値を有すると推測されることを規定する、解決策２に記載の方法。

上記解決策において、この変換は、映像をビットストリームに符号化することを含む。

上記解決策において、変換は、ビットストリームから映像を生成することを含む。

いくつかの実施例において、映像復号化装置は、上述した解決策の１つ以上に記載された方法を実施するように構成されたプロセッサを含んでもよい。

いくつかの実施例において、プロセッサを備える映像符号化装置は、上述した解決策のうちの１つ以上に記載された方法を実施するように構成されてもよい。

いくつかの実施例において、コンピュータ可読媒体は、その上に記憶されたコードを有してもよく、このコードは、プロセッサによって実行されると、上記解決策のうちのいずれか１つに記載の方法をプロセッサに実行させる。

本発明の実施例において、映像処理方法は、上記解決策のうちいずれか１つ以上に記載の方法に基づいてビットストリームを生成し、このビットストリームをコンピュータ読み取り可能な媒体に記憶することを含む。

本発明の実施例において、コンピュータ読み取り可能な媒体は、その上に記憶されたビットストリームを有し、このビットストリームは、上述した解決策のうちいずれか１つ以上に記載された方法に基づいて映像から生成されたものである。

本明細書では、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指してよい。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換およびコーディングされた誤り残差値、およびビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定の構文フィールドが含まれるべきであるか否かを判定し、構文フィールドをコーディングされた表現に含めるか否かによって、これに応じてコーディングされた表現を生成してもよい。

本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサ、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１または複数の組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１または複数のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。コンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１または複数のコンピュータプログラムを実行する１または複数のプログラマブルプロセッサによって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１または複数のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１または複数のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための１または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体記憶装置を含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１または複数の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

関連出願の相互参照
本願は、２０２０年３月３０日出願の米国特許仮出願第６３／００２，０６４号の優先権と利益を主張する、２０２１年３月２９日出願の国際特許出願第ＰＣＴ／ＵＳ２０２１／０２４６６３号に基づく。前述の特許出願はすべて、参照によりその全体が本明細書に組み込まれる。

Claims (17)

1. １つ以上のスライスを含む１つ以上のピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うことを含み、前記ビットストリームは、フォーマット規則に準拠し、前記フォーマット規則は、前記１つ以上のスライスのうちのスライスのスライスタイプが、前記ビットストリームにおいて指示されるか否かを条件に依存して指定し、前記条件は、一般制約フラグ、ネットワーク抽象化レイヤーユニットタイプ、または、前記スライスがアクセスユニットの第１のピクチャにあるか否かに基づくことを規定する、
   映像処理方法。
2. 前記条件は、前記一般制約フラグが前記スライスに対するイントラのみである制約を示す、
   請求項１に記載の方法。
3. 前記条件は、前記スライスが前記アクセスユニットの前記第１のピクチャ内にあり、かつ、前記ネットワーク抽象化レイヤーユニットタイプが特定のタイプを有し、前記特定のタイプは、イントラランダムアクセスポイントタイプを示す、
   請求項１に記載の方法。
4. 前記条件は、前記ビットストリームが、前記ピクチャを含むピクチャのセットにおいてイントラスライスのみが許可されることを示す、
   請求項１に記載の方法。
5. 前記ピクチャのセットは、前記ピクチャに対応する、
   請求項４に記載の方法。
6. 前記ピクチャのセットは、前記ピクチャを含むコーディングされたレイヤー映像シーケンス（ＣＬＶＳ）に対応する、
   請求項４に記載の方法。
7. 前記フォーマット規則は、前記スライスタイプ値２が、（ａ）前記一般制約フラグまたは前記ネットワーク抽象化レイヤーユニットタイプが前記条件を満たすか、または、（ｂ）前記スライスが前記アクセスユニットの前記第１のピクチャにあることに呼応して、前記ビットストリームに示されることを規定する、
   請求項１～６のいずれか１項に記載の方法。
8. 前記フォーマット規則は、前記スライスタイプが値２を有することを規定し、かつ、前記スライスタイプの指示は、（ａ）前記一般制約フラグまたは前記ネットワーク抽象化レイヤーユニットタイプが前記条件を満たすか、または（ｂ）前記スライスが前記アクセスユニットの第１のピクチャにあることに呼応して、前記ビットストリームから省略されることを規定する、
   請求項１に記載の方法。
9. 前記フォーマット規則は、前記スライスタイプが値２を有することを規定し、前記スライスタイプの指示は、（ａ）前記ネットワーク抽象化レイヤーユニットタイプは、イントラランダムアクセスポイントタイプであり、かつ、（ｂ）前記スライスを含むピクチャが属するレイヤーは、独立して復号化可能なレイヤーであることに呼応して、前記ビットストリームから省略されることを規定する、請求項１に記載の方法。
10. 前記変換は、前記ビットストリームから前記映像を生成することを含む、請求項１～９のいずれか１項に記載の方法。
11. 前記変換は、前記映像を前記ビットストリームに符号化することを含む、
    請求項１～９のいずれか１項に記載の方法。
12. 請求項１～１０の１項以上に記載の方法を実装するように構成されたプロセッサを備える、
    映像復号化装置。
13. 請求項１～１１の１項以上に記載の方法を実装するように構成されるプロセッサを備える、
    映像符号化装置。
14. コードが記憶されたコンピュータ読み取り可能な媒体であって、前記コードがプロセッサにより実行された場合、請求項１～１１のいずれか１項に記載の方法を前記プロセッサに実行させる、
    コンピュータ可読媒体。
15. 請求項１～１１のいずれか１項に記載の方法に従ってビットストリームを生成し、前記ビットストリームをコンピュータ可読媒体に記憶することを含む、
    映像処理方法。
16. 請求項１～１１のいずれか１項に記載の方法に従って、映像から生成されたビットストリームを記憶した、
    コンピュータ読み取り可能な媒体。
17. 本明細書に記載の方法、装置、ビットストリーム、またはシステム。

Images