JP7383808B2 - ビデオコーディング及び復号のための高レベルシンタックス - Google Patents

Description

本発明はビデオコーディング及び復号に関し、特に、ビットストリームにおいて使用される高レベルシンタックスに関する。

最近、ＭＰＥＧとＩＴＵ－T Study Group １６’ｓ ＶＣＥＧによって形成された共同チームであるJVET(Joint Video Experts Team)は、VVC(Versatile Video Coding)と呼ばれる新しいビデオコーディング規格の研究を開始した。ＶＶＣの目標は、既存のＨＥＶＣ標準（すなわち、典型的には以前の２倍）を超える圧縮性能の著しい改善を提供し、２０２０年に完了することである。主なターゲットアプリケーションおよびサービスは、３６０度および高ダイナミックレンジ（ＨＤＲ）ビデオを含むが、限定されない。総じて、ＪＶＥＴは、独立した試験所が実施した正式な主観的試験を用いて、３２団体からの応答を評価した。いくつかの提案は、ＨＥＶＣを使用する場合と比較して、典型的には４０％以上の圧縮効率の向上を実証した。超高精細（ＵＨＤ）ビデオ試験材料について特に有効性を示した。したがって、圧縮効率の向上は、最終標準の目標とする５０％をはるかに超えることが予想される。

ＪＶＥＴ探索モデル（ＪＥＭ）は、全てのＨＥＶＣのツールを使用し、多数の新しいツールを導入した。これらの変更により、ビットストリームの構造、特にビットストリーム全体のビットレートに影響を与える可能性のある高レベルシンタックスの変更が必要になった。

高レベルシンタックスの重要な変更の１つは、ビットストリームに「ピクチャーヘッダー」を導入することである。ピクチャヘッダは、特定のピクチャ（またはフレーム）内の各スライスの復号に使用されるシンタックス要素を指定するヘッダである。従って、ピクチャヘッダは、ビットストリーム内のスライスに関連するデータの前に配置され、スライスはそれぞれ独自の「スライスヘッダ」を有する。この構造は、図６を参照して以下により詳細に説明される。

第１６回目の会合の文書ＪＶＥＴ－Ｐ０２３９：ジュネーブ、ＣＨ、１－１１、２０１９年１０月、題名「ＡＨＧ１７：ピクチャヘッダ」は、ＶＶＣへの必須ピクチャヘッダの導入を提案し、これは、文書ＪＶＥＴ＿Ｐ２００１としてアップロードされる汎用ビデオコーディング（案７）として採用された。

しかし、このヘッダは多数のパラメータを有し、これらはすべて特定の復号ツールを使用するために構文解析（parse）する必要がある。

本発明は、この構文解析プロセスを単純化するためのピクチャヘッダの構造の改善に関し、これは、コーディング性能を劣化させることなく、複雑さを低減することにつながる。

特に、ピクチャヘッダの先頭にAPS ID情報に関連するシンタックス要素を設定することによって、これらの要素を最初に解析でき、これは、ヘッダの残りの部分を構文解析する必要がなくなる可能性がある。

同様に、スライスヘッダにAPS ID情報に関するシンタックス要素がある場合、これらはスライスヘッダの先頭に設定される。

一例では、ピクチャヘッダおよびスライスヘッダの早いステージにAPS IDに関連するシンタックス要素を移動することが提案される。この修正の目的は、未使用のＡＰＳを削除するためにピクチャヘッダとスライスヘッダでAPS IDを追跡する必要がある一部のストリーミングアプリケーションの構文解析の複雑さを減らすことである。提案した修正は、ＢＤＲ性能に影響を及ぼさない。

これにより、APS ID情報がヘッダから要求されるすべてである可能性があるストリーミングアプリケーションの構文解析の複雑さが軽減される。他のストリーミング関連のシンタックス要素は、同じ理由でヘッダの先頭に向かって移動される可能性がある。

「開始」という用語は、APS ID情報に関連するシンタックス要素の前に多数の導入シンタックス要素が存在する可能性があるため、それぞれのヘッダの最初のエントリを意味しないことが理解されるべきである。詳細な説明は、様々な例を示しているが、一般的な定義は、APS ID情報に関連するシンタックス要素が復号ツールに関連するシンタックス要素の前に提供されることである。ある特定の例では、ＡＬＦ、ＬＭＣＳ、およびスケーリングリストのAPS IDに関連するシンタックス要素は、ｐｏｃ＿ｍｓｂ＿ｖａｌシンタックス要素の直後に設定される。

本発明の第１の態様によれば、ビットストリームからビデオデータを復号する方法が提供され、ビットストリームは、１つ以上のスライスに対応するビデオデータを含む。ビットストリームは、１つ以上のスライスを復号する際に使用されるシンタックス要素を含むピクチャヘッダと、スライスを復号する際に使用されるシンタックス要素を含むスライスヘッダと、を含む。復号は、ピクチャヘッダにおいて、復号ツールまたはパラメータがピクチャ内で使用され得るかどうかを示す少なくとも１つのシンタックス要素を構文解析することを含み、ここで、復号ツールまたはパラメータがピクチャ内で使用されるとき、少なくとも１つのAPS ID関連シンタックス要素が、ピクチャヘッダ内の復号ツールまたはパラメータに対して構文解析される。復号はさらに、スライスヘッダにおいて、他の復号ツールまたはパラメータに関連するシンタックス要素の前に、復号ツールまたはパラメータがそのスライスに対して使用されるかどうかを示す少なくとも１つのシンタックス要素を構文解析し、前記シンタックス要素を使用して前記ビットストリームを復号することを含む。

したがって、クロマスケーリングを伴うルママッピング（ＬＭＣＳ）またはスケーリングリストなど、スライスレベルでの復号ツールまたはパラメータの有効または無効に関連する情報は、スライスヘッダの始めまたはその近くに設定される。これにより、特にストリーミングアプリケーションで、よりシンプルで高速な構文解析プロセスが可能になる。

APS ID関連のシンタックス要素を含む別の（さらなる）復号ツールまたはパラメータのパラメータは、有効になっている場合、そのスライスに対して復号ツールまたはパラメータ（例えば、ＬＭＣＳまたはスケーリングリストに関連する復号ツールまたはパラメータの前）を使用するかどうかを示すシンタックス要素の前に構文解析できる。APS ID関連シンタックス要素は、適応ループフィルタリングAPS IDに関連し得る。

これは、有用でないAPS NALユニットを除去するためにAPS ID使用を追跡する必要があるストリーミングアプリケーションの複雑さを低減する。スライスヘッダ内にはある復号ツールおよびパラメータ（例えば、ＬＭＣＳまたはスケーリングリスト）に関連するAPS IDはないが（例えば、ＬＭＣＳまたはスケーリングリストに関連するAPS IDのシンタックス要素はスライスヘッダ内で構文解析されない）、このような復号ツールまたはパラメータがスライスレベルで無効にされるとき、これは現在のピクチャに使用されるAPS IDに影響を及ぼす。例えば、サブピクチャ抽出アプリケーションでは、APS IDはピクチャヘッダで送信されるべきであるが、抽出されたサブピクチャは１つのスライスのみを含む。その１つのスライスでは、復号ツールまたはパラメータ（例えば、ＬＭＣＳまたはスケーリングリスト）は、スライスヘッダにおいて無効にされてもよい。ピクチャヘッダで識別されたＡＰＳが別のフレームで使用されない場合、抽出アプリケーションは、抽出されたサブピクチャに必要でないので、関連するAPS IDを有するＡＰＳ（例えば、ＬＭＣＳまたはスケーリングリストＡＰＳ）を除去すべきである。したがって、ＡＰＳを除去する必要があるかどうかに関する決定は、スライスヘッダ内の他のデータを最初に構文解析する必要なしに、効率的に行うことができる。

復号ツールまたはパラメータが使用されるかどうかを示すスライスヘッダのシンタックス要素は、適応ループフィルタリング（ＡＬＦ:Adaptive Loop Filtering）パラメータに関連するシンタックス要素の直後にある場合がある。

復号ツールまたはパラメータは、クロマスケーリングを伴うルママッピング（ＬＭＣＳ:Luma Mapping with Chroma Scaling）に関連し得る。復号ツールまたはパラメータが使用されるかどうかを示すシンタックス要素は、ＬＭＣＳがスライスに使用されるかどうかを通知するフラグである可能性がある。

復号ツールまたはパラメータは、スケーリングリストに関連し得る。復号ツールまたはパラメータが使用されるかどうかを示すシンタックス要素は、スケーリングリストがスライスに対して使用されるかどうかを通知するフラグであってもよい。

一実施形態では、ビットストリームからビデオデータを復号する方法が提供され、ビットストリームは、１つ以上のスライスに対応するビデオデータを含み、ここで、ビットストリームは、１つ以上のスライスを復号するときに使用されるシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含み、方法は、ピクチャヘッダにおいて、ピクチャ内でＬＭＣＳまたはスケーリングリスト復号ツールが使用されてもよいかどうかを示す少なくとも１つのシンタックス要素を構文解析することと、ここで、ＬＭＣＳまたはスケーリングリスト復号ツールがピクチャ内で使用されているときに、ピクチャヘッダ内のＬＭＣＳまたはスケーリングリスト復号ツールについて、少なくとも１つのAPS ID関連シンタックス要素が構文解析され、スライスヘッダにおいて、他の復号ツールに関連するシンタックス要素の前にＬＭＣＳまたはスケーリングリスト復号ツールがそのスライスに対して使用されているかどうかを示す少なくとも１つのシンタックス要素を構文解析することと、ここで、ALF APS IDシンタックス要素が、有効なときに、ＬＭＣＳまたはスケーリングリスト復号ツールがそのスライスに対して使用されるかどうかを示す少なくとも１つのシンタックス要素の前に構文解析され、前記シンタックス要素を使用してビットストリームからビデオデータを復号することと、を含む。

本発明の第２の態様によれば、ビデオデータをビットストリームに符号化するビデオデータを符号化する方法が提供され、ビットストリームは、１つ以上のスライスに対応するビデオデータを含む。ビットストリームは、１つ以上のスライスを復号する際に使用されるシンタックス要素を含むヘッダと、スライスを復号する際に使用されるシンタックス要素を含むスライスヘッダと、を含む。符号化は、ピクチャヘッダにおいて、復号ツールまたはパラメータがピクチャ内で使用され得るか否かを示す少なくとも１つのシンタックス要素を符号化することと、ここで、復号ツールまたはパラメータがピクチャ内で使用され得るとき、少なくとも１つのAPS ID関連シンタックス要素が、ピクチャヘッダ内の復号ツールまたはパラメータに対して符号化され、スライスヘッダにおいて、他の復号ツールまたはパラメータに関連するシンタックス要素の前に、そのスライスに対して復号ツールまたはパラメータが使用されるかどうかを示す少なくとも１つのシンタックス要素を符号化することと、を含む。

APS ID関連シンタックス要素を含む別の（さらなる）復号ツールのパラメータは、有効になっている場合、そのスライスに対して復号ツールまたはパラメータ（例えば、復号ツールまたはパラメータ関連ＬＭＣＳまたはスケーリングリストの前）を使用するかどうかを示すシンタックス要素の前に符号化される。

他の復号ツールに対するAPS ID関連シンタックス要素は、適応ループフィルタリングAPS IDに関連し得る。

このプロセスに従ってビットストリームを符号化することは、有用でないAPS NALユニットを除去するためにAPS ID使用を追跡する必要があるストリーミングアプリケーションのための複雑さの低減を提供する。スライスヘッダ内にはある復号ツール及びパラメータ（例えば、ＬＭＣＳ又はスケーリングリスト）に関連するAPS IDは存在しないが（例えば、ＬＭＣＳ又はスケーリングリストに関連するAPS IDのシンタックス要素はスライスヘッダ内に符号化されない）、このような復号ツール又はパラメータがスライスレベルで無効にされるとき、これは現在のピクチャに使用されるAPS IDに影響を及ぼす。例えば、サブピクチャ抽出アプリケーションでは、APS IDはピクチャヘッダで送信されるべきであるが、抽出されたサブピクチャは１つのスライスのみを含む。その１つのスライスでは、復号ツールまたはパラメータ（例えば、ＬＭＣＳまたはスケーリングリスト）は、スライスヘッダにおいて無効にされてもよい。ピクチャヘッダで識別されたＡＰＳが別のフレームで使用されない場合、抽出アプリケーションは、抽出されたサブピクチャに必要でないので、関連するAPS IDを有するＡＰＳ（例えば、ＬＭＣＳまたはスケーリングリストＡＰＳ）を除去すべきである。したがって、ＡＰＳを除去する必要があるかどうかに関する決定は、スライスヘッダ内の他のデータを最初に構文解析する必要なしに、効率的に行うことができる。

復号ツールまたはパラメータが使用されるかどうかを示すスライスヘッダのシンタックス要素は、ＡＬＦパラメータの直後に符号化される。

復号ツールまたはパラメータは、ＬＭＣＳに関連し得る。復号ツールまたはパラメータが使用されるかどうかを示す符号化されたシンタックス要素は、ＬＭＣＳがスライスに対して使用されるかどうかを通知するフラグであってもよい。

復号ツールまたはパラメータは、スケーリングリストに関連し得る。復号ツールまたはパラメータが使用されるかどうかを示す符号化されたシンタックス要素は、スケーリングリストがスライスに対して使用されるかどうかを通知するフラグであってもよい。

第２の態様に係る実施形態では、ビットストリームにビデオデータを符号化する方法が提供され、ビットストリームは、１つ以上のスライスに対応するビデオデータを含み、ここで、ビットストリームは、１つ以上のスライスを復号するときに使用されるシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含み、方法は、ピクチャヘッダにおいて、ピクチャ内でＬＭＣＳまたはスケーリングリスト復号ツールが使用されてもよいかどうかを示す少なくとも１つのシンタックス要素を符号化することと、ここで、ＬＭＣＳまたはスケーリングリスト復号ツールがピクチャ内で使用されているときに、ピクチャヘッダ内のＬＭＣＳまたはスケーリングリスト復号ツールについて、少なくとも１つのAPS ID関連シンタックス要素が符号化され、スライスヘッダにおいて、他の復号ツールに関連するシンタックス要素の前にＬＭＣＳまたはスケーリングリスト復号ツールがそのスライスに対して使用されているかどうかを示す少なくとも１つのシンタックス要素を符号化することと、ここで、ALF APS IDシンタックス要素が、有効なときに、ＬＭＣＳまたはスケーリングリスト復号ツールがそのスライスに対して使用されるかどうかを示す少なくとも１つのシンタックス要素の前に符号化され、前記シンタックス要素を使用してビットストリームにビデオデータを符号化することと、を含む。

本発明による第３の態様では、ビットストリームからビデオデータを復号するためのデコーダが提供され、デコーダは第１の態様の任意の実装による方法を実行するように構成される。

本発明による第４の態様では、ビデオデータをビットストリームに符号化するためのエンコーダが提供され、エンコーダは第２の態様の任意の実装による方法を実行するように構成される。

本発明の第５の態様では、実行時に、第１または第２の態様のいずれかの方法を実行させるコンピュータプログラムが提供される。プログラムは、それ自体で提供されてもよく、またはキャリア媒体上で、キャリア媒体によって、またはキャリア媒体内で搬送されてもよい。キャリア媒体は非一時的であってもよく、例えば、記憶媒体、特にコンピュータ可読記憶媒体であってもよい。搬送媒体はまた、一時的なもの、例えば、信号または他の伝送媒体であってもよい。信号は、インターネットを含む任意の適切なネットワークを介して送信されてもよい。

本発明による第６の態様では、１つ以上のスライスに対応するビデオデータを含むビットストリームを構文解析する方法が提供される。ビットストリームは、１つ以上のスライスを復号する際に使用されるシンタックス要素を含むピクチャヘッダと、スライスを復号する際に使用されるシンタックス要素を含むスライスヘッダと、を含み、ピクチャヘッダにおいて、復号ツールまたはパラメータがスライス内で使用され得るかどうかを示す少なくとも１つのシンタックス要素を構文解析することと、ここで、復号ツールまたはパラメータがピクチャ内で使用される場合、少なくとも１つのAPS ID関連シンタックス要素はピクチャヘッダ内の復号ツールに対して構文解析され、スライスヘッダ内で、復号ツールまたはパラメータが他の復号ツールまたはパラメータに関連するシンタックス要素に先立ってそのスライスに対して使用されるかどうかを示す少なくとも１つのシンタックス要素を構文解析しないことと、を含む。

復号ツールまたはパラメータ（ＬＭＣＳまたはスケーリングリスト）のスライスレベルでフラグまたは情報が設定される場合と比較して、この方法では、スライスヘッダをＬＭＣＳ用に構文解析する必要がないため、複雑さが軽減される。

復号ツールまたはパラメータは、クロマスケーリングを伴うルママッピング（ＬＭＣＳ）に関連し得る。代替的に、または追加的に、復号ツールまたはパラメータは、スケーリングリストに関連してもよい。

本発明による第７の態様では、第６の態様によるビットストリームを構文解析することを含む、画像データをストリーミングする方法が提供される。

第８の態様では、第６の態様による方法を実行するように構成されたデバイスが提供される。

第９の態様では、実行時に第６の態様の方法を実行させるコンピュータプログラムが提供される。プログラムは、それ自体で提供されてもよく、またはキャリア媒体上で、キャリア媒体によって、またはキャリア媒体内で搬送されてもよい。キャリア媒体は非一時的であってもよく、例えば、記憶媒体、特にコンピュータ可読記憶媒体であってもよい。搬送媒体はまた、一時的なもの、例えば、信号または他の伝送媒体であってもよい。信号は、インターネットを含む任意の適切なネットワークを介して送信されてもよい。本発明のさらなる特徴は、独立請求項および従属請求項によって特徴付けられる。

１０番目の態様において、ビットストリームが提供され、ビットストリームは１つ以上のスライスに対応するビデオデータを含み、ここで、ビットストリームは１つ以上のスライスを復号する際に使用されるシンタックス要素を含むピクチャヘッダと、スライスを復号する際に使用されるシンタックス要素を含むスライスヘッダと、を含み、ビットストリームは、ＬＭＣＳまたはスケーリングリスト復号ツールがピクチャ内で使用されるかどうかを示す少なくとも１つのシンタックス要素が、ピクチャヘッダ内で符号化されており、ここで、ＬＭＣＳまたはスケーリングリスト復号ツールがピクチャで使用される場合、少なくとも１つのAPS ID関連シンタックス要素がピクチャヘッダ内のＬＭＣＳまたはスケーリングリスト復号ツールについて符号化され、スライスヘッダにおいて、他の復号ツールに関連するシンタックス要素の前に、ＬＭＣＳまたはスケーリングリスト復号ツールがそのスライスに対して使用されるかどうかを示す少なくとも１つのシンタックス要素が符号化され、ここで、ALF APS IDシンタックス要素が、有効である場合、ＬＭＣＳまたはスケーリングリスト復号ツールがそのスライスについて使用されるかどうかを示す少なくとも１つのシンタックス要素の前に構文解析され、ここで、ビデオデータは、前記シンタックス要素を使用して、ビットストリームから復号されてもよい。

第１１の態様では、第１０の態様によるビットストリームを復号する方法が提供される。

第１０の態様のビットストリームは、ビットストリームを搬送する信号によって具現化され得る。信号は一時的な媒体（無線または有線データキャリア上のデータ、例えば、インターネットを介したデジタルダウンロードまたはストリーミングされたデータ）または非一時的な媒体（例えば、（ブルーレイ）ディスク、メモリなどの物理媒体）上で搬送されてもよい。

別の態様では、ビットストリームからビデオデータを符号化／復号する方法が提供され、方法はピクチャヘッダにおいて、ＬＭＣＳまたはスケーリングリスト復号ツールがピクチャにおいて使用され得るかどうかを示すシンタックス要素を符号化／構文解析することと、スライスヘッダにおいて、ＬＭＣＳまたはスケーリングリスト復号ツールが他の復号ツールに関するシンタックス要素に先立ってそのスライスに対して使用されるかどうかを示す少なくとも１つのシンタックス要素を符号化／構文解析することと、を含む。他の復号ツールは、低レベル復号ツールであってもよく、ＡＬＦを含まない。適応ループフィルタリングAPS IDシンタックス要素は、ＬＭＣＳまたはスケーリングリスト復号ツールがそのスライスに対して使用されるかどうかを示す少なくとも１つのシンタックス要素の前に、符号化／構文解析されることがある（例えば、有効なとき）。ビデオデータは、前記シンタックス要素に従って、ビットストリームに符号化／ビットストリームから復号されてもよい。方法は、ＬＭＣＳまたはスケーリングリスト復号ツールがピクチャ内で使用され得るかどうかを示す少なくとも１つのシンタックス要素を、ピクチャヘッダに符号化／ピクチャヘッダから復号することをさらに含み得、ここで、ＬＭＣＳまたはスケーリングリスト復号ツールがピクチャ内で使用される場合、デバイスは、この方法を実行するように構成され得る。コンピュータプログラムは実行時に方法を（例えば、１つ以上のプロセッサによって）実行させる命令を含んでもよい。

本発明の一態様における任意の特徴は、任意の適切な組み合わせで、本発明の他の態様に適用されてもよい。特に、方法の態様は、装置の態様に適用されてもよく、逆もまた同様である。

さらに、ハードウェアで実施される特徴は、ソフトウェアで実施されてもよく、その逆も可能である。本明細書におけるソフトウェアおよびハードウェアの特徴へのいかなる参照も、それに応じて解釈されるべきである。

本明細書に記載されるような任意の装置特徴は、方法特徴として提供されてもよく、逆もまた同様である。本明細書で使用されるように、ミーンズプラスファンクション特徴は、適切にプログラムされたプロセッサおよび関連するメモリなどの、それらの対応する構造に関して代替的に表現されてもよい。

また、本発明の任意の態様において説明され、定義された様々な特徴の特定の組合せは、独立して実装および／または供給および／または使用されることができることを理解されたい。

ここで、例として、添付の図面を参照する。
図１は、ＨＥＶＣ及びＶＶＣで使用されるコーディング構造を説明するための図である。 図２は、本発明の１つ以上の実施形態を実施することができるデータ通信システムを概略的に示すブロック図である。 図３は、本発明の１つ以上の実施形態を実施することができる処理装置の構成要素を示すブロック図である。 図４は、本発明の実施形態による符号化方法のステップを示すフローチャートである。 図５は、本発明の実施形態による復号方法のステップを示すフローチャートである。 図６は、例示的なコーディングシステムＶＶＣにおけるビットストリームの構造を示す。 図７は、LMCS(Luma Modelling Chroma Scaling)を示す。 図８は、ＬＭＣＳのサブツールを示す。 図９は、本発明の実施形態による、エンコーダまたはデコーダおよび通信ネットワークを備えるシステムを示す図である。 図１０は、本発明の１つ以上の実施形態の実施のためのコンピューティングデバイスの概略ブロック図である。 図１１は、ネットワークカメラシステムを示す図である。 図１２は、スマートフォンを示す図である。

図１は、高効率ビデオコーディング（ＨＥＶＣ）ビデオ規格で使用されるコーディング構造に関する。ビデオシーケンス１は、一連のデジタル画像ｉから構成される。このような各デジタル画像は、１つ以上のマトリックスによって表される。マトリクス係数はピクセルを表す。

シーケンスの画像２は、スライス３に分割することができる。スライスは、場合によっては画像全体を構成することができる。これらのスライスは、非オーバーラップコーディングツリーユニット（ＣＴＵ）に分割される。コーディングツリーユニット（ＣＴＵ）は高効率ビデオコーディング（ＨＥＶＣ）ビデオ規格の基本的な処理ユニットであり、構造的には、いくつかの以前のビデオ規格で使用されたマクロブロックユニットに概念的に対応する。ＣＴＵは、時には最大コーディングユニット（ＬＣＵ）とも呼ばれる。ＣＴＵはルマ及びクロマ構成要素部分を有し、その構成要素部分の各々は、コーディングツリーブロック（ＣＴＢ）と呼ばれる。これらの異なる色成分は、図１には示されていない。

ＣＴＵは一般に、サイズ６４ピクセル×６４ピクセルである。各ＣＴＵは、四分木分解を使用して、より小さい可変サイズコーディングユニット（ＣＵ）５に順々に反復的に分割されてもよい。

コーディングユニットは基本コーディング要素であり、PU(Prediction Unit)とTU(Transform Unit)と呼ばれる２種類のサブユニットから構成される。ＰＵまたはＴＵの最大サイズは、ＣＵサイズに等しい。予測ユニットは、ピクセル値の予測のためのＣＵのパーティションに対応する。６０６によって示されるように、４つの正方形ＰＵへのパーティションと、２つの長方形ＰＵへの２つの異なるパーティションとを含む、ＰＵへのＣＵの様々な異なるパーティションが可能である。変換ユニットは、ＤＣＴを使用して空間変換を行う基本ユニットである。ＣＵは、四分木表現６０７に基づいてＴＵに分割することができる。

各スライスは、１つのネットワーク抽象化レイヤ（ＮＡＬ）ユニットに埋め込まれる。さらに、ビデオシーケンスのコーディングパラメータは、パラメータセットと呼ばれる専用ＮＡＬユニットに格納される。ＨＥＶＣおよびＨ．２６４／ＡＶＣでは、２種類のパラメータセットＮＡＬユニットが使用される：第１に、ビデオシーケンス全体の間に変更されないすべてのパラメータを収集するシーケンスパラメータセット(ＳＰＳ)ＮＡＬユニット。典型的には、それはコーディングプロファイル、ビデオフレームのサイズ、及び他のパラメータを処理する。第２に、ピクチャパラメータセット(ＰＰＳ)ＮＡＬユニットは、シーケンスの１つの画像（またはフレーム）から他に変更することができるパラメータを含む。ＨＥＶＣには、ビットストリームの全体的な構造を記述するパラメータを含むビデオパラメータセット(VPS)NALユニットも含まれている。ＶＰＳは、ＨＥＶＣで定義された新しいタイプのパラメータセットで、ビットストリームのすべてのレイヤに適用される。レイヤには、複数の時間サブレイヤを含めることができ、すべてのバージョン１のビットストリームは、１つのレイヤに制限される。ＨＥＶＣにはスケーラビリティとマルチビューのための特定のレイヤ拡張があり、これらは後方互換性のあるバージョン１基本レイヤを備えた複数のレイヤを可能にする。

図２は、本発明の１つ以上の実施形態を実施することができるデータ通信システムを示す。データ通信システムは、データ通信ネットワーク２００を介して、データストリームのデータパケットを受信装置、この場合はクライアント端末２０２に送信するように動作可能な送信装置、この場合はサーバ２０１を含む。データ通信ネットワーク２００は、ワイドエリアネットワーク（ＷＡＮ）またはローカルエリアネットワーク（ＬＡＮ）であってもよい。このようなネットワークは例えば、無線ネットワーク(Wifi／８０２．１１ａまたはｂまたはｇ）、イーサネットネットワーク、インターネットネットワーク、または複数の異なるネットワークから構成される混合ネットワークであってもよい。本発明の特定の実施形態では、データ通信システムが、サーバ２０１が同じデータコンテンツを複数のクライアントに送信するデジタルテレビ放送システムであってもよい。

サーバ２０１によって提供されるデータストリーム２０４は、ビデオおよびオーディオデータを表すマルチメディアデータから構成されてもよい。オーディオおよびビデオデータストリームは、本発明のいくつかの実施形態では、それぞれマイクロフォンおよびカメラを使用してサーバ２０１によってキャプチャされ得る。いくつかの実施形態において、データストリームはサーバ２０１上に格納されてもよく、あるいは別のデータプロバイダからサーバ２０１によって受信されてもよく、あるいはサーバ２０１で生成されてもよい。サーバ２０１は特に、エンコーダへの入力として提示されるデータのよりコンパクトな表現である送信のための圧縮済みビットストリームを提供するために、ビデオおよびオーディオストリームを符号化するためのエンコーダを備える。

送信データの品質対送信データの量のより良好な比を得るために、ビデオデータの圧縮は例えば、ＨＥＶＣフォーマット又はＨ．２６４／ＡＶＣフォーマットに従ってもよい。

クライアント２０２は、送信されたビットストリームを受信し、再構成されたビットストリームを復号して、ビデオ画像を表示装置上で再生し、オーディオデータをラウドスピーカにより再生する。

図２の例では、ストリーミングシナリオが考慮されているが、本発明のいくつかの実施形態では、エンコーダとデコーダとの間のデータ通信が例えば、光ディスクなどの媒体記憶装置を使用して実行され得ることが理解されよう。

本発明の１つ以上の実施形態では、ビデオ画像が画像の再構成されたピクセルに適用して最終画像内のフィルタリングされたピクセルを提供するために、補償オフセットを表すデータと共に送信される。

図３は、本発明の少なくとも１つの実施形態を実施するように構成された処理装置３００を概略的に示す。処理装置３００は、マイクロコンピュータ、ワークステーション、またはライトポータブル装置などの装置とすることができる。装置３００は、
－ＣＰＵで示される、マイクロプロセッサなどの中央処理装置３１１
－本発明を実施するためのコンピュータプログラムを格納するためのＲＯＭと表記される読み出し専用メモリ３０６
－本発明の実施形態の方法の実行可能コード、ならびにデジタル画像のシーケンスを符号化する方法および／または本発明の実施形態によるビットストリームを復号する方法を実施するために必要な変数およびパラメータを記録するように適合されたレジスタを格納する、ＲＡＭで示されるランダムアクセスメモリ３１２
－処理されるデジタルデータが送信または受信される通信ネットワーク３０３に接続された通信インターフェース３０２
に接続された通信バス３１３を備える。

任意選択で、装置３００は、以下の構成要素を含むこともできる：
－本発明の１つ以上の実施形態の方法を実施するためのコンピュータプログラム、および本発明の１つ以上の実施形態の実施中に使用または生成されるデータを格納するための、ハードディスクなどのデータ記憶手段３０４
－ディスク３０６のためのディスクドライブ３０５であり、ディスクドライブは、ディスク３０６からデータを読み取るか、または前記ディスクにデータを書き込むように適合されている
－キーボード３１０または他の任意のポインティング手段によって、ユーザとのグラフィカルインターフェースとして機能するおよび／またはデータを表示するスクリーン３０９

装置３００は例えば、デジタルカメラ３２０またはマイクロフォン３０８などの種々の周辺機器に接続され得、各周辺機器はマルチメディアデータを装置３００に供給するように、入力／出力カード（図示せず）に接続される。

通信バスは、装置３００に含まれる、またはそれに接続された様々な要素間の通信および相互運用性を提供する。バスの表現は限定的ではなく、特に、中央処理装置は直接的に、または装置３００の別の要素によって、装置３００の任意の要素に命令を通信するように動作可能である。

ディスク３０６は例えばコンパクトディスク（ＣＤ－ＲＯＭ）、書き換え可能またはそわない、ＺＩＰディスクまたはメモリカードなどの任意の情報媒体に置き換えることができ、一般的に言えば、マイクロコンピュータまたはマイクロプロセッサによって読み取ることができる情報記憶手段によって置き換えることができ、装置に統合または非統合され、可能であれば、リムーバブルであり、実行がデジタル画像のシーケンスを符号化する方法および／または本発明によるビットストリームの復号方法を実施可能にする１つ以上のプログラムを格納するように適合することができる。

実行可能コードは、読み出し専用メモリ３０６、ハードディスク３０４、または先に説明したような例えばディスク３０６などのリムーバブルデジタル媒体のいずれかに格納することができる。変形例によれば、プログラムの実行可能コードはハードディスク３０４などの実行される前に装置３００の記憶手段の１つに格納されるために、インターフェース３０２を介して、通信ネットワーク３０３によって受信することができる。

中央処理装置３１１は前述の格納手段の１つに格納された命令で本発明によるプログラムまたはプログラム群のソフトウェアコードの命令または部分の実行を制御し、指示するように適合されている。電源投入時に、例えばハードディスク３０４または読み出し専用メモリ３０６上の不揮発性メモリに格納されたプログラムまたはプログラム群は、ランダムアクセスメモリ３１２に転送され、ランダムアクセスメモリはプログラムまたはプログラム群の実行可能コード、ならびに本発明を実施するために必要な変数およびパラメータを格納するためのレジスタを含む。

この実施形態では、装置が本発明を実施するためにソフトウェアを使用するプログラマブル装置である。しかしながら、代替的に、本発明はハードウェア（例えば、特定用途向け集積回路またはＡＳＩＣの形態）で実施されてもよい。

図４は、本発明の少なくとも１つの実施形態によるエンコーダのブロック図を示す。エンコーダは、接続されたモジュールによって表され、各モジュールは例えば、装置３００のＣＰＵ３１１によって実行されるべきプログラム命令の形態で、本発明の１つ以上の実施形態による画像のシーケンスの画像を符号化する少なくとも１つの実施形態を実施する方法の少なくとも１つの対応するステップを実施するように適合される。

ディジタル画像ｉ０～ｉｎ４０１のオリジナルシーケンスは、エンコーダ４００によって入力として受信される。各デジタル画像は、ピクセルとして知られるサンプルのセットによって表される。

ビットストリーム４１０は、符号化プロセスの実施後にエンコーダ４００によって出力される。ビットストリーム４１０は複数の符号化ユニットまたはスライスを備え、各スライスは、スライスを符号化するために使用される符号化パラメータの符号化値を送信するためのスライスヘッダと、符号化されたビデオデータを備えるスライス本体と、を備える。

入力デジタル画像ｉ０～ｉｎ４０１は、モジュール４０２によってピクセルのブロックに分割される。ブロックは画像部分に対応し、可変サイズであってもよい（例えば、４×４、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８ピクセル、およびいくつかの矩形ブロックサイズも考慮することができる）。コーディングモードは、各入力ブロックに対して選択される。空間予測コーディング（イントラ予測）に基づくコーディングモードと、時間予測に基づくコーディングモード（インターコーディング、マージ、スキップ）の２つのファミリのコーディングモードが提供される。可能なコーディングモードがテストされる。

モジュール４０３は、符号化されるべき所与のブロックが符号化されるべき前記ブロックの近傍の画素から計算された予測子によって予測されるイントラ予測処理を実施する。選択されたイントラ予測子の指示、および所与のブロックとその予測子との間の差は、イントラコーディングが選択された場合に残差を提供するために符号化される。

時間予測は、動き推定モジュール４０４および動き補償モジュール４０５によって実施される。最初に、参照画像４１６のセットの中から参照画像が選択され、符号化されるべき所与のブロックに最も近いエリアである、参照エリアまたは画像部分とも呼ばれる参照画像の部分が、動き推定モジュール４０４によって選択される。次いで、動き補償モジュール４０５は、選択されたエリアを使用して、符号化されるべきブロックを予測する。選択された参照エリアと、残差ブロックとも呼ばれる所与のブロックとの間の差は、動き補償モジュール４０５によって計算される。選択された参照エリアは、動きベクトルによって示される。

したがって、両方の場合（空間予測および時間予測）、残差は、元のブロックから予測を減算することによって計算される。

モジュール４０３によって実施されるイントラ予測では、予測方向が符号化される。時間予測では、少なくとも１つの動きベクトルが符号化される。モジュール４０４、４０５、４１６、４１８、４１７によって実施されるインター予測では、そのような動きベクトルを識別するための少なくとも１つの動きベクトルまたはデータが時間予測のために符号化される。

インター予測が選択された場合、動きベクトルおよび残差ブロックに関する情報が符号化される。ビットレートをさらに低減するために、動きが均一であると仮定すると、動きベクトルは、動きベクトル予測子に対する差によって符号化される。動き情報予測子のセットの動きベクトル予測子は、動きベクトル予測およびコーディングモジュール４１７によって動きベクトルフィールド４１８から得られる。

エンコーダ４００はさらに、レート歪み基準などの符号化コスト基準を適用することによって符号化モードを選択する選択モジュール４０６を備える。冗長性をさらに低減するために、変換モジュール４０７によって変換（ＤＣＴなど）を残差ブロックに適用し、得られた変換データを量子化モジュール４０８によって量子化し、エントロピー符号化モジュール４０９によってエントロピー符号化する。最後に、符号化されている現在のブロックの符号化された残差ブロックがビットストリーム４１０に挿入される。

また、エンコーダ４００は、後続の画像の動き推定のための参照画像を再生するために、符号化された画像の復号を行う。これは、ビットストリームを受信するエンコーダ及びデコーダが同じ参照フレームを有することを可能にする。逆量子化モジュール４１１は量子化データの逆量子化を行い、続いて逆変換モジュール４１２による逆変換を行う。逆イントラ予測モジュール４１３は予測情報を使用して、所与のブロックにどの予測子を使用するかを決定し、逆動き補償モジュール４１４は、モジュール４１２によって取得された残差を、参照画像４１６のセットから取得された参照領域に実際に加算する。

次いで、モジュール４１５によってポストフィルタリングが適用されて、再構成された画素のフレームをフィルタリングする。本発明の実施形態では、補償オフセットが再構成画像の再構成画素の画素値に付加されるＳＡＯループフィルタが使用される。

図５は、本発明の一実施形態による、エンコーダからデータを受信するために使用され得るデコーダ６０のブロック図を示す。デコーダは、接続されたモジュールによって表され、各モジュールは例えば、デバイス３００のＣＰＵ３１１によって実行されるプログラム命令の形式で、デコーダ６０によって実現される方法の対応するステップを実施するように適合される。

デコーダ６０は、符号化ユニットを含むビットストリーム６１を受信し、各符号化ユニットは、符号化パラメータに関する情報を含むヘッダと、符号化されたビデオデータを含む本体と、から構成される。ＶＶＣにおけるビットストリームの構造は図６を参照して以下でより詳細に説明される。図４に関して説明されるように、符号化されたビデオデータはエントロピー符号化され、動きベクトル予測子のインデックスは、所与のブロックについて、所定のビット数で符号化される。受信された符号化ビデオデータは、モジュール６２によってエントロピー復号される。次いで、残差データはモジュール６３によって逆量子化され、次いで、画素値を得るためにモジュール６４によって逆変換が適用される。

コーディングモードを示すモードデータもエントロピー復号され、そのモードに基づいて、画像データの符号化ブロックに対してイントラ型復号またはインター型復号が実行される。

イントラモードの場合、イントラ予測子は、ビットストリームで指定されたイントラ予測モードに基づいてイントラ逆予測モジュール６５によって決定される。

モードがインターである場合、エンコーダによって使用される参照領域を見つけるために、動き予測情報がビットストリームから抽出される。動き予測情報は、参照フレームインデックスと動きベクトル残差とから構成される。動きベクトル復号モジュール７０によって動きベクトルを得るために、動きベクトル予測子が動きベクトル残差に加えられる。

動きベクトル復号モジュール７０は、動き予測によって符号化された現在のブロックごとに動きベクトル復号を適用する。動きベクトル予測子のインデックスが現在のブロックについて取得されると、現在のブロックに関連する動きベクトルの実際の値が復号され、モジュール６６によって逆動き補償を適用するために使用され得る。復号された動きベクトルによって示される参照画像部分は、参照画像６８から抽出され、逆動き補償６６が適用される。動きベクトルフィールドデータ７１は後続の復号動きベクトルの逆予測に使用するために、復号動きベクトルで更新される。

最後に、復号されたブロックが得られる。ポストフィルタリングは、ポストフィルタリングモジュール６７によって適用される。復号されたビデオ信号６９は、最終的にデコーダ６０によって提供される。

図６は、ＪＶＥＴ＿Ｐ２００１－ＶＥに記載されているように、例示的なコーディングシステムＶＶＣにおけるビットストリームの構成を示す。

ＶＶＣコーディングシステムによるビットストリーム６１は、シンタックス要素と符号化データの順序付けられたシーケンスから構成される。シンタックス要素および符号化データは、ネットワーク抽象化レイヤ（ＮＡＬ）ユニット６０１～６０８に配置される。異なるＮＡＬユニットタイプがある。ネットワーク抽象化レイヤは、ＲＴＰ／ＩＰなどの異なるプロトコルにビットストリームをカプセル化する機能を提供し、リアルタイムプロトコル／インターネットプロトコル、ＩＳＯベースメディアファイル形式などに対応する。ネットワーク抽象化レイヤは、パケット損失回復力のためのフレームワークも提供する。

ＮＡＬユニットは、VCL(Video Coding Layer)NALユニットと非VCL NALユニットとに分割される。VCL NALユニットは、実際の符号化されたビデオデータを含む。非VCL NALユニットは、追加情報を含む。この追加情報は、符号化されたビデオデータの復号に必要なパラメータ、または復号されたビデオデータの使い勝手を向上させることができる補足データである。ＮＡＬユニット６０６はスライスに対応し、ビットストリームのVCL NALユニットを構成する。

異なるＮＡＬユニット６０１～６０５は異なるパラメータセットに対応し、これらのＮＡＬユニットは非VCL NALユニットである。デコーダパラメータセット(ＤＰＳ)ＮＡＬユニット３０１は、所与の復号処理に対して一定であるパラメータを含む。ビデオパラメータセット(ＶＰＳ)ＮＡＬユニット６０２は、ビデオ全体、したがってビットストリーム全体に対して定義されたパラメータを含む。DPS NALユニットは、ＶＰＳ内のパラメータよりも静的なパラメータを定義することができる。換言すれば、ＤＰＳのパラメータは、ＶＰＳのパラメータよりも頻繁には変更しない。

シーケンスパラメータセット(ＳＰＳ)ＮＡＬユニット６０３は、ビデオシーケンスに対して定義されたパラメータを含む。特に、SPS NALユニットは、ビデオシーケンスのサブピクチャレイアウトおよび関連するパラメータを定義することができる。各サブピクチャに関連するパラメータは、サブピクチャに適用されるコーディング制約を指定する。特に、それは、サブピクチャ間の時間予測が同じサブピクチャから来るデータに制限されることを示すフラグを含む。別のフラグは、サブピクチャ境界を横切るループフィルタを有効または無効にすることができる。

ピクチャパラメータセット(ＰＰＳ)ＮＡＬユニット６０４、ＰＰＳは、ピクチャまたはピクチャのグループに対して定義されたパラメータを含む。適応パラメータセット(ＡＰＳ:Adaptation Parameter Set)ＮＡＬユニット６０５はループフィルタのためのパラメータを含み、典型的には、適応ループフィルタ（ＡＬＦ:Adaptive Loop Filtering）またはリシェーパモデル（またはクロマスケーリング伴うルママッピングモデル（ＬＭＣＳ））またはスライスレベルで使用されるスケーリングマトリクスを含む。

ＶＶＣの現在のバージョンで提案されているようなＰＰＳのシンタックスは、ルマサンプル内のピクチャのサイズと、タイルおよびスライス内の各ピクチャの分割と、を指定するシンタックス要素を含む。

ＰＰＳには、フレーム内のスライスの位置を決定できるようにするシンタックス要素が含まれている。サブピクチャはフレーム内で矩形領域を形成するので、パラメータセットＮＡＬユニットから、サブピクチャに属するスライスのセット、タイルの部分、またはタイルを決定することが可能である。ＡＰＳとしてのＰＰＳは、送信される同一のＰＰＳの量を制限するためのＩＤメカニズムを有する。

ＰＰＳとピクチャヘッダとの間の主な違いは、ＰＰＳが送信されることであり、ＰＰＳは一般に、ピクチャ毎に体系的に送信されるＰＨと比較して、ピクチャのグループについて送信される。したがって、ＰＨと比較されるＰＰＳは、いくつかのピクチャに対して一定であり得るパラメータを含む。

ビットストリームはまた、補足拡張情報（Supplemental Enhancement Information）(ＳＥＩ)ＮＡＬユニット（図６には示されていない）を含むことができる。ビットストリーム内でこれらのパラメータセットが発生する周期性は可変である。ビットストリーム全体に対して定義されたＶＰＳは、ビットストリーム内で１回のみ発生する可能性がある。反対に、スライスに対して定義されるＡＰＳは、各ピクチャ内の各スライスに対して１回発生し得る。実際には、異なるスライスが同じＡＰＳに依拠することができ、したがって、一般に、各ピクチャ内のスライスよりも少ないＡＰＳが存在する。特に、ＡＰＳは、ピクチャヘッダにおいて定義される。しかし、ALF APSは、スライスヘッダにおいて精緻化することができる。

アクセスユニットデリミタ(ＡＵＤ)ＮＡＬユニット６０７は、２つのアクセスユニットを分離する。アクセスユニットは、同じ復号タイムスタンプを有する１つ以上の符号化ピクチャを備えることができるＮＡＬユニットのセットである。このオプションのＮＡＬユニットは、現在のＶＶＣ仕様書の中でただ１つのシンタックス要素、ｐｉｃ＿ｔｙｐｅ、このシンタックス要素を含んでいる。ＡＵ内の符号化ピクチャのすべてのスライスのｓｌｉｃｅ＿ｔｙｐｅ値を示す。ｐｉｃ＿ｔｙｐｅが０に等しく設定される場合、ＡＵはイントラスライスのみを含む。１に等しい場合、それはＰおよびＩスライスを含む。２に等しい場合、それはＢ、Ｐまたはイントラスライスを含む。

このＮＡＬユニットは、１つのみのシンタックス要素ｐｉｃ－ｔｙｐｅを含んでいる。
表１ シンタックスＡＵＤ

ＪＶＥＴ－Ｐ２００１－ｖＥでは、ｐｉｃ＿ｔｙｐｅは次のように定義されている。

”ｐｉｃ＿ｔｙｐｅは、ＡＵデリミタＮＡＬユニットを含むＡＵ内の符号化ピクチャの全てのスライスに対するｓｌｉｃｅ＿ｔｙｐｅ値がｐｉｃ＿ｔｙｐｅの所与の値に対して表２にリストされたセットのメンバであることを示す。ｐｉｃ＿ｔｙｐｅの値は、この仕様書のこのバージョンに準拠するビットストリームにおいて０、１又は２に等しい。ｐｉｃ＿ｔｙｐｅの他の値は、ＩＴＵ－T|ISO／IECによる将来の使用のために予約される。この仕様書のこのバージョンに準拠するデコーダがｐｉｃ＿ｔｙｐｅの予約された値を無視する。”
表２ ｐｉｃ＿ｔｙｐｅの解釈

PH NALユニット６０８は、１つの符号化ピクチャのスライスのセットに共通のパラメータをグループ化するピクチャヘッダＮＡＬユニットである。ピクチャは、ＡＦＬパラメータ、リシェーパモデル、およびピクチャのスライスによって使用されるスケーリングマトリクスを示すために、１つ以上のＡＰＳを参照することがある。

VCL NALユニット６０６の各々はスライスを含む。スライスは、ピクチャ全体またはサブピクチャ、単一のタイル、または複数のタイル、またはタイルの一部に対応することができる。例えば、図３のスライスは、幾つかのタイル６２０を含む。スライスは、スライスヘッダ６１０と、符号化ブロック６４０として符号化された符号化画素データを含む生バイトシーケンスペイロードＲＢＳＰ６１１とから構成される。

ＶＶＣの現在のバージョンで提案されているようなＰＰＳのシンタックスは、ルマサンプル内のピクチャのサイズと、タイルおよびスライス内の各ピクチャの分割と、を指定するシンタックス要素を含む。

ＰＰＳには、フレーム内のスライスの位置を決定できるようにするシンタックス要素が含まれている。サブピクチャはフレーム内で矩形領域を形成するので、パラメータセットＮＡＬユニットから、サブピクチャに属するスライスのセット、タイルの部分、またはタイルを決定することが可能である。

ＮＡＬユニットスライス
ＮＡＬユニットスライスレイヤは表３に示すように、スライスヘッダとスライスデータとを含む。

表３ スライスレイヤシンタックス

ＡＰＳ
適応パラメータセット(ＡＰＳ)ＮＡＬユニット６０５は、シンタックス要素を示す表４において定義される。

表４に示すように、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素で与えられるＡＰＳには３つの可能なタイプがある。
・ ALF_AP: ALFパラメータの場合
・ ＬＭＣＳパラメータのＬＭＣＳ＿ＡＰＳ
・ スケーリングリスト相対パラメータのＳＣＡＬＩＮＧ＿ＡＰＳ
表４ 適応パラメータセットシンタックス

これらの３つのタイプのＡＰＳパラメータについて、以下で順に説明する。

ALF APS
ＡＬＦパラメータは、適応ループフィルタデータシンタックス要素（表５）に記載されている。先ず、ＡＬＦフィルタがルマおよび／またはクロマのために送信されるかどうかを指定するために、２つのフラグが使用される。ルマフィルタフラグが有効な場合、クリップ値が通知されているかどうかを知るために別のフラグが復号される（ａｌｆ＿ｌｕｍａ＿ｃｌｉｐ＿ｆｌａｇ）。次に、通知されるフィルタの数は、ａｌｆ＿ｌｕｍａ＿ｎｕｍ＿ｆｉｌｔｅｒｓ＿ｓｉｇｎａｌｌｅｄ＿ｍｉｎｕｓ１シンタックス要素を使用して復号される。必要に応じて、ＡＬＦ係数デルタ”ａｌｆ_luma_coeff_delta_idx”を表すシンタックス要素が、有効なフィルタごとに復号される。そして、各フィルタの係数毎に絶対値と符号を復号する。

ａｌｆ＿ｌｕｍａ＿ｃｌｉｐ＿ｆｌａｇが有効な場合、有効な各フィルタの各係数のクリップインデックスが復号される。

同様に、ＡＬＦクロマ係数は、必要に応じて復号される。

表５ 適応ループフィルタデータシンタックス

ルママッピングとクロマスケーリングの両方のＬＭＣＳシンタックス要素
以下の表６に、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅパラメータが１（ＬＭＣＳ＿ＡＰＳ）に設定されている場合に、適応パラメータセット（ＡＰＳ）シンタックス構造でコーディングされるすべてのＬＭＣＳシンタックス要素を示す。４つまでのLMCS APSは、符号化されたビデオシーケンスにおいて使用されることができるが、単一のLMCS APSのみが、所与のピクチャに対して使用されることができる。

これらのパラメータは、ルマのための順方向および逆方向マッピング関数、ならびにクロマのためのスケーリング関数、を構築するために使用される。

表６ クロマスケーリングデータシンタックスを使用したルママッピング

スケーリングリストＡＰＳ
スケーリングリストは、量子化に使用される量子化マトリクスを更新する可能性を提供する。ＶＶＣでは、このスケーリングマトリクスがスケーリングリストデータシンタックス要素（表７）に記載されているように、ＡＰＳ内のｓである。このシンタックスは、フラグｓｃａｌｉｎｇ＿ｍａｔｒｉｘ＿ｆｏｒ＿lfnst＿ｄｉｓａｂｌｅｄ＿ｆｌａｇに基づいてLFNST(Low Frequency Non-Separable Transform)ツールにスケーリングマトリクスを使用するかどうかを指定する。次に、スケーリングマトリクスを構築するために必要なシンタックス要素が復号される（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｐｙ＿ｍｏｄｅ＿ｆｌａｇ、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｉｄ＿ｄｅｌｔａ、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｅｌｔａ＿ｃｏｅｆ）。

表７ スケーリングリストデータシンタックス

ピクチャヘッダ
ピクチャヘッダは、各ピクチャの先頭で送信される。ピクチャヘッダテーブルシンタックスには現在、８２のシンタックス要素と、約６０のテスト条件またはループが含まれている。これは、標準の以前の草案における以前のヘッダと比較して非常に大きい。これらすべてのパラメータの完全な説明は、ＪＶＥＴ＿Ｐ２００１－ＶＥにある。表８は、現在のピクチャヘッダ復号シンタックスにおけるこれらのパラメータを示している。この簡略化されたテーブルバージョンでは、読みやすくするためにいくつかのシンタックス要素がグループ化されている。

復号可能な関連するシンタックス要素は以下に関連する。
・ このピクチャ、参照フレーム、またはそわないの使用
・ 出力フレーム
・ 必要に応じてサブピクチャの使用
・ 必要に応じて参照ピクチャリスト
・ 必要に応じて色平面
・ オーバライドフラグが有効な場合の分割更新
・ 必要に応じてデルタＱＰパラメータ
・ 必要に応じて動き情報パラメータ
・ 必要に応じてＡＬＦパラメータ
・ 必要に応じてＳＡＯパラメータ
・ 必要に応じて量子化パラメータ
・ 必要に応じてＬＭＣＳパラメータ
・ 必要に応じてスケーリングリストパラメータ
・ 必要に応じてピクチャヘッダ拡張
固定長の最初の３つのフラグは、ビットストリーム内のピクチャ特性に関連する情報を与えるｎｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｐｉｃｔｕｒｅ＿ｆｌａｇ、ｇｄｒ＿ｐｉｃ＿ｆｌａｇ、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇである。

次に、ｇｄｒ＿ｐｉｃ＿ｆｌａｇが有効な場合、ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔが復号される。

ＰＰＳパラメータ”ＰＳ＿ｐａｒａｍｅｔｅｒｓ（）”は、PPS IDと、必要に応じていくつかのその他の情報を設定する。それは３つのシンタックス要素を含む。
・ ｐｈ_ｐｉｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ
・ ｐｈ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
・ ｐｏｃ＿ｍｓｂ＿ｖａｌ
サブピクチャパラメータＳｕｂｐｉｃ＿ｐａｒａｍｅｔｅｒ（）は、ＳＰＳで有効になっている場合、およびサブピクチャｉｄ通知が無効になっている場合に有効になる。それはまた、仮想境界に関するいくつかの情報を含む。サブピクチャパラメータに対して、８つのシンタックス要素が定義される。
・ ｐｈ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
・ ｐｈ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１
・ ｐｈ＿ｓｕｂｐｉｃ＿ｉｄ
・ ｐｈ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｖｉｒｔｕａｌ＿ｂｏｕｎｄａｒｉｅｓ＿ｄｉｓａｂｌｅｄ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
・ ｐｈ＿ｎｕｍ＿ｖｅｒ＿ｖｉｒｔｕａｌ＿ｂｏｕｎｄａｒｉｅｓ
・ ｐｈ＿ｖｉｒｔｕａｌ＿ｂｏｕｎｄａｒｉｅｓ＿ｐｏｓ＿ｘ
・ ｐｈ＿ｎｕｍ＿ｈｏｒ＿ｖｉｒｔｕａｌ＿ｂｏｕｎｄａｒｉｅｓ
・ ｐｈ＿ｖｉｒｔｕａｌ＿ｂｏｕｎｄａｒｉｅｓ＿ｐｏｓ＿ｙ
次に、シーケンスが別々のカラープレーンを含む場合は、カラープレーンid”colour_plane_id”が復号され、存在する場合は、その後にｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇが続く。

次に、参照ピクチャリストのパラメータが復号され、”ｒｅｆｅｒｅｎｃｅ＿ｐｉｃｔｕｒｅ＿ｌｉｓｔ＿ｐａｒａｍｅｔｅｒｓ（）”には以下のシンタックス要素が含まれる。
・ ｐｉｃ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
・ ｐｉｃ＿ｒｐｌ＿ｓｐｓ＿ｆｌａｇ
・ ｐｉｃ＿ｒｐｌ＿ｉｄｘ
・ ｐｉｃ＿ｐｏｃ＿ｌｓｂ＿ｌｔ
・ ｐｉｃ＿ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
・ ｐｉｃ＿ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｌｔ
必要に応じて、他の８つのシンタックス要素を含む参照ピクチャリスト構造”ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ”に関連するシンタックス要素の別のグループも復号できる。

分割パラメータ”ｐａｒｔｉｔｉｏｎｉｎｇ＿ｐａｒａｍｅｔｅｒｓ（）”のセットは、必要に応じて復号され、次の１３個のシンタックス要素を含む。
・ ｐａｒｔｉｔｉｏｎ＿ｃｏｎｓｔｒａｉｎｔｓ＿ｏｖｅｒｒｉｄｅ＿ｆｌａｇ
・ ｐｉｃ＿ｌｏｇ２＿ｄｉｆｆ＿ｍｉｎ＿ｑｔ＿ｍｉｎ＿ｃｂ＿ｉｎｔｒａ＿ｓｌｉｃｅ＿ｌｕｍａ
・ ｐｉｃ＿ｌｏｇ２＿ｄｉｆｆ＿ｍｉｎ＿ｑｔ＿ｍｉｎ＿ｃｂ＿ｉｎｔｅｒ＿ｓｌｉｃｅ
・ ｐｉｃ＿ｍａｘ＿ｍｔｔ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｅｒ＿ｓｌｉｃｅ
・ ｐｉｃ＿ｍａｘ＿ｍｔｔ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｒａ＿ｓｌｉｃｅ＿ｌｕｍａ
・ ｐｉｃ＿ｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｂｔ＿ｍｉｎ＿ｑｔ＿ｉｎｔｒａ＿ｓｌｉｃｅ＿ｌｕｍａ
・ ｐｉｃ＿ｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｔｔ＿ｍｉｎ＿ｑｔ＿ｉｎｔｒａ＿ｓｌｉｃｅ＿ｌｕｍａ
・ ｐｉｃ＿ｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｂｔ＿ｍｉｎ＿ｑｔ＿ｉｎｔｅｒ＿ｓｌｉｃｅ
・ ｐｉｃ＿ｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｔｔ＿ｍｉｎ＿ｑｔ＿ｉｎｔｅｒ＿ｓｌｉｃｅ
・ ｐｉｃ＿ｌｏｇ２＿ｄｉｆｆ＿ｍｉｎ＿ｑｔ＿ｍｉｎ＿ｃｂ＿ｉｎｔｒａ＿ｓｌｉｃｅ＿ｃｈｒｏｍａ
・ ｐｉｃ＿ｍａｘ＿ｍｔｔ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｒａ＿ｓｌｉｃｅ＿ｃｈｒｏｍａ
・ ｐｉｃ＿ｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｂｔ＿ｍｉｎ＿ｑｔ＿ｉｎｔｒａ＿ｓｌｉｃｅ＿ｃｈｒｏｍａ
・ ｐｉｃ＿ｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｔｔ＿ｍｉｎ＿ｑｔ＿ｉｎｔｒａ＿ｓｌｉｃｅ＿ｃｈｒｏｍａ
これらの分割パラメータの後、４つのデルタＱＰシンタックス要素”Ｄｅｌｔａ＿ＱＰ＿Ｐａｒａｍｅｔｅｒｓ（）”は、必要に応じて復号される可能性がある。
・ ｐｉｃ＿ｃｕ＿ｑｐ＿ｄｅｌｔａ＿ｓｕｂｄｉｖ＿ｉｎｔｒａ＿ｓｌｉｃｅ
・ ｐｉｃ＿ｃｕ＿ｑｐ＿ｄｅｌｔａ＿ｓｕｂｄｉｖ＿ｉｎｔｅｒ＿ｓｌｉｃｅ
・ ｐｉｃ＿ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｓｕｂｄｉｖ＿ｉｎｔｒａ＿ｓｌｉｃｅ
・ ｐｉｃ＿ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｓｕｂｄｉｖ＿ｉｎｔｅｒ＿ｓｌｉｃｅ
ｐｉｃ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｓｉｇｎ＿ｆｌａｇは、必要に応じて復号され、その後に３つのＳＡＯシンタックス要素”ＳＡＯ＿ｐａｒａｍｅｔｅｒｓ（）”のセットが続く。
・ ｐｉｃ＿ｓａｏ＿ｅｎａｂｌｅｄ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
・ ｐｉｃ＿ｓａｏ＿ｌｕｍａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ
・ ｐｉｃ＿ｓａｏ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ
次に、ＡＬＦがＳＰＳレベルで有効になっている場合、ALF APS idシンタックス要素のセットが復号される。

まず、ｐｉｃ＿ａｌｆ＿ｅｎａｂｌｅｄ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを復号して、ｐｉｃ＿ａｌｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇを復号すべきかどうかを決定する。ｐｉｃ＿ａｌｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有効にすると、現在のピクチャのすべてのスライスに対してＡＬＦが有効になる。

ＡＬＦが有効な場合、ルマのALF APS idの量はｐｉｃ＿ｎｕｍ＿ａｌｆ＿ａｐｓ＿ｉｄｓ＿ｌｕｍａシンタックス要素を使用して復号される。APS idごとに、ルマのAPS id値は”ｐｉｃ＿ａｌｆ＿ａｐｓ＿ｉｄ＿ｌｕｍａ”に復号される。

クロマの場合、シンタックス要素ｐｉｃ＿ａｌｆ＿ｃｈｒｏｍａ＿ｉｄｃが復号されて、クロマ、Ｃｒのみ、またはＣｂのみに対してＡＬＦが有効かどうかが決定される。有効になっている場合、クロマのAPS Idの値はｐｉｃ＿ａｌｆ＿ａｐｓ＿ｉｄ＿ｃｈｒｏｍａシンタックス要素を使用して復号される。

ALF APS idパラメータのセットの後、ピクチャヘッダの量子化パラメータは、必要に応じて復号される。
・ ｐｉｃ＿ｄｅｐ＿ｑｕａｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ
・ ｓｉｇｎ＿ｄａｔａ＿ｈｉｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ
３つのデブロッキングフィルタシンタックス要素のセット”deblocking_filter_parameters()”は、必要に応じて復号される。
・ ｐｉｃ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｏｖｅｒｒｉｄｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
・ ｐｉｃ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｏｖｅｒｒｉｄｅ＿ｆｌａｇ
・ ｐｉｃ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ
・ ｐｉｃ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２
・ ｐｉｃ＿ｔｃ＿ｏｆｆｓｅｔ＿ｄｉｖ２
LMCS APS IDシンタックス要素のセットは、ＳＰＳにおいてＬＭＣＳが有効にされた場合に、その後に復号される。まず、ｐｉｃ＿ｌｍｃｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが復号され、現在のピクチャに対してＬＭＣＳが有効かどうかが判断される。ＬＭＣＳが有効な場合、Ｉｄ値は復号されたｐｉｃ＿ｌｍｃｓ＿ａｐｓ＿ｉｄである。クロマの場合、ｐｉｃ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇのみが復号され、クロマについて方法が有効または無効になる。

スケーリングリストAPS IDのセットは、スケーリングリストがＳＰＳレベルで有効にされる場合に復号される。ｐｉｃ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、現在のピクチャに対してスケーリングマトリクスが有効かどうかを決定するために復号される。次に、APS IDの値ｐｉｃ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄが復号される。スケーリングリストがシーケンスレベル、すなわちＳＰＳレベルで有効になっていて(sps_scaling_list_enabled_flagが１に等しい）、ピクチャヘッダレベルで有効になっていた（ｐｉｃ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい）場合、スライスヘッダのビットストリームから、現在のスライスに対してスケーリングリストが有効かどうかを示すフラグｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが抽出される。

最後に、ピクチャヘッダ拡張シンタックス要素は、必要に応じて復号される。

表８ 部分ピクチャヘッダ

スライスヘッダ
スライスヘッダは、各スライスの先頭で送信される。スライスヘッダテーブルシンタックスには、現在５７個のシンタックス要素が含まれている。これは、標準の以前のバージョンにおける以前のスライスヘッダと比較して非常に大きい。すべてのスライスヘッダパラメータの完全な説明は、ＪＶＥＴ＿Ｐ２００１－ＶＥにある。表９は、現在のピクチャヘッダ復号シンタックスにおけるこれらのパラメータを示している。この簡略化されたテーブルバージョンでは、テーブルを読みやすくするためにいくつかのシンタックス要素がグループ化されている。

表９ 部分スライスヘッダ

まず、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂが復号され、現在のスライスのＰＯＣが決定される。

次に、必要に応じてｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄが復号され、現在のスライスのサブピクチャｉｄが決定される。次に、ｓｌｉｃｅ＿ａｄｄｒｅｓｓが復号され、現在のスライスのアドレスが決定される。次に、ｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１は、現在のピクチャのタイル数が１より大きい場合に復号される。

その後、ｓｌｉｃｅ＿ｔｙｐｅが復号される。

参照ピクチャリストパラメータのセットが復号される。これらは、ｐｉｃｔｕｒｅヘッダーのパラメータと同様である。

スライスタイプがイントラでない場合、および必要に応じてｃａｂａｃ＿ｉｎｉｔ＿ｆｌａｇおよび／またはｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇとｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘが復号される。これらのデータは、ＣＡＢＡＣコーディングと、並置された動きベクトルと、に関連する。

同様に、スライスタイプがイントラでない場合、加重予測ｐｒｅｄ_ｗｅｉｇｈｔ_ｔａｂｌｅ()のパラメータが復号される。

ｓｌｉｃｅ＿ｑｕａｎｔｉｚａｔｉｏｎ＿ｐａｒａｍｅｔｅｒｓ（）では、必要に応じて、ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａは、ＱＰオフセットの他のパラメータより前で体系的に復号され、
ｓｌｉｃｅ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、
ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ

ＳＡＯの有効なフラグは、ルマとクロマの両方で復号される：ピクチャヘッダで通知された場合、ｓｌｉｃｅ＿ｓａｏ＿ｌｕｍａ＿ｆｌａｇ、ｓｌｉｃｅ_ｓａｏ_ｃｈｒｏｍａ_ｆｌａｇ。

次に、必要に応じてAPS ALF IDが復号され、ピクチャヘッダと同様のデータ制限が適用される。

その後、デブロッキングフィルタパラメータは他のデータ（ｓｌｉｃｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｐａｒａｍｅｔｅｒｓ（））の前に復号される。

ピクチャヘッダと同様に、ALF APS IDは、スライスヘッダの最後に設定される。

ピクチャヘッダのＡＰＳ
表８に示すように、３つのツールＡＬＦ、ＬＭＣＳおよびスケーリングリストのAPS ID情報は、ピクチャヘッダシンタックス要素の最後にある。

ストリーミングアプリケーション
いくつかのストリーミングアプリケーションは、ビットストリームの特定の部分のみを抽出する。これらの抽出は、空間的（サブピクチャとして）であっても、時間的（ビデオシーケンスのサブパート）であってもよい。次に、これらの抽出された部分を他のビットストリームとマージすることができる。いくつかの他のものは、いくつかのフレームのみを抽出することによってフレームレートを低減する。一般に、これらのストリーミングアプリケーションの主な目的は、許容帯域幅の最大値を使用して、エンドユーザに最大品質を提供することである。

ＶＶＣでは、APS ＩＤ番号付けは、フレームの新しいAPS id番号を時間階層の上位レベルのフレームに使用できないように、フレームレート低減のために制限されている。しかしながら、ビットストリームの一部を抽出するストリーミングアプリケーションでは、フレーム（ＩＲＡＰとして）がAPS IDの番号付けをリセットしないので、どのＡＰＳがビットストリームのサブ部分に対して保持されるべきかを決定するために、APS IDを追跡する必要がある。

LMCS（クロマスケーリングを伴うルママッピング）
クロマスケーリングを伴うルママッピング（LMCS）技法は、ＶＶＣのようなビデオデコーダにおいてループフィルタを適用する前にブロックに適用されるサンプル値変換方法である。

ＬＭＣＳは、２つのサブツールに分割することができる。第１のサブツールは、ルマブロックに適用され、第２のサブツールは以下に説明するように、クロマブロックに適用される。

１） 第１のサブツールは、適応区分線形モデルに基づくルマコンポーネントのインループマッピングである。ルマコンポーネントのインループマッピングは、圧縮効率を改善するためにダイナミックレンジにわたってコードワードを再分配することによって、入力信号のダイナミックレンジを調整する。ルママッピングは、「マッピングされた領域」へのフォワードマッピング機能と、「入力領域」に戻る対応するインバースマッピング機能と、を利用する。

２） 第２のサブツールは、ルマ依存のクロマ残差スケーリングが適用されるクロマコンポーネントに関連している。クロマ残差スケーリングは、ルマ信号とその対応するクロマ信号との間の相互作用を補償するように設計されている。クロマ残差スケーリングは、現在のブロックのトップおよび／または左の再構成された隣接ルマサンプルの平均値に依存する。

ＶＶＣのようなビデオコーダにおける他のほとんどのツールと同様に、ＬＭＣＳは、ＳＰＳフラグを使用してシーケンスレベルで有効化／無効化され得る。クロマ残差スケーリングが有効にされるか否かもまた、ピクチャレベルで通知される。ルママッピングがピクチャレベルで有効にされる場合、追加のフラグが通知されて、ルマ依存クロマ残差スケーリングが有効にされるか否かを示す。ルママッピングがＳＰＳレベルで使用されないとき、ルマ依存クロマ残差スケーリングは、ＳＰＳを参照するすべてのピクチャに対して完全に無効にされる。加えて、ルマ依存クロマ残差スケーリングは、サイズが４以下であるクロマブロックに対して常に無効にされる。ＬＭＣＳがＳＰＳレベルで有効になると、現在のピクチャに対してＬＭＣＳが有効かどうかを知るために、ピクチャヘッダでフラグｐｉｃ＿ｌｍｃｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが復号される。ＬＭＣＳがピクチャレベルで有効になると（ｐｉｃ＿ｌｍｃｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい）、スライスごとに別のフラグｓｌｉｃｅ＿ｌｍｃｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが復号される。このフラグは、ピクチャヘッダで復号されたパラメータを持つ現在のスライスのＬＭＣＳを有効にするかどうかを示す。スライスヘッダには、ＬＭＣＳに関するAPS ID情報は存在しない。その結果、ＬＭＣＳの有効化または無効化に関する情報のみが存在する。

図７は、ルママッピングサブツールについて上述したようなＬＭＣＳの原理を示す。図７のハッチングされたブロックは、ルマ信号の順方向および逆方向のマッピングを含む新しいＬＭＣＳ機能ブロックである。ＬＭＣＳを使用する場合、いくつかの復号動作が「マッピングされた領域」で適用されることに留意することが重要である。これらの動作は、この図７の破線のブロックで表される。通常、これらは、ルマ残差を有するルマ予測を追加することで構成される逆量子化、逆変換、ルマイントラ予測、および再構成ステップに対応している。逆に、図７の実線ブロックは、復号処理がオリジナルの（すなわち、マッピングされていない）領域で適用される場所を示し、これは、デブロッキング、ＡＬＦ、およびＳＡＯなどのループフィルタリング、動き補償予測、および参照ピクチャ（ＤＰＢ）としての復号ピクチャの格納を含む。

図８は、図７と同様のダイアグラムを示しているが、今回はＬＭＣＳツールのクロマスケーリングサブツール用である。図８のハッチングされたブロックは、ルマ依存クロマスケーリングプロセスを含む新しいＬＭＣＳ機能ブロックである。しかしながら、クロマでは、ルマの場合と比較して、いくつかの重要な差異がある。ここでは破線のブロックによって表される逆量子化および逆変換のみが、クロマサンプルのための「マッピングされた領域」において実行される。イントラクロマ予測、動き補償、ループフィルタリングの他の全てのステップは、オリジナルの領域で実行される。図８に示されるように、スケーリングプロセスのみが存在し、ルママッピングに関する順および逆の処理は存在しない。

区分線形モデルを用いたルママッピング

ルママッピングサブツールは、区分的線形モデルを使用している。それは、区分線形モデルは入力信号ダイナミックレンジを１６の等しいサブ範囲に分離し、各サブ範囲について、その線形マッピングパラメータは、その範囲に割り当てられたコードワードの個数を用いて表現される、ことを意味している。

ルママッピングのセマンティクス
シンタックス要素ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘは、クロマスケーリングを伴うルママッピング（ＬＭＣＳ）構築プロセスにて用いられる最小ビンインデックスを指定する。ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘの値は、０～１５の範囲である必要がある。

シンタックス要素ｌｍｃｓ＿ｄｅｌｔａ＿ｍａｘ＿ｂｉｎ＿ｉｄｘは、１５と、クロマスケーリング構築プロセスを用いたルママッピングで使用される最大ビンインデックスＬｍｃｓＭａｘＢｉｎＩｄｘと、の間のデルタ値を指定する。ｌｍｃｓ＿ｄｅｌｔａ＿ｍａｘ＿ｂｉｎ＿ｉｄｘの値は、０～１５の範囲である必要がある。ＬｍｃｓＭａｘＢｉｎＩｄｘの値は１５－ｌｍｃｓ_ｄｅｌｔａ_ｍａｘ_ｂｉｎ_ｉｄｘに等しく設定される。ＬｍｃｓＭａｘＢｉｎＩｄｘの値は、ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ以上とする。

シンタックス要素ｌｍｃｓ＿ｄｅｌｔａ＿ｃｗ＿ｐｒｅｃ＿ｍｉｎｕｓ１＋１は、シンタックスｌｍｃｓ_ｄｅｌｔａ_ａｂｓ_ｃｗ[ｉ]の表現に使用されるビット数を指定する。

シンタックス要素ｌｍｃｓ_ｄｅｌｔａ_ａｂｓ_ｃｗ[ｉ]は、ｉ番目のビンの絶対デルタコードワード値を指定する。

シンタックス要素ｌｍｃｓ_ｄｅｌｔａ_ｓｉｇｎ_ｃｗ_ｆｌａｇ[ｉ]は、変数ｌｍｃｓＤｅｌｔａＣＷ[ｉ]の符号を指定する。ｌｍｃｓ_ｄｅｌｔａ_ｓｉｇｎ_ｃｗ_ｆｌａｇ[ｉ]が存在しない場合、０に等しいと推測される。

ルママッピングマッピングのためのＬＭＣＳ中間変数演算
順方向および逆方向ルママッピングプロセスを適用するために、いくつかの中間変数およびデータ配列が必要とされる。

まず、変数ＯｒｇＣＷは、以下のように導出される。

ＯｒｇＣＷ＝（１＜＜ＢｉｔＤｅｐｔｈ）／１６
次に、ｉ＝ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ…ＬｍｃｓＭａｘＢｉｎＩｄｘである変数ｌｍｃｓＤｅｌｔａＣＷ[ｉ]は、以下のように計算される。

ｌｍｃｓＤｅｌｔａＣＷ［ｉ］＝（１－２＊ｌｍｃｓ＿ｄｅｌｔａ＿ｓｉｇｎ＿ｃｗ＿ｆｌａｇ［ｉ］）＊ｌｍｃｓ＿ｄｅｌｔａ＿ａｂｓ＿ｃｗ［ｉ］
新しい変数ｌｍｃｓＣＷ[ｉ]は、次のように導出される。
－ ｉ＝０…ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ－１について、ｌｍｃｓＣＷ[ｉ]は０に等しく設定される。
－ ｉ＝ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ…ＬｍｃｓＭａｘＢｉｎＩｄｘについて、以下が適用される。

ｌｍｃｓＣＷ［ｉ］＝ＯｒｇＣＷ＋ｌｍｃｓＤｅｌｔａＣＷ［ｉ］
ｌｍｃｓＣＷ[ｉ]の値は、（ＯｒｇＣＷ＞＞３）から（ＯｒｇＣＷ＜＜＜３－１）の範囲内である。
－ ｉ＝ＬｍｃｓＭａｘＢｉｎＩｄｘ＋１…１５について、ｌｍｃｓＣＷ[ｉ]は０に等しく設定される。

ｉ＝０…１６である変数ＩｎｐｕｔＰｉｖｏｔ［ｉ］は、次のように導出される。

ＩｎｐｕｔＰｉｖｏｔ［ｉ］＝ｉ＊ＯｒｇＣＷ
i＝０…１６である変数ＬｍｃｓＰｉｖｏｔ[ｉ]、i＝０…１５である変数ＳｃａｌｅＣｏｅｆｆ[ｉ]およびＩｎｖＳｃａｌｅＣｏｅｆｆ[ｉ]は、以下のように計算される。

ＬｍｃｓＰｉｖｏｔ［０］＝０；
ｆｏｒ（ｉ＝０；ｉ＜＝１５；ｉ＋＋）｛
ＬｍｃｓＰｉｖｏｔ［ｉ＋１］＝ＬｍｃｓＰｉｖｏｔ［ｉ］＋ｌｍｃｓＣＷ［ｉ］
ＳｃａｌｅＣｏｅｆｆ［ｉ］＝（ｌｍｃｓＣＷ［ｉ］＊（１＜＜１１）＋（１＜＜（Ｌｏｇ２（ＯｒｇＣＷ）－１）））＞＞（Ｌｏｇ２（ＯｒｇＣＷ））
ｉｆ（ｌｍｃｓＣＷ［ｉ］＝＝０）
ＩｎｖＳｃａｌｅＣｏｅｆｆ［ｉ］＝０
ｅｌｓｅ
ＩｎｖＳｃａｌｅＣｏｅｆｆ［ｉ］＝ＯｒｇＣＷ＊（１＜＜１１）／ｌｍｃｓＣＷ［ｉ］
順方向ルママッピング
図７に示すように、ＬＭＣＳがルマに適用される場合、ｐｒｅｄＭａｐＳａｍｐｌｅｓ［ｉ］［ｊ］と呼ばれるルマリマップサンプルは、予測サンプルｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］から得られる。

ｐｒｅｄＭａｐＳａｍｐｌｅｓ［ｉ］［ｊ］は、以下のように計算される。

まず、位置（ｉ、ｊ）において、予測サンプルｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］からインデックスｉｄｘＹを計算する。
ｉｄｘＹ＝ｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］＞＞Ｌｏｇ２（ＯｒｇＣＷ）
次に、セクション０の中間変数ｉｄｘＹ、ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹ］およびＩｎｐｕｔＰｉｖｏｔ［ｉｄｘＹ］を使用して、ｐｒｅｄＭａｐＳａｍｐｌｅｓ［ｉ］［ｊ］を以下のように導出する。

ｐｒｅｄＭａｐＳａｍｐｌｅｓ［ｉ］［ｊ］＝ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹ］
＋（ＳｃａｌｅＣｏｅｆｆ［ｉｄｘＹ］＊（ｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］－ＩｎｐｕｔＰｉｖｏｔ［ｉｄｘＹ］）＋（１＜＜１０））＞＞１１
ルマ再構成サンプル
再構成プロセスは、予測ルマサンプルｐｒｅｄＭａｐＳａｍｐｌｅ［ｉ］［ｊ］および残差ルマサンプルｒｅｓｉＳａｍｐｌｅｓ［ｉ］［ｊ］から得られる。

再構成されたルマピクチャサンプルｒｅｃＳａｍｐｌｅｓ［ｉ］［ｊ］は、以下のように、ｐｒｅｄＭａｐＳａｍｐｌｅ［ｉ］［ｊ］をｒｅｓｉＳａｍｐｌｅｓ［ｉ］［ｊ］に加算することによって単純に得られる。

ｒｅｃＳａｍｐｌｅｓ［ｉ］［ｊ］＝Ｃｌｉｐ１（ｐｒｅｄＭａｐＳａｍｐｌｅｓ［ｉ］［ｊ］＋ｒｅｓｉＳａｍｐｌｅｓ［ｉ］［ｊ］］）
上記の関係において、Ｃｌｉｐ１関数は、再構成されたサンプルが０と１＜＜BitDepth－１の間であることを確実にするためのクリッピング関数である。

逆ルママッピング
図７による逆ルママッピングを適用する場合、以下の動作が、処理される現在のブロックの各サンプルｒｅｃＳａｍｐｌｅ［ｉ］［ｊ］に適用される。

まず、位置（ｉ、ｊ）において、再構成サンプルｒｅｃＳａｍｐｌｅｓ[ｉ][ｊ]からインデックスｉｄｘＹを算出する。
ｉｄｘＹ＝ｒｅｃＳａｍｐｌｅｓ［ｉ］［ｊ］＞＞Ｌｏｇ２（ＯｒｇＣＷ）
逆マッピングされたルマサンプルｉｎｖＬｕｍａＳａｍｐｌｅ［ｉ］［ｊ］を、以下に基づいて以下のように導出する。

ｉｎｖＬｕｍａＳａｍｐｌｅ［ｉ］［ｊ］＝ＩｎｐｕｔＰｉｖｏｔ［ｉｄｘＹＩｎｖ］＋（ＩｎｖＳｃａｌｅＣｏｅｆｆ［ｉｄｘＹＩｎｖ］＊
（ｒｅｃＳａｍｐｌｅ［ｉ］［ｊ］－ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ］）＋（１＜＜１０））＞＞１１
次に、クリッピング動作を行って、最終サンプルを得る。

ｆｉｎａｌＳａｍｐｌｅ［ｉ］［ｊ］＝Ｃｌｉｐ１（ｉｎｖＬｕｍａＳａｍｐｌｅ［ｉ］［ｊ］）
クロマスケーリング
クロマスケーリングのためのＬＭＣＳセマンティクス
表６のシンタックス要素ｌｍｃｓ＿ｄｅｌｔａ＿ａｂｓ＿ｃｒｓは、変数ｌｍｃｓＤｅｌｔａＣｒｓの絶対コードワード値を指定する。ｌｍｃｓ＿ｄｅｌｔａ＿ａｂｓ＿ｃｒｓの値は、０及び７の範囲内である。存在しない場合、ｌｍｃｓ＿ｄｅｌｔａ＿ａｂｓ＿ｃｒｓは０に等しいと推測される。

シンタックス要素ｌｍｃｓ＿ｄｅｌｔａ＿ｓｉｇｎ＿ｃｒｓ＿ｆｌａｇは、変数ｌｍｃｓＤｅｌｔａＣｒｓの符号を指定する。存在しない場合、ｌｍｃｓ＿ｄｅｌｔａ＿ｓｉｇｎ＿ｃｒｓ＿ｆｌａｇは０に等しいと推測される。

クロマスケーリングのためのＬＭＣＳ中間変数演算
クロマスケーリングプロセスを適用するために、いくつかの中間変数が必要とされる。

変数ｌｍｃｓＤｅｌｔａＣｒｓは、以下のように導出される。

ｌｍｃｓＤｅｌｔａＣｒｓ＝（１－２＊ｌｍｃｓ＿ｄｅｌｔａ＿ｓｉｇｎ＿ｃｒｓ＿ｆｌａｇ）＊ｌｍｃｓ＿ｄｅｌｔａ＿ａｂｓ＿ｃｒｓ
ｉ＝０…１５である変数ＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆ［ｉ］は、次のように導出される。

ｉｆ（ｌｍｃｓＣＷ［ｉ］＝＝０）
ＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆ［ｉ］＝（１＜＜１１）
ｅｌｓｅ
ＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆ［ｉ］＝ＯｒｇＣＷ＊（１＜＜１１）／（ｌｍｃｓＣＷ［ｉ］＋ｌｍｃｓＤｅｌｔａＣｒｓ）
クロマスケーリングプロセス
第１のステップにおいて、変数ｉｎｖＡｖｇＬｕｍａは、現在の対応するクロマブロックの周りの再構成されたルマサンプルの平均ルマ値を計算するために導出される。平均ルマは、対応するクロマブロックを囲む左および上のルマブロックから計算される。サンプルが使用できない場合、変数ｉｎｖＡｖｇＬｕｍａは次のように設定される。

ｉｎｖＡｖｇＬｕｍａ＝１＜＜（ＢｉｔＤｅｐｔｈ－１）
セクション０の中間配列ＬｍｃｓＰｉｖｏｔ［］に基づいて、変数ｉｄｘＹＩｎｖは次のように導出される。

Ｆｏｒ （ｉｄｘＹＩｎｖ＝ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ；ｉｄｘＹＩｎｖ＜＝ＬｍｃｓＭａｘＢｉｎＩｄｘ；ｉｄｘＹＩｎｖ＋＋）｛
ｉｆ（ｉｎｖＡｖｇＬｕｍａ＜ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ＋１］） ｂｒｅａｋ
｝
ＩｄｘＹＩｎｖ＝Ｍｉｎ（ｉｄｘＹＩｎｖ，１５）
変数ｖａｒＳｃａｌｅは、以下のように導出される。

ｖａｒＳｃａｌｅ＝ＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆ［ｉｄｘＹＩｎｖ］
変換が現在のクロマブロックに適用されるとき、再構成されたクロマピクチャサンプル配列ｒｅｃＳａｍｐｌｅｓは、以下のように導出される。

ｒｅｃＳａｍｐｌｅｓ［ｉ］［ｊ］＝Ｃｌｉｐ１（ｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］＋
Ｓｉｇｎ（ｒｅｓｉＳａｍｐｌｅｓ［ｉ］［ｊ］）＊（（Ａｂｓ（ｒｅｓｉＳａｍｐｌｅｓ［ｉ］［ｊ］）＊ｖａｒＳｃａｌｅ＋（１＜＜１０））＞＞１１））
現在のブロックに対して変換が適用されていない場合、以下が適用される。

ｒｅｃＳａｍｐｌｅｓ［ｉ］［ｊ］＝Ｃｌｉｐ１（ｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］）
エンコーダの考察
ＬＭＣＳエンコーダの基本原理はまず、それらのダイナミックレンジセグメントが平均分散よりも低いコードワードを有する範囲に、より多くのコードワードを割り当てることである。この代替の定式化では、ＬＭＣＳの主な目標が、平均分散よりも高いコードワードを有するそれらのダイナミックレンジセグメントに、より少ないコードワードを割り当てることである。このようにして、ピクチャの滑らかな領域は、平均よりも多くのコードワードで符号化され、逆もまた同様である。

ＡＰＳに格納されるＬＭＣＳツールの全てのパラメータ（表６参照）は、エンコーダ側で決定される。ＬＭＣＳエンコーダアルゴリズムは、ローカルルマ分散の評価に基づいており、前述の基本原理に従ってＬＭＣＳパラメータの判定を最適化している。次に、最適化が行われて、所与のブロックの最終的な再構成されたサンプルに対する最良のＰＳＮＲ指標が得られる。

後述するように、スライス／ピクチャヘッダの先頭にAPS ID情報を設定することにより、構文解析の複雑さを低減することができる。これにより、APS IDに関連するシンタックス要素を、復号ツールに関連するシンタックス要素の前に構文解析することができる。

ピクチャヘッダ
以下の説明は、ピクチャヘッダのためのシンタックス要素の次の表の詳細または代替を提供する。表１０は、従来技術の構文解析問題を解決するために、ＬＭＣＳ、ＡＬＦおよびスケーリングリストのAPS ID情報がピクチャヘッダの先頭に近づくように設定されているピクチャヘッダの修正例を示す（上記の表８を参照）。この変化は、ストライクスルーおよび下線付きテキストによって示される。このシンタックス要素のテーブルを用いて、APS IDの追跡は、より低い複雑性を有する。

表１０ APS ID情報の修正を示すパーシャルピクチャヘッダ

APS ID関連シンタックス要素は、以下のうちの１つ以上を含むことができる。
・ APS ID LMCS
・ APS IDスケーリングリスト
・ ＬＮＳＴメソッドのスケーリングマトリクスを有効にするための情報を含むＡＰＳスケーリングリスト
・ APS ID ALFリスト
・ クリッピング値の通知に関する情報を含むAPS ALFリスト
１つの例では、APS ID関連のシンタックス要素がピクチャヘッダの先頭、または先頭付近に設定される。

この特徴の利点は、有用でないAPS NALユニットを除去するためにAPS ID使用を追跡する必要があるストリーミングアプリケーションの複雑さを低減することである。

先に述べたように、いくつかのシンタックス要素には、APS ID関連のシンタックス要素の前に来るものもあるので、用語「始まり」は必ずしも「最初」を意味するわけではない。これらは、以下で順番に説明される。

APS ID関連のシンタックス要素のセットは、以下のうち１つ以上の後に設定される。
・ 構文解析ツールのパラメータなしでビデオシーケンスの一部をカットまたは分割または抽出するために、ビットストリームを構文解析する必要があるストリーミングアプリケーションに役立つシンタックス要素
・ 現在のピクチャが参照ピクチャとして決して使用されないことを示すシンタックス要素（例えばｎｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｐｉｃｔｕｒｅ＿ｆｌａｇ）で、これは、１に等しいとき、ピクチャが参照ピクチャとして決して使用されないことを示す。この情報は多くのストリーミングアプリケーションに役立つため、APS ID LMCSシンタックス要素のセットの前にこのフラグを設定することを勧める。
・ 現在のピクチャが漸進的復号リフレッシュピクチャであることを示すシンタックス要素（例えばgdr_pic_flagシンタックス）で、これは、１に等しい場合、現在のピクチャがGDRピクチャであることを示す。このタイプのピクチャは、ビットストリームが前のピクチャから独立していることを意味する。これは、多くのストリーミングアプリケーションにとって重要な情報である。同じ理由で、APS ID LMCSシンタックス要素セットは、gdr_pic_flagが有効になっている場合に復号されるrecovery_poc_cntシンタックス要素の後にある必要がある。
・ 復号ピクチャバッファ内の以前に復号されたピクチャの変更を示すシンタックス要素（例えばｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ）で、これは、復号ピクチャバッファ（ＤＢＰ）に影響する。これは、多くのアプリケーションにとって重要な情報である。
・ ｐｈ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄおよび／またはＰＰＳ情報に関するその他のシンタックス要素。実際、PPS idは、多くのアプリケーションに必要とされる。
・ サブピクチャ情報に関連するシンタックス要素。実際、これらの情報は、一部のストリーミングアプリケーションにとってビットストリーム抽出のために重要である。
・ ピクチャヘッダで送信されるピクチャタイプ情報。実際、ピクチャタイプは、多くのアプリケーションにとって重要な情報である。

特に有利な例では、APS ID関連シンタックス要素のセットがピクチャヘッダの先頭にあるシンタックス要素の後に設定され、これは、それらの復号のための条件なしに固定長コードワードを有する。固定長コードワードは、シンタックス要素のテーブルの記述子ｕ（Ｎ）を持つシンタックス要素に対応し、ここで、Ｎは整数値である。

現在のＶＶＣ仕様と比較して、これは、ｎｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｐｉｃｔｕｒｅ＿ｆｌａｇ、ｇｄｒ＿ｐｉｃ＿ｆｌａｇ、およびｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇフラグに対応する。

これの利点は、ビット数がピクチャヘッダの先頭で常に同じであり、対応するアプリケーションの有用な情報に直接行くので、これらの最初のコードワードを簡単にバイパスできるストリーミングアプリケーションのためである。そのため、デコーダは、ヘッダ内の常に同じビット位置にあるので、ヘッダからAPS ID関連シンタックス要素を直接構文解析できる。

構文解析の複雑さを減らす変形例では、APS ID関連シンタックス要素のセットが別のヘッダーからの１つ以上の値を必要としない、ピクチャヘッダの先頭にあるシンタックス要素の後に設定される。このようなシンタックス要素の構文解析は、構文解析の複雑さを低減するそれらの構文解析のために他の変数を必要としない。

ある変形では、APS IDスケーリングリストシンタックス要素セットがピクチャヘッダの先頭に設定される。

この変形例の利点は、有用でないAPS NALユニットを除去するためにAPS ID使用を追跡する必要があるストリーミングアプリケーションの複雑さが低減されることである。

上記のタイプのAPS ID関連シンタックス要素は個別に、または組み合わせて扱うことができることを理解されたい。特に有利な組み合わせの非網羅的なリストを以下に説明する。

APS ID LMCSシンタックス要素セットとAPS IDスケーリングリストシンタックス要素セットは、ピクチャヘッダの先頭またはその近くに設定され、必要に応じて、ストリーミングアプリケーションに役立つ情報の後に設定される。

APS ID LMCSシンタックス要素セットとAPS ID ALFシンタックス要素セットは、ピクチャヘッダの先頭に設定され、オプションでストリーミングアプリケーションに役立つ情報の後に設定される。

APS ID LMCSシンタックス要素セット、APS IDスケーリングリストシンタックス要素セット、およびAPS ID ALFシンタックス要素セットは、ピクチャヘッダの先頭またはその近くに設定され、オプションでストリーミングアプリケーションに役立つ情報の後に設定される。

一実施形態では、APS ID関連シンタックス要素(APS LMCS、ＡＰＳスケーリングリスト、および／またはAPS ALF)は低レベルツールパラメータの前に設定される。

これは、各ピクチャのための異なるAPS IDを追跡する必要があるいくつかのストリーミングアプリケーションのための複雑さの減少をもたらす。実際、低レベルツールに関連する情報は、スライスデータの構文解析および復号のために必要であるが、復号なしにビットストリームを抽出するだけのこのようなアプリケーションには必要ではない。低レベルツールの例は、ブローで提供される。
・ デブロッキングフィルタパラメータのセット；これらのパラメータは、スライスデータ復号にのみ必要とされるデブロッキングフィルタのためのものである。
・ 量子化パラメータのセット；これらのパラメータは、スライスデータの構文解析および復号に必要とされる。
・ ＳＡＯパラメータのセット；これらのパラメータは、スライスデータの構文解析と復号に必要である。
・ ｐｉｃ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｓｉｇｎ＿ｆｌａｇフラグ；これらのパラメータは、スライスデータの構文解析と復号に必要である。
・ 動きパラメータのセット；これらのパラメータは、スライスデータの構文解析と復号に必要である。
・ ＱＰオフセットパラメータのセット；これらのパラメータは、スライスデータの構文解析と復号に必要である。
・ 分割パラメータのセット；これらのパラメータは、スライスデータの構文解析と復号に必要である。
・ 参照ピクチャリストパラメータのセット；これらのパラメータは、スライスデータの構文解析と復号に必要である。
・ ｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌフラグ；これらのパラメータはスライスデータの復号に必要である。
・ ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄフラグ；これらのパラメータは、スライスデータの構文解析と復号に必要である。

上記のタイプのAPS ID関連シンタックス要素は個別に、または組み合わせて扱うことができることを理解されたい。特に有利な組み合わせの非網羅的なリストを以下に説明する。

APS ID LMCSシンタックス要素セットおよびAPS IDスケーリングリストシンタックス要素セットは、低レベルツールシンタックス要素の前に設定される。

APS ID LMCSシンタックス要素セットとAPS ID ALFシンタックス要素セットは、低レベルツールシンタックス要素の前に設定される。

APS ID LMCSシンタックス要素セット、APS IDスケーリングリストシンタックス要素セット、およびAPS ID ALFシンタックス要素セットは、低レベルツールシンタックス要素の前に設定される。

再同期ピクチャ
ビットストリームには、いくつかの再同期フレームまたはスライスがある。これらのフレームを使用することにより、以前の復号情報を考慮せずにビットストリームを読み出すことができる。例えば、クリーンランダムアクセスピクチャ（ＣＲＡピクチャ）は、その復号処理において、それ自体以外のピクチャをインター予測のために参照しない。これは、このピクチャのスライスがイントラまたはＩＢＣであることを意味している。ＶＶＣでは、ＣＲＡピクチャが、各VCL NALユニットがＣＲＡ＿ＮＵＴに等しいnal unit_typeを有するIRAP(Intra Random Access Point)ピクチャである。

ＶＶＣでは、これらの再同期フレームがＩＲＡＰピクチャまたはＧＤＲピクチャとすることができる。

しかしながら、ＩＲＡＰまたはＧＤＲピクチャ、またはいくつかの構成のためのＩＲＡＰスライスは、以前に復号されたＡＰＳから生じるAPS IDをそれらのピクチャヘッダ内に有することができる。したがって、実際のランダムアクセスポイント、またはビットストリームが分割されている場合は、APS IDを追跡する必要がある。

この問題を改善する１つの方法は、ＩＲＡＰまたはＧＤＲピクチャが復号されるとき、すべてのAPS IDがリセットされ、および／またはＡＰＳが別の復号されたＡＰＳから取得されることが許可されないことである。ＡＰＳは、ＬＭＣＳまたはスケーリングリストまたはＡＬＦのためのものとすることができる。したがって、デコーダはピクチャが再同期プロセスに関連するかどうかを判定し、関連する場合、復号は、APS IDをリセットすることを含む。

変形例では、ピクチャ内の１つのスライスがＩＲＡＰである場合、すべてのAPS IDがリセットされる。

APS IDのリセットは、デコーダが以前のすべてのAPSがもはや無効であると見なし、その結果、以前のAPSを参照するAPS ID値がないことを意味します。

この再同期プロセスは、APS ID情報をより簡単に構文解析および復号できるため、上記のシンタックス構造と組み合わせると、特に利点がある。これにより、必要に応じて迅速かつ効率的な再同期が可能になる。

実施形態
スライスヘッダ内のAPS ID関連情報
以下の説明は、スライスヘッダにおけるシンタックス要素のテーブルの修正に関連する実施形態のものである。この表では、ＡＬＦのAPS ID情報が前述の構文解析の問題を解決するためにスライスヘッダの先頭に近い位置に設定されている。表１１の変更されたスライスヘッダは、シンタックス要素（上の表９を参照）の現在のスライスヘッダの記述と、取り消し線と下線で示された変更に基づいている。

表１１ 変更を示す部分スライスヘッダ

スライスヘッダの先頭にあるAPS ID ALF
表１１に示すように、一実施形態では、APS ID ALFシンタックス要素セットがスライスヘッダの先頭またはその付近に設定される。特に、ALF APSは、クリッピング値の通知に関連するシンタックス要素を少なくとも含む。

これは、有用でないAPS NALユニットを除去するためにAPS ID使用を追跡する必要があるストリーミングアプリケーションの複雑さを低減する。

APS ID ALFシンタックス要素のセットは、構文解析ツールパラメータのないビデオシーケンスの部分の抽出または分割またはカットまたは構文解析を必要とするストリーミングアプリケーションに有用なシンタックス要素の後に設定することができる。このようなシンタックス要素の例を以下に示す。
・ 現在のスライスのＰＯＣを示すｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂシンタックス要素。この情報は多くのストリーミングアプリケーションに役立つため、APS ID ALFシンタックス要素のセットの前にこのフラグを設定することが好ましい。
・ 現在のスライスのサブピクチャＩＤを示すｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄシンタックス要素。この情報は多くのストリーミングアプリケーションに役立つため、APS ID ALFシンタックス要素のセットの前にこのフラグを設定することが好ましい。
・ スライスのアドレスを示すｓｌｉｃｅ＿ａｄｄｒｅｓｓシンタックス要素。この情報は多くのストリーミングアプリケーションに役立つため、APS ID ALFシンタックス要素のセットの前にこのフラグを設定することが好ましい。
・ ｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓシンタックス要素。この情報は多くのストリーミングアプリケーションに役立つため、APS ID ALFシンタックス要素のセットの前にこのフラグを設定することが好ましい。
・ 現在のスライスのタイプを示すｓｌｉｃｅ＿ｔｙｐｅ要素。この情報は多くのストリーミングアプリケーションに役立つため、APS ID ALFシンタックス要素のセットの前にこのフラグを設定することが好ましい。

一実施形態では、ALF APSがクリッピング値の通知に関連するシンタックス要素を少なくとも含む場合、APS ID ALFシンタックス要素セットはスライスヘッダ内の低レベルツールパラメータの前に設定される。

これは、各ピクチャのための異なるAPS ALF APS IDを追跡する必要があるいくつかのストリーミングアプリケーションのための複雑さの減少をもたらす。実際、低レベルツールに関連する情報はスライスデータの構文解析および復号のために必要であるが、復号なしにビットストリームを抽出するだけのこのようなアプリケーションには必要ではない。このようなシンタックス要素の例を以下に示す。
・ スライスヘッダの参照ピクチャリストパラメータのセット。実際、これらのパラメータは、スライスデータ復号に必要とされる。
・ スライスヘッダ内のＣＡＢＡＣ初期化フラグのセット。実際、このフラグはスライスデータ復号専用である。
・ スライスヘッダ内の並置された予測パラメータのセット。実際、これらのパラメータは、スライスデータ復号に必要とされる。
・ スライスヘッダ内の重み付き予測パラメータのセット。実際、これらのパラメータは、スライスデータ復号に必要とされる。
・ スライスヘッダ内の量子化パラメータ更新パラメータのセット。実際、これらのパラメータは、スライスデータ復号に必要とされる。
・ スライスヘッダ内のＳＡＯ有効化フラグのセット。実際、これらのパラメータは、スライスデータ復号に必要とされる。

上記の特徴は、互いに組み合わせて提供されてもよいことを理解されたい。上述の特定の組み合わせと同様に、そうすることは、特定の実施に適した特定の利点、例えば、柔軟性の増加、または「最悪の場合」の例の指定を提供することができる。他の例では、複雑性要件が（例えば）レート低減よりも高い優先度を有することができ、そのような特徴は個別に実装することができる。

表１１に示すように、実施形態によれば、スライスレベルでのＬＭＣＳの有効または無効に関連する情報は、スライスヘッダの先頭に、またはその近くに設定される。

これは、有用でないAPS NALユニットを除去するためにAPS ID使用を追跡する必要があるストリーミングアプリケーションの複雑さを低減する。スライスヘッダ内にＬＭＣＳに関連するAPS IDは存在しないが、それが無効にされたとき（すなわち、フラグを有するスライスレベルで）、これは現在のピクチャのために使用されるAPS IDに影響を及ぼす。例えば、サブピクチャ抽出の場合、APS IDはピクチャヘッダ内で送信されるべきであるが、抽出されたサブピクチャはスライスヘッダ内でＬＭＣＳが無効にされ得る１つのスライスのみを含む。このＡＰＳが別のフレームで使用されない場合、抽出アプリケーションは、抽出されたサブピクチャのために必要とされないので、関連するAPS IDを有するAPS LMCSを除去しなければならない。

スライスレベルでのＬＭＣＳの有効化または無効化に関連するフラグは、ＡＬＦに関連する情報に密接に設定され、スライスヘッダの構文テーブルでこれらのＡＬＦシンタックス要素の後に設定することが好ましい。たとえば、表１１に示すように、ＬＭＣＳフラグは、ＡＬＦシンタックス要素の直後に続く場合がある（有効な場合）。したがって、ストリーミングアプリケーションに有用なシンタックス要素の後に、ＬＭＣＳのシンタックスを設定（構文解析）することができ、これはすべてのツールパラメータを構文解析する必要なく、ビデオシーケンスの一部を抽出または分割またはカットまたは構文解析する必要がある。このようなシンタックス要素の例については、前述した。

表１１に示すように、本発明の一実施形態では、スライスレベルでのスケーリングリストの有効化または無効化に関する情報がスライスヘッダの先頭またはその付近に設定される。

ＬＭＣＳの場合と同様に、これは、有用でないAPS NALユニットを除去するためにAPS ID使用を追跡する必要があるストリーミングアプリケーションの複雑さを低減する。スライスヘッダ内にスケーリングリストに関連するAPS IDは存在しないが、（すなわち、スライスレベルで設定されたフラグなどの情報によって）無効にされた場合、これは現在のピクチャに使用されるAPS IDに影響を及ぼす。例えば、サブピクチャ抽出の場合、APS IDはピクチャヘッダにおいて送信されるべきであるが、抽出されたサブピクチャは、スライスヘッダにおいてスケーリングリストが無効にされ得る１つのスライスのみを含む。このＡＰＳが別のフレームで決して使用されない場合、抽出アプリケーションは、抽出されたサブピクチャのために必要とされないので、関連するAPS IDを有するＡＰＳスケーリングリストを削除すべきである。

スライスレベルでのスケーリングリストの有効化または無効化に関連するフラグは、ＡＬＦに関連する情報に密接に設定され、好ましくはスライスヘッダのシンタックステーブルのこれらのＡＬＦシンタックス要素の後、さらに好ましくはＬＭＣＳに関連する情報（例えばスライスレベルでのＬＭＣＳを有効化または無効化する情報）の後に設定される。従って、スケーリングリストの有効化または無効化に関連するフラグは、ストリーミングアプリケーションに有用なシンタックス要素の後に設定されてもよく、これはすべてのツールパラメータを構文解析する必要なく、ビデオシーケンスの一部を抽出または分割またはカットまたは構文解析する必要がある。このようなシンタックス要素の例については、前述した。したがって、ＬＭＣＳおよび／またはスケーリングリストに関連するシンタックス要素の設定／構文解析は、APS ID ALFシンタックス要素に加えて、すでに前述した低レベルツールパラメータの前に実行されてもよい。

一実施形態では、ストリーミングアプリケーションがスライスレベルでＬＭＣＳフラグ（ｓｌｉｃｅ＿ｌｍｃｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を見ず、正しいＡＰＳを選択する。以前の実施形態と比較して、これは、スライスヘッダがＬＭＣＳのために構文解析される必要がないので、複雑さを低減する。しかしながら、ＬＭＣＳのためのいくつかのＡＰＳは、たとえそれらが復号プロセスのために使用されなくても送信されるので、ビットレートを潜在的に増加させる。ただし、これはストリーミングアプリケーションに依存する。たとえば、ファイル形式へのビットストリームカプセル化では、ピクチャヘッダで通知されたAPS LMCSがどのスライスでも使用されない可能性はない。言い換えると、ビットストリームカプセル化では、APS LMCSが少なくとも１つのスライスで使用されることを確実にすることができる。

実施形態では、追加的または代替的に、ストリーミングアプリケーションは、スライスレベルでスケーリングリスト（ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）フラグを見ず、スケーリングリストに関連する正しいＡＰＳを選択する。以前の実施形態と比較して、スライスヘッダは、スケーリングリストのために構文解析される必要がないので、複雑さが低減される。しかし、たとえ復号処理に使用されなくても、スケーリングリストのための何らかのＡＰＳが送信されるので、ビットレートが増加することがある。ただし、ストリーミングアプリケーションに依存する。例えば、ファイルフォーマットへのビットストリームカプセル化では、ピクチャヘッダで通知されるＡＰＳスケーリングリストがどのスライスでも決して使用されない可能性はない。言い換えると、ビットストリームカプセル化では、ＡＰＳスケーリングリストが少なくとも１つのスライスで使用されることを確実にすることができる。

上記の実施形態では、本方法を適用することができるツールとして、ＬＭＣＳおよびスケーリングリストを参照する。しかしながら、本発明は、単にＬＭＣＳ及びスケーリングリストに限定されるものではない。本発明はピクチャレベルで有効にされ、ＡＰＳまたは他のパラメータが得られるが、その後スライスレベルで無効にされる任意の復号ツールまたはパラメータに適用可能である。

発明の実装
図９は、本発明の実施形態による、エンコーダ１５０またはデコーダ１００のうちの少なくとも１つおよび通信ネットワーク１９９を備えるシステム１９１ １９５を示す。一実施形態によれば、システム１９５は例えば、デコーダ１００を含むユーザ端末またはデコーダ１００と通信可能なユーザ端末のユーザインターフェースを介してデコーダ１００にアクセスできるユーザにコンテンツ（例えば、ビデオ／オーディオコンテンツを表示／出力またはストリーミングするためのビデオおよびオーディオコンテンツ）を処理し提供するためのものである。このようなユーザ端末は、コンピュータ、携帯電話、タブレット、または（提供／ストリーミングされた）コンテンツをユーザに提供／表示することができる任意の他のタイプのデバイスであってもよい。システム１９５は通信ネットワーク２００を介して（連続ストリームまたは信号の形で－例えば、以前のビデオ／オーディオが表示／出力されている間）ビットストリーム１０１を取得／受信する。一実施形態によれば、システム１９１はコンテンツを処理し、処理されたコンテンツ、例えば、後で表示／出力／ストリーミングするために処理されたビデオおよびオーディオコンテンツを格納するためのものである。システム１９１はエンコーダ１５０によって受信され処理された（本発明によるデブロッキングフィルタによるフィルタリングを含む）オリジナルの画像シーケンス１５１を含むコンテンツを取得／受信し、エンコーダ１５０は、通信ネットワーク１９１を介してデコーダ１００に通信されるビットストリーム１０１を生成する。次に、ビットストリーム１０１はいくつかの方法でデコーダ１００に通信され、例えば、エンコーダ１５０によって事前に生成され、ユーザが記憶装置からコンテンツ（すなわち、ビットストリームデータ）を要求するまで、通信ネットワーク２００内の記憶装置（例えば、サーバまたはクラウドストレージ）にデータとして格納され、その時点で、データが記憶装置からデコーダ１００に通信／ストリーミングされる。また、システム１９１ １９５は、ユーザに対して、（例えば、ユーザ端末に表示されるユーザインターフェースのためのデータを通信することで）、記憶装置に格納されたコンテンツのコンテンツ情報（例えば、コンテンツのタイトルや、コンテンツを識別、選択、および要求するためのその他のメタ／格納位置データ）を配信／ストリーミングしたり、要求されたコンテンツを記憶装置からユーザ端末に配信／ストリーミングできるように、コンテンツのユーザ要求を受信して処理するためのコンテンツ提供装置を備えてもよい。あるいは、エンコーダ１５０が、ユーザがコンテンツを要求するときに、ビットストリーム１０１を生成し、それをデコーダ１００に直接通信／ストリーミングする。次いで、デコーダ１００はビットストリーム１０１（または信号）を受信し、本発明によるデブロッキングフィルタでフィルタリングを実行してビデオ信号１０９および／またはオーディオ信号を取得／生成し、これをユーザ端末が使用して、要求されたコンテンツをユーザに提供する。

本発明による方法／プロセスの任意のステップまたは本明細書で説明される機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、ステップ／機能は、１つ以上の命令もしくはコードもしくはプログラム、またはコンピュータ可読媒体として格納または送信され、ＰＣ（「パーソナルコンピュータ」）、ＤＳＰ（「デジタル信号プロセッサ」）、回路、回路、プロセッサおよびメモリ、汎用マイクロプロセッサまたは中央処理装置、マイクロコントローラ、ＡＳＩＣ（「特定用途向け集積回路」）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の同等の集積または個別論理回路であり得る、プログラマブルコンピューティングマシンなどの１つ以上のハードウェアベースの処理ユニットによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれか、または本明細書で説明される技法の実装に適した他の任意の構造を指すことがある。

本発明の実施形態は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＪＣのセット（例えば、チップセット）を含む多種多様なデバイスまたは装置によって実現することもできる。本明細書では様々な構成要素、モジュール、またはユニットを、それらの実施形態を実行するように構成されたデバイス／装置の機能態様を示すために説明するが、必ずしも異なるハードウェアユニットによる実現を必要としない。むしろ、種々モジュール／ユニットは、コーデックハードウェアユニットで結合されてもよく、または適切なソフトウェア／ファームウェアと共に１つ以上のプロセッサを含む相互運用ハードウェアユニットの集合によって提供されてもよい。

本発明の実施形態は、上述の実施形態のうちの１つ以上のモジュール／ユニット／機能を実行するために記憶媒体に記録されたコンピュータ実行可能命令（例えば、１つ以上のプログラム）を読み出して実行する、及び／又は上述の実施形態のうちの１つ以上の機能を実行するための１つ以上の処理ユニット又は回路を含むシステム又は装置のコンピュータによって、及び、例えば、上述の実施形態のうちの１つ以上の機能を実行するために記憶媒体からコンピュータ実行可能命令を読み出して実行する、及び／又は上述の実施形態のうちの１つ以上の機能を実行するために１つ以上の処理ユニット又は回路を制御することによって、システム又は装置のコンピュータによって実行される方法によって実現することができる。コンピュータはコンピュータ実行可能命令を読み出して実行するために、別個のコンピュータまたは別個の処理ユニットのネットワークを含んでもよい。コンピュータ実行可能命令は例えば、ネットワークまたは有形記憶媒体を介して通信媒体などのコンピュータ可読媒体からコンピュータに提供されてもよい。通信媒体は、信号／ビットストリーム／搬送波であってもよい。有形記憶媒体は例えば、ハードディスク、ランダムアクセスメモリ（RAM）、リードオンリーメモリ（ROM）、分散コンピューティングシステムの記憶装置、光ディスク（コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、またはブルーレイディスク(BD)^TMなど）、フラッシュメモリデバイス、メモリカードなどの１つ以上を含み得る「一時的でないコンピュータ読み取り可能な記憶媒体」である。ステップ／機能のうちの少なくともいくつかは、マシン、またはＦＰＧＡ（「フィールドプログラマブルゲートアレイ」）またはＡＳＩＣ（「特定用途向け集積回路」）などの専用構成要素によってハードウェアで実装することもできる。

図１０は、本発明の１つ以上の実施形態を実施するためのコンピューティングデバイス２０００の概略ブロック図である。コンピューティングデバイス２０００は、マイクロコンピュータ、ワークステーション、またはライトポータブルデバイスなどのデバイスとすることができる。コンピューティングデバイス２０００は、以下に接続された通信バスを備える：－マイクロプロセッサなどの中央処理装置（CPU）２００１；－本発明の実施形態の方法の実行可能コードを格納するためのランダムアクセスメモリ（RAM）２００２ならびに本発明の実施形態に係る画像の少なくとも一部を符号化または復号するための方法を実現するために必要な変数およびパラメータを記録するために適合されたレジスタ、それらのメモリ容量は例えば、拡張ポートに接続されたオプションのＲＡＭによって拡張することができる；－本発明の実施形態を実現するためのコンピュータプログラムを格納するためのリードオンリーメモリ（ROM）２００３；－処理されるデジタルデータが送信または受信される通信ネットワークに典型的に接続されるネットワークインターフェース（NET）２００４。ネットワークインターフェース（ＮＥＴ）２００４は単一のネットワークインターフェースであってもよいし、異なるネットワークインターフェース（例えば、有線および無線インターフェース、または異なる種類の有線または無線インターフェース）のセットで構成されてもよい。データパケットは、送信のためにネットワークインターフェースに書き込まれるか、またはＣＰＵ２００１で実行されるソフトウェアアプリケーションの制御の下で受信のためにネットワークインターフェースから読み出され、－ユーザからの入力を受信したり、ユーザに情報を表示するためにユーザインターフェース（ＵＩ）２００５が使用されてもよく、－大容量記憶装置としてハードディスク（ＨＤ）２００６が提供されてもよく、－入出力モジュール（ＩＯ）２００７が、ビデオソースやディスプレイなどの外部装置との間でデータを送受信するために使用されてもよい。実行可能コードは、ＲＯＭ２００３、ＨＤ２００６、または例えばディスクなどのリムーバブルデジタル媒体のいずれかに格納することができる。変形例によれば、プログラムの実行可能コードは、実行される前に、ＨＤ２００６などの通信装置２０００の記憶手段の１つに格納されるために、ＮＥＴ２００４を介して、通信ネットワークを用いて、受信することができる。ＣＰＵ２００１は、前述の記憶手段の１つに格納された、本発明の実施形態によるプログラムまたはプログラム群のソフトウェアコードの命令または部分の実行を制御し、指示するように適合される。電源投入後、ＣＰＵ２００１は例えば、プログラムＲＯＭ２００３またはＨＤ２００６からこれらの命令がロードされた後に、メインＲＡＭメモリ２００２から、ソフトウェアアプリケーションに関する命令を実行することができる。このようなソフトウェアアプリケーションは、ＣＰＵ２００１によって実行されると、本発明による方法のステップを実行させる。

また、本発明の他の実施形態によれば、コンピュータ、携帯電話（携帯電話）、テーブル、またはユーザにコンテンツを提供／表示することができる他の任意のタイプのデバイス（例えば、ディスプレイ装置）などのユーザ端末に、前述の実施形態によるデコーダが提供されることも理解される。さらに別の実施形態によれば、前述の実施形態によるエンコーダは、エンコーダがエンコードするためのコンテンツを撮像し、提供するカメラ、ビデオカメラ、またはネットワークカメラ（例えば、閉回路テレビまたはビデオ監視カメラ）も備える画像撮像装置において提供される。２つのこのような例を、図１１および１２を参照して以下に提供する。
ネットワークカメラ
図１１は、ネットワークカメラ２１０２及びクライアント装置２１０４を含むネットワークカメラシステム２１００を示す図である。

ネットワークカメラ２１０２は、撮像ユニット２１０６と、符号化ユニット２１０８と、通信ユニット２１１０と、制御ユニット２１１２とを有している。

ネットワークカメラ２１０２とクライアント装置２１０４とは、ネットワーク２００を介して相互に通信可能に相互に接続されている。

撮像ユニット２１０６は、レンズおよびイメージセンサ（例えば、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ））を含み、オブジェクトの画像を撮像し、その画像に基づいて画像データを生成する。この画像は静止画像であってもよいし、ビデオ画像であってもよい。

符号化ユニット２１０８は、上述した前記符号化方法を用いて画像データを符号化する。

ネットワークカメラ２１０２の通信ユニット２１１０は、符号化ユニット２１０８で符号化された符号化画像データをクライアント装置２１０４に送信する。

また、通信ユニット２１１０は、クライアント装置２１０４からのコマンドを受信する。コマンドは、符号化ユニット２１０８の符号化のためのパラメータを設定するコマンドを含む。

制御ユニット２１１２は、通信ユニット２１１０が受信したコマンドに従って、ネットワークカメラ２１０２内の他のユニットを制御する。

クライアント装置２１０４は、通信ユニット２１１４、復号ユニット２１１６、制御ユニット２１１８を含む。

クライアント装置２１０４の通信ユニット２１１４は、ネットワークカメラ２１０２にコマンドを送信する。

また、クライアント装置２１０４の通信ユニット２１１４は、ネットワークカメラ２１０２から符号化画像データを受信する。

復号ユニット２１１６は、上述した前記復号方法を用いて符号化画像データを復号する。

クライアント装置２１０４の制御ユニット２１１８は、通信ユニット２１１４が受信したユーザ操作またはコマンドに従って、クライアント装置２１０４内の他のユニットを制御する。

クライアント装置２１０４の制御ユニット２１１８は、復号ユニット２１１６で復号された画像を表示するように表示装置２１２０を制御する。

また、クライアント装置２１０４の制御ユニット２１１８は、符号化ユニット２１０８の符号化のためのパラメータを含むネットワークカメラ２１０２のパラメータの値を指定するGUI(Graphical User Interface)を表示するように表示装置２１２０を制御する。

また、クライアント装置２１０４の制御ユニット２１１８は、表示装置２１２０が表示するＧＵＩに対して入力されるユーザ操作に応じて、クライアント装置２１０４内の他のユニットを制御する。

クライアント装置２１０４の制御ユニット２１１８は、表示装置２１２０が表示するＧＵＩに対して入力されるユーザ操作に応じて、ネットワークカメラ２１０２のパラメータの値を指定するコマンドをネットワークカメラ２１０２に送信するように、クライアント装置２１０４の通信ユニット２１１４を制御する。

スマートフォン
図１２は、スマートフォン２２００を示す図である。

スマートフォン２２００は、通信ユニット２２０２、復号ユニット２２０４、制御ユニット２２０６、表示ユニット２２０８、画像記録デバイス２２１０、およびセンサ群２２１２を含む。

通信ユニット２２０２は、ネットワーク２００を介して符号化画像データを受信する。

復号ユニット２２０４は、通信ユニット２２０２が受信した符号化画像データを復号する。

復号ユニット２２０４は、上述した前記復号方法を用いて符号化画像データを復号する。

制御ユニット２２０６は、通信ユニット２２０２が受信したユーザ操作またはコマンドに応じて、スマートフォン２２００内の他のユニットを制御する。

例えば、制御ユニット２２０６は、復号ユニット２２０４により復号された画像を表示するように表示ユニット２２０８を制御する。

本発明を実施形態を参照して説明してきたが、本発明は開示された実施形態に限定されないことを理解されたい。添付の特許請求の範囲に定義されるように、本発明の範囲から逸脱することなく、様々な変更および修正を行うことができることは、当業者には理解されよう。本明細書（任意の添付の特許請求の範囲、要約書、および図面を含む）に開示された特徴のすべて、および／またはそのように開示された任意の方法またはプロセスのステップのすべては、そのような特徴および／またはステップの少なくともいくつかが相互に排他的である組合せを除いて、任意の組合せで組み合わせることができる。本明細書（任意の添付の特許請求の範囲、要約書、および図面を含む）に開示される各特徴は、特に断らない限り、同じ、同等の、または同様の目的を果たす代替の特徴によって置き換えることができる。したがって、特に断らない限り、開示される各特徴は、同等または同様の特徴の一般的なシリーズの一例にすぎない。

また、上述の比較、判定、評価、選択、実行、実行、または考慮の任意の結果、例えば、符号化またはフィルタリングプロセス中に行われる選択はビットストリーム内のデータ、例えば、結果を示すフラグまたはデータに示されるか、またはそれらから決定可能／推論可能であり得、その結果、示されるか、または決定された／推論された結果は例えば、復号処理中に、比較、判定、評価、選択、実行、実行、または考慮を実際に実行する代わりに、処理において使用され得ることが理解される。

特許請求の範囲において、単語「有する」は他の要素又はステップを排除するものではなく、不定冠詞「ａ」又は「ａｎ」は複数を排除するものではない。異なる特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組合せが有利に使用されることができないことを示すものではない。

特許請求の範囲に記載されている参照符号は、例示のみを目的としたものであり、特許請求の範囲の範囲に限定的な影響を及ぼさない。

Claims (8)

1. ビットストリームから画像データを復号する方法であって、
   ここで、前記ビットストリームは、１つ以上のスライスを含むことが可能なピクチャを復号するときに使用されるシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含み、
   ここで、前記復号する方法は、
   少なくとも、ＬＭＣＳ（Ｌｕｍａ Ｍａｐｐｉｎｇ ｗｉｔｈ Ｃｈｒｏｍａ Ｓｃａｌｉｎｇ）が前記ピクチャ内で使用され得るかを示すシンタックス要素を、前記ピクチャヘッダにおいて構文解析することと、
   前記ＬＭＣＳが前記ピクチャ内で使用され得るとき、少なくとも、ＬＭＣＳ ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）のＩＤに関するシンタックス要素を、前記ピクチャヘッダにおいて構文解析することと、
   前記ＬＭＣＳが前記ピクチャ内で使用され得るとき、前記スライスヘッダにおいて、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）ＡＰＳのＩＤに関するシンタックス要素の直後、かつ、前記ＬＭＣＳ以外の所定の復号ツールに関連するシンタックス要素の前に、少なくとも、前記ＬＭＣＳが前記スライスにおいて使用されるかを特定するためのシンタックス要素を構文解析することと、
   復号されたシンタックス要素を用いて前記ビットストリームから前記画像データを復号することと
   を含むことを特徴とする方法。
2. 前記ＬＭＣＳが前記スライスにおいて使用されるかを特定するためのシンタックス要素はフラグであることを特徴とする請求項１に記載の方法。
3. 画像データをビットストリームに符号化する方法であって、
   ここで、前記ビットストリームは、１つ以上のスライスを含むことが可能なピクチャを復号するときに使用されるシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含み、
   前記符号化する方法は、
   少なくとも、ＬＭＣＳ（Ｌｕｍａ Ｍａｐｐｉｎｇ ｗｉｔｈ Ｃｈｒｏｍａ Ｓｃａｌｉｎｇ）が前記ピクチャ内で使用され得るかを示すシンタックス要素を、前記ピクチャヘッダにおいて符号化することと、
   前記ＬＭＣＳが前記ピクチャ内で使用され得るとき、少なくとも、ＬＭＣＳ ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）のＩＤに関するシンタックス要素を、前記ピクチャヘッダにおいて符号化することと、
   前記ＬＭＣＳが前記ピクチャ内で使用され得るとき、前記スライスヘッダにおいて、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）ＡＰＳのＩＤに関するシンタックス要素の直後、かつ、前記ＬＭＣＳ以外の所定の復号ツールに関連するシンタックス要素の前に、少なくとも、前記ＬＭＣＳが前記スライスにおいて使用されるかを特定するためのシンタックス要素を符号化することと
   を含むことを特徴とする方法。
4. 前記ＬＭＣＳが前記スライスにおいて使用されるかを特定するためのシンタックス要素はフラグであることを特徴とする請求項３に記載の方法。
5. ビットストリームから画像データを復号するためのデコーダであって、前記デコーダは、請求項１に記載の方法を実行するように構成されていることを特徴とするデコーダ。
6. 画像データをビットストリームに符号化するためのエンコーダであって、前記エンコーダは、請求項３に記載の方法を実行するように構成されていることを特徴とするエンコーダ。
7. コンピュータに、請求項１に記載の方法を実行させることを特徴とするコンピュータプログラム。
8. コンピュータに、請求項３に記載の方法を実行させることを特徴とするコンピュータプログラム。

Images