JP2024038198A - ビデオ符号化方法、コンピューティング装置、プログラム、及びビットストリームを格納する方法 - Google Patents

Abstract

【課題】符号化ユニットに対して予測依存残差スケーリングを使用してビデオ符号化を実行するためのシステム及び方法を提供する。【解決手段】ブロックベースのハイブリッドビデオエンコーダ１００は、符号化ユニットが位置する第２所定領域に隣接する第１所定領域から複数の再構成輝度サンプルを選択し、複数の再構成輝度サンプルの平均を算出し、クリッピングなしに、複数の再構成輝度サンプルの平均を直接用いて、彩度残差スケーリングファクタを導出し、ＬＭＣＳ(ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）関連情報をビットストリームに符号化する。【選択図】図１

Description

本開示は、概して、ビデオ符号化および圧縮に関する。より具体的には、本開示が符号化ユニットに対して予測依存残差スケーリングを使用してビデオ符号化を実行するためのシステムおよび方法に関する。

このセクションは、本開示に関連する背景情報を提供する。このセクションに含まれる情報は、必ずしも先行技術として解釈されるべきではない。

ビデオデータを圧縮するために、様々なビデオ符号化技法のいずれかが使用され得る。ビデオ符号化は、１つまたは複数のビデオ符号化規格に従って実行され得る。いくつかの例示的なビデオ符号化規格は、ＶＶＣ（versatile video coding）、ＪＥＭ（joint exploration test model）符号化、Ｈ．２６５／ＨＥＶＣ（high-efficiency video coding）、Ｈ．２６４／ＡＶＣ（advanced video coding）、およびＭＰＥＧ（moving picture experts group）符号化を含む。

ビデオ符号化は一般に、ビデオ画像またはシーケンスに固有の冗長性を利用する予測方法（たとえば、インター予測、イントラ予測など）を利用する。ビデオ符号化技法の１つの目標はビデオ品質の劣化を回避または最小限に抑えながら、ビデオデータをより低いビットレートを使用する形式に圧縮することである。

ＨＥＶＣ規格の第１バージョンは、２０１３年１０月に完成し、従来の世代のビデオ符号化規格Ｈ．２６４／ＭＰＥＧ ＡＶＣと比較して、約５０％のビットレート節約または同等の知覚品質を提供する。ＨＥＶＣ標準はその先行技術よりも著しい符号化の改善を提供するが、ＨＥＶＣよりも追加の符号化ツールを用いて優れた符号化効率を達成することができるというエビデンスがある。これに基づき、ＶＣＥＧとＭＰＥＧは、将来のビデオ符号化標準化のための新しい符号化技術の探索作業を開始した。ＪＶＥＴ（Joint Video Exploration Team）が２０１５年１０月にＩＴＵ－Ｔ ＶＥＣＧとＩＳＯ／ＩＥＣ ＭＰＥＧによって形成され、符号化効率の実質的な向上を可能にする先進技術の重要な研究を開始した。ＪＥＭ（joint exploration model）と呼ばれる１つの参照ソフトウェアは、
ＨＥＶＣテストモデル（ＨＭ）の上にいくつかの追加の符号化ツールを統合することによってＪＶＥＴによって維持された。

２０１７年１０月、ＨＥＶＣを超える能力を有するビデオ圧縮に関する共同ＣｆＰ（call for proposals）がＩＴＵ－ＴおよびＩＳＯ／ＩＥＣによって発行された。２０１８年４月には、１０回目のＪＶＥＴ会議で２３件のＣｆＰ応答を受け、評価したところ、約４０％のＨＥＶＣを超える圧縮効率の向上が実証された。このような評価結果を踏まえ、ＶＶＣ（Versatile Video Coding）と名付けられた新世代ビデオ符号化規格を開発する新たなプロジェクトを立ち上げた。同じ月に、ＶＶＣテストモデル（ＶＴＭ）と呼ばれる１つの参照ソフトウェアが、ＶＶＣ標準の参照実装を示すために確立された。

ビデオ符号化において利用される予測方法は典型的にはビデオデータに固有の冗長性を低減または除去するために空間（イントラフレーム）予測および／または時間（インターフレーム）予測を実行することを含み、典型的には、ブロックベースのビデオ符号化に関連付けられる。ＨＥＶＣと同様に、ＶＶＣは、ブロックベースのハイブリッドビデオ符号化フレームワークに基づいて構築される

ブロックベースのビデオ符号化では、入力ビデオ信号はブロックごとに処理される。ブロック（符号化ユニット（ＣＵ）としても知られる）ごとに、空間予測および／または時間予測が実行され得る。現在のＶＶＣ設計などのより新しいビデオ符号化規格では、ブロックが４分木だけでなく、２分木および／または３分木も含むマルチタイプツリー構造に基づいてさらに分割され得る。これは、様々な局所特性のより良好な調節を可能にする。

空間予測（「イントラ予測」としても知られる）は現在のブロックを予測するために、同じビデオピクチャ／スライス中のすでに符号化された隣接ブロック（参照サンプルと呼ばれる）のサンプルからのピクセルを使用する。空間予測は、ビデオ信号に固有の空間的冗長性を低減する。

復号化の過程で、ビデオビットストリームはエントロピー復号化ユニットで最初にエントロピー復号化される。符号化モードおよび予測情報は予測ブロックを形成するために、（イントラ符号化されたとき）空間予測ユニットまたは（インター符号化されたとき）時間予測ユニットのいずれかに送られる。残差変換係数は残差ブロックを再構成するために、逆量子化ユニットおよび逆変換ユニットに送られる。次いで、予測ブロックと残差ブロックとが加算される。再構成されたブロックはさらに、参照ピクチャストアに記憶される前に、インループフィルタリングを経てもよい。次いで、参照ピクチャストア内の再構成されたビデオは、ディスプレイ装置を駆動するために送出され、将来のビデオブロックを予測するために使用される。

現在のＶＶＣ設計などのより新しいビデオ符号化規格では、ＬＭＣＳ(luma mapping with chroma scaling）の符号化ツールがインループフィルタリングの前に適用され得る。
ＬＭＣＳは符号化効率を改善するために、入力信号のダイナミックレンジを調整することを目的とする。

しかしながら、ＬＭＣＳの現在の設計は、様々な復号化モジュールにおいて異なるドメインマッピングを使用するので、算出の複雑さおよびオンチップメモリの追加要求を招く。さらに、ＬＭＣＳの現在の設計は輝度および彩度スケーリングファクタを導出するために異なる輝度予測サンプル値を使用し、これは、追加的な複雑さを導入する。さらに、ＬＭＣＳの現在の設計は輝度予測サンプルの成功完了後まで、彩度残差サンプルの再構成の延期を必要とするので、彩度残差サンプルの再構成の待ち時間を増大させ、これはＤＭＶＲ（Decoder-side Motion Vector Derivation）、ＢＤＯＦ（Bi-Directional Optical Flow）、およびＣＩＩＰ（Combined Inter and Intra Prediction）などの複雑なインター
モード符号化ツールの順次適用の成功完了を必要とする。ＬＭＣＳの現在の設計はまた、彩度残差スケーリングファクタ導出プロセス中に不要なクリッピング動作を実行し、算出複雑性およびオンチップメモリの追加要求をさらに増加させる。

このセクションは本開示の一般的な概要を提供するものであり、その全範囲またはその特徴のすべての包括的な開示ではない。

本出願の第１の態様によれば、ＣＵが位置する第２所定領域に隣接する第１所定領域からの複数の再構成輝度サンプルがＣＵの復号中に選択され、複数の再構成輝度サンプルの平均が算出され、ＣＵを復号するための彩度残差スケーリングファクタを導出する際に、クリッピングすることなく、複数の再構成輝度サンプルの平均が直接使用される。

本出願の第２の態様によれば、コンピューティング装置は、１つまたは複数のプロセッ
サと、メモリと、メモリに記憶された複数のプログラムとを含む。プログラムは１つまたは複数のプロセッサによって実行されると、コンピューティング装置に、本出願の第１の態様において上記で説明した動作を実行させる。

本出願の第３の態様によれば、非一時的コンピュータ可読記憶媒体は、１つまたは複数のプロセッサを有するコンピューティング装置による実行のための複数のプログラムを記憶する。プログラムは１つまたは複数のプロセッサによって実行されると、コンピューティング装置に、本出願の第１の態様において上記で説明した動作を実行させる。

多くのビデオ符号化規格で使用され得る例示的なブロックベースのハイブリッドビデオエンコーダを説明するブロック図である。 多くのビデオ符号化規格で使用され得る例示的なビデオデコーダを説明するブロック図である。 多くのビデオ符号化規格で使用され得るマルチタイプツリー構造におけるブロック分割の図である。 ＬＭＣＳを適用した場合の復号処理を示すフローチャートである。 ＢＤＯＦプロセスの説明図である。 ＤＭＶＲ、ＢＤＯＦ及びＣＩＩＰの全てがイネーブルされた場合のＬＭＣＳにおける彩度残差スケーリングのワークフローを示すフローチャートである。 ＰＤＲＳ（prediction dependent residual scaling）手順のステップを示すフローチャートである。 ＬＭＣＳ処理においてＰＤＲＳ手順が適用される場合の復号処理のワークフローを示すフローチャートである。 スケーリングファクタを導出するために予測サンプルを単に使用することによって引き起こされる残差マッピング誤差の説明図である。 彩度サンプル再構成手順のステップを示すフローチャートである。 第２の彩度サンプル再構成手順のステップを示すフローチャートである。 彩度スケーリングのための輝度予測サンプルを生成するためにＤＭＶＲ、ＢＤＯＦ、およびＣＩＩＰが適用されない、第２の彩度サンプル再構成手順の一例におけるＬＭＣＳ復号プロセスのワークフローを示すフローチャートである。 彩度スケーリングのための輝度予測サンプルを生成するために初期ユニ予測信号が適用される、第２の彩度サンプル再構成手順の第２の例におけるＬＭＣＳ復号プロセスのワークフローを示すフローチャートである。 彩度残差サンプル再構成手順のステップを示すフローチャートである。 彩度残差サンプル再構成手順の１つまたは複数の実施形態におけるＬＭＣＳ復号プロセスのワークフローを示すフローチャートである。 彩度残差サンプル再構成手順の１つの他の実施形態におけるＬＭＣＳ復号プロセスのワークフローを示すフローチャートである。 第２の彩度残差サンプル再構成手順のステップを示すフローチャートである。 本開示の第１の態様のステップを示すフローチャートである。 本開示の第１の態様の実施形態に関与する領域の図である。

以下、添付の図面と併せて、本開示の例示的で非限定的な実施形態のセットを説明する。構造、方法、または機能の変形は、本明細書に提示される例に基づいて、当業者によって実装され得、そのような変形はすべて、本開示の範囲内に含まれる。矛盾が存在しない場合、異なる実施形態の教示は互いに組み合わせることができるが、必ずしもその必要はない。

本開示で使用される用語は、本開示を限定するためではなく、特定の例を説明するためのものである。本開示ならびに添付の特許請求の範囲において使用される単数形「１つの」などは、文脈において他の意味が明確に含まれない限り、複数形も指す。本明細書で使用される「および／または」という用語は、１つまたは複数の関連する列挙された項目の任意のまたはすべての可能な組合せを指すことを諒解されたい。

「第１」、「第２」、「第３」などの用語は様々な情報を説明するために本明細書で使用され得るが、情報はこれらの用語によって限定されるべきではないことを理解されたい。これらの用語は、あるカテゴリの情報を別のカテゴリの情報から区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１情報を第２情報と呼ぶことができ、同様に、第２情報を第１情報と呼ぶこともできる。本明細書で使用される場合、用語「もし、～ならば」などは、文脈に応じて、「～するとき」、「～する際」または「～に応答して」などを意味すると理解され得る。

本明細書を通して、単数または複数の「実施形態」、「別の実施形態」などは、実施形態に関連して説明される１つまたは複数の特定の特徴、構成などが、本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して、単数または複数の「一実施形態において」または「ある実施形態において」、「別の実施形態において」などの表現の出現は、必ずしもすべてが同じ実施形態を指すわけではない。さらに、１つまたは複数の実施形態における特定の特徴、構造、または特性は、任意の適切な方法で組み合わせることができる。

概念的には、背景技術のセクションで前述したものを含む多くのビデオ符号化規格が、類似している。たとえば、事実上すべてのビデオ符号化規格はブロックベースの処理を使用し、ビデオ圧縮を達成するために同様のビデオ符号化ブロックダイアグラムを共有する。

図１は、多くのビデオ符号化規格で使用され得る例示的なブロックベースのハイブリッドビデオエンコーダ１００のブロック図を示す。エンコーダ１００において、ビデオフレームは、処理のために複数のビデオブロックに分割される。所与のビデオブロックごとに、インター予測手法またはイントラ予測手法のいずれかに基づいて予測が形成される。インター予測では、１つまたは複数の予測子が以前に再構成されたフレームからのピクセルに基づいて、動き推定および動き補償を通して形成される。イントラ予測では、現在のイントラフレームの再構成されたピクセルに基づいて予測子が形成される。モード決定を通して、最良の予測子が、現在のブロックを予測するために選択され得る。

現在のビデオブロックとその予測子との間の差分を表す予測残差は、変換回路１０２に送られる。変換係数は、次いで、変換回路１０２からエントロピー低減のための量子化回路１０４に送られる。次いで、量子化された係数は、エントロピー符号化回路１０６に供給されて、圧縮されたビデオビットストリームを生成する。図１に示すように、インター予測回路および／またはイントラ予測回路１１２からの予測関連情報１１０、例えば、ビデオブロック分割情報、動きベクトル、参照ピクチャインデックス、およびイントラ予測モードも、エントロピー符号化回路１０６を介して供給され、圧縮ビデオビットストリーム１１４に格納される。

エンコーダ１００では、予測のために画素を再構成するために、デコーダ関連回路も必要とされる。まず、逆量子化回路１１６および逆変換回路１１８を介して予測残差が再構成される。この再構成予測残差は、ブロック予測子１２０と組み合わされて、現在のビデオブロックのためのフィルタリングされていない再構成ピクセルを生成する。

時間予測（「インター予測」または「動き補償予測」とも呼ばれる）は現在のビデオブロックを予測するために、すでに符号化されたビデオピクチャからの再構成されたピクセルを使用する。時間的予測は、ビデオ信号に固有の時間的冗長性を低減する。所与のＣＵのための時間予測信号は、通常、現在のＣＵとその時間基準との間の動きの量および方向を示す１つまたは複数の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照ピクチャがサポートされる場合、１つの参照ピクチャインデックスが追加的に送られ、それは、時間予測信号が参照ピクチャストア内のどの参照ピクチャから来るかを識別するために使用される。

空間的および／または時間的予測が実行された後、エンコーダ１００内のイントラ／インターモード決定回路１２１は、例えばレート歪み最適化方法に基づいて、最良の予測モードを選択する。次に、ブロック予測子１２０は現在のビデオブロックから差し引かれ、得られた予測残差は変換回路１０２および量子化回路１０４を用いて、相関を解除される。得られた量子化残差係数は、逆量子化回路１１６によって逆量子化され、逆変換回路１１８によって逆変換されて、再構成された残差が形成され、次いで、ＣＵの再構成信号を形成するために予測ブロックに加算されて戻される。デブロッキングフィルタ、ＳＡＯ（sample adaptive offset）、および／またはＡＬＦ（adaptive in-loop filter）などの
さらなるインループフィルタ１１５はピクチャバッファ１１７の参照ピクチャストアに入れられ、将来、ビデオブロックを符号化するために使用される前に、再構成ＣＵに適用され得る。出力ビデオビットストリーム１１４を形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化残差係数はすべて、エントロピー符号化ユニット１０６に送られ、ビットストリームを形成するためにさらに圧縮され、パックされる。

例えば、デブロッキングフィルタはＶＶＣの現在のバージョンと同様に、ＡＶＣ、ＨＥＶＣにおいて利用可能である。ＨＥＶＣでは、符号化効率をさらに改善するために、ＳＡＯ（sample adaptive offset）と呼ばれる追加のインループフィルタが定義される。現在のＶＶＣ基準では、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）と呼ばれるさらに別のインループフィルタが活発に検討されており、最終基準に含まれる可能性が高い。

これらのインループフィルタ操作はオプションである。これらの動作を実行することは、符号化効率および視覚品質を改善するのに役立つ。それらはまた、算出の複雑さを節約するためにエンコーダ１００によってレンダリングされる決定としてオフにされ得る。

イントラ予測は通常、フィルタリングされていない再構成ピクセルに基づいており、インター予測は、これらのフィルタオプションがエンコーダ１００によってオンにされる場合、フィルタリングされた再構成ピクセルに基づいていることに留意されたい。

図２は、多くのビデオ符号化規格で使用され得る例示的なビデオデコーダ２００を示すブロック図である。このデコーダ２００は、図１のエンコーダ１００に存在する再構成関連セクションと同様である。デコーダ２００（図２）では、入力ビデオビットストリーム２０１が量子化された係数レベルおよび予測関連情報を導出するために、エントロピー復号化２０２を通して最初に復号される。量子化された係数レベルは、次いで、逆量子化２０４および逆変換２０６を通して処理されて、再構成予測残差が得られる。イントラ／インターモード選択２１２において実装されるブロック予測機構は、復号された予測情報に基づいて、イントラ予測２０８または動き補償２１０のいずれかを実行するように構成される。フィルタリングされていない再構成ピクセルのセットは、逆変換２０６からの再構成予測残差と、ブロック予測機構によって生成された予測出力とを、加算器２１４を使用
して合計することによって得られる。

再構成されたブロックはさらに、参照ピクチャストアとして機能するピクチャバッファ２１３に記憶される前に、インループフィルタ２０９を通過することができる。ピクチャバッファ２１３内の再構成されたビデオは、次いで、ディスプレイ装置を駆動するために送出され、ならびに将来のビデオブロックを予測するために使用され得る。インループフィルタ２０９がオンにされる状況では、最終的な再構成ビデオ出力２２２を導出するために、これらの再構成ピクセルに対してフィルタリング動作が実行される。

ＨＥＶＣなどのビデオ符号化規格では、ブロックが４分木に基づいて分割され得る。現在のＶＶＣのような新しいビデオ符号化標準ではより多くの分割方法が採用され、符号化ツリーユニット（ＣＴＵ）は、４分木、２分木または３分木に基づいて、変化する局所特性に適応するためにＣＵに分割され得る。ＣＵ、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）の分離は、現在のＶＶＣにおけるほとんどの符号化モードに存在せず、各ＣＵはさらなる分割なしに、予測および変換の両方のための基本ユニットとして常に使用される。しかしながら、サブ分割符号化モードなどのいくつかの特定の符号化モードでは、各ＣＵは依然として複数のＴＵを含み得、マルチタイプツリー構造では、１つのＣＴＵが最初に、４分木構造によって分割される。次いで、各４分木リーフノードは、２分木構造および３分木構造によってさらに分割され得る。

図３は、現在のＶＶＣにおいて使用される５つの分割タイプ、すなわち、４分割３０１、水平２分割３０２、垂直２分割３０３、水平３分割３０４、および垂直３分割３０５を示す。マルチタイプツリー構造が利用される状況では、１つのＣＴＵが最初に４分木構造によって分割される。次いで、各４分木リーフノードは、２分木構造および３分木構造によってさらに分割され得る。

図３の例示的なブロック分割３０１、３０２、３０３、３０４、または３０５のうちの１つまたは複数を使用して、空間予測および／または時間予測が、図１に示される構成を使用して実行され得る。空間予測（または「イントラ予測」）は現在のビデオブロックを予測するために、同じビデオピクチャ／スライス中のすでに符号化された隣接ブロック（参照サンプルと呼ばれる）のサンプルからのピクセルを使用する。空間予測は、ビデオ信号に固有の空間的冗長性を低減する。

現在のＶＶＣなどのより新しいビデオ符号化規格では、新しい符号化ツールで彩度スケーリングを用いたＬＭＣＳ（Luma Mapping with Chroma Scaling）が追加されている。ＬＭＣＳはループフィルタ（たとえば、デブロッキングフィルタ、ＳＡＯ、およびＡＬＦ）の前に適用される新しい符号化ツールとして追加される。

一般に、ＬＭＣＳは、２つの主要モジュールを有する。第１は、適応区分線形モデルに基づく輝度成分のインループマッピングであり、第２は、輝度依存彩度残差スケーリングである。

図４は、ＬＭＣＳが適用される修正された復号プロセスを示す。図４では、いくつかのブロックがマッピングされたドメインで行われる復号モジュールを表し、エントロピー復号４０１、逆量子化４０２、逆変換４０３、輝度イントラ予測４０４、および輝度サンプル再構成４０５を含む（すなわち、再構成輝度サンプルＹ’ｒｅｃｏｎを生成するための輝度予測サンプルＹ’ｐｒｅｄと輝度残差サンプルＹ’ｒｅｓとの加算）。いくつかの他のブロックは動き補償予測４０９、彩度イントラ予測４１２、彩度サンプル再構成４１３（すなわち、再構成された彩度サンプルＣｒｅｃｏｎを生成するために彩度予測サンプルＣｐｒｅｄおよび彩度残差サンプルＣｒｅｓを加算）、およびインループフィルタ処理４
０７（デブロッキング、ＳＡＯ、およびＡＬＦを包含する）を含む、元の（すなわち、マッピングされていない）ドメインにおいて実行される復号モジュールを示す。ブロックのさらなるグループは、輝度サンプルの順方向マッピング４１０および逆方向（または逆）マッピング４０６と、彩度残差スケーリング４１１とを含む、ＬＭＣＳによって導入される新しい動作モジュールを表す。また、図４に示すように、復号ピクチャバッファ（ＤＰＢ）４０８（輝度用）及び４１５（彩度用）に格納されている全ての参照ピクチャは元のドメインにある。

ＬＭＣＳのインループマッピングは、符号化効率を改善するために入力信号のダイナミックレンジを調整することを目的とする。既存のＬＭＣＳ設計における輝度サンプルのインループマッピングは、１つの順方向マッピング関数ＦｗｄＭａｐと１つの対応する逆方向マッピング関数ＩｎｖＭａｐとの２つのマッピング関数に基づいて構築される。順方向マッピング関数は、１６個の等しいサイズの区分を有する１つの区分線形モデルを使用して、エンコーダからデコーダにシグナリングされる。逆方向マッピング関数は順方向マッピング関数から直接導出することができ、したがって、シグナリングされる必要はない。

輝度マッピングモデルのパラメータは、スライスレベルでシグナリングされる。存在フラグは最初に、現在のスライスのために輝度マッピングモデルがシグナリングされるべきかどうかを示すためにシグナリングされる。輝度マッピングモデルが現在のスライス中に存在する場合、対応する区分線形モデルパラメータがさらにシグナリングされる。区分線形モデルに基づいて、入力信号のダイナミックレンジは元のドメインにおいて等しいサイズを有する１６個のセグメントに分割され、各セグメントは対応するセグメントにマッピングされる。元のドメイン内の所与のセグメントについて、マッピングされたドメイン内のその対応するセグメントは、同じまたは異なるサイズを有し得る。マッピングされたドメイン内の各セグメントのサイズはそのセグメントのコードワードの数（すなわち、マッピングされたサンプル値）によって示される。元のドメインにおける各セグメントについて、線形マッピングパラメータは、マッピングされたドメインにおける対応するセグメントにおけるコードワードの数に基づいて導出することができる。たとえば、入力が１０ビット深度にあるとき、元のドメイン中の１６個のセグメントの各々は６４個のピクセル値を有し、マッピングされたドメイン中のセグメントの各々もまた、それに割り当てられた６４個のコードワードを有する場合、それは、単純な１対１のマッピング（すなわち、各サンプル値が変更されていないマッピング）を示す。マッピングされたドメイン内の各セグメントのためのコードワードのシグナリングされた数は、スケーリングファクタを算出し、そのセグメントに応じてマッピング関数を調整するために使用される。さらに、スライスレベルでは、別のＬＭＣＳ制御フラグがスライスのＬＭＣＳを有効／無効にするようにシグナリングされる。

各セグメントについて、対応する区分線形モデルは、この段落の直後のボックスに記載されるように定義される：

図４に示すように、ＬＭＣＳプロセス中に２つの異なるドメインで操作する必要がある。インター予測モード（「インターＣＵ」）を介して符号化された各ＣＵについて、その動き補償予測が元のドメインにおいて実行される。しかしながら、輝度成分の再構成（すなわち、輝度予測サンプルおよび輝度残差サンプルの加算）がマッピングされたドメインにおいて実行されるので、動き補償された輝度予測Ｙｐｒｅｄは順方向マッピング機能４１０を介して、元のドメインからマッピングされたドメインにおける値Ｙ’ｐｒｅｄにマッピングされる必要があり、すなわち、Ｙ’ｐｒｅｄ＝ＦｗｄＭａｐ（Ｙｐｒｅｄ）であり、その後、Ｙ’ｐｒｅｄが画素再構成４０５のために使用される。一方、イントラ予測モード（「イントラＣＵ」）によって符号化されたＣＵごとに、イントラ予測４０４がマッピングされたドメインで（図４に示すように）実行された後、Ｙ’ｐｒｅｄが画素再構成４０５に使用されるので、予測サンプルのマッピングは不要である。最後に、再構成輝度サンプルＹ’ｒｅｃｏｎを生成した後、逆方向マッピング機能４０６を適用して、再構成輝度サンプルＹ’ｒｅｃｏｎを元のドメインのＹｒｅｃｏｎに変換し、その後、輝度ＤＰＢ４０８に進み、すなわち、Ｙｒｅｃｏｎ＝ＩｎｖＭａｐ（Ｙ’ｒｅｃｏｎ）に進む。インターＣＵに対してのみ適用される必要がある予測サンプルの順方向マッピング４１０とは異なり、再構成されたサンプルの逆方向マッピング４０６は、インターＣＵおよびイントラＣＵの両方に適用される必要がある。

要約すると、デコーダ側では、現在のＬＭＣＳのインループ輝度マッピングが、輝度予測サンプルＹｐｒｅｄが必要に応じて、最初にマッピングされたドメインに変換されるように行われる：Ｙ’ｐｒｅｄ＝ＦｗｄＭａｐ（Ｙｐｒｅｄ）。次いで、マッピングされた予測サンプルは、復号された輝度残差と加算されて、マッピングされたドメイン内の再構成輝度サンプルを形成する：Ｙ’ｒｅｃｏｎ＝Ｙ’ｐｒｅｄ＋Ｙ’ｒｅｓ。最後に、逆マッピングを適用して、再構成輝度サンプルＹ’ｒｅｃｏｎを元のドメインに変換し戻す：Ｙｒｅｃｏｎ＝ＩｎｖＭａｐ（Ｙ’ｒｅｃｏｎ）。符号化器側では輝度残差はマッピングされたドメイン内で符号化されるので、それらはマッピングされた元の輝度サンプルとマッピングされた輝度予測サンプルとの間の差として生成される：Ｙ’ｒｅｓ＝ＦｗｄＭａ
ｐ（Ｙｏｒｇ）－ＦｗｄＭａｐ（Ｙｐｒｅｄ）。

ＬＭＣＳの第２のステップ、輝度依存彩度残差スケーリングはインループマッピングが輝度信号に適用されるとき、輝度信号とその対応する彩度信号との間の量子化精度の相互作用を補償するように設計される。彩度残差スケーリングが有効であるか無効であるかは、スライスヘッダにおいてもシグナリングされる。輝度マッピングが有効であり、輝度および彩度成分の２分木分割が現在のスライスに対して無効である場合、輝度依存彩度残差スケーリングが適用されるかどうかを示すために、追加のフラグがシグナリングされる。輝度マッピングが使用されないとき、または現在のスライスに対して２分木分割が有効にされているとき、輝度依存彩度残差スケーリングは常に無効にされる。さらに、彩度残差スケーリングは、４つ以下の彩度サンプルを含むＣＵに対して常に無効にされる。

イントラおよびインターＣＵの両方について、彩度残差をスケーリングするために使用されるスケーリングパラメータは、対応するマッピングされた輝度予測サンプルの平均に依存する。スケーリングパラメータは、この段落の直後のボックスに記載されるように導出される：

図４はまた、輝度依存彩度残差スケーリングのための輝度予測サンプルの平均の算出を示す。インターＣＵの場合、順方向マッピングされた輝度予測Ｙ’ｐｒｅｄは再構成された彩度値Ｃｒｅｃｏｎを導出するために、彩度予測Ｃｐｒｅｄと共に彩度再構成４１３に供給される彩度残差Ｃｒｅｓを導出するために、スケーリングされた彩度残差ＣｒｅｓＳｃａｌｅと共に彩度残差スケーリング４１１に供給される。イントラＣＵの場合、イントラ予測４０４はすでにマッピングされたドメインにあるＹ’ｐｒｅｄを生成し、インターＣＵの場合と同様に彩度残差スケーリング４１１に供給される。

サンプルベースで実行される輝度マッピングとは異なり、ＣＳｃａｌｅＩｎｖは、彩度
ＣＵ全体に対して固定される。ＣＳｃａｌｅＩｎｖが与えられると、彩度残差スケーリングは、この段落のすぐ後のボックスに記載されるように適用される。

現在のＶＶＣのような新しい動画像符号化規格では新しい符号化ツールが導入され、新しい符号化ツールのいくつかの例はＢＤＯＦ（Bi-Directional Optical Flow）、ＤＭＶ
Ｒ（Decoder-side Motion Vector Refinement）、ＣＩＩＰ（Combined Inter and Intra Prediction）、アフィンモード、及びアフィンモードのためのＰＲＯＦ（Prediction Refinement with Optical Flow）である。

現在のＶＶＣでは、ＢＤＯＦ（bi-directional optical flow）が双方向予測符号化ブ
ロックの予測サンプルをリファインするために適用される。

図５は、ＢＤＯＦプロセスの説明図である。ＢＤＯＦは双方向予測が使用されるとき、ブロックベースの動き補償予測で実行されるサンプルごとの動きリファインである。各４×４サブブロック５０１の動きリファイン（ｖｘ，ｖｙ）はＢＤＯＦがサブブロックの周りの１つの６×６ウィンドウΩ内に適用された後に、参照ピクチャリスト０（Ｌ０）および参照ピクチャリスト１（Ｌ１）の予測サンプル５０２と５０３との間の差を最小化することによって算出される。

具体的には、動きリファインの値（ｖｘ，ｖｙ）がこの段落の直後のボックスに記載されるように導出される。

直前のボックスの値Ｓ１，Ｓ２，Ｓ３，Ｓ５，Ｓ６は、この段落の直後のボックスに記
載されているようにさらに算出される。

上記の段落［００７２］の直後のボックスに記載されるように導出された動きリファインに基づいて、ＣＵの最終的なバイ予測サンプルはこの段落の直後のボックスに示されるように、オプティカルフローモデルに基づいて動き軌道に沿ってＬ０／Ｌ１予測サンプルを補間することによって算出される。

上述のビット深度制御方法に基づいて、ＢＤＯＦプロセス全体の中間パラメータの最大ビット深度が３２ビットを超えず、乗算器への最大入力が１５ビット以内であり、すなわち、ＢＤＯＦ実施のために１つの１５ビット乗算器で十分であることが保証される。

ＤＭＶＲは、バイラテラルマッチング予測を使用することによってさらにリファインされ得る、２つの最初にシグナリングされたＭＶを有するマージブロックのために使用されるバイ予測技法である。

具体的には、ＤＭＶＲではバイラテラルマッチングを使用して、２つの異なる参照ピクチャ内の現在のＣＵの動き軌跡に沿った２つのブロック間の最良のマッチングを見つけることによって、現在のＣＵの動き情報を導出するマッチング処理で使用されるコスト関数は、ローサブサンプリングされたＳＡＤ（sum of absolute difference）であるマッチング処理が行われた後、リファインされたＭＶは予測ステージにおいて動き補償のために使用され、後続のピクチャのための時間的動きベクトル予測、および、リファインされていないＭＶは、現在のＣＵの動きベクトルとその空間的に隣接した動きベクトルとの間の動きベクトル予測のために使用される。

連続動き軌跡の仮定の下で、２つの参照ブロックを指す動きベクトルＭＶ０およびＭＶ１は現在のピクチャと２つの参照ピクチャとの間の時間的距離、すなわち、ＴＤ０およびＴＤ１に比例する。特殊な場合として、現在のピクチャが時間的に２つの参照ピクチャの間にあり、現在のピクチャから２つの参照ピクチャまでの時間的距離が同じであるとき、バイラテラルマッチングは、ミラーベースの双方向ＭＶになる。

現在のＶＶＣではインター予測方法およびイントラ予測方法がハイブリッドビデオ符号化方式において使用され、各ＰＵは時間ドメインまたは空間ドメインのいずれかにおいて相関を利用するためにインター予測またはイントラ予測を選択することのみを許可されるが、両方においては決して許可されない。しかしながら、以前の文献において指摘されたように、インター予測されたブロックおよびイントラ予測されたブロックによって生成された残差信号は、互いに非常に異なる特性を提示し得る。したがって、２種類の予測を効率的に組み合わせることができれば、予測残差のエネルギーを低減し、符号化効率を向上させるために、より正確な予測をもう１つ期待することができる。加えて、本質的にビデオコンテンツでは、移動するオブジェクトの動きは複雑であり得る。たとえば、古いコンテンツ（たとえば、以前符号化されたピクチャに含まれるオブジェクト）と、出現する新しいコンテンツ（たとえば、以前符号化されたピクチャと異なるオブジェクト）との両方を含む領域が存在し得る。そのようなシナリオでは、インター予測もイントラ予測も、現在のブロックの正確な予測を提供することができない。

予測効率をさらに向上させるために、ＶＶＣ基準では、マージモードで符号化された１
つのＣＵのインター予測とイントラ予測とを組み合わせたＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が採用される。具体的には、マージＣＵごとに、ＣＩＩＰが現在のＣＵに対して有効であるかどうかを示すために、１つの追加のフラグがシグナリングされる。フラグが１に等しいとき、ＣＩＩＰは、輝度成分および彩度成分のイントラ予測サンプルを生成するためにプラナー（ｐｌａｎａｒ）モードのみを適用する。さらに、等しい重み（すなわち、０．５）が、ＣＩＩＰ ＣＵの最終予測サンプルとしてインター予測サンプルおよびイントラ予測サンプルを平均化するために適用される。

ＶＶＣは、動き補償予測のためのアフィンモードもサポートする。ＨＥＶＣでは、動き補償予測のために、並進動きモデルのみが適用される。現実の世界では、多くの種類の動き、例えば、ズームイン／ズームアウト、回転、遠近運動、および他の不規則な動きがある。ＶＶＣでは、アフィン動き補償予測が並進動きに、またはアフィン動きモデルがインター予測に適用されるかどうかを示すために、各インター符号化ブロックに対して１つのフラグをシグナリングすることによって適用される。現在のＶＶＣ設計では、４パラメータアフィンモードおよび６パラメータアフィンモードを含む２つのアフィンモードが１つのアフィン符号化ブロックに対してサポートされる。

４パラメータアフィンモデルは、以下のパラメータを有する：それぞれ水平方向および垂直方向の並進運動のための２つのパラメータ、ズーム運動のための１つのパラメータ、および両方向の回転運動のための１つのパラメータ。水平方向のズームパラメータは垂直方向のズームパラメータと同じである。水平回転パラメータは、垂直回転パラメータに等しい。動きベクトルおよびアフィンパラメータのより良好な適応を達成するために、ＶＶＣでは、これらのアフィンパラメータが現在のブロックの左上隅および右上隅に位置する２つのＭＶ（制御点動きベクトル（ＣＰＭＶ）とも呼ばれる）に変換される。ブロックのアフィン動きフィールドは、２つの制御点ＭＶ（Ｖ０、Ｖ１）によって記述される。

制御点の動きに基づいて、１つのアフィン符号化ブロックのモーションフィールド（ｖｘ、ｖｙ）が、この段落の直後のボックスに記載されるように算出される。

６パラメータアフィンモードは、水平方向及び垂直方向の並進運動のための２つのパラメータ、ズーム運動のための１つのパラメータ、及び水平方向の回転運動のための１つのパラメータ、ズーム運動のための１つのパラメータ、及び垂直方向の回転運動のための１つのパラメータを有する。６パラメータアフィン動きモデルは、３つのＣＰＭＶにおいて３つのＭＶで符号化される。

１つの６パラメータアフィンブロックの３つの制御点は、ブロックの左上、右上、および左下の隅に位置する。左上の制御点における動きは並進運動に関連し、右上の制御点における動きは水平方向の回転およびズーム運動に関連し、左下の制御点における動きは垂直方向の回転およびズーム運動に関連する。４パラメータアフィン運動モデルと比較して、６パラメータの水平方向の回転およびズーム運動は、垂直方向のそれらの運動と同じでなくてもよい。

（Ｖ０、Ｖ１、Ｖ２）が、現ブロックの左上、右上、および左下の隅のＭＶであると仮定すると、それぞれのサブブロックの動きベクトル（ｖｘ、ｖｙ）はこの段落の直後のボックスに記載されるように、制御点において３つのＭＶを使用して導出される。

アフィン動き補償の精度を改善するために、オプティカルフローモデルに基づいてサブブロックベースのアフィン動き補償をリファインする現ＶＶＣにおいて、ＰＲＯＦ（Prediction Refinement with Optical Flow）を用いた予測リファインが現在検討されている
。具体的には、サブブロックベースのアフィン動き補償を実行した後、１つのアフィンブロックの輝度予測サンプルがオプティカルフロー式に基づいて導出された１つのサンプルリファイン値によって修正される。詳細には、ＰＲＯＦの動作を以下の４つのステップとして要約することができる。

ステップ１では、サブブロックベースのアフィン動き補償が実行されて、４パラメータアフィンモデルについて上記の段落［００８４］の直後のボックスと、６パラメータアフィンモデルについて上記の段落［００８７］の直後のボックスとで導出されたようなサブブロックＭＶを使用してサブブロック予測Ｉ（ｉ，ｊ）が生成される。

ステップ２において、各予測サンプルの空間勾配ｇｘ（ｉ，ｊ）およびｇｙ（ｉ，ｊ）は、この段落の直後のボックスに記載されるように算出される。

さらにステップ２において、勾配を算出するために、予測サンプルの１つの追加の行／列が、１つのサブブロックの各サイドに生成される必要がある。メモリ帯域幅および複雑さを低減するために、追加の補間プロセスを回避するために、拡張境界上のサンプルが、参照ピクチャ内の最も近い整数ピクセル位置からコピーされる。

ステップ３では、輝度予測リファイン値がこの段落の直後のボックスに記載されるように算出される。

さらに、現在のＰＲＯＦ設計では、予測リファインを元の予測サンプルに追加した後、この段落のすぐ後のボックスに記載されるように、リファインされた予測サンプルの値を
１５ビット以内にクリッピングするために、第４のステップとして１つのクリッピング操作が実行される。

アフィンモデルパラメータおよびサブブロック中心に対するピクセル位置は、サブブロックからサブブロックに変更されないので、Δｖ（ｉ，ｊ）は第１のサブブロックについて算出され、同じＣＵ内の他のサブブロックについて再利用され得る。サンプル位置（ｉ，ｊ）からサンプルが属するサブブロックの中心までの水平および垂直オフセットをΔｘ，Δｙとし、Δｖ（ｉ，ｊ）は、この段落の直後のボックスに記載されるように導出することができる。

上記段落［００８４］および段落［００８７］の直後のボックスにおけるアフィンサブブロックＭＶ導出方程式に基づいて、ＭＶ差Δｖ（ｉ，ｊ）は、この段落の直後のボックスに記載されるように導出することができる。

現在のＬＭＣＳ設計によれば、彩度残差サンプルは、それらの対応する輝度予測サンプルに基づいてスケーリングされる。より新しい符号化ツールがインターＣＵに対してイネーブルにされるとき、このインターＣＵにおけるＬＭＣＳを通して彩度残差サンプルをスケーリングするために使用される輝度予測サンプルは、これらのより新しい符号化ツールの順次適用の最後に取得される。

図６は、ＤＭＶＲ、ＢＤＯＦ及びＣＩＩＰの全てがイネーブルされた場合のＬＭＣＳにおける彩度残差スケーリングのワークフローを示すフローチャートである。輝度Ｌ０予測値６０１およびＬ１予測値６０２からの出力は順次ＤＭＶＲ６０３およびＢＤＯＦ６０４に供給され、結果として得られる輝度インター予測値６２１は輝度イントラ予測値６２２とともに、輝度イントラ予測６０５から平均化６０６に供給され、平均化された輝度予測値６２３が生成され、彩度残差６０８とともに、彩度残差スケーリング６０７に供給され、彩度残差スケーリング６０７、彩度予測６１０、および彩度再構成６０９が協働して最終結果を生成することができる。

現在のＬＭＣＳ設計は、ビデオ復号プロセスに３つの課題を提示する。第１に、異なるドメイン間のマッピングは、追加的な算出の複雑さおよびオンチップメモリを必要とする。第２に、輝度および彩度スケーリングファクタ導出が異なる輝度予測値を使用するという事実は、追加的な複雑さを導入する。第３に、ＬＭＣＳとより新しい符号化ツールとの間の相互作用は、復号プロセスに待ち時間を導入する。

第１に、現在のＬＭＣＳ設計では、元のドメイン内の再構成されたサンプルとマッピングされたドメインとの両方が様々な復号モジュールにおいて使用される。結果として、こ
れらのサンプルはしばしば、異なる復号モジュール間で１つのドメインから別のドメインに変換される必要があり、これは、より高い算出複雑性とより多くのオンチップメモリとの両方を招き得る。

具体的には、イントラモード、ＣＩＩＰモード、およびＩＢＣモードの場合、１つの現在ＣＵの隣接する再構成ドメインからのマッピングされたドメイン参照サンプルが予測サンプルを生成するために使用される。しかし、インターモードの場合、動き補償予測は、時間参照ピクチャの元のドメイン再構成サンプルを参照として使用して実行される。ＤＰＢに記憶された再構成されたサンプルは、元のドメインにもある。

たとえば、インターＣＵの場合、輝度再構成動作（すなわち、予測サンプルと残差サンプルとの加算）がマッピングされたドメインにおいて実行されるので、元のドメインにおいて生成されたインター予測輝度サンプルは輝度サンプル再構成のために使用される前に、マッピングされたドメインに変換される必要がある。別の例では、イントラＣＵとインターＣＵの両方について、逆（または逆方向）マッピングはＤＰＢにそれらを記憶する前に、再構成輝度サンプルをマッピングされたドメインから元のドメインに変換するために常に適用される。そのような設計は、追加の順方向／逆方向マッピング動作のために算出の複雑さを増加させるだけでなく、再構成されたサンプルの複数のバージョンを維持するためにより多くのオンチップメモリを必要とする。

実際のハードウェア実装では、順方向および逆方向（または逆）マッピング関数ＦｗｄＭａｐおよびＩｎｖＭａｐがルックアップテーブル（ＬＵＴ）を使用するか、またはオンザフライで算出されるかのいずれかで実装され得る。ＬＵＴベースのソリューションが使用されるとき、関数ＦｗｄＭａｐ、ＩｎｖＭａｐ、およびｃＳｃａｌｅＩｎｖからの可能な出力要素は事前算出され、ＬＵＴとして事前に記憶され得、ＬＵＴは次いで、現在のスライス中のすべてのＣＵの輝度マッピングおよび彩度残差スケーリング動作のために使用され得る。入力ビデオが１０ビットであるとすると、ＦｗｄＭａｐ及びＩｎｖＭａｐのＬＵＴのそれぞれには２^１０＝１０２４個の要素があり、ＬＵＴのそれぞれの要素は１０ビットである。したがって、順方向および逆方向輝度マッピングのＬＵＴのための総ストレージは、２＊１０２４＊１０＝２０４８０ビット＝２５６０バイトに等しい。一方、彩度スケーリングパラメータＣＳｃａｌｅＩｎｖを導出するために、１つの１６エントリＬＵＴテーブルｃＳｃａｌｅＩｎｖがエンコーダおよびデコーダにおいて維持される必要があり、各々の彩度スケーリングパラメータが３２ビットで記憶される。これに対応して、ＬＵＴ ｃＳｃａｌｅＩｎｖを格納するために使用されるメモリサイズは、１６＊３２＝５１２ビット＝６４バイトに等しくなる。２５６０と６４との間の差は、順方向および逆方向（逆）マッピング動作によって必要とされる追加のオンチップメモリのスケールを示す。

さらに、現在のＶＶＣなどのより新しいビデオ符号化規格では、イントラ予測とデブロッキングフィルタの両方が上記の隣接ブロックの再構成されたサンプルを使用する。したがって、現在のピクチャ／スライスの幅内の再構成されたサンプルの１つの追加的な行は、ビデオ符号化において「ラインバッファ」としても知られるバッファ内に維持される必要がある。ラインバッファ内の再構成されたサンプルは、少なくとも、１つのＣＴＵ内の第１の行に位置するＣＵのイントラ予測およびデブロッキング動作のための参照として使用される。既存のＬＭＣＳ設計によれば、イントラ予測およびデブロッキングフィルタは、異なるドメインにおいて再構成されたサンプルを使用する。したがって、オリジナルおよびマッピングされたドメイン再構成サンプルの両方を記憶するために、追加のオンチップメモリが必要となり、これは、ラインバッファサイズをほぼ２倍にする。

ラインバッファサイズの倍増を回避するための１つの実装選択は、ドメインマッピング
動作をオンザフライで実行することである。しかしながら、これは、無視できない複雑算出量の増加を招く。

したがって、ＬＭＣＳの現在の設計は、異なるドメイン間の必要なマッピングのため、追加的な算出の複雑さおよびオンチップメモリを必要とする。

第２に、ＬＭＣＳの現在の設計における輝度スケーリングファクタ導出方法と彩度スケーリングファクタ導出方法の両方は対応するスケーリングファクタを導出するために輝度予測サンプル値を使用するが、それらの対応する動作の間に差異がある。

輝度残差スケーリングの場合、スケーリングファクタは、各輝度残差サンプルがそれ自体のスケーリングファクタを有することを可能にすることによって、サンプルごとに導出される。しかしながら、彩度残差スケーリングの場合、スケーリングファクタはＣＵ全体に対して固定され、すなわち、ＣＵ内のすべての彩度残差サンプルは、マッピングされた輝度予測サンプルの平均に基づいて算出される同じスケーリングファクタを共有する。

また、輝度残差および彩度残差のスケーリングファクタを算出するために、２つの異なるＬＵＴが使用される。具体的には輝度ＬＵＴへの入力が元の輝度予測サンプリング値のマッピングモデルセグメントインデックスであり、一方、彩度ＬＵＴへの入力はマッピングされた輝度予測サンプリングの平均値のマッピングモデルセグメントインデックスである。

そのような相違は符号化プロセスに追加的な複雑さをもたらし、輝度および彩度スケーリングファクタ導出への調和されたアプローチが望ましい。

第３に、ＬＭＣＳの現在の設計の彩度残差スケーリングのために、ＤＭＶＲ、ＢＤＯＦ、およびＣＩＩＰの３つのモジュールのすべてなど、より新しい符号化ツールが順次呼び出されて、輝度予測サンプリングを生成することができ、輝度予測サンプリングは、次いで、彩度残差のスケーリングファクタを決定するために使用される。３つのモジュールの算出の複雑さが大きい場合、ＬＭＣＳの彩度残差スケーリングを実行する前に、それらの成功完了まで待機することは、彩度サンプルの復号のための深刻な待ち時間を引き起こす可能性がある。アフィンＣＵの場合、彩度サンプルの復号のための待ち時間の問題を引き起こし得るＬＭＣＳが続くＰＲＯＦプロセスを各アフィンＣＵが実行し得るので、ＰＲＯＦプロセスは待ち時間の問題をもち得る。

さらに、ＬＭＣＳの現在の設計では、彩度残差スケーリングファクタ導出プロセス中に不要なクリッピング動作が実行され、算出複雑性およびオンチップメモリの追加要求をさらに増加させる。

本開示はＬＭＣＳの現在の設計によって提示されるこれらの課題を解決または軽減することを目的とし、より具体的には、本開示が符号化利得を維持しながらハードウェアコーデック実装のためのＬＭＣＳの複雑さを低減し得る方式を論じる。

マッピング演算を介して予測／再構成サンプルを変換する既存のＬＭＣＳフレームワークを使用する代わりに、予測依存残差スケーリング（ＰＤＲＳ）と呼ばれる１つの新しい方法を、サンプルマッピングなしに直接予測残差をスケーリングするために提案する。提案した方法はＬＭＣＳと同様の効果と符号化効率を達成できる、実装の複雑さははるかに小さい。

ＰＤＲＳ手順では、図７に示すように、輝度残差サンプルを復号するために輝度予測サ
ンプルが取得され（７０１）、輝度予測サンプルを使用してスケーリングファクタが導出され（７０２）、スケーリングファクタが輝度残差サンプルをスケーリングするために使用され（７０３）、輝度予測サンプルとスケーリングされた輝度残差サンプルとを加算することによって再構成輝度サンプルが算出される（７０４）。

予測／再構成輝度サンプルを、輝度予測残差を算出する前に、マッピングされたドメインに直接変換する既存のＬＭＣＳ方法とは異なり、ＰＤＲＳ手順の提案された方法では、輝度予測残差サンプルがマッピング演算なしに、元のドメインにおける通常の予測プロセスと同じ方法で導出され、輝度予測残差に対するスケーリング演算が後に続く。輝度予測残差のスケーリングは、対応する輝度予測サンプル値と区分線形モデルとに依存する。結果として、現在のＬＭＣＳ設計における順方向および輝度逆マッピング動作は元のサンプルドメインにおいて維持される復号プロセス中に含まれるすべての予測および再構成サンプルとともに、完全に廃棄され得る。上記の特徴に基づいて、提案した方法を予測依存残差スケーリングと名付けた。

図８は、ＬＭＣＳ処理においてＰＤＲＳ手順が適用される場合の復号処理のワークフローを示すフローチャートである。これは、異なるドメイン間のマッピングの必要性の除去を示す。ここで、残差復号モジュール（たとえば、エントロピー復号８０１、逆量子化８０２、および逆変換８０３）を除いて、他のすべての復号モジュール（イントラおよびインター予測８０４、８０９、８１２、および８１６、再構成８０６および８１３、ならびにすべてのインループフィルタ８０７および８１４を含む）は、元のドメインにおいて動作している。具体的には、輝度サンプルを再構成するために、ＰＤＲＳ手順において提案される手法は輝度予測残差サンプルＹｒｅｓを元の振幅レベルに逆スケーリングし、次いで、それらを輝度予測サンプルＹｐｒｅｄに加算するだけでよい。

ＰＤＲＳ手順では、既存のＬＭＣＳ設計における順方向および輝度サンプル逆マッピング動作が完全に除去される。これは、算出の複雑さを節約／低減するだけでなく、ＬＭＣＳパラメータを節約するため潜在的なストレージのサイズも低減する。例えば、ＬＵＴベースのソリューションが輝度マッピングを実装するために使用されるとき、提案される方法において、２つのマッピングＬＵＴ ＦｗｄＭａｐ［］およびＩｎｖＭａｐ［］（約２５６０バイト）を格納するために以前に使用されたストレージは、もはや必要とされない。さらに、元のドメインおよびマッピングされたドメインの両方に再構成輝度サンプルを記憶する必要がある既存の輝度マッピング方法とは異なり、ＰＤＲＳ手順における提案された方法は元のドメインにおいてのみすべての予測および再構成サンプルを生成し、維持する。これに対応して、既存の輝度マッピングと比較して、ＰＤＲＳ手順における提案された方法は、イントラ予測およびデブロッキングのために再構成されたサンプルを記憶するために使用されるラインバッファサイズを効率的に半減させることができる。

ＰＤＲＳ手順の１つまたは複数の実施形態によれば、輝度予測サンプルおよび輝度残差サンプルは、輝度予測ブロックおよびその関連する残差ブロック中の１つの同じ位置からのものである。

ＰＤＲＳ手順の１つまたは複数の実施形態によれば、輝度予測サンプルを使用してスケーリングファクタを導出することは、可能な輝度予測サンプル値の全範囲を複数の輝度予測サンプルセグメントに分割することと、予め定められた区分線形モデルに基づいて複数の輝度予測サンプルセグメントの各々について１つのスケーリングファクタを算出することと、複数の輝度予測サンプルセグメントのスケーリングファクタに基づいて輝度予測サンプルのスケーリングファクタを決定することとを含む。

一例では、複数の輝度予測サンプルセグメントのスケーリングファクタに基づいて輝度
予測サンプルのスケーリングファクタを決定することは複数の輝度予測サンプルセグメントのうちの１つのセグメントに輝度予測サンプルを割り振ることと、割り振られた輝度予測サンプルセグメントのスケーリングファクタとして輝度予測サンプルのスケーリングファクタを算出することとを含む。

この例では複数の輝度予測サンプルセグメントが予め定められた１６区分ＬＵＴテーブルｓｃａｌｅＦｏｒｗａｒｄ中の１６個のセグメントを含み、複数の輝度予測サンプルセグメントの各々について１つのスケーリングファクタを算出するための予め定められた区分線形モデルは予め定められたＬＵＴテーブルｓｃａｌｅＦｏｒｗａｒｄ中の１６個のセグメントに対応する１６個の値を含む。

同じ例で、スケーリングファクタは、この段落の直後のボックスに記載されるように、割り当てられた輝度予測サンプルセグメントに基づいて算出される。

同じ実例では輝度スケーリングファクタＳｃａｌｅＹが与えられると、輝度残差サンプルスケーリング法はこの段落の直後のボックスに記載されるように適用することができる。

この例の背後にある動機は、現在のＬＭＣＳにおける順方向マッピングが区分線形モデルに基づくことである。元の輝度サンプルおよび輝度予測サンプルの両方が同じ区分（す
なわち、２つのピボットポイントＩｎｐｕｔＰｉｖｏｔ［ｉ］およびＩｎｐｕｔＰｉｖｏｔ［ｉ＋１］によって定義される同じセグメント）に位置する場合、元の輝度サンプルおよび予測輝度サンプルの２つの順方向マッピング関数は、正確に同じになる。これに対応して、Ｙ’ｒｅｓ＝ＦｗｄＭａｐ（Ｙｏｒｇ）－ＦｗｄＭａｐ（Ｙｐｒｅｄ）＝ＦｗｄＭａｐ（Ｙｏｒｇ－Ｙｐｒｅｄ）＝＝ＦｗｄＭａｐ（Ｙｒｅｓ）となる。この式の両側に逆マッピングを適用することによって、対応するデコーダ側再構成演算は、Ｙｒｅｃｏｎ＝Ｙｐｒｅｄ＋ＩｎｖＭａｐ（Ｙ’ｒｅｓ）と表すことができる。

言い換えれば、元の輝度サンプルと輝度予測サンプルとの両方が同じ区分に位置する状況では、ＬＭＣＳにおける輝度マッピング方法がこの可能な実装形態で実装されるように、復号プロセスにおける１つの残差スケーリング動作を通して達成され得る。

そのような結論は元の輝度サンプルおよび輝度予測サンプルの両方が２つのピボットポイントＩｎｐｕｔＰｉｖｏｔ［ｉ］およびＩｎｐｕｔＰｉｖｏｔ［ｉ＋１］によって定義される同じセグメント内に位置するという仮定に基づいて導出されるが、この例のこの可能な実装は元の輝度サンプルおよび輝度予測サンプルが区分線形モデルの異なるセグメント内に位置する場合であっても、ＶＶＣにおける既存の輝度マッピング動作のための単純化および／または近似として依然として使用され得る。実験結果は、このような単純化および／または近似が符号化性能にほとんど影響を与えないことを示している。

繰り返すと、この例は、元の輝度サンプル値と予測された輝度サンプル値の両方が区分線形モードの同じセグメント内に位置するという仮定に基づいている。この場合、元の輝度サンプルおよび予測された輝度サンプルに適用される順方向／逆方向マッピング関数は同じであり、したがって、単に輝度予測サンプルに依存して対応する残差スケーリングファクタを算出することは安全である。

しかしながら、ＣＵの予測サンプルが十分に正確でない場合（たとえば、参照サンプルから遠く離れているサンプルが通常はあまり正確でないと予測されるイントラ予測ＣＵの場合）、予測サンプルおよび元のサンプルは、区分線形モデルの異なるセグメントに位置することが多い。この場合、予測サンプル値に基づいて導出されたスケーリングファクタは元の（すなわち、マッピングされていない）ドメイン内の残差サンプルとマッピングされたドメイン内の残差サンプルとの間の元のマッピング関係を反映する際に信頼できない可能性がある。

図９は、スケーリングファクタを導出するために予測サンプルを単に使用することによって引き起こされる残差マッピング誤差の説明図である。図９において、三角形の中実の点は区分線形機能における様々なセグメントのピボット制御点を表し、円形の中実の点は元のサンプル値および予測サンプル値を表し、ＹｏｒｇおよびＹｐｒｅｄは元の（すなわち、マッピングされていない）ドメインにおける元のサンプルおよび予測サンプルであり、Ｙ’ｏｒｇおよびＹ’ｐｒｅｄは、それぞれ、ＹｏｒｇおよびＹｐｒｅｄのマッピングされたサンプルである。ＹｒｅｓおよびＹ’ｒｅｓはＶＶＣにおける既存のサンプルベースの輝度マッピング法が適用されるときの、元のドメインおよびマッピングされたドメインにおける対応する残差であり、Ｙ’ｒｅｓＳｃａｌｅは、提案された輝度残差スケーリング方式に基づいて導出されるマッピングされた残差サンプルである。図９に示されるように、元のサンプルおよび予測サンプルは区分線形モデルの同じ区間にないので、予測サンプルに基づいて導出されたスケーリングファクタはマッピングされたドメイン（すなわち、Ｙ’ｒｅｓ）における元の残差を近似するスケーリングされた残差（すなわち、Ｙ’ｒｅｓＳｃａｌｅ）を生成するのに十分に正確でないことがある。

第２の例では、元の輝度サンプル値と予測された輝度サンプル値の両方が区分線形モー
ドの同じセグメント内に位置するという仮定は必要ではない。

この第２の例では輝度予測サンプルが位置する区分線形モデルのセグメントから直接スケーリングファクタを導出する代わりに、スケーリングファクタはＮ（Ｎは正の整数）の隣接セグメントのスケーリングファクタの平均として算出される。

この第２の例では、複数の輝度予測サンプルセグメントのスケーリングファクタに基づいて輝度予測サンプルのスケーリングファクタを決定することは複数の輝度予測サンプルセグメントのうちの１つのセグメントに輝度予測サンプルを割り振ることと、割り振られた輝度予測サンプルセグメントに隣接するいくつかの輝度予測サンプルセグメントのスケーリングファクタの平均として輝度予測サンプルのスケーリングファクタを算出することとを含む。

より具体的には、この第２の例の１つの可能な実装形態ではスケーリングファクタが以下のステップで説明するように、割り振られた輝度予測サンプルセグメントに基づいて算出され得る。
１）元のドメインにおいてＰｒｅｄＹが属する区分線形モデルが対応するセグメントインデックスＩｄｘＹを見つけるか、または取得する。
２）Ｙ’ｒｅｓ≧０の場合、輝度残差スケーリングファクタは以下のように算出される：


３）そうでない場合（すなわち、Ｙ’ｒｅｓ＜０）、輝度残差スケーリングファクタは、以下のように算出される：


ここで、scaleForward[i], i=0...15は、予め定められた１６区分ＬＵＴであり、以下の
ように算出される：
scaleForward[i]=(OrgCW<<SCALE_FP_PREC)/SignaledCW[i]
こで、ＯｒｇＣＷおよびＳｉｇｎａｌｅｄＣＷ［ｉ］は元のドメインおよびマッピングされたドメインにおけるｉ番目のセグメントのコードワードの数であり、ＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、スケーリングファクタの精度である。

上述した実装と他の点では同一であるこの第２の例の第２の可能な実装形態では、スケーリングファクタがこの段落の直後のボックスに記載されるように、割り当てられた輝度予測サンプルセグメントに基づいて算出され得る：

この第２の例の上記の２つの可能な実装形態は、割り当てられたセグメントに基づくＮ個の輝度予測サンプルドメイン値セグメントの選択においてのみ異なる。

１つの彩度サンプル再構成手順では、図１０に示すように、入力位置における輝度残差サンプルおよび彩度残差サンプルの両方を復号するために輝度予測サンプル値が取得され（１００１）、次いで、輝度残差サンプルに関連する輝度予測サンプルが取得され（１００２）、次いで、彩度残差サンプルに関連する彩度予測サンプルが取得され（１００３）、輝度予測サンプルが輝度残差サンプルのための第１のスケーリングファクタおよび彩度残差サンプルのための第２のスケーリングファクタを導出するために使用され（１００４）、輝度残差サンプルをスケーリングするために第１のスケーリングファクタが使用され（１００５）、彩度残差サンプルをスケーリングするために第２のスケーリングファクタが使用され（１００６）、輝度予測サンプルおよびスケーリングされた輝度残差サンプルを加算することによって再構成輝度サンプルが算出され（１００７）、彩度予測サンプルおよびスケーリングされた彩度残差サンプルを加算することによって再構成された彩度サンプルが算出される（１００８）。

彩度サンプル再構成手順はより統一された設計を達成するために、輝度残差および彩度残差のスケーリング方法を調和させることを目的とする。

彩度サンプル再構成手順の１つまたは複数の実施形態によれば、輝度予測サンプル値は、入力位置を含む符号化ユニット（ＣＵ）内のすべての輝度予測サンプルの平均である。これらの実施形態では彩度スケーリング導出方法が輝度残差についてのスケーリングファクタを算出するために使用され、より具体的には各輝度残差サンプルについて１つのスケーリングファクタを別個に導出する代わりに、輝度予測サンプルの平均に基づいて算出される１つの共有スケーリングファクタがＣＵ全体の輝度残差サンプルをスケーリングするために使用される。

彩度サンプル再構成手順の別の実施形態によれば、輝度予測サンプル値は、入力位置を含む符号化ユニット（ＣＵ）からサブ分割された予め定義されたサブブロック内のすべての輝度予測サンプルの平均である。この実施形態では、１つのＣＵが最初に、複数のＭ×Ｎ個のサブブロックに等しく分割され、次いで、サブブロックごとに、サブブロックの輝度残差と彩度残差との両方をスケーリングするために使用される対応するスケーリングファクタを導出するために、すべてまたは部分的な輝度予測サンプルが使用される。第１の方法と比較して、第２の方法は、サブブロックの外側にある相関の低い輝度予測サンプル
がサブブロックのスケーリングファクタを算出することから除外されるので、推定されたスケーリングファクタの空間精度を改善することができる。一方、第２の方法はまた、１つのサブブロックにおける輝度および彩度残差のスケーリングがサブブロックの輝度予測が終了した直後に、すなわち、ＣＵ全体の輝度予測サンプルの完全な生成を待つことなく開始され得ることを前提として、輝度および彩度残差再構成の待ち時間を低減することができる。

彩度サンプル再構成手順の第３の実施形態によれば、輝度予測サンプルドメイン値は、コロケートされた輝度予測サンプルを含む。この実施形態では、輝度残差スケーリング方法が彩度残差をスケーリングするように拡張され、各彩度残差サンプルについての異なるスケーリングファクタがその並置された輝度予測サンプル値に基づいて導出される。

彩度サンプル再構成手順の上記の実施形態では、彩度残差のスケーリングを行うために輝度スケーリングファクタを算出するために使用されるのと同じＬＵＴを使用することが提案される。一例では、彩度残差のためのＣＵレベルスケーリングファクタＳｃａｌｅＣを導出するために、以下のようにすることができる：
１）ａｖｇＹとして表される、ＣＵ内の（元のドメインで表される）輝度予測サンプルの平均を算出する。
２）ａｖｇＹが属する区分線形モデルの対応するセグメントインデックスＩｄｘＹを見つけるか、取得する。
３）ＳｃａｌｅＣの値を以下のように算出する：
ScaleC=scaleForward[IdxY]
ここで、scaleForward[i], i=0...15は、予め定められた１６区分ＬＵＴであり、以下の
ように算出される：
scaleForward[i]=(OrgCW<<SCALE_FP_PREC)/SignaledCW[i]
ここで、OrgCWおよびSignaledCW[i]は元のドメインおよびマッピングされたドメインにおけるｉ番目のセグメントのコードワードの数であり、SCALE_FPはスケーリングファクタの精度である。

上記の例は、彩度残差のためのスケーリングファクタが現在のＣＵのサブブロックごとに導出される場合に容易に拡張され得る。その場合、上記の第１のステップでは、ａｖｇＹがサブブロックの元のドメイン内の輝度予測サンプルの平均として算出され、一方、ステップ２およびステップ３は同じままである。

第２の彩度サンプル再構成手順では図１１に示すように、符号化ユニット（ＣＵ）のための輝度予測プロセス中に、所定の中間輝度予測ステージのいくつかをスキップすることによって、複数の輝度予測サンプルが取得され（１１０１）、取得された複数の輝度予測サンプルはＣＵにおける彩度残差サンプルのためのスケーリングファクタを導出するために使用され（１１０２）、スケーリングファクタはＣＵにおける彩度残差サンプルをスケーリングするために使用され（１１０３）、再構成された彩度サンプルはＣＵにおける彩度予測サンプルとスケーリングされた彩度残差サンプルとを加算することによって算出される（１１０４）。

第２の彩度サンプル再構成手順の１つまたは複数の実施形態によれば、予め定められた中間輝度予測ステージは、ＤＭＶＲ（Decoder-side Motion Vector Derivation）、ＢＤ
ＯＦ（Bi-Directional Optical Flow）、およびＣＩＩＰ（Combined Inter and Intra Prediction）の１つまたは複数の双方向予測モジュールを含む。これらの実施形態ではＤＭＶＲ、ＢＤＯＦ／ＰＲＯＦ、ＣＩＩＰイントラ／インター結合プロセスの前に導出されたインター予測サンプルは彩度残差のためのスケーリングファクタを導出するために使用される。

図１２は、ＤＭＶＲ、ＢＤＯＦ、およびＣＩＩＰが彩度スケーリングのための輝度予測サンプルを生成するために適用されない、第２の彩度サンプル再構成手順のこの実施形態の一例におけるＬＭＣＳ復号プロセスのワークフローを示すフローチャートである。ここで、ＤＭＶＲ１２０３、ＢＤＯＦ１２０４、および／またはＣＩＩＰの輝度イントラ予測部１２０５が完全に終了するのを待つ代わりに、初期Ｌ０およびＬ１輝度予測１２０１および１２０２に基づく予測サンプル１２２１および１２２２が利用可能になるとすぐに、彩度残差スケーリングプロセス１２０８を開始することができる。

図１２では、元の平均化演算１２０６に加えて追加の平均化演算１２１１がＤＭＶＲ１２０３、ＢＤＯＦ１２０４、および／またはＣＩＩＰ１２０５の前に初期Ｌ０予測サンプル１２２１およびＬ１予測サンプル１２２２を組み合わせるために必要とされる。

複雑さを低減するために、第２の彩度サンプル再構成手順のこの実施形態の第２の例では、最初のＬ０予測サンプルを使用して、彩度残差のためのスケーリングファクタを導出することができる。

図１３は、彩度スケーリングのための輝度予測サンプルを生成するために初期ユニ予測信号が適用される、第２の彩度サンプル再構成手順のこの実施形態の第２の例におけるＬＭＣＳ復号プロセスのワークフローを示すフローチャートである。元の平均化動作１３０６に加えて追加の平均化演算は必要とされない。初期Ｌ０予測サンプル１３２１はＤＭＶＲ１３０３、ＢＤＯＦ１３０４、および／またはＣＩＩＰ１３０５の前に、彩度残差のためのスケーリングファクタを導出するために使用される。

第２の彩度サンプル再構成手順のこの実施形態の第３の例では、１つの初期予測信号（Ｌ０またはＬ１）が彩度残差スケーリングファクタを導出するために使用される輝度予測サンプルとして適応的に選択される。この例の１つの可能な実装形態では初期予測信号（Ｌ０またはＬ１）の間で、その参照ピクチャが現在のピクチャに対してより小さいピクチャ順序カウント（ＰＯＣ）距離を有するものが、彩度残差スケーリングファクタを導出するために選択される。

第２の彩度サンプル再構成手順の別の実施形態では、彩度残差スケーリングファクタを決定するために使用されるインター予測サンプルを生成するためのＣＩＩＰを有効にしながら、ＤＭＶＲ、ＢＤＯＦ／ＰＲＯＦのみを無効にすることが提案される。具体的には、この方法ではＤＭＶＲおよびＢＤＯＦ／ＰＲＯＦの前に導出されたインター予測サンプルが平均化され、次いで、ＣＩＩＰのイントラ予測サンプルと組み合わされ、最後に、組み合わされた予測サンプルが彩度残差スケーリングファクタを決定するための予測サンプルとして使用される。

第２の彩度サンプル再構成手順のさらに別の実施形態では、彩度残差スケーリングファクタを決定するために使用される予測サンプルを生成するためのＤＭＶＲおよびＣＩＩＰを維持しながら、ＢＤＯＦ／ＰＲＯＦのみを無効にすることが提案される。

第２の彩度サンプル再構成手順のさらに別の実施形態では、彩度残差スケーリングファクタを決定するために使用される輝度予測サンプルを導出する際にＤＭＶＲを無効にしながら、ＢＤＯＦ／ＰＲＯＦおよびＣＩＩＰを維持することが提案される。

さらに、第２の彩度サンプル再構成手順の上記の実施形態における方法は彩度予測残差スケーリングの待ち時間を低減するために設計されているように示されているが、それらの方法は輝度予測残差スケーリングの待ち時間を低減するためにも使用され得ることに言
及する価値がある。たとえば、それらの方法はすべて、「予測依存残差スケーリングに基づく輝度マッピング」で説明したＰＤＲＳ方法にも適用され得る。

既存のＤＭＶＲ設計によれば、算出の複雑さを低減するために、ＤＭＶＲ動きリファインのために使用される予測サンプルは、デフォルトの８タップ補間の代わりに２タップバイリニアフィルタを使用して生成される。リファインされた動きが決定された後、現在のＣＵの最終予測サンプルを生成するために、デフォルトの８タップフィルタが適用される。したがって、ＤＭＶＲによって引き起こされる彩度残差復号待ち時間を低減するために、バイリニアフィルタによって生成される輝度予測サンプル（現在のＣＵがバイ予測される場合、Ｌ０およびＬ１予測サンプルの平均）を使用して、彩度残差のスケーリングファクタを決定することが提案される。

１つの彩度残差サンプル再構成手順によれば、図１４に示すように、ＤＭＶＲ（Decoder-side Motion Vector Derivation）のバイリニアフィルタの出力から１つまたは複数の
輝度予測サンプル値が選択され（１４０１）、１つまたは複数の選択された輝度予測サンプル値は入力ビデオの元の符号化ビット深度と同じビット深度を有する別の複数の輝度予測サンプル値に調整され（１４０２）、入力ビデオの元の符号化ビット深度と同じビット深度を有する輝度予測サンプル値は１つまたは複数の彩度残差サンプルを復号するためのスケーリングファクタを導出するために使用され（１４０３）、スケーリングファクタは１つまたは複数の彩度残差サンプルをスケーリングするために使用され（１４０４）、１つまたは複数の彩度残差サンプルは１つまたは複数のスケーリングされた彩度残差サンプルとそれらの対応する彩度予測サンプルとを加算することによって再構成される（１４０５）。

彩度残差サンプル再構成手順の１つまたは複数の実施形態では、ＤＭＶＲのバイリニアフィルタの出力から１つまたは複数の輝度予測サンプル値を選択することはＤＭＶＲのバイリニアフィルタの出力からＬ０およびＬ１輝度予測サンプルを選択することを含む。

図１５は、彩度残差サンプル再構成手順の１つのそのような実施形態におけるＬＭＣＳ復号プロセスのワークフローを示すフローチャートである。ＤＭＶＲ１５０３のバイリニアフィルタ１５１２成分の出力からのＬ０およびＬ１予測サンプル１５２１および１５２２は１つまたは複数の彩度残差サンプルを復号するために彩度残差スケーリング１５０７において使用されるべき彩度残差スケーリング入力１５２３を導出するために、平均１５１１に供給される。

これらの実施形態では、ビットコード深さの問題がある。ＤＭＶＲによって使用される内部記憶サイズを節約するために、ＤＭＶＲのバイリニアフィルタによって生成される中間Ｌ０およびＬ１予測サンプルは、１０ビット精度である。これは、１４ビットに等しい、通常のバイ予測の即時予測サンプルの表現ビット深度とは異なる。したがって、バイリニアフィルタから出力される中間予測サンプルはその異なる精度のために、彩度残差スケーリングファクタを決定するために直接適用することができない。

この問題に対処するために、最初に、ＤＭＶＲ中間ビット深度を、正規の動き補償補間に使用される中間バイ深度と整合させる、すなわち、ビット深度を１０ビットから１４ビットに増加させることが提案される。その後、通常のバイ予測信号を生成するために適用される既存の平均プロセスは、彩度残差スケーリングファクタの決定のための対応する予測サンプルを生成するために再利用され得る。

これらの実施形態の一例では１つまたは複数の選択された輝度予測サンプル値を、入力ビデオの元の符号化ビット深度と同じビット深度を有する別の複数の輝度予測サンプル値
に調整することはＤＭＶＲのバイリニアフィルタの出力から１４ビットへ左シフトを通してＬ０およびＬ１輝度予測サンプルの内部ビット深度を増加させることと、１４ビットのシフトされたＬ０およびＬ１輝度予測サンプル値を平均することによって１４ビット平均輝度予測サンプル値を取得することと、右シフトを通して１４ビット平均輝度予測サンプル値の内部ビット深度を入力ビデオの元の符号化ビット深度に変更することによって１４ビット平均輝度予測サンプル値を変換することと、を含む。

より具体的には、この例では、彩度スケーリングファクタがこの段落の直後のボックスに記載されるステップによって決定される。

彩度残差サンプリング再構成手順の他の実施形態ではＤＭＶＲのバイリニアフィルタの出力から１つまたは複数の輝度予測サンプリング値を選択し、入力ビデオの元の符号化ビット深度と同じビット深度で１つまたは複数の選択された輝度予測サンプリング値を別の複数の輝度予測サンプリング値に調整することはＤＭＶＲのバイリニアフィルタの出力からＬ０およびＬ１輝度予測サンプリングから１つの輝度予測サンプリングを選択することと、シフトを通して１つの選択された輝度予測値の内部ビット深度を入力ビデオの元の符号化ビット深度に変更することによって１つの選択された輝度予測サンプリングを調整することと、入力ビデオの元の符号化ビット深度と同じビット深度で調整された輝度予測サンプリングを輝度予測サンプリングとして使用することと、を含む。

図１６は、彩度残差サンプル再構成手順の１つのそのような他の実施形態におけるＬＭＣＳ復号プロセスのワークフローを示すフローチャートである。ＤＭＶＲ１６０３のバイ
リニアフィルタ１６１２成分の出力からのＬ０予測サンプル１６２１は１つまたは複数の彩度残差サンプルを復号するために、彩度残差スケーリング１６０７において使用される。

彩度残差サンプル再構成手順の１つのそのような他の実施形態の一例では、彩度スケーリングファクタがバイリニアフィルタから出力された輝度サンプルを、この段落の直後のボックスに記載されるように、入力ビデオの元の符号化ビット深度にシフトすることによって決定される。

第２の彩度残差サンプル再構成手順に従って、図１７に示されるように、１つ以上の輝度参照サンプル値が参照ピクチャ（１７０１）から選択され、１つ以上の選択された輝度参照サンプル値が輝度サンプル値（１７０２）に変換され、変換された輝度サンプル値がスケーリングファクタ（１７０３）を導出するために使用され、スケーリングファクタが１つ以上の彩度残差サンプル（１７０４）をスケーリングするために使用され、１つ以上のスケーリングされた彩度残差サンプルおよびそれらの対応する彩度予測サンプル（１７０５）を加えることによって１つ以上の彩度残差サンプルが再構成される。

第２の彩度残差サンプル再構成手順の１つまたは複数の実施形態では参照ピクチャから１つまたは複数の輝度参照サンプル値を選択し、１つまたは複数の選択された輝度参照サンプル値を輝度サンプル値に変換することはＬ０およびＬ１参照ピクチャからＬ０およびＬ１輝度参照サンプル値の両方を取得することと、変換された輝度サンプル値としてＬ０およびＬ１輝度参照サンプル値を平均化することとを含む。

第２の彩度残差サンプル再構成手順の他の実施形態では参照ピクチャから１つまたは複数の輝度参照サンプルを選択し、１つまたは複数の選択された輝度参照サンプルを輝度サンプル値に変換することはＬ０およびＬ１の参照ピクチャからＬ０およびＬ１の輝度参照サンプル値から１つの輝度参照サンプル値を選択することと、変換された輝度サンプル値として１つの選択された輝度参照サンプル値を使用することとを含む。

既存のＬＭＣＳ設計によれば、現在のＣＵが位置する６４×６４領域に隣接する再構成輝度サンプルは、領域内のＣＵの彩度残差スケーリングファクタを算出するために使用される。さらに、１つのクリッピング動作、すなわちＣｌｉｐ１（）が、平均が算出される前に、内部ビット深度のダイナミックレンジ（すなわち、［０，（１＜＜ｂｉｔＤｅｐｔｈ）－１］の範囲）に再構成された輝度隣接サンプルをクリッピングするために適用される。

具体的には、この方法がまず、６４個の左隣接輝度サンプルと、現ＣＵが属する対応する６４×６４領域の６４個の上隣接輝度サンプルとをフェッチし、次いで、左隣接サンプルと上隣接サンプルの平均、すなわちａｖｇＹを算出し、ＬＭＣＳ区分線形モデルにおい
てａｖｇＹのセグメントインデックスＹIｄｘを見つけ、最後に、彩度残差ＣＳｃａｌｅ
Ｉｎｖ＝ｃＳｃａｌｅＩｎｖ［ＹIｄｘ］を導出する。

具体的には現在のＶＶＣドラフトにおいて、対応する平均輝度を導出する方法は以下の通りである。Ｃｌｉｐ１（）動作の適用が顕著なフォントフェースおよびサイズで示される。：

しかしながら、再構成プロセスでは予測サンプルを１つのＣＵの残差サンプルに追加した後、結果として得られたサンプル値は内部ビット深度のダイナミックレンジにすでにクリッピングされている。これは、現行の６４×６４領域の周りの全ての隣接する再構成輝度サンプルは、内部ビット深度の範囲内にあることが保証されることを意味する。したがって、それらの平均、すなわちａｖｇＹもまた、この範囲を超えることはできない。その結果、既存のクリッピング（すなわち、Ｃｌｉｐ１（））は、対応する彩度残差スケーリ
ングファクタを算出するために不要である。ＬＭＣＳ設計の複雑さおよびメモリ要件をさらに低減するために、彩度残差スケーリングファクタを導出するために、隣接する再構成輝度サンプルの平均を算出するときにクリッピング演算を除去することが提案される。

本願の第１の態様によれば、図１８に示すように、ＣＵが位置する第２所定領域に隣接する第１所定領域からの複数の再構成輝度サンプルがＣＵの復号中に選択され（１８０１）、複数の再構成輝度サンプルの平均が算出され（１８０２）、ＣＵを復号するための彩度残差スケーリングファクタを導出する際に、クリッピングなしに、複数の再構成輝度サンプルの平均が直接使用される（１８０３）。

本願の第１の態様の１つまたは複数の実施形態では、複数の再構成輝度サンプルの平均が複数の再構成輝度サンプルの算術平均である。

本願の第１の態様の１つまたは複数の実施形態では、ＣＵを復号するための彩度残差スケーリングファクタを導出する際に、クリッピングすることなく、複数の再構成輝度サンプルの平均を直接使用することは予め定められた区分線形モデルにおいて平均のためのセグメントインデックスを識別することと、セグメントの線形モデルの勾配に基づいてＣＵを復号するための輝度残差スケーリングファクタを導出することとを含む。

本願の第１の態様の１つまたは複数の実施形態では、第１所定領域内の複数の再構成輝度サンプルが第１所定領域内の輝度予測サンプルおよび輝度残差サンプルを生成し、輝度残差サンプルを輝度予測サンプルに加算し、加算された輝度サンプルを符号化ビット深度のダイナミックレンジにクリッピングすることによって生成される。

本願の第１の態様の１つまたは複数の実施形態では、複数の再構成輝度サンプルが複数の順方向マッピングされたインター輝度再構成サンプルである。

本願の第１の態様の１つまたは複数の実施形態において、第２所定領域は、ＣＵが位置する６４×６４領域である。

一例では図１９に示すように、第１所定領域は第２所定領域１９０４の直ぐ上の１×６４領域１９０２内の最上隣接サンプルを含み得る。代替または追加として、第１所定領域は、第２所定領域１９０４の直ぐ左にある６４×１領域１９０３内の左隣接サンプルを含み得る。

１つまたは複数の例では、説明する機能がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶され、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体はデータ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は、概して、（１）非一時的有形コンピュータ可読記憶媒体、または（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は本願で説明される実装の実行のための命令、コード、および／またはデータ構造を取り出すために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

さらに、上記の方法は、ＡＳＩＣ（application specific integrated circuits）、Ｄ
ＳＰ（digital signal processors）、ＤＳＰＤ（digital signal processing devices）、ＰＬＤ（programmable logic devices）、ＦＰＧＡ（field programmable gate arrays）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を含む、１つまたは複数の回路を含む装置を使用して実装され得る。装置は上記の方法を実行するために、回路を他のハードウェアまたはソフトウェア構成要素と組み合わせて使用することができる。上記で開示した各モジュール、サブモジュール、ユニット、またはサブユニットは、１つまたは複数の回路を少なくとも部分的に使用して実装され得る。

本開示は、特定用途向け集積回路、プログラマブルロジックアレイ、および他のハードウェア装置などの専用ハードウェア実装形態を含み得る。ハードウェア実装形態は、本明細書で説明する方法のうちの１つまたは複数を実装するように構成され得る。様々な実装形態の装置およびシステムを含み得る例は、様々な電子およびコンピューティングシステムを広く含むことができる。本明細書で説明する１つまたは複数の例は、モジュール間で、モジュールを通して、または特定用途向け集積回路の一部として通信することができる、関連する制御信号およびデータ信号を有する２つ以上の特定の相互接続されたハードウェアモジュール、または装置を使用して、機能を実装することができる。したがって、開示される装置またはシステムは、ソフトウェア、ファームウェア、およびハードウェア実装形態を包含し得る。「モジュール」、「サブモジュール」、「回路」、「サブ回路」、「ユニット」、または「サブユニット」などという用語は、１つまたは複数のプロセッサによって実行され得るコードまたは命令を記憶するメモリ（共有、専用、またはグループ）を含み得る。モジュールは本明細書では記憶されたコードまたは命令を伴うかまたは伴わない、１つまたは複数の回路を含み得る。モジュール、または回路は、接続される１つまたは複数の構成要素を含み得る。

本開示の他の実施形態は、本明細書の考察および本明細書に開示される本開示の実施から当業者には明らかであろう。本願はその一般的な原理に従う本開示の任意の変形、使用、または適応を網羅することを意図しており、本開示からのそのような逸脱は、当技術分野において知られている、または慣例的な実践の範囲内にある。本明細書及び各実施形態は単なる例示を意図するものであり、本開示の真の範囲及び趣旨は、特許請求の範囲に記載する。

本開示は、上述され、添付の図面に示されたそのままの例に限定されず、その範囲から逸脱することなく、様々な修正および変更を行うことができることが理解されるであろう。本開示の範囲は、添付の特許請求の範囲によってのみ限定されることが意図される。

本出願は、２０２０年３月２７日に出願された米国仮特許出願第６３／００１，２２９号の利益を主張する。前述の出願の全開示は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。

Claims (10)

1. 符号化ユニットが位置する第２所定領域に隣接する第１所定領域から複数の再構成輝度サンプルを選択し、
   複数の前記再構成輝度サンプルの平均を算出し、
   クリッピングなしに、複数の前記再構成輝度サンプルの平均を直接用いて、彩度残差スケーリングファクタを導出し、
   ＬＭＣＳ(luma mapping with chroma scaling）関連情報をビットストリームに符号化する、
   ビデオ符号化方法。
2. 複数の前記再構成輝度サンプルの平均は、複数の前記再構成輝度サンプルの算術平均である、請求項１に記載のビデオ符号化方法。
3. クリッピングなしに、複数の前記再構成輝度サンプルの平均を直接用いて、彩度残差スケーリングファクタを導出することは、
   予め定められた区分線形モデルにおける平均のセグメントインデックスを識別し、
   前記セグメントインデックスに基づいて輝度残差スケーリングファクタを導出する、
   ことを含む、請求項１に記載のビデオ符号化方法。
4. 複数の前記再構成輝度サンプルは、
   輝度予測サンプルおよび輝度残差サンプルを生成し、
   前記輝度予測サンプルに前記輝度残差サンプルを加算し、
   前記輝度予測サンプルを符号化ビット深度のダイナミックレンジにクリッピングする、
   ことによって生成される、
   請求項１に記載のビデオ符号化方法。
5. 複数の前記再構成輝度サンプルは、順方向マッピングされたインター予測サンプルに基づいて導出される、請求項１に記載のビデオ符号化方法。
6. 前記第２所定領域は、前記符号化ユニットが位置する６４×６４領域である、請求項１に記載のビデオ符号化方法。
7. 前記第１所定領域は、前記第２所定領域の直ぐ上の１×６４領域と、前記第２所定領域の直ぐ左の６４×１領域とを含む、請求項６に記載のビデオ符号化方法。
8. １以上のプロセッサと、
   １以上の前記プロセッサに結合された非一時的記憶装置と、
   複数のプログラムであって、
   １以上の前記プロセッサによって実行されると、コンピューティング装置に、請求項１～請求項７のいずれか１項に記載の方法を実行させ、生成されるビットストリームを前記非一時的記憶装置に格納する、
   前記非一時的記憶装置に記憶された複数のプログラムと、
   を含むコンピューティング装置。
9. １以上のプロセッサと、１以上の前記プロセッサに結合された非一時的記憶装置と、を有するコンピューティング装置によって実行されると、１以上の前記プロセッサに、請求項１～請求項７のいずれか１項に記載の方法を実行させ、ビットストリームを生成し、生成される前記ビットストリームを前記非一時的記憶装置に格納する、
   プログラム。
10. ビットストリームを格納する方法であって、
    前記ビットストリームは符号化方法によって生成され、
    前記符号化方法は、
    符号化ユニットが位置する第２所定領域に隣接する第１所定領域から複数の再構成輝度サンプルを選択し、
    複数の前記再構成輝度サンプルの平均を算出し、
    クリッピングなしに、複数の前記再構成輝度サンプルの平均を直接用いて、彩度残差スケーリングファクタを導出し、
    ＬＭＣＳ(luma mapping with chroma scaling）関連情報をビットストリームに符号化する、
    ことを含む、
    ビットストリームを格納する方法。