JP7247349B2 - イントラ予測のための成分間線形モデリングの方法、装置、デコーダ、エンコーダ、およびプログラム - Google Patents

Description

［関連出願の相互参照］
本願は、２０１８年１２月３１日に出願された、「イントラ予測のための成分間線形モデリングの方法および装置」と題する米国仮出願第６２／７８６，５６３号の利益を主張する。当該出願は、参照により、本明細書に組み込まれる。
本願（開示）の実施形態は、概して、画像処理分野に関し、より具体的には、成分間線形モデリングを用いたイントラ予測に関する。

ビデオコーディング（ビデオエンコーディングおよびビデオデコーディング）は、幅広いデジタルビデオ用途、例えば、放送デジタルＴＶ、インターネットおよびモバイルネットワークを介したビデオ送信、ビデオチャットなどのリアルタイム会話アプリケーション、ビデオ会議、ＤＶＤおよびブルーレイディスク、ビデオコンテンツ取得および編集システムならびにセキュリティ用途のカムコーダにおいて用いられている。

比較的短いビデオを示すためにでさえ、必要とされるビデオデータの量はかなりのものになることがあり、限定的な帯域幅容量を有する通信ネットワークを介してデータがストリーミングされるか、またはそうでなければ通信される場合、困難が生じ得る。したがって、ビデオデータは概して、現代の電気通信ネットワークを介して通信される前に圧縮される。ビデオのサイズは、ビデオがストレージデバイスに格納される場合にも問題となり得る。なぜなら、メモリリソースが限定的であることがあるからである。ビデオ圧縮デバイスは、送信元におけるソフトウェアおよび／またはハードウェアを用いて、送信または格納の前にビデオデータをコーディングすることが多く、これにより、デジタルビデオイメージを表すために必要とされるデータの量を減らす。その後、圧縮されたデータは、ビデオデータをデコードするビデオ圧縮解除デバイスにより、送信先において受信される。ネットワークリソースが限定的であり、より高いビデオ品質の需要が増え続けていることから、画像品質をほとんどから全く犠牲にせずに圧縮比を改善する、改善された圧縮技術および圧縮解除技術が望ましい。

本願の実施形態は、独立請求項に記載のエンコーディングおよびデコーディングのための装置および方法を提供する。

前述の目的および他の目的は、独立請求項の主題により実現される。従属請求項、明細書および図から、さらなる実装形態が明らかになる。

第１の態様によれば、本発明は、成分間線形モデルを適用することによりブロックのクロマサンプルをイントラ予測する方法に関する。方法は、再構築されたルマサンプルを取得する段階と、再構築されたルマサンプルに基づいて、最大ルマサンプル値および最小ルマサンプル値を決定する段階と、最大ルマサンプル値および最小ルマサンプル値の差を取得する段階と、最大ルマサンプル値および最小ルマサンプル値の差の最上位ビットの位置を決定する段階とを含む。方法は、ビットセットをインデックスとして用いることにより、ルックアップテーブル（ＬＵＴ）から値をフェッチする段階であって、ビットセットは、最大ルマサンプル値および最小ルマサンプル値の差の最上位ビットの位置に続く、段階と、フェッチされた値に基づいて線形モデルパラメータαおよび線形モデルパラメータβを取得する段階と、取得された線形モデルパラメータαおよび線形モデルパラメータβを用いることにより、予測されるクロマサンプル値を計算する段階とも含む。

本発明の第１の態様によれば、ＬＵＴのインデックスは、２進表現内のいくつかのビットを抽出する洗練されたやり方で計算される。結果として、ＬＵＴから値をフェッチする効率が上がる。

そのような第１の態様による方法の可能な実装形態において、方法は、フェッチされた値を再構築されたクロマサンプルの最大値および最小値の差により乗算することにより、線形モデルパラメータαおよび線形モデルパラメータβを取得する。

ＬＵＴから値をフェッチする効率が上がるので、線形モデルパラメータαおよびβを取得するための乗算器の大きさが最小化される。

そのような第１の態様による方法の可能な実装形態において、ＬＵＴは、取得された差の異なる段階に対応する、ＬＵＴに格納される少なくとも２つの隣接する値を含み、この段階の値は、差の値と共に増すか、または一定である。ＬＵＴのインデックスは、２進表現内のいくつかのビットを抽出する洗練されたやり方で計算される、これに応じて、インデックスに対応するＬＵＴ内のエントリのサイズは最小化される。結果として、ＬＵＴのサイズが最小化される。

成分間線形モデルを適用することによりブロックのクロマサンプルをイントラ予測するための装置が、本発明の第２の態様に従って提供される。本発明の第２の態様による装置は、取得ユニットと、決定ユニットと、計算ユニットとを含む。取得ユニットは、再構築されたルマサンプルを取得するように構成される。決定ユニットは、再構築されたルマサンプルに基づいて、最大ルマサンプル値および最小ルマサンプル値を決定するように構成される。取得ユニットはさらに、最大ルマサンプル値および最小ルマサンプル値の差を取得するように構成される。決定ユニットはさらに、最大ルマサンプル値および最小ルマサンプル値の差の最上位ビットの位置を決定するように構成される。計算ユニットは、最大ルマサンプル値および最小ルマサンプル値の差の最上位ビットの位置に続くビットセットをインデックスとして用いることによりルックアップテーブル（ＬＵＴ）から値をフェッチし、フェッチされた値に基づいて線形モデルパラメータαおよびβを取得し、取得された線形モデルパラメータαおよびβを用いることにより予測されるクロマサンプル値を計算するように構成される。

本発明の第２の態様によれば、装置は、２進表現内のいくつかのビットを抽出する洗練されたやり方でＬＵＴのインデックスを計算する。結果として、ＬＵＴから値をフェッチする効率が上がる。

第３の態様によれば、本発明は、プロセッサとメモリとを含む、ビデオストリームをデコーディングするための装置に関する。メモリは、第１の態様または第１の態様の任意の可能な実施形態による方法をプロセッサに実行させる命令を格納している。

第４の態様によれば、本発明は、プロセッサとメモリとを含む、ビデオストリームをエンコーディングするための装置に関する。メモリは、第１の態様または第１の態様の任意の可能な実施形態による方法をプロセッサに実行させる命令を格納している。

第５の態様によれば、実行された場合、１つまたは複数のプロセッサがビデオデータをコーディングするように構成されるようにする命令が格納されたコンピュータ可読記憶媒体が提案される。命令は、第１の態様または第１の態様の任意の可能な実施形態による方法を１つまたは複数のプロセッサに実行させる。

第６の態様によれば、本発明は、コンピュータ上で実行された場合、第１の態様または第１の態様の任意の可能な実施形態による方法を実行するためのプログラムコードを備えるコンピュータプログラムに関する。

１つまたは複数の実施形態の詳細が、添付図面および以下の説明に記載されている。他の特徴、目的および利点は、明細書、図面および特許請求の範囲から明らかになるであろう。

添付の図および図面を参照して、本発明の実施形態を以下でより詳細に説明する。
本発明の実施形態を実装するように構成されたビデオコーディングシステムの例を示すブロック図である。 本発明の実施形態を実装するように構成されたビデオコーディングシステムの別の例を示すブロック図である。 本発明の実施形態を実装するように構成されたビデオエンコーダの例を示すブロック図である。 本発明の実施形態を実装するように構成されたビデオデコーダの例示的な構造を示すブロック図である。 エンコーディング装置またはデコーディング装置の例を示すブロック図である。 エンコーディング装置またはデコーディング装置の別の例を示すブロック図である。 クロマイントラ予測のための成分間線形モデルの概念を示す図面である。 線形モデルパラメータ導出の簡略化された方法を示す図面である。 参照ルマサンプルの最大値と最小値との間の差の発生確率分布を示す図面である。 本発明の実施形態による例示的なルックアップテーブル生成処理を示すフローチャートである。 例示的なルックアップテーブルのインデックス導出の実施形態を示すフローチャートを含む図面である。 成分間線形モデルを適用することによるブロックのクロマサンプルの例示的なイントラ予測を示すフローチャートである。 成分間線形モデルを適用することによりブロックのクロマサンプルのイントラ予測のための装置の例示的な構造を示すブロック図である。 コンテンツ配信サービスを実現するコンテンツ供給システム３１００の例示的な構造を示すブロック図である。 端末デバイスの例の構造を示すブロック図である。以下では、別途明示的に指定されない場合、同一の参照符号は、同一または少なくとも機能的に同等の特徴を指す。

以下の説明では、本開示の一部を形成し、かつ、本発明の実施形態の特定の態様または本発明の実施形態が用いられ得る特定の態様を実例として示す、添付図面を参照する。本発明の実施形態は他の態様で用いられてよく、図面に示されていない構造上または論理上の変更を含んでよいことが理解される。したがって、以下の詳細な説明は、限定的な意味に解釈されるべきではなく、本発明の範囲は、添付の特許請求の範囲により定義される。

例えば、説明される方法に関連する開示が、当該方法を実行するように構成された対応するデバイスまたはシステムについても当てはまり得ること、そしてその逆も同様であることが理解される。例えば、１つまたは複数の特定の方法の段階が説明される場合、対応するデバイスは、説明される１つまたは複数の方法の段階を実行するための、例えば機能ユニットなどの１つまたは複数のユニット（例えば、１つまたは複数の段階を実行する１つのユニット、または複数の段階のうちの１つまたは複数を各々が実行する複数のユニット）を、そのような１つまたは複数のユニットが図において明示的に説明されていないかまたは示されていないときでも含み得る。他方で、例えば、特定の装置が、例えば機能ユニットなどの１つまたは複数のユニットに基づいて説明される場合、対応する方法は、１つまたは複数のユニットの機能を実行するために１つの段階（例えば、１つまたは複数のユニットの機能を実行する１つの段階、または複数のユニットのうちの１つまたは複数の機能を各々が実行する複数の段階）を、そのような１つまたは複数の段階が図において明示的に説明されていないかまたは示されていないときでも含み得る。さらに、特に別段の記載がない限り、本明細書において説明される様々な例示的な実施形態および／または態様の特徴が互いに組み合わされ得ることが理解される。

ビデオコーディングは典型的には、ビデオまたはビデオシーケンスを形成する一連の画像の処理を指す。「画像」という用語の代わりに、「フレーム」または「イメージ」という用語が、ビデオコーディングの分野における同義語として用いられ得る。ビデオコーディング（または一般的にコーディング）は、ビデオエンコーディングおよびビデオデコーディングの２つの部分を含む。ビデオエンコーディングは、送信元側で実行され、典型的には、元のビデオ画像を（例えば、圧縮により）処理して、（より効率的な格納および／または送信のために、）ビデオ画像を表すために必要とされるデータの量を低減することを含む。ビデオデコーディングは、送信先側で実行され、典型的には、ビデオ画像を再構築するために、エンコーダと比較して逆の処理を含む。ビデオ画像（または一般的に画像）の「コーディング」に言及する実施形態は、ビデオ画像またはそれぞれのビデオシーケンスの「エンコーディング」または「デコーディング」に関すると理解されるものとする。エンコーディング部分とデコーディング部分との組み合わせは、コーデック（コーディングおよびデコーディング）とも称される。

無損失ビデオコーディングの場合、（格納または送信中に送信損失または他のデータ損失がないと仮定すると、）元のビデオ画像が再構築され得る。すなわち、再構築されたビデオ画像は、元のビデオ画像と同じ品質を有する。不可逆ビデオコーディングの場合、デコーダにおいて完全には再構築され得ないビデオ画像を表すデータの量を低減するために、例えば量子化により、さらなる圧縮が実行される。すなわち、再構築されたビデオ画像の品質は、元のビデオ画像の品質と比較して低いかまたは悪い。

いくつかのビデオコーディング規格は、「不可逆ハイブリッドビデオコーデック」のグループに属する（すなわち、サンプル領域内での空間的および時間的予測と、変換領域内での量子化を適用するための２Ｄ変換コーディングとを組み合わせる）。ビデオシーケンスの各画像は典型的には、非重複ブロックのセットへ区分化され、コーディングは典型的には、ブロックレベルで実行される。言い換えると、エンコーダでは、ビデオは、例えば、空間的（イントラ画像）予測および／または時間的（インター画像）予測を用いて予測ブロックを生成し、現在のブロック（現在処理されている／将来処理されるブロック）から予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換し、変換領域内の残差ブロックを量子化して、送信されるデータの量を低減すること（圧縮）により、典型的には、ブロック（ビデオブロック）レベルで処理され、すなわちエンコードされ、一方、デコーダでは、表現のために現在のブロックを再構築するために、エンコーダと比較して逆の処理が、エンコードされたかまたは圧縮されたブロックに適用される。さらに、両方が後続のブロックを処理するために、すなわちコーディングするために同一の予測（例えば、イントラ予測およびインター予測）および／または再構築物を生成することになるように、エンコーダは、デコーダの処理ループを繰り返す。

ビデオコーディングシステム１０の以下の実施形態では、ビデオエンコーダ２０およびビデオデコーダ３０を図１から図３に基づいて説明する。

図１Ａは、本願の技術を利用し得る例示的なコーディングシステム１０、例えばビデオコーディングシステム１０（または略して、コーディングシステム１０）を示す概略ブロック図である。ビデオコーディングシステム１０のビデオエンコーダ２０（または略してエンコーダ２０）およびビデオデコーダ３０（または略してデコーダ３０）は、本願において説明される様々な例に従って技術を実行するように構成され得るデバイスの例を表す。

図１Ａに示されるように、コーディングシステム１０は、エンコードされた画像データ２１を、エンコードされた画像データ２１をデコードするために例えば送信先デバイス１４に提供するように構成された送信元デバイス１２を備える。

送信元デバイス１２は、エンコーダ２０を備え、追加的に、すなわち任意選択的に、画像ソース１６と、プリプロセッサ（または前処理ユニット）１８、例えば画像プリプロセッサ１８と、通信インタフェースまたは通信ユニット２２とを備え得る。

画像ソース１６は、任意の種類の撮像デバイス、例えば、現実世界の画像を撮像するためのカメラ、および／または、任意の種類の画像生成デバイス、例えば、コンピュータアニメーション化された画像を生成するためのコンピュータグラフィックスプロセッサ、または、現実世界の画像、コンピュータ生成された画像（例えば、スクリーンコンテンツ、仮想現実（ＶＲ）画像）および／またはそれらの任意の組み合わせ（例えば、拡張現実（ＡＲ）画像）を取得および／または提供するための任意の種類の他のデバイスを備えてもよく、それらであってもよい。画像ソースは、上述の画像のいずれかを格納する任意の種類のメモリまたはストレージであってよい。

プリプロセッサ１８、および前処理ユニット１８により実行される処理と区別して、画像または画像データ１７は、生画像または生画像データ１７とも称され得る。

プリプロセッサ１８は、（生）画像データ１７を受信し、画像データ１７に対して前処理を実行して前処理された画像１９または前処理された画像データ１９を取得するように構成される。プリプロセッサ１８により実行される前処理は、例えば、トリミング、カラーフォーマット換算（例えば、ＲＧＢからＹＣｂＣｒへのもの）、色補正またはノイズ除去を含み得る。前処理ユニット１８は任意選択的な成分であってよいことが理解できる。

ビデオエンコーダ２０は、前処理された画像データ１９を受信し、エンコードされた画像データ２１を提供するように構成される（例えば図２に基づいて、さらなる詳細を以下で説明する）。送信元デバイス１２の通信インタフェース２２は、エンコードされた画像データ２１を受信し、格納または直接的な再構築のために、通信チャネル１３を介して、エンコードされた画像データ２１（またはそのあらゆるさらに処理されたバージョン）を別のデバイス、例えば、送信先デバイス１４または任意の他のデバイスへ送信するように構成され得る。

送信先デバイス１４は、デコーダ３０（例えば、ビデオデコーダ３０）を備え、追加的に、すなわち任意選択的に、通信インタフェースまたは通信ユニット２８と、ポストプロセッサ３２（または後処理ユニット３２）と、ディスプレイデバイス３４とを備え得る。

送信先デバイス１４の通信インタフェース２８は、例えば、送信元デバイス１２から直接、または、任意の他の送信元、例えば、ストレージデバイス、例えば、エンコードされた画像データ用のストレージデバイスから、エンコードされた画像データ２１（またはそのあらゆるさらに処理されたバージョン）を受信し、エンコードされた画像データ２１をデコーダ３０に提供するように構成される。

通信インタフェース２２および通信インタフェース２８は、送信元デバイス１２と送信先デバイス１４との間の直接的な通信リンク、例えば、直接的な有線接続もしくは無線接続を介して、または、任意の種類のネットワーク、例えば、有線ネットワークもしくは無線ネットワークもしくはそれらの任意の組み合わせ、もしくは任意の種類のプライベートネットワークおよびパブリックネットワークもしくはそれらの任意の種類の組み合わせを介して、エンコードされた画像データ２１またはエンコードされたデータ１３を送信または受信するように構成され得る。

通信インタフェース２２は、例えば、エンコードされた画像データ２１を適切なフォーマット、例えばパケットへパッケージングし、および／または、通信リンクまたは通信ネットワークを介した送信のための任意の種類の送信エンコーディングまたは処理を用いて、エンコードされた画像データを処理するように構成され得る。

通信インタフェース２２の対応物を形成する通信インタフェース２８は、例えば、送信されたデータを受信し、任意の種類の対応する送信デコーディングまたは処理および／またはデパッケージングを用いて送信データを処理してエンコードされた画像データ２１を取得するように構成され得る。

通信インタフェース２２および通信インタフェース２８は両方とも、図１Ａにおいて送信元デバイス１２から送信先デバイス１４へ向いた通信チャネル１３についての矢印により示されるような単方向通信インタフェース、または双方向通信インタフェースとして構成されてよく、例えば、メッセージを送信および受信し、例えば、接続を設定して、通信リンクおよび／またはデータ送信、例えば、エンコードされた画像データの送信に関連する任意の他の情報を確認およびやり取りするように構成されてよい。

デコーダ３０は、エンコードされた画像データ２１を受信し、デコードされた画像データ３１またはデコードされた画像３１を提供するように構成される（例えば、図３または図５に基づいて、さらなる詳細を以下で説明する）。

送信先デバイス１４のポストプロセッサ３２は、デコードされた画像データ３１（再構築された画像データとも呼ばれる）、例えば、デコードされた画像３１を後処理して、後処理された画像データ３３、例えば、後処理された画像３３を取得するように構成される。後処理ユニット３２により実行される後処理は、例えば、デコードされた画像データ３１を、例えば、ディスプレイデバイス３４による表示のために準備する目的で、例えば、カラーフォーマット換算（例えば、ＹＣｂＣｒからＲＧＢへのもの）、色補正、トリミングもしくは再サンプリングまたは任意の他の処理を含んでよい。

送信先デバイス１４のディスプレイデバイス３４は、画像を例えばユーザまたは視聴者に対して表示するために、後処理された画像データ３３を受信するように構成される。ディスプレイデバイス３４は、再構築された画像を表すための任意の種類のディスプレイ、例えば、一体型または外付けのディスプレイまたはモニタであってもよく、これを備えてもよい。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、シリコン上液晶（ＬＣｏＳ）、デジタル光プロセッサ（ＤＬＰ）または任意の種類の他のディスプレイを備えてよい。

図１Ａは送信元デバイス１２および送信先デバイス１４を別個のデバイスとして示しているが、デバイスの実施形態はまた、それらの両方または両方の機能、すなわち、送信元デバイス１２または対応する機能および送信先デバイス１４または対応する機能を備え得る。そのような実施形態では、送信元デバイス１２または対応する機能および送信先デバイス１４または対応する機能は、同じハードウェアおよび／またはソフトウェアを用いて、または別個のハードウェアおよび／またはソフトウェアまたはそれらの任意の組み合わせにより実装され得る。

説明に基づいて当業者には明らかになるように、図１Ａに示されるような、異なるユニットの機能または送信元デバイス１２および／または送信先デバイス１４内の機能の存在および（厳密な）分割は、実際のデバイスおよび用途に応じて異なり得る。

エンコーダ２０（例えば、ビデオエンコーダ２０）もしくはデコーダ３０（例えば、ビデオデコーダ３０）またはエンコーダ２０とデコーダ３０との両方は、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ハードウェア、ビデオコーディング専用またはそれらの任意の組み合わせなど、図１Ｂに示されるような処理回路を介して実装され得る。エンコーダ２０は、図２のエンコーダ２０および／または本明細書において説明される任意の他のエンコーダシステムまたはエンコーダサブシステムに関連して論じられる様々なモジュールを具現化するために、処理回路４６を介して実装され得る。デコーダ３０は、図３のデコーダ３０および／または本明細書において説明される任意の他のデコーダシステムまたはデコーダサブシステムに関連して論じられる様々なモジュールを具現化するために、処理回路４６を介して実装され得る。処理回路は、後で論じられるような様々な演算を実行するように構成され得る。図５に示されるように、これらの技術が部分的にソフトウェア内に実装される場合、デバイスは、ソフトウェアに対する命令を好適な非一時的コンピュータ可読記憶媒体に格納してよく、１つまたは複数のプロセッサを用いてハードウェア内の命令を実行して、本開示の技術を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０のいずれも、図１Ｂに示されるように、例えば、単一のデバイス内の組み合わされたエンコーダ／デコーダ（コーデック）の一部として統合され得る。

送信元デバイス１２および送信先デバイス１４は、任意の種類のハンドヘルドデバイスまたは据え置き型デバイス、例えば、ノートブックコンピュータもしくはラップトップコンピュータ、携帯電話、スマートフォン、タブレットもしくはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス（コンテンツサービスサーバまたはコンテンツ配信サーバなど）、ブロードキャスト受信機デバイスまたはブロードキャスト送信機デバイス等を含む幅広い範囲のデバイスのいずれかを備えてよく、オペレーティングシステムを用いなくてもよく、任意の種類のオペレーティングシステムを用いてもよい。いくつかの場合、送信元デバイス１２および送信先デバイス１４は、無線通信用に備え付けられ得る。したがって、送信元デバイス１２および送信先デバイス１４は、無線通信デバイスであってよい。

いくつかの場合、図１Ａに示されるビデオコーディングシステム１０は例に過ぎず、本願の技術は、エンコーディングデバイスとデコーディングデバイスとの間の任意のデータ通信を必ずしも含まないビデオコーディング設定（例えば、ビデオエンコーディングまたはビデオデコーディング）に適用され得る。他の例において、データは、ローカルメモリから取得される、またはネットワークを介してストリーミングされる等である。ビデオエンコーディングデバイスは、データをメモリにエンコードおよび格納してよく、および／または、ビデオデコーディングデバイスは、データをメモリから取得してデコードしてよい。いくつかの例において、エンコーディングおよびデコーディングは、互いに通信しないが、単にデータをメモリへエンコードし、および／またはメモリからのデータを取得およびデコードするデバイスにより実行される。

説明の便宜上、例えば、ＩＴＵ－Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ－ＶＣ）により開発された次世代ビデオコーディング規格であるＨｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）またはＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）の参照ソフトウェアを参照して、本発明の実施形態を本明細書において説明する。当業者であれば、本発明の実施形態がＨＥＶＣまたはＶＶＣに限定されないことを理解するであろう。
［エンコーダおよびエンコーディング方法］

図２は、本願の技術を実装するように構成された例示的なビデオエンコーダ２０の概略ブロック図を示す。図２の例において、ビデオエンコーダ２０は、入力２０１（または入力インタフェース２０１）と、残差計算ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、ループフィルタユニット２２０と、デコードされた画像用バッファ（ＤＰＢ）２３０と、モード選択ユニット２６０と、エントロピーエンコーディングユニット２７０と、出力２７２（または出力インタフェース２７２）とを備える。モード選択ユニット２６０は、インター予測ユニット２４４と、イントラ予測ユニット２５４と、区分化ユニット２６２とを含み得る。インター予測ユニット２４４は、動き推定ユニットと動き補償ユニット（不図示）とを含み得る。図２に示されるようなビデオエンコーダ２０は、ハイブリッドビデオエンコーダ、またはハイブリッドビデオコーデックによるビデオエンコーダとも称され得る。

残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、モード選択ユニット２６０は、エンコーダ２０の順方向信号経路を形成すると言及されてよく、一方、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構築ユニット２１４、バッファ２１６、ループフィルタ２２０、デコードされた画像用バッファ（ＤＰＢ）２３０、インター予測ユニット２４４およびイントラ予測ユニット２５４は、ビデオエンコーダ２０の逆方向信号経路を形成すると言及されてよい。ビデオエンコーダ２０の逆方向信号経路は、デコーダの信号経路に対応する（図３におけるビデオデコーダ３０を参照のこと）。逆量子化ユニット２１０、逆変換処理ユニット２１２、再構築ユニット２１４、ループフィルタ２２０、デコードされた画像用バッファ（ＤＰＢ）２３０、インター予測ユニット２４４およびイントラ予測ユニット２５４は、ビデオエンコーダ２０の「ビルトインデコーダ」を形成するとも言及される。
［画像および画像区分化（画像およびブロック）］

エンコーダ２０は、例えば入力２０１を介して、画像１７（または画像データ１７）、例えば、ビデオまたはビデオシーケンスを形成する一連の画像のうちのある画像を受信するように構成され得る。受信された画像または画像データは、前処理された画像１９（または前処理された画像データ１９）であってもよい。簡略化のために、以下の説明では、画像１７を参照する。（特に、ビデオコーディングにおいて、現在の画像を他の画像、例えば、同じビデオシーケンス、すなわち、現在の画像も含むビデオシーケンスの以前にエンコードされたおよび／またはデコードされた画像と区別するために、）画像１７は、現在の画像またはコーディングされる画像とも称され得る。

（デジタル）画像は、強度値を有するサンプルの２次元のアレイまたは行列であるか、それとみなされ得る。アレイ内のサンプルは、画素（画像要素の省略形）またはペルとも称され得る。アレイまたは画像の水平および垂直方向（または軸）におけるサンプルの数により、画像のサイズおよび／または解像度が定まる。色の表現のために、典型的には、３つの色成分が使用される。すなわち、画像は、３つのサンプルアレイとして表され得るか、またはそれらを含み得る。ＲＧＢ形式またはＲＧＢ色空間では、画像は、対応する赤、緑および青のサンプルアレイを含む。しかしながら、ビデオコーディングでは、各画素は典型的には、輝度およびクロミナンス形式または輝度およびクロミナンス色空間、例えば、Ｙ（場合によっては、代わりにＬも用いられる）により示される輝度成分と、ＣｂおよびＣｒにより示される２つのクロミナンス成分とを含むＹＣｂＣｒで表される。輝度（または略して、ルマ）成分Ｙは、明るさまたは（例えば、グレースケール画像でのような）グレーレベルの強度を表し、一方、２つのクロミナンス（または略して、クロマ）成分ＣｂおよびＣｒは、色度成分または色情報成分を表す。したがって、ＹＣｂＣｒ形式の画像は、輝度サンプル値（Ｙ）の輝度サンプルアレイと、クロミナンス値（ＣｂおよびＣｒ）の２つのクロミナンスサンプルアレイとを含む。ＲＧＢ形式の画像は、ＹＣｂＣｒ形式へ換算または変換されてよく、逆も同様であり、この処理は、色変換または色換算としても知られている。画像がモノクロである場合、この画像は、輝度サンプルアレイのみを含み得る。したがって、画像は、例えば、モノクロ形式のルマサンプルのアレイ、または、４：２：０、４：２：２および４：４：４のカラー形式でのルマサンプルのアレイおよびクロマサンプルの２つの対応するアレイであってよい。

ビデオエンコーダ２０の実施形態は、画像１７を複数の（典型的には非重複）画像ブロック２０３へ区分化するように構成された画像区分化ユニット（図２に示されていない）を含み得る。これらのブロックは、ルートブロック、マクロブロック（Ｈ．２６４／ＡＶＣ）またはコーディングツリーブロック（ＣＴＢ）もしくはコーディングツリーユニット（ＣＴＵ）（Ｈ．２６５／ＨＥＶＣおよびＶＶＣ）とも称され得る。画像区分化ユニットは、ビデオシーケンスの全ての画像と、ブロックサイズを定める対応するグリッドとに同じブロックサイズを用いるか、または、画像もしくは画像のサブセットもしくはグループの間でブロックサイズを変更して各画像を対応するブロックへ区分化するように構成され得る。

さらなる実施形態において、ビデオエンコーダは、画像１７のブロック２０３、例えば、画像１７を形成する１つの、いくつかのまたは全てのブロックを直接的に受信するように構成され得る。画像ブロック２０３は、現在の画像ブロックまたはコーディングされる画像ブロックとも称され得る。

画像１７と同様に、画像ブロック２０３もやはり、画像１７よりも寸法は小さいが強度値（サンプル値）を有するサンプルの２次元のアレイまたは行列であるか、それとみなされ得る。言い換えると、ブロック２０３は、例えば、１つのサンプルアレイ（例えば、モノクロ画像１７の場合にはルマアレイ、または、カラー画像の場合にはルマアレイもしくはクロマアレイ）、または、３つのサンプルアレイ（例えば、カラー画像１７の場合には１つのルマアレイおよび２つのクロマアレイ）、または、適用されるカラーフォーマットに応じた任意の他の数および／または種類のアレイを含み得る。ブロック２０３の水平および垂直方向（または軸）におけるサンプルの数により、ブロック２０３のサイズが定まる。したがって、ブロックは、例えば、サンプルのＭ×Ｎ（Ｍ列×Ｎ行）アレイまたは変換係数のＭ×Ｎアレイであってよい。

図２に示されるようなビデオエンコーダ２０の実施形態は、画像１７をブロック毎にエンコードするように構成されてよく、例えば、エンコーディングおよび予測は、ブロック２０３毎に実行される。
［残差計算］

残差計算ユニット２０４は、例えば、画像ブロック２０３のサンプル値から予測ブロック２６５のサンプル値をサンプル毎に（画素毎に）減算してサンプル領域内の残差ブロック２０５を取得することにより、画像ブロック２０３および予測ブロック２６５（予測ブロック２６５についてのさらなる詳細は後で提供される）に基づいて残差ブロック２０５（残差２０５とも称される）を計算するように構成され得る。
［変換］

変換処理ユニット２０６は、変換、例えば、離散余弦変換（ＤＣＴ）または離散正弦変換（ＤＳＴ）を残差ブロック２０５のサンプル値に対して適用して変換領域内の変換係数２０７を取得するように構成され得る。変換係数２０７は、変換残差係数とも称されてよく、変換領域内の残差ブロック２０５を表す。

変換処理ユニット２０６は、Ｈ．２６５／ＨＥＶＣについて指定された変換など、ＤＣＴ／ＤＳＴの整数近似を適用するように構成され得る。直交ＤＣＴ変換と比較して、そのような整数近似は典型的には、特定の係数によりスケーリングされる。順変換および逆変換により処理される残差ブロックのノルムを保つべく、追加のスケーリング係数が変換処理の一部として適用される。スケーリング係数は典型的には、シフト演算についての２のべき乗であるスケーリング係数、変換係数のビット深度、確度と実装コストとの間のトレードオフ等のような特定の制約に基づいて選ばれる。例えば、特定のスケーリング係数が、例えば、逆変換処理ユニット２１２による逆変換（および、例えばビデオデコーダ３０における逆変換処理ユニット３１２による対応する逆変換）のために指定され、例えば、エンコーダ２０における変換処理ユニット２０６による順変換のための対応するスケーリング係数が、それに応じて指定され得る。

ビデオエンコーダ２０の実施形態（それぞれ、変換処理ユニット２０６）は、例えば１回の変換または複数回の変換のタイプといった変換パラメータを、例えば、直接またはエントロピーエンコーディングユニット２７０を介してエンコードもしくは圧縮されてから出力するように構成されてよく、その結果、例えば、ビデオデコーダ３０は、デコーディングのための変換パラメータを受信および使用し得る。
［量子化］

量子化ユニット２０８は、例えばスカラ量子化またはベクトル量子化を適用することにより、変換係数２０７を量子化して量子化された係数２０９を取得するように構成され得る。量子化された係数２０９は、量子化変換係数２０９または量子化残差係数２０９とも称され得る。

量子化処理により、変換係数２０７のうちのいくつかまたは全てに関連するビット深度が低減し得る。例えば、ｎビット変換係数は、量子化中にｍビット変換係数へと端数が切り捨てられ得る。ｎはｍよりも大きい。量子化の程度は、量子化パラメータ（ＱＰ）を調節することにより修正され得る。例えば、スカラ量子化の場合、より細かいまたはより粗い量子化を実現するために、異なるスケーリングが適用され得る。より小さい量子化段階サイズはより細かい量子化に対応し、一方、より大きい量子化段階サイズはより粗い量子化に対応する。適用可能な量子化段階サイズは、量子化パラメータ（ＱＰ）により示され得る。量子化パラメータは、例えば、適用可能な量子化段階サイズの予め定義されたセットのインデックスであってよい。例えば、小さい量子化パラメータは細かい量子化（小さい量子化段階サイズ）に対応してよく、大きい量子化パラメータは粗い量子化（大きい量子化段階サイズ）に対応してよく、または逆も同様である。量子化は、量子化段階サイズによる除算を含んでよく、例えば逆量子化ユニット２１０による対応するおよび／または逆の量子化解除は、量子化段階サイズによる乗算を含んでよい。例えばＨＥＶＣといったいくつかの規格による実施形態は、量子化パラメータを用いて量子化段階サイズを決定するように構成され得る。概して、量子化段階サイズは、除算を含む式の固定小数点近似を用いた量子化パラメータに基づき計算され得る。残差ブロックのノルムを復元するために、量子化および量子化解除に追加のスケーリング係数が導入されてよく、これは、量子化段階サイズおよび量子化パラメータについての式の固定小数点近似において用いられるスケーリングが原因で修正され得る。１つの例示的な実装において、逆変換および量子化解除のスケーリングは組み合わされ得る。代替的に、カスタマイズされた量子化テーブルが用いられ、例えばビットストリームにおいてエンコーダからデコーダへシグナリングされ得る。量子化は不可逆演算であり、量子化段階サイズが大きくなるにつれて損失が大きくなる。

ビデオエンコーダ２０の実施形態（それぞれ、量子化ユニット２０８）は、量子化パラメータ（ＱＰ）を、例えば、直接またはエントロピーエンコーディングユニット２７０を介してエンコードされてから出力するように構成され得る。その結果、例えば、ビデオデコーダ３０は、デコーディングのための量子化パラメータを受信および適用し得る。
［逆量子化］

逆量子化ユニット２１０は、例えば、量子化ユニット２０８と同じ量子化段階サイズに基づいてまたはそれを用いて量子化ユニット２０８により適用された量子化スキームの逆を適用することにより、量子化された係数に対して量子化ユニット２０８の逆量子化を適用して、量子化解除された係数２１１を取得するように構成される。量子化解除された係数２１１は、量子化解除された残差係数２１１とも称されてよく、典型的には量子化による損失に起因して変換係数と同一ではないが、変換係数２０７に対応する。
［逆変換］

逆変換処理ユニット２１２は、変換処理ユニット２０６により適用された変換の逆変換、例えば、逆離散余弦変換（ＤＣＴ）もしくは逆離散正弦変換（ＤＳＴ）または他の逆変換を適用して、サンプル領域内の再構築された残差ブロック２１３（または対応する量子化解除された係数２１３）を取得するように構成される。再構築された残差ブロック２１３は、変換ブロック２１３とも称され得る。
［再構築］

再構築ユニット２１４（例えば、加算器または合算器２１４）は、例えば、再構築された残差ブロック２１３のサンプル値および予測ブロック２６５のサンプル値をサンプル毎に加算することにより、変換ブロック２１３（すなわち、再構築された残差ブロック２１３）を予測ブロック２６５に加算して、サンプル領域内の再構築されたブロック２１５を取得するように構成される。
［フィルタリング］

ループフィルタユニット２２０（または略して、「ループフィルタ」２２０）は、再構築されたブロック２１５をフィルタリングして、フィルタリングされたブロック２２１を取得するか、または一般的に、再構築されたサンプルをフィルタリングして、フィルタリングされたサンプルを取得するように構成される。ループフィルタユニットは、例えば、画素遷移を平滑化するか、またはそうでなければビデオ品質を改善するように構成される。ループフィルタユニット２２０は、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタ、もしくは、バイラテラルフィルタ、適応ループフィルタ（ＡＬＦ）、鮮明化フィルタ、平滑化フィルタもしくは協調フィルタなど、１つまたは複数の他のフィルタ、または、それらの任意の組み合わせを含み得る。ループフィルタユニット２２０は、図２ではループ内フィルタであるものとして示されているが、他の構成では、ポストループフィルタとして実装され得る。フィルタリングされたブロック２２１は、フィルタリング済みの再構築されたブロック２２１とも称され得る。

ビデオエンコーダ２０の実施形態（それぞれ、ループフィルタユニット２２０）は、ループフィルタパラメータ（サンプル適応オフセット情報など）を、例えば、直接またはエントロピーエンコーディングユニット２７０を介してエンコードされてから出力するように構成され得る。その結果、例えば、デコーダ３０は、デコーディングのために同じループフィルタパラメータまたはそれぞれのループフィルタを受信および適用し得る。
［デコードされた画像用バッファ］

デコードされた画像用バッファ（ＤＰＢ）２３０は、ビデオエンコーダ２０によりビデオデータをエンコーディングするための参照画像または一般的に参照画像データを格納するメモリであってよい。ＤＰＢ２３０は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗型ＲＡＭ（ＲＲＡＭ）などの様々なメモリデバイスまたは他のタイプのメモリデバイスのいずれかにより形成され得る。デコードされた画像用バッファ（ＤＰＢ）２３０は、１つまたは複数のフィルタリングされたブロック２２１を格納するように構成され得る。デコードされた画像用バッファ２３０はさらに、同じ現在の画像または異なる画像、例えば以前に再構築された画像の他の以前にフィルタリングされたブロック、例えば以前に再構築済みのフィルタリングされたブロック２２１を格納するように構成されてよく、完全な、以前に再構築された、すなわちデコードされた画像（対応する参照ブロックおよび参照サンプル）および／または部分的に再構築された現在の画像（対応する参照ブロックおよび参照サンプル）を、例えばインター予測のために提供してよい。また、デコードされた画像用バッファ（ＤＰＢ）２３０は、例えば、再構築されたブロック２１５がループフィルタユニット２２０によりフィルタリングされていない場合、１つまたは複数のフィルタリングされていない再構築されたブロック２１５もしくは一般的に、フィルタリングされていない再構築されたサンプル、または、再構築されたブロックもしくはサンプルの任意の他のさらに処理されたバージョンを格納するように構成され得る。
［モード選択（区分化および予測）］

モード選択ユニット２６０は、区分化ユニット２６２と、インター予測ユニット２４４と、イントラ予測ユニット２５４とを備え、元の画像データ、例えば、元のブロック２０３（現在の画像１７の現在のブロック２０３）、および、再構築された画像データ、例えば、同じ（現在の）画像の、および／または１つまたは複数の以前にデコードされた画像からの、例えば、デコードされた画像用バッファ２３０または他のバッファ（例えば、不図示のラインバッファ）からのフィルタリングされたおよび／またはフィルタリングされていない再構築されたサンプルまたはブロックを受信または取得するように構成される。再構築された画像データは、予測ブロック２６５または予測因子２６５を取得するために、予測、例えばインター予測またはイントラ予測のための参照画像データとして用いられる。

モード選択ユニット２６０は、現在のブロック予測モード（区分化を含まない）および予測モード（例えば、イントラ予測モードまたはインター予測モード）のための区分化を決定または選択し、残差ブロック２０５の計算および再構築されたブロック２１５の再構築のために用いられる対応する予測ブロック２６５を生成するように構成され得る。

モード選択ユニット２６０の実施形態は、区分化および予測モードを（例えば、モード選択ユニット２６０によりサポートされるか、またはモード選択ユニット２６０のために利用可能であるものから）選択するように構成され得る。これにより、最良のマッチング、または言い換えると、最小残差（最小残差は、送信または格納について圧縮率がより良好であることを意味する）もしくは最小シグナリングオーバヘッド（最小シグナリングオーバヘッドは、送信または格納の圧縮率がより良好であることを意味する）が提供されるか、または両方が考慮されるかもしくは両方のバランスが取られる。モード選択ユニット２６０は、レート歪み最適化（ＲＤＯ）に基づいて区分化および予測モードを決定するように、すなわち、最小レート歪みを提供する予測モードを選択するように構成され得る。この文脈における「最良」、「最小」、「最適」等のような用語は、全体的な「最良」、「最小」、「最適」等を必ずしも指さないが、値が閾値を超えるかもしくは下回ること、または潜在的に「準最適選択」につながるが複雑性および処理時間を低減する他の制約のような、終了または選択の基準の達成も指し得る。

言い換えると、区分化ユニット２６２は、例えば、クアッドツリー区分化（ＱＴ）、バイナリ区分化（ＢＴ）もしくはトリプルツリー区分化（ＴＴ）またはそれらの任意の組み合わせを繰り返し用いてブロック２０３をより小さいブロックパーティションまたはサブブロック（ブロックを再び形成する）へ区分化し、例えば、ブロックパーティションまたはサブブロックの各々についての予測を実行するように構成され得る。モード選択は、区分化されたブロック２０３のツリー構造の選択を含み、予測モードは、ブロックパーティションまたはサブブロックの各々に適用される。

以下では、例示的なビデオエンコーダ２０により実行される、（例えば、区分化ユニット２６２による）区分化および（インター予測ユニット２４４およびイントラ予測ユニット２５４による）予測処理をより詳細に説明する。
［区分化］

区分化ユニット２６２は、現在のブロック２０３をより小さいパーティション、例えば、正方形または矩形のサイズのより小さいブロックへ区分化（または分割）し得る。これらのより小さいブロック（サブブロックとも称され得る）は、さらにより小さいパーティションへさらに区分化され得る。これは、ツリー区分化または階層ツリー区分化とも称される。ルートブロック、例えば、ルートツリーレベル０（階層レベル０、深度０）が再帰的に区分化されてよく、例えば、次に低いツリーレベル、例えばツリーレベル１（階層レベル１、深度１）におけるノードの２つまたはそれよりも多くのブロックへ区分化されてよい。これらのブロックは、例えば、終了基準が満たされること、例えば、最大ツリー深度または最小ブロックサイズに到達したことで、区分化が終了されるまで、次に低いレベル、例えばツリーレベル２（階層レベル２、深度２）等の２つまたはそれよりも多くのブロックへ再び区分化され得る。さらに区分化されないブロックは、ツリーのリーフブロックまたはリーフノードとも称される。２つのパーティションへの区分化を用いるツリーは、バイナリツリー（ＢＴ）と称され、３つのパーティションへの区分化を用いるツリーは、ターナリツリー（ＴＴ）と称され、４つのパーティションへの区分化を用いるツリーは、クアッドツリー（ＱＴ）と称される。

前に言及したように、本明細書において用いられるような「ブロック」という用語は、画像のある部分、特に、正方形または矩形の部分であってよい。例えばＨＥＶＣおよびＶＶＣを参照すると、ブロックは、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）または変換ユニット（ＴＵ）および／または対応するブロック、例えば、コーディングツリーブロック（ＣＴＢ）、コーディングブロック（ＣＢ）、変換ブロック（ＴＢ）または予測ブロック（ＰＢ）であってもよく、それらに対応してもよい。

例えば、コーディングツリーユニット（ＣＴＵ）は、３つのサンプルアレイを有する画像のルマサンプルのＣＴＢおよびクロマサンプルの２つの対応するＣＴＢ、または、モノクロ画像の、もしくはサンプルをコーディングするために用いられる３つの別個のカラー平面および構文構造を用いてコーディングされた画像のサンプルのＣＴＢであってもよく、それらを備えてもよい。これに応じて、コーディングツリーブロック（ＣＴＢ）は、ＣＴＢへの成分の分割が区分化であるように、ある値ＮのサンプルのＮ×Ｎブロックであってよい。コーディングユニット（ＣＵ）は、３つのサンプルアレイを有する画像のルマサンプルのコーディングブロックおよびクロマサンプルの２つの対応するコーディングブロック、または、モノクロ画像の、もしくはサンプルをコーディングするために用いられる３つの別個のカラー平面および構文構造を用いてコーディングされた画像のサンプルのコーディングブロックであってもよく、それらを備えてもよい。これに応じて、コーディングブロック（ＣＢ）は、コーディングブロックへのＣＴＢの分割が区分化であるように、ある値ＭおよびＮのサンプルのＭ×Ｎブロックであってよい。

例えばＨＥＶＣに従ったいくつかの実施形態において、コーディングツリーユニット（ＣＴＵ）は、コーディングツリーとして表されるクアッドツリー構造を用いることにより、ＣＵへ分割され得る。インター画像（時間的）予測またはイントラ画像（空間的）予測のどちらを用いて画像エリアをコーディングするかの決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵの分割タイプに従って、１つ、２つまたは４つのＰＵへさらに分割され得る。１つのＰＵの内部では、同じ予測処理が適用され、関連情報がＰＵベースでデコーダへ送信される。ＰＵの分割タイプに基づいて予測処理を適用することにより残差ブロックを取得した後、ＣＵは、ＣＵのコーディングツリーと同様の別のクアッドツリー構造に従って、変換ユニット（ＴＵ）へ区分化され得る。

例えば、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）と称される現在開発中の最新のビデオコーディング規格に従った実施形態において、クアッドツリーおよびバイナリツリー（ＱＴＢＴ）区分化が、コーディングブロックを区分化するために用いられる。ＱＴＢＴブロック構造では、ＣＵは、正方形または矩形形状のいずれかを有し得る。例えば、コーディングツリーユニット（ＣＴＵ）がまず、クアッドツリー構造により区分化される。クアッドツリーリーフノードは、バイナリツリーまたはターナリ（またはトリプル）ツリー構造によりさらに区分化される。区分化ツリーリーフノードは、コーディングユニット（ＣＵ）と呼ばれ、そのセグメンテーションは、いかなるさらなる区分化もなく、予測および変換処理のために用いられる。これは、ＣＵ、ＰＵおよびＴＵがＱＴＢＴコーディングブロック構造内で同じブロックサイズを有することを意味する。並行して、複数回の区分化、例えば、トリプルツリー区分化をＱＴＢＴブロック構造と共に用いることも提案された。

一例において、ビデオエンコーダ２０のモード選択ユニット２６０は、本明細書において説明される区分化技術の任意の組み合わせを実行するように構成され得る。

上で説明したように、ビデオエンコーダ２０は、（予め決定された）予測モードのセットから最良のまたは最適な予測モードを決定または選択するように構成される。予測モードのセットは、例えば、イントラ予測モードおよび／またはインター予測モードを含み得る。
［イントラ予測］

イントラ予測モードのセットは、３５個の異なるイントラ予測モード、例えば、ＤＣ（または平均）モードおよび平面モードのような無方向性モード、または、例えばＨＥＶＣにおいて定義される方向性モードを含んでもよく、６７個の異なるイントラ予測モード、例えば、ＤＣ（または平均）モードおよび平面モードのような無方向性モード、または、例えばＶＶＣについて定義される方向性モードを含んでもよい。

イントラ予測ユニット２５４は、同じ現在の画像の隣接ブロックの再構築されたサンプルを用いて、イントラ予測モードのセットからのあるイントラ予測モードに従ってイントラ予測ブロック２６５を生成するように構成される。

イントラ予測ユニット２５４（または一般的に、モード選択ユニット２６０）はさらに、イントラ予測パラメータ（または一般的に、ブロックについて選択されたイントラ予測モードを示す情報）を、エンコードされた画像データ２１へ含めるために構文要素２６６の形態でエントロピーエンコーディングユニット２７０に出力するように構成され得る。その結果、例えば、ビデオデコーダ３０は、デコーディングのための予測パラメータを受信および使用し得る。
［インター予測］

インター予測モードのセット（または可能なインター予測モード）は、利用可能な参照画像（すなわち、例えばＤＰＢ２３０に格納された、以前の少なくとも部分的にデコードされた画像）および他のインター予測パラメータ、例えば、参照画像の全体または一部のみ、例えば、参照画像の現在のブロックのエリアの周囲の検索ウィンドウエリアが、最良のマッチングとなっている参照ブロックを検索するために用いられるかどうか、および／または、例えば、画素補間、例えば、ハーフ補間／セミペル補間および／またはクウォータペル補間が適用されるか否かに依存する。上記予測モードに加え、スキップモードおよび／または直接モードが適用され得る。

インター予測ユニット２４４は、動き推定（ＭＥ）ユニットおよび動き補償（ＭＣ）ユニット（両方とも図２に示されていない）を含み得る。動き推定ユニットは、画像ブロック２０３（現在の画像１７の現在の画像ブロック２０３）およびデコードされた画像２３１、または、例えば１つまたは複数の他の／異なる以前にデコードされた画像２３１の再構築されたブロックといった少なくとも１つまたは複数の以前に再構築されたブロックを動き推定のために受信または取得するように構成され得る。例えば、ビデオシーケンスは、現在の画像および以前にデコードされた画像２３１を含んでよく、または言い換えると、現在の画像および以前にデコードされた画像２３１は、ビデオシーケンスを形成する一連の画像の一部であってもよく、それらを形成してもよい。

エンコーダ２０は、例えば、複数の他の画像の同じまたは異なる画像の複数の参照ブロックから参照ブロックを選択し、参照画像（または参照画像インデックス）、および／または参照ブロックの位置（ｘ座標、ｙ座標）と現在のブロックの位置との間のオフセット（空間的オフセット）をインター予測パラメータとして動き推定ユニットに提供するように構成され得る。このオフセットは、動きベクトル（ＭＶ）とも呼ばれる。

動き補償ユニットは、インター予測パラメータを取得、例えば受信し、インター予測パラメータに基づいてまたはそれを用いてインター予測を実行してインター予測ブロック２６５を取得するように構成される。動き補償ユニットにより実行される動き補償は、動き推定により決定される動き／ブロックベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によっては、サブ画素精度での補間を実行することを伴い得る。補間フィルタリングにより、既知の画素サンプルから追加の画素サンプルが生成され得る。したがって、画像ブロックをコーディングするために用いられ得る候補予測ブロックの数が潜在的に増える。現在の画像ブロックのＰＵについての動きベクトルを受信すると、動き補償ユニットは、参照画像リストのうちの１つにおいて動きベクトルが指し示す予測ブロックの位置を特定し得る。

また、動き補償ユニットは、ビデオスライスの画像ブロックのデコーディングにおいてビデオデコーダ３０により用いられるブロックおよびビデオスライスに関連する構文要素を生成し得る。
［エントロピーコーディング］

エントロピーエンコーディングユニット２７０は、例えば、エントロピーエンコーディングアルゴリズムもしくはエントロピーエンコーディングスキーム（例えば、可変長コーディング（ＶＬＣ）スキーム、コンテキスト適応ＶＬＣスキーム（ＣＡＶＬＣ）、算術コーディングスキーム、バイナリゼーション、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、構文ベースコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ）、確率区間区分化エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピーエンコーディング方法もしくはエントロピーエンコーディング技術）またはバイパス（無圧縮）を量子化された係数２０９、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータおよび／または他の構文要素に対して適用して、例えばエンコードされたビットストリーム２１の形態で出力２７２を介して出力され得るエンコードされた画像データ２１を取得するように構成される。その結果、例えば、ビデオデコーダ３０は、デコーディングのためのパラメータを受信および使用し得る。エンコードされたビットストリーム２１は、ビデオデコーダ３０へ送信されるか、またはビデオデコーダ３０による後の送信もしくは取得のためにメモリに格納され得る。

ビデオエンコーダ２０の他の構造上の変形は、ビデオストリームをエンコードするために用いられ得る。例えば、非変換ベースエンコーダ２０は、特定のブロックまたはフレームのための変換処理ユニット２０６なしに、残差信号を直接的に量子化できる。別の実装において、エンコーダ２０は、単一のユニットへと組み合わされた量子化ユニット２０８および逆量子化ユニット２１０を有し得る。
［デコーダおよびデコーディング方法］

図３は、本願の技術を実装するように構成されたビデオデコーダ３０の例を示す。ビデオデコーダ３０は、例えばエンコーダ２０によりエンコード済みのエンコードされた画像データ２１（例えば、エンコードされたビットストリーム２１）を受信して、デコードされた画像３３１を取得するように構成される。エンコードされた画像データまたはビットストリームは、エンコードされた画像データをデコードするための情報、例えば、エンコードされたビデオスライスの画像ブロックと、関連する構文要素とを表すデータを含む。

図３の例において、デコーダ３０は、エントロピーデコーディングユニット３０４と、逆量子化ユニット３１０と、逆変換処理ユニット３１２と、再構築ユニット３１４（例えば、合算器３１４）と、ループフィルタ３２０と、デコードされた画像用バッファ（ＤＰＢ）３３０と、インター予測ユニット３４４と、イントラ予測ユニット３５４とを備える。インター予測ユニット３４４は、動き補償ユニットであってもよく、それを含んでもよい。ビデオデコーダ３０は、いくつかの例において、図２のビデオエンコーダ２０に関連して説明されたエンコーディングパスとは概ね逆のデコーディングパスを実行し得る。

エンコーダ２０に関連して説明したように、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構築ユニット２１４、ループフィルタ２２０、デコードされた画像用バッファ（ＤＰＢ）２３０、インター予測ユニット２４４およびイントラ予測ユニット２５４は、ビデオエンコーダ２０の「ビルトインデコーダ」を形成するとも言及される。したがって、逆量子化ユニット３１０は、逆量子化ユニット２１０と機能的に同一であってよく、逆変換処理ユニット３１２は、逆変換処理ユニット２１２と機能的に同一であってよく、再構築ユニット３１４は、再構築ユニット２１４と機能的に同一であってよく、ループフィルタ３２０は、ループフィルタ２２０と機能的に同一であってよく、デコードされた画像用バッファ３３０は、デコードされた画像用バッファ２３０と機能的に同一であってよい。したがって、ビデオエンコーダ２０のそれぞれのユニットおよび機能について提供された説明は、ビデオデコーダ３０のそれぞれのユニットおよび機能に対応するように当てはまる。
［エントロピーデコーディング］

エントロピーデコーディングユニット３０４は、ビットストリーム２１（または一般的に、エンコードされた画像データ２１）を解析し、例えばエントロピーデコーディングをエンコードされた画像データ２１に対して実行して、例えば、量子化された係数３０９および／またはデコードされたコーディングパラメータ（図３には示されていない）、例えば、インター予測パラメータ（例えば、参照画像インデックスおよび動きベクトル）、イントラ予測パラメータ（例えば、イントラ予測モードまたはイントラ予測インデックス）、変換パラメータ、量子化パラメータ、ループフィルタパラメータおよび／または他の構文要素のいずれかまたは全てを取得するように構成される。エントロピーデコーディングユニット３０４は、エンコーダ２０のエントロピーエンコーディングユニット２７０に関連して説明されたようなエンコーディングスキームに対応するデコーディングアルゴリズムまたはデコーディングスキームを適用するように構成され得る。エントロピーデコーディングユニット３０４はさらに、インター予測パラメータ、イントラ予測パラメータおよび／または他の構文要素をモード選択ユニット３６０に、他のパラメータをデコーダ３０の他のユニットに提供するように構成され得る。ビデオデコーダ３０は、構文要素をビデオスライスレベルおよび／またはビデオブロックレベルで受信し得る。
［逆量子化］

逆量子化ユニット３１０は、エンコードされた画像データ２１から量子化パラメータ（ＱＰ）（または一般的に、逆量子化に関連する情報）および量子化された係数を（例えばエントロピーデコーディングユニット３０４による、例えば解析および／またはデコーディングにより）受信し、量子化パラメータに基づいて逆量子化をデコード済みの量子化された係数３０９に適用して、変換係数３１１とも称され得る量子化解除された係数３１１を取得するように構成され得る。逆量子化処理は、量子化の程度、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス内の各ビデオブロックについてビデオエンコーダ２０により決定される量子化パラメータの使用を含み得る。
［逆変換］

逆変換処理ユニット３１２は、変換係数３１１とも称される量子化解除された係数３１１を受信し、サンプル領域内の再構築された残差ブロック３１３を取得すべく、量子化解除された係数３１１に変換を適用するように構成され得る。再構築された残差ブロック３１３は、変換ブロック３１３とも称され得る。この変換は、逆変換、例えば、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、または概念的に同様の逆変換処理であってよい。逆変換処理ユニット３１２はさらに、エンコードされた画像データ２１から変換パラメータまたは対応する情報を（例えばエントロピーデコーディングユニット３０４による、例えば解析および／またはデコーディングにより）受信して、量子化解除された係数３１１に適用される変換を決定するように構成され得る。
［再構築］

再構築ユニット３１４（例えば、加算器または合算器３１４）は、例えば、再構築された残差ブロック３１３のサンプル値および予測ブロック３６５のサンプル値を加算することにより、再構築された残差ブロック３１３を予測ブロック３６５に加算して、サンプル領域内の再構築されたブロック３１５を取得するように構成され得る。
［フィルタリング］

（コーディングループ内またはコーディングループの後のいずれかにある）ループフィルタユニット３２０は、例えば、画素遷移を平滑化するか、またはそうでなければビデオ品質を改善するために、再構築されたブロック３１５をフィルタリングして、フィルタリングされたブロック３２１を取得するように構成される。ループフィルタユニット３２０は、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタ、もしくは、例えば、バイラテラルフィルタ、適応ループフィルタ（ＡＬＦ）、鮮明化フィルタ、平滑化フィルタもしくは協調フィルタといった１つまたは複数の他のフィルタ、または、それらの任意の組み合わせを含み得る。ループフィルタユニット３２０は、図３ではループ内フィルタであるものとして示されているが、他の構成では、ポストループフィルタとして実装され得る。
［デコードされた画像用バッファ］

画像のデコードされたビデオブロック３２１は、その後、デコードされた画像３３１を他の画像の後続の動き補償のための、および／または出力またはそれぞれ表示するための参照画像として格納するデコードされた画像用バッファ３３０に格納される。

デコーダ３０は、例えば出力３１２を介して、ユーザに提示するかまたは視聴させるために、デコードされた画像３１１を出力するように構成される。
［予測］

インター予測ユニット３４４は、インター予測ユニット２４４（特に、動き補償ユニット）と同一であってよく、イントラ予測ユニット３５４は、機能的にイントラ予測ユニット２５４と同一であってよく、エンコードされた画像データ２１から（例えばエントロピーデコーディングユニット３０４による、例えば解析および／またはデコーディングにより）受信された区分化パラメータおよび／または予測パラメータまたはそれぞれの情報に基づいて、分割または区分化の決定および予測を実行する。モード選択ユニット３６０は、再構築された画像、ブロックまたはそれぞれのサンプル（フィルタリングされているか、またはフィルタリングされていない）に基づいて予測（イントラ予測またはインター予測）をブロック毎に実行して予測ブロック３６５を取得するように構成され得る。

ビデオスライスがイントラコーディング（Ｉ）スライスとしてコーディングされる場合、モード選択ユニット３６０のイントラ予測ユニット３５４は、シグナリングイントラ予測モードと、現在の画像の以前にデコードされたブロックからのデータとに基づいて、現在のビデオスライスの画像ブロックについての予測ブロック３６５を生成するように構成される。ビデオ画像がインターコーディングされた（すなわち、ＢまたはＰ）スライスとしてコーディングされる場合、モード選択ユニット３６０のインター予測ユニット３４４（例えば、動き補償ユニット）は、エントロピーデコーディングユニット３０４から受信された動きベクトルおよび他の構文要素に基づいて、現在のビデオスライスのビデオブロックについての予測ブロック３６５を生成するように構成される。インター予測の場合、予測ブロックは、参照画像リストのうちの１つに含まれる参照画像のうちの１つから生成され得る。ビデオデコーダ３０は、デフォルトの構築技術を用いて、ＤＰＢ３３０に格納された参照画像に基づき、リスト０およびリスト１という参照フレームリストを構築し得る。

モード選択ユニット３６０は、動きベクトルおよび他の構文要素を解析することにより現在のビデオスライスのビデオブロックについての予測情報を決定するように構成され、予測情報を用いて、デコードされている現在のビデオブロックについての予測ブロックを生成する。例えば、モード選択ユニット３６０は、受信された構文要素のうちのいくつかを用いて、ビデオスライスのビデオブロックをコーディングするために用いられる予測モード（例えば、イントラ予測またはインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、ＰスライスまたはＧＰＢスライス）と、スライスについての参照画像リストのうちの１つまたは複数に関する構築情報と、スライスのインターエンコードされたビデオブロックの各々の動きベクトルと、スライスのインターコーディングされたビデオブロックの各々のインター予測ステータスと、現在のビデオスライス内のビデオブロックをデコードするための他の情報とを決定する。

エンコードされた画像データ２１をデコードするために、ビデオデコーダ３０の他の変形が用いられ得る。例えば、デコーダ３０は、ループフィルタリングユニット３２０なしに、出力ビデオストリームを生成できる。例えば、非変換ベースデコーダ３０は、特定のブロックまたはフレームのための逆変換処理ユニット３１２なしに、残差信号を直接的に逆量子化できる。別の実装において、ビデオデコーダ３０は、単一のユニットへと組み合わされた逆量子化ユニット３１０および逆変換処理ユニット３１２を有し得る。

エンコーダ２０およびデコーダ３０では、現在の段階の処理結果がさらに処理され、その後、次の段階に出力され得ることを理解されたい。例えば、補間フィルタリング、動きベクトル導出またはループフィルタリングの後、補間フィルタリング、動きベクトル導出またはループフィルタリングの処理結果に対して、Ｃｌｉｐまたはシフトなどのさらなる演算が実行され得る。

現在のブロックの導出された動きベクトル（アフィンモードの制御点動きベクトル、アフィンモード、平面モード、ＡＴＭＶＰモードでのサブブロック動きベクトルおよび時間的動きベクトル等を含むが、それらに限定されない）にさらなる演算が適用され得ることに留意されたい。例えば、動きベクトルの値は、その表現ビット数に従って予め定義された範囲に制限される。動きベクトルの表現ビットがｂｉｔＤｅｐｔｈである場合、その範囲は、－２＾（ｂｉｔＤｅｐｔｈ－１）～２＾（ｂｉｔＤｅｐｔｈ－１）－１である。「＾」は、べき乗を意味する。例えば、ｂｉｔＤｅｐｔｈが１６に等しく設定されている場合、その範囲は－３２７６８～３２７６７であり、ｂｉｔＤｅｐｔｈが１８に等しく設定されている場合、その範囲は－１３１０７２～１３１０７１である。例えば、導出された動きベクトル（例えば、１つの８×８ブロック内の４つの４×４サブブロックのＭＶ）の値は、４つの４×４サブブロックＭＶの整数部分間の最大差が、１個以下の画素など、Ｎ個以下の画素であるように制限される。ここで、ｂｉｔＤｅｐｔｈに従って動きベクトルを制約する２つの方法を提供する。

方法１：以下の演算によりオーバフローＭＳＢ（最上位ビット）を除去する。

ｍｖｘは、イメージブロックまたはサブブロックの動きベクトルの水平成分であり、ｍｖｙは、イメージブロックまたはサブブロックの動きベクトルの垂直成分であり、ｕｘおよびｕｙは、中間値を示す。

例えば、ｍｖｘの値が－３２７６９である場合、式（１）および（２）を適用した後、結果として得られる値は３２７６７である。コンピュータシステムにおいて、１０進数は２の補数として格納される。－３２７６９の２の補数は、１，０１１１，１１１１，１１１１，１１１１（１７ビット）であり、その後、ＭＳＢが破棄されるので、結果として得られる２の補数は、式（１）および（２）を適用することによる出力と同じである０１１１，１１１１，１１１１，１１１１（１０進数は３２７６７である）である。

これらの演算は、式（５）から（８）に示されるように、ｍｖｐおよびｍｖｄの合計中に適用され得る。

方法２：値をクリッピングすることにより、オーバフローＭＳＢを除去する。

ｖｘは、イメージブロックまたはサブブロックの動きベクトルの水平成分であり、ｖｙは、イメージブロックまたはサブブロックの動きベクトルの垂直成分であり、ｘ、ｙおよびｚはそれぞれ、ＭＶクリッピング処理の３つの入力値に対応し、関数Ｃｌｉｐ３の定義は、以下のとおりである。

図４は、本開示の実施形態によるビデオコーディングデバイス４００の概略図である。ビデオコーディングデバイス４００は、本明細書において説明される本開示の実施形態を実装するのに好適である。実施形態において、ビデオコーディングデバイス４００は、図１Ａのビデオデコーダ３０などのデコーダ、または図１Ａのビデオエンコーダ２０などのエンコーダであってよい。

ビデオコーディングデバイス４００は、データを受信するための入口ポート４１０（または入力ポート４１０）および受信機ユニット（Ｒｘ）４２０と、データを処理するためのプロセッサ、論理ユニットまたは中央処理装置（ＣＰＵ）４３０と、データを送信するための送信機ユニット（Ｔｘ）４４０および出口ポート４５０（または出力ポート４５０）と、データを格納するためのメモリ４６０とを備える。ビデオコーディングデバイス４００は、光信号または電気信号の出口または入口のために、入口ポート４１０、受信機ユニット４２０、送信機ユニット４４０および出口ポート４５０に連結された光／電気（ＯＥ）コンポーネントおよび電気／光（ＥＯ）コンポーネントも備え得る。

プロセッサ４３０は、ハードウェアおよびソフトウェアにより実装される。プロセッサ４３０は、１つまたは複数のＣＰＵチップ、（例えば、マルチコアプロセッサとしての）コア、ＦＰＧＡ、ＡＳＩＣおよびＤＳＰとして実装され得る。プロセッサ４３０は、入口ポート４１０、受信機ユニット４２０、送信機ユニット４４０、出口ポート４５０およびメモリ４６０と通信する。プロセッサ４３０は、コーディングモジュール４７０を有する。コーディングモジュール４７０は、上で説明した、開示された実施形態を実装する。例えば、コーディングモジュール４７０は、様々なコーディング演算を実装、処理、準備または提供する。したがって、コーディングモジュール４７０を含むことにより、ビデオコーディングデバイス４００の機能の実質的な改善が提供され、異なる状態へのビデオコーディングデバイス４００の変換がもたらされる。代替的に、コーディングモジュール４７０は、メモリ４６０に格納されてプロセッサ４３０により実行される命令として実装される。

メモリ４６０は、１つまたは複数のディスク、テープドライブおよびソリッドステートドライブを備えてよく、プログラムが実行のために選択された場合にそのようなプログラムを格納するための、かつ、プログラムの実行中に読み取られた命令およびデータを格納するためのオーバーフローデータストレージデバイスとして用いられてよい。メモリ４６０は、例えば、揮発性および／または不揮発性であってよく、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）であってよい。

図５は、例示的な実施形態による図１Ａの送信元デバイス１２および送信先デバイス１４のいずれかまたは両方として用いられ得る装置５００の簡略ブロック図である。

装置５００内のプロセッサ５０２は、中央処理装置であってよい。代替的に、プロセッサ５０２は、現存するかまたは今後開発される、情報を操作または処理できる任意の他のタイプのデバイスまたは複数のデバイスであってよい。開示される実装は、示されているような単一のプロセッサ、例えばプロセッサ５０２を用いて実施され得るが、速度および効率上の利点は、１つよりも多くのプロセッサを用いて実現され得る。

実装において、装置５００内のメモリ５０４は、リードオンリメモリ（ＲＯＭ）デバイスまたはランダムアクセスメモリ（ＲＡＭ）デバイスであってよい。任意の他の好適なタイプのストレージデバイスが、メモリ５０４として用いられ得る。メモリ５０４は、バス５１２を用いてプロセッサ５０２によりアクセスされるコードおよびデータ５０６を含み得る。メモリ５０４は、オペレーティングシステム５０８およびアプリケーションプログラム５１０をさらに含んでよく、アプリケーションプログラム５１０は、本明細書において説明される方法をプロセッサ５０２が実行することを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５１０は、アプリケーション１からＮを含んでよく、アプリケーション１からＮは、本明細書において説明される方法を実行するビデオコーディングアプリケーションをさらに含む。

装置５００は、ディスプレイ５１８などの１つまたは複数の出力デバイスも含み得る。ディスプレイ５１８は、一例において、ディスプレイと、タッチ入力を検知するように動作可能なタッチセンサ式要素とを組み合わせたタッチセンサ式ディスプレイであってよい。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２に連結され得る。

ここでは単一のバスとして示されているが、装置５００のバス５１２は、複数のバスから構成され得る。さらに、セカンダリストレージ５１４は、装置５００の他のコンポーネントに直接的に連結されてもよく、ネットワークを介してアクセスされてもよく、メモリカードなどの単一の統合されたユニットまたは複数のメモリカードなどの複数のユニットを備えてよい。したがって、装置５００は、多種多様な構成で実装され得る。クロマサンプルのイントラ予測は、再構築されたルマブロックのサンプルを用いて実行され得る。

ＨＥＶＣの開発中に、成分間線形モデル（ＣＣＬＭ）クロマイントラ予測［Ｊ． Ｋｉｍ， Ｓ．－Ｗ． Ｐａｒｋ， Ｊ．－Ｙ． Ｐａｒｋ， ａｎｄ Ｂ．－Ｍ． Ｊｅｏｎ， Ｉｎｔｒａ Ｃｈｒｏｍａ Ｐｒｅｄｉｃｔｉｏｎ Ｕｓｉｎｇ Ｉｎｔｅｒ Ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎ， ｄｏｃｕｍｅｎｔ ＪＣＴＶＣ－Ｂ０２１， Ｊｕｌ． ２０１０］が提案された。ＣＣＬＭは、コーディングブロック内の対応する位置におけるクロマサンプルとルマサンプルとの間の線形相関を用いる。ＣＣＬＭを用いてクロマブロックがコーディングされた場合、線形回帰により、再構築された隣接するルマサンプルおよびクロマサンプルから線形モデルが導出される。現在のブロック内のクロマサンプルは、その後、導出された線形モデルを用いて、現在のブロック内の再構築されたルマサンプルにより予測され得る（図６を参照のこと）。

ＣおよびＬはそれぞれ、クロマ値およびルマ値を示す。以下のとおり、最小２乗法により、パラメータαおよびβが導出される。

Ｍ（Ａ）は、Ａの平均を表し、Ｒ（Ａ，Ｂ）は、以下のとおり定義される。

エンコードされたかまたはデコードされた画像が、ルマ成分およびクロマ成分について異なる数のサンプルを指定する形式（例えば、４：２：０ＹＣｂＣｒ形式、）を有する場合、ルマサンプルは、モデリングおよび予測の前にダウンサンプリングされる。

方法は、ＶＴＭ２．０における使用のために採用されている。具体的には、以下のとおり、パラメータの導出が実行される。

Ｌ（ｎ）は、ダウンサンプリングされた上および左の隣接する再構築されたルマサンプルを表し、Ｃ（ｎ）は、上および左の隣接する再構築されたクロマサンプルを表す。

［Ｇ． Ｌａｒｏｃｈｅ， Ｊ． Ｔａｑｕｅｔ， Ｃ． Ｇｉｓｑｕｅｔ， Ｐ． Ｏｎｎｏ （Ｃａｎｏｎ）， "ＣＥ３： Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ ｓｉｍｐｌｉｆｉｃａｔｉｏｎ （Ｔｅｓｔ ５．１）"， Ｉｎｐｕｔ ｄｏｃｕｍｅｎｔ ｔｏ １２^ｔｈ ＪＶＥＴ Ｍｅｅｔｉｎｇ ｉｎ Ｍａｃａｏ， Ｃｈｉｎａ， Ｏｃｔ． ２０１８］において、αおよびβを導出する異なる方法が提案された（図７を参照のこと）。特に、線形モデルパラメータαおよびβは、以下の式に従って取得される。

および

は、ルマサンプルにおける最大値および最小値の位置である。

表１において指定されるルックアップテーブル（ＬＵＴ）に格納される数による乗算を用いて除算演算を実装することも提案された。この置換は、以下の方法を用いることにより可能である。

Ｓは、精度を指定するシフトパラメータである。

表１は、ＬＵＴに格納される値のリストとのＬＵＴインデックス範囲（この表の最初の行において与えられる）のマッチングを提供する。各リストは、そのインデックス範囲に対応する。

値が以下のとおり計算され得ることが分かる。

表１において定義される（または上記式を用いて同等に計算される）ＬＵＴを用いて、αの計算が以下のとおり実行される。

シフトパラメータＳは、いくつかの部分に分解され得る、すなわち、

である。なぜなら、αの値は、さらなる計算において用いられるからである。この分解により、異なるステージにおける計算精度の柔軟性が提供され、したがって、クロマ予測サンプルの値を取得する段階を介して乗算演算のビット深度を再分散することが可能である。特定の実装において、以下のとおりである。

表１ 数による乗算を用いて除算演算を実装するための例示的なＬＵＴテーブル

この場合、線形モデル係数αは、小数値の固定小数点整数表現を有し、αの精度は、クロマ予測サンプルの値の取得において用いられる

の値により決定される。

ＬＵＴのサイズは、エンコーダまたはデコーダのハードウェア実装においてかなり重要である。この問題を解決するための最も直接的なやり方は、指定される、すなわち表１内の初期ＬＵＴの各Ｎ番目（ここで、Ｎはサブサンプリング比である）要素だけを維持することにより、ＬＵＴを定期的にサブサンプリングすることである。

Ｎの２のべき乗サブサンプリング比での通常のサブサンプリングの後に、ＬＵＴからのフェッチが、異なるように、つまり、

の代わりに

と定義される。

自然な画像の場合、

の確率は、小さい値を有し、この差が大きくなる確率よりも大きいことが分かる。言い換えると、表１の値の発生確率は、左の列から右の列へかけて減り、各列内で、この確率は、その列に属する最初の要素から最後の要素へかけて減る。

の値に対する例示的な発生確率依存性が図８において与えられる。

したがって、初期ＬＵＴの各Ｎ番目要素だけを維持するのは、最適には遠い。なぜなら、それは、当てはまらないその引数の等しい確率分布に対応しているからである。

この分布を考慮することにより、通常のサブサンプリングが提供し得るよりも良い、ＬＵＴのサイズと計算の精度との間のトレードオフを実現することが可能である。

具体的には、２つの隣接するＬＵＴエントリが

の異なる段階に対応し、この段階の値がエントリのインデックスと共に増すように、非線形インデックス化を用いてＬＵＴを定義することが提案される。

計算上効率的な解決手段のうちの１つが、

のいくつかの最上位ビットを用いてＬＵＴ内のインデックスを決定することである。

の最上位ビットの位置により、最上位ビットの位置に基づく精度（すなわち、ＬＵＴの２つの隣接するエントリ間の段階）が定義される。最上位ビットの位置の値が大きいほど、より低い精度およびより大きい段階値に対応する。

特定の実施形態が図９および図１０に示される。図９は、ＬＵＴ値計算のフローチャートを示し、図１０は、

の入力値に対応するＬＵＴ内のインデックス「ｉｄｘ」をどのように取得するかを示す。

図９に示される段階を用いることにより、ＣＣＬＭモデリングにおけるさらなる使用のためにＬＵＴに格納される値を取得することが可能である。図９において、「ｃｔｒ」変数が、

の全ての可能な値を通じて反復される。実際には、ＬＵＴはサブ範囲を有し、各サブ範囲は「ｃｏｌ_ｍａｘ」エントリを含むことが分かる。サブ範囲「ｃｔｒ」内では、値は、等しい「段階」値と共に増す。１よりも大きいインデックス「ｌｕｔ＿ｓｈｉｆｔ＋１」を有するサブ範囲は、「ｌｕｔ＿ｓｈｉｆｔ」サブ範囲と比較して２倍に増えた対応する「段階」値を有する。最初の２つのサブ範囲は、「ｓｔｅｐ＝１＜＜ｍａｘ（０，ｌｕｔ＿ｓｈｉｆｔ）」演算における閾値に起因して、１に等しい段階を有するであろう。

図９に示されるように、フローチャートは、本発明の実施形態による例示的なルックアップテーブル生成処理を示す。段階９０２において、ビデオコーディングデバイスがルックアップテーブル生成処理を開始する。ビデオコーディングデバイスは、図１Ａ、図１Ｂ、図３のビデオデコーダ３０などのデコーダ、または、図１Ａ、図１Ｂ、図２のビデオエンコーダ２０などのエンコーダ、または、図４のビデオコーディングデバイス４００、または、図５の装置５００であってよい。

段階９０４において、ｃｔｒ＝１、かつ、ｌｕｔ＿ｓｈｉｆｔ＝１にする。段階９０６においてインデックスｌｕｔ＿ｓｈｉｆｔ＜ｌｕｔ＿ｓｈｉｆｔｍａｘであるかどうかが判断される。ｌｕｔ＿ｓｈｉｆｔ＜ｌｕｔ＿ｓｈｉｆｔｍａｘである場合、段階は、１＜＜ｍａｘ（０， ｌｕｔ＿ｓｈｉｆｔ）、かつ、ｃｏｌ＝０として段階９０８において計算され、そうでなければ、生成処理は、段階９２２において終了する。段階９１０において、開始オフセットが「ｃｔｒ＝ｃｔｒ＋（ｓｔｅｐ＞＞１）」段階により提供される。その後、ｃｏｌ＜ｃｏｌｍａｘであるかどうかが、段階９１２において判断される。ｃｏｌ＜ｃｏｌｍａｘである場合、段階９１４においてＬＵＴ［ｃｔｒ］＝（１＜＜Ｓ）／ｃｔｒであり、ここで、段階９１２から段階９１８において定義される予め計算されたＬＵＴ値によりＬＵＴの１つの行が生成され、そうでなければ、段階９２０において、インデックスｌｕｔ＿ｓｈｉｆｔ＝ ｌｕｔ＿ｓｈｉｆｔ＋１にする。段階９１６において、各サブ範囲の開始地点に対応するｃｔｒの値は、ｃｔｒｌ＋ｓｔｅｐとして設定される。段階９１８において、生成処理は次の列に移り、その後、この処理は段階９１２に戻る。

図９に示されるフローチャートを用いて生成された例示的なＬＵＴが、表２において与えられる。この表の行は、「ｌｕｔ＿ｓｈｉｆｔ」インデックスを有するサブ範囲に対応する。この表は、６に等しい「ｌｕｔ＿ｓｈｉｆｔ_ｍａｘ」と、３に等しい「ｃｏｌ_ｍａｘ」とを用いて取得されており、したがって、ＬＵＴ内に４８個のエントリがもたらされている。各サブ範囲の開始地点に対応するｃｔｒの値（ゼロ「ｃｏｌ」値）は、０、８、１７、３５、７１、１４３、２８７である。

これらの値は、常に２のべき乗であるわけではない。なぜなら、各サブ範囲内のサブサンプリングは、サブ範囲の中央に関連して実行されるからである。対応する開始オフセットが、図９に示される「ｃｔｒ＝ｃｔｒ＋（ｓｔｅｐ＞＞１）」段階により提供される。０よりも大きくない「ｌｕｔ＿ｓｈｉｆｔ」値に対する「段階」の値は、１に等しくなるように設定される。
表２ 図９に示されるフローチャートを用いて生成された例示的なＬＵＴ

図１０の（Ａ）では、表２に示されるＬＵＴ内の対応するエントリの位置を決定すべく、入力値（例えば、差

）の２進表現１００１が処理されている。入力値の最上位非ゼロビットは、１００２として示されている。このビットの位置により、「ｍｓｂ」値が決定される。実際には、ｍｓｂ値は、入力値１００１のｌｏｇ２（）である。「ｍｓｂ」から１を減算すると、表２内の行を選択する「ｌｕｔ＿ｓｈｉｆｔ」値が得られる。そうでなければ、段階は「１＜＜ｌｕｔ＿ｓｈｉｆｔ」として計算される。

列の選択は、「ｃｏｌ_ｍａｘ」ビットを１００２の隣に入れることにより実行される。表２内の「ｃｏｌ」の値は、以下のとおりに取得される。
「ｈｉｇｈ＿ｂｉｔｓ」の値は、最上位ビット１０２０に続く「ｃｏｌ_ｍａｘ＋１」ビットを選択することにより取得され、
ｃｏｌは、１だけデクリメントされた「ｈｉｇｈ＿ｂｉｔｓ」に格納される値に等しくなるように設定される。

位置合わせ段階「ｃｔｒ＝ｃｔｒ＋（ｓｔｅｐ＞＞１）」が図９において実行されない場合には、「ｌｕｔ＿ｓｈｉｆｔ」値の導出は同じであり、「ｃｏｌ」値の導出はより単純でさえある（図１０の（Ｂ））。「ｃｏｌ」の値は、最上位ビット１０２０に続く「ｃｏｌ_ｍａｘ」ビットを選択することにより取得される。このインデックス導出方法は、表３に対応する。各サブ範囲の開始地点（ゼロ「ｃｏｌ」値）に対応する「ｃｔｒ」の値（図９）は、０、８、１６、３２、６４、１２８、２５６である。
表３ 「ｃｔｒ＝ｃｔｒ＋（ｓｔｅｐ＞＞１）」がスキップされる場合における、図９に示されるフローチャートを用いて生成された別の例示的なＬＵＴ

「ｃｏｌ」の値を導出する場合、ｍｓｂは、「ｃｏｌ_ｍａｘ」よりも少ないかまたはそれに等しくてよい。この場合、「ｃｏｌ」の値は、入力差１００１の「ｃｏｌ_ｍａｘ」最下位ビットに等しくなるように設定される。

実際的な実装では、ＬＵＴインデックスは１次元のものである。表２および表３に示されるＬＵＴは、

に等しくなるように設定されたインデックスを用いて線形的に処理され得る、と典型的には理解されている。

表２および表３に示されるＬＵＴの両方とも、大きさが非常に異なる値を格納する。故に、ＬＵＴに格納された全ての値について同様の数のビットを有することが合理的である。ＬＵＴからフェッチされている値は、ｌｕｔ＿ｓｈｉｆｔの値に従ってさらに左シフトされ得る。このルールからの唯一の例外は、この行内の最後の４つの値とは異なる精度を有する最初の４つの値である。しかしながら、この問題は、最初の４つの値についてこの追加のシフトを格納する追加のＬＵＴにより解決され得る。本実施形態において、乗算器の値は、以下のとおり、ＬＵＴからフェッチされた値から復元される。

ここで、

である。δの値は、４よりも少ないかまたはそれに等しい「ｉｄｘ」値に対してそれぞれ、３、２、１、１に等しくなるように設定される。本実施形態のルックアップテーブルが、表４において与えられる。
表４ 複数の範囲内で精度が等しい場合における、図９に示されるフローチャートを用いて生成された別の例示的なＬＵＴ

表４の最後の行が互いに非常に類似していることが分かる。故に、サブ範囲のいくつかの設定について１つの行だけを格納することにより、ＬＵＴのサイズを低減することが可能である。特定の実施形態において、ｌｕｔ＿ｓｈｉｆｔの値が特定の閾値よりも大きい場合、ｌｕｔ＿ｓｈｉｆｔの値は、この閾値に等しくなるように設定され、δの値は、初期値「ｌｕｔ＿ｓｈｉｆｔ」と閾値との間の差だけ減る。

図１１は、成分間線形モデルを適用することによるブロックのクロマサンプルの例示的なイントラ予測を示すフローチャートである。段階１１０２において、ビデオコーディングデバイスが、再構築されたルマサンプルを取得する。ビデオコーディングデバイスは、図１Ａ、図１Ｂ、図３のビデオデコーダ３０などのデコーダ、または、図１Ａ、図１Ｂ、図２のビデオエンコーダ２０などのエンコーダ、または、図４のビデオコーディングデバイス４００、または、図５の装置５００であってよい。

段階１１０４において、ビデオコーディングデバイスが、再構築されたルマサンプル内の最大の再構築されたサンプル値および最小の再構築されたサンプル値の位置を決定する。例えば、再構築されたルマサンプルは、クロマサンプルに対応する隣接する再構築されたルマサンプルである。

段階１１０６において、ビデオコーディングデバイスが、再構築されたルマサンプルの最大値および最小値の差の値を取得する。

段階１１０８において、ビデオコーディングデバイスが、ＬＵＴのインデックスを計算して、再構築されたルマサンプルの最大値および最小値の差の値に対応する乗算器の値をフェッチする。

例えば、ビデオコーディングデバイスは、最大ルマサンプル値および最小ルマサンプル値の差の最上位ビットの位置を決定し、最大ルマサンプル値および最小ルマサンプル値の差の最上位ビットの位置に続くビットセットをＬＵＴのインデックスとして用いて値をフェッチする。最大ルマサンプル値および最小ルマサンプル値の差の最上位ビットの位置は、差の２の対数として取得され得る。ビデオコーディングデバイスは、差の最上位ビットの位置に続くビットセットを決定する。可能な結果として、ビットセットは、４つのビットを含む。

ＬＵＴは、位置合わせ段階の有無にかかわらず生成される。ＬＵＴは、取得された差の異なる段階に対応する、ＬＵＴに格納される少なくとも２つの隣接する値を含んでよく、この段階の値は、差の値と共に増すか、または一定である。

例示的な表１から表４において開示されたように、ＬＵＴは、値のサブ範囲を含み得る。再構築されたルマサンプルの最大値および最小値の差の値の段階は、あるサブ範囲内で一定であり、異なる複数のサブ範囲の段階は異なる。例として、再構築されたルマサンプルの最大値および最小値の差の値の段階は、サブインデックスが増すと共に増す。例えば、再構築されたルマサンプルの最大値および最小値の差の値の段階は、サブインデックスの２のべき乗であってよい。

ＬＵＴは、第１の値、第２の値および第３の値という少なくとも３つの値を含む。３つの値のうち、第１の値および第２の値は、２つの隣接する値であり、第２の値および第３の値は、２つの隣接する値である。第１の値と第２の値との間の段階（すなわち、精度または差）は、第２の値と第３の値との間の段階に等しくてもよく、それとは異なってもよい。第１の値には第１のビットセットによりインデックスが付され、第２の値には第２のビットセットによりインデックスが付される場合、第１のビットセットの値が第２のビットセットの値よりも大きいときは、第１の値は、第２の値よりも小さく、または、第１のビットセットの値が第２のビットセットの値よりも小さいときは、第１の値は、第２の値よりも大きい。

ＬＵＴは、サブ範囲へ分割される。再構築されたルマサンプルの最大値および最小値の差の最上位非ゼロビットの位置を用いて、サブインデックスが決定される。例として、サブ範囲のサイズは８に設定され、サブ範囲の数は６である。別の例として、異なる隣接するサブ範囲は、同じ段階に対して値の増加が異なる。

ＬＵＴは、非線形インデックスを含み得る。２つの隣接するＬＵＴエントリが、Ｌ（Ｂ）－Ｌ（Ａ）の異なる段階に対応する。Ｌ（Ｂ）は、再構築されたルマサンプルの最大値を表し、Ｌ（Ａ）は、再構築されたルマサンプルの最小値を表す。このエントリの段階の値は、このエントリのインデックスと共に増し得る。

ＬＵＴがＬ（Ｂ）－Ｌ（Ａ）のいくつかの最上位ビットを用いる場合、Ｌ（Ｂ）－Ｌ（Ａ）の最上位ビットの位置により、最上位ビットの位置に基づく精度（すなわち、ＬＵＴの２つの隣接するエントリ間の段階）が定義される。最上位ビットの位置の値が大きいほど、より低い精度およびより大きい段階値に対応し得る。

段階１１１０において、ビデオコーディングデバイスが、フェッチされた値を再構築されたクロマサンプルの最大値および最小値の差により乗算することにより、線形モデルパラメータαおよびβを取得する。

段階１１１２において、ビデオコーディングデバイスが、取得された線形モデルパラメータαおよびβを用いて、予測されるクロマサンプル値を計算する。

図１２は、成分間線形モデルを適用することによるブロックのクロマサンプルのイントラ予測のための装置１２００の例示的な構造を示すブロック図である。
装置１２００は、上記方法を実行するように構成され、
再構築されたルマサンプルを取得するように構成された取得ユニット１２１０と、
再構築されたルマサンプルに基づいて最大ルマサンプル値および最小ルマサンプル値を決定するように構成された決定ユニット１２２０と
を含んでよく、
取得ユニット１２１０はさらに、最大ルマサンプル値および最小ルマサンプル値の差を取得するように構成され、
決定ユニット１２２０はさらに、最大ルマサンプル値および最小ルマサンプル値の差の最上位ビットの位置を決定するように構成される。例として、最大ルマサンプル値および最小ルマサンプル値の差の最上位ビットの位置は、差の２の対数である。実装として、最上位ビットは、第１の非ゼロビットである。

装置１２００は、最大ルマサンプル値および最小ルマサンプル値の差の最上位ビットの位置に続くビットセットをインデックスとして用いることによりルックアップテーブル（ＬＵＴ）から値をフェッチし、フェッチされた値に基づいて線形モデルパラメータαおよびβを取得し、取得された線形モデルパラメータαおよびβを用いることにより予測されるクロマサンプル値を計算するように構成された計算ユニット１２３０をさらに含む。例えば、ビットセットは、４つのビットを含む。

計算ユニットは、フェッチされた値と、再構築されたクロマサンプルの最大値および最小値の差とに基づいて、線形モデルパラメータαおよびβを取得し得る。例えば、計算ユニットは、フェッチされた値を再構築されたクロマサンプルの最大値および最小値の差により乗算することにより、線形モデルパラメータαおよびβを取得する。

［本発明の実施形態の利益］
１． ＬＵＴのインデックスが、２進表現内のいくつかのビットを抽出する洗練されたやり方で計算される。結果として、ＬＵＴから値をフェッチする効率が上がる。
２． ＬＵＴから値をフェッチする効率が上がるので、線形モデルパラメータαおよびβを取得するための乗算器の大きさが最小化される。
３． ＬＵＴのサイズが最小化される。本発明の実施形態における除算関数（双曲線として知られているｆ（ｘ）＝１／ｘ）の曲線が、以下のやり方で近似された。
１） ＬＵＴテーブルのサイズは１６であってよい。
ｉ． （０から無限まで変化する導関数を有する１／ｘ曲線の近似のための最小数のエントリ）
２） ＬＵＴの要素がエントリインデックスに対する非線形依存性を有する。
ｉ． （１／ｘ曲線を近似するため）
３） 乗算器（ＬＵＴの要素）が３ビットの符号なし整数（０…７）である。
ｉ． （０から無限まで変化する導関数を有する１／ｘ曲線の近似のための最小精度）

以下は、上で言及された実施形態に示されるようなエンコーディング方法およびデコーディング方法のアプリケーションならびにそれらを用いたシステムの説明である。

図１３は、コンテンツ配信サービスを実現するためのコンテンツ供給システム３１００を示すブロック図である。このコンテンツ供給システム３１００は、撮像デバイス３１０２、端末デバイス３１０６を含み、任意選択的にディスプレイ３１２６を含む。撮像デバイス３１０２は、通信リンク３１０４を介して端末デバイス３１０６と通信する。通信リンクは、上で説明した通信チャネル１３を含み得る。通信リンク３１０４は、限定されるわけではないが、ＷｉＦｉ、イーサネット（登録商標）、ケーブル、無線（３Ｇ／４Ｇ／５Ｇ）もしくはＵＳＢまたはそれらの任意の種類の組み合わせ等を含む。

撮像デバイス３１０２は、データを生成し、上記実施形態に示されるようなエンコーディング方法により、データをエンコードし得る。代替的に、撮像デバイス３１０２は、データをストリーミングサーバ（図には示されていない）へ配信してよく、サーバは、データをエンコードし、エンコードされたデータを端末デバイス３１０６へ送信する。撮像デバイス３１０２は、限定されるわけではないが、カメラ、スマートフォンもしくはパッド、コンピュータもしくはラップトップ、ビデオ会議システム、ＰＤＡ、車載デバイスまたはそれらのいずれかの組み合わせ等を含む。例えば、撮像デバイス３１０２は、上で説明したような送信元デバイス１２を含み得る。データがビデオを含む場合、撮像デバイス３１０２に含まれるビデオエンコーダ２０は、ビデオエンコーディング処理を実際に実行し得る。データがオーディオ（すなわち、音声）を含む場合、撮像デバイス３１０２に含まれるオーディオエンコーダは、オーディオエンコーディング処理を実際に実行し得る。いくつかの実際のシナリオでは、撮像デバイス３１０２は、エンコードされたビデオデータおよびオーディオデータを、それらを共に多重化することにより配信する。他の実際のシナリオでは、例えばビデオ会議システムにおいて、エンコードされたオーディオデータおよびエンコードされたビデオデータは多重化されない。撮像デバイス３１０２は、エンコードされたオーディオデータおよびエンコードされたビデオデータを端末デバイス３１０６へ別個に配信する。

コンテンツ供給システム３１００において、端末デバイス３１０は、エンコードされたデータを受信および再現する。端末デバイス３１０６は、データ受信および回復機能を有するデバイス、例えば、上で言及したエンコードされたデータをデコードできるスマートフォンもしくはパッド３１０８、コンピュータもしくはラップトップ３１１０、ネットワークビデオレコーダ（ＮＶＲ）／デジタルビデオレコーダ（ＤＶＲ）３１１２、ＴＶ３１１４、セットトップボックス（ＳＴＢ）３１１６、ビデオ会議システム３１１８、ビデオ監視システム３１２０、パーソナルデジタルアシスタント（ＰＤＡ）３１２２、車載デバイス３１２４、またはそれらのいずれかの組み合わせ等であってよい。例えば、端末デバイス３１０６は、上で説明したような送信先デバイス１４を含み得る。エンコードされたデータがビデオを含む場合、端末デバイスに含まれるビデオデコーダ３０は、ビデオデコーディングの実行を優先させる。エンコードされたデータがオーディオを含む場合、端末デバイスに含まれるオーディオデコーダは、オーディオデコーディング処理の実行を優先させる。

ディスプレイを有する端末デバイス、例えば、スマートフォンもしくはパッド３１０８、コンピュータもしくはラップトップ３１１０、ネットワークビデオレコーダ（ＮＶＲ）／デジタルビデオレコーダ（ＤＶＲ）３１１２、ＴＶ３１１４、パーソナルデジタルアシスタント（ＰＤＡ）３１２２または車載デバイス３１２４について、端末デバイスは、デコードされたデータをそのディスプレイに供給できる。ディスプレイが備え付けられていない端末デバイス、例えば、ＳＴＢ３１１６、ビデオ会議システム３１１８またはビデオ監視システム３１２０について、外付けディスプレイ３１２６は、デコードされたデータを受信して示すために、内部で接触される。

このシステム内の各デバイスがエンコーディングまたはデコーディングを実行する場合、上で言及した実施形態に示されるように、画像エンコーディングデバイスまたは画像デコーディングデバイスが用いられ得る。

図１４は、端末デバイス３１０６の例の構造を示す図である。端末デバイス３１０６が撮像デバイス３１０２からストリームを受信した後、プロトコル処理ユニット３２０２は、ストリームの送信プロトコルを分析する。プロトコルは、限定されるわけではないが、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）、ＨＴＴＰライブストリーミングプロトコル（ＨＬＳ）、ＭＰＥＧ－ＤＡＳＨ、リアルタイムトランスポートプロトコル（ＲＴＰ）、リアルタイムメッセージングプロトコル（ＲＴＭＰ）またはそれらの任意の種類の組み合わせ等を含む。

プロトコル処理ユニット３２０２がストリームを処理した後、ストリームファイルが生成される。このファイルは、逆多重化ユニット３２０４に出力される。逆多重化ユニット３２０４は、多重化されたデータを、エンコードされたオーディオデータおよびエンコードされたビデオデータへ分離できる。上で説明したように、いくつかの実際のシナリオでは、例えばビデオ会議システムにおいて、エンコードされたオーディオデータおよびエンコードされたビデオデータは多重化されない。この状況において、エンコードされたデータは、逆多重化ユニット３２０４を通すことなく、ビデオデコーダ３２０６およびオーディオデコーダ３２０８へ送信される。

逆多重化処理を介して、ビデオエレメンタリストリーム（ＥＳ）、オーディオＥＳおよび任意選択的に字幕が生成される。上で言及した実施形態において説明したようなビデオデコーダ３０を含むビデオデコーダ３２０６は、上で言及した実施形態に示されるようなデコーディング方法によりビデオＥＳをデコードしてビデオフレームを生成し、このデータを同期ユニット３２１２に供給する。オーディオデコーダ３２０８は、オーディオＥＳをデコードしてオーディオフレームを生成し、このデータを同期ユニット３２１２に供給する。代替的に、ビデオフレームは、それを同期ユニット３２１２に供給する前に、バッファ（図１４には示されていない）に格納し得る。同様に、オーディオフレームは、それを同期ユニット３２１２に供給する前に、バッファ（図１４には示されていない）に格納し得る。

同期ユニット３２１２は、ビデオフレームおよびオーディオフレームを同期させ、ビデオ／オーディオをビデオ／オーディオディスプレイ３２１４に供給する。例えば、同期ユニット３２１２は、ビデオ情報およびオーディオ情報の提示を同期させる。情報は、コーディングされたオーディオデータおよびビジュアルデータの提示に関するタイムスタンプと、データストリーム自体の配信に関するタイムスタンプとを用いて、構文でコーディングされ得る。

ストリームに字幕が含まれている場合、字幕デコーダ３２１０は、字幕をデコードし、それをビデオフレームおよびオーディオフレームと同期させ、ビデオ／オーディオ／字幕をビデオ／オーディオ／字幕ディスプレイ３２１６に供給する。

本発明は、上で言及したシステムに限定されず、上で言及した実施形態における画像エンコーディングデバイスまたは画像デコーディングデバイスのいずれも、他のシステム、例えば自動車システムへ組み込まれ得る。

本発明の実施形態を主にビデオコーディングに基づいて説明したが、コーディングシステム１０、エンコーダ２０およびデコーダ３０（およびこれに応じてシステム１０）の実施形態、ならびに本明細書において説明された他の実施形態は、静止画像の処理またはコーディング、すなわち、ビデオコーディングにおけるような任意の前の画像または連続する画像から独立した個々の画像の処理またはコーディングのために構成されてもよいことに留意されたい。一般的に、画像処理コーディングが単一の画像１７に限定される場合、インター予測ユニット２４４（エンコーダ）および３４４（デコーダ）のみが利用可能ではないことがある。ビデオエンコーダ２０およびビデオデコーダ３０の全ての他の機能（ツールまたは技術とも称される）は、静止画像処理、例えば、残差計算２０４／３０４、変換２０６、量子化２０８、逆量子化２１０／３１０、（逆）変換２１２／３１２、区分化２６２／３６２、イントラ予測２５４／３５４、および／またはループフィルタリング２２０、３２０ならびにエントロピーコーディング２７０およびエントロピーデコーディング３０４に等しく用いられ得る。

例えばエンコーダ２０およびデコーダ３０の実施形態、ならびに、例えばエンコーダ２０およびデコーダ３０を参照して本明細書において説明された機能は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組み合わせに実装され得る。ソフトウェアに実装される場合、これらの機能は、コンピュータ可読媒体に格納されてもよく、通信媒体を介して１つまたは複数の命令またはコードとして送信され、ハードウェアベース処理ユニットにより実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形の媒体に対応するコンピュータ可読記憶媒体、または、例えば通信プロトコルに従った、１つの場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は概して、（１）非一時的な有形のコンピュータ可読記憶媒体、または（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示において説明された技術の実装のための命令、コードおよび／またはデータ構造を取得するために１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによりアクセスされ得る任意の利用可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを格納するために用いられてよく、かつ、コンピュータによりアクセスされ得る任意の他の媒体を含み得る。また、任意の接続が、コンピュータ可読媒体と適切に称される。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、または赤外線、電波およびマイクロ波などの無線技術を用いて、ウェブサイト、サーバまたは他のリモート送信元から命令が送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、電波およびマイクロ波などの無線技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号または他の一時的媒体を含まないが、代わりに、非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書において用いられるようなディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスクおよびブルーレイディスクを含み、ディスク（ｄｉｓｋ）は通常、データを磁気的に再現するが、ディスク（ｄｉｓｃ）は、データをレーザで光学的に再現する。上記のものの組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。

命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）または他の同等の一体型もしくは離散型のロジック回路など、１つまたは複数のプロセッサにより実行され得る。したがって、本明細書において用いられる「プロセッサ」という用語は、前述の構造のいずれか、または本明細書において説明された技術の実装に好適な任意の他の構造を指し得る。加えて、いくつかの態様では、本明細書において説明された機能は、エンコーディングおよびデコーディングのために構成された専用のハードウェアモジュールおよび／またはソフトウェアモジュール内で提供されてもよく、組み合わされたコーデックに組み込まれてもよい。また、これらの技術は、１つまたは複数の回路またはロジック要素に完全に実装され得る。

本開示の技術は、無線ハンドセット、集積回路（ＩＣ）またはＩＣセット（例えば、チップセット）を含む多種多様なデバイスまたは装置に実装され得る。様々なコンポーネント、モジュールまたはユニットが、開示されている技術を実行するように構成されたデバイスの機能態様を強調するために本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアと共に、コーデックハードウェアユニットに組み合わされてもよく、上で説明したような１つまたは複数のプロセッサを含む相互運用ハードウェアユニットの集合により提供されてもよい。
［他の可能な項目］
（項目１）
成分間線形モデルを適用することによりブロックのクロマサンプルをイントラ予測する方法であって、
再構築されたルマサンプルを取得する段階と、
上記再構築されたルマサンプルに基づいて、最大ルマサンプル値および最小ルマサンプル値を決定する段階と、
上記最大ルマサンプル値および上記最小ルマサンプル値の差を取得する段階と、
上記最大ルマサンプル値および上記最小ルマサンプル値の上記差の最上位ビットの位置を決定する段階と、
ビットセットをインデックスとして用いることにより、ルックアップテーブル（ＬＵＴ）から値をフェッチする段階であって、上記ビットセットは、上記最大ルマサンプル値および上記最小ルマサンプル値の上記差の上記最上位ビットの上記位置に続く、フェッチする段階と、
フェッチされた上記値に基づいて、線形モデルパラメータαおよび線形モデルパラメータβを取得する段階と、
取得された上記線形モデルパラメータαおよび上記線形モデルパラメータβを用いることにより、予測されるクロマサンプル値を計算する段階と
を備える、方法。
（項目２）
上記最大ルマサンプル値および上記最小ルマサンプル値の上記差の上記最上位ビットの上記位置は、上記差の２の対数として取得される、項目１に記載の方法。
（項目３）
上記差の上記最上位ビットの上記位置に続く上記ビットセットを決定することにより、４つのビットを含む上記ビットセットがもたらされる、項目１または２に記載の方法。
（項目４）
上記最上位ビットは、上記第１の非ゼロビットである、項目１から３のいずれか１つに記載の方法。
（項目５）
上記フェッチされた値と、再構築されたクロマサンプルの最大値および最小値の差とに基づいて、上記線形モデルパラメータαおよび上記線形モデルパラメータβを取得する段階
を備える、項目１から４のいずれか１つに記載の方法。
（項目６）
上記フェッチされた値を上記再構築されたクロマサンプルの上記最大値および上記最小値の上記差により乗算することにより、上記線形モデルパラメータαおよび上記線形モデルパラメータβを取得する段階
を備える、項目５に記載の方法。
（項目７）
上記ＬＵＴは、第１の値、第２の値および第３の値という少なくとも３つの値を含み、
上記３つの値のうち、上記第１の値および上記第２の値は２つの隣接する値であり、上記第２の値および上記第３の値は２つの隣接する値である、
項目１から６のいずれか１つに記載の方法。
（項目８）
上記第１の値と上記第２の値との間の段階は、上記第２の値と上記第３の値との間の段階に等しい、項目７に記載の方法。
（項目９）
上記第１の値と上記第２の値との間の段階は、上記第２の値と上記第３の値との間の段階とは異なる、項目７に記載の方法。
（項目１０）
上記第１の値には第１のビットセットによりインデックスが付され、上記第２の値には第２のビットセットによりインデックスが付され、
上記第１のビットセットの値が上記第２のビットセットの値よりも大きい場合、上記第１の値は、上記第２の値よりも小さく、または、
上記第１のビットセットの値が上記第２のビットセットの値よりも小さい場合、上記第１の値は、上記第２の値よりも大きい、
項目７から９に記載の方法。
（項目１１）
上記ＬＵＴは、複数の値の複数のサブ範囲を含み、任意の２つの隣接する値の段階は、１つのサブ範囲内で一定である、項目１から１０に記載の方法。
（項目１２）
成分間線形モデルを適用することによりブロックのクロマサンプルをイントラ予測するための装置であって、上記装置は、エンコーダまたはデコーダであり、上記装置は、
再構築されたルマサンプルを取得するように構成された取得ユニットであって、上記取得ユニットはさらに、最大ルマサンプル値および最小ルマサンプル値の差を取得するように構成される、取得ユニットと、
上記再構築されたルマサンプルに基づいて、上記最大ルマサンプル値および上記最小ルマサンプル値を決定するように構成された決定ユニットであって、上記決定ユニットはさらに、上記最大ルマサンプル値および上記最小ルマサンプル値の上記差の最上位ビットの位置を決定するように構成される、決定ユニットと、
上記最大ルマサンプル値および上記最小ルマサンプル値の上記差の上記最上位ビットの上記位置に続くビットセットをインデックスとして用いることにより、ルックアップテーブル（ＬＵＴ）から値をフェッチし、フェッチされた上記値に基づいて、線形モデルパラメータαおよび線形モデルパラメータβを取得し、取得された上記線形モデルパラメータαおよび上記線形モデルパラメータβを用いることにより、予測されるクロマサンプル値を計算するように構成された計算ユニットと
を備える、装置。
（項目１３）
上記最大ルマサンプル値および上記最小ルマサンプル値の上記差の上記最上位ビットの上記位置は、上記差の２の対数である、項目１２に記載の装置。
（項目１４）
上記ビットセットは、４つのビットを含む、項目１２または１３に記載の装置。
（項目１５）
上記最上位ビットは、上記第１の非ゼロビットである、項目１２から１４のいずれか１つに記載の装置。
（項目１６）
上記計算ユニットは、上記フェッチされた値と、再構築されたクロマサンプルの最大値および最小値の差とに基づいて、上記線形モデルパラメータαおよび上記線形モデルパラメータβを取得するように構成される、項目１２から１５のいずれか１つに記載の装置。
（項目１７）
上記計算ユニットは、上記フェッチされた値を上記再構築されたクロマサンプルの上記最大値および上記最小値の上記差により乗算することにより、上記線形モデルパラメータαおよび上記線形モデルパラメータβを取得するように構成される、
項目１６に記載の装置。
（項目１８）
項目１から１１のいずれか１つに記載の方法を実行するための処理回路を備えるエンコーダ。
（項目１９）
項目１から１１のいずれか１つに記載の方法を実行するための処理回路を備えるデコーダ。
（項目２０）
項目１から１１のいずれか１つに記載の方法を実行するためのプログラムコードを備えるコンピュータプログラム製品。
（項目２１）
デコーダであって、
１つまたは複数のプロセッサと、
上記プロセッサに連結され、上記プロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、上記プログラミングは、上記プロセッサにより実行された場合、項目１から１１のいずれか１つに記載の方法を実行するよう上記デコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備える、デコーダ。
（項目２２）
エンコーダであって、
１つまたは複数のプロセッサと、
上記プロセッサに連結され、上記プロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、上記プログラミングは、上記プロセッサにより実行された場合、項目１から１１のいずれか１つに記載の方法を実行するよう上記エンコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備える、エンコーダ。
（項目２３）
装置によりデコードされる予測エンコードされたビットストリームを備える非一時的記録媒体であって、上記ビットストリームは、項目１から１１のいずれか１つに従って生成される、非一時的記録媒体。

Claims (23)

1. 成分間線形モデルを適用することによりブロックのクロマサンプルをイントラ予測する方法であって、
   再構築されたルマサンプルを取得する段階と、
   前記再構築されたルマサンプルに基づいて、最大ルマサンプル値および最小ルマサンプル値を決定する段階と、
   前記最大ルマサンプル値および前記最小ルマサンプル値の差を取得する段階と、
   前記最大ルマサンプル値および前記最小ルマサンプル値の前記差の最上位ビットの位置を決定する段階と、
   ビットセットをインデックスとして用いることにより、ルックアップテーブル（ＬＵＴ）から値をフェッチする段階であって、前記ビットセットは、前記最大ルマサンプル値および前記最小ルマサンプル値の前記差の前記最上位ビットの前記位置に続く、フェッチする段階と、
   フェッチされた前記値に基づいて、線形モデルパラメータαおよび線形モデルパラメータβを取得する段階と、
   取得された前記線形モデルパラメータαおよび前記線形モデルパラメータβを用いることにより、予測されるクロマサンプル値を計算する段階と
   を備える、方法。
2. 前記最大ルマサンプル値および前記最小ルマサンプル値の前記差の前記最上位ビットの前記位置は、前記差の２の対数として取得される、請求項１に記載の方法。
3. 前記差の前記最上位ビットの前記位置に続く前記ビットセットを決定することにより、４つのビットを含む前記ビットセットがもたらされる、請求項１または２に記載の方法。
4. 前記最上位ビットは、第１の非ゼロビットである、請求項１から３のいずれか一項に記載の方法。
5. 前記フェッチされた値と、再構築されたクロマサンプルの最大値および最小値の差とに基づいて、前記線形モデルパラメータαおよび前記線形モデルパラメータβを取得する段階
   を備える、請求項１から４のいずれか一項に記載の方法。
6. 前記フェッチされた値を前記再構築されたクロマサンプルの前記最大値および前記最小値の前記差により乗算することにより、前記線形モデルパラメータαおよび前記線形モデルパラメータβを取得する段階
   を備える、請求項５に記載の方法。
7. 前記ＬＵＴは、第１の値、第２の値および第３の値という少なくとも３つの値を含み、
   前記３つの値のうち、前記第１の値および前記第２の値は前記ＬＵＴの２つの隣接するエントリに含まれ、前記第２の値および前記第３の値は前記ＬＵＴの２つの隣接するエントリに含まれる、
   請求項１から６のいずれか一項に記載の方法。
8. 前記第１の値と前記第２の値との間の差は、前記第２の値と前記第３の値との間の差に等しい、請求項７に記載の方法。
9. 前記第１の値と前記第２の値との間の差は、前記第２の値と前記第３の値との間の差とは異なる、請求項７に記載の方法。
10. 前記第１の値には第１のビットセットによりインデックスが付され、前記第２の値には第２のビットセットによりインデックスが付され、
    前記第１のビットセットの値が前記第２のビットセットの値よりも大きい場合、前記第１の値は、前記第２の値よりも小さく、または、
    前記第１のビットセットの値が前記第２のビットセットの値よりも小さい場合、前記第１の値は、前記第２の値よりも大きい、
    請求項７から９のいずれか一項に記載の方法。
11. 前記ＬＵＴは、複数の値の複数のサブ範囲を含み、任意の２つの隣接する値の段階は、１つのサブ範囲内で一定である、請求項１から１０のいずれか一項に記載の方法。
12. 成分間線形モデルを適用することによりブロックのクロマサンプルをイントラ予測するための装置であって、前記装置は、エンコーダまたはデコーダであり、前記装置は、
    再構築されたルマサンプルを取得するように構成された取得ユニットであって、前記取得ユニットはさらに、最大ルマサンプル値および最小ルマサンプル値の差を取得するように構成される、取得ユニットと、
    前記再構築されたルマサンプルに基づいて、前記最大ルマサンプル値および前記最小ルマサンプル値を決定するように構成された決定ユニットであって、前記決定ユニットはさらに、前記最大ルマサンプル値および前記最小ルマサンプル値の前記差の最上位ビットの位置を決定するように構成される、決定ユニットと、
    前記最大ルマサンプル値および前記最小ルマサンプル値の前記差の前記最上位ビットの前記位置に続くビットセットをインデックスとして用いることにより、ルックアップテーブル（ＬＵＴ）から値をフェッチし、フェッチされた前記値に基づいて、線形モデルパラメータαおよび線形モデルパラメータβを取得し、取得された前記線形モデルパラメータαおよび前記線形モデルパラメータβを用いることにより、予測されるクロマサンプル値を計算するように構成された計算ユニットと
    を備える、装置。
13. 前記最大ルマサンプル値および前記最小ルマサンプル値の前記差の前記最上位ビットの前記位置は、前記差の２の対数である、請求項１２に記載の装置。
14. 前記ビットセットは、４つのビットを含む、請求項１２または１３に記載の装置。
15. 前記最上位ビットは、第１の非ゼロビットである、請求項１２から１４のいずれか一項に記載の装置。
16. 前記計算ユニットは、前記フェッチされた値と、再構築されたクロマサンプルの最大値および最小値の差とに基づいて、前記線形モデルパラメータαおよび前記線形モデルパラメータβを取得するように構成される、請求項１２から１５のいずれか一項に記載の装置。
17. 前記計算ユニットは、前記フェッチされた値を前記再構築されたクロマサンプルの前記最大値および前記最小値の前記差により乗算することにより、前記線形モデルパラメータαおよび前記線形モデルパラメータβを取得するように構成される、
    請求項１６に記載の装置。
18. 前記ＬＵＴは、複数の値の複数のサブ範囲を含み、任意の２つの隣接する値の段階は、１つのサブ範囲内で一定である、請求項１２から１７のいずれか一項に記載の装置。
19. 請求項１から１１のいずれか一項に記載の方法を実行するための処理回路を備えるエンコーダ。
20. 請求項１から１１のいずれか一項に記載の方法を実行するための処理回路を備えるデコーダ。
21. プロセッサに、請求項１から１１のいずれか一項に記載の方法を実行するためのプログラム。
22. デコーダであって、
    １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサに連結され、前記１つまたは複数のプロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、前記プログラミングは、前記１つまたは複数のプロセッサにより実行された場合、請求項１から１１のいずれか一項に記載の方法を実行するよう前記デコーダを構成する、非一時的コンピュータ可読記憶媒体と
    を備える、デコーダ。
23. エンコーダであって、
    １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサに連結され、前記１つまたは複数のプロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、前記プログラミングは、前記１つまたは複数のプロセッサにより実行された場合、請求項１から１１のいずれか一項に記載の方法を実行するよう前記エンコーダを構成する、非一時的コンピュータ可読記憶媒体と
    を備える、エンコーダ。

Images