JP6876822B2

JP6876822B2 - ルミナンス情報を用いた量子化パラメーター予測

Info

Publication number: JP6876822B2
Application number: JP2019552262A
Authority: JP
Inventors: プゥー，ファンジュン; ルー，タオラン; イン，ペン; チェン，タオ
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2017-03-21
Filing date: 2018-03-21
Publication date: 2021-05-26
Anticipated expiration: 2038-03-21
Also published as: US20200029078A1; CN110612724A; JP2020515190A; WO2018175638A1; US11166023B2; EP3566440B1; EP3566440A1; CN110612724B

Description

［関連出願の相互参照］
本出願は、２０１７年３月２１日に出願された米国仮出願第６２／４７４，３７２号の利益及び優先権を主張する。この米国仮出願の開示内容を全て本願に援用する。

本発明は、包括的には、画像に関する。より詳細には、本発明の一実施形態は、ルミナンス（luminance：輝度）情報を用いたビデオ符号化及び／又はビデオ復号化並びに量子化パラメーターの予測のシステム及び方法に関する。

ＪＰＥＧ、ＡＶＣ（Ｈ．２６４）、及びＨＥＶＣ（Ｈ．２６５）等の非可逆圧縮方式は、人の視覚系に関係しないと考えられる情報を削減する量子化に依拠している。このため、エンコーダーでは、画像ブロック（又は残差ブロック）が周波数領域に変換された後、周波数領域データは、一般にＱＰと呼ばれる量子化ファクターを用いて量子化され、その後、可逆符号化方式（lossless coding scheme）を用いて更に符号化される。各ブロックの関連したＱＰ値は、符号化ビットストリームの一部として符号化される。受信機では、デコーダーは、送信されたＱＰ値を用いて周波数領域データを逆量子化し、逆量子化された値は、その後、符号化画像又はビデオシーケンスの近似したものを復元するために用いられる。

既存の画像及びビデオの符号化規格は、ブロードキャストコミュニティに十分に役立ってきた。しかしながら、３６０度仮想現実画像又はハイダイナミックレンジ（high−dynamic range）画像等の新しいコンテンツは、既存のツールの能力の限度を越えた無理な使い方をしている。本発明者らの理解において、既存の画像及びビデオの符号化技法を改良するために、画像の量子化及び予測の改良された技法を開発する。

本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。

同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。

ビデオ供給パイプラインの一例示のプロセスを示す図である。隣接（ｎｅｉｇｈｂｏｒ）符号化ブロックの一例を示す図である。本発明の一実施形態による輝度ベースのデルタＱＰ符号化のビットストリームパラメーターを求める一例示の符号化プロセスを示す図である。本発明の一実施形態による輝度ベースのデルタＱＰ符号化のビットストリームパラメーターを求める一例示の符号化プロセスを示す図である。本発明の一実施形態による輝度ベースのデルタＱＰ予測のデコーダーにおけるビットストリームパラメーターを復号化する一例示のプロセスを示す図である。本発明の一実施形態による輝度ベースのデルタＱＰ予測のデコーダーにおけるビットストリームパラメーターを復号化する一例示のプロセスを示す図である。

量子化パラメーター（ＱＰ）予測の方法を本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

概略
本明細書において説明する例示の実施形態は、輝度ベースの量子化パラメーター（ＱＰ）予測の方法に関する。一実施形態では、ビデオデコーダーにおいて、プロセッサは、エンコーダーによって符号化されたＱＰ値に関連したシンタックス要素を含む符号化ビットストリームを受信する。デコーダーは、輝度ベースのＱＰ予測が可能であるか否かを示すビットストリーム内の第１のフラグを調べ、輝度ベースのＱＰ予測が可能であると判断すると、デコーダーは、カスタムＱＰマッピングテーブルがビットストリームに含まれているか否かを示すビットストリーム内の第２のフラグを調べる。このカスタムＱＰマッピングテーブルは、ルミナンス値を、ベースＱＰ値を基準としたデルタＱＰ値に関連付けたものである。デコーダーは、カスタムＱＰマッピングテーブルが含まれていることを検出すると、ビットストリーム内のテーブル関連シンタックス要素のセットを用いてカスタムＱＰマッピングテーブルを読み取る。第２のフラグの値に基づいて、デコーダーは、デフォルトＱＰマッピングテーブル又はカスタムＱＰマッピングテーブルのいずれかとして復号化デルタＱＰマッピングテーブルを選択し、ビットストリーム内の符号化ブロックを復号化するデルタＱＰ値を得る。

一実施形態では、デコーダーは、ビットストリーム内の第３のフラグに従ってデルタＱＰ値を復元する方法を決定する。第３のフラグが第１の値である場合には、デルタＱＰ値は、ビットストリームから抽出される。第３のフラグが第２の値である場合には、ビットストリーム内の現在のブロックについてのデルタＱＰ値は、復号化デルタＱＰマッピングテーブルと、現在のブロックを復号化するために用いられる予測ブロックにおけるルミナンス値の関数とに基づいて生成され、第３のフラグが第３の値である場合には、ビットストリーム内の現在のブロックにつていのデルタＱＰ値は、復号化デルタＱＰマッピングテーブルと、現在のブロックを復号化するために用いられる予測ブロックにおけるルミナンス値の関数と、現在のブロックの１つ以上の隣接ブロックにおけるルミナンス値の関数群とに基づいて生成される。

第２の実施形態では、装置が、非一時的機械可読媒体に記憶されたビットストリームを備え、このビットストリームは、圧縮フォーマットにある画像データと、量子化パラメーター（ＱＰ）値を決定するシンタックス要素とによって特徴付けられ、ＱＰ値を決定するシンタックス要素は、ＱＰ値の輝度ベースの予測が可能であるか否かを示す第１のフラグと、カスタムＱＰマッピングテーブルがビットストリームに含まれているか否かを示す第２のフラグと、第２のフラグが、カスタムＱＰマッピングテーブルがビットストリームに含まれていることを示しているとき、デコーダーがカスタムＱＰマッピングテーブルを読み取ることを可能にするテーブル関連要素のセットとを含む。

一実施形態では、シンタックス要素は、カスタムＱＰマッピングテーブル又はデフォルトＱＰマッピングテーブル及びビットストリーム内の符号化ブロック値のルミナンス値に基づくＱＰ予測の２つ以上のタイプを示す第３のフラグを含むことができる。カスタムＱＰマッピングテーブルは、ルミナンス値をデルタＱＰ値に関連付けるものである。

ビデオ符号化
図１は、ビデオキャプチャーからビデオコンテンツ表示までの様々な段を示す従来のビデオ供給パイプライン１００の一例示のプロセスを示している。ビデオフレーム１０２のシーケンスが、画像生成ブロック１０５を用いてキャプチャー又は生成される。ビデオフレーム１０２は、デジタル方式で（例えば、デジタルカメラによって）キャプチャーされ、又は、コンピューターによって（例えば、コンピューターアニメーションを用いて）生成されることにより、ビデオデータ１０７を提供することができる。或いは、ビデオフレーム１０２は、フィルムカメラによってフィルム上にキャプチャーすることもできる。このフィルムは、デジタルフォーマットに変換されて、ビデオデータ１０７を提供する。プロダクションフェーズ１１０では、ビデオデータ１０７が編集されて、ビデオプロダクションストリーム１１２を提供する。

プロダクションストリーム１１２のビデオデータは、次に、ポストプロダクション編集用のブロック１１５においてプロセッサに提供される。ブロック１１５のポストプロダクション編集は、ビデオクリエーターの創作意図に従って、画像の特定のエリア内の色又は明るさを調整又は変更して、画質を上げたり、その画像が特定の見え方をするようにしたりすることを含み得る。これは、「カラータイミング（color timing）」又は「カラーグレーディング（color grading）」と呼ばれることがある。他の編集（例えば、シーン選択及びシーケンシング、画像クロッピング、コンピューター生成された視覚的特殊効果の追加等）をブロック１１５において行い、配給用のプロダクション最終版１１７を得ることができる。ポストプロダクション編集１１５の間、ビデオ画像は、リファレンスディスプレイ１２５上で視聴される。

ポストプロダクション編集１１５に続いて、最終プロダクションのビデオデータ１１７は、テレビ受像機、セットトップボックス、映画館等の下流側の復号化デバイス及び再生デバイスに供給する符号化ブロック１２０に供給することができる。いくつかの実施形態では、符号化ブロック１２０は、ＡＴＳＣフォーマット、ＤＶＢフォーマット、ＤＶＤフォーマット、Ｂｌｕ−Ｒａｙフォーマット、及び他の供給フォーマットによって規定されているような、符号化ビットストリーム１２２を生成するオーディオエンコーダー及びビデオエンコーダーを備えることができる。受信機では、符号化ビットストリーム１２２は、復号化ユニット１３０によって復号化され、同一の信号１１７又は密接に近似した信号を表す復号化信号１３２が生成される。受信機は、リファレンスディスプレイ１２５と全く異なる特性を有することができるターゲットディスプレイ１４０に取り付けることができる。その場合、ディスプレイマッピングされた信号１３７を生成することによって、ディスプレイ管理ブロック１３５を用いて復号化信号１３２のダイナミックレンジをターゲットディスプレイ１４０の特性にマッピングすることができる。

量子化
従来の画像パイプライン（例えば、１００）では、キャプチャーされた画像１０２は、線形なシーン光を非線形ビデオ信号（例えば、ガンマ符号化ＲＧＢ又はガンマ符号化ＹＣｂＣｒ）に変換する非線形光電気伝達関数（ＯＥＴＦ：opto-electronic function）を用いて量子化される。その後、受信機では、この信号は、ディスプレイ１４０に表示される前に、ビデオ信号値を出力画面色値に変換する電気光伝達関数（ＥＯＴＦ：electro-optical transfer function）によって処理される。そのような非線形関数は、ＩＴＵ−ＲＲｅｃ．ＢＴ．７０９及びＢＴ．２０２０に文書化された従来の「ガンマ」曲線と、ＳＭＰＴＥＳＴ２０８４及びＲｅｃ．ＩＴＵ−ＲＢＴ．２１００に記載されている「ＰＱ」（perceptual quantization：知覚的量子化）曲線とを含む。

ガンマ曲線と比較すると、通常はハイダイナミックレンジ（ＨＤＲ）の画像に適用されるＰＱ曲線は、暗いエリアにはより多くの符号語を割り当て、ハイライトにはより少ない符号語を割り当てる。ＨＤＲ画像の圧縮においては、明るいエリア又はハイライトにより多くのビットを割り当てることが提案されている。ＡＶＣ及びＨＥＶＣ等の従来の符号化方式は、ガンマ符号化ＹＣｂＣｒシーケンスに最適化されているので、１０ビットエンコーダー１２０内においてＰＱ符号化信号を適応させる１つの手法は、符号化の前に再構築関数を入力信号（例えば、１１７）に適用することである［１］［２］。再構築によって、符号語のうちのいくつかはハイライトにシフトされ、このため、符号化効率が改善される。受信機では、デコーダーは、逆再構築関数を復号化信号（例えば、１３２）に適用して、元の入力を回復する必要がある。再構築関数は、フレームレベル又はシーンレベルにおける調整が必要とされる場合があり、このため、ビットストリームにおけるオーバーヘッドが増加し、圧縮効率が低下する。

ＡＶＣ又はＨＥＶＣ等の従来のコーデックでは、量子化パラメーター（ＱＰ）は、映像レベル又はスライスレベルにおいて定義された後、次に、符号化ブロックレベルにおいてＱＰ値を増加又は減少させるために用いることができるデルタＱＰ値（例えば、ＨＥＶＣは、パラメーターｃｕ＿ｑｐ＿ｄｅｌｔａ＿ａｂｓ及びｃｕ＿ｑｐ＿ｄｅｌｔａ＿ｓｉｇｎ＿ｆｌａｇを定義し、これらは、組み合わさって、デルタＱＰ値ｑｐ＿ｄｅｌｔａを定義する）のシーケンスを用いて調整される場合がある。デルタＱＰ値は、比較的小さな値であり、したがって、符号化オーバーヘッドは、通常はかなり小さい。それでもやはり、映像解像度は増加し続け、デルタＱＰ値は、サブマクロブロックレベル、符号化ユニットレベル、又は変換ユニットレベルにおいても提供される場合があるので、そのオーバーヘッドをより一層低減することが有益であり得る。

輝度値に基づくＱＰ値の予測
本発明の実施形態によれば、デルタＱＰ値に起因したオーバーヘッドを低減する１つの手法は、デコーダーが、同じデルタＱＰ値を導出するためにエンコーダーによって用いられるものと同じ技法を用いてデルタＱＰ値を予測することを含む。そのようなシナリオでは、エンコーダーは、デルタＱＰ値を送信する必要がなく、したがって、オーバーヘッドは削減される。

一実施形態では、ＱＰは、２つの変数、すなわち、ブロックルミナンス関連情報（例えば、ピークルミナンス又は平均ルミナンス）を示すＱＰ_LUMと、レート制御及び適応量子化［３］において用いられているブロックアクティビティ（例えば、分散又は標準偏差）、エッジ情報、動き等の他のブロック特徴量を示すΔＱＰ_OTHERとの関数として特徴付けることができる。したがって、以下の式となる。

デルタＱＰ値を導出するために用いられるＱＰ予測値をＱＰ_PREDとする（例えば、ビットストリーム内で実際に符号化されているデルタＱＰ値をｑｐ＿ｄｅｌｔａとすると、ｑｐ＿ｄｅｌｔａ＝ＱＰ−ＱＰ_PRED）。式（１）から、一実施形態では、ＱＰ_PREDは、以下のように表すこともできる。

２つの場合を考えることにする。すなわち、ａ）輝度情報のみに基づくＱＰ予測（すなわち、ΔＱＰ_PRED-OTHER＝０）と、ｂ）輝度及び「他の」情報の双方に基づくＱＰ予測とを考えることにする。これらの２つの場合を次に検討する。

現在のブロックを予測するために用いられるブロックについてのルミナンスの関数をｆ（Ｌ）とする。予測ブロックは、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、変換ユニット（ＴＵ）、４×４ブロック、又は複数の４×４ブロックを含む符号化ブロック等の任意の適したタイプ及び／又はサイズのものとすることができる。例えば、一実施形態では、ｆ（Ｌ）は、平均ルミナンスを表すことができる。他の実施形態では、ｆ（Ｌ）は、ピークルミナンス、中央値ルミナンス、又はルミナンスの他の或る関数を表すことができる。ｆ（Ｌ）は、エンコーダー及びデコーダーの双方に既知であることが予想される。一実施形態では、ＱＰ_PRED-LUM（又は、より好都合なものとして、デルタＱＰ）をｆ（Ｌ）の関数として表すことができる。

ここで、ｄＱＰ＿ＬＵＴ（）は、ブロックルミナンス値の関数をデルタＱＰ値にマッピングする関数（又はルックアップテーブル（ＬＵＴ：look-up-table））を示し、ｂａｓｅＱＰは、エンコーダー及びデコーダーの双方に既知であるＱＰ値（例えば、スライスレベルにおけるＱＰ値）を示す。

いくつかの符号化規格は、２つのブロック（又は３つ以上のブロック）からブロックを予測することができる（例えば、ＡＶＣ及びＨＥＶＣにおける双予測符号化）。そのような場合、ｆ（Ｌ）は、現在のブロックを予測するために用いられる全てのピクセルにおけるルミナンスの関数を表すことができる。

ｆ（Ｌ）値からｄｅｌｔａＱＰ値へのマッピングは、事前に求めて固定しておくこともできるし、ビットストリームシンタックスの一部として定義することもできる。限定ではなく例として、表１（［４］）は、１０ビットデータのそのようなマッピングの一例を提供する。この表において、ｆ（Ｌ）＝Ｌ_AVは、現在のブロックを予測するために用いられる１つ以上のブロックにおける平均ルミナンスを表す。

エンコーダーが、他の特徴量にも基づいてＱＰ調整を行うとき、一実施形態では、隣接ブロック、特にデコーダーに既知であると考えられるブロック、例えば、図２に示すように、その左側ブロック２０９、又はその上側ブロック若しくは最上部ブロック２０７の情報に基づいて、現在のブロック（例えば、２０５）のΔＱＰ_PRED-OTHERを導出することができる。例えば、以下の式となる。

及び

ここで、ｆ（Ｌ_ABOVE）及びｆ（Ｌ_LEFT）は、現在のブロック２０５の上側ブロック２０７及び左側ブロック２０９におけるルミナンス値の関数であり、ｄＱＰ＿ＬＵＴ（）関数は、例えば、表１によって示されるように、輝度の関数に基づいてデルタＱＰ値を求める。したがって、以下の式となる。

好ましい実施形態では、エンコーダーは、デルタＱＰを明示的に送る(signal)（デフォルト）か、予測ブロックのルミナンスに基づくデルタＱＰを送るか、又は予測ブロックのルミナンス及び隣接ブロックのＱＰ値の双方に基づくデルタＱＰを送るかのいずれかの柔軟性を有する。一例として、表２及び表３は、既存のＨＥＶＣ仕様［５］のセクション７．３．２．２．１における「General sequence parameter set RBSP syntax」及び７．３．２．３．１における「General picture parameter set RBSP syntax」を変更することによるビットストリームシンタックスの例を提供している。既存のＨＥＶＣシンタックスを越える新たなビットストリームシンタックス要素は、ボールド体で示されている。

１に等しいｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｌｕｍａ＿ＱＰ＿ｍａｐ＿ＬＵＴ＿ｉｄｃ、ｍｕｍ＿ｐｉｖｏｔ＿ｍｉｎｕｓ１、ｌｕｍａ＿ｐｉｖｏｔ＿ｖａｌｕｅ［ｉ］、及びｄＱＰ＿ｖａｌｕｅ［ｉ］のシンタックス要素がＳＰＳに存在することと、ｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｉｄｃがＰＰＳに存在することとを規定する。０に等しいｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｌｕｍａ＿ＱＰ＿ｍａｐ＿ＬＵＴ＿ｉｄｃ、ｍｕｍ＿ｐｉｖｏｔ＿ｍｉｎｕｓ１、ｌｕｍａ＿ｐｉｖｏｔ＿ｖａｌｕｅ［ｉ］、及びｄＱＰ＿ｖａｌｕｅ［ｉ］のシンタックス要素がＳＰＳに存在しないことと、ｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｉｄｃがＰＰＳに存在しないこととを規定する。ｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しないとき、ｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は、０に等しいと推定される。

ｌｕｍａ＿ｄＱＰ＿ｍａｐ＿ＬＵＴ＿ｉｄｃは、輝度ｄＱＰマップルックアップテーブルを規定する。ｌｕｍａ＿ｄＱＰ＿ｍａｐ＿ＬＵＴ＿ｉｄの値は、０以上２以下の範囲にあるものとする。０に等しいｌｕｍａ＿ｄＱＰ＿ｍａｐ＿ＬＵＴ＿ｉｄｃは、ＨＤＲビデオのデフォルト輝度ｄＱＰＬＵＴを示す。１に等しいｌｕｍａ＿ｄＱＰ＿ｍａｐ＿ＬＵＴ＿ｉｄｃは、ＰＱコンテナー内のＳＤＲビデオのデフォルト輝度ｄＱＰＬＵＴを示す。２に等しいｌｕｍａ＿ｄＱＰ＿ｍａｐ＿ＬＵＴ＿ｉｄｃは、輝度ｄＱＰＬＵＴが以下のように規定されることを示す。ｌｕｍａ＿ｄＱＰ＿ｍａｐ＿ＬＵＴ＿ｉｄｃが存在しないとき、ｌｕｍａ＿ｄＱＰ＿ｍａｐ＿ＬＵＴ＿ｉｄｃの値は、０に等しいと推定される。

ｎｕｍ＿ｅｎｔｒｉｅｓ＿ｍｉｎｕｓ１に１を加えたものは、輝度ｄＱＰマップルックアップテーブル（例えば、ｄＱＰ＿ＬＵＴ（））内のエントリーの数を規定する。

ｌｕｍａ＿ｖａｌｕｅ［ｉ］は、輝度ｄＱＰマップルックアップテーブル内の第ｉのエントリーの輝度値を規定する。

ｄＱＰ＿ｖａｌｕｅ［ｉ］は、輝度ｄＱＰマップルックアップテーブル内の第ｉ番目のエントリーのｄＱＰ値を規定する。

表１に示すように、通常、デルタＱＰ値は、広範囲のルミナンス値に適用される。デルタＱＰマッピングテーブル内のエントリーの数を削減するために、１つの実施形態では、ｌｕｍａ＿ｖａｌｕｅ［ｉ＋１］＞ｌｕｍａ＿ｖａｌｕｅ≧ｌｕｍａ＿ｖａｌｕｅ［ｉ］である場合、ｄＱＰ＿ｖａｌｕｅ＝ｄＱＰ＿ｖａｌｕｅ［ｉ］である。別の実施形態では、デルタＱＰマッピングテーブルは、明示的な境界値を用いて表すことができ、このため、例えば、デルタＱＰマッピング値を読み取る表２のコードは、以下のコードに置き換えることができる。
for(i=0; i<num_entries_minus1+1; i++) {
luma_min_value[i]
luma_max_value[i］
dQP_value[i]
}
また、ｌｕｍａ＿ｍａｘ＿ｖａｌｕｅ［ｉ］＞ｌｕｍａ＿ｖａｌｕｅ≧ｌｕｍａ＿ｍｉｎ＿ｖａｌｕｅ［ｉ］である場合、ｄＱＰ＿ｖａｌｕｅ＝ｄＱＰ＿ｖａｌｕｅ［ｉ］である。

ｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｉｄｃは、どのようなＱＰ予測方法が用いられるのかを示す。ｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｉｄｃの値は、０以上２以下の範囲にあるものとする。０に等しいｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｉｄｃは、ＨＥＶＣにおけるＱＰ予測が用いられることを示す。１に等しいｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｉｄｃは、ＱＰ予測が輝度関連情報しか用いないことを示す。２に等しいｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｉｄｃは、ＱＰ予測が輝度関連情報及び空間隣接情報の双方を用いることを示す。

いくつかの実施形態は、ｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｉｄｃフラグを用いない場合がある。デコーダーは、単に、ｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇ又はｌｕｍａ＿ｄＱＰ＿ｍａｐ＿ＬＵＴ＿ｉｄｃフラグの値を用いて、所定の方法でＱＰ予測を適用することができる。

図３Ａ及び図３Ｂは、一実施形態による、ビットストリームを構築する一例示の符号化プロセスを示している。図３Ａに示すように、ステップ３０５において、エンコーダーは、デルタＱＰ値を通信するための、提案する輝度ベースのＱＰ予測方法（輝度ｄＱＰ）がビットストリームにおいて用いられるか否かを判断する。用いられる場合、ｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に設定される（３１０）。次に（ステップ３１５及び３２５）、エンコーダーは、デフォルトデルタＱＰルックアップテーブルのうちのいずれかを用いるか否かを判断する。限定ではなく例示の選択肢として、ＨＤＲデータのデフォルトテーブル（ステップ３２０）又はＰＱＥＯＴＦを用いたＳＤＲデータのデフォルトテーブル（ステップ３３０）の選択肢が提供される。或いは（ステップ３３５において）、エンコーダーは、ビットストリームにおいてカスタムデルタＱＰＬＵＴを符号化することができる。これらのデルタＱＰＬＵＴ定義が与えられると、図３Ｂに示すように、映像及び／又はスライスごとに、エンコーダーは、ＱＰ値を求め、デルタＱＰを通信する方法、すなわち、ａ）デフォルト方法を用いて通信する方法（ステップ３４０及び３４５）、ｂ）輝度情報のみに基づく予測を用いて通信する方法（ステップ３５０及び３５５）（式（３）参照）、又はｃ）輝度情報及び「他の」（例えば、隣接）情報の双方に基づく予測を用いて通信する方法（式（４）〜（６）参照）（ステップ３６０）を決定する（３３７）。

いくつかの実施形態では、デフォルトｄＱＰＬＵＴを選択する選択肢がない場合がある。他の実施形態では、シンタックスは、３つ以上のｄＱＰＬＵＴの使用をサポートすることができる。

図４Ａ及び図４Ｂは、一実施形態による、ビットストリームを復号化し、輝度ベースのデルタＱＰ予測を適用する一例示のプロセスを示している。図４Ａに示すように、デコーダーは、ビットストリームをパースした（４０５）後、ステップ４１０において、輝度ベースのＱＰ予測が可能であるか否かを検出する。輝度ベースのＱＰ予測が検出された場合、デコーダーは、デフォルトデルタＱＰテーブルを用いてビットストリームを復号化することができるのか否か（ステップ４１５、４２０、４２５、及び４３０）、又は、ビットストリームに埋め込まれた新たなテーブルを用いてビットストリームを復号化することができるのか否か（ステップ４３５及び４４０）を判断する必要がある。エンコーダーの選択肢に応じて、異なるデフォルトテーブル、例えば、ＨＤＲ符号化データのデフォルトテーブル及びＳＤＲ符号化データのデフォルトテーブルを定義することができる。

いずれかのデルタＱＰＬＵＴの構築した後、プロセスは、デルタＱＰ値（Ｃ）を実際に求めることに進む。図４Ｂに示すように、この部分は、全ての映像及び全てのスライスにわたって繰り返すことができる。ｌｕｍａ＿ｑｐ＿ｐｒｅｄｉｃｔｉｏｎ＿ｉｄｃの値（例えば、０、１、又は２）を検査して（ステップ４５０、４６０、及び４７０参照）、デコーダーは、デルタＱＰが、ａ）デフォルト方法を用いて通信されたのか（ステップ４５０及び４５５）、ｂ）輝度情報のみに基づく予測を用いて通信されたのか（ステップ４６０及び４６５）（式（３）参照）、又はｃ）輝度情報及び「他の」（例えば、隣接）情報の双方に基づく予測を用いて通信されたのか（式（４）〜（６）参照）（ステップ４７０及び４７５）を判断することができる。デルタＱＰ値が与えられると、デコーダーは、以下のように、ＱＰ値を生成してブロックを復号化し得る。

引用文献
以下の引用文献の全内容が本明細書に援用される。
［１］J. Froehlich他による国際公開第２０１６／１４０９５４号「Content-Adaptive Perceptual Quantizer for High Dynamic Range Images」
［２］「Comments on Reshaping for HDR/WCG compression」MPEG input document, M37267, October 2015, Geneva, CH
［３］T. Lu他による米国特許出願公開第２０１６／０１３４８７０号「Rate Control Adaptation for High-Dynamic Range Images」
［４］「Conversion and Coding Practices for HDR/WCG Y'CbCr 4:2:0 Video with PQ Transfer Characteristics」Technical Report ISO/IEC 23008-14 (2017)
［５］Rec. H.265「High efficiency video coding」ITU-T, 10/2014

コンピューターシステム実装例
本発明の実施形態は、コンピューターシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピューターおよび／またはＩＣは、本明細書に記載のような量子化パラメーター予測に関する命令を行い、制御し、または実行し得る。このコンピューターおよび／またはＩＣは、本明細書に記載の量子化パラメーター予測に関する様々なパラメーターまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。

本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダー、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のような量子化パラメーター予測に関する方法を実装し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピューター読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピューター可読信号は、任意に、圧縮または暗号化されていてもよい。

上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

均等物、拡張物、代替物、その他
量子化パラメーター予測に関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。

Claims

画像および／またはビデオデコーダーにおける、プロセッサを用いた輝度ベースの量子化パラメーター（ＱＰ）予測の方法であって、
エンコーダーによって符号化されたＱＰ値に関連したシンタックス要素を含む符号化ビットストリームを受信することと、
輝度ベースのＱＰ予測が可能であるか否かを示す前記ビットストリーム内の第１のフラグを調べ、輝度ベースのＱＰ予測が可能であると判断すると、
カスタムのＱＰマッピングルックアップテーブルが前記ビットストリームに含まれているか否かを示す前記ビットストリーム内の第２のフラグを調べ、ここで、ＱＰマッピングルックアップテーブルは、ブロックルミナンス値の関数をデルタＱＰ値にマッピングし、前記カスタムのＱＰマッピングルックアップテーブルが含まれていることを検出すると、前記ビットストリーム内の、ＱＰマッピングルックアップテーブルシンタックスパラメータのセットを含むＱＰマッピングルックアップテーブルシンタックス要素のセットを用いて前記カスタムのＱＰマッピングルックアップテーブルを読み取ることと、
前記第２のフラグの値に基づいて、復号化デルタＱＰマッピングルックアップテーブルをデフォルトのＱＰマッピングルックアップテーブル又は前記カスタムのＱＰマッピングルックアップテーブルとして選択することと、
前記復号化デルタＱＰマッピングルックアップテーブルに基づいてデルタＱＰ値を生成することと、ここで、前記デルタＱＰ値を生成することは、
前記ビットストリーム内の第３のフラグの値に従って前記デルタＱＰ値を復元する方法を決定することをさらに含み、ここで、前記第３のフラグは、前記カスタムのＱＰマッピングルックアップテーブル又は前記デフォルトのＱＰマッピングルックアップテーブル、及び前記ビットストリーム内の符号化ブロックにおけるルミナンス値に基づくＱＰ予測の１つ以上のタイプを示し、
ここで前記ＱＰ予測の１つ以上のタイプは、
前記第３のフラグが第１の値である場合には、前記デルタＱＰ値は前記ビットストリームから抽出される、デフォルトタイプと、
前記第３のフラグが第２の値である場合には、前記ビットストリーム内の現在のブロックについての前記デルタＱＰ値は、前記復号化デルタＱＰマッピングルックアップテーブルと、前記現在のブロックを復号化するために用いられる予測ブロックにおけるルミナンス値の関数とに基づいて生成される、第１の予測タイプと、
前記第３のフラグが第３の値である場合には、前記ビットストリーム内の前記現在のブロックについての前記デルタＱＰ値は、前記復号化デルタＱＰマッピングルックアップテーブルと、前記現在のブロックを復号化するために用いられる前記予測ブロックにおけるルミナンス値の関数と、前記現在のブロックの１つ以上の隣接ブロックにおけるルミナンス値の関数群とに基づいて生成される、第２の予測タイプと、を含んでおり、
復元したデルタＱＰ値に基づいて、前記デルタＱＰ値をベースＱＰ値に加算することによってＱＰ値を生成してビットストリーム中における符号化ブロックを復号し、前記ベースＱＰ値は前記エンコーダーおよび前記デコーダーの両方に既知の値を示す、こととを、含み、
前記第３のフラグが前記第３の値である場合には、前記デルタＱＰ値（ｄｅｌｔａＱＰ）は、以下のように生成され、

ここで、

及び

であり、ＱＰ_ABOVEは、前記現在のブロックの上側のブロックのＱＰ値を示し、ＱＰ_LEFTは、前記現在のブロックの左側のブロックのＱＰ値を示し、ｄＱＰ＿ＬＵＴ（）は、前記復号化デルタＱＰマッピングルックアップテーブルを示し、ｆ（Ｌ）は、前記予測ブロックにおけるルミナンス値の関数を示し、ｆ（Ｌ_ABOVE）は、前記現在のブロックの前記上側のブロックにおけるルミナンス値の関数を示し、ｆ（Ｌ_LEFT）は、前記現在のブロックの前記左側のブロックにおけるルミナンス値の関数を示す、方法。
前記ビットストリーム内の前記ＱＰマッピングルックアップテーブルシンタックスパラメータのセットは、テーブルエントリーの数を示す変数と、各テーブルエントリーについて、ルミナンス値及びその対応するデルタＱＰ値とを含む、請求項１に記載の方法。
前記予測ブロックにおける前記ルミナンス値の関数は、前記予測ブロック内のピクセルのルミナンス値の平均を含む、請求項１に記載の方法。
前記第３のフラグが前記第２の値である場合には、前記デルタＱＰ値（ｄｅｌｔａＱＰ）は、以下のように生成され、

ここで、ｄＱＰ＿ＬＵＴ（）は、前記復号化デルタＱＰマッピングルックアップテーブルを示し、ｆ（Ｌ）は、前記現在のブロックを復号化するために用いられる前記予測ブロックにおける前記ルミナンス値の関数を示す、請求項１に記載の方法。
ｆ（）は、検討対象ブロック内のピクセルの前記ルミナンス値の平均を示す、請求項１に記載の方法。
画像および／またはビデオエンコーダーにおいて、プロセッサを用いて符号化ビットストリームを生成する方法であって、前記ビットストリームは、輝度ベースの量子化パラメーター（ＱＰ）予測をサポートし、該方法は、
第１のフラグを、輝度ベースのＱＰ予測が前記ビットストリームにおいて可能であることを示す値に設定することと、
第２のフラグを、輝度ベースのＱＰ予測がデフォルトのＱＰマッピングルックアップテーブルを利用するのか、又は、ルミナンス値の範囲をデルタＱＰ値にマッピングするカスタムのＱＰマッピングルックアップテーブルを利用するのかを示す値に設定することと、ここで、ＱＰマッピングルックアップテーブルは、ブロックルミナンス値の関数をデルタＱＰ値にマッピングし、
前記カスタムのＱＰマッピングルックアップテーブルが前記ビットストリームに含まれているとき、デコーダーが前記カスタムのＱＰマッピングルックアップテーブルを読み取ることができるように、ＱＰマッピングルックアップテーブルシンタックス要素のセットに含まれるＱＰマッピングルックアップテーブルシンタックスパラメーターのセットに値を設定することと、
デルタＱＰ値を復元して、復元したデルタＱＰ値をベースＱＰ値に加算することによってＱＰ値を生成するために、第３のフラグを、前記カスタムのＱＰマッピングルックアップテーブル又はデフォルトのＱＰマッピングルックアップテーブル、及び前記ビットストリーム内の符号化ブロックにおけるルミナンス値に基づくＱＰ予測の１つ以上のタイプを示す値に設定すること、ここで、ベースＱＰ値は前記エンコーダーおよび前記デコーダーの両方に既知の値を示し、前記ＱＰ予測の１つ以上のタイプは、以下を含む：
前記デルタＱＰ値が前記ビットストリームに埋め込まれている、デフォルトタイプ、
前記ビットストリーム内の現在のブロックについての前記デルタＱＰ値が、復号化デルタＱＰマッピングルックアップテーブルと、前記現在のブロックを復号化するために用いられる予測ブロックにおけるルミナンス値の関数とに基づいて生成される、第１の予測タイプであって、前記復号化デルタＱＰマッピングルックアップテーブルは、前記第２のフラグの値に基づいて決定され、前記デフォルトのＱＰマッピングルックアップテーブル又は前記カスタムのＱＰマッピングルックアップテーブルを含む、第１の予測タイプ、および
前記ビットストリーム内の前記現在のブロックについての前記デルタＱＰ値が、前記復号化デルタＱＰマッピングルックアップテーブルと、前記現在のブロックを復号化するために用いられる前記予測ブロックにおけるルミナンス値の関数と、前記現在のブロックの１つ以上の隣接ブロックにおけるルミナンス値の関数群とに基づいて生成される、第２の予測タイプであって、ここで、前記デルタＱＰ値（ｄｅｌｔａＱＰ）は、以下のように生成され、

ここで、

及び

であり、ＱＰ_ABOVEは、前記現在のブロックの上側のブロックのＱＰ値を示し、ＱＰ_LEFTは、前記現在のブロックの左側のブロックのＱＰ値を示し、ｄＱＰ＿ＬＵＴ（）は、前記復号化デルタＱＰマッピングルックアップテーブルを示し、ｆ（Ｌ）は、前記予測ブロックにおけるルミナンス値の関数を示し、ｆ（Ｌ_ABOVE）は、前記現在のブロックの前記上側のブロックにおけるルミナンス値の関数を示し、ｆ（Ｌ_LEFT）は、前記現在のブロックの前記左側のブロックにおけるルミナンス値の関数を示す、第２の予測タイプ、を含む、方法。
前記ビットストリーム内の前記ＱＰマッピングルックアップテーブルシンタックスパラメーターのセットは、テーブルエントリーの数を示す変数と、各テーブルエントリーについて、ルミナンス値及びその対応するデルタＱＰ値とを含む、請求項６に記載の方法。
プロセッサを備え、請求項１から７のいずれか１項に記載の方法を実行するように構成された装置。
１つ以上のプロセッサを用いて、請求項１から７のいずれか１項に記載の方法を実行するコンピューター実行可能命令を含むコンピュータプログラム。