JP7114653B2 - 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム - Google Patents

Description

本開示は、高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）および／または広色域（ＷＣＧ：Ｗｉｄｅ Ｃｏｌｏｒ Ｇａｍｕｔ）映像シーケンスの映像符号化および復号化の分野に関し、特に、入力映像シーケンスのコンテンツ特性に基づいて、線形入力値を符号化および復号化可能な非線形値に適応変換する方法に関する。

ＨＤＲ映像およびＷＣＧ映像は、従来の標準ダイナミックレンジ（ＳＤＲ：Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）映像よりも広範な輝度および色値を与える。たとえば、従来の映像は、輝度および色の範囲が制限され得るため、画像の取り込み、符号化、および／または表示に際して、暗部またはハイライトの詳細が失われてしまう可能性がある。これに対して、ＨＤＲおよび／またはＷＣＧ映像では、より広範な輝度および色情報を取り込めるため、映像がより自然かつ実際に近い形で人間の眼に映ることになる。

しかし、ＭＰＥＧ－４高度映像符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）および高効率映像符号化（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の多くの一般的な映像符号化・復号化方式は、ＨＤＲまたはＷＣＧ映像を直接取り扱うようには設計されていない。このため、ＨＤＲおよびＷＣＧ映像情報は通常、他のフォーマットに変換した後にのみ、映像圧縮アルゴリズムを用いて符号化可能となる。

たとえば、ＥＸＲファイルフォーマット等のＨＤＲ映像フォーマットでは、１０個の有効ビット、５個の指数ビット、および１つの符号ビットを有する１６ビット半精度浮動小数点数によって、赤、緑、青（ＲＧＢ）色空間の色を記述する。これらの値は、幅広い潜在的な強度および色値を網羅する。ＳＤＲ映像では、８または１０ビット値を用いて、非ＨＤＲおよび非ＷＣＧ映像の色を表現する。既存の多くの映像圧縮アルゴリズムは、ＳＤＲ映像との併用を意図しているため、８または１０ビット値を受信するものと予想される。実質的に映像の解像度を損なったり大きな歪みを招いたりすることなく、１６ビットの半精度浮動小数点数を圧縮アルゴリズムと協働し得る１０ビット値へと量子化するのは、困難である。

一部の符号化器では、均一量子化の前に、符号化伝達関数を用いて、入力映像の線形値を非線形値に変換する。非限定的な一例として、符号化伝達関数には、符号化器に与えられた８または１０ビット値によってより広い範囲が表され得るように量子化範囲の一端または両端で色値を圧縮するガンマ関数を含んでいてもよい。ただし、符号化器が符号化伝達関数を用いて線形入力値を非線形値に変換する場合であっても、符号化伝達関数は、入力映像のコンテンツによって変化することのないように、固定されるようになっていてもよい。たとえば、符号化器の符号化伝達関数は、８ビット値の場合の０～２５５または１０ビット値の場合の０～１０２３の範囲の特定の非線形値に対して、０～１０，０００ニト（ｎｉｔ）（カンデラ毎平方メートルすなわちｃｄ／ｍ^２）等、ＨＤＲ範囲の考え得るすべての入力値を静的にマッピングするように規定可能である。ただし、入力映像が該範囲の一部のみの入力値を含む場合は、固定マッピングによって量子化レベルの割り当てが不十分となり、再生画像内に量子化歪みが生じる可能性がある。たとえば、主として青空を示す画像は、多くの類似する青色を有し得るが、これらの青色は、符号化伝達関数が規定される全体範囲の小さな部分を占有し得る。このため、類似する青色は、同じ値へと量子化される可能性がある。この量子化は、視聴者によって輪郭削りまたはバンディングと受け止められ得る場合が多く、色調間のより自然な遷移の代わりとして、量子化された青色が画面上に表示された空全体でバンド状に拡がる。

また、人間の視覚系に関する精神物理学的研究から、特定の場所におけるコントラストレベルに対する視聴者の感度は、その場所自体の実際のレベルよりも周囲の場所の平均輝度に、より大きく依存し得る得ることが分かっている。しかし、多くの符号化伝達関数では、このことを考慮に入れておらず、代わりに、周囲の画素の特性を考慮に入れない固定変換関数または表を使用する。

符号化器および復号化器を備えた映像符号化システムの一実施形態を示した図。 最大２つの色ボリューム変換プロセスおよび２つの伝達関数を用いて、入力ＨＤＲおよび／またはＷＣＧ映像シーケンスを非ＨＤＲ・非ＷＣＧ映像符号化器と互換性のある符号化ビットストリームへと符号化するとともに、逆色ボリューム変換プロセスおよび伝達関数を用いた相補映像復号化器によって該符号化ビットストリームを復号化映像へと復号化するプロセスの第１の例を示した図。 最大２つの色ボリューム変換プロセスおよび２つの伝達関数を用いて、入力ＨＤＲおよび／またはＷＣＧ映像シーケンスを非ＨＤＲ・非ＷＣＧ映像符号化器と互換性のある符号化ビットストリームへと符号化するとともに、逆色ボリューム変換プロセスおよび伝達関数を用いた相補映像復号化器によって該符号化ビットストリームを復号化映像へと復号化するプロセスの第１の例を示した図。 非ＨＤＲ・非ＷＣＧ映像符号化器および復号化器を用いて入力ＨＤＲおよび／またはＷＣＧ映像シーケンスを符号化および復号化するプロセスであって、符号化器が使用する符号化伝達関数が知覚正規化動作と組み合わされ、復号化器が使用する逆符号化伝達関数が逆知覚正規化プロセスと組み合わされた、プロセスの第２の例を示した図。 非ＨＤＲ・非ＷＣＧ映像符号化器および復号化器を用いて入力ＨＤＲおよび／またはＷＣＧ映像シーケンスを符号化および復号化するプロセスであって、符号化器が使用する符号化伝達関数が知覚正規化動作と組み合わされ、復号化器が使用する逆符号化伝達関数が逆知覚正規化プロセスと組み合わされた、プロセスの第２の例を示した図。 入力ＨＤＲおよび／またはＷＣＧ映像シーケンスを符号化ビットストリームへと符号化および復号化するプロセスであって、再構成ＨＤＲおよび／またはＷＣＧシーケンスから導出された基準フレームを符号化器および復号化器が使用する、プロセスの第３の例を示した図。 入力ＨＤＲおよび／またはＷＣＧ映像シーケンスを符号化ビットストリームへと符号化および復号化するプロセスであって、再構成ＨＤＲおよび／またはＷＣＧシーケンスから導出された基準フレームを符号化器および復号化器が使用する、プロセスの第３の例を示した図。 符号化器においてＳＤＲ映像データを使用する符号化および復号化プロセスであって、線形ＳＤＲ等級ＲＧＢ画像から生成されたトーンマップを使用することにより、復号化器においてＳＤＲおよびＨＤＲ画像データを同時に生成する、プロセスの第４の例を示した図。 符号化器においてＳＤＲ映像データを使用する符号化および復号化プロセスであって、線形ＳＤＲ等級ＲＧＢ画像から生成されたトーンマップを使用することにより、復号化器においてＳＤＲおよびＨＤＲ画像データを同時に生成する、プロセスの第４の例を示した図。 符号化段階において符号化伝達関数の後かつ量子化の前にパラメトリックトーンマッピングプロセスを採用し、復号化段階において逆量子化の後かつ逆符号化伝達関数の前に相補逆パラメトリックトーンマッピングプロセスを採用する符号化および復号化プロセスの第５の例を示した図。 符号化段階において符号化伝達関数の後かつ量子化の前にパラメトリックトーンマッピングプロセスを採用し、復号化段階において逆量子化の後かつ逆符号化伝達関数の前に相補逆パラメトリックトーンマッピングプロセスを採用する符号化および復号化プロセスの第５の例を示した図。 図６Ａおよび図６Ｂに示した符号化および復号化プロセスの変形例であって、三次元（３Ｄ）ルックアップテーブルを用いることにより、トーンマッピングおよび逆トーンマッピングプロセスが実行される、変形例を示した図。 図６Ａおよび図６Ｂに示した符号化および復号化プロセスの変形例であって、三次元（３Ｄ）ルックアップテーブルを用いることにより、トーンマッピングおよび逆トーンマッピングプロセスが実行される、変形例を示した図。 図６Ａおよび図６Ｂに示した符号化および復号化プロセスの変形例であって、３つの一次元（１Ｄ）ルックアップテーブルを用いることにより、トーンマッピングおよび逆トーンマッピングプロセスが実行される、変形例を示した図。 図６Ａおよび図６Ｂに示した符号化および復号化プロセスの変形例であって、３つの一次元（１Ｄ）ルックアップテーブルを用いることにより、トーンマッピングおよび逆トーンマッピングプロセスが実行される、変形例を示した図。 ガンマ圧縮伝達関数の例示的なプロットを示した図。 ガンマ展開伝達関数の例示的なプロットを示した図。 知覚量子化伝達関数の例示的なプロットを示した図。 入出力データの相対的量子化として表されたウェーバーの法則（Ｗｅｂｅｒ ｌａｗ）の伝達関数の例示的なプロットを示した図。 入出力データの相対的量子化として表されたスティーブンスの法則（Ｓｔｅｖｅｎｓ’ ｌａｗ）の伝達関数の例示的なプロットを示した図。

本開示は、符号化に先立って、高ダイナミックレンジ（ＨＤＲ）および／または広色域（ＷＣＧ）画像データを表すデータに適応前処理を適用するとともに、復号化後のデータに相補後処理を適用して、ＨＤＲおよび／またはＷＣＧデータの少なくとも部分的な再生を可能にするデジタル映像データの符号化方法を記載する。これらの例示的な方法では、量子化に先立って、１つまたは複数の色空間変換および知覚伝達関数をデータに適用する。また、これらの例示的な方法では、復号化後に、逆知覚伝達関数および逆色空間変換を適用して、ＨＤＲおよび／またはＷＣＧデータを復元する。伝達関数は、異なるフレーム群、個別フレーム、または処理ウィンドウ等のフレームのサブコンポーネントを含む異なる映像データセットに対して異なる伝達関数が適用可能となるように適応的である。データセットに関する情報および適用伝達関数に関する情報は、メタデータとして符号化器から復号化器に受け渡される。

本発明のさらなる詳細については、添付の図面を用いて説明する。
後述の例示的なシステムおよび方法では、ＨＥＶＣ（高効率映像符号化）、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（高度映像符号化）、またはＭＰＥＧ－２符号化器等の非ＨＤＲ・非ＷＣＧ符号化器によって量子化および符号化された後、再構成によって、受信機でＨＤＲおよび／またはＷＣＧデータの少なくとも一部が復元され得るように、符号化伝達関数の適応または他の形でのＨＤＲおよび／またはＷＣＧ映像データの変換および／または再分配によって、ＨＤＲおよび／またはＷＣＧ映像を効果的に圧縮する。伝達関数は、画像群、画像、または入力映像の副画像ウィンドウのレベルの実際の映像コンテンツに基づいていてもよい。これらの映像プロセスは、潜在的なあらゆる値全体の代わりに、入力映像データ内に実際に存在する色および／または強度情報を表す非線形値の曲線またはトーンマップを生成することにより実現されるようになっていてもよい。このため、非線形値が均一に量子化される場合、均一量子化により導かれるノイズおよび／または歪みは、人間の視聴者に気付かれにくいように、最小限に抑えることができる。また、符号化用の入力映像データを作成するために実行される処理に関するメタデータ情報は、映像データの復号化に際して対応する逆動作を復号化器が実行できるように、復号化器に送信される。

図１は、符号化システム１００および復号化システム１５０を備えた映像符号化システムの一実施形態を示している。符号化システム１００は、プロセッサ（デジタルシグナルプロセッサ（ＤＳＰ）または特殊映像プロセッサを含む）、メモリ、回路、ならびに／または入力映像を符号化ビットストリーム１０９へと符号化、コード変換、および／もしくは圧縮するように構成された他のハードウェアおよびソフトウェア要素を備え得る。符号化システム１００は、ＨＥＶＣ（高効率映像符号化）、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（高度映像符号化）、またはＭＰＥＧ－２等の映像符号化フォーマットおよび／または圧縮方式に従って、符号化ビットストリーム１０９を生成するように構成可能である。非限定的な一例として、いくつかの実施形態においては、符号化器１００がＭａｉｎ１０ＨＥＶＣ符号化器であってもよい。

例示的な符号化システム１００は、映像源１０２からＨＤＲおよび／またはＷＣＧ映像データを受信する。システム１００は、基準画像キャッシュ１１８の基準画像に基づいて、符号化器１０６（たとえば、Ｍａｉｎ１０ＨＥＶＣ符号化器）により符号化され得るようにＨＤＲおよび／またはＷＣＧデータを適応的に処理するプリプロセッサ１０４を具備する。符号化データは、送信機１０８を用いることにより、ビットストリーム１０９として復号化システム１５０の受信機１１０に送信されるようになっていてもよい。送信機および受信機は、有線、無線、または光学接続等、任意の送信方法を使用するようにしてもよい。一実施形態において、送信機は、符号化映像データをインターネットプロトコル（ＩＰ）パケットとして書式設定するとともに、これらのＩＰパケットをネットワーク上で受信機１１０に送信するようにしてもよい。ネットワークは、直交振幅変調（ＱＡＭ：Ｑｕａｄｒａｔｕｒｅ Ａｍｐｌｉｔｕｄｅ Ｍｏｄｕｌａｔｉｏｎ）等のデジタル送信メカニズムを用いたデジタルケーブルテレビ接続であってもよい。また、ネットワークは、有線ケーブルネットワーク、光ファイバネットワーク、または無線ネットワークであってもよい。また、ネットワークは、プライベートネットワークまたはグローバル情報ネットワーク（たとえば、インターネット）であってもよい。符号化映像データの送信のほか、送信機１００は、プリプロセッサ１０４により実行された処理を記述したメタデータ１２２を送信する。メタデータ１２２は、別個の信号として示されているものの、たとえば、ビットストリームまたは画像群（ＧＯＰ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅ）、画像、スライス、マクロブロックのヘッダ中の補助強化情報（ＳＥＩ：ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）または映像有用性情報（ＶＵＩ：ｖｉｄｅｏ ｕｓａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）として、ビットストリーム１０９に含まれていてもよい。ＳＥＩまたはＶＵＩは、入力画像データおよび識別処理ウィンドウ上で符号化器により実行された処理を規定した特定のメタデータのｘおよびｙ座標により規定された矩形処理ウィンドウを識別していてもよい。

復号化システム１５０は、プロセッサ、メモリ、回路、ならびに／または受信機１１０でビットストリーム１０９を受信するとともに、符号化ビットストリーム１０９を復号化ＨＤＲおよび／もしくはＷＣＧ映像へと復号化、コード変換、および／もしくは展開してディスプレイ１１６上に提示するように構成された他のハードウェアおよびソフトウェア要素を備え得る。復号化システム１５０は、ＨＥＶＣ、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ、またはＭＰＥＧ－２等の映像符号化フォーマットおよび／または圧縮方式に従って、符号化ビットストリーム１０９を復号化するように構成可能である。非限定的な一例として、いくつかの実施形態においては、復号化器１１２がＭａｉｎ１０ＨＥＶＣ復号化器であってもよい。映像データは、復号化後、符号化器から受信したメタデータに応答して、プリプロセッサ１０４により実行された処理を逆にしてＨＤＲおよび／またはＷＣＧ映像データを再生成するポストプロセッサ１１４により処理される。復号化ＨＤＲおよび／またはＷＣＧ映像データは、表示装置に出力して、テレビ、モニタ、または他のディスプレイ１１６上等で再生することができる。

いくつかの実施形態において、符号化システム１００および／または復号化システム１５０としては、専用ハードウェア装置が可能である。他の実施形態において、符号化システム１００および／または復号化システム１５０としては、サーバ、コンピュータ、または映像処理装置等の他のハードウェア上で動作するソフトウェアプログラムが可能であり、または、そのようなソフトウェアプログラムを使用することが可能である。非限定的な一例として、符号化システム１００としては、映像サービスプロバイダが運用する映像符号化器が可能である一方、復号化システム１５０としては、消費者テレビディスプレイに接続されたケーブルボックス等のセットトップボックスの一部が可能である。

映像源１０２が提供する入力映像データには、フレーム、または画像エッセンス、または映像データセットとも称する一連の画像を含み得る。いくつかの実施形態において、画像内の色は、色空間または色モデルに応じた１つまたは複数の値を用いて、デジタル的に記述することができる。非限定的な一例として、画像内の色は、ＲＧＢ色モデルを用いて示すことができ、赤色チャネル、緑色チャネル、および青色チャネルの値の組み合わせによって色が記述される。

入力映像データとしては、高ダイナミックレンジ（ＨＤＲ）および／または広色域（ＷＣＧ）で記述された輝度および／または色値を伴う１つまたは複数のフレームシーケンスを有するＨＤＲ映像データセットが可能である。非限定的な一例として、高ダイナミックレンジの映像は、非ＨＤＲ映像よりも広範な考え得る値を伴う規模で輝度値を示すことができ、広色域を有する映像は、少なくとも一部のチャネルにおいて、非ＷＣＧ映像よりも広範な考え得る値を伴う色モデル上で色を表すことができる。このため、ＨＤＲ入力映像は、標準または非ＨＤＲ映像よりも広範な輝度および／または色値を有し得る。

いくつかの実施形態において、ＨＤＲ入力映像データは、色チャネル当たり８または１０ビット等のより少ないビット深度で色値を表す非ＨＤＲフォーマットに対して、高ビット深度フォーマットのＲＧＢ値で色を示すことができる。非限定的な一例として、ＨＤＲ入力映像データとしては、色チャネルごとに（１０個の有効ビット、５つの指数ビット、および１つの符号ビットを有する）１６ビットの浮動小数点数を用いた線形明色ＲＧＢ領域で表されるＲＧＢ色値を伴うＥＸＲファイルフォーマットが可能である。

図２Ａに示すように、符号化システム２００は、Ｍａｉｎ１０ＨＥＶＣ符号化器等の既存の符号化器２１６を用いて処理データを１０ビット値に量子化し、色情報をダウンサンプリングし、結果データを符号化する前に、線形ＨＤＲ ＲＧＢデータに対して、第１の（中間）色変換動作（色ボリューム変換）２０２、第１の伝達関数２０４、第２の（最終）色変換動作２０６、第２の（符号化）伝達関数２０８、および任意選択としての知覚正規化動作２１０を適用することができる。ブロック２０２、２０４、２０６、２０８、および２１０は、映像のコンテンツの１つまたは複数の特性に基づいて、映像源２０２からの線形ＨＤＲ ＲＧＢ値を非線形曲線上の値に変換する圧縮・知覚マッピング動作を実行する。

非限定的な例として、知覚マッピング動作は、最小輝度、平均輝度、ピーク輝度、最大コントラスト比、累積分布関数、ならびに／または映像データセットもしくはその一部におけるその他任意の因子に基づいて、データセットの全部または一部のコンテンツに合わせることができる。いくつかの実施形態において、このような特性は、さまざまな処理段階における映像の色成分または輝度成分のヒストグラムまたは統計解析によって見出し得る。一例においては、知覚伝達関数または知覚トーンマッピング動作の適用に先立って、デジタル画像データが処理ウィンドウへとセグメント化されるようになっていてもよい。各処理ウィンドウの１つまたは複数の成分（たとえば、Ｙ’ＣｂＣｒ）の解析によって、たとえば最小サンプル値、最大サンプル値、平均サンプル値、値、および最大コントラスト（たとえば、最小サンプル値と最大サンプル値との差）を決定するようにしてもよい。これらの値は、単一の成分または２つ以上の成分の組み合わせに対して計算されるようになっていてもよい。また、これらの値は、符号化伝達関数および知覚正規化器に、またはトーンマッピングプロセスに適用されて、処理ウィンドウに適用する知覚マッピングを決定する。

例示的な知覚マッピングは、グローバルまたはローカルの範囲で入力映像データのコンテンツに合わせた非線形曲線上に線形色情報を再分配して、図２Ｂに示す復号化システム２２０のＨＤＲ映像データとして復号化および再構成され得るように、符号化器２１６を用いてＨＤＲ映像データをより効率的に符号化できるようにする。後述の通り、線形色値を他の色空間に変換するとともに、入力映像のコンテンツに基づいて非線形曲線を適用することにより、均一量子化動作において歪みおよび／またはノイズが導かれるリスクを抑えつつ、再構成画像においてＨＤＲおよび／またはＷＣＧの詳細を与えることができる。いくつかの実施形態においては、映像フレームの一部に存在する強度および色相ならびに／または人間の視聴者が最も気付きやすい強度および色相の範囲に、より多くのビットおよび／または量子化レベルを割り当て可能である一方、色チャネルに存在しない強度および色相ならびに／または視聴者が気付きにくい強度および色相には、より少ないビットおよび／または量子化レベルを割り当て可能である。

非限定的な一例として、入力映像データが夜間に起こるシーンを表している場合、その画像は、ＲＧＢ領域において実質的に一塊となった暗い色を主として含み得る。このようなシーンにおいては、ＲＧＢ領域におけるより明るい色が欠如または希薄となっている可能性がある。この状況においては、シーンに実際に存在する色および輝度値の範囲を含む１つまたは複数の非線形曲線上に色および輝度値が再分配される一方、シーンに存在しない値を省略するかまたは該値の強調を抑えるように、組み合わせ知覚マッピングを適応させることができる。このため、過去に一塊となっていた暗い色および輝度値を（より多くの均一量子化ステップが割り当てられた）非線形値の曲線上で実質的に一様に広げられる一方、あまり一般的ではない、より明るい値については、シーンに存在しない場合、一体的な圧縮（より少ない量子化ステップの割り当て）あるいは省略が可能である。暗い値を曲線上で広げ得る場合は、非線形曲線上の値が離散値または符号語へと均一に量子化される場合であっても、それぞれの間の細かな相違を区別することができる。

上述の通り、知覚マッピング動作は、一連の画像、単一の画像、または副画像ウィンドウに対する入力映像のコンテンツに応じて異なる非線形伝達関数を適用する変化が可能となるように適応し得る。副画像処理によれば、それぞれのコンテンツに基づいて、処理ウィンドウ、スライス、ＡＶＣのマクロブロック、またはＨＥＶＣの符号化ツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）等、同じ画像の異なる副エリアの異なる処理が可能である。他の実施形態または状況において、知覚マッピング動作は、異なる画像に対して画像レベルで変更可能である。さらに他の実施形態または状況において、知覚マッピング動作は、異なる画像群（ＧＯＰ）または画像エッセンス等の異なる一連の画像に対して超画像レベルで変更可能である。知覚マッピング動作は、ＲＧＢ、Ｙ’ＣｂＣｒ、Ｘ’Ｙ’Ｚ’、またはＩ’ＰＴ色空間等の任意所望の色空間において適用可能である。特定の一連の画像、単一の画像、または副画像要素を表す映像データのコンテンツは、映像データが表す画素値のヒストグラムを生成することにより決定されるようになっていてもよい。たとえば、相対的に暗いエリアおよび相対的に明るいエリアの両者を有する画像は、たとえば四分木アルゴリズムを用いて、暗いエリアのデータが一組の処理ウィンドウとなり、明るいエリアのデータが別の組のウィンドウとなるように、セグメント化されるようになっていてもよい。暗いエリアのウィンドウに適用される知覚マッピングは、明るいエリアにおいて適用されるものと異なり、両エリアの詳細が維持され、再生ＨＤＲ画像において表示されるようになっていてもよい。

一実施態様において、知覚正規化ブロック２１０および／または符号化伝達関数ブロック２０８は、色変換ブロック２０６が与えるＹ’ＣｂＣｒ値に対して知覚マッピング伝達関数を適用することにより、知覚マッピングＹ’ＣｂＣｒ値を生成することができる。いくつかの実施形態において、知覚マッピング動作では、関連する知覚マッピングＹ’ＣｂＣｒ値に対してＹ’ＣｂＣｒ値をマッピングする３Ｄルックアップテーブルを使用することができる。他の実施形態において、知覚マッピング動作では、各色成分を変換する１つまたは複数の式を使用することができる。非限定的な一例として、知覚マッピング動作では、Ｙ’＿ＰＭ＝ｆ（Ｙ’，Ｃｂ，Ｃｒ）、Ｃｂ＿ＰＭ＝ｇ（Ｙ’，Ｃｂ，Ｃｒ）、Ｃｒ＿ＰＭ＝ｈ（Ｙ’，Ｃｂ，Ｃｒ）等の式を用いて値を変換することができる。この例において、これらの関数はそれぞれ、３つのＹ’ＣｂＣｒ値を入力として取得し、知覚マッピングＹ’ＣｂＣｒ値を出力することができる。

図２Ａに示すように、符号化器２００は、ＨＤＲおよび／またはＷＣＧデータを線形ＲＧＢ値として受信することができる。また、符号化器２００は、第１の色変換動作２０２を実行することができる。この動作では、たとえばＬＭＳ、ＸＹＺ、またはＹＣｂＣｒといった中間線形色空間へと線形ＲＧＢ値を変換する。この変換により、ＲＧＢデータ内の冗長性が抑えられ、より圧縮を促すフォーマットのデータとなる。ただし、入力データのフォーマットに応じて、ブロック２０２が色変換を一切行わなくてもよいし、単一のフレームの異なる部分を含む映像シーケンスの異なる部分に対して異なる色変換動作を実行するようにしてもよいと考えられる。また、色変換動作２０２により、実行された変換動作およびそれが実行されたシーケンス、フレーム、または画像の部分を示すメタデータが生成されるようになっていてもよい。変換を単に識別する代わりに、メタデータは、ブロック２０２により適用された色変換動作の逆を表す行列係数を含んでいてもよい。メタデータは、逆係数を含む代わりに、色ボリューム変換動作２０２に用いられた係数を含んでいてもよく、逆係数が復号化器２２０において生成されるようになっていてもよいと考えられる。色変換動作２０２は、第１の伝達関数２０４による処理が容易なデータを色空間において生成可能である。

伝達関数２０４は、明るい画素値および／または暗い画素値をより小さな範囲の値へと圧縮するガンマ関数であってもよい。あるいは、知覚量子化（ＰＱ：Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚａｔｉｏｎ）伝達関数等の知覚伝達関数であってもよい。別の選択肢としては、色変換映像データを一切変換しない恒等関数であってもよい。この関数は、輝度チャネルまたは各チャネルにのみ適用可能であり、映像シーケンスの異なる部分ならびに／またはシーケンス中の異なるフレームもしくはフレーム部分には、異なる関数が適用されるようになっていてもよい。たとえば、画像の相対的に暗いエリアにおいて輝度チャネルに適用されたガンマまたはＰＱ伝達関数によって、関連する動作が該画像エリアの色チャネルデータに適用されるようになっていてもよい。また、ブロック２０４は、適用された変換またはその逆変換、およびそれが適用された画像データの部分を記述したメタデータを生成する。このメタデータは、伝達関数またはその伝達関数の逆伝達関数を記述したパラメータを含んでいてもよい。これらの値から、たとえば線形補間、二次または三次スプライン曲線適合動作によって、完全な伝達関数または逆伝達関数のデータ値が補間され、逆伝達関数または伝達関数もしくは逆伝達関数をモデル化した線形セグメントの端点が再構成されるようになっていてもよい。

そして、ブロック２０４からの色変換データは、ブロック２０６において、最終色変換動作が行われる。この色変換動作では、たとえば、（特にＷＣＧ画像データの）知覚圧縮により適したＩ’ＰＴまたはＹ’ＣｂＣｒ等の色空間へと映像データが変換されるようになっていてもよい。ブロック２０６では、知覚正規化および量子化のための処理が容易な１つまたは複数の色空間へと、一連の画像、単一画像、または画像の部分を変換するようにしてもよい。ブロック２０２と同様に、ブロック２０６が実行する色変換は、恒等関数であって、変換が行われなくてもよい。あるいは、映像データの異なる部分に対して異なる色変換動作が実行されるようになっていてもよい。さらに、ブロック２０６は、実行された色変換およびそれが適用された映像データの部分（フレーム外、フレーム、またはサブフレーム）を記述したメタデータを生成することができる。このメタデータは、データの上記部分および適用された変換を単に識別するようにしてもよい。あるいは、メタデータは、変換を識別する代わりに、３×３変換行列の係数を含んでいてもよい。上述の通り、メタデータは、ブロック２０６により実行された色変換またはその逆変換を記述していてもよい。

ブロック２０６の後、２回色変換映像データには、第２の伝達関数２０８が適用される。関数２０８は、人間の視覚系によって重要と受け止められる映像情報を強調するとともに重要と受け止められない映像情報の強調を抑えることによって、量子化および符号化用の映像データを作成する符号化伝達関数であってもよい。また、伝達関数２０８は、たとえば処理する映像データの部分における画像コンテンツ、対象最大サンプル値および最小サンプル値、最大輝度もしくは輝度コントラスト、ならびに／または量子化ステップサイズに基づいて選択可能なガンマ成分を伴うスティーブンスのべき法則またはウェーバーの法則の伝達関数といった、データを人間の知覚に適合させる関数であってもよい。また、伝達関数２０８は、画像を調整して、輝度画素のコントラスト感度を考慮するとともに、輝度サンプルに適用された変換に基づいて、対応する色サンプルを再マッピングするようにしてもよい。この関数は、一連のフレーム、単一のフレーム、または処理ウィンドウ等のフレームの一部に適用されるようになっていてもよい。前処理段階のその他のブロックと同様に、符号化伝達関数ブロック２０８では、適用された伝達関数またはその逆関数、それが適用されたフレームまたはフレーム部分を記述したメタデータを生成可能である。このメタデータは、伝達関数をパラメトリックに記述していてもよいし、一連の値で記述していてもよい。適用される伝達関数のパラメータは、該伝達関数に与えられた映像データを解析することにより決定されるようになっていてもよい。

映像データは、たとえば特定の一組のトーンマッピングパラメータが指定されて四分木の各葉ノードに適用され得るように、四分木分解を画像データに適用することによって、複数の処理ウィンドウに分割されるようになっていてもよい。この例において、四分木分解の各葉ノードは、異なるトーンマッピング方式を有し得る。あるいは、トーンマッピングの適用により、色彩技術者による決定等の所望の主観的対象を実現する領域として、処理ウィンドウを指定することができる。領域の形状としては、矩形、円形等が可能であり、形状、位置、サイズ等のパラメータを指定可能である。処理ウィンドウの識別に際しては、処理ウィンドウにおける映像データの各映像成分の最大、平均、および最小値を決定するとともに、これらの値を伝達関数ブロック２０８に供給するのが望ましいと考えられる。たとえば、システムは、画像の画素をビンに分割する処理ウィンドウにヒストグラムを実行し、処理ウィンドウの画素の一部（たとえば、８０～９５％）に及ぶ一組の隣接ビンを選択することによって、最小、平均、および最大値を決定するようにしてもよい。最小データ値は、最小のデータ値を含むビンにより規定された最小値であってもよく、最大データ値は、最大のデータ値を含むビンにより規定された最大値であってもよく、平均値は、すべての選択ビンにおけるすべての値の平均であってもよい。そして、ブロック２０８では、符号化伝達関数および／または知覚正規化器２１０の適応によって、最小値未満または最大値超の値に割り当てられる量子化ステップの数を減らしつつ、最小値と最大値との間に割り当てられる量子化ステップの数を増やす。この適応は、処理ウィンドウを識別するデータも含むメタデータに記載されている。このメタデータは、ビットストリームから復号化されたデータに対して逆知覚正規化および逆符号化伝達関数が適用され得るように、ビットストリームで復号化器に送信される。また、メタデータは、適応伝達関数または補間により伝達関数を再構成可能なデータ値を記述したパラメータを含んでいてもよい。

符号化伝達関数ブロック２０８により実行されるものとして処理ウィンドウの識別を説明したが、復号化器の他の要素により実行されるようになっていてもよいと考えられる。たとえば、（図１に示す）映像源１０２または中間色変換ブロック２０２により実行されるようになっていてもよい。個々のフレームの処理ウィンドウへの分割のほか、同じアルゴリズムによって、それぞれ共通の特性によるデジタル映像データセット中のフレームのグループ化および／または個々のフレームの特性の識別を行うようにしてもよい。色変換プロセスおよび圧縮伝達関数プロセスの両者を同じ部分に合わせられるように、共通の特性を有するデジタル映像データセットの部分を符号化プロセスの早期に識別するのが好都合と考えられる。

符号化伝達関数２０８の後は、ブロック２１０において、データが知覚正規化されるようになっていてもよい。このステップでは、映像データの利得（スケーリング）およびオフセットを調整して、フレーム群および／またはフレーム全体で映像データの知覚圧縮がより均一になるようにする。また、知覚正規化により、対応する輝度サンプルに実行される処理に対して色サンプルを補償することにより、量子化用色空間においてデータを作成するようにしてもよい。利得およびオフセット値またはその逆、ならびにそれらが適用された画像データの部分の識別情報がメタデータとして提供される。伝達関数２０４および２０８が均一知覚変換データを生成する場合または映像データの均一知覚変換が重要でない場合は、知覚正規化が用いられなくてもよい。

Ｍａｉｎ１０ＨＥＶＣ符号化器を使用するこの例において、伝達関数２０８および／または任意選択としての知覚正規化プロセス２１０により提供された正規化知覚圧縮データは、量子化器２１２において、１０ビット値へと量子化される。伝達関数２０８および／または知覚正規化器２１０の出力サンプルが浮動小数点数である場合、量子化器２１２は、画素サンプルを浮動小数点数から１０ビット固定小数点数に変換するようにしてもよい。出力サンプルがＮビット固定小数点数（Ｎ＞１０）の場合、量子化器は、Ｎビットサンプルの１０個の最上位ビット（ＭＳＢ：Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）を選択するようにしてもよいし、または、１１番目のビットに基づいて、これらの値を四捨五入するようにしてもよい。ブロック２０２、２０４、２０６、２０８、および２１０により実行される前処理のため、知覚的に重要性がより高い画像データは、知覚的に重要性がより低いデータよりも多くの数の量子化レベルを受け付ける。量子化器２１２は、色成分のスカラーまたはベクトル量子化を採用するようにしてもよいと考えられる。

次に、ブロック２１４では、色情報のダウンサンプリングによって、４：４：４画素を４：２：０画素に変換する。色サンプルの解像度の低下は、輝度よりも低い空間解像度で色を受け止める人間の視覚系にとって、気付かれにくいものである。色情報のダウンサンプリングのために実行される処理を規定したメタデータは、符号化器のダウンサンプリングブロック２１４からのメタデータに追加される。このメタデータは、たとえばダウンサンプリングデータの生成に用いられた二次元空間フィルタまたはダウンサンプリングデータから空間アップサンプリングデータを生成する逆フィルタのカーネルを記述していてもよい。また、このメタデータは、サブサンプリング動作における任意の位相シフトオフセットを指定していてもよい。そして、符号化器２１６は、前処理、量子化、およびダウンサンプリングされたデータを符号化して、出力ビットストリームを生成する。一実施態様において、メタデータは、ビットストリームにより、補助強化情報（ＳＥＩ）または映像有用性情報（ＶＵＩ）データとして符号化される。ブロック２１４は、４：４：４画素の４：２：０画素への変換として示されているものの、たとえば４：４：４画素の４：２：２または４：１：１画素フォーマットへの変換といった、他の変換も実行可能であると考えられる。これら代替のダウンサンプリングフォーマットのいずれかがブロック２１４により生成された場合は、復号化システムの対応するブロックによって、対応するアップサンプリングが実行されることになる。

図２Ｂに示す復号化システム２２０は、復号化器２２２でビットストリームを受信する。例示的なＭａｉｎ１０ＨＥＶＣ復号化器２２２は、メタデータを抽出し、符号化器２１６により実行された符号化動作を逆にして、４：２：０画素フォーマットの１０ビット映像データを生成する。色ダウンサンプラ２１４により生成されたメタデータは、たとえば４：２：０サンプルを空間補間フィルタに適用することによって、４：２：０サンプルから４：４：４画素フォーマットサンプルを再構成するアップサンプラ２２４に適用される。これらのサンプルは、４：４：４画素サンプルを浮動小数点数に変換する逆量子化器２２６またはゼロ値下位ビットを高精度固定小数点サンプルに追加し得る逆量子化器２２６に提供される。逆量子化器２２６により実行される動作は、量子化器２１２により実行される量子化動作を逆にする傾向にある。

ブロック２２８は、知覚正規化ブロック２１０から受信したメタデータに基づいて、識別された映像データセット中のサンプルの減衰およびオフセットを行い、知覚正規化フィルタ２１０により実行された利得およびオフセット調整を逆にする。同様に、ブロック２３０は、符号化伝達関数２０８の逆である伝達関数を適用する。これは、メタデータ内のパラメータから生成された逆スティーブンスの法則または逆ウェーバーの法則の伝達関数であってもよいし、適用フィルタ特性のサンプルまたは線形化特性の線分のいずれかを表すメタデータ内の値から再生成された伝達関数であってもよい。

同様に、復号化器２２０のブロック２３２、２３４、および２３６はそれぞれ、符号化器２００のブロック２０６により実行された最終色変換動作、ブロック２０４により実行された第１の伝達関数、およびブロック２０２により実行された中間色変換動作を反転させる。これらの動作は、色変換動作およびメタデータ内の伝達関数と関連付けられた１つまたは複数のフレームの領域を表すデータセットに対してのみ実行される。逆色変換ブロック２３６により与えられる出力データは、再構成線形ＨＤＲ ＲＧＢ信号である。画像の暗い部分の詳細および特性ならびに画像の明暗両部分の色値等の知覚的に重要なデータが再構成データに保存される一方、知覚的にそれほど重要でないデータは、失われるようになっていてもよい。図２Ａおよび図２Ｂに示すシステムのほか、以下のその他の図に示すシステムは、線形ＨＤＲ ＲＧＢデータを受信して再構成するものとして示されているが、他のＨＤＲおよび／またはＷＣＧデータを受信して再構成するようにしてもよいと考えられる。

図３Ａおよび図３Ｂは、図２Ａおよび図２Ｂに示した符号化および復号化システムの変形例を示している。図３Ａおよび図３Ｂに示すブロックの多くは、図２Ａおよび図２Ｂのブロックと同じで、同じ番号を有する。本明細書においては、簡素化のため、これらのブロックの動作を別個に説明することはない。一方の図２Ａおよび図２Ｂと他方の図３Ａおよび図３Ｂとの相違として、図３Ｂに示す知覚再成形ブロック３０４および対応する逆知覚再成形ブロック３２７が挙げられる。ブロック３０４は、符号化伝達関数３０６を知覚正規化動作３０８と組み合わせたものであり、同様に、ブロック３２７は、逆知覚正規化動作３２６と逆符号化伝達関数ブロック３２８とを組み合わせたものである。

図３Ａおよび図３Ｂに示す各システム３００および３２０に対して、図２Ａおよび図２Ｂに示したシステム２００および２２０の別の相違は、処理ストリームにおける色ダウンサンプリングプロセス３０２および色アップサンプリングプロセス３３０の位置である。図３Ａにおいて、ダウンサンプリングプロセス３０２は、最終色変換プロセス２０６により提供されたデータに対して動作する。同様に、図３Ｂにおいて、アップサンプリングプロセス３３０により提供されたアップサンプリング出力値は、プロセス２０６の逆である逆色変換プロセス２３２に適用される。ダウンサンプリングおよびアップサンプリングプロセスの再配置によって、知覚再成形処理は、ダウンサンプリング色値を有する画素に対して実行される。この修正により、図３Ａに示すブロック３０６、３０８、３１０ならびに図３Ｂに示すブロック３２４、３２６、および３２８によって、図２Ａに示した対応するブロック２０８、２１０、および２１２ならびに図２Ｂに示したブロック２２６、２２８、および２３０による処理よりも少ない色サンプルが処理されるため、処理が少なくなる可能性がある。上述の通り、符号化伝達関数３０６を用いて知覚正規化プロセス３０８により実行されるオフセットおよび利得調整を含み、逆符号化伝達関数３２８を用いて逆知覚正規化プロセス３２６により実行される逆オフセットおよび利得調整を含むことによって、さらなる処理抑制が実現され得るためである。

図４Ａおよび図４Ｂに示す符号化システム４００および４２０は、図２Ａおよび図２Ｂに示した各システム２００および２２０の別の変形例を表す。図４Ａおよび図４Ｂならびに図２Ａおよび図２Ｂの同じ番号付き要素は、同じように動作するが、本明細書においては、簡素化のため、別個に説明することはない。図４Ａおよび図４Ｂに示す処理は、符号化器４０２および復号化器４２２が使用する基準画像のコンテンツに関して、図２Ａおよび図２Ｂの処理と異なっている。図１を参照して上述した通り、Ｍａｉｎ１０ＨＥＶＣ復号化器は、予測的符号化および復号化を実行するが、この場合は、基準フレームのうちの１つまたは複数から生成された対応する画素値から、現行フレームの画素値が減算される。これらの差分値は通常、完全な画素値よりも情報がはるかに少ないため、符号化器において、より効率的に周波数変換および量子化が行われる。図１に示すように、基準画像キャッシュ１１８中の基準フレームは、生成した符号化データを復号化する符号化器１０６によって生成される。これは、符号化予測プロセスにより導かれる損失または歪みを差分値が補償できるように行われる。

図２Ａおよび図２Ｂに示したプロセスで標準Ｍａｉｎ１０ＨＥＶＣ復号化器が用いられている場合、基準画像は、図２Ｂに示した復号化器による後処理ステップを含んでいないため、符号化画像の復号化版を正確に表さない場合がある。図４Ａおよび図４Ｂに示すシステム４００および４２０は、符号化器４０２および復号化器４２２を強化することによってこれに対処する。符号化器４０２は、プロセス２２４、２２６、２２８、２３０、２３２、２３４、および２３６と同様に内部復号化画像を後処理して再構成線形ＨＤＲ ＲＧＢ画像を再生成した後、現行画像についてプロセス２０２、２０４、２０６、２０８、２１０、２１２、および２１４と同様に再構成画像を処理することによって、基準画像を生成するように強化される。その結果は、Ｍａｉｎ１０ＨＥＶＣ符号化器が使用して予測的符号化をより正確に実行し得る一組の基準フレームである。前処理および後処理プロセスが相補的であることから、一部の後処理プロセスは、対応する前処理プロセスも除去された場合に限り、除去されるようになっていてもよい。たとえば、強化符号化器は、ＬＭＳまたはＸＹＺから線形ＨＤＲ ＲＧＢへの色変換を実行しなくてもよく、また、線形ＨＤＲ ＲＧＢデータをＬＭＳまたはＸＹＺ色空間に変換する相補前処理動作を実行しなくてもよい。

強化復号化器４２２は、復号化器のブロック２２４、２２６、２２８、２３０、２３２、２３４、および２３６が後処理ステップを実行済みであることから、後処理も前処理も実行しない。このため、図４Ｂに示すシステム４２０において、逆色変換器２３６により生成された再構成線形ＨＤＲ ＲＧＢデータは、現行画像について前処理ブロック２０２、２０４、２０６、２０８、２１０、２１２、および２１４と同様に処理を行って基準画像を生成する復号化器４２２に適用される。上述の通り、これらの前処理動作の一部は、再構成画像用の画像データが復号化システム４２０の異なる点から取得された場合に、除去されるようになっていてもよい。たとえば、基準画像用のデータが逆伝達関数２３４の出力から取得された場合、線形ＨＤＲ ＲＧＢ色空間からＸＹＺまたはＬＭＳ色空間へとデータを変換する前処理動作は、不要となる。

上述の例示的な実施態様の焦点は、たとえば標準ダイナミックレンジ（ＳＤＲ）映像データといった、より低いダイナミックレンジおよび／またはより狭い色域の映像信号を取り扱うように設計された符号化器および復号化器を用いて、ＨＤＲおよび／またはＷＣＧ信号の再生成を可能にする信号を符号化および復号化することである。ただし、図２Ｂの復号化器２２２により生成されたデータは、量子化分解能を増大または低減させるように知覚的に処理されたデータを含み得ることから、復号化器と互換性のあるモニタ上で表示するのに適していない場合がある。

図５Ａ、図５Ｂ、図６Ａ、図６Ｂ、図７Ａ、図７Ｂ、図８Ａ、および図８Ｂに示す例示的なシステムは、再構成ＨＤＲおよび／またはＷＣＧ映像データと併せて、より低いダイナミックレンジおよび／またはより狭い色域の映像データ（たとえば、ＳＤＲデータ）を生成可能なプロセスを含む。これらのシステムでは、トーンマッピングを利用して、ＳＤＲ画像を生成する。トーンマッピングによれば、局所的なコントラストを維持しつつ、画像全体または画像の一部のダイナミックレンジすなわちコントラスト比が低下する。また、ＳＤＲ画像において表せない色をＳＤＲ画像の色空間にマッピングすることによって、色域も低下する。また、トーンマッピングの実行によって、ＳＤＲ画像の美的感覚をＨＤＲ画像と主観的に一致させるようにしてもよい。

図５Ａは、ＨＤＲ画像を処理してＳＤＲと互換性のある画像を生成する符号化器５００を示している。図４Ａに示したシステム４００のブロックと同じ番号を有する図５Ａのブロックは、同じように動作するため、本明細書においては詳しく説明しない。ただし、図２Ａの符号化器２１６は、図５Ａの符号化器４０２に代替して、図２Ａに示した符号化器２００の実施態様を修正することにより、トーンマップを使用するようにしてもよい。一実施態様において、映像データをＹ’ＣｂＣｒ色空間に変換する色変換プロセス２０６により生成された画像データは、トーンマップ５０２に適用される。本実施態様においては、ブロック２０４の伝達関数が入力画像シーケンスの画像全体に適用されて、非線形Ｙ’データが生成されるものと仮定する。言い換えると、各画像のサブコンポーネントが等しく処理される。トーンマップの生成に用いられる画像データは、符号化伝達関数ブロック２０８および知覚正規化ブロック２１０により実行される知覚修正に先立って取得される。これらのブロックは、トーンマップを用いての処理がより困難となる方法で画像データを調整するためである。トーンマップ５０２は、映像データ内の高コントラスト要素を識別し、これらの要素のコントラストを抑えるトーンマップ値を生成して、適当なＳＤＲ画像を生成する。このＳＤＲトーンマッピングデータは、メタデータの一部として、復号化器５２０に送信される。別の実施態様においては、（図１に示した）映像源１０２から線形ＳＤＲ等級ＲＧＢ画像データを入手可能である。この例においては、線形ＨＤＲ ＲＧＢ画像データおよび線形ＳＤＲ等級ＲＧＢ画像データの両者がトーンマッププロセス５０２に適用される。トーンマッププロセスでは、２つのデータセット中の対応する画像データ間の差を解析することにより、トーンマップを生成するようにしてもよい。そして、ＳＤＲトーンマッピングデータは、Ｙ’ＣｂＣｒ色空間に変換される。あるいは、トーンマッププロセス５０２では、画像データセットの比較に先立って、線形ＨＤＲ ＲＧＢデータおよび線形ＳＤＲ等級ＲＧＢデータをＹ’ＣｂＣｒ色空間に変換するようにしてもよい。生成されたトーンマップは、一組の伝達関数であってもよく、それぞれ、色変換ブロック２０６により生成されたＹ’ＣｂＣｒデータの値を調整して、変換された線形ＳＤＲ等級ＲＧＢデータからの対応する値を一致させるＹ’、Ｃｂ、およびＣｒチャネルに対応する。

図５Ｂは、復号化器５２０でのＳＤＲ画像の復元の様子を示している。図５Ａと同様に、図４Ｂに示したシステム４２０と同じ番号を有するブロックは、同じように動作するため、本明細書においては詳しく説明しない。ただし、図２Ｂの復号化器２２２は、図５Ｂに示す復号化器４２２に代替して、図２Ｂに示した実施態様を修正することにより、逆トーンマップを使用するようにしてもよい。復号化器５２０のトーンマップは、逆符号化伝達関数２３０により生成されたデータに適用されて、再構成ＳＤＲデータが生成される。また、図示のように、トーンマップは、再構成線形ＨＤＲ ＲＧＢ信号を採用して、逆伝達関数２３０により提供されるＹ’ＣｂＣｒ信号の修正を決定するようにしてもよい。処理を簡単にするため、ブロック５２４は、トーンマッピング関数への適用前に、再構成線形ＨＤＲ ＲＧＢデータをＹ’ＣｂＣｒ色空間に変換するのが望ましい場合もある。

図６Ａおよび図６Ｂは、組み合わせ符号化システム６００および復号化システム６２０が後方互換性のあるＳＤＲ信号を生成可能な別の実施態様を示している。先の実施態様と同様に、図２Ａに示したシステム２００と同じ番号を有するブロックは、同じように動作するため、本明細書においては詳しく説明しない。図６Ａおよび図６Ｂに示すシステムは、図２Ａおよび図２Ｂに示したシステムのすべてのステップを実行する。ただし、任意選択としての知覚正規化ブロック２１０については、ＳＤＲ画像データと互換性を持つようにＹ’ＣｂＣｒ色空間の画素データをマッピングするトーンマッピングを適用するパラメトリックトーンマッピングブロック６０２で置き換えられる。パラメトリックトーンマッピングブロック６０２により提供された出力データが量子化器２１２により量子化され、ダウンサンプリングブロック２１４によりダウンサンプリングされた場合、その結果は、ＳＤＲモニタに表示可能なＳＤＲ信号である。

パラメトリックトーンマッピングブロック６０２では、たとえばＨＤＲ Ｙ’ＣｂＣｒからＳＤＲ Ｙ’ＣｂＣｒへの、静的なトーンマッピングを実行するようにしてもよい。あるいは、トーンマッピングブロック６０２は、ＳＤＲデータが表示される表示装置（または、たとえばＯＬＥＤ、ＬＥＤ、もしくはプラズマといった表示装置の種類）の特性を考慮に入れて、表示装置に特有の静的なトーンマップを適用するようにしてもよい。別の選択肢として、トーンマップは、（図１に示した）映像源１０２が提供する線形ＨＤＲ ＲＧＢデータおよびＳＤＲ等級ＲＧＢ画像データならびに表示装置の特性を用いて、動的に生成されるようになっていてもよい。上述の通り、トーンマッピング関数の生成前に、ブロック２０４が実行するものと類似の圧縮伝達関数およびブロック２０６が実行するものと類似の色変換動作を適用することによって、ＨＤＲおよびＳＤＲ ＲＧＢデータをＹ’ＣｂＣｒデータに変換するのが望ましい場合もある。

Ｙ’ＣｂＣｒデータの各成分について、図２Ａを参照して上述したパラメトリック変換関数ｆ（）、ｇ（）、およびｈ（）と類似の別個のトーンマッピング関数が存在していてもよい。これらの関数は、対応する特定の画素値がＨＤＲからＳＤＲ色空間にマッピングされる様子をまずは識別して、関数の点を規定した後、これらの点に対する曲線の適合、または関数を近似する隣接点間の一組の線分の規定によって、規定されるようになっていてもよい。これらの点は、たとえばＨＤＲおよびＳＤＲ色空間の輝度および色値に及ぶように選択されてもよい。方程式および／または線分を規定する係数は、トーンマップを規定するとともに、メタデータの一部として復号化器６２０に送られるパラメータである。

システム６２０の復号化器２２２は、ビットストリームを復号化して、再構成ＳＤＲデータを生成する。そして、このデータは、ブロック２２４でアップサンプリングされ、ブロック２２６で逆量子化されて、逆パラメトリックトーンマッピングブロック６２２に適用されるデータが生成される。ブロック６２２は、パラメトリックトーンマッピングブロック６０２の逆を実行することにより、ＳＤＲ色空間のＹ’ＣｒＣｂデータをＨＤＲ色空間のＹ’ＣｒＣｂデータ内の対応するデータへとマッピングする。復号化システム６２０のその他のブロックは、図２Ｂの対応するブロックと同じように動作することから、簡素化のため、本明細書で別個に説明することはない。

図７Ａおよび図７Ｂは、図６Ａおよび図６Ｂに示したシステム６００および６２０と同じ符号化システム７００および復号化システム７２０を示している。ただし、図６Ａおよび図６Ｂのパラメトリックトーンマッピングブロック６０２および６２２は、図７Ａおよび図７Ｂの３Ｄルックアップテーブル（ＬＵＴ）７０２および７２２で置き換えられている。図７Ａに示すシステム７００で用いられる３Ｄ ＬＵＴは、図２を参照して上述した通り、関数Ｙ’＿ＰＭ＝ｆ（Ｙ’，Ｃｂ，Ｃｒ）、Ｃｂ＿ＰＭ＝ｇ（Ｙ’，Ｃｂ，Ｃｒ）、Ｃｒ＿ＰＭ＝ｈ（Ｙ’，Ｃｂ，Ｃｒ）を実行するようにしてもよい。このため、各出力値Ｙ’＿ＰＭ、Ｃｂ＿ＰＭ、およびＣｒ＿ＰＭは、入力画素の３つすべての値Ｙ’、Ｃｂ、およびＣｒの関数である。同様に、図８Ａおよび図８Ｂは、図６Ａおよび図６Ｂに示したシステム６００および６２０と同じ符号化システム８００および復号化システム８２０を示している。ただし、図６Ａおよび図６Ｂのパラメトリックトーンマッピングブロック６０２および６２２は、図８Ａおよび図８Ｂの３×１Ｄルックアップテーブル（ＬＵＴ）８０２および８２２で置き換えられている。また、図８Ａにおいては、色変換２０６の直後に色ダウンサンプリング２１４が行われ、図８Ｂにおいては、逆色変換２３２の直前に色アップサンプリングが行われる。このため、これらのシステムにおいて、トーンマッピングおよび逆トーンマッピングは、４：２：０フォーマットの映像データに適用される。図８Ａおよび図８Ｂに示す３つの１Ｄトーンマップにおいて、各変換出力値は、その未変換入力値のみの関数であり、Ｙ’＿ＰＭ＝ｆ（Ｙ’）、Ｃｂ＿ＰＭ＝ｇ（Ｃｂ）、Ｃｒ＿ＰＭ＝ｈ（Ｃｒ）である。

図２Ａを参照して上述した通り、ブロック２０４が適用する伝達関数は、映像データを圧縮して、より符号化に適したものとする。この伝達関数は、図９に示すグラフ等、ＸＹＺまたはＬＭＳ入力データを１０００ｎｉｔに及ぶＸ’Ｙ’Ｚ’またはＬ’Ｍ’Ｓ’データへと変換して１００ｎｉｔに及ぶデータを出力するガンマ圧縮関数であってもよい。ブロック２３４は、この圧縮を逆にするとともに、図１０に示すグラフのような伝達関数を有していてもよい。このような圧縮伝達関数としては、知覚量子化（ＰＱ）伝達関数が挙げられる。

非限定的な一例として、いくつかの実施形態においては、ＰＱ伝達関数が輝度値Ｌに対して動作する関数であり、以下のように規定可能である。

この例において、各副画像レベル、画像レベル、または超画像レベルで符号化器２００から復号化器２２０に送信可能なパラメータとしては、ｍ_１、ｍ_２、ｃ_１、ｃ_２、およびｃ_３のうちの１つまたは複数が挙げられる。たとえば、非限定的かつ例示的な一実施態様において、パラメータの値は、以下のようにすることができる。
ｍ_１＝０．１５９３０２
ｍ_２＝７８．８４３７５
ｃ_１＝０．８３５９３８
ｃ_２＝１８．８５１５６
ｃ_３＝１８．６８７５０
いくつかの実施形態または状況において、これらのパラメータのうちの１つまたは複数の値は、符号化器２００および復号化器２２０の両者にとって既知となるように、予め決定することができる。このため、符号化器２００は、すべてには満たないパラメータを復号化器２２０に送って、ＰＱ曲線を調整することができる。非限定的な一例として、各符号化レベルで使用されるｍ_２の値のみを符号化器２００が復号化器２２０に送信するように、ｍ_２を除くすべてのパラメータを予め設定することができる。

図１１に示すように、ｍ_２の値を調節することにより、異なる輝度値に対してＰＱ曲線を調整することができる。ｍ_２が上掲の７８．８４３７５未満に設定された場合（たとえば、ｍ_２が６２に設定された場合）は、曲線の一部または全体にわたって、ＰＱ値を大きくすることができる。これに対して、ｍ_２が上掲の７８．８４３７５超に設定された場合（たとえば、ｍ_２が１６０に設定された場合）は、曲線の一部または全体にわたって、ＰＱ値を小さくすることができる。

いくつかの実施形態において、ブロック２０８では、伝達関数およびそれが適用された画像または画像の領域を記述したメタデータを、関連する復号化システムに送ることができる。そして、復号化器は、復号化プロセスにおいて使用する関連する逆知覚マッピング動作２３０を決定することができる。あるいは、符号化器または符号化器内の伝達関数ブロック２０８では、この逆知覚マッピング動作を決定して、逆伝達関数を記述したメタデータを復号化器に送ることができる。

この情報は、伝達関数または逆伝達関数を記述したパラメータであってもよいし、トーンマップ等、変換を記述した値のテーブルであってもよい。
上述の通り、伝達関数２０８は、画像シーケンス、画像、または画像の一部に望ましい処理に応じて、多くの形態を取り得る。伝達関数２０８の非限定的な種々の例と、それに関連する、復号化器に送って逆符号化伝達関数２３０を導出可能なパラメータとを以下に示す。これらの例において、ブロック２０８で用いられる符号化伝達関数は、ψ（Ｉ）＝νと表され、色成分の輝度または強度値Ｉを入力として用いることにより、νと表される変換値を出力することができる。同様に、復号化器の逆符号化伝達関数２３０は、ψ^－１（ν）＝Ｉと表され、値νを取ることにより、値Ｉへと変換して戻すことができる。符号化器の均一量子化動作２１２は、知覚正規化ブロック２１０またはトーンマップ６０２、７０２、もしくは８０２のうちの１つによる修正として、符号化伝達関数２０８により生成された変換ν値に対して動作し得るため、Ｑ（ν）と表すことができる。均一量子化動作２１２において用いられる量子化レベル間のステップサイズは、Δ_ｓｔｅｐと表すことができる。

カスケード適応符号化伝達関数２０８の有効量子化ステップサイズＱ（Ｉ）は、以下に示す通り、逆伝達関数２３０の傾きに比例し得る。

したがって、有効量子化ステップサイズＱ（Ｉ）は、逆符号化伝達関数２３０の傾きおよび均一量子化動作２１２のステップサイズΔ_ｓｔｅｐによって決まり得る。たとえば、逆符号化伝達関数２３０の傾きが小さくなる場合は、有効量子化ステップサイズＱ（Ｉ）も小さくなり得る。均一量子化動作２１２のステップサイズΔ_ｓｔｅｐが十分に大きくて、均一量子化により導かれる歪みおよび／またはノイズに人間の視聴者が気付いてしまうような場合は、逆符号化伝達関数２３０の傾きが小さくなるように、映像データのコンテンツに対して伝達関数２０８を適応させることにより、相対的に大きなステップサイズΔ_ｓｔｅｐの効果を変調させることができる。このため、逆符号化伝達関数２３０の傾きを小さくすると、相対的に大きなステップサイズΔ_ｓｔｅｐの効果の妨げとなり、有効量子化ステップサイズＱ（Ｉ）が変調されて、全体的な歪みおよび／またはノイズに人間の視聴者が気付きにくくなる可能性がある。

有効量子化ステップサイズＱ（Ｉ）は、関連する測定基準である相対量子化ステップサイズΛ_ｓｔｅｐに含まれ得る。

符号化伝達関数２０８ひいては対応する逆符号化伝達関数２３０は、相対量子化ステップサイズΛ（Ｉ）が設定閾値レベルを下回ったままであるように、入力映像データのコンテンツに基づいて適応可能である。たとえば、この閾値レベルは、知覚的に透明かまたは知覚的に無損失の歪みとノイズとを伴う符号化となる逆符号化伝達関数２３０の最適な傾きを与える関数Λ_０（Ｉ）によって規定可能である。このため、符号化伝達関数２０８ひいては対応する逆符号化伝達関数２３０は、Λ（Ｉ）≦Λ_０（Ｉ）となるように適応可能である。

同様に、知覚的に重要性が低いまたは「丁度可知」のコントラスト状態が許容範囲と考えられ、Λ_０（Ｉ）により規定されている場合は、以下の微分方程式が当てはまる。

このため、ψ^－１（ν）に関して上記微分方程式を解くことにより、所望のΛ_０（Ｉ）に対する復号化器の逆符号化伝達関数２３０が得られる。同様に、任意所与の逆伝達関数２３０に関して、相対量子化ステップサイズΛ（Ｉ）を計算することができる。

第１の非限定的な一例として、符号化伝達関数２０８および逆符号化伝達関数２３０は、ウェーバーの法則の第１の異形に基づいて、以下のように表される。

この例および以下の他の例において、Ｉ_Ｎは、副画像レベル、画像レベル、または超画像レベルでの入力映像データの一部の正規化輝度であってもよい。正規化輝度は、最大輝度で除算した輝度レベルとして、以下のように表される。

この例および以下の他の例において、Ｃは、副画像レベル、画像レベル、または超画像レベルでの入力映像データの一部における最大コントラストであってもよい。最大コントラストは、最小輝度で除算した最大輝度として、以下のように表される。

これらの例および以下の他の例において、ν_Ｎは、伝達関数２０８により生成され、Ｄで表される均一量子化動作２１２のダイナミックレンジにより正規化された値として、以下のように表される。

上記定義から、ウェーバーの法則の第１の異形の相対量子化ステップサイズは、以下により与えられる。

第２の非限定的な一例として、符号化伝達関数２０８および逆符号化伝達関数２３０は、ウェーバーの法則の第２の異形に基づいて、以下のように表される。

これにより、ウェーバーの法則の第２の異形の相対量子化ステップサイズは、以下によって与えられる。

図１２に示すように、ウェーバーの法則の異形に基づく上記２例の相対量子化ステップサイズは、対数－対数スケールでプロットすることができる。ウェーバーの法則の第１の異形に基づく相対量子化ステップサイズの傾きは、対数－対数スケール上で線形となり、Ｉ_Ｎの値が小さい場合は負の傾きであるが、特定点よりも大きなＩ_Ｎの値では平坦（対数－対数スケール上で傾き０の線形）となり得る。同様に、ウェーバーの法則の第２の異形に基づく相対量子化ステップサイズの傾きは、Ｉ_Ｎの値が小さい場合は負であるが、Ｉ_Ｎの値が大きくなると、滑らかに遷移して平坦な傾きに近づく。このように、２つの異形は類似し得るが、第２の異形は、傾きが異なるＩ_Ｎの範囲間で、より滑らかに遷移する。

第３の非限定的な一例として、符号化伝達関数２０８および逆符号化伝達関数２３０は、スティーブンスのべき法則の第１の異形に基づいて、以下のように表される。

これにより、スティーブンスのべき法則の第１の異形の相対量子化ステップサイズは、以下によって与えられる。

第４の非限定的な一例として、符号化伝達関数２０８および逆符号化伝達関数２３０は、スティーブンスのべき法則の第３の異形に基づいて、以下のように表される。

これにより、スティーブンスのべき法則の第３の異形の相対量子化ステップサイズは、以下によって与えられる。

図１３に示すように、スティーブンスのべき法則の異形に基づく上記２例の相対量子化ステップサイズは、対数－対数スケールでプロットすることができる。これらの例のいずれにおいても、相対量子化ステップサイズの傾きは、Ｉ_Ｎの値が小さい場合に傾き－１を有するか、または傾き－１に近づき、Ｉ_Ｎの値が大きい場合に傾き－γを有するか、または傾き－γに近づくが、これら２つの例は、傾きが異なるＩ_Ｎの範囲間の遷移の滑らかさに応じて変化する。また、γが０になると、スティーブンスのべき法則の第１の異形がウェーバーの法則の第１の異形に収束する一方、スティーブンスのべき法則の第３の異形は、ウェーバーの法則の第２の異形に収束し得る。

上述の例示的なシステムにおいて、色変換動作には、行列の乗算およびオフセット動作を含むことができ、伝達関数動作は、広範な値にわたる区分的関数動作として指定することができ、量子化としては、色成分上のスカラーまたはベクトルが可能である。例示的なトーンマッピングとしては、所望の芸術的効果を実現するための分割利得動作および知覚修正が挙げられる。また、知覚正規化には、トーンマッピング動作を含むとともに、局所的な強度およびテクスチャマスキングを利用可能である。

図３Ａおよび図８Ａに示すように、符号化システムにおいては、色空間変換ブロック２０６の直後に、色サブサンプリングを実行可能であるが、その後の動作は、４：２：０色空間において行われる。図３Ｂおよび図８Ｂの対応する復号器動作は、対応する推奨復号化システムを示している。その他の例示的なシステムに関して、同様の色サブサンプリングおよび色空間変換動作を行うことができる。

上述の例では、３つの特徴を実現する。
第１に、図２Ａに示すシステムを参照して、伝達関数ブロック２０８および任意選択としての知覚正規化ブロック２１０は、Ｍａｉｎ１０ＨＥＶＣ等、別の方法ではＨＤＲおよび／またはＷＣＧデータと互換性のないビット深度の符号化器および復号化器を用いてＨＤＲおよび／またはＷＣＧデータを送信するのに役立つ画像データの知覚変換を実行する。ブロック２０８により実装される伝達関数には、適応的伝達関数パラメータを伴う知覚量子化関数、スティーブンスのべき法則、またはウェーバーの法則の伝達関数を含んでいてもよい。これらの伝達関数は、ＩＰＴまたはＹＣｂＣｒ空間で動作するとともに、その後、オフセットおよびスケーリング調整が行われる。また、伝達関数２０８は、局所的な強度およびテクスチャマスキングまたは位置ベースのＬＵＴ等の所定のルールを利用することにより、たとえば副画像レベルで局所的に適用されるようになっていてもよい。上記例において実装される伝達関数２０８または他の伝達関数の局所パラメータ適応のための副画像区分は、たとえばＳＥＩまたはＶＵＩを用いたメタデータの送信によって明示的に伝えられるようになっていてもよいし、復号化器で利用可能なサンプル値等の情報から暗示的に演算されるようになっていてもよい。

第２に、ＨＤＲおよび／またはＷＣＧデータの符号化に対応するための任意の画像の適応変化は、符号化ループの基準画像に組み込まれて、時間的予測および符号化効率を向上させることができる。

第３に、ＨＤＲおよび／またはＷＣＧ映像データの未圧縮ＳＤＲ版が符号化器で利用可能な場合は、完全な基準トーンマッピングアルゴリズムの適用によって、未圧縮ＳＤＲ版と段階的ＳＤＲ版との間の歪みを最小限に抑えることができる。導出されたトーンマッピングパラメータは、メタデータとして送信することにより、復号化器が後方互換ＳＤＲ出力データを合成できるようにし得る。未圧縮ＳＤＲ版が符号化器で利用できない場合は、解析によるメタデータ情報を復号化器に使用して後方互換ＳＤＲ映像データを合成し得るように、芸術的修正をトーンマッピングに組み込むことができる。

以上、本発明を詳細に説明したが、これは、本発明の構成および使用方法を当業者に教示しようとしたものに過ぎない。別の多くの改良についても、以下の特許請求の範囲に規定される本発明の範囲に含まれることになる。

Claims (6)

1. 高ダイナミックレンジ（ＨＤＲ）映像データおよび広色域（ＷＣＧ）映像データを含むデジタル映像データセットに対応しないフォーマットでビットストリームを復号化することにより、ＨＤＲ映像データおよびＷＣＧ映像データのうちの少なくとも一方を含む出力デジタル映像データセットを再構成するデジタル映像復号化システムであって、前記出力デジタル映像データセットを再構成することは、
   復号化器が、前記ビットストリームを復号化して、前記ビットストリームからデジタル映像データセットを復元することと、
   中間色変換プロセスであって、
   前記ビットストリームから抽出された前記デジタル映像データセットの入力色空間から中間色空間への色変換を識別する中間色変換メタデータを前記ビットストリームから抽出し、
   前記デジタル映像データセットの一部を前記入力色空間から前記中間色空間に変換して、中間色変換デジタル映像データを生成する、ように構成された中間色変換プロセスと、
   逆知覚量子化伝達関数を前記中間色変換デジタル映像データに適用して、逆変換映像データを生成することと、
   前記逆変換映像データを前記中間色空間から出力色空間に変換して、出力デジタル映像データセットを生成する出力色変換プロセスと、
   １以上の基準フレームを用いて、前記ビットストリームを予測的に復号化することと、
   前記出力色変換プロセスの逆変換で色変換映像データセットを生成する色変換プロセスを前記出力デジタル映像データセットに適用することと、
   前記デジタル映像データセットに適用される前記逆知覚量子化伝達関数を識別するメタデータから、知覚量子化伝達関数のプロセスを生成することと、
   前記知覚量子化伝達関数を前記色変換映像データセットに適用して、変換映像データセットを生成することと、
   利得係数およびオフセットのうちの少なくとも一方を含む逆知覚正規化関数を識別するメタデータを用いて、知覚正規化関数を生成することと、
   前記知覚正規化関数を前記変換映像データセットに適用して、知覚正規化映像データセットを生成することと、
   前記知覚正規化映像データセットから、前記ビットストリームの予測的復号化に用いる別の基準フレームを生成することと、
   を含む、デジタル映像復号化システム。
2. 高ダイナミックレンジ（ＨＤＲ）映像データおよび広色域（ＷＣＧ）映像データを含むデジタル映像データセットに対応しないフォーマットでビットストリームを復号化することにより、ＨＤＲ映像データおよびＷＣＧ映像データのうちの少なくとも一方を含む出力デジタル映像データセットを再構成するデジタル映像復号化システムであって、前記出力デジタル映像データセットを再構成することは、
   復号化器が、前記ビットストリームを復号化して、前記ビットストリームからデジタル映像データセットを復元することと、
   中間色変換プロセスであって、
   前記ビットストリームから抽出された前記デジタル映像データセットの入力色空間から中間色空間への色変換を識別する中間色変換メタデータを前記ビットストリームから抽出し、
   前記デジタル映像データセットの一部を前記入力色空間から前記中間色空間に変換して、中間色変換デジタル映像データを生成する、ように構成された中間色変換プロセスと、
   逆知覚量子化伝達関数を前記中間色変換デジタル映像データに適用して、逆変換映像データを生成することと、
   前記逆変換映像データを前記中間色空間から出力色空間に変換して、出力デジタル映像データセットを生成する出力色変換プロセスと、
   前記デジタル映像データセットの一部に対応する映像データを受信することと、
   前記ビットストリームから、受信した前記映像データに適用される伝達関数を識別するメタデータを読み出すことと、
   前記ビットストリームから、受信した前記映像データに適用される利得係数およびオフセットのうちの少なくとも一方を含む逆知覚正規化関数を識別するメタデータを読み出すことと、
   識別された前記伝達関数に基づいて、前記逆知覚量子化伝達関数を生成することと、
   前記デジタル映像データセットの前記一部に対して、生成された前記逆知覚量子化伝達関数および前記逆知覚正規化関数を適用することと、
   を含む、デジタル映像復号化システム。
3. 前記ビットストリームは、Ｍａｉｎ１０高効率映像符号化（ＨＥＶＣ）ビットストリームであり、前記逆知覚量子化伝達関数のプロセスは、前記ビットストリームにおいて、補助強化情報（ＳＥＩ）から前記逆知覚量子化伝達関数を識別する前記メタデータを抽出するように構成される、請求項１に記載のデジタル映像復号化システム。
4. 前記逆知覚量子化伝達関数のプロセスは、複数の映像フレーム、単一の映像フレーム、および単一の映像フレームの一部から成る群のうちの１つとして、前記デジタル映像データセットの一部を受信するように構成される、請求項１に記載のデジタル映像復号化システム。
5. 前記ビットストリームは、Ｍａｉｎ１０高効率映像符号化（ＨＥＶＣ）ビットストリームであり、前記逆知覚量子化伝達関数のプロセスは、前記ビットストリームにおいて、補助強化情報（ＳＥＩ）から前記逆知覚量子化伝達関数を識別するメタデータを抽出するように構成される、請求項２に記載のデジタル映像復号化システム。
6. 前記逆知覚量子化伝達関数のプロセスは、複数の映像フレーム、単一の映像フレーム、および単一の映像フレームの一部から成る群のうちの１つとして、前記デジタル映像データセットの一部を受信するように構成される、請求項２に記載のデジタル映像復号化システム。
   

Images