JP6980054B2 - 画像データを処理する方法および装置 - Google Patents

Description

本発明は、画像データを処理する方法および装置に関する。具体的には、限定するものではないが、本発明は、色差成分の符号化および色差成分の復号に関する。

ディジタル・カメラによってキャプチャされた画像、または、コンピュータが生成した画像などの画像は、各画素または複数の画素からなるグループの色特徴を規定する色情報を含んでいる。このような色情報は、色空間における色を規定する色成分として表すことができる。色成分は、例えば、ルマ輝度およびニュートラル・グレイスケール・カラーから青または赤（ＹＵＶ）への色度の色ずれの尺度としての、または、赤、緑または青（ＲＧＢ）の光成分の強度の尺度としての、色の強度を表す。一般的には、ＹＵＶモデルは、１つの輝度（ルマ）（Ｙ）および２つの色度（ＵＶ）成分の観点で色空間を規定する。一般的には、Ｙは、ルマ成分（輝度）を表し、ＵおよびＶは、クロミナンス（色）またはクロマ成分表す。

ＸＹＺ色空間は、国際照明委員会（ＣＩＥ：Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ’Ｅｃｌａｉｒａｇｅ）によって策定された国際規格である。この色モデルは、３つの原色、ＸＹＺに基づいており、全ての視覚可能な色は、Ｘ、ＹおよびＺの正の値を使用して表される。Ｙ原色は、輝度に密接に一致するように規定され、その一方で、Ｘ原色およびＺ原色は、色情報を与える。

ハイダイナミック・レンジ・イメージング（ＨＤＲまたはＨＤＲＩとも称する）は、シーンの明所と暗所との間の輝度のダイナミック・レンジを拡大することが可能であり、従来のローダイナミック・レンジ（ＬＤＲ）画像と比較して、色域のレンジ（範囲）を拡大することができる。このことは、ＨＤＲイメージングにおいて、レンジ（範囲）全体にわたって高い信号精度を実現するために、信号表現をより広いダイナミック・レンジに拡張することによって成し遂げることができる。ＨＤＲ画像において、画素の色成分値は、浮動小数点フォーマット（各成分に対し、３２ビットまたは１６ビット、すなわち、単精度浮動小数点（ｆｌｏａｔ）または半精度浮動小数点（ｈａｌｆ−ｆｌｏａｔ））を含み、通常、より大きな数のビットを用いて表される（例えば、１６ビットから６４ビット）。最も一般的なフォーマットは、ｏｐｅｎＥＸＲ半精度浮動小数点フォーマット（ＲＧＢ成分毎に１６ビット、すなわち、画素毎に４８ビット）、または、通常は少なくとも１６ビットの“ｌｏｎｇ”型表現の整数値である。このような範囲は、人間の視覚システムの自然な感度に対応する。このように、ＨＤＲ画像は、現実のシーンに存在する広範囲の輝度および色をより正確に表し、これによって、シーンをよりリアルに表現できるようにする。

色情報、特に、ＨＤＲ色情報の記憶に必要なメモリの量を減少させるために、さらに、送信における帯域幅の使用を低減するために、画像データの色情報を、より小さな、より処理しやすいデータのサイズに圧縮するための多くの技術が存在する。

例えば、ＳＭＰＴＥ２０８５規格は、ハイダイナミック・レンジＸＹＺ信号に対して使用されるべきＹＤｚＤｘ色差符号化を規定する。非線形に符号化されたＸ’、Ｙ’およびＺ’の値によって表された色情報は、Ｙ’、Ｄ’ｚおよびＤ’ｘの色差信号に変換される。色度信号Ｄ’ｚは、成分Ｚ’とＹ’との間の重み付けされた差分として規定され、Ｄ’ｘは、色成分Ｘ’とＹ’との間の重み付けされた差分である。輝度信号Ｙ’は、変換によって変更されない。ＳＭＰＴＥ２０８５規格は、Ｘ’Ｙ’Ｚ’からＹ’Ｄ’ＺＤ’Ｘへの変換、さらに、Ｙ’Ｄ’ＺＤ’ＸからＸ’Ｙ’Ｚ’への変換を規定する。

色差成分Ｄ’ｚおよびＤ’ｘのダイナミックは、コンテンツに対して使用される色空間に依存する。例えば、ＩＴＵ Ｒｅｃ７０９においては、Ｄ’ｘは、範囲［−０．１３５；０．１３１］内で変化し、その一方で、ＩＴＵ Ｒｅｃ２０２０が考慮される場合、変化範囲は、［−０．４９６；０．１４７］である。したがって、有用なダイナミックは、ＩＴＵ Ｒｅｃ２０２０の範囲全体の約６５％であり、ＩＴＵ Ｒｅｃ７０９では、２７％のみである。入力データの減少の結果、符号化入力において導入される量子化ノイズが増加する。

本発明は、上記の点を考慮してなされたものである。

一般的な態様では、本発明は、ダイナミック・レンジを拡張するために、符号化の前に利得を色差成分に適用することに関する。

本発明の第１の態様によれば、色空間における画像の部分の色特性を規定する色成分を含む画像データを符号化する方法が提供される。この方法は、少なくとも画像の部分に対し、画像の部分の色成分から色差成分を取得することと、色差成分を、この色差成分のダイナミック・レンジを拡張するために、利得係数を適用することによってスケーリングすることと、スケーリングされた色差成分を符号化することと、を含む。各々の色差成分に適用される利得係数は色空間の色域に依存していてもよい。

本発明の一実施形態においては、各々の色差成分に適用される利得係数は、色差成分が
−０．５〜０．５の範囲内となるようにするものであり、色差成分が導出される色成分（Ｘ’，Ｙ’，Ｚ’）は、［０．０，１．０］の範囲にある。

本発明の一実施形態においては、色差成分のスケーリングは、色差成分の量子化の前に適用される。

一実施形態においては、色差成分のスケーリングは、色差成分の量子化の後に適用される。

一実施形態においては、画像の部分は、８ビットを超えるビット深度を有するハイダイナミック・レンジの画像の部分である。

一実施形態においては、この方法は、適用される利得係数を表すデータを送信することをさらに含む。例えば、適用される利得係数を表すデータは、ビデオ・ユーザビリティ情報のフィールドに含まれる。使用される色域を示すデータは、例えば、ビデオ・ユーザビリティ情報のｍａｔｒｉｘ＿ｃｏｅｆｆフィールドに含まれていてもよい。

本発明の第２の態様によれば、色空間における画像の部分の色特性を規定する色成分を含む画像データを復号する方法が提供される。この方法は、少なくとも画像の部分に対し、受信されたデータ・ビットストリームを復号することと、復号されたビットストリームから色差成分を取得することと、符号化の前に色差成分に適用される利得係数に対応する再スケーリング係数を適用することによって、色差成分を再スケーリングすることと、画像の部分の対応する色成分を取得するために再スケーリングされた色差成分を処理することと、を含む。各々の色差成分に適用される利得係数は色空間の色域に依存していてもよい。

一実施形態においては、この方法は、例えば、ビデオ・ユーザビリティ情報のフィールド内で、符号化の前に適用される利得係数を表すデータを受信することを含む。使用される色域を示すデータは、例えば、ビデオ・ユーザビリティ情報のｍａｔｒｉｘ＿ｃｏｅｆｆフィールドに含まれていてもよい。

本発明の第３の態様は、色空間における画像の部分の色特性を規定する色成分を含む画像データを符号化する符号化装置を提供する。この符号化装置は、画像の部分の色成分から色差成分を取得する処理モジュールと、色差成分を、この色差成分のダイナミック・レンジを拡張するために利得係数を適用することによってスケーリングするスケーラと、スケーリングされた色差成分を符号化する符号化器と、を含む。

符号化装置は、利得係数を、色空間の色域に依存する各々の色差成分に適用するように構成することができる。

符号化装置は、色差成分が−０．５〜０．５の範囲内となるように利得係数を各々の色差成分に適用するように構成することができる。

符号化装置は、色差成分の量子化の前に色差成分をスケーリングするように構成することができる。

別の実施形態においては、符号化装置は、色差成分の量子化の後に色差成分をスケーリングするように構成することができる。

一実施形態においては、符号化装置は、適用される利得係数を表すデータを送信する送
信機を含む。例えば、適用される利得係数を表すデータは、ビデオ・ユーザビリティ情報のフィールドに含まれる。使用される色域を示すデータは、例えば、ビデオ・ユーザビリティ情報のｍａｔｒｉｘ＿ｃｏｅｆｆフィールドに含まれていてもよい。

本発明の第４の態様は、色空間における画像の部分の色特性を規定する色成分を含む画像データを復号する復号装置を提供する。この復号装置は、受信されたビットストリームを復号する復号器と、復号されたビットストリームから色差成分を取得する処理モジュールと、符号化の前に色差成分に適用される利得係数に対応する再スケーリング係数を適用することによって色差成分を再スケーリングするリスケーラと、画像の部分の対応する色成分を取得するために再スケーリングされた色差成分を処理する画像プロセッサと、を含む。各々の色差成分に適用される利得係数は色空間の色域に依存していてもよい。

復号装置は、例えば、ビデオ・ユーザビリティ情報のフィールド内で、符号化の前に適用される利得係数を表すデータを受信するように構成することができる。使用される色域を示すデータは、例えば、ビデオ・ユーザビリティ情報のｍａｔｒｉｘ＿ｃｏｅｆｆフィールドに含まれていてもよい。

本発明の第５の態様は、色空間における画像の部分の色特性を規定する色成分を含む符号化された画像データであって、本発明の第１の態様の実施形態の方法に従って符号化されている画像データと、ダイナミック・レンジを拡張するために、符号化する前に画像データの色差成分に適用される利得係数を表すデータと、を含むデータ・パッケージを提供する。

本発明のさらなる態様は、メモリと、１つ以上のプロセッサと、メモリに記憶され、１つ以上のプロセッサによって実行されるように構成された１つ以上のモジュールとを含む電子装置であって、１つ以上のモジュールは、色空間における画像の部分の色特徴を規定する色成分を含む画像データを符号化する命令を含み、この命令は、
画像部分の色成分から色差成分を取得することと、
色差成分を、この色差成分のダイナミック・レンジを拡張するために、利得係数を適用することによってスケーリングすることと、
スケーリングされた色差成分を符号化することと、を含む、電子装置を提供する。各々の色差成分に適用される利得係数は色空間の色域に依存していてもよい。

本発明のさらなる態様は、メモリと、１つ以上のプロセッサと、メモリに記憶され、１つ以上のプロセッサによって実行されるように構成された１つ以上のモジュールとを含む電子装置であって、１つ以上のモジュールは、色空間における画像の部分の色特性を規定する色成分を含む画像データを復号する命令を含み、この命令は、
受信されたビットストリームを復号することと、
復号されたビットストリームから色差成分を取得することと、
符号化の前に色差成分に適用される利得係数に対応する再スケーリング係数を適用することによって、色差成分を再スケーリングすることと、
画像の部分の対応する色成分を取得するために再スケーリングされた色差成分を処理することとを含む、電子装置を提供する。

本発明に係る方法を、少なくとも部分的にコンピュータによって実施することができる。したがって、本発明は、完全にハードウェアの実施形態で実施することも、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態で実施することも、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態で実施することもでき、これらは、全て、本明細書において、一般的に、「回路」、「モジュール」、または、「システム」と称することがある。さらに、本発明は、任意の有体物と
しての媒体であって、内部にコンピュータが使用可能なプログラムコードが実装された表現を有する媒体において実施されるコンピュータ・プログラム・プロダクトの形態で実施することができる。

本発明は、ソフトウェアにおいて実施することができるため、本発明は、任意の適切な担持媒体上でプログラム可能な装置に提供されるコンピュータ・プログラムコードとして実施することができる。有体物としての担持媒体には、フロッピー・ディスク、ＣＤ−ＲＯＭ、ハードディスク・ドライブ、磁気テープ装置、または、ソリッドステート・メモリ装置などが含まれる。一時的な搬送媒体には、電気信号、電子信号、光学信号、音響信号、磁気信号、電磁信号、例えば、マイクロ波またはＲＥ信号などの信号が含まれる。

本発明の実施形態を、例示的な目的のみで、図面を参照して説明する。

本発明の１つ以上の実施形態を実施可能なデータ通信システムの例を示すブロック図である。 本発明の１つ以上の実施形態を実施可能な画像処理装置の例を示すブロック図である。 本発明の第１の実施形態に係る符号化装置のブロック図である。 本発明の第１の実施形態に係る符号化方法のステップを例示するフローチャートである。 本発明の第２の実施形態に係る符号化装置を示すブロック図である。 本発明の第２の実施形態に係る符号化方法のステップを例示するフローチャートである。 本発明の第１の実施形態に係る復号装置を示すブロック図である。 本発明の第１の実施形態に係る復号方法のステップを例示するフローチャートである。 本発明の第２の実施形態に係る復号装置を示すブロック図である。 本発明の第２の実施形態に係る復号方法のステップを例示するフローチャートである。 本発明の１つ以上の実施形態を実施可能な受信装置の例を示すブロック図である。 本発明の１つ以上の実施形態を実施可能な受信装置の別の例を示すブロック図である。

図１は、本発明の１つ以上の実施形態を実施可能なデータ通信システムの例を模式的に示すブロック図である。示されている例ではストリーミングのシナリオが考慮されているが、例えば、光学ディスクまたはＵＳＢキーなどのメディア記憶装置を使用して２つの装置間のデータ転送を行うことができることが理解されよう。示されている例において、データ通信システム１００は、送信装置、例えば、サーバ１１０は、データ通信ネットワーク１５０を介して、受信装置、例えば、クライアント端末１２０にデータ・ストリームのデータ・パケットを送信するように動作する。データ通信ネットワーク１５０は、ワイド・エリア・ネットワーク（ＷＡＮ）またはローカル・エリア・ネットワーク（ＬＡＮ）とすることができる。このようなネットワークは、例えば、無線ネットワーク（Ｗｉｆｉ／８０２．１１ａ、ｂまたはｇ）、イーサネット（登録商標）・ネットワーク、インターネット・ネットワーク、または、幾つかの異なるネットワークから構成される混合ネットワークとすることができる。本発明の特定の実施形態においては、データ通信システムは、サーバ１１０が同一のデータ・コンテンツを複数のクライアントに送信するディジタル・テレビジョン・ブロードキャスト・システムとすることができる。

サーバ１１０によって提供されるデータ・ストリーム１４０は、１つ以上の静止画像または複数の画像からなるシーケンスを含むビデオ・データを表すビットストリームを含む。本発明の実施形態によっては、ビットストリームで表される画像データは、カメラを使用して送信装置１１０によってキャプチャされ、送信装置１１０に記憶され、別のデータ・プロバイダから送信装置１１０によって受信されるか、送信装置１１０によって生成される。送信装置１１０には、画像データを符号化して、送信のための圧縮されたビットストリーム、すなわち、符号化器に対して入力される画像データのよりコンパクトな表現を提供する符号化器１１１が設けられる。本発明の１つ以上の実施形態においては、符号化された画像データは、画像を形成する色を表す符号化された色差信号を含む。

クライアント端末１２０は、送信されたビットストリーム１４０を受信し、復号器１２１によって、本発明の実施形態に従ってビットストリームを復号してマルチメディア・データをクライアント端末上でレンダリングする。クライアント端末は、テレビジョンやコンピュータなどの据え置き型の装置とすることもでき、限定するものではないが、ポータブル・コンピュータ、ハンドヘルド・コンピュータ、タブレット・コンピュータ、携帯電話、メディア・プレイヤー、携帯情報端末（ＰＤＡ）などを含む、可搬型の電子装置とすることもできる。

図２は、本発明の少なくとも１つの実施形態を実施するように構成された画像処理装置２００の機能的な要素を模式的に例示するブロック図である。処理装置は、本発明の実施形態に従って画像を符号化する符号化器または画像を復号する復号器を備えることができる。画像処理装置２００は、マイクロコンピュータ、ワークステーション、または、スマートフォン、タブレット、またはポータブル・コンピュータなどの可搬型の装置とすることができる。

画像処理装置２００は、メモリ２１０と、１つ以上の処理ユニット（ＣＰＵ）２２０と、アプリケーションとのデータの転送のやりとりをするための入出力インタフェース２３０と、を含む。画像処理装置２００のコンポーネントは、１つ以上の通信バス２５０を介して通信する。メモリ２１０は、高速ランダム・アクセス・メモリ（ＲＡＭ）２１１および読み出し専用メモリ（ＲＯＭ）２１２を含むことができる。ＲＯＭ２１２は、少なくともプログラムコードおよびパラメータを記憶する。本発明の実施形態に係る方法のアルゴリズムをＲＯＭ２１２に記憶することができる。電源が投入されると、ＣＰＵ２２０は、プログラムをＲＡＭ２１１にアップロードし、対応する命令を実行する。

ＲＡＭ２１１は、レジスタにおいて、ＣＰＵ２２０によって実行され、装置２００の電源が投入された後にアップロードされるプログラムと、レジスタにおける入力データと、レジスタにおけるアルゴリズムの種々の状態の中間データと、レジスタにおけるアルゴリズムを実行するための他の変数と、を含む。

メモリ２１０には、１つ以上の磁気ディスク記憶装置などの不揮発性メモリ、フラッシュメモリ装置、または他の不揮発性のソリッドステート・メモリ装置が含まれる。実施形態によっては、メモリは、さらに、１つ以上のＣＰＵ２２０から離れて位置する記憶装置を含むことがある。例えば、記憶手段は、インタフェースおよび／または通信ネットワークを通じてアクセス可能である。

実施形態によっては、例えば、処理装置が復号装置である場合、この装置には、例えば、タッチ感知スクリーンである、データを表示し、且つ／または、キーボードまたは他のユーザのインタラクティブな手段による、ユーザとのグラフィカル・インタフェースとして機能するディスプレイが設けられる。実施の形態によっては、装置は、バッテリ１１４
０などの電源を備える。代替的な実施形態によれば、電源は、装置の外部に存在させることができる。

本実施形態においては、処理装置２００は、本発明を実施するソフトウェアを使用するプログラム可能な装置である。しかしながら、代替的には、処理装置は、ハードウェアの形態（例えば、特定用途向け集積回路（ＡＳＩＣ）の形態）で実施することができ、または、ハードウェアおよびソフトウェアを組み合わせて実施することができる。

図３、図５、図７および図９において、例示されているモジュールは、機能的なモジュールに対応し、区別可能な物理的なユニットに対応することもあれば区別可能な物理的なユニットに対応しないこともある。例えば、複数のこのようなモジュールが、１つのユニークなコンポーネントまたは回路において関連していることもあれば、ソフトウェアの機能に対応することもある。さらに、モジュールは、場合によっては、複数の別個の物理的なエンティティ、またはソフトウェア機能から構成されていてもよい。

図３は、本発明の第１の実施形態に係る符号化装置３００の機能的なモジュールを例示する模式的なブロック図である。図４は、本発明の第１の実施形態に係る符号化方法のステップを記述するフローチャートである。

符号化装置３００に対する入力データは、画像データを含む。画像データは、符号化されるべき画像または画像の部分を表すことがある。画像データの色情報は、ハイダイナミック・レンジの色域を有する色空間で表される。色成分は、関連付けられた色空間における画像データの色情報を規定する。本特定の実施形態においては、色成分は、ＸＹＺフォーマットで提供される。しかしながら、例えば、ＲＧＢなど、色成分の他のフォーマットにも本発明を適用できることを理解されよう。ステップＳ４１０においては、ＯＥＴＦ（光電気伝達関数）モジュール３１０は、色成分に光電気伝達関数を適用する。ＯＥＴＦ関数は、入力信号を限定されたダイナミックに圧縮し、ピクチャの暗所領域内ではさらなる詳細を与える。色成分Ｘ，Ｙ，Ｚから取得された変換済みの色成分は、それぞれ、Ｘ’，Ｙ’およびＺ’と示される。

そして、ステップＳ４２０において、色変換モジュール３２０は、色差成分を取得するために、ＯＥＴＦモジュールから出力された色成分信号Ｘ’、Ｙ’およびＺ’に対して色変換を実行する。変換されたＸ、ＹおよびＺは、Ｙ’、Ｄ’ｚおよびＤ’ｘ色差信号に変換される。色差Ｄ’ｚは、色成分Ｚ’とＹ’との間の重み付け差分として規定され、色差信号Ｄ’ｘは、色成分Ｘ’とＹ’との間の重み付け差分である。輝度信号Ｙ’は、変換により変更されない。適用される色変換の例は、以下のように数式によって表される。色差成分Ｄ’Ｚ、Ｄ’Ｘは、以下のように表される。

ここで、入力色成分Ｘ’、Ｙ’およびＺ’は、［０．０，１．０］の範囲にあり、出力色成分Ｄ’ｚおよびＤ’ｘは、［−０．５，＋０．５］の公称範囲にある。

ステップＳ４３０において、スケーリング・モジュール３３０は、各々の利得係数ｇｘおよびｇｚを、それぞれに対応するダイナミック・レンジを拡張するために、色差成分Ｄ’ｘおよびＤ’ｚに適用する。適用される利得係数ｇｘ，ｇｚは、使用される色域に依存する。実施形態によっては、利得係数は、スケーリングされた色差成分ｇｘＤ’ｘおよびｇｚＤ’ｚが範囲［−０．５；０．５］内となるように適用される。

色域Ｒｅｃ７０９およびＲｅｃ２０２０に適用可能な利得係数の例が表１に与えられている。

表１：ＤｚおよびＤｘ成分に適用される利得係数の例

ステップＳ４４０において、量子化モジュール３４０は、量子化を色差成分Ｙ’ならびにスケーリングされた色差成分ｇｘＤ’ｘおよびｇｚＤ’ｚに適用して量子化された色差成分ＱｇｘＤ’ｘ、ＱＹ’およびＱｇｚＤ’ｚを取得する。

ステップＳ４５０において、量子化された色差成分ＱｇｘＤ’ｘ、ＱＹ’およびＱｇｚＤ’ｚは、符号化モジュール３５０によって、画像データを表すビットストリームに符号化される。

図５は、本発明の第２の実施形態に係る符号化装置５００の機能的なモジュールを例示する模式的なブロック図である。図６は、本発明の第２の実施形態に係る符号化方法のステップを記述するフローチャートである。

符号化装置５００に対する入力データは、画像データの色成分がＸＹＺフォーマットで提供される第１の実施形態の画像データと同様の画像データを含む。第２の実施形態は、色差成分の量子化の後にスケーリングが色差成分に適用される点で、第１の実施形態とは異なる。本発明の第２の実施形態に係る画像データの符号化方法の最初のステップＳ６１０において、ＯＥＴＦモジュール５１０は、色成分Ｘ、ＹおよびＺに光電気伝達関数を適用し、それぞれ、Ｘ’、Ｙ’およびＺ’と表記される変換された色成分を取得する。

そして、ステップＳ６２０において、本発明の第１の実施形態と同様に色差成分Ｄ’ｚおよびＤ’ｘを取得するために、色変換モジュール５２０は、色変換をＯＥＴＦモジュー
ルから出力された色成分信号Ｘ’およびＺ’に対して実行する。色成分Ｙ’は変更されない。

ステップＳ６３０において、量子化モジュール５３０は、量子化を色差成分Ｙ’ならびに色差成分Ｄ’ｘおよびＤ’ｚに適用し、色差成分ＱＤ’ｘ、ＱＹ’およびＱＤ’ｚを取得する。

ステップＳ６４０において、スケーリング・モジュール５４０は、各々の利得ファクタｇｘおよびｇｚを、各々のダイナミック・レンジを拡張するために、量子化された色差成分ＱＤ’ｘおよびＱＤ’ｚに適用する。

ステップＳ６５０において、符号化器モジュール５５０によって、スケーリング且つ量子化された色差成分ｇｘＱＤ’ｘ、ＱＹ’およびｇｚＱＤ’ｚが符号化され、画像データを表すビットストリームとなる。

図７は、本発明の第１の実施形態に係る復号装置７００の機能的なモジュールを例示する模式的なブロック図である。図８は、本発明の第１の実施形態に係る方法のステップを記述するフローチャートである。

復号装置７００に対する入力データは、本発明の第１の実施形態に従って符号化された画像データを表す符号化されたビットストリームを含む。

ステップＳ８１０において、復号モジュール７１０は、入来するビットストリームを復号して量子化且つスケーリングされた色差成分ＱｇｘＤ’ｘ、ＱＹ’およびＱｇｚＤ’ｚを取得する。

ステップＳ８２０において、量子化且つスケーリングされた色差成分が逆量子化モジュール７１０によって逆量子化され、スケーリングされた色差成分ｇｘＤ’ｘ、Ｙ’および
ｇｚＤ’ｚが取得される。

ステップＳ８３０において、逆量子化された色差成分が色変換モジュール７３０によって処理され、以下のように、色成分Ｘ’，Ｙ’およびＺ’が取得される。
Ｘ’＝２Ｄ’Ｘ＋ｃ２Ｙ’
Ｚ’＝(２Ｄ’Ｚ＋Ｙ’)/ｃ１
ここで、

であり、Ｘ’、Ｙ’およびＺ’は、［０．０，１．０］の範囲にあり、Ｄ’ｚおよびＤ’ｘは、［−０．５，０．５］の範囲にある。

そして、色成分Ｘ’、Ｙ’およびＺ’に対し、復号装置に関連付けられたディスプレイ装置の要求条件に従って、ステップＳ８４０において、さらなる処理が行われうる。

図９は、本発明の第２の実施形態に係る復号装置９００の機能的なモジュールを例示する模式的なブロック図である。図１０は、本発明の第２の形態係る方法のステップを記述
するフローチャートである。

復号装置９００に対する入力データは、本発明の第２の実施形態に従って符号化された画像データを表す符号化されたビットストリームを含む。

ステップＳ１０１０において、復号モジュール９１０は、入来するビットストリームを復号してスケーリング且つ量子化された色差成分ｇｘＱＤ’ｘ,ＱＹ’およびｇｚＱＤ’ｚを取得する。

スケーリング且つ量子化された色差成分ｇｘＱＤ’ｘおよびｇｚＱＤ’ｚを処理するために、符号化器ｇｘ ｇｚによって適用される利得係数が復号装置によって取得される。

表２は、色域Ｒｅｃ７０９および色域Ｒｅｃ２０２０に対する、表１の利得係数の場合に適用されるべき逆スケーリング係数を例示している。

表２：ＤｚおよびＤｘ成分に適用される復号スケーリング

情報は、復号器によって、様々な方法でアクセスされる。例えば、情報は、予め記憶されることがあり、情報は、符号化器から復号器に、画像データと共に送信されることもあれば、画像データとは別個に送信されることもある。

本発明の１つの特定の実施形態においては、ビデオ・ユーザビリティ情報（ＶＵＩ）を使用し、３つのフィールド、ｃｏｌｏｒ＿ｐｒｉｍａｒｉｅｓ、ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓおよびｍａｔｒｉｘ＿ｃｏｅｆｆｓを通じてスケーリング情報を復号器に伝送することができる。

ｃｏｌｏｒ＿ｐｒｉｍａｒｉｅｓフィールドは、ＩＳＯ １１６６４−１に規定されているようなｘおよびｙのＣＩＥ １９３１の定義の観点から、ソース原色の色度座標を示している。このフィールドは、使用される色域が、例えば、Ｒｅｃ７０９であるか、Ｒｅｃ２０２０であるかを示すために使用することができる。

ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓフィールドは、ソース・ピクチャの光電子工学伝達特性を示す。このフィールドは、符号化するべき色差成分へのＸＹＺの変換を記述するために使用することができる。

ｍａｔｒｉｘ＿ｃｏｅｆｆｓフィールドは、緑、青および赤の原色からの輝度および色度信号を導出する際に使用される行列係数を記述する。

本発明の本実施形態においては、新たな値がｍａｔｒｉｘ＿ｃｏｅｆｆｓフィールドに追加される。ｍａｔｒｉｘ＿ｃｏｅｆｆｓのこの特定の値のために、表２に示されているようなｃｏｌｏｒ＿ｐｒｉｍａｒｉｅｓフィールドに従って、符号化器側で成分ＱＤ’ｘおよびＱＤ’ｚがスケーリングされる。

例えば、ｃｏｌｏｒ＿ｐｒｉｍａｒｉｅｓ＝１（Ｒｅｃ７０９を示す）である場合には、ＱＤ’ｘおよびＱＤ’ｚは、それぞれ、復号器側で８および３の係数でＤ’ｘおよびＤ’ｚにダウンスケーリングされる。

ステップＳ１０２０において、色差成分が逆量子化モジュール９１０によって逆量子化され、スケーリングされた色差成分Ｄ’ｘ、Ｙ’およびＤ’ｚが取得される。

ステップＳ１０３０において、逆量子化された色差成分が色変換モジュール９３０によって処理され、以下のように、色成分Ｘ’、Ｙ’およびＺ’が取得される。
Ｘ’＝２Ｄ’Ｘ＋ｃ２Ｙ’
Ｚ’＝(２Ｄ’Ｚ＋Ｙ’)/ｃ１
ここで、

であり、
色成分Ｘ’、Ｙ’およびＺ’は、［０．０，１．０］の範囲にあり、色差成分Ｄ’ｚおよびＤ’ｘは、［−０．５，０．５］の範囲にある。

そして、色成分Ｘ’、Ｙ’およびＺ’は、ステップＳ１０５０において、復号装置に関連付けられた表示装置の要求条件に従って、さらに処理することができる。

本発明の実施形態は、例えば、ＭＰＥＧ符号化等のようなビデオ・ストリーミングのための様々な符号化スキームにおいてその用途を見いだすことができる。

図１１は、例示的な送信システム１３００を示している。入力メディア・データ、例えば、ＨＤＲ画像データを含むオーディオおよびビデオ・データは、本発明の実施形態に従って、メディア符号化器１３１０で符号化される。符号化されたデータは、多重化器１３２０で多重化され、送信機１３３０で送信される。送信システムは、通常のＴＶブロードキャスト環境で使用することができ、または、ストリーミングまたはダウンローディングのためのオーディオ・ビジュアル（ＡＶ）・データを提供するどのようなサービスにおいても使用することができる。

図１２は、例示的な受信システム１４００を示している。システム１４００の入力データは、ビットストリーム、例えば、システム１３００の出力に符号化されるマルチメディア・データとすることができる。データは、受信機１４１０で受信され、逆多重化器１４２０で逆多重化され、そして、本発明の実施形態に従う復号方法を適用することによってメディア復号器１４３０で復号される。復号されたパケットは、逆多重化器１４２０のバッファに収納することができる。レンダリング・エンジン１４４０は、例えば、カラーでＨＤＲ画像を表示するために、メディア・コンテンツをレンダリングする。

本発明を特定の実施形態を参照して上記に説明したが、本発明は特定の実施形態に限定されるものではなく、本発明の範囲の中で変更が施されることが当業者には明らかであろう。

例えば、上記の例において、前処理ＳＭＰＴＥ色変換処理を含む符号化処理または復号処理について説明したが、本発明が色差成分を取得するためのどのような特定な処理にも限定されるものではないことが理解できよう。画像の色情報の符号化に適用可能な他の処理を、本発明のコンテキストにおいて適用することもできる。例えば、符号化処理およびこれに対応する復号処理は、ＭＰＥＧ２、ＭＰＥＧ４、ＡＶＣ、Ｈ．２６３などのような何らかの符号化手法最適化ステップを伴う他の符号化／復号方法に基づくものとすることができる。

上述した例示的な実施形態を参照することによって、多くのさらなる変更および変形が当業者によって提案されるであろう。実施形態は、例示的な目的のみで与えられ、本発明の範囲を限定するように意図されたものではなく、本発明の範囲は、付随する請求の範囲によってのみ確定される。特に、種々の実施形態からの種々の特徴事項は、適宜、相互に置き換え可能である。

Claims (17)

1. 画像データを復号する方法であって、前記方法は、
   画像データを含む、受信されたデータ・ビットストリームを復号し、少なくとも第１の色差成分及び第２の色差成分を取得することであって、前記第１の色差成分及び前記第２の色差成分は、色空間における画像の少なくとも部分についての色情報を提供する、ことと、
   前記第１の色差成分及び前記第２の色差成分にそれぞれ適用されるべき第１の再スケーリング係数及び第２の再スケーリング係数を取得することであって、前記第１の再スケーリング係数は、符号化の前に前記第１の色差成分のダイナミック・レンジを拡張するために前記第１の色差成分に適用される第１の利得係数に対応し、前記第２の再スケーリング係数は、符号化の前に前記第２の色差成分のダイナミック・レンジを拡張するために前記第２の色差成分に適用される第２の利得係数に対応し、前記第１の利得係数及び前記第２の利得係数は、前記色空間の色域に依存する、ことと、
   前記第１の再スケーリング係数を適用して前記第１の色差成分を再スケーリングし、且つ、前記第２の再スケーリング係数を適用して前記第２の色差成分を再スケーリングすることと、
   再スケーリングされた前記第１の色差成分と再スケーリングされた前記第２の色差成分とを処理し、前記画像の部分の対応する色成分を取得することと、
   を含む方法。
2. 請求項１に記載の方法であって、前記画像の部分は、８ビットを超えるビット深度を有するハイダイナミック・レンジの画像の部分である、方法。
3. 請求項１又は２に記載の方法であって、前記第１の利得係数及び前記第２の利得係数を表すデータを受信することを更に含む、方法。
4. 請求項３に記載の方法であって、前記第１の利得係数及び前記第２の利得係数を表す前記データは、ビデオ・ユーザビリティ情報に含まれている、方法。
5. 請求項１乃至４のうち何れか１項に記載の方法であって、前記色空間の前記色域を示すデータは、ビデオ・ユーザビリティ情報のｍａｔｒｉｘ＿ｃｏｅｆｆフィールドに含まれている、方法。
6. 請求項３乃至５のうち何れか１項に記載の方法であって、前記受信されたデータ・ビットストリームは、前記第１の利得係数及び前記第２の利得係数を表すデータを更に含み、前記方法は、前記受信されたデータ・ビットストリームを復号し、前記第１の再スケーリング係数及び前記第２の再スケーリング係数を含むスケーリング情報を更に取得することを含む、方法。
7. 請求項３乃至５のうち何れか１項に記載の方法であって、前記第１の利得係数及び前記第２の利得係数を表すデータは、前記受信されたデータ・ビットストリームに含まれる画像データとは別に受信される、方法。
8. 請求項３乃至７のうち何れか１項に記載の方法であって、前記第１の利得係数及び前記第２の利得係数を表すデータは、前記色空間の前記色域を示すデータを含む、方法。
9. 請求項１乃至８のうち何れか１項に記載の方法であって、前記画像の部分は、第１の色成分、第２の色成分、及び第３の色成分を含み、前記第１の色差成分は、前記第３の色成分と前記第１の色成分との間の重み付け差分であり、前記第２の色差成分は、前記第２の色成分と前記第１の色成分との間の重み付け差分である、方法。
10. 画像データを符号化する符号化器であって、
    一つ以上のプロセッサを含み、
    前記一つ以上のプロセッサは、
    画像データを含む、受信されたデータ・ビットストリームを復号し、少なくとも第１の色差成分及び第２の色差成分を取得することであって、前記第１の色差成分及び前記第２の色差成分は、色空間における画像の少なくとも部分についての色情報を提供する、ことと、
    前記第１の色差成分及び前記第２の色差成分にそれぞれ適用されるべき第１の再スケーリング係数及び第２の再スケーリング係数を取得することであって、前記第１の再スケーリング係数は、符号化の前に前記第１の色差成分のダイナミック・レンジを拡張するために前記第１の色差成分に適用される第１の利得係数に対応し、前記第２の再スケーリング係数は、符号化の前に前記第２の色差成分のダイナミック・レンジを拡張するために前記第２の色差成分に適用される第２の利得係数に対応し、前記第１の利得係数及び前記第２の利得係数は、前記色空間の色域に依存する、ことと、
    前記第１の再スケーリング係数を適用して前記第１の色差成分を再スケーリングし、且つ、前記第２の再スケーリング係数を適用して前記第２の色差成分を再スケーリングすることと、
    再スケーリングされた前記第１の色差成分と再スケーリングされた前記第２の色差成分とを処理し、前記画像の部分の対応する色成分を取得することと、
    を行うように構成されている、符号化器。
11. 請求項１０に記載の符号化器であって、前記画像の部分は、８ビットを超えるビット深度を有するハイダイナミック・レンジの画像の部分である、符号化器。
12. 請求項１０又は１１に記載の符号化器であって、前記一つ以上のプロセッサは、前記第１の利得係数及び前記第２の利得係数を表すデータを受信するように構成されている、符号化器。
13. 請求項１２に記載の符号化器であって、前記受信されたデータ・ビットストリームは、前記第１の利得係数及び前記第２の利得係数を表すデータを更に含み、前記一つ以上のプロセッサは、前記受信されたデータ・ビットストリームを復号し、前記第１の再スケーリング係数及び前記第２の再スケーリング係数を含むスケーリング情報を更に取得するように構成されている、符号化器。
14. 請求項１２に記載の符号化器であって、前記第１の利得係数及び前記第２の利得係数を表すデータは、前記受信されたデータ・ビットストリームに含まれる画像データとは別に受信される、符号化器。
15. 請求項１２乃至１４のうち何れか１項に記載の符号化器であって、前記第１の利得係数及び前記第２の利得係数を表すデータは、前記色空間の前記色域を示すデータを含む、符号化器。
16. 請求項１０乃至１５のうち何れか１項に記載の符号化器であって、前記画像の部分は、第１の色成分、第２の色成分、及び第３の色成分を含み、前記第１の色差成分は、前記第３の色成分と前記第１の色成分との間の重み付け差分として規定され、前記第２の色差成分は、前記第２の色成分と前記第１の色成分との間の重み付け差分として規定される、符号化器。
17. プロセッサにより実行されるときに、請求項１乃至９のうち何れか１項に記載の方法を前記プロセッサに実行させる命令を含むコンピュータ読み取り可能な記録媒体。

Images