JP6568078B2 - 画像データを符号化するための方法および装置ならびに画像データを復号するための方法および装置 - Google Patents

Description

本発明は、画像データを符号化するための方法および装置、および画像データを復号するための方法および装置に関する。詳細には、限定しないが、本発明は、ハイダイナミックレンジ（ＨＤＲ）アプリケーションのためのビデオデータの符号化および復号に関する。

撮像デバイスによって取り込まれるシーン内の光の変動は大きく変わり得る。たとえば、シーンの影の中に位置する物体は、直射日光によって照明された物体に比べて非常に暗く見える可能性がある。従来のローダイナミックレンジ（ＬＤＲ）画像によって提供される限られたダイナミックレンジおよび色域は、そのようなシーン内の輝度および色の変化を正確に再現するための十分な範囲を提供しない。典型的には、画像の画素の輝度または色を表すＬＤＲ画像の成分の値は、限られた数のビット（典型的には８、１０、または１２ビット）によって表される。そのような表現によって提供される輝度の限られた範囲は、特に輝度の明るい範囲および暗い範囲において、小さな信号変動が効果的に再現されることを可能にしない。

ハイダイナミックレンジ画像（ＨＤＲまたはＨＤＲＩとも呼ばれる）は、従来のＬＤＲ画像に比べてシーンの明るいエリアと暗いエリアの間で輝度のより大きなダイナミックレンジを可能にする。これは、範囲全体にわたって高い信号精度を提供するために、ＨＤＲ画像において、信号表現をより広いダイナミックレンジに拡張することによって達成される。ＨＤＲ画像では、画素の成分値は、通常、浮動小数点フォーマット（たとえば、各成分について３２ビットまたは１６ビット、すなわちｆｌｏａｔまたはｈａｌｆ−ｆｌｏａｔ）において含むより多くの数のビット（たとえば、１６ビットから６４ビット）で表され、最も一般的なフォーマットは、ｏｐｅｎＥＸＲ半精度浮動小数点フォーマット（ＲＧＢ成分当たり１６ビット、すなわち画素当たり４８ビット）であり、またはｌｏｎｇ表現、典型的には少なくとも１６ビットを有する整数である。そのような範囲は、人の視覚系の自然の感度に対応する。このようにして、ＨＤＲ画像は、現実のシーンにおいて見出される輝度の広い範囲をより正確に表し、それによりシーンのより現実的な表現を提供する。

しかし、提供される値のより大きな範囲のために、ＨＤＲ画像は大量の記憶空間および帯域幅を消費し、ＨＤＲ画像およびビデオの記憶および伝送を問題の多いものにする。したがって、データをより小さい、より管理可能なデータサイズに圧縮するために、効率的なコード化技法が必要とされている。正確なレンダリングのために輝度のダイナミックレンジを保存しながらＨＤＲデータを効果的に圧縮するための適切なコード化／復号技法を見出すことは、困難であることが判明している。

ＨＤＲ画像を符号化するための典型的な手法は、ＬＤＲ画像を符号化するために使用される従来の符号化方式により画像を符号化するために、画像のダイナミックレンジを低減することである。

たとえば、１つのそのような技法では、トーンマッピングオペレータが入力ＨＤＲ画像に適用され、次いで、トーンマッピングされた画像は、ビデオのためのＪＰＥＧ／ＪＰＥＧ２００またはＭＰＥＧ−２、Ｈ．２６４／ＡＶＣなど従来の８〜１０ビット深度の符号化方式により符号化される（Ｋａｒｓｔｅｎ Ｓｕｈｒｉｎｇ、Ｈ．２６４／ＡＶＣ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ、ｈｔｔｐ：／／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／ｄｏｗｎｌｏａｄ／、ｔｈｅ ｂｏｏｋ ｏｆ Ｉ．Ｅ．Ｒｉｃｈａｒｄｓｏｎ ｔｉｔｌｅｄ ”Ｈ．２６４ ａｎｄ ＭＰＥＧ−４ ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ” ｐｕｂｌｉｓｈｅｄ ｉｎ Ｊ．Ｗｉｌｅｙ ＆ Ｓｏｎｓ ｉｎ Ｓｅｐｔｅｍｂｅｒ ２００３）。次いで、逆トーンマッピング演算子が復号された画像に適用され、入力画像と、復号され逆トーンマッピングされた画像との間で残差が計算される。最後に、その残差が、第２の従来の８〜１０ビット深度の符号化器方式により符号化される。

この第１の手法の主な欠点は、２つの符号化方式の使用、および入力画像のダイナミックレンジを従来の符号化方式のダイナミックレンジの２倍（１６〜２０ビット）に制限することである。別の手法によると、たとえばＨＥＶＣなど、従来の８〜１０または拡張された１２、１４、もしくは１６ビット深度の符号化方式（Ｂ．Ｂｒｏｓｓ、Ｗ．Ｊ．Ｈａｎ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ、Ｊ．Ｒ．Ｏｈｍ、Ｔ．Ｗｉｅｇａｎｄ ＪＣＴＶＣ−Ｋ１００３、”Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ９，” Ｏｃｔ ２０１２）およびその高いビット深度拡張と適合するダイナミックレンジに値が属する色空間内の画像画素の視覚的にロスレスな表現を得るために、入力ＨＤＲ画像が変換される。従来のコーデックが高い画素（ビット）深度を操作することができる場合でさえ、一般に、そのようなビット深度で、画像にわたって均一に符号化することは困難である。なぜなら、得られる圧縮比が伝送アプリケーションにとって低すぎるからである。

ＬＤＲ画像に適用可能なコード化技法を使用する他の手法は、復号された画像内にアーチファクトを引き起こす。本発明は、前述を念頭に置いて工夫された。

本発明の第１の態様によると、輝度成分および色差メトリックを有する知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を符号化する方法が提供され、この方法は、
ローダイナミックレンジ（ＬＤＲ）画像に適用可能な符号化処理を使用して上記画像の上記少なくとも一部のセグメントを符号化し、上記符号化処理において少なくとも１つの符号化パラメータを適用するステップと、
上記符号化されたセグメントをハイダイナミックレンジの上記知覚空間内で再構築するステップと、
ハイダイナミックレンジの上記知覚空間内の上記符号化されたセグメントについてレート歪みコストを評価するステップと、
上記セグメントの上記符号化処理のための前記少なくとも１つの符号化パラメータを上記評価されたレート歪みコストに基づいて調整するステップと、を含む。

画像のセグメントは、画像のブロックを指してもよい。ブロックは、たとえば、予測ユニット（ＰＵ）、コード化ユニット（ＣＵ）、または変換ユニット（ＴＵ）であり得る。

一実施形態では、上記少なくとも１つの符号化パラメータは、符号化されるセグメントに上記画像を区分することを定義し、各セグメントは、ＨＤＲの対応する知覚空間を有する。

一実施形態では、上記少なくとも１つの符号化パラメータは、コード化４分木パラメータを含む。

一実施形態では、この方法は、上記セグメントについて、共通の代表的な輝度成分値を、上記セグメントの対応する画像サンプルの輝度値に基づいて得るステップを含む。

一実施形態では、上記レート歪みコストを評価するステップは、上記共通の代表的な輝度成分値の符号化に関連付けられたレートを評価するステップを含む。

一実施形態では、符号化処理は、ＨＥＶＣタイプの符号化処理であり、上記画像の上記少なくとも一部の上記セグメントは、コード化ユニット、予測ユニット、または変換ユニットに対応する。

一実施形態では、この方法は、画像セグメントを符号化する前に、そのセグメントを上記共通の代表的な輝度成分値に基づいて局所的な知覚空間内で表すステップを含む。

一実施形態では、この方法は、上記セグメントについて、局所的なＬＤＲ領域内の局所的な残差輝度成分を得るステップであって、上記局所的な残差輝度成分は、元の画像の対応する輝度成分と上記セグメントの上記共通の代表的な輝度値との差に対応する、ステップを含む。

一実施形態では、この方法は、上記セグメントについて、上記局所的な知覚空間内の少なくとも１つの対応する画像部分を得るステップであって、前記少なくとも１つの画像部分は、上記セグメントの上記共通の代表的な輝度値に従って正規化された上記セグメントの上記局所的な残差輝度成分または色成分に対応する、ステップを含む。

一実施形態では、上記レート歪みコストを評価するステップは、前記少なくとも１つの画像部分の符号化に関連付けられたレートを評価するステップを含む。

一実施形態では、上記レート歪みコストを評価するステップは、上記局所的な残差輝度成分の符号化に関連付けられたレートを評価するステップを含む。

一実施形態では、上記レート歪みコストを評価するステップは、ハイダイナミックレンジの上記知覚空間内の上記符号化されたセグメントの再構築に関連付けられた歪みを評価するステップを含む。

一実施形態では、符号化パラメータセットｐについてのレート歪みコストＤ^HDRは、以下の式に基づいて評価され、
Ｄ^HDR（ＣＵ，ｐ）＋λ（Ｒ_LDR（ＣＵ，ｐ）＋Ｒ（Ｌ_lf，ｐ））
上式で、
・ Ｒ_LDR（ＣＵ，ｐ）は、残差画像部分の符号化に関連付けられたレートであり、
Ｒ（Ｌ_lf，ｐ）は、上記共通の代表的な輝度成分値の符号化に関連付けられたレートであり、
Ｄ^HDR（ＣＵ，ｐ）は、ハイダイナミックレンジの上記知覚空間内の上記符号化されたセグメントの再構築に関連付けられた歪みであり、
λは、ラグランジュパラメータである。

一実施形態では、この方法は、上記局所的な知覚空間内で再構築された上記残差画像部分のサンプルと、元のテクスチャのサンプルと、前記画像の対応するサンプルとの間で仮想ロスレスリファインメントを実施するステップを含む。

本発明の第２の態様によると、輝度成分および色差メトリックを有する知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を符号化するための符号化デバイスが提供され、このデバイスは、
ローダイナミックレンジ（ＬＤＲ）画像に適用可能な符号化処理を使用して上記画像の上記少なくとも一部のセグメントを、符号化処理において少なくとも１つの符号化パラメータを適用することによって符号化するための符号化器（ＥＮＣ１、ＥＮＣ２、ＥＮＣ３）と、
上記符号化されたセグメントをハイダイナミックレンジの上記知覚空間内で再構築する再構築モジュール（ＲＥＣ）と、
ハイダイナミックレンジの上記知覚空間内の上記符号化されたセグメントについてレート歪みコストを決定するためのレート歪みモジュール（ＲＡＴＥ−ＤＩＳＴ）と、
上記セグメントの上記符号化処理のための上記少なくとも１つの符号化パラメータを上記評価されたレート歪みコストに基づいて調整するための符号化器管理モジュール（ＥＮＣＯＤＥＲ ＣＯＮＴＲＯＬ）と、を備える。

画像のセグメントは、画像のブロックを指してもよい。ブロックは、たとえば、予測ユニット（ＰＵ）、コード化ユニット（ＣＵ）、または変換ユニット（ＴＵ）であり得る。

一実施形態では、上記少なくとも１つの符号化パラメータは、符号化されるセグメントに上記画像を区分することを定義し、各セグメントは、ＨＤＲの対応する知覚空間を有する。

一実施形態では、上記少なくとも１つの符号化パラメータは、コード化４分木パラメータを含む。

一実施形態では、符号化デバイスは、前記セグメントについて、共通の代表的な輝度成分値を、前記セグメントの対応する画像サンプルの輝度値に基づいて得るためのモジュールを含む。

一実施形態では、レート歪みモジュールは、上記共通の代表的な輝度成分値の符号化に関連付けられたレートを評価するように構成される。

一実施形態では、符号化デバイスは、ＨＥＶＣタイプの符号化処理を実装するように構成され、上記画像の上記少なくとも一部の上記セグメントは、コード化ユニット、予測ユニット、または変換ユニットに対応する。

一実施形態では、符号化デバイスは、画像セグメントを符号化する前に、そのセグメントを上記共通の代表的な輝度成分値に基づいて局所的な知覚空間内で表すためのモジュールを備える。

一実施形態では、符号化デバイスは、上記セグメントについて、局所的なＬＤＲ領域内の局所的な残差輝度成分を得るためのモジュールを備え、前記局所的な残差輝度成分は、元の画像の対応する輝度成分と上記セグメントの上記共通の代表的な輝度値との差に対応する。

一実施形態では、符号化デバイスは、上記セグメントについて、上記局所的な知覚空間内の少なくとも１つの対応する画像部分を得るためのモジュールを備え、前記少なくとも１つの画像部分は、上記セグメントの上記共通の代表的な輝度値に従って正規化された上記セグメントの上記局所的な残差輝度成分または色成分に対応する。

一実施形態では、レート歪みモジュールは、残差画像部分の符号化に関連付けられたレートを評価するように構成される。

一実施形態は、レート歪みモジュールは、ハイダイナミックレンジの上記知覚空間内の上記符号化されたセグメントの再構築に関連付けられた歪みを評価するように構成される。

一実施形態では、符号化パラメータセットｐについてのレート歪みコストＤ^HDRは、以下の式に基づいて評価され、
Ｄ^HDR（ＣＵ，ｐ）＋λ（Ｒ_LDR（ＣＵ，ｐ）＋Ｒ（Ｌ_lf，ｐ））
上式で、
・ Ｒ_LDR（ＣＵ，ｐ）は、残差画像部分の符号化に関連付けられたレートであり、
Ｒ（Ｌ_lf，ｐ）は、上記共通の代表的な輝度成分値の符号化に関連付けられたレートであり、
Ｄ^HDR（ＣＵ，ｐ）は、ハイダイナミックレンジの上記知覚空間内の上記符号化されたセグメントの再構築に関連付けられた歪みであり、
λは、ラグランジュパラメータである。

一実施形態では、符号化デバイスは、上記局所的な知覚空間内で再構築された上記残差画像部分のサンプルと、元のテクスチャのサンプルと、前記画像の対応するサンプルとの間で仮想ロスレスリファインメントを実施するためのモジュールを備える。

本発明の第３の態様によると、輝度成分および色差メトリックを有する知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を表すビットストリームを復号するための復号方法が提供され、この方法は、
少なくとも１つの符号化パラメータを表すコード化データにアクセスするステップと、
ローダイナミックレンジ（ＬＤＲ）画像に適用可能な復号処理を使用して上記画像の上記少なくとも一部のセグメントを、上記少なくとも１つの符号化パラメータに対応する少なくとも１つの復号パラメータを適用することによって復号するステップと、を含み、
上記少なくとも１つの符号化パラメータは、ＬＤＲ画像に適用可能な符号化処理およびハイダイナミックレンジの上記知覚空間内の上記セグメントの再構築によって、上記セグメントの符号化後、上記セグメントについて評価されたレート歪みコストに基づいて決定される。

画像のセグメントは、画像のブロックを指してもよい。ブロックは、たとえば、予測ユニット（ＰＵ）、コード化ユニット（ＣＵ）、または変換ユニット（ＴＵ）であり得る。

一実施形態では、上記少なくとも１つの復号パラメータは、復号されるセグメントに上記画像を区分することを定義し、各セグメントは、ＨＤＲの対応する知覚空間を有する。

一実施形態では、上記少なくとも１つの復号パラメータは、復号４分木パラメータを含む。

本発明の第４の態様によると、輝度成分および色差メトリックを有する知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を表すビットストリームを復号するための復号デバイスが提供され、このデバイスは、
上記画像を符号化するための少なくとも１つの符号化パラメータを表すコード化データにアクセスするためのインターフェースと、
ローダイナミックレンジ（ＬＤＲ）画像に適用可能な復号処理を使用して上記画像の上記少なくとも一部のセグメントを、上記少なくとも１つの符号化パラメータに対応する少なくとも１つの復号パラメータを適用することによって復号するための復号器と、を備え、
上記少なくとも１つの符号化パラメータは、ＬＤＲ画像に適用可能な符号化処理およびハイダイナミックレンジの上記知覚空間内の上記セグメントの再構築によって、上記セグメントの符号化後、上記セグメントについて評価されたレート歪みコストに基づいて決定される。

画像のセグメントは、画像のブロックを指してもよい。ブロックは、たとえば、予測ユニット（ＰＵ）、コード化ユニット（ＣＵ）、または変換ユニット（ＴＵ）であり得る。

一実施形態では、上記少なくとも１つの復号パラメータは、復号されるセグメントに上記画像を区分することを定義し、各セグメントは、ＨＤＲの対応する知覚空間を有する。

一実施形態では、上記少なくとも１つの復号パラメータは、復号４分木パラメータを含む。

本発明の第５の態様によると、輝度成分および色差メトリックを有する知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を表すビットストリームが提供され、このビットストリームは、符号化パラメータセットを表すデータを担持する信号をさらに含み、上記少なくとも１つの符号化パラメータは、ＬＤＲ画像に適用可能な符号化処理およびハイダイナミックレンジの上記知覚空間内の上記セグメントの再構築によって、上記セグメントの符号化後、上記セグメントについて評価されたレート歪みコストに基づいて決定される。

第３の態様、第４の態様、および第５の態様の少なくとも１つの符号化パラメータは、本発明の第１の態様および第２の態様の実施形態のいずれかに従って決定される。

本発明の他の態様は、輝度成分および色差メトリックを有するハイダイナミックレンジの知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を符号化する方法を提供し、この方法は、ローダイナミックレンジ（ＬＤＲ）画像に適用可能な符号化処理を使用して上記画像の上記一部のセグメントを符号化し、上記符号化処理において少なくとも１つの符号化パラメータを適用するステップと、上記セグメントの上記符号化処理のための前記少なくとも１つの符号化パラメータをレート歪みコストに基づいて調整するステップと、を含み、上記レート歪みコストは、ハイダイナミックレンジの上記知覚空間内での上記符号化されたセグメントの再構築後、上記符号化されたセグメントに対して評価される。

本発明の他の態様は、輝度成分および色差メトリックを有するハイダイナミックレンジの知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を符号化するための符号化デバイスを提供し、このデバイスは、
ローダイナミックレンジ（ＬＤＲ）画像に適用可能な符号化処理を使用して上記画像の上記少なくとも一部のセグメントを符号化し、上記符号化処理において少なくとも１つの符号化パラメータを適用するステップと、
上記符号化されたセグメントをハイダイナミックレンジの上記知覚空間内で再構築し、
ハイダイナミックレンジの上記知覚空間内の上記符号化されたセグメントについてレート歪みコストを評価し、
上記セグメントの上記符号化処理のための前記少なくとも１つの符号化パラメータを上記評価されたレート歪みコストに基づいて調整するように構成された１つまたは複数のプロセッサを備える。

本発明の他の態様によると、輝度成分および色差メトリックを有する知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を表すビットストリームを復号するための復号デバイスが提供され、このデバイスは、
上記画像を符号化するために使用される少なくとも１つの符号化パラメータを表すコード化データにアクセスし、
ローダイナミックレンジ（ＬＤＲ）画像に適用可能な復号処理を使用して上記画像の上記少なくとも一部のセグメントを、上記少なくとも１つの符号化パラメータにそれぞれ対応する少なくとも１つの復号パラメータを適用することによって復号するように構成された１つまたは複数のプロセッサを備え、
上記少なくとも１つの符号化パラメータは、ＬＤＲ画像に適用可能な符号化処理およびハイダイナミックレンジの上記知覚空間内の上記セグメントの再構築によって、上記セグメントの符号化後、上記セグメントについて評価されたレート歪みコストに基づいて事前に決定される。

本発明の実施形態は、改善された視覚体験をもたらす広範なアプリケーション向けのハイダイナミックレンジ画像データのための符号化および復号方法を提供する。

本発明による方法の少なくとも一部は、コンピュータによって実施され得る。したがって、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの態様を組み合わせる実施形態の形態をとることができ、これらはすべて、本明細書において一般に、「回路」「モジュール」または「システム」と呼ばれることがある。さらに、本発明は、コンピュータ使用可能なプログラムコードが媒体内に含まれる任意の有形の表現媒体内に含まれるコンピュータプログラム製品の形態をとることができる。

本発明はソフトウェアで実装することができるので、本発明は、任意の好適なキャリア媒体上でプログラム可能な装置に提供するためにコンピュータ可読コードとして具体化され得る。有形のキャリア媒体は、フロッピディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス、またはソリッドステートメモリデバイスなど記憶媒体を含むことができる。過渡的なキャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または電磁信号、たとえばマイクロ波もしくはＲＥ信号などの信号を含むことができる。

次に、本発明の実施形態について、例示のためだけとして、以下の図面を参照して述べる。
本発明の第１の実施形態による符号化処理のブロック図である。 ＨＥＶＣビデオ圧縮標準による、コード化ユニットを予測ユニットと変換ユニットに分解する一例を示す概略図である。 本発明の一実施形態による符号化処理のブロック図である。 本発明の他の実施形態による符号化処理のブロック図である。 本発明の１つまたは複数の実施形態による復号処理のブロック図である。 本発明の１つまたは複数の実施形態による符号化デバイスのブロック図である。 本発明の１つまたは複数の実施形態による復号デバイスのブロック図である。 本発明の１つまたは複数の実施形態を実装することができるデータ通信システムの一例のブロック図である。

図１は、本発明の第１の実施形態による画像Ｉの少なくとも一部を符号化するための方法のステップを示す概略ブロック図である。図１の方法の符号化ステップは、一般に、ＬＤＲタイプの画像に適用可能なＨＥＶＣ圧縮標準に基づくが、本発明の実施形態は、たとえばＨ．２６４／ＡＶＣ、ＭＰＥＧ２、またはＭＰＥＧ４など、ＬＤＲタイプの画像に適用可能な他の符号化標準に適用されてもよいことを理解されたい。

この方法は、ＨＤＲ画像データを獲得することから始まる。ＨＤＲ画像データは、画像のビデオシーケンス、画像、または画像の一部を表してもよい。以下の説明を簡単にするために、獲得される画像データは、ＨＤＲ画像に対応する。ＨＤＲ画像データは、ビデオカメラなど撮像デバイスから直接獲得されても、ローカルまたは遠隔に位置する、ＨＤＲ画像データが記憶されるメモリデバイスから獲得されても、無線または有線伝送ラインを介して受信されてもよい。

本明細書で使用されるとき、「ＨＤＲ画像」という用語は、典型的には１６より大きいビット数によって表される浮動小数点（ｆｌｏａｔまたはｈａｌｆ−ｆｌｏａｔ）、固定小数点、または長い表現の整数のフォーマットにあるハイダイナミックレンジデータを含む任意のＨＤＲ画像を指す。入力ＨＤＲ画像は、任意の色空間または知覚空間内で定義され得る。たとえば、本実施形態では、入力ＨＤＲ画像は、ＲＧＢ色空間内で定義される。他の実施形態では、入力ＨＤＲ画像は、ＹＵＶまたは任意の知覚空間など、別の色空間内で定義されてもよい。

一般に、このプロセスの符号化ステップは、画像の画素の輝度を表すデータを含む画像に対して実施される。そのような画像データは、輝度成分Ｌと、おそらくは少なくとも１つの色成分Ｃ（ｉ）とを含み、ここでｉは、画像の色成分を識別するインデックスである。画像のこれらの成分は、色空間、通常３Ｄ空間を定義し、たとえば、画像は、輝度成分Ｌとおそらくは２つの色成分Ｃ１、Ｃ２とを含む色知覚空間内で定義されてもよい。

しかし、本発明は、色成分を有するＨＤＲ画像に限定されないことを理解されたい。たとえば、ＨＤＲ画像は、色成分なしに輝度成分を有する知覚空間内の灰色画像であってもよい。

知覚空間は、輝度成分を含む複数の成分から構成され、知覚空間の２つの点の視知覚間のそれぞれの差をそれらの値が表し、好ましくはそれらに比例する色差メトリックｄ（（Ｌ，Ｃ１，Ｃ２），（Ｌ’，Ｃ１’，Ｃ２’））を有する色空間として定義される。たとえば、色空間は、輝度成分Ｌと、２つの色成分Ｃ１、Ｃ２とを有する。

数学的に言えば、色差メトリックｄ（（Ｌ，Ｃ１，Ｃ２），（Ｌ’，Ｃ１’，Ｃ２’））は、知覚閾値ΔＥ₀（ＪＮＤ、丁度可知差異とも呼ばれる）が存在するように定義され、知覚閾値未満では、人の眼は、知覚空間内の２色間の視覚的な差を知覚することができない。すなわち、
ｄ（（Ｌ，Ｃ１，Ｃ２），（Ｌ’，Ｃ１’，Ｃ２’））＜ΔＥ₀ （１）
知覚閾値ΔＥ₀は、知覚空間の２つの点（Ｌ，Ｃ１，Ｃ２）および（Ｌ’，Ｃ１’，Ｃ２’）とは独立である。したがって、その成分が知覚空間に属する画像を、式（１）のメトリックが境界ΔＥ₀未満にとどまるように符号化することにより、画像の表示される復号後バージョンが視覚的にロスレスであることが確実化される。

獲得された画像Ｉが、たとえば（Ｒ，Ｇ，Ｂ）など非知覚空間に属する成分を含むとき、知覚空間を定義する輝度成分Ｌとおそらくは２つの色成分Ｃ１、Ｃ２とを有するＨＤＲ画像１_pを得るために、ステップＳ１０１において、画像変換モジュールＩＣによって画像データＩに知覚的変換が適用される。実施される知覚的変換は、ディスプレイのライティング条件、および初期色空間によって決まる。たとえば、初期色空間が（Ｒ，Ｇ，Ｂ）色空間であると仮定すると、画像Ｉは、最初に周知の線形空間（Ｘ，Ｙ，Ｚ）に変換される。このステップは、適切な場合、逆ガンマ補正を適用し、次いで線形ＲＧＢ空間データを３×３変換行列でＸＹＺ空間に変換することによってデータの線形化を実施することを含む。このステップの場合、画像の視覚的環境を特徴付けるデータが使用される。たとえば、（Ｘ，Ｙ，Ｚ）空間内でディスプレイの参照ライティング条件を定義する値（Ｘ_n，Ｙ_n，Ｚ_n）の３Ｄベクトルが使用される。

一例として、知覚的変換は、知覚空間ＬａｂＣＩＥ１９７６が選択される場合、以下のように定義される。

Ｌ^*＝１１６ｆ（Ｙ／Ｙ_n）−１６
ａ^*＝５００（ｆ（Ｘ／Ｘ_n）−ｆ（Ｙ／Ｙ_n））
ｂ^*＝２００（ｆ（Ｙ／Ｙ_n）−ｆ（Ｚ／Ｚ_n））
上式で、ｆは、たとえばいかによって与えられるガンマ補正関数である。

ｆ（ｒ）＝ｒ^1/3 ｆ＞（６／２９）³の場合

これらの色は、知覚空間ＬａｂＣＩＥ１９７６上で定義された以下の色差メトリックが満たされるとき、参照ライティング条件（Ｘ_n，Ｙ_n，Ｚ_n）で互いに人が区別可能である。

ｄ（（Ｌ^*，ａ^*，ｂ^*），（Ｌ^*’，ａ^*’，ｂ^*’））²＝（ΔＬ^*）²，（Δａ^*）²，（Δｂ^*）²＜（ΔＥ₀）²
ΔＬ^*は、２つの色（Ｌ^*，ａ^*，ｂ^*）および（Ｌ^*’，ａ^*’，ｂ^*’）の輝度成分間の差であり、Δａ^*（またはΔｂ^*）は、これらの２色の色成分間の差である。典型的には、ΔＥ₀は、１と２の間の値を有する。

空間（Ｘ，Ｙ，Ｚ）内の画像を、場合によっては逆変換し、本例では（Ｒ，Ｇ，Ｂ）空間など初期空間内の復号された画像の推定を得ることができる。対応する逆知覚的変換は、以下によって与えられる。

別の例によれば、知覚空間Ｌｕ^*ｖ^*が選択されるとき、知覚的変換は、以下のように定義され得る。

ｕ^*＝１３Ｌ（ｕ’−ｕ’_white）およびｖ^*＝１３Ｌ（ｖ’−ｖ’_white）
上式で、以下が定義される。

および

以下のユークリッドメトリックを知覚空間Ｌｕ^*ｖ^*に対して定義することができる。

ｄ（（Ｌ^*，ｕ^*，ｖ^*），（Ｌ^*’，ｕ^*’，ｖ^*’））²＝（ΔＬ）²＋（Δｕ^*）²＋（Δｖ^*）²
ΔＬ^*は、２つの色（Ｌ^*，ｕ^*，ｖ^*）および（Ｌ^*’，ｕ^*’，ｖ^*’）の輝度成分間の差であり、Δｕ^*（またはΔｖ^*）は、これらの２色の色成分間の差である。

Ｌｕｖ空間についての対応する逆知覚的変換は、以下によって与えられる。

本発明は知覚空間ＬａｂＣＩＥ１９７６に限定されず、同じＬａｂ空間であるが知覚距離を測定するためのメトリックが異なるＬａｂＣＩＥ１９９４、ＬａｂＣＩＥ２０００など任意のタイプの知覚空間に、またはたとえば任意の他のユークリッド知覚空間に拡張され得ることを理解されたい。

他の例は、ＬＭＳ空間とＩＰＴ空間である。これらの知覚空間上において、メトリックは、好ましくは知覚差に比例するように定義され、その結果、それ未満では人が知覚空間内の２色間の視覚的な差を知覚することができない均一な最大知覚閾値ΔＥ₀が存在することが条件である。

ステップＳ１０２では、区分モジュールＰＡＲＴ１によって画像が一連の空間ユニットまたはセグメントに空間的に分解される。画像を符号化する際のＨＥＶＣビデオ圧縮技法による空間コード化構造の一例が図２に示されている。ＨＥＶＣタイプの符号化器の場合、最も大きな空間ユニットは、コード化ツリーユニット（ＣＴＵ）と呼ばれる。各空間ユニットは、しばしば４分木と呼ばれる符号化パラメータによって示される分解構成に従ってさらなる要素に分解される。４分木の各葉は、コード化ユニット（ＣＵ）と呼ばれ、予測ユニット（ＰＵ）および変換ユニット（ＴＵ）と呼ばれる１つまたは複数の部分要素にさらに区分される。

図１の例のステップＳ１０２では、コード化ユニットは１つまたは複数のセグメントまたはブロックＢ１に区分され、これらのセグメントまたはブロックは、本例では、符号化器管理モジュールＥＮＣＯＤＥＲ ＣＯＮＴＲＯＬによって管理される符号化パラメータに従って予測ベースの符号化のための予測ユニット（ＰＵ）に対応する。

本例では、ステップＳ１０２の出力ブロックＢ１はＰＵであるが、ＨＥＶＣタイプの技法が適用される本発明の他の実施形態では、ステップＳ１０２の出力は、ＣＵであってもＴＵであってもよいことを理解されたい。他の実施形態では、ブロックＢ１は、符号化される画像の適切な空間領域を指すことになる。

本例では、各予測ユニットまたはブロックＢ１は、それぞれの予測ユニット（イントラまたはインタ）パラメータに関連付けられた方形または矩形の空間領域に対応する。

符号化器管理モジュールＥＮＣＯＤＥＲ ＣＯＮＴＲＯＬは、現在の画像の所与のコード化ユニットまたはコード化ユニットの部分要素を符号化するために使用される方策を管理する。それを行うために、符号化器管理モジュールは、候補の符号化パラメータを現在のコード化ユニットまたはコード化ユニット部分要素に割り当てる。これらの符号化パラメータは、以下の符号化パラメータの１つまたは複数を含むことができる。
・ 符号化４分木、予測ユニット、および変換ユニットで表されるコード化ツリーユニット組織
・ コード化ツリーのコード化ユニットに割り当てられるコード化モード（イントラまたはインタ）
・ 考慮されているコード化ツリー内の各イントラコード化ユニットについてのイントラ予測モード（ＤＣ、プレーナ、または角度方向）
・ インタコード化ユニットの場合のインタ予測パラメータ：動きベクトル、参照ピクチャインデックスなど
本明細書に記載の本発明の実施形態では、候補の符号化パラメータを用いる現在のコード化ユニットの符号化に関連付けられたレート歪みコストが計算され、符号化器管理モジュールＥＮＣＯＤＥＲ ＣＯＮＴＲＯＬは、計算されたレート歪みコストに従って符号化パラメータの少なくとも１つを適合させる。

コード化ユニットのための符号化パラメータの選択は、以下のようにレート歪みコストを最小限に抑えることによって実施される。

上式で、ｐは、所与のコード化ユニットのための候補の符号化パラメータのセットを表し、λは、ラグランジュパラメータを表し、Ｄ（ｐ）およびＲ（ｐ）は、符号化パラメータの候補のセットｐを用いる現在のコード化ユニットの符号化に関連付けられた歪みおよびレートをそれぞれ表す。

本発明の実施形態では、歪み項Ｄ（ｐ）は、符号化される画像の初期のＨＤＲ知覚空間内で得られる符号化エラーを表す。一般に、これは、以下で述べるように、符号化パラメータに関連付けられた歪み項Ｄ（ｐ）を計算する前に、元の（Ｌ^*，ａ^*，ｂ^*）空間に処理して戻されるＣＵまたはＣＵ部分要素を再構築することを含む。そのような手法は、その元のＨＤＲ空間内のコード化ユニットまたは部分要素が考慮されるので、復号された画像内でのアーチファクトの出現を低減する助けとなる。

ステップＳ１０３では、各予測ユニットまたはブロックは、その予測ユニットまたはブロックを構成するサンプル（サンプルは、１つまたは複数の画素を含むことができる）の輝度値の平均を表す低空間周波数輝度成分Ｌｌｆと呼ばれる輝度成分値に帰属する。これは、輝度処理モジュールＬＦによって実施される。低空間周波数輝度成分を計算することは、基本的に、元の画像の輝度成分をダウンサンプリングすることを含む。本発明は、各予測ユニットまたはブロックについて低空間周波数バージョンを計算するための特定の実施形態に限定されないこと、および画像Ｉ_pの輝度成分の任意のローパスフィルタリングまたはダウンサンプリングを使用することができることを理解されたい。ステップＳ１０４では、低空間周波数輝度成分が量子化ユニットＱによって量子化され、量子化された低空間周波数輝度成分

をもたらす。ステップＳ１１０において、エントロピー符号化器ＥＮＣ１によって、出力ビデオビットストリームのために量子化された低空間周波数輝度成分

に対して、エントロピー符号化が実施される。低空間周波数輝度成分の符号化は、本明細書では、コード化の第１のレイヤまたは輝度レイヤと呼ばれることがある。

量子化された低空間周波数輝度成分

のそれぞれの値に基づいて、ステップＳ１０５において、局所的な知覚空間ユニットＬＰＴによって、予測ユニットまたはブロックの輝度および色成分の値が、ステップＳ１０１の知覚空間変換に対応する局所的な知覚空間に変換される。本例におけるこの知覚空間は、知覚空間Ｌ’ａ’ｂ’である。量子化された低空間周波数輝度成分

は、ディスプレイの参照ライティング条件として使用される。ブロックのこの局所的な知覚空間Ｌａｂの輝度および色成分は、（Ｌ^* _local，ａ^* _local，ｂ^* _local）と記される。実際には、局所的な知覚空間への変換は、局所的な知覚空間内の符号化処理において目標になる量子化された低空間周波数輝度成分

および最大エラー閾値ΔＥによって決まる。

局所的な知覚空間（Ｌ^* _local，ａ^* _local，ｂ^* _local）への変換は、以下のステップを含む。輝度信号は、最初に、以下の輝度残差計算を通じて、いわゆる局所的なＬＤＲ表現に変換される。

上式で、Ｌ_rは、計算される残差輝度成分を表し、Ｌは、元の画像内の対応する輝度成分を表し、

は、量子化された低空間周波数輝度成分を表す。

このステップは、本明細書では、ＬＤＲ局所化ステップと呼ぶことができる。

次いで、残差輝度成分Ｌ_rは、以下のように局所的な知覚空間内で表される。Ｌａｂ知覚空間モードにおける公称ライティング輝度Ｙ_nを仮定すると、係数Ｙ_Eによるライティング条件の変化が、知覚空間成分を以下のように変換する。

（Ｘ_n，Ｙ_n，Ｚ_n）→（Ｙ_EＸ_n，Ｙ_EＹ_n，Ｙ_EＺ_n）
これは、以下の知覚閾値Ｅ₀の変化ΔＥ₀に対応する。

ΔＥ₀→ΔＥ_0.Ｙ_E ^(1/3)
したがって、知覚閾値Ｅ０は、後処理における最大ライティング変化乗法係数に従ってコード化に適合される。量子化された低空間周波数輝度成分

の局所的な明るさに関する情報は、Ｙ_E＝Ｙ_lf／Ｙ_nをとり、ここでＹ_lfと

の関係は、以下によって与えられる。

このようにして、知覚空間は、各予測ユニットに関連付けられた低空間周波数輝度成分

に基づくので局所化される。

実際には、ＬａｂＣＩＥ７６知覚空間に対応する実施形態では、知覚空間の局所化は、以下の形態をとる。

色成分ａ^*およびｂ^*に関して、ＬＤＲ局所化は必要とされない。知覚空間の局所化は、以下の変換を含む。

ステップＳ１０６では、各予測ユニットが、さらなるＣＵ区分ステップによって１つまたは複数の変換ユニット（ＴＵ）に分解される。たとえば、イントラコード化ユニットの場合、コード化ユニットの各変換ユニットは、事前にコード化され再構築された隣接するＴＵから空間予測される。現在のＴＵに関連付けられた残差テクスチャがステップＳ１０７で決定される。次いで、残差テクスチャが、ステップＳ１０８において変換ユニットＴによって変換され、ステップＳ１０９において量子化ユニットＱによって、ステップＳ１１１におけるエントロピー符号化器ＥＮＣ２によるエントロピー符号化のために量子化される。変換ユニットのために使用される符号化パラメータは、本発明の実施形態のレート歪み計算に基づいて符号化器管理モジュールＥＮＣＯＤＥＲ ＣＯＮＴＲＯＬによって決定されてもよい。テクスチャ残差の符号化は、本明細書では、コード化の第２のレイヤと呼ばれることがある。

したがって、各予測ユニット内でコード化される残差テクスチャデータが局所的な知覚空間（Ｌ^* _local，ａ^* _local，ｂ^* _local）内で表される。符号化されるＨＤＲ画像のＣＴＵの４分木表現の選択のために局所的な知覚空間に基づいてレート歪みコストが計算された場合、不整合が生じる可能性が高くなる。たとえば、所与の４分木レベルでの所与のＣＵについて、符号化器の区分ユニットが２つのタイプの予測ユニット、２Ｎ×２ＮとＮ×Ｎの間で選択しなければならないと考えてみると、対応するレート歪みコスト間の比較は、以下のようになる。

すなわち

右側の項では、異なる色空間内で表されたＰＵについて計算された歪みに対して加算が実施されることがわかる。これは、不整合に通じ得る。

そのような問題に対処するために、本発明の実施形態では、画像の空間エンティティに関連付けられたレート歪みコストが、局所的なＬＤＲ知覚空間ではなく元のＨＤＲ知覚空間内で考慮される。このようにして、画像の異なる画像ブロックに対応するレート歪みコストは、同じ知覚空間内で計算されたものであるため比較可能である。したがって、ＨＤＲ空間内でコード化ユニットを再構築するステップが図１の実施形態の符号化処理に含まれている。ＨＤＲ空間内でのコード化ユニットの再構築は、以下のように実施される。

コード化ユニットの各ＴＵは、ステップＳ１１２における逆量子化、ステップＳ１１４における逆変換、およびステップＳ１１６における予測加算を実施することによって再構築される。次いで、再構築されたＴＵは、ステップＳ１１８において元のＨＤＲ空間内で得られる。

本発明の特定の実施形態における局所的な色空間がＬａｂ７６であるＨＤＲ空間内で残差ＴＵを再構築するステップＳ１１８について、以下の式を適用することができる。これらの式は、輝度成分Ｌおよびクロミナンス成分ａ、ｂについてＨＤＲ空間内のＴＵの復号された画素の再構築にそれぞれ対応する。

上式で、
・ ＬＤＲＳＣＡＬＩＮＧは、ＬＤＲコード化レイヤの入力における所与の画素のダイナミックレンジを固定するための一定の整数を表す。
・

、

、

は、サンプルを含むＰＵに関連付けられた局所的なＬａｂ空間内で再構築される輝度サンプルおよびクロミナンスサンプルを表す。
・

、

、

は、圧縮される元の画像Ｉ_pのＨＤＲ知覚空間内で再構築されるサンプルを表す。
・

は、逆量子化後、再構築されたバージョンでの、ＰＵに関連付けられた低空間周波数輝度成分を表す。

本発明の１つまたは複数の実施形態による、符号化パラメータのセットでコード化ユニットを符号化するためにレート歪みコストを計算するためのプロセスは、以下のように開始される。図１の実施形態では、レート歪みコストプロセスは、ステップＳ１２０において、レート歪みモジュールＲＡＴＥ−ＤＩＳＴによって実施される。

このプロセスは、レート歪みコストＪを０にリセットすることによって初期化される：Ｊ←０
低空間周波数成分Ｌ_lf（ＰＵ）がステップＳ１１０においてエントロピー符号化された後で、ステップＳ１２０で、エントロピー符号化された低空間周波数成分Ｌ_lf（ＰＵ）について、関連のレートＲ（Ｌ_lf）が決定される。次いで、レート歪みコストＪが、以下に従って更新される。

Ｊ←Ｊ＋λ．Ｒ（Ｌ_lf）
ここでλはラグランジュパラメータを表す。

関連のレートＲ（ＴＵ，ｐ）が、ステップＳ１２０において、ステップＳ１１１のエントロピー符号化された残差テクスチャについて決定される。

次いで、元のＨＤＲ知覚空間内の再構築されたＴＵについての歪みが、以下のように計算される。

ここで、

は、元のＨＤＲ画像内のＴＵのサンプルに対応し、

は、ＨＤＲ知覚空間内の再構築されたＴＵのサンプルに対応する。次いで、ＣＵのレート歪みコストＪが以下のように更新される。

Ｊ←Ｊ＋Ｄ^HDR（ＴＵ，ｐ）＋λ．Ｒ（ＴＵ，ｐ）
符号化パラメータｐを用いたＣＵの符号化に関連付けられたレート歪みコストは、以下のように公式化することができる。

Ｄ^HDR（ＣＵ，ｐ）＋λ（Ｒ_LDR（ＣＵ，ｐ）＋Ｒ（Ｌ_lf，ｐ））
上式で、
・ Ｒ_LDR（ＣＵ，ｐ）は、ＬＤＲレイヤ内の考慮されているＣＵのコード化コストである。

Ｒ（Ｌ_lf，ｐ）は、考慮されているＣＵに属するＰＵに関連付けられた低周波数輝度成分のコード化コストである。

ステップＳ１２２では、符号化器管理モジュールＥＮＣＯＤＥＲ ＣＯＮＴＲＯＬは、ＨＤＲ知覚空間内の符号化されたＴＵについてステップＳ１２２で計算されたレート歪みコストに基づいてＬＤＲ符号化処理の符号化パラメータを適合する。

図３は、図１の符号化ステップが組み込まれる符号化処理の一例を示す概略ブロック図である。追加のモジュールについて、以下のように述べる。ユニット１３０は、動き推定（ステップＳ１３１）、動き補償（ステップＳ１３２）を含むインタフレーム符号化処理のためにビデオのフレームが記憶されるメモリを表す。再構築されたＴＵに対するイントラ予測は、ステップＳ１３３で実施される。

図３に示されているように、符号化器管理モジュールＥＮＣＯＤＥＲ ＣＯＮＴＲＯＬは、ステップＳ１２３において、現在の画像内で所与のコード化ユニットを符号化するために使用される方策を判断することを担当する。

図４は、本発明の他の実施形態による、画像の少なくとも一部を符号化する方法のステップを示す概略ブロック図である。図４を参照すると、ステップＳ２０１からＳ２１４は、図１の対応するステップＳ１０１からＳ１１４と同様である。図４の実施形態のプロセスは、処理されるＰＵの局所的な知覚空間内で再構築されたテクスチャデータに対してリファインメントが実施される、典型的には疑似ロスレスと呼ばれるリファインメントステップを含む点で図１のものと異なる。この符号化は、低空間周波数成分Ｌｌｆのエントロピー符号化、残差テクスチャデータのエントロピー符号化、およびＬ_∞ノルムエントロピー符号化を含むので、トライレイヤ符号化と呼ばれることがある。符号化処理の追加のリファインメントステップは、元のテクスチャデータと、考慮されている局所的な知覚空間内で構築されたテクスチャデータとの間（ステップＳ２１６からＳ２２４）のＬ_∞ノルムに基づいて歪みを確保する。符号化モジュールＥＮＣ３は、ステップＳ２２１においてこの符号化レイヤのための符号化を実施する。

レイヤＬ_∞が存在する場合、符号化器は、２つの異なる動作モードに従って動作することができる。第１の動作モードでは、Ｌ_∞ノルムにおける再構築の品質だけが追求される。そのような場合、画像データは、以下に従って、Ｌ_∞ノルムにおける品質を確保する最低限のレートで符号化される。

上式で、

は、Ｌ_∞ノルムにおける目標歪み（品質レベル）を表し、Ｒ_L∞は、残差レイヤＬ_∞内で現在のＣＵをコード化するために使用されるビットの数を構成する。この動作モードでは、残差レイヤＬ_∞が、考慮されている局所的な知覚空間内で、元の画素データと再構築されたブロックとの間にあり得る歪みを自動的に補正する。レイヤのセットの符号化のコード化レートは削減され、したがって圧縮の効率が改善される。

トライレイヤ符号化の第２の動作モードでは、ＬＤＲレイヤ内での再構築の品質と３つのレイヤの合計レートとの間で妥協が探し求められる。レート歪みコストは、以下のように公式化される。

は、ＬＤＲレイヤ内で復号され、元の画像のＨＤＲ空間内で再構築されたＣＵの品質に対応する。ＬＤＲレイヤの符号化器がＬ₂ノルムで動作するので、この品質は、Ｌ₂ノルムで計算される。さらに、Ｒ_L∞は、現在のＣＵについてリファインメントレイヤＬ_∞のレートに対応する。

後者の動作モードの利点は、良好な品質の中間ＬＤＲレイヤが再構築されることである。

記載の実施形態のそれぞれにおいて、元のＨＤＲ画像を表す符号化されたビットストリームが、復号デバイスを備える宛先受信デバイスに送信される。画像データを符号化するために使用された、適合された符号化パラメータに関する情報を復号デバイスに送信し、ＨＤＲ画像を表すビットストリームを復号し元のＨＤＲ画像を再構築することを可能にすることができる。適合された符号化パラメータを表す情報は、送信前に符号化されてもよい。たとえば、図１および図４の実施形態では、適合された符号化パラメータを表すデータが、符号化器管理モジュールによって提供され、符号化器ＥＮＣ２によってビットストリーム内で符号化される。したがって、これらの例では、これらのパラメータは、コード化の第２のレイヤ（ＬＤＲレイヤ）に対応するビットストリーム内で符号化される。

図５は、画像Ｉを表すビットストリームを復号するための本発明の一実施形態による、復号デバイスによって実装される復号処理の一例を示す概略ブロック図である。復号処理では、復号器ＤＥＣ１、ＤＥＣ２、およびＤＥＣ３が、それぞれ符号化器ＥＮＣ１、ＥＮＣ２、およびＥＮＣ３によって符号化されたデータを復号するように構成される。

この例では、ビットストリームＦは、輝度成分とおそらくは少なくとも１つの色成分とを備えるＨＤＲ画像Ｉを表す。実際、画像Ｉの成分は、上述の知覚色空間に属する。

ステップ５０１では、画像Ｉの輝度成分の低空間周波数バージョンの復号されたバージョン

が、復号器ＤＥＣ１によりビットストリームＦを少なくとも一部復号することによって得られる。

ステップ５０２では、符号化された残差テクスチャデータの復号されたバージョンが、復号器ＤＥＣ２によりビットストリームＦを少なくとも部分復号することによって得られる。

ステップ５０５では、残差テクスチャデータの復号されたバージョンおよび画像の輝度成分の低空間周波数バージョンの復号されたバージョン

を互いに関連付け、復号された画像

を得る。

画像データが図４のプロセスなどトライレイヤ符号化処理に従って符号化されている本発明のいくつかの実施形態では、復号が復号器ユニットＤＥＣ３によって実施される復号の第３のレイヤが提供される。

適合された符号化パラメータを表すデータＰが、復号デバイスによって受信され、ステップ５３０でパラメータ復号器モジュールＤＥＣ−ＰＡＲによって復号される。符号化パラメータＰは、画像データＩと共にビットストリーム内で送信される。次いで、使用された符号化パラメータに関する情報が復号器ＤＥＣ１、ＤＥＣ２、およびＤＥＣ３に提供され、その結果、符号化された画像データを、符号化器の符号化器管理モジュールＥＮＣＯＤＥＲ ＣＯＮＴＲＯＬによって決定された符号化パラメータに従って復号パラメータを用いて復号することができる。

復号器ＤＥＣ２の復号精度は、表示される画像の復号されたバージョン内の視覚的損失の制御を保証する知覚空間内で定義されるメトリックの上限を定義する知覚閾値ΔＥによって決まる。したがって、復号の精度は、局所的に変化する知覚閾値の関数である。

前述のように、一実施形態によると、知覚閾値ΔＥは、ディスプレイの参照ライティング条件（符号化するために使用されるものと同じ）、および画像Ｉの輝度成分の低空間周波数バージョンの復号されたバージョン

に従って決定される。

一実施形態によると、残差画像の各成分は、知覚閾値ΔＥにより正規化されており、その残差画像は、一定の精度で復号され、差分画像の復号されたバージョンの各成分は、知覚閾値ΔＥの助けにより再正規化され、ここで、

一実施形態によると、再正規化は、知覚閾値ΔＥの関数である値による割り算である。

符号化器ＥＮＣ１、ＥＮＣ２、および／またはＥＮＣ３（ならびに復号器ＤＥＣ１、ＤＥＣ２、および／またはＤＥＣ３）は、特定の符号化器（復号器）に限定されないが、エントロピー符号化器（復号器）が必要とされるとき、ハフマンコーダ、算術コーダ、またはｈ２６４／ＡＶＣもしくはＨＥＶＣで使用されるＣａｂａｃのようなコンテキスト適応コーダなど、エントロピー符号化器が有利である。

符号化器ＥＮＣ２（および復号器ＤＥＣ２）は、たとえばＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ２、ｈ２６４／ＡＶＣ、またはＨＥＶＣのようなロッシー画像／ビデオコーダとすることができる特定の符号化器に限定されない。

符号化器ＥＮＣ３（および復号器ＤＥＣ３）は、たとえばＪＰＥＧロスレス、ｈ２６４／ＡＶＣロスレス、トレリスベースの符号化器、または適応ＤＰＣＭのような符号化器のような画像コーダとすることができる特定のロスレスまたは疑似ロスレス符号化器に限定されない。

一変形形態によると、ステップ５１０で、モジュールＩＩＣが、ステップ５０５の出力である復号された画像

に逆知覚的変換を提供するように構成される。たとえば、復号された画像

の推定が周知の空間（Ｘ，Ｙ，Ｚ）に変換される。

知覚空間ＬａｂＣＩＥ１９７６が選択されるとき、逆知覚的変換は、以下によって与えられる。

知覚空間Ｌｕｖが選択されるとき、逆知覚的変換は、以下によって与えられる。

おそらくは、空間（Ｘ，Ｙ，Ｚ）内の画像は、（Ｒ，Ｇ，Ｂ）空間など初期空間内の復号された画像の推定を得るために逆変換される。

図１および図３から図７では、これらのモジュールは、区別可能な物理ユニットに対応してもしなくてもよい機能ユニットである。たとえば、複数のそのようなモジュールが、一意のコンポーネントまたは回路内で関連付けられても、ソフトウェア機能に対応してもよい。さらに、モジュールは、おそらくは別個の物理エンティティから構成されてもよい。

本発明の実施形態と適合する装置は、ハードウェアだけによって実装されても、ソフトウェアだけによって実装されても、ハードウェアとソフトウェアの組合せによって実装されてもよい。ハードウェアの点では、たとえば、ＡＳＩＣもしくはＦＰＧＡもしくはＶＬＳＩ、それぞれ＜＜特定用途向け集積回路＞＞、＜＜フィールドプログラマブルゲートアレイ＞＞、＜＜超大規模集積＞＞など、またはデバイス内に埋め込まれたいくつかの集積電子コンポーネントを使用することによって、またはハードウェアコンポーネントとソフトウェアコンポーネントのブレンドから、専用ハードウェアが使用されてもよい。

図６Ａは、本発明の一実施形態による符号化デバイスの概略ブロック図である。

符号化デバイス６００は、データを受信および送信するためのＩ／Ｏインターフェース６１０と、メモリ６２０と、メモリコントローラ６２５と、Ｉ／Ｏインターフェース６１０から受け取られたデータを処理するための１つまたは複数の処理ユニット（ＣＰＵ）を備える処理回路６４０とを備える。ＣＰＵは、デジタル信号プロセッサ（ＤＳＰ）を含むことができる。メモリは、読出し専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）を含むことができる。

１つまたは複数の処理ユニット６４０は、メモリ６２０内に記憶された様々なソフトウェアプログラムおよび／または命令のセットを実行し、符号化デバイス６００のための様々な機能を実施し、データを処理する。様々なコンポーネントは、データバスを介してリンクされる。本発明の実施形態による方法のアルゴリズムは、メモリ６２０のＲＯＭ内にソフトウェアコンポーネントとして記憶される。ＣＰＵは、メモリのＲＡＭ内のプログラムをアップロードし、対応する命令を実行する。

メモリ６２０内に記憶されたソフトウェアコンポーネントは、ローダイナミックレンジ（ＬＤＲ）画像に適用可能な符号化処理を使用してその画像の少なくとも一部のセグメントを符号化し、符号化処理において少なくとも１つの符号化パラメータを適用するための符号化器モジュール（または命令のセット）ＥＮＣと、符号化されたセグメントをハイダイナミックレンジの知覚空間内で再構築するための再構築モジュールＲＥＣ（または命令のセット）と、ハイダイナミックレンジの知覚空間内の符号化されたセグメントについてレート歪みコストを決定するためのレート歪みモジュールＲＡＴＥ−ＤＩＳＴ（または命令のセット）と、セグメントの符号化処理のための少なくとも１つの符号化パラメータを評価されたレート歪みコストに基づいて調整するための符号化器管理モジュール（ＥＮＣ ＣＴＲＬ）（または命令のセット）とを含む。

一般的なシステムタスク（たとえば、電力管理、メモリ管理）を制御するための、また符号化デバイス６００の様々なハードウェアおよびソフトウェアコンポーネント間の通信を容易にするためのオペレーティングシステムモジュールＯ／Ｓ、ならびにＩ／Ｏインターフェース６１０を介した他のデバイスとの通信を制御および管理するためのインターフェースモジュールＩＮＴなど、他のモジュールが含まれてもよい。

他の実施形態では、符号化デバイスは、ディスプレイライティングの最大環境輝度値Ｙ＿ｎなどディスプレイの参照ライティング条件を得るための参照ライティングモジュールをさらに備えることができる。

特定の他の実施形態によると、符号化デバイスは、ディスプレイを備えることができ、ディスプレイの参照ライティング条件を得るための参照ライティングモジュールは、ディスプレイのそのような参照ライティング条件を、ディスプレイの特性から、またはモジュールによって取り込まれるディスプレイ周りのライティング条件から決定するように構成される。たとえば、ディスプレイライティングの最大環境輝度値Ｙ＿ｎを得るためのモジュールは、ディスプレイに取り付けられ、環境ライティング条件を測定するセンサを備える。フォトダイオードなどがこの目的に使用されてもよい。

図６Ｂは、本発明の一実施形態による復号デバイスの概略ブロック図である。

復号デバイス７００は、データを受信および送信するためのＩ／Ｏインターフェース７１０と、メモリ７２０と、メモリコントローラ７２５と、Ｉ／Ｏインターフェース７１０から受け取られたデータを処理するための１つまたは複数の処理ユニット（ＣＰＵ）を備える処理回路７４０とを備える。ＣＰＵは、デジタル信号プロセッサ（ＤＳＰ）を含むことができる。メモリは、読出し専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）を含むことができる。

１つまたは複数の処理ユニット７４０は、メモリ７２０内に記憶された様々なソフトウェアプログラムおよび／または命令のセットを実行し、復号デバイス７００のための様々な機能を実施し、データを処理する。様々なコンポーネントは、データバスを介してリンクされる。本発明の実施形態による方法のアルゴリズムは、メモリ７２０のＲＯＭ内にソフトウェアコンポーネントとして記憶される。ＣＰＵは、メモリのＲＡＭ内のプログラムをアップロードし、対応する命令を実行する。

メモリ７２０内に記憶されたソフトウェアコンポーネントは、ローダイナミックレンジ（ＬＤＲ）画像に適用可能な復号処理を使用して、また復号処理において少なくとも１つの復号パラメータを適用して、画像の少なくとも一部のセグメントを復号するための復号器モジュール（または命令のセット）ＤＥＣを含む。復号パラメータ

一般的なシステムタスク（たとえば、電力管理、メモリ管理）を制御するための、また符号化デバイス６００の様々なハードウェアおよびソフトウェアコンポーネント間の通信を容易にするためのオペレーティングシステムモジュールＯ／Ｓ、ならびにＩ／Ｏインターフェースを介した他のデバイスとの通信を制御および管理するためのインターフェースモジュールＩＮＴなど、他のモジュールが含まれてもよい。

図７は、本発明の実施形態を実装することができる通信システムの一例である。この通信システムは、通信ネットワークＮＥＴを介して通信する２つの遠隔デバイスＡ、Ｂを含む。通信ネットワークＮＥＴは、無線ネットワーク、有線ネットワーク、または無線通信リンクと有線通信リンクの組合せであってもよい。

デバイスＡは、本発明の実施形態のいずれかによるＨＤＲ画像を符号化するための方法を実装するように構成された符号化器を備え、デバイスＢは、図５に関連して述べたＨＤＲ画像を表すビットストリームを復号するための方法を実装するように構成された復号器を備える。また、デバイスＢは、復号されたＨＤＲ画像を表示するためのディスプレイ３７を備えることができる。

本発明のいくつかの他の実施形態では、デバイスＡ、Ｂは、ディスプレイライティングの最大環境輝度値Ｙ＿ｎなどディスプレイの参照ライティング条件に関する情報にアクセスすることができるように構成される。

たとえば、デバイスＡ、Ｂは、ディスプレイライティングの最大環境輝度値Ｙ＿ｎなどディスプレイの同じ参照ライティング条件を記憶する。

あるいは、デバイスＢは、ディスプレイライティングの最大環境輝度値Ｙ＿ｎなどディスプレイの参照ライティング条件を得るように、またそれをデバイスＡに送るように構成される。次いで、デバイスＡは、ディスプレイライティングの最大輝度値Ｙ＿ｎなど送信されたディスプレイの参照ライティング条件を受信するように構成される。

逆に、デバイスＡは、ディスプレイライティングの最大環境輝度値Ｙ＿ｎなどディスプレイの参照ライティング条件を、たとえば記憶メモリから得るように、またそれをデバイスＢに送るように構成される。次いで、デバイスＢは、ディスプレイライティングの最大環境輝度環境値Ｙ＿ｎなどそのような送信されたディスプレイの参照ライティング条件を受信するように構成される。

本明細書に記載の本発明の実施形態は、たとえば方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装され得る。単一の形態の実装の文脈で論じられているにすぎない（たとえば、方法としてのみ論じられている）場合でさえ、論じられている特徴の実装は、他の形態（たとえば、装置またはプログラム）でも実装され得る。装置は、たとえば適切なハードウェア、ソフトウェア、およびファームウェアで実装され得る。方法は、たとえばプロセッサなど装置で実装され得る。プロセッサという用語は、たとえばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含めて、処理デバイスを一般に指す。また、プロセッサは、たとえばコンピュータ、タブレット、セル電話、ポータブル／携帯情報端末（ＰＤＡ）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなど、通信デバイスを含むことができる。

本原理の「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ（一実施形態）」または「ａｎ ｅｍｂｏｄｉｍｅｎｔ（一実施形態）」または「ｏｎｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ（一実装）」または「ａｎ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ（一実装）」、ならびにそれらの他の変形形態に言及することは、その実施形態に関連して述べられている特定の特徴、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書を通して様々な場所に現れる「ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ（一実施形態では）」または「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ（一実施形態では）」または「ｉｎ ｏｎｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ（一実装では）」または「ｉｎ ａｎ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ（一実装では）」、ならびに他の変形形態の出現は、必ずしもすべて同じ実施形態を指すとは限らない。

さらに、本説明または特許請求の範囲は、様々な情報を「決定すること」を指すことがある。情報を決定することは、たとえば、情報を推定すること、情報を計算すること、情報を予測すること、または情報をメモリから取り出すことのうちの１つまたは複数を含むことができる。

さらに、本説明または特許請求の範囲は、様々な情報を「受け取ること」を指すことがある。受け取ることは、「アクセスすること」と同様に、広い用語であることが意図されている。情報を受け取ることは、たとえば、情報にアクセスすること、または情報を（たとえば、メモリから）取り出すことのうちの１つまたは複数を含むことができる。さらに、「受け取ること」は、一般に、たとえば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することなど動作中に何らかの形で含まれる。

本発明について特定の実施形態を参照して上述したが、本発明は、それらの特定の実施形態に限定されず、本発明の範囲内にある修正形態が当業者には明らかになることを理解されたい。

たとえば、前述の例では、ＨＥＶＣコード化プロセスに基づく符号化処理について述べたが、本発明は、何らかの特定の符号化処理に限定されないことを理解されたい。ＬＤＲ画像の符号化に適用可能な他の符号化処理が、本発明の文脈において適用されてもよい。たとえば、符号化処理および相補的な復号処理は、ＭＰＥＧ２、ＭＰＥＧ４、ＡＶＣ、Ｈ．２６３など、何らかの符号化方策の最適化ステップを含む他の符号化／復号方法に基づいてもよい。

当業者には、例示のためだけに与えられ、添付の特許請求の範囲によってのみ決定される本発明の範囲を限定するものではない前述の例示的な実施形態を参照したとき、多数の他の修正形態および変形形態が自ずと暗示されよう。特に、異なる実施形態からの異なる特徴は、適宜交換され得る。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
輝度成分および色差メトリックを有するハイダイナミックレンジの知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を符号化する方法であって、
ローダイナミックレンジ（ＬＤＲ）画像に適用可能な符号化処理を使用して前記画像の前記一部のセグメントを符号化し、前記符号化処理において少なくとも１つの符号化パラメータを適用するステップ（Ｓ１０２；Ｓ２０２、Ｓ１０７；Ｓ２０７、Ｓ１１６；Ｓ２１６）と、
前記符号化されたセグメントをハイダイナミックレンジの前記知覚空間内で再構築するステップ（Ｓ１１８、Ｓ２２４）と、
ハイダイナミックレンジの前記知覚空間内の前記符号化されたセグメントについてレート歪みコストを評価するステップ（Ｓ１２０；Ｓ２２０）と、
前記セグメントの前記符号化処理のための前記少なくとも１つの符号化パラメータを前記評価されたレート歪みコストに基づいて調整するステップ（Ｓ１２２；Ｓ２２２）と、
を含む、前記方法。
（付記２）
前記少なくとも１つの符号化パラメータは、符号化される前記画像のセグメントに前記画像を区分することを定義し、符号化される各セグメントは、ＨＤＲの対応する知覚空間を有する、付記１に記載の方法。
（付記３）
前記少なくとも１つの符号化パラメータは、コード化４分木パラメータを含む、付記２に記載の方法。
（付記４）
前記セグメントについて、共通の代表的な輝度成分値を、前記セグメントの対応する画像サンプルの輝度値に基づいて得るステップ（Ｓ１０３、Ｓ２０３）をさらに含む、付記１〜３のいずれか一項に記載の方法。
（付記５）
前記レート歪みコストを評価するステップ（Ｓ１２０）は、前記共通の代表的な輝度成分値の符号化に関連付けられたレートを評価するステップを含む、付記４に記載の方法。
（付記６）
前記符号化処理は、ＨＥＶＣ圧縮技法による符号化処理であり、前記画像の前記少なくとも一部の前記セグメントは、コード化ユニット、予測ユニット、または変換ユニットに対応する、付記１〜５のいずれか一項に記載の方法。
（付記７）
画像セグメントを符号化する前に、前記セグメントを共通の代表的な輝度成分値に基づいて局所的な知覚空間内で表すステップ（Ｓ１０５；Ｓ２０５）をさらに含む、付記２〜６のいずれか一項に記載の方法。
（付記８）
前記セグメントについて、局所的なＬＤＲ領域内の局所的な残差輝度成分を得るステップであって、前記局所的な残差輝度成分は、元の画像の対応する輝度成分と前記セグメントの前記共通の代表的な輝度値との差に対応する、前記ステップを含む、付記７に記載の方法。
（付記９）
前記セグメントについて、前記局所的な知覚空間内の少なくとも１つの対応する画像部分を得るステップであって、前記少なくとも１つの画像部分は、前記セグメントの前記共通の代表的な輝度値に従って正規化された前記セグメントの前記局所的な残差輝度成分または色成分に対応する、前記ステップをさらに含む、付記８に記載の方法。
（付記１０）
前記レート歪みコストを評価するステップ（Ｓ１２０；Ｓ２２０）は、前記少なくとも１つの画像部分の符号化に関連付けられたレートを評価するステップを含む、付記９に記載の方法。
（付記１１）
前記レート歪みコストを評価するステップ（Ｓ１２０；Ｓ２２０）は、ハイダイナミックレンジの前記知覚空間内の前記符号化されたセグメントの再構築に関連付けられた歪みを評価するステップを含む、付記１〜１０のいずれか一項に記載の方法。
（付記１２）
符号化パラメータセットｐについてのレート歪みコストＤ ^HDR は、以下の式に基づいて評価され、
Ｄ ^HDR （ＣＵ，ｐ）＋λ（Ｒ _LDR （ＣＵ，ｐ）＋Ｒ（Ｌ _lf ，ｐ））
上式で、
・ Ｒ _LDR （ＣＵ，ｐ）は、残差画像部分の符号化に関連付けられたレートであり、
Ｒ（Ｌ _lf ，ｐ）は、共通の代表的な輝度成分値の符号化に関連付けられたレートであり、
Ｄ ^HDR （ＣＵ，ｐ）は、ハイダイナミックレンジの前記知覚空間内の前記符号化されたセグメントの再構築に関連付けられた歪みであり、
λは、ラグランジュパラメータである、付記１〜１１のいずれか一項に記載の方法。
（付記１３）
局所的な前記知覚空間内で再構築された残差画像部分のサンプルと、元のテクスチャのサンプルと、前記画像の対応するサンプルとの間で仮想ロスレスリファインメントを実施するステップ（Ｓ２１８）をさらに含む、付記１〜１２のいずれか一項に記載の方法。
（付記１４）
輝度成分および色差メトリックを有するハイダイナミックレンジの知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を符号化するための符号化デバイスであって、
ローダイナミックレンジ（ＬＤＲ）画像に適用可能な符号化処理を使用して前記画像の前記少なくとも一部のセグメントを符号化し、前記符号化処理において少なくとも１つの符号化パラメータを適用するための符号化器（ＥＮＣ；ＥＮＣ１、ＥＮＣ２、ＥＮＣ３）と、
前記符号化されたセグメントをハイダイナミックレンジの前記知覚空間内で再構築するための再構築モジュール（ＲＥＣ）と、
ハイダイナミックレンジの前記知覚空間内の前記符号化されたセグメントについてレート歪みコストを決定するためのレート歪みモジュール（ＲＡＴＥ−ＤＩＳＴ）と、
前記セグメントの前記符号化処理のための前記少なくとも１つの符号化パラメータを評価された前記レート歪みコストに基づいて調整するための符号化器管理モジュール（ＥＮＣＯＤＥＲ ＣＯＮＴＲＯＬ；ＥＮＣ−ＣＴＲＬ）と、
を備える、前記符号化デバイス。
（付記１５）
輝度成分および色差メトリックを有する知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を表すビットストリームを復号するための方法であって、
前記画像を符号化するために使用される少なくとも１つの符号化パラメータを表すコード化データにアクセスするステップと、
ローダイナミックレンジ（ＬＤＲ）画像に適用可能な復号処理を使用して前記画像の前記少なくとも一部のセグメントを、前記少なくとも１つの符号化パラメータにそれぞれ対応する少なくとも１つの復号パラメータを適用することによって復号するステップと、を含み、
前記符号化パラメータは、ＬＤＲ画像に適用可能な符号化処理およびハイダイナミックレンジの前記知覚空間内の前記セグメントの再構築によって、前記セグメントの符号化後、前記セグメントについて評価されたレート歪みコストに基づいて事前に決定される、前記方法。
（付記１６）
輝度成分および色差メトリックを有する知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を表すビットストリームを復号するための復号デバイスであって、
前記画像を符号化するために使用される少なくとも１つの符号化パラメータを表すコード化データにアクセスするインターフェース（Ｉ／Ｏ；５３０）と、
ローダイナミックレンジ（ＬＤＲ）画像に適用可能な復号処理を使用して前記画像の前記少なくとも一部のセグメントを、前記少なくとも１つの符号化パラメータにそれぞれ対応する少なくとも１つの復号パラメータを適用することによって復号するための復号器（ＤＥＣ；５０１、５０２；５２０）と、を備え、
前記少なくとも１つの符号化パラメータは、ＬＤＲ画像に適用可能な符号化処理およびハイダイナミックレンジの前記知覚空間内の前記セグメントの再構築によって、前記セグメントの符号化後、前記セグメントについて評価されたレート歪みコストに基づいて事前に決定される、前記復号デバイス。
（付記１７）
輝度成分および色差メトリックを有する知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を表すビットストリームと、
前記画像を符号化するために使用される少なくとも１つの符号化パラメータを表すコード化データと、を備え、前記少なくとも１つの符号化パラメータは、前記画像の符号化されたセグメントについて評価されたレート歪みコストに基づいて事前に決定され、前記符号化されたセグメントは、ＬＤＲ画像に適用可能な符号化処理によって符号化されており、ハイダイナミックレンジの前記知覚空間内で再構築されている、データストリーム。
（付記１８）
プログラマブル装置のためのコンピュータプログラム製品であって、前記プログラマブル装置内にロードされ、前記プログラマブル装置によって実行されたとき、請求項１〜１３または１５のいずれか一項に記載の方法を実装するための命令のシーケンスを含む、前記コンピュータプログラム製品。

Claims (17)

1. 輝度成分および色差メトリックを有するハイダイナミックレンジの知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を符号化する方法であって、
   ローダイナミックレンジ（ＬＤＲ）画像に適用可能な符号化処理を使用して前記画像の前記一部のセグメントを符号化し、前記符号化処理において少なくとも１つのコーディングパラメータを適用することと、
   前記符号化されたセグメントをハイダイナミックレンジの前記知覚空間内で再構築することと、
   ハイダイナミックレンジの前記知覚空間内の前記符号化されたセグメントについてレート歪みコストを評価することと、
   前記セグメントの前記符号化処理のための前記少なくとも１つのコーディングパラメータを前記評価されたレート歪みコストに基づいて調整することと、
   を含む、前記方法。
2. 前記少なくとも１つのコーディングパラメータは、符号化される前記画像のセグメントに前記画像を区分することを定義し、符号化される各セグメントは、ハイダイナミックレンジの対応する知覚空間を有する、請求項１に記載の方法。
3. 前記少なくとも１つのコーディングパラメータは、コーディング４分木パラメータを含む、請求項２に記載の方法。
4. 前記セグメントについて、共通の代表的な輝度成分値を、前記セグメントの対応する画像サンプルの輝度値に基づいて得ることをさらに含む、請求項１〜３のいずれか一項に記載の方法。
5. 前記レート歪みコストを評価することは、前記共通の代表的な輝度成分値の符号化に関連付けられたレートを評価することを含む、請求項４に記載の方法。
6. 前記符号化処理は、ＨＥＶＣ圧縮技法による符号化処理であり、前記画像の前記少なくとも一部の前記セグメントは、コーディングユニット、予測ユニット、または変換ユニットに対応する、請求項１〜５のいずれか一項に記載の方法。
7. 前記セグメントを符号化する前に、前記セグメントを共通の代表的な輝度成分値に基づいて局所的な知覚空間内で表すことをさらに含む、請求項２〜６のいずれか一項に記載の方法。
8. 前記セグメントについて、局所的なＬＤＲ領域内の局所的な残差輝度成分を得ることであって、前記局所的な残差輝度成分は、元の画像の対応する輝度成分と前記セグメントの前記共通の代表的な輝度値との差に対応する、前記得ることを含む、請求項７に記載の方法。
9. 前記セグメントについて、前記局所的な知覚空間内の少なくとも１つの対応する画像部分を得ることであって、前記少なくとも１つの画像部分は、前記セグメントの前記共通の代表的な輝度値に従って正規化された前記セグメントの前記局所的な残差輝度成分または色成分に対応する、前記得ることをさらに含む、請求項８に記載の方法。
10. 前記レート歪みコストを評価することは、前記少なくとも１つの画像部分の符号化に関連付けられたレートを評価することを含む、請求項９に記載の方法。
11. 前記レート歪みコストを評価することは、ハイダイナミックレンジの前記知覚空間内の前記符号化されたセグメントの再構築に関連付けられた歪みを評価することを含む、請求項１〜１０のいずれか一項に記載の方法。
12. コーディングパラメータセットｐについてのレート歪みコストＤ^HDRは、以下の式に基づいて評価され、
    Ｄ^HDR（ＣＵ，ｐ）＋λ（Ｒ_LDR（ＣＵ，ｐ）＋Ｒ（Ｌ_lf，ｐ））
    上式で、
    Ｒ_LDR（ＣＵ，ｐ）は、残差画像部分の符号化に関連付けられたレートであり、
    Ｒ（Ｌ_lf，ｐ）は、共通の代表的な輝度成分値の符号化に関連付けられたレートであり、
    Ｄ^HDR（ＣＵ，ｐ）は、ハイダイナミックレンジの前記知覚空間内の前記符号化されたセグメントの再構築に関連付けられた歪みであり、
    λは、ラグランジュパラメータである、請求項１〜１１のいずれか一項に記載の方法。
13. 局所的な前記知覚空間内で再構築された残差画像部分のサンプルと、元のテクスチャのサンプルと、前記画像の対応するサンプルとの間で仮想ロスレスリファインメントを実施することをさらに含む、請求項１〜１２のいずれか一項に記載の方法。
14. 輝度成分および色差メトリックを有するハイダイナミックレンジの知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を符号化する符号化デバイスであって、
    ローダイナミックレンジ（ＬＤＲ）画像に適用可能な符号化処理を使用して前記画像の前記少なくとも一部のセグメントを符号化し、前記符号化処理において少なくとも１つのコーディングパラメータを適用する符号化器と、
    前記符号化されたセグメントをハイダイナミックレンジの前記知覚空間内で再構築する再構築モジュールと、
    ハイダイナミックレンジの前記知覚空間内の前記符号化されたセグメントについてレート歪みコストを決定するレート歪みモジュールと、
    前記セグメントの前記符号化処理のための前記少なくとも１つのコーディングパラメータを評価された前記レート歪みコストに基づいて調整する符号化器管理モジュールと、
    を備える、前記符号化デバイス。
15. 輝度成分および色差メトリックを有する知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を表すビットストリームを復号する方法であって、
    前記画像を符号化するために使用される少なくとも１つのコーディングパラメータを表すコーディングデータにアクセスすることと、
    ローダイナミックレンジ（ＬＤＲ）画像に適用可能な復号処理を使用して前記画像の前記少なくとも一部のセグメントを、前記少なくとも１つのコーディングパラメータにそれぞれ対応する少なくとも１つの復号パラメータを適用することによって復号することと、を含み、
    前記コーディングパラメータは、ＬＤＲ画像に適用可能な符号化処理およびハイダイナミックレンジの前記知覚空間内の前記セグメントの再構築によって、前記セグメントの符号化後、前記セグメントについて評価されたレート歪みコストに基づいて事前に決定される、前記方法。
16. 輝度成分および色差メトリックを有する知覚空間内で定義されるハイダイナミックレンジの画像の少なくとも一部を表すビットストリームを復号する復号デバイスであって、
    前記画像を符号化するために使用される少なくとも１つのコーディングパラメータを表すコーディングデータにアクセスするインターフェースと、
    ローダイナミックレンジ（ＬＤＲ）画像に適用可能な復号処理を使用して前記画像の前記少なくとも一部のセグメントを、前記少なくとも１つのコーディングパラメータにそれぞれ対応する少なくとも１つの復号パラメータを適用することによって復号する復号器と、を備え、
    前記少なくとも１つのコーディングパラメータは、ＬＤＲ画像に適用可能な符号化処理およびハイダイナミックレンジの前記知覚空間内の前記セグメントの再構築によって、前記セグメントの符号化後、前記セグメントについて評価されたレート歪みコストに基づいて事前に決定される、前記復号デバイス。
17. プログラマブル装置のためのコンピュータプログラムであって、前記プログラマブル装置内にロードされ、前記プログラマブル装置によって実行されたとき、請求項１〜１３または１５のいずれか一項に記載の方法を実装するための命令のシーケンスを含む、前記コンピュータプログラム。

Images