JP6866224B2 - 画像符号化装置、画像復号装置、画像符号化方法及びプログラム - Google Patents

Description

本発明は、高ダイナミックレンジのデジタル画像(以下、ＨＤＲ画像)を符号化する装置、及び方法に関する。

近年、静止画像データは様々な形式で流通しており、その代表的な形式がＪＰＥＧ圧縮形式である。ＪＰＥＧ圧縮形式の画像は、デジタルカメラの出力ファイルとしても利用されており、また、ウェブブラウザを始め、ＪＰＥＧ圧縮形式の画像を扱うことができる様々なソフトウェアも存在している。但し、ＪＰＥＧ圧縮形式の画像は、１コンポーネント当り８ビットのデータで生成される。そのため、１コンポーネント当り２５６階調までしか再現することができない。

一方、人間の視覚は、１：１００００までのコントラスト比を認識することができる。そのため、従来のＪＰＥＧ圧縮形式の階調表現では、実際の見た目との関係で大きな差が生じることになる。そこで、１コンポーネント当り３２ｂｉｔ程度のデータを有するダイナミックレンジ画像（以下、ＨＤＲ画像という）が注目されている。実際、デジタルカメラやスマートフォンでもＨＤＲモードを搭載したものが一般的になっている。また、簡単に１コンポーネント当り３２ｂｉｔのデータを有するＨＤＲ画像を生成できるソフトウェアアプリケーションも増えてきている。

さらに、１コンポーネント当り３２ｂｉｔのデータを有するＨＤＲ画像を、従来のＪＰＥＧビューアで表示することも可能となっており、それに関する技術的仕様はＩＳＯ／ＩＥＣ １８４７７−２（非特許文献１）で規定されている。

ＩＳＯ／ＩＥＣ １８４７７−２において、ＨＤＲ画像の符号化及び復号を規定している。ＨＤＲ画像の符号化では、先ず、ＨＤＲ画像を８［ｂｉｔ／コンポーネント］のより小さいダイナミックレンジ画像（以下、ＬＤＲ画像という）にトーンマッピングし、さらにＪＰＥＧ圧縮することで、ＪＰＥＧ符号データを生成する。次に、ＨＤＲ画像とＬＤＲ画像の比率を別途ＨＤＲ補助データとして生成し、ＨＤＲ補助データをＬＤＲ画像のＪＰＥＧ符号データのアプリケーションマーカ（ＡＰＰ１１）（図２５（ａ））内に格納することで、両者を１つのファイルとして保存する。

但し、ＨＤＲ画像の符号化では、ＪＰＥＧ符号データとＨＤＲ補助データを生成する過程で量子化を行っていることから、例えば、ＨＤＲ画像の輝度レンジが広い場合等には、その量子化誤差が大きくなる。そのため、ＨＤＲ補助データを用いて復号しても、復号されたＨＤＲ画像に劣化が生じることになる。

そこで、例えば、特許文献１には、復号後のＨＤＲ画像の劣化を抑制するために、ダイナミックレンジ拡張補償データを適用する装置が開示されている。ここで、ダイナミックレンジ拡張補償データとは、ピクセル誤差補正値であり、具体的には、原画像であるＨＤＲ画像と、復号結果のＨＤＲ画像の差異を示すデータである。特許文献１の装置では、ＨＤＲ補助データを用いて、ＪＰＥＧ圧縮されたＬＤＲ画像を復号した後に、ダイナミックレンジ拡張補償データを加算することで、復号結果であるＨＤＲ画像に微調整を加え、原画像のＨＤＲ画像に近付けている。

特表２０１４−５１９２２１号公報

ＩＳＯ／ＩＥＣ １８４７７−２

しかしながら、特許文献１の装置では、ダイナミックレンジ拡張補償データを生成する上で、原画像のＨＤＲ画像以外に、原画像のＨＤＲ画像を圧縮後に復号したＨＤＲ画像も必要になる。そのため、復号結果であるＨＤＲ画像を生成するために、少なくとも、ＨＤＲ補助データを復号する工程、ＪＰＥＧ圧縮されたＬＤＲ画像を復号する工程、ＬＤＲ画像とＨＤＲ補助データからのＨＤＲ画像を生成する工程が必要になる。つまり、ダイナミックレンジ拡張補償データを生成する上で、より多くの処理時間が必要とされる（即ち、より多くの処理負荷がかかる）。また、原画像のＨＤＲ画像と復号したＨＤＲ画像の両方の画像を格納するメモリも必要とされる。そして、このような処理負荷及び使用メモリ量の増大は、特に、デジタルカメラやスマートフォン等のモバイル機器においてＨＤＲ画像を合成・圧縮する場合、大きな問題となる。

本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、処理負荷及び使用メモリ量を軽減した上で、復号したＨＤＲ画像の画質を向上させることである。

上記目的を達成するために、本発明の画像符号化装置は、ＨＤＲ画像を符号化する画像符号化装置であって、前記ＨＤＲ画像からＬＤＲ画像に変換する画像変換手段と、前記ＨＤＲ画像と前記ＬＤＲ画像の輝度比をデータレベルＡで算出する輝度比算出手段と、前記輝度比の最小値と最大値の間で、前記輝度比をデータレベルＢ（Ａ＞Ｂ）に量子化する輝度比量子化手段と、前記データレベルＢに量子化した輝度比を符号化する符号化手段と、前記ＨＤＲ画像において、付加情報を生成する領域を特定する領域特定手段と、前記付加情報を生成する領域において、前記データレベルＢに量子化した輝度比をデータレベルＣ（Ａ＞Ｃ＞Ｂ）に補正する輝度比補正情報を算出する補正情報算出手段と、前記付加情報を生成する領域の位置情報と前記輝度比補正情報を前記付加情報として生成する付加情報生成手段と、前記符号化された輝度比と前記付加情報を所定の記憶領域に格納することで、ＨＤＲ符号化ファイルを生成するＨＤＲ符号化ファイル生成手段と、を備えることを特徴とする。

本発明によれば、処理負荷及び使用メモリ量を軽減した上で、復号したＨＤＲ画像の画質を向上させることができる。

ＩＳＯ／ＩＥＣ １８４７７−２に準拠したＨＤＲ画像の符号化処理を説明するための図である。 本発明の実施形態１に係る画像符号化装置の機能ブロック図である。 本発明の実施形態１に係る画像符号化装置のハードウェア構成図である。 実施形態１におけるＬＤＲ画像とＨＤＲ補助データの生成及び圧縮処理を説明するための図である。 実施形態１におけるＨＤＲ補助データの生成処理の手順を示す図である。 実施形態１におけるＨＤＲ補助データのＪＰＥＧ圧縮処理と付加情報の生成処理を説明するための図である。 実施形態１における付加情報の圧縮処理を説明するための図である。 実施形態１における付加情報の出力処理を説明するための図である。 実施形態１における付加情報を生成する領域を示す図である。 実施形態２における付加情報の圧縮処理を説明するための図である。 実施形態２における付加情報の出力処理を説明するための図である。 本発明の実施形態３に係る画像符号化装置の機能ブロック図である。 実施形態３におけるＨＤＲ補助データの生成処理を説明するための図である。 実施形態３におけるＨＤＲ補助データのＪＰＥＧ圧縮処理と付加情報の生成処理を説明するための図である。 実施形態３における色差成分の付加情報の生成処理を説明するための図である。 実施形態３における付加情報の圧縮処理を説明するための図である。 実施形態４における付加情報の生成領域を自動で設定する場合のＨＤＲ画像の圧縮処理を説明するための図である。 実施形態４における付加情報生成領域をＨＤＲ画像から判定する処理を説明するための図である。 実施形態４における矩形領域情報の生成処理と付加情報を生成する領域数の更新処理を説明するための図である。 実施形態５における付加情報生成領域の検出処理を説明するための図である。 実施形態６における輝度成分の比率の対数値の範囲で付加情報の生成有無を判定する場合のＨＤＲ画像の圧縮処理を説明するための図である。 実施形態６におけるＨＤＲ補助データの生成処理を説明するための図である。 実施形態６における付加情報領域生成の判定及び検出処理を説明するための図である。 実施形態７におけるＨＤＲ補助データのＪＰＥＧ圧縮処理と付加情報の生成処理を説明するための図である。 ＨＤＲ補助データ及び付加情報の記憶領域を示す図である。 画像復号装置の機能ブロック図である。

はじめに、本発明の実施形態を説明する前に、本発明の課題を、ＩＳＯ／ＩＥＣ １８４７７−２に準拠したＨＤＲ画像の符号化処理に触れた上で、具体的かつ詳細に説明する。

図１は、ＩＳＯ／ＩＥＣ １８４７７−２に準拠したＨＤＲ画像の符号化処理を説明するための図である。なお、処理の詳細はＩＳＯ／ＩＥＣ １８４７７−２に記載されていることから、ここでは本発明に関係する内容を説明する。

ＩＳＯ／ＩＥＣ １８４７７−２に準拠したＨＤＲ画像の符号化処理として、先ず、入力されたＨＤＲ画像をＬＤＲ画像にトーンマッピング（画像変換）し、さらに、そのＬＤＲ画像をＪＰＥＧ圧縮し、ＪＰＥＧ符号データを生成するまでの処理を説明する。

画像符号化装置は、ＨＤＲ画像１０１が入力されると、ＨＤＲ画像１０１をトーンマッピング部１０２により、１コンポーネントあたり０−２５５の２５６階調の線形色空間のＬＤＲ画像（即ち、線形ＬＤＲ画像）に変換する。画像符号化装置は、線形ＬＤＲ画像を、色変換部１１５により線形色空間からｓＲＧＢ色空間に変換した後、ＲＧＢ／ＹＣＣ変換部１１６及びサブサンプリング部１１７において各々、処理を実行する。さらにＪＰＥＧ圧縮部１１８において、ＪＰＥＧ圧縮処理を実行する。これにより、ＬＤＲ画像をＪＰＥＧ圧縮したＬＤＲ符号データが生成される。

次に、ＨＤＲ補助データの生成について説明する。画像符号化装置は、ＨＤＲ画像１０１からＹ算出部１０３により輝度成分（Ｙ成分。図１のＹ＿ｈｄｒ）を算出する。画像符号化装置は、トーンマッピング部１０２で生成された線形ＬＤＲ画像からもＹ算出部１０５により輝度成分（Ｙ成分。図１のＹ＿ｌｄｒ）を算出し、さらにノイズ付加部１０６により、各輝度成分にノイズを付加する。

そして、画像符号化装置は、輝度比算出部１０７において、ＨＤＲのＹ成分を、ノイズを付加したＬＤＲのＹ成分で除算することで、輝度成分の比率（Ｙ＿ｒａｔｉｏ）を算出する。但し、ここで算出される輝度成分の比率（Ｙ＿ｒａｔｉｏ）は、８ビットオーバーのデータである。そこで、画像符号化装置は、Ｌｏｇ変換部１０８によりｌｏｇ変換後（Ｙ＿ｌｏｇ）、線形量子化部１０９により、その最大値と最小値の範囲で線形量子化を実行し、０−２５５の範囲の整数値にマッピング（Ｙ＿ｘｔ）する(８ビット整数化)。そして、この８ビット整数化された輝度成分の比率（Ｙ＿ｘｔ）は、ＨＤＲ補助データのＹ成分（輝度成分）として、ＪＰＥＧ圧縮部１１４に入力される。

また、輝度比算出部１０７において算出された輝度成分の比率（Ｙ＿ｒａｔｉｏ）は、ＨＤＲ画像１０１のＲＧＢと共に、ＲＧＢスケール変換部１０４に入力される。画像符号化装置は、ＲＧＢスケール変換部１０４により、入力されたＨＤＲ画像１０１のＲＧＢ画素値を、輝度成分の比率（Ｙ＿ｒａｔｉｏ）でスケール変換する（ＨＤＲ＿ｄｉｖ）。

そして、スケール変換されたＨＤＲ画像１０１のＲＧＢ画素値（ＨＤＲ＿ｄｉｖ）は、トーンマッピング部１０２から出力される線形ＬＤＲ画像と共に、差分取得部１１０に入力される。画像符号化装置は、差分取得部１１０により、入力されたＨＤＲ画像１０１のＲＧＢ画素値（ＨＤＲ＿ｄｉｖ）と、線形ＬＤＲ画像のＲＧＢ値との差分（Ｄｉｆ＿ＲＧＢ）を取得する。

さらに、画像符号化装置は、色差算出部１１１により色差成分（ＣＣ＿ｈｄｒ）を算出する。但し、色差算出部１１１により算出される色差成分もまた、８ビットオーバーのデータである。そこで、画像符号化装置は、色差正規化部１１２により色差成分（ＣＣ＿ｈｄｒ）をＬＤＲの輝度成分（Ｙ＿ｌｄｒ）で正規化し（ＣＣ＿ｎｏｒｍ）、色差線形量子化部１１３によりその最大値と最小値の間で線形量子化（ＣＣ＿ｘｔ）する。即ち、８ビット整数化する（８ビットのデータレベルにする）。そして、この８ビット整数化された色差成分（ＣＣ＿ｘｔ）は、ＨＤＲ補助データの色差成分として、ＪＰＥＧ圧縮部１１４に入力される。

画像符号化装置は、ＪＰＥＧ圧縮部１１４において、線形量子化部１０９より入力された８ビット整数化された輝度成分の比率と、色差線形量子化部１１３より入力された８ビット整数化された色差成分からＨＤＲ補助データのＪＰＥＧ符号データを生成する。

上述の処理を実行することで、ＬＤＲのＪＰＥＧ符号データと、ＨＤＲ補助データのＪＰＥＧ符号データが生成される。画像符号化装置は、ＨＤＲ符号化ファイル生成手段としての出力部１１９により、両符号データと、ＬＤＲ画像からＨＤＲ画像へ伸長するために必要な情報と共に、１つのＪＰＥＧファイルを生成し、ＪＰＥＧ ＸＴデータ１２０として出力する。なお、ＬＤＲ画像からＨＤＲ画像へ伸長するために必要な情報とは、例えば、輝度成分の比率の対数値の最大値と最小値等である。

以上、ＩＳＯ／ＩＥＣ １８４７７−２に準拠したＨＤＲ画像の符号化処理に関して説明したが、次に、このＩＳＯ／ＩＥＣ １８４７７−２に準拠したＨＤＲ画像の符号化処理を踏まえ、上述の背景技術で説明した課題を詳述する。

ＩＳＯ／ＩＥＣ １８４７７−２に準拠したＨＤＲ画像の符号化処理に関して、上述のように、線形量子化部１０９において、輝度成分の比率をｌｏｇ変換した後、その最大値と最小値の範囲で線形量子化（輝度比量子化）を実行している。そのため、ＨＤＲの輝度レンジが広い場合には、その量子化誤差が大きくなる。加えて、８ビット整数化された輝度成分の比率は、ＪＰＥＧ圧縮部１１４におけるＪＰＥＧ符号化の過程でＤＣＴ後に量子化されることから、ここでも量子化誤差が発生することになる。

結果、ＨＤＲ補助データを復号（デコード）することで取得される輝度成分の比率（Ｙ＿ｒａｔｉｏ）は、著しく劣化することになる。さらに、８ビット整数化された色差成分をＨＤＲのデータ範囲に引き延ばす上で、復号された輝度成分の比率（Ｙ＿ｒａｔｉｏ）を用いることから、輝度成分の比率の量子化誤差は、色差成分を劣化させる要因にもなる。

このように、ＩＳＯ／ＩＥＣ １８４７７−２に準拠したＨＤＲ画像の符号化処理で生成されたＨＤＲ補助データを用いて復号されるＨＤＲ画像は、劣化が著しくなる。特に、画像を視る際に注目する、人物の顔、主被写体、人間の視覚特性が敏感な低輝度領域であって、かつエッジの少ない領域等では、その劣化がより著しくなる。ここで、輝度成分の比率（Ｙ＿ｒａｔｉｏ）の量子化誤差を小さくする方法として、量子化誤差を小さくするような最適なルックアップテーブルを計算する方法も検討されるが、その計算には非常に時間がかかることになる。

また、この場合において、ダイナミックレンジ拡張補償データを導入した場合であっても（特許文献１）、上述のように、より多くの処理負荷がかかり、また、原画像のＨＤＲ画像と復号したＨＤＲ画像の両方の画像を格納するメモリも必要とされる。即ち、使用メモリ量および処理負荷が増大することになる。

以下、これらの問題点（課題）を踏まえ、図面を参照しながら、本発明の実施形態に関して、詳細に説明する。以下の実施形態は、特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明される特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施形態において、符号化対象とするＨＤＲ画像データは１９２０ｘ１０８０［画素］のＲＧＢカラーデータとし、また、各コンポーネント（色）は１６ビットの実数値として説明する。但し、ＲＧＢ以外のコンポーネントの構成（例えば、グレー等）でも構わず、色空間の種類、コンポーネントの個数は問われることはない。

また、１成分のビット数も１６ビットに限定されず、８ビットを超えるビット数（例えば、１２ビット等）であれば、何ビットでもよい。加えて、１成分のビット数は実数値だけに限定されず、１６ビットの整数値等でもよい。つまり、ＨＤＲのコントラスト比を表現することができれば、入力画像の形式はどのようなものであってもよい。

［実施形態１］
＜輝度成分の比率の補助データの付加情報の有無を外部より設定＞
本実施形態では、ＩＳＯ／ＩＥＣ １８４７７−２で規定されているＨＤＲ補助データの生成方法を前提に、ＨＤＲ補助データを生成する。即ち、画像符号化装置は、先ずＨＤＲ画像データとＬＤＲ画像データの輝度成分比（輝度比情報）を生成し、次にその輝度比情報を用いて、元のＨＤＲ画像データと、ＨＤＲのレンジに引き延ばしたＬＤＲ画像の色差成分の差分(色差補助情報)を生成する。そして、輝度比情報と色差補助情報を８ビット整数化して、ＪＰＥＧ符号化する。但し、本実施形態では、ＨＤＲ補助データの輝度成分の付加情報を生成する。

図２は本発明の第１の実施形態に係る画像符号化装置の機能ブロック図であり、図２において、ＩＳＯ／ＩＥＣ １８４７７−２との相違点に着目して説明する。図２に示すように、本発明の第１の実施形態に係る画像符号化装置は、図１に示す機能に加えて、特徴値取得部２２１、領域判定部２２２、ＪＰＥＧ復号部２２３、差分取得部２２４、差分データ圧縮部２２５を備える。

特徴値取得部２２１は、輝度成分の比率の対数の最大値（Ｍａｘ＿ｌｏｇ）と最小値（Ｍｉｎ＿ｌｏｇ）を特徴値として取得する。領域判定部２２２は、領域特定手段として機能し、処理対象とするマクロブロックが付加情報を生成する領域内にあるか否かを判定する。ＪＰＥＧ復号部２２３は、逆量子化、逆ＤＣＴ等の処理を実行することで、補助データの輝度成分を簡易的に復号する。差分取得部２２４は、付加情報を生成する領域の輝度成分の比率の対数値と、ＪＰＥＧ復号部２２３により補助データの輝度成分を復号した結果との差分を、輝度比補正情報（付加情報）として取得する。差分データ圧縮部２２５は、輝度比補正情報を量子化し、さらにＪＰＥＧ圧縮する。なお、ＪＰＥＧ復号部２２３、差分取得部２２４は、補正情報算出手段として機能する。

図３は、本発明の第１の実施形態に係る画像符号化装置のハードウェア構成図である。図３において、ＣＰＵ（Central Processing Unit）３０１は、画像符号化装置全体を制御する中央演算装置である。ＣＰＵ３０１は、メモリ３０３に読み込まれた各種プログラムを実行することにより、後述のシーケンスの各ステップの処理を実行する各処理部として機能する。ＣＰＵ３０１は、例えば、ＨＤＲ補助データの生成、ＬＤＲ画像の生成、ＨＤＲ情報に対する付加情報の生成等の処理を実行する。

入力部３０２は、ユーザからの指示（例えば、付加情報を生成する領域の指定等）やＨＤＲ画像データ等を入力する装置であり、キーボードやマウス等のポインティングシステムが含まれる。メモリ３０３は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）を含み、処理に必要なプログラム、データ、作業領域等をＣＰＵ３０１に提供する。表示部３０４は、液晶ディスプレイ等の表示装置である。

記憶部３０５は、例えば、ハードディスク等であり、画像データ、プログラム等を記憶する記憶装置である。なお、後述のフローチャートの各ステップの処理に必要な制御プログラムは、記憶部３０５、又はメモリ３０３のＲＯＭに記憶されているものとする。ここで、制御プログラムが記憶部３０５に記憶されている場合は、一旦メモリ３０３のＲＡＭに読み込まれてから実行される。また、ハードウェアの構成に関して、上記以外にも様々な構成要素が存在するが、本発明の主旨ではないので、ここではその説明を省略する。

次に、図４を用いて、画像符号化装置に入力されたＨＤＲ画像データから、ＬＤＲ画像とＨＤＲ補助データを生成し、各々を圧縮する処理に関して説明する。なお、ＩＳＯ／ＩＥＣ １８４７７−２で規定されている処理と同様の処理に関しては、図４では、その説明を省略する。

画像符号化装置は、入力部３０２において、符号化対象とするＨＤＲ画像データを受信する（Ｓ４０１）。画像符号化装置は、トーンマッピング部２０２により、ステップＳ４０１で入力されたＨＤＲ画像データに対して、メモリ３０３から取得したトーンカーブを用いてトーンマッピング処理を実行し、線形ＬＤＲ画像データを生成する（Ｓ４０２）。そして、生成された線形ＬＤＲ画像データを、メモリ３０３に記憶する。

画像符号化装置は、線形ＬＤＲ画像データをメモリ３０３に記憶すると、サブサンプリング条件や量子化パラメータ等のＬＤＲ画像の符号化条件を取得する（Ｓ４０３）。

次に、画像符号化装置は、ステップＳ４０２で取得した線形ＬＤＲ画像に対して、ＩＳＯ／ＩＥＣ１０９１８に規定された方法で、ＪＰＥＧ圧縮形式で圧縮するまでの処理を実行する（Ｓ４０４）。具体的には、ステップＳ４０２で取得した線形ＬＤＲ画像に対して、先ず、色変換部２１５によりｓＲＧＢ色空間に変換し、次に、ＲＧＢ／ＹＣＣ変換部２１６によるＲＧＢ／ＹＣＣ変換と、サブサンプリング部２１７によるサブサンプリングを実行する。そして、画像符号化装置は、サブサンプリングの実行後に、ＪＰＥＧ圧縮部２１８によりステップＳ４０３で取得した符号化条件に従って、ＤＣＴ、量子化、エントロピー符号化を実行することで、線形ＬＤＲ画像をＪＰＥＧ圧縮する。

画像符号化装置は、ＨＤＲ補助データ生成条件を取得する（Ｓ４０５）。即ち、画像符号化装置は、ＨＤＲ補助データのＪＰＥＧ圧縮パラメータ（例えば、サブサンプリング方法、量子化パラメータ等）、及びＨＤＲ補助データに対する付加情報を生成する領域数を取得する。

なお、本実施形態において、付加情報を生成する領域は、ユーザにより入力部３０２（例えば、マウス等）を用いて、矩形領域として指定（設定）される。また、ここで、ユーザによる指定がなければ、画像符号化装置は、付加情報を生成する領域数をゼロと認識する。

画像符号化装置は、付加情報の生成の有無を判定する（Ｓ４０６）。具体的には、画像符号化装置は、ステップＳ４０５において取得した付加情報を生成する領域数がゼロであるか否かを判定する。そして、画像符号化装置は、付加情報を生成する領域数がゼロであると判定すると（即ち、当該ＨＤＲ画像に対して付加情報を生成しないと判定すると）（Ｓ４０６ Ｎｏ）、処理をステップＳ４１３に移行させる。ステップＳ４１３において、画像符号化装置は、付加情報フラグ（Ｆｌａｇ）に０を設定し、さらに、処理をステップＳ４０９に移行させる。

一方、画像符号化装置は、付加情報を生成する領域数が１以上であると判定すると（即ち、当該ＨＤＲ画像に対して付加情報を生成する必要があると判定すると）（Ｓ４０６ Ｙｅｓ）、処理をステップＳ４０７に移行させる。ステップＳ４０７において、画像符号化装置は、付加情報フラグ（Ｆｌａｇ）に１を設定し、さらに、処理をステップＳ４０８に移行させる。

画像符号化装置は、付加情報フラグ（Ｆｌａｇ）に１を設定すると、付加情報作成用データを取得する（Ｓ４０８）。なお、画像符号化装置は、付加情報作成用データとして、付加情報を生成する各領域の左上座標、幅、高さ、及び付加情報の圧縮条件を取得する。

次に、画像符号化装置は、ＨＤＲ補助データを生成する（Ｓ４０９）。なお、ＨＤＲ補助データの生成方法に関しては、図５を用いて後述する。画像符号化装置は、ＩＳＯ／ＩＥＣ １８４７７−１で規定されている方法で、ステップＳ４０９で生成したＨＤＲ補助データをファイルに出力する（Ｓ４１０）。より詳細には、ＨＤＲ補助データをＪＰＥＧのＡＰＰ１１マーカ内に出力する。

画像符号化装置は、ＨＤＲ補助データを出力すると、付加情報フラグ（Ｆｌａｇ）を参照し、付加情報フラグ（Ｆｌａｇ）が１であれば、処理をステップＳ４１２に移行させる。ステップＳ４１２において、画像符号化装置は、付加情報を出力する。本実施形態において、図２５（ｂ）に示すように、ＡＰＰ１１マーカ内において、ＨＤＲ補助データの直後に、付加情報を出力する。画像符号化装置は、次に、ステップＳ４０４で生成したＬＤＲ画像のＪＰＥＧデータを、ＩＳＯ／ＩＥＣ １８４７７−１で規定されている方法で出力する（Ｓ４１４）。

また、画像符号化装置は、付加情報フラグ（Ｆｌａｇ）が０であれば、付加情報の出力は不要であることから、処理をステップＳ４１４に移行させる。ステップＳ４１４において、画像符号化装置は、ステップＳ４０４で生成したＬＤＲ画像のＪＰＥＧデータを、ＩＳＯ／ＩＥＣ １８４７７−１に規定されている方法で、ＨＤＲ符号化ファイルとして出力する。

次に、図４のステップＳ４０９のＨＤＲ補助データの生成処理に関して、図５を用いて説明する。図５は、ＨＤＲ補助データの生成処理の流れを示すフローチャートである。なお、ＩＳＯ／ＩＥＣ １８４７７−２で規定されている処理と同様の処理に関しては、図５では、その説明を省略する。

画像符号化装置は、ＨＤＲ画像の輝度値（Ｙ＿ｈｄｒ）を取得する（Ｓ５０１）。画像符号化装置は、次に、ステップＳ４０２で生成した線形ＬＤＲ画像データをメモリ３０３から取得する（Ｓ５０２）。画像符号化装置は、ステップＳ５０２で取得した線形ＬＤＲ画像の各画素において輝度値（Ｙ＿ｌｄｒ）を算出する（Ｓ５０３）。なお、輝度値の計算には、ＩＳＯ／ＩＥＣ１８４７７−１のＭｕｌｔｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ｄｅｃｏｒｒｅｌａｔｉｏｎにより定義されている変換式を適用する。

画像符号化装置は、ステップＳ５０１で取得したＨＤＲ画像の輝度値（Ｙ＿ｈｄｒ）と、ステップＳ５０３で取得した線形ＬＤＲ画像の輝度値（Ｙ＿ｌｄｒ）を用いて、全画素における輝度成分の比率（Ｙ＿ｒａｔｉｏ）を算出する（Ｓ５０４）。画像符号化装置は、ＨＤＲ画像のＲＧＢデータの画素値を、ステップＳ５０４で算出した輝度成分の比率（Ｙ＿ｒａｔｉｏ）で除算し、スケール変換したＲＧＢデータ（ＨＤＲ_ｄｉｖ）を算出する（Ｓ５０５）。

画像符号化装置は、ステップＳ５０５においてスケール変換したＲＧＢデータ（ＨＤＲ_ｄｉｖ）と、ＬＤＲ画像のＲＧＢ画素値の差分を算出し、ＨＤＲ補助データの色差成分（ＣＣ＿ｈｄｒ）を算出する（Ｓ５０６）。

画像符号化装置は、ＨＤＲ補助データの色差成分（ＣＣ＿ｈｄｒ）をステップＳ５０３で算出した線形ＬＤＲ画像の輝度値（Ｙ＿ｌｄｒ）で正規化し、色差補助情報（ＣＣ＿ｎｏｒｍ）を取得する（Ｓ５０７）。画像符号化装置は、色差補助情報（ＣＣ＿ｎｏｒｍ）を取得すると、全ての画素の色差補助情報（ＣＣ＿ｎｏｒｍ）の値から、最大値Ｍａｘ＿ＣＣ（Ｍａｘ＿ＣｂとＭａｘ＿Ｃｒ）と最小値Ｍｉｎ_ＣＣ（Ｍｉｎ＿ＣｂとＭｉｎ＿Ｃｒ）を取得する（Ｓ５０８）。画像符号化装置は、色差補助情報（ＣＣ＿ｎｏｒｍ）を色差補助情報の最大値（Ｍａｘ＿ＣＣ）と最小値（Ｍｉｎ＿ＣＣ）の範囲で色差量子化し、８ビット化した色差補助情報（ＣＣ＿ｘｔ）を取得する（Ｓ５０９）。

画像符号化装置は、次に、ステップＳ５０４で取得した輝度成分の比率（Ｙ＿ｒａｔｉｏ）の対数値（Ｙ＿ｌｏｇ）を算出する（Ｓ５１０）。画像符号化装置は、付加情報フラグ（Ｆｌａｇ）を参照し、付加情報の生成が必要かどうかを判定する（Ｓ５１１）。画像符号化装置は、付加情報フラグ（Ｆｌａｇ）が１であれば、付加情報の生成が必要であると判定し、ステップＳ５１２に処理を移行させる。なお、画像符号化装置は、付加情報フラグ（Ｆｌａｇ）が０であれば、付加情報の生成は不要と判定し（即ち、ステップＳ５１２の処理を省略し）、ステップＳ５１３に処理を移行させる。

ステップＳ５１２において、画像符号化装置は、ステップＳ４０８で取得した付加情報作成用データから、付加情報生成領域を特定し、その輝度成分の比率の対数値（ＲＯＩ_Ｙ_ｌｏｇ）をメモリ上に保存する。

画像符号化装置は、輝度成分の比率の対数値（Ｙ＿ｌｏｇ）に関して、全ての画素の最大値（Ｍａｘ＿ｌｏｇ）と最小値（Ｍｉｎ＿ｌｏｇ）を取得する（Ｓ５１３）。そして、ステップＳ５１４において、画像符号化装置は、輝度成分の比率の対数の最大値（Ｍａｘ＿ｌｏｇ）と最小値（Ｍｉｎ＿ｌｏｇ）の範囲で輝度成分の比率の対数値を量子化し、８ビット化した輝度成分の比率の対数値（Ｙ＿ｘｔ）を取得する。さらに、ステップＳ５１５において、画像符号化装置は、ＨＤＲ補助データのＪＰＥＧ圧縮と付加情報の生成に関する処理を実行する。

続いて、図６を用いて、ステップＳ５１５のＨＤＲ補助データのＪＰＥＧ圧縮と付加情報の生成に関する処理を、より詳細に説明する。即ち、図６では、ステップＳ５１４で生成した８ビット化した輝度成分の比率の対数値（Ｙ＿ｘｔ）と、ステップＳ５０９で取得した８ビット化した色差補助情報（ＣＣ＿ｘｔ）をＨＤＲ補助データとして、ＪＰＥＧ圧縮し、付加情報を生成する。

画像符号化装置は、８ビット化した輝度成分の比率の対数値（Ｙ＿ｘｔ）をマクロブロックＭＢに分割して、マクロブロック単位で取得する（Ｓ６０１）。画像符号化装置は、マクロブロック単位（復号単位）で取得した８ビット化した輝度成分の比率の対数値（Ｙ＿ｘｔ）に対してＤＣＴ（Discrete Cosine Transform）を実行し（Ｓ６０２）、ＤＣＴ係数を取得する。画像符号化装置は、ステップＳ４０３で取得したＨＤＲ補助データの量子化パラメータに従って、ステップＳ６０２で取得したＤＣＴ係数を量子化する（Ｓ６０３）。

次に、画像符号化装置は、処理対象としているマクロブロックＭＢが付加情報生成領域内に位置するか否かを判定する（Ｓ６０４）。画像符号化装置は、処理対象としているマクロブロックＭＢが付加情報生成領域内に位置すると判定するとステップＳ６０５に処理を移行させ、以後の処理で付加情報を生成する。一方、処理対象としているマクロブロックＭＢが付加情報生成領域内に位置しないと判定するとステップＳ６０８に処理を移行させる。なお、付加情報生成領域が設定されていない場合、即ち、付加情報フラグ（Ｆｌａｇ）が０の場合も、同様に、ステップＳ６０８に処理を移行させる。

画像符号化装置は、ステップＳ６０３において量子化されたマクロブロック単位のＤＣＴ係数を逆量子化し、さらに逆ＤＣＴを実行した結果（ＤｅｃＹｘｔ）を取得する（Ｓ６０５）。画像符号化装置は、ステップＳ６０５で取得した逆ＤＣＴの実行結果を、輝度成分の比率の対数の最大値（Ｍａｘ＿ｌｏｇ）と最小値（Ｍｉｎ＿ｌｏｇ）の範囲で逆量子化し、ビット深度を拡大した結果（ＲＯＩ＿ＤｅｃＹｌｏｇ）を取得する（Ｓ６０６）。このように、ステップＳ６０５及びＳ６０６の処理を実行することで、付加情報生成領域内に位置するマクロブロックＭＢを対象に、補助データの輝度成分を簡易的に復号した結果を取得する。また、ここでは、量子化されたビット数より大きい、８ビットオーバーのデータレベル（データビット長）で復号される。画像符号化装置は、ステップＳ５１２で保存した線形量子化前の輝度成分の比率の対数値（ＲＯＩ_Ｙ_ｌｏｇ）と、ビット深度を拡大した結果（ＲＯＩ＿ＤｅｃＹｌｏｇ）の差分（ＤｉｆＹｌｏｇ）を取得し、輝度比補正情報として保存する（Ｓ６０７）。

画像符号化装置は、次に、マクロブロック単位で、ステップＳ６０３で量子化されたＤＣＴ係数をエントロピー符号化する（Ｓ６０８）。画像符号化装置は、補助データの輝度成分の全てのマクロブロックＭＢに関して、エントロピー符号化が終了したか否かを判定する（Ｓ６０９）。判定の結果、未だ処理がなされていないマクロブロックＭＢがある場合（Ｓ６０９ Ｎｏ）、画像符号化装置は、ステップＳ６０１に処理を返し、次のマクロブロックＭＢを対象にステップＳ６０１からステップＳ６０８までの処理を実行する。

画像符号化装置は、補助データの輝度成分の全てのマクロブロックＭＢに対する処理が終了すると（Ｓ６０９ Ｙｅｓ）、処理をステップＳ６１０に移行し、以後の処理で色差成分の圧縮処理を実行する。画像符号化装置は、ステップＳ４０３で取得したＨＤＲ補助データのサブサンプリング条件に従って、８ビット化した色差補助情報（ＣＣ＿ｘｔ）をサブサンプリングする（Ｓ６１０）。画像符号化装置は、８ビット化した色差補助情報（ＣＣ＿ｘｔ）をマクロブロックＭＢｃに分割して、マクロブロック単位で取得する（Ｓ６１１）。

画像符号化装置は、マクロブロック単位で取得した８ビット化した色差補助情報（ＣＣ＿ｘｔ）に対して、ＤＣＴを実行し（Ｓ６１２）、ＤＣＴ係数を取得する。画像符号化装置は、ステップＳ４０３で取得したＨＤＲ補助データの量子化パラメータに従ってステップＳ６１２で取得したＤＣＴ係数を量子化し（Ｓ６１３）、さらに、量子化したＤＣＴ係数をエントロピー符号化する（Ｓ６１４）。

画像符号化装置は、８ビット化した色差補助情報（ＣＣ＿ｘｔ）の全てのマクロブロックＭＢｃに関して、エントロピー符号化が終了したか否かを判定する（Ｓ６１５）。判定の結果、未だ処理がなされていないマクロブロックＭＢｃがある場合（Ｓ６１５ Ｎｏ）、画像符号化装置は、ステップＳ６１１に処理を返し、次のマクロブロックＭＢｃを対象にステップＳ６１１からステップＳ６１４までの処理を実行する。

画像復号装置は、８ビット化した色差補助情報（ＣＣ＿ｘｔ）の全てのマクロブロックＭＢｃに対する処理が終了すると（Ｓ６１５ Ｙｅｓ）、処理をステップＳ６１６に移行させる。ステップＳ６１６において、画像復号装置は、付加情報生成フラグ（Ｆｌａｇ）を参照し、付加情報生成フラグ（Ｆｌａｇ）が１であれば（Ｓ６１６ Ｙｅｓ）、処理をステップＳ６１７に移行させ、付加情報の圧縮処理を実行する（Ｓ６１７）。また、付加情報生成フラグ（Ｆｌａｇ）が１でなければ（Ｓ６１６ Ｎｏ）、付加情報の圧縮処理を実行することなく、図６に示す処理を終了する。

続いて、図７を用いて、ステップＳ６１７の付加情報の圧縮処理に関して、より詳細に説明する。画像符号化装置は、ステップＳ６０７で保存した輝度比補正情報（ＤｉｆＹｌｏｇ）を量子化し、８ビット整数化（ＤｉｆＹｌｏｇ＿８ｂｉｔ）する（Ｓ７０１）。画像符号化装置は、次に付加情報を生成する領域数Ｎを取得し（Ｓ７０２）、さらに領域のカウンタｋにゼロを代入することで、領域のカウンタｋを初期化する（Ｓ７０３）。なお、領域番号は、各々の領域の左上の座標を基準に、画像の左上からラスター順に付与されるものとする。したがって、例えば、図９（ａ）に示すように、３つの領域９０１〜９０３が付加情報を生成する領域として設定されている場合、それぞれ領域番号を「０」、「１」、「２」とする。

画像符号化装置は、領域番号ｋの８ビット整数化された輝度比補正情報（ＤｉｆＹｌｏｇ＿８ｂｉｔ）を取得する（Ｓ７０４）。画像符号化装置は、ステップＳ７０４で取得した８ビット整数化された輝度比補正情報を、ステップＳ４０８で取得した付加情報作成用データで、その領域の幅と高さの画像サイズの、１色の画像としてＪＰＥＧ圧縮する（Ｓ７０５）。

画像符号化装置は、領域のカウンタｋに１を加算する（Ｓ７０６）。画像符号化装置は、領域のカウンタｋに１を加算すると（即ち、カウントアップすると）、領域のカウンタｋと領域数Ｎが同じ値であるか否かを判定する（Ｓ７０７）。そして、領域のカウンタｋと領域数Ｎが同じ値であれば（Ｓ７０７ Ｙｅｓ）、画像符号化装置は、全ての領域に関して付加情報の圧縮処理が終了したものとして、図７に示す処理を終了する。また、領域のカウンタｋと領域数Ｎが同じ値でなければ（Ｓ７０７ Ｎｏ）、画像符号化装置は、処理をステップＳ７０４に返し、次の領域の付加情報の圧縮処理を実行する。

次に、図４のステップＳ４１２の付加情報の出力処理に関して、図８を用いて説明する。本実施形態では、図２５（ｂ）のように、ＨＤＲ補助データと同じＡＰＰ１１マーカ内において、ＨＤＲ補助データに続けて付加情報を出力する。

符号化装置は、ＨＤＲ補助データのＥＯＩマーカの後ろに、付加情報を生成した領域数Ｎを出力する（Ｓ８０１）。なお、本実施形態において、領域数は１バイトで記載するものとする。画像符号化装置は、付加情報を生成する領域数をカウントするカウンタｋにゼロを代入することで、領域のカウンタｋを初期化する（Ｓ８０２）。

符号化装置は、次に領域番号ｋの符号量Ｓ（ｋ）を取得する（Ｓ８０３）。なお、ここで、符号量Ｓ（ｋ）とは、ステップＳ７０５で生成された、ＳＯＩマーカからＥＯＩマーカで終了するＪＰＥＧ圧縮データの符号量である。また、本実施形態において、符号量は２バイトで記載するものとする。

符号化装置は、領域番号ｋの符号量Ｓ（ｋ）を取得すると、領域番号ｋに続いて、符号量Ｓ（ｋ）を出力する（Ｓ８０５）。符号化装置は、ステップＳ７０５で生成された、領域番号ｋのＪＰＥＧ圧縮されたデータを出力する（Ｓ８０６）。画像符号化装置は、領域のカウンタｋに１を加算する（Ｓ８０７）。画像符号化装置は、領域のカウンタｋに１を加算すると（即ち、カウントアップすると）、領域のカウンタｋと領域数Ｎが同じ値であるか否かを判定する（Ｓ８０８）。そして、領域のカウンタｋと領域数Ｎが同じ値であれば（Ｓ８０８ Ｙｅｓ）、画像符号化装置は、全ての領域に関して付加情報の出力処理が終了したものとして、図８に示す処理を終了する。また、領域のカウンタｋと領域数Ｎが同じ値でなければ（Ｓ８０８ Ｎｏ）、画像符号化装置は、処理をステップＳ８０３に返し、次の領域の付加情報の出力処理を実行する。

以上のように、本実施形態では、ユーザが指定した１又は複数の領域に対して、復号後のＨＤＲ画像の画質を向上させる付加情報を生成することができる。また、付加情報を生成する領域のみ、ＨＤＲ補助データを復号することから、付加情報生成のための処理負荷、使用メモリ量、及び処理時間を最小限に抑えることができる。

また、ＨＤＲ補助データの劣化度合いを補正するデータを付加情報としていることから、付加情報を生成する過程で、圧縮したＬＤＲ画像のデコードは必要ない。そのため、付加情報の生成処理と、ＬＤＲ画像の圧縮処理は独立に実行することができる。即ち、両方の処理を並列に実行することができ、延いては処理時間の短縮を見込むことができる。加えて、付加情報は、ＨＤＲ補助データの輝度成分の量子化前後の差分値であることから、生成する上での処理負荷も大幅に軽くすることができる。

その他、付加情報によって補正される、ＨＤＲ補助データの輝度成分（Ｙ＿ｒａｔｉｏ）は、ＨＤＲ補助データの色差成分の復号(図２のＲＧＢスケール変換部２０４によるスケール変換を戻す工程)においても用いることができる。そのため、色差成分のデコード画質も向上させることができる。また、付加情報の圧縮形式もＪＰＥＧ圧縮形式であることから、ＪＰＥＧデコード機能を有するＪＰＥＧ ＸＴのデコーダだけで、ＨＤＲ画像の画質を向上させることができる。

［実施形態２］
＜輝度成分の比率の補助データの付加情報をＪＰＥＧ圧縮形式以外の圧縮形式で圧縮＞
上述のように、実施形態１では、図６のステップＳ６１７において、付加情報をＪＰＥＧ圧縮形式で圧縮した。このように、ＪＰＥＧ圧縮形式で圧縮する場合、ＪＰＥＧ ＸＴのデコーダがあれば付加情報を復号できるが、８ビットを超える付加情報をステップＳ７０１で８ビットに量子化するため、付加情報の劣化も大きくなる可能性がある。

そこで、本実施形態では、８ビットを超えるデータを扱える、ＪＰＥＧ ２０００を用いて圧縮する。なお、本実施形態において、実施形態１と異なるのは、図６のステップＳ６１７の付加情報の圧縮処理と、図４のステップＳ４１２の付加情報の出力処理である。

先ず、本実施形態における付加情報の圧縮処理に関して、図１０を用いて説明する。なお、図１０に示す処理に関して、実施形態１の図７と同様の処理は、ここでの詳細な説明は省略する。具体的には、図１０のステップＳ１００１、Ｓ１００３、Ｓ１００８、Ｓ１００９は、図７のステップＳ７０２、Ｓ７０３、Ｓ７０６、Ｓ７０７に各々、対応している。

符号化装置は、付加情報を生成する領域数Ｎを取得する（Ｓ１００１）。符号化装置は、領域数Ｎを取得すると、付加情報作成用データから付加情報のビット数Ｂを取得する（Ｓ１００２）。本実施形態において、符号化装置は、ユーザにより設定された付加情報の精度に応じて、Ｂ＝９〜３８（ＪＰＥＧ２０００で扱える最大ビット数）のいずれかの値を取得できる。そして、このビット数が大きいほど、付加情報の劣化は小さくなる。

符号化装置は、次に、領域のカウンタｋを初期化し（Ｓ１００３）、領域番号ｋの輝度比補正情報（ＤｉｆＹｌｏｇ）を取得する（Ｓ１００４）。符号化装置は、ステップＳ１００４で取得した領域番号ｋの輝度比補正情報（ＤｉｆＹｌｏｇ）の最小値と最大値を取得する（Ｓ１００５）。

符号化装置は、輝度比補正情報（ＤｉｆＹｌｏｇ）を、ステップＳ１００５で取得した最小値と最大値の間で線形量子化し、さらにステップＳ１００２で取得したビット数Ｂに応じて、Ｂビットの整数値（ＤｉｆＹｌｏｇ＿Ｂ）に変換する（Ｓ１００６）。符号化装置は、ステップＳ１００６で取得した輝度比補正情報のＢビット整数値（ＤｉｆＹｌｏｇ＿Ｂ）をＪＰＥＧ２０００で圧縮する（Ｓ１００７）。

画像符号化装置は、領域のカウンタｋに１を加算する（Ｓ１００８）。画像符号化装置は、領域のカウンタｋに１を加算すると（即ち、カウントアップすると）、領域のカウンタｋと領域数Ｎが同じ値であるか否かを判定する（Ｓ１００９）。

そして、領域のカウンタｋと領域数Ｎが同じ値であれば（Ｓ１００９ Ｙｅｓ）、画像符号化装置は、全ての領域に関して付加情報の圧縮処理が終了したものとして、図１０に示す処理を終了する。また、領域のカウンタｋと領域数Ｎが同じ値でなければ（Ｓ１００９ Ｎｏ）、画像符号化装置は、処理をステップＳ１００４に返し、次の領域の付加情報の圧縮処理を実行する。

次に、本実施形態における付加情報の出力処理に関して、図１１を用いて説明する。なお、図１１に示す処理に関して、実施形態１の図８と同様の処理は、ここでの詳細な説明は省略する。具体的には、図１１のステップＳ１１０１、Ｓ１１０２、Ｓ１１０３、Ｓ１１０４、Ｓ１１０６、Ｓ１１０８、Ｓ１１０９は、図８のステップＳ８０１、Ｓ８０２、Ｓ８０３、Ｓ８０４、Ｓ８０５、Ｓ８０７、Ｓ８０８に各々、対応している。

符号化装置は、付加情報を生成する領域数Ｎを出力する（Ｓ１１０１）。符号化装置は、領域数Ｎを出力すると、領域のカウンタｋを初期化し（Ｓ１１０２）、さらに領域番号ｋの符号量Ｓ（ｋ）を取得する（Ｓ１１０３）。

符号化装置は、次に、領域番号ｋの位置情報を出力し（Ｓ１１０４）、線形量子化に用いた最小値と最大値を出力する（Ｓ１１０５）。即ち、ステップＳ１００５で取得した最小値と最大値を出力する。

符号化装置は、さらに、領域番号ｋの符号量Ｓ（ｋ）を出力し（Ｓ１１０６）、領域番号ｋの付加情報のＪＰＥＧ２０００データを出力する（Ｓ１１０７）。即ち、符号化装置は、ステップＳ１００７で生成した符号データのＳＯＣマーカからＥＯＣマーカまでを出力する。

画像符号化装置は、領域のカウンタｋに１を加算する（Ｓ１１０８）。画像符号化装置は、領域のカウンタｋに１を加算すると（即ち、カウントアップすると）、領域のカウンタｋと領域数Ｎが同じ値であるか否かを判定する（Ｓ１１０９）。そして、領域のカウンタｋと領域数Ｎが同じ値であれば（Ｓ１１０９ Ｙｅｓ）、画像符号化装置は、全ての領域に関して付加情報の出力処理が終了したものとして、図１１に示す処理を終了する。また、領域のカウンタｋと領域数Ｎが同じ値でなければ（Ｓ１１０９ Ｎｏ）、画像符号化装置は、処理をステップＳ１１０３に返し、次の領域の付加情報の出力処理を実行する。

本実施形態では、付加情報の符号化（エンコード）／復号（デコード）に、ＪＰＥＧ ＸＴのデコーダの他にＪＰＥＧ２０００のデコーダも必要になるが、付加情報の精度は高くなり、付加情報で補正したＨＤＲ画像の画質はさらに良くなる。また、本実施形態では、圧縮形式としてＪＰＥＧ２０００を用いたが、８ビットオーバーのデータを圧縮できる圧縮形式であれば、本実施形態と同様の効果を得ることができる。

［実施形態３］
＜補助データの色差成分に関する付加情報も生成＞
実施形態１では、ＨＤＲ補助データの輝度成分に対してのみ補助データを生成した。これにより、色差成分の復号（デコード）時に、即ち、補助データの色差成分をＨＤＲに戻す時に、その精度が良くなり、デコード結果も改善される。しかしながら、色差成分に関して、線形量子化（即ち、８ビット整数化）、またＪＰＥＧ圧縮（より詳しくは、ＤＣＴ係数の量子化）を行なっていることから、それによる劣化を軽減することができない。

そこで、本実施形態では、色差成分についても付加情報を生成する。図１２は、本発明の第３の実施形態に係る画像符号化装置の機能ブロック図であり、図１２において、第１の実施形態との相違点に着目して説明する。図１２に示すように、本発明の第３の実施形態に係る画像符号化装置は、図２に示す機能（即ち、特徴値取得部１２２１、領域判定部１２２２、差分取得部１２２４）に加えて、ＪＰＥＧ復号部１２２３、差分取得部１２２６、差分データ圧縮部１２２５を備える。

ＪＰＥＧ復号部１２２３は、逆量子化、逆ＤＣＴ等の処理を実行することで、補助データの輝度成分以外に色差成分についても簡易的に復号する。差分取得部１２２６は、付加情報を生成する領域の色差補助情報と、ＪＰＥＧ復号部１２２３により補助データの色差成分を復号した結果との差分を、色差補正情報として取得する。差分データ圧縮部１２２５は、輝度比補正情報以外に、色差補正情報についても、量子化し、さらにＪＰＥＧ圧縮する。

次に、本実施形態において、画像符号化装置に入力されたＨＤＲ画像データから、ＬＤＲ画像とＨＤＲ補助データを生成し、各々を圧縮する処理に関して説明する。なお、本実施形態において、実施形態１と異なるのは図４のステップＳ４０９のＨＤＲ補助データの生成処理であり、その他の処理は実施形態１と同様の処理であることから、ここではその説明を省略する。

そこで、先ず、図１３を用いて、本実施形態におけるＨＤＲ補助データの生成処理に関して説明する。なお、図１３に示す処理に関して、実施形態１の図５と同様の処理は、ここでの詳細な説明は省略する。

具体的には、図１３のステップＳ１３０１からステップＳ１３０８までの処理は、実施形態１の図５のステップＳ５０１からステップＳ５０８までの処理と同様の処理である。本実施形態において、ステップＳ１３０８の次に、ステップＳ１３０９（図５のステップＳ５１０）に処理を移行させ、輝度成分の比率（Ｙ＿ｒａｔｉｏ）の対数値（Ｙ＿ｌｏｇ）を取得する（Ｓ１３０９）。

画像符号化装置は、次に、付加情報フラグ（Ｆｌａｇ）を参照し、付加情報の生成が必要かどうかを判定する（Ｓ１３１０）。画像符号化装置は、付加情報フラグ（Ｆｌａｇ）が１であれば、付加情報の生成が必要であると判定し、ステップＳ１３１１に処理を移行させる。なお、画像符号化装置は、付加情報フラグ（Ｆｌａｇ）が０であれば、付加情報の生成は不要と判定し（即ち、ステップＳ１３１１及びＳ１３１２の処理を省略し）、ステップＳ１３１３に処理を移行させる。

ステップＳ１３１１において、画像符号化装置は、ステップＳ１３０７で取得した画像全体の色差補助情報（ＣＣ＿ｎｏｒｍ）から、付加情報を生成する領域の色差補助情報（ＲＯＩ＿ＣＣｎｏｒｍ）を保存する（Ｓ１３１１）。画像符号化装置は、次に、付加情報を生成する領域の輝度成分の比率の対数値（ＲＯＩ_Ｙ_ｌｏｇ）を実施形態１と同様に保存する（Ｓ１３１２）。

画像符号化装置は、ステップＳ１３０８で取得した色差補助情報（ＣＣ＿ｎｏｒｍ）の最大値（Ｍａｘ＿ＣＣ）と最小値（Ｍｉｎ＿ＣＣ）の範囲で、色差補助情報を量子化し、８ビット整数化された色差補助情報（ＣＣ＿ｘｔ）を取得する（Ｓ１３１３）。画像符号化装置は、輝度成分の比率の対数値（Ｙ＿ｌｏｇ）の最大値（Ｍａｘ＿ｌｏｇ）と最小値（Ｍｉｎ＿ｌｏｇ）を取得する（Ｓ１３１４）。そして、画像符号化装置は、輝度成分の比率の対数値（Ｙ＿ｌｏｇ）を最大値（Ｍａｘ＿ｌｏｇ）と最小値（Ｍｉｎ＿ｌｏｇ）の範囲で量子化し、８ビット整数化された輝度成分の比率の対数値（Ｙ＿ｘｔ）を取得する（Ｓ１３１５）。画像符号化装置は、ＨＤＲ補助データをＪＰＥＧ圧縮し、さらに輝度成分と色差成分の付加情報を生成する（Ｓ１３１６）。

続いて、図１４を用いて、ステップＳ１３１６のＨＤＲ補助データのＪＰＥＧ圧縮と付加情報の生成に関する処理を、より詳細に説明する。なお、図１４に示す処理に関して、実施形態１の図６と同様の処理は、ここでの詳細な説明は省略する。

具体的には、図１４のステップＳ１４０１からステップＳ１４１３までの処理は、実施形態１の図６のステップＳ６０１からステップＳ６１３までの処理と同様の処理である。本実施形態において、ステップＳ１４１３の次に、ステップＳ１４１４に処理を移行させ、処理対象としているマクロブロックＭＢｃが付加情報作成領域内に位置するか否かを判定する（Ｓ１４１４）。なお、この判定処理において、マクロブロックＭＢｃはサブサンプリングされた結果であることから、サブサンプリング処理の実行前の画素位置が、ステップＳ４０８で取得した付加情報生成領域に含まれるか否かを判定する
そして、マクロブロックＭＢｃが付加情報生成領域内であれば、画像符号化装置は、処理をステップＳ１４１５に移行させ、色差成分の付加情報を生成する。画像符号化装置は、マクロブロックが付加情報生成領域内にない場合、又はマクロブロックが付加情報生成領域内にある場合であって、色差成分の付加情報を生成すると（Ｓ１４１５）、量子化したＤＣＴ係数をエントロピー符号化する（Ｓ１４１６）。

画像符号化装置は、８ビット整数化した色差補助情報（ＣＣ＿ｘｔ）の全てのマクロブロックＭＢｃに関して、エントロピー符号化が終了したか否かを判定する（Ｓ１４１７）。判定の結果、未だ処理がなされていないマクロブロックＭＢｃがある場合（Ｓ１４１７ Ｎｏ）、画像符号化装置は、ステップＳ１４１１に処理を返し、次のマクロブロックＭＢｃを対象にステップＳ１４１１からステップＳ１４１６までの処理を実行する。

画像符号化装置は、８ビット整数化した色差補助情報（ＣＣ＿ｘｔ）の全てのマクロブロックＭＢｃに対する処理が終了すると（Ｓ１４１７ Ｙｅｓ）、処理をステップＳ１４１８に移行させる。ステップＳ１４１８において、画像符号化装置は、付加情報生成フラグ（Ｆｌａｇ）を参照し、付加情報生成フラグ（Ｆｌａｇ）が１であれば（Ｓ１４１８ Ｙｅｓ）、処理をステップＳ１４１９に移行させ、付加情報の圧縮処理を実行する（Ｓ１４１９）。また、付加情報生成フラグ（Ｆｌａｇ）が１でなければ（Ｓ１４１８ Ｎｏ）、付加情報の圧縮処理を実行することなく、図１４に示す処理を終了する。

続いて、図１５を用いて、ステップＳ１４１５の色差成分の付加情報の生成処理に関して、より詳細に説明する。なお、色差成分の付加情報の生成処理は、輝度成分の付加情報の生成処理（即ち、図６のステップＳ６０５からステップＳ６０７までの処理）とおおよそ同様の処理である。

画像符号化装置は、処理対象としているマクロブロックＭＢｃのＤＣＴ係数を逆量子化し、さらに逆ＤＣＴを実行した結果（ＤｅｃＣＣｘｔ）を取得する（Ｓ１５０１）。画像符号化装置は、ステップＳ１５０１で取得した逆ＤＣＴの実行結果（ＤｅｃＣＣｘｔ）を、色差補助情報の最大値（Ｍａｘ＿ＣＣ）と最小値（Ｍｉｎ＿ＣＣ）の範囲で逆量子化し、ビット深度を拡大した結果（ＲＯＩ＿ＤｅｃＣＣ）を取得する（Ｓ１５０２）。

ステップＳ１３１１で保存した付加情報生成領域の色差補助情報（ＲＯＩ＿ＣＣｎｏｒｍ）と、ステップＳ１５０２で取得したビット深度を拡大した結果（ＲＯＩ＿ＤｅｃＣＣ）との差分（ＤｉｆＤｅｃＣＣ）を色差補正情報として保存する（Ｓ１５０２）。このように、各付加情報生成領域の輝度成分の比率（Ｙ＿ｒａｔｉｏ）を修正するための付加情報と、色差補助情報（ＣＣ＿ｎｏｒｍ）を修正するための付加情報が生成される。

次に、本実施形態における付加情報の圧縮処理（即ち、図１４のステップＳ１４１９の処理）に関して、図１６を用いて説明する。なお、実施形態１では輝度成分一色のＪＰＥＧ圧縮データを生成したが、本実施形態では、ＹＣＣ３色のＪＰＥＧ圧縮データを生成し、保存する。また、図１６に示す処理に関して、実施形態１の図７と同様の処理は、ここでの詳細な説明は省略する。具体的には、図１６のステップＳ１６０１、Ｓ１６０３、Ｓ１６０４、Ｓ１６０７、Ｓ１６０８は、図７のステップＳ７０１、Ｓ７０２、Ｓ７０３、Ｓ７０６、Ｓ７０７に各々、対応している。

画像符号化装置は、輝度比補正情報（ＤｉｆＹｌｏｇ）を量子化し、８ビット整数化したデータ（ＤｉｆＹｌｏｇ＿８ｂｉｔ）を取得する（Ｓ１６０１）。画像符号化装置は、色差補正情報（ＤｉｆＤｅｃＣＣ）を量子化し、８ビット整数化したデータ（ＤｉｆＤｅｃＣＣ＿８ｂｉｔ）を取得する（Ｓ１６０２）。

画像符号化装置は、次に、付加情報生成領域の数Ｎを取得する（Ｓ１６０３）。画像符号化装置は、付加情報を生成する領域数をカウントするカウンタｋにゼロを代入することで、領域のカウンタｋを初期化する（Ｓ１６０４）。

画像符号化装置は、ステップＳ１６０１及びステップＳ１６０２で取得したデータから、領域番号ｋに該当するデータ（ＤｉｆＹｌｏｇ＿８ｂｉｔ及びＤｉｆＤｅｃＣＣ＿８ｂｉｔ）をデータ（ＤｉｆＹＣＣ（ｋ））として抜き出す（Ｓ１６０５）。画像符号化装置は、ステップＳ１６０５で取得したデータ（ＤｉｆＹＣＣ（ｋ））をＪＰＥＧ圧縮する（Ｓ１６０６）。

画像符号化装置は、領域のカウンタｋに１を加算する（Ｓ１６０７）。画像符号化装置は、領域のカウンタｋに１を加算すると（即ち、カウントアップすると）、領域のカウンタｋと領域数Ｎが同じ値であるか否かを判定する（Ｓ１６０８）。そして、領域のカウンタｋと領域数Ｎが同じ値であれば（Ｓ１６０８ Ｙｅｓ）、画像符号化装置は、全ての領域に関して付加情報の圧縮処理が終了したものとして、図１６に示す処理を終了する。また、領域のカウンタｋと領域数Ｎが同じ値でなければ（Ｓ１６０８ Ｎｏ）、画像符号化装置は、処理をステップＳ１６０５に返し、次の領域の付加情報の圧縮処理を実行する。これらの処理を実行することで、全ての付加情報を作成する領域に対して、補助データの輝度成分と色差成分に対する付加情報データの圧縮処理が終了する。

本実施形態のように、色差成分についても付加情報を生成することで、ＨＤＲ補助データの色差成分の復号結果が、劣化前の値に近付くため、復号したＨＤＲ画像の劣化をさらに低減することができる。また、本実施形態では、付加情報をＪＰＥＧ圧縮形式で圧縮しているが、実施形態２と同様に、付加情報を、８ビットオーバーのデータを圧縮できる圧縮方式で圧縮することもできる。

［実施形態４］
＜ＨＤＲの輝度情報から付加情報の生成領域を自動で設定＞
実施形態１乃至３では、付加情報を生成する領域を、ユーザが入力部３０２のマウス等を用いることで、矩形領域として設定した。但し、付加情報を生成する領域の有無、及びその位置を自動で判定し、付加情報を生成する領域を設定することもできる。

そこで、本実施形態では、ＨＤＲの輝度情報とエッジ情報から付加情報を生成する領域を自動で設定する。具体的には、本実施形態において、ある一定の面積（即ち、連続した領域）を有し、エッジの少ない低輝度領域（即ち、所定の輝度値以下の領域）を付加情報生成領域として自動検出する。これは、人間の視覚感度が低輝度領域においてより敏感であることと、エッジの少ない平坦な領域では劣化の度合いが目立ちやすいことの２つの理由を考慮したものである。

次に、図１７を用いて、付加情報の生成領域を自動で設定する場合のＨＤＲ画像の圧縮処理の手順を説明する。なお、図１７に示す処理に関して、実施形態１の図４と同様の処理は、ここでの詳細な説明は省略する。具体的には、ステップＳ１７０６の処理が実施形態１と異なっており、ステップＳ１７０６において、即ち、ステップＳ１７０５（ステップＳ４０５）とステップＳ１７０６（ステップＳ４０６）の間で、付加情報生成領域をＨＤＲ画像から判定（検出）する。その他、ステップＳ１７０６以外の処理は、実施形態１の図４に示す処理と同様である。

続いて、図１７のステップＳ１７０６の処理に関して、図１８を用いて詳細に説明する。画像符号化装置は、ＨＤＲの輝度画像（Ｙ＿ｈｄｒ）を生成する（Ｓ１８０１）。なお、ＨＤＲの輝度画像（Ｙ＿ｈｄｒ）は、実施形態１のＨＤＲ補助データ生成フロー（図５）における、ステップＳ５０１と同様の処理で生成することができる。また、本実施形態において、ステップＳ１８０１で輝度画像（Ｙ＿ｈｄｒ）を生成した場合には、ステップＳ５０１で輝度値を算出する必要はなく、ここでの結果をそのまま取得することができる。

画像符号化装置は、ステップＳ１８０１で取得した輝度画像（Ｙ＿ｈｄｒ）を、ＪＰＥＧのマクロブロックと同サイズの８ｘ８画素を最小単位として、領域分割し、その領域数Ｎ＿ｒを取得する（Ｓ１８０２）。領域を分割する方法に関して、本発明の主旨ではないことから、どのような方法を用いても構わない。なお、本実施形態では、ヒストグラムを生成し、そのピーク値を分離することで、領域を分割するものとする。また、分割された領域には、各領域の左上画素値を基準にラスター順で０から順に番号が付されるものとする。

画像符号化装置は、次に、付加情報を生成する領域の最小面積を示す画素数（ｍｉｎＰ）を取得する（Ｓ１８０３）。本実施形態において、付加情報を生成する領域の最小面積を示す画素数（ｍｉｎＰ）を、画像全体の１割の大きさとして計算する。したがって、例えば、ＨＤＲ画像のサイズが５１８４ｘ３４５６画素である場合、その１割、つまり、５１８４ｘ３４５６／１０＝１７９１５９０画素が、付加情報を生成する領域の最小面積を示す画素数（ｍｉｎＰ）として取得される。

画像符号化装置は、低輝度の判定に用いる、輝度値の閾値（ＴＨ＿Ｙ）を取得する（Ｓ１８０４）。本実施形態の場合、処理対象とするＨＤＲ画像全体の輝度範囲のうち、低輝度側４分の１の輝度範囲にある画素を低輝度画素と判定するものとする。即ち、輝度値の閾値（ＴＨ＿Ｙ）は、（最小輝度値＋輝度範囲／４）として計算される。次に、画像符号化装置は、付加情報生成領域のカウンタｎｕｍＲを初期化し（Ｓ１８０５）、さらに分割した領域のカウンタｃｎｔを初期化する（Ｓ１８０６）。

画像符号化装置は、ｃｎｔ番目の分割領域Ａ（ｃｎｔ）を取得し（Ｓ１８０７）、分割領域Ａ（ｃｎｔ）の代表輝度値（ＡＹ）と面積（ＡＳ）を取得する（Ｓ１８０８）。本実施形態において、各領域のヒストグラムのピーク値を有する輝度値を代表輝度値とする。画像符号化装置は、領域Ａ（ｃｎｔ）の代表輝度値（ＡＹ）が閾値（ＴＨ＿Ｙ）未満（即ち、所定の輝度値未満）であり、かつ、面積（ＡＳ）が最小画素数（ｍｉｎＰ）以上であるという条件を満たすか否かを判定する（Ｓ１８０９）。そして、この条件を満たす場合には、処理をステップＳ１８１０に移行させ、また、この条件を満たさない場合には（即ち、領域Ａ（ｃｎｔ）は付加情報作成領域ではない場合には）、処理をステップＳ１８１３に移行させる。

画像符号化装置は、処理をステップＳ１８１０に移行させると、領域Ａ（ｃｎｔ）が平坦な領域であるか否かを判定する（Ｓ１８１０）。なお、本実施形態では、領域Ａ（ｃｎｔ）内のエッジの密度を用いることで、領域Ａ（ｃｎｔ）が平坦な領域であるか否かを判定する。即ち、画像符号化装置は、水平、垂直エッジ数をカウントし、それらの値を各々、領域Ａ（ｃｎｔ）の幅、高さで除算し、その結果が所定の値より小さければ平坦と判定し、そうでなければ平坦ではないと判定する。

そして、領域Ａ（ｃｎｔ）が平坦と判定された場合、画像符号化装置は、領域Ａ（ｃｎｔ）を付加情報生成領域と判定し、処理をステップＳ１８１１に移行させる。また、領域Ａ（ｃｎｔ）が平坦と判定されなかった場合、画像符号化装置は、領域Ａ（ｃｎｔ）を付加情報生成領域ではないと判定し、処理をステップＳ１８１３に移行させる。

領域Ａ（ｃｎｔ）が平坦と判定された場合（即ち、領域Ａ（ｃｎｔ）が付加情報生成領域と判定された場合）、画像符号化装置は、付加情報生成領域のカウンタｎｕｍＲをカウントアップする（Ｓ１８１１）。画像符号化装置は、付加情報生成領域のカウンタｎｕｍＲをカウントアップすると、領域Ａ（ｃｎｔ）に含まれる矩形領域情報を生成し、さらに付加情報を生成する領域数を更新する（Ｓ１８１２）。なお、ステップＳ１８１２の処理に関しては、図１９を用いて後述する。

画像符号化装置は、分割した領域のカウンタｃｎｔをカウントアップし（Ｓ１８１３）、分割した領域のカウンタｃｎｔと、分割した領域数（Ｎ＿ｒ）とを比較する（Ｓ１８１４）。そして、分割した領域のカウンタｃｎｔと分割した領域数（Ｎ＿ｒ）とが同じ値であれば（Ｓ１８１４ Ｙｅｓ）、全ての分割領域において、付加情報生成領域の検出（判定）は終了したものとして、処理をステップＳ１８１５に移行させる。また、分割した領域のカウンタｃｎｔと分割した領域数（Ｎ＿ｒ）とが同じ値でなければ（Ｓ１８１４ Ｎｏ）、ステップＳ１８０７に処理を返す。画像符号化装置は、付加情報生成領域の数Ｎに、付加情報生成領域のカウンタｎｕｍＲを代入し、図１８に示す処理を終了する。

続いて、図１９を用いて、ステップＳ１８１２における領域Ａ（ｃｎｔ）に含まれる矩形領域情報の生成処理と付加情報を生成する領域数の更新処理をより詳細に説明する。画像符号化装置は、領域Ａ（ｃｎｔ）を矩形領域に分割する（Ｓ１９０１）。複合長方形領域を長方形（即ち、矩形領域）に分割する方法は、種々提案されており、どのような方法を用いてもよい。本実施形態では、領域の輪郭の水平線、垂直線をすべて検出し、それらで分割するものとする。したがって、例えば、図９（ｂ）に示されるように、領域９０４は４つの矩形（９０５、９０６、９０７、９０８）に分割されることになる。

画像符号化装置は、ステップＳ１９０１において分割した数（即ち、分割数Ｄ）を取得する（Ｓ１９０２）。なお、図９（ｂ）に示す例では、分割数Ｄは「４」となる。画像符号化装置は、分割数をカウントするカウンタｃｎｔＤにゼロを代入することで、分割数のカウンタｃｎｔＤを初期化する（Ｓ１９０３）。

画像符号化装置は、分割された領域（即ち、カウンタｃｎｔＤに対応する領域）における左上座標と、その幅と高さを保存する（Ｓ１９０４）。なお、分割された領域の処理順序は、左上の座標のラスター順に実行される。したがって、図９（ｂ）に示される例では、９０５、９０６、９０７、９０８の順に処理が実行される。

画像符号化装置は、次に、カウンタｃｎｔＤをカウントアップし（Ｓ１９０５）、分割数をカウントするカウンタｃｎｔＤと分割数Ｄが同じ値であるか否かを判定する（Ｓ１９０６）。そして、分割数をカウントするカウンタｃｎｔＤと分割数Ｄが同じ値であれば（Ｓ１９０６ Ｙｅｓ）、画像符号化装置は、処理をステップＳ１９０７に移行させ、また同じ値でなければ、処理をステップＳ１９０４に返す。

画像符号化装置は、付加情報作成領域用のカウンタｎｕｍＲに、ステップＳ１８０１の矩形分割により増加した領域数（Ｄ−１）を加算し（Ｓ１９０７）、図１９に示す処理を終了する。

本実施形態で説明したように、付加情報を付与するのが効果的な領域を自動で選択することができる。なお、本実施形態において、各領域が低輝度であるか否かの判定に用いる代表輝度値として、各領域のヒストグラムのピーク値を有する輝度値を採用したが、各領域の平均輝度値又は各領域の輝度値の中央値を用いることもできる。

［実施形態５］
＜ＨＤＲの顔検出結果から付加情報の生成領域を自動で設定＞
実施形態４では、輝度値が閾値未満であって、かつ最小画素数以上の平坦な領域に対して付加情報を生成したが、顔検出結果を用いて付加情報を生成してもよい。この場合、実施形態４と異なるのは、図１７のステップＳ１７０６で示される、ＨＤＲ画像から付加情報生成領域を検出する処理である。そこで、図２０を用いて、本実施形態における付加情報生成領域を検出する処理を示す。なお、図２０に示す処理に関して、実施形態４の図１７と同様の処理は、ここでの詳細な説明は省略する。具体的には、図２０のステップＳ２００３、Ｓ２００６は、図１７のステップＳ１８０６、Ｓ１８１３に各々、対応している。

画像符号化装置は、既存の顔領域検出手段を用いて、ＨＤＲ画像から顔領域を検出する（Ｓ２００１）。画像符号化装置は、ステップＳ２００１において検出した顔領域の数ＦＮを取得する（Ｓ２００２）。画像符号化装置は、顔領域のカウンタｃｎｔを初期化する（Ｓ２００３）。

画像符号化装置は、次に、ｃｎｔ番目の顔領域Ｆ（ｃｎｔ）を取得し（Ｓ２００４）、その取得した顔領域Ｆ（ｃｎｔ）の左上座標と、その幅と高さを保存する（Ｓ２００５）。画像符号化装置は、顔領域のカウンタｃｎｔをカウントアップし（Ｓ２００６）、顔領域のカウンタｃｎｔと、ＨＤＲ画像において検出した顔領域の数ＦＮが同じ値であるか否かを判定する（Ｓ２００７）。

そして、顔領域のカウンタｃｎｔと、ＨＤＲ画像において検出した顔領域の数ＦＮが同じ値であれば（Ｓ２００７ Ｙｅｓ）、画像符号化装置は、付加情報の生成領域の数に検出された顔領域の数ＦＮを代入し、図２０に示す処理を終了する。また、顔領域のカウンタｃｎｔと、ＨＤＲ画像において検出した顔領域の数ＦＮが同じ値でなければ、処理をステップＳ２００４に返す。

本実施形態によれば、人が着目しやすい顔領域に関して、その明るさ（輝度値）に関わらず、付加情報を生成することができる。また、実施形態４と組み合わせることで、付加情報を生成する顔領域を限定することもできる。なお、その場合、付加情報が生成されない顔領域も生じるが、人間の視覚感度が低いことから、その顔領域の付加情報を削除することで、ファイルに出力される付加情報を小さくすることができる。その他、実施形態２と同様に、付加情報を、８ビットオーバーのデータを圧縮できる圧縮方式で圧縮することもできる。

［実施形態６］
＜輝度成分の比率の対数値の範囲で付加情報の生成有無を判定＞
本実施形態では、輝度成分の比率の対数値を線形量子化することによる劣化の度合いに着目する。即ち、本実施形態では、図５に示すＨＤＲ補助データの生成処理のステップＳ５１３で取得される、輝度成分の比率の対数値（Ｙ＿ｌｏｇ）に関して、全ての画素の最大値と最小値の差が大きい場合のみ、付加情報を生成する。したがって、実施形態１では、付加情報生成用データの取得処理をＨＤＲ補助データの生成処理の前に実行することができたが、本実施形態では、ＨＤＲ補助データの生成時に、付加情報生成用データの取得処理を実行する。

以下、図２１を用いて、輝度成分の比率の対数値の範囲で付加情報の生成有無を判定する場合のＨＤＲ画像の圧縮処理の手順を説明する。なお、図２１に示す処理に関して、実施形態１の図４と同様の処理は、ここでの詳細な説明は省略する。具体的には、ステップＳ２１０６以外の処理は、実施形態１の図４に示す処理と同様である。即ち、図２１のステップＳ２１０１からＳ２１０５までの処理は、実施形態１の図４のステップＳ４０１からＳ４０５までの処理と同様の処理である。

そして、ステップＳ２１０６において、画像符号化装置は、ＨＤＲ補助データの生成処理を実行する。このステップＳ２１０６における処理で、付加情報の生成有無の判定処理と、付加情報生成領域の検出処理を実行する。ステップＳ２１０６のＨＤＲ補助データの生成処理を実行すると、画像符号化装置は、処理をステップＳ２０１７に移行させ、以後の処理（即ち、ステップＳ４１０からＳ４１４までの処理と同様の処理）を実行する。

続いて、図２１のステップＳ２１０６の処理（即ち、ＨＤＲ補助データの生成処理）に関して、図２２を用いて説明する。なお、図２２に示す処理に関して、実施形態１の図５と同様の処理は、ここでの詳細な説明は省略する。具体的には、ステップＳ２２１２以外の処理は、実施形態１の図５に示す対応する処理と同様である。即ち、図２２のステップＳ２２０１からＳ２２１１までの処理は、実施形態１の図５のステップＳ５０１からＳ５１０までの処理及びステップＳ５１３の処理と同様の処理である。

画像符号化装置は、輝度成分の比率の対数値（Ｙ＿ｌｏｇ）に関して、全ての画素の最大値（Ｍａｘ＿ｌｏｇ）と最小値（Ｍｉｎ＿ｌｏｇ）を取得すると（Ｓ２２１１）、付加情報領域生成の判定及び検出処理を実行する（Ｓ２２１２）。ステップＳ２２１２の付加情報領域生成の判定及び検出処理を実行すると、画像符号化装置は、処理をステップＳ２２１３に移行させ、輝度成分の比率の対数値（Ｙ＿ｌｏｇ）を量子化し、８ビット整数化された輝度成分の比率（Ｙ＿ｘｔ）を取得する。さらに、ステップＳ２２１４において、ＨＤＲ補助データのＪＰＥＧ圧縮処理と付加情報生成処理を実行し、図２２に示す処理を終了する。

続いて、図２２のステップＳ２２１２の処理（即ち、付加情報領域生成の判定及び検出処理）に関して、図２３を用いて詳細に説明する。画像符号化装置は、付加情報の生成条件となる輝度差Ｌを取得する（Ｓ２３０１）。画像符号化装置は、輝度差Ｌを取得すると、ステップＳ２２１１で取得した輝度成分の比率の対数値（Ｙ＿ｌｏｇ）の最大値（Ｍａｘ＿ｌｏｇ）と最小値（Ｍｉｎ＿ｌｏｇ）の差分値と比較する（Ｓ２３０２）。即ち、輝度差比較を処理として実行する。そして、その差分値が輝度差Ｌよりも大きければ、画像符号化装置は、付加情報を生成すると判定し、処理をステップＳ２３０３に移行させ、また輝度差Ｌよりも小さければ、付加情報を生成する必要がないと判定し、処理をステップＳ２３０４に移行させる。

ステップＳ２３０３において、画像符号化装置は、付加情報フラグ（Ｆｌａｇ）に１を代入する。そして、付加情報フラグ（Ｆｌａｇ）に１を代入すると、画像符号化装置は、ＨＤＲ画像から付加情報の生成領域を検出する（Ｓ２３０５）。なお、本実施形態では、実施形態４と同様の方法で付加情報の生成領域を検出することとし、その後に、図２３に示す処理を終了する。また、処理をステップＳ２３０４に移行した場合、画像符号化装置は、付加情報フラグ（Ｆｌａg）に０を代入し、図２３に示す処理を終了する。

本実施形態によれば、輝度成分の比率の対数値（Ｙ＿ｌｏｇ）の量子化（即ち、８ビット整数化）による誤差が大きいと判定された場合にのみ、付加情報を生成することができる。また、本実施形態において、付加情報の生成にあたり、実施形態４と同様の方法で付加情報を生成するように説明したが、実施形態５のように顔検出の結果を用いて付加情報を生成するようにしてもよい。

［実施形態７］
＜量子化による誤差のみを付加情報として生成＞
実施形態１から６では、ＨＤＲ補助データの圧縮誤差として、量子化（即ち、８ビット整数化）による誤差と、その後のＪＰＥＧ圧縮による誤差を考慮し、これらの誤差を補正するための情報を付加情報として生成した。但し、これらの誤差のうち、量子化（即ち、８ビット整数化）による誤差の方が、復号（デコード）した画像の画質劣化に及ぼす影響が大きいと言える。

そこで、本実施形態では、量子化による誤差のみを付加情報として記憶する方法に関して、説明する。なお、本実施形態において、実施形態１と同様に、付加情報を生成する領域は、ユーザにより入力部３０２を用いて設定されるものとして説明するが、例えば、実施形態４のように、入力されたＨＤＲから付加情報を生成する領域を自動で検出してもよい。

本実施形態において、実施形態１と異なる処理は、図５におけるステップＳ５１５の処理（即ち、ＨＤＲ補助データのＪＰＥＧ圧縮と付加情報の生成に関する処理）である。より詳細には、ＨＤＲ補助データの輝度成分（Ｙ成分）の逆量子化及び逆ＤＣＴが不要になることと、処理の順序が変更されることである。本実施形態におけるＨＤＲ補助データのＪＰＥＧ圧縮と付加情報の生成に関する処理に関して、図２４を用いて説明する。なお、図２４に示す処理に関して、処理自体は実施形態１の図６と同様であることから、ここでは、各処理の詳細な説明は省略し、主に各処理の順序を説明する。

画像符号化装置は、８ビット整数化された輝度成分の比率の対数値（Ｙ＿ｘｔ）のマクロブロックＭＢを取得する（Ｓ２４０１）。画像符号化装置は、取得したマクロブロックＭＢが付加情報生成領域内にあるか否かを判定する（Ｓ２４０２）。画像符号化装置は、マクロブロックＭＢが付加情報生成領域内にあると判定した場合、処理をステップＳ２４０３に移行させ、マクロブロックＭＢが付加情報生成領域内にないと判定した場合、処理をステップＳ２４０４に移行させる。

画像符号化装置は、付加情報を生成する領域の輝度成分の比率の対数値（ＲＯＩ_Ｙ_ｌｏｇ）と、量子化された輝度成分の比率を逆量子化した結果（ＲＯＩ＿ＤｅｃＹｌｏｇ）との差分を、輝度比補正情報（ＤｉｆＹｌｏｇ）として保存する（Ｓ２４０３）。

画像符号化装置は、輝度比補正情報（ＤｉｆＹｌｏｇ）を保存すると、マクロブロックＭＢにＤＣＴを実行し（Ｓ２４０４）、ＤＣＴ係数を取得する。画像符号化装置は、取得したＤＣＴ係数に対して、量子化を実行する（Ｓ２４０５）。画像符号化装置は、量子化されたＤＣＴ係数をエントロピー符号化する（Ｓ２４０６）。

画像符号化装置は、８ビット整数化された輝度成分の比率（Ｙ＿ｘｔ）の全てのマクロブロックＭＢに対して、圧縮処理が終了したか否かを判定する。判定の結果、圧縮処理が終了していなければ、画像符号化装置は、処理をステップＳ２４０１に返し、圧縮処理が終了していれば、処理をステップＳ２４０８に移行させる。なお、ステップＳ２４０８からＳ２４１５までの処理は、図６のステップＳ６１０からＳ６１７までの処理と、その処理内容及び処理順序が同じであることから、ここでの説明は省略する。

本実施形態によれば、逆量子化、逆ＤＣＴの処理を実行しないことから、実施形態１よりも軽い負荷で付加情報を生成することができる。なお、実施形態１と実施形態７は、ＪＰＥＧ補助データのＪＰＥＧ圧縮パラメータによって切り替えることもできる。例えば、ＨＤＲ補助データのＪＰＥＧ圧縮時のＱファクタが大きい場合、即ち、量子化ステップが細かい場合、ＨＤＲ補助データのＪＰＥＧ圧縮による劣化は、小さいと判断することができる。この場合、実施形態５に示した方法及び手段を適用し、８ビット整数化の量子化誤差のみを保存すればよい。逆に、ＨＤＲ補助データのＪＰＥＧ圧縮時の量子化ステップが粗い場合は、実施形態１に示した方法及び手段を適用し、８ビット整数化の量子化誤差とＪＰＥＧ圧縮時の量子化誤差の双方を付加情報として保存すればよい。また、本実施形態において、実施形態１と同様に、付加情報をＪＰＥＧ圧縮形式で圧縮しているが、実施形態２と同様に、付加情報を、８ビットオーバーのデータを圧縮できる圧縮方式で圧縮することもできる。

以上、説明したように、上述の実施形態に係る画像符号化装置によれば、処理負荷及び使用メモリ量を軽減した上で、復号したＨＤＲ画像の画質を向上させることである。

なお、ＨＤＲ画像が、カメラ等の撮像装置により撮像された画像である場合、付加情報を生成する領域の自動検出に、カメラのオートフォーカス位置を含む領域を用いることもできる。

また、実施形態４乃至実施形態７において、輝度成分の比率（Ｙ＿ｒａｔｉｏ）に関する付加情報の生成処理を示したが、実施形態３に示されるように色差成分の付加情報を生成することもできる。

加えて、上述の実施形態では、説明を簡略化するために、付加情報の圧縮方式を固定して説明した。しかしながら、付加情報の圧縮方式は、付加情報の精度やデータサイズから選択することもできる。そして、その場合、付加情報の出力時に、符号化方式の識別番号を出力すればよい。

その他、付加情報の生成が必要か否かに関して、ＨＤＲ補助データの圧縮パラメータの一つである量子化パラメータから判定することもできる。即ち、量子化が粗い場合には、ＨＤＲ補助データの劣化が大きいと判断し、付加情報の生成が必要と判定することができる。

また、本実施形態において、付加情報を、図２５（ｂ）に示されるように、ＪＰＥＧ ＸＴのＨＤＲ補助データが格納されている記憶領域（即ち、ＡＰＰ１１マーカ）において、ＨＤＲ補助データに続けて出力していた。しかしながら、例えば、図２５（ｃ）に示されるように、別のＡＰＰ１１マーカを１つ以上生成し、そのＡＰＰマーカ内に出力することもできる。さらに、各マーカのデータ長は、２バイトで表現できるバイト数に制限される。そのため、付加情報のデータサイズが大きい場合には、図２５（ｄ）に示されるように、複数のＡＰＰ１１マーカに分割して出力することもできる。

最後に、補足として、上述の実施形態に係る画像符号化装置により符号化されたＨＤＲ画像データ（即ち、ＪＰＥＧ ＸＴデータ）を復号する画像復号装置について説明する。また、ここでは、主にＩＳＯ／ＩＥＣ １８４７７−２との相違点に着目して説明する。

図２６に示される画像復号装置は、ＪＰＥＧ ＸＴデータ２６０１から、そのデータ構成を踏まえ、ＪＰＥＧ圧縮されたＬＤＲ画像と、ＨＤＲ補助データ及び付加情報（重要領域データ）とに分離して抽出する。

画像復号装置は、ＪＰＥＧ圧縮されたＬＤＲ画像に関して、ＪＰＥＧ復号部２６０３にてＪＰＥＧ復号した後に、アップサンプリング部（２６０４）及びＹＣＣ／ＲＧＢ変換部（２６０５）において各々、処理を実行する。さらに、画像復号装置は、逆色変換部（２６０６）により、ｓＲＧＢ色空間から線形色空間に変換する。そして、その線形色空間に変換されたＬＤＲ画像に、逆トーンマッピングを施す（２６１７）ことで、ＨＤＲ画像を生成する。

他方、画像復号装置は、ＨＤＲ補助データと、付加情報とにデータを分離し（２６０７）、さらにＨＤＲ補助データをＪＰＥＧ復号（２６０９）する。そして、そのＪＰＥＧ復号されたＨＤＲ補助データのうち、色差補助情報に関して、画像復号装置は、逆量子化し（２６１３）、さらに生成されたＨＤＲ画像より算出された輝度成分でスケール変換する（２６１４）。その後に、ＹＣＣ／ＲＧＢ変換し（２６１５）、生成されたＨＤＲ画像に加算する。

また、ＪＰＥＧ復号されたＨＤＲ補助データのうち、輝度成分に関して、画像復号装置は、ＪＰＥＧ復号（２６０８）した付加情報（即ち、輝度比補正情報）で補正し、さらに逆量子化を実行する（２６１１）。そして、その逆量子化した結果を、色差補助情報が加算されたＨＤＲ画像に掛け合わせる（２６１２）ことで、ＨＤＲ画像に輝度補正を施す。これにより、画質を向上させたＨＤＲ画像を生成することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０２ トーンマッピング部
２０３ Ｙ算出部（ＨＤＲ画像）
２０５ Ｙ算出部（ＬＤＲ画像）
２０７ 輝度比算出部
２０８ Ｌｏｇ変換部
２０９ 線形量子化部
２１４ ＪＰＥＧ圧縮部
２１９ 出力部
２２１ 特徴値取得部
２２２ 領域判定部
２２４ 差分取得部
２２５ 差分データ圧縮部

Claims (13)

1. ＨＤＲ画像を符号化する画像符号化装置であって、
   前記ＨＤＲ画像からＬＤＲ画像に変換する画像変換手段と、
   前記ＨＤＲ画像と前記ＬＤＲ画像の輝度比をデータレベルＡで算出する輝度比算出手段と、
   前記輝度比の最小値と最大値の間で、前記輝度比をデータレベルＢ（Ａ＞Ｂ）に量子化する輝度比量子化手段と、
   前記データレベルＢに量子化した輝度比を符号化する符号化手段と、
   前記ＨＤＲ画像において、付加情報を生成する領域を特定する領域特定手段と、
   前記付加情報を生成する領域において、前記データレベルＢに量子化した輝度比をデータレベルＣ（Ａ＞Ｃ＞Ｂ）に補正する輝度比補正情報を算出する補正情報算出手段と、
   前記付加情報を生成する領域の位置情報と前記輝度比補正情報を前記付加情報として生成する付加情報生成手段と、
   前記符号化された輝度比と前記付加情報を所定の記憶領域に格納することで、ＨＤＲ符号化ファイルを生成するＨＤＲ符号化ファイル生成手段と、
   を備えることを特徴とする画像符号化装置。
2. 前記ＨＤＲ画像と前記ＬＤＲ画像の色差をデータレベルＬで算出する色差算出手段と、
   前記色差の最小値と最大値の間で、前記色差をデータレベルＭ（Ｌ＞Ｍ）に量子化する色差量子化手段と、
   を備え、
   前記符号化手段は、前記データレベルＭに量子化した色差を符号化し、
   前記補正情報算出手段は、前記付加情報を生成する領域において、前記データレベルＭに量子化した色差をデータレベルＮ（Ｌ＞Ｎ＞Ｍ）に補正する色差補正情報を算出し
   前記付加情報生成手段は、前記色差補正情報を、前記付加情報を生成する領域の位置情報と前記輝度比補正情報と併せて前記付加情報として生成し、
   前記ＨＤＲ符号化ファイル生成手段は、前記符号化された色差を、前記符号化された輝度比と前記付加情報と併せて、所定の記憶領域に格納することで、ＨＤＲ符号化ファイルを生成することを特徴とする請求項１に記載の画像符号化装置。
3. 前記符号化手段は、前記ＬＤＲ画像を符号化し、
   前記所定の領域が、前記符号化されたＬＤＲ画像を格納する記憶領域とは異なる記憶領域であることを特徴とする請求項２に記載の画像符号化装置。
4. 前記符号化手段は、前記輝度比を、前記ＬＤＲ画像を符号化する方式と同様の方式で符号化することを特徴とする請求項３に記載の画像符号化装置。
5. 前記符号化手段は、前記色差を、前記ＬＤＲ画像を符号化する方式と同様の方式で符号化することを特徴とする請求項４に記載の画像符号化装置。
6. 前記領域特定手段は、ユーザにより指定された領域に従って、前記付加情報を生成する領域を特定することを特徴とする請求項１から５のいずれか１項に記載の画像符号化装置。
7. 前記領域特定手段は、所定の輝度値未満の連続した領域であって、かつ前記連続した領域が所定の画素数以上である場合に、前記付加情報を生成する領域として特定することを特徴とする請求項１から５のいずれか１項に記載の画像符号化装置。
8. 前記ＨＤＲ画像において、顔領域を検出する顔領域検出手段を備え、
   前記領域特定手段は、前記検出された顔領域に従って、前記付加情報を生成する領域を特定することを特徴とする請求項１から５のいずれか１項に記載の画像符号化装置。
9. 前記領域特定手段は、前記ＨＤＲ画像が撮像装置により撮像された場合に、前記撮像装置のオートフォーカス位置に従って、前記付加情報を生成する領域を特定することを特徴とする請求項１から５のいずれか１項に記載の画像符号化装置。
10. 前記輝度比の最小値と最大値の差を、所定の閾値と比較する輝度差比較手段を備え、
    前記領域特定手段は、前記輝度差比較手段により、前記輝度比の最小値と最大値の差が前記閾値よりも大きいと判定された場合に、前記付加情報を生成する領域を特定することを特徴とする請求項１から９のいずれか１項に記載の画像符号化装置。
11. ＨＤＲ画像を符号化する画像符号化方法であって、
    画像変換手段により、前記ＨＤＲ画像からＬＤＲ画像に変換する画像変換ステップと、
    輝度比算出手段により、前記ＨＤＲ画像と前記ＬＤＲ画像の輝度比をデータレベルＡで算出する輝度比算出ステップと、
    輝度比量子化手段により、前記輝度比の最小値と最大値の間で、前記輝度比をデータレベルＢ（Ａ＞Ｂ）に量子化する輝度比量子化ステップと、
    符号化手段により、前記データレベルＢに量子化した輝度比を符号化する符号化ステップと、
    領域特定手段により、前記ＨＤＲ画像において、付加情報を生成する領域を特定する領域特定ステップと、
    補正情報算出手段により、前記付加情報を生成する領域において、前記データレベルＢに量子化した輝度比をデータレベルＣ（Ａ＞Ｃ＞Ｂ）に補正する輝度比補正情報を算出する補正情報算出ステップと、
    付加情報生成手段により、前記付加情報を生成する領域の位置情報と前記輝度比補正情報を前記付加情報として生成する付加情報生成ステップと、
    ＨＤＲ符号化ファイル生成手段により、前記符号化された輝度比と前記付加情報を所定の記憶領域に格納することで、ＨＤＲ符号化ファイルを生成するＨＤＲ符号化ファイル生成ステップと、
    を含むことを特徴とする画像符号化装置における画像符号化方法。
12. コンピュータを、請求項１から１０いずれか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。
13. ＨＤＲ符号化ファイルを復号する画像復号装置であって、
    前記ＨＤＲ符号化ファイルより、符号化されたＬＤＲ画像、輝度比及び付加情報を分離して抽出する抽出手段であって、前記付加情報は前記付加情報を生成する領域の位置情報と輝度比補正情報を含む、抽出手段と、
    前記符号化されたＬＤＲ画像、輝度比及び付加情報を各々、復号する復号手段と、
    前記復号されたＬＤＲ画像からＨＤＲ画像に変換する画像変換手段と、
    前記復号された輝度比補正情報を用いて、前記復号されたデータレベルＢの輝度比をデータレベルＣ（Ｃ＞Ｂ）に補正する輝度比補正手段と、
    前記輝度比補正手段により補正された輝度比を用いて、前記画像変換手段により変換されたＨＤＲ画像の輝度を補正する輝度補正手段と
    を備えることを特徴とする画像復号装置。

Images