JP6812214B2 - 画像符号化装置、画像符号化方法、及びプログラム - Google Patents

Description

本発明は、画像を符号化する画像符号化装置、画像符号化方法、及びプログラムに関する。

従来の撮像装置は、撮像センサーにより撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換し、各信号についてノイズ除去、光学的な歪の補正処理、画像の適正化などのいわゆる現像処理を行う。そして、撮像装置は、現像処理した輝度及び色差の信号を圧縮符号化して記録媒体に記録する。

一方、撮像センサーにより撮像された直後の現像未処理の撮像データ（ＲＡＷ画像）を記録媒体に格納する撮像装置も存在する。ここで、一般的に用いられる画像形式であるＪＰＥＧ画像は、撮像センサーから取り込まれる赤（Ｒ），緑（Ｇ），青（Ｂ）の色情報を各色８ビットに揃えるようにして色情報が切り捨てられて記録される。これに対し、ＲＡＷ画像は、撮像センサーからの色情報を損ねることなく豊富な色階調数を保ったまま記録されるため、ＪＰＥＧ画像と比べて自由度の高い編集が可能となる。しかし、ＲＡＷ画像はデータ量が膨大であるため、記録媒体の空き領域を圧迫させてしまうという問題がある。そのため、ＲＡＷ画像についても、可逆或いは非可逆の圧縮符号化を行い、データ量を抑えて記録することが望まれる。

例えば特許文献１には、ＲＡＷ画像データの符号化において、画質と符号量を両立した高効率な符号化方法が開示されている。詳細には、圧縮前と圧縮後のＲＡＷ画像データ間でピーク信号対雑音比（ＰＳＮＲ）等の画質評価値を算出し、画質評価値から所望の画質が得られているか否かを判定し、その判定結果に応じて目標ビットレートを制御する構成が開示されている。

特開２０１５−９５８０６号公報

しかしながら、特許文献１に記載の技術は、現像前のＲＡＷ画像データの符号化効率を高める方法であって、ＲＡＷ現像時に施すことが想定される階調補正処理による影響が考慮された符号化方法になっていない。すなわち、非可逆符号化した画像に対してガンマ補正やトーンカーブ補正などの階調補正処理を行う場合、階調補正処理により階調を広げた部分において符号化時の量子化処理による符号化歪みが増幅されるが、その影響を考慮した符号化技術となっていない。

そこで、本発明は、現像時に適用される階調補正処理を考慮した符号化効率の高い符号化を実現可能にすることを目的とする。

本発明は、ＲＡＷ画像データを量子化して符号化する画像符号化装置であって、ＲＡＷ画像データを周波数変換して複数のサブバンドを生成する変換手段と、ＲＡＷ画像データの現像時に行われる階調補正処理の補正特性を表す補正曲線の傾きを用いて、量子化に用いる量子化パラメータを決定する決定手段と、前記階調補正処理が行われていないＲＡＷ画像データを前記変換手段により周波数変換して生成したサブバンドの係数を、前記決定された量子化パラメータを用いて量子化する量子化手段と、を有し、前記決定手段は、サブバンド毎に決定した基準量子化パラメータを、前記補正特性を表す補正曲線の傾きを用いてサブバンド毎に補正することにより、サブバンド毎に量子化に用いる量子化パラメータを決定し、前記複数のサブバンドのうち、最上位の分解レベルの低周波成分のサブバンドについては、前記補正特性を表す補正曲線の傾きを用いて前記基準量子化パラメータを補正せず、高周波成分のサブバンドについては、前記補正特性を表す補正曲線の傾きを用いて前記基準量子化パラメータを補正することを特徴とする。

本発明によれば、現像時に適用する階調補正処理を考慮した符号化効率の高い符号化が実現可能となる。

画像符号化装置の適用例である撮像装置の概略構成例を示す図である。 ベイヤー配列の画像データの色分離及びプレーン形成方法の説明図である。 サブバンド、基準マトリクス、補正量マトリクスの一例を示す図である。 量子化制御部の概略構成例を示す図である。 階調補正情報、閾値設定、量子化パラメータ補正情報を示す図である。 階調補正情報に基づく補正曲線の傾きの算出方法の説明図である。 画素とウェーブレット変換後の係数の空間的な位置関係を示した図である。 第１の実施形態におけるＱｐ補正処理動作手順のフローチャートである。 第２の実施形態におけるＱｐ補正処理動作手順のフローチャートである。 第２の実施形態の階調補正情報と傾きのヒストグラムを示す図である。

以下、本発明の好ましい実施の形態を添付の図面を参照して詳細に説明する。
本実施形態の画像符号化装置は、一例として、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等に適用可能である。
＜第１の実施形態＞
図１は、本実施形態の画像符号化装置の一適用例である撮像装置１００の概略構成を示すブロック図である。本実施形態の撮像装置１００は、撮像した画像データ（ＲＡＷ画像）が現像処理される際に適用される階調補正処理の補正特性を表す階調補正情報を用いて、量子化歪み（符号化歪み）の影響度を判別し、その歪みの影響度に応じた量子化を行う。本実施形態では、階調補正処理の補正特性を表す階調補正情報が、撮像装置１００の内部の記録媒体１０９に格納されているとする。本実施形態における階調補正情報の詳細については後述する。

図１において、撮像部１０２は、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系、絞り、レンズ光学系により形成された光学像を電気信号に変換するＣＣＤイメージセンサー又はＣＭＯＳセンサーなどの撮像素子を有する。撮像部１０２の撮像素子により得られた電気信号はアナログ／デジタル変換され、画像データとして出力される。

制御部１０１は、例えばＣＰＵを有し、撮像装置１００を構成している各部を制御する。また、制御部１０１は、後述する画像符号化の際の目標ビットレートの設定なども行う。ＲＯＭ１１１は、本実施形態の撮像装置１００で使用される各種設定値やパラメータ、本実施形態に係るプログラム等を格納している。制御部１０１は、ＲＯＭ１１１よりプログラムを読み出してＲＡＭ１０３に展開して実行することにより、撮像装置１００の各部を制御し、また各種演算を実行する。ＲＡＭ１１２は、ＲＯＭ１０２から読み出されたプログラムが展開され、また、撮像された画像データや撮像装置１００の各部の動作により生成された各種データ等を一時的に記憶する。なお、後述するメモリ１０４は、ＲＡＭ１１２に含まれていてもよい。

表示部１１３は、液晶ディスプレイ（ＬＣＤ）等の表示デバイスである。表示部１１３には、いわゆるタッチセンサも設けられている。表示部１１３の画面上には、撮像された画像や、ユーザからの指示を受け付けるための操作ユーザインターフェイス画像等が表示される。ユーザＩ／Ｆ部１１４は、表示部１１３に設けられているタッチセンサや、撮像装置１００の筐体に設けられている各種ボタン等からなる操作デバイスである。

画像処理部１１０は、必要に応じて、撮像した画像データ（ＲＡＷ画像）に対する現像処理、階調補正処理などの各種画像処理を行う。ここで、画像データの階調補正処理が行われるような場合、本実施形態の撮像装置１００は、ユーザからの階調補正の指示入力を受付可能となる。この場合、ユーザは、例えば表示部１１３に表示された画像を確認しつつ、所望の階調補正が行われるように、ユーザＩ／Ｆ部１１４を介した補正指示を入力する。また、このときの画像処理部１１０は、画像データに対し、ユーザからの補正指示に応じた階調補正処理を行う。そして、本実施形態において、この階調補正処理の補正特性を表す階調補正情報は、例えば記録媒体１０９に格納される。なお、現像処理や階調補正処理は、撮像装置１００にて行われる場合だけでなく、例えばパーソナルコンピュータや携帯情報機器などの外部機器により行われてもよい。このように、それら外部機器により現像処理や階調補正処理が行われる場合にも、本実施形態においては、外部機器により行われる階調補正処理の補正特性を表す階調補正情報が、撮像装置１００の内部に格納されるとする。

＜ＲＡＷ画像データの符号化＞
ここで、本実施形態の撮像装置１００は、撮像部１０２にて撮像された画像データ、つまり現像処理や階調補正処理が行われていないＲＡＷ画像データ（以下、ＲＡＷデータとする。）を符号化して、記録媒体１０９に記録することも可能となされている。すなわち、本実施形態の撮像装置１００は、撮像部１０２で撮像された状態の豊富な色階調数を保ったままのＲＡＷデータを記録可能にすることで、後に、そのＲＡＷデータを用いた自由度の高い編集等を実現可能にしている。特に、本実施形態の撮像装置１００は、ＲＡＷデータを符号化する際、後の現像時に適用される階調補正処理を考慮した符号化効率の高い符号化を実現可能としている。
以下、本実施形態の撮像装置１００において、現像処理や階調補正処理が行われていないＲＡＷデータを符号化する際に、後の現像時に適用される階調補正処理を考慮した符号化効率の高い符号化を実現するための構成及び処理について説明する。

撮像部１０２からのＲＡＷデータは、プレーン変換部１０３に送られる。なお、撮像部１０２の撮像素子は、ベイヤー配列のＲ（赤），Ｇ１（緑），Ｇ２（緑），Ｂ（青）のカラーフィルタを有している。したがって、ＲＡＷデータは、ベイヤー配列のＲ，Ｇ１，Ｇ２，Ｂの４つの要素毎の画素データにより構成されている。

プレーン変換部１０３は、撮像部１０２から入力されたＲＡＷデータを、Ｒ，Ｇ１，Ｇ２，Ｂの４つの色要素毎に分離し、各色要素に対応した独立したプレーンデータに変換する。図２は、プレーン変換部１０３によるプレーンデータへの変換例を示す図である。図２に示すように、プレーン変換部１０３は、ＲＡＷデータ２００におけるベイヤー配列のＲ，Ｇ１，Ｇ２，Ｂの色要素を分離して、それら色要素別の４つのプレーンデータ２０１，２０２，２０３，２０４を生成する。そして、プレーン変換部１０３は、生成した４つのプレーンデータ２０１，２０２，２０３，２０４をメモリ１０４に出力する。

メモリ１０４は、プレーン変換部１０３から出力された各プレーンデータを格納するための例えば揮発性メモリで構成された記憶領域である。周波数変換部１０５は、メモリ１０４に格納された各色要素別のプレーンデータを読み出してそれぞれに周波数変換を施す。周波数変換部１０５は、各色要素別のプレーンデータをそれぞれ周波数変換して得られたサブバンド毎の変換係数を、量子化部１０７に出力する。

図３（ａ）は、周波数変換部１０５におけるウェーブレット変換を用いた周波数変換例を示す図である。図３（ａ）は、一つのプレーンデータ３００に対し、ウェーブレット変換を垂直方向と水平方向にそれぞれ２回施した、分解レベル２の場合のサブバンドデータ３０１を概念的に表す図である。図３（ａ）のサブバンドデータ３０１において、ＬＬで示されている領域は低周波成分のサブバンドを表し、それ以外の２ＬＨ、２ＨＬ、２ＨＨ、１ＬＨ、１ＨＬ、１ＨＨで示された各領域は高周波成分のサブバンドを表している。図３（ｂ）、図３（ｃ）の説明は後述する。

量子化制御部１０６は、量子化部１０７で使用するサブバンド毎の量子化パラメータを決定する。量子化パラメータは、各サブバンドの係数に対する量子化処理の際の、サブバンド毎の量子化ステップ幅（量子化ステップ数）を表すパラメータである。
図４は、量子化制御部１０６の概略構成を示すブロック図である。図４に示すように、量子化制御部１０６は、階調補正情報解析部１０６ａ（以下、解析部１０６ａとする。）、ＤＣ算出部１０６ｂ、量子化パラメータ決定部１０６ｃ（以下、決定部１０６ｃとする。）を有して構成されている。

解析部１０６ａは、記録媒体１０９に予め格納されている階調補正情報４０１を読み出す。ここで、階調補正情報４０１は、階調補正処理の補正特性を表す情報であり、具体的には階調補正前の入力画素値と階調補正後の出力画素値との関係を表す補正曲線の情報である。解析部１０６ａは、その階調補正情報４０１を基に、入力画素値（プレーンデータの画素値）に対する補正曲線の傾きを算出する。階調補正情報とその補正曲線の傾きの算出方法の詳細は後述する。更に解析部１０６ａは、算出した補正曲線の傾きの大きさに応じて、各入力画素値に対する量子化歪みの影響度を決定する。量子化歪みの影響度の決定方法の詳細は後述する。そして、解析部１０６ａは、入力画素値に対する量子化歪みの影響度を、Ｑｐ補正情報として決定部１０６ｃに出力する。Ｑｐ補正情報の詳細は後述する。

ＤＣ算出部１０６ｂは、メモリ１０４に格納されているプレーンデータ４０２を読み出し、所定の画素ブロック単位で画素平均値（以下、ＤＣする。）を算出する。そして、ＤＣ算出部１０６ｂは、画素ブロック単位で算出したＤＣを決定部１０６ｃに出力する。なお、ＤＣの詳細は後述する。

決定部１０６ｃは、制御部１０１から入力される目標ビットレート４０４に基づき、基準量子化パラメータ（以下、基準Ｑｐとする。）を決定する。ここで、目標ビットレート４０４はプレーン毎に設定され、基準Ｑｐはサブバンド毎に設定されるパラメータである。図３（ａ）に示したように、プレーンデータに対してウェーブレット変換が２回実行されることで七つのサブバンドＬＬ〜１ＨＨが形成される場合、プレーンデータに対しては、七つの各サブバンドに応じた七つの基準Ｑｐが設定される。図３（ｂ）は基準Ｑｐの一例を示す図である。図３（ｂ）は、Ａ，Ｂ，Ｃで示す目標ビットレートに応じて各サブバンドの基準Ｑｐを一意に決定する仕組みを表している。図３（ｂ）では、基準Ｑｐの各数字が小さい場合には小さい量子化ステップ幅が設定され、一方、各数字の値が大きい場合には大きい量子化ステップ幅が設定されることを表している。したがって、基準Ｑｐの数字が大きい（量子化ステップ幅が大きい）場合は、量子化後の符号量が少なくなる。図３（ｂ）の場合、視覚的に画質劣化が目立ち易い低周波成分のサブバンドには小さい量子化ステップ幅の基準Ｑｐが設定され、一方、視覚的に画質劣化が目立ち難い高周波成分のサブバンドには大きい量子化ステップ幅の基準Ｑｐが設定されている。

また、決定部１０６ｃは、基準Ｑｐの決定後、解析部１０６ａから入力されるＱｐ補正情報と、ＤＣ算出部１０６ｂから入力されるＤＣとに基づき、基準Ｑｐに対する量子化パラメータ補正量（以下、Ｑｐ補正量とする。）を決定する。図３（ｃ）はＱｐ補正量の一例を示す図である。決定部１０６ｃは、Ｑｐ補正量についても図３（ｂ）に示した基準Ｑｐと同様、目標ビットレートに基づいてサブバンド毎に決定する。図３（ｃ）は、Ａ，Ｂ，Ｃで示す目標ビットレートに応じて各サブバンドのＱｐ補正量を一意に決定する仕組みを表している。図３（ｃ）の場合、Ｑｐ補正量の数字が小さい場合には小さい補正量が設定され、一方、数字が大きい場合には大きい補正量が設定されることを表している。すなわち、図３（ｃ）の場合、低周波成分のサブバンドには小さいＱｐ補正量が設定され、一方、高周波成分のサブバンドには大きいＱｐ補正量が設定されている。

さらに、決定部１０６ｃは、図３（ｃ）に示したＱｐ補正量のマトリクスを基に決定したサブバンド毎のＱｐ補正量を用いて、サブバンド毎の基準Ｑｐを補正する。そして、決定部１０６ｃは、その補正後のサブバンド毎の量子化パラメータ４０３（以下、補正Ｑｐとする。）を、図１の量子化部１０７に出力する。なお、Ｑｐ補正方法の詳細については後述する。

量子化部１０７は、周波数変換部１０５から入力されるサブバンド毎の係数に対して、量子化制御部１０６から入力されるサブバンド毎の補正Ｑｐを用いた量子化を実行する。そして、量子化部１０７は、その量子化後の各サブバンドの係数を、エントロピー符号化部１０８に出力する。

エントロピー符号化部１０８は、量子化部１０７で量子化された各サブバンドの係数を圧縮符号化し、その圧縮符号化により得られた各サブバンドの符号化データからなる符号化ストリームデータを、記録媒体１０９に出力する。圧縮符号化は、例えばゴロム符号化のようなエントロピー符号化を用いて行われる。

記録媒体１０９は、例えば不揮発性メモリで構成される記録メディアである。記録媒体１０９には、エントロピー符号化部１０８が出力した符号化ストリームデータが記録され、また、現像時に適用される階調補正情報が予め記録されている。なお、符号化ストリームデータは、デコードに必要な情報であるヘッダが先頭に配置され、その後にＧ１，Ｇ２，Ｒ，Ｂの各プレーンの各サブバンドの符号化データが順番に配置されて結合されたデータである。

以下、階調補正情報、補正曲線の傾きの算出方法、量子化歪みの影響度の決定方法、Ｑｐ補正情報、ＤＣについてそれぞれ詳細に説明する。
[階調補正情報]
図５（ａ）は、例えば１０ビットＲＡＷデータの現像処理の際に適用することが想定される階調補正情報の一例を示している。階調補正情報は、例えばＬＵＴ（ルックアップテーブル）のデータとして記録媒体１０９に記録されているとする。図５（ａ）のグラフの横軸は階調補正前の入力画素値、縦軸は階調補正後の出力画素値を示している。階調補正情報は、階調補正処理前の入力画素値と階調補正処理後の出力画素値との関係を表す情報であり、図５（ａ）に示すような補正曲線５００により表される。補正曲線５００は、その傾きＳが大きい場合は画素値を増幅させ、一方、傾きＳが小さい場合は画素値を減衰させるような特性を有している。補正曲線の傾きＳの求め方については後述する。図５（ａ）に例示した階調補正情報の場合、画像の明部（入力画素値が大きい部分）では補正曲線の傾きＳが小さく、一方、画像の暗部（入力画素値が小さい部分）では補正曲線の傾きＳが大きくなる特性を有する。すなわち、図５（ａ）の階調補正情報は、画像の暗部が黒潰れしないように階調を広げ、画像の明部が白飛びしないように階調を狭めるような階調補正処理を表す補正曲線５００となっている。なお、階調補正が行われない場合、入力画素値と出力画素値は、図５（ａ）の点線に示すような直線５０１で表される関係を有している。

ここで、例えば非可逆符号化されたＲＡＷデータに対して、図５（ａ）の階調補正情報の補正曲線５００に示されるような入出力特性の階調補正処理が行われたとした場合、非可逆符号化で生じた量子化歪みも、画素値と同様に増幅又は減衰等されることになる。すなわち、同一の量子化パラメータで量子化を行ったとしても、例えば画素値の増幅の大きい暗部は、非可逆符号化で生じた量子化歪みの増幅度も大きくなるため画質劣化が目立ち易くなる。一方、同一の量子化パラメータで量子化を行ったとしても、例えば画素値の増幅の小さい明部は、非可逆符号化で生じた量子化歪みの増幅度も小さいため画質劣化が目立ち難くなる。したがって、階調を拡げる部分では量子化歪みが少なくなるように基準Ｑｐを減らすように補正して量子化を行うようにすれば、画質劣化を少なくすることが可能になると考えられる。一方、階調を狭める部分では符号量が必要以上に増加しないよう基準Ｑｐを増やすように補正して量子化を行うようにすれば、符号化効率を高めることが可能になると考えられる。

[補正曲線の傾きの算出方法・量子化歪みの影響度の決定方法・Ｑｐ補正情報]
量子化歪みの影響度を決定するにあたり、先ず解析部１０６ａは、図５（ａ）に示した階調補正情報の各入力画素値に対する補正曲線５００の傾きＳを算出する。図６は、補正曲線の傾きＳの算出方法を説明するための図である。図６に示すように、傾きの算出方法は、補正曲線上で、傾き算出対象となる入力画素値６０２に隣接した２つの画素をサンプル点６０３，６０４を抜き出し、それらサンプル２点間の入力画素値の変化量と出力画素値の変化量とから傾きを算出する。例えば、サンプル点６０３の座標を（Ｘ１，Ｙ１）、サンプル点６０４の座標を（Ｘ２，Ｙ２）とした場合、傾きＳは、以下の式（１）により算出可能である。
Ｓ＝（Ｙ１−Ｙ２）／（Ｘ１−Ｘ２） 式（１）

また、本実施形態では、階調補正情報がＬＵＴとなっている例を説明したが、階調補正情報は、階調補正処理における入出力の変換特性に基づく関数として用意されていてもよい。この場合、解析部１０６ａは、各入力画素値における補正曲線の接線（微分係数）を傾きＳとして算出する。例えば、補正曲線が関数ｆ（ｘ）として与えられる場合、その導関数をｆ'（ｘ）とすると、入力画素値ａに対する傾きＳは、以下の式（２）により算出可能である。
Ｓ＝ｆ'（ａ） 式（２）

続いて、解析部１０６ａは、算出した傾きＳに基づき、量子化歪みの影響度を決定する。本実施形態では、予め傾きＳの閾値Ｔを設け、傾きＳと閾値Ｔとの大小関係に基づき量子化歪みの影響度を決定する方法について説明する。図５（ｂ）は閾値Ｔの設定例を示す図である。図５（ｂ）は、傾きＳが閾値Ｔより大きい場合は量子化歪みの影響度大、傾きＳが閾値Ｔ以下の場合は量子化歪みの影響度小に決定する例である。ここで、閾値Ｔの設定例において、Ｓ＝Ｔを満たす入力画素値をＰ、入力画素値がＰ未満の場合にＳ＞Ｔを満たし、入力画素値がＰ以上の場合にＳ≦Ｔを満たすとすると、量子化歪みの影響度は、図５（ａ）に示すように表される。

これらを基に、解析部１０６ａは、Ｑｐ補正情報を生成する。本実施形態において、Ｑｐ補正情報は、入力画素値と量子化歪みの影響度とを対応付けた情報であり、後に決定部１０６ｃが行うＱｐ補正の補助情報として用いられる。図５（ｃ）はＱｐ補正情報の一例を示す図である。解析部１０６ａは、このようにして各入力画素値と量子化歪みの影響度とを対応付けることになる。

[ＤＣ]
前述したように、量子化歪みの影響度は、入力画素値に対応付けられたものである。本実施形態では、周波数変換部１０５でウェーブレット変換したサブバンドデータ（係数）に対して量子化を行う構成となっているため、この量子化歪みの影響度をサブバンドデータに対しても対応付けなくてはならない。本実施形態では、サブバンドデータへの対応付けは、プレーンの同一空間位置の画素値に基づく量子化歪みの影響度を参照することにより行う。ただし、サブバンドデータはプレーンデータを水平方向及び垂直方向にサブサンプルしたデータであるため、参照先は複数の画素を指すことになる。

図７（ａ）〜図７（ｃ）は、プレーンの画素とウェーブレット変換後の係数との空間的な位置関係を示す図である。図７（ａ）はプレーンデータの８×８画素を示し、図７（ｂ）は１回目のウェーブレット変換後の分解レベル１の４×４サブバンド係数を示し、図７（ｃ）は２回目のウェーブレット変換による分解レベル２の２×２サブバンド係数を示している。これら図７（ａ）〜図７（ｃ）の例の場合、図７（ｃ）のサブバンド係数１００５は、図７（ｂ）の２×２サブバンド係数のブロック１００３と図７（ａ）の４×４画素のブロック１００１とが、空間的な同一位置の関係にある。また、図７（ｂ）のサブバンド係数１００４は、２×２画素のブロック１００２と空間的な同一位置の関係にある。

このように、ウェーブレット変換したサブバンドデータに対して量子化を行う構成では、量子化歪みの影響度を参照する際の参照先が複数存在することになり、この場合、量子化歪みの影響度を一意に決定することができない。そこで、本実施形態では、解析部１０６ａは、参照先の画素ブロック内で画素値の平均値を算出し、当該平均値に基づく量子化歪みの影響度を、サブバンドデータに対応付けることとする。例えば分解レベル１のサブバンド係数１００４に対応した量子化歪みの影響度を求める場合、解析部１０６ａは、参照先のプレーンデータの２×２画素ブロック１００２内の画素平均値を算出する。また例えば、分解レベル２のサブバンド係数１００５に対応した量子化歪みの影響度を求める場合、解析部１０６ａは、参照先プレーンデータの４×４画素ブロック１００１内の画素平均値を算出する。なお、前述の説明では画素平均値を用いる例を説明したが、本実施形態は、例えば画素ブロック内の画素値のメディアン（中央値）を用いるようにしてもよく、これに限定されるものではない。

以下、量子化制御部１０６により行われる、サブバンドデータに対するＱｐ補正処理の手順を図８に示すフローチャートを用いて説明する。図８のフローチャートの処理は、制御部１０１による制御の下で開始される。なお、図８のフローチャートに示した各処理は、図４に示したハードウェア構成により実現される場合だけでなく、本実施形態に係るプログラムをＣＰＵ等が実行することにより実現されてもよい。また、以下の説明では、フローチャートの各処理のステップＳ６０１〜ステップＳ６１０をそれぞれＳ６０１〜Ｓ６１０と略記する。これらのことは、後述する他のフローチャートにおいても同様とする。

図８のＳ６０１において、解析部１０６ａは、現像時に適用される階調補正処理の階調補正情報を記録媒体１０９から取得する。Ｓ６０１の後、解析部１０６ａは、Ｓ６０２の処理として、Ｓ６０１で取得した階調補正情報を基に、各入力画素値に対する補正曲線の傾きＳを算出する。Ｓ６０２の後、解析部１０６ａは、Ｓ６０３の処理として、Ｓ６０２で算出した補正極性の傾きＳを基に、各入力画素値に対する量子化歪みの影響度を決定して、Ｑｐ補正情報を生成する。すなわち、解析部１０６ａは、前述の図５（ｂ）で説明したような閾値Ｔの判定条件を用いて、傾きＳと閾値Ｔの大小関係を判定し、その判定結果に基づき、各入力画素値に対する量子化歪みの影響度を決定してＱｐ補正情報を生成する。Ｓ６０３の後、量子化制御部１０６の処理は、ＤＣ算出部１０６ｂにて行われるＳ６０４に進む。

Ｓ６０４では、ＤＣ算出部１０６ｂは、メモリ１０４に格納されているプレーンデータを読み出し、ウェーブレット変換における分解レベルに応じたブロックサイズでＤＣを算出する。Ｓ６０４の後、量子化制御部１０６の処理は、決定部１０６ｃにて行われるＳ６０５に進む。

Ｓ６０５では、決定部１０６ｃは、Ｑｐ補正処理対象となるサブバンド係数の基準ＱｐとＱｐ補正量を決定する。具体的には、決定部１０６ｃは、前述した図３（ｂ）で説明した基準Ｑｐマトリクスの中から、制御部１０１を介して取得した目標ビットレートに応じたサブバンド係数の基準Ｑｐを選択することにより、基準Ｑｐを決定する。さらに、決定部１０６ｃは、図３（ｃ）で説明したＱｐ補正量マトリクスの中から、制御部１０１を介して取得した目標ビットレートに応じたサブバンド係数のＱｐ補正量を選択することにより、Ｑｐ補正量を決定する。Ｓ６０５の後、決定部１０６ｃは、Ｓ６０６に処理を進める。

Ｓ６０６では、決定部１０６ｃは、量子化対象となるサブバンド係数と空間的に同一位置にあるプレーンデータのＤＣに応じて、量子化歪みの影響度が大きいかどうかを判定する。そして、決定部１０６ｃは、量子化歪みの影響度が大きいと判定（Ｙ：Ｙｅｓ）した場合にはＳ６０７に処理を進め、量子化歪みの影響度が小さいと判定（Ｎ：Ｎｏ）した場合にはＳ６０８に処理を進める。

Ｓ６０７では、決定部１０６ｃは、Ｓ６０５で決定した基準Ｑｐに対してＱｐ補正量を用いたマイナス補正を行って補正Ｑｐを算出する。すなわち、Ｓ６０６で量子化歪みによる影響が大きいと判定されて進むＳ６０７では、決定部１０６ｃは、基準Ｑｐマトリクスの該当サブバンドの基準Ｑｐから、Ｑｐ補正量マトリクスの該当サブバンドのＱｐ補正量を減算する。これにより、量子化歪みの影響を抑えて画質を向上させることが可能となる。Ｓ６０７の後、決定部１０６ｃは、Ｓ６０９に処理を進める。

一方、Ｓ６０８では、決定部１０６ｃは、Ｓ６０５で決定した基準Ｑｐに対してＱｐ補正量を用いたプラス補正を行って補正Ｑｐを算出する。すなわち、Ｓ６０６で量子化歪みによる影響が小さいと判定されて進むＳ６０８では、決定部１０６ｃは、基準Ｑｐマトリクスの該当サブバンドの基準Ｑｐに対し、Ｑｐ補正量マトリクスの該当サブバンドのＱｐ補正量を加算する。これにより、発生符号量を抑制することが可能となる。Ｓ６０８の後、決定部１０６ｃは、Ｓ６０９に処理を進める。

Ｓ６０９に進むと、決定部１０６ｃは、サブバンドデータを構成している全係数分のＱｐ補正が完了したかどうかを判定する。決定部１０６ｃは、全係数分のＱｐ補正が完了したと判定（Ｙ）した場合はＳ６１０に処理を進め、完了していないと判定（Ｎ）した場合はＳ６０６に処理を戻す。Ｓ６０６の処理に戻った場合、Ｓ６０６からＳ６０７又はＳ６０８の処理により、未処理の係数について前述したようにＱｐ補正が行われることになる。

Ｓ６１０に進むと、決定部１０６ｃは、プレーンデータから変換された全サブバンドデータ分のＱｐ補正が完了したかどうかを判定する。決定部１０６ｃは、全サブバンドデータ分のＱｐ補正が完了したと判定（Ｙ）した場合は処理を終了し、一方、完了していないと判定（Ｎ）した場合はＳ６０５に処理を戻す。Ｓ６０５の処理に戻った場合、Ｓ６０５からＳ６０９までの処理により、未処理のサブバンドデータについて前述したようＱｐ補正が行われることになる。

図８のフローチャートでは、サブバンドデータに対するＱｐ補正処理の手順を説明したが、本実施形態では、ＲＡＷ画像から得られたプレーンの数だけ、Ｓ６０１からＳ６０９の処理が繰り返し実施されることになる。

以上説明したように、第１の実施形態によれば、現像時に施されることが想定される階調補正情報を用いて量子化歪みの影響度を求め、その影響度に基づいて量子化パラメータを補正して量子化する。これにより、本実施形態によれば、現像時に適用されることが想定される階調補正処理を考慮した符号化効率の高い符号化が実現可能となる。
なお、第１の実施形態では、階調補正情報の補正曲線の傾きの閾値を一つ設定し、傾きと閾値の大小関係に応じて量子化歪みの影響度を大、小の２段階で判定する例を挙げたが、閾値をさらに増やすことで、Ｑｐ補正単位をより細かく設定することも可能である。

＜第２の実施形態＞
本発明に係る第２の実施形態の画像符号化装置の構成は、第１の実施形態の画像符号化装置（撮像装置１００）と同様であるため、その構成の図示と説明は省略する。第１の実施形態では、各入力画素値に対する補正曲線の傾きＳと予め用意した閾値Ｔとの大小関係に基づき、量子化歪みの影響度を判定し、その影響度に応じて基準Ｑｐを補正する方法について説明した。しかしながら、階調を拡げる画素、或いは、階調を狭める画素のいずれか一方に偏るような画像が入力された場合、固定の閾値ＴによるＱｐ補正では目標ビットレートに収束できない可能性がある。そこで、第２の実施形態では、画像の特徴に応じて閾値Ｔを動的に変更することで、符号量の制御性を両立したＱｐ補正方法について説明する。

図９に示すフローチャートを用いて、第２の実施形態におけるサブバンドデータに対するＱｐ補正処理方法について説明する。なお、第２の実施形態における図９のフローチャートの処理は、第１の実施形態の図８で説明した処理を包含しているため、第１の実施形態と同様の処理に関する詳細な説明は省略する。

図９のＳ７０１の処理は前述した図８のＳ６０１に相当する処理であり、また、Ｓ７０２の処理はＳ６０２に相当する処理である。Ｓ７０２の後、量子化制御部１０６の処理は、ＤＣ算出部１０６ｂにて行われるＳ７０３に進む。Ｓ７０３の処理は図８のＳ６０４に相当する処理である。Ｓ７０３の後、量子化制御部１０６の処理は、解析部１０６ａにて行われるＳ７０４に進む。

Ｓ７０４では、解析部１０６ａは、Ｓ７０２で算出した補正曲線の傾きＳとＳ７０３で算出したプレーンデータのＤＣとを用いて、傾きＳに対応するＤＣの出現頻度の分布情報（ヒストグラム）を求める。図１０（ａ）は、第２の実施形態で用いる階調補正情報を示す図である。図１０（ａ）は、前述した図５（ａ）と同様の図であり、階調補正情報の補正曲線８００は、傾きが大きい場合は画素値を増幅させ、補正曲線８００の傾きが小さい場合は画素値を減衰させるような特性を有している。なお、階調補正が行われない場合、入力画素値と出力画素値は、図１０（ａ）の点線に示すような直線８０１で表される関係を有している。

図１０（ｂ）は、傾きＳに対応するＤＣの出現頻度を集計したヒストグラムを示す図である。図１０（ｂ）のグラフの横軸は傾きＳを示し、縦軸は傾きＳに対応するＤＣの出現頻度を示している。この図１０（ｂ）から判るように、プレーンデータは、補正曲線の傾きＳが閾値Ｔ以上となる部分が多い画像、つまり暗部が多くを占める画像データとなっている。Ｓ７０４の後、解析部１０６ａの処理は、Ｓ７０５に進む。

Ｓ７０５では、解析部１０６ａは、Ｓ７０４で集計したヒストグラムに基づき量子化歪みの影響度を決定して、Ｑｐ補正情報を生成する。第２の実施形態の場合、解析部１０６ａは、ヒストグラムで集計したＤＣの出現頻度の割合に応じて、量子化歪みの影響度を決定する。例えば、量子化歪みの影響度を大、小２つに分類したとする。第２の実施形態において、出現頻度がヒストグラム全体の５０％となる傾きを閾値Ｔとすると、解析部１０６ａは、傾きＳが閾値Ｔより大きい場合を量子化歪みの影響度大、傾きＳが閾値Ｔ以下の場合を量子化歪みの影響度小といったように分類する。ここで、第２の実施形態において、Ｓ＝Ｔを満たす画素値をＰ、画素値がＰ未満の場合にＳ＞Ｔを満たし、画素値がＰ以上の場合にＳ≦Ｔを満たすとすると、各入力画素値に対する量子化歪みの影響度は図１０（ａ）のように表される。

そして、解析部１０６ａは、これらを基にＱｐ補正情報を生成する。第２の実施形態においても前述の通り、Ｑｐ補正情報は、入力画素値と量子化歪みの影響度を対応付けた情報であり、後に決定部１０６ｃが行うＱｐ補正の補助情報として用いる。Ｑｐ補正情報については、図５（ｃ）と同様であるため説明を省略する。Ｓ７０５の後、量子化制御部１０６の処理は、決定部１０６ｃにて行われるＳ７０６に進む。

Ｓ７０６の処理は、決定部１０６ｃがＱｐ補正処理対象となるサブバンド係数の基準ＱｐとＱｐ補正量を決定する処理であり、第１の実施形態のＳ６０５に相当する。Ｓ７０６の後、決定部１０６ｃの処理は、Ｓ７０７に進む。Ｓ７０７の処理は、決定部１０６ｃが、量子化対象となるサブバンド係数について量子化歪みの影響度が大きいかどうかを判定する処理であり、第１の実施形態のＳ６０６に相当する。決定部１０６ｃは、量子化歪みの影響度が大きいと判定（Ｙ）した場合にはＳ７０８に処理を進め、量子化歪みの影響度が小さいと判定（Ｎ）した場合にはＳ７０９に処理を進める。

Ｓ７０８とＳ７０９は、補正Ｑｐを算出する処理であり、第１の実施形態のＳ６０７とＳ６０８に相当する。Ｓ７０８又はＳ７０９の後、決定部１０６ｃの処理は、Ｓ７１０に進む。Ｓ７１０は、決定部１０６ｃがサブバンドの全係数分のＱｐ補正が完了したかどうかを判定する処理であり、第１の実施形態のＳ６０９に相当する。決定部１０６ｃは、全係数分のＱｐ補正が完了したと判定（Ｙ）した場合はＳ７１１に処理を進め、完了していないと判定（Ｎ）した場合はＳ７０７に処理を戻す。Ｓ７０７に戻ると、未処理の係数についてＳ７０７以降の処理が行われる。

Ｓ７１１の処理は、決定部１０６ｃが、全サブバンドデータのＱｐ補正が完了したかどうかを判定する処理であり、第１の実施形態のＳ６１０に相当する。決定部１０６ｃは、全サブバンドのＱｐ補正が完了したと判定（Ｙ）した場合は図９のフローチャートの処理を終了し、完了していないと判定（Ｎ）した場合はＳ７０３に処理を戻す。Ｓ７０３に戻ると、未処理のサブバンドについてＳ７０３以降の処理が行われる。

図９のフローチャートでは、サブバンドデータに対するＱｐ補正処理の手順を説明したが、第２の実施形態では、ＲＡＷ画像から得られたプレーンの数だけ、Ｓ７０１からＳ７１１の処理が繰り返し実施されることになる。

このように、第２の実施形態においては、ヒストグラムに基づく出現頻度の割合を基に傾きＳの閾値Ｔが決定されるため、量子化歪みの影響度の分布に偏りが発生することはなく、その結果、符号量の制御が安定する。

以上説明したように、第２の実施形態によれば、現像時に施す階調補正情報と傾きのヒストグラムとを用いて決定した量子化歪みの影響度に基づいて量子化パラメータを補正して量子化する。これにより、本実施形態によれば、現像時に適用されることが想定される階調補正処理を考慮した符号化効率の高い符号化が実現可能となる。
なお、第２の実施形態では、量子化歪みの影響度を大、小として２段階で判定する例を示したが、量子化歪みの影響度をさらに複数段階にすることで、Ｑｐ補正をより細かく設定することが可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 制御部、１０２ 撮像部、１０３ プレーン形成部、１０４ メモリ、１０５ 周波数変換部、１０６ 量子化制御部、１０６ａ 階調補正情報解析部、１０６ｂ ＤＣ算出部、１０６ｃ 量子化パラメータ決定部、１０７ 量子化部、１０８ エントロピー符号化部、１０９ 記録媒体

Claims (14)

1. ＲＡＷ画像データを量子化して符号化する画像符号化装置であって、
   ＲＡＷ画像データを周波数変換して複数のサブバンドを生成する変換手段と、
   ＲＡＷ画像データの現像時に行われる階調補正処理の補正特性を表す補正曲線の傾きを用いて、量子化に用いる量子化パラメータを決定する決定手段と、
   前記階調補正処理が行われていないＲＡＷ画像データを前記変換手段により周波数変換して生成したサブバンドの係数を、前記決定された量子化パラメータを用いて量子化する量子化手段と、を有し、
   前記決定手段は、
   サブバンド毎に決定した基準量子化パラメータを、前記補正特性を表す補正曲線の傾きを用いてサブバンド毎に補正することにより、サブバンド毎に量子化に用いる量子化パラメータを決定し、
   前記複数のサブバンドのうち、最上位の分解レベルの低周波成分のサブバンドについては、前記補正特性を表す補正曲線の傾きを用いて前記基準量子化パラメータを補正せず、高周波成分のサブバンドについては、前記補正特性を表す補正曲線の傾きを用いて前記基準量子化パラメータを補正することを特徴とする画像符号化装置。
2. 前記決定手段は、
   前記サブバンド毎に基準となる前記基準量子化パラメータを決定する第１の決定手段と、
   前記補正曲線の傾きに基づいて、前記サブバンド毎に基準量子化パラメータを補正する量子化パラメータ補正量を決定する第２の決定手段と、を有し、
   前記量子化パラメータ補正量により前記基準量子化パラメータを補正した後の量子化パラメータを、前記量子化に用いる量子化パラメータとすることを特徴とする請求項１に記載の画像符号化装置。
3. 前記第１の決定手段は、目標ビットレートに基づく前記サブバンド毎の前記基準量子化パラメータを決定することを特徴とする請求項２に記載の画像符号化装置。
4. 前記第２の決定手段は、目標ビットレートに基づく前記サブバンド毎の前記量子化パラメータ補正量を決定することを特徴とする請求項２又は３に記載の画像符号化装置。
5. 前記基準量子化パラメータは、高周波成分のサブバンドほど量子化ステップ幅が大きくなる特性を有することを特徴とする請求項２乃至４の何れか１項に記載の画像符号化装置。
6. 前記量子化パラメータ補正量は、高周波成分のサブバンドほど量子化ステップ幅を大きくする特性を有することを特徴とする請求項２乃至５の何れか１項に記載の画像符号化装置。
7. 前記第２の決定手段は、量子化対象となる前記サブバンドの係数と空間的に同一位置にある前記ＲＡＷ画像データの画素平均値を求め、前記画素平均値における補正曲線上の隣接する２点間の変化の割合を前記補正曲線の傾きとして用いることを特徴とする請求項２乃至６の何れか１項に記載の画像符号化装置。
8. 前記第２の決定手段は、量子化対象となる前記サブバンドの係数と空間的に同一位置にある前記ＲＡＷ画像データの画素平均値を求め、前記画素平均値における補正曲線の微分係数を前記補正曲線の傾きとして用いることを特徴とする請求項２乃至６の何れか１項に記載の画像符号化装置。
9. 前記第２の決定手段は、前記補正曲線の傾きと所定の閾値との大小関係に基づき前記量子化パラメータ補正量を決定することを特徴とする請求項２乃至８の何れか１項に記載の画像符号化装置。
10. 前記第２の決定手段は、前記補正曲線の傾きに対する前記サブバンドの係数の分布情報を求め、前記分布情報の割合に基づき前記補正曲線の傾きに対する閾値を設定して、前記補正曲線の傾きと前記閾値との大小関係に基づき前記量子化パラメータ補正量を決定することを特徴とする請求項２乃至８の何れか１項に記載の画像符号化装置。
11. 前記補正曲線は、前記階調補正処理の入力画素値と出力画素値との関係を表すテーブルとして用意されていることを特徴とする請求項１乃至１０の何れか１項に記載の画像符号化装置。
12. 前記補正曲線は、階調補正処理における入出力の変換特性に基づく関数として用意されていることを特徴とする請求項１乃至１０の何れか１項に記載の画像符号化装置。
13. ＲＡＷ画像データを量子化して符号化する画像符号化装置の画像符号化方法であって、
    ＲＡＷ画像データを周波数変換して複数のサブバンドを生成する変換工程と、
    ＲＡＷ画像データの現像時に行われる階調補正処理の補正特性を表す補正曲線の傾きを用いて、量子化に用いる量子化パラメータを決定する決定工程と、
    前記階調補正処理が行われていないＲＡＷ画像データを前記変換工程により周波数変換して生成したサブバンドの係数を、前記決定された量子化パラメータを用いて量子化する量子化工程と、を有し、
    前記決定工程では、
    サブバンド毎に決定した基準量子化パラメータを、前記補正特性を表す補正曲線の傾きを用いてサブバンド毎に補正することにより、サブバンド毎に量子化に用いる量子化パラメータを決定し、
    前記複数のサブバンドのうち、最上位の分解レベルの低周波成分のサブバンドについては、前記補正特性を表す補正曲線の傾きを用いて前記基準量子化パラメータを補正せず、高周波成分のサブバンドについては、前記補正特性を表す補正曲線の傾きを用いて前記基準量子化パラメータを補正することを特徴とする画像符号化方法。
14. コンピュータを、請求項１乃至１２の何れか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。

Images