JP7129326B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置及びその制御方法及びプログラムに関するものである。

昨今のディジタル・カメラの撮像素子にはＣＣＤ又はＣＭＯＳイメージセンサーが多く採用されており、単板式の撮像素子では図２に示すようなベイヤ配列のカラーフィルタを通すことにより緑（Ｇ）、青（Ｂ）、赤（Ｒ）の画素データ（以下、ＲＡＷデータと呼ぶ）が得られる。図２の例では、Ｒ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の周期的なパターンで構成されており、人間の視覚的な感度は色成分よりも輝度成分（明度成分）に敏感なことから輝度成分を多く含む緑が赤や青に対して２倍の面積が割り当てられている。このようにベイヤ配列のＲＡＷデータは、１画素に対して１つの色成分の情報しか持たない。通常、カラー画像は、１画素は緑、青、赤の３つの色成分で構成されるので、残り２成分を周り画素値から導出することが行われる。このように、ベイヤ配列（１画素１成分）の画像から、１画素３成分の画像データを生成する処理はデモザイク処理と呼ばれる。

ディジタル・カメラでは、上記デモザイク処理に始まりノイズ除去処理、光学歪み補正、色補正処理等の現像処理を行い最終的な画像データを生成し、静止画の場合はＪＰＥＧ、動画の場合はＨ．２６４等に代表される符号化方式により圧縮された画像データが記録される。一方でユーザ自身の好みに応じて現像処理が実行できるように現像処理前のＲＡＷデータを記録する機能も搭載されている。ＲＡＷデータの記録形式には、非圧縮又は可逆圧縮形式を採用する場合が多く、一般に記録されるＲＡＷデータのサイズは、現像後の圧縮画像データに対して大きい。そこで撮像素子の高密度化、高画素化に伴いＲＡＷデータを圧縮し、コンパクトに記録することが重要となってきている。

しかしながらＲＡＷデータは、現像過程でユーザニーズに応じた様々な処理が施されることを考慮する必要があるため、画質を保証するために可逆圧縮が適用される場合や、非可逆圧縮であってもワーストケースを想定した低い圧縮率で運用されることが多い。

そこで圧縮による劣化の影響を評価する方法も重要であり、例えば人間の視覚特性を考慮して画質評価を行う技術（特許文献１）や、ブロック歪みを考慮して画質評価を行う技術（特許文献２）等が提案されている。

特開平１１－２６１７４０号公報 特開２００５－１５９４１９号公報

一般に圧縮には量子化処理が用いられ、所定の量子化ステップによる除算を行うため、量子化前の信号レベルが小さいほど元データに対して情報を損失しやすいと考えられる。

しかしながら、ＲＡＷデータの場合、現像処理において露出補正、色補正等のようにオフセットやゲインアップのような強調処理が施されることが想定される。このため、ＲＡＷデータにおいては明度の低い信号ほど量子化による情報損失の影響を受けやすく、即ち視覚的な画質劣化の影響も受けやすいと考えられるため、明度を考慮した画質評価方法が望まれている。

本発明は、かかる点に鑑み成されたものであり、ＲＡＷ画像データに対する圧縮による現像後の劣化の影響を考慮して評価することで、ユーザが許容する画質と圧縮率によるＲＡＷ画像データの記録を支援する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段と、当該撮像手段で得たＲＡＷ画像データを複数のチャネルに変換する変換手段と、チャネルごとに周波数変換、量子化、そしてエントロピー符号化を行う符号化手段とを有する撮像装置であって、
前記変換手段で得た複数のチャネルのうち明度成分を主とするチャネルについての前記周波数変換で得られた低周波成分のサブバンドに基づき、１画面を複数の領域に分割した場合の各領域の明度を分類する分類手段と、
明度ごとに、各領域の前記量子化の前後のデータの差の程度を表す指標値を導出する導出手段と、
明度の低い指標値を優先して、画質を評価する評価手段とを有する。

本発明によれば、ＲＡＷ画像データに対する圧縮による現像後の劣化の影響を考慮して評価することで、ユーザが許容する画質と圧縮率によるＲＡＷ画像データの記録を支援することが可能になる。

実施形態である撮像装置の構成を示すブロック図。 ベイヤ配列のＲＡＷデータを示す図。 チャネル変換の例を示す図。 周波数変換（サブバンド分割）の例を示す図。 予測符号化方法（ＭＥＤ予測）を示す図。 符号量制御に関わる量子化制御単位の例を示す図。 フィードフォワード制御に関わる量子化制御単位の例を示す図。 量子化制御単位とＲＡＷデータの関係を示す図。 符号化データの記録形式の例を示す図。 ヘッダ情報のシンタクス要素の例を示す図。 第１の実施形態の画質評価方法を示すフローチャート。 明度分類方法を示すフローチャート。 第２の実施形態の画質評価方法を示すフローチャート。 第３の実施形態の画質評価方法を示すフローチャート。 明度領域毎の量子化制御方法を示すフローチャート。 画質評価モードの動作を示すフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［第１の実施形態］
第１の実施形態における撮像装置１００の構成及び処理の流れを、図１（ａ）に示すブロック図を参照して説明する。

制御部１０１は、撮像装置１００を構成する各処理部を制御するものであり、ＣＰＵ、ＣＰＵが実行するプログラムや各種データを記憶しているＲＯＭ、ならびに、ワークエリアなどとして使用されるＲＡＭで構成される。

撮像部１０２は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系とレンズ光学系からの光情報を電気信号に変換するＣＣＤイメージセンサー又はＣＭＯＳセンサーなどの撮像素子を含み、撮像素子により得られた電気信号をディジタル信号へ変換したＲＡＷデータをＲＡＷデータ符号化部１０３へ出力する。ここでＲＡＷデータは、図２に示すように受光した画素領域である有効撮像領域と遮光された画素領域であるオプティカルブラック領域とで構成さる。尚、ＲＡＷデータは、ベイヤ配列のＲ（赤）、Ｇ１（緑），Ｇ２（緑）、Ｂ（青）の４つの色要素で構成されるものとするが、その配列や色要素はこの構成に限定されず他の方式であっても良い。

ＲＡＷデータ符号化部１０３は、撮像部１０２から入力されたＲＡＷデータを符号化し、生成した符号化データを画像・記録処理部１０４へ出力する。ＲＡＷデータ符号化部１０３に関わる詳細な構成や動作については後述する。

画像・記録処理部１０４は、入力された符号化データに対して所定の記録フォーマット化を行い記録媒体１０６へ記録すると共に、入力された符号化データを復号してＲＡＷデータを復元し、デモザイク処理、ノイズ除去処理、光学歪み補正処理、色補正処理等の現像処理により生成された画像データを表示部１０５へ出力する。

表示部１０５は、入力された画像データを表示するための例えば液晶パネルや有機ＥＬパネルで構成されたディスプレイである。

記録媒体１０６は、例えば不揮発性メモリで構成される記録メディアである。典型的には、脱着可能なメモリカードである。

操作部１０８は、各種スイッチやボタン、タッチパネルなどで構成され、ユーザによる指示を撮像装置に伝えるためのものである。制御部１０１は、操作部１０８を介したユーザからの指示に従って各種処理や制御を行うことになる。

以上、実施形態における撮像装置１００の大まかな構成を説明した。続いて、ＲＡＷデータ符号化部１０３の詳細な構成及び処理の流れについて図１に示すブロック図を参照して説明する。

ＲＡＷデータ符号化部１０３は、主にチャネル変換部１０３ａ、周波数変換部１０３ｂ、量子化パラメータ生成部１０３ｃ、量子化部１０３ｄ、エントロピー符号化部１０３ｅ及び画質評価部１０３ｆで構成されている。

チャネル変換部１０３ａは、図３（ａ）乃至（ｃ）に示すように入力されたベイヤ配列のＲＡＷデータを複数のチャネルに変換する。例えば、ベイヤ配列のＲＡＷデータから、Ｒ成分のみのプレーン（Ｒチャネル）、Ｇ１成分のみのプレーン（Ｇ１チャネル）、Ｇ２成分のみのプレーン（Ｇ２チャネル）、およびＢ成分のみのプレーン（Ｂチャネル）の４チャネルへの変換である。また、例えばＲ、Ｇ１、Ｇ２、Ｂから、次式（１）に従ったＣ０乃至Ｃ３の４チャネルデータへの変換である。
Ｃ０＝ａ＋ｃ
Ｃ１＝Ｂ－Ｇ２
Ｃ２＝Ｒ－Ｇ１
Ｃ３＝ｂ－ａ …（１）
式中、ａ＝Ｇ２＋floor（Ｃ１／２）、ｂ＝Ｇ１＋floor（Ｃ２／２）、ｃ＝floor（Ｃ３／２）である。ここで、floor(x)は、実数ｘに対して最大の整数を返す床関数である。

また、ここで、Ｃ０が輝度相当のチャネルを示し、Ｃ１乃至Ｃ３は色差に対応するチャネルを示している。

尚、ここでは図３（ａ）に示すように４つのチャネルへ変換する構成例を示しているが、図３（ｂ）や図３（ｃ）に示すようにＲ、Ｇ１とＧ２を合わせたＧ、Ｂ毎の３つのチャネルへの変換でも良く、チャネル数や変換方法は上記方法に限らない。要するに、複数チャネル化したデータから、元のベイヤ配列の画像に復元できれば良い。

周波数変換部１０３ｂは、チャネル単位に所定の分解レベル（以降、ｌｅｖと記す）まで離散ウェーブレット変換（周波数変換処理）を行い、生成されたサブバンドデータ（変換係数）を量子化パラメータ生成部１０３ｃ、量子化部１０３ｄ及び画質評価部１０３ｆへ出力する。

図４（ａ）は、ｌｅｖ＝１のサブバンド分割処理に関わる離散ウェーブレット変換を実現するためのフィルタバンク構成を示している。離散ウェーブレット変換処理を水平、垂直方向に実行すると、図４（ｂ）に示すように１つの低周波数サブバンド｛ＬＬ｝と、３つの高周波数サブバンド｛ＨＬ、ＬＨ、ＨＨ｝が得られる。図４（ａ）に示すローパスフィルタ（以降、ｌｐｆと呼ぶ）及びハイパスフィルタ（以降、ｈｐｆと呼ぶ）の伝達関数は次式（２）、（３）に示す通りである。
lpf(z)＝（－ｚ^-2＋２ｚ^-1＋６＋２ｚ¹－ｚ²）／８ …（２）
hpf(z)＝（－ｚ^-1＋２－ｚ¹）／２ …（３）
また、図４（ａ）における「↓２」は２対１のダウンサンプリングを表す。従って、水平方向と垂直方向とで１回ずつのダウンサンプリングが実行されるので、１回のウェーブレット変換で得られる個々のサブバンドのサイズは元のサイズの１／４となる。分解レベル１を超える分解レベルのサブバンドを得るためには、直前の分解レベルで得たサブバンド｛ＬＬ｝に対して再帰的に離散ウェーブレット変換を行えばよい。例えばｌｅｖ＝３の場合は、変換対象の１プレーンは、図４（ｃ）に示すように１０個のサブバンドに分割される。尚、ここでは離散ウェーブレット変換は上記式（１）、（２）に示すように５タップのｌｐｆと、３タップのｈｐｆで構成しているが、これとは異なるタップ数及び異なる係数のフィルタ構成であっても良い。

量子化パラメータ生成部１０３ｃは、周波数変換部１０３ｂにより生成されたサブバンドデータ（変換係数）に対して量子化処理を行うために、予め設定された圧縮率から算出された目標符号量に基づき、所定のサブバンドデータ単位に符号量制御に関わる量子化パラメータ生成処理を行い、まず全チャネル、全サブバンドに共通の第１の量子化パラメータを生成する。

図６は、各チャネルをｌｅｖ＝３でサブバンド分割した場合の符号量制御に関わる符号量の評価及び量子化パラメータを更新する単位を示す。Ｃ０からＣ３までの全チャネル（実施形態では４チャネル）のレベル３のサブバンド｛３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ｝の垂直方向にＮ（Ｎは整数）ライン分、レベル２のサブバンド｛２ＨＬ，２ＬＨ，２ＨＨ｝の垂直方向に２×Ｎライン分、レベル１のサブバンド｛１ＨＬ，１ＬＨ，１ＨＨ｝の垂直方向に４×Ｎライン分のサブバンドデータを纏めて１つの処理単位とする。

当業者であれば、図６の右側に示す各サブバンドの係数は、符号化する画像における同じ領域の係数を表すことになるのは容易に理解できよう。以降、図６の右側に示す係数の集合を「バンド」と記す（なお、サブバンドと混同されないように注意されたい）。

量子化パラメータ生成部２０３は、バンドに対応する目標符号量と発生符号量とを比較し、次のバンドの発生符号量を目標発生符号量に近づけるようにフィードバック制御を行うことを繰り返し、全チャネル、全サブバンドに共通の量子化パラメータ（ＱｐＢｒ）を生成する。つまり、バンド数がＢｎである場合、ＱｐＢｒ（０）、ＱｐＢｒ（１）、ＱｐＢｒ（２）、…、ＱｐＢｒ（Ｂｎ－１）を求める。尚、ＲＡＷデータに対して画面内の符号量制御を行わない場合には、上記に示すような符号量制御単位に関係なく全画面固定となる全チャネル、全サブバンドに共通のＱｐＢｒを設定又は生成すれば良い。

さて、実施形態における量子化パラメータ生成部２０３は、バンド毎の符号化処理が行われるごとに、次のバンドの符号化の符号量の制御を次式に従って実行する。
ＱｐＢｒ（ｉ）＝ＱｐＢｒ（０）＋ｒ×Σ｛Ｓ（ｉ－１）－Ｔ（ｉ－１）｝
ＱｐＢｒ(０) : 最初のバンドの初期量子化パラメータ
ＱｐＢｒ（ｉ）：ｉ番目のバンドに対する量子化パラメータ（ｉ＞０）
r：制御感度
Ｓ（ｉ）：第ｉ番目のバンドで生成された符号化データの符号量
Ｔ（ｉ）：第ｉ番目のバンドの目標符号量
なお、１フレームに含まれるバンドの個数をＢｎ，１フレームの目標符号量をＴとしたとき、Ｔ（ｉ）＝Ｔ／Ｂｎとなる。本実施形態では、第ｉ番目の目標符号量Ｔ（ｉ）を、Ｔ（ｉ）＝Ｔ／Ｂｎに設定したが、異なる方法で目標符号量を設定してもよい。

上記の式では、先頭のバンドに対して設定した初期量子化パラメータＱｐＢｒ（０）を基準とし、第ｉ番目のバンドの量子化パラメータＱｐＢｒ（ｉ）を、その直前までの第ｉ－１番目までのバンドの発生符号量と目標符号量との差分の大きさに応じて調整する。より具体的には、先頭のバンド以降に発生した符号量の合計（総発生符号量）と、対応する目標符号量の合計（総目標符号量）との符号量差分が小さくなるように初期量子化パラメータの値を調整して、処理対象のバンドの量子化パラメータＱｐＢｒ（ｉ）を決定する。
このようにして、バンドごとに量子化パラメータＱｐＢｒを生成した後、量子化パラメータ生成部１０３ｃは、バンドを更に細分化（セグメント化）し、第２の処理単位であるセグメントごと量子化パラメータＱｐＢｓを生成する。

図７（ａ）は、各チャネルをｌｅｖ＝３でサブバンド分割した場合の画質制御に関わるサブバンドデータの評価及び量子化パラメータを更新する第２の処理単位（セグメント）を示す。各セグメントでは、全チャネルのレベル３のサブバンド｛３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ｝の水平、垂直方向それぞれにＭ×Ｎ（Ｍ、Ｎはそれぞれ整数）、レベル２のサブバンド｛２ＨＬ，２ＬＨ，２ＨＨ｝の水平、垂直方向にそれぞれ（２×Ｍ）×（２×Ｎ）、レベル１のサブバンド｛１ＨＬ，１ＬＨ，１ＨＨ｝の水平、垂直方向にそれぞれ（４×Ｍ）×（４×Ｎ）としている。

ここに示す第２の処理単位としてのセグメントは、第１の処理単位としてのバンドを水平方向に細分化したものである。本実施形態ではセグメント化は、各サブバンドに含まれるセグメント数が一致するように行う。Ｍ＝１、Ｎ＝１とすると、セグメントはレベル１相当でバンドを水平方向に４画素係数に分割したものと捉えることができる。量子化パラメータ生成部１０３ｃは、バンドごとに算出した量子化パラメータＱｐＢｒを、セグメントごとの画質特性に応じて修正することで、セグメントごとの量子化パラメータを生成する。

第ｐ番目のバンドの量子化パラメータをＱｐＢｒ（ｐ）と表し、第ｐ番目のバンド内の第ｑ番目のセグメントの量子化パラメータをＱｐＢｓ（ｐ，ｑ）とする。そして、１つのバンドがＱ個のセグメントを含むとすると、量子化パラメータ生成部１０３ｃは、ＱｐＢｓ（ｐ，０）、ＱｐＢｓ（ｐ，１）、…、ＱｐＢｓ（ｐ，Ｑ－１）を求めることになる。そして、量子化パラメータ生成部１０３ｃは、第ｐ番目のバンド内の最初のセグメントの量子化パラメータの値ＱｐＢｓ（ｐ，０）は、第ｐ番目のバンドの量子化パラメータＱｐＢｒ（ｐ）を用いる。そして、第ｑ番目（ｑ≧１）のセグメントについては、直前のｑ－１番目のセグメントの３ＬＬのサブバンドデータを低周波成分として評価してオフセット値（正負の値が取り得る）を求め、直前のセグメントで用いた量子化パラメータＱｐＢｓ（ｐ，ｑ－１）にそのオフセット値を加算することで決定する。

上記のようにして、求めた全バンド、全セグメント量子化パラメータＱｐＢｓ（０，０）、ＱｐＢｓ（０，１）、…、ＱｐＢｓ（Ｂｎ－１、Ｑ－１）が、第１の量子化パラメータとなる。ここで、Ｍ＝Ｎ＝１としたとき、１つの量子化パラメータＱｐＢｓがカバーする範囲は、図８に示すように各チャネルの８×８画素となり、これはＲＡＷ画像データの１６×１６画素に相当する。

次に、量子化パラメータ生成部１０３ｃは、上記で求めた第１の量子化パラメータＱｐＢｓから、実際の量子化処理で用いる、各チャネル、各サブバンド固有の量子化パラメータＱｐＳｂ（第２の量子化パラメータ）を次式（４）に従って決定する。
ＱｐＳｂ[i][j]＝ＱｐＢｓ×α[i][j]＋β[i][j] …（４）
α：傾き
β：切片
i：チャネルインデックス（0～3）
j：サブバンドインデックス（0～9）
ここで、式（４）における、傾きα及び切片βは、各チャネル、各サブバンド個別に与える変数となっており、各チャネル、各サブバンド個別の重み係数α、βにより各チャネル、各サブバンドに対して柔軟に量子化制御することが可能となっている。また、各サブバンドについては低周波成分寄りのサブバンドほど量子化パラメータの値を小さくするためα、βの値を小さくし、高周波成分寄りのサブバンドほど量子化パラメータの値を大きくするためにα、βの値が大きくなる。

そして、量子化パラメータ生成部１０３ｃは、上記の第２の量子化パラメータを、直前のバンドの符号化処理を終えるたびに、量子化部１０３ｄ、および、画質評価部１０３ｆに供給する。

さて、量子化部１０３ｄは、周波数変換部１０３ｂより入力したサブバンドデータ（変換係数）に対し、量子化パラメータ生成部１０３ｃから供給された個別の量子化パラメータ（第２の量子化パラメータ）に基づき量子化処理を行い、量子化後のサブバンドデータ（変換係数）をエントロピー符号化部１０３ｅ及び画質評価部１０３ｆへ出力する。

エントロピー符号化部１０３ｅは、量子化部１０３ｄから入力された量子化後のサブバンドデータ（変換係数）、及び、第１の量子化パラメータＱｐＢｓに対して、サブバンド毎にラスタースキャン順で予測差分型エントロピー符号化を行う。ここでは、図５に示すように符号化対象データ（変換係数）の周辺データからＭＥＤ（Median Edge Detector）予測により予測値ｐｄを生成し、符号化対象データｘの値と予測値ｐｄとの差分データを例えばハフマン符号化、ゴロム符号化等によりエントロピー符号化を行う。尚、予測方式やエントロピー符号化方式は、他の方式であっても良い。また、各サブバンド別にライン単位に発生した発生符号量を量子化パラメータ生成部１０３ｃへ供給する。

画質評価部１０３ｆは、周波数変換部１０３ｂが出力する量子化前のサブバンドデータ、量子化部１０３ｄが出力する量子化後のサブバンドデータ及び実際に用いた量子化パラメータＱｐＳｂを受信する。そして、画質評価部１０３ｆが、符号化劣化の影響を評価するための評価値を生成し、その評価値に基づき画質評価を行う。かかる画質評価の方法については、後述する。

以上、実施形態におけるＲＡＷデータ符号化部１０３の構成と処理内容を説明した。ＲＡＷデータ符号化部１０３で生成された符号化データは、画像・記録処理部１０４により図９（ａ）に示すデータ形式に基づき多重化され記録される。

符号化ＲＡＷデータ形式は、図９（ａ）に示すように階層構造となっており、符号化データ全体に関わる情報を示す「ｍａｉｎ＿ｈｅａｄｅｒ」から始まり、ＲＡＷデータを複数の画素ブロック単位にタイル分割して符号化することを想定して「ｔｉｌｅ＿ｈｅａｄｅｒ」と「ｔｉｌｅ＿ｄａｔａ」によりタイル単位にデータを格納することが可能となっている。タイル分割を行わない場合は、「ｔｉｌｅ＿ｈｅａｄｅｒ」と「ｔｉｌｅ＿ｄａｔａ」は１つのみとなる。

「ｔｉｌｅ＿ｄａｔａ」には、まず符号化量子化パラメータに関わる情報を示す「ｑｐ＿ｈｅａｄｅｒ」と符号化量子化パラメータ自体である「ｃｏｄｅｄ＿ｑｐ＿ｄａｔａ」が配置される。続く符号化ＲＡＷデータである「ｃｏｄｅｄ＿ｒａｗ＿ｄａｔａ」は、チャネル単位に並んで配置されており、各チャネルに関わる情報を示す「ｃｈａｎｎｅｌ＿ｈｅａｄｅｒ」とそのチャネル毎の符号化データである「ｃｈａｎｎｅｌ＿ｄａｔａ」の順にチャネル分のデータが格納される。チャネル毎の符号化データである「ｃｈａｎｎｅｌ＿ｄａｔａ」は、サブバンド毎の符号化データの集合で構成されており、各サブバンドに関わる情報を示す「ｓｂ＿ｈｅａｄｅｒ」とサブバンド毎の符号化データである「ｓｂ＿ｄａｔａ」がサブバンドインデックス順に並んでいる。サブバンドインデックスは、図９（ｂ）に示す通りである。

続いて、各ヘッダ情報のシンタクス要素について図１０（ａ）乃至（ｅ）に基づき説明を行う。

「ｍａｉｎ＿ｈｅａｄｅｒ」は、符号化ＲＡＷデータ全体のデータ量を示す「ｃｏｄｅｄ＿ｄａｔａ＿ｓｉｚｅ」、ＲＡＷデータの幅を示す「ｗｉｄｔｈ」、ＲＡＷデータの高さを示す「ｈｅｉｇｈｔ」、ＲＡＷデータのビット深度を示す「ｄｅｐｔｈ」、ＲＡＷデータの符号化時のチャネル数を示す「ｃｈａｎｎｅｌ」、チャネル変換のタイプを示す「ｔｙｐｅ」、各チャネルのサブバンド分解レベルを示す「ｌｅｖ」で構成される。

「ｔｉｌｅ＿ｈｅａｄｅｒ」は、タイル分割位置を識別するためのタイルのインデックスを示す「ｔｉｌｅ＿ｉｎｄｅｘ」、タイルに含まれる符号化データ量を示す「ｔｉｌｅ＿ｄａｔａ＿ｓｉｚｅ」、タイルの幅を示す「ｔｉｌｅ＿ｗｉｄｔｈ」、タイルの高さを示す「ｔｉｌｅ＿ｈｅｉｇｈｔ」で構成される。

「ｑｐ＿ｈｅａｄｅｒ」は、符号化量子化パラメータのデータ量を示す「ｑｐ＿ｄａｔａ＿ｓｉｚｅ」、符号化量子化パラメータの幅、即ちＲＡＷデータに対応する水平方向の量子化パラメータ数を示す「ｑｐ＿ｗｉｄｔｈ」、符号化量子化パラメータの高さ、即ちＲＡＷデータに対応する垂直方向の量子化パラメータ数を示す「ｑｐ＿ｈｅｉｇｈｔ」で構成される。

「ｃｈａｎｎｅｌ＿ｈｅａｄｅｒ」は、チャネルを識別するためのチャネルのインデックスを示す「ｃｈａｎｎｅｌ＿ｉｎｄｅｘ」、チャネルの符号化データ量を示す「ｃｈａｎｎｅｌ＿ｄａｔａ＿ｓｉｚｅ」で構成される。

「ｓｂ＿ｈｅａｄｅｒ」は、サブバンドを識別するためのサブバンドインデックスを示す「ｓｂ＿ｉｎｄｅｘ」、サブバンドの符号化データ量を示す「ｓｂ＿ｄａｔａ＿ｓｉｚｅ」、各サブバンドの量子化パラメータを生成するための式（４）におけるα値を示す「ｓｂ＿ｑｐ＿ａ」、各サブバンドの量子化パラメータを生成するための式（４）におけるβ値を示す「ｓｂ＿ｑｐ＿ｂ」で構成される。

続いて、実施形態における画質評価部１０３ｆにおける画質評価方法について図１１に示すフローチャートに基づき説明を行う。

Ｓ１１０１にて、画質評価部１０３ｆは、まず始めに周波数変換部１０３ｂから供給されるサブバンドの内、低周波サブバンドに基づき、１フレーム内における複数の領域毎の明度を分類する。説明を単純化するため、画質評価部１０３ｆは、図７（ｂ）に示すように、３ＬＬのサブバンドデータを用いることにより、図８に示すようにＲＡＷデータの１６×１６画素相当の領域ごとに明度を分類するものとする。ＲＡＷデータの水平方向の画素数をＷ，垂直方向の画素数をＨと定義したとき、この領域の個数は（Ｗ／１６）×（Ｈ／１６）となる。水平方向の第ｉ番目、垂直方向の第ｊ番目の領域をＲ（ｉ，ｊ）と表す。ここで、０≦ｉ≦（Ｗ／１６－１）、０≦ｊ≦（Ｈ／１６－１）である。実施形態では、１つの領域Ｒは上記セグメントと同じ領域サイズであるが、セグメントの整数倍であると演算上の都合が良い。

なお、チャネル変換部１０３ａが生成する４チャネルのプレーンが、Ｒ、Ｇ１、Ｇ２、Ｂそれぞれのプレーンの場合、輝度（または明度）情報を多く含むＧ１（又はＧ２）チャネルの３ＬＬのサブバンドデータを用いれば良い。また、チャネル変換部１０３ａが、式（１）に基づきチャネル変換を行った場合は、Ｒ、Ｇ１、Ｇ２、Ｂの平均値から算出された輝度相当の信号であるＣ０チャネルの３ＬＬのサブバンドデータを用いれば良い。

図１２に示すフローチャートは、図１１のＳ１１０１の分類処理の詳細な例である。以下、同図に従って画質評価部１０３ｆの明度分類処理を説明する。

Ｓ１２０１にて、画質評価部１０３ｆは、各領域Ｒ（,）のサブバンドＬＬ（実施形態ではウェーブレットを３回行うので３ＬＬ）の係数値と、暗部判定用の閾値ＴＨ１とを比較し、大小判定を行う。実施形態の場合、１つの領域に対応するサブバンド３ＬＬの係数は１個であるが、係数の個数が複数の場合（Ｍ，Ｎのいずれかが２以上の場合）にはその平均値と、閾値ＴＨ１とを比較し、大小判定するものとする。

３ＬＬの係数が閾値ＴＨ１以下であった場合、画質評価部１０３ｆはＳ１２０２にて、その領域Ｒ（，）は明度領域１（暗部）に属すると判定する。

Ｓ１２０１にて、３ＬＬの係数値が閾値ＴＨ１より大きいと判定された場合、画質評価部１０３ｆは処理をＳ１２０３に進める。このＳ１２０３にて、画質評価部１０３ｆは、各領域Ｒ（,）のサブバンド３ＬＬの係数値と、明部判定用の閾値ＴＨ２（ＴＨ２＞ＴＨ１の関係になる）とを比較し、大小判定を行う。３ＬＬの係数が閾値ＴＨ２以上であった場合、画質評価部１０３ｆはＳ１２０４にて、その領域Ｒ（，）は明度領域３（明部）に属すると判定する。そして、ＴＨ１＜３ＬＬ＜ＴＨ２の場合、画質評価部１０３ｆはＳ１２０５にて、その領域Ｒ（，）は明度領域２（中間部）に属すると判定する。

上記のようにして、画質評価部１０３ｆは、符号化対象の１枚のＲＡＷ画像データ内の、全領域Ｒ（，）それぞれを、暗部、中間部、明部のいずれかに分類する。

図１１のフローチャートの説明に戻る。画質評価部１０３ｆは、Ｓ１１０１の処理を終えると、処理をＳ１１０２に進める。

画質評価部１０３ｆは、不図示の逆量子化処理部、逆周波数変換処理部、及び、逆チャネル変換部を有している。そして、画質評価部１０３ｆは、これらを用いて、明度領域１、２、３それぞれに分類された領域毎の、符号化による劣化度合いを示す評価値を算出する。実施形態では、符号化前のＲＡＷデータと量子化後のサブバンドデータから復元したＲＡＷデータから、ＰＳＮＲ（Peek Signal to Noise Ratio）値を算出する。ここで、ＲＡＷデータ内の１つの領域に含まる画素数をＮ、符号化前のその領域の画素値をｙi（ｉ＝０，１，…、Ｎ－１）、とする。また、逆量子化処理部、逆周波数変換処理部、および、逆チャネル変換部で得られた、復元したＲＡＷデータの画素値をｙ'iとし、画素の取り得る最大値をｙmaxとすると次式（５）により算出される。

上記のように、ＰＳＮＲ値は、信号の理論ピーク値と誤差の２乗平均値を用いて算出され、その値は常用対数により表現され、その単位はｄＢ（デシベル）となる。この値が大きい程、符号化後のＲＡＷデータが符号化前のＲＡＷデータに近いこと、すなわち、符号化による画質の劣化が小さいことを示している。したがって、このＰＳＮＲは、符号化後のＲＡＷデータの画質を表す評価値として利用できる。

画質評価部１０３ｆは、明度領域１（暗部）に分類された全領域のＰＳＮＲの算出を行い、その平均値を明度領域１の画質評価値ＰＳＮＲ１として算出する。

画素評価部１０３ｆは、明度領域２（中間部）に分類された全領域のＰＳＮＲの算出を行い、その平均値を明度領域２の画質評価値ＰＳＮＲ２として算出する。

画質評価部１０３ｆには、予め画質評価基準となる閾値ＴＨ＿ＰＳＮＲ１、ＴＨ＿ＰＳＮＲ２が制御部１０１により設定されている。この閾値ＴＨ＿ＰＳＮＲ１、ＴＨ＿ＰＳＮＲＳ２の値は、ユーザが操作部１０８により選択された画質水準に基づき決定される。例えば、「ビジュアル・ロスレス」、「ファイン」、「ノーマル」といった３つの画質水準をユーザにより選択できるようにし、選択された画質水準に応じて予め統計的に算出された基準値から、閾値ＴＨ＿ＰＳＮＲ１、ＴＨ＿ＰＳＮＲＳ２が決定され、設定される。

続いて、画質評価部１０３ｆは、算出した明度領域１、２の画素評価値ＰＳＮＲ１、ＰＳＮＲ２を。明度の低い領域から順に比較することにより画質評価を行う。

まず画質評価部１０３ｆは、Ｓ１１０３にて、明度領域１（暗部）の評価値ＰＳＮＲ１と、閾値ＴＨ＿ＰＳＮＲ１とを比較し、大小判定を行う。評価値ＰＳＮＲ１が閾値ＴＨ＿ＰＳＮＲ１より小さい場合、画質評価部１０３ｆは処理をＳ１１０４に進め、着目しているフレームの符号化による画質を「低」として決定する。

また、評価値ＰＳＮＲ１が閾値ＴＨ＿ＰＳＮＲ１以上であった場合、画質評価部１０３ｆは処理をＳ１１０５に進める。このＳ１１０５にて、画質評価部１０３ｆは、明度領域２（中間部）の評価値ＰＳＮＲ２と、閾値ＴＨ＿ＰＳＮＲ２とを比較し、大小判定を行う。評価値ＰＳＮＲ２が閾値ＴＨ＿ＰＳＮＲ２より小さい場合、画質評価部１０３ｆは処理をＳ１１０６に進め、着目しているフレームの符号化による画質を「中」として決定する。

また、評価値ＰＳＮＲ２が閾値ＴＨ＿ＰＳＮＲ２以上であった場合、画質評価部１０３ｆは処理をＳ１１０７に進める。このＳ１１０７にて、画質評価部１０３ｆは、着目しているフレームの符号化による画質を「高」として決定する。

こうして画質評価部１０３ｆにより生成された画質評価結果（高、中、低のいずれか）を示す情報は、制御部１０１に供給される。制御部１０１は、この結果を、表示部１０５に識別可能に表示する。

ユーザにしてみると、撮像装置１００により撮影状態にあるとき、表示部１０５から、現在の撮影シーンが設定した画質水準を満たしているか否かの事前チェックできることになり、最適な圧縮率によるＲＡＷデータ記録を行えるか否かを判定できる。ユーザは、十分に画質水準を満たしていると判定した場合には、操作部１０８より記録を行うことを指示することで、画像・記録処理部１０４は記録媒体１０６への記録を開始する。なお、記録部１０８への記録中も、画質評価は係属しても構わない。

ここでは、その応用例として静止画連写記録又は動画記録を前提とした所定フレーム分の撮影によるＲＡＷデータに対する符号化処理に基づく画質評価を行いつつ、記録媒体１０６への記録を行わない画質評価モードを有するものとして図１６に示すフローチャートに基づき説明を行う。

まず制御部１０１は、始めにＲＡＷデータ記録に対する符号化時の圧縮率を設定する（Ｓ１６０１）。圧縮率は、予め設定された複数段階のステップの中からユーザが操作部１０８を操作して、選択するものとする。

次に所定フレーム数のＲＡＷデータの符号化処理を行い、前述のように画質評価部１０３ｆにより画質評価を行う（Ｓ１６０２）。尚、画質評価に伴い符号化するフレーム数は、例えば量子化パラメータ生成部１０３ｃによる量子化制御行うフレーム数単位等であれば良い。また、評価は、評価する期間で撮像されたフレーム数による評価の平均値を求めるものとする。例えば、上記評価処理の「低」を１、「中」を２、「高」を３と数値化し、画質評価の期間に含まてるフレーム数の平均値を求める。そして、例えば平均値が１．５未満は「低」、１．５以上２．５未満は「中」、２．５以上は「高」とする。

次に制御部１０１は、Ｓ１６０３にて、画質評価の結果が「高」であるかどうかを判定する。「高」である場合は、画質水準を満たしているため圧縮率を変更は行わない。制御部１０１は、Ｓ１６０７にて、現在の画質の評価結果と圧縮率が適正であることを表示部１０５に表示し、ユーザに通知する。例えば、制御部１０１は、評価結果と圧縮率を示す文字、数値などを緑色で表示する。

一方、画質「高」でない場合は、制御部１０１は、Ｓ１６０４にて、画質評価の結果が「中」であるかどうかを判定する。「中」である場合は、画質水準を満たしていない可能性があるため、Ｓ１６０５にて、圧縮率を１ステップ分緩和する。具体的には、１フレーム値の目標符号量を予め設定さられた値だけ増加させることで、量子化ステップが大きい値になりにくいようにする。そして、制御部１０１は、Ｓ１６０７にて、現在の画質の評価結果と圧縮率を表示部１０５に表示し、ユーザに通知する。例えば、制御部１０１は、評価結果と圧縮率を示す文字、数値などを黄色で表示する。

また、Ｓ１６０４にて、画質が「中」ではないと判定された場合（画質が「低」の場合）、画質水準を満たしていない可能性があるため、制御部１０１は、Ｓ１６０６にて、確実に画質水準を保証可能な圧縮率へ変更する。画質水準を保証可能な圧縮率は、予めさまざまなシーンに対して統計的な画質評価に基づき決定された設定値がプリセットされているものとする。そして、制御部１０１は、Ｓ１６０７にて、現在の画質の評価結果と圧縮率を表示部１０５に表示し、ユーザに通知する。例えば、制御部１０１は、評価結果と圧縮率を示す文字、数値などを赤色で表示する。

以上のように明度が低いほど優先して、量子化前後のサブバンドデータに基づき評価値を生成することにより、現像後の画質水準を考慮した画質評価を行うことが可能となり、ユーザの求める画質水準に対して最適な圧縮率でのＲＡＷデータ記録支援を行うことが可能となる。

［第２の実施形態］
本第２の実施形態である撮像装置は、上記の第１の実施形態で示した撮像装置と同様の構成である。ただし、画質評価部１０３ｆの画質評価方法が異なっている。そこで共通となる構成の説明は省略するものとし、差分となる画質評価部１０３ｆにおける画質評価方法について図１３に示すフローチャートに基づき説明を行う。

Ｓ１３０１にて、画質評価部１０３ｆは、領域Ｒ（，）についての、周波数変換部１０３ｂから供給されるサブバンドのうち、低周波サブバンド３ＬＬに基づき、着目ブロックの明度領域を分類する。この明度領域の分類方法については、第１の実施形態（図１２）と同様である。

次に、Ｓ１３０２にて、明度領域毎に、画質評価部１０３ｆは、周波数変換部１０３ｂで生成された量子化前のサブバンドデータと、量子化部１０３ｄにより生成された量子化後のサブバンドデータのそれぞれの有意係数、即ち値が非０の係数をカウントする。そして、画質評価部１０３ｆは、量子化前後の有意係数比率情報を生成し、その比率情報に基づき、明度領域毎の画質劣化の程度を示す指標値を求める。以下に具体例を説明する。

画質評価部１０３ｆは、明度領域毎に、量子化前のサブバンド毎の係数の数に対する有意係数の個数の比率情報sigc_sb_ratioを算出する。比率情報sigc_sb_ratioは、次式（６）に示す通りである。

ここで、ｓｂはサブバンドインデックスを示し、実施形態の場合には０～９のいずれかである。また、ｗは予め設定されや重み係数である。

また、サブバンドインデックス「０」は、図９（ｂ）から、サブバンド“３ＬＬ”を差示す。よって、sigc_sb_ratio(0)は、サブバンド“３ＬＬ”に含まれる係数の個数を分母とし、非０の係数の個数を分子とする比率を表す。また、サブバンド毎に掛ける重み係数は、量子化方法に応じた値を設定すれば良く、例えば、サブバンドの重要度に応じて重み係数を決定しても良いし、特定のサブバンドのみを比較する場合は、対象外のサブバンドの有意係数比率情報をマスクするために０係数を使用しても良い。

画質評価部１０３ｆは、式（６）に従って、量子化前の明度領域１の比率情報をsigc_ratio_1A、量子化前の明度領域２の比率情報をsigc_ratio_2Aを算出する。

また、画質評価部１０３ｆは、式（６）に従って、量子化後の明度領域１の比率情報をsigc_ratio_1B、量子化後の明度領域２の比率情報をsigc_ratio_2Bも算出する。

そして、画質評価部１０３ｆは、量子化前の比率情報sigc_ratio_1Aから、量子化後の比率情報sigc_ratio_1Bを減じた値を、明度領域１の最終的な画質評価値D_sigc_ratio_1として算出する。
D_sigc_ratio_1＝sigc_ratio_1A－sigc_ratio_1B
これまでの説明から明らかなように、この画質評価値D_sigc_ratio_1が小さい程、量子化後のサブバンドデータが量子化前のサブバンドデータに近いこと、すなわち、劣化が小さいことを示す。

同様に、画質評価部１０３ｆは、量子化前の比率情報sigc_ratio_2Aから、量子化後の比率情報sigc_ratio_2Bを減じた値を、明度領域２の画質評価値D_sigc_ratio_2として算出する。

上記のようにして、画質評価値D_sigc_ratio_1、D_sigc_ratio_2の算出を終えると、画質評価部１０３ｆは処理をＳ１３０３に進める。

このＳ１３０３にて、画質評価部１０３ｆは、明度領域１の画質評価値D_sigc_ratio_1と明度領域１用の閾値Ｔｈ＿１とを比較する。

D_sigc_ratio_1≧Th_1の場合、画質評価部１０３ｆは、処理をＳ１３０４に進め、着目しているフレームの符号化による画質を「低」として決定する。

D_sigc_ratio_1＜Th_1の場合、画質評価部１０３ｆは、処理をＳ１３０５に進める。このＳ１３０５にて、画質評価部１０３ｆは、明度領域２の画質評価値D_sigc_ratio_2と、明度領域２用の閾値Ｔｈ＿２と比較し、大小判定を行う。

D_sigc_ratio_2≧Th_2の場合、画質評価部１０３ｆは、処理をＳ１３０６に進め、着目しているフレームの符号化による画質を「中」として決定する。

また、D_sigc_ratio_2＜Th_2の場合、画質評価部１０３ｆは、処理をＳ１３０７に進め、着目しているフレームの符号化による画質を「高」として決定する。

こうして画質評価部１０３ｆは、画質評価結果を制御部１０１に通知する。制御部１０１は、この画質評価結果を表示部１０５に識別可能に表示する。

以上のように明度領域毎に量子化前後のサブバンドデータの有意係数の比率情報に基づき評価値を生成することにより現像後の画質水準を考慮した画質評価を行うことが可能となり、ユーザの求める画質水準に対して最適な圧縮率でのＲＡＷデータ記録支援を行うことが可能となる。

なお、上記第２の実施形態では、サブバンドに含まれる係数の個数を分母とし、非０の係数の個数を分子とする比率を求めたが、分母に含まれる変換係数の個数は、量子化前後で同じであるので、サブバンド毎の量子化前後の非ゼロの変換係数の差を求めるようにしても良い。

［第３の実施形態］
本第３の実施形態である撮像装置は、第１の実施形態で示した撮像装置と同様の構成である。異なる点は、画質評価部１０３ｆの画質評価方法である。そこで共通となる構成の説明は省略するものとし、差分となる画質評価部１０３ｆにおける画質評価方法について図１４に示すフローチャートに基づき説明する。

画質評価部１０３ｆは、Ｓ１４０１にて、周波数変換部１０３ｂから供給されるサブバンドの内、低周波サブバンドに基づいて、そのサブバンドが示す領域（実施形態ではＲＡＷデータにおける１６×１６画素相当）を、明度領域１（暗部）、明度領域２（中間部）、明度領域３（明部）のいずれかに分類する。この明度領域の分類方法については同様であるため詳細な説明は省略する。

次にＳ１４０２にて、画質評価部１０３ｆは、符号化による劣化度合いを示す評価値として量子化部１０３ｄにより量子化処理の使用された明度領域毎の量子化パラメータの平均値（以下、Ａ＿ＱＰとする）を算出する。ここで、明度領域１の量子化パラメータの平均値をＡ＿ＱＰ１、明度領域２の量子化パラメータの平均値をＡ＿ＱＰ２とする。ここで量子化パラメータ生成部１０３ｃの生成する量子化パラメータは、画質評価部１０３ｆと同様に図１２のフローチャートに示す明度領域分類方法を用いて明度領域を分類し、その明度領域毎に量子化の強弱を調整する画質制御に関わる量子化パラメータ生成が行われているものとする。

例えば、図１５のフローチャートに示すように量子化パラメータ生成部１０３ｃは、ｌｅｖ＝３でサブバンド分割した場合、周波数変換部１０３ｂから供給されるサブバンドデータの内、３ＬＬのサブバンドデータ値が閾値ＴＨ１以下であるかどうかを判定する（Ｓ１５０１）。閾値ＴＨ１以下であれば暗部と判定し、ＱｐＢｒに対して所定値分マイナス補正を行う（Ｓ１５０２）。閾値ＴＨ１よりも大きい場合は、閾値ＴＨ２≧であるかどうかを判定する（Ｓ１５０３）。閾値ＴＨ２以上であれば明部と判定し、ＱｐＢｒに対して所定値分プラス補正を行う（Ｓ１５０４）。閾値ＴＨ２よりも小さい場合は、中間部と判定し、ＱｐＢｒに対して補正を行わない。尚、量子化パラメータは値が大きい程、粗く量子化されるものとする。

符号量制御により画面内でＱｐＢｒが変動し、それに伴い画質制御により生成される明度領域毎の量子化パラメータも変動する。

ここで画質評価部１０３ｆは、予め画質評価基準となる量子化パラメータの基準の閾値（以下、Ｓ＿ＱＰとする）が制御部１０１により設定されており、その基準値は、ユーザにより選択された画質水準に基づき決定される。ここで、明度領域１用の閾値をＳ＿ＱＰ１、明度領域２用の閾値をＳ＿ＱＰ２とする。

続いて、画質評価部１０３ｆは、上記のように生成されたＡ＿ＱＰと基準値となるＳ＿ＱＰを明度の低い領域から順に比較することにより画質評価を行う。

まずＳ１４０３にて、画質評価部１０３ｆは、明度領域１の評価値Ａ＿ＱＰ１と閾値Ｓ＿ＱＰ１とを比較し、大小判定を行う。

Ａ＿ＱＰ１≧Ｓ＿ＱＰ１の場合、指定された画質水準を下回っているので、画質評価部１０３ｆはＳ１４０４に処理を進め、画質は「低」と判定する。

また、Ａ＿ＱＰ１＜Ｓ＿ＱＰ１の場合、画質評価部１０３ｆは処理をＳ１４０５に進める。このＳ１４０５にて、画質評価部１０３ｆは、明度領域２の評価値Ａ＿ＱＰ２と閾値Ｓ＿ＱＰ２とを比較し、大小判定を行う。

Ａ＿ＱＰ２≧Ｓ＿ＱＰ２の場合、指定された画質水準を下回っているので、画質評価部１０３ｆはＳ１４０６に処理を進め、画質は「中」と判定する。

また、Ａ＿ＱＰ２＜Ｓ＿ＱＰ２の場合、指定された画質水準を満たしているので、画質評価部１０３ｆはＳ１４０７に処理を進め、画質は「高」と判定する。

こうして画質評価部１０３ｆにより生成された画質評価結果を制御部１０１に通知する。制御部１０１は、この通知内容を、表示部１０５へ表示しユーザへ知らせることになる。

以上のように明度領域毎に量子化パラメータ情報に基づき評価値を生成することにより現像後の画質水準を考慮した画質評価を行うことが可能となり、ユーザの求める画質水準に対して最適な圧縮率でのＲＡＷデータ記録支援を行うことが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…制御部、１０２…撮像部、１０３…ＲＡＷデータ符号化部、１０３ａ…チャネル変換部、１０３ｂ…周波数変換部、１０３ｃ…量子化パラメータ生成部、１０３ｄ…量子化部、１０３ｅ…エントロピー符号化部、１０３ｆ…画質評価部、１０４…画像・記録部、１０５…表示部、１０６…記録媒体、１０８…操作部

Claims (12)

1. 撮像手段と、当該撮像手段で得たＲＡＷ画像データを複数のチャネルに変換する変換手段と、チャネルごとに周波数変換、量子化、そしてエントロピー符号化を行う符号化手段とを有する撮像装置であって、
   前記変換手段で得た複数のチャネルのうち明度成分を主とするチャネルについての前記周波数変換で得られた低周波成分のサブバンドに基づき、１画面を複数の領域に分割した場合の各領域の明度を分類する分類手段と、
   明度ごとに、各領域の前記量子化の前後のデータの差の程度を表す指標値を導出する導出手段と、
   明度の低い指標値を優先して、画質を評価する評価手段と、
   を有することを特徴とする撮像装置。
2. 前記分類手段は、予め設定された閾値を用いて、前記領域を、少なくとも暗部、明部、および、その中間を示す中間部の３つの分類することを特徴とする請求項１に記載の撮像装置。
3. 前記周波数変換は離散ウェーブレット変換であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記導出手段は、量子化前のＲＡＷ画像データと、復号して得たＲＡＷ画像データに基づくＰＳＮＲ値を前記指標値として、明度ごとに導出することを特徴とする請求項３に記載の撮像装置。
5. 前記導出手段は、量子化前のサブバンドにおける非ゼロの変換係数の個数と量子化後のサブバンドの非ゼロの変換係数の個数との差を前記指標値として、明度ごとに導出することを特徴とする請求項３に記載の撮像装置。
6. 前記導出手段は、量子化する際の量子化パラメータに対して、明度ごとに補正した量子化パラメータを前記指標値として、明度ごとに導出することを特徴とする請求項３に記載の撮像装置。
7. 前記評価手段による評価結果を、表示する表示手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記ＲＡＷ画像データはベイヤ配列の画像データであって、
   前記変換手段は、前記ＲＡＷ画像データから、Ｒ成分のみで構成されるＲチャネル、Ｂ成分のみで構成されるＢチャネル、Ｇ１成分のみで構成されるＧ１チャネル、Ｇ２成分のみで構成されるＧ２チャネルに変換し、
   前記分類手段は、前記Ｇ１チャネル、もしくは、Ｇ２チャネルの画像データに基づいて明度の分類を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記ＲＡＷ画像データはベイヤ配列の画像データであって、
   前記変換手段は、輝度に対応するチャネルと、色差に対応する複数のチャネルに変換し、
   前記分類手段は、前記輝度に対応するチャネルのデータに基づいて明度の分類を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 前記符号化手段が符号化する１フレームの目標符号量を、ユーザの操作に従って設定する手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 撮像手段と、当該撮像手段で得たＲＡＷ画像データを複数のチャネルに変換する変換手段と、チャネルごとに周波数変換、量子化、そしてエントロピー符号化を行う符号化手段とを有する撮像装置の制御方法であって、
    前記変換手段で得た複数のチャネルのうち明度成分を主とするチャネルについての前記周波数変換で得られた低周波成分のサブバンドに基づき、１画面を複数の領域に分割した場合の各領域の明度を分類する分類工程と、
    明度ごとに、各領域の前記量子化の前後のデータの差の程度を表す指標値を導出する導出工程と、
    明度の低い指標値を優先して、画質を評価する評価工程と、
    を有することを特徴とする撮像装置の制御方法。
12. 撮像手段と、当該撮像手段で得たＲＡＷ画像データを複数のチャネルに変換する変換手段と、チャネルごとに周波数変換、量子化、そしてエントロピー符号化を行う符号化手段とを有するコンピュータが読み込み実行することで、前記コンピュータに、請求項１１に記載の方法の各工程を実行させるためのプログラム。

Images