JP6875817B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムに関する。

昨今のデジタルカメラやデジタルカムコーダー等の撮像装置は、撮像素子にＣＣＤセンサまたはＣＭＯＳセンサを採用している。それらのセンサは主に単板式で構成されており、センサ表面のカラーフィルターアレイ（以下、ＣＦＡと呼称する）によって１つの画素で１つの色成分（例えばＲＧＢの内の１つ）の画素値を取得する。ＣＦＡを用いることで、例えば図２（ａ）に示すようなＲ（赤）、Ｇ０（緑）、Ｂ（青）、Ｇ１（緑）の周期的なパターンで配置されたベイヤー配列の画像データ（以下、ＲＡＷデータと呼称する）が得られる。人間の視覚が輝度成分に対し、高い感度を持っていることから、図２（ａ）のＲＡＷデータは輝度成分を多く含む緑成分が赤成分や青成分に比べ２倍の画素数を割り当てられている。ＲＡＷデータは前述した通り、１画素に１つの色成分の情報しか持たないため、デモザイク処理を用いて、１画素に対して赤、青、緑の画素値を生成する必要がある。「デモザイク」（de-mosaic）処理とは、各画素に対してその周辺画素から足りない色情報を集め与えることで色情報を補完し、フルカラー画像を作り出す処理である。

一般に、撮像装置においては、デモザイクによって得られたＲＧＢ信号、あるいはＲＧＢ信号から変換して得られたＹＵＶ信号の画像データを符号化して記録する。一方、近年では、デモザイク前のＲＡＷデータを符号化して記録する方法も提案されている。

例えば、特許文献１には、ＲＡＷデータを信号成分毎（Ｒ、Ｇ０、Ｂ、Ｇ１）に分類して４つのコンポーネント（プレーン）に整理した後に符号化をする方法が示されている。

特開２００３−１２５２０９号公報

しかしながら、ＲＡＷデータを各色の信号成分毎に分離することで、元々画素位置が近く、同色で相関が高いＧ０成分とＧ１成分を別プレーンに分離してしまうことになる。そのため、Ｇ０、Ｇ１それぞれにおいて隣接画素の画素値が離れてしまう場合があり、結果として符号化効率が悪くなることが考えられる。

そこで、本発明は、ＲＡＷデータの効率的な符号化を可能とする技術を提供することを目的とする。

上記課題を解決するための本発明は、ベイヤー配列の画像データを符号化する画像処理装置であって、
前記画像データを構成する複数の色成分を前記ベイヤー配列に基づき複数のプレーン画像データに分離する色分離手段と、
前記複数のプレーン画像データのうち、同色の成分同士を加算して和プレーンのプレーン画像データを生成する和プレーン生成手段と、
前記同色の成分同士を減算して差プレーンのプレーン画像データを生成する差プレーン生成手段と、
前記和プレーンのプレーン画像データと、前記差プレーンのプレーン画像データとを含む複数のプレーン画像データを、それぞれ周波数変換して複数のサブバンドのデータを取得する変換手段と、
前記変換手段が変換したプレーン画像データの前記複数のサブバンドのデータを圧縮符号化する符号化手段であって、前記同色の成分のプレーン画像データについては、前記和プレーン及び前記差プレーンのプレーン画像データを圧縮符号化する符号化手段と、
前記符号化手段により圧縮符号化されるプレーン画像データの符号量を制御するためのパラメータを決定する制御手段であって、サブバンドごとに前記パラメータを決定する制御手段と、
を備え、
前記制御手段は、前記和プレーンにおいては、高域のサブバンドよりも低域のサブバンドに符号量が多く割り当てられ、かつ、前記差プレーンにおいては、低域のサブバンドよりも高域のサブバンドに符号量が多く割り当てられるように前記パラメータを決定することを特徴とする。

本発明によれば、ＲＡＷデータの効率的な符号化が可能となる。

発明の実施形態に係る撮像装置の構成例を示すブロック図である。 発明の実施形態に係る画像処理部の構成例を示すブロック図である。 （ａ）ベイヤー配列を示す図、及び、（ｂ）倍密度ベイヤー配列を示す図である。 発明の実施形態１に係る符号化動作の一例を示すフローチャートである。 ベイヤー配列のＲＡＷデータの色分離、プレーン形成方法を模式的に示す図である。 発明の実施形態に係る和プレーン生成方法の一例を示す説明図である。 発明の実施形態に係る差プレーン生成方法の一例を示す説明図である。 ウェーブレット変換後のサブバンド画像を例示する図である。 倍密度ベイヤーの色成分毎の画素値の扱いを表した図である。 発明の実施形態２に係る符号化動作の一例を示すフローチャートである。 発明の実施形態３に係る符号化動作の一例を示すフローチャートである。 発明の実施形態３に係るサブバンド毎に和プレーンと差プレーンの目標符号量の重み付けの一例を示す図である。 発明の実施形態４に係る画像処理部の構成例を示すブロック図である。 発明の実施形態４に係る符号化動作の一例を示すフローチャートである。 発明の実施形態５に係るプレーン、サブバンド毎の目標符号量の重み付けの一例を示す図である。

以下、本発明の好ましい実施の形態を添付の図面を参照して詳細に説明する。なお、本発明は以下の実施の形態に限定されるものではない。すなわち、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

また、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

［実施形態１］
以下、発明の第１の実施形態について説明する。本実施形態では、デジタルカメラ等の撮像装置を例にとって説明するが、ベイヤー配列のＲＡＷ画像データを圧縮することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等の通信装置や情報処理装置等であってもよい。以下、発明の実施形態に対応する撮像装置について説明する。

まず、図１Ａを参照して、本実施形態の撮像装置１００の主要な構成を説明する。図１において、制御部１０１は、例えば、ＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）、不揮発性メモリ（ＥＥＰＲＯＭ）などからなり、各種処理（プログラム）を実行して撮像装置１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部１０１は、ユーザからの操作を受け付ける操作部１０２からの操作信号に応じて、撮像装置１００の各ブロックを制御する。

操作部１０２は、例えば、電源ボタン、静止画記録ボタン、動画記録開始ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類からなる。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等からなり、ユーザによりこれらのキーやボタンが操作されると制御部１０１に操作信号を送信する。なお、撮像装置１００は、不図示の電気的に消去・記録可能な不揮発性メモリを有し、制御部１０１の動作用の定数、プログラム等が記憶される。

撮像部１０３は、レンズにより取り込まれた被写体の光学像（被写体像）を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部１０４に送信する。画像処理部１０４は、入力されたデジタル画像信号を処理し、処理された画像データは制御部１０１により不図示の不揮発性メモリに格納される。具体的な処理については後述する。なお、ここで撮像素子により得られた画像信号は、いわゆるＲＡＷ画像データであり、ベイヤー配列のＲＧＢデータである。

音声入力部１０５は、例えば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置１００の周囲の音声を集音（収音）し、アナログデジタル変換をして音声処理部１０６に送信する。音声処理部１０６は、入力されたデジタル音声信号のレベルの適正化処理等の音声に関する処理を行う。そして、音声処理部１０６で処理された音声データは、制御部１０１により不図示の不揮発性メモリに格納される。

画像処理部１０４及び音声処理部１０６により処理され、不図示の不揮発性メモリに格納された画像データ、音声データは、制御部１０１により、記録再生部１１０に送信され、記録媒体１１１に記録される。ここで、記録媒体１１１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよく、撮像装置１００で生成した圧縮画像信号、圧縮音声信号、音声信号、各種データなどを記録することができればよい。例えば、記録媒体１１１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

また、記録媒体１１１に記録された圧縮画像信号、圧縮音声信号は、画像処理部１０４及び音声処理部１０６により復号され、画像は表示制御部１０９を介して表示部１０８に表示され、音声はスピーカユニット１０７より音声出力される。

通信部１１２は、撮像装置１００と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド等の、撮影にかかる制御信号や、その他の情報を送信したり受信したりする。通信部１１２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。

次に、本実施形態に対応する画像処理部１０４の構成及び処理の流れについて、図１ｂのブロック図を参照しながら説明を行う。

本実施形態の画像処理部１０４は符号化部として機能し、色分離部１２１、メモリＩ／Ｆ部１２２、メモリ１２３、和プレーン生成部１２４、差プレーン生成部１２５、符号化順序設定部１２６、符号量制御部１２７、ウェーブレット変換部１２８、量子化部１２９、エントロピー符号化部１３０、及び符号量判定部１３１で構成される。

色分離部１２１はベイヤー配列のＲＡＷデータを図４に示すようにＲ、Ｇ０、Ｇ１、Ｂの画素毎に独立したプレーン画像データ（以下、単に「プレーン」という）に分離する。色分離部１２１によって生成された各色成分のプレーンの内、Ｒ、Ｂプレーンは、メモリＩ／Ｆ部１２２を介してメモリ１２３に書き込まれ、Ｇ０、Ｇ１プレーンは和プレーン生成部１２４、差プレーン生成部１２５に入力される。メモリＩ／Ｆ部１２２は、各処理部からのメモリアクセス要求を調停し、メモリ１２３に対する読み出し・書き込み制御を行う。メモリ１２３は各処理部から出力される各種データを保持するための記憶領域である。

和プレーン生成部１２４は、図５に示すように、入力された２つのプレーンの同位置の画素値同士を加算し、出力される和プレーンの画素値とする。和プレーン生成部１２４によって生成された和プレーンは、メモリＩ／Ｆ部１２２を介してメモリ１２３に書き込まれる。差プレーン生成部１２５は、図６に示すように、入力された２つのプレーンの同位置の画素値同士を減算し、出力される差プレーンの画素値とする。差プレーン生成部１２５によって生成された差プレーンは、メモリＩ／Ｆ部１２２を介してメモリ１２３に書き込まれる。

符号化順序設定部１２６は、Ｒ、Ｂ、和、差プレーンの符号化の順番を設定して、メモリ１２３から設定した順番通りにプレーンを読みだすように、メモリＩ／Ｆ部１２２を制御する。符号量制御部１２７は、各プレーンの符号化データの目標符号量を、量子化部１２９、及び符号量判定部１３１に設定する。

ウェーブレット変換部１２８は、メモリＩ／Ｆ部１２２を介してメモリ１２３から読み出したＲ、Ｂ、及び和、差プレーンに対して、ウェーブレット変換を実行した後、サブバンド画像の形式で生成した変換係数を量子化部１２９に送る。ここで、ウェーブレット変換とは、処理対象の画像を周波数帯域毎に階層的な画像（サブバンド）に変換する変換処理である。具体的に、画像全体に対してローパスフィルタ処理とハイパスフィルタ処理を掛けることで、低域成分と高域成分を切り分ける処理のことを指す。ウェーブレット変換後の変換係数は図７に示すようなサブバンド画像の形式をとる。ウェーブレット変換は、分割回数を増やす度に低域のサブバンドのみを繰り返し分割するが、これは画像のエネルギーの多くが低域バンドに集中している特性を利用して符号化効率を高くするために使用される。

続いて、サブバンド画像について図７を用いて説明する。図７はウェーブレット変換を２回実行して生成されたサブバンド画像の例であり、計７個のサブバンドで形成されていることを表す。ここで、Ｌが低域、Ｈが高域を表し、Ｌ、Ｈの前の数字が階層レベルを表す。例えば、１ＨＬは、水平方向が高域成分で、垂直方向が低域成分である階層レベル＝１のサブバンド画像を表す。また、左上のサブバンドほど低域成分を多く持ち、画像のエネルギーが集中している。

量子化部１２９は、ウェーブレット変換部１２８から送られたサブバンド画像に対し、量子化を実行して、エントロピー符号化部１３０に送る。尚、量子化を行う際に用いるパラメータは、符号量制御部１２７によって設定された目標符号量を基に設定される。エントロピー符号化部１３０は、量子化部１２９で量子化されたサブバンド画像を、エントロピー符号化して符号化データを生成する。生成された符号化データは符号量判定部１３１に送られる。エントロピー符号化部１３０で実行されるエントロピー符号化としては、例えばＪＰＥＧ２０００方式で採用されているＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）を用いる。符号量判定部１３１は、エントロピー符号化部１３０から送られた符号化データが、符号量制御部１２７によって設定された目標符号量よりも大きくなるか判定する。

また、本実施形態では符号化データが目標符号量よりも大きかった場合、符号量判定部１３１は符号化データの大きさが目標符号量を満たすように、符号化データを更に圧縮する。符号化データを更に圧縮する方法としては、例えばＪＰＥＧ２０００の機能の１つであるポスト量子化を用いる。ポスト量子化は、ＪＰＥＧ２０００で用いられているエントロピー符号化のＥＢＣＯＴが、変換係数を各ビットプレーンで符号化していることを利用して、完成した符号化データを下位ビットから切り捨てることで、目標符号量を達成する方法である。

続いて、本実施形態のＲＡＷデータ１フレームに対する符号化処理について図３に示すフローチャートを基に説明を行う。図３のフローチャートは、例えば、画像処理部１０４として機能するプロセッサがメモリ（ＲＯＭ）に格納されているプログラムをワークメモリ（ＲＡＭ）に展開し実行することにより実現することができる（他の実施形態における図３に対応するフローチャートについても同様）。

まず、Ｓ３０１では、色分離部１２１がＲＡＷデータからＲ、Ｂ、Ｇ０、Ｇ１を分離してそれぞれでプレーンを形成する。色成分毎にプレーンを形成した後に、Ｓ３０２において和プレーンと差プレーンとを生成する。具体的に、和プレーン生成部１２４がＧ０プレーンとＧ１プレーンの加算を実行して、和プレーンを生成する。また、差プレーン生成部１２５がＧ０プレーンとＧ１プレーンの減算を実行して、差プレーンを生成する。尚、Ｒ、Ｂプレーン及び和、差プレーンはそれぞれを生成した後に、メモリＩ／Ｆ部１２２を介してメモリ１２３に書き込まれる。

Ｒ、Ｂ、和、差プレーンを生成した後、Ｓ３０３にて符号化順序設定部１２６がどのプレーンから符号化処理を実行するかを設定する。ここでは一例としてＲ、Ｂ、和、差の順番に設定するが、この順番に限定されるものではない。符号化対象のプレーンを設定した後、Ｓ３０４にて符号量制御部１２７が選択されたプレーンに対し目標符号量を設定する。本実施形態では、符号量制御部１２７はＲＡＷデータ全体の目標符号量をプレーン数で等分した値をプレーン毎の目標符号量として設定する。すなわち、Ｒ、Ｂ、和、差プレーンそれぞれの目標符号量はほぼ同じ符号量に設定される。

目標符号量を設定した後、Ｓ３０５にてウェーブレット変換部１２８が、選択プレーンをメモリＩ／Ｆ部１２２を介してメモリ１２３から読み出し、ウェーブレット変換を実行する。次に、Ｓ３０６にて、ウェーブレット変換された画像を量子化部１２９が量子化する。尚、量子化に用いる量子化パラメータは、符号量制御部１２７で設定した目標符号量に基づいて決定する。

量子化後、Ｓ３０７にて、エントロピー符号化部１３０がサブバンド画像を圧縮符号化して、符号化データを出力する。圧縮符号化の終了後、符号量判定部１３１はＳ３０８にて、出力符号化データの符号量が、符号量制御部１２７が設定した目標符号量よりも大きいか判定する。もし目標符号量よりも大きい場合は、Ｓ３０７に戻ってエントロピー符号化部１３０が、目標符号量を満たすために符号化データを更に圧縮する。符号量が目標符号量以下の場合はＳ３０９にて、Ｒ、Ｂ、和、差プレーンの全てに対して符号化が実行されたかどうかを判定し、未処理のプレーンがあればＳ３０３に戻って処理を継続する。一方、全てについて処理が完了した場合は符号化処理を終了する。

尚、本実施形態では、１フレーム単位での処理の例を示したが、任意の大きさに分割して、それぞれで独立して上記の処理を実行しても良い。また、本実施形態ではウェーブレット変換を用いた例を示したが、ＪＰＥＧやＪＰＥＧ ＸＲ、ＭＰＥＧ−４ ＡＶＣ等の符号化技術で用いられている離散コサイン変換を代わりに用いても良い。更に、エントロピー符号化をハフマン符号化にしても良い。

尚、本実施形態では、図２（ａ）に示すようなベイヤー配列の画素データを扱ったが、図２（ｂ）に示すような倍密度ベイヤー配列を用いても良い。倍密度ベイヤー配列は、ベイヤー配列の画素密度を２倍にするとともに斜め４５゜に配列した画素配列であり、Ｒ０、Ｒ１、Ｂ０、Ｂ１、及びＧで構成されている。倍密度ベイヤー配列は、ベイヤー配列と同様、Ｇの画素数がＲ（Ｒ０とＲ１の合計数）やＢ（Ｂ０とＢ１の合計数）の２倍になっている。倍密度ベイヤー配列を符号化する際には、図８（ａ）から（ｃ）に示すようにＲ０、Ｒ１、Ｂ０、Ｂ１、及びＧでプレーンを生成し、Ｒ０とＲ１、Ｂ０とＢ１でそれぞれ和プレーンと差プレーンを生成することで、ベイヤー配列と同様にプレーン毎の符号化処理を行うことができる。

この場合、図３の処理では、Ｓ３０１でＲ０、Ｒ１、Ｂ０、Ｂ１、及びＧでプレーンを生成し、Ｓ３０２でＲ０とＲ１、Ｂ０とＢ１でそれぞれ和プレーンと差プレーンを生成する。その後、ＧプレーンとＲの和プレーン、差プレーン、Ｂの和プレーン、差プレーンとにつき、Ｓ３０３からＳ３０９までの処理を実行する。

以上のように本実施形態によれば、ベイヤー配列の各色成分をそれぞれ独立した画像であるプレーンに分離し、そのうち同色成分同士のプレーンから、加算により和プレーンを、減算により差プレーンをそれぞれ生成する。即ち、通常のベイヤー配列では、Ｇ０とＧ１の緑の同色成分同士から和プレーン、差プレーンを生成し、倍密度ベイヤー配列ではＲ０とＲ１の赤成分、Ｂ０とＢ１の青成分の同色成分同士からそれぞれ和プレーン、差プレーンを生成する。ここで、加算はローパスフィルタ演算であるため、和プレーンの生成はＲＡＷデータの緑成分に対して、ローパスフィルタで低域成分を抽出する処理に相当する。また、減算はハイパスフィルタ演算であるため、差プレーンの生成はＲＡＷデータの緑成分に対して、ハイパスフィルタで高域成分を抽出する処理に相当する。そのため、符号化処理の前にＲＡＷデータの緑成分の低域成分と高域成分が切り分けられる。その結果、ウェーブレット変換時の周波数成分分割効率の悪化を軽減し、符号化処理の圧縮効率を高めることが出来る。なお、これは離散コサイン変換においても同様に、符号化処理の圧縮効率を高めることができる。

尚、本実施形態では基本となる目標符号量をＲ、Ｂ、Ｇ０、Ｇ１に均等に割り振っているが、Ｒ、Ｂの符号量を少なくし、Ｇ０、Ｇ１に多く割り振るなど、色成分毎に割り振る符号量の比率を変えても良い。

［実施形態２］
続いて、発明の第２の実施形態に対応する符号化方法について説明する。本実施形態において、撮像装置１００及び符号化部として機能する画像処理部１０４の構成は実施形態１の図１Ａ及び図１Ｂに示したものと同様である。本実施形態では、実施形態１で述べた、和プレーンがＲＡＷデータの緑成分の低域成分、差プレーンが高域成分に相当することを考慮し、和プレーンの符号量を差プレーンの符号量よりも大きく設定することを特徴とする。

以下、図９のフローチャートを参照して本実施形態の符号化動作を説明する。尚、実施形態１と同様の処理には同じ符号を付して示し、ここでの説明を簡略にする。まず実施形態１と同様に、Ｓ３０１からＳ３０３においてＲ、Ｂ、Ｇ０、Ｇ１毎にプレーンを形成し、Ｇ０、Ｇ１プレーンを用いて和プレーンと差プレーンを生成した後、Ｒ、Ｂ、和、差プレーンのどのプレーンに対して符号化処理を実行するかを設定する。本実施形態でも、一例としてＲ、Ｂ、和、差の順番に設定されるものとする。続いて、Ｓ９０１にて符号化順序設定部１２６が、和プレーンを符号化対象として設定しているか否かを判定する。和プレーンが符号化対象である場合、Ｓ９０２において差プレーンよりも符号量が多くなるように符号量制御部１２７が目標符号量の重み付けを設定する。

本実施形態では目標符号量に重みを付ける方法として、符号量制御部１２７が別途設定した基本の目標符号量（一例として、ＲＡＷデータ全体の目標符号量をプレーン数で等分した値とする）を、任意に設定したパラメータＸ（％）だけ増大させる手法を用いる。重み付けに基づいた和プレーンの目標符号量の設定方法は例えば式１に基づく方法がある。ここで、基本の目標符号量をＴ、重み付け後の目標符号量をＴ'とする。

Ｔ' ＝ （１００＋Ｘ）Ｔ／１００ （式１）
例えば、Ｘを１５と設定した場合、和プレーンの目標符号量は、基本の目標符号量に対して１５％だけ大きくなる。しかしながら、和プレーンの目標符号量を大きくすることで、ＲＡＷデータ全体の目標符号量が増大してしまう。そこで本実施形態では、和プレーンについて増加した分、差プレーンの目標符号量を減少させる。具体的に、Ｓ９０３にて符号化順序設定部１２６が、差プレーンを符号化対象として設定しているか否かを判定する。差プレーンが符号化対象である場合、Ｓ９０４にて符号量制御部１２７は差プレーンの目標符号量が基本の目標符号量と比べ、Ｘ％だけ少なくなるように重み付けを設定する。重み付けに基づいた差プレーンの目標符号量の設定方法は例えば式２に基づく方法がある。ここで、基本の目標符号量をＴ、重み付け後の目標符号量をＴ'とする。

Ｔ' ＝ （１００−Ｘ）Ｔ／１００ （式２）
このようにして、和プレーンの符号量が増加した分だけ差プレーンの符号量が少なくなるように差プレーンの目標符号量に重み付けをすることで、ＲＡＷデータ全体の符号量の増大を抑えることができる。符号化順序設定部１２６が設定する符号化対象のプレーンが、和プレーン、差プレーンの何れでもない（つまりＲ、Ｂプレーン）場合（Ｓ９０１、Ｓ９０３で共に「ＮＯ」）、符号量制御部１２７は基本となる目標符号量をそのまま設定する。よって、重み付けを設定しない。符号量制御部１２７がＳ３０４でプレーン毎の重み付けを反映した目標符号量を設定した後、実施形態１と同様にＳ３０５からＳ３０９の処理を行う。

尚、本実施形態では１フレーム単位での処理の例を示したが、任意の大きさに分割して、それぞれで独立して上記の処理を実行しても良い。また、本実施形態ではウェーブレット変換を用いた実施例を示したが、ＪＰＥＧやＪＰＥＧ ＸＲ、ＭＰＥＧ−４ ＡＶＣ等の符号化技術で用いられている離散コサイン変換を代わりに用いても良い。更に、エントロピー符号化をハフマン符号化にしても良い。

尚、本実施形態では、図２（ａ）に示すようなベイヤー配列の画素データを扱ったが、図２（ｂ）、図８に示すような倍密度ベイヤー配列を用いても良い。この場合、Ｒ０とＲ１、Ｂ０とＢ１でそれぞれ和プレーンと差プレーンを生成した場合に、和プレーンの目標符号量を差プレーンに対して大きく設定することができる。

以上の様に本実施形態によれば、和プレーンを他のプレーンよりも重視し、符号量を多く割り当てることで、ＲＡＷデータの緑成分が有する低域成分の劣化を抑えることができる。画像の低域成分は画質への影響が大きく、また画像の輝度成分は緑成分を赤、青成分よりも多分に含む。そのため本実施例を適用することで、ＲＡＷデータの緑成分、延いては画像の輝度の低域成分を維持し、画質劣化を抑えることができる。尚、本実施形態でも基本となる目標符号量をＲ、Ｂ、Ｇ０、Ｇ１に均等に割り振っているが、Ｒ、Ｂの符号量を少なくし、Ｇ０、Ｇ１に多く割り振るなど、色成分毎に割り振る符号量の比率を変えても良い。

［実施形態３］
続いて、発明の第３の実施形態に対応する符号化方法について説明する。本実施形態において、撮像装置１００及び符号化部として機能する画像処理部１０４の構成は実施形態１の図１Ａ及び図１Ｂに示したものと同様である。本実施形態では、実施形態２で述べた和プレーンと差プレーンの目標符号量の重み付けにつき、ウェーブレット変換の特徴を活かした手法を述べる。

以下、図１０のフローチャートを参照して本実施形態の符号化動作を説明する。尚、実施形態１と同様の処理には同じ符号を付して示し、ここでの説明を簡略にする。

まず実施形態１と同様に、Ｓ３０１からＳ３０３においてＲ、Ｂ、Ｇ０、Ｇ１毎にプレーンを形成し、Ｇ０、Ｇ１プレーンを用いて和プレーンと差プレーンを生成した後、Ｒ、Ｂ、和、差プレーンのどのプレーンに対して符号化処理を実行するかを設定する。本実施形態でも、一例としてＲ、Ｂ、和、差の順番に設定されるものとする。続いて、Ｓ１００１にて符号化順序設定部１２６が和プレーンを符号化対象のプレーンとして設定しているか否かを判定する。和プレーンが符号化対象である場合、Ｓ１００２にて符号量制御部１２７が和プレーンに対して設定された重み付けを目標符号量に施す。また、符号化順序設定部１２６が差プレーンを符号化対象のプレーンとして設定しているか否かを判定する。差プレーンが符号化対象である場合、Ｓ１００４にて符号量制御部１２７が差プレーンに対して設定された重み付けを目標符号量に施す。

本実施形態では、ウェーブレット変換により周波数成分がサブバンド毎に切り分けられていることを利用して、符号量制御部１２７による和プレーンと、差プレーンの目標符号量の設定をサブバンド毎に行う。目標符号量の設定方法の詳細については図１１を参照して後述する。符号化順序設定部１２６が設定する符号化対象のプレーンが、和、差プレーンの何れでもない（Ｒ、Ｂプレーン）場合、基本となる目標符号量（例えば、ＲＡＷデータ全体の目標符号量をプレーン数で等分した値とする）をそのまま設定する。符号量制御部１２７がＳ３０４でサブバンド毎の重み付けを反映した目標符号量を設定した後、実施形態１と同様にＳ３０５からＳ３０９の処理を行う。

次に、本実施形態におけるサブバンド毎の和プレーンと差プレーンの目標符号量の重み付けについて説明する。和プレーンと差プレーンの目標符号量の重み付けの例を図１１に示す。図１１のサブバンド画像は説明を簡単にするため、ウェーブレット変換による分割回数を１回としている。また、図１１の４隅のオブジェクトは、各サブバンドの和プレーンと差プレーンの符号量の比率を表したものである。和プレーンはＲＡＷデータの緑成分の低域に相当するため、ウェーブレット変換の結果として、低域のサブバンドに画像のエネルギーがより多く集中する。そこで、低域のサブバンドで和プレーンの符号量の比率を、差プレーンよりも大きくすることで、画像のエネルギーをより多く残し、画質劣化を抑制することができる。

一方で、低域の情報を優先することで、画像の輪郭がぼやけてしまうことも想定される。そこで、差プレーンがＲＡＷデータの緑成分の高域に相当することから、高域のサブバンドでは差プレーンの符号量の比率を和プレーンと同等、あるいは和プレーンよりも大きくすることで、高域の情報を残し画像の輪郭を保つことができる。和プレーン及び差プレーンの符号量を割り振る際に、各サブバンドで和プレーンと差プレーンの目標符号量の合計を設定する。本実施形態では、ＲＡＷデータ全体の目標符号量から算出した、プレーン二つ分の目標符号量を更にサブバンド数で等分した値を、和プレーンと差プレーンの目標符号量の合計として設定する。例えば、ＲＡＷデータ全体の目標符号量が８００ＫＢ、サブバンド数が４つとすると、プレーン２つ分の目標符号量は４００ＫＢである。また、各サブバンドの和プレーンと差プレーンの符号量の合計はそれぞれ１００ＫＢに設定される。

和プレーンと差プレーンのサブバンド毎の符号量の割り振りを、サブバンド毎の和プレーンと差プレーンの符号量の合計を１００ＫＢ、サブバンド数が４つ、図１１で示した比率を用いた場合で具体的に示す。０ＬＬバンドは和プレーンと差プレーンの比率が８：２であることから、和プレーンに８０ＫＢ、差プレーンに２０ＫＢ割り振られる。同様に１ＨＬバンド、１ＬＨバンドで和プレーンと差プレーンの比率が６：４であることから、和プレーンに６０ＫＢ、差プレーンに４０ＫＢ割り振られる。１ＨＨバンドでは和プレーンと差プレーンの比率が４：６であることから、和プレーンに４０ＫＢ、差プレーンに６０ＫＢ割り振られる。

このようにサブバンド毎に和プレーンと差プレーンの符号量が割り振られる。尚、和プレーンと差プレーンのサブバンド毎の符号量設定については、符号量制御部１２７で実行する。なお、本実施形態では１フレーム単位での処理の例を示したが、任意の大きさに分割して、それぞれで独立して上記の処理を実行しても良い。

以上の本実施形態によれば、和プレーンと差プレーンの符号量をサブバンド毎に細かく設定することができる。具体的には、低域のサブバンドでＲＡＷデータの緑成分の低域に相当する和プレーンの符号量を多く、高域のサブバンドでＲＡＷデータの緑成分の高域に相当する差プレーンの符号量を多くするように、それぞれの目標符号量に重み付けをする。その効果として、低域成分だけでなく、高域成分も残すことが出来、画質劣化を抑えることが出来る。

尚、本実施形態では、各サブバンドの和プレーンと差プレーンの符号量の合計を均等にしているが、各サブバンドで違う値を設定しても良い。例えば、０ＬＬ、１ＨＬ、１ＬＨ、１ＨＨで１００ＫＢとしていたのを、０ＬＬで１３０ＫＢ、１ＨＬ、１ＬＨで１００ＫＢ、１ＨＨで７０ＫＢとしても良い。

［実施形態４］
続いて、発明の第４の実施形態に対応する符号化方法について説明する。本実施形態では、和プレーンと差プレーンの目標符号量の重み付けの際に、差プレーンを構成するＧ０プレーンとＧ１プレーンの差分値のばらつきから差プレーンの発生符号量を予測し、動的に重み付けを変更する。本実施形態において、撮像装置１００の構成は実施形態１の図１Ａに示したものと同様である。但し、本実施形態に係わる符号化部としての画像処理部１０４の構成は図１２に示す通りである。本実施形態の画像処理部１０４の構成は、画像特徴解析部１２０１と重み付け設定部１２０２とを有し、画像特徴解析処理と重み付け設定処理を行う点で、図１Ｂの構成とは異なる。尚、図１Ｂと同様の構成部分は同じ参照符号を付して示し、ここでの説明を省略する。

以下、図１３のフローチャートを参照して本実施形態の符号化動作を説明する。尚、実施形態１と同様の処理には同じ符号を付して示し、ここでの説明を簡略にする。

まず実施形態１と同様に、Ｓ３０１とＳ３０２にてＲ、Ｂ、Ｇ０、Ｇ１毎にプレーンを形成し、Ｇ０、Ｇ１プレーンを用いて和プレーンと差プレーンを生成する。その後、Ｓ１３０１にて画像特徴解析部１２０１が差プレーンの画素値のばらつきを解析し、解析情報に基づき重み付け設定部１２０２が和プレーンと差プレーンの符号量の重み付け設定に用いるパラメータＹを設定する。本実施形態では、ばらつきの解析の際には、式３の式に基づく分散を用いる。分散をδ、ｍを差プレーンを構成する成分の総数、ｘ^を差プレーンの全成分の平均値、ｘｉを差プレーンを構成する１からｍ番の成分の内のｉ番目の成分の値をそれぞれ表す。

重み付け設定部１２０２は、複数の閾値を有しており、画像特徴解析部１２０１が出力した分散と閾値を照らし合わせてパラメータＹを設定する。Ｙの設定方法の具体例については後述する。パラメータＹを設定した後、Ｓ３０３にて符号化順序設定部１２６がＲ、Ｂ、和、差プレーンのどのプレーンに対して符号化処理を実行するかを設定する。本実施形態では、一例として和、差、Ｒ、Ｂの順番に設定されるものとする。Ｓ１３０２で符号化順序設定部１２６が和プレーンを符号化対象として設定しているか否かを判定する。和プレーンを符号化対象に設定している場合、Ｓ１３０３にて符号量制御部１２７がパラメータＹに基づいて和プレーンの符号量の重み付けを設定する。和プレーンを符号化対象に設定していない場合、Ｓ１３０４で符号化順序設定部１２６が差プレーンを符号化対象として設定しているか否かを判定する。差プレーンを符号化対象に設定している場合、Ｓ１３０５にて符号量制御部１２７がパラメータＹに基づいて差プレーンの符号量の重み付けを設定する。符号化順序設定部１２６が設定する符号化対象のプレーンが、和、差プレーンの何れでもない（Ｒ、Ｂプレーン）場合、基本となる目標符号量をそのまま設定する。ここでは、ＲＡＷデータ全体の目標符号量を、プレーン数で等分した値を用いることができる。その後、符号量制御部１２７がプレーン毎の重み付けを反映した目標符号量を設定した後、実施形態１と同様にＳ３０５からＳ３０９までの処理を行う。

続いて、差プレーンの分散の解析と符号量の重み付けについて説明する。前述した通り、重み付け設定部１２０２は、複数の閾値を有しており、画像特徴解析部１２０１が出力した分散と閾値を照らし合わせて重み付けパラメータＹを設定する。ここで、例として閾値をＴ１、Ｔ２（Ｔ１＜Ｔ２）、重み付け設定用パラメータＹを０、１、２とする。差プレーンの分散δがＴ１以下（Ｔ１≧δ）の場合にＹ＝０とする。分散がＴ１とＴ２の間の値である場合（Ｔ１＜δ＜Ｔ２）にＹ＝１とする。分散がＴ２以上の場合（Ｔ２≦δ）にＹ＝２とする。差プレーンの分散δが大きい場合、差プレーンの発生符号量が大きくなる。そこで分散が大きいときに設定されるＹ＝２の場合は、差プレーンの符号量をできるだけ少なくしない（増やす）ように重み付けを設定する。逆に、分散が小さいほど差プレーンの発生符号量は少なくなる。そこで分散が小さいときに設定されるＹ＝０の場合は、和プレーンの符号量をできるだけ多くするように重み付けが設定される。

また、重み付け前の目標符号量として、基本の目標符号量が、符号量制御部１２７によって別途設定される。ここでは、ＲＡＷデータ全体の目標符号量を、プレーン数で等分した値を用いる。符号量の重み付けは、和プレーンの符号量が、差プレーン符号量よりも多くなるように設定される。符号量の重み付けについて例を示すと、Ｙ＝０の場合は、和プレーンの目標符号量を１０％増大、差プレーンの目標符号量を１０％減少させる。また、Ｙ＝１の場合に和プレーンの目標符号量を５％減少、差プレーンの目標符号量を５％増大させ、Ｙ＝２の場合に和プレーンの目標符号量を２０％減少、差プレーンの目標符号量を２０％増加させる。なお、ここに示す目標符号量の比率についてはあくまで一例であって、差プレーンの分散が大きいほど差プレーンに目標符号量を多めに割り振り、分散が小さくなるほど和プレーンに目標符号量を多めに割り振れればよい。

尚、本実施形態では１フレーム単位での処理の例を示したが、任意の大きさの領域に分割して、それぞれで独立して上記の処理を実行しても良い。本実施形態ではウェーブレット変換を用いた実施例を示したが、ＪＰＥＧやＪＰＥＧ ＸＲ、ＭＰＥＧ−４ ＡＶＣ等の符号化技術で用いられている離散コサイン変換を代わりに用いても良い。更に、エントロピー符号化をハフマン符号化にしても良い。

本実施形態によれば、低域成分への目標符号量を高域成分への目標符号量よりは多めに割り振りながらも、画像の特徴に基づいて、高域成分への目標符号量を適切に増減させることで画質を向上させることが出来る。輪郭がはっきりと出ている画像の場合は、輪郭がぼけた絵に比べて、隣接画素間の画素値の差が大きいため、差プレーンの分散が大きくなる。そこで、差プレーンの分散が大きいとき、差プレーンつまり高域成分への目標符号量を多めに割り振ることで、画像の輪郭を保つことができる。また、空模様などの隣接画素間の差が小さい平坦な画像の場合は、差プレーンの分散が小さくなる。そこで、差プレーンの分散が小さいときに、差プレーンの目標符号量を少なくし、和プレーンつまり低域成分の符号量を多くすることで、画質を良くすることが出来る。

尚、本実施形態では、差プレーンに対して画像特徴解析処理を行ったが、和プレーン、あるいはＲ、Ｂプレーンに対して画像特徴解析処理を行っても良い。その場合においても、解析処理の結果に基づき高域成分と低域成分とでどちらの成分が多いか、言い換えれば、どちらの成分に対してより符号量を割り当てるべきかを判別して、差プレーンと和プレーンのいずれに対して符号量を多く割り当てるかを決定することができる。例えば、和プレーンにおける分散を計算した場合、空模様など平坦度のより高い画像については和プレーンにおいても分散が小さくなり、平坦度が高い、即ち和プレーンに対する符号量を多くすべきことが判別できる。また、和プレーンの分散が大きい場合には、逆に差プレーンに対する符号量を多くすべきことを決定できる。

［実施形態５］
続いて、第５の実施形態に対応する符号化方法について説明する。本実施形態は、実施形態１〜４とは、目標符号量の設定方法が異なっているが、撮像装置１００及び符号化部として機能する画像処理部１０４の構成は実施形態１の図１Ａ及び図１Ｂに示したものと同様である。本実施形態では、実施形態２のようにプレーン毎の重みづけを行い、さらに、実施形態３のようにサブバンド毎の重みづけも行う。基本的な処理は同じであるため、説明は省略し、実施形態１〜４と異なる部分のみ、図１４を参照して説明する。

図１４（ａ）は、ベイヤ配列のＲＡＷ画像をＧ１、Ｇ２、Ｂ、Ｒプレーンに分離して、ウェーブレット変換して得られたサブバンド毎に符号化する場に、各プレーン、サブバンドに目標符号量を割り当てた場合を示している。この場合は、各プレーン、各サブバンドに対して、均等に目標符号量を割り当てている。
ＲＡＷデータ１フレームに対する目標符号量を１００％としたときに、Ｇ１、Ｇ２、Ｂ、Ｒの各プレーンには、それぞれ２５％割り当てられる。そして、プレーン内では、プレーンに割り当てたれた目標符号量を１００％としたときに、それぞれのサブバンド（ＬＬ、ＨＬ、ＬＨ、ＨＨ）には、２５％ずつ目標符号量が割り当てられる。各サブバンドのカッコ内の数値は、１フレームに対する目標符号量を１００％としたときに、各サブバンドに割り当てられる目標符号量を示している。

これに対し、図１４（ｂ）は、Ｇ１／Ｇ２プレーンから、和プレーン、差プレーンを生成し、和、差、Ｂ，Ｒプレーンを符号化する場合に、プレーンおよびサブバンドに応じて重みづけを行って目標符号量を割り当てた場合の目標符号量の割り当てを示している。１フレームの目標符号量を１００％としたとき、和プレーンに３０％、差プレーンに２０％、Ｂ／Ｒプレーンには、図１４（ａ）と同様に２５％割り当てている。

和プレーンはＲＡＷデータの緑の低域成分に相当し、差プレーンは、緑の高域成分に相当する。画像データにおいて、低域成分は重要な成分であり、低域成分の損失が大きいと画質が劣化するため、和プレーンには目標符号量を多く割り当てている。そして、高域成分は低域成分よりも重要度は低いため、差プレーンは、和プレーン、Ｂプレーン、Ｒプレーンよりも、少ない目標符号量を割りあてている。

また、各プレーンの目標符号量を、さらに、サブバンド毎に割り当てている。和プレーンについては、ＬＬ：ＨＬ：ＬＨ：ＨＨ＝４４：２０：２０：１６となるようにサブバンド目標符号量を割り当てている。このとき、やはり低域成分が重要な成分であるため低域のサブバンドに目標符号量をより多く割り当てている。１フレームに対する目標符号量を１００％としたときに、和プレーンには３０％のプレーン目標符号量が割り当てられている。そのため、１フレームの目標符号量に対する各サブバンドの目標符号量の比率は、ＬＬは１３．２％、ＨＬは６％、ＬＨは６％、ＨＨは４．８％となる。

差プレーンについては、ＬＬ：ＨＬ：ＬＨ：ＨＨ＝１３：２９：２９：２９となるようにサブバンド目標符号量を割り当てている。このとき、差プレーンは緑の高域成分に相当するため、差プレーンでは、高域のサブバンドに目標符号量をより多く割り当てて、他のプレーンでの高域のサブバンドへの目標符号量の割り当ての割合よりも多い割合となるようにしている。なお、図１４（ｂ）の例では、ＨＬ、ＬＨ、ＨＨの割当て比率は同一であるが、ＨＨをより高い比率としても良い。１フレームに対する目標符号量を１００％としたときに、差プレーンには２０％のプレーン目標符号量が割り当てられている。そのため、１フレームの目標符号量に対する各サブバンドの目標符号量の比率は、ＬＬは２．６％、ＨＬは５．８％、ＬＨは５．８％、ＨＨは５．８％となる。ここで、差プレーンのＨＨサブバンドの目標符号量は、和プレーンのＨＨサブバンドの目標符号量よりも大きくなっている。

ＢプレーンおよびＲプレーンについては、ＬＬ：ＨＬ：ＬＨ：ＨＨ＝２５：２５：２５：２５となるようにサブバンド目標符号量を割り当てている。１フレームに対する目標符号量を１００％としたときに、Ｂ／Ｒプレーンには２５％のプレーン目標符号量が割り当てられている。そのため、１フレームの目標符号量に対する各サブバンドの目標符号量の比率は、全て６．２５％となる。

このような比率で１フレームに与えられた目標符号量を、各サブバンドに割り当て、割り当てられた目標符号量に基づいて、上述の実施例で説明したように、量子化および符号化を行う。また、本実施形態では、図１４の目標符号量の比率で各プレーン、各サブバンドに目標符号量を割り当てた。しかし、さらに、実施形態４のように画像の解析を行って、解析結果に応じて、図１４の目標符号量の比率にさらに重みづけを行って、目標符号量を決定するようにしてもよい。この場合、画像解析の結果、プレーン目標符号量に重みづけをおこなってもよいし、サブバンド目標符号量に重みづけをおこなってもいし、プレーン目標符号量とサブバンド目標符号量の両方に重みづけをおこなってもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１０１：制御部、１０２：操作部

Claims (17)

1. ベイヤー配列の画像データを符号化する画像処理装置であって、
   前記画像データを構成する複数の色成分を前記ベイヤー配列に基づき複数のプレーン画像データに分離する色分離手段と、
   前記複数のプレーン画像データのうち、同色の成分同士を加算して和プレーンのプレーン画像データを生成する和プレーン生成手段と、
   前記同色の成分同士を減算して差プレーンのプレーン画像データを生成する差プレーン生成手段と、
   前記和プレーンのプレーン画像データと、前記差プレーンのプレーン画像データとを含む複数のプレーン画像データを、それぞれ周波数変換して複数のサブバンドのデータを取得する変換手段と、
   前記変換手段が変換したプレーン画像データの前記複数のサブバンドのデータを圧縮符号化する符号化手段であって、前記同色の成分のプレーン画像データについては、前記和プレーン及び前記差プレーンのプレーン画像データを圧縮符号化する符号化手段と、
   前記符号化手段により圧縮符号化されるプレーン画像データの符号量を制御するためのパラメータを決定する制御手段であって、サブバンドごとに前記パラメータを決定する制御手段と、
   を備え、
   前記制御手段は、前記和プレーンにおいては、高域のサブバンドよりも低域のサブバンドに符号量が多く割り当てられ、かつ、前記差プレーンにおいては、低域のサブバンドよりも高域のサブバンドに符号量が多く割り当てられるように前記パラメータを決定することを特徴とする画像処理装置。
2. ベイヤー配列の画像データを符号化する画像処理装置であって、
   前記画像データを構成する複数の色成分を前記ベイヤー配列に基づき複数のプレーン画像データに分離する色分離手段と、
   前記複数のプレーン画像データのうち、同色の成分同士を加算して和プレーンのプレーン画像データを生成する和プレーン生成手段と、
   前記同色の成分同士を減算して差プレーンのプレーン画像データを生成する差プレーン生成手段と、
   前記和プレーンのプレーン画像データと、前記差プレーンのプレーン画像データとを含む複数のプレーン画像データを、それぞれ周波数変換して複数のサブバンドのデータを取得する変換手段と、
   前記変換手段が変換したプレーン画像データの前記複数のサブバンドのデータを圧縮符号化する符号化手段であって、前記同色の成分のプレーン画像データについては、前記和プレーン及び前記差プレーンのプレーン画像データを圧縮符号化する符号化手段と、
   前記符号化手段により圧縮符号化されるプレーン画像データの符号量を制御するためのパラメータを決定する制御手段であって、サブバンドごとに前記パラメータを決定する制御手段と、
   を備え、
   前記制御手段は、前記和プレーンの符号量が前記差プレーンの符号量よりも大きくなるとともに、前記差プレーンのＨＨサブバンドの符号量が前記和プレーンのＨＨサブバンドの符号量よりも大きくなるように前記パラメータを決定する
   ことを特徴とする画像処理装置。
3. ベイヤー配列の画像データを符号化する画像処理装置であって、
   前記画像データを構成する複数の色成分を前記ベイヤー配列に基づき複数のプレーン画像データに分離する色分離手段と、
   前記複数のプレーン画像データのうち、同色の成分同士を加算して和プレーンのプレーン画像データを生成する和プレーン生成手段と、
   前記同色の成分同士を減算して差プレーンのプレーン画像データを生成する差プレーン生成手段と、
   前記和プレーンのプレーン画像データと、前記差プレーンのプレーン画像データとを含む複数のプレーン画像データを、それぞれ周波数変換して複数のサブバンドのデータを取得する変換手段と、
   前記変換手段が変換したプレーン画像データの前記複数のサブバンドのデータを圧縮符号化する符号化手段であって、前記同色の成分のプレーン画像データについては、前記和プレーン及び前記差プレーンのプレーン画像データを圧縮符号化する符号化手段と、
   前記符号化手段により圧縮符号化されるプレーン画像データの符号量を制御するためのパラメータを決定する制御手段であって、サブバンドごとに前記パラメータを決定する制御手段と、
   を備え、
   前記制御手段は、前記和プレーンのプレーン画像データと前記差プレーンのプレーン画像データとについて、低域成分を抽出したサブバンドの和プレーンと差プレーンとの符号量の比率に対して、高域成分を抽出したサブバンドの和プレーンと差プレーンとの符号量の比率の方が、差プレーンに与える符号量が大きくなるように前記パラメータを決定する
   ことを特徴とする画像処理装置。
4. ベイヤー配列の画像データを符号化する画像処理装置であって、
   前記画像データを構成する複数の色成分を前記ベイヤー配列に基づき複数のプレーン画像データに分離する色分離手段と、
   前記複数のプレーン画像データのうち、同色の成分同士を加算して和プレーンのプレーン画像データを生成する和プレーン生成手段と、
   前記同色の成分同士を減算して差プレーンのプレーン画像データを生成する差プレーン生成手段と、
   前記和プレーンのプレーン画像データと、前記差プレーンのプレーン画像データとを含む複数のプレーン画像データを、それぞれ周波数変換して複数のサブバンドのデータを取得する変換手段と、
   前記変換手段が変換したプレーン画像データの前記複数のサブバンドのデータを圧縮符号化する符号化手段であって、前記同色の成分のプレーン画像データについては、前記和プレーン及び前記差プレーンのプレーン画像データを圧縮符号化する符号化手段と、
   前記符号化手段により圧縮符号化されるプレーン画像データの符号量を制御するためのパラメータを決定する制御手段であって、サブバンドごとに前記パラメータを決定する制御手段と、
   を備え、
   前記制御手段は、和プレーン全体に対するＨＨサブバンドの符号量の割合よりも、差プレーン全体に対するＨＨサブバンドの符号量の割合のほうが大きくなるように、前記パラメータを決定する
   ことを特徴とする画像処理装置。
5. 前記制御手段は、前記圧縮符号化における目標符号量を前記パラメータとして決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記符号化手段は、前記圧縮符号化において、前記変換手段が変換したプレーン画像データの前記複数のサブバンドのデータを量子化パラメータに基づいて量子化し、量子化したデータを符号化し、
   前記制御手段は、前記量子化パラメータを決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像データが有する画像の特徴を解析して前記色成分のプレーン画像データにおける画素値の分散を解析する解析手段を更に備え、
   前記制御手段は、前記分散が大きいほど前記差プレーンのプレーン画像データに対する符号量が大きくなるように前記パラメータを決定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記解析手段は、前記和プレーンのプレーン画像データにおける画素値の分散を解析することを特徴とする請求項７に記載の画像処理装置。
9. 前記解析手段は、前記差プレーンのプレーン画像データにおける画素値の分散を解析することを特徴とする請求項７に記載の画像処理装置。
10. 前記ベイヤー配列は、第１の緑成分、第２の緑成分、青成分及び赤成分で構成され、前記同色の成分は、前記第１の緑成分と前記第２の緑成分であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記ベイヤー配列は、第１の赤成分、第２の赤成分、第１の青成分、第２の青成分及び緑成分で構成され、前記同色の成分は、前記第１の赤成分と前記第２の赤成分、及び前記第１の青成分と前記第２の青成分であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 被写体像を撮像しベイヤー配列の画像データを生成する撮像手段と、
    前記ベイヤー配列の画像データを符号化する請求項１乃至１１のいずれか１項に記載の画像処理装置と
    を備えることを特徴とする撮像装置。
13. ベイヤー配列の画像データを符号化する画像処理方法であって、
    前記画像データを構成する複数の色成分を前記ベイヤー配列に基づき複数のプレーン画像データに分離する色分離工程と、
    前記複数のプレーン画像データのうち、同色の成分同士を加算して和プレーンのプレーン画像データを生成する和プレーン生成工程と、
    前記同色の成分同士を減算して差プレーンのプレーン画像データを生成する差プレーン生成工程と、
    前記和プレーンのプレーン画像データと、前記差プレーンのプレーン画像データとを含む複数のプレーン画像データを、それぞれ周波数変換して複数のサブバンドのデータを取得する変換工程と、
    前記変換工程において変換されたプレーン画像データの前記複数のサブバンドのデータを圧縮符号化する符号化工程であって、前記同色の成分のプレーン画像データについては、前記和プレーン及び前記差プレーンのプレーン画像データを圧縮符号化する符号化工程と、
    前記符号化工程において圧縮符号化されるプレーン画像データの符号量を制御するためのパラメータを決定する制御工程であって、サブバンドごとに前記パラメータを決定する制御工程と、
    を含み、
    前記制御工程では、前記和プレーンにおいては、高域のサブバンドよりも低域のサブバンドに符号量が多く割り当てられ、かつ、前記差プレーンにおいては、低域のサブバンドよりも高域のサブバンドに符号量が多く割り当てられるように前記パラメータが決定されることを特徴とする画像処理方法。
14. ベイヤー配列の画像データを符号化する画像処理方法であって、
    前記画像データを構成する複数の色成分を前記ベイヤー配列に基づき複数のプレーン画像データに分離する色分離工程と、
    前記複数のプレーン画像データのうち、同色の成分同士を加算して和プレーンのプレーン画像データを生成する和プレーン生成工程と、
    前記同色の成分同士を減算して差プレーンのプレーン画像データを生成する差プレーン生成工程と、
    前記和プレーンのプレーン画像データと、前記差プレーンのプレーン画像データとを含む複数のプレーン画像データを、それぞれ周波数変換して複数のサブバンドのデータを取得する変換工程と、
    前記変換工程において変換されたプレーン画像データの前記複数のサブバンドのデータを圧縮符号化する符号化工程であって、前記同色の成分のプレーン画像データについては、前記和プレーン及び前記差プレーンのプレーン画像データを圧縮符号化する符号化工程と、
    前記符号化工程において圧縮符号化されるプレーン画像データの符号量を制御するためのパラメータを決定する制御工程であって、サブバンドごとに前記パラメータを決定する制御工程と、
    を含み、
    前記制御工程では、前記和プレーンの符号量が前記差プレーンの符号量よりも大きくなるとともに、前記差プレーンのＨＨサブバンドの符号量が前記和プレーンのＨＨサブバンドの符号量よりも大きくなるように前記パラメータが決定されることを特徴とする画像処理方法。
15. ベイヤー配列の画像データを符号化する画像処理方法であって、
    前記画像データを構成する複数の色成分を前記ベイヤー配列に基づき複数のプレーン画像データに分離する色分離工程と、
    前記複数のプレーン画像データのうち、同色の成分同士を加算して和プレーンのプレーン画像データを生成する和プレーン生成工程と、
    前記同色の成分同士を減算して差プレーンのプレーン画像データを生成する差プレーン生成工程と、
    前記和プレーンのプレーン画像データと、前記差プレーンのプレーン画像データとを含む複数のプレーン画像データを、それぞれ周波数変換して複数のサブバンドのデータを取得する変換工程と、
    前記変換工程において変換されたプレーン画像データの前記複数のサブバンドのデータを圧縮符号化する符号化工程であって、前記同色の成分のプレーン画像データについては、前記和プレーン及び前記差プレーンのプレーン画像データを圧縮符号化する符号化工程と、
    前記符号化工程において圧縮符号化されるプレーン画像データの符号量を制御するためのパラメータを決定する制御工程であって、サブバンドごとに前記パラメータを決定する制御工程と、
    を含み、
    前記制御工程では、前記和プレーンのプレーン画像データと前記差プレーンのプレーン画像データとについて、低域成分を抽出したサブバンドの和プレーンと差プレーンとの符号量の比率に対して、高域成分を抽出したサブバンドの和プレーンと差プレーンとの符号量の比率の方が、差プレーンに与える符号量が大きくなるように前記パラメータが決定されることを特徴とする画像処理方法。
16. ベイヤー配列の画像データを符号化する画像処理方法であって、
    前記画像データを構成する複数の色成分を前記ベイヤー配列に基づき複数のプレーン画像データに分離する色分離工程と、
    前記複数のプレーン画像データのうち、同色の成分同士を加算して和プレーンのプレーン画像データを生成する和プレーン生成工程と、
    前記同色の成分同士を減算して差プレーンのプレーン画像データを生成する差プレーン生成工程と、
    前記和プレーンのプレーン画像データと、前記差プレーンのプレーン画像データとを含む複数のプレーン画像データを、それぞれ周波数変換して複数のサブバンドのデータを取得する変換工程と、
    前記変換工程において変換されたプレーン画像データの前記複数のサブバンドのデータを圧縮符号化する符号化工程であって、前記同色の成分のプレーン画像データについては、前記和プレーン及び前記差プレーンのプレーン画像データを圧縮符号化する符号化工程と、
    前記符号化工程において圧縮符号化されるプレーン画像データの符号量を制御するためのパラメータを決定する制御工程であって、サブバンドごとに前記パラメータを決定する制御工程と、
    を含み、
    前記制御工程では、和プレーン全体に対するＨＨサブバンドの符号量の割合よりも、差プレーン全体に対するＨＨサブバンドの符号量の割合のほうが大きくなるように、前記パラメータが決定されることを特徴とする画像処理方法。
17. コンピュータに、請求項１３から１６のいずれか１項に記載の画像処理方法を実行させるためのプログラム。

Images