JP6907004B2

JP6907004B2 - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP6907004B2
Application number: JP2017076793A
Authority: JP
Inventors: 大輔坂本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-05-17
Filing date: 2017-04-07
Publication date: 2021-07-21
Anticipated expiration: 2037-04-07
Also published as: JP2017208810A

Description

本発明は、撮影された画像データを処理する画像処理装置、画像処理方法、及びプログラムに関する。

昨今、デジタルカメラやデジタルビデオカメラ等の撮像装置では、撮像素子にＣＣＤセンサまたはＣＭＯＳセンサを採用している。それらのセンサは、センサ表面のカラーフィルターアレイ（以下、ＣＦＡと表記する。）によって１つの画素で１つの色成分が構成されている。例えばＲ（赤色），Ｇ０（緑色），Ｂ（青色），Ｇ１（緑色）のカラーフィルタが周期的なパターンで配置されたベイヤー配列のＣＦＡを用いることで、センサからは、そのベイヤー配列に対応したＲＧＢデータ（以下、ＲＡＷデータと表記する。）が得られる。そして、撮像装置は、ＲＡＷデータに対してデモザイク処理を行い、そのデモザイク処理により得られたＲＧＢデータ、又はそのＲＧＢデータを色変換したＹＵＶデータを、符号化して記録等する。

また、例えば特許文献１には、ＲＡＷデータをＲ，Ｇ０，Ｂ，Ｇ１の四つのプレーンに分離した後に符号化する手法が開示されている。以下、この手法を４プレーン方式と呼ぶ。さらに、特許文献２には、ＲＡＷデータを特許文献１と同様にＲ，Ｇ０，Ｂ，Ｇ１の４プレーンに分離した後、近似的に、輝度と色差に相当するチャネル（特許文献２ではＹとＣｏ，Ｃｇ，Ｄｇの四つのチャネル）に変換してから符号化する手法が開示されている。以下、この手法を色変換方式と呼ぶ。なお、特許文献１の４プレーン方式の場合、空間的な距離が近く、且つ同色のため相関が高いＧ０成分とＧ１成分を別プレーンに分離してしまうので、Ｇ０，Ｇ１成分をまとめて符号化した場合に比べ、符号化効率が低下することが考えられる。一方、特許文献２の色変換方式は、人間の視覚特性を利用して輝度（Ｙ）のチャネルに多くの符号量を割り振ることで解像感の低下を防ぎ、主観的な画質を高めることが可能である。

特開２００３−１２５２０９号公報特開２００６−１２１６６９号公報

ところで、前述したデモザイク処理は１画素に対してＲＧＢの３つの色成分を持たせるような処理であるため、デモザイク処理後のデータ量は、デモザイク処理前のＲＡＷデータの３倍のデータ量となる。このため、デモザイク処理前のＲＡＷデータを直接、符号化してからＲＡＷ現像処理して記録等する方法が提案されている。

しかしながら、ＲＡＷデータの状態のときのＲＧＢの各色のレベルと、ホワイトバランス調整を行ってデモザイク処理するといったＲＡＷ現像処理後のＲＧＢの各色のレベルとは、合っていないことが多い。このため、例えばＲＡＷデータをＲ，Ｇ０，Ｂ，Ｇ１の４プレーンに分けて符号化した後にＲＡＷ現像処理する場合、各プレーンの符号化の際に同じ量子化を施したとしても、ＲＡＷ現像処理後のＲＧＢでは量子化誤差に差が生じてしまう。この場合、符号化後の画像データが復号化されてディスプレイに表示されたとき、それらＲＧＢの量子化誤差の差に起因した色歪みが現れてしまい、画質が低くなってしまう。また、色変換方式の場合は、ホワイトバランス調整前と調整後のＲＧＢの各色レベルが合っていないため、輝度と色差の分離が上手くいかず、輝度に多くの符号量を割り振ることができなくなってしまい、符号化効率が低下してしまう。

そこで、本発明は、画質の低下を抑え、ＲＡＷデータの符号化効率を高めることを目的とする。

本願の請求項１に係る画像処理装置は、撮像により得られた、撮像素子が有するカラーフィルタに対応する複数の色成分を含む画像データに対して色温度の調整を行う調整手段と、色温度の調整がなされた後のデータから、複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成手段と、色温度の調整がなされた後の、それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化手段と、生成手段を制御する生成制御手段と、を有し、前記生成手段は、前記画像データの赤色、青色、および、緑色の色成分ごとのプレーンのデータを生成する第１の生成手段と、前記画像データから輝度の成分に相当するプレーンのデータと色差の成分に相当するプレーンのデータとを生成する第２の生成手段とからなり、前記符号化手段は、前記第１の生成手段と前記第２の生成手段の何れか一方により生成された前記プレーンのデータを前記圧縮符号化し、前記生成制御手段は、前記符号化手段による圧縮符号化の圧縮率が所定の閾値以下に設定されているときには前記第１の生成手段による前記プレーンのデータの生成を行い、前記圧縮率が前記所定の閾値より高く設定されているときには前記第２の生成手段による前記プレーンのデータの生成を行うように前記生成手段を制御することを特徴とする。
本願の請求項２に係る画像処理装置は、撮像により得られた、撮像素子が有するカラーフィルタに対応する複数の色成分を含む画像データに対して色温度の調整を行う調整手段と、色温度の調整がなされた後のデータから、複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成手段と、色温度の調整がなされた後の、それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化手段と、生成手段を制御する生成制御手段と、を有し、生成手段は、画像データの赤色、青色、および、緑色の色成分ごとのプレーンのデータを生成する第１の生成手段と、画像データから輝度の成分に相当するプレーンのデータと色差の成分に相当するプレーンのデータとを生成する第２の生成手段とからなり、符号化手段は、第１の生成手段と第２の生成手段の何れか一方により生成されたプレーンのデータを圧縮符号化し、生成制御手段は、画像データの素材性を優先する設定がなされているときには第１の生成手段によるプレーンのデータの生成を行い、画像データの画質を優先する設定がなされているときには第２の生成手段によるプレーンのデータの生成を行わせるように生成手段を制御することを特徴とする。
本願の請求項３に係る画像処理装置は、撮像により得られた、撮像素子が有するカラーフィルタに対応する複数の色成分を含む画像データに対して色温度の調整を行う調整手段と、色温度の調整がなされた後のデータから、複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成手段と、色温度の調整がなされた後の、それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化手段と、生成手段を制御する生成制御手段と、を有し、生成手段は、画像データの赤色、青色、および、緑色の色成分ごとのプレーンのデータを生成する第１の生成手段と、画像データから輝度の成分に相当するプレーンのデータと色差の成分に相当するプレーンのデータとを生成する第２の生成手段とからなり、符号化手段は、第１の生成手段と第２の生成手段の何れか一方により生成されたプレーンのデータを圧縮符号化し、生成制御手段は、画像データが静止画であるときには第１の生成手段によるプレーンのデータの生成を行い、画像データが動画であるときには第２の生成手段によるプレーンのデータの生成を行うように生成手段を制御することを特徴とする。

本発明によれば、画質の低下を抑え、ＲＡＷデータの符号化効率を高めることが可能となる。

第１の実施形態のデジタルカメラの外観図である。第１の実施形態の画像処理装置の概略構成例を示す図である。ベイヤー配列を説明するための図である。デベイヤー処理（デモザイク処理）を説明するための図である。ホワイトバランス調整前後のＲＧＢのヒストグラム例を示す図である。４プレーン方式のデータ生成方法を説明するための図である。ウェーブレット変換を行う概略構成例を示す図である。第２の実施形態の画像処理装置の概略構成例を示す図である。画像処理装置の動作を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
＜第１の実施形態＞
図１（ａ）に本発明を適用可能な画像処理装置の一実施形態として、動画および静止画を撮影可能なデジタルカメラ１００の外観図を示す。ここでは、業務用のカメラを例に挙げて説明を行うが、コンシューマ向けのデジタルカメラ、ビデオカメラにも本発明を適用することができる。あるいは、カメラおよび画像処理機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどの各種撮像装置にも本発明を適用することができる。さらに、カメラ機能が無くとも、これら各種撮像装置から画像を受け取って画像を加工する画像処理機能を備えたパーソナルコンピュータ、サーバー、あるいは、タブレット端末などにも本発明を適用することができる。

図１（ａ）のモニター２８は画像や各種情報を表示するモニターである。シャッターボタン６１は撮影指示を行うための操作部である。操作部材７０はユーザからの各種操作を受け付ける各種スイッチ、ボタン等を含む。電源スイッチ７２は、電源オン、電源オフを切り替えるための押しボタンである。モニター２８は、デジタルカメラ１００の側面に配置されるモニターであり、メニュー項目を表示したり、撮像画像を表示したりすることができる。またモニター２８の上下に配置されているボタンは、モニター２８に表示される各アイテムに対応しており、各ボタンの押下によりモニター２８上のアイテムが選択可能となる。モニター２８には、電力の供給源や残量等や、撮影に関する設定値等が表示される。ファインダ７６は、デジタルカメラ１００において撮像された画像が表示される電子ビューファインダである。不図示の記録媒体７３はメモリカードやハードディスク等の不揮発性の記録媒体であり、デジタルカメラ１００側のＩ／Ｆ１８と接続可能な記録媒体である。外部Ｉ／Ｆ７７には、バッテリや図１（ｂ）に示す外部レコーダ１２０が装着可能であり、電源の入力及び映像信号、音声信号、制御信号の入出力を行うためのインターフェース部材（電力供給や外部入力を受付け可能な部材）である。電源Ｉ／Ｆ７５は、例えばＡＣアダプタが装着可能な電源入力のインターフェース部材である。電源Ｉ／Ｆ７５から入力された電力は、外部Ｉ／Ｆ７７から入力された電力よりも優先して使用される。外部Ｉ／Ｆ７７と反対側の面には不図示のレンズマウントが設けられており、このレンズマウントに対して、交換レンズユニットを着脱することができる。

図１（ｂ）に示すレコーダ１２０はデジタルカメラ１００と、デジタルカメラ１００の外部Ｉ／Ｆ７７とレコーダ１２０の外部Ｉ／Ｆ１２６とで接続可能な記録装置である。レコーダ１２０には記録媒体Ｉ／Ｆ１２４、記録媒体１２５があり、記録媒体１２５は取り外し可能である。レコーダ１２０は、デジタルカメラ１００側の記録媒体よりも容量の大きなデータを記録可能な記録用メモリを有し、画像に関する処理能力も高い。また、電源Ｉ／Ｆ１２７は、レコーダ１２０に供給可能なバッテリを接続するためのＩ／Ｆである。電源Ｉ／Ｆ１２７を介してレコーダ１２０に供給された電力は、外部Ｉ／Ｆ１２６を介してデジタルカメラ１００側にも給電される。

なお、本実施形態では、デジタルカメラ１００に対してレコーダ１２０を着脱できる構成を例に挙げて説明を行うが、これに限られるものではなく、デジタルカメラ１００にレコーダ１２０が内蔵される構成であっても構わない。また、デジタルカメラ１００に対して交換レンズユニットを着脱する構成を例に挙げて説明を行うが、デジタルカメラ１００に撮影レンズが固定された構成であっても構わない。

図２は、第１の実施形態の画像処理装置としてのデジタルカメラ１００の主要部の概略構成例を示す図である。図２に示すように、本実施形態の画像処理装置は、撮像ユニット２０８、デモザイク回路２００、ホワイトバランス調整回路２０１、モザイク回路２０２、４プレーン生成回路２０３、ＲＡＷ符号化回路２１１を有して構成されている。ＲＡＷ符号化回路２１１は、周波数変換回路２０４、量子化回路２０６、エントロピー符号化回路２０７、符号量制御回路２０５を有して構成されている。なお、本実施形態では、ＲＡＷ符号化回路２１１にて行われる圧縮符号化の方式として、ＪＰＥＧ２０００を例に挙げるが、圧縮符号化方式は他の方式であってもよい。

撮像ユニット２０８は、シャッター機構、撮像センサ（イメージャ）などから構成される一般的な撮像光学部である。デジタルカメラ１００に撮影レンズが固定されている場合には、この撮像ユニット２０８は、さらに、光学レンズおよび絞り機構も含む。撮像センサは、撮像面の表面にカラーフィルターアレイ（ＣＦＡ）を備えたＣＣＤ又はＭＯＳ型のセンサとなされている。ＣＦＡは、例えばＲ（赤色），Ｇ０（緑色），Ｂ（青色），Ｇ１（緑色）の３原色フィルタが周期的なパターンで配置されたベイヤー配列のフィルタである。図３は、ベイヤー配列のＣＦＡの一部を拡大して示す図である。図３に示すＣＦＡにより、撮像センサからは、ベイヤー配列のＲ，Ｇ０，Ｂ，Ｇ１の各色成分のデータからなるＲＡＷデータが出力される。なお、人間の視覚特性は、輝度成分に対して高い感度を持っていることから、一般的なベイヤー配列では、図３に示すように、輝度成分に多く含まれるＧ成分に対し、Ｒ成分やＢ成分の２倍の画素数を割り当てる構成となされている。撮像センサは、光学レンズ等により撮像面上に結像された光学像を、ＣＦＡによりＲ，Ｇ０，Ｂ，Ｇ１に色分解し、その色分解後の各色成分の光量に応じた電気信号をデジタル変換し、ＲＡＷデータとして出力する。このＲＡＷデータは、デモザイク回路２００に送られる。

デモザイク回路２００は、ベイヤー配列の各色成分のデータからなるＲＡＷデータを、ＲＧＢの色成分ごとのデータに分離するデベイヤー処理（デモザイク処理）を行う。図４はデモザイク回路２００によるデベイヤー処理（デモザイク処理）を説明するための図である。なお、図４では、図３に示したＧ０とＧ１を区別せずにＧとして表している。

デベイヤー処理として、デモザイク回路２００は、先ず、図４に示したようなベイヤー配列のＲＧＢのデータ４００を、それぞれＲＧＢの各色成分のデータ４０１〜４０３に分ける色分離処理を行う。具体的には、デモザイク回路２００は、データ４００のうち、Ｒ成分の画素位置の画素値を残し、Ｒ成分以外の他のＧ成分及びＢ成分の画素位置には画素値として０を挿入した、データ４０１を生成する。同様に、デモザイク回路２００は、データ４００のうち、Ｇ成分の画素位置の画素値を残し、Ｇ成分以外の他のＲ成分及びＢ成分の画素位置には画素値として０を挿入した、データ４０２を生成する。また同様に、デモザイク回路２００は、データ４００のうち、Ｂ成分の画素位置の画素値を残し、Ｂ成分以外の他のＲ成分及びＧ成分の画素位置には画素値として０を挿入した、データ４０３を生成する。

次に、デモザイク回路２００は、図４のようにＲＧＢの各色成分別に色分離処理されたデータ４０１〜４０３に対して同時化処理（デモザイク処理）を行い、データ４０５〜４０７を生成する。同時化処理は、色分離処理で０の画素値が挿入されなかった画素位置には、その画素位置の画素値をそのまま残し、一方、色分離処理で０の画素値が挿入された画素位置には周囲の画素値から補間により生成した画素値を挿入する処理である。具体的には、Ｒ成分のデータ４０１において、座標（ｍ，ｎ）の補間前の画素値をＲ（ｍ，ｎ）、補間後の画素値をＲｐ（ｍ，ｎ）とすると、デモザイク回路２００は、補間後の画素Ｒｐ（ｍ，ｎ）を式（１）〜式（４）により算出する。式（１）〜式（４）は、補間後の画素Ｒｐ（１，１）、Ｒｐ（１，２）、Ｒｐ（２，１）、Ｒｐ（２，２）を求める式であり、これら以外の座標（ｍ，ｎ）の補間後の画素Ｒｐ（ｍ，ｎ）を求める式は省略するが、同様の手法により各画素値の生成が可能である。これにより、データ４０１からは、データ４０５が得られる。

Ｒｐ(1,1)＝Ｒ(1,1) ・・・式（１）
Ｒｐ(1,2)＝｛Ｒ(1,1)＋Ｒ(1,3)｝／２・・・式（２）
Ｒｐ(2,1)＝｛Ｒ(1,1)＋Ｒ(3,1)｝／２・・・式（３）
Ｒｐ(2,2)＝｛Ｒ(1,1)＋Ｒ(1,3)＋Ｒ(3,1)＋Ｒ(3,3)｝／４・・・式（４）

また、デモザイク回路２００は、Ｂ成分のデータ４０３についても、Ｒ成分の場合と同様の同時化処理を行って、補間後の画素値Ｂｐ（ｍ，ｎ）を生成することにより、データ４０７を生成する。

デモザイク回路２００は、図４のＧ成分のデータ４０２については、補間後の画素Ｇｐ（ｍ，ｎ）を、式（５）〜式（８）により算出する。式（５）〜式（８）は、補間後の画素値Ｇｐ（２，２）、Ｇｐ（２，３）、Ｇｐ（３，２）、Ｇｐ（３，３）を求める式であり、これら以外の座標（ｍ，ｎ）の補間後の画素Ｇｐ（ｍ，ｎ）を求める式は省略するが、同様の手法により各画素値の生成が可能である。これにより、データ４０２からは、データ４０６が得られる。

Ｇｐ(2,2)＝｛Ｇ(1,2)＋Ｇ(3,2)＋Ｇ(2,1)＋Ｇ(2,3)｝／４・・・式（５）
Ｇｐ(2,3)＝Ｇ(2,3) ・・・式（６）
Ｇｐ(3,2)＝Ｇ(3,2) ・・・式（７）
Ｇｐ(3,3)＝｛Ｇ(2,3)＋Ｇ(4,3)＋Ｇ(3,2)＋Ｇ(3,4)｝／４・・・式（８）

なお、同時化処理における画素値の補間方法は一例であり、これ以外の公知の様々な補間方法が用いられてもよい。例えば、元の信号の高域の特性劣化を抑止するため、被写体領域の例えば上下左右の方向ごとの相関を予め判定しておき、最も相関の高い方向に位置する信号の重み付けを大きくして、補間を行うようにしてもよい。例えば、補間の対象となる画素に対し、上下に隣接するＧ成分の画素値との間の相関と、左右に隣接するＧ成分の画素値との間の相関とを比較し、相関の高い方のＧ成分の画素値に対する比率を大きくして、補間の対象となる画素の画素値を求めてもよい。或いは、相関の高い方のＧ成分の画素値のみを用いて、補間の対象となる画素の画素値を求めてもよい。デモザイク回路２００により、前述したデモザイク処理がなされた後のデータ（４０５〜４０７）は、ホワイトバランス調整回路２０１に送られる。

ホワイトバランス調整回路２０１は、白とみなせる被写体領域の画素のＲＧＢの各色成分のレベルを略々等しくするようなホワイトバランス調整処理を行う。具体的には、ホワイトバランス調整回路２０１は、白とみなせる被写体領域の画素のＲＧＢの各色成分別にゲイン係数を算出し、それらゲイン係数を色成分別に掛けることにより、ＲＧＢの各色成分のレベルを合わせる。なお、ゲイン係数の算出は一般的な方法によって算出すればよいので、その詳細な説明は省略する。

図５（ａ）はホワイトバランス調整前のＲＧＢの各色成分別のヒストグラム例を示しており、縦軸はＲＧＢの各色成分別の複数の画素のサンプル数を示し、横軸はＲＧＢの各色成分別の画素値を示している。また、図５（ｂ）はホワイトバランス調整後のＲＧＢの各色成分別のヒストグラム例を示しており、縦軸と横軸は図５（ａ）と同様である。図５（ａ）の例では、ホワイトバランス調整前のＲＧＢの各色成分のうち、例えばＲ成分の画素値がＧ成分やＢ成分の画素値に対して相対的に小さい値となっている画素のサンプル数が多くなっている。このような場合、ホワイトバランス調整では、図５（ｂ）に示すように、Ｇ成分とＢ成分の画素値については大きく変化させない一方で、Ｒ成分の画素値に対しては大きなゲイン係数を掛けるような調整が行われる。これにより、ホワイトバランス調整後のＲＧＢの各色成分別のヒストグラムは、図５（ｂ）に示すように略々揃うようになる。ホワイトバランス調整回路２０１によるホワイトバランス調整処理後のＲＧＢの各色成分別のデータは、モザイク回路２０２に送られる。

モザイク回路２０２は、ホワイトバランス調整後のＲＧＢの各色成分別のデータに対し、ベイヤー配列の規則に従ってＲ成分、Ｇ成分、Ｂ成分の各データをサンプリングすることにより、ベイヤー配列のデータを再生成する。すなわち、モザイク回路２０２は、デモザイク回路２００の同時化処理により１画素につきＲＧＢの三つの色成分を持ったデータから、図６（ａ）に示すようなＲ，Ｇ０，Ｂ，Ｇ１の各色成分の配列パターンが周期的に繰り返されたデータ６００を再生成する。このようにモザイク回路２０２によるモザイク化処理がなされたデータ６００は、再生成された１ピクチャ分のＲＡＷデータ６００として、４プレーン生成回路２０３に送られる。

４プレーン生成回路２０３は、図６（ａ）のように再生成された１ピクチャ分のＲＡＷデータ６００を、図６（ｂ）に示すようにＲ成分のプレーン６０１、Ｇ０成分のプレーン６０２、Ｇ１成分のプレーン６０３、Ｂ成分のプレーン６０４に分離する。ＲＡＷデータ６００からＲ，Ｇ０，Ｂ，Ｇ１の各プレーンを生成するような色分離の技術は、前述した特開２００３−１２５２０９号公報や特開２００６−１２１６６９号公報等に開示されて公知の技術であるため、その詳細な説明については省略する。４プレーン生成回路２０３により分離された四つのプレーン（６０１〜６０４）のデータは、ＲＡＷ符号化回路２１１の周波数変換回路２０４に送られる。

周波数変換回路２０４は、４プレーン生成回路２０３から送られてきた四つの各プレーンのデータに対して、それぞれウェーブレット変換処理を実行する。そして、周波数変換回路２０４は、ウェーブレット変換処理によりサブバンドごとに生成した変換係数（以下、ウェーブレット係数と表記する。）を、量子化回路２０６に送る。図７は、周波数変換回路２０４においてウェーブレット変換処理を行う構成（以下、ウェーブレット変換回路とする。）の一例を示す図である。

図７のウェーブレット変換回路によるウェーブレット変換処理は、ＪＰＥＧ２０００にも採用されている処理であり、サブバンドへの分解を１レベル（１度）だけ行う場合の例である。なお、図７の入力画像データ７００は四つのプレーンのデータのうちの一つのプレーンのデータであり、ウェーブレット変換回路は、四つのそれぞれのプレーンのデータに対してウェーブレット変換処理を実行する。入力画像データ７００は、垂直ＬＰＦ（ローパスフィルタ）７０１と垂直ＨＰＦ（ハイパスフィルタ）７０２に送られる。垂直ＬＰＦ７０１は、入力画像データ７００に含まれる水平成分をそのまま通過させ、一方、垂直成分については低周波成分（以下、垂直低周波成分と表記する。）のみを通過させる。垂直ＨＰＦ７０２は、入力画像データ７００に含まれる水平成分をそのまま通過させ、一方、垂直成分については高周波成分（以下、垂直高周波成分と表記する。）のみを通過させる。

垂直ＬＰＦ７０１から出力された垂直低周波成分のデータはダウンサンプリング回路７０３に送られる。ダウンサンプリング回路７０３は、入力画像データ７００の水平成分をそのまま通過させ、垂直低周波成分のデータについては２：１ダウンサンプリングする。これにより、ダウンサンプリング回路７０３からは、入力画像データ７００の垂直低周波数成分の領域（以下、垂直低周波領域と表記する。）の解像度が半分になされたデータが出力されることになる。また、垂直ＨＰＦ７０２から出力された垂直高周波成分のデータはダウンサンプリング回路７０４に送られる。ダウンサンプリング回路７０４は、入力画像データ７００の水平成分をそのまま通過させ、垂直高周波成分のデータについては２：１ダウンサンプリングする。これにより、ダウンサンプリング回路７０４からは、入力画像データ７００の垂直高周波数成分の領域（以下、垂直高周波領域と表記する。）の解像度が半分になされたデータが出力されることになる。

ダウンサンプリング回路７０３から出力されたデータは、水平ＬＰＦ７０５と水平ＨＰＦ７０６に送られる。水平ＬＰＦ７０５は、入力されたデータに含まれる垂直成分をそのまま通過させ、一方、水平成分については低周波成分（以下、水平低周波成分と表記する。）のみを通過させる。水平ＨＰＦ７０６は、入力されたデータに含まれる垂直成分をそのまま通過させ、一方、水平成分については高周波成分（以下、水平高周波成分と表記する。）のみを通過させる。

水平ＬＰＦ７０５から出力されたデータはダウンサンプリング回路７０９に送られる。ダウンサンプリング回路７０９は、入力されたデータに含まれる垂直成分をそのまま通過させ、水平成分（水平低周波成分）については２：１ダウンサンプリングする。これにより、ダウンサンプリング回路７０９からは、水平低周波数成分の領域（以下、水平低周波領域と表記する。）の解像度が半分になされたデータが出力されることになる。すなわち、ダウンサンプリング回路７０９から出力されるデータは、垂直低周波領域の解像度が半分で、かつ水平低周波領域の解像度が半分のデータ（以下、ＬＬブロックのデータと表記する。）となる。

また、水平ＨＰＦ７０６から出力されたデータはダウンサンプリング回路７１０に送られる。ダウンサンプリング回路７１０は、入力されたデータに含まれる垂直成分をそのまま通過させ、水平成分（水平高周波成分）については２：１ダウンサンプリングする。これにより、ダウンサンプリング回路７１０からは、水平高周波数成分の領域（以下、水平高周波領域と表記する。）の解像度が半分になされたデータが出力されることになる。すなわち、ダウンサンプリング回路７１０から出力されるデータは、垂直低周波領域の解像度が半分で、かつ水平高周波領域の解像度が半分のデータ（以下、ＬＨブロックのデータと表記する。）となる。

ダウンサンプリング回路７０４から出力されたデータは、水平ＬＰＦ７０７と水平ＨＰＦ７０８に送られる。水平ＬＰＦ７０７は、入力されたデータに含まれる垂直成分をそのまま通過させ、一方、水平成分については低周波成分（水平低周波成分）のみを通過させる。水平ＨＰＦ７０８は、入力されたデータの垂直成分をそのまま通過させ、一方、水平成分については高周波成分（水平高周波成分）のデータのみを通過させる。

水平ＬＰＦ７０７から出力されたデータはダウンサンプリング回路７１１に送られる。ダウンサンプリング回路７１１は、入力されたデータに含まれる垂直成分をそのまま通過させ、水平成分（水平低周波成分）については２：１ダウンサンプリングする。これにより、ダウンサンプリング回路７１１からは、水平低周波成分の領域（以下、水平低周波領域と表記する。）の解像度が半分になされたデータが出力されることになる。すなわち、ダウンサンプリング回路７１１から出力されるデータは、垂直高周波領域の解像度が半分で、かつ水平低周波領域の解像度が半分のデータ（以下、ＨＬブロックのデータと表記する。）となる。

また、水平ＨＰＦ７０８から出力されたデータはダウンサンプリング回路７１２に送られる。ダウンサンプリング回路７１２は、入力されたデータに含まれる垂直成分をそのまま通過させ、水平成分（水平高周波成分）については２：１ダウンサンプリングする。これにより、ダウンサンプリング回路７１２からは、水平高周波数成分の領域（水平高周波領域）の解像度が半分になされたデータが出力されることになる。すなわち、ダウンサンプリング回路７１２から出力されるデータは、垂直高周波領域の解像度が半分で、かつ水平高周波領域の解像度が半分のデータ（以下、ＨＨブロックのデータと表記する。）となる。

上述したように、図７のウェーブレット変換回路は、入力画像データ７００から、ＬＬブロック、ＬＨブロック、ＨＬブロック、ＨＨブロックの各データからなる出力画像データ７１３を生成して出力する。これらＬＬブロック、ＬＨブロック、ＨＬブロック、ＨＨブロックのデータは、ウェーブレット変換におけるサブバンドのウェーブレット係数のデータである。例えば、ＨＨブロックは、水平方向、垂直方向ともに、高周波領域のサブバンドとなっている。また、ＬＬブロックのデータは、入力画像データ７００の解像度を水平方向と垂直方向とで各々半分に縮小した画像データとなる。ＨＨブロック、ＨＬブロック、ＬＨブロックは、高周波領域であり、ほとんどが小さい値となっているため、圧縮符号化により圧縮が効き易いデータになっている。

図２のＲＡＷ符号化回路２１１の説明に戻す。
符号量制御回路２０５は、例えばユーザが設定した圧縮率に応じて、前述した四つのプレーンの組つまり前述した１ピクチャ分のＲＡＷデータに対して割り振る目標符号量と、それら四つの各プレーンのそれぞれに対して割り振る目標符号量とを設定する。符号量制御回路２０５は、それら目標符号量の情報を量子化回路２０６に送る。

量子化回路２０６には、周波数変換回路２０４（図７のウェーブレット変換回路）から出力されたウェーブレット係数のデータ（出力画像データ７１３）が入力される。量子化回路２０６は、符号量制御回路２０５により設定された目標符号量を基に量子化パラメータを決定し、その量子化パラメータを用いて、周波数変換回路２０４から送られてきたウェーブレット係数を量子化する。量子化回路２０６による量子化後のデータは、エントロピー符号化回路２０７に送られる。

エントロピー符号化回路２０７は、量子化回路２０６にて量子化されたウェーブレット係数に対し、サブバンドごとにエントロピー符号化処理を施して、符号化データ（符号化ストリームデータ）として出力する。この符号化データは、レコーダ１２０が有する大容量の記録用メモリに記憶される。なお、エントロピー符号化処理としては、例えばＥＢＣＯＴ（ＥｍｂｅｄｄｅｄＢｌｏｃｋＣｏｄｉｎｇｗｉｔｈＯｐｔｉｍｉｚｅｄＴｒｕｎｃａｔｉｏｎ）などを用いることができる。

以上説明したように、第１の実施形態の画像処理装置は、圧縮符号化する前にＲＡＷデータに対しホワイトバランス調整を行うようにしているため、事前にホワイトバランス調整を行わずにＲＧＢデータに符号化を施す場合のような色歪みが生ずることはない。

例えば、前述の図５（ａ）と図５（ｂ）を例に挙げると、図５（ｂ）に示すように、ホワイトバランス調整による色温度の調整でＧ成分とＢ成分の画素値は大きな変化が無いのに対し、Ｒ成分の画素値には強いゲイン係数がかけられる。ここで、例えば、ホワイトバランス調整を行う前に符号化を行い、その後にホワイトバランス調整を行うようにした場合には、符号化の際の量子化による量子化誤差に対してもホワイトバランス調整によるゲイン係数が掛けられることになる。図５（ａ）の例の場合、Ｒ，Ｇ，Ｂの各成分に対して同じ量子化が行われたとしても、その後のホワイトバランス調整でＲ成分には強いゲイン係数がかけられるため、Ｒ成分の量子化誤差に対しても強いゲイン係数がかけられることになる。この場合、ホワイトバランス調整後のＲ，Ｇ，Ｂの各成分の量子化誤差は、Ｇ，Ｂ成分の量子化誤差に比べてＲ成分の量子化誤差が大きくなり、Ｒ，Ｇ，Ｂの各色成分の量子化誤差に差が生じていることになる。したがって、符号化データ（符号化ストリームデータ）をその後に復号化してディスプレイ等に表示した場合、その表示画像は、ＲＧＢの量子化誤差の差に起因した色歪みが生じた画質の低い画像となる。これに対し、本実施形態の場合は、ＲＡＷデータにホワイトバランス調整を行ってから圧縮符号化がなされ、ＲＧＢの各色成分の量子化誤差に対して異なるゲイン係数が掛かることがないため、色歪みが生ずることはなく、画質の低下を防ぐことができる。

また、本実施形態では、デモザイク回路２００によるデモザイク処理後のデータに対してホワイトバランス調整回路２０１でホワイトバランス調整を行っているため、高精度のホワイトバランス調整が可能となる。さらに、高精度のホワイトバランス調整が行われた場合には、事前にホワイトバランス調整を行わずにＲＡＷデータを符号化する場合に比べ、例えば圧縮符号化の圧縮率を高めたとしても画質の劣化が少ないため、より高い符号化効率を実現可能となる。

なお、本実施形態ではホワイトバランス調整を行う前にデモザイク処理を行っているがデモザイク処理を行わずにホワイトバランス調整を行ってもよい。ただし、デモザイク処理を行わずにホワイトバランス調整を行った場合には、ホワイトバランスの精度が多少低下するため、本実施形態のようにデモザイク処理を行ってホワイトバランス調整することが望ましい。

また、第１の実施形態では、４プレーン方式を用いる例を挙げたが、図２の４プレーン生成回路２０３に代えて、後述する第２の実施形態の図８の画像処理装置に設けられているような色変換回路８０１を用いてもよい。色変換回路８０１を用いた場合、後述するように、人間の視覚特性を利用して輝度（Ｙ）のプレーンに多くの符号量を割り振ることで解像感の低下を防ぐことができ、主観的な画質を高めることが可能となる。

また、第１の実施形態では、撮像ユニット２０８からエントロピー符号化回路２０７までの全てをデジタルカメラ１００が備える例を挙げて説明を行ったが、これに限られるものではない。具体的には、ＲＡＷ符号化に関する回路についてはレコーダ１２０に搭載し、デジタルカメラ１００とレコーダ１２０からなる画像処理システムとして構成してもよい。例えば、図２に示すＲＡＷ符号化回路２１１をデジタルカメラ１００と着脱可能なレコーダ１２０に搭載するようにしてもよいし、モザイク回路２０２以降の回路をレコーダ１２０に搭載するようにしてもよい。こうすることで、デジタルカメラ１００からＲＡＷ符号化に関する構成を省くことができるようになる。

＜第２の実施形態＞
以下、第２の実施形態の画像処理装置について説明する。図８は、第２の実施形態の画像処理装置の主要部の概略構成を示す図である。また、図９は、第２の実施形態の画像処理装置における処理のフローチャートである。

第２の実施形態の画像処理装置において、第１の実施形態の画像処理装置の構成と異なる点は、図２に示したデモザイク回路２００とモザイク回路２０２を備えていない一方で、ＲＡＷ入力回路２１０を備えていることである。なお、第２の実施形態の画像処理装置においても、前述の第１の実施形態の図２の構成と同様に、デモザイク回路２００、モザイク回路２０２を設けてもよく、この場合、ホワイトバランス調整の精度を高めることができる。また詳細は後述するが、第２の実施形態の画像処理装置は、圧縮率の設定、素材性優先の設定や画質優先の設定などの所定の設定条件により、ホワイトバランス調整を行うか否かの切り換えや、どのようなＲＡＷ入力方式を用いるかの選択が可能となされている。

第２の実施形態の画像処理装置において、ＲＡＷ入力回路２１０は、４プレーン生成回路２０３、色変換回路８０１、ＲＡＷ入力方式選択回路８００を有する。ＲＡＷ入力方式選択回路８００は、４プレーン生成回路２０３と色変換回路８０１の何れを用いるかを選択することにより、ＲＡＷ符号化回路２１１へのＲＡＷデータの入力方式を決定する。ＲＡＷ入力方式選択回路８００におけるＲＡＷ入力方式の選択処理の詳細は後述する。ホワイトバランス調整回路２０１、４プレーン生成回路２０３、色変換回路８０１、ＲＡＷ入力方式選択回路８００、符号量制御回路２０５以外の他の構成の動作については、前述した第１の実施形態の場合と同様であるため、それらの説明は省略する。

図９のフローチャートに示した処理は、ハードウェア構成としての図８の構成により実現されてもよいし、本実施形態に係る画像処理プログラムをＣＰＵ等で実行することにより実現されてもよい。画像処理プログラムは、不図示のＲＯＭ等に予め用意されていてもよく、不図示の記録媒体から読み出されてもよく、インターネット等を介してダウンロードされてＲＡＭ等にロードされてもよい。図９のフローチャートの処理は、画像の撮像が行われることでスタートする。以下の説明では、フローチャートの各処理のステップＳ９０１〜ステップＳ９０５をＳ９０１〜Ｓ９０５と略記する。

以下、図８と図９を参照しながら第２の実施形態の画像処理装置の動作を説明する。
先ず、Ｓ９０１の処理として、符号量制御回路２０５は、ユーザが設定した圧縮率が所定の閾値より高い（大きい）か、又は低い（閾値以下）かの判定を行い、その判定結果をホワイトバランス調整回路２０１及びＲＡＷ入力方式選択回路８００に送る。すなわち、本実施形態において、符号量制御回路２０５は、ホワイトバランス調整を行わせるか否かを制御する調整制御回路と、４プレーン方式と色変換方式の何れによるプレーンを生成させるかどうかを制御する生成制御回路としての機能をも有している。Ｓ９０１において、ユーザ設定の圧縮率が所定の閾値より高い（大きい）と判定された場合、画像処理装置の処理はＳ９０２に進む。一方、Ｓ９０１において、ユーザ設定の圧縮率が所定の閾値より低い（閾値以下）と判定された場合、画像処理装置の処理はＳ９０４に進む。

Ｓ９０４の処理は、ホワイトバランス調整回路２０１により行われる。Ｓ９０４において、ホワイトバランス調整回路２０１は、符号量制御回路２０５から送られてきた判定結果に応じた処理を行う。この場合、ユーザ設定の圧縮率が所定の閾値より低い（閾値以下）との判定結果が送られてきているため、ホワイトバランス調整回路２０１は、ホワイトバランス調整を行わず、撮像ユニット２０８から入力されたＲＡＷデータをそのままＲＡＷ入力回路２１０に送る。Ｓ９０４の後、画像処理装置の処理は、Ｓ９０５に進む。

Ｓ９０５の処理は、ＲＡＷ入力回路２１０により行われる。Ｓ９０５において、ＲＡＷ入力回路２１０のＲＡＷ入力方式選択回路８００は、符号量制御回路２０５から送られてきた判定結果に応じたＲＡＷ入力方式を選択する。この場合ユーザ設定の圧縮率が所定の閾値より低い（閾値以下）との判定結果が送られてきているため、ＲＡＷ入力方式選択回路８００は４プレーン方式を選択し、ＲＡＷ入力回路２１０に入力されたＲＡＷデータを４プレーン生成回路２０３に送るように制御する。

４プレーン生成回路２０３は、前述の第１の実施形態で説明したように、ＲＡＷデータをＲ，Ｇ０，Ｇ１，Ｂのそれぞれ独立したプレーンに分離し、各プレーンのデータをＲＡＷ符号化回路２１１の周波数変換回路２０４に出力する。これにより、ＲＡＷ符号化回路２１１では、前述の第１の実施形態と同様の処理が行われることになる。そして、画像処理装置は、ＲＡＷ符号化回路２１１による符号化処理が終わると、図９のフローチャートの処理を終了する。次の画像撮影がなされる場合には、その撮影画像について図９のフローチャートの処理が行われることになる。

また、Ｓ９０２の処理は、ホワイトバランス調整回路２０１により行われる。Ｓ９０２において、ホワイトバランス調整回路２０１は、符号量制御回路２０５から送られてきた判定結果に応じた処理を行う。この場合、ユーザ設定の圧縮率が所定の閾値より高い（大きい）との判定結果が送られてきているため、ホワイトバランス調整回路２０１は、ホワイトバランス調整を行う。具体的には、ホワイトバランス調整回路２０１は、撮像ユニット２０８から入力されるＲＡＷデータに対して、白とみなせる被写体領域に対するＲＧＢの各色成分のレベルが略々等しくなるような色成分別のゲイン係数を算出する。そして、ホワイトバランス調整回路２０１は、その色成分別のゲイン係数を用いて、ＲＡＷデータのＲＧＢの各色成分のレベルを合わせる。Ｓ９０２にてＲＧＢの各色成分のレベルが合わされたＲＡＷデータは、ＲＡＷ入力回路２１０に送られる。Ｓ９０２の後、画像処理装置の処理は、Ｓ９０３に進む。

Ｓ９０３の処理は、ＲＡＷ入力回路２１０により行われる。Ｓ９０３において、ＲＡＷ入力回路２１０のＲＡＷ入力方式選択回路８００は、符号量制御回路２０５から送られてきた判定結果に応じたＲＡＷ入力方式を選択する。この場合、ユーザ設定の圧縮率が所定の閾値より高い（大きい）との判定結果が送られてきているため、ＲＡＷ入力方式選択回路８００は、色変換方式を選択し、ＲＡＷ入力回路２１０に入力されたＲＡＷデータを色変換回路８０１に送るように制御する。

色変換回路８０１は、先ず、４プレーン生成回路２０３と同様に、入力されたＲＡＷデータをＲ，Ｇ０，Ｇ１，Ｂのそれぞれ独立したプレーンに分離する。その後、色変換回路８０１は、下記式（９）〜式（１２）により、Ｒ，Ｇ０，Ｇ１，Ｂの４プレーンを、近似的に、輝度に相当する一つのプレーンと色差に相当する三つのプレーンに変換する。式（９）は輝度に相当する一つのプレーン（Ｙ）を求める式である。式（１０）〜式（１２）は色差に相当する三つのプレーン（Ｃｏ、Ｃｇ、Ｄｇ）をそれぞれ求める式である。そして、色変換回路８０１は、一つの輝度に相当するプレーン（Ｙ）と色差に相当する三つのプレーン（Ｃｏ、Ｃｇ、Ｄｇ）を、各々独立したプレーンのデータとして、ＲＡＷ符号化回路２１１の周波数変換回路２０４に出力する。

Ｙ＝（Ｒ＋Ｇ０＋Ｇ１＋Ｂ）／４・・・式（９）
Ｃｏ＝Ｒ−Ｂ・・・式（１０）
Ｃｇ＝（Ｇ０＋Ｇ１）／２−（Ｒ＋Ｂ）／２・・・式（１１）
Ｄｇ＝Ｇ０−Ｇ１・・・式（１２）

ＲＡＷ符号化回路２１１で行われる処理は前述の第１の実施形態と概ね同様であるが、ＲＡＷ入力方式として色変換方式が選択された場合には輝度（Ｙ）のプレーンに多くの符号量が割り振られる。そして、画像処理装置は、ＲＡＷ符号化回路２１１による符号化処理が終わると、図９のフローチャートの処理を終了する。次の画像撮影がなされる場合には、その撮影画像について図９のフローチャートの処理が行われることになる。

以上説明したように、第２の実施形態の画像処理装置は、ホワイトバランス調整が行われる場合には、前述した第１の実施形態と同様に、符号化する前にＲＡＷデータに対しホワイトバランス調整を行ってから量子化が行われる。このため、事前にホワイトバランス調整を行わずにＲＧＢデータに量子化を施す場合のような色歪みが生ずることはない。

また、第２の実施形態の画像処理装置は、ユーザ設定の圧縮率を所定の設定条件とし、その設定条件に応じて、ＲＡＷデータに対するホワイトバランス調整を行うか否かを切り換えている。また、第２の実施形態の画像処理装置は、ユーザ設定の圧縮率を所定の設定条件とし、その設定条件に応じて、４プレーン方式と色変換方式に何れのＲＡＷ入力方式を用いるかを切り換え選択している。

一例として、圧縮符号化により削減されるデータ量が、元のデータ量の１／３以下程度の少ない量しかない低い圧縮率が設定されている場合、符号化による画質劣化は殆ど視認できないことが多い。このため、第２の実施形態の画像処理装置は、圧縮率が低い場合には、ＲＡＷ現像処理後の画像が編集等される際に要求される画像の素材性を優先して、ホワイトバランス調整を行わないようにする。また、圧縮率が低い場合、第２の実施形態の画像処理装置は、ＲＡＷ入力方式として４プレーン方式を選択し、プレーンごとに同等な量子化を行うようにする。これらのユースケースとしては、例えば静止画や素材性を優先した高ビットレートの動画の撮影が行われ、それらを圧縮符号化するような場合が想定される。

一方、ユーザ設定の圧縮率が高い場合には、素材性を保つ以前に、符号化による画質劣化を低減することを優先することが求められる。このため、第２の実施形態の画像処理装置は、圧縮率が高い場合には、画質劣化の低減を優先して、ホワイトバランス調整を行うようにする。また、圧縮率が高い場合、画像処理装置は、ＲＡＷ入力方式として色変換方式を選択する。色変換方式を用いた場合、人間の視覚特性を利用して輝度（Ｙ）のプレーンに多くの符号量を割り振ることで解像感の低下を防ぐことができ、主観的な画質を高めることができるようになる。これらのユースケースとしては、低ビットレートの動画の撮影が行われ、それを圧縮符号化するような場合が想定される。

また、本実施形態の画像処理装置は、圧縮率だけでなく、素材性を優先するか画質を優先するかに応じて、ホワイトバランス調整を行うか否か、また、４プレーン方式と色変換方式の何れのＲＡＷ入力方式を選択するか、を決めることも可能である。すなわち、画像処理装置は、例えば同一圧縮率であっても、所定の設定条件が、素材性を優先する設定条件か、又は画質を優先する設定条件かにより、ホワイトバランス調整を行うか否か、４プレーン方式と色変換方式の何れを選択するかを決める。具体的には、所定の設定条件として、静止画や高ビットレート動画のような素材性を優先する設定がなされている場合、画像処理装置は、ホワイトバランス調整を行わないようにする。また、素材性を優先する設定がなされている場合、画像処理装置は、ＲＡＷ入力方式として４プレーン方式を用いるようにする。さらに、素材性優先に設定されている場合、画像処理装置は、ホワイトバランス調整を行わないようにするとともに、ＲＡＷ入力方式として４プレーン方式を用いるようにしてもよい。一方、所定の設定条件として、画質優先の設定がなされている場合、画像処理装置は、ホワイトバランス調整を行うようにする。また、画質優先に設定されている場合、画像処理装置は、ＲＡＷ入力方式として色変換方式を用いるようにする。さらに、画質優先に設定されている場合、画像処理装置は、ホワイトバランス調整を行うようにするとともに、ＲＡＷ入力方式として色変換方式を用いるようにしてもよい。

なお、所定の設定条件に応じてホワイトバランス調整を行うか否かを切り換える制御は、前述した第１の実施形態の画像処理装置にも適用可能である。すなわち、前述した第１の実施形態では、圧縮符号化する前にＲＡＷデータに対して必ずホワイトバランス調整を行うが、所定の設定条件を満たす場合にのみ、ホワイトバランス調整を行わないように切り換えられてもよい。第１の実施形態において、ホワイトバランス調整を行わない場合の所定の設定条件としては、一例として、前述した圧縮率が低く設定されている場合や、素材性を最優先する設定の場合などを挙げることができる。なお、図２の第１の実施形態の画像処理装置において、ホワイトバランス調整を行わないように切り換え制御した場合には、デモザイク回路２００のデモザイク処理、モザイク回路２０２のモザイク化処理についても行わないようにしてもよい。

また、図８に示す回路のうち、ＲＡＷ符号化回路２１１を、あるいは、ＲＡＷ入力回路２１０とＲＡＷ符号化回路２１１の両方を、デジタルカメラ１００ではなく、レコーダ１２０に搭載するようにしてもよい。こうすることで、デジタルカメラ１００からＲＡＷ符号化に関する構成を除くことができるようになる。

＜その他の実施形態＞
上述の実施形態では、撮像センサとして、ＲＧＢ画素がベイヤー配列されたＣＦＡを備えたセンサを例に挙げているが、ＣＦＡのＲＧＢの配列はベイヤー配列に限定されない。また、撮像センサは白光（Ｗ）や赤外線を検出可能な画素を備えたセンサであってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

２００デモザイク回路、２０１ホワイトバランス調整回路、２０２モザイク回路、２０３４プレーン生成回路、２０４周波数変換回路、２０５符号量制御回路、２０６量子化回路、２０７エントロピー符号化回路、２０８撮像ユニット、２１０ＲＡＷ入力回路、２１１ＲＡＷ符号化回路、８００ＲＡＷ入力方式選択回路、８０１色変換回路

Claims

撮像により得られた、撮像素子が有するカラーフィルタに対応する複数の色成分を含む画像データに対して色温度の調整を行う調整手段と、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成手段と、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化手段と、
前記生成手段を制御する生成制御手段と、
を有し、
前記生成手段は、
前記画像データの赤色、青色、および、緑色の色成分ごとのプレーンのデータを生成する第１の生成手段と、
前記画像データから輝度の成分に相当するプレーンのデータと色差の成分に相当するプレーンのデータとを生成する第２の生成手段とからなり、
前記符号化手段は、前記第１の生成手段と前記第２の生成手段の何れか一方により生成された前記プレーンのデータを前記圧縮符号化し、
前記生成制御手段は、前記符号化手段による圧縮符号化の圧縮率が所定の閾値以下に設定されているときには前記第１の生成手段による前記プレーンのデータの生成を行い、前記圧縮率が前記所定の閾値より高く設定されているときには前記第２の生成手段による前記プレーンのデータの生成を行うように前記生成手段を制御することを特徴とする画像処理装置。
撮像により得られた、撮像素子が有するカラーフィルタに対応する複数の色成分を含む画像データに対して色温度の調整を行う調整手段と、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成手段と、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化手段と、
前記生成手段を制御する生成制御手段と、
を有し、
前記生成手段は、
前記画像データの赤色、青色、および、緑色の色成分ごとのプレーンのデータを生成する第１の生成手段と、
前記画像データから輝度の成分に相当するプレーンのデータと色差の成分に相当するプレーンのデータとを生成する第２の生成手段とからなり、
前記符号化手段は、前記第１の生成手段と前記第２の生成手段の何れか一方により生成された前記プレーンのデータを前記圧縮符号化し、
前記生成制御手段は、前記画像データの素材性を優先する設定がなされているときには前記第１の生成手段による前記プレーンのデータの生成を行い、前記画像データの画質を優先する設定がなされているときには前記第２の生成手段による前記プレーンのデータの生成を行わせるように前記生成手段を制御することを特徴とする画像処理装置。
撮像により得られた、撮像素子が有するカラーフィルタに対応する複数の色成分を含む画像データに対して色温度の調整を行う調整手段と、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成手段と、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化手段と、
前記生成手段を制御する生成制御手段と、
を有し、
前記生成手段は、
前記画像データの赤色、青色、および、緑色の色成分ごとのプレーンのデータを生成する第１の生成手段と、
前記画像データから輝度の成分に相当するプレーンのデータと色差の成分に相当するプレーンのデータとを生成する第２の生成手段とからなり、
前記符号化手段は、前記第１の生成手段と前記第２の生成手段の何れか一方により生成された前記プレーンのデータを前記圧縮符号化し、
前記生成制御手段は、前記画像データが静止画であるときには前記第１の生成手段による前記プレーンのデータの生成を行い、前記画像データが動画であるときには前記第２の生成手段による前記プレーンのデータの生成を行うように前記生成手段を制御することを特徴とする画像処理装置。
前記輝度の成分に相当するプレーンのデータと前記色差の成分に相当するプレーンのデータは、前記赤色、青色、および、緑色の色成分ごとのプレーンのデータから変換されて生成されるデータであることを特徴とする請求項１乃至３の何れか１項に記載の画像処理
装置。
撮像により得られた、撮像素子が有するカラーフィルタに対応する複数の色成分を含む画像データに対して色温度の調整を行う調整手段と、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成手段と、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化手段と、
前記調整手段による色温度の調整を行うか否かを制御する調整制御手段と、
を有し、
前記調整制御手段は、前記符号化手段による圧縮符号化の圧縮率が所定の閾値より高く設定されているときには前記色温度の調整を行い、前記圧縮率が前記所定の閾値以下に設定されているときには前記色温度の調整を行わないように前記調整手段を制御することを特徴とする画像処理装置。
撮像により得られた、撮像素子が有するカラーフィルタに対応する複数の色成分を含む画像データに対して色温度の調整を行う調整手段と、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成手段と、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化手段と、
前記調整手段による色温度の調整を行うか否かを制御する調整制御手段と、
を有し、
前記調整制御手段は、前記画像データの画質を優先する設定がなされているときには前記色温度の調整を行い、前記画像データの素材性を優先する設定がなされているときには前記色温度の調整を行わないように前記調整手段を制御することを特徴とする画像処理装置。
撮像により得られた、撮像素子が有するカラーフィルタに対応する複数の色成分を含む画像データに対して色温度の調整を行う調整手段と、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成手段と、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化手段と、
前記調整手段による色温度の調整を行うか否かを制御する調整制御手段と、
を有し、
前記調整制御手段は、前記画像データが動画であるときには前記色温度の調整を行い、前記画像データが静止画であるときには前記色温度の調整を行わないように前記調整手段を制御することを特徴とする画像処理装置。
前記撮像により得られた画像データは赤色、青色、および、緑色の色成分の画素が所定の配列パターンに配置された画像データであり、
前記所定の配列パターンの画像データから、画素ごとにそれぞれの色成分を持つ画像データを生成するデモザイク処理を行うデモザイク手段と、
前記デモザイク処理により生成されたデータに対して前記調整手段による色温度の調整が行われた後のデータから、前記所定の配列パターンの画像データを再生成するモザイク化処理を行うモザイク化手段と、を有し、
前記生成手段は、前記モザイク化処理されたデータから前記プレーンのデータを生成することを特徴とする請求項５乃至７の何れか１項に記載の画像処理装置。
撮像により得られた、複数の色成分を含む画像データに対して色温度の調整を行う調整ステップと、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成ステップと、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化ステップと、
を含み、
前記生成ステップは、
前記画像データの赤色、青色、および、緑色の色成分ごとのプレーンのデータを生成する第１の生成ステップと、
前記画像データから輝度の成分に相当するプレーンのデータと色差の成分に相当するプレーンのデータとを生成する第２の生成ステップを含み、
前記符号化ステップでは、前記第１の生成ステップと前記第２の生成ステップの何れか一方により生成された前記プレーンのデータを前記圧縮符号化し、
前記符号化ステップにおける圧縮符号化の圧縮率が所定の閾値以下に設定されているときには前記第１の生成ステップによる前記プレーンのデータの生成を行い、前記圧縮率が前記所定の閾値より高く設定されているときには前記第２の生成ステップによる前記プレーンのデータの生成を行うことを特徴とする画像処理装置の画像処理方法。
撮像により得られた、複数の色成分を含む画像データに対して色温度の調整を行う調整ステップと、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成ステップと、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化ステップと、
を含み、
前記生成ステップは、
前記画像データの赤色、青色、および、緑色の色成分ごとのプレーンのデータを生成する第１の生成ステップと、
前記画像データから輝度の成分に相当するプレーンのデータと色差の成分に相当するプレーンのデータとを生成する第２の生成ステップを含み、
前記符号化ステップでは、前記第１の生成ステップと前記第２の生成ステップの何れか一方により生成された前記プレーンのデータを前記圧縮符号化し、
前記画像データの素材性を優先する設定がなされているときには前記第１の生成ステップによる前記プレーンのデータの生成を行い、前記画像データの画質を優先する設定がなされているときには前記第２の生成ステップによる前記プレーンのデータの生成を行うことを特徴とする画像処理装置の画像処理方法。
撮像により得られた、複数の色成分を含む画像データに対して色温度の調整を行う調整ステップと、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成ステップと、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化ステップと、
を含み、
前記生成ステップは、
前記画像データの赤色、青色、および、緑色の色成分ごとのプレーンのデータを生成する第１の生成ステップと、
前記画像データから輝度の成分に相当するプレーンのデータと色差の成分に相当するプレーンのデータとを生成する第２の生成ステップを含み、
前記符号化ステップでは、前記第１の生成ステップと前記第２の生成ステップの何れか一方により生成された前記プレーンのデータを前記圧縮符号化し、
前記画像データが静止画であるときには前記第１の生成ステップによる前記プレーンのデータの生成を行い、前記画像データが動画であるときには前記第２の生成ステップによる前記プレーンのデータの生成を行うことを特徴とする画像処理装置の画像処理方法。
撮像により得られた、複数の色成分を含む画像データに対して色温度の調整を行う調整ステップと、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成ステップと、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化ステップと、
を含み、
前記符号化ステップにおける圧縮符号化の圧縮率が所定の閾値より高く設定されているときには前記色温度の調整を行い、前記圧縮率が前記所定の閾値以下に設定されているときには前記色温度の調整を行わないことを特徴とする画像処理装置の画像処理方法。
撮像により得られた、複数の色成分を含む画像データに対して色温度の調整を行う調整ステップと、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成ステップと、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化ステップと、
を含み、
前記画像データの画質を優先する設定がなされているときには前記色温度の調整を行い、前記画像データの素材性を優先する設定がなされているときには前記色温度の調整を行わないことを特徴とする画像処理装置の画像処理方法。
撮像により得られた、複数の色成分を含む画像データに対して色温度の調整を行う調整ステップと、
前記色温度の調整がなされた後のデータから、前記複数の色成分のそれぞれの色成分ごとのプレーンのデータを生成する生成ステップと、
前記色温度の調整がなされた後の、前記それぞれの色成分ごとのプレーンのデータを圧縮符号化する符号化ステップと、
を含み、
前記画像データが動画であるときには前記色温度の調整を行い、前記画像データが静止画であるときには前記色温度の調整を行わないことを特徴とする画像処理装置の画像処理方法。
コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。