JP7037346B2 - 画像処理装置及び画像処理方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、画像信号のホワイトバランス補正を行う画像処理装置に関するものである。

従来より、図１などのようなＲ（赤）、Ｇ（緑）、Ｂ（青）の画素が市松模様に配置され、モザイク画像データ（ＲＡＷデータ）を出力する撮像素子の出力信号に対して簡易的な信号処理のみを施して記録、出力することのできる撮像装置が存在する。図１において、符号７１はＲ画素、符号７２はＧ画素、符号７３はＢ画素をそれぞれ表す。モザイク画像データは予め撮像装置内で信号処理を施して記録、出力する信号に比べて、ユーザがＰＣ上で動作する現像ソフトウェアや撮像装置内の現像機能で本現像することにより、後から色味や明るさ等を自由に調節できるというメリットがある。この観点から、モザイク画像データは信号処理を極力行わないことが望ましい。しかし、モザイク画像データを非圧縮でそのまま記録するとデータ量が大きいため、高速かつ大容量な記録メディアが必要となる。

一方、近年の撮像装置においてはモザイク画像データを圧縮し、比較的安価な記録メディアに記録できる機能を搭載したものが存在する。これにより、従来敷居の高かったモザイク画像データの記録や編集を比較的手軽に行えるようになってきている。ただし、圧縮によるモザイク画像データの劣化によって、ユーザが後からホワイトバランスを調節する際に問題が発生することがある。

図２は、モザイク画像データの記録時にホワイトバランス補正を行わない場合の例を示す図である。符号１００～１０２は撮像素子から出力されるＲ、Ｇ、Ｂ信号、符号１０３～１０５は圧縮処理を施したモザイク画像データのＲ、Ｇ、Ｂ信号を表す。また、符号１０６～１０８は圧縮処理したモザイク画像データを伸長し、ホワイトバランスの補正を行って本現像を行った画像のＲ、Ｇ、Ｂ信号を表す。また、符号１０９はデータ圧縮時にＲ信号に生じた誤差を表し、符号１１０は誤差１０９が本現像時のホワイトバランスの補正によって増幅された状態を表す。このようにモザイク画像データの記録時にホワイトバランス補正を行わない場合、圧縮処理によってＲ信号もしくはＢ信号に誤差が発生する。そして、ホワイトバランス補正時にＲ、Ｂ信号を増幅することになるため、誤差も増幅されて色再現性が悪化する恐れがある。

一方、図３はモザイク画像データにホワイトバランス補正を施す場合の例を示す図である。符号２００～２０２は図２の符号１００～１０２と同様に撮像素子から出力されるモザイク画像データのＲ、Ｇ、Ｂ信号を表す。符号２０３～２０５はホワイトバランス補正を行ったモザイク画像データのＲ、Ｇ、Ｂ信号を表す。符号２０６～２０８はモザイク画像データにマイナスのホワイトバランスゲインを掛けて本現像を行った際のＲ、Ｇ、Ｂ信号を表す。また、符号２１３は信号値の上限を表しており、符号２０９，２１０は上限値でクリップされて失われたＲ、Ｂ信号を表している。符号２１１，２１２はＲ、Ｂ信号２０９，２１０が失われていなかった場合の本現像時のＲ、Ｂ信号を表している。モザイク画像データの記録時に予めホワイトバランス補正を行っておく場合、ホワイトバランスの調節は微調整になるため、誤差の増幅は目立ちにくい。しかし、Ｒ、Ｂ信号に対してマイナスゲインを掛けるような調節をする場合に、飽和部に色付きが発生し、色再現が悪化するという課題がある。

このような問題の対策の１つとして、特許文献１では、一度圧縮・伸長したモザイク画像データに対して画像処理を施し、それを圧縮・伸長していないモザイク画像データに対して画像処理を施した画像と比較し、その結果に基づいて圧縮率を制御している。これにより、モザイク画像データの記録時にはホワイトバランス補正を行うことなく、圧縮率の制御によって、ユーザが後からホワイトバランスを調節する際の課題を解決することが出来る。

特開２０１４－１１０６２３号公報

しかしながら、特許文献１に記載の方法では記録時に圧縮・伸長を同時に行わなければならないため、システムの処理負荷が増大するという課題があった。また、圧縮率を低下させる場合にはデータ量が大きくなるため、やはり高速かつ大容量な記録メディアが必要となるという課題もあった。

本発明は上述した課題に鏡みてなされたものであり、その目的は、モザイク画像データの記録データ量を減らしつつ、画質の低下も抑制することができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、撮像素子から出力された複数の色信号を含むモザイク画像データに対して、少なくとも１つの色信号を増幅してホワイトバランス補正を行うホワイトバランス補正手段と、前記モザイク画像データを圧縮して、圧縮された新たなモザイク画像データを取得する圧縮手段と、少なくとも前記ホワイトバランス補正手段と前記圧縮手段とを制御する制御手段と、を備え、前記制御手段は、前記圧縮手段による圧縮をオフに設定した場合、前記ホワイトバランス補正手段によるホワイトバランス補正が実質的に無効となるように制御して、前記モザイク画像データを出力し、前記圧縮手段による圧縮をオンに設定した場合、前記ホワイトバランス補正手段によるホワイトバランス補正が有効となるように制御して、ホワイトバランス補正後の前記モザイク画像データを出力する、ことを特徴とする。

また、本発明に係わる画像処理装置は、撮像素子から出力された複数の色信号を含むモザイク画像データに対して、少なくとも１つの色信号を増幅してホワイトバランス補正を行うホワイトバランス補正手段と、前記モザイク画像データを圧縮する圧縮手段と、少なくとも前記ホワイトバランス補正手段と前記圧縮手段とを制御する制御手段と、を備え、前記制御手段は、前記圧縮手段による圧縮を行う場合、該圧縮の圧縮率が低いほど前記ホワイトバランス補正手段による補正強度が低くなるように制御して、ホワイトバランス補正後の前記モザイク画像データを出力する、ことを特徴とする。

本発明によれば、モザイク画像データの記録データ量を減らしつつ、画質の低下も抑制することができる画像処理装置を提供することが可能となる。

撮像素子の画素の配置を示す図。 モザイク画像データを圧縮した際の現像までの流れを示した図。 モザイク画像データに予めホワイトバランス補正を行った際の現像までの流れを示した図。 本発明の第１の実施形態であるデジタルビデオカメラ３の内部構成を示すブロック図。 画像処理部の構成を示すブロック図。 第１の実施形態におけるホワイトバランスゲインの設定方法を示すフローチャート。 第２の実施形態におけるホワイトバランスゲインの設定方法を示すフローチャート。 第２の実施形態におけるホワイトバランスゲインの決定方法を示す図。 第３の実施形態におけるホワイトバランスゲインの設定方法を示すフローチャート。 第３の実施形態におけるホワイトバランスゲインの決定方法を示す図。 第３の実施形態におけるホワイトバランスゲインの決定方法を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。以下の実施形態では、例として本発明をデジタルビデオカメラ内の画像処理部に適用する場合について説明するが、本発明は撮像装置内の画像処理に限定されるものではなく、汎用的な画像処理部に適用可能である。なお、以下の実施形態では、撮像素子の画素の配置は図１に示したものと同じであり、ホワイトバランスおよびデータ圧縮における画像データの状態も図２、図３のようになるため、以下の実施形態では、図１、図２、図３も用いて説明を行う。

（第１の実施形態）
図４は、本発明の第１の実施形態であるデジタルビデオカメラ３の内部構成を示すブロック図である。デジタルビデオカメラ３は、後述するように、撮像素子から出力されたモザイク画像データを圧縮した状態または非圧縮の状態で出力可能な撮像装置である。

図４において、撮影レンズ３０１はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り３０２は光量調整に使用する絞りである。ＮＤ３０３は減光用に使用するＮＤフィルタである。撮像部３０４は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を有する。撮像素子は、図１に示したような画素配置を有する。また、撮像部３０４は電子シャッターにより蓄積を制御する機能や、アナログゲイン、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換器３０５は、撮像部３０４から出力されるアナログ信号をデジタル信号に変換する。バリア３００は、デジタルビデオカメラ３の、撮影レンズ３０１を含む撮像系を覆うことにより、撮影レンズ３０１、絞り３０２、ＮＤ３０３、撮像部３０４を含む撮像系の汚れや破損を防止する。

画像処理部３１４は、Ａ／Ｄ変換器３０５からのデータ、又は、メモリ制御部３１５からのデータに対して色変換処理、ガンマ補正処理、デジタルゲインの付加処理等を行う。また、撮像した画像データを用いて所定の演算処理が行われ、演算結果をシステム制御部３１２に送信する。送信された演算結果に基づいてシステム制御部３１２が露出制御、測距制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。画像処理部３１４についての詳細は後述する。

Ａ／Ｄ変換器３０５からの出力データは、画像処理部３１４及びメモリ制御部３３を介して、或いは、メモリ制御部３３を介してメモリ３１８に直接書き込まれる。メモリ３１８は、撮像部３０４によって撮像されＡ／Ｄ変換器３０５によりデジタルデータに変換された画像データや、表示部３１７に表示するための画像データを格納する。メモリ３１８は、所定時間の動画像および音声、あるいは所定枚数の静止画像を格納するのに十分な記憶容量を備えている。

また、メモリ３１８は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器３１６は、メモリ３１８に格納されている画像表示用のデータをアナログ信号に変換して表示部３１７に供給する。こうして、メモリ３１８に書き込まれた表示用の画像データはＤ／Ａ変換器３１６を介して表示部３１７により表示される。表示部３１７は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器３１６からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器３０５によって一度Ａ／Ｄ変換されメモリ３１８に蓄積されたデジタル信号をＤ／Ａ変換器３１６においてアナログ変換し、表示部３１７に逐次転送して表示することにより、電子ビューファインダ機能を実現でき、スルー画像表示を行うことができる。

不揮発性メモリ３１３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ３１３には、システム制御部３１２の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本発明の実施形態において後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部３１２は、デジタルビデオカメラ３全体を制御する。前述した不揮発性メモリ３１３に記録されたプログラムを実行することにより、後述する各処理を実現する。システムメモリ３２０にはＲＡＭが用いられ、システム制御部３１２の動作用の定数、変数、不揮発性メモリ３１３から読み出したプログラム等を展開する。また、システム制御部３１２は、メモリ３１８、Ｄ／Ａ変換器３１６、表示部３１７等を制御することにより表示制御も行う。

システムタイマー３１９は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ３０８、録画スイッチ３０７、操作部３０６はシステム制御部３１２に各種の動作指示を入力するための操作手段である。

モード切替スイッチ３０８は、システム制御部３１２の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ３０８により、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ３０８により動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ３０７は撮影待機状態と撮影状態を切り替える。システム制御部３１２は、録画スイッチ３０７の操作に応じて、撮像部３０４からの信号読み出しから記録媒体３２４への動画データの書き込みまでの一連の動作を開始する。

電源スイッチ３０９はデジタルビデオカメラ３の電源を入／切するためのスイッチである。操作部３０６の各操作部材は、表示部３１７に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部３１７に表示される。利用者は、表示部３１７に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部３１０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部３１０は、その検出結果及びシステム制御部３１２の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体３２４を含む各部へ供給する。電源部３１１は、アルカリ電池、リチウム電池等の一次電池や、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。

圧縮部３２１は、画像データの圧縮処理を行う。システム制御部３１２は、圧縮部３２１の圧縮処理の有効（オン）、無効（オフ）を切り替えることが可能である。Ｉ／Ｆ３２２は、メモリカードやハードディスク等の記録媒体３２４、または外部出力機器とのインターフェースである。図４では記録媒体３２４との接続時の状態を示している。記録媒体３２４は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に、本実施形態における画像処理部３１４の内部構成について説明する。図５は画像処理部３１４の内部構成と関係部位を示すブロック図である。通常、シャープネス制御などの処理もこの部分で行うが、そのための構成は本実施形態の説明では不要のため表記を省略している。なお画像処理部３１４内の各ブロックは、システム制御部３１２を通じて、撮像装置内部のあらゆるデータを取得可能である。また、画像処理部３１４は記録、もしくは出力する複数の色信号を有するモザイク画像データに対する画像処理を行うための第１の系と、デモザイク処理を含む画像処理を行い、現像した画像を出力するための第２の系の２つの系を含む。モザイク画像データ（現像されていないＲＡＷデータ）は、第１の系を介して画像処理部３１４外に出力される。また、現像された画像データは第２の系を介して画像処理部３１４外に出力される。

まず、記録もしくは出力するモザイク画像データに対する画像処理を行う第１の系について説明する。

モザイクＷＢ補正部３１４０はＡ／Ｄ変換器３０５から出力された信号に対してホワイトバランス補正を行う。撮像部３０４は一般的にＧ（緑）の感度に比べてＲ（赤）、Ｂ（青）の感度が低いため、Ｒ信号、Ｂ信号に対してゲインを掛けることによってホワイトバランスの補正を行う。モザイク階調変換部３１４１はモザイク画像データのＲ、Ｇ、Ｂ信号それぞれに対して階調変換を行う。これによりビット長を圧縮し、モザイク画像データのデータ量を削減する。

次に、デモザイクを含んだ現像側の画像処理を行うための第２の系について説明する。ゲイン部３１４３はＲ、Ｇ、Ｂ信号それぞれに一律にゲインを掛けて信号を増幅する処理を行う。これにより、ＩＳＯ感度などの制御を行うことができる。ＷＢ補正部（ホワイトバランス補正部）３１４４はゲイン部３１４３から出力された信号に対してホワイトバランス補正を行う。ゲイン部３１４３ではＲ、Ｇ、Ｂ信号を一律同じゲインで増幅しているため、ＷＢ補正部３１４４はモザイクＷＢ補正部３１４０と同様、Ｒ信号、Ｂ信号に対してゲインを掛けることによってホワイトバランスの補正を行う（ゲイン決定部）。

デモザイク部３１４５はＷＢ補正部３１４４から出力された信号にデモザイク処理を施す。マトリクス演算部３１４６はマトリクスをＲ、Ｇ、Ｂ信号に掛けることで色調の補正を行う。階調変換部３１４７はマトリクス演算部３１４６から出力された信号のＲ、Ｇ、Ｂ信号それぞれを一律の入出力特性を用いて階調変換する。

続いて、図６のフローチャートを用いて、モザイク画像データを扱う第１の系におけるモザイクＷＢ補正部３１４０でのホワイトバランスゲインの決定方法について説明する。

まず、ステップＳ５１ではモザイク画像データを圧縮して記録するか否かの情報を取得する。これはモザイク画像データを記録媒体３２４に記録する際に圧縮部３２１が有効であるか否かの情報を取得することに相当する。また、ここでのデータの圧縮とは、信号の劣化を伴う不可逆なデータ圧縮を意味する。圧縮部３２１によりデータの圧縮を行うか否かはシステム制御部３１２によって制御されるため、システム制御部３１２の内部でデータの圧縮を行うか否かの情報を取得可能である。さらに、モザイク画像データを記録媒体３２４に記録せずに出力部３２３から出力する場合がある。例えば、ＳＤＩ出力としてモザイク画像データを出力する場合などである。その際、圧縮部３２１を通らないので非圧縮の信号として出力されることとなる。そのため、データの圧縮をしていないとみなすことができる。データの圧縮を行っていない場合はステップＳ５２に進み、データの圧縮を行っている場合はステップＳ５３に進む。

ステップＳ５２では、モザイクＷＢ補正部３１４０をシステム制御部３１２からの制御により無効化する。これはＲ、Ｂ信号それぞれに１倍のゲインを掛けることと同義であるため、モザイクＷＢ補正部３１４０に対してシステム制御部３１２からホワイトバランスゲイン１倍を設定してもよい。これにより、図２の場合と同様にモザイク画像データの記録時にはホワイトバランスが補正されていない状態となるが、圧縮部３２１によりデータの圧縮を行わないので、データの圧縮による誤差は発生しない。そのため、本現像時にホワイトバランス補正を行っても色再現性の低下は起こらない。また、基本的にプラスゲインによる補正となるため、図３で説明しているようなマイナスゲインによる補正で発生する飽和部の色付きも発生しない。

ステップＳ５３では、ＷＢ補正部３１４４で設定されているホワイトバランスゲインを取得する。ＷＢ補正部３１４４で設定されているホワイトバランスゲインはユーザが撮影時にモニタリング等をしているホワイトバランスゲインであるため、撮影時のユーザの意図が反映されていると考えることが出来る。これはシステム制御部３１２で設定しているため、例えばシステム制御部３１２で動作しているソフトウェア上で取得することができる。ここでＷＢ補正部３１４４で設定されているホワイトバランスゲインの決定の仕方は、ユーザが色温度などを指定することにより決定されていてもよいし、太陽光などの光源の種類を選択することにより決定されていてもよい。また、グレーカードなどを基準に自動で決定されてもよいし、シーンによって自動的にホワイトバランスを制御するオートホワイトバランスによって決定されていてもよい。

ステップＳ５４ではモザイクＷＢ補正部３１４０にステップＳ５３で取得したホワイトバランスゲインを設定する。これにより、モザイクＷＢ補正部３１４０にはＷＢ補正部３１４４と同じホワイトバランスゲインが設定されることとなる。これにより、本現像時のホワイトバランスゲインの自由度は低下してしまうが、ステップＳ５３の説明で述べたようにこのホワイトバランスゲインには撮影時のユーザの意図が反映されていると考えることができる。そのため、本現像時には少ない量のホワイトバランスの補正で済むはずであり、本現像時に大きなホワイトバランスゲインを掛けることにより生じる色再現性の低下を回避することができる。

本実施形態によれば、モザイク画像データを圧縮せずに記録もしくは出力する場合にはホワイトバランスゲインを設定しない（ホワイトバランス補正を行わない）。言い換えれば、モザイク画像データを非圧縮の状態で出力する場合、ホワイトバランス補正が実質的に無効化されるように制御する。これにより、ＰＣ上で動作するソフトウェアや撮像装置内の現像機能等を用いて本現像する際のホワイトバランスゲインをユーザが変更する自由度を大きく保つことができる。また、モザイク画像データを非可逆圧縮することによる誤差が発生することを回避することができる。また、モザイク画像データを圧縮して記録、もしくは出力する場合には、ホワイトバランス補正処理を有効にして、ホワイトバランスゲインを現像側のホワイトバランスゲインと同じ値に設定してホワイトバランス補正後のデータを出力することにより、データ圧縮による誤差が増幅されることを防ぎ、色再現精度を保つことができる。

（第２の実施形態）
第１の実施形態では、モザイク画像データを圧縮せずに記録または出力する場合にはモザイク画像データに対してホワイトバランス補正を行わず、圧縮をする場合には現像側と同じホワイトバランスゲインを設定する場合について説明した。本実施形態においては、モザイク画像データを圧縮して記録または出力する場合に、モザイク画像データに対して第１の実施形態とは異なる方法でホワイトバランスゲインを設定する方法について説明する。

本実施形態における処理について図７のフローチャートを用いて説明する。ステップＳ６１～ステップＳ６３は第１の実施形態におけるステップＳ５１～ステップＳ５３と同様であるため、説明を省略する。

ステップＳ６４では、グレーワールド仮説に基づくホワイトバランスゲインを算出する。グレーワールド仮説とは全ての物体色の平均がグレーであるとする仮説であり、本実施形態においては撮像部３０４で撮像された画像全体の平均色がグレーであると仮定し、複数の色信号のレベルがほぼ一致するように、ホワイトバランスゲインを算出する。図１のようなモザイク画像の場合を考える。Ｇ画素がＲ画素、Ｂ画素の２倍の数であるため、Ｒ画素の合計をＲｓｕｍ、Ｇ画素の合計をＧｓｕｍ、Ｂ画素の合計をＢｓｕｍとするとＲのホワイトバランスゲインＷＢＲ、ＢのホワイトバランスゲインＷＢＢは下記の式で求められる。

ＷＢＲ＝（Ｇｓｕｍ／２）／Ｒｓｕｍ
ＷＢＢ＝（Ｇｓｕｍ／２）／Ｂｓｕｍ …（式１）
グレーワールド仮説に基づくホワイトバランスゲインでは、Ｒ、Ｇ、Ｂの分布のばらつきが最も少なくなるため、データ圧縮の観点からは有利である。

ステップＳ６５ではステップＳ６３で取得した現像側（第２の系側）のホワイトバランスゲインとステップＳ６４で算出したグレーワールド仮説に基づくホワイトバランスゲインのうち、ゲインとして低い方をモザイク画像処理系（第１の系）のホワイトバランスゲインとして設定する。具体的にはＲ、Ｂそれぞれで現像側のホワイトバランスゲインとグレーワールド仮説に基づくホワイトバランスゲインを比較し、図８のように設定する。

図８において、現像側ＷＢゲイン８１はステップＳ６３で取得したホワイトバランスゲイン、グレーワールドＷＢゲイン８２はステップＳ６４で算出したホワイトバランスゲインを表す。また、モザイク画像ＷＢゲイン８３はステップＳ６５で設定するホワイトバランスゲインを表す。また、ＷＢ可能範囲８４はモザイク画像を後で本現像するときに飽和部の色付き問題が起きないホワイトバランスゲインの範囲を表している。

現像側ＷＢゲイン８１とグレーワールドＷＢゲイン８２の位置関係により、４つのパターンが考えられる。パターン１は、Ｒゲインは現像側ＷＢゲイン８１＞グレーワールドＷＢゲイン８２、Ｂゲインは現像側ＷＢゲイン８１＜グレーワールドＷＢゲイン８２の場合を表している。パターン２は、Ｒゲインは現像側ＷＢゲイン８１＜グレーワールドＷＢゲイン８２、Ｂゲインは現像側ＷＢゲイン８１＞グレーワールドＷＢゲイン８２の場合を表している。パターン３はＲ、Ｂゲイン両方とも現像側ＷＢゲイン８１＞グレーワールドＷＢゲイン８２である場合を表しており、パターン４はその逆である。

パターン１～４のどの場合においても、ＷＢ可能範囲８４で示されるように現像側ＷＢゲイン８１、グレーワールドＷＢゲイン８２のどちらもＷＢ可能範囲８４に含まれ本現像時に飽和部の色付きが起きないことが保証される。また、撮影時のユーザの意図とデータ圧縮の観点の両方からモザイク画像データのホワイトバランスゲインを決定することとなる。そのため、グレーワールド仮説に基づくホワイトバランスゲインの方が低い場合には、データ圧縮の効率と本現像時のホワイトバランスゲインの自由度の両方を向上させることができる。そうでない場合であっても、最低限撮影時のホワイトバランスゲインまでは保証しながらもデータの圧縮効率を高めるようにホワイトバランスゲインを設定することができる。

以上、第２の実施形態においては、モザイク画像側のホワイトバランスゲインとして現像側のＷＢゲイン８１とグレーワールドＷＢゲイン８２のうちの低い方をモザイク画像ＷＢゲイン８３として設定する方法について説明した。本実施形態によれば、本現像時に飽和部の色付きの起きないホワイトバランスゲイン範囲を拡げつつ、データの圧縮の効率も考慮したホワイトバランスゲインを設定することが可能となる。

（第３の実施形態）
本実施形態では、モザイク画像データの圧縮の圧縮率を予め設定することができ、その圧縮率に応じてモザイクＷＢ補正部３１４０に設定するホワイトバランスゲインを制御する場合について、図９のフローチャートを参照して説明する。

ステップＳ９１～Ｓ９４は第２の実施形態におけるステップＳ６１～Ｓ６４と同様のため、説明を省略する。

ステップＳ９５では、モザイク画像データの圧縮率を取得する。圧縮率はユーザが予め操作部３０６を通して設定してもよいし、システム制御部３１２によって自動的に設定されてもよい。なお、本実施形態においては圧縮率として１／１、１／２、１／３、１／５、１／７が選択できるものとするが、実際の実施形態においてはその他の圧縮率が選択できてもよい。

ステップＳ９６では、ステップＳ９５で取得した圧縮率に応じて、モザイクＷＢ補正部３１４０で掛けるホワイトバランスゲインを決定し設定する。ホワイトバランスゲインの決定方法は、ステップＳ９３で取得した第２の系のホワイトバランスゲイン、ステップＳ９４で取得したグレーワールド仮説に基づくホワイトバランスゲインを用いてどのように決定してもよい。

例えば、グレーワールド仮説に基づくホワイトバランスゲインを用いて、図１０の１００１のような線図に従ってホワイトバランスゲインを制御する方法が考えられる。このとき第１の閾値より小さい圧縮率においてはホワイトバランスゲインを１倍にして、本現像時のホワイトバランスゲインの自由度を最大化する。図１０においては圧縮率１／２より圧縮率が小さい領域にあたる。また、第２の閾値よりも大きい圧縮率においてはホワイトバランスゲインをグレーワールド仮説に基づく数値にして、データ圧縮効率を最大化する。また、２つの閾値の間の圧縮率においては補間によりホワイトバランスゲインを決定する。図１０においては線形補間によりホワイトバランスゲインを決定しているが、補間方法は線形補間に限らず非線形な補間であってもよい。

また、別の方法として図１１のようなテーブルを参照してホワイトバランスゲインを決定する方法も考えられる。図１１のテーブルには予めゲイン毎に定められたゲイン比率が格納されている。前述の例と同様にグレーワールド仮説に基づくホワイトバランスゲインを２倍とする。このとき、データ圧縮率に対応したグレーワールド仮説ゲイン比率をｒ、モザイク画像に適用するホワイトバランスゲインをｇａｉｎとすると、ｇａｉｎ＝２ｒ＋（１－ｒ）として求めることができる。例えば、圧縮率１／２ではｇａｉｎ＝２×０．０＋（１－０．０）＝１．０となりホワイトバランスゲインは１．０倍となる。また、圧縮率１／３ではｇａｉｎ＝２×０．２＋（１－０．２）＝１．２となりホワイトバランスゲインは１．２倍となる。

上記のような方法でデータ圧縮率に応じてホワイトバランスゲインを算出し設定することで、データ圧縮率毎にホワイトバランスゲインの値を変えることができる。

以上、第３の実施形態においては、モザイク画像のホワイトバランスゲインをモザイク画像データの圧縮率に応じて制御し、設定する方法について説明した。本実施形態によれば、圧縮率が低くデータ圧縮の効率を重視しなくてもよい場合にはホワイトバランスゲインを低く設定する（ホワイトバランス補正の補正強度が低い）ことで、本現像時のホワイトバランスゲインの自由度を大きくすることができる。また、圧縮率が高くデータ圧縮の効率を重視しなければならない場合には、本現像時のホワイトバランスゲインの自由度を犠牲にするかわりにデータ圧縮効率を高めることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

例えば、第２の実施形態ではグレーワールド仮説に基づくホワイトバランスゲインと現像側のホワイトバランスゲインのうちの低い方をモザイク画像のホワイトバランスゲインとして設定した。しかし、グレーワールド仮説以外のホワイトバランスゲインを基準に用いてもよい。例えば、３２００Ｋ～８０００Ｋ等の色温度範囲における最低のＲゲイン、Ｂゲイン（固定値）を基準として用いてもよい。そのようにすることで現像側がこれよりも低いゲインであるときには本現像時にそのホワイトバランスゲインまでは飽和部の色付きを防ぐことができ、それよりも高いゲインのときには３２００Ｋ～８０００Ｋの範囲においては飽和部の色付きを防ぐことができる。ただし、第２の実施形態に比べると、本現像時のホワイトバランス補正量が多くなると考えられるため、ホワイトバランス補正による誤差の増幅は大きくなる。

また、グレーワールド仮説に基づくホワイトバランスゲインではなく、シーンによってホワイトバランスを自動で補正するようなオートホワイトバランスによるホワイトバランスゲインを代わりに用いてもよい。

さらに、第１及び第２の実施形態において決定したホワイトバランスゲインよりも少し低いホワイトバランスゲインをモザイク画像に対して掛けることも考えられる。その場合には、データ圧縮の観点からはマイナスに働くが、現像時のホワイトバランスゲインのマージンを確保することができ、自由度が向上する。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

３：デジタルビデオカメラ、８１：現像側ＷＢゲイン、８２：グレーワールドＷＢゲイン、８３：モザイク画像ＷＢゲイン、８４：ＷＢ可能範囲、３０４：撮像部、３１２：システム制御部、３１４：画像処理部、３２１：圧縮部

Claims (15)

1. 撮像素子から出力された複数の色信号を含むモザイク画像データに対して、少なくとも１つの色信号を増幅してホワイトバランス補正を行うホワイトバランス補正手段と、
   前記モザイク画像データを圧縮して、圧縮された新たなモザイク画像データを取得する圧縮手段と、
   少なくとも前記ホワイトバランス補正手段と前記圧縮手段とを制御する制御手段と、を備え、
   前記制御手段は、
   前記圧縮手段による圧縮をオフに設定した場合、前記ホワイトバランス補正手段によるホワイトバランス補正が実質的に無効となるように制御して、前記モザイク画像データを出力し、
   前記圧縮手段による圧縮をオンに設定した場合、前記ホワイトバランス補正手段によるホワイトバランス補正が有効となるように制御して、ホワイトバランス補正後の前記モザイク画像データを出力する、
   ことを特徴とする画像処理装置。
2. ユーザによって設定された算出方法により、前記色信号を増幅するための第１のゲインを決定する第１のゲイン決定手段をさらに備え、前記制御手段は、前記圧縮手段による前記モザイク画像データの圧縮をオンにした場合に、前記第１のゲインを用いて前記ホワイトバランス補正を行うように前記ホワイトバランス補正手段を制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のゲイン決定手段は、前記第１のゲインを、ユーザが設定した色温度に基づいて決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１のゲイン決定手段は、前記第１のゲインを、ユーザが選択した光源の種類に基づいて決定することを特徴とする請求項２に記載の画像処理装置。
5. 前記第１のゲイン決定手段は、前記第１のゲインを、前記モザイク画像データに含まれる複数の色信号から自動的に算出した値に決定することを特徴とする請求項２に記載の画像処理装置。
6. ユーザによって設定された算出方法により、前記色信号を増幅するための第１のゲインを決定する第１のゲイン決定手段と、前記第１のゲインとは異なる第２のゲインを決定する第２のゲイン決定手段とをさらに備え、
   前記制御手段は、前記圧縮手段による前記モザイク画像データの圧縮をオンにした場合に、前記第１のゲインと前記第２のゲインのうちの低い方のゲインを用いて前記ホワイトバランス補正を行うように前記ホワイトバランス補正手段を制御することを特徴とする請求項１に記載の画像処理装置。
7. 前記第２のゲイン決定手段は、前記第２のゲインを、前記モザイク画像データに前記ホワイトバランス補正を行った場合に前記複数の色信号それぞれのレベルがほぼ一致するような値に決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記第２のゲイン決定手段は、前記第２のゲインを、前記モザイク画像データに含まれる複数の色信号から自動的に算出した値に決定することを特徴とする請求項６に記載の画像処理装置。
9. 前記第２のゲイン決定手段は、前記第２のゲインを、予め定められた固定値に決定することを特徴とする請求項６に記載の画像処理装置。
10. 前記モザイク画像データは、赤の画素、緑の画素、青の画素が市松模様に配置されて構成される前記撮像素子から得られるモザイク画像データであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記ホワイトバランス補正手段は、前記赤の画素の色信号と、前記青の画素の色信号を増幅することによりホワイトバランス補正を行うことを特徴とする請求項１０に記載の画像処理装置。
12. 撮像素子から出力された複数の色信号を含むモザイク画像データに対して、少なくとも１つの色信号を増幅してホワイトバランス補正を行うホワイトバランス補正工程と、
    前記モザイク画像データを圧縮して、圧縮された新たなモザイク画像データを取得する圧縮工程と、
    少なくとも前記ホワイトバランス補正と前記圧縮とを制御する制御工程と、を有し、
    前記制御工程において、
    前記圧縮工程における圧縮をオフに設定した場合、前記ホワイトバランス補正工程でのホワイトバランス補正が実質的に無効となるように制御して、前記モザイク画像データを出力し、
    前記圧縮工程における圧縮をオンに設定した場合、前記ホワイトバランス補正工程でのホワイトバランス補正が有効となるように制御して、ホワイトバランス補正後の前記モザイク画像データを出力する、
    ことを特徴とする画像処理方法。
13. 撮像素子から出力された複数の色信号を含むモザイク画像データに対して、少なくとも１つの色信号を増幅してホワイトバランス補正を行うホワイトバランス補正手段と、
    前記モザイク画像データを圧縮する圧縮手段と、
    少なくとも前記ホワイトバランス補正手段と前記圧縮手段とを制御する制御手段と、を備え、
    前記制御手段は、
    前記圧縮手段による圧縮を行う場合、該圧縮の圧縮率が低いほど前記ホワイトバランス補正手段による補正強度が低くなるように制御して、ホワイトバランス補正後の前記モザイク画像データを出力する、
    ことを特徴とする画像処理装置。
14. 撮像素子から出力された複数の色信号を含むモザイク画像データに対して、少なくとも１つの色信号を増幅してホワイトバランス補正を行うホワイトバランス補正工程と、
    前記モザイク画像データを圧縮する圧縮工程と、
    少なくとも前記ホワイトバランス補正と前記圧縮とを制御する制御工程と、を備え
    前記制御工程において、
    前記圧縮工程における圧縮を行う場合、該圧縮の圧縮率が低いほど前記ホワイトバランス補正工程での補正強度が低くなるように制御して、ホワイトバランス補正後の前記モザイク画像データを出力する、
    ことを特徴とする画像処理方法。
15. 請求項１２または１４に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。

Images