JP6583477B2 - 画像処理装置及び撮像装置 - Google Patents

Description

本発明は、画像処理装置及び撮像装置に関する。

デジタルカメラに代表される撮像装置は、取り込まれる画像に対してホワイトバランス処理を行い被写体本来の色を再現している。上述した撮像装置は、陸上（地上）や空中での撮影に用いられる他、水中での撮影（以下、水中撮影と称する）に用いられることも多い。例えば水中においては、水の分光透過率が影響し、赤（Ｒ）色成分の光は緑（Ｇ）色成分の光や青（Ｂ）色成分の光に比べて減衰しやすい。したがって、水中撮影で得られる画像は緑味や青味がかった画像となり、被写体本体の色を再現することはできない。そこで、被写体までの距離や水深などに基づいてホワイトバランス処理用のゲインを演算し、演算されたホワイトバランス処理用のゲインに基づいて画像信号に対するホワイトバランス処理を行うことが考案されている（特許文献１参照）。

特許第３５２８２０２号公報

しかしながら、上述した方法を用いて演算されたホワイトバランス処理用のゲインに基づいて画像信号に対するホワイトバランス処理を行ったとしても、水中における光の演色性は、地上における光の演色性とは大きく異なることから、水中撮影により得られる画像における色再現性を適切に行うことは困難である。

本発明は、色再現性を適切に行うことができるようにした画像処理装置及び撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明の画像処理装置は、画像を入力する入力部と、前記入力部に入力された画像を区分した複数の領域のうち、色評価値があらかじめ設定される白色と認識される範囲内に含まれる領域を検出する白色検出部と、前記白色検出部の検出結果に基づいて、前記複数の領域のうち、前記色評価値が前記白色と認識される範囲内に含まれる領域が検出される場合には、前記色評価値が白色となる範囲内に含まれる領域の色情報を用いて第１のホワイトバランス調整値を算出し、前記複数の領域のうち、前記色評価値が前記白色と認識される範囲内に含まれる領域が検出されない場合には、前記画像の色情報から求めた前記画像が取得されたときの光源の色温度に対応した前記第１のホワイトバランス調整値を算出する第１の算出部と、を備える。

また、本発明の撮像装置は、上述した画像処理装置と、取り込まれた被写体光に基づいた画像を取得することが可能な撮像部と、を備える。

本発明によれば、適切に色再現性を行うことができる。

撮像装置の一例を示す機能ブロック図である。 画像処理装置の構成の一例を示す機能ブロック図である。 ＷＢゲイン演算回路の構成の一例を示す機能ブロック図である。 （ａ）は水深が浅い水中撮影により得られた画像、（ｂ）は閃光を発光したときの水中撮影により得られた画像の一例をそれぞれ示す図である。 （ａ）、（ｂ）は水深が深い水中撮影により得られる画像を示す図である。 ＷＢゲインを求める処理から画像処理までの流れを示す図である。

以下、本発明の実施の形態について説明する。図１は、本実施形態の撮像装置の一例を示す機能ブロック図である。撮像装置１０は、撮像光学系１５、撮像素子１６、操作部材１７、レンズ駆動回路１８、測光回路１９、ＣＰＵ２０、撮像素子駆動回路２１、Ａ／Ｄ変換器２２、画像処理回路２３、液晶モニタ２４、圧縮伸長処理回路２５、表示出力回路２６、閃光装置２７及び記憶媒体２８を備えている。

不図示の被写体の像は、撮像光学系１５によって、撮像素子１６の撮像面上に結像される。撮像光学系１５は複数枚のレンズで構成される。この撮像光学系１５は、操作部材１７の操作などに基づいて、レンズ駆動回路１８を介して、フォーカス、ズームなどの調整が可能な構成とされている。

撮像素子１６は、例えばＣＭＯＳイメージセンサが用いられる。このＣＭＯＳイメージセンサは、例えば赤（Ｒ）色、緑（Ｇ）色及び青（Ｂ）色のカラーフィルタを市松状に配置したベイヤー配列のカラーフィルタアレイを備えた単板式カラーセンサが用いられる。この撮像素子１６は、静止画像の単写撮像とともに、静止画像の連続撮像、及び動画像の撮像が可能な撮像素子である。この撮像素子１６は、測光回路１９で得られた被写体の測光データに基づいて、ＣＰＵ２０の制御のもとで、撮像素子駆動回路２１によって駆動される。撮像素子１６により読み出された画像信号は、Ａ／Ｄ変換器２２に入力される。

Ａ／Ｄ変換器２２は、撮像素子１６から読み出されたアナログの画像信号に対してＡ／Ｄ変換処理を施し、デジタルの画像信号に変換する。デジタルの画像信号は、画像処理回路２３に入力される。

画像処理回路２３は、入力された画像信号に対して、色補間処理、ホワイトバランス（ＷＢ）処理、マトリックス変換処理、γ変換処理、色相・彩度補正処理などの画像処理を施す。この画像処理回路２３の詳細については、後述する。また、この他に、画像処理回路２３は、液晶モニタ２４に表示を行うための解像度（画素数）変換処理を施し、圧縮伸長処理回路２５及び表示出力回路２６に出力する。

表示出力回路２６は、画像処理回路２３から入力された画像信号に所定の信号処理を施し、液晶モニタ２４に出力する。表示出力回路２６は、必要に応じて、画像処理回路２３から出力された画像信号に、撮影メニュー、カーソルなどのオーバーレイ画像信号を重畳する処理を行う。これにより、液晶モニタ２４には、被写体画像にオーバーレイ画像が重畳されて表示される。

圧縮伸長処理回路２５は、入力された画像信号に対して圧縮処理を施し、記憶媒体２８
に記憶する。また、この他に、圧縮伸長処理回路２５は、記憶媒体２８に記憶された画像信号が読み出されたときに、読み出された画像信号に対して復号化処理を施し、画像処理回路２３および表示出力回路２６を介して、液晶モニタ２４に供給する。

ＣＰＵ２０は、操作部材１７の一部を構成するレリーズボタンの操作に基づいて、撮像画面上に設定された領域（ＡＦエリア）の画像信号を抽出し、該領域のコントラスト値（もしくは、該領域の高空間周波数成分量）を算出し、算出結果をもとに、撮像素子１６の撮像面上における被写体像のフォーカス状態を調整する、いわゆるコントラストＡＦ動作を行う。

また、ＣＰＵ２０は、撮像光学系１５を駆動し、順次得られる画像信号を画像内の被写体毎に解析し、領域内のコントラスト値が最大となった際のレンズ位置をもとに、被写体毎の撮影距離情報を取得する。

なお、自動合焦動作として、コントラストＡＦ動作を例に挙げているが、これに限定される必要はなく、周知の瞳分割方式の位相差ＡＦ動作を用いることも可能である。この場合にも、自動合焦動作によって、各領域の撮影距離情報を得ることができる。

ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、レンズ駆動回路１８を介して撮像光学系１５を駆動し、撮像素子１６の撮像面上に結像される被写体像を拡大、又は縮小する、光学的なズーム動作を実行する。さらに、ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、撮像素子１６により得られる画像信号、又は記憶媒体２８に記憶される画像信号を、画像処理回路２３による解像度（画素数）変換処理によって拡大または縮小する電気的なズーム動作を制御する。

次に、画像処理回路２３の構成について、図２に基づいて説明する。画像処理回路２３は、色補間処理回路３１、ホワイトバランス（ＷＢ）処理回路３２、色変換マトリクス（ＭＴＸ）回路３３、ガンマ（γ）補正回路３４、色相・彩度補正回路３５、ＷＢゲイン演算回路３６及び調整回路３７を備えている。

色補間処理回路３１は、Ａ／Ｄ変換器２２から出力されたデジタルの画像信号に対して色補間処理を実行する。これにより、各画素の信号値が赤（Ｒ）色成分、緑（Ｇ）色成分或いは青（Ｂ）色成分のいずれかの色成分の信号値を有する画像信号から、各画素の信号値が赤（Ｒ）色成分、緑（Ｇ）色成分及び青（Ｂ）色成分の各色成分の信号値を有する画像信号となる。

ＷＢ処理回路３２は、調整回路３７によって調整されたホワイトバランスゲイン（以下、ＷＢゲイン）の値を用いて、画像信号に対するＷＢ処理を行う。色変換ＭＴＸ回路３３は、ＷＢ処理が施された画像信号が最適な色で再現されるように、画像信号に対して色ゲインの値を乗算する。γ補正回路３４は、色ゲインの値が乗算された画像信号に対して階調補正を行う。色相・彩度補正回路３５は、階調補正が施された画像信号に対して、色相補正や彩度補正を行う。

ＷＢゲイン演算回路３６は、色補間処理が施された画像信号に基づいて、ＷＢゲインを算出する。このＷＢゲイン演算回路３６の構成については後述する。このＷＢゲイン演算回路３６は、撮影モードが水中撮影モードに設定された場合と、水中撮影モードを除く他の撮影モードに設定された場合とで、異なる処理を行うことで、それぞれのモードに合わせたＷＢゲインを算出する。以下、撮影モードが水中撮影モード以外の撮影モードとなる場合を、便宜上、陸上撮影モードと称する。

調整回路３７は、画像処理回路２３に入力される撮影モード情報に基づいて、ＷＢゲイン演算回路３６によって演算されたＷＢゲインの値を調整する。また、調整回路３７は、撮影モード情報とＷＢゲイン演算回路３６によって演算されたＷＢゲインの値に基づいて、色変換ＭＴＸ回路３３により用いる色ゲインの値、γ補正回路３４にて実行される階調補正時に用いるγ値の他、色相・彩度補正回路３５にて用いる色相補正値や彩度補正値を調整する。なお、撮影モード情報は、ユーザによる操作部材の操作によって設定される撮影モードの情報の他に、入力される画像信号に基づいて撮影シーンを判別するシーン判別回路（図示省略）によって判別された撮影モードの情報が挙げられる。

次に、図３を用いて、ＷＢゲイン演算回路３６の構成について説明する。ＷＢゲイン演算回路３６は、第１白色検出回路４１、光源設定回路４２、引き込み設定回路４３、閃光条件設定回路４４、第１ゲイン演算回路４５、検出範囲設定回路４６、第２白色検出回路４７、第２ゲイン演算回路４８及び第３ゲイン演算回路４９から構成される。

ここで、ＷＢゲイン演算回路３６には、上述した撮影モード情報が入力される。したがって、ＷＢゲイン演算回路３６は、入力される撮影モード情報に基づいて異なる処理を実行する。例えば撮影モード情報から水中撮影モードであると判別される場合、ＷＢゲイン演算回路３６は、ＷＢゲイン演算回路３６を構成する全ての回路を作動させて、画像信号に基づくＷＢゲインを演算する。一方、撮影モード情報から陸上撮影モードであると判別される場合、ＷＢゲイン演算回路３６は、ＷＢゲイン演算回路３６を構成する回路のうち、第１白色検出回路４１、光源設定回路４２、引き込み設定回路４３、閃光条件設定回路４４、第１ゲイン演算回路４５を作動させて、画像信号に基づくＷＢゲインを演算する。なお、本実施形態では、水中撮影モードの場合にのみ、ＷＢゲイン演算回路３６を構成する全ての回路を作動させるようにしているが、これに限定される必要はなく、撮影モードに関係なく、ＷＢゲイン演算回路３６を構成する全ての回路を作動させることも可能である。

第１白色検出回路４１は、色補間処理が施された画像信号に基づく画像を複数のブロックに区分する。第１白色検出回路４１は、区分した各ブロックごとの色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］を算出する。次に、第１白色検出回路４１は、求めた色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］から色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を求める。色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）は、例えば、以下の式（１）及び式（２）で求められる。

Ｃｘ［ｉ］＝Ｒ［ｉ］／Ｇ［ｉ］・・・（１）
Ｃｙ［ｉ］＝Ｂ［ｉ］／Ｇ［ｉ］・・・（２）
ここで、符号ｉは、ｉ＝１〜ｍ（ｍは、ブロックの総数）である。

第１白色検出回路４１は、各ブロックに対して求めた色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が予め設定された白色の範囲（白色検出範囲）に含まれるかを検出する。そして、第１白色検出回路４１は、白色検出範囲に含まれる色評価値を有するブロックがある場合に、白色検出範囲に含まれる色評価値を有するブロックの数を計数する。以下、第１白色検出回路４１において実行される処理を第１白色検出処理と称する。

ここで、第１白色検出処理において、色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）を式（１）及び式（２）より求めているが、これに限定される必要はなく、以下の式（３）及び式（４）を用いて求めることも可能である。

Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］・・・・（３）
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］・・・・（４）
なお、Ｙ［ｉ］は、Ｙ［ｉ］＝Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］である。

光源設定回路４２は、入力される画像信号に基づいて、光源の色温度を設定する。例えば白色の領域が含まれない画像に対して第１白色検出処理を行った場合には、白色検出範囲に含まれる色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を有するブロックは検出されない。このような場合に、光源設定回路４２は、入力される画像信号に基づいて、光源の色温度を設定する。したがって、光源設定回路４２における処理は、第１白色検出処理において白色検出範囲に含まれる色評価値を有するブロックが検出されない時（白色未検出時）の処理となる。

まず、光源設定回路４２は、画像を区分した複数のブロックごとの色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］を用いて、画像全体の色平均値Ａｖｅ＿Ｒ［ｉ］、Ａｖｅ＿Ｇ［ｉ］、Ａｖｅ＿Ｂ［ｉ］を求める。そして、光源設定回路４２は、求めた画像全体の色平均値Ａｖｅ＿Ｒ［ｉ］、Ａｖｅ＿Ｇ［ｉ］、Ａｖｅ＿Ｂ［ｉ］から、Ａｖｅ＿Ｒ［ｉ］／Ａｖｅ＿Ｇ［ｉ］及びＡｖｅ＿Ｂ［ｉ］／Ａｖｅ＿Ｇ［ｉ］を求める。ここで、色温度は、Ａｖｅ＿Ｒ［ｉ］／Ａｖｅ＿Ｇ［ｉ］を縦軸に、Ｂ／Ｇを横軸に取った座標において対応付けられる。したがって、光源設定回路４２は、Ａｖｅ＿Ｒ［ｉ］／Ａｖｅ＿Ｇ［ｉ］及びＡｖｅ＿Ｂ［ｉ］／Ａｖｅ＿Ｇ［ｉ］の値を用いて、光源の色温度を設定する。

引き込み設定回路４３は、所定の色温度における基準点を基にホワイトバランスをとる範囲を制限する引込制限枠を設定する。つまり、引込制限枠を設定することで、第１白色検出処理によって白色検出範囲に含まれると見なされたブロックの色評価値が、引込制限枠の範囲内にある場合には本体白色であるものとし、該色評価値が引込制限枠の範囲から外れた場合には本体白色でないものとして判断することが可能となる。なお、第１白色検出処理において白色検出範囲に含まれる色評価値を有するブロックが検出されていない場合、引き込み設定回路４３は、引込制限枠を設定する処理を省略する。

閃光条件設定回路４４は、例えば画像を区分した複数のブロックごとの色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］から各ブロックごとの輝度値Ｙ［ｉ］を求め、求めたブロックごとの輝度値Ｙ［ｉ］を用いて、閃光装置２７における閃光条件を設定する。

第１ゲイン演算回路４５は、画像信号に基づいたＷＢゲイン（以下、第１ＷＢゲイン）の値を求める。上述した第１白色検出処理によって白色検出範囲に含まれる色評価値を有するブロックが検出されている場合には、第１ゲイン演算回路４５は、これらブロックの色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］を用いて、第１ＷＢゲインＧａｉｎ＿Ｒ_１、Ｇａｉｎ＿Ｇ_１及びＧａｉｎ＿Ｂ_１を算出する。詳細には、第１ゲイン演算回路４５は、白色検出範囲に含まれる色評価値を有するブロックのうち、引込制限枠の範囲内にある色評価値を有するブロックを特定し、特定された引込制限枠の範囲内にある色評価値を有するブロックの色平均値を加算平均する。そして、第１ゲイン演算回路４５は、加算平均された値を用いて、第１ＷＢゲインＧａｉｎ＿Ｒ_１、Ｇａｉｎ＿Ｇ_１及びＧａｉｎ＿Ｂ_１を算出する。

一方、上述した第１白色検出処理において、白色検出範囲に含まれる色評価値を有するブロックが検出されない場合、第１ゲイン演算回路４５は、光源設定回路４２により求めた色温度に基づいたＷＢゲイン値Ｇａｉｎ＿Ｒ_０、Ｇａｉｎ＿Ｇ_０及びＧａｉｎ＿Ｂ_０を第１ＷＢゲインＧａｉｎ＿Ｒ_１、Ｇａｉｎ＿Ｇ_１及びＧａｉｎ＿Ｂ_１として設定する。なお、色温度に基づいたＷＢゲイン値Ｇａｉｎ＿Ｒ_０、Ｇａｉｎ＿Ｇ_０及びＧａｉｎ＿Ｂ_０は、予め実験、統計などにより求められる値である。

検出範囲設定回路４６は、画像に含まれる白色に対する白色検出範囲を新たに設定する。例えば水中では水の分光透過率が影響することから、水中における白色分布は緑色方向及び青色方向に偏ったものとなる。その結果、第１白色検出回路４１において設定される白色検出範囲を用いると、被写体本来の白色を画像から検出することは困難となる。したがって、検出範囲設定回路４６は、画像を区分した各ブロックごとの色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］を参照して、緑色方向及び青色方向に偏った所定の範囲を白検出範囲として新たに設定する。

第２白色検出回路４７は、画像を区分した各ブロックに対して求めた色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が、検出範囲設定回路４６によって新たに設定された白色検出範囲に含まれるかを検出する。以下、第２白色検出回路４７において実行される処理を第２白色検出処理と称する。

第２ゲイン演算回路４８は、第２白色検出処理により白色検出範囲に含まれる色評価値を有するブロックの色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］を用いて、ＷＢゲイン（以下、第２ＷＢゲインと称する）を算出する。以下、第２ゲイン演算回路４８によって算出されるゲインを第２ゲインＧａｉｎ＿Ｒ_２、Ｇａｉｎ＿Ｇ_２及びＧａｉｎ＿Ｂ_２と称する。

第３ゲイン演算回路４９は、第１ゲイン演算回路４５により求めた第１ＷＢゲインＧａｉｎ＿Ｒ_１、Ｇａｉｎ＿Ｇ_１及びＧａｉｎ＿Ｂ_１及び第２ゲイン演算回路４８により求めた第２ＷＢゲインＧａｉｎ＿Ｒ_２、Ｇａｉｎ＿Ｇ_２及びＧａｉｎ＿Ｂ_２を用いて、第３ＷＢゲインＧａｉｎ＿Ｒ_３、Ｇａｉｎ＿Ｇ_３及びＧａｉｎ＿Ｂ_３を算出する。この第３ＷＢゲインを求める際に、第３ゲイン演算回路４９は、第１白色検出処理によって計数される白色検出範囲に含まれるブロックの総数に基づいて、第１ゲイン演算回路４５にて求めた第１ＷＢゲインＧａｉｎ＿Ｒ_１、Ｇａｉｎ＿Ｇ_１及びＧａｉｎ＿Ｂ_１と、第２ゲイン演算回路４８によって求められた第２ＷＢゲインＧａｉｎ＿Ｒ_２、Ｇａｉｎ＿Ｇ_２及びＧａｉｎ＿Ｂ_２との比率（重み）を求める。そして、第３ゲイン演算回路４９は、第１ＷＢゲインＧａｉｎ＿Ｒ_１、Ｇａｉｎ＿Ｇ_１及びＧａｉｎ＿Ｂ_１と、第２ＷＢゲインＧａｉｎ＿Ｒ_２、Ｇａｉｎ＿Ｇ_２及びＧａｉｎ＿Ｂ_２との他に、求めた比率を用いて、第３ＷＢゲインＧａｉｎ＿Ｒ_３、Ｇａｉｎ＿Ｇ_３及びＧａｉｎ＿Ｂ_３を算出する。

図４（ａ）は水深が浅い状態での水中撮影で得られた画像、図４（ｂ）は閃光装置による閃光によって被写体が照明される状態での水中撮影で得られた画像である。これら図４（ａ）及び図４（ｂ）に示すように、水深が浅い状態での水中撮影や閃光によって被写体が照明される水中撮影では、水中に入射する自然光や閃光装置２７における閃光の影響が大きいので、被写体の白色は画像においても白色として表される。したがって、第１白色検出処理を実行すると、白色検出範囲に含まれる色評価値を有するブロックは数多く検出される。このような場合、第３ゲイン演算回路４９は、第１ＷＢゲインの比率を、第２ＷＢゲインの比率よりも高くなるように設定する。

一方、図５（ａ）や図５（ｂ）に示すように、水深が深い状態での水中撮影では、水中に入射する自然光や閃光装置２７における閃光は、水深が浅い状態の水中撮影よりも、水の分光透過率の影響が大きい。したがって、被写体の白色は青味や緑味がかった白色として表される。したがって、第１白色検出処理では、白色検出範囲に含まれる色評価値を有するブロックは水深が深いほど検出されにくくなる。このような場合には、第３ゲイン演算回路４９は、第２ＷＢゲインの比率が第１ＷＢゲインの比率よりも高くなるように設定する。ここで、第１ＷＢゲインの比率をα、第２ＷＢゲインの比率βとした場合、α＋β＝１を満足し、かつ、それぞれの比率α及びβのいずれか一方が０とならないように、第１ＷＢゲイン及び第２ＷＢゲインの比率が設定される。

次に、ＷＢゲインを算出する処理から画像処理に係る処理の流れを、図６に基づいて説明する。なお、図６の処理の流れは、撮像素子１６から出力された画像信号に対して色補間処理が行われたことを契機にしている。

ステップＳ１０１は、水中撮影モードであるか否かを判定する処理である。画像処理回路２３には、撮影モード情報が入力される。したがって、ＷＢゲイン演算回路３６は、入力される撮影モード情報を参照する。撮影モード情報が水中撮影モードであると判別されたときは、ＷＢゲイン演算回路３６は、ステップＳ１０１の判定処理の結果をＹｅｓとする。この場合、ステップＳ１０２に進む。一方、撮影モード情報が陸上撮影モードであると判別されたときには、ＷＢゲイン演算回路３６は、ステップＳ１０１の判定処理の結果をＮｏとする。この場合、ステップＳ１２０に進む。

ここで、撮影モード情報が水中撮影モードであると判別されたときには、後述するステップＳ１０２からステップＳ１０６までの処理と、後述するステップＳ１０８からステップＳ２１０までの処理とが同時に（並行して）実行される。一方、撮影モード情報が水中撮影モードでないと判別されたとき、つまり撮影モード情報が陸上撮影モードであると判別された場合には、ステップＳ１２０からステップＳ１２４の処理が実行される。ここで、ステップＳ１０２からステップＳ１０６の処理は、陸上撮影モードの処理（ステップＳ１２０からステップＳ１２４の処理）と同一の処理である。

なお、図６においては、ステップＳ１０３からステップＳ１０６までの処理と、ステップＳ１０８からステップＳ２１０までの処理とを同時に実行する形態としているが、例えばステップＳ１０２からステップＳ１０６までの処理を行った後、ステップＳ１０８からステップＳ１１０までの処理を行ってもよい。また、予めステップＳ１０２の処理を行った後にステップＳ１０８からステップＳ１１０までの処理を行い、さらにステップＳ１０３からステップＳ１０６までの処理を行うことも可能である。

ステップＳ１０２は、第１白色検出処理である。第１白色検出回路４１は、入力される画像信号に基づく画像を複数のブロックに区分し、区分した各ブロックごとの色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］を求める。そして、第１白色検出回路４１は、求めた色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］から色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）をブロックごとに求める。第１白色検出回路４１は、各ブロックに対して求めた色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白色検出範囲に含まれるかを検出する。そして、第１白色検出回路４１は、白色検出範囲に含まれる色評価値を有するブロックが検出されるたびに、白色検出範囲に含まれる色評価値を有するブロックの数を計数する。

ステップＳ１０３は、白色未検出時処理である。上述した第１白色検出処理によって白色検出範囲に含まれる信号値を有するブロックが検出されない、言い換えれば白色検出範囲に含まれる信号値を有するブロックの数が０となる場合、このステップＳ１０３の処理が実行される。この白色未検出時処理とは、例えば光源設定回路４２による光源の色温度を設定する処理である。光源設定回路４２は、画像全体の色平均値Ａｖｅ＿Ｒ［ｉ］、Ａｖｅ＿Ｇ［ｉ］、Ａｖｅ＿Ｂ［ｉ］から、Ａｖｅ＿Ｒ［ｉ］／Ａｖｅ＿Ｇ［ｉ］及びＡｖｅ＿Ｂ［ｉ］／Ａｖｅ＿Ｇ［ｉ］を求める。そして、光源設定回路４２は、Ａｖｅ＿Ｒ［ｉ］／Ａｖｅ＿Ｇ［ｉ］及びＡｖｅ＿Ｂ［ｉ］／Ａｖｅ＿Ｇ［ｉ］の値を用いて、光源の色温度を設定する。

ステップＳ１０４は、引込制限枠を設定する処理である。引き込み設定回路４３は、引込制限枠を設定する。

ステップＳ１０５は、閃光条件を設定する処理である。閃光条件設定回路４４は、例えば画像を区分した複数のブロックごとの輝度値Ｙ［ｉ］を求め、求めたブロックごとの輝度値Ｙ［ｉ］に基づいて、閃光装置２７における閃光条件を設定する。

ステップＳ１０６は、第１ＷＢゲインを演算する処理である。上述した第１白色検出処理によって白色検出範囲に含まれる色評価値を有するブロックが検出されている場合、第１ゲイン演算回路４５は、これらブロックのうち、引込制限枠の範囲内となる色評価値を有するブロックの色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］を用いて、第１ＷＢゲインＧａｉｎ＿Ｒ_１、Ｇａｉｎ＿Ｇ_１及びＧａｉｎ＿Ｂ_１を算出する。

一方、上述した第１白色検出処理において、白色検出範囲となるブロックが検出できない場合、第１ゲイン演算回路４５は、光源設定回路４２により求めた色温度に基づいたＷＢゲイン値Ｇａｉｎ＿Ｒ_０、Ｇａｉｎ＿Ｇ_０及びＧａｉｎ＿Ｂ_０を第１ＷＢゲインＧａｉｎ＿Ｒ_１、Ｇａｉｎ＿Ｇ_１及びＧａｉｎ＿Ｂ_１とする。

ステップＳ１０８は、白色検出範囲を設定する処理である。検出範囲設定回路４６は、画像を区分した各ブロックごとの色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］を参照して、緑色方向及び青色方向に偏った所定の範囲を白検出範囲として新たに設定する。

ステップＳ１０９は、第２白色検出処理である。第２白色検出回路４７は、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）がステップＳ１０８において設定された白色検出範囲に含まれるブロックの有無を検出する。

ステップＳ１１０は、第２ＷＢゲインを演算する処理である。第２ゲイン演算回路４８は、第２白色検出処理により検出されたブロックの色平均値Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］を用いて、第２ＷＢゲインＧａｉｎ＿Ｒ_２、Ｇａｉｎ＿Ｇ_２及びＧａｉｎ＿Ｂ_２を算出する。

ステップＳ１１１は、第３ＷＢゲインを演算する処理である。第３ゲイン演算回路４９は、第１白色検出処理によって検出されるブロックの総数に基づいて、第１ＷＢゲインＧａｉｎ＿Ｒ_１、Ｇａｉｎ＿Ｇ_１及びＧａｉｎ＿Ｂ_１及び第２ＷＢゲインＧａｉｎ＿Ｒ_２、Ｇａｉｎ＿Ｇ_２及びＧａｉｎ＿Ｂ_２の比率を設定する。そして、第３ゲイン演算回路４９は、求めた比率と、第１ＷＢゲインＧａｉｎ＿Ｒ_１、Ｇａｉｎ＿Ｇ_１及びＧａｉｎ＿Ｂ_１、及び第２ＷＢゲインＧａｉｎ＿Ｒ_２、Ｇａｉｎ＿Ｇ_２及びＧａｉｎ＿Ｂ_２を用いて、第３ＷＢゲインＧａｉｎ＿Ｒ_３、Ｇａｉｎ＿Ｇ_３及びＧａｉｎ＿Ｂ_３を算出する。

ステップＳ１１２は、補正値の調整処理である。水中撮影モードは、予め複数（例えば３種類の）モードを備えており、この複数のモードにおいては、画像処理時の補正値の設定が異なる。調整回路３７は、まず、設定された水中撮影モードが複数の水中撮影モードのいずれかであるかを判別する。そして、調整回路３７は、判別した結果に基づいて、ステップＳ１１１にて求めた第３ＷＢゲインＧａｉｎ＿Ｒ_３、Ｇａｉｎ＿Ｇ_３及びＧａｉｎ＿Ｂ_３を調整する。この第３ＷＢゲインＧａｉｎ＿Ｒ_３、Ｇａｉｎ＿Ｇ_３及びＧａｉｎ＿Ｂ_３の調整としては、第３ＷＢゲインＧａｉｎ＿Ｒ_３、Ｇａｉｎ＿Ｇ_３及びＧａｉｎ＿Ｂ_３に所定の係数を加算するものであってもよいし、所定の係数を乗算するものであってもよい。以下、調整された第３ＷＢゲインをＧａｉｎ＿Ｒ_４、Ｇａｉｎ＿Ｇ_４及びＧａｉｎ＿Ｂ_４と称する。

また、調整回路３７は、設定される水中撮影モードに基づいて、色ゲインの値、γ値、色相補正値や彩度補正値を読み出す。そして、調整回路３７は、ステップＳ１１１にて求めた第３ＷＢゲインＧａｉｎ＿Ｒ_３、Ｇａｉｎ＿Ｇ_３及びＧａｉｎ＿Ｂ_３に基づいて、色ゲインの値、γ値、色相補正値や彩度補正値を調整する。これら値の調整は、読み出した補正値に対して、所定の係数を加算するものであってもよいし、所定の係数を乗算するものであってもよい。

ステップＳ１１３は、画像処理である。まず、ＷＢ処理回路３２は、調整回路３７によって調整されたＷＢゲインＧａｉｎ＿Ｒ_４、Ｇａｉｎ＿Ｇ_４及びＧａｉｎ＿Ｂ_４を用いて、画像信号に対するＷＢ処理を実行する。この処理の後、色変換ＭＸＴ回路３３による色変換処理、γ補正回路３４による階調補正処理、色相・彩度補正回路３５による色相補正処理や彩度補正処理が実行される。なお、色変換処理、階調補正処理、色相補正処理及び彩度補正処理に対しても、調整回路３７によって調整された補正値が用いられる。

上述したステップＳ１０１の判定処理において、撮影モード情報から陸上撮影モードであると判別される場合、ＷＢゲイン演算回路３６は、ステップＳ１０１の判定処理の結果をＮｏとする。この場合、ステップＳ１２０に進む。この場合、ＷＢゲイン演算回路３６は、ステップＳ１２０からステップＳ１２４の処理を実行することで、ＷＢゲインを算出する。

ステップＳ１２０は、白点検出処理である。このステップＳ１２０の処理は、ステップＳ１０２における第１白色検出処理と同一の処理である。

ステップＳ１２１は、白点未検出時処理である。このステップＳ１２１の処理は、ステップＳ１０３における処理と同一の処理である。

ステップＳ１２２は、引込制限枠を設定する処理である。このステップＳ１２２の処理は、ステップＳ１０４の処理と同一の処理である。

ステップＳ１２３は、閃光条件を設定する処理である。このステップＳ１２３の処理は、ステップＳ１０５の処理と同一の処理である。

ステップＳ１２４は、ＷＢゲインを演算する処理である。このステップＳ１２４の処理は、ステップＳ１０６と同一の処理である。

このように、本発明では、撮影モードが陸上撮影モードに設定されている場合には、被写体本来の白色が、引込制限枠における基準点（黒体放射曲線上に位置する値）となるように、ＷＢ処理用のＷＢゲインが求められる。また、撮影モードが水中撮影モードに設定されている場合には、陸上撮影モードでの処理と同一の処理を行うことでＷＢゲイン（第１ＷＢゲイン）を算出する他に、水の分光透過率の影響による白色の変化を考慮して設定される白色検出範囲を用いてＷＢゲイン（第２ＷＢゲイン）を算出し、これらＷＢゲインを得られた画像に含まれる白色領域の割合に基づいて混合している。このような処理を行うことで、被写体までの距離や水深などを予め算出しなくとも、水深の深さに応じて変化する色味の変化に応じた、ＷＢ処理用のＷＢゲインを適切に取得することが可能となる。その結果、画像信号に対して適切なＷＢ処理を行うことが可能となる。

また、従来の画像処理では、水深の浅い水中撮影で得られる画像に対して用いた色再現係数を、水深の深い水中撮影にて得られる画像に対する画像処理の際に用いると、水中における色かぶりは残るものの、被写体の色味を出すことが難しい。また、水深の深い水中撮影にて得られる画像に対して用いた色再現係数を、水深の深い水中撮影にて得られる画像に対する画像処理の際に用いると、色味が誇張されてしまう。

しかしながら、本発明では、算出されたＷＢゲインに応じて、画像処理における補正値を調整しているので、画像に対して適切な色再現係数を求めることが可能になる。その結果、得られる画像に対して適切な画像処理を行うことが可能となる。

本実施形態においては、撮像素子から出力される画像信号に対してＷＢゲインを求めるようにしている。したがって、撮像素子から出力される画像信号は、撮影を行っていない状態で得られる画像（スルー画像、ライブビュー画像）や、レリーズボタンの操作による撮像処理によって得られる画像（撮影画像）の双方に適用することができる。

１０…撮像装置、１６…撮像素子、２３…画像処理回路、３１…色補間処理回路、３２…ホワイトバランス（ＷＢ）処理回路、３３…色変換マトリクス（ＭＴＸ）回路、３４…ガンマ（γ）補正回路、３５…色相・彩度補正回路、３６…ＷＢゲイン演算回路、３７…調整回路、４１…第１白色検出回路、４２…光源設定回路、４３…引き込み設定回路４３、４５…第１ゲイン演算回路、４６…検出範囲設定回路、４７…第２白色検出回路、４８…第２ゲイン演算回路、４９…第３ゲイン演算回路

Claims (5)

1. 画像を入力する入力部と、
   前記入力部に入力された画像を区分した複数の領域のうち、色評価値があらかじめ設定される白色と認識される範囲内に含まれる領域を検出する白色検出部と、
   前記白色検出部の検出結果に基づいて、前記複数の領域のうち、前記色評価値が前記白色と認識される範囲内に含まれる領域が検出される場合には、前記色評価値が白色となる範囲内に含まれる領域の色情報を用いて第１のホワイトバランス調整値を算出し、前記複数の領域のうち、前記色評価値が前記白色と認識される範囲内に含まれる領域が検出されない場合には、前記画像の色情報から求めた前記画像が取得されたときの光源の色温度に対応した前記第１のホワイトバランス調整値を算出する第１の算出部と、を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記複数の領域のうち、色評価値が前記白色検出部が白色と認識する範囲と比較して特定の色に偏った範囲内に含まれる領域を検出し、その検出結果に基づいて、前記画像に対する第２のホワイトバランス調整値を算出する第２の算出部と、
   前記第１のホワイトバランス調整値と前記第２のホワイトバランス調整値とに基づいて、第３のホワイトバランス調整値を算出する第３の算出部と、
   を備える画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記白色検出部により、前記白色として認識される範囲内に含まれる領域の数を計数する計数部を備え、
   前記第３の算出部は、前記計数部によって計数される領域数に応じて、前記第１のホワイトバランス調整値と前記第２のホワイトバランス調整値との比率を設定し、設定した比率を用いて、前記第３のホワイトバランス調整値を算出する画像処理装置。
4. 請求項１から請求項３のいずれか１項に記載の画像処理装置において、
   前記画像は、水中撮影モードで取得された画像である画像処理装置。
5. 請求項１から請求項４のいずれか１項に記載の画像処理装置と、
   取り込まれた被写体光に基づいた画像を取得することが可能な撮像部と、
   を備える撮像装置。