JP7455656B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像のホワイトバランスを調整する画像処理技術に関する。

画像処理装置におけるオートホワイトバランス技術として、特許文献１には、顔検出などによって特定の被写体を検出し、その検出領域の色情報を用いて光源を推定して、ホワイトバランス補正値を算出する技術が開示されている。また近年、ディープラーニング技術により、顔以外の肌や自然の草木など様々な被写体の検出が行えるようになってきており、ホワイトバランスの演算に利用できる情報が多くなっている。

特開２０１０－１８７２０１号公報

しかしながら、ディープラーニング技術により様々な被写体が検出できるようになる一方で、対象とすべき被写体ではないものを誤検出してしまうケースがあり、この誤検出結果を基にホワイトバランスを演算してしまうと、誤った補正値を算出することになる。

そこで、本発明は、被写体の誤検出によるホワイトバランスの誤補正の影響を軽減し、適切なホワイトバランス制御を可能にすることを目的とする。

本発明の画像処理装置は、撮像画像から２つ以上の特定被写体を検出する検出手段と、前記検出された第１の特定被写体の色情報から第１の光源色を推定する第１の色推定手段と、前記検出された第２の特定被写体の色情報から第２の光源色を推定する第２の色推定手段と、前記検出された特定被写体以外を含む領域の色情報から第３の光源色を推定する第３の色推定手段と、前記第１の光源色と前記第２の光源色と前記第３の光源色のそれぞれの類似度に応じて、前記第１の光源色と前記第２の光源色と前記第３の光源色の少なくとも１つに重み付けを行って前記撮像画像に適用するホワイトバランス補正値を算出する算出手段と、を有することを特徴とする。

本発明によれば、被写体の誤検出によるホワイトバランスの誤補正の影響を軽減でき、適切なホワイトバランス制御が可能となる。

画像処理装置を備えた撮像装置の構成例を示す図である。 画像処理装置の構成例を示す図である。 撮像装置のＣＰＵが実行する処理のフローチャートである。 ホワイトバランス補正値演算処理のフローチャートである。 画像のブロック分割の説明に用いる図である。 Ｒ／Ｇ，Ｂ／Ｇ値と黒体輻射軌跡の説明に用いる図である。 光源色の類似度及び信頼度算出の説明に用いる図である。 推定光源色の類似度と信頼度を表にして示す図である。 信頼度及び推定光源色の再算出の説明に用いる図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

図１は、本実施形態の画像処理装置の一適用例である撮像装置１００の概略構成を示した図である。
撮像装置１００は、デジタルカメラやデジタルビデオカメラのようなカメラである。なお、撮像装置１００は、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であっても良い。

光学系１０１は、レンズ、シャッター、絞り等により構成されており、被写体の光学像を撮像素子１０２の撮像面上に形成する。また、光学系１０１からは、焦点距離、シャッター速度、絞り値などの情報が中央演算装置（以降、ＣＰＵとする）１０３へ送られる。
撮像素子１０２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどであり、Ｒ（赤），Ｇ（緑），Ｂ（青）のべイヤー配列等で構成され、光学系１０１にて結像された光学像を画素ごとの輝度情報に変換する。そして、不図示のＡＤ変換器を通してデジタル化されたデータ、いわゆる現像処理前のＲＡＷデータが、ＣＰＵ１０３を通じて一次記憶装置１０４に記憶される。なお、撮像素子１０２の電気的利得（以降、ＩＳＯ感度とする）は、ＣＰＵ１０３によって設定される。

測光センサ１０５は、複数の測光領域に分割（例えば水平１２、垂直８の計９６領域に分割）されており、光学系１０１によって入射した光量から分割領域ごとの被写体輝度を検出する。測光センサ１０５から出力された測光領域ごとの輝度の信号は、不図示のＡＤ変換器でデジタル化されてＣＰＵ１０３へ送られる。なお、分割領域数については任意の正数であればよく、前述した９６領域に限定するものではない。

制御部として機能するＣＰＵ１０３は、入力されたデータや予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現する。なお、以下の説明において、ＣＰＵ１０３がプログラムを実行して実現する機能の少なくとも一部は、ＡＳＩＣなどの専用ハードウェアによって実現されても良い。

一次記憶装置１０４は、例えばＲＡＭのような揮発性記憶装置であり、ＣＰＵ１０３の作業用に使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理装置１０６で利用されたり、記録媒体１０７へ記録されたりもする。
二次記憶装置１０８は、例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶している。二次記憶装置１０８に記憶されているプログラムや各種設定情報は、ＣＰＵ１０３によって利用される。

記録媒体１０７は、撮像素子１０２で撮像されて一次記憶装置１０４に一時的に記憶されている画像のデータなどを記録する。なお、記録媒体１０７は、例えば半導体メモリカードのように、撮像装置１００から取り外し可能であり、記録されたデータはパーソナルコンピュータなど他の機器で読み出し可能である。つまり、撮像装置１００は、記録媒体１０７の着脱機構及び読み書き機能を有する。

表示部１０９は、撮影時のビューファインダー画像、撮影画像、対話的な操作のためのＧＵＩ画像などの表示を行う。
操作部１１０は、ユーザの操作を受け付けてＣＰＵ１０３へ操作入力情報として伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等である。操作部１１０は、音声や視線などを用いた入力機器が含まれていても良い。また撮像装置１００において撮影開始のユーザ操作を取得するレリーズボタンも、この操作部１１０に含まれる。なお本実施形態の撮像装置１００は、画像処理装置１０６が撮像画像に適用する様々な画像処理のパターンを複数有しており、それらパターンを撮像モードとして操作部１１０から設定可能となされている。

画像処理装置１０６は、撮像素子１０２による撮像で取得された画像データに対して、各種の画像処理を施す。画像処理には、ホワイトバランス処理、ＲＧＢベイヤー配列の信号をＲＧＢの色毎の３つのプレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正、色相補正などのいわゆる現像処理が含まれる。詳細は後述するが、画像処理装置１０６は、撮像画像から２つ以上の特定被写体領域を検出する処理、特定被写体領域色判定処理、光源色推定処理、光源色類似度及び信頼度算出処理、光源色混合処理、ホワイトバランス補正値の算出処理などを行う。なお、画像処理装置１０６のそれら各処理の少なくとも一部は、ＣＰＵ１０３が本実施形態に係るプログラムを実行することによってソフトウェア的に実現されても良い。

以下、本実施形態におけるホワイトバランス補正にかかる各種の演算処理と制御処理について説明する。
図２は、画像処理装置１０６において、ホワイトバランス処理を行うホワイトバランス制御部２００の機能を示したブロック図である。なお、以降の説明では、ホワイトバランスをＷＢと記す。ＷＢ制御部２００は、分割部２０１、第１色判定部２０２、第１色推定部２０３、第２色判定部２０４、第２色推定部２０５、白判定部２０６、第３色推定部２０７、類似度算出部２０８、色混合部２０９、補正値算出部２１０を有して構成されている。

分割部２０１は、撮像素子１０２にて撮像されて一次記憶装置１０４に一時的に記憶された撮像画像を、複数のブロックに分割する。分割部２０１によるブロック分割処理の詳細は後述する。

第１色判定部２０２と第２色判定部２０４は、撮像画像からそれぞれが特定の被写体を検出する。なお本実施形態では、例えば、第１特定被写体検出として人物の人肌領域を、第２特定被写体として自然の草木等の領域を挙げる。そして、第１色判定部２０２と第２色判定部２０４は、それぞれ検出した特定被写体の色情報を取得する。すなわち、第１色判定部２０２は撮像画像から１つ目の特定被写体を検出してその特定被写体の色情報を取得し、第２色判定部２０４は撮像画像から２つ目の被写体領域を検出してその特定被写体の色情報を取得する。本実施形態において、第１特定被写体として人物の人肌領域を検出する場合、第１特定被写体の色情報は人肌の肌色情報であり、第２特定被写体として自然の草木等を検出する場合、第２特定被写体の色情報は草木等の緑色情報である。第１色判定部２０２と第２色判定部２０４で検出された特定被写体の領域から色情報を取得する処理の詳細は後述する。

白判定部２０６は、撮像画像から特定被写体領域以外を含む領域の色情報を取得する。すなわち白判定部２０６は、第１色判定部２０２と第２色判定部２０４とで検出される２つの以上の特定被写体以外を含む領域の色情報を取得する。詳細は後述するが、本実施形態の場合、白判定部２０６では、特定被写体領域以外を含む領域から白色情報を取得する。

第１色推定部２０３は、第１色判定部２０２において検出された１つ目の特定被写体の色情報を基に第１光源色を推定する。以下、推定された第１光源色を、第１推定光源色とする。
第２色推定部２０５は、第２色判定部２０４において検出された２つ目の特定被写体の色情報を基に第２光源色を推定する。以下、推定された第２光源色を、第２推定光源色とする。
第３色推定部２０７は、白判定部２０６により取得された色、つまり撮像画像の特定被写体領域以外を含む領域の白色情報を基に第３光源色を推定する。以下、推定された第３光源色を、第３推定光源色とする。
これら第１色推定部２０３、第２色推定部２０５、第３色推定部２０７における処理の詳細は後述する。

類似度算出部２０８は、第１光源色と第２光源色と第３の光源色との類似度を算出し、さらにそれら類似度から、第１光源色と第２光源色と第３の光源色のそれぞれの信頼度を算出する。
色混合部２０９は、類似度もしくは類似度から算出した信頼度に基づいて、第１光源色と第２光源色と第３の光源色に重み付けを行ってそれらを混合する色混合処理を行う。
補正値算出部２１０は、色混合部２０９による色混合処理後の光源色を基に、撮像画像に対して適用するホワイトバランス補正値（ＷＢ補正値）を算出する。
すなわち本実施形態では、第１から第３の光源色の類似度を算出し、さらに類似度から第１光源色から第３の光源色の信頼度を算出し、その信頼度を基に、第１から第３光源色に重み付けしてＷＢ補正値を算出する。これら類似度算出部２０８、色混合部２０９、および補正値算出部２１０における処理の詳細は後述する。そして、画像処理装置１０６では、そのＷＢ補正値を用いたホワイトバランス処理が行われる。

図３は、撮像装置１００のＣＰＵ１０３の処理に関するフローチャートである。なお、本実施形態では、レリーズボタンが２段階になっており、以降に出てくる操作部１１０のＳＷ１はレリーズボタンのいわゆる半押しを意味し、操作部１１０のＳＷ２はレリーズボタンのいわゆる全押しを意味する。

ステップＳ３０１において、ＣＰＵ１０３は、操作部１１０を介したユーザからの入力情報を受け付ける。
次にステップＳ３０２において、ＣＰＵ１０３は、ユーザからの入力情報を基に、光学系１０１の焦点距離、シャッター速度、絞り値などの設定を調節する。
次にステップＳ３０３において、ＣＰＵ１０３は、ユーザからの入力情報を基に、測光センサ１０５の測光領域を調節する。
ステップＳ３０４において、ＣＰＵ１０３は、ユーザからの入力情報を基に、撮像素子１０２のＩＳＯ感度などの設定を調節する。
次にステップＳ３０５において、ＣＰＵ１０３は、ステップＳ３０２からステップＳ３０４等の処理で変更された設定に関する情報を表示部１０９に表示することで、ユーザに提示する。
なお、ステップＳ３０１からステップＳ３０５の順番はこの限りではなく、処理に応じて自由に順番を入れ替えることができる。

次にステップＳ３０６において、ＣＰＵ１０３は、レリーズボタンからのＳＷ１の入力の有無（ＳＷ１ ＯＮ／ＯＦＦ）を判定する。ＣＰＵ１０３は、レリーズボタンからＳＷ１が入力されない限り、ステップＳ３０１～ステップＳ３０５の動作を繰り返す。一方、レリーズボタンからＳＷ１が入力（ＳＷ１ ＯＮ）された場合、ＣＰＵ１０３は、ステップＳ３０７の処理に進む。

ステップＳ３０７に進むと、ＣＰＵ１０３は、測光センサ１０５からの出力を基に被写体の明るさを計測する。また、撮像装置１００が自動露出（ＡＥ）モードに設定されている場合、ＣＰＵ１０３は、シャッター速度と絞り値、ＩＳＯ感度を基に自動的に露出を調節する。
次にステップＳ３０８において、ＣＰＵ１０３は、撮像装置１００が自動フォーカス（ＡＦ）モードに設定されている場合、不図示の測距センサからの情報を基に光学系１０１のフォーカスレンズを制御してピントを合わせる。
なお、ステップＳ３０７からステップＳ３０８の順番はこの限りではなく、処理に応じて自由に順番を入れ替えることができる。

次にステップＳ３０９において、ＣＰＵ１０３は、レリーズボタンからのＳＷ２の入力の有無（ＳＷ２ ＯＮ／ＯＦＦ）を判定する。ＣＰＵ１０３は、レリーズボタンからＳＷ２が入力されない限り、ステップＳ３０１～ステップＳ３０８の動作を繰り返す。一方、レリーズボタンからＳＷ２が入力（ＳＷ２ ＯＮ）された場合、ＣＰＵ１０３は、ステップＳ３１０の処理に進む。

ステップＳ３１０に進むと、ＣＰＵ１０３は、撮像素子１０２に露光を行わせ、その撮像素子１０２の撮像信号がＡ／Ｄ変換された後のＲＡＷデータを一次記憶装置１０４に記憶させる。

次にステップＳ３１１において、ＣＰＵ１０３による制御の下、画像処理装置１０６は、一次記憶装置１０４に記憶されたデータから特定被写体を検出する。本実施形態では、例えば、人肌を第１特定被写体検出として検出し、自然の緑を第２特定被写体として検出するケースを挙げて説明する。なお、検出する特定被写体はこれらに限るものではなく、例えば、顔、青空、雲、土、木の幹、アスファルト、紅葉、枯れ葉など被写体の素の色が推定できる特定被写体であれば何でも良い。また本実施形態では、２つの特定被写体を検出するケースについて説明するが、３つ以上であっても良い。また特定被写体検出の検出方法としてはディープラーニング技術だけでなくルールベースの手法であっても良い。

次にステップＳ３１２において、ＣＰＵ１０３による制御の下、画像処理装置１０６は、一次記憶装置１０４に記憶されたデータを基にホワイトバランス補正値（ＷＢ補正値）を演算する。この処理の詳細は後述する。
さらにステップＳ３１３において、ＣＰＵ１０３による制御の下、画像処理装置１０６は、一次記憶装置１０４に記憶されたＲＡＷデータを、ステップＳ２１２で演算したＷＢ補正値などを用いて現像処理する。
次にステップＳ３１４において、ＣＰＵ１０３は、現像処理後の画像データに基づく画像を、表示部１０９に表示させる。
また、ステップＳ３１５において、ＣＰＵ１０３は、現像処理後の画像データを記録媒体１０７に記録する。

以下、ステップＳ３１２において、画像処理装置１０６で行われるＷＢ補正値の演算について詳細を説明する。
図４は、画像処理装置１０６の図２に示した各機能部によって実行される、ＷＢ補正値演算処理のフローチャートである。
ステップＳ４０１において、分割部２０１は、一次記憶装置１０４に記憶された画像データを、例えば図５に示すように水平と垂直とで任意の数のブロックに分割し、それぞれのブロック内のＲ，Ｇ，Ｂ積分値を算出する。

次にステップＳ４０２において、第１色判定部２０２は、特定被写体検出処理によって第１特定被写体領域を検出し、その第１特定被写体領域のブロックのＲ，Ｇ，Ｂ積分値のみを積分する。本実施形態の場合、第１特定被写体領域として人肌領域が検出され、その肌色領域のＲ，Ｇ，Ｂ積分値が算出される。さらに第１色判定部２０２は、そのＲ，Ｇ，Ｂ積分結果から、Ｒ／Ｇ，Ｂ／Ｇ値を算出する。
そして第１色推定部２０３は、第１色判定部２０２で算出された人肌領域に対応したＲ／Ｇ，Ｂ／Ｇ値から、光源色のＲ／Ｇ，Ｂ／Ｇ値を推定する。

以下、人肌領域に対応したＲ／Ｇ，Ｂ／Ｇ値から、光源色のＲ／Ｇ，Ｂ／Ｇ値を推定する方法について説明する。
図６（ａ）は、Ｒ／Ｇ，Ｂ／Ｇ値のグラフであり、横軸がＲ／Ｇ値、縦軸がＢ／Ｇ値を示している。図中の実線は、黒体輻射軌跡６０１を示している。
また本実施形態において、二次記憶装置１０８には、予め各種の光源色とそれら種類ごとの光源下における人肌のＲ／Ｇ，Ｂ／Ｇ値の対応テーブルが記憶されているとする。なお、実際の人肌の色は人によってばらつきがあるが、それらばらつきの中心付近の肌の色を代表値として、この対応テーブルが作成されているものとする。

図６（ａ）において、例えば人肌領域に対応したＲ／Ｇ，Ｂ／Ｇ値が図中の丸印６０２の位置にあった場合、対応テーブルから得られる人肌領域の色に対応した光源色は、丸印６０３の位置になる。同様に、例えば人肌領域に対応したＲ／Ｇ，Ｂ／Ｇ値が丸印６０４の位置にあった場合、対応テーブルから得られる人肌領域の色に対応した光源色は、丸印６０５の位置になる。第１色推定部２０３は、このように第１色判定部２０２で算出された人肌領域のＲ／Ｇ，Ｂ／Ｇ値と対応テーブルとを用いることで、人肌領域の色から光源色を推定する。本実施形態では、第１色推定部２０３にて推定された光源色が、第１推定光源色である。

次にステップＳ４０３において、第２色判定部２０４は、特定被写体検出処理によって第２特定被写体領域を検出し、その第２特定被写体領域のブロックのＲ，Ｇ，Ｂ積分値のみを積分する。本実施形態の場合、第２特定被写体領域として自然の緑領域が検出され、その緑領域のＲ，Ｇ，Ｂ積分値が算出される。さらに第２色判定部２０４は、そのＲ，Ｇ，Ｂ積分結果から、Ｒ／Ｇ，Ｂ／Ｇ値を算出する。
そして第２色推定部２０５は、第２色判定部２０４で算出された自然の緑領域に対応したＲ／Ｇ，Ｂ／Ｇ値から、光源色のＲ／Ｇ，Ｂ／Ｇ値を推定する。

以下、自然の緑領域に対応したＲ／Ｇ，Ｂ／Ｇ値から、光源色のＲ／Ｇ，Ｂ／Ｇ値を推定する方法について説明する。
図６（ｂ）は、Ｒ／Ｇ，Ｂ／Ｇ値のグラフであり、横軸がＲ／Ｇ値、縦軸がＢ／Ｇ値を示している。図中の実線は、黒体輻射軌跡６０１を示している。
また本実施形態において、二次記憶装置１０８に予め記憶されている対応テーブルには、各種の光源色と、それら種類ごとの光源下における自然の緑のＲ／Ｇ，Ｂ／Ｇ値とが対応付けられている。なお、実際の自然の緑の色はばらつきがあるが、それらばらつきの中心付近の色を代表値として、この対応テーブルが作成されているものとする。

図６（ｂ）において、例えば自然の緑領域に対応したＲ／Ｇ，Ｂ／Ｇ値が丸印６０６の位置にあった場合、対応テーブルから自然の緑領域の色に対応した光源色は、丸印６０７の位置になる。同様に、例えば自然の緑領域に対応したＲ／Ｇ，Ｂ／Ｇ値が丸印６０８の位置にあった場合、対応テーブルから自然の緑領域の色に対応した光源色は、丸印６０９の位置になる。第２色推定部２０５は、このように第２色判定部２０４で算出された自然の緑領域のＲ／Ｇ，Ｂ／Ｇ値と対応テーブルとを用いることで、自然の緑領域の色から光源色を推定する。本実施形態では、第２色推定部２０５にて推定された光源色が、第２推定光源色である。

次にステップＳ４０４において、白判定部２０６は、撮像画像の画面全体から白領域を検出し、その白領域のＲ，Ｇ，Ｂ積分値を算出し、さらにそのＲ，Ｇ，Ｂ積分結果から、白色領域のＲ／Ｇ，Ｂ／Ｇ値を算出する。

図６（ｃ）は、Ｒ／Ｇ，Ｂ／Ｇ値のグラフであり、横軸がＲ／Ｇ値、縦軸がＢ／Ｇ値を示している。図中の点線で囲われた領域は、白色領域６１０を示している。白判定部２０６は、図６（ｃ）に示したＲ／Ｇ，Ｂ／Ｇ軸上に設定した白色領域６１０内に含まれるブロックのＲ，Ｇ，Ｂ値を積分し、丸印６１１で示した１つの積分されたＲ，Ｇ，Ｂ値を算出する。なお、図６（ｃ）に示した白色領域６１０は、黒体輻射軌跡６０１付近と蛍光灯や水銀灯等の光源色が含まれるように領域を設定する。
そして第３色推定部２０７は、白判定部２０６にて設定された白色領域に対応したＲ／Ｇ，Ｂ／Ｇ値から、光源色のＲ／Ｇ，Ｂ／Ｇ値を推定する。第３色推定部２０７で推定されたＲ／Ｇ，Ｂ／Ｇ値は、撮像画像における画面全体（つまり特定被写体領域を含む領域）から算出した光源色となり、本実施形態では、この第３色推定部２０７にて推定された光源色が、第３推定光源色である。

なお、本実施形態では撮像画像の画面全体に対して白判定部２０６の処理を実施しているが、第１特定被写体領域および第２特定被写体領域を除外した領域のみで白判定部２０６の処理を実施しても良い。
また、本実施形態では画像から白色領域６１０に含まれるブロックを抽出することで光源色を推定する方法を説明したが、第１及び第２特定被写体検出領域以外を含む画像領域のデータを用いた光源色推定処理であればこれ以外の手法であっても良い。

次にステップＳ４０５において、類似度算出部２０８は、第１推定光源色から第３推定光源色の類似度を算出し、さらにそれら算出した類似度の信頼度を算出する。その詳細について図７（ａ）～図７（ｃ）を用いて説明する。

図７（ａ）～図７（ｃ）において、図中の実線は黒体輻射軌跡６０１を示し、丸印７０１は前述した第１推定光源色、丸印７０２は第２推定光源色、丸印７０３は第３推定光源色のそれぞれのＲ／Ｇ，Ｂ／Ｇ値の位置を示している。ここで、類似度算出部２０８は、第１推定光源色から第３推定光源色のそれぞれのＲ／Ｇ，Ｂ／Ｇ値のグラフ上での距離を算出する。
これら距離は、例えば以下の式（１）で算出することができる。

Ｄ12＝[(Ｒ／Ｇ1－Ｒ／Ｇ2)^２＋(Ｂ／Ｇ1－Ｂ／Ｇ2)^２｝^(１／２)
Ｄ13＝[(Ｒ／Ｇ1－Ｒ／Ｇ3)^２＋(Ｂ／Ｇ1－Ｂ／Ｇ3)^２｝^(１／２) 式（１）
Ｄ23＝[(Ｒ／Ｇ2－Ｒ／Ｇ3)^２＋(Ｂ／Ｇ2－Ｂ／Ｇ3)^２｝^(１／２)

なお式（１）においてＤ12は第１推定光源色と第２推定光源色のＲ／Ｇ，Ｂ／Ｇ値のグラフ上での距離を示し、同様に、Ｄ13は第１推定光源色と第３推定光源色の距離を、Ｄ23は第２推定光源色と第３推定光源色の距離を示す。また式（１）中のＲ／Ｇ1，Ｂ／Ｇ1は第１推定光源色におけるＲ／Ｇ，Ｂ／Ｇ値を示し、同様に、Ｒ／Ｇ2，Ｂ／Ｇ2は第２推定光源色のＲ／Ｇ，Ｂ／Ｇ値を、Ｒ／Ｇ3，Ｂ／Ｇ3は第３推定光源色のＲ／Ｇ，Ｂ／Ｇ値を示している。

類似度算出部２０８は、これらの距離が所定値以内の場合に類似度が高いと判定し、一方、所定値を超える場合に類似度が低いと判定する。例えば、距離Ｄ12が所定値以内の場合には第１推定光源色と第２推定光源色の類似度が高いと判定し、例えばＤ12が所定値を超える場合には第１推定光源色と第２推定光源色の類似度が低いと判定する。距離Ｄ13、距離Ｄ23についても同様にして類似度が判定される。そして、類似度算出部２０８は、それら類似度を基に、第１推定光源色～第３推定光源色について信頼度を判定する。

図７（ａ）は、第１推定光源色、第２推定光源色、および第３推定光源色の類似度がいずれも高い場合のケースを示している。この例の場合、それぞれの推定光源色の類似度が高いことから、類似度算出部２０８は、いずれの推定光源色も信頼度が高いと判定する。

図７（ｂ）は、第１推定光源色と第３推定光源色との類似度が高く、一方、第２推定光源色は第１、第３推定光源色のいずれに対しても類似度が低い場合の例を示している。このように、他の２つに対して１つだけ推定光源色の距離が離れている場合、類似度算出部２０８は、特定被写体検出結果が誤判定している可能性が高く、類似度が低くなっている１つの推定光源色（この例では第２推定光源色）の信頼度は低いと判定する。

図７（ｃ）は、第１推定光源色、第２推定光源色、および第３推定光源色の類似度がいずれも低い場合の例を示している。このように、３つのすべての推定光源色の距離が離れている場合には、いずれの推定光源色の推定結果の信頼度が高いかどうかを判別することはできないため、類似度算出部２０８は、信頼度が中立であると判定する。なお、第１特定被写体または第２特定被写体のいずれか一方でも検出されなかった場合も、類似度算出部２０８は、第１推定光源色、第２推定光源色、および第３推定光源色の信頼度を中立と判定する。

図８は、以上のように第１推定光源色、第２推定光源色、および第３推定光源色の類似度の組み合わせから信頼度を求める対応テーブルを示した図である。類似度算出部２０８は、この図８に示した対応テーブルを基に推定光源色の信頼度を判定する。図７（ａ）の例は、図８において第１推定光源色～第３推定光源色の類似度の項目がすべて「高」となり、類似度算出部２０８は、第１推定光源色～第３推定光源色の信頼度をすべて「高」と判定する。図７（ｂ）の例は、図８において第１，第３推定光源色の類似度が「高」で、第２推定光源色が「低」となり、類似度算出部２０８は、第１，第３推定光源色の信頼度を「高」、第２推定光源色の信頼度を「低」と判定する。図７（ｃ）の例は、図８の第１推定光源色～第３推定光源色の類似度がすべて「低」となり、類似度算出部２０８は、第１～第３推定光源色の信頼度を、中立を示す「中」と判定する。

次に、ステップＳ４０６において、類似度算出部２０８は、今回の処理が撮像装置１００の電源投入後の１コマ目の撮像時の処理かどうかを判定する。
ここで、１コマ目の撮像時の処理である場合、類似度算出部２０８は、ステップＳ４０７の処理を実施する。ステップＳ４０７において、類似度算出部２０８は、これまでの処理で算出された第１推定光源色～第３推定光源色の信頼度と、それら推定した光源色のＲ／Ｇ，Ｂ／Ｇ値を一次記憶装置１０４に記憶させる。

次に、ステップＳ４０８において、色混合部２０９は、第１推定光源色～第３推定光源色の信頼度に応じた混合処理を行う。
以下、色混合部２０９における色混合処理の詳細について説明する。
ここで、推定光源色の信頼度は、図８の対応テーブルに示したような「高」、「中」、「低」のいずれかの結果となっている。

色混合部２０９は、第１推定光源色～第３推定光源色のうち１つでも信頼度「高」があった場合、その信頼度「高」の推定光源色の重みを１００％とし、他の信頼度（「中」又は「低」）の推定光源色の重みを０％とし、下記式（２）により推定光源色を混合する。

また、第１推定光源色～第３推定光源色のうち、信頼度「高」及び「中」が１つもなく、信頼度「低」のみの場合、色混合部２０９は、前コマの撮像時における混合後光源色を使用する。なお本実施形態の撮像装置１００では、制御上、電源投入後１コマ目の撮像において第１推定光源色～第３推定光源色の信頼度が「低」になることは無いとする。
このように、本実施形態においては、推定光源色それぞれの距離の関係を比較することで、推定光源色の誤判定を判別することができる。

Ｒ／Ｇ0＝(Ｒ／Ｇ1×ａ＋Ｒ／Ｇ2×ｂ＋Ｒ／Ｇ3×ｃ)／(ａ＋ｂ＋ｃ)
Ｂ／Ｇ0＝(Ｂ／Ｇ1×ａ＋Ｂ／Ｇ2×ｂ＋Ｂ／Ｇ3×ｃ)／(ａ＋ｂ＋ｃ) 式（２）

なお、式（２）のＲ／Ｇ0は色混合処理後のＲ／Ｇ値を示し、Ｂ／Ｇ0は色混合処理後のＢ／Ｇ値を示す。また、式（２）中のＲ／Ｇ1，Ｂ／Ｇ1は第１推定光源色のＲ／Ｇ，Ｂ／Ｇ値を示し、Ｒ／Ｇ2，Ｂ／Ｇ2は第２推定光源色のＲ／Ｇ，Ｂ／Ｇ値を、Ｒ／Ｇ3，Ｂ／Ｇ3は第３推定光源色のＲ／Ｇ，Ｂ／Ｇ値を示している。また式中のａは第１推定光源色のＲ／Ｇ，Ｂ／Ｇ値に対する重み、ｂは第２推定光源色のＲ／Ｇ，Ｂ／Ｇ値に対する重み、ｃは第３推定光源色のＲ／Ｇ，Ｂ／Ｇ値に対する重みである。

また、次コマ以降で使用するため、色混合部２０９は、ここで算出した光源色Ｒ／Ｇ、Ｂ／Ｇを一次記憶装置１０４に記憶しておく。なお、本実施形態では、色混合部２０９は、信頼度に応じて色混合処理を行ったが、類似度に応じて色混合処理を行ってもよい。

次にステップＳ４０９において、補正値算出部２１０は、ステップＳ４０８で算出された色混合処理後の光源色のＲ／Ｇ，Ｂ／Ｇ値から、下記の式（３）を用いて、ＷＢ補正値（ホワイトバランス補正値）を算出する。

Ｗｒ＝１／（Ｒ／Ｇ0）
Ｗｇ＝１ 式（３）
Ｗｂ＝１／（Ｂ／Ｇ0）

なお、式（３）のＷｒはＲ値に対するＷＢ補正値、ＷｇはＧ値に対するＷＢ補正値、ＷｂはＢ値に対するＷＢ補正値である。また、Ｒ／Ｇ0は色混合処理後のＲ／Ｇ値、Ｂ／Ｇ0は色混合処理後のＢ／Ｇ値である。
その後、補正値算出部２１０におけるＷＢ補正値の演算処理は終了する。

ステップＳ４０６の処理において、撮像装置１００の電源投入後２コマ目以降の撮像時の処理であると判定された場合の処理について説明する。
ステップＳ４０６で撮像装置１００の電源投入後２コマ目以降の処理と判定された場合、画像処理装置１０６における処理はステップＳ４１０に進む。

ステップＳ４１０に進むと、類似度算出部２０８は、第１推定光源色の信頼度を、最新コマと過去コマで得られた第１推定光源色～第３推定光源色の信頼度の比較結果に基づいて再算出する。
具体的には、類似度算出部２０８は、最新コマと過去コマにおいてそれぞれ求めた第１推定光源色～第３推定光源色のＲ／Ｇ，Ｂ／Ｇ値を比較する。そして、類似度算出部２０８は、最新コマと過去コマで得られた第１推定光源色～第３推定光源色のＲ／Ｇ，Ｂ／Ｇ値について前述同様の距離が所定値以内である場合、図９に示したテーブルのように、信頼度及び推定光源色を再算出する。ここで、最新コマと過去コマの推定光源色のＲ／Ｇ，Ｂ／Ｇ値の距離が所定値を超える場合、類似度算出部２０８は、最新コマにおいて求められた信頼度及び推定光源色を、再算出後の信頼度及び推定光源色とする。

次に図９に示したテーブルの詳細について説明する。
類似度算出部２０８は、図９の基本的な動作として、最新コマで算出した信頼度を優先して、信頼度及び推定光源色を再算出するが、最新コマで算出した信頼度が「中」の場合には過去コマで算出した信頼度を優先して信頼度及び推定光源色を再算出する。なお、過去コマと最新コマで算出した信頼度がいずれも「中」の場合、類似度算出部２０８は、最新コマによる信頼度及び推定光源色を再算出結果とする。

以上のように、本実施形態においては、最新コマと過去コマとで、それぞれ算出した推定光源色のＲ／Ｇ，Ｂ／Ｇ値の距離（類似度）と信頼度の比較結果に応じて、信頼度及び推定光源色を再算出する。すなわち本実施形態においては、第１、第２、第３推定光源色と類似度と信頼度との少なくともいずれか１つを、次コマ以降の撮影で得られる同種の結果と比較し、その比較結果に応じて、次コマ以降の画像のＷＢ補正値を算出する。これにより、最新コマで算出された信頼度が「中」と判定された場合においても、推定光源色が誤判定されたかどうかを判別することができる。

なおステップＳ４０６で撮像装置１００の電源投入後２コマ目以降と判定する際に、１コマ前から、経過時間が所定値以上経過していた場合や測光センサ１０５で算出した被写体の明るさが所定値以上変化した場合は、過去コマ情報の信頼性が低下する。このため、経過時間が所定値以上経過していた場合と明るさが所定値以上変化した場合の少なくとも何れかに該当する場合には、前コマで得られた情報を用いず、１コマ目として処理する構成となされていても良い。

以上説明したように、本実施形態によれば、特定被写体検出を用いたオートホワイトバランス演算で被写体認識の誤検出によるＷＢの誤補正の影響を軽減し、適切なＷＢ制御を可能にし、オートホワイトバランスの精度低下を抑制することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像装置、１０３：中央演算装置（ＣＰＵ）、１０６：画像処理装置、２００：ホワイトバランス制御部、２０１：分割部、２０２：第１色判定部、２０３：第１色推定部、２０４：第２色判定部、２０５：第２色推定部、２０６：白判定部、２０７：第３色推定部、２０８：類似度算出部、２０９：色混合部、２１０：補正値算出部

Claims (13)

1. 撮像画像から２つ以上の特定被写体を検出する検出手段と、
   前記検出された第１の特定被写体の色情報から第１の光源色を推定する第１の色推定手段と、
   前記検出された第２の特定被写体の色情報から第２の光源色を推定する第２の色推定手段と、
   前記検出された特定被写体以外を含む領域の色情報から第３の光源色を推定する第３の色推定手段と、
   前記第１の光源色と前記第２の光源色と前記第３の光源色のそれぞれの類似度に応じて、前記第１の光源色と前記第２の光源色と前記第３の光源色の少なくとも１つに重み付けを行って前記撮像画像に適用するホワイトバランス補正値を算出する算出手段と、
   を有することを特徴とする画像処理装置。
2. 前記算出手段は、前記第１の光源色と前記第２の光源色と前記第３の光源色の類似度に基づいて、前記第１の光源色と前記第２の光源色と前記第３の光源色のそれぞれの信頼度を算出し、前記信頼度に基づいて前記重み付けを行って前記ホワイトバランス補正値を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、
   前記第１の光源色と前記第２の光源色と前記第３の光源色の類似度と所定値との比較により前記類似度が高いか低いかを判定し、
   前記第１の光源色と前記第２の光源色と前記第３の光源色のすべての類似度が高いと判定した場合には、前記第１の光源色と前記第２の光源色と前記第３の光源色の信頼度が高いと判定し、
   前記第１の光源色と前記第２の光源色と前記第３の光源色のいずれか１つだけ類似度が低いと判定した場合には、前記低いと判定された類似度に対応した光源色の信頼度を低いと判定し、
   前記第１の光源色と前記第２の光源色と前記第３の光源色のいずれも類似度が低いと判定した場合には、前記第１の光源色と前記第２の光源色と前記第３の光源色の信頼度を中立と判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記算出手段は、前記重み付けが行われた後の、前記第１の光源色と前記第２の光源色と前記第３の光源色とを混合処理して得られた光源色を基に、前記ホワイトバランス補正値を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記算出手段は、前記第１の光源色と前記第２の光源色と前記第３の光源色のうち、前記信頼度が高いと判定された光源色に対する前記重み付けを１００％とし、前記信頼度が高いと判定されなかった光源色に対する前記重み付けを０％として前記混合処理を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記算出手段は、前記第１の光源色と前記第２の光源色と前記第３の光源色に、前記信頼度が高いと判定された光源色が１つもなく、前記信頼度が中立または低いと判定された光源色のみである場合には、前記信頼度が中立と判定された光源色に対する前記重み付けを１００％とし、前記信頼度が中立と判定されなかった光源色に対する前記重み付けを０％として前記混合処理を行うことを特徴とする請求項４または請求項５に記載の画像処理装置。
7. 前記算出手段は、前記第１の光源色と前記第２の光源色と前記第３の光源色に、前記信頼度が高いと判定された光源色および前記信頼度が中立と判定された光源色が１つもなく、前記信頼度が低いと判定された光源色のみである場合には、前コマの撮像画像において前記混合処理で得られた光源色を基に算出した前記ホワイトバランス補正値の情報を用いることを特徴とする請求項４から請求項６のいずれか１項に記載の画像処理装置。
8. 前記算出手段は、前記第１の光源色と前記第２の光源色と前記第３の光源色と、前記第１の光源色と前記第２の光源色と前記第３の光源色の前記類似度と、前記第１の光源色と前記第２の光源色と前記第３の光源色の前記信頼度との少なくとも１つの情報を、次コマ以降の撮像で得られる同種の情報と比較し、その比較結果に基づいて、次コマ以降の画像のホワイトバランス補正値を算出することを特徴とする請求項２から請求項７のいずれか１項に記載の画像処理装置。
9. 前記算出手段は、前コマの撮像から、経過時間が所定値以上経過した場合と、特定被写体の明るさが所定値以上変化した場合との、少なくともいずれかである場合には、前記前コマで得られた前記情報を用いないことを特徴とする請求項７または請求項８に記載の画像処理装置。
10. 前記検出手段は、前記撮像画像から、顔、肌、草木の緑、青空、雲、土、木の幹、アスファルト、紅葉、枯れ葉の少なくともいずれか２つ以上の被写体を、前記特定被写体として検出することを特徴とする請求項１から請求項９のいずれか１項に記載の画像処理装置。
11. 前記第３の色推定手段は、前記特定被写体以外を含む領域に含まれる白色領域の色情報から前記第３の光源色を推定することを特徴とする請求項１から請求項１０のいずれか１項に記載の画像処理装置。
12. 画像処理装置が実行する画像処理方法であって、
    撮像画像から２つ以上の特定被写体を検出する検出工程と、
    前記検出された第１の特定被写体の色情報から第１の光源色を推定する第１の色推定工程と、
    前記検出された第２の特定被写体の色情報から第２の光源色を推定する第２の色推定工程と、
    前記検出された特定被写体以外を含む領域の色情報から第３の光源色を推定する第３の色推定工程と、
    前記第１の光源色と前記第２の光源色と前記第３の光源色のそれぞれの類似度に応じて、前記第１の光源色と前記第２の光源色と前記第３の光源色の少なくとも１つに重み付けを行って前記撮像画像に適用するホワイトバランス補正値を算出する算出工程と、
    を有することを特徴とする画像処理方法。
13. コンピュータを、請求項１から請求項１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images