JPWO2016006304A1 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

本発明は、本露光された画像に対するオートホワイトバランス補正の性能（信頼性）を向上させる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。本発明の好ましい態様に係る画像処理装置は、フラッシュ発光画像を示す第１の撮像信号とフラッシュ非発光画像を示す第２の撮像信号とをそれぞれ取得する第１の画像取得部（３２１）と、取得した第１の撮像信号と第２の撮像信号との差分を示す第３の撮像信号を取得する第２の画像取得部（３２２）と、取得した第３の撮像信号にフラッシュ光の色による影響を除去するフラッシュ用ホワイトバランスゲインを乗算した第４の撮像信号を取得する第３の画像取得部（３２３）と、取得した第４の撮像信号に基づいて撮像画面内の各エリアの第１の色を表す色信号を取得する色信号取得部（３２５）と、本露光された画像の撮像信号の各エリアにおける第２の色を表す色信号を、同じエリアの第１の色を表す色信号に補正するホワイトバランスゲインをエリア毎に算出する第１のホワイトバランスゲイン算出部（３２６）と、を備えている。

Description

本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに係り、特にホワイトバランス補正に適用される技術に関する。

デジタルカメラのオートホワイトバランス（ＡＷＢ）補正方法は、「撮像信号の色分布」や「シーンの明るさ」などの情報からシーンの光源種を特定し、特定した光源種に適したホワイトバランス（ＷＢ）ゲイン（光源の色をキャンセルするＷＢゲイン）に基づいて、撮像信号をホワイトバランス補正する方法が一般的である。しかし、実際の撮影シーンでは「木々の緑」や「人の肌」などの「物体色」が含まれており、「物体色」は光源種の推定の妨げになる。

例えば、「太陽光下で撮影した人の肌」と「タングステン光の色（タングステン光下で撮影した無彩色な物体の色）」とは似た色分布をしており、光源種の判別が難しい。

この問題を解決してＡＷＢ性能を向上するためには、「物体色＝被写体本来の色」を推定することが重要となる。

従来、照明環境を変更した画像の再生を可能にするために、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得し、取得した物体色成分データに任意の照明成分データを合成するようにしたデジタル撮影装置が提案されている（特許文献１、２）。

上記物体色成分データの取得は、フラッシュＯＮの照明環境下で撮影された第１画像データとフラッシュＯＦＦの照明環境下で撮影された第２画像データとの差分を示す差分画像データ（フラッシュ光のみの影響を受けた画像データ）と、フラッシュ分光データとを用いて、被写体上の各位置（各画素）における分光反射率に実質的に相当する物体色成分データを取得している。

また、物体色成分データを取得すると、続いて物体色成分データと第２画像データとからフラッシュ光を含まない照明環境の影響を示す照明成分データを生成する。この照明成分データは、物体色成分データの基礎となった画像を再生する場合に使用されるが、物体色成分データに任意の照明成分データを合成することにより、照明環境を変更した画像を再生することを可能にしている。

特開２００１−７８２０２号公報 特開２００１−０８２２４号公報

特許文献１、２に記載の発明は、物体色成分データを生成し、又は物体色成分データ及び照明成分データを生成し、生成した物体色成分データ、又は物体色成分データ及び照明成分データを保存することを特徴としている。そして、物体色成分データを保存することで、照明環境による画像の色合いの修正を容易に行うことができるようにしている。

即ち、撮影時の雰囲気にて画像を再生したい場合には、互いに対となって生成・保存した物体色成分データと照明成分データとを合成し、他の画像の照明環境の影響を取り込んで再生したい場合には、物体色成分データに他の照明環境で得られる照明成分データを合成することで照明環境を変更した画像を再生できるようにしている。

ところで、特許文献１、２に記載の発明は、照明環境を変更した画像の再生を可能にするために、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する点に特徴があり、ＡＷＢ補正の性能向上（信頼性向上）を目的としていない。

また、特許文献１、２には、物体色成分データに照明成分データを合成することにより、撮影時の雰囲気、あるいは照明環境を任意に変更した画像を再生できる記載があるものの、例えばフラッシュＯＦＦの照明環境下で撮影された第２画像データに対するＡＷＢ補正（即ち、物体色が白の物体を白く見せるようにする画像の補正）を行う記載がない。

本発明の目的は、本露光された画像内の「被写体本来の色」を判別することで、本露光された画像に対するオートホワイトバランス補正の性能（信頼性）を向上させることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することにある。

本発明の他の目的は、本露光された画像に含まれる「無彩色の物体」を見つけ出すことで、光源推定の正確性を高め、本露光された画像に対するオートホワイトバランス補正の性能（シーンタフネス性）を向上させることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することにある。

上記目的を達成するために本発明の一の態様に係る画像処理装置は、フラッシュ光を発光して撮像したフラッシュ発光画像を示す第１の撮像信号とフラッシュ光を発光せずに撮像したフラッシュ非発光画像を示す第２の撮像信号とをそれぞれ取得する第１の画像取得部と、取得した第１の撮像信号と第２の撮像信号との差分を示す第３の撮像信号を取得する第２の画像取得部と、取得した第３の撮像信号にフラッシュ光の色による影響を除去するフラッシュ用ホワイトバランスゲインを乗算した第４の撮像信号を取得する第３の画像取得部と、取得した第４の撮像信号に基づいて撮像画面内の各エリアの第１の色を表す色信号を取得する色信号取得部と、本露光された画像の撮像信号の各エリアにおける第２の色を表す色信号を、同じエリアの第１の色を表す色信号に補正するホワイトバランスゲインをエリア毎に算出する第１のホワイトバランスゲイン算出部と、を備えている。

本発明の一の態様によれば、フラッシュ発光画像を示す第１の撮像信号とフラッシュ非発光画像を示す第２の撮像信号とをそれぞれ取得し、取得した第１の撮像信号と第２の撮像信号との差分からフラッシュ光のみの影響を受けた（フラッシュ光のみを光源とする）第３の撮像信号を取得する。取得した第３の撮像信号にフラッシュ光の色による影響を除去するフラッシュ用ホワイトバランスゲインを乗算して第４の撮像信号を取得する。この第４の撮像信号は、本露光された画像内の「被写体本来の色」（物体色）に対応する信号である。そして、本露光された画像の撮像信号の各エリアの第２の色を表す色信号を、第４の撮像信号の対応するエリアの第１の色（物体色）を表す色信号に補正する第１のホワイトバランスゲインをエリア毎に算出する。これにより、本露光された画像の撮像信号の各エリアの第２の色を表す色信号を、被写体本来の色である第１の色を表す色信号に補正するための適切な第１のホワイトバランスゲインをエリア毎に算出することができる。

本発明の他の態様に係る画像処理装置において、第１のホワイトバランスゲイン算出部により算出されたエリア毎の第１のホワイトバランスゲインに基づいて、本露光された画像の撮像信号をエリア毎にホワイトバランス補正する第１のホワイトバランス補正部を備えることが好ましい。これにより、本露光された画像の撮像信号を、エリア毎に適した第１のホワイトバランスゲインによりホワイトバランス補正を行うことができ、特に複数の光源種が混在しているシーンの画像に対して有効である。

本発明の更に他の態様に係る画像処理装置において、第１のホワイトバランスゲイン算出部により算出したエリア毎の第１のホワイトバランスゲインに基づいて全エリアに対する第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出部を備えることが好ましい。エリア毎の第１のホワイトバランスゲインに基づいて算出された全エリアに対する第２のホワイトバランスゲインは、ホワイトバランスゲインの信頼性（ホワイトバランスゲインが適正値として算出される確率）が高くなり、特に光源種が１種類の場合、あるいは１種類の光源種の色が支配的な場合に有効である。

本発明の更に他の態様に係る画像処理装置において、第２のホワイトバランスゲイン算出部は、第１のホワイトバランスゲイン算出部により算出したエリア毎の第１のホワイトバランスゲインを、重み付け平均して全エリアに対する第２のホワイトバランスゲインを算出することが好ましい。これにより、算出されるホワイトバランスゲインの信頼性を更に高くすることができる。

本発明の更に他の態様に係る画像処理装置において、第２のホワイトバランスゲイン算出部は、エリア毎の第１のホワイトバランスゲインを重み付け平均する際に、色信号取得部により取得した色信号が示す各エリアの第１の色の彩度に応じて、彩度が低い色のエリアほど重みを高くすることが好ましい。無彩色の物体色を無彩色にするホワイトバランス補正にとって、彩度が低い色のエリアの被写体は、有彩色の被写体よりも重視すべき被写体であり、算出されるホワイトバランスゲインの信頼性を更に高くすることができる。

本発明の更に他の態様に係る画像処理装置において、第２の画像取得部が取得した第３の撮像信号に基づいて撮像画面内の各エリアの輝度値をそれぞれ算出する輝度算出部を備え、第２のホワイトバランスゲイン算出部は、エリア毎の第１のホワイトバランスゲインを重み付け平均する際に、輝度算出部が算出したエリア毎の輝度値に基づいて、輝度値が低いエリアの重みを低くすることが好ましい。輝度値が低いエリアにはフラッシュ光が十分に届いていないため、輝度値が低い第１のエリアに対して算出される第１のホワイトバランスゲインの信頼性が低くなる。そこで、エリア毎の第１のホワイトバランスゲインを重み付け平均する際に、輝度値が低い第１のエリアに対して算出される第１のホワイトバランスゲインの重みを低くすることで、算出されるホワイトバランスゲインの信頼性を高くするようにしている。尚、輝度値が低い第１のエリアに対して算出される第１のホワイトバランスゲインの重みをゼロにし、ホワイトバランスゲインの算出から排除するようにしてもよい。

本発明の更に他の態様に係る画像処理装置において、第1の画像取得部が取得した第１の撮像信号又は第２の画像取得部が取得した第３の撮像信号に基づいて撮像画面内の各エリアの輝度値をそれぞれ算出する輝度算出部を備え、第２のホワイトバランスゲイン算出部は、エリア毎の第１のホワイトバランスゲインを重み付け平均する際に、輝度算出部が算出したエリア毎の輝度値に基づいて、輝度値が第１の撮像信号の飽和を判別する閾値よりも高いエリアの重みを低くすることが好ましい。輝度値が飽和を判別する閾値よりも高いエリア（輝度値が非常に高いエリア）は、フラッシュ光により撮像信号が飽和（白飛び）している可能性があり、このようなエリアに対して算出される第1のホワイトバランスゲインは信頼性が低い。そこで、エリア毎の第１のホワイトバランスゲインを重み付け平均する際に、輝度値が非常に高いエリアに対して算出される第1のホワイトバランスの重みを低くすることで、算出されるホワイトバランスゲインの信頼性を高くするようにしている。

本発明の更に他の態様に係る画像処理装置において、第２のホワイトバランスゲイン算出部により算出された全エリアに対する第２のホワイトバランスゲインに基づいて、本露光された画像の撮像信号をホワイトバランス補正する第２のホワイトバランス補正部を備えることが好ましい。これにより、本露光された画像の撮像信号を、全エリアに適した第２のホワイトバランスゲインによりホワイトバランス補正を行うことができる。

本発明の更に他の態様に係る画像処理装置において、被写体にフラッシュ光が到達しているか否かを判別する判別部と、判別部により被写体にフラッシュ光が到達していると判別されたときのみ、第１のホワイトバランスゲイン算出部によるエリア毎のホワイトバランスゲインの算出を行わせる制御部と、を備えることが好ましい。被写体にフラッシュ光が到達していない場合には、被写体本来の色（物体色）を判別することができないため、本処理は被写体にフラッシュ光が到達している場合に行うことが好ましい。尚、被写体距離を検出し、検出した被写体距離がフラッシュ光の最大到達距離を越える場合、あるいは第１の撮像信号と第２の撮像信号との差分を示すフラッシュ光のみの影響を受けた第３の撮像信号がゼロ又は略ゼロの場合には、被写体にフラッシュ光が到達していないと判別することができる。

本発明の更に他の態様に係る画像処理装置において、第２の画像取得部が取得した第３の撮像信号に基づいてエリア毎にフラッシュ光が到達しているか否かを判別する判別部を備え、第１のホワイトバランスゲイン算出部は、判別部によりフラッシュ光が到達していると判別されたエリアのみ、エリア毎の第１のホワイトバランスゲインを算出することが好ましい。フラッシュ光が到達していないエリアからは、そのエリアの第１の色（物体色）を検出することができず、第１のホワイトバランスゲインも算出することができないからである。

本発明の更に他の態様に係る撮像装置は、フラッシュ発光部と、フラッシュ発光部からフラッシュ光が発光されたフラッシュ発光画像及びフラッシュ光が発光されなかったフラッシュ非発光画像を撮像し、フラッシュ発光画像及びフラッシュ非発光画像を示す撮像信号を出力する撮像部と、上記の画像処理装置と、を備え、第１の画像取得部は、撮像部から出力されるフラッシュ発光画像及びフラッシュ非発光画像を示す撮像信号を、それぞれ第１の撮像信号及び第２の撮像信号として取得する。

本発明の更に他の態様に係る画像処理方法は、フラッシュ光を発光して撮像したフラッシュ発光画像を示す第１の撮像信号とフラッシュ光を発光せずに撮像したフラッシュ非発光画像を示す第２の撮像信号とをそれぞれ取得するステップと、取得した第１の撮像信号と第２の撮像信号との差分を示す第３の撮像信号を取得するステップと、取得した第３の撮像信号にフラッシュ光の色による影響を除去するフラッシュ用ホワイトバランスゲインを乗算した第４の撮像信号を取得するステップと、取得した第４の撮像信号に基づいて撮像画面内の各エリアの第１の色を表す色信号を取得するステップと、本露光された画像の撮像信号の各エリアにおける第２の色を表す色信号を、同じエリアの第１の色を表す色信号に補正する第１のホワイトバランスゲインをエリア毎に算出するステップと、を含んでいる。

本発明の更に他の態様に係る画像処理プログラムは、フラッシュ光を発光して撮像したフラッシュ発光画像を示す第１の撮像信号とフラッシュ光を発光せずに撮像したフラッシュ非発光画像を示す第２の撮像信号とをそれぞれ取得するステップと、取得した第１の撮像信号と第２の撮像信号との差分を示す第３の撮像信号を取得するステップと、取得した第３の撮像信号にフラッシュ光の色による影響を除去するフラッシュ用ホワイトバランスゲインを乗算した第４の撮像信号を取得するステップと、取得した第４の撮像信号に基づいて撮像画面内の各エリアの第１の色を表す色信号を取得するステップと、本露光された画像の撮像信号の各エリアの第２の色を表す色信号を、同じエリアにおける第１の色を表す色信号に補正する第１のホワイトバランスゲインをエリア毎に算出するステップと、をコンピュータに実行させる。

また、本発明の更に他の態様に係る画像処理装置は、フラッシュ光を発光して撮像したフラッシュ発光画像を示す撮像信号を取得する画像取得部と、取得した撮像信号とフラッシュ光の色を表す色信号とに基づいて、撮像信号の中からフラッシュ光と色が同一の領域を無彩色領域として抽出する無彩色領域抽出部と、を備えている。

オートホワイトバランス補正の性能（シーンタフネス性）を左右する重要なポイントは光源種の推定の正確さであり、光源種が正しく推定できれば、その光源種に対する色補正（ホワイトバランス補正）は容易に行うことができる。

しかし、実際の撮影シーンでは「木々の緑」や「人の肌」などの「物体色」が含まれており、「物体色」は光源種の推定の妨げになる。例えば、「太陽光下で撮影した人の肌」と「タングステン光の色（タングステン光下で撮影した無彩色な物体の色）」とは似た色分布をしており、光源種の判別が難しい。

よって、光源種を正しく推定するには如何に「撮像信号の色分布」から「物体色の影響が無い部分」（＝「無彩色の物体」）を見つけ出すかが重要となる。

本発明の更に他の態様によれば、フラッシュ発光画像を示す撮像信号を取得し、取得した撮像信号の中からフラッシュ光と色が同一の領域を無彩色領域として抽出するようにしている。ここで、フラッシュ光の色は既知であるため、フラッシュ発光画像を示す撮像信号の中からフラッシュ光と色が同一の領域を抽出することができる。また、被写体本来の色（物体色）が白又はグレーの無彩色である場合、無彩色の被写体にフラッシュ光が照射されると、無彩色の被写体はフラッシュ光の色になる。従って、フラッシュ発光画像を示す撮像信号の中からフラッシュ光と色が同一の領域を抽出することは、無彩色領域を抽出することになる。

本発明の更に他の態様に係る画像処理装置において、フラッシュ光を発光して撮像したフラッシュ発光画像は、露光時間をフラッシュ光の発光時間以下とするシャッタ速度で撮像された画像であることが好ましい。フラッシュ光の発光時間以下の高速のシャッタ速度でフラッシュ発光画像を撮像することにより、環境光の影響を受けにくくすることができ、より正確に無彩色領域を抽出することができる。

本発明の更に他の態様に係る画像処理装置において、画像取得部は、２以上の整数をｎとすると、ｎ種類の発光量のフラッシュ光を順次発光して撮像したｎ枚のフラッシュ発光画像を示す第１の撮像信号から第ｎの撮像信号を取得し、無彩色領域抽出部は、第１の撮像信号から第ｎの撮像信号について、それぞれ高輝度部分と低輝度部分とを除く特定の輝度範囲に収まり、かつフラッシュ光と色が同一の領域を抽出し、抽出した領域のオア条件を満たす領域を無彩色領域として抽出することが好ましい。

被写体の距離によりフラッシュ発光画像の一部が白飛びしたり、フラッシュ光が届かなくなると、無彩色領域を正しく判定できなくなる場合がある。そこで、本発明の更に他の態様によれば、発光量が異なるｎ枚のフラッシュ発光画像を示す第１の撮像信号から第ｎの撮像信号を取得し、第１の撮像信号から第ｎの撮像信号からそれぞれ高輝度部分と低輝度部分とを除く特定の輝度範囲に収まり、かつフラッシュ光と色が同一の領域を抽出し、抽出した領域のオア条件を満たす領域を無彩色領域として抽出するようにしたため、被写体距離によりフラッシュ発光画像中に白飛び部分やフラッシュ光が届かない部分が含まれる場合であっても、これらの部分を「無彩色領域」から的確に排除し、かつフラッシュ光の発光量が異なるフラッシュ発光画像からそれぞれ抽出した「無彩色領域」のオア条件をとることにより、より広い被写体距離の範囲にわたって「無彩色領域」を抽出することができる。

本発明の更に他の態様に係る画像処理装置において、画像取得部は、２以上の整数をｎとすると、ｎ種類の色のフラッシュ光を順次発光して撮像したｎ枚のフラッシュ発光画像を示す第１の撮像信号から第ｎの撮像信号を取得し、無彩色領域抽出部は、第１の撮像信号から第ｎの撮像信号について、それぞれｎ種類の色のフラッシュ光と色が同一の領域を抽出し、抽出した領域のアンド条件を満たす領域を無彩色領域として抽出することが好ましい。

単色のフラッシュ光では、フラッシュ発光画像の色が、フラッシュ光が照射されてフラッシュ光の色と同じ色になったのか、被写体本来の色（物体色）がフラッシュ光の色と同じ色なのかが区別できない。そこで、本発明の更に他の態様によれば、フラッシュ光の色が異なるｎ枚のフラッシュ発光画像を示す第１の撮像信号から第ｎの撮像信号を取得し、第１の撮像信号から第ｎの撮像信号からそれぞれｎ種類の色のフラッシュ光と色が同一の領域を抽出し、抽出した領域のアンド条件を満たす領域を無彩色領域として抽出するようにしたため、物体色の影響を受けずに無彩色領域を精度よく抽出することができる。

本発明の更に他の態様に係る画像処理装置において、本露光された画像の撮像信号の中から無彩色領域抽出部により抽出した無彩色領域に対応する領域を抽出し、抽出した領域の色を光源色とし、光源色に対応するホワイトバランスゲインを取得するホワイトバランスゲイン取得部と、取得したホワイトバランスゲインに基づいて本露光された画像の撮像信号のホワイトバランス補正を行うホワイトバランス補正部と、を備えている。

本発明の更に他の態様によれば、本露光された画像の撮像信号の中から無彩色領域に対応する領域を抽出し、抽出した領域の色を光源色としている。即ち、物体色が無彩色である無彩色領域を抽出しているため、その領域に色が付いている場合には、その色は光源色によるものと見なすことができる。そして、光源色（光源種）が特定されれば、光源色に対応する最適なホワイトバランスゲインを取得することができ、取得したホワイトバランスゲインに基づいて本露光された画像の撮像信号のホワイトバランス補正を行うことができる。

本発明の更に他の態様に係る画像処理装置において、被写体にフラッシュ光が到達しているか否かを判別する判別部と、判別部により被写体にフラッシュ光が到達していると判別されたときのみ、無彩色領域抽出部による無彩色領域の抽出を行わせる制御部と、を備えることが好ましい。被写体にフラッシュ光が到達していない場合には、無彩色領域を抽出することが困難なため、被写体にフラッシュ光が到達している場合に行うことが好ましい。

本発明の更に他の態様に係る撮像装置は、フラッシュ発光部と、フラッシュ発光部からフラッシュ光を発光又は非発光させてフラッシュ発光画像又はフラッシュ非発光画像を撮像し、フラッシュ発光画像又はフラッシュ非発光画像を示す撮像信号を出力する撮像部と、上記の画像処理装置と、を備え、画像取得部は、撮像部から出力されるフラッシュ発光画像を示す撮像信号を取得する。

本発明の更に他の態様に係る画像処理方法は、フラッシュ光を発光して撮像したフラッシュ発光画像を示す撮像信号を取得するステップと、取得した撮像信号とフラッシュ光の色を表す色信号とに基づいて、撮像信号の中からフラッシュ光と色が同一の領域を無彩色領域として抽出するステップと、を含んでいる。

本発明の更に他の態様に係る画像処理プログラムは、フラッシュ光を発光して撮像したフラッシュ発光画像を示す撮像信号を取得するステップと、取得した撮像信号とフラッシュ光の色を表す色信号とに基づいて、撮像信号の中からフラッシュ光と色が同一の領域を無彩色領域として抽出するステップと、をコンピュータに実行させる。

本発明によれば、フラッシュ光を利用して本露光された画像内の被写体本来の色（物体色を示す第１の色）を取得し、本露光された画像の撮像信号の各エリアの色（第２の色）を表す色信号を、同じエリアの第１の色を表す色信号に補正するホワイトバランスゲインをエリア毎に算出するようにしたため、本露光された画像の撮像信号の各エリアの第２の色を表す色信号を、被写体本来の色である第１の色を表す色信号に補正するための適切な第１のホワイトバランスゲインをエリア毎に算出することができる。

図１は本発明に係る撮像装置に相当するデジタルカメラの正面斜視図である。 図２は図１に示したデジタルカメラの背面斜視図である。 図３は図１に示したデジタルカメラの制御処理系を示すブロック図である。 図４は本発明の第１の実施形態を示す画像処理装置に対応する画像処理部のブロック図である。 図５は単板式のカラー撮像素子に用いられている原色系ベイヤ配列を示す図である。 図６は単板式のカラー撮像素子に用いられているX-Trans（登録商標）配列を示す図である。 図７は図６に示したX-Trans配列の基本配列パターンを示す図である。 図８は第１の実施形態に対応する画像処理方法を示すフローチャートである。 図９はマルチエリアＷＢ補正を行う第１のＷＢ補正部の処理手順を示すフローチャートである。 図１０は本発明の第２の実施形態を示す画像処理装置に対応する画像処理部のブロック図である。 図１１はＡＷＢ補正を行う画像処理部の処理手順を示すフローチャートである。 図１２は図１０に示した第２のＷＢゲイン算出部の他の実施形態を示す第２のＷＢゲイン算出部のブロック図である。 図１３は図１０に示した第２のＷＢゲイン算出部の更に他の実施形態を示す第２のＷＢゲイン算出部を含むブロック図である。 図１４は本発明の第３の実施形態を示す画像処理装置に対応する画像処理部の要部ブロック図である。 図１５は本発明の第４の実施形態を示す画像処理装置に対応する画像処理部の要部ブロック図である。 図１６は本発明の第５の実施形態を示す画像処理装置に対応する画像処理部のブロック図である。 図１７は図１６に示した第５の実施形態に対応するフローチャートである。 図１８はキセノン管を光源とするフラッシュ発光部から発光されるフラッシュ光の発光時間と発光強度との関係を示すグラフである。 図１９は本発明の第６の実施形態を示す画像処理方法における処理手順を示すフローチャートである。 図２０は本発明の第７の実施形態を示す画像処理方法における処理手順を示すフローチャートである。 図２１は本発明に係る画像処理装置に対応する画像処理部のブロック図である。 図２２は本発明に係る画像処理方法の実施形態を示すフローチャートである。 図２３は本発明の第８の実施形態を示す画像処理装置に対応する画像処理部のブロック図である。 図２４は本発明の第９の実施形態を示す画像処理装置に対応する画像処理部の要部ブロック図である。 図２５は撮像装置の実施形態であるスマートフォンの外観図である。 図２６は図２５に示したスマートフォン５００の構成を示すブロック図である。

図面を参照して本発明の実施形態について説明する。以下の実施形態では、デジタルカメラ（撮像装置）に本発明を適用する例について説明する。ただし、デジタルカメラ以外の画像処理装置、撮像装置、画像処理方法及び画像処理プログラムにも本発明を適用することが可能である。

図１は、デジタルカメラ２の正面斜視図である。図２は、デジタルカメラ２の背面斜視図である。

デジタルカメラ２は、カメラ本体３と、カメラ本体３の前面に取り付けられるレンズ鏡筒４とを備える。レンズ鏡筒４及びカメラ本体３は、一体的に設けられてもよいし、レンズ交換式カメラとして着脱自在に設けられてもよい。

カメラ本体３の前面には、レンズ鏡筒４に加えてフラッシュ発光部５が設けられ、カメラ本体３の上面にはシャッタボタン６及び電源スイッチ７が設けられている。シャッタボタン６は、ユーザからの撮影指示を受け付ける撮影指示部であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。電源スイッチ７は、デジタルカメラ２の電源のオン及びオフの切り換え指示をユーザから受け付ける電源切換部である。

カメラ本体３の背面には、液晶パネル等によって構成される表示部８と、ユーザによって直接的に操作される操作部９とが設けられている。表示部８は、撮影待機状態ではライブビュー画像（スルー画像）を表示して電子ビューファインダとして機能し、撮影画像やメモリ記憶画像の再生時には再生画像表示部として機能する。

操作部９は、モード切換スイッチ、十字キー、実行キーなどの任意の操作デバイスによって構成される。例えばモード切換スイッチは、デジタルカメラ２の動作モードを切り換える際にユーザによって操作される。デジタルカメラ２の動作モードとして、被写体を撮像して撮影画像を得るための撮影モード（オート撮影モード、マニュアル撮影モード及び連写モード等）、画像を再生表示する再生モード等がある。

オート撮影モードは、焦点調節を自動的に行うオートフォーカス（ＡＦ：Auto Focus）機能、絞り値及びシャッタ速度を自動的に設定する自動露出（ＡＥ：Auto Exposure）機能等が使用されるモードであり、マニュアル撮影モードは、焦点調節、絞り値及びシャッタ速度等を、ユーザが操作部９を使用して適宜設定可能にするモードである。

一方、十字キー及び実行キーは、表示部８にメニュー画面や設定画面を表示したり、メニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする場合に、ユーザによって操作される。

カメラ本体３の底部（図示省略）には、外部メモリ１０が装填されるメモリスロットと、このメモリスロットの開口を開閉する装填蓋とが設けられている。外部メモリ１０は、カメラ本体３に着脱自在に設けられており、カメラ本体３に装着されると、カメラ本体３に設けられる記憶制御部３３と電気的に接続される。外部メモリ１０は、一般にカード型フラッシュメモリ等の半導体メモリにより構成可能であるが、特に限定されるものではなく、磁気媒体等の任意の記憶方式の記憶媒体を外部メモリ１０として用いることが可能である。

図３は、デジタルカメラ２の制御処理系を示すブロック図である。

被写体光は、レンズ鏡筒４に設けられるレンズ部１２とカメラ本体３に設けられるメカニカルシャッタ２０とを通過し、撮像素子２１（撮像部）によって受光される。レンズ部１２は、撮影レンズ（レンズ群）及び絞りを含む撮影光学系によって構成される。撮像素子２１は、被写体像を受光して撮像信号（画像データ）を生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Automatic Gain Control）回路等によってプロセス処理が施され、その後、ＡＤ（Analog Digital)変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはメインメモリ２４に保存される。

メインメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成される。ＡＤ変換部２３から送られてきてメインメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部３１によって読み出される。画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ホワイトバランス補正、ガンマ補正処理及びデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びメインメモリ２４に保存する。

画像処理部３１において画像処理が施されてメインメモリ２４に保存された画像データは、表示制御部３５及び圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、メインメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮影確認画像（ポストビュー画像）として表示部８に表示される。

一方、圧縮伸張部３２は、メインメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ(Joint Photographic Experts Group)やＴＩＦＦ(Tagged Image File Format)等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、外部メモリ１０へのデータ記憶処理及び外部メモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、外部メモリ１０に記憶される。尚、外部メモリ１０に画像データ等のデータ類を記憶する場合、記憶制御部３３は、クロックデバイス３４から取得される日時情報に基づいて、そのデータ類に編集日時情報（更新日時情報）等の撮影情報やその他の関連情報を付加する。この撮影情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ(Exchangeable image file format)形式を採用可能である。

外部メモリ１０に保存されている画像データを再生する再生モードにおいて、外部メモリ１０に保存されている画像データは、システム制御部２５により制御される記憶制御部３３によって読み出され、圧縮伸張部３２によって伸張処理が施された後にメインメモリ２４に保存される。そして撮影画像の確認表示と同様の手順で、表示制御部３５によってメインメモリ２４から画像データが読み出され、表示部８において画像データが再生表示される。

ＡＦ処理部３７は、シャッタボタン６の第１段階の押下（半押し）があると、半押し時に取り込まれるＡＦエリアに対応する画像データの高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をシステム制御部２５に出力する。

ＡＥ検出部３８は、シャッタボタン６の第１段階の押下（半押し）があると、画面全体に対応するデジタル信号を積算し、又は画面中央部と周辺部とで異なる重みづけをした画像データを積算し、その積算値をシステム制御部２５に出力する。

システム制御部２５は、上述のようにメインメモリ２４、画像処理部３１及び記憶制御部３３をコントロールするが、デジタルカメラ２における他の各部（ＡＦ処理部３７、ＡＥ検出部３８）もコントロールする。

例えば、システム制御部２５は、オート撮影モード時にシャッタボタン６が半押しされると、レンズ駆動部２７を介してレンズ部１２のフォーカスレンズを至近から無限遠側に移動させるとともに、ＡＦ処理部３７を動作させて各レンズ位置におけるＡＦ評価値をＡＦ処理部３７から取得する。そして、ＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。また、システム制御部２５は、オート撮影モード時にシャッタボタン６が半押しされると、ＡＥ検出部３８を動作させ、ＡＥ検出部３８から入力する積算値より被写体輝度（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞りの絞り値及びシャッタ速度（メカニカルシャッタ２０及び／又は撮像素子２１の電荷蓄積時間）をプログラム線図に従って決定し、シャッタボタン６が全押しされると、決定した絞り値に基づいて絞りを制御するとともに、決定したシャッタ速度に基づいてシャッタ駆動部２６を介してメカニカルシャッタ２０を制御し、また、図示しない撮像素子駆動部を介して撮像素子２１での電荷蓄積時間を制御する。

また、システム制御部２５は、フラッシュ発光部５を制御してフラッシュ光の発光及び非発光をコントロールする。本例のフラッシュ発光部５は、例えば、白色のフラッシュ光を発光するキセノン管と、キセノン管と発光窓との間に出し入れされる１又は２以上のカラーフィルタとを有し、システム制御部２５は、キセノン管の発光時間を調整することによりフラッシュ光の発光量を調整し、カラーフィルタを出し入れすることよりフラッシュ光の発光色を調整する。尚、フラッシュ発光部５は、キセノン管の替わりに、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の発光ダイオードを使用してものでもよく、この場合には、ＲＧＢの発光ダイオードに流す電流量により発光量を調整し、また、ＲＧＢの発光ダイオードの発光量の比率を調整することにより、任意の色のフラッシュ光を発光させることができる。

更にシステム制御部２５は、電源制御部２８を制御して電源２９における電池装着の有無、電池の種類、電池残量の検出等を行う。また、システム制御部２５は、クロックデバイス３４においてカウントされる日時情報を取得して各種の処理に利用する。またシステム制御部２５は、画像処理部３１を構成する各種の処理部を制御する。

更にまた、システム制御部２５は、シャッタボタン６、電源スイッチ７及び操作部９を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理及びデバイス制御を行う。また、システム制御部２５は、電源スイッチ７から受信した電源オンオフ信号に応じて電源制御部２８を制御し、電源２９のオン及びオフをコントロールする。

システム制御部２５で行われる各種の処理及びデバイス制御に必要なプログラムやデータ類は、制御メモリ３０に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また、新たなプログラムやデータ類を制御メモリ３０に保存することができる。例えば、設定されたホワイトバランスモード（以下、「ＷＢモード」と称する）の種類やホワイトバランスゲイン（以下、「ＷＢゲイン」と称する）等の条件データを、システム制御部２５は制御メモリ３０に書き込むことができる。また、システム制御部２５は、表示制御部３５を制御して、各部から取得した各種情報を表示部８に表示させることができる。尚、システム制御部２５は、ユーザがユーザインタフェース３６を介して入力する操作信号に応じて、表示部８に表示させる各種情報を変更することができる。

［第１の実施形態］
次に、図３に示した画像処理部３１の詳細について説明する。

図４は、本発明の第１の実施形態を示す画像処理装置に対応する画像処理部のブロック図であり、特にホワイトバランス補正を行う画像処理部に関して示している。

まず、図４に示した第１の実施形態の画像処理部３１１を備えたデジタルカメラ２は、フラッシュ発光部５からフラッシュ光を発光して撮像したフラッシュ発光画像を示す画像データ（第１の撮像信号）と、フラッシュ光を発光せずに撮像したフラッシュ非発光画像を示す画像データ（第２の撮像信号）とを連続して取得し、第１の撮像信号及び第２の撮像信号をメインメモリ２４に一時保存する。尚、デジタルカメラ２は、フラッシュ非発光画像とフラッシュ発光画像とを連続撮像（連写）しており、第１の撮像信号と第２の撮像信号とは実質的に同一シーンを撮像したものである。また、メインメモリ２４に一時保存された第１の撮像信号及び第２の撮像信号は、画像処理前のモザイクデータ（ＲＡＷデータ：モザイク状の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色データ）である。

図４に示す画像処理部３１１は、図３に示した画像処理部３１の第１の実施形態を示しており、主として第１の画像取得部３２１、第２の画像取得部３２２、第３の画像取得部３２３、色信号取得部３２５、第１のＷＢゲイン算出部３２６、及び第１のＷＢ補正部３２７から構成されている。

第１の画像取得部３２１は、メインメモリ２４に保存されたフラッシュ発光画像及びフラッシュ非発光画像に対応する第１の撮像信号及び第２の撮像信号をメインメモリ２４から読み出し（取得し）、取得した第１の撮像信号及び第２の撮像信号を第２の画像取得部３２２に出力する。

第２の画像取得部３２２は、第１の撮像信号から第２の撮像信号を減算し、第１の撮像信号と第２の撮像信号との差分を示す第３の撮像信号（即ち、フラッシュ光のみの影響を受けた第３の撮像信号）を取得し、取得した第３の撮像信号を第３の画像取得部３２３に出力する。

第３の画像取得部３２３には、フラッシュ用ＷＢゲイン３２４が加えられており、第３の画像取得部３２３は、フラッシュ光のみの影響を受けた第３の撮像信号とフラッシュ用ＷＢゲイン３２４とを乗算し、フラッシュ光の色による影響が除去された第４の画像信号を取得する。尚、フラッシュ用ＷＢゲイン３２４は、フラッシュ光の色による影響を除去するためのＷＢゲインであり、フラッシュ発光部５から発光されるフラッシュ光の色（分光分布）に応じて決定された、フラッシュ光の色に対応するＲＧＢの色データ（第３の撮像信号）を、白（グレー）の色データ（第４の撮像信号）にするためのＲＧＢの色毎のゲインである。また、フラッシュ用ＷＢゲイン３２４は、予め制御メモリ３０に記憶されており、第３の画像取得部３２３は、制御メモリ３０からフラッシュ用ＷＢゲイン３２４を取得する。また、第３の画像取得部３２３によりフラッシュ光のみの影響を受けた第３の撮像信号から生成された、フラッシュ光の色による影響が除去された第４の画像信号は、フラッシュ発光又はフラッシュ非発光で撮像された画像内の「被写体本来の色」（物体色）に対応する信号である。

色信号取得部３２５は、第３の画像取得部３２３により生成された物体色を示す第４の撮像信号に基づいて、撮像画面内の各エリア１〜ｎの色（第１の色）を表す色信号を取得し、各エリア１〜ｎの第１の色を表す色信号Color1〜nを第１のＷＢゲイン算出部３２６に出力する。

ここで、撮像画面内の各エリア及び各エリアにおける第１の色を表す色信号について説明する。

いま、撮像素子２１が、単板式のカラー撮像素子で最も広く用いられているカラーフィルタの色配列である原色系ベイヤ配列を有する場合、図５に示すように緑（Ｇ）画素がチェッカーパターン状に、赤（Ｒ）、青（Ｂ）が線順次に配置される。このベイヤ配列の基本配列パターンＰ_１は、２×２の画素サイズを有し、ベイヤ配列のカラーフィルタを有する撮像素子は、基本配列パターンＰ_１が撮像素子の水平方向及び垂直方向にそれぞれ繰り返して配置されている。また、基本配列パターンＰ_１内には、ＲＧＢの全ての色の画素が含まれている。

したがって、ベイヤ配列のカラーフィルタを有する撮像素子の場合、撮像信号に対応する撮像画面内の各エリアとしては、２×２画素により区分されるエリアが好ましい。

また、各エリアの色を表す色信号Colorとしては、エリア内（２×２画素内）の１つのＲ画素の信号をＳ_Ｒ１、２つのＧ画素の信号の平均値をＳ_Ｇ１、１つのＢ画素の信号をＳ_Ｂ１とすると、これらのＲＧＢの信号の比であるＳ_Ｒ１／Ｓ_Ｇ１及びＳ_Ｂ１／Ｓ_Ｇ１で表すことができる。尚、本例では、各エリアの色を表す色信号Colorを、ＲＧＢの信号の比であるＳ_Ｒ１／Ｓ_Ｇ１及びＳ_Ｂ１／Ｓ_Ｇ１としたが、これに限らず、エリアの色を特定できる情報であれば、如何なるものでもよい。

また、撮像素子２１が、図６及び図７に示すX-Trans（登録商標）配列を有する場合、撮像画面内の各エリアとしては、６×６画素により区分されるエリア、又は３×３画素により区分されるエリアが好ましい。

図６に示すようにX-Trans配列のカラーフィルタの基本配列パターンＰ_２は、６×６の画像サイズを有している。また、基本配列パターンＰ_２は、図７に示すように実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平方向及び垂直方向に交互に並べられた配列となっていると捉えることもできる。

基本配列パターンＰ_２、又はＡ配列及びＢ配列内には、ＲＧＢの全ての色の画素が含まれているため、基本配列パターンＰ_２に対応する６×６画素、又はＡ配列及びＢ配列に対応する３×３画素を、撮像画面内の各エリアとすることできる。

また、撮像画面内の各エリアは、撮像素子のカラーフィルタの基本配列パターンの画像サイズに対応するエリアに限らず、１画素を最小エリアとしてもよい。この場合、モザイクデータの１画素のデータは、ＲＧＢのうちの１つの色データであり、最小エリア（１画素）の色を特定するＲＧＢの全ての色データが含まれていない。そこで、不足する色データを、周辺の色データを補間により生成し、生成した色データを使用して最小エリアの色を特定する。

更に、撮像画面内の各エリアとしては、例えば１画面を１６×１６の画素サイズのエリアに分割し、これらの分割したエリアを使用してもよい。

図４に戻って、第１のＷＢゲイン算出部３２６は、色信号取得部３２５により取得された各エリア１〜ｎの第１の色を表す色信号Color1〜nを入力する。また、第１のＷＢゲイン算出部３２６は、メインメモリ２４から本露光された撮像信号を取得する。本露光された撮像信号としては、第１の撮像信号及び第２の撮像信号のうちの一方の撮像信号、又は別途、同一シーンを撮像して得た撮像信号が考えられる。

第１のＷＢゲイン算出部３２６は、エリア毎の物体色（第１の色）を表す色信号Color1〜nと、本露光の撮像信号のエリア毎の色（第２の色）を表す色信号（ＲＧＢの信号の比であるＳ_Ｒ２／Ｓ_Ｇ２，Ｓ_Ｂ２／Ｓ_Ｇ２）とに基づいて、本露光の撮像信号の各エリアの第２の色を表す色信号を、同じエリアの第１の色を表す色信号に補正するためのＷＢゲイン１〜ｎをエリア毎に算出する。即ち、第１のＷＢゲイン算出部３２６は、次式によりＷＢゲイン１〜ｎを算出する。

［数１］
エリア毎のＷＢゲイン１〜ｎ＝（エリア毎の第１の色を表す色信号Color1〜n）÷（エリア毎の第２の色を表す色信号）
より詳しく説明すると、エリア毎の第１の色（物体色）を表す色信号Color1〜nのうちのＲＧの信号の比をＳ_Ｒ１／Ｓ_Ｇ１、ＢＧの信号の比をＳ_Ｂ１／Ｓ_Ｇ１、本露光の撮像信号の各エリアの第２の色を表す色信号のうちのＲＧの信号をＳ_Ｒ２／Ｓ_Ｇ２、ＢＧの信号の比をＳ_Ｂ２／Ｓ_Ｇ２とすると、ＷＢゲイン１〜ｎのうちのＲの信号に対するＷＢゲインＲ_１〜ｎ、及びＢの信号に対するＷＢゲインＢ_１〜ｎは、それぞれ次式により算出することができる。

［数２］
Ｒ_１〜ｎ＝（エリア毎のＳ_Ｒ１／Ｓ_Ｇ１）÷（エリア毎のＳ_Ｒ２／Ｓ_Ｇ２）
Ｂ_１〜ｎ＝（エリア毎のＳ_Ｂ１／Ｓ_Ｇ１）÷（エリア毎のＳ_Ｂ２／Ｓ_Ｇ２）
ここで、上記ＷＢゲインＲ_１〜ｎ、Ｂ_１〜ｎは、本露光の撮像信号（ＲＧＢの信号）のうちのＧの信号に対するゲインを１としたときの、ＲＢの信号のゲインである。従って、Ｇの信号のゲインをＸとすると、ＲＢの信号のゲインは、ＷＢゲインＲ_１〜ｎ、Ｂ_１〜ｎをＸ倍したものとなる。

図８は、第１の実施形態に対応する画像処理方法を示すフローチャートであり、特にエリア毎のＷＢゲインを取得する処理手順に関して示している。

図８において、第１の画像取得部３２１（図４）は、メインメモリ２４に一時的に保持されたフラッシュ発光画像を示す「第１の撮像信号」と、フラッシュ非発光画像を示す「第２の撮像信号」を取得する（ステップＳ１０、Ｓ１２）。

第２の画像取得部３２２は、ステップＳ１０、Ｓ１２で取得された「第１の撮像信号」と「第２の画像信号」とに基づいて、第１の撮像信号から第２の撮像信号を減算し、第１の撮像信号と第２の撮像信号との差分を示す「第３の撮像信号」を取得する（ステップＳ１４）。この「第３の撮像信号」は、フラッシュ光のみの影響を受けた撮像信号であり、フラッシュ光以外の他の照明環境の影響を受けていない撮像信号である。

続いて、第３の画像取得部３２３は、フラッシュ光のみの影響を受けた「第３の撮像信号」と「フラッシュ用ＷＢゲイン」とを乗算し、フラッシュ光の色による影響が除去された「第４の画像信号」を取得する（ステップＳ１６）。フラッシュ光の色による影響が除去された「第４の画像信号」は、フラッシュ発光又はフラッシュ非発光で撮像された画像内の「被写体本来の色」（物体色）に対応する信号となる。

次に、色信号取得部３２５は、物体色を示す「第４の撮像信号」に基づいて、撮像画面内の各エリア１〜ｎの色（第１の色）を表す色信号「Color 1」〜「Color n」を取得する（ステップＳ１８）。

撮像画面内の各エリア１〜ｎのうちの１つのエリアを特定するパラメータｍを１にセットする（ステップＳ２０）。

次に、第１のＷＢゲイン算出部３２６は、本露光の撮像信号のエリアｍの色を表す色信号を求め、求めた色信号を、そのエリアｍの物体色を表す色信号「Color ｍ」に補正するＷＢゲイン「ＷＢゲインｍ」を取得する（ステップＳ２２）。この「ＷＢゲインｍ」は、前述した［数１］式により算出することができる。

続いて、パラメータｍを１だけインクリメントし（ステップＳ２４）、インクリメントしたパラメータｍが、エリアの総数ｎよりも大きい（ｍ＞ｎ）か否かを判別する（ステップＳ２６）。パラメータｍがｎ以下の場合（「No」の場合）には、ステップＳ２２に遷移し、パラメータｍに対応するエリアの「ＷＢゲインｍ」をする。

全てのエリアの「ＷＢゲイン１」〜「ＷＢゲインｎ」が取得され、パラメータｍがエリアの総数ｎよりも大きい場合（ｍ＞ｎ）（「Yes」の場合）には、エリア毎の「ＷＢゲイン１」〜「ＷＢゲインｎ」を取得する本処理を終了させる。

［マルチエリアＷＢ補正］
図４に示した第１のＷＢ補正部３２７は、本露光の撮像信号と、第１のＷＢゲイン算出部３２６により算出された「ＷＢゲイン１」〜「ＷＢゲインｎ」とを入力し、本露光の撮像信号の各エリアの撮像信号にエリア毎に対応する「ＷＢゲインｍ」を乗算し、エリア毎にホワイトバランス補正（マルチエリアＷＢ補正）を行う。

図９は、マルチエリアＷＢ補正を行う第１のＷＢ補正部３２７の処理手順を示すフローチャートである。

第１のＷＢ補正部３２７は、メインメモリ２４に保存された本露光の撮像信号を取得する（ステップＳ３０）。

続いて、撮像画面内の各エリア１〜ｎのうちの１つのエリアを特定するパラメータｍを１にセットする（ステップＳ３２）。

次に、第１のＷＢ補正部３２７は、本露光の撮像信号のうちの「エリアｍ」の撮像信号を取得し、「エリアｍ」の撮像信号に、その「エリアｍ」に対応して算出された「ＷＢゲインｍ」を乗算し、ホワイトバランス補正を行う（ステップＳ３４）。

続いて、パラメータｍを１だけインクリメントし（ステップＳ３６）、インクリメントしたパラメータｍが、エリアの総数ｎよりも大きい（ｍ＞ｎ）か否かを判別する（ステップＳ３８）。パラメータｍがｎ以下の場合（「No」の場合）には、ステップＳ３４に遷移し、上記と同様にパラメータｍに対応するエリアの撮像信号を、そのエリアに対応して算出された「ＷＢゲインｍ」により補正する。

本露光された撮像信号の全てのエリアのホワイトバランス補正が終了し、パラメータｍがエリアの総数ｎよりも大きい場合（ｍ＞ｎ）（「Yes」の場合）には、エリア毎にホワイトバランス補正を行う本処理を終了させる。尚、ホワイトバランス補正された本露光の撮像信号は、ガンマ補正処理及びデモザイク処理等を行う後段の画像処理部に出力される。

［第２の実施形態］
図１０は、本発明の第２の実施形態を示す画像処理装置に対応する画像処理部のブロック図であり、特にホワイトバランス補正を行う画像処理部に関して示している。尚、図４に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第１の実施形態は、「マルチエリアＷＢ補正」を行うのに対し、第２の実施形態は、本露光の撮像信号に対して、単一のＷＢゲイン（以下「ＡＷＢゲイン」という）を使用してホワイトバランス補正を行う点で相違している。

図１０に示すように第２の実施形態の画像処理部３１２は、第１の実施形態の画像処理部３１１と比較して、第２のＷＢゲイン算出部３３０が追加され、また、第１のＷＢ補正部３２７の代わりに第２のＷＢ補正部３３２が設けられている点で相違する。

第２のＷＢゲイン算出部３３０は、第１のＷＢゲイン算出部３２６により算出されたエリア毎の「ＷＢゲイン１」〜「ＷＢゲインｎ」を入力し、これらの「ＷＢゲイン１」〜「ＷＢゲインｎ」に基づいて単一の「ＡＷＢゲイン」を算出する。

即ち、第２のＷＢゲイン算出部３３０は、エリア毎の「ＷＢゲイン１」〜「ＷＢゲインｎ」に基づいて、これらの「ＷＢゲイン１」〜「ＷＢゲインｎ」の代表値である「ＡＷＢゲイン」を算出する。「ＷＢゲイン１」〜「ＷＢゲインｎ」の代表値として、「ＷＢゲイン１」〜「ＷＢゲインｎ」の平均値、中央値、最頻値等が考えられる。

第２のＷＢ補正部３３２は、本露光の撮像信号と、第２のＷＢゲイン算出部３３０により算出された「ＡＷＢゲイン」とを入力し、本露光の撮像信号に「ＡＷＢゲイン」を乗算し、オートホワイトバランス補正（ＡＷＢ補正）を行う。

［ＡＷＢ補正］
図１１は、ＡＷＢ補正を行う画像処理部３１２の処理手順を示すフローチャートであり、主として第２のＷＢゲイン算出部３３０と第２のＷＢ補正部３３２の処理に関して示している。

図１１に示すように第２のＷＢゲイン算出部３３０は、第１のＷＢゲイン算出部３２６により算出されたエリア毎の「ＷＢゲイン１」〜「ＷＢゲインｎ」に基づいて、これらの「ＷＢゲイン１」〜「ＷＢゲインｎ」の代表値である「ＡＷＢゲイン」を算出する（ステップＳ４０）。

第２のＷＢ補正部３３２は、メインメモリ２４から本露光の撮像信号を取得し（ステップＳ４２）、取得した本露光の撮像信号にステップＳ４０により算出された「ＡＷＢゲイン」を乗算することにより、本露光の撮像信号のホワイトバランス補正を行う（ステップＳ４４）。尚、ホワイトバランス補正された本露光の撮像信号は、ガンマ補正処理及びデモザイク処理等を行う後段の画像処理部に出力される。

＜第２のＷＢゲイン算出部の他の実施形態＞
図１２は、図１０に示した第２のＷＢゲイン算出部３３０の他の実施形態を示す第２のＷＢゲイン算出部３３０Ａのブロック図である。

図１２に示すように第２のＷＢゲイン算出部３３０Ａは、彩度検出部３３４と、加重平均算出部３３６とから構成されている。

彩度検出部３３４は、色信号取得部３２５から出力される各エリア１〜ｎの第１の色（物体色）を表す色信号Color1〜nに基づいてエリア毎に重み係数Ｗ_１〜Ｗ_ｎを算出する。ここで、彩度検出部３３４により算出される重み係数Ｗ_１〜Ｗ_ｎは、彩度が低い色のエリアほど（無彩色に近いエリアほど）重みが高く設定される。即ち、色信号Color1〜nに対応する各エリアのうち、無彩色（グレー）のエリアに対する重み係数が最も高く、色空間（例えば、Ｓ_Ｒ１／Ｓ_Ｇ１軸とＳ_Ｂ１／Ｓ_Ｇ１軸とからなる色空間）上で、グレーからの距離が遠くなるエリアほど、重みを小さくする。

加重平均算出部３３６は、第１のＷＢゲイン算出部３２６により算出されたエリア毎のＷＢゲイン１〜ｎと、彩度検出部により算出されたエリア毎の重み係数Ｗ_１〜Ｗ_ｎとに基づいて、ＷＢゲイン１〜ｎの加重平均値を算出し、算出した加重平均値をＡＷＢゲインとして第２のＷＢ補正部３３２に出力する。

彩度が低いエリアの色は、無彩色（グレー）に近い色であり、撮像された画像内のグレーの物体色をグレーに補正するＷＢゲインを算出する上で、重視すべきエリアの色である。そして、このような加重平均によりＡＷＢゲインを算出することにより、ＡＷＢゲインの信頼性を高くすることができる。

＜第２のＷＢゲイン算出部の更に他の実施形態＞
図１３は、図１０に示した第２のＷＢゲイン算出部３３０の更に他の実施形態を示す第２のＷＢゲイン算出部３３０Ｂを含むブロック図である。

図１３において、輝度算出部３３８は、フラッシュ光のみの影響を受けた第３の撮像信号に基づいてエリア毎の輝度値Ｙ_１〜Ｙ_ｎを算出する。エリア毎の輝度値Ｙは、各エリアのＲＧＢの信号を、Ｓ_Ｒ，Ｓ_Ｇ、Ｓ_Ｂとすると、次式、
［数３］
Ｙ＝０．３Ｓ_Ｒ＋０．６Ｓ_Ｇ＋０．１Ｓ_Ｂ
により算出することができる。

また、上記輝度値Ｙの算出に最も寄与するＧの信号Ｓ_Ｇを、エリア毎の輝度値として使用してもよい。

第２のＷＢゲイン算出部３３０Ｂは、第１のＷＢゲイン算出部３２６により算出されたエリア毎のＷＢゲイン１〜ｎと、輝度算出部３３８により算出されたエリア毎の輝度値Ｙ_１〜Ｙ_ｎとに基づいて、ＷＢゲイン１〜ｎの加重平均値を算出し、算出した加重平均値をＡＷＢゲインとして第２のＷＢ補正部３３２（図１０）に出力する。

第２のＷＢゲイン算出部３３０Ｂは、ＷＢゲイン１〜ｎの加重平均値を算出する際に、輝度値が低いエリアの重みを低くする。輝度値が低いエリアにはフラッシュ光が十分に届いておらず、このようなエリアに対して求めた物体色（即ち、物体色から算出されるＷＢゲイン）は信頼性が低いからである。

また、第２のＷＢゲイン算出部３３０Ｂは、ＷＢゲイン１〜ｎの加重平均値を算出する際に、輝度値が非常に高いエリア（フラッシュ発光画像を示す第１の撮像信号の飽和を判別する閾値よりも輝度値が高いエリア）の重みを低くする。輝度値が非常に高いエリアは、フラッシュ光により第１の撮像信号が飽和（白飛び）している可能性があり、このようなエリアに対して算出される第1のホワイトバランスゲインは信頼性が低いからである。尚、算出される輝度値が８ビット（０〜２５５）で表される場合、上記閾値は２５０程度にすることができる。また、第３の撮像信号から輝度値を算出する場合に限らず、第１の撮像信号からエリア毎の輝度値を算出してもよく、この場合には、第１の撮像信号が飽和しているか否かの判断をより正確に行うことができる。

［第３の実施形態］
図１４は、本発明の第３の実施形態を示す画像処理装置に対応する画像処理部の要部ブロック図である。

図４及び図１０に示した第１の実施形態及び第２の実施形態では、被写体にフラッシュ光が適切に到達しているか否かにかかわらず、第１のＷＢゲイン算出部３２６により撮像画面内のエリア毎のＷＢゲインを算出しているが、図１４に示す第３の実施形態では、被写体にフラッシュ光が到達しているか否かを判別し、被写体にフラッシュ光が到達していると判別したときのみ、第１のＷＢゲイン算出部３２６Ａによるエリア毎のＷＢゲインの算出を実行している。また、被写体にフラッシュ光が到達していないと判別すると、通常のホワイトバランス補正を行うようにしている。

図１４において、判別部３３３は、フラッシュ発光部５から発光されたフラッシュ光が被写体（主要被写体）に到達しているか否かを判別する。この判別は、被写体距離を求め、この被写体距離と、フラッシュ発光部５のガイドナンバー、フラッシュ撮影時のＦ値及びＩＳＯ（国際標準化機構）感度により求めたフラッシュ到達距離とを比較し、被写体距離がフラッシュ到達距離を越えている場合に、フラッシュ光が被写体に到達していないと判別する。尚、被写体距離は、ＡＦ処理により合焦位置に移動させたレンズ（フォーカレンズ）の位置に基づいて求めることができる。また、別途、三角測距等を行う測距部を設け、測距部により測距された被写体距離を使用することができる。

制御部３３５は、第１のＷＢゲイン算出部３２６Ａ及びＷＢ補正部３３７のうちのいずれか一方を動作可能にするもので、判別部３３３からフラッシュ光が被写体に到達している旨の判別結果を入力すると、第１のＷＢゲイン算出部３２６Ａを動作可能にし、判別部３３３からフラッシュ光が被写体に到達していない旨の判別結果を入力すると、ＷＢ補正部３３７を動作可能にする。

第１のＷＢゲイン算出部３２６Ａは、制御部３３５により動作可能にされると、前述したようにエリア毎の物体色を表す色信号Color1〜nと、本露光の撮像信号のエリア毎の色を表す色信号とに基づいてエリア毎にＷＢゲイン１〜ｎを算出する。そして、算出されたＷＢゲイン１〜ｎに基づいて第１の実施形態又は第２の実施形態と同様にホワイトバランス補正が行われる。

一方、ＷＢ補正部３３７は、制御部３３５により動作可能にされると、ホワイトバランス補正前の撮像信号に基づいてＡＷＢゲインを決定し、ホワイトバランス補正前の撮像信号に、決定したＡＷＢゲインを乗算することによりホワイトバランス補正を行う。ここで、ＡＷＢゲインの決定方法としては、ホワイトバランス補正前の撮像信号からＲＧＢの信号の比を求め、求めた比から光源種を特定し、予め光源種毎に適切なＡＷＢゲインが記憶されている記憶部から特定した光源種に対応するＡＷＢゲインを読み出す方法、及びホワイトバランス補正後のＲＧＢの信号の比が、１：１：１になるようにＡＷＢゲインを決定する方法等の種々の公知の方法が考えられる。

尚、判別部３３３は、被写体距離とフラッシュ到達距離とに基づいてフラッシュ光が被写体に到達しているか否かを判別するが、これに限らず、フラッシュ光のみを光源とする第３の撮像信号から算出した輝度値が、フラッシュ光が被写体に到達しているか否かを判別するために設定した閾値以上か否かにより判別するようにしてもよい。この場合の閾値としては、被写体が最大のフラッシュ到達距離に位置している場合に得られる、第３の撮像信号から算出した輝度値を使用することができる。

［第４の実施形態］
図１５は、本発明の第４の実施形態を示す画像処理装置に対応する画像処理部の要部ブロック図である。

図１４に示した第３の実施形態では、被写体にフラッシュ光が到達していると判別したときのみ、第１のＷＢゲイン算出部３２６Ａによるエリア毎のＷＢゲインの算出を実行しているが、図１５に示す第４の実施形態では、撮像画面内のエリア毎にフラッシュ光が到達しているか否かを判別し、フラッシュ光が到達していると判別されたエリアのみ、第１のＷＢゲイン算出部３２６ＢによるＷＢゲインの算出を実行している。

図１５において、判別部３３３Ａは、フラッシュ光のみを光源とする第３の撮像信号からエリア毎の輝度値を算出し、算出した輝度値がフラッシュ光が被写体に到達しているか否かを判別するために設定した閾値以上か否かにより、エリア毎にフラッシュ光が到達しているか否かを判別する。この場合の閾値としては、被写体が最大のフラッシュ到達距離に位置している場合に得られる、第３の撮像信号（被写体のエリアの第３の撮像信号）から算出した輝度値を使用することができる。

判別部３３３Ａは、エリア毎に判別したフラッシュ光到達の判別結果を第１のＷＢゲイン算出部３２６Ｂに出力する。

第１のＷＢゲイン算出部３２６Ｂは、エリア毎の物体色を表す色信号Color1〜nと、本露光の撮像信号のエリア毎の色を表す色信号とに基づいてエリア毎にＷＢゲイン１〜ｎを算出するが、判別部３３３Ａから加えられるエリア毎のフラッシュ光到達の判別結果に基づいて、フラッシュ光が被写体に到達している旨の判別結果が得られたエリアのみ、そのエリアに対するＷＢゲインを算出する。このようにして算出されたエリア毎のＷＢゲインに基づいて第２の実施形態と同様にＡＷＢゲインが算出され、ホワイトバランス補正が行われる。

図１３を用いて説明した第２のＷＢゲイン算出部の更に他の実施形態では、ＷＢゲイン１〜ｎの加重平均値（ＡＷＢゲイン）を算出する際に、輝度値が低いエリアの重みを低くしたが、第４の実施形態によれば、フラッシュ光が到達していないエリアについてはＷＢゲインを算出しないため、フラッシュ光が到達していないエリア（輝度値が低いエリア）の重みをゼロにしてＡＷＢゲインを算出することと実質的に同一になる。

［第５の実施形態］
図１６は、本発明の第５の実施形態を示す画像処理装置に対応する画像処理部のブロック図であり、特にホワイトバランス補正を行う画像処理部の要部に関して示している。

まず、図１６に示した第５の実施形態の画像処理部４１１を備えたデジタルカメラ２は、フラッシュ発光部５からフラッシュ光を発光して撮像したフラッシュ発光画像を示す画像データ（撮像信号）を取得し、撮像信号をメインメモリ２４に一時保存する。尚、メインメモリ２４に一時保存された撮像信号は、画像処理前のモザイクデータ（ＲＡＷデータ：モザイク状のＲＧＢのデータ）である。

図１６に示す画像処理部４１１は、図３に示した画像処理部３１の第５の実施形態を示しており、主として画像取得部４２１、色信号取得部４２２、及び無彩色領域抽出部４２３から構成されている。

画像取得部４２１は、メインメモリ２４に保存されたフラッシュ発光画像に対応する撮像信号をメインメモリ２４から読み出し（取得し）、取得した撮像信号を色信号取得部４２２に出力する。

色信号取得部４２２は、入力する撮像信号に基づいて、撮像画面内の各エリア１〜ｎの色を表す色信号Color1〜nを取得し、取得した色信号Color1〜nを無彩色領域抽出部４２３に出力する。ここで、撮像画面内の各エリア及び各エリアの色を表す色信号については、第１の実施形態での説明を援用し、その詳細な説明は省略する。

無彩色領域抽出部４２３の他の入力には、フラッシュ発光部５から発光されるフラッシュ光の色を表すフラッシュ光の色情報４２４が加えられており、無彩色領域抽出部４２３は、各エリア１〜ｎの色を表す色信号Color1〜nとフラッシュ光の色を表す色情報４２４とに基づいて、フラッシュ発光の色と同一の色を有するエリア（領域）を無彩色領域として抽出し、無彩色領域を示す情報（無彩色領域情報４２６）を出力する。

即ち、あるエリアの物体色が無彩色（グレー）である場合、そのエリアにフラッシュ光が当たると、そのエリアの色はフラッシュ光の色になる。従って、フラッシュ発光画像の各エリアの中からフラッシュ光の色と同一の色のエリアを抽出することにより、物体色が無彩色であるエリア（無彩色領域）を抽出することができる。

ここで、フラッシュ光を表す色情報４２４は、例えば、フラッシュ光の色をＲＧＢの信号で表した場合のＲＧＢの信号の比であるＲ_ｒｅｆ／Ｇ_ｒｅｆ，Ｂ_ｒｅｆ／Ｇ_ｒｅｆとすることができる。また、フラッシュ光の色情報４２４は、予め制御メモリ３０に記憶されており、無彩色領域抽出部４２３は、制御メモリ３０（図３）からフラッシュ光の色情報４２４を取得する。フラッシュ発光部がカメラに外付けされるものの場合には、白又はグレーのチャートを環境光がない状態でフラッシュ撮像し、フラッシュ撮像により得られたＲＧＢの信号の比に基づいて、外付けのフラッシュ発光部のフラッシュ光の色を表す色信号を検出することができる。

また、無彩色領域抽出部４２３による無彩色領域の抽出方法としては、例えば、あるエリアｍの色を表す色信号Color ｍ（Ｒ_ｍ／Ｇ_ｍ，Ｂ_ｍ／Ｇ_ｍ）と、フラッシュ光の色を表す色情報４２４（Ｒ_ｒｅｆ／Ｇ_ｒｅｆ，Ｂ_ｒｅｆ／Ｇ_ｒｅｆ)とのＲ／Ｇ軸、Ｂ／Ｇ軸の色空間上での差分距離Ｌを、次式、

により算出し、算出した差分距離Ｌが、［数４］式に示した不等式を満たすとき、そのエリアｍを無彩色領域とする方法が考えられる。即ち、差分距離Ｌが０．１以内であれば無彩色と判断することができる。

また、無彩色領域抽出部４２３による無彩色領域の他の抽出方法としては、エリアｍの色を表すColor ｍ（Ｒ_ｍ／Ｇ_ｍ，Ｂ_ｍ／Ｇ_ｍ）と、フラッシュ光の色を表す色情報４２４（Ｒ_ｒｅｆ／Ｇ_ｒｅｆ，Ｂ_ｒｅｆ／Ｇ_ｒｅｆ)とを比較し、次式、
［数５］
0.9×Ｒ_ｒｅｆ／Ｇ_ｒｅｆ≦Ｒ_ｍ／Ｇ_ｍ≦1.1×Ｒ_ｒｅｆ／Ｇ_ｒｅｆ
かつ
0.9×Ｂ_ｒｅｆ／Ｇ_ｒｅｆ≦Ｂ_ｍ／Ｇ_ｍ≦1.1×Ｂ_ｒｅｆ／Ｇ_ｒｅｆ
を満たすときに、そのエリアｍを無彩色領域とする方法が考えられる。

物体色が無彩色である無彩色領域を抽出することは、無彩色領域の画像を、無彩色になるように再現するホワイトバランス補正を行う上で重要である。

また、被写体の明るさ（被写体輝度）を検出する被写体輝度検出部と、検出された被写体輝度が閾値よりも低いときのみ、無彩色領域抽出部４２３による無彩色領域の抽出を行わせる制御部とを、更に画像処理部４１１に設けることが好ましい。閾値としては、暗い所ではフラッシュを自動的に発光させる低輝度自動発光が行われる場合の輝度値の最大値や、デーライトシンクロ（「日中シンクロ」ともいう）撮影が行われる場合の被写体輝度の最小値とすることができる。

被写体輝度が高すぎる場合には、フラッシュ発光画像が環境光の影響を強く受け、無彩色領域を精度よく抽出することができなくなる。そこで、被写体輝度が閾値よりも低いときのみ、無彩色領域の抽出を行うこと（被写体輝度が閾値よりも高いときは、無彩色領域の抽出を行わないこと）が好ましい。

図１７は、図１６に示した第５の実施形態に対応するフローチャートであり、特に撮像画像内の被写体の物体色が無彩色である領域（無彩色領域）を抽出する処理手順に関して示している。

図１７において、画像取得部４２１は、フラッシュ光を発光して撮像したフラッシュ発光画像を示す「撮像信号」をメインメモリ２４から取得する（ステップＳ５０）。この場合、フラッシュ発光画像は、高速のシャッタ速度で撮像されたものであることが好ましい。即ち、高速のシャッタ速度でフラッシュ発光画像を撮像することにより、フラッシュ発光画像が環境光の影響を極力受けないようにする（フラッシュ光のみを光源とする画像に近づくようにする）ためである。

図１８は、キセノン管を光源とするフラッシュ発光部５から発光されるフラッシュ光の発光時間と発光強度との関係を示すグラフである。

フラッシュ光の発光時間は、図１８に示すように最大で１／５００（秒）程度であり、短時間で発光が終了する。また、フラッシュ光の発光時間は、被写体輝度、被写体距離、及びキセノン管に電力を供給するメインコンデンサの容量などによって変動するが、概ね１/１０００〜１/５００（秒）程度である。

従って、フラッシュ発光画像の撮像時のシャッタ速度は、１/５００（秒）以下が望ましい。尚、フラッシュ光の発光時間よりも大幅にシャッタ速度を速くすると、フラッシュ光のケラレが発生する（本来のフラッシュ撮像に必要なフラッシュ光が不足する）ため、フラッシュ発光画像の撮像時のシャッタ速度は、フラッシュ光の発光時間以下であって、フラッシュ光の発光時間に近いことが望ましい。

次に、無彩色領域抽出部４２３は、フラッシュ発光画像を示す撮像信号のエリア毎の色を表す色信号Color1〜nとフラッシュ光の色を表す色情報４２４とに基づいて、フラッシュ発光の色と同一の色を有するエリア（領域）を無彩色領域として抽出する（ステップＳ５２）。

［第６の実施形態］
図１９は、本発明の第６の実施形態を示す画像処理方法における処理手順を示すフローチャートである。尚、第６の実施形態の画像処理部は、図１６に示した第５の実施形態の画像処理部４１１の構成と略同一であるため、図１６及び図１９を参照しながら第６の実施形態の画像処理方法について説明する。

まず、第６の実施形態の画像処理部４１１を備えたデジタルカメラ２は、フラッシュ発光部５から複数種類（２以上の整数をｎとすると、ｎ種類）の発光量のフラッシュ光を順次発光し、ｎ枚のフラッシュ発光画像を示す第１の撮像信号から第ｎの撮像信号を連続して撮像（取得）し、第１の撮像信号〜第ｎの撮像信号をメインメモリ２４に一時保存する。

ここで、フラッシュ発光部５は、システム制御部２５からの指示により、キセノン管の発光時間及び／又はキセノン管に流す電流量を変化させ、フラッシュ光の発光量を調整する。また、複数種類の発光量は、例えば、適正露出時のＥｖ値（Exposure value）を基準にして、−２．０Ｅｖ〜＋２．０Ｅｖの範囲内で、Ｅｖ値が1.0Ｅｖのステップ、あるいは0.5Ｅｖのステップずつ変化する発光量になるようにデジタルカメラ２が自動で決定する。

図１９において、画像取得部４２１は、フラッシュ光の発光量が異なるｎ枚のフラッシュ発光画像を示す第１の撮像信号から第ｎの撮像信号をメインメモリ２４から取得する（ステップＳ６０）。

次に、第１の撮像信号から第ｎの撮像信号のうちのいずれか１つの撮像信号を特定するパラメータｍを１にセットする（ステップＳ６２）。

続いて、無彩色領域抽出部４２３は、「第ｍの撮像信号」の中からフラッシュ光の色と一致する色の領域を抽出し、抽出した領域を「第ｍの無彩色領域（候補）」とする（ステップＳ６４）。この無彩色領域の抽出は、第５の実施形態と同様にして行われる。

次に、無彩色領域抽出部４２３は、抽出した「第ｍの無彩色領域（候補）」の中から特定の輝度範囲に収まる領域を抽出し、抽出した領域を「第ｍの無彩色領域（確定）」とする（ステップＳ６６）。ここで、特定の輝度範囲は、高輝度部分と低輝度部分と除いた輝度範囲である。例えば、フラッシュ光の発光量によりＥｖ値を変化させる場合のＥｖ値のステップ幅程度の範囲とすることができる。被写体距離によりフラッシュ光で白飛びしたり、フラッシュ光が届かずに「無彩色領域」を正しく判定できない場合に、白飛び部分やフラッシュ光が届かなかった部分の「無彩色領域（候補）」を的確に排除するためである。

続いて、パラメータｍを１だけインクリメントし（ステップＳ６８）、インクリメントしたパラメータｍが、フラッシュ発光画像の枚数ｎよりも大きい（ｍ＞ｎ）か否かを判別する（ステップＳ７０）。パラメータｍがｎ以下の場合（「No」の場合）には、ステップＳ６４に遷移し、上記と同様にしてパラメータｍに対応する「第ｍの撮像信号」の中から「第ｍの無彩色領域（確定）」を抽出する（ステップＳ６４〜Ｓ７０）。

一方、全て（ｎ枚）のフラッシュ発光画像に対する「無彩色領域（確定）」の抽出が終了し、パラメータｍがフラッシュ発光画像の枚数ｎよりも大きい場合（ｍ＞ｎ）（「Yes」の場合）には、ステップＳ７２に遷移させる。

ステップＳ７２において、無彩色領域抽出部４２３は、ステップＳ６４〜Ｓ７０の処理を経て取得した「第１の無彩色領域（確定）」〜「第ｎの無彩色領域（確定）」のオア条件（論理和）をとり、オア条件を満たす領域を「無彩色領域」とする。

第６の実施形態によれば、被写体距離によりフラッシュ発光画像中に白飛び部分やフラッシュ光が届かない部分が含まれる場合であっても、これらの部分を「無彩色領域」から的確に排除し、かつフラッシュ光の発光量が異なるフラッシュ発光画像からそれぞれ抽出した「無彩色領域」のオア条件をとることにより、より広い被写体距離の範囲にわたって「無彩色領域」を抽出することができる。

［第７の実施形態］
図２０は、本発明の第７の実施形態を示す画像処理方法における処理手順を示すフローチャートである。尚、第７の実施形態の画像処理部は、図１６に示した第５の実施形態の画像処理部４１１の構成と略同一であるため、図１６及び図２０を参照しながら第７の実施形態の画像処理方法について説明する。

まず、第７の実施形態の画像処理部４１１を備えたデジタルカメラ２は、フラッシュ発光部５から複数種類（２以上の整数をｎとすると、ｎ種類）の色のフラッシュ光を順次発光し、ｎ枚のフラッシュ発光画像を示す第１の撮像信号から第ｎの撮像信号を連続して撮像（取得）し、第１の撮像信号〜第ｎの撮像信号をメインメモリ２４に一時保存する。

ここで、フラッシュ発光部５は、システム制御部２５からの指示により、キセノン管と発光窓との間に１又は２以上のカラーフィルタを出し入れし、フラッシュ光の発光色を調整する。

図２０において、画像取得部４２１は、フラッシュ光の発光色が異なるｎ枚のフラッシュ発光画像を示す第１の撮像信号から第ｎの撮像信号をメインメモリ２４から取得する（ステップＳ８０）。

次に、第１の撮像信号から第ｎの撮像信号のうちのいずれか１つの撮像信号を特定するパラメータｍを１にセットする（ステップＳ８２）。

続いて、無彩色領域抽出部４２３は、「第ｍの撮像信号」の中からフラッシュ光の色と一致する色の領域を抽出し、抽出した領域を「第ｍの無彩色領域（候補）」とする（ステップＳ８４）。この無彩色領域の抽出は、第５の実施形態と同様にして行われる。

次に、パラメータｍを１だけインクリメントし（ステップＳ８６）、インクリメントしたパラメータｍが、フラッシュ発光画像の枚数ｎよりも大きい（ｍ＞ｎ）か否かを判別する（ステップＳ８８）。パラメータｍがｎ以下の場合（「No」の場合）には、ステップＳ８４に遷移し、上記と同様にしてパラメータｍに対応する「第ｍの撮像信号」の中から「第ｍの無彩色領域（候補）」を抽出する（ステップＳ８４〜Ｓ８８）。

一方、全て（ｎ枚）のフラッシュ発光画像に対する「無彩色領域（候補）」の抽出が終了し、パラメータｍがフラッシュ発光画像の枚数ｎよりも大きい場合（ｍ＞ｎ）（「Yes」の場合）には、ステップＳ９０に遷移させる。

ステップＳ９０において、無彩色領域抽出部４２３は、ステップＳ８４〜Ｓ８８の処理を経て取得した「第１の無彩色領域（候補）」〜「第ｎの無彩色領域（候補）」のアンド条件（論理積）をとり、アンド条件を満たす領域を「無彩色領域（確定）」とする。

単色のフラッシュ光では、フラッシュ発光画像の色が、フラッシュ光が照射されてフラッシュ光の色と同じ色になったのか、被写体本来の色（物体色）がフラッシュ光の色と同じ色なのかが区別できない。第７の実施形態によれば、フラッシュ光の色が異なるｎ枚のフラッシュ発光画像を示す第１の撮像信号から第ｎの撮像信号を取得し、第１の撮像信号から第ｎの撮像信号からそれぞれｎ種類の色のフラッシュ光と色が同一の領域を抽出し、抽出した領域のアンド条件を満たす領域を無彩色領域として抽出するようにしたため、物体色の影響を受けずに無彩色領域を精度よく抽出することができる。

［ＡＷＢ補正の他の実施形態］
次に、上記のようにして抽出した「無彩色領域」を示す無彩色領域情報４２６（図１６）に基づいて本露光の撮像信号をホワイトバランス補正するＡＷＢ補正について説明する。

図２１は、本発明に係る画像処理装置に対応する画像処理部のブロック図であり、特にホワイトバランス補正を行う画像処理部３１の要部に関して示している。

図２１に示す画像処理部４１２は、主として撮像信号抽出部４３０と、ＷＢゲイン取得部４３２と、ＷＢ補正部４３４とから構成されている。

撮像信号抽出部４３０は、メインメモリ２４に保存された本露光の撮像信号と、図１６に示した画像処理部４１１の無彩色領域抽出部４２３から出力された無彩色領域情報４２６とを入力する。ここで、本露光の撮像信号は、無彩色領域の抽出に使用されたフラッシュ発光画像を示す撮像信号、無彩色領域の抽出に使用されたフラッシュ発光画像の被写体と同一の被写体を撮像したフラッシュ発光画像又はフラッシュ非発光画像を示す撮像信号のいずれかの撮像信号である。

撮像信号抽出部４３０は、無彩色領域情報４２６に基づいて本露光の撮像信号から、無彩色領域の撮像信号を抽出し、抽出した撮像信号をＷＢゲイン取得部４３２に出力する。尚、無彩色領域の撮像信号は、無彩色領域の物体色が無彩色である撮像信号であるが、１又は複数の光源種（環境光、フラッシュ光）の色に対応した撮像信号である。

ＷＢゲイン取得部４３２は、撮像信号抽出部４３０から入力する無彩色領域の撮像信号に基づいて、無彩色領域に対応する領域の色を光源色とし、その光源色に対応するＷＢゲイン（ＡＷＢゲイン）を取得する。

具体的には、無彩色領域の撮像信号に基づいて無彩色領域の色を表す色信号（Ｒ／Ｇ，Ｂ／Ｇ）を取得し、取得した色信号から光源種を特定する。光源種としては、太陽光（晴れ、日陰）、蛍光灯、タングステン電球等があり、光源種が特定されると、光源種毎に予め最適なＡＷＢゲインが記憶されている記憶部から、特定された光源種に対応するＡＷＢゲインを読み出す（取得する）。本実施形態によれば、無彩色領域の色から光源種の推定を正確に行うことができるため、適切なＡＷＢゲインを取得することができる。

また、無彩色領域の撮像信号に基づいて無彩色領域の色を表す色信号（Ｒ／Ｇ，Ｂ／Ｇ）を取得し、取得した色信号を無彩色（グレー）の色信号に補正するためのＡＷＢゲインを算出することができる。この場合、グレーの色信号としては、Ｒ／Ｇ＝１，Ｂ／Ｇ＝１を使用することができる。尚、ＡＷＢゲインを取得する方法は上記の例に限定されず、無彩色領域に対応する領域の色に基づいてＡＷＢゲインを取得する方法であれば、如何なる方法でもよい。

ＷＢ補正部４３４は、メインメモリ２４から取得する本露光の撮像信号に、ＷＢゲイン取得部４３２から入力するＡＷＢゲインを乗算し、本露光の撮像信号のホワイトバランス補正を行う。ＷＢ補正部４３４によりホワイトバランス補正された本露光の撮像信号は、ガンマ補正処理及びデモザイク処理等を行う後段の画像処理部に出力される。

図２２は、本発明に係る画像処理方法の実施形態を示すフローチャートであり、特に撮像画像から無彩色領域を抽出してホワイトバランス補正を行う処理手順に関して示している。

図２２において、無彩色領域抽出部４２３（図１６）から物体色が無彩色である「無彩色領域」（無彩色領域を示す無彩色領域情報４２６）を取得する（ステップＳ１００）。

続いて、デジタルカメラ２は、無彩色領域を抽出したフラッシュ発光画像に対応するシーンと同一のシーンに対して本露光を実施し、「本露光の撮像信号」を取得する（ステップＳ１０２）。本露光の撮像は、フラッシュ非発光の撮像又はフラッシュ発光の撮像のいずれの撮像でもよい。また、ステップＳ１０２の本露光の撮像動作を省略し、無彩色領域を抽出したフラッシュ発光画像に対応する撮像信号を、「本露光の撮像信号」として取得するようにしてもよい。

次に、撮像信号抽出部４３０（図２１）は、「本露光の撮像信号」のうちの無彩色領域の撮像信号を抽出し、抽出した撮像信号が表す色を「光源色」とする（ステップＳ１０４）。

ＷＢゲイン取得部４３２は、抽出した撮像信号が表す「光源色」をキャンセルする（光源色が表す色信号をグレーの色信号にする）ＡＷＢゲインを取得する（ステップＳ１０６）。尚、光源種の色味を反映させたホワイトバランス補正を行う場合には、グレーの色信号の代わりに、Ｒ／Ｇ軸、Ｂ／Ｇ軸の色空間上のグレーの色信号の座標（１，１）から無彩色領域の色を表す色信号（光源種の色を表す色信号）の座標に向かって僅かにずれた座標が示す色信号を目標の色信号として使用し、ＡＷＢゲインを算出することが好ましい。

次に、ＷＢ補正部４３４は、ステップＳ１０２で取得した「本露光の撮像信号」を、ステップＳ１０６で取得した「ＡＷＢゲイン」により補正する（ステップＳ１０８）。

これにより、物体色が無彩色の被写体像を、無彩色の被写体像として撮像（ホワイトバランス補正）することができる。

［第８の実施形態］
図２３は、本発明の第８の実施形態を示す画像処理装置に対応する画像処理部のブロック図であり、特に無彩色領域抽出部の他の実施形態を示している。

図２３において、被写体輝度検出部４４０は、被写体の明るさ（被写体輝度）を検出するものであり、ＡＥ検出部３８（図３）を使用することができる。この被写体輝度検出部４４０は、無彩色領域の抽出に使用する撮像信号の取得（撮像）時における被写体輝度を検出する。

制御部４４２は、被写体輝度検出部４４０により検出された被写体輝度に応じて、無彩色領域抽出部４２３Ａを有効／無効にするイネーブル信号を出力するもので、検出された被写体輝度が閾値よりも低いときのみ、無彩色領域抽出部４２３Ａを有効（動作可能）にするイネーブル信号を出力する。ここで、閾値としては、暗い所ではフラッシュを自動的に発光させる低輝度自動発光が行われる場合の輝度値の最大値や、デーライトシンクロ（「日中シンクロ」ともいう）撮影が行われる場合の被写体輝度の最小値とすることができる。

無彩色領域抽出部４２３Ａは、フラッシュ発光画像を示す撮像信号のエリア毎の色を表す色信号Color1〜n、フラッシュ光の色を表す色情報４２４、及び制御部４４２からのいネーブル信号を入力しており、無彩色領域抽出部４２３Ａを動作可能にするイネーブル信号を入力したときのみ、色信号Color1〜nとフラッシュ光の色を表す色情報４２４とに基づいて、フラッシュ発光の色と同一の色を有するエリア（領域）を無彩色領域として抽出する。逆に、無彩色領域抽出部４２３Ａは、被写体輝度が高く、制御部４４２から無彩色領域抽出部４２３Ａを動作不能にするイネーブル信号を入力したときには、無彩色領域の抽出処理を行わない。

被写体輝度が高すぎる場合には、フラッシュ発光画像が環境光の影響を強く受け、無彩色領域を精度よく抽出することができなくなる。そこで、被写体輝度が閾値よりも低いときのみ無彩色領域の抽出を行い、被写体輝度が閾値よりも高いときは、無彩色領域の抽出を行わないようにしている。

［第９の実施形態］
図２４は、本発明の第９の実施形態を示す画像処理装置に対応する画像処理部の要部ブロック図である。

図２４に示す第９の実施形態では、被写体にフラッシュ光が到達しているか否かを判別し、被写体にフラッシュ光が到達していると判別したときのみ、無彩色領域抽出部４２３Ｂにより無彩色領域の抽出を実行し、被写体にフラッシュ光が到達していないと判別すると、通常のホワイトバランス補正を行うようにしている。

図２４において、判別部４４４は、フラッシュ発光部５から発光されたフラッシュ光が被写体に到達しているか否かを判別する。この判別は、被写体距離を求め、この被写体距離と、フラッシュ発光部５のガイドナンバー、フラッシュ撮影時のＦ値及びＩＳＯ感度により求めたフラッシュ到達距離とを比較し、被写体距離がフラッシュ到達距離を越えている場合に、フラッシュ光が被写体に到達していないと判別する。尚、被写体距離は、ＡＦ処理により合焦位置に移動させたレンズ（フォーカスレンズ）の位置に基づいて求めることができる。また、別途、三角測距等を行う測距部を設け、測距部により測距された被写体距離を使用することができる。

制御部４４６は、無彩色領域抽出部４２３Ｂ及びＷＢ補正部４４８のうちのいずれか一方を動作可能にするもので、判別部４４４からフラッシュ光が被写体に到達している旨の判別結果を入力すると、無彩色領域抽出部４２３Ｂを動作可能にし、判別部４４４からフラッシュ光が被写体に到達していない旨の判別結果を入力すると、ＷＢ補正部４４８を動作可能にする。

無彩色領域抽出部４２３Ｂは、制御部４４６により動作可能にされると、色信号Color1〜nとフラッシュ光の色を表す色情報４２４とに基づいて、フラッシュ発光の色と同一の色を有するエリア（領域）を無彩色領域として抽出する。

一方、ＷＢ補正部４４８は、制御部４４６により動作可能にされると、ホワイトバランス補正前の撮像信号に基づいてＡＷＢゲインを決定し、ホワイトバランス補正前の撮像信号に、決定したＡＷＢゲインを乗算することによりホワイトバランス補正を行う。ここで、ＡＷＢゲインの決定方法としては、ホワイトバランス補正前の撮像信号からＲＧＢの信号の比を求め、求めた比から光源種を特定し、予め光源種毎に適切なＡＷＢゲインが記憶されている記憶部から特定した光源種に対応するＡＷＢゲインを読み出す方法、及びホワイトバランス補正後のＲＧＢの信号の比が、１：１：１になるようにＡＷＢゲインを決定する方法等の種々の公知の方法が考えられる。

尚、判別部４４４は、被写体距離とフラッシュ到達距離とに基づいてフラッシュ光が被写体に到達しているか否かを判別するが、これに限らず、フラッシュ発光画像とフラッシュ非発光画像との差分画像の輝度値が、フラッシュ光が被写体に到達しているか否かを判別するために設定した閾値以上か否かにより判別するようにしてもよい。この場合の閾値としては、被写体が最大のフラッシュ到達距離に位置している場合に得られる差分画像の輝度値を使用することができる。

また、上述の第１実施形態から第９実施形態では、本発明の範囲である各種画像処理をデジタルカメラにおいて実施される例について説明したが、これら処理の一部又は全てをデジタルカメラとは別のコンピュータやサーバ等に代表される他の装置が実施するようにしてもよい。

例えば、コンピュータにおいて画像データを加工する際に、コンピュータに設けられる画像処理装置にフラッシュ発光画像とフラッシュ非発光画像などを示す画像データを入力し、入力した画像データに対してこれらを用いた画像処理が行われてもよい。また、サーバが画像処理装置を備える場合、例えば、デジタルカメラやコンピュータからサーバにフラッシュ発光画像とフラッシュ非発光画像などを示す画像データが送信され、サーバの画像処理装置において、受信した画像データに対してこれらを用いた画像処理が行われ、画像処理後の画像データが送信元に送信・提供されるようにしてもよい。

また、本発明を適用可能な態様は、デジタルカメラには限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図２５は、撮像装置の実施形態であるスマートフォン５００の外観を示すものである。

図２５に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２６は、図２５に示したスマートフォン５００の構成を示すブロック図である。図２６に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図２５に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図２５に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部５４１に前述したデジタルカメラ２を適用することができる。

また、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図２５に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

［その他］
本発明は、汎用のコンピュータにインストールされることにより該コンピュータを画像処理装置として機能させる画像処理プログラム、この画像処理プログラムが記録されたコンピュータ読み取り可能な非一時的記録媒体、及び画像処理プログラムがインストールされたコンピュータ（画像処理装置）を含む。

画像処理装置として機能するコンピュータの場合には、フラッシュ発光画像、フラッシュ非発光画像等を示す画像処理前のＲＡＷデータを、デジタルカメラ、メモリカード又は通信回線を介して取得する。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

２…デジタルカメラ、４…レンズ鏡筒、５…フラッシュ発光部、６…シャッタボタン、７…電源スイッチ、８…表示部、９…操作部、１０…外部メモリ、１２…レンズ部、２１…撮像素子、２４…メインメモリ、２５…システム制御部、２６…シャッタ駆動部、２７…レンズ駆動部、３０…制御メモリ、３１、３１１、３１２、４１１、４１２…画像処理部、３６…ユーザインタフェース、３２１…第１の画像取得部、３２２…第２の画像取得部、３２３…第３の画像取得部、３２４…フラッシュ用ＷＢゲイン、３２５、４２２…色信号取得部、３２６、３２６Ａ、３２６Ｂ…第１のＷＢゲイン算出部、３２７…第１のＷＢ補正部、３３０、３３０Ａ、３３０Ｂ…第２のＷＢゲイン算出部、３３２…第２のＷＢ補正部、３３３、３３３Ａ、４４４…判別部、３３４…彩度検出部、３３５、４４２、４４６…制御部、３３６…加重平均算出部、３３７、４３４、４４８…ＷＢ補正部、３３８…輝度算出部、４２１…画像取得部、４２３、４２３Ａ，４２３Ｂ…無彩色領域抽出部、４２４…フラッシュ光の色情報、４２６…無彩色領域情報、４３０…撮像信号抽出部、４３２…ＷＢゲイン取得部、４４０…被写体輝度検出部、５００…スマートフォン、５４１…カメラ部

Claims (24)

1. フラッシュ光を発光して撮像したフラッシュ発光画像を示す第１の撮像信号とフラッシュ光を発光せずに撮像したフラッシュ非発光画像を示す第２の撮像信号とをそれぞれ取得する第１の画像取得部と、
   前記取得した第１の撮像信号と第２の撮像信号との差分を示す第３の撮像信号を取得する第２の画像取得部と、
   前記取得した第３の撮像信号に前記フラッシュ光の色による影響を除去するフラッシュ用ホワイトバランスゲインを乗算した第４の撮像信号を取得する第３の画像取得部と、
   前記取得した第４の撮像信号に基づいて撮像画面内の各エリアの第１の色を表す色信号を取得する色信号取得部と、
   本露光された画像の撮像信号の各エリアにおける第２の色を表す色信号を、同じエリアの前記第１の色を表す色信号に補正するホワイトバランスゲインをエリア毎に算出する第１のホワイトバランスゲイン算出部と、
   を備えた画像処理装置。
2. 前記第１のホワイトバランスゲイン算出部により算出されたエリア毎のホワイトバランスゲインに基づいて、前記本露光された画像の撮像信号をエリア毎にホワイトバランス補正するホワイトバランス補正部を備えた請求項１に記載の画像処理装置。
3. 前記第１のホワイトバランスゲイン算出部により算出したエリア毎のホワイトバランスゲインに基づいて全エリアに対するホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出部を備えた請求項１に記載の画像処理装置。
4. 前記第２のホワイトバランスゲイン算出部は、前記第１のホワイトバランスゲイン算出部により算出したエリア毎のホワイトバランスゲインを、重み付け平均して全エリアに対するホワイトバランスゲインを算出する請求項３に記載の画像処理装置。
5. 前記第２のホワイトバランスゲイン算出部は、エリア毎のホワイトバランスゲインを重み付け平均する際に、前記色信号取得部により取得した色信号が示す各エリアの第１の色の彩度に応じて、彩度が低い色のエリアほど重みを高くする請求項４に記載の画像処理装置。
6. 前記第２の画像取得部が取得した第３の撮像信号に基づいて撮像画面内の各エリアの輝度値をそれぞれ算出する輝度算出部を備え、
   前記第２のホワイトバランスゲイン算出部は、エリア毎のホワイトバランスゲインを重み付け平均する際に、前記輝度算出部が算出したエリア毎の輝度値に基づいて、輝度値が低いエリアの重みを低くする請求項４又は５に記載の画像処理装置。
7. 前記第１の画像取得部が取得した第１の撮像信号又は前記第２の画像取得部が取得した第３の撮像信号に基づいて撮像画面内の各エリアの輝度値をそれぞれ算出する輝度算出部を備え、
   前記第２のホワイトバランスゲイン算出部は、エリア毎のホワイトバランスゲインを重み付け平均する際に、前記輝度算出部が算出したエリア毎の輝度値に基づいて、輝度値が前記第１の撮像信号の飽和を判別する閾値よりも高いエリアの重みを低くする請求項４から６のいずれか１項に記載の画像処理装置。
8. 前記第２のホワイトバランスゲイン算出部により算出された全エリアに対するホワイトバランスゲインに基づいて、前記本露光された画像の撮像信号をホワイトバランス補正するホワイトバランス補正部を備えた請求項３から７のいずれか１項に記載の画像処理装置。
9. 被写体にフラッシュ光が到達しているか否かを判別する判別部と、
   前記判別部により被写体にフラッシュ光が到達していると判別されたときのみ、前記第１のホワイトバランスゲイン算出部によるエリア毎のホワイトバランスゲインの算出を実行させる制御部と、
   を備えた請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記第２の画像取得部が取得した第３の撮像信号に基づいてエリア毎にフラッシュ光が到達しているか否かを判別する判別部を備え、
    前記第１のホワイトバランスゲイン算出部は、前記判別部によりフラッシュ光が到達していると判別されたエリアのみ、エリア毎のホワイトバランスゲインの算出する請求項１から８のいずれか１項に記載の画像処理装置。
11. フラッシュ発光部と、
    前記フラッシュ発光部からフラッシュ光が発光されたフラッシュ発光画像及びフラッシュ光が発光されなかったフラッシュ非発光画像を撮像し、前記フラッシュ発光画像及びフラッシュ非発光画像を示す撮像信号を出力する撮像部と、
    請求項１から１０のいずれか１項に記載の画像処理装置と、を備え、
    前記第１の画像取得部は、前記撮像部から出力される前記フラッシュ発光画像及びフラッシュ非発光画像を示す撮像信号を、それぞれ前記第１の撮像信号及び前記第２の撮像信号として取得する撮像装置。
12. フラッシュ光を発光して撮像したフラッシュ発光画像を示す第１の撮像信号とフラッシュ光を発光せずに撮像したフラッシュ非発光画像を示す第２の撮像信号とをそれぞれ取得するステップと、
    前記取得した前記第１の撮像信号と前記第２の撮像信号との差分を示す第３の撮像信号を取得するステップと、
    前記取得した第３の撮像信号に前記フラッシュ光の色による影響を除去するフラッシュ用ホワイトバランスゲインを乗算した第４の撮像信号を取得するステップと、
    前記取得した第４の撮像信号に基づいて撮像画面内の各エリアの第１の色を表す色信号を取得するステップと、
    本露光された画像の撮像信号の各エリアにおける第２の色を表す色信号を、同じエリアの前記第１の色を表す色信号に補正するホワイトバランスゲインをエリア毎に算出するステップと、
    を含む画像処理方法。
13. フラッシュ光を発光して撮像したフラッシュ発光画像を示す第１の撮像信号とフラッシュ光を発光せずに撮像したフラッシュ非発光画像を示す第２の撮像信号とをそれぞれ取得するステップと、
    前記取得した前記第１の撮像信号と前記第２の撮像信号との差分を示す第３の撮像信号を取得するステップと、
    前記取得した第３の撮像信号に前記フラッシュ光の色による影響を除去するフラッシュ用ホワイトバランスゲインを乗算した第４の撮像信号を取得するステップと、
    前記取得した第４の撮像信号に基づいて撮像画面内の各エリアの第１の色を表す色信号を取得するステップと、
    本露光された画像の撮像信号の各エリアにおける第２の色を表す色信号を、同じエリアの前記第１の色を表す色信号に補正するホワイトバランスゲインをエリア毎に算出するステップと、
    をコンピュータに実行させる画像処理プログラム。
14. フラッシュ光を発光して撮像したフラッシュ発光画像を示す撮像信号を取得する画像取得部と、
    前記取得した撮像信号と前記フラッシュ光の色を表す色信号とに基づいて、前記撮像信号の中から前記フラッシュ光と色が同一の領域を無彩色領域として抽出する無彩色領域抽出部と、
    を備えた画像処理装置。
15. 前記フラッシュ光を発光して撮像したフラッシュ発光画像は、露光時間を前記フラッシュ光の発光時間以下とするシャッタ速度で撮像された画像である請求項１４に記載の画像処理装置。
16. 前記画像取得部は、２以上の整数をｎとすると、ｎ種類の発光量のフラッシュ光を順次発光して撮像したｎ枚のフラッシュ発光画像を示す第１の撮像信号から第ｎの撮像信号を取得し、
    前記無彩色領域抽出部は、前記第１の撮像信号から第ｎの撮像信号について、それぞれ高輝度部分と低輝度部分とを除く特定の輝度範囲に収まり、かつ前記フラッシュ光と色が同一の領域を抽出し、抽出した領域のオア条件を満たす領域を無彩色領域として抽出する請求項１４又は１５に記載の画像処理装置。
17. 前記画像取得部は、２以上の整数をｎとすると、ｎ種類の色のフラッシュ光を順次発光して撮像したｎ枚のフラッシュ発光画像を示す第１の撮像信号から第ｎの撮像信号を取得し、
    前記無彩色領域抽出部は、前記第１の撮像信号から第ｎの撮像信号について、それぞれ前記ｎ種類の色のフラッシュ光と色が同一の領域を抽出し、抽出した領域のアンド条件を満たす領域を無彩色領域として抽出する請求項１４又は１５に記載の画像処理装置。
18. 本露光された画像の撮像信号の中から前記無彩色領域抽出部により抽出した無彩色領域に対応する領域の色を光源色とし、該光源色に対応するホワイトバランスゲインを取得するホワイトバランスゲイン取得部と、
    前記取得したホワイトバランスゲインに基づいて前記本露光された画像の撮像信号のホワイトバランス補正を行うホワイトバランス補正部と、
    を備えた請求項１４から１７のいずれか１項に記載の画像処理装置。
19. 被写体にフラッシュ光が到達しているか否かを判別する判別部と、
    前記判別部により被写体にフラッシュ光が到達していると判別されたときのみ、前記無彩色領域抽出部による無彩色領域の抽出を実行させる制御部と、
    を備えた請求項１４から１８のいずれか１項に記載の画像処理装置。
20. フラッシュ発光部と、
    前記フラッシュ発光部からフラッシュ光を発光又は非発光させてフラッシュ発光画像又はフラッシュ非発光画像を撮像し、前記フラッシュ発光画像又はフラッシュ非発光画像を示す撮像信号を出力する撮像部と、
    請求項１４から１９のいずれか１項に記載の画像処理装置と、を備え、
    前記画像取得部は、前記撮像部から出力される前記フラッシュ発光画像を示す撮像信号を取得する撮像装置。
21. フラッシュ光を発光して撮像したフラッシュ発光画像を示す撮像信号を取得するステップと、
    前記取得した撮像信号と前記フラッシュ光の色を表す色信号とに基づいて、前記撮像信号の中から前記フラッシュ光と色が同一の領域を無彩色領域として抽出するステップと、
    を含む画像処理方法。
22. フラッシュ光を発光して撮像したフラッシュ発光画像を示す撮像信号を取得するステップと、
    前記取得した撮像信号と前記フラッシュ光の色を表す色信号とに基づいて、前記撮像信号の中から前記フラッシュ光と色が同一の領域を無彩色領域として抽出するステップと、
    をコンピュータに実行させる画像処理プログラム。
23. 請求項１３に記載の画像処理プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
24. 請求項２２に記載の画像処理プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
    

Images