JPWO2016006305A1 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

本発明は、フラッシュ光による被写体の画像成分を示すフラッシュ画像成分データにおいて、被写体の色に応じてもたらされる明度の相違を補償することができる画像処理装置、撮像装置、画像処理方法及びプログラムを提供する。本発明の好ましい態様において、画像処理装置（３１）のフラッシュ画像成分取得部（４０）は、フラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データに基づきフラッシュ画像成分データを取得する。フラッシュ補正データ取得部（４２）は、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違を反映したフラッシュ補正データを取得する。フラッシュ明度補正部（４４）は、フラッシュ画像成分データ及びフラッシュ補正データに基づき、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データを取得する。

Description

本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムに係り、特に、フラッシュ光の発光下で撮影取得された画像データの画像処理に関する。

フラッシュ光を発光させずに行われた撮影（以下、「フラッシュ非発光撮影」とも称する）により取得される画像（以下、「フラッシュ非発光画像」とも称する）は、基本的には環境光のみからの光の影響を受けた画像になる。一方、フラッシュ光の発光下で行われた撮影（以下、「フラッシュ発光撮影」とも称する）により取得される画像（以下、「フラッシュ発光画像」とも称する）は、環境光の他にフラッシュ光の影響を受けた画像になる。

このフラッシュ発光画像中には、「フラッシュ光の影響が大きい主要被写体等の部分」と「フラッシュ光の影響が小さい又は影響が実質的にない背景等の部分」とが混在する。すなわちフラッシュ発光部の近くに存在する主要被写体等は、フラッシュ発光画像中では環境光に加えてフラッシュ光の影響を受けた画像となる。一方、フラッシュ発光部の近くには存在しない背景等は、フラッシュ発光画像中では主として環境光の影響を受けた画像となる。このように１つのフラッシュ発光画像中には、光源の種類が実質的に異なる複数の画像部分が存在する。そのため、フラッシュ発光画像の全体のホワイトバランスを一律に調整する場合、光源の種類が実質的に異なる複数の画像部分のホワイトバランスを同時に最適化することは難しい。

そこでフラッシュ発光画像のホワイトバランス処理では、背景等の画像部分及び主要被写体等の画像部分を別々の光源領域とみなし、各画像部分を個別にホワイトバランス処理することによって、画像の色味を改善することが行われている。

例えば特許文献１は、撮影画像データ及びモニタ画像データからホワイトバランスマップを算出する画像処理装置を開示する。このホワイトバランスマップは、撮影画像データの中で、ストロボ（フラッシュ）が照射されて明るくなっているピクセルの領域と、ストロボの照射が及ばず暗いままのピクセルの領域とのそれぞれに対して適切なホワイトバランスの調整を行うためのデータである。

また特許文献２は、ストロボ（フラッシュ）発光撮影により取得される画像のホワイトバランス処理において、安定したホワイトバランス補正を実現することを目的とした画像処理を行う撮像装置を開示する。この撮像装置では、ストロボ発光画像データ、ストロボ非発光画像データ及びストロボ非発光時の過去画像データからホワイトバランス補正値が算出される。

特開２０１２−１９２９３号公報 特開２０１０−１９３００２号公報

上述のように、例えばフラッシュ発光画像のデータとフラッシュ非発光画像のデータなどを用いて、被写体は同一ではあるが主要被写体等の画像部分の明るさが異なる複数の撮影画像に基づいて、「フラッシュ光の影響を受けている画像部分」と「フラッシュ光の影響を受けていない画像部分」とを分離する方法が考えられている。

しかしながら、フラッシュ発光撮影の際にフラッシュ光が被写体に均一に照射されても、実際の撮影画像の明度は被写体の色に依存して変わってしまう。そのため、フラッシュ発光画像のデータとフラッシュ非発光画像のデータとの間の差分データのみからでは、フラッシュ発光画像の明度に関するフラッシュ光の影響を正確に推定することが難しい。

一例として、平坦な板に貼り付けた赤の色票、緑の色票及び青の色票の各々を被写体として、フラッシュ発光撮影及びフラッシュ非発光撮影を行った。これらの撮影では、ＲＧＢ（赤緑青）カラーフィルタを有する撮像素子を具備したデジタルカメラ（撮像装置）を使用し、そのデジタルカメラからほぼ等距離の位置に赤の色票、緑の色票及び青の色票の各々を配置した。そして、フラッシュ発光画像とフラッシュ非発光画像との間の差分データから算出される輝度値に基づいて、フラッシュ光による画像成分に関して色票間における明るさ（輝度値）の関係を求めた。ここで「輝度値（Ｙ）」の算出は、フラッシュ発光画像とフラッシュ非発光画像との間の差分データをＲＧＢデータ（ＲＧＢ画素値）に基づいて求めて、この差分データのＲＧＢデータを「Ｙ＝０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ」で表される式に適用することで行い、図３２に示す結果を得た。

図３２は、赤の色票、緑の色票及び青の色票に関する「フラッシュ発光画像とフラッシュ非発光画像との間の差分データ」の輝度の関係を例示するグラフである。図３２の縦軸は、各色票の「フラッシュ発光画像とフラッシュ非発光画像との間の差分データ」の輝度値（Ｙ）の大きさを示す。

撮影取得される画像の明るさが被写体の色に依存しないと仮定した場合、平板に貼り付けられた赤の色票、緑の色票及び青の色票の「フラッシュ発光画像とフラッシュ非発光画像との間の差分データ」の輝度値は相互に等しくなると考えられる。しかしながら実際には、図３２からも明らかなように、赤の色票、緑の色票及び青の色票の「フラッシュ発光画像とフラッシュ非発光画像との間の差分データ」の輝度値は相互に異なり、フラッシュ発光画像の明るさが被写体の色に依存することが分かる。

したがってフラッシュ発光画像とフラッシュ非発光画像との間の差分データは、フラッシュ光の影響に加え、被写体自身の色に依存する影響が反映されたデータとなる。「被写体の色に依存する影響が取り除かれていないデータ」からは、「フラッシュ発光画像におけるフラッシュ光の影響を示すデータ」を必ずしも正確には得られない。したがってホワイトバランス処理等の各種の画像処理を精度良く行う観点からは、処理対象の画像データにおいて、被写体の色に応じてもたらされる明度の相違を補償することが好ましい。

しかしながら従来、被写体の色に応じてもたらされる明度の相違に注目してホワイトバランス処理等の各種の画像処理を行う手法は提案されていなかった。例えば特許文献１の画像処理装置では、撮影画像データを明るいピクセルの領域と暗いピクセルの領域とに分類した上でホワイトバランス処理が行われるが、被写体の色に応じてもたらされる明度の相違には全く注目されていない。また特許文献２に開示されるホワイトバランス処理では、ストロボ発光画像データ及びストロボ非発光画像データからホワイトバランス補正値が算出されるが、ホワイトバランス処理において被写体の色に応じてもたらされる明度の相違は全く考慮されていない。

本発明は上述の事情に鑑みてなされたものであり、処理対象の画像データにおいて、被写体の色に応じてもたらされる明度の相違を補償することができる画像処理技術及びその関連技術を提供することを目的とする。

本発明の一態様は、フラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データに基づき、フラッシュ光による被写体の画像成分を示すフラッシュ画像成分データを取得するフラッシュ画像成分取得部と、フラッシュ画像成分データに基づき、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違を反映したフラッシュ補正データを取得するフラッシュ補正データ取得部と、フラッシュ画像成分データ及びフラッシュ補正データに基づき、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データを取得するフラッシュ明度補正部と、を備える画像処理装置に関する。

本態様によれば、「フラッシュ光による被写体の画像成分を示すフラッシュ画像成分データ」と「被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違を反映したフラッシュ補正データ」とに基づいて、フラッシュ画像成分データの明度の相違が補償（補正）されたフラッシュ画像補正成分データが取得される。このフラッシュ画像補正成分データに基づいて第１の画像データに対する各種の画像処理を行うことで、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違を補償した処理結果を得ることができる。

ここでいう「フラッシュ光による被写体の画像成分を示すフラッシュ画像成分データ」は、例えば、フラッシュ光と環境光との影響下で取得されたフラッシュ発光画像のデータ（第１の画像データ）から環境光の影響を取り除いたデータによって表すことができる。なお「フラッシュ画像成分データ」は、フラッシュ光の影響を直接的又は間接的に示すデータによって表現可能であり、例えば撮影に使用されたフラッシュ光と同等の色成分比を持つ光の影響を受けたデータによって表されてもよい。

また、ここでいう「環境光」は、撮影の際に被写体に影響を及ぼすフラッシュ光以外の光成分を指し、単一の光源からの光によって「環境光」が構成されてもよいし、複数の光源からの光がミックスされて「環境光」が構成されてもよい。

望ましくは、フラッシュ画像成分取得部は、第１の画像データと、フラッシュ光の非発光下で被写体を撮影することにより取得された第２の画像データとの差分を表す第１の差分データから、フラッシュ画像成分データを取得する。

本態様によれば、「フラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データ」と「フラッシュ光の非発光下で被写体を撮影することにより取得された第２の画像データ」との差分を表す第１の差分データによって、「フラッシュ光による被写体の画像成分を直接的に示すフラッシュ画像成分データ」を精度良く表すことができる。

望ましくは、フラッシュ画像成分取得部は、第１の発光量のフラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データと、第１の発光量とは異なる第２の発光量のフラッシュ光の発光下で被写体を撮影することにより取得された第２の画像データとの差分を表す第１の差分データから、フラッシュ画像成分データを取得する。

本態様によれば、「第１の発光量のフラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データ」と「第２の発光量のフラッシュ光の発光下で被写体を撮影することにより取得された第２の画像データ」との差分を表す第１の差分データによって、「フラッシュ光による被写体の画像成分を示すフラッシュ画像成分データ」を精度良く取得することができる。本態様では、「フラッシュ光と同等の色成分比を持つ光の影響を受けたデータ」によって「フラッシュ光による被写体の画像成分を間接的に示すフラッシュ画像成分データ」を表すことができる。

望ましくは、フラッシュ画像成分取得部は、第１の差分データにフラッシュ光用ホワイトバランスゲインを適用することでフラッシュ画像成分データを取得する。

本態様によれば、「フラッシュ光による被写体の画像成分を示すフラッシュ画像成分データ」はフラッシュ光用のホワイトバランスゲインが適用されてホワイトバランスが調整されるため、被写体が本来有する適正な色調が再現されたフラッシュ画像成分データを取得することができる。

望ましくは、フラッシュ補正データ取得部は、複数の処理ブロックに区分されたフラッシュ画像成分データの複数の処理ブロックの各々におけるフラッシュ画像成分データの色成分比を表す色比データを取得し、フラッシュ画像成分データの色比データに基づいて、被写体の色に応じてもたらされるフラッシュ画像成分データの複数の処理ブロック間における明度の相違を反映したフラッシュ補正データを取得する。

本態様によれば、処理ブロック単位でフラッシュ補正データを取得することができる。

望ましくは、フラッシュ補正データは、フラッシュ画像成分データの明度を示す第１の明度データに適用されることで、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違を補償するデータであり、フラッシュ補正データ取得部は、フラッシュ画像成分データの複数の処理ブロックの各々に関してフラッシュ補正データを取得する。

本態様によれば、フラッシュ画像成分データの明度を示す第１の明度データに適用することで、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違を補償することが可能なフラッシュ補正データを取得することができる。

望ましくは、フラッシュ明度補正部は、フラッシュ画像成分データに基づいて、複数の処理ブロックの各々における第１の明度データを取得し、複数の処理ブロックの各々に関して第１の明度データにフラッシュ補正データを適用することで、フラッシュ画像補正成分データを取得する。

本態様によれば、フラッシュ画像成分データの明度を示す第１の明度データにフラッシュ補正データが適用され、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データが取得される。

望ましくは、フラッシュ補正データ取得部は、無彩色の色比データを基準に、複数の処理ブロックの各々に関するフラッシュ補正データを取得する。

本態様によれば、無彩色を基準にしてフラッシュ補正データが取得される。無彩色は、「白」、「黒」及び「白と黒との混合で得られる色」であり、本明細書において「グレー」とは、これらの「白」、「黒」及び「白と黒との混合で得られる色」を含みうる概念である。原色を使う色空間上において無彩色は各原色量が等しくなり、例えばＲＧＢ色空間において無彩色は「Ｒデータ＝Ｇデータ＝Ｂデータ（すなわち「Ｒデータ：Ｇデータ：Ｂデータ＝１：１：１」）」の関係を有する。

望ましくは、第１の画像データは、複数色のカラーフィルタを含む撮像素子によって取得され、フラッシュ画像成分データは複数色の各々に関する色成分データを含み、フラッシュ補正データ取得部は、色成分データに基づいて、複数の処理ブロックの各々におけるフラッシュ画像成分データの色比データを取得する。

本態様によれば、撮影に使用される撮像素子のカラーフィルタの色に基づいて、フラッシュ画像成分データの色比データを簡便に取得することができる。

望ましくは、フラッシュ画像成分データの色比データは、複数の処理ブロックの各々におけるフラッシュ画像成分データの複数色の色成分データの合計に対する、複数色の各々に関するフラッシュ画像成分データの色成分データの比に基づいている。

本態様によれば、フラッシュ画像成分データの色比データは、複数の処理ブロックの各々におけるフラッシュ画像成分データの複数色の色成分データの合計に基づいて正規化されたデータとして取得可能である。

望ましくは、フラッシュ補正データ取得部は、被写体の色に応じたフラッシュ画像成分データの明度を示す明度指標データをフラッシュ画像成分データの色比データから導き出す演算処理に基づいて、複数の処理ブロックの各々におけるフラッシュ画像成分データの色比データから、複数の処理ブロックの各々におけるフラッシュ画像成分データの明度指標データを取得し、複数の処理ブロックの各々における複数色の色成分データの合計に対する複数色の各々に関する色成分データの比が相互に等しい無彩色の色比データから、無彩色に関する明度指標データを演算処理に基づいて取得し、無彩色に関する明度指標データに対する複数の処理ブロックの各々におけるフラッシュ画像成分データの明度指標データの比に基づいて、フラッシュ画像成分データの複数の処理ブロックの各々に関するフラッシュ補正データを取得する。

本態様によれば、「無彩色に関する明度指標データ」に対する「フラッシュ画像成分データの明度指標データ」の比に基づいてフラッシュ補正データが取得される。

なお明度指標データを導き出すために用いられる「演算処理」は、明度を直接的又は間接的に示すデータを算出することが可能な処理であればよく、予め定められた演算式や参照テーブルを使用可能である。したがって、例えば「輝度値」の算出に用いられる演算式をここでいう「演算処理」で使用してもよく、そのような演算式によって算出される「輝度値」を「明度指標データ」としてもよい。

望ましくは、複数の処理ブロックの各々は、単一の画素によって構成される。

本態様によれば、画素単位でフラッシュ補正データを取得することができる。ここでいう「画素」は、フラッシュ画像成分データの構成単位であり、撮像素子を構成する画素を基準とすることができる。

望ましくは、複数の処理ブロックの各々は、複数の画素によって構成される。

本態様によれば、複数画素の単位でフラッシュ補正データを取得することができる。例えばフラッシュ画像成分データを構成する各画素データに予期していないノイズ成分が含まれる場合であっても、複数画素単位でフラッシュ補正データの取得処理を行うことで、そのようなノイズ成分の影響を実質的に低減することができる。

望ましくは、第１の画像データの撮影に使用された撮像素子は複数色のカラーフィルタを含む単板式の撮像素子であり、複数色のカラーフィルタは、特定の色パターンの基本配列が繰り返し配置されることで構成され、複数の処理ブロックの各々を構成する複数の画素は、基本配列を構成する画素に対応する。

本態様によれば、撮像素子のカラーフィルタの基本配列を基準にフラッシュ補正データを取得することができ、フラッシュ補正データの取得処理を簡便に行うことができる。

望ましくは、画像処理装置は、環境光による被写体の画像成分を示す環境光画像成分データを取得する環境光画像成分取得部と、環境光画像成分データに基づき、被写体の色に応じてもたらされる環境光画像成分データの明度の相違を反映した環境光補正データを取得する環境光補正データ取得部と、環境光画像成分データ及び環境光補正データに基づき、被写体の色に応じてもたらされる環境光画像成分データの明度の相違が補償された環境光画像補正成分データを取得する環境光明度補正部と、を更に備える。

本態様によれば、「環境光による被写体の画像成分を示す環境光画像成分データ」と「被写体の色に応じてもたらされる環境光画像成分データの明度の相違を反映した環境光補正データ」とに基づいて、環境光画像成分データの明度の相違が補償された環境光画像補正成分データが取得される。この環境光画像補正成分データに基づいて第１の画像データに対する各種の画像処理を行うことで、被写体の色に応じてもたらされる環境光画像成分データの明度の相違を補償した処理結果を得ることができる。

ここでいう「環境光による被写体の画像成分を示す環境光画像成分データ」は、例えば、フラッシュ光と環境光との影響下で取得されたフラッシュ発光画像のデータ（第１の画像データ）からフラッシュ光の影響を取り除いたデータによって表すことができる。この「環境光画像成分データ」は、フラッシュ発光画像のデータ（第１の画像データ）の撮影取得に使用された環境光と同等の色成分比を持つ光の影響を受けたデータによって表すことができる。

望ましくは、環境光画像成分取得部は、フラッシュ光の非発光下で被写体を撮影することにより取得された第２の画像データを基礎データとして環境光画像成分データを取得する。

本態様によれば、第２の画像データに基づいて、環境光画像成分データを精度良く取得することができる。

環境光画像成分データは、第２の画像データ自体であってもよいし、第２の画像データから導き出される他のデータであってもよい。

望ましくは、環境光画像成分取得部は、第１の画像データと、第１の画像データとフラッシュ光の非発光下で被写体を撮影することにより取得された第２の画像データとの差分を表す第１の差分データと、の差分を表す第２の差分データを基礎データとして、環境光画像成分データを取得する。

本態様によれば、第１の差分データによって表されるフラッシュ画像成分データを、フラッシュ発光画像のデータである第１の画像データから取り除くことで、環境光画像成分データを取得することができる。

環境光画像成分取得部は、第１の発光量のフラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データと、第１の画像データと第１の発光量とは異なる第２の発光量のフラッシュ光の発光下で被写体を撮影することにより取得された第２の画像データとの差分を表す第１の差分データと、に基づいて基礎データを導き出し、この基礎データに基づいて環境光画像成分データを取得してもよい。

望ましくは、環境光画像成分取得部は、複数の処理ブロックの各々における基礎データの色成分比を表す色比データを取得し、複数の処理ブロックの各々におけるフラッシュ画像成分データの色比データと基礎データの色比データとに基づいて環境光用ホワイトバランスゲインを取得し、基礎データに環境光用ホワイトバランスゲインを適用することで環境光画像成分データを取得する。

本態様によれば、「環境光による被写体の画像成分を示す環境光画像成分データ」は環境光用のホワイトバランスゲインが適用されてホワイトバランスが調整されるため、被写体の適正な色調が再現された環境光画像成分データを取得することができる。

望ましくは、環境光用ホワイトバランスゲインは、複数の処理ブロックの各々における基礎データの色比データに適用されると、複数の処理ブロックの各々における環境光画像成分データの色比データが導き出される。

本態様によれば、環境光用のホワイトバランスゲインを使って環境光画像成分データの色比データが導き出される。

望ましくは、環境光補正データ取得部は、複数の処理ブロックの各々における環境光画像成分データの色成分比を表す色比データを取得し、環境光画像成分データの色比データに基づいて、被写体の色に応じてもたらされる環境光画像成分データの複数の処理ブロック間における明度の相違を反映した環境光補正データを取得する。

本態様によれば、処理ブロック単位で環境光補正データを取得することができる。

望ましくは、環境光補正データは、環境光画像成分データの明度を示す第２の明度データに適用されることで、被写体の色に応じてもたらされる環境光画像成分データの明度の相違を補償するデータであり、環境光補正データ取得部は、環境光画像成分データの複数の処理ブロックの各々に関して環境光補正データを取得する。

本態様によれば、環境光画像成分データの明度を示す第２の明度データに適用することで、被写体の色に応じてもたらされる環境光画像成分データの明度の相違を補償することが可能な環境光補正データを取得することができる。

望ましくは、環境光明度補正部は、環境光画像成分データに基づいて、複数の処理ブロックの各々における第２の明度データを取得し、複数の処理ブロックの各々に関して第２の明度データに環境光補正データを適用することで、環境光画像補正成分データを取得する。

本態様によれば、環境光画像成分データの明度を示す第２の明度データに環境光補正データが適用され、被写体の色に応じてもたらされる環境光画像成分データの明度の相違が補償された環境光画像補正成分データが取得される。

望ましくは、環境光補正データ取得部は、無彩色の色比データを基準に、複数の処理ブロックの各々に関する環境光補正データを取得する。

本態様によれば、無彩色を基準にして環境光補正データが取得される。

望ましくは、第１の画像データは、複数色のカラーフィルタを含む撮像素子によって撮影され、環境光画像成分データは複数色の各々に関する色成分データを含み、環境光補正データ取得部は、色成分データに基づいて、複数の処理ブロックの各々における環境光画像成分データの色比データを取得する。

本態様によれば、撮影に使用される撮像素子のカラーフィルタの色に基づいて、環境光画像成分データの色比データを簡便に取得することができる。

望ましくは、環境光画像成分データの色比データは、複数の処理ブロックの各々における環境光画像成分データの複数色の色成分データの合計に対する、複数色の各々に関する環境光画像成分データの色成分データの比に基づいている。

本態様によれば、環境光画像成分データの色比データは、複数の処理ブロックの各々における環境光画像成分データの複数色の色成分データの合計に基づいて正規化されたデータとして取得可能である。

望ましくは、環境光補正データ取得部は、被写体の色に応じた環境光画像成分データの明度を示す明度指標データを環境光画像成分データの色比データから導き出す演算処理に基づいて、複数の処理ブロックの各々における環境光画像成分データの色比データから、複数の処理ブロックの各々における環境光画像成分データの明度指標データを取得し、複数の処理ブロックの各々における複数色の色成分データの合計に対する複数色の各々に関する色成分データの比が相互に等しい無彩色の色比データから、無彩色に関する明度指標データを演算処理に基づいて取得し、無彩色に関する明度指標データに対する複数の処理ブロックの各々における環境光画像成分データの明度指標データの比に基づいて、環境光画像成分データの複数の処理ブロックの各々に関する環境光補正データを取得する。

本態様によれば、「無彩色に関する明度指標データ」に対する「環境光画像成分データの明度指標データ」の比に基づいて環境光補正データが取得される。

なお明度指標データを導き出すために用いられる「演算処理」は、明度を直接的又は間接的に示すデータを算出することが可能な処理であればよい。したがって、「輝度値」の算出に用いられる演算式をここでいう「演算処理」で使用してもよく、そのような演算式によって算出される「輝度値」を「明度指標データ」としてもよい。

望ましくは、画像処理装置は、フラッシュ画像補正成分データに基づいて、第１の画像データのホワイトバランスを調整するホワイトバランス処理部を更に備える。

本態様によれば、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データに基づいて、第１の画像データのホワイトバランスを調整することができる。

望ましくは、ホワイトバランス処理部は、フラッシュ画像補正成分データに基づいて、第１の画像データにフラッシュ光用ホワイトバランスゲインを適用する。

本態様によれば、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データに基づいて、第１の画像データにフラッシュ光用ホワイトバランスゲインが適用される。

望ましくは、画像処理装置は、フラッシュ画像補正成分データ及び環境光画像補正成分データに基づいて、第１の画像データのホワイトバランスを調整するホワイトバランス処理部を更に備える。

本態様によれば、「被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データ」と「被写体の色に応じてもたらされる環境光画像成分データの明度の相違が補償された環境光画像補正成分データ」とに基づいて、第１の画像データのホワイトバランスを調整することができる。

望ましくは、ホワイトバランス処理部は、フラッシュ画像補正成分データと環境光画像補正成分データとに基づいて、第１の画像データに、フラッシュ光用ホワイトバランスゲイン及び環境光用ホワイトバランスゲインを適用する。

本態様によれば、「被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データ」と「被写体の色に応じてもたらされる環境光画像成分データの明度の相違が補償された環境光画像補正成分データ」とに基づいて、第１の画像データにフラッシュ光用ホワイトバランスゲイン及び環境光用ホワイトバランスゲインが適用される。

望ましくは、明度は輝度である。

本態様によれば、被写体の色に応じてもたらされるフラッシュ画像成分データの輝度の相違が補償されたフラッシュ画像補正成分データが取得される。

本発明の他の態様は、撮像素子と、上記の画像処理装置と、を備える撮像装置に関する。

本発明の他の態様は、フラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データから、フラッシュ光による被写体の画像成分を示すフラッシュ画像成分データを取得するステップと、フラッシュ画像成分データに基づき、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違を反映したフラッシュ補正データを取得するステップと、フラッシュ画像成分データ及びフラッシュ補正データに基づき、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データを取得するステップと、を備える画像処理方法に関する。

本発明の他の態様は、フラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データから、フラッシュ光による被写体の画像成分を示すフラッシュ画像成分データを取得する手順と、フラッシュ画像成分データに基づき、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違を反映したフラッシュ補正データを取得する手順と、フラッシュ画像成分データ及びフラッシュ補正データに基づき、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データを取得する手順と、をコンピュータに実行させるためのプログラムに関する。

本発明によれば、被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データを取得することができる。この「被写体の色に応じてもたらされるフラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データ」を用いてホワイトバランス処理等の各種の画像処理を処理対象の画像データに対して行うことで、被写体の色に応じてもたらされる明度の相違を補償することができ、処理精度を高めることが可能になる。

デジタルカメラの正面斜視図である。 デジタルカメラの背面斜視図である。 デジタルカメラの制御処理系を示すブロック図である。 被写体の色に応じてもたらされる画像データの明度（輝度）の相違を説明する図であり、図４（ａ）は、グレーの被写体及び青の被写体の各々に関する画像データの輝度値の関係を示す図であり、図４（ｂ）は、被写体の色に応じてもたらされる画像データの明度の相違を補償した後の画像データの輝度値の関係を示す図である。 第１実施形態に係る画像処理装置の機能構成を示すブロック図である。 第１実施形態に係るホワイトバランス処理のフローチャートである。 第２実施形態に係るフラッシュ画像成分取得部の機能構成を示すブロック図である。 フラッシュ画像成分取得部の第１の画像データ抽出部の構成例を示すブロック図である。 フラッシュ画像成分取得部の第１の抽出データ調整部の構成例を示すブロック図である。 撮像素子を構成する複数の画素の平面構造を示す概念図である。 カラーフィルタの基本配列例を示す平面図であり、（ａ）はベイヤー配列の基本配列パターンを示し、（ｂ）はＸ−Ｔｒａｎｓ（登録商標）タイプの基本配列パターンを示す。 第２実施形態に係るフラッシュ補正データ取得部の機能構成を示すブロック図である。 第１の色比データ取得部の機能構成を示すブロック図である。 第１の補正データ算出部の機能構成を示すブロック図である。 第２実施形態に係るホワイトバランス処理のフローチャートである。 第３実施形態に係るフラッシュ明度補正部の機能構成を示すブロック図である。 第３実施形態に係るホワイトバランス処理のフローチャートである。 第４実施形態に係る画像処理装置の機能構成を示すブロック図である。 第４実施形態に係る環境光画像成分取得部の機能構成を示すブロック図である。 環境光画像成分取得部の第２の画像データ抽出部の構成例を示すブロック図である。 環境光画像成分取得部の第２の抽出データ調整部の構成例を示すブロック図である。 環境光補正データ取得部の機能構成を示すブロック図である。 第２の色比データ取得部の機能構成を示すブロック図である。 第２の補正データ算出部の機能構成を示すブロック図である。 環境光明度補正部の機能構成を示すブロック図である。 第４実施形態に係るホワイトバランス処理部の機能構成を示すブロック図である。 第４実施形態に係るホワイトバランス処理のフローチャートである。 第４実施形態においてフラッシュ画像補正成分データを取得するための処理フロー（図２７のステップＳ４２）の詳細を示すフローチャートである。 第４実施形態において環境光画像補正成分データを取得するための処理フロー（図２７のステップＳ４３）の詳細を示すフローチャートである。 スマートフォンの外観を示す図である。 図３０に示すスマートフォンの構成を示すブロック図である。 赤の色票、緑の色票及び青の色票に関する「フラッシュ発光画像とフラッシュ非発光画像との間の差分データ」の輝度の関係を例示するグラフである。

図面を参照して本発明の実施形態について説明する。以下の実施形態では、デジタルカメラ（撮像装置）に本発明を適用する例について説明する。ただし、デジタルカメラ以外の画像処理装置、撮像装置、画像処理方法及びプログラムにも本発明を適用することが可能である。

図１は、デジタルカメラ２の正面斜視図である。図２は、デジタルカメラ２の背面斜視図である。

デジタルカメラ２は、カメラ本体３と、カメラ本体３の前面に取り付けられるレンズ鏡筒４とを備える。カメラ本体３及びレンズ鏡筒４は、一体的に設けられてもよいし、レンズ交換式カメラとして着脱自在に設けられてもよい。

カメラ本体３の前面には、レンズ鏡筒４に加えてフラッシュ発光部５が設けられ、カメラ本体３の上面には、シャッタボタン６及び電源スイッチ７が設けられている。シャッタボタン６は、ユーザからの撮影指示を受け付ける撮影指示部であり、電源スイッチ７は、デジタルカメラ２の電源のオン及びオフの切り換え指示をユーザから受け付ける電源切換部である。なおフラッシュ発光部５は、デジタルカメラ２（カメラ本体３）に内蔵されているタイプのフラッシュ装置であってもよいし、外付けタイプのフラッシュ装置であってもよい。

カメラ本体３の背面には、液晶パネル等によって構成される表示部８と、ユーザによって直接的に操作される操作部９とが設けられている。表示部８は、撮影待機状態ではライブビュー画像（スルー画像）を表示して電子ビューファインダとして機能し、撮影画像やメモリ記憶画像の再生時には再生画像表示部として機能する。

操作部９は、モード切換スイッチ、十字キー、実行キーなどの任意の操作デバイスによって構成される。例えばモード切換スイッチは、デジタルカメラ２の動作モードを切り換える際にユーザによって操作される。デジタルカメラ２の動作モードとして、被写体を撮像して撮影画像を得るための撮影モード、画像を再生表示する再生モード、等がある。また他の撮影モードとして、オートフォーカスを行うＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）モード及びマニュアルフォーカス操作を行うＭＦ（Ｍａｎｕａｌ Ｆｏｃｕｓ）モードがある。一方、十字キー及び実行キーは、表示部８にメニュー画面や設定画面を表示したり、メニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする場合に、ユーザによって操作される。

カメラ本体３の底部（図示省略）には、メインメモリ１０が装填されるメモリスロットと、このメモリスロットの開口を開閉する装填蓋とが設けられている。メインメモリ１０は、カメラ本体３に着脱自在に設けられており、カメラ本体３に装着されると、カメラ本体３に設けられる記憶制御部３３（図３参照）と電気的に接続される。メインメモリ１０は、一般にカード型フラッシュメモリ等の半導体メモリにより構成可能であるが、特に限定されるものではなく、磁気媒体等の任意の記憶方式の記憶媒体をメインメモリ１０として用いることが可能である。

図３は、デジタルカメラ２の制御処理系を示すブロック図である。

被写体光は、レンズ鏡筒４に設けられるレンズ部１２とカメラ本体３に設けられるメカニカルシャッタ２０とを通過し、撮像素子２１によって受光される。レンズ部１２は、撮影レンズ（レンズ群）及び絞りを含む撮影光学系によって構成される。撮像素子２１は、被写体像を受光して画像データを生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサ（フォトダイオード）とを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路等によってプロセス処理が施され、その後ＡＤ変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはバッファメモリ２４に保存される。

バッファメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等によって構成される。ＡＤ変換部２３から送られてきてバッファメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理装置３１によって読み出される。

画像処理装置３１は、バッファメモリ２４から読み出した画像データを処理対象として使用し、後述のホワイトバランス処理の他に、ガンマ補正処理及びデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びバッファメモリ２４に保存する。

画像処理装置３１において画像処理が施されてバッファメモリ２４に保存された画像データは、表示制御部３５及び圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、バッファメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理装置３１において画像処理を受けた画像データは、撮影確認画像（ポストビュー画像）として表示部８に表示される。

一方、圧縮伸張部３２は、バッファメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、メインメモリ１０へのデータ記憶処理及びメインメモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、メインメモリ１０に記憶される。なおメインメモリ１０に画像データ等のデータ類を記憶する場合、記憶制御部３３は、システム制御部２５を介してクロックデバイス３４から取得される日時情報等に基づいて、そのデータ類に編集日時情報（更新日時情報）等の撮影情報やその他の関連情報を付加する。この撮影情報を含む関連情報は、任意のフォーマットで画像データに付加され、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）形式を採用可能である。

メインメモリ１０に保存されている画像データを再生する再生モードにおいて、メインメモリ１０に保存されている画像データは、システム制御部２５により制御される記憶制御部３３によって読み出され、圧縮伸張部３２によって伸張処理が施された後にバッファメモリ２４に保存される。そして撮影画像の確認表示と同様の手順で、表示制御部３５によってバッファメモリ２４から画像データが読み出され、表示部８において画像データが再生表示される。

システム制御部２５は、上述のようにバッファメモリ２４、画像処理装置３１及び記憶制御部３３をコントロールするが、デジタルカメラ２における他の各部もコントロールする。例えば、システム制御部２５は、レンズ駆動部２７を制御してレンズ部１２の駆動をコントロールし、シャッタ駆動部２６を制御してメカニカルシャッタ２０の駆動をコントロールし、撮像素子２１を制御して画像データの出力をコントロールする。またシステム制御部２５は、フラッシュ発光部５を制御してフラッシュの発光及び非発光をコントロールし、電源制御部２８を制御して電源２９における電池装着の有無、電池の種類、電池残量の検出等を行う。またシステム制御部２５は、クロックデバイス３４においてカウントされる日時情報を取得して各種の処理に利用する。またシステム制御部２５は、画像処理装置３１を構成する各種の処理部を制御する。

さらにシステム制御部２５は、シャッタボタン６、電源スイッチ７及び操作部９を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理及びデバイス制御を行う。例えば、システム制御部２５は、シャッタボタン６から受信したレリーズ信号に応じてシャッタ駆動部２６を制御し、メカニカルシャッタ２０の開閉をコントロールする。またシステム制御部２５は、電源スイッチ７から受信した電源オンオフ信号に応じて電源制御部２８を制御し、電源２９のオン及びオフをコントロールする。

システム制御部２５で行われる各種の処理及びデバイス制御に必要なプログラムやデータ類は、制御メモリ３０に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また新たなプログラムやデータ類を制御メモリ３０に保存することができる。例えば設定されたホワイトバランスモードの種類やホワイトバランスゲイン等の条件データを、システム制御部２５は制御メモリ３０に書き込むことができる。またシステム制御部２５は、表示制御部３５を制御し、各部から取得した各種情報を表示部８に表示させることができる。なおシステム制御部２５は、ユーザがユーザインタフェース３６を介して入力する操作信号に応じて、表示部８に表示させる各種情報を変更することができる。

次に、画像処理装置３１におけるホワイトバランス処理について説明する。

以下の各実施形態ではホワイトバランス処理を画像処理の一例として説明するが、下述の画像処理プロセスはホワイトバランス処理以外の他の処理にも応用可能である。

以下の各実施形態では、フラッシュ発光画像のホワイトバランス処理において、被写体の色に応じてもたらされる明度の相違を補償（補正）するための補正処理が行われる。以下の各実施形態では、画像データの「明度」として「輝度」が使われる。

図４は、被写体の色に応じてもたらされる画像データの明度（輝度）の相違を説明する図である。図４（ａ）は、グレー（無彩色）の被写体及び青（有彩色）の被写体の各々に関する画像データの輝度値の関係を示す図であり、図４（ｂ）は、被写体の色に応じてもたらされる画像データの明度の相違を補償した後の画像データの輝度値の関係を示す図である。図４（ａ）及び図４（ｂ）の縦軸は、グレーの被写体及び青の被写体の各々に関する画像データの輝度値を示す。なお図４（ａ）及び図４（ｂ）は、グレーの被写体及び青の被写体がフラッシュ発光部から等距離に配置されるケースを示す。図４（ａ）及び図４（ｂ）において、「Ｆｇ１」はグレーの被写体の画像データの輝度のうちフラッシュ光が寄与する部分を概念的に示し、「Ｌｇ１」はグレーの被写体の画像データの輝度のうち環境光が寄与する部分を概念的に示す。また「Ｆｂ１」及び「Ｆｂ２」は青の被写体の画像データの輝度のうちフラッシュ光が寄与する部分を概念的に示し、「Ｌｂ１」及び「Ｌｂ２」は青の被写体の画像データの輝度のうち環境光が寄与する部分を概念的に示す。

一般に、フラッシュ発光部５と被写体との間の距離に応じて、画像データにおける「フラッシュ光の影響量（図４（ａ）の「Ｆｇ１」及び「Ｆｂ１」参照）」及び「環境光の影響量（図４（ａ）の「Ｌｇ１」及び「Ｌｂ１」参照）」は変化する。また、画像の明るさは被写体の色に依存するため、フラッシュ発光部５と被写体との間の距離が同じであっても被写体の色が異なると、画像におけるフラッシュ光の影響量及び環境光の影響量は変わる。したがって図４（ａ）に示す例では、グレーの被写体の画像データと青の被写体の画像データとの間で、フラッシュ光が寄与する輝度部分の大きさは一致せず（すなわち「Ｆｇ１≠Ｆｂ１」）、また環境光が寄与する輝度部分の大きさも一致せず（すなわち「Ｌｇ１≠Ｌｂ１」）、全体の輝度の大きさも異なる（すなわち「Ｆｇ１＋Ｌｇ１≠Ｆｂ１＋Ｌｂ１」）。

下述の各実施形態では、このような被写体の色に応じてもたらされる画像データの輝度（明度）の相違を補償し、図４（ｂ）に示すように、下記の式１〜式３のうち少なくともいずれかの関係を実現するための処理が行われる。
式１ 「Ｆｇ１＝Ｆｂ２（ただし「Ｆｂ２＝Ｆｂ１×フラッシュ光用の補正データ（フラッシュ補正データ）」）」
式２ 「Ｌｇ１＝Ｌｂ２（ただし「Ｌｂ２＝Ｌｂ１×環境光用の補正データ（環境光補正データ）」）」
式３ 「Ｆｇ１＋Ｌｇ１＝Ｆｂ２＋Ｌｂ２」
このように被写体の色に依存する明度の相違などの影響を取り除いて、上記の式１〜式３のうち少なくともいずれかにより表される関係を実現することによって、より正確な「フラッシュ光の影響を示す画像データ」を取得することができ、これを用いて画像処理を行うことにより画像データの輝度（明度）の相違を補償することができる。

上述のように画像処理装置３１ではホワイトバランス処理以外の画像処理も行われるが、以下では、主としてホワイトバランス処理について説明し、ホワイトバランス処理以外の画像処理についての説明は省略する。

＜第１実施形態＞
図５は、第１実施形態に係る画像処理装置３１の機能構成を示すブロック図である。本実施形態の画像処理装置３１は、フラッシュ画像成分取得部４０、フラッシュ補正データ取得部４２、フラッシュ明度補正部４４及びホワイトバランス処理部４６を有する。

フラッシュ画像成分取得部４０は、フラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データ（フラッシュ発光画像データＤ１）に基づき、フラッシュ光による被写体の画像成分を示すフラッシュ画像成分データ（ＲＧＢフラッシュ影響度マップ）Ｄ３を取得する。

フラッシュ画像成分取得部４０におけるフラッシュ画像成分データＤ３の具体的な取得手法は特に限定されない。例えばフラッシュ画像成分取得部４０は、「フラッシュ発光画像データＤ１（第１の画像データ）」と「フラッシュ光の非発光下で被写体を撮影することにより取得されたフラッシュ非発光画像データＤ２（第２の画像データ）」との差分データを、フラッシュ画像成分データＤ３とすることができる。このフラッシュ画像成分データＤ３は、フラッシュ発光画像データＤ１から環境光の影響がキャンセルされた「フラッシュ光の影響を示す画像データ」である。すなわちフラッシュ画像成分データＤ３は、フラッシュ発光画像から、フラッシュ光の影響を受けずに環境光の影響のみを受けている領域を排除して、フラッシュ光の影響を受けている領域を分離したデータとなる。

フラッシュ画像成分取得部４０によるフラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２の取得手法は特に限定されない。例えば、連続的に撮影取得された同一被写体に関するフラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２が、撮像素子２１（図３参照）から、プロセス処理部２２、ＡＤ変換部２３及びバッファメモリ２４を介し、画像処理装置３１のフラッシュ画像成分取得部４０に供給されてもよい。またフラッシュ画像成分取得部４０は、メインメモリ１０に保存されている同一被写体に関するフラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２を処理対象として取得してもよい。この場合、メインメモリ１０に保存されているフラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２は記憶制御部３３によって読み出され、圧縮伸張部３２で伸張処理が施された後に、バッファメモリ２４を介して画像処理装置３１のフラッシュ画像成分取得部４０に供給される。

また、画像処理装置３１（フラッシュ画像成分取得部４０）に供給されるフラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２の撮影取得条件、画像タイプ、画像サイズ等の各種の条件は特に限定されない。すなわち、「フラッシュ発光下で撮影取得された画像データ」及び「フラッシュ非発光下で撮影取得された画像データ」であれば、画像処理装置３１（フラッシュ画像成分取得部４０）に供給されるフラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２は如何なる撮影条件下で撮影取得された画像データであっても構わない。例えば、フラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２は、静止画データであってもよいし、動画データであってもよい。またフラッシュ非発光画像データＤ２として、ライブビュー用の画像データや、フラッシュ光の調光用の画像データのような高速動作時に撮影取得された画像データが使用されてもよい。

これらのフラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２を画像処理装置３１（フラッシュ画像成分取得部４０）に供給するプロセスは、システム制御部２５（図３参照）の制御下で適切に行われる。

なおフラッシュ画像成分データＤ３を取得するフラッシュ画像成分取得部４０の構成例の詳細は、後述の第２実施形態において説明する。

図５のフラッシュ補正データ取得部４２は、フラッシュ画像成分データＤ３に基づき、被写体の色に応じてもたらされるフラッシュ画像成分データＤ３の明度の相違を反映したフラッシュ補正データ（色別フラッシュ影響度マップ）Ｄ４を取得する。このフラッシュ補正データＤ４は、被写体の色に応じてもたらされる影響（明度の相違）を解消するための数値データ（例えばゲイン値）によって表現可能である。

フラッシュ明度補正部４４は、フラッシュ画像成分データＤ３及びフラッシュ補正データＤ４に基づき、被写体の色に応じてもたらされるフラッシュ画像成分データＤ３の明度の相違が補償されたフラッシュ画像補正成分データ（合成フラッシュ影響度マップ）Ｄ５を取得する。このフラッシュ画像補正成分データＤ５は、フラッシュ画像成分データＤ３がフラッシュ補正データＤ４に基づいて調整され、被写体の色に応じた分光特性に基づく輝度の相違が補償された「フラッシュ光の影響を示す(画像)データ」である。

これらのフラッシュ補正データ取得部４２及びフラッシュ明度補正部４４の構成例やフラッシュ補正データＤ４及びフラッシュ画像補正成分データＤ５の具体例の詳細は、後述の第２実施形態及び第３実施形態において説明する。

ホワイトバランス処理部４６は、フラッシュ画像補正成分データＤ５に基づいて、フラッシュ発光画像データ（第１の画像データ）Ｄ１のホワイトバランスを調整する。例えば、フラッシュ画像補正成分データＤ５から、フラッシュ発光画像データＤ１においてフラッシュ光の影響が強い領域及び弱い領域を推定することが可能である。したがってホワイトバランス処理部４６は、フラッシュ画像補正成分データＤ５に基づいてフラッシュ発光画像データ（第１の画像データ）Ｄ１のうちフラッシュ光の影響が比較的強い領域を判別し、その「フラッシュ光の影響が比較的強い領域」の画像データ（フラッシュ発光画像データ（第１の画像データ）Ｄ１）に対してフラッシュ光用ホワイトバランスゲインを適用することができる。

なお、ホワイトバランス処理部４６におけるホワイトバランス処理の具体的な手法は特に限定されない。例えばフラッシュ発光画像データＤ１におけるフラッシュ光の影響のみを解消するホワイトバランス処理が行われてもよいし、フラッシュ発光画像データＤ１におけるフラッシュ光及び環境光の各々の影響を解消するホワイトバランス処理が行われてもよい。より具体的には、フラッシュ発光画像データＤ１のうちフラッシュ光の影響が比較的強い領域に対し、フラッシュ光用のホワイトバランスゲインが適用されてもよい。この場合、その「フラッシュ光の影響が比較的強い領域」以外の領域に対しては、ホワイトバランスゲインが適用されなくてもよいし、環境光用のホワイトバランスゲインが適用されてもよい。またフラッシュ発光画像データＤ１の各領域に関し、フラッシュ光の影響と環境光の影響との割合を求めて、その割合に応じて、フラッシュ光用のホワイトバランスゲイン及び環境光用のホワイトバランスゲインの両者を適用してもよい。

図６は、第１実施形態に係るホワイトバランス処理のフローチャートである。

まずフラッシュ画像成分取得部４０において、フラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２が取得され（図６のＳ１１）、これらのフラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２からフラッシュ画像成分データ（ＲＧＢフラッシュ影響度マップ）Ｄ３が取得される（Ｓ１２）。

そしてフラッシュ補正データ取得部４２において、フラッシュ画像成分データＤ３からフラッシュ補正データＤ４が取得される（Ｓ１３）。またフラッシュ明度補正部４４において、フラッシュ画像成分データＤ３及びフラッシュ補正データＤ４からフラッシュ画像補正成分データＤ５が取得される（Ｓ１４）。

そしてホワイトバランス処理部４６において、フラッシュ画像補正成分データＤ５に応じたホワイトバランス処理がフラッシュ発光画像データＤ１に対して行われる（Ｓ１５）。

以上説明したように本実施形態の画像処理装置３１及び画像処理方法によれば、被写体の色に応じてもたらされる輝度（明度）の相違などの影響を取り除くためのフラッシュ補正データが取得され、そのフラッシュ補正データが考慮されてフラッシュ光の影響度を示すフラッシュ画像補正成分データが取得される。そのようなフラッシュ画像補正成分データを用いることで、フラッシュ発光画像データＤ１に対して精度の高いホワイトバランス処理を行うことができる。

＜第２実施形態＞
本実施形態において、上述の第１実施形態と同一又は類似の構成には同一の符号を付し、その詳細な説明を省略する。

本実施形態では無彩色（グレー）の被写体の分光特性（分光反射率）を基準にして被写体の撮影画像の明度（輝度）を調整することで、被写体の色に応じてもたらされる画像データの明度の相違を補償する処理が行われる。

本実施形態に係る画像処理装置３１は、図５に示す第１実施形態の画像処理装置３１と同様に、フラッシュ画像成分取得部４０、フラッシュ補正データ取得部４２、フラッシュ明度補正部４４及びホワイトバランス処理部４６を備えるが、とりわけフラッシュ画像成分取得部４０及びフラッシュ補正データ取得部４２が以下の具体的構成を有する。

まずフラッシュ画像成分取得部４０の具体的構成の一態様について説明する。

本実施形態のフラッシュ画像成分取得部４０は、フラッシュ光の発光下で被写体を撮影することにより取得されたフラッシュ発光画像データ（第１の画像データ）Ｄ１と、フラッシュ光の非発光下で被写体を撮影することにより取得されたフラッシュ非発光画像データＤ２（第２の画像データ）との差分を表す第１の差分データから、フラッシュ画像成分データＤ３を取得する。特に本実施形態のフラッシュ画像成分取得部４０は、その第１の差分データにフラッシュ光用ホワイトバランスゲインを適用することでフラッシュ画像成分データＤ３を取得する。

図７は、第２実施形態に係るフラッシュ画像成分取得部４０の機能構成を示すブロック図である。本実施形態のフラッシュ画像成分取得部４０は、第１の画像データ抽出部４７及び第１の抽出データ調整部４９を有する。第１の画像データ抽出部４７は、フラッシュ発光画像データＤ１とフラッシュ非発光画像データＤ２との差分を表す第１の差分データを取得する。第１の抽出データ調整部４９は、その第１の差分データにフラッシュ光用ホワイトバランスゲインを適用することでフラッシュ画像成分データＤ３を取得する。

図８は、フラッシュ画像成分取得部４０の第１の画像データ抽出部４７の構成例を示すブロック図である。本実施形態の第１の画像データ抽出部４７は減算器４８を有する。減算器４８は、フラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２が入力され、「第１の差分データ（第１のＲＧＢフラッシュ影響度マップ）Ｄ６＝フラッシュ発光画像データＤ１−フラッシュ非発光画像データＤ２」で表される第１の差分データＤ６を算出する。減算器４８で算出された第１の差分データＤ６は、第１の画像データ抽出部４７から第１の抽出データ調整部４９に送られる。

図９は、フラッシュ画像成分取得部４０の第１の抽出データ調整部４９の構成例を示すブロック図である。本実施形態の第１の抽出データ調整部４９は、第１のホワイトバランス調整部５０及びフラッシュ光用ＷＢゲイン記憶部５１を有する。第１のホワイトバランス調整部５０は、フラッシュ光用ＷＢゲイン記憶部５１に保存されているフラッシュ光用ホワイトバランスゲインＷＢ１を読み出し、第１の差分データＤ６にフラッシュ光用ホワイトバランスゲインＷＢ１を適用することで、フラッシュ画像成分データ（第２のＲＧＢフラッシュ影響度マップ）Ｄ３を取得する。

このように第１の画像データ抽出部４７及び第１の抽出データ調整部４９を経て取得されるフラッシュ画像成分データＤ３は、フラッシュ光の分光特性に応じたホワイトバランスの補正が施された「フラッシュ光の影響を示す画像データ」となる。したがって、本実施形態のフラッシュ画像成分取得部４０は、グレーバランスが調整されたフラッシュ画像成分データＤ３を出力する。

なお、フラッシュ光用ホワイトバランスゲインＷＢ１を取得してフラッシュ光用ＷＢゲイン記憶部５１に記憶する手法は特に限定されない。例えばフラッシュ発光部５（図１及び図３参照）がデジタルカメラ２（カメラ本体３）に内蔵されているタイプのフラッシュ装置である場合、フラッシュ光の分光特性は既知であるため、デジタルカメラ２（カメラ本体３）の製造時等において、フラッシュ光用ホワイトバランスゲインＷＢ１を予め取得してフラッシュ光用ＷＢゲイン記憶部５１に記憶しておくことができる。またフラッシュ発光部５が外付けタイプのフラッシュ装置である場合、ユーザが例えばグレーカードをフラッシュ光の発光下で撮影し、その撮影画像データから適正なフラッシュ光用ホワイトバランスゲインＷＢ１を予め取得し、そのフラッシュ光用ホワイトバランスゲインＷＢ１をフラッシュ光用ＷＢゲイン記憶部５１に記憶しておくことができる。

なお第１の画像データ抽出部４７（フラッシュ画像成分取得部４０）は、フラッシュ非発光画像データＤ２ではなくフラッシュ発光画像データを使用して、フラッシュ画像成分データＤ３を取得してもよい。すなわちフラッシュ画像成分取得部４０は、第１の発光量のフラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データ（フラッシュ発光画像データＤ１）と、第１の発光量とは異なる第２の発光量のフラッシュ光の発光下で被写体を撮影することにより取得された第２の画像データ（フラッシュ発光画像データ）との差分を表す第１の差分データから、フラッシュ画像成分データＤ３を取得してもよい。

次に、フラッシュ補正データ取得部４２（図５参照）におけるフラッシュ画像成分データＤ３の処理単位（処理ブロック）について説明する。

図１０は、撮像素子２１を構成する複数の画素１４の平面構造を示す概念図である。撮像素子２１は、複数の画素１４が２次元的に並べられて構成され、各画素１４はカラーフィルタ及びイメージセンサを有する。撮像素子２１によって撮影取得される画像データは、これらの画素１４（イメージセンサ）の各々から出力される画素データ（画素値）の集合によって構成される。したがって、上述のフラッシュ発光画像データＤ１、フラッシュ非発光画像データＤ２、第１の差分データＤ６及びフラッシュ画像成分データＤ３の各々も、画素データの集合によって構成される。

本実施形態のフラッシュ補正データ取得部４２は、フラッシュ画像成分データＤ３を複数の処理ブロックに区分して処理を行うが、これらの複数の処理ブロックの各々は、単一の画素によって構成されてもよいし、複数の画素によって構成されてもよい。各処理ブロックの構成画素を単一画素とする場合、フラッシュ補正データ取得部４２等における下記の処理は画素毎に行われる。一方、各処理ブロックの構成画素を複数画素とする場合、フラッシュ補正データ取得部４２等における下記の処理はその「処理ブロックを構成する複数画素」毎に行われる。

なお複数の処理ブロックの各々を複数の画素によって構成する場合、複数の処理ブロックの各々を構成する複数の画素は、撮像素子２１のカラーフィルタ１６の基本配列を構成する画素１４に対応することが好ましい。すなわち、フラッシュ発光画像データ（第１の画像データ）Ｄ１の撮影に使用された撮像素子２１はＲＧＢ等の複数色のカラーフィルタを含む単板式の撮像素子であり、これらの複数色のカラーフィルタが、特定の色パターンの基本配列が繰り返し配置されることで構成される場合には、このカラーフィルタの基本配列に対応するように各処理ブロックが定められることが好ましい。

図１１は、カラーフィルタ１６の基本配列例を示す平面図であり、（ａ）はベイヤー配列の基本配列パターンを示し、（ｂ）はＸ−Ｔｒａｎｓ（登録商標）タイプの基本配列パターンを示す。なお図１１（ａ）において「Ｒ」はＲ（赤）のカラーフィルタ１６を示し、「Ｂ」はＢ（青）のカラーフィルタ１６を示し、「Ｇ１」及び「Ｇ２」はＧ（緑）のカラーフィルタ１６を示す。また図１１（ｂ）において「Ｒ１」〜「Ｒ８」はＲ（赤）のカラーフィルタ１６を示し、「Ｂ１」〜「Ｂ８」はＢ（青）のカラーフィルタ１６を示し、「Ｇ１」〜「Ｇ２０」はＧ（緑）のカラーフィルタ１６を示す。

例えば撮像素子２１がベイヤー配列のカラーフィルタ１６を有する場合には、図１１（ａ）に示すような２画素×２画素（計４画素）によって各処理ブロックを構成することが好ましい。一方、撮像素子２１がＸ−Ｔｒａｎｓタイプのカラーフィルタ１６を有する場合には、図１１（ｂ）に示すような６画素×６画素（計３６画素）によって各処理ブロックを構成することが好ましい。

なお、フラッシュ補正データ取得部４２等の処理における各処理ブロックを構成する画素の単位と、後述のホワイトバランス処理部４６におけるホワイトバランス処理における各処理ブロックを構成する画素の単位とを、同じに設定してもよい。すなわちホワイトバランス処理における各処理ブロックが単一画素によって構成される場合には、フラッシュ補正データ取得部４２等の処理における各処理ブロックも単一画素によって構成することができる。またホワイトバランス処理における各処理ブロックがカラーフィルタ１６の基本配列を構成する複数画素によって構成される場合には、フラッシュ補正データ取得部４２等における各処理ブロックもカラーフィルタ１６の基本配列を構成する複数画素によって構成することができる。

以下の説明では、各処理ブロックが単一の画素によって構成される例について説明するが、各処理ブロックが複数の画素によって構成される場合にも基本的には同様の処理が行われる。したがって各処理ブロックが複数の画素によって構成される場合の処理については、「画素」を「複数の画素によって構成される領域」と呼ぶのがふさわしいケースもあるが、下記の説明では便宜上「画素」と呼ぶ。

次に、フラッシュ補正データ取得部４２の具体的構成の一態様について説明する。

本実施形態のフラッシュ補正データ取得部４２は、被写体の分光特性（分光反射率）に基づく色に依存する影響を低減するために、処理ブロック毎に取得したフラッシュ画像成分データの色比データ（ＲＧＢ比等）から明度指標データ（輝度データ）を取得し、この明度指標データから色間の明度（輝度）の相違を補償するためのフラッシュ補正データ（補正ゲイン）を取得する。

図１２は、第２実施形態に係るフラッシュ補正データ取得部４２の機能構成を示すブロック図である。

本実施形態のフラッシュ補正データ取得部４２は、第１の色比データ取得部５３及び第１の補正データ算出部５４を有する。第１の色比データ取得部５３は、フラッシュ画像成分データＤ３から、複数の処理ブロックの各々におけるフラッシュ画像成分データＤ３の色成分比を表す色比データＤ７を取得する。第１の補正データ算出部５４は、フラッシュ画像成分データＤ３の色比データＤ７に基づいて、被写体の色に応じてもたらされるフラッシュ画像成分データＤ３の複数の処理ブロック間における明度の相違を反映したフラッシュ補正データＤ４を取得する。

図１３は、第１の色比データ取得部５３の機能構成を示すブロック図である。本例の第１の色比データ取得部５３は、第１のデモザイク処理部５６及び第１の色比算出部５７を有する。

第１のデモザイク処理部５６は、フラッシュ画像成分データＤ３のデモザイク処理（同時化処理）を行う。このデモザイク処理によって、フラッシュ画像成分データＤ３を構成する各画素に対し、撮像素子２１のカラーフィルタ１６を構成する色（ＲＧＢ等）の各々に関する画素データが割り当てられた色成分データＤ８が取得される。

第１の色比算出部５７は、この色成分データＤ８に基づいて、複数の処理ブロックの各々におけるフラッシュ画像成分データＤ３の色比データＤ７を取得する。この色比データＤ７は、フラッシュ画像成分データＤ３を構成する色成分データＤ８の色成分比率（ＲＧＢ比等）を示し、処理ブロック毎に算出される。複数色（ＲＧＢ等）のカラーフィルタ１６を含む撮像素子２１によって取得されるフラッシュ発光画像データ（第１の画像データ）Ｄ１から導き出されるフラッシュ画像成分データＤ３は、カラーフィルタ１６を構成する複数色（ＲＧＢ等）の各々に関する色成分データＤ８を含む。第１の色比データ取得部５３（フラッシュ補正データ取得部４２）の第１の色比算出部５７は、この色成分データＤ８に基づいて、複数の処理ブロックの各々におけるフラッシュ画像成分データＤ３の色比データＤ７を取得する。

なおフラッシュ画像成分データＤ３の色比データＤ７は、複数の処理ブロックの各々におけるフラッシュ画像成分データＤ３の複数色の色成分データＤ８の合計に対する、その複数色の各々に関するフラッシュ画像成分データＤ３の色成分データＤ８の比に基づいている。例えばフラッシュ画像成分データＤ３がＲＧＢの色成分データＤ８によって構成され、各処理ブロックが単一画素によって構成され、第１のデモザイク処理部５６におけるデモザイク処理によってフラッシュ画像成分データＤ３の各画素がＲＧＢの各々の色成分データＤ８を持つ場合について考察する。この場合、フラッシュ画像成分データＤ３の「ある画素」におけるＲＧＢの色成分データＤ８の値の比が例えば「Ｒ：Ｇ：Ｂ＝１：２：３」であるケースでは、この画素に関する色比データＤ７は、「Ｒ：Ｇ：Ｂ＝１／（１＋２＋３）：２／（１＋２＋３）：３／（１＋２＋３）」であり、これが直接的又は間接的に示すデータとなる。

なお上述の例では、第１のデモザイク処理部５６によってフラッシュ画像成分データＤ３のデモザイク処理が行われるが、フラッシュ画像成分取得部４０が「デモザイク処理されたフラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２」を取得する構成としてもよい。すなわちフラッシュ画像成分取得部４０に入力される前の段階でフラッシュ発光画像データＤ１とフラッシュ非発光画像データＤ２とがデモザイク処理されていてもよい。また上述の例では、第１のデモザイク処理部５６によってフラッシュ画像成分データＤ３のデモザイク処理が行われるが、処理ブロックが複数画素によって構成される場合には第１のデモザイク処理部５６（デモザイク処理）が省略されてもよい。第１のデモザイク処理部５６が省略される場合には、各処理ブロックに含まれる複数の画素に関する色成分データＤ８から各処理ブロックにおける色比データＤ７が取得可能である。

例えば各処理ブロックがベイヤー配列の基本配列パターンに対応する２画素×２画素によって構成される場合、図１１（ａ）の「Ｒ」で表される画素のデータ（画素データ）を各処理ブロックのＲの色成分データＤ８として扱い、図１１（ａ）の「Ｂ」で表される画素のデータを各処理ブロックのＢの色成分データＤ８として扱い、図１１（ａ）の「Ｇ１」及び「Ｇ２」で表される２画素のデータから各処理ブロックのＧの色成分データＤ８を取得してもよい。また処理ブロックがＸ−Ｔｒａｎｓタイプの基本配列パターンに対応する６画素×６画素によって構成される場合、図１１（ｂ）の「Ｒ１」〜「Ｒ８」で表される８画素のデータから各処理ブロックのＲの色成分データＤ８を取得し、図１１（ｂ）の「Ｂ１」〜「Ｂ８」で表される８画素のデータから各処理ブロックのＢの色成分データＤ８を取得し、図１１（ｂ）の「Ｇ１」〜「Ｇ２０」で表される２０画素のデータから各処理ブロックのＧの色成分データＤ８を取得してもよい。複数の画素のデータから各処理ブロックにおける単色の色成分データＤ８を求める手法は特に限定されず、例えば、その単色に関する複数の画素のデータの「平均値」を単色の色成分データＤ８として設定してもよい。したがって図１１（ａ）に示す例では、「Ｇ１」及び「Ｇ２」で表される２画素のデータの平均値を、各処理ブロックのＧの色成分データＤ８に設定してもよい。同様に図１１（ｂ）に示す例では、「Ｒ１」〜「Ｒ８」で表される８画素のデータの平均値を各処理ブロックのＲの色成分データＤ８に設定し、「Ｂ１」〜「Ｂ８」で表される８画素のデータの平均値を各処理ブロックのＢの色成分データＤ８に設定し、「Ｇ１」〜「Ｇ２０」で表される２０画素のデータの平均値を各処理ブロックのＧの色成分データＤ８に設定してもよい。

図１４は、第１の補正データ算出部５４の機能構成を示すブロック図である。本例の第１の補正データ算出部５４は、第１の明度指標データ取得部５９及び第１の補正データ演算処理部６０を有する。

第１の明度指標データ取得部５９は、色比データＤ７から明度指標データＤ９を取得する。すなわち第１の明度指標データ取得部５９（フラッシュ補正データ取得部４２）は、「被写体の色に応じたフラッシュ画像成分データＤ３の明度を示す明度指標データＤ９をフラッシュ画像成分データＤ３の色比データＤ７から導き出す演算処理」に基づいて、複数の処理ブロックの各々におけるフラッシュ画像成分データＤ３の色比データＤ７から、複数の処理ブロックの各々におけるフラッシュ画像成分データＤ３の明度指標データＤ９を取得する。

第１の補正データ演算処理部６０は、明度指標データＤ９からフラッシュ補正データＤ４を取得する。特に本実施形態の第１の補正データ演算処理部６０（フラッシュ補正データ取得部４２）は、無彩色の色比データを基準に、複数の処理ブロックの各々に関するフラッシュ補正データＤ４を取得する。すなわち第１の補正データ演算処理部６０（フラッシュ補正データ取得部４２）は、複数の処理ブロックの各々における複数色の色成分データの合計に対する複数色の各々に関する色成分データの比が相互に等しい無彩色の色比データから、無彩色に関する明度指標データを演算処理に基づいて取得する。そして第１の補正データ演算処理部６０（フラッシュ補正データ取得部４２）は、無彩色に関する明度指標データに対する複数の処理ブロックの各々におけるフラッシュ画像成分データＤ３の明度指標データＤ９の比に基づいて、フラッシュ画像成分データＤ３の複数の処理ブロックの各々に関するフラッシュ補正データＤ４を取得する。

ここで明度指標データＤ９を取得するために使用される上記の「演算処理」は、明度を直接的又は間接的に示す明度指標データＤ９を導出する処理であれば特に限定されず、例えば「輝度値」の算出に使用される演算処理が用いられてもよい。したがって、「輝度値（Ｙ）」の算出に用いられる例えば「Ｙ＝０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ」で表される式に基づいて、明度指標データＤ９が算出されてもよい。この式を用いて演算処理を行うと、例えばフラッシュ画像成分データＤ３の「ある処理ブロック」における色比データＤ７が「Ｒ：Ｇ：Ｂ＝１／（１＋２＋３）：２／（１＋２＋３）：３／（１＋２＋３）（＝１：２：３）」を示すデータの場合、その処理ブロックの明度指標データＤ９を例えば「Ｄ９＝０．３＊１／（１＋２＋３）＋０．６＊２／（１＋２＋３）＋０．１＊３／（１＋２＋３）＝０．３／６＋１．２／６＋０．３／６＝１．８／６＝０．９／３」に設定することができる。この場合、無彩色の色比データは、ＲＧＢの各々に関する色成分データが相互に等しいことから、常に「Ｒ：Ｇ：Ｂ＝１／３：１／３：１／３（＝１：１：１）」を示すデータとなる。したがって上記の式を用いて求められる無彩色の明度指標データＤ９は「Ｄ９＝０．３＊１／３＋０．６＊１／３＋０．１＊１／３＝０．３／３＋０．６／３＋０．１／３＝１．０／３」となる。この場合、第１の補正データ演算処理部６０で求められるフラッシュ補正データＤ４は、無彩色の明度指標データＤ９（＝１．０／３）に対するその処理ブロックにおけるフラッシュ画像成分データＤ３の明度指標データＤ９（＝０．９／３）の比（＝（０．９／３）／（１．０／３））に基づいて取得され、例えばその比の逆数（＝１．０／０．９）をフラッシュ補正データＤ４としうる。なお、明度指標データＤ９として、ＣＩＥ ＸＹＺ表色系（色空間）でのＹ（輝度）やＣＩＥ Ｌ＊ａ＊ｂ＊表色系（色空間）でのＬ＊（明度）を使うこともできる。

フラッシュ明度補正部４４（図５参照）は、上述のようにして取得される「フラッシュ画像成分取得部４０（第１の抽出データ調整部４９）から出力されるフラッシュ画像成分データＤ３」と「フラッシュ補正データ取得部４２（第１の補正データ演算処理部６０）から出力されるフラッシュ補正データＤ４」とに基づいて、フラッシュ画像補正成分データＤ５を取得する。なお、フラッシュ画像補正成分データＤ５の具体的な取得手法の詳細については、後述の第３実施形態において説明する。

図１５は、第２実施形態に係るホワイトバランス処理のフローチャートである。

上述のように、本実施形態のホワイトバランス処理は第１実施形態のホワイトバランス処理の一態様である。したがって、図１５に示すステップＳ２１は第１実施形態に係る図６のステップＳ１１に対応し、図１５に示すステップＳ２２及びステップＳ２３は図６のステップＳ１２に対応し、図１５に示すステップＳ２４〜ステップＳ２６は図６のステップＳ１３に対応し、図１５に示すステップＳ２７は図６のステップＳ１４に対応し、図１５に示すステップＳ２８は図６のステップＳ１５に対応する。

すなわち本実施形態では、フラッシュ画像成分取得部４０の第１の画像データ抽出部４７において、フラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２が取得され（図１５のＳ２１）、これらのフラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２に基づいて第１の差分データＤ６が取得される（Ｓ２２）。

そしてフラッシュ画像成分取得部４０の第１の抽出データ調整部４９において、第１の差分データＤ６にフラッシュ光用ホワイトバランスゲインＷＢ１が適用されてフラッシュ画像成分データＤ３が取得される（Ｓ２３）。

そしてフラッシュ補正データ取得部４２の第１の色比データ取得部５３において、第１のデモザイク処理部５６によりフラッシュ画像成分データＤ３から各処理ブロックに関する色成分データＤ８が取得され、第１の色比算出部５７により色成分データＤ８から各処理ブロックに関する色比データＤ７が取得される（Ｓ２４）。

そしてフラッシュ補正データ取得部４２の第１の補正データ算出部５４において、第１の明度指標データ取得部５９により色比データＤ７から各処理ブロックに関する明度指標データＤ９が取得され（Ｓ２５）、第１の補正データ演算処理部６０により明度指標データＤ９から各処理ブロックに関するフラッシュ補正データＤ４が取得される（Ｓ２６）。

そしてフラッシュ明度補正部４４において、フラッシュ画像成分データＤ３及びフラッシュ補正データＤ４からフラッシュ画像補正成分データＤ５が取得され（Ｓ２７）、ホワイトバランス処理部４６において、フラッシュ画像補正成分データＤ５に応じたホワイトバランス処理がフラッシュ発光画像データＤ１に対して行われる（Ｓ２８）。

以上説明したように本実施形態の画像処理装置３１及び画像処理方法によれば、第１実施形態に係る画像処理装置３１と同様に、被写体の色に応じてもたらされるフラッシュ画像成分データの明度（輝度）の相違を補償するためのフラッシュ補正データに基づいて、精度の高いホワイトバランス処理を実現することができる。

＜第３実施形態＞
本実施形態において、上述の第２実施形態と同一又は類似の構成には同一の符号を付し、その詳細な説明を省略する。

本実施形態の画像処理装置３１は、第２実施形態の画像処理装置３１の一態様であり、フラッシュ画像成分データＤ３の明度（輝度）を示すデータに対してフラッシュ補正データＤ４が処理ブロック毎に適用されることでフラッシュ画像補正成分データＤ５が取得される。すなわち本実施形態に係る画像処理装置３１は、図５に示す第１実施形態の画像処理装置３１及び第２実施形態の画像処理装置３１と同様に、フラッシュ画像成分取得部４０、フラッシュ補正データ取得部４２、フラッシュ明度補正部４４及びホワイトバランス処理部４６を備えるが、とりわけフラッシュ明度補正部４４が以下の具体的構成を有する。

図１６は、第３実施形態に係るフラッシュ明度補正部４４の機能構成を示すブロック図である。

本実施形態のフラッシュ明度補正部４４は、第１の明度データ取得部６２及び第１の補正算出部６３を有する。

フラッシュ明度補正部４４の第１の明度データ取得部６２は、フラッシュ画像成分取得部４０から送られるフラッシュ画像成分データＤ３に基づいて、複数の処理ブロックの各々における第１の明度データＤ１０を取得する。本実施形態における第１の明度データＤ１０は輝度を表すデータであり、任意の手法によって第１の明度データ（輝度フラッシュ影響度マップ）Ｄ１０が求められてもよい。すなわち第１の明度データ取得部６２は、フラッシュ画像成分データＤ３の色成分データ（ＲＧＢデータ等）を輝度に変換して第１の明度データＤ１０を取得する。例えば図１４に示す第１の明度指標データ取得部５９（フラッシュ補正データ取得部４２、第１の補正データ算出部５４）において明度指標データＤ９を取得するために使用される「演算処理（例えば「Ｙ＝０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ」）」と同様にして、フラッシュ画像成分データＤ３から第１の明度データＤ１０（輝度値（Ｙ））を算出することができる。

フラッシュ明度補正部４４の第１の補正算出部６３は、複数の処理ブロックの各々に関して第１の明度データＤ１０にフラッシュ補正データＤ４を適用することで、フラッシュ画像補正成分データＤ５を取得する。より具体的には、本実施形態のフラッシュ補正データ取得部４２において取得されるフラッシュ補正データＤ４は、フラッシュ画像成分データＤ３の明度を示す第１の明度データＤ１０に適用されることで、被写体の色に応じてもたらされるフラッシュ画像成分データＤ３（第１の明度データＤ１０）の明度の相違を補償するデータである。フラッシュ補正データ取得部４２は、フラッシュ画像成分データＤ３の複数の処理ブロックの各々に関し、そのようなフラッシュ補正データＤ４を取得する。

例えば、処理ブロック毎に、第１の明度データＤ１０にフラッシュ補正データＤ４を乗算することで、被写体の色に応じてもたらされる明度の相違が補償されたフラッシュ画像補正成分データＤ５が算出されるようにしてもよい。この場合、フラッシュ補正データ取得部４２（第１の補正データ演算処理部６０（図１４参照））は、「無彩色の明度指標データＤ９に対するフラッシュ画像成分データＤ３の明度指標データＤ９の比の逆数」をフラッシュ補正データＤ４として取得することができる。例えば、上述のように無彩色の明度指標データＤ９が「Ｄ９＝１．０／３」で表され、ある処理ブロックにおけるフラッシュ画像成分データＤ３の明度指標データＤ９が「Ｄ９＝０．９／３」で表される場合、「無彩色の明度指標データＤ９に対するフラッシュ画像成分データＤ３の明度指標データＤ９の比」は「（０．９／３）／（１．０／３）＝０．９」によって表されるため、フラッシュ補正データＤ４を「Ｄ４＝１．０／０．９」とすることができる。この場合、フラッシュ画像補正成分データＤ５は、第１の明度データＤ１０に「１．０／０．９」が乗算された値によって表されうる。

このように、フラッシュ画像成分データＤ３の輝度（明度）を示す第１の明度データＤ１０にフラッシュ補正データＤ４を適用することで取得されるフラッシュ画像補正成分データＤ５は、被写体の色に応じてもたらされるフラッシュ画像成分データＤ３（第１の明度データＤ１０）の輝度（明度）の相違が補償されたデータとなる。

図１７は、第３実施形態に係るホワイトバランス処理のフローチャートである。

上述のように、本実施形態のホワイトバランス処理は第２実施形態のホワイトバランス処理の一態様である。例えば図１７に示すステップＳ３１〜Ｓ３６は第２実施形態に係る図１５のステップＳ２１〜Ｓ２６に対応し、図１７に示すステップＳ３７及びステップＳ３８は図１５のステップＳ２７に対応し、図１７に示すステップＳ３９は図１５のステップＳ２８に対応する。

すなわち本実施形態では、図１５のステップＳ２１〜ステップＳ２６と同様にして、フラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２が取得され（図１７のＳ３１）、第１の差分データＤ６が取得され（Ｓ３２）、フラッシュ画像成分データＤ３が取得され（Ｓ３３）、各処理ブロックに関する色比データＤ７が取得され（Ｓ３４）、各処理ブロックに関する明度指標データＤ９が取得され（Ｓ３５）、各処理ブロックに関するフラッシュ補正データＤ４が取得される（Ｓ３６）。

そしてフラッシュ明度補正部４４の第１の明度データ取得部６２において、フラッシュ画像成分取得部４０が取得したフラッシュ画像成分データＤ３から、各処理ブロックに関する第１の明度データＤ１０が取得される（Ｓ３７）。そしてフラッシュ明度補正部４４の第１の補正算出部６３において、第１の明度データＤ１０及びフラッシュ補正データＤ４から、フラッシュ画像補正成分データＤ５が取得される（Ｓ３８）。

そしてホワイトバランス処理部４６において、フラッシュ画像補正成分データＤ５に応じたホワイトバランス処理がフラッシュ発光画像データＤ１に対して行われる（Ｓ３９）。例えば「フラッシュ画像補正成分データＤ５が最大の階調値（最大画像データ値）に対して５０％以上の値を示す領域」がフラッシュ領域と判定されてもよく、ホワイトバランス処理部４６は、フラッシュ発光画像データＤ１におけるそのようなフラッシュ領域に対してフラッシュ光用ホワイトバランスゲインＷＢ１を適用してホワイトバランス処理を行ってもよい。

以上説明したように本実施形態の画像処理装置３１及び画像処理方法によれば、被写体の色に応じてもたらされるフラッシュ画像成分データの明度（輝度）の相違を補償するためのフラッシュ補正データに基づいてフラッシュ画像補正成分データＤ５が取得される。このフラッシュ画像補正成分データＤ５を使うことで、精度の高いホワイトバランス処理を実現することができる。

＜第４実施形態＞
本実施形態において、上述の第３実施形態と同一又は類似の構成には同一の符号を付し、その詳細な説明を省略する。

上述の第１実施形態〜第３実施形態は主としてフラッシュ光のホワイトバランス調整に関するものであるが、本実施形態はフラッシュ光に加えて環境光のホワイトバランス調整に関するものである。すなわち本実施形態の画像処理装置３１は、フラッシュ発光画像データＤ１におけるフラッシュ光に関する色別の補正処理だけではなく、環境光に関する色別の補正処理を行う。

一般に、画像データの撮影光源が不明な場合、画像にグレー（無彩色）の被写体が含まれていなかったり、画像中に含まれる無彩色の被写体の領域（位置）が不明であったりすると、適切なホワイトバランスゲインを取得することが難しい。

しかしながら、例えば上述の第２実施形態及び第３実施形態の画像処理装置３１における画像処理によれば、撮影時に使用されたフラッシュ光の影響をキャンセルするホワイトバランス処理が施されたフラッシュ画像成分データＤ３（図９参照）を取得することができる。このフラッシュ画像成分データＤ３は、フラッシュ光が照射された被写体の本来の色成分比を示すデータである。そのためフラッシュ画像成分データＤ３を基準（目標）として使用することで、フラッシュ光の影響を受けた画像領域に関しては、本来の被写体の色が無彩色か否かにかかわらず、環境光に関する適切なホワイトバランスゲインを取得することが可能である。

環境光用ホワイトバランスゲインを取得することができれば、上述の第２実施形態及び第３実施形態の画像処理装置３１における処理と同様の処理によって、被写体の色に応じてもたらされる明度の相違が補償された「環境光の影響を示すデータ（後述の環境光画像補正成分データ）」を取得することも可能になる。このような環境光の影響を示すデータ（環境光画像補正成分データ）を、上述の第２実施形態〜第３実施形態において取得されるフラッシュ画像補正成分データＤ５と組み合わせて使用することで、フラッシュ発光画像データＤ１の各処理ブロックに関して環境光とフラッシュ光との影響の比率を求めることができる。この「フラッシュ発光画像データＤ１の処理ブロック毎の環境光とフラッシュ光との影響の比率」を使ってフラッシュ光用のホワイトバランス処理及び／又は環境光用のホワイトバランス処理を行うことで、高精度なホワイトバランス処理を行うことができる。

以下、第４実施形態に係る具体的な機能構成例について説明する。

図１８は、第４実施形態に係る画像処理装置３１の機能構成を示すブロック図である。本実施形態の画像処理装置３１は、上述のフラッシュ画像成分取得部４０、フラッシュ補正データ取得部４２、フラッシュ明度補正部４４及びホワイトバランス処理部４６に加え、環境光画像成分取得部６６、環境光補正データ取得部６８及び環境光明度補正部７０を備える。

フラッシュ画像成分取得部４０、フラッシュ補正データ取得部４２及びフラッシュ明度補正部４４は、上述の第３実施形態と同様の機能構成を有する。

環境光画像成分取得部６６は、フラッシュ光の非発光下で被写体を撮影することにより取得された第２の画像データ（フラッシュ非発光画像データＤ２）を基礎データとして、環境光による被写体の画像成分を示す環境光画像成分データＤ１１を取得する。ここで基礎データとは、環境光画像成分データＤ１１を取得する場合に基となるデータであり、環境光による被写体の画像成分を示す環境光画像成分データＤ１１が導出可能であれば特に限定されない。例えば環境光画像成分取得部６６は、「第２の画像データ（フラッシュ非発光画像データＤ２）」自体を基礎データとして用いてもよく、また「第１の画像データ（フラッシュ発光画像データＤ１）」と、「この第１の画像データと第２の画像データ（フラッシュ非発光画像データＤ２）との差分を表す第１の差分データ」と、の差分を表す第２の差分データを基礎データとして用いてもよく、このような基礎データ（例えば「第２の画像データ」又は「第２の差分データ」）に基づいて環境光画像成分データＤ１１を導出することができる。

図１９は、第４実施形態に係る環境光画像成分取得部６６の機能構成を示すブロック図である。本実施形態の環境光画像成分取得部６６は、第２の画像データ抽出部７２及び第２の抽出データ調整部７３を有する。

本例の第２の画像データ抽出部７２は、環境光による被写体の画像成分を示す環境光画像成分データの基礎データＤ１４を取得する処理部である。具体的には、例えばフラッシュ光を発光させずに撮影することで取得された「環境光の影響のみを受けたフラッシュ非発光画像データＤ２」を「環境光画像成分データの基礎データＤ１４」として使用可能であるが、環境光画像成分データの基礎データＤ１４の取得手法はこれに限定されない。

例えば環境光画像成分取得部６６の第２の画像データ抽出部７２は、「フラッシュ発光画像データ（第１の画像データ）Ｄ１」と、「フラッシュ発光画像データＤ１とフラッシュ光の非発光下で被写体を撮影することにより取得されたフラッシュ非発光画像データＤ２（第２の画像データ）との差分を表す第１の差分データＤ６」と、の差分を表す第２の差分データを「環境光画像成分データの基礎データＤ１４」として使用可能である。図２０は、環境光画像成分取得部６６の第２の画像データ抽出部７２の構成例を示すブロック図である。本例の第２の画像データ抽出部７２は、第１の減算器７４及び第２の減算器７５を有する。第１の減算器７４は、フラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２が入力され、「第１の差分データＤ６＝フラッシュ発光画像データＤ１−フラッシュ非発光画像データＤ２」で表される第１の差分データＤ６を算出する。第２の減算器７５は、フラッシュ発光画像データＤ１及び第１の差分データＤ６が入力され、「基礎データ（第１のＲＧＢ背景影響度マップ）Ｄ１４＝第２の差分データ＝フラッシュ発光画像データＤ１−第１の差分データＤ６」で表される基礎データＤ１４を算出する。第２の減算器７５で算出された基礎データＤ１４は、第２の画像データ抽出部７２から第２の抽出データ調整部７３に送られる。

図２１は、環境光画像成分取得部６６の第２の抽出データ調整部７３の構成例を示すブロック図である。本実施形態の第２の抽出データ調整部７３は、基礎データ色比取得部７６、ホワイトバランスゲイン取得部７７及び第２のホワイトバランス調整部７８を有する。

基礎データ色比取得部７６（環境光画像成分取得部６６）は、複数の処理ブロックの各々における基礎データＤ１４の色成分比を表す色比データＤ１５を取得する。

ホワイトバランスゲイン取得部７７（環境光画像成分取得部６６）は、複数の処理ブロックの各々におけるフラッシュ画像成分データＤ３の色比データＤ７と基礎データＤ１４の色比データＤ１５とに基づいて、環境光用ホワイトバランスゲインＷＢ２を取得する。図２１に示す例では、ホワイトバランスゲイン取得部７７は、フラッシュ画像成分取得部４０からフラッシュ画像成分データＤ３を取得し、上述の第１の色比データ取得部５３（図１２参照）と同様の処理を行うことで、複数の処理ブロックの各々におけるフラッシュ画像成分データＤ３の色比データＤ７を取得する。ただしホワイトバランスゲイン取得部７７は、フラッシュ補正データ取得部４２の第１の色比データ取得部５３から、フラッシュ画像成分データＤ３の色比データＤ７を取得してもよい。

フラッシュ画像成分データＤ３は、フラッシュ光用ホワイトバランスゲインＷＢ１が適用されて被写体の本来の色調が再現されたデータであり、その「被写体の本来の色調」は、被写体にフラッシュ光が照射されて撮影される場合も、被写体に環境光のみが照射されて撮影される場合も変わらず同じである。したがって、ホワイトバランスゲイン取得部７７は、同じ処理ブロックに関しては、基礎データＤ１４の色比データＤ１５に環境光用ホワイトバランスゲインＷＢ２を適用して得られるデータが、フラッシュ画像成分データＤ３の色比データＤ７と等しくなるように、環境光用ホワイトバランスゲインＷＢ２を取得する。

なお、フラッシュ画像成分データＤ３を構成する複数の処理ブロックのうち「フラッシュ光の影響を受けておらず環境光のみの影響を受けている処理ブロック」のデータは、「被写体の本来の色調」が再現されたデータではない。そのため、ホワイトバランスゲイン取得部７７は、環境光用ホワイトバランスゲインＷＢ２を取得する際には、フラッシュ画像成分データＤ３の色比データＤ７のうち「環境光のみの影響を受けている処理ブロック」のデータは使わず、「フラッシュ光の影響を受けている処理ブロック」のデータを使って環境光用ホワイトバランスゲインＷＢ２を取得する。

このように「被写体の本来の色調」を表すフラッシュ画像成分データＤ３の色比データＤ７を目標データに設定して取得される環境光用ホワイトバランスゲインＷＢ２は、複数の処理ブロックの各々における基礎データＤ１４の色比データＤ１５に適用されると、複数の処理ブロックの各々における環境光画像成分データＤ１１の色比データが導き出される。そのため第２のホワイトバランス調整部７８（環境光画像成分取得部６６）は、基礎データＤ１４に環境光用ホワイトバランスゲインＷＢ２を適用することで環境光画像成分データ（第２のＲＧＢ背景影響度マップ）Ｄ１１を取得する。

なお、被写体によっては環境光画像成分データＤ１１が多少ばらつくことがあるため、複数の処理ブロックに関して取得された環境光用ホワイトバランスゲインＷＢ２の合計の平均値を、各処理ブロックに関する基礎データＤ１４に適用する環境光用ホワイトバランスゲインＷＢ２として用いてもよい。ただし、環境光が単一光源によっては構成されずに複数の光源がミックスされて構成されている場合や、被写体に動体が含まれている場合のように、処理ブロック毎（画素毎）に導き出される環境光用ホワイトバランスゲインＷＢ２を、対応の処理ブロックの基礎データＤ１４に対して適用した方が画質を向上させることができる場合もある。したがって、基礎データＤ１４の処理ブロックの全てに対して、一律に、同一の環境光用ホワイトバランスゲインＷＢ２を適用する必要はない。

このようにして求められる環境光画像成分データＤ１１は、フラッシュ光の影響を受けていない「環境光の影響を示す撮影画像データ」である。

なお環境光画像成分取得部６６（第２の画像データ抽出部７２）は、フラッシュ非発光画像データＤ２ではなくフラッシュ発光画像データを使用して第１の差分データＤ６及び基礎データＤ１４を取得してもよい。すなわち環境光画像成分取得部６６は、「第１の発光量のフラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データ（フラッシュ発光画像データＤ１）」と、「この第１の画像データと、第１の発光量とは異なる第２の発光量のフラッシュ光の発光下で被写体を撮影することにより取得された第２の画像データ（フラッシュ発光画像データ）と、の差分を表す第１の差分データＤ６」とに基づいて基礎データＤ１４を導きだし、この基礎データＤ１４に基づいて環境光画像成分データＤ１１を取得してもよい。

図２２は、環境光補正データ取得部６８の機能構成を示すブロック図である。

環境光補正データ取得部６８は、第２の色比データ取得部８０及び第２の補正データ算出部８１を有し、環境光画像成分データＤ１１に基づき、被写体の色に応じてもたらされる環境光画像成分データＤ１１の明度の相違を反映した環境光補正データ（色別環境光影響度マップ）Ｄ１２を取得する。すなわち第２の色比データ取得部８０は、環境光画像成分データＤ１１から、複数の処理ブロックの各々における環境光画像成分データＤ１１の色成分比を表す色比データＤ１６を取得する。第２の補正データ算出部８１は、環境光画像成分データＤ１１の色比データＤ１６に基づいて、被写体の色に応じてもたらされる環境光画像成分データＤ１１の複数の処理ブロック間における明度の相違を反映した環境光補正データＤ１２を取得する。

本実施形態の環境光補正データ取得部６８は、被写体の分光特性（分光反射率）に基づく色に依存する影響を低減するために、処理ブロック毎に取得した環境光画像成分データＤ１１の色比データ（ＲＧＢ比等）から明度指標データ（輝度データ）を取得し、この明度指標データから色間の明度（輝度）の相違を補償するための環境光補正データＤ１２（補正ゲイン）を取得する。

図２３は、第２の色比データ取得部８０の機能構成を示すブロック図である。

本例の第２の色比データ取得部８０は、第２のデモザイク処理部８２及び第２の色比算出部８３を有する。

第２のデモザイク処理部８２は、環境光画像成分データＤ１１のデモザイク処理を行う。このデモザイク処理によって、環境光画像成分データＤ１１を構成する各画素に対し、撮像素子２１のカラーフィルタ１６を構成する色（ＲＧＢ等）の各々に関する画素データが割り当てられた色成分データＤ１７が取得される。第２の色比算出部８３は、色成分データＤ１７に基づいて、複数の処理ブロックの各々における環境光画像成分データＤ１１の色比データＤ１６を取得する。この色比データＤ１６は、環境光画像成分データＤ１１を構成する色成分データＤ１７の比率（ＲＧＢ比等）を示し、処理ブロック毎に算出される。

環境光画像成分データＤ１１は、撮像素子２１のカラーフィルタ１６を構成する複数色（ＲＧＢ等）の各々に関する色成分データを含む。第２の色比データ取得部８０（環境光補正データ取得部６８）は、この色成分データに基づいて、複数の処理ブロックの各々における環境光画像成分データＤ１１の色比データＤ１６を取得する。

なお環境光画像成分データＤ１１の色比データＤ１６は、複数の処理ブロックの各々における環境光画像成分データＤ１１の複数色の色成分データＤ１７の合計に対する、その複数色の各々に関する環境光画像成分データＤ１１の色成分データＤ１７の比に基づいている。

上述の例では、第２のデモザイク処理部８２によって環境光画像成分データＤ１１のデモザイク処理が行われるが、処理ブロックが複数画素によって構成される場合には第２のデモザイク処理部８２（デモザイク処理）が省略されてもよい。第２のデモザイク処理部８２が省略される場合には、各処理ブロックに含まれる複数の画素に関する色成分データＤ１７から各処理ブロックにおける色比データＤ１６が取得可能である。このように複数の画素のデータから各処理ブロックにおける単色の色成分データＤ１７を求める手法は特に限定されず、例えばその単色に関する複数の画素のデータの「平均値」を単色の色成分データＤ１７として設定してもよい。

図２４は、第２の補正データ算出部８１の機能構成を示すブロック図である。本例の第２の補正データ算出部８１は、第２の明度指標データ取得部８４及び第２の補正データ演算処理部８５を有する。

第２の明度指標データ取得部８４は、色比データＤ１６から明度指標データＤ１８を取得する。すなわち第２の明度指標データ取得部８４（環境光補正データ取得部６８）は、「被写体の色に応じた環境光画像成分データＤ１１の明度を示す明度指標データＤ１８を環境光画像成分データＤ１１の色比データＤ１６から導き出す演算処理」に基づいて、複数の処理ブロックの各々における環境光画像成分データＤ１１の色比データＤ１６から、複数の処理ブロックの各々における環境光画像成分データＤ１１の明度指標データＤ１８を取得する。

第２の補正データ演算処理部８５は、明度指標データＤ１８から環境光補正データＤ１２を取得する。特に本実施形態の第２の補正データ演算処理部８５（環境光補正データ取得部６８）は、無彩色の色比データを基準に、複数の処理ブロックの各々に関する環境光補正データＤ１２を取得する。すなわち第２の補正データ演算処理部８５（環境光補正データ取得部６８）は、複数の処理ブロックの各々における複数色の色成分データの合計に対する複数色の各々に関する色成分データの比が相互に等しい無彩色の色比データから、無彩色に関する明度指標データを演算処理に基づいて取得する。そして第２の補正データ演算処理部８５（環境光補正データ取得部６８）は、無彩色に関する明度指標データに対する複数の処理ブロックの各々における環境光画像成分データＤ１１の明度指標データＤ１８の比に基づいて、環境光画像成分データＤ１１の複数の処理ブロックの各々に関する環境光補正データＤ１２を取得する。

ここで明度指標データＤ１８を取得するために使用される上記の「演算処理」は、明度を直接的又は間接的に示す明度指標データＤ１８を導出する処理であれば特に限定されず、例えば「輝度値」の算出に使用される演算処理が用いられてもよい。したがって、「輝度値（Ｙ）」の算出に用いられる例えば「Ｙ＝０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ」で表される式に基づいて、明度指標データＤ１８が算出されてもよい。この場合、第２の補正データ演算処理部８５で求められる環境光補正データＤ１２は、無彩色の明度指標データＤ１８に対するその処理ブロックにおける環境光画像成分データＤ１１の明度指標データＤ１８の比に基づいて取得される。

図１８に示す環境光明度補正部７０は、上述のようにして取得される「環境光画像成分取得部６６（第２の画像データ抽出部７２）から出力される環境光画像成分データＤ１１」及び「環境光補正データ取得部６８（第２の補正データ演算処理部８５）から出力される環境光補正データＤ１２」に基づき、被写体の色に応じてもたらされる環境光画像成分データＤ１１の明度の相違が補償された環境光画像補正成分データ（合成環境光影響度マップ）Ｄ１３を取得する。

図２５は、環境光明度補正部７０の機能構成を示すブロック図である。

本実施形態の環境光明度補正部７０は、第２の明度データ取得部８６及び第２の補正算出部８７を有する。

環境光明度補正部７０の第２の明度データ取得部８６は、環境光画像成分データＤ１１に基づいて、複数の処理ブロックの各々における第２の明度データ（輝度環境光影響度マップ）Ｄ１９を取得する。本実施形態における第２の明度データＤ１９は輝度を表すデータであり、任意の手法によって第２の明度データＤ１９が求められてもよい。すなわち第２の明度データ取得部８６は、環境光画像成分データＤ１１の色成分データ（ＲＧＢデータ等）を輝度に変換して第２の明度データＤ１９を取得する。例えば第２の明度指標データ取得部８４（環境光補正データ取得部６８、第２の補正データ算出部８１）において明度指標データＤ１８を取得するために使用される「演算処理」と同様にして、環境光画像成分データＤ１１から第２の明度データＤ１９（輝度値（Ｙ））を算出することができる。

環境光明度補正部７０の第２の補正算出部８７は、複数の処理ブロックの各々に関して第２の明度データＤ１９に環境光補正データＤ１２を適用することで、環境光画像補正成分データＤ１３を取得する。より具体的には、本実施形態の環境光補正データ取得部６８において取得される環境光補正データＤ１２は、環境光画像成分データＤ１１の明度を示す第２の明度データＤ１９に適用されることで、被写体の色に応じてもたらされる環境光画像成分データＤ１１の明度の相違が補償されるデータである。環境光補正データ取得部６８は、環境光画像成分データＤ１１の複数の処理ブロックの各々に関してそのような環境光補正データＤ１２を取得する。

したがって例えば、処理ブロック毎に、第２の明度データＤ１９に環境光補正データＤ１２を乗算することで、被写体の色に応じてもたらされる明度の相違が補償された環境光画像補正成分データＤ１３が算出されるようにしてもよい。この場合、環境光補正データ取得部６８（第２の補正データ演算処理部８５（図２４参照））は、「無彩色の明度指標データＤ１８に対する環境光画像成分データＤ１１の明度指標データＤ１８の比の逆数」を環境光補正データＤ１２として取得することができる。

このように、環境光画像成分データＤ１１の輝度（明度）を示す第２の明度データＤ１９に環境光補正データＤ１２を適用することで取得される環境光画像補正成分データＤ１３は、被写体の色に応じてもたらされる環境光画像成分データＤ１１の輝度（明度）の相違が補償されたデータとなる。

そして図１８に示す本実施形態のホワイトバランス処理部４６は、フラッシュ画像補正成分データＤ５及び環境光画像補正成分データＤ１３に基づいて、フラッシュ発光画像データ（第１の画像データ）Ｄ１のホワイトバランスを調整する。すなわちホワイトバランス処理部４６は、フラッシュ画像補正成分データＤ５及び環境光画像補正成分データＤ１３に基づいて、フラッシュ発光画像データ（第１の画像データ）Ｄ１に、フラッシュ光用ホワイトバランスゲインＷＢ１及び環境光用ホワイトバランスゲインＷＢ２を適用する。

図２６は、第４実施形態に係るホワイトバランス処理部４６の機能構成を示すブロック図である。

本例のホワイトバランス処理部４６は、光源比データ取得部８８及びホワイトバランス演算処理部８９を有する。光源比データ取得部８８は、フラッシュ画像補正成分データＤ５及び環境光画像補正成分データＤ１３から、処理ブロック毎に、フラッシュ光と環境光との比を示す光源比データ（総合フラッシュ影響度マップ）Ｄ２０を取得する。

ホワイトバランス演算処理部８９は、光源比データＤ２０に基づいて、処理ブロック毎にフラッシュ光用ホワイトバランスゲインＷＢ１及び環境光用ホワイトバランスゲインＷＢ２の適用比を切り換えて、フラッシュ発光画像データＤ１に対するホワイトバランス処理を行う。

ホワイトバランス演算処理部８９（ホワイトバランス処理部４６）がフラッシュ発光画像データＤ１、フラッシュ光用ホワイトバランスゲインＷＢ１及び環境光用ホワイトバランスゲインＷＢ２を取得する手法は特に限定されない。例えばホワイトバランス演算処理部８９は、フラッシュ画像成分取得部４０又は環境光画像成分取得部６６からフラッシュ発光画像データＤ１を取得してもよい。またホワイトバランス演算処理部８９は、フラッシュ光用ＷＢゲイン記憶部５１（図９参照）からフラッシュ光用ホワイトバランスゲインＷＢ１を取得してもよい。またホワイトバランス演算処理部８９は、ホワイトバランスゲイン取得部７７（図２１参照）から環境光用ホワイトバランスゲインＷＢ２を取得してもよい。

なおホワイトバランス演算処理部８９で行われるホワイトバランス処理演算の具体的手法は特に限定されず、処理ブロック毎に、フラッシュ光用ホワイトバランスゲインＷＢ１及び環境光用ホワイトバランスゲインＷＢ２の両者がフラッシュ発光画像データＤ１に適用されてもよい。例えばフラッシュ発光画像データＤ１の「ある処理ブロック」におけるフラッシュ光と環境光との影響比率が「フラッシュ光：環境光＝２：１」の場合、その処理ブロックにおけるフラッシュ発光画像データＤ１に対するホワイトバランスゲインの適用比を「フラッシュ光用ホワイトバランスゲインＷＢ１：環境光用ホワイトバランスゲインＷＢ２＝２／（２＋１）：１／（２＋１）」としてもよい。或いは、例えばフラッシュ発光画像データＤ１の「ある処理ブロック」において環境光よりもフラッシュ光の影響比率が大きい場合には、その処理ブロックに対してフラッシュ光用ホワイトバランスゲインＷＢ１が適用され、一方、フラッシュ光よりも環境光の影響比率が大きい場合には、その処理ブロックに対して環境光用ホワイトバランスゲインＷＢ２が適用されてもよい。

このように、フラッシュ発光画像データＤ１の各処理ブロックにおけるフラッシュ光の影響量と環境光の影響量との比率に応じて、フラッシュ光を光源とするホワイトバランス処理及び環境光を光源とするホワイトバランス処理を行うことで、フラッシュ発光画像データＤ１のうち「相対的にフラッシュ光の影響が大きい画像部分」及び「相対的に環境光の影響が大きい画像部分」のそれぞれに対し、適切なホワイトバランス処理を行うことができる。

図２７は、第４実施形態に係るホワイトバランス処理のフローチャートである。

まずフラッシュ画像成分取得部４０及び環境光画像成分取得部６６において、フラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２が取得される（図２７のＳ４１）。そしてフラッシュ画像成分取得部４０、フラッシュ補正データ取得部４２及びフラッシュ明度補正部４４において、フラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２に基づきフラッシュ画像補正成分データＤ５が取得される（Ｓ４２）。また環境光画像成分取得部６６、環境光補正データ取得部６８及び環境光明度補正部７０において、フラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２に基づき環境光画像補正成分データＤ１３が取得される（Ｓ４３）。

なおフラッシュ画像補正成分データＤ５を取得するステップＳ４２のプロセスについては、図２８を参照して後述する。また環境光画像補正成分データＤ１３を取得するステップＳ４３のプロセスについては、図２９を参照して後述する。

そしてホワイトバランス処理部４６の光源比データ取得部８８において、フラッシュ画像補正成分データＤ５及び環境光画像補正成分データＤ１３に基づき光源比データＤ２０が取得される（Ｓ４４）。

そしてホワイトバランス処理部４６のホワイトバランス演算処理部８９において、この光源比データＤ２０に応じたホワイトバランス処理が、フラッシュ発光画像データＤ１に対して行われる（Ｓ４５）。例えば、光源比データＤ２０に応じた、フラッシュ光用ホワイトバランスゲインＷＢ１及び環境光用ホワイトバランスゲインＷＢ２がフラッシュ発光画像データＤ１に適用される。

図２８は、第４実施形態においてフラッシュ画像補正成分データＤ５を取得するための処理フロー（図２７のステップＳ４２）の詳細を示すフローチャートである。なお図２８に示すステップＳ５１〜ステップＳ５７は、それぞれ、第３実施形態に係る図１７に示すステップＳ３２〜ステップＳ３８と同様の処理となる。

すなわちフラッシュ画像成分取得部４０の第１の画像データ抽出部４７（図７参照）において、フラッシュ発光画像データＤ１及びフラッシュ非発光画像データＤ２から第１の差分データＤ６が取得され（図２８のＳ５１）、第１の抽出データ調整部４９においてフラッシュ画像成分データＤ３が取得される（Ｓ５２）。

そしてフラッシュ補正データ取得部４２の第１の色比データ取得部５３（図１２参照）において、フラッシュ画像成分データＤ３から各処理ブロックに関する色比データＤ７が取得される（Ｓ５３）。そして、第１の補正データ算出部５４の第１の明度指標データ取得部５９（図１４参照）において、この色比データＤ７から各処理ブロックに関する明度指標データＤ９が取得され（Ｓ５４）、第１の補正データ演算処理部６０において明度指標データＤ９から各処理ブロックに関するフラッシュ補正データ（色別フラッシュ影響度マップ）Ｄ４が取得される（Ｓ５５）。

そしてフラッシュ明度補正部４４の第１の明度データ取得部６２（図１６参照）において、フラッシュ画像成分取得部４０において取得されるフラッシュ画像成分データＤ３から各処理ブロックに関する第１の明度データＤ１０が取得される（Ｓ５６）。そしてフラッシュ明度補正部４４の第１の補正算出部６３において、第１の明度データＤ１０及びフラッシュ補正データＤ４からフラッシュ画像補正成分データＤ５が取得される（Ｓ５７）。

図２９は、第４実施形態において環境光画像補正成分データＤ１３を取得するための処理フロー（図２７のステップＳ４３）の詳細を示すフローチャートである。

まず環境光画像成分取得部６６の第２の画像データ抽出部７２（図１９参照）において、フラッシュ非発光画像データＤ２に基づいて基礎データＤ１４が取得される（図２９のＳ６１）。

そして、基礎データ色比取得部７６（図２１参照）において基礎データＤ１４から色比データＤ１５が取得され（Ｓ６２）、ホワイトバランスゲイン取得部７７（図２１参照）において、フラッシュ画像成分データＤ３の色比データＤ７と基礎データＤ１４の色比データＤ１５とから環境光用ホワイトバランスゲインＷＢ２が取得される（Ｓ６３）。

そして第２のホワイトバランス調整部７８（図２１参照）において、基礎データＤ１４に環境光用ホワイトバランスゲインＷＢ２が適用されて環境光画像成分データＤ１１が取得される（Ｓ６４）。そして環境光補正データ取得部６８の第２の色比データ取得部８０（図２２参照）において、処理ブロック毎に環境光画像成分データＤ１１の色比データＤ１６が取得され（Ｓ６５）、第２の補正データ算出部８１の第２の明度指標データ取得部８４（図２４参照）において、環境光画像成分データＤ１１の色比データＤ１６から処理ブロック毎に明度指標データＤ１８が取得される（Ｓ６６）。そして第２の補正データ演算処理部８５（図２４参照）において、明度指標データＤ１８から環境光補正データＤ１２が取得される（Ｓ６７）。

そして環境光明度補正部７０の第２の明度データ取得部８６（図２５参照）において、環境光画像成分データＤ１１から第２の明度データＤ１９が取得され（Ｓ６８）、第２の補正算出部８７（図２５参照）において、第２の明度データＤ１９及び環境光補正データＤ１２から環境光画像補正成分データＤ１３が取得される（Ｓ６９）。

以上説明したように本実施形態の画像処理装置３１及び画像処理方法によれば、フラッシュ光の影響度及び環境光の影響度をそれぞれ的確に求めることができ、正確なフラッシュ光の影響度及び環境光の影響度に基づいて、フラッシュ発光画像データＤ１に対して精度の高いホワイトバランス処理を行うことができる。

フラッシュ光の発光下で撮影を行う場合には、被写体の一部又は全部にフラッシュ光が十分に届かない場合もあり、フラッシュ光の影響度のみを考慮したホワイトバランス処理では、被写体本来の色味に調整することが難しい場合がある。しかしながら本実施形態の画像処理装置３１及び画像処理方法によれば、フラッシュ光の影響度とともに環境光の影響度も考慮されたホワイトバランス処理が行われるので、被写体本来の色味を適切に回復することが可能になる。

例えば、「フラッシュ光が十分に届いてフラッシュ光が支配的な影響を及ぼす画像部分」と「フラッシュ光が十分に届かずにフラッシュ光が支配的な影響を及ぼさない画像部分」とがフラッシュ発光画像データＤ１に混在する場合であっても、それぞれの画像部分に対して、被写体の色に応じてもたらされる明度の相違が補償された状態で、適切なホワイトバランス処理を行うことができる。

＜他の変形例＞
上述の実施形態及び変形例のうち任意の形態同士が組み合わされてもよい。また上述の実施形態は例示に過ぎず、他の構成に本発明を適用してもよい。

また上述の第１実施形態から第４実施形態の各々では、フラッシュ画像補正成分データＤ５の取得処理及びフラッシュ画像補正成分データＤ５を用いた画像処理がカメラ本体３において実施される例について説明したが、これら処理の一部又は全てをカメラ本体３（デジタルカメラ２）とは別のコンピュータやサーバ等の他の装置が実施するようにしてもよい。例えば、コンピュータにおいて画像データを加工する際に、コンピュータに設けられる画像処理装置にフラッシュ発光画像Ｄ１及びフラッシュ非発光画像Ｄ２などのデータ類が入力されることで、フラッシュ画像補正成分データＤ５の取得処理及びフラッシュ画像補正成分データＤ５を用いた画像処理が行われてもよい。またサーバが画像処理装置を備える場合には、例えば、デジタルカメラ２（カメラ本体３）やコンピュータからサーバにフラッシュ発光画像Ｄ１及びフラッシュ非発光画像Ｄ２などのデータ類が送信され、サーバの画像処理装置で画像データに対してフラッシュ画像補正成分データＤ５の取得処理及びフラッシュ画像補正成分データＤ５を用いた画像処理が行われ、画像処理後の画像データが送信元に送信及び提供されるようにしてもよい。

また上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の各装置及び処理部（画像処理装置３１等）における画像処理方法（処理ステップ（処理手順））をコンピュータに実行させるプログラム、そのプログラムを記憶したコンピュータ読み取り可能な記憶媒体（非一時的記憶媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ（サーバ）には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図３０は、スマートフォン１０１の外観を示す図である。図３０に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備える。また、かかる筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成が採用されてもよいし、折り畳み構造やスライド機構を有する構成が採用されてもよい。

図３１は、図３０に示すスマートフォン１０１の構成を示すブロック図である。図３１に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図３０に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力し、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図３０に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図３０に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応付けたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結されるすべての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。

ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。かかる検出結果は、主制御部１００に出力されるものである。

電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図３０に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、或いは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り換えて単独にて撮影してもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影してもよい。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力の１つとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。さらには、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。

上述の画像処理装置３１は、例えば主制御部１００によって実現可能である。

２…デジタルカメラ、３…カメラ本体、４…レンズ鏡筒、５…フラッシュ発光部、６…シャッタボタン、７…電源スイッチ、８…表示部、９…操作部、１０…メインメモリ、１２…レンズ部、１４…画素、１６…カラーフィルタ、２０…メカニカルシャッタ、２１…撮像素子、２２…プロセス処理部、２３…ＡＤ変換部、２４…バッファメモリ、２５…システム制御部、２６…シャッタ駆動部、２７…レンズ駆動部、２８…電源制御部、２９…電源、３０…制御メモリ、３１…画像処理装置、３２…圧縮伸張部、３３…記憶制御部、３４…クロックデバイス、３５…表示制御部、３６…ユーザインタフェース、４０…フラッシュ画像成分取得部、４２…フラッシュ補正データ取得部、４４…フラッシュ明度補正部、４６…ホワイトバランス処理部、４７…第１の画像データ抽出部、４８…減算器、４９…第１の抽出データ調整部、５０…第１のホワイトバランス調整部、５１…フラッシュ光用ＷＢゲイン記憶部、５３…第１の色比データ取得部、５４…第１の補正データ算出部、５６…第１のデモザイク処理部、５７…第１の色比算出部、５９…第１の明度指標データ取得部、６０…第１の補正データ演算処理部、６２…第１の明度データ取得部、６３…第１の補正算出部、６６…環境光画像成分取得部、６８…環境光補正データ取得部、７０…環境光明度補正部、７２…第２の画像データ抽出部、７３…第２の抽出データ調整部、７４…第１の減算器、７５…第２の減算器、７６…基礎データ色比取得部、７７…ホワイトバランスゲイン取得部、７８…第２のホワイトバランス調整部、８０…第２の色比データ取得部、８１…第２の補正データ算出部、８２…第２のデモザイク処理部、８３…第２の色比算出部、８４…第２の明度指標データ取得部、８５…第２の補正データ演算処理部、８６…第２の明度データ取得部、８７…第２の補正算出部、８８…光源比データ取得部、８９…ホワイトバランス演算処理部、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims (31)

1. フラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データに基づき、前記フラッシュ光による前記被写体の画像成分を示すフラッシュ画像成分データを取得するフラッシュ画像成分取得部と、
   前記フラッシュ画像成分データに基づき、前記被写体の色に応じてもたらされる前記フラッシュ画像成分データの明度の相違を反映したフラッシュ補正データを取得するフラッシュ補正データ取得部と、
   前記フラッシュ画像成分データ及び前記フラッシュ補正データに基づき、前記被写体の色に応じてもたらされる前記フラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データを取得するフラッシュ明度補正部と、を備える画像処理装置。
2. 前記フラッシュ画像成分取得部は、前記第１の画像データと、フラッシュ光の非発光下で前記被写体を撮影することにより取得された第２の画像データとの差分を表す第１の差分データから、前記フラッシュ画像成分データを取得する請求項１に記載の画像処理装置。
3. 前記フラッシュ画像成分取得部は、第１の発光量のフラッシュ光の発光下で前記被写体を撮影することにより取得された前記第１の画像データと、前記第１の発光量とは異なる第２の発光量のフラッシュ光の発光下で前記被写体を撮影することにより取得された第２の画像データとの差分を表す第１の差分データから、前記フラッシュ画像成分データを取得する請求項１に記載の画像処理装置。
4. 前記フラッシュ画像成分取得部は、前記第１の差分データにフラッシュ光用ホワイトバランスゲインを適用することで前記フラッシュ画像成分データを取得する請求項２又は３に記載の画像処理装置。
5. 前記フラッシュ補正データ取得部は、
   複数の処理ブロックに区分された前記フラッシュ画像成分データの当該複数の処理ブロックの各々における前記フラッシュ画像成分データの色成分比を表す色比データを取得し、
   前記フラッシュ画像成分データの前記色比データに基づいて、前記被写体の色に応じてもたらされる前記フラッシュ画像成分データの前記複数の処理ブロック間における明度の相違を反映した前記フラッシュ補正データを取得する請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記フラッシュ補正データは、前記フラッシュ画像成分データの明度を示す第１の明度データに適用されることで、前記被写体の色に応じてもたらされる前記フラッシュ画像成分データの明度の相違を補償するデータであり、
   前記フラッシュ補正データ取得部は、前記フラッシュ画像成分データの前記複数の処理ブロックの各々に関して前記フラッシュ補正データを取得する請求項５に記載の画像処理装置。
7. 前記フラッシュ補正データ取得部は、無彩色の前記色比データを基準に、前記複数の処理ブロックの各々に関する前記フラッシュ補正データを取得する請求項５又は６に記載の画像処理装置。
8. 前記第１の画像データは、複数色のカラーフィルタを含む撮像素子によって取得され、前記フラッシュ画像成分データは当該複数色の各々に関する色成分データを含み、
   前記フラッシュ補正データ取得部は、前記色成分データに基づいて、前記複数の処理ブロックの各々における前記フラッシュ画像成分データの前記色比データを取得する請求項５〜７のいずれか一項に記載の画像処理装置。
9. 前記フラッシュ画像成分データの前記色比データは、前記複数の処理ブロックの各々における前記フラッシュ画像成分データの前記複数色の前記色成分データの合計に対する、前記複数色の各々に関する前記フラッシュ画像成分データの前記色成分データの比に基づいている請求項８に記載の画像処理装置。
10. 前記フラッシュ補正データ取得部は、
    前記被写体の色に応じた前記フラッシュ画像成分データの明度を示す明度指標データを前記フラッシュ画像成分データの前記色比データから導き出す演算処理に基づいて、前記複数の処理ブロックの各々における前記フラッシュ画像成分データの前記色比データから、前記複数の処理ブロックの各々における前記フラッシュ画像成分データの前記明度指標データを取得し、
    前記複数の処理ブロックの各々における前記複数色の前記色成分データの合計に対する前記複数色の各々に関する前記色成分データの比が相互に等しい無彩色の前記色比データから、当該無彩色に関する前記明度指標データを前記演算処理に基づいて取得し、
    前記無彩色に関する前記明度指標データに対する前記複数の処理ブロックの各々における前記フラッシュ画像成分データの前記明度指標データの比に基づいて、前記フラッシュ画像成分データの前記複数の処理ブロックの各々に関する前記フラッシュ補正データを取得する請求項９に記載の画像処理装置。
11. 前記複数の処理ブロックの各々は、単一の画素によって構成される請求項５〜１０のいずれか一項に記載の画像処理装置。
12. 前記複数の処理ブロックの各々は、複数の画素によって構成される請求項５〜１０のいずれか一項に記載の画像処理装置。
13. 前記第１の画像データの撮影に使用された撮像素子は複数色のカラーフィルタを含む単板式の撮像素子であり、当該複数色のカラーフィルタは、特定の色パターンの基本配列が繰り返し配置されることで構成され、
    前記複数の処理ブロックの各々を構成する前記複数の画素は、前記基本配列を構成する画素に対応する請求項１２に記載の画像処理装置。
14. 環境光による前記被写体の画像成分を示す環境光画像成分データを取得する環境光画像成分取得部と、
    前記環境光画像成分データに基づき、前記被写体の色に応じてもたらされる前記環境光画像成分データの明度の相違を反映した環境光補正データを取得する環境光補正データ取得部と、
    前記環境光画像成分データ及び前記環境光補正データに基づき、前記被写体の色に応じてもたらされる前記環境光画像成分データの明度の相違が補償された環境光画像補正成分データを取得する環境光明度補正部と、を更に備える請求項５〜１３のいずれか一項に記載の画像処理装置。
15. 前記環境光画像成分取得部は、フラッシュ光の非発光下で前記被写体を撮影することにより取得された第２の画像データを基礎データとして前記環境光画像成分データを取得する請求項１４に記載の画像処理装置。
16. 前記環境光画像成分取得部は、前記第１の画像データと、前記第１の画像データとフラッシュ光の非発光下で前記被写体を撮影することにより取得された第２の画像データとの差分を表す第１の差分データと、の差分を表す第２の差分データを基礎データとして、前記環境光画像成分データを取得する請求項１４に記載の画像処理装置。
17. 前記環境光画像成分取得部は、
    前記複数の処理ブロックの各々における前記基礎データの色成分比を表す色比データを取得し、
    前記複数の処理ブロックの各々における前記フラッシュ画像成分データの前記色比データと前記基礎データの前記色比データとに基づいて環境光用ホワイトバランスゲインを取得し、
    前記基礎データに前記環境光用ホワイトバランスゲインを適用することで前記環境光画像成分データを取得する請求項１５又は１６に記載の画像処理装置。
18. 前記環境光用ホワイトバランスゲインは、前記複数の処理ブロックの各々における前記基礎データの前記色比データに適用されると、前記複数の処理ブロックの各々における前記環境光画像成分データの前記色比データが導き出される請求項１７に記載の画像処理装置。
19. 前記環境光補正データ取得部は、
    前記複数の処理ブロックの各々における前記環境光画像成分データの色成分比を表す色比データを取得し、
    前記環境光画像成分データの前記色比データに基づいて、前記被写体の色に応じてもたらされる前記環境光画像成分データの前記複数の処理ブロック間における明度の相違を反映した前記環境光補正データを取得する請求項１４〜１８のいずれか一項に記載の画像処理装置。
20. 前記環境光補正データは、前記環境光画像成分データの明度を示す第２の明度データに適用されることで、前記被写体の色に応じてもたらされる前記環境光画像成分データの明度の相違を補償するデータであり、
    前記環境光補正データ取得部は、前記環境光画像成分データの前記複数の処理ブロックの各々に関して前記環境光補正データを取得する請求項１９に記載の画像処理装置。
21. 前記環境光補正データ取得部は、無彩色の前記色比データを基準に、前記複数の処理ブロックの各々に関する前記環境光補正データを取得する請求項１９又は２０に記載の画像処理装置。
22. 前記第１の画像データは、複数色のカラーフィルタを含む撮像素子によって撮影され、前記環境光画像成分データは当該複数色の各々に関する色成分データを含み、
    前記環境光補正データ取得部は、前記色成分データに基づいて、前記複数の処理ブロックの各々における前記環境光画像成分データの前記色比データを取得する請求項１９〜２１のいずれか一項に記載の画像処理装置。
23. 前記環境光画像成分データの前記色比データは、前記複数の処理ブロックの各々における前記環境光画像成分データの前記複数色の前記色成分データの合計に対する、前記複数色の各々に関する前記環境光画像成分データの前記色成分データの比に基づいている請求項２２に記載の画像処理装置。
24. 前記環境光補正データ取得部は、
    前記被写体の色に応じた前記環境光画像成分データの明度を示す明度指標データを前記環境光画像成分データの前記色比データから導き出す演算処理に基づいて、前記複数の処理ブロックの各々における前記環境光画像成分データの前記色比データから、前記複数の処理ブロックの各々における前記環境光画像成分データの前記明度指標データを取得し、
    前記複数の処理ブロックの各々における前記複数色の前記色成分データの合計に対する前記複数色の各々に関する前記色成分データの比が相互に等しい無彩色の前記色比データから、当該無彩色に関する前記明度指標データを前記演算処理に基づいて取得し、
    前記無彩色に関する前記明度指標データに対する前記複数の処理ブロックの各々における前記環境光画像成分データの前記明度指標データの比に基づいて、前記環境光画像成分データの前記複数の処理ブロックの各々に関する前記環境光補正データを取得する請求項２３に記載の画像処理装置。
25. 前記フラッシュ画像補正成分データに基づいて、前記第１の画像データのホワイトバランスを調整するホワイトバランス処理部を更に備える請求項１〜２４のいずれか一項に記載の画像処理装置。
26. 前記フラッシュ画像補正成分データ及び前記環境光画像補正成分データに基づいて、前記第１の画像データのホワイトバランスを調整するホワイトバランス処理部を更に備える請求項１４〜２４のいずれか一項に記載の画像処理装置。
27. 前記明度は輝度である請求項１〜２６のいずれか一項に記載の画像処理装置。
28. 撮像素子と、
    請求項１〜２７のいずれか一項に記載の画像処理装置と、を備える撮像装置。
29. フラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データから、前記フラッシュ光による前記被写体の画像成分を示すフラッシュ画像成分データを取得するステップと、
    前記フラッシュ画像成分データに基づき、前記被写体の色に応じてもたらされる前記フラッシュ画像成分データの明度の相違を反映したフラッシュ補正データを取得するステップと、
    前記フラッシュ画像成分データ及び前記フラッシュ補正データに基づき、前記被写体の色に応じてもたらされる前記フラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データを取得するステップと、を備える画像処理方法。
30. フラッシュ光の発光下で被写体を撮影することにより取得された第１の画像データから、前記フラッシュ光による前記被写体の画像成分を示すフラッシュ画像成分データを取得する手順と、
    前記フラッシュ画像成分データに基づき、前記被写体の色に応じてもたらされる前記フラッシュ画像成分データの明度の相違を反映したフラッシュ補正データを取得する手順と、
    前記フラッシュ画像成分データ及び前記フラッシュ補正データに基づき、前記被写体の色に応じてもたらされる前記フラッシュ画像成分データの明度の相違が補償されたフラッシュ画像補正成分データを取得する手順と、をコンピュータに実行させるためのプログラム。
31. 請求項３０に記載のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。

Images