JP4967440B2 - 撮像装置およびその光源推定装置 - Google Patents

Description

本発明は、撮像装置に関し、特に入力画像の撮像の際の光源の種類を推定する機能を有する撮像装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

人間の目には、光源が変わった場合でも白い物体を白と認識する色順応という機能がある。この機能により、太陽高度により光源の分光分布が変化するにもかかわらず、人間は白い物体を白いと認識することができる。同様に、太陽光とは全く分光分布が異なる蛍光灯下においても、白い物体を白いと認識することができるのも、色順応の機能によるものである。これらの機能を装置において実現しようとしたものが、「ホワイトバランス機能」である。

さらに、ホワイトバランス機能によって白い物体が白く見えるようになっても、「イメージセンサーの分光感度」と「人の目の分光感度」の違いによる影響で、色が見た目通り再現されない場合がある。これを補正するための機能として、「色再現機能」が用意されている。「ホワイトバランス機能」と「色再現機能」のパラメータは、それぞれ行列で表されるため、実装の段階では１つの行列による１つの処理にまとめられることもある。

ホワイトバランス機能を実現するためには、エバンスの原理（グレーワールド仮説）をベースとし、黒体輻射軌跡情報を組み合わせ総合的に制御するアルゴリズムが一般的に用いられてきた。ここで、エバンスの原理とは、世の中の被写体の色を加算すると無彩色になるという仮説である。また、黒体輻射軌跡とは、完全な黒体を加熱した場合に黒体から発せられる赤銅色、赤、オレンジ、黄色、緑色、青色と変化する色の軌跡である。一般的に、自然光は黒体輻射軌跡に乗ることから、自然光の色情報を扱う際の基準として用いられる。

ところが、全面に空が写っているシーンや、木々に囲まれているようなシーンなどのように、画面中の有効画素を全て積分しても、無彩色にはならない条件下においては、エバンスの原理が成り立たない場合がある。たとえば、全面に空が写っているシーンにおいて、エバンスの原理が成り立つとして仮定して制御を行うと、空の青色が無彩色（灰色）になり、雲に黄味がかかるというカラーフェイリア（color failure）が起きてしまう。実際のカメラ制御においては、これを回避するため、画面の有効画素から、無彩色と思われる画素値のみを選択的に抽出し、それらを積分することによって、ホワイトバランス制御をする際の評価値とするものが提案されている（例えば、特許文献１参照。）。

また、カメラ内のイメージセンサーで撮影した画像を使い、明るさ情報や無彩色と思われる画素値を積分した値、画面全体を積分した値を総合的に評価し、光源を推定することでホワイトバランス制御および色再現制御の精度を上げる方式も提案されている（例えば、特許文献２参照。）。
特開平３−１６４９４号公報（第１図） 特開２０００−２２４６０８号公報（図１）

しかしながら、無彩色と思われる画素値のみを選択的に抽出してホワイトバランス制御を行ったとしても、蛍光灯下での撮影の場合と屋外で緑に囲まれて撮影を行なった場合との区別が難しく、カラーフェイリアを起すおそれがあった。

また、評価空間内の写像された位置によって光源を推定する方式では、発光ダイオード（ＬＥＤ）のＹＡＧ（イットリウム・アルミニウム・ガーネット）タイプのものと昼光の観測値の多くが重複してしまい、これら２つの光源を判別することが非常に難しく、自然な色を再現することが困難であった。さらに、異なる光源下で撮影を行った場合であっても、条件が揃った場合には、積分した結果が同じＲＧＢ信号の比を持つ撮影条件もあり、カラーフェイリアを引き起こす場合があった。

そこで、本発明は、確度の高い光源推定を実現し、ホワイトバランス処理および色再現処理の適切なパラメータを供給することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入力画像の撮像の際の光源の種類を推定する光源推定装置において、第１または第２の光源の下で撮像された画素データについて所定の空間における上記第１または第２の光源下で撮影された画素データの分布を保持する分布保持手段と、上記入力画像の画素データについて上記空間における座標を決定する座標決定手段と、上記座標が上記第１または第２の光源下で撮影された画素データの何れの分布に属するかを判定する分布判定手段とを具備することを特徴とする光源推定装置である。これにより、所定の空間における第１または第２の光源下で撮影された画素データの分布に基づいて、入力画像の画素データの所定の空間における座標が第１または第２の光源下で撮影された画素データの何れの分布に属するかを推定させるという作用をもたらす。

また、この第１の側面において、上記空間は１次元空間であり、上記分布は画素データを上記１次元空間に射影することによって得られる分布であるとすることができる。これにより、多次元空間の画素データを１次元空間に射影して光源の推定を容易にさせるという作用をもたらす。

また、この第１の側面において、上記入力画像の複数の画素データについて上記座標が上記第１または第２の光源下で撮影された画素データの何れの分布に属するかの判定結果から多数決により光源を推定する多数決手段をさらに具備することができる。これにより、入力画像の複数の画素データに基づいて、より高い確度で光源を推定させるという作用をもたらす。

また、この第１の側面において、上記第１の光源としてＬＥＤを含むようにしてもよい。分布保持手段においてＬＥＤの下で撮影された画素データの分布を保持し、分布判定手段においてＬＥＤの下で撮影された画素データに属するかを判定することにより、ＬＥＤを含む光源の種類を推定することができる。

また、この第１の側面において、上記第１の光源は複数種類の光源の何れか１種類であり、上記第２の光源は上記複数種類の光源のうち上記第１の光源に該当しない何れか１種類としてもよい。すなわち、複数種類の光源の中の１種類同士を比較して光源を推定させるものである。この場合、複数種類の光源としてＬＥＤを含んでもよい。また、上記第１の光源は太陽光、蛍光灯、白熱灯またはＬＥＤの４種類の光源の何れか１種類であり、上記第２の光源は上記４種類の光源のうち上記第１の光源に該当しない何れか１種類としてもよい。

また、この第１の側面において、上記第１の光源は複数種類の光源の何れか１種類であり、上記第２の光源は上記複数種類の光源のうち上記第１の光源に該当しない他の複数種類としてもよい。すなわち、複数種類の光源の中の特定の１種類とそれ以外を比較して光源が特定の１種類であるか否かを推定させるものである。この場合、複数種類の光源としてＬＥＤを含んでもよい。また、上記第１の光源は太陽光、蛍光灯、白熱灯またはＬＥＤの４種類の光源の何れか１種類であり、上記第２の光源は上記複数種類の光源のうち上記第１の光源に該当しない他の３種類としてもよい。

また、本発明の第２の側面は、入力画像を撮像する撮像手段と、第１または第２の光源の下で撮像された画素データについて所定の空間における上記第１または第２の光源下で撮影された画素データの分布を保持する分布保持手段と、上記入力画像の画素データについて上記空間における座標を決定する座標決定手段と、上記座標が上記第１または第２の光源下で撮影された画素データの何れの分布に属するかを判定する分布判定手段と、上記判定の結果に応じて上記入力画像のホワイトバランス処理を行うホワイトバランス処理手段と、上記判定の結果に応じて上記ホワイトバランス処理の出力に対して色再現処理を行う色再現処理手段とを具備することを特徴とする撮像装置である。これにより、所定の空間における第１または第２の光源下で撮影された画素データの分布に基づいて、入力画像の画素データの所定の空間における座標が第１または第２の光源下で撮影された画素データの何れの分布に属するかを推定して、推定された光源に基づいてホワイトバランス処理および色再現処理を行わせるという作用をもたらす。

この第２の側面において、上記第１の光源を特定の種類の光源に限定して上記分布判定手段に上記判定を行わせる光源限定手段をさらに具備してもよい。これにより、光源推定の確度を向上させるという作用をもたらす。この場合、上記入力画像の撮像の際にストロボ発光が行われたか否かを検出するストロボ発光検出手段をさらに具備し、上記光源限定手段が上記ストロボ発光の検出結果に応じて上記分布判定手段に前記判定を行わせてもよい。ストロボスイッチと連動させることによって光源推定の確度を向上させるものである。

この第２の側面において、上記第１の光源は複数種類の光源の何れか１種類であり、上記第２の光源は上記複数種類の光源のうち上記第１の光源に該当しない他の種類としてもよい。この場合、上記複数種類の光源のうち特定の種類の光源に限定して分布判定手段に上記判定を行わせる光源限定手段をさらに具備してもよい。また、この上記光源限定手段は、上記複数種類の光源のうち蛍光灯およびＬＥＤに限定して分布判定手段に上記判定を行わせてもよい。光源を予め限定することにより、光源推定の確度を向上させるものである。

また、この第２の側面において、上記ホワイトバランス処理手段は、上記判定の結果として光源がＬＥＤである旨判定された場合には太陽光のホワイトバランスゲインを利用することができる。これにより、光源がＬＥＤの場合も太陽光と同様の取り扱いをすることができる。

また、本発明の第３の側面は、第１または第２の光源の下で撮像された画素データについて所定の空間における上記第１または第２の光源下で撮影された画素データの分布を保持する分布保持手段を備えて入力画像の撮像の際の光源の種類を推定する光源推定装置において、上記入力画像の画素データについて上記空間における座標を決定する手順と、上記座標が上記第１または第２の光源下で撮影された画素データの何れの分布に属するかを判定する手順とを具備することを特徴とする光源推定方法またはこれら手順をコンピュータに実行させることを特徴とするプログラムである。これにより、所定の空間における第１または第２の光源下で撮影された画素データの分布に基づいて、入力画像の画素データの所定の空間における座標が第１または第２の光源下で撮影された画素データの何れの分布に属するかを推定させるという作用をもたらす。

本発明によれば、確度の高い光源推定を実現し、ホワイトバランス処理および色再現処理の適切なパラメータを供給することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置１００の一構成例を示す図である。この撮像装置１００は、撮像素子１１０と、Ａ／Ｄ（Analog to Digital）変換回路１２０と、デモザイクブロック１３０と、ホワイトバランス回路１４０と、色再現処理回路１５０と、信号変換処理回路１６０と、ガンマ補正回路１７０と、表示部１８１と、データ保持部１８２と、ユーザインターフェース（図中「ユーザＩ／Ｆ」と略す。）１９０と、光源推定回路２００と、画像処理パラメータ設定部３００とを備えている。

撮像素子１１０は、入力画像の光情報を電気信号（電圧値）に変換する光電変換素子であり、イメージセンサーとも呼ばれる。この撮像素子１１０としては、例えば、ＣＣＤ（Charge Coupled Device）などが用いられる。

撮像素子１１０としては、図２（ａ）のように赤（Ｒ：Red）、緑（Ｇ：Green）、青（Ｂ：Blue）の３種類のカラーフィルタを有するイメージセンサーが一般的であるが、近年では、図２（ｂ）のようにエメラルド（Ｅ：Emerald）のカラーフィルタを追加して人間の目特有の赤色の負感度を補償するイメージセンサーが実現されている。本発明の実施の形態では、撮像素子１１０として、ＲＧＢにエメラルドを追加した４種類のカラーフィルタを有するイメージセンサーを想定して説明する。

Ａ／Ｄ変換回路１２０は、撮像素子１１０から供給されたアナログ信号をデジタル信号に変換する回路である。このＡ／Ｄ変換回路１２０により、入力画像の各画素について例えば１４ビットの画素データに量子化される。

デモザイクブロック１３０は、画素データに対してデモザイク処理を施すものである。ここで、デモザイク処理とは、１画素につき１色ずつの画素データに対して、周辺の画素データを利用して１画素につき３色（ＲＧＢ）または４色（ＲＧＢＥ）の色が揃うように補間する処理である。本発明の実施の形態では、デモザイクブロック１３０の出力として、ＲＧＢの画素データが信号線１３８を介してホワイトバランス回路１４０に、ＲＧＢＥの画素データが信号線１３９を介して光源推定回路２００にそれぞれ供給されるものとする。

光源推定回路２００は、デモザイクブロック１３０から供給されたＲＧＢＥの画素データに基づいて、入力画像が撮像された際の光源を推定するものである。この構成および処理内容については後述する。この光源推定回路２００による推定結果は、信号線２０９を介して画像処理パラメータ設定部３００に供給される。

画像処理パラメータ設定部３００は、光源推定回路２００によって推定された光源に応じた画像処理のパラメータを設定するものである。すなわち、画像処理パラメータ設定部３００は、ホワイトバランスゲインを、信号線３０８を介してホワイトバランス回路１４０に供給するとともに、光源推定回路２００によって推定された光源に応じた色補正行列を、信号線３０９を介して色再現処理回路１５０に供給する。

ホワイトバランスゲインは、赤緑青の各色に対応した３つのゲインｇ_ｒ，ｇ_ｇ，ｇ_ｂからなる縦ベクトルである。また、色補正行列は、縦方向に３要素、横方向に３要素の９つの要素（Ｍ_１１乃至Ｍ_３３）よりなる行列である。

なお、画像処理パラメータ設定部３００は、例えばマイクロプロセッサなどのＣＰＵ（Central Processing Unit）により実現することができる。

ホワイトバランス回路１４０は、デモザイクブロック１３０から供給されたＲＧＢの画素データに、画像処理パラメータ設定部３００から供給されたホワイトバランスゲインの対応するゲインを掛け合わせてホワイトバランス処理を行うものである。すなわち、Ｒの画素データにＲのゲインｇ_ｒを、Ｇの画素データにＧのゲインｇ_ｇを、Ｂの画素データにＢのゲインｇ_ｂをそれぞれ掛け合わせて新たなＲＧＢの画素データとする。

色再現処理回路１５０は、ホワイトバランス回路１４０によってホワイトバランス処理が施されたＲＧＢの画素データに、画像処理パラメータ設定部３００から供給された色補正行列を掛け合わせて色再現処理を行うものである。色再現処理回路１５０は、この色再現処理の結果、ＲＧＢ画素データをＸＹＺ空間へ写像する。

信号変換処理回路１６０は、ＸＹＺ空間上の座標からＹＣＣ形式、すなわち明度Ｙ、青の色差Ｃｂおよび赤の色差Ｃｒに変換するものである。ガンマ補正回路１７０は、表示部１８１などのガンマ値に応じたガンマ補正を行うものである。

表示部１８１は、ＬＣＤ（Liquid Crystal Display）などのディスプレイであり、シャッターボタンが押下されていない場合にガンマ補正回路１７０から供給された入力画像をモニター表示するものである。データ保持部１８２は、記録媒体であり、シャッターボタンが押下された場合にガンマ補正回路１７０から供給された入力画像を保持するものである。

ユーザインターフェース１９０は、撮像装置１００に設けられたハードウェアスイッチもしくはソフトウェアによるＧＵＩ（Graphical User Interface）である。上述のシャッターボタンも、このユーザインターフェース１９０の１つである。また、他のユーザインターフェース１９０として、光源を特定の種類に限定して光源推定を行わせる光源設定スイッチや、ストロボ動作の有無を指示するストロボスイッチなどを備えることができる。このユーザインターフェース１９０による指示内容は、信号線１９９を介して光源推定回路２００に供給される。

図３は、カラー画像の生成モデルを示す図である。ここでは、光源１０から照射した光が物体２０の表面に反射して、撮像素子３０に受光されるまでの流れについて説明する。なお、λは波長を示す記号である。

光源１０からの照射光は、各波長における放射エネルギー（相対値）として、分光エネルギー分布Ｅ（λ）により表される。この光源１０からの照射光は、物体２０の表面で吸収もしくは反射される。分光反射率Ｓ（λ）は、各波長の入射光に対する物体の反射光の割合を表す。したがって、撮像素子３０に向かう反射光の分光分布は、光源１０の分光エネルギー分布Ｅ（λ）と分光反射率Ｓ（λ）の積（Ｅ（λ）・Ｓ（λ））により表される。

なお、ここでは表面での反射が拡散反射成分のみに基づくことを前提としており、鏡面反射等の他の成分は考慮していない。通常の場合、鏡面反射成分は非常に明るい場合が多く、撮影画像上では高輝度な画素となる可能性が高い。そこで、本発明の実施の形態では、そのような高輝度部分のデータを予め除外しておくことにより、拡散反射成分のみを対象とした処理を行う。

物体２０からの反射光は撮像素子３０に入射される。撮像素子３０の分光応答はＲＧＢＥの４種類の分光感度関数Ｒ_Ｒ（λ）、Ｒ_Ｇ（λ）、Ｒ_Ｂ（λ）、Ｒ_Ｅ（λ）により表される。

したがって、撮像素子３０のｘ番目の画素の出力ρ_ｉ（ｘ）は次式で記述される。
ρ_ｉ（ｘ）＝∫Ｅ（λ）・Ｓ（λ）・Ｒ_ｉ（λ）ｄλ
（ｉ＝Ｒ，Ｇ，Ｂ，Ｅ） （式１）
なお、この積分は、可視領域として通常４００乃至７００ｎｍ程度の区間の波長について行うことになる。

このように、画素の出力ρ_ｉ（ｘ）は、光源１０の分光エネルギー分布Ｅ（λ）、物体２０の分光反射率Ｓ（λ）および撮像素子３０の分光感度関数Ｒ_ｉ（λ）により決定される。ここで、光源１０の分光エネルギー分布Ｅ（λ）は、光源１０に依存するものであり、既知である。本発明の実施の形態では、一例として、｛Ｌ１，Ｌ２，Ｌ３，Ｌ４｝＝｛太陽光、蛍光灯、白熱灯、ＬＥＤ｝の４種類を想定する。また、物体２０の分光反射率Ｓ（λ）は、物体２０に依存するものであり、既知である。さらに、分光感度関数は、撮像素子３０に使用されている色フィルターの分光透過率、イメージセンサーの分光感度、撮像装置のレンズの分光透過率を掛け合わせた特性を持ち、既知である。

そこで、物体２０としてｍ個（ｍは正の整数）の代表的物体を想定し、４種類の光源のそれぞれについて式１により画素データを生成する。すなわち、太陽光（光源Ｌ１）については撮像素子３０の出力は、以下の要素による４次元ベクトルとなる。
ρ_Ｒ（ｊ）_underL1＝∫Ｅ_１（λ）・Ｓ_ｊ（λ）・Ｒ_Ｒ（λ）ｄλ
ρ_Ｇ（ｊ）_underL1＝∫Ｅ_１（λ）・Ｓ_ｊ（λ）・Ｒ_Ｇ（λ）ｄλ
ρ_Ｂ（ｊ）_underL1＝∫Ｅ_１（λ）・Ｓ_ｊ（λ）・Ｒ_Ｂ（λ）ｄλ
ρ_Ｅ（ｊ）_underL1＝∫Ｅ_１（λ）・Ｓ_ｊ（λ）・Ｒ_Ｅ（λ）ｄλ
（ｊ＝１〜ｍ） （式２）

また、蛍光灯（光源Ｌ２）については撮像素子３０の出力は、以下の要素による４次元ベクトルとなる。
ρ_Ｒ（ｊ）_underL2＝∫Ｅ_２（λ）・Ｓ_ｊ（λ）・Ｒ_Ｒ（λ）ｄλ
ρ_Ｇ（ｊ）_underL2＝∫Ｅ_２（λ）・Ｓ_ｊ（λ）・Ｒ_Ｇ（λ）ｄλ
ρ_Ｂ（ｊ）_underL2＝∫Ｅ_２（λ）・Ｓ_ｊ（λ）・Ｒ_Ｂ（λ）ｄλ
ρ_Ｅ（ｊ）_underL2＝∫Ｅ_２（λ）・Ｓ_ｊ（λ）・Ｒ_Ｅ（λ）ｄλ
（ｊ＝１〜ｍ） （式３）

また、白熱灯（光源Ｌ３）については撮像素子３０の出力は、以下の要素による４次元ベクトルとなる。
ρ_Ｒ（ｊ）_underL3＝∫Ｅ_３（λ）・Ｓ_ｊ（λ）・Ｒ_Ｒ（λ）ｄλ
ρ_Ｇ（ｊ）_underL3＝∫Ｅ_３（λ）・Ｓ_ｊ（λ）・Ｒ_Ｇ（λ）ｄλ
ρ_Ｂ（ｊ）_underL3＝∫Ｅ_３（λ）・Ｓ_ｊ（λ）・Ｒ_Ｂ（λ）ｄλ
ρ_Ｅ（ｊ）_underL3＝∫Ｅ_３（λ）・Ｓ_ｊ（λ）・Ｒ_Ｅ（λ）ｄλ
（ｊ＝１〜ｍ） （式４）

また、ＬＥＤ（光源Ｌ４）については撮像素子３０の出力は、以下の要素による４次元ベクトルとなる。
ρ_Ｒ（ｊ）_underL4＝∫Ｅ_４（λ）・Ｓ_ｊ（λ）・Ｒ_Ｒ（λ）ｄλ
ρ_Ｇ（ｊ）_underL4＝∫Ｅ_４（λ）・Ｓ_ｊ（λ）・Ｒ_Ｇ（λ）ｄλ
ρ_Ｂ（ｊ）_underL4＝∫Ｅ_４（λ）・Ｓ_ｊ（λ）・Ｒ_Ｂ（λ）ｄλ
ρ_Ｅ（ｊ）_underL4＝∫Ｅ_４（λ）・Ｓ_ｊ（λ）・Ｒ_Ｅ（λ）ｄλ
（ｊ＝１〜ｍ） （式５）

そして、「光源Ｌ１の下での撮影」、「光源Ｌ２の下での撮影」、「光源Ｌ３の下での撮影」、「光源Ｌ４の下での撮影」を、それぞれ「状態」として捉える。また、式２乃至５により表される４次元空間の点を、それぞれの状態における事象のサンプルと考える。また、ｍ個の物体は世の中に存在する物体の代表的なものであり、十分な数であり、かつ、偏りのないサンプルと考えることができる。従って、線形判別法を適用することにより「状態」を判別することができる。

なお、世の中に存在する物体の代表的な物体分光反射率は、ＩＳＯによる「色再現評価のための標準物体の色のスペクトルデータベース」（ISO/TR 16066:2003）に掲載されており、式２乃至４の計算にこれを利用することができる。

図４は、本発明の実施の形態における線形判別法による光源判定の一例を示す図である。ここでは、ＲＧＢＥ空間におけるサンプルの画素データを一次元のω_１２軸に射影することによりサンプルの分布（Ｐ_１２（ｙ）・Ｐ'_１２またはＰ_２１（ｙ）・Ｐ'_２１）を生成しておいて、その後、判定しようとする画素データｘ_０を一次元のω_１２軸に射影することによってその画素データが何れの分布に属するものであるかを線形判別法に基づいて判定するものである。

ここでは、まず線形判別法について説明する。状態として、Ｄ１とＤ２があるとする。Ｄ１またはＤ２の状態において、ある事象ｘ（ｘは、４次元空間の点として表される）が生起したとする。Ｄ１またはＤ２の何れの状態であるかは不明であるとする。このとき、事象ｘが生起したという事実から、状態はＤ１であったかＤ２であったかを推測するために、Ｄ１とＤ２の分布から、２つのクラスを判別するのに最適な超平面を求め、その超平面上でＤ１とＤ２の状態を判別するのが線形判別法である。

状態がＤ１の条件下で生起する事象のサンプルをｘ（１）〜ｘ（ｎ_１）（合計ｎ_１個）とする。また、状態がＤ２の条件下で起きる事象のサンプルをｘ（ｎ_１＋１）〜ｘ（Ｎ）（合計ｎ_２＝Ｎ−ｎ_１個）とする。ｎ_１、ｎ_２、および、Ｎは十分大きな数であり、また、ｘ（１）〜ｘ（ｎ_１）、ｘ（ｎ_１＋１）〜ｘ（Ｎ）は、サンプルとして偏りがなく、それぞれの条件下で起こりうる密度分布を十分な精度で近似しているとする。

このとき、標本平均ｍ_ｉ、散布行列Ｓ_ｉ（scatter matrix）およびクラス内散布行列Ｓ_Ｗ（between-class scatter matrix）を、それぞれ以下のように定義する。

Ｓ_Ｗ＝Ｓ_１＋Ｓ_２

すなわち、散布行列Ｓ_ｉは、クラスｉに属する特徴ベクトルｘとクラス平均ｍ_ｉとの差の二乗和の形で定義される。なお、ｔはベクトルの転置を表す。

これにより、射影すべき一次元の軸ωは次式により得られる。
ω＝Ｓ_Ｗ ^−１（ｍ_１−ｍ_２） （式６）

各サンプルｘ（ｊ）（ｊ＝１〜Ｎ）をこの軸ωに射影した点をｙ（ｊ）とすれば、次式が成り立つ。
ｙ（ｊ）＝ω^ｔｘ（ｊ） （式７）

なお、ｘ（ｊ）、ωは、いずれも４つの要素よりなる縦ベクトルである。ｙ（ｊ）は、スカラー量である。式７により、ｙ（１）〜ｙ（ｎ_１）は、状態がＤ１の条件下で起きる事象（１次元空間の点）のサンプルであり、ｙ（ｎ_１＋１）〜ｙ（Ｎ）は、状態がＤ２の条件下で起きる事象（１次元空間の点＝スカラー量）のサンプルといえる。

その後、Ｄ１またはＤ２の状態において、ある事象ｘ_０が観測できたとする。このとき、式６で示されるωを用いて次式を計算する。
ｙ_０＝ω^ｔｘ_０ （式８）

この式８によるｙ_０が、
Ｐ（Ｄ１｜ｙ_０）＞＞Ｐ（Ｄ２｜ｙ_０） （式９）
を満たすｙ_０であれば、状態はＤ１であったと判定する。また、
Ｐ（Ｄ１｜ｙ_０）＜＜Ｐ（Ｄ２｜ｙ_０） （式１０）
を満たすｙ_０であれば、状態はＤ２であったと判定する。また、それ以外であれば、状態は判定不能であったとする。

すなわち、「ある事象ｙ_０が起こったとすると、それが状態Ｄ１の条件下で起こったと考えられる条件付確率Ｐ（Ｄ１｜ｙ_０）と、それが状態Ｄ２の条件下で起こったと考えられる条件付確率Ｐ（Ｄ２｜ｙ_０）との大小関係」により判定を行う。

ここで、一般に、条件付確率は、次式に示すベイズの公式が成り立つ。
Ｐ（ａ｜ｂ）×Ｐ（ｂ）＝Ｐ（ｂ｜ａ）×Ｐ（ａ）

したがって、式９および式１０は次の式１１および１２と同値である。
Ｐ（ｙ_０｜Ｄ１）Ｐ（Ｄ１）＞＞Ｐ（ｙ_０｜Ｄ２）Ｐ（Ｄ２） （式１１）
Ｐ（ｙ_０｜Ｄ１）Ｐ（Ｄ１）＜＜Ｐ（ｙ_０｜Ｄ２）Ｐ（Ｄ２） （式１２）

ｘ（１）〜ｘ（ｎ_１）やｘ（ｎ_１＋１）〜ｘ（Ｎ）は、十分な数であり、かつ、偏りのないサンプルである。従って、式５により導かれるｙ（１）〜ｙ（ｎ１）は、状態がＤ１の条件下で起きる事象のサンプル（十分な数であり、かつ、偏りのない）である。そして、式７により導かれるｙ（ｎ_１＋１）〜ｙ（Ｎ）は、状態がＤ２の条件下で起きる事象のサンプル（十分な数であり、かつ、偏りのない）である。このように、十分な数の偏りのないサンプルを用いて、任意のｙについて、「状態Ｄ１の条件下でｙが生起するという条件付確率Ｐ（ｙ｜Ｄ１）」、および、「状態Ｄ２の条件下でｙが生起するというＰ（ｙ｜Ｄ２）」を求めることができる。つまり、Ｐ（ｙ｜Ｄ１）およびＰ（ｙ｜Ｄ２）をｙの関数と考えたときに、これら２つの関数を求めることが可能である。

また、Ｐ（Ｄ１）は、２つの状態Ｄ１とＤ２のうち、Ｄ１である可能性の割合であり、Ｐ（Ｄ２）は、２つの状態Ｄ１とＤ２のうち、Ｄ２である可能性の割合である。例えば、両状態が等確率で生起する場合には、Ｐ（Ｄ１）＝Ｐ（Ｄ２）＝１／２と設定する。または、後述するように、Ｄ１およびＤ２は、光源の種類を示すものであり、一般的に、太陽光の下で撮影する割合が多いと考えられるため、太陽光に対する割合（太陽光である可能性の割合）Ｐを大きくしてもよい。

ｙの関数であるＰ（ｙ｜Ｄ１）およびＰ（ｙ｜Ｄ２）と、Ｐ（Ｄ１）＝Ｐ（Ｄ２）の値は求めることができるため、式８により求められたｙ_０が式１１または１２を満たすか否を判定することができる。すなわち、状態がＤ１であったか、Ｄ２であったか、あるいは、判定不能であったかを判定することができる。

なお、式１１および１２を厳密に定義する場合、ある閾値（定数）を設けて、Ｐ（ｙ_０｜Ｄ１）×Ｐ（Ｄ１）−Ｐ（ｙ_０｜Ｄ２）×Ｐ（Ｄ２）の値がその閾値以上であれば式１１を満たすとし、Ｐ（ｙ_０｜Ｄ２）×Ｐ（Ｄ２）−Ｐ（ｙ_０｜Ｄ１）×Ｐ（Ｄ１）の値がその閾値以上であれば式１２を満たすと判断することができる。

また、Ｐ（ｙ_０｜Ｄ１）×Ｐ（Ｄ１）−Ｐ（ｙ_０｜Ｄ２）×Ｐ（Ｄ２）が、０より大きければ大きいほど、状態Ｄ１であるという推定結果の確度が上がる。一方、Ｐ（ｙ_０｜Ｄ１）×Ｐ（Ｄ１）−Ｐ（ｙ_０｜Ｄ２）×Ｐ（Ｄ２）が、０より小さければ小さいほど、状態Ｄ２であるという推定結果の確度が上がる。

ここまでに説明した線形判別法を光源判定に適用した例について図４を参照して説明する。図中、○印が光源Ｌ１の下で撮像されたｍ個の画素データのサンプルであり、×印が光源Ｌ２の下で撮像されたｍ個の画素データのサンプルである。画素データの各々は、ＲＧＢＥの４要素よりなる縦ベクトルであることを想定する。これら２ｍ個のサンプルから式６によって一次元の軸ω_１２が求められる。したがって、この一次元の軸ω_１２も４要素よりなる縦ベクトルになる。

そして、光源Ｌ１の下で撮像されたｍ個のサンプルについて式７によって一次元の軸ω_１２上の分布ｙ（ｊ）が求められる。この分布がＰ（ｙ｜Ｄ１）であり、ｙの関数と考えてＰ_１２（ｙ）とする。また、光源Ｌ２の下で撮像されたｍ個のサンプルについて式７によって一次元の軸ω_１２上の分布ｙ（ｊ）が求められる。この分布がＰ（ｙ｜Ｄ２）であり、ｙの関数と考えてＰ_２１（ｙ）とする。なお、式７は４次元ベクトルの内積演算であり、生成されるのはスカラー量である。

さらに、Ｄ１およびＤ２の生起確率が設定される。両者が等確率として、Ｐ（Ｄ１）＝Ｐ（Ｄ２）＝１／２と設定することができる。または、一般に太陽光の下で撮影する割合が多いことから、太陽光に対する生起確率を大きくしてもよい。このようにして設定された確率は、Ｐ_１２'＝Ｐ（Ｄ１）、Ｐ_２１'＝Ｐ（Ｄ２）とする。

これにより、一次元の軸ω_１２上の分布と生起確率を掛け合わせたものは、Ｐ_１２（ｙ）・Ｐ'_１２とＰ_２１（ｙ）・Ｐ'_２１の２つのグラフにより表される。

その後、撮像の結果、信号線１３９に画像データｘ_０が得られると、式８によって一次元の軸ω_１２上に射影された値ｙ_０が求められる。なお、式８は４次元ベクトルの内積演算であり、生成されるのはスカラー量である。

この求められた値ｙ_０が式１１または１２を満たすか否かが調べられる。なお、式１１および１２におけるＰ（ｙ _０ ｜Ｄ１）はＰ_１２（ｙ）のことであり、Ｐ（ｙ _０ ｜Ｄ２）はＰ_２１（ｙ）のことであり、Ｐ（Ｄ１）はＰ_１２'のことであり、Ｐ（Ｄ２）はＰ_２１'のことである。

式１１を満たす場合には、「光源Ｌ２（蛍光灯）の下での撮影」ではなく、「光源Ｌ１（太陽光）の下での撮影」であったと判定する。式１２を満たす場合には、「光源Ｌ１（太陽光）の下での撮影」ではなく、「光源Ｌ２（蛍光灯）の下での撮影」であったと判定する。式１１または１２を満たさない場合には、判定不能とする。

図５は、本発明の実施の形態における光源推定の前処理の一例を示す図である。ここでは、「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｋの下での撮像（状態Ｄｋ）」であったかを判定するための前処理について説明する。なお、ｈ≠ｋである。

まず、画素データのサンプルとして、式２乃至５の中のＬｈに対応する式によってｍ個の４次元空間の点、および、式２乃至５の中のＬｋに対応する式によってｍ個の４次元空間の点が取得される（ステップＳ９０１）。そして、これらの点を、サンプルとして式６を計算することにより、一次元の軸ω_ｈｋが算出される（ステップＳ９０２）。

また、各サンプルについて式７を計算することにより、「光源Ｌｈの下での撮像」による撮像データと「光源Ｌｋの下での撮像」による撮像データの両者について、一次元の軸ω_ｈｋへの射影の分布が生成される（ステップＳ９０３）。「光源Ｌｈの下での撮像」の分布はＰ（ｙ｜Ｄｈ）であり、これをＰ_ｈｋ（ｙ）とする。また、「光源Ｌｋの下での撮像」の分布はＰ（ｙ｜Ｄｋ）であり、これをＰ_ｋｈ（ｙ）とする。

さらに、「光源Ｌｈの下での撮像」と「光源Ｌｋの下での撮像」の生起確率が設定される（ステップＳ９０４）。ここでは、両者が等確率で生起するものとすれば、Ｐ（Ｄｈ）＝Ｐ（Ｄｋ）＝１／２となる。なお、Ｐ（Ｄｈ）をＰ_ｈｋ'とし、Ｐ（Ｄｋ）をＰ_ｋｈ'とする。

例えば、デジタルスチルカメラに本発明を適用する場合、この前処理を出荷時などに予め済ませておけば、撮像の際に速やかな処理を行うことができる。

ここでは、「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｋの下での撮像（状態Ｄｋ）」であったかという１対１の判定について説明したが、これは１対多の場合も同様である。すなわち、「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｈ以外の下での撮像（状態Ｄｋ）」であったかを判定するようにしてもよい。

この場合、ステップＳ９０１で取得されるサンプル数は、光源Ｌｈについてｍ個、光源Ｌｈ以外について３ｍ個となる。また、ステップＳ９０２で式６より算出される一次元の軸はω_ｈ０とする。また、ステップＳ９０３で式７より生成される分布において、光源Ｌｈの分布はＰ_ｈ０（ｙ）とし、光源Ｌｈ以外の分布はＰ_０ｈ（ｙ）とする。また、この場合、４つの光源のうちの１つとそれ以外の３つの区別をすることになるため、ステップＳ９０４における生起確率は、例えば、Ｐ（Ｄｈ）＝１／４、Ｐ（Ｄｋ）＝３／４となる。ここで、Ｐ（Ｄｈ）をＰ_ｈ０'とし、Ｐ（Ｄｋ）をＰ_０ｈ'とする。

図６は、本発明の実施の形態における光源推定回路２００の一構成例を示す図である。この光源推定回路２００は、有効画素選択回路２１０と、光源推定パラメータ保持部２２０と、内積演算回路２３０と、判定回路２４０と、光源限定部２５０と、多数決回路２６０と、前回結果保持部２７０とを備えている。

有効画素選択回路２１０は、信号線１３９を介してデモザイクブロック１３０から供給された画面全体の画素データのうち有効な画素データを選択するものである。すなわち、有効画素選択回路２１０は、極端に暗い画素データや極端に明るい画素データを排除する。極端に暗い画素はノイズの影響を大きく受けるため、判定の対象にすべきでないからである。また、極端に明るい画素は、上述のように鏡面反射成分の影響があり、また、ＲＧＢＥの何れかの画素データが飽和して正しい値を取得できていない場合が多く、判定の対象にすべきでないからである。そのため、有効画素選択回路２１０は、画素データがゼロもしくはゼロ付近の場合や最大値もしくは最大値付近の場合には選択せず、それ以外の画素データのみを選択する。

光源推定パラメータ保持部２２０は、光源推定に必要なパラメータを保持するものである。このパラメータは、予め式６により算出された一次元の軸ω、式７により生成された分布ｙ（ｊ）、および、任意に設定された生起確率である。

例えば、４種類の光源のうち「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｋの下での撮像（状態Ｄｋ）」であったかを判定するためには、４次元ベクトルω_１２、ω_１３、ω_１４、ω_２３、ω_２４、ω_３４、および、ｙの関数Ｐ_１２（ｙ）、Ｐ_２１（ｙ）、Ｐ_１３（ｙ）、Ｐ_３１（ｙ）、Ｐ_１４（ｙ）、Ｐ_４１（ｙ）、Ｐ_２３（ｙ）、Ｐ_３２（ｙ）、Ｐ_２４（ｙ）、Ｐ_４２（ｙ）、Ｐ_３４（ｙ）、Ｐ_４３（ｙ）、および、スカラー値Ｐ_１２'、Ｐ_２１'、Ｐ_１３'、Ｐ_３１'、Ｐ_１４'、Ｐ_４１'、Ｐ_２３'、Ｐ_３２'、Ｐ_２４'、Ｐ_４２'、Ｐ_３４'、Ｐ_４３'を光源推定パラメータ保持部２２０に予め保持しておく。

一方、例えば、４種類の光源のうち「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｈ以外の下での撮像（状態Ｄｋ）」であったかを判定するためには、４次元ベクトルω_１０、ω_２０、ω_３０、ω_４０、および、ｙの関数Ｐ_１０（ｙ）、Ｐ_０１（ｙ）、Ｐ_２０（ｙ）、Ｐ_０２（ｙ）、Ｐ_３０（ｙ）、Ｐ_０３（ｙ）、Ｐ_４０（ｙ）、Ｐ_０４（ｙ）、および、スカラー値Ｐ_１０'、Ｐ_０１'、Ｐ_２０'、Ｐ_０２'、Ｐ_３０'、Ｐ_０３'、Ｐ_４０'、Ｐ_０４'を光源推定パラメータ保持部２２０に予め保持しておく。

内積演算回路２３０は、有効画素選択回路２１０により選択された画素データと光源推定パラメータ保持部２２０に保持された一次元の軸ωとの間で式８による内積演算を行うものである。

例えば、４種類の光源のうち「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｋの下での撮像（状態Ｄｋ）」であったかを判定するためには、光源推定パラメータ保持部２２０に保持されたω_１２、ω_１３、ω_１４、ω_２３、ω_２４、ω_３４を読み出して、画素データｘ_０（４次元ベクトル）との内積演算を行って内積計算結果ｙ_０を算出する。これにより、全ての光源の「１対１」の組合せで６組の内積演算が行われ、合計で有効画素データの６倍の数のスカラー値が出力されることになる。

一方、例えば、４種類の光源のうち「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｈ以外の下での撮像（状態Ｄｋ）」であったかを判定するためには、光源推定パラメータ保持部２２０に保持されたω_１０、ω_２０、ω_３０、ω_４０を読み出して、画素データｘ_０（４次元ベクトル）との内積演算を行って内積計算結果ｙ_０（スカラー値）を算出する。これにより、全ての光源の「１対他」の組合せで４組の内積演算が行われ、合計で有効画素データの４倍の数のスカラー値が出力されることになる。

判定回路２４０は、内積演算回路２３０において算出された内積演算の結果から、何れの光源の下での撮像であるかを判定するものである。

例えば、４種類の光源のうち「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｋの下での撮像（状態Ｄｋ）」であったかを判定するためには、内積演算回路２３０において得られた６個のスカラー値のそれぞれについて、式１１および１２を満たすか否かを調べる。式１１および１２に必要なパラメータは光源推定パラメータ保持部２２０から読み出される。これにより、（１）Ｄ１とＤ２の何れかもしくは不明、（２）Ｄ１とＤ３の何れかもしくは不明、（３）Ｄ１とＤ４の何れかもしくは不明、（４）Ｄ２とＤ３の何れかもしくは不明、（５）Ｄ２とＤ４の何れかもしくは不明、（６）Ｄ３とＤ４の何れかもしくは不明、の６つの判定結果が画素データ毎に得られる。

一方、例えば、４種類の光源のうち「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｈ以外の下での撮像（状態Ｄｋ）」であったかを判定するためには、内積演算回路２３０において得られた４個のスカラー値のそれぞれについて、式１１および１２を満たすか否かを調べる。式１１および１２に必要なパラメータは光源推定パラメータ保持部２２０から読み出される。これにより、（１）Ｄ１とＤ１以外の何れかもしくは不明、（２）Ｄ２とＤ２以外の何れかもしくは不明、（３）Ｄ３とＤ３以外の何れかもしくは不明、（４）Ｄ４とＤ４以外の何れかもしくは不明、の４つの判定結果が画素データ毎に得られる。

多数決回路２６０は、判定回路２４０によって得られた判定結果に基づいて何れの状態がより多いかを決定するものである。

例えば、４種類の光源のうち「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｋの下での撮像（状態Ｄｋ）」であったかを判定するためには、（１）Ｄ１とＤ２を比較してＤ１と判定した場合にはカウンタＮ１２を「１」増加し、Ｄ２と判定した場合にはカウンタＮ２１を「１」増加し、（２）Ｄ１とＤ３を比較してＤ１と判定した場合にはカウンタＮ１３を「１」増加し、Ｄ３と判定した場合にはカウンタＮ３１を「１」増加し、（３）Ｄ１とＤ４を比較してＤ１と判定した場合にはカウンタＮ１４を「１」増加し、Ｄ４と判定した場合にはカウンタＮ４１を「１」増加し、（４）Ｄ２とＤ３を比較してＤ２と判定した場合にはカウンタＮ２３を「１」増加し、Ｄ３と判定した場合にはカウンタＮ３２を「１」増加し、（５）Ｄ２とＤ４を比較してＤ２と判定した場合にはカウンタＮ２４を「１」増加し、Ｄ４と判定した場合にはカウンタＮ４２を「１」増加し、（６）Ｄ３とＤ４を比較してＤ３と判定した場合にはカウンタＮ３４を「１」増加し、Ｄ４と判定した場合にはカウンタＮ４３を「１」増加する。

その結果、「あるｈが、すべてのｋ（ｋ＝１〜４。ただし、ｋ＝ｈは除く）に対してＮｈｋ＞Ｎｋｈ」であれば、「光源Ｌｈは他のどの光源Ｌｋとも比較して常にＬｈである」と推測できるという結果が出たことを意味するため、「最終的な光源としてＬｈ」と判定する。もし、そのようなｈがなければ、（Ｎ１２＋Ｎ１３＋Ｎ１４）と（Ｎ２１＋Ｎ２３＋Ｎ２４）と（Ｎ３１＋Ｎ３２＋Ｎ３４）と（Ｎ４１＋Ｎ４２＋Ｎ４３）を計算して、その中で一番大きなものと、２番目に大きなものを選択する。そして、「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものが（Ｎ１２＋Ｎ１３＋Ｎ１４）」であれば、「光源はＬ１である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ１」と判定する。また、「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものが（Ｎ２１＋Ｎ２３＋Ｎ２４）」であれば、「光源はＬ２である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ２」と判定する。また、「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものが（Ｎ３１＋Ｎ３２＋Ｎ３４）」であれば、「光源はＬ３である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ３」と判定する。また、「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものが（Ｎ４１＋Ｎ４２＋Ｎ４３）」であれば、「光源はＬ４である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ４」と判定する。そして、１番目と２番目の差が所望の大きさ以上ない場合は、少なくとも２つの異なる光源（ＬａとＬｂとする）について、「光源はＬａである」と判定した画素の数と、「光源はＬｂである」と判定した画素の数が僅差であったことを意味するため、今回の判定は不能であると判断して、前回結果保持部２７０に保持されている前回の結果を最終的な光源と判定する。

一方、例えば、４種類の光源のうち「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｈ以外の下での撮像（状態Ｄｋ）」であったかを判定するためには、（１）Ｄ１とＤ１以外を比較してＤ１と判定した場合にはカウンタＮ１０を「１」増加し、（２）Ｄ２とＤ２以外を比較してＤ２と判定した場合にはカウンタＮ２０を「１」増加し、（３）Ｄ３とＤ３以外を比較してＤ３と判定した場合にはカウンタＮ３０を「１」増加し、（４）Ｄ４とＤ４以外を比較してＤ４と判定した場合にはカウンタＮ４０を「１」増加する。

その結果、Ｎ１０とＮ２０とＮ３０とＮ４０の中で一番大きなものと、２番目に大きなものを選択する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものがＮ１０」であれば、「光源はＬ１である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ１」と判定する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものがＮ２０」であれば、「光源はＬ２である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ２」と判定する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものがＮ３０」であれば、「光源はＬ３である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ３」と判定する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものがＮ４０」であれば、「光源はＬ４である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ４」と判定する。１番目と２番目の差が所望の大きさ以上ない場合は、少なくとも２つの異なる光源（ＬａとＬｂとする）について、「光源はＬａである」と判定した画素の数と、「光源はＬｂである」と判定した画素の数が僅差であったことを意味するため、今回の判定が不能であると判断して、前回結果保持部２７０に保持されている前回の結果を最終的な光源と判定する。

前回結果保持部２７０は、多数決回路２６０により判定された前回の結果を保持するものである。ここにいう前回とは、時間的な前回を意味するものである。入力画像をモニタリングしている間は例えば１秒に３０回の割合で撮像が行われるため、１／３０秒前の入力画像における結果が前回の結果となる。

多数決回路２６０において判定が不能であると判断された場合には、この前回結果保持部２７０に保持された判定結果、すなわち光源の種類が使用される。なお、電源投入直後の初期状態としては、例えば最も多く使用される「太陽光」を設定しておくことが考えられる。

光源限定部２５０は、内積演算回路２３０および判定回路２４０における処理に対して、対象とすべき光源を限定するものである。この光源限定部２５０は、信号線１９９を介してユーザインターフェース１９０に接続されており、ユーザからの設定指示に基づいて光源の限定を行う。

例えば、光源を特定の種類に限定して光源推定を行わせる光源設定スイッチが設定されている場合には、その設定された内容に応じて光源を限定して内積演算回路２３０および判定回路２４０における処理を行わせる。なお、蛍光灯とＬＥＤの２つの照明は外観が似たような形状のものが多く、現在撮影している場面（特に部屋）にある照明が蛍光灯かＬＥＤかを判断することは困難な場合がある。そのような場合でも、「現在、撮影している場面は、ＬＥＤまたは蛍光灯の下である」という判断をユーザにしてもらうことにより、光源判定の判断は簡略化される。

また、ストロボ動作の有無を指示するストロボスイッチがあれば、その有無により推定すべき光源の種類を変えることができる。ストロボ動作の有無が不明な場合には、太陽光、蛍光灯、白熱灯、ＬＥＤストロボ、ストロボと太陽光の混合した光、ストロボと蛍光灯の混合した光、ストロボと白熱灯の混合した光、ストロボとＬＥＤの混合した光｝の９種類の光源を考慮しなければならないが、ストロボ動作の有無が分かっていれば以下のように考慮すべき光源を絞ることができる。すなわち、ストロボ動作が無かった場合には光源として｛太陽光、蛍光灯、白熱灯、ＬＥＤ｝の４種類の光源を考慮すればよい。また、ストロボ動作が有った場合には｛ストロボ、ストロボと太陽光の混合した光、ストロボと蛍光灯の混合した光、ストロボと白熱灯の混合した光、ストロボとＬＥＤの混合した光｝の５種類の光源を考慮すればよい。

なお、ここでは、画面全体における有効画素について１画素ずつ光源を判定して、その結果をカウントすることにより、多数決処理を行う例について説明したが、本発明はこれに限定されるものではない。例えば、有効画素の１画素ずつについて推定結果の確度を求めて、これを累加算することにより、最終的に光源を推定してもよい。以下、２つの例を挙げて説明する。

例えば、４種類の光源のうち「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｋの下での撮像（状態Ｄｋ）」であったかを確度に基づいて判定するためには、内積演算回路２３０において得られた６個のスカラー値のそれぞれについて、判定回路２４０は、Ｐ（ｙ _０ ｜Ｄ１）×Ｐ（Ｄ１）−Ｐ（ｙ _０ ｜Ｄ２）×Ｐ（Ｄ２）を求める。これにより、（１）「光源Ｌ２ではなく光源Ｌ１である」という推定結果の確度、（２）「光源Ｌ３ではなく光源Ｌ１である」という推定結果の確度、（３）「光源Ｌ４ではなく光源Ｌ１である」という推定結果の確度、（４）「光源Ｌ３ではなく光源Ｌ２である」という推定結果の確度、（５）「光源Ｌ４ではなく光源Ｌ２である」という推定結果の確度、（６）「光源Ｌ４ではなく光源Ｌ３である」という推定結果の確度が得られる。

そして、（１）「光源Ｌ２ではなく光源Ｌ１である」という推定結果の確度が「０」以上であった画素についてその値を累加算してその結果をＮ１２'とし、その確度が「０」未満であった画素についてその値を「−１」倍したものを累加算してその結果をＮ２１'とする。また、（２）「光源Ｌ３ではなく光源Ｌ１である」という推定結果の確度が「０」以上であった画素についてその値を累加算してその結果をＮ１３'とし、その確度が「０」未満であった画素についてその値を「−１」倍したものを累加算してその結果をＮ３１'とする。また、（３）「光源Ｌ４ではなく光源Ｌ１である」という推定結果の確度が「０」以上であった画素についてその値を累加算してその結果をＮ１４'とし、その確度が「０」未満であった画素についてその値を「−１」倍したものを累加算してその結果をＮ４１'とする。また、（４）「光源Ｌ３ではなく光源Ｌ２である」という推定結果の確度が「０」以上であった画素についてその値を累加算してその結果をＮ２３'とし、その確度が「０」未満であった画素についてその値を「−１」倍したものを累加算してその結果をＮ３２'とする。また、（５）「光源Ｌ４ではなく光源Ｌ２である」という推定結果の確度が「０」以上であった画素についてその値を累加算してその結果をＮ２４'とし、その確度が「０」未満であった画素についてその値を「−１」倍したものを累加算してその結果をＮ４２'とする。また、（６）「光源Ｌ４ではなく光源Ｌ３である」という推定結果の確度が「０」以上であった画素についてその値を累加算してその結果をＮ３４'とし、その確度が「０」未満であった画素についてその値を「−１」倍したものを累加算してその結果をＮ４３'とする。

その結果、「あるｈが、すべてのｋ（ｋ＝１〜４、ただし、ｋ＝ｈは除く）に対してＮｈｋ'＞Ｎｋｈ'」であれば、「光源Ｌｈは他のどの光源Ｌｋとも比較して常にＬｈである」と推測できるという結果が出たことを意味するため、「最終的な光源としてＬｈ」と判定する。もし、そのようなｈがなければ、（Ｎ１２'＋Ｎ１３'＋Ｎ１４'）と（Ｎ２１'＋Ｎ２３'＋Ｎ２４'）と（Ｎ３１'＋Ｎ３２'＋Ｎ３４'）と（Ｎ４１'＋Ｎ４２'＋Ｎ４３'）を計算して、その中で一番大きなものと、２番目に大きなものを選択する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものが（Ｎ１２'＋Ｎ１３'＋Ｎ１４'）」であれば、「光源はＬ１である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ１」と判定する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものが（Ｎ２１'＋Ｎ２３'＋Ｎ２４'）」であれば、「光源はＬ２である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ２」と判定する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものが（Ｎ３１'＋Ｎ３２'＋Ｎ３４'）」であれば、「光源はＬ３である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ３」と判定する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものが（Ｎ４１'＋Ｎ４２'＋Ｎ４３'）」であれば、「光源はＬ４である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ４」と判定する。１番目と２番目の差が所望の大きさ以上ない場合は、少なくとも２つの異なる光源（ＬａとＬｂとする）について、「光源はＬａである」と判定した画素の数と、「光源はＬｂである」と判定した画素の数が僅差であったことを意味するため、今回の判定が不能であると判断して、前回結果保持部２７０に保持されている前回の結果を最終的な光源と判定する。

一方、例えば、４種類の光源のうち「光源Ｌｈの下での撮像（状態Ｄｈ）」であったか「光源Ｌｈ以外の下での撮像（状態Ｄｋ）」であったかを判定するためには、内積演算回路２３０において得られた４個のスカラー値のそれぞれについて、判定回路２４０は、Ｐ（ｙ _０ ｜Ｄ１）×Ｐ（Ｄ１）−Ｐ（ｙ _０ ｜Ｄ２）×Ｐ（Ｄ２）を求める。これにより、（１）「光源Ｌ１である」という推定結果の確度、（２）「光源Ｌ２である」という推定結果の確度、（３）「光源Ｌ３である」という推定結果の確度、（４）「光源Ｌ４である」という推定結果の確度が得られる。

そして、（１）「光源Ｌ１である」という推定結果の確度を累加算してその結果をＮ１０'とする。また、（２）「光源Ｌ２である」という推定結果の確度を累加算してその結果をＮ２０'とする。また、（３）「光源Ｌ３である」という推定結果の確度を累加算してその結果をＮ３０'とする。また、（４）「光源Ｌ４である」という推定結果の確度を累加算してその結果をＮ４０'とする。

その結果、Ｎ１０'、Ｎ２０' 、Ｎ３０'およびＮ４０'の中で一番大きなものと、２番目に大きなものを選択して、以下について判定する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものがＮ１０'」であれば、「光源はＬ１である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ１」と判定する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものがＮ２０'」であれば、「光源はＬ２である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ２」と判定する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものがＮ３０'」であれば、「光源はＬ３である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ３」と判定する。「１番目と２番目の差が所望の大きさ以上あり」、かつ、「一番大きなものがＮ４０'」であれば、「光源はＬ４である」と判定した画素の数がかなり多かったことを意味するため、「最終的な光源としてＬ４」と判定する。１番目と２番目の差が所望の大きさ以上ない場合は、少なくとも２つの異なる光源（ＬａとＬｂとする）について、「光源はＬａである」と判定した画素の数と、「光源はＬｂである」と判定した画素の数が僅差であったことを意味するため、今回の判定が不能であると判断して、前回結果保持部２７０に保持されている前回の結果を最終的な光源と判定する。

図７は、本発明の実施の形態におけるホワイトバランスゲインおよび色補正行列を保持するルックアップテーブルの一例を示す図である。画像処理パラメータ設定部３００は、光源推定回路２００によって推定された光源に応じたホワイトバランスゲインおよび色補正行列を、それぞれホワイトバランス回路１４０および色再現処理回路１５０に供給する。その際、画像処理パラメータ設定部３００は、画像処理パラメータ設定部３００の内部または外部に予め用意しておいたルックアップテーブルから光源に対応するアドレスに保持されているパラメータを読み出す。

図７（ａ）は、ホワイトバランスゲインのルックアップテーブルであり、光源Ｌ１乃至Ｌ４のそれぞれについて、１組ずつＲＧＢのホワイトバランスゲインｇ_ｒ、ｇ_ｇ、ｇ_ｂを保持している。画像処理パラメータ設定部３００は、光源推定回路２００によって推定された光源に従って、該当するホワイトバランスゲインの組を読み出して、信号線３０８を介してホワイトバランス回路１４０に供給する。

ホワイトバランスゲインは、光源が太陽光、蛍光灯、白熱灯などの場合については既知であり、推定された光源が太陽光、蛍光灯、白熱灯などであれば、それらを用いることができる。また、推定された光源がＬＥＤの場合には、太陽光と同じホワイトバランスゲインを利用するものとする。これにより、光源がＬＥＤの場合にも他の光源と同様に対応することができる。

図７（ｂ）は、色補正行列のルックアップテーブルであり、光源Ｌ１乃至Ｌ４のそれぞれについて、１組ずつ３×３の９要素からなる色補正行列Ｍ_１１乃至Ｍ_３３を保持している。画像処理パラメータ設定部３００は、光源推定回路２００によって推定された光源に従って、該当する色補正行列の組を読み出して、信号線３０９を介して色再現処理回路１５０に供給する。

色補正行列は、光源が太陽光、蛍光灯、白熱灯などの場合については既知であり、推定された光源が太陽光、蛍光灯、白熱灯などであれば、それらを用いることができる。また、推定された光源がＬＥＤの場合には、以下のように予め用意することができる。

ここでは、マクベスチャートを用いた方法を考える。マクベスチャートは２４色からなるカラーチャート（色票）であり、各色票は、世の中のあらゆる物体の分光反射率を集め、それを主成分分析することで求めた各主成分を分光反射率に持つ。そのうち２０色が有彩色となっている。マクベスチャートを撮影したときのカメラ出力の色が、人間の目で見た色と等しいと感じることができれば、正しいホワイトバランスと色再現ができているとみなすことができる。そこで、ＬＥＤ照明下にマクベスチャートが存在すると仮定すると、式１から次式が得られる。

上式にホワイトバランスおよび色補正行列を掛け合わせると次式（式１３）になる。なお、ここでは、ＬＥＤの色補正行列であることを強調するため、色補正行列をＭ_１１'乃至Ｍ_３３'により表している。

上式は、理論上、人間の目の出力を表す次式（式１４）に一致することになる。

したがって、マクベスチャートにおける全ての無彩色ｊ（ｊ＝１〜２０）について、「式１３＝式１４」となる「Ｍ_１１'乃至Ｍ_３３ 'の要素より成る３×３行列」を求めればよい。なお、式１３および式１４において、Ｍ_１１'乃至Ｍ_３３ '以外のデータは、既知である。未知数は９個であり、観測データは２０個あるので、実際には「全てのｊ（ｊ＝１〜２０）について、式１３＝式１４」とすることは困難であり、「（式１３−式１４）の二乗」が最小となるＭ_１１'乃至Ｍ_３３ 'を求めることになる。すなわち、誤差最小二乗法によりＭ_１１'乃至Ｍ_３３ 'を確定させることになる。このようにして求めたＭ_１１'乃至Ｍ_３３ 'の要素より成る３×３行列を「ＬＥＤに対応する色補正行列」として図７（ｂ）のルックアップテーブルに予め格納しておく。

図８は、本発明の実施の形態における撮像装置１００の処理手順の一例を示す図である。電源が投入されると、（図示しない）レンズを介して撮像素子１１０の受光した光が入力画像として取り込まれるようになる。

入力画像は、撮像素子１１０によって光電変換されて、電気信号（電圧値）として出力される（ステップＳ９１１）。この電気信号はＡ／Ｄ変換回路１２０によってアナログ信号からデジタル信号に変換される（ステップＳ９１２）。そして、このデジタル信号は、デモザイクブロック１３０によってデモザイク処理が施される（ステップＳ９１３）。その結果、ＲＢＧＥ信号が光源推定回路２００に供給され、ＲＧＢ信号がホワイトバランス回路１４０に供給される。

光源推定回路２００では、ＲＧＢＥ信号に基づいてその入力画像が撮像された際の光源が推定される（ステップＳ９４０）。この光源推定処理によって推定された光源の種類は、画像処理パラメータ設定部３００に供給される。

画像処理パラメータ設定部３００は、推定された光源の種類に基づいて、画像処理のパラメータとしてホワイトバランスゲインおよび色補正行列をルックアップテーブルから読み出す（ステップＳ９１５）。ホワイトバランスゲインはホワイトバランス回路１４０に供給され、色補正行列は色再現処理回路１５０に供給される。

ホワイトバランス回路１４０は、デモザイクブロック１３０から供給されたＲＧＢの画素データに、画像処理パラメータ設定部３００から供給されたホワイトバランスゲインの対応するゲインを掛け合わせてホワイトバランス処理を行う（ステップＳ９１６）。また、色再現処理回路１５０は、ホワイトバランス回路１４０によってホワイトバランス処理が施されたＲＧＢの画素データに、画像処理パラメータ設定部３００から供給された色補正行列を掛け合わせて色再現処理を行う（ステップＳ９１７）。この色再現処理により、画素データはＸＹＺ空間上の１点となる。

信号変換処理回路１６０は、ＸＹＺ空間からＹＣＣ形式に変換を行う（ステップＳ９１８）。また、ガンマ補正回路１７０は、表示部１８１などのガンマ値に応じたガンマ補正を行う（ステップＳ９１９）。

このような処理を経た入力画像は、ユーザインターフェース１９０におけるシャッターボタンが押下されていない状態であれば表示部１８１にモニター画像として出力される（ステップＳ９２２）。一方、シャッターボタンが押下されるとその際の入力画像が画像データとしてデータ保持部１８２に記録される（ステップＳ９２３）。これらの処理は電源がオフになるまで繰り返される（ステップＳ９２４）。

図９は、本発明の実施の形態における光源推定処理（ステップＳ９４０）の処理手順の一例を示す図である。

デモザイクブロック１３０から供給されたＲＧＢＥ信号は、有効画素選択回路２１０によってゼロ近傍や最大値近傍の極端な値が除去される（ステップＳ９４１）。そして、内積演算回路２３０において、式８による内積演算が行われる（ステップＳ９４２）。これにより、入力画像の画素データから軸ωに射影される座標が得られる。

そして、判定回路２４０において、軸ωに射影された座標に基づいて、式１１または１２に該当するか否かが判断される（ステップＳ９４３）。式１１に該当する場合には状態がＤ１であり、式１２に該当する場合には状態がＤ２であり、何れにも該当しない場合には判定不能となる。

このようにして判定された結果から、多数決回路２６０において入力画像全体の有効画素について多数決が行われ、最終的に光源が推定される（ステップＳ９４４）。

なお、上述のように、ステップＳ９４３において、軸ωに射影された座標における状態の確度を算出して、これを累加算するようにしてもよい。

このように、本発明の実施の形態によれば、入力画像の画素データを内積演算回路２３０によって一次元の軸上に射影することにより、入力画像の撮像された光源を判定回路２４０において推定することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における撮像装置１００の一構成例を示す図である。 本発明の実施の形態における撮像素子１１０の一構成例を示す図である。 カラー画像の生成モデルを示す図である。 本発明の実施の形態における線形判別法による光源判定の一例を示す図である。 本発明の実施の形態における光源推定の前処理の一例を示す図である。 本発明の実施の形態における光源推定回路２００の一構成例を示す図である。 本発明の実施の形態におけるホワイトバランスゲインおよび色補正行列を保持するルックアップテーブルの一例を示す図である。 本発明の実施の形態における撮像装置１００の処理手順の一例を示す図である。 本発明の実施の形態における光源推定処理の処理手順の一例を示す図である。

符号の説明

１０ 光源
２０ 物体
３０ 撮像素子
１００ 撮像装置
１１０ 撮像素子
１２０ Ａ／Ｄ変換回路
１３０ デモザイクブロック
１４０ ホワイトバランス回路
１５０ 色再現処理回路
１６０ 信号変換処理回路
１７０ ガンマ補正回路
１８１ 表示部
１８２ データ保持部
１９０ ユーザインターフェース
２００ 光源推定回路
２１０ 有効画素選択回路
２２０ 光源推定パラメータ保持部
２３０ 内積演算回路
２４０ 判定回路
２５０ 光源限定部
２６０ 多数決回路
２７０ 前回結果保持部
３００ 画像処理パラメータ設定部

Claims (18)

1. 入力画像の撮像の際の光源の種類を推定する光源推定装置において、
   第１または第２の光源の下で撮像された画素データについて所定の空間における前記第１または第２の光源下で撮影された画素データの分布を保持する分布保持手段と、
   前記入力画像の画素データについて前記空間における座標を決定する座標決定手段と、
   前記座標が前記第１または第２の光源下で撮影された画素データの何れの分布に属するかを判定する分布判定手段と
   を具備し、
   前記空間は、前記第１の光源の下で撮像された画素データのクラスにおける標本平均から前記第２の光源の下で撮像された画素データのクラスにおける標本平均を減じた値とこれらクラスのクラス内散布行列の逆行列との積により表される１次元空間であり、
   前記分布は画素データを前記１次元空間に射影することによって得られる分布である
   光源推定装置。
2. 前記入力画像の複数の画素データについて前記座標が前記第１または第２の光源下で撮影された画素データの何れの分布に属するかの判定結果から多数決により光源を推定する多数決手段をさらに具備する請求項１記載の光源推定装置。
3. 前記第１の光源としてＬＥＤを含む請求項１記載の光源推定装置。
4. 前記第１の光源は複数種類の光源の何れか１種類であり、
   前記第２の光源は前記複数種類の光源のうち前記第１の光源に該当しない何れか１種類である
   請求項１記載の光源推定装置。
5. 複数種類の光源としてＬＥＤを含む請求項４記載の光源推定装置。
6. 前記第１の光源は太陽光、蛍光灯、白熱灯またはＬＥＤの４種類の光源の何れか１種類であり、
   前記第２の光源は前記４種類の光源のうち前記第１の光源に該当しない何れか１種類である
   請求項４記載の光源推定装置。
7. 前記第１の光源は複数種類の光源の何れか１種類であり、
   前記第２の光源は前記複数種類の光源のうち前記第１の光源に該当しない他の複数種類である
   請求項１記載の光源推定装置。
8. 複数種類の光源としてＬＥＤを含む請求項７記載の光源推定装置。
9. 前記第１の光源は太陽光、蛍光灯、白熱灯またはＬＥＤの４種類の光源の何れか１種類であり、
   前記第２の光源は前記複数種類の光源のうち前記第１の光源に該当しない他の３種類である
   請求項７記載の光源推定装置。
10. 入力画像を撮像する撮像手段と、
    第１または第２の光源の下で撮像された画素データについて所定の空間における前記第１または第２の光源下で撮影された画素データの分布を保持する分布保持手段と、
    前記入力画像の画素データについて前記空間における座標を決定する座標決定手段と、
    前記座標が前記第１または第２の光源下で撮影された画素データの何れの分布に属するかを判定する分布判定手段と、
    前記判定の結果に応じて前記入力画像のホワイトバランス処理を行うホワイトバランス処理手段と、
    前記判定の結果に応じて前記ホワイトバランス処理の出力に対して色再現処理を行う色再現処理手段と
    を具備し、
    前記空間は、前記第１の光源の下で撮像された画素データのクラスにおける標本平均から前記第２の光源の下で撮像された画素データのクラスにおける標本平均を減じた値とこれらクラスのクラス内散布行列の逆行列との積により表される１次元空間であり、
    前記分布は画素データを前記１次元空間に射影することによって得られる分布である
    撮像装置。
11. 前記第１の光源を特定の種類の光源に限定して前記分布判定手段に前記判定を行わせる光源限定手段をさらに具備する請求項１０記載の撮像装置。
12. 前記入力画像の撮像の際にストロボ発光が行われたか否かを検出するストロボ発光検出手段をさらに具備し、
    前記光源限定手段は、前記ストロボ発光の検出結果に応じて前記分布判定手段に前記判定を行わせる請求項１１記載の撮像装置。
13. 前記第１の光源は複数種類の光源の何れか１種類であり、
    前記第２の光源は前記複数種類の光源のうち前記第１の光源に該当しない他の種類である
    請求項１０記載の撮像装置。
14. 前記複数種類の光源のうち特定の種類の光源に限定して前記分布判定手段に前記判定を行わせる光源限定手段をさらに具備する請求項１３記載の撮像装置。
15. 前記光源限定手段は、前記複数種類の光源のうち蛍光灯およびＬＥＤに限定して前記分布判定手段に前記判定を行わせる請求項１４記載の撮像装置。
16. 前記ホワイトバランス処理手段は、前記判定の結果として光源がＬＥＤである旨判定された場合には太陽光のホワイトバランスゲインを利用する
    請求項１０記載の撮像装置。
17. 第１または第２の光源の下で撮像された画素データについて所定の空間における前記第１または第２の光源下で撮影された画素データの分布を保持する分布保持手段を備えて入力画像の撮像の際の光源の種類を推定する光源推定装置において、
    前記入力画像の画素データについて前記空間における座標を決定する手順と、
    前記座標が前記第１または第２の光源下で撮影された画素データの何れの分布に属するかを判定する手順と
    を具備し、
    前記空間は、前記第１の光源の下で撮像された画素データのクラスにおける標本平均から前記第２の光源の下で撮像された画素データのクラスにおける標本平均を減じた値とこれらクラスのクラス内散布行列の逆行列との積により表される１次元空間であり、
    前記分布は画素データを前記１次元空間に射影することによって得られる分布である
    光源推定方法。
18. 第１または第２の光源の下で撮像された画素データについて所定の空間における前記第１または第２の光源下で撮影された画素データの分布を保持する分布保持手段を備えて入力画像の撮像の際の光源の種類を推定する光源推定装置において、
    前記入力画像の画素データについて前記空間における座標を決定する手順と、
    前記座標が前記第１または第２の光源下で撮影された画素データの何れの分布に属するかを判定する手順と
    を前記光源推定装置に実行させるプログラムであって、
    前記空間は、前記第１の光源の下で撮像された画素データのクラスにおける標本平均から前記第２の光源の下で撮像された画素データのクラスにおける標本平均を減じた値とこれらクラスのクラス内散布行列の逆行列との積により表される１次元空間であり、
    前記分布は画素データを前記１次元空間に射影することによって得られる分布である
    プログラム。

Images