JP6508889B2 - 撮像装置、撮像装置の制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法及びプログラムに関する。

人間が知覚できる光は、概ね、約４００ｎｍ〜６８０ｎｍの波長範囲の光（以下「可視光」という）である。そのため、デジタルカメラやデジタルビデオカメラ等の撮像装置では、可視光のみを取り込むために、波長が４００ｎｍ以下の紫外光を除去するフィルタや波長が６８０ｎｍ以上の赤外光を除去するフィルタ等を撮像素子の前面側の撮像光学系に配置している。

しかし、測光センサとして赤外光域に感度を持たせたＣＣＤ或いはＣＭＯＳ等の撮像素子を用いて波長が６８０ｎｍ以上の赤外光域の情報を取り込むことによって、機能の追加や顔検知や被写体追跡等の被写体認識の低輝度限界の拡大が可能になる。

例えば、デジタルカメラの測光用センサとして赤外光と可視光に感度を持つ受光素子を用い、可視光カットフィルタを配置した受光面からの出力を用いて赤外リモコン信号の受信や光源判定を行う技術が提案されている（特許文献１参照）。この特許文献１は、２つの受光面（可視光カットフィルタが配置された面と配置されていない面）の出力の差分を取ることによって、可視光にのみ感度を持たせた出力を用いて測光演算を行う技術を提案している。また、可視光と赤外光をそれぞれ検知する２つの測光センサを用い、焦点検出センサにより検知されたデフォーカス量をこれら２つの測光センサからの出力差に応じて補正する技術が提案されている（特許文献２参照）。

特開２００２−２０２５４１号公報 特開２００６−０９８７７１号公報

しかし、測光センサとして撮像素子を用いて被写体認識を行う場合、低輝度限界を延ばすためには、可視光と赤外光とを含む波長帯域に感度を持つ受光素子の出力と赤外光の波長帯域に感度を持つ受光素子の出力との差分を取らないことが望ましい。また、赤外光域の差分を取る色空間と、赤外光域の差分を取らない色空間のそれぞれで光源色を検知する演算を行うと、処理時間が長くなってしまうという問題がある。

本発明は、測光センサを用いて検出した２つ以上の各色空間での光源色を検知する演算に要する時間を短縮することができる技術を提供することを目的とする。

本発明に係る第１の撮像装置は、赤外光域および可視光域における分光特性の異なる複数の画素からなる画素群を有するセンサを用いて前記画素群ごとに画像情報を取得する取得手段と、前記取得手段により取得された画像情報に対して前記画素群ごとに所定の赤外光減算処理を行って可視光域の画像情報を生成する減算手段と、前記減算手段により生成された可視光域の画像情報を用いて可視光域における光源色を算出する算出手段と、前記算出手段で算出された可視光域における光源色を赤外光域および可視光域における光源色に変換する変換手段と、前記変換手段で変換された赤外光域および可視光域における光源色を用いて前記取得手段により取得され前記画像情報を現像する現像手段と、を備えることを特徴とする。

本発明に係る第３の撮像装置は、赤外光域および可視光域における分光特性の異なる複数の画素からなる画素群を有するセンサを用いて前記画素群ごとに画像情報を取得する取得手段と、前記取得手段により取得された画像情報に対して前記画素群ごとに所定の赤外光減算処理を行って可視光域の画像情報を生成する減算手段と、前記取得手段により取得された画像情報を用いて赤外光域および可視光域における光源色を算出する算出手段と、前記算出手段で算出された赤外光域および可視光域における光源色を可視光域における光源色に変換する変換手段と、前記変換手段で変換された可視光域における光源色を用いて前記減算手段により生成された前記画像情報を現像する現像手段と、を備えることを特徴とする。

本発明によれば、測光センサを用いて検出した２つ以上の各色空間での光源色を検知する演算に要する時間を短縮することができる。

本発明の実施形態に係るデジタルカメラの概略構成を示す図である。 図１のデジタルカメラでの撮影動作のフローチャートである。 図２のステップＳ２０２（測光処理）の詳細を示すフローチャートである。 図１のデジタルカメラが備える測光センサの画素配列を示す平面図である。 図１のデジタルカメラが備える測光センサが有するカラーフィルタの光学特性を示す図である。 図１のデジタルカメラが備える測光センサが有するカラーフィルタの太陽光下での分光特性を示す図である。 図３のステップＳ３０８，Ｓ３１１で用いる色変換処理に用いる色変換テーブルの例を示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、本発明に係る撮像装置として、所謂、デジタルカメラを取り上げることとする。但し、本発明はこれに限定されるものではなく、ＣＭＯＳ或いはＣＣＤ等の撮像素子による撮影機能を備える各種の電子機器に適用することができる。例えば、本発明に係る撮像装置は、カメラ機能付き携帯型通信端末、カメラ機能付き携帯型コンピュータ（タブレット端末）、カメラ機能付き携帯ゲーム機等であってもよい。

図１は、本発明の実施形態に係るデジタルカメラ１００の概略構成を示す図である。デジタルカメラ１００は、大略的に、カメラ本体１００Ａ及びレンズ鏡筒１００Ｂから構成される。レンズ鏡筒１００Ｂは、カメラ本体１００Ａと一体となっていてもよいし、カメラ本体１００Ａに対して着脱自在であってもよい。

カメラ本体１００Ａは、ＣＰＵ１０１、メモリ１０２、撮影用撮像素子１０３、シャッタ１０４、ハーフミラー１０５、ピント板１０６及びＡＥ（自動露出）センサ１０７を備える。また、カメラ本体１００Ａは、ペンタプリズム１０８、光学ファインダ１０９、ＡＦミラー１１０及びＡＦ（自動合焦）センサ１１１を備える。レンズ鏡筒１００Ｂは、複数のレンズ群１２１と、鏡筒内ＣＰＵ（以下「ＬＰＵ」と記す）１２２とを備える。

ＣＰＵ１０１は、デジタルカメラ１００の各部を制御するマイクロコンピュータである。メモリ１０２は、ＣＰＵ１０１が実行するプログラムや変数等を格納するＲＯＭと、ＣＰＵ１０１がプログラムを展開する作業領域や一時的に画像データ等を記憶するＲＡＭを含む。ＬＰＵ１２２は、被写体に対する距離情報等をＣＰＵ１０１へ送信する。

撮影用撮像素子１０３は、赤外カットフィルタやローパスフィルタ等を含むＣＣＤセンサ或いはＣＭＯＳセンサ等のイメージセンサである。シャッタ１０４は、非撮影時には閉じて撮影用撮像素子１０３を遮光し、撮影時には開いてレンズ鏡筒１００Ｂを通過した光束を撮影用撮像素子１０３へ導く。

ハーフミラー１０５は、非撮影時にレンズ群１２１を通して入射する光の一部を反射して、ピント板１０６に光学像を結像させる。ＡＥセンサ１０７は、ＣＣＤ或いはＣＯＭＳ等の撮像素子からなる測光センサと、測光センサからの出力信号を用いて、測光演算と、顔検知演算や追跡演算等の被写体認識処理とを行う不図示の回路から構成される。測光センサは、赤外光域および可視光域における分光特性の異なる複数の画素（Ｒ（赤），Ｇ（緑），Ｂ（青），ＩＲ（赤外））からなる画素群を有しており（適宜、図４参照）、その詳細については後述する。

ペンタプリズム１０８は、ピント板１０６の被写体像をＡＥセンサ１０７と光学ファインダ１０９へ導く。なお、ＡＥセンサ１０７は、ペンタプリズム１０８を介してピント板１０６に結像された被写体像を斜め方向の位置から見ている。ＡＦミラー１１０は、レンズ鏡筒１００Ｂから入射してハーフミラー１０５を通過した光束の一部をＡＦセンサ１１１へ導く。ＡＦセンサ１１１は、受光した光束に基づいて被写体に対する合焦のための測距を行う。

なお、図１には不図示であるが、デジタルカメラ１００は、電源スイッチと、シャッタスイッチとを備える。シャッタスイッチは、半押し（第１ストローク）でオンするスイッチＳＷ１と、全押し（第２ストローク）でオンするスイッチＳＷ２とを備える。スイッチＳＷ１がオンすることで、ＡＥセンサ１０７による露出制御とＡＦセンサ１１１による自動合焦制御が実行される。また、スイッチＳＷ２がオンすることで、本撮影処理が行われる。本撮影処理では、撮影用撮像素子１０３に結像した光学像は、撮影用撮像素子１０３によってアナログ電気信号に変換され、アナログ電気信号が不図示の画像処理手段によりデジタル画像データに変換されて、不図示のメモリカード等の記憶手段に記憶される。

次に、デジタルカメラ１００による撮影動作について説明する。図２は、デジタルカメラ１００での撮影動作のフローチャートである。図２に示す各処理は、ＣＰＵ１０１がＲＯＭに格納されたプログラムをＲＡＭに展開することにより、デジタルカメラ１００の各構成要素の動作を制御することにより実現される。なお、図２のフローチャートに示す処理の開始に先立って、デジタルカメラ１００は、電源がオンされて撮影スタンバイの状態になっているものとする。

先ず、ステップＳ２０１においてＣＰＵ１０１は、シャッタスイッチのスイッチＳＷ１がオンされたか否かを判定する。ＣＰＵ１０１は、スイッチＳＷ１がオンされた場合（Ｓ２０１でＹＥＳ）、処理をステップＳ２０２へ進め、スイッチＳＷ１がオンされていない場合（Ｓ２０１でＮＯ）、ステップＳ２０１の判定を繰り返す（つまり、スイッチＳＷ１がオンされるまで待機する）。

ステップＳ２０２においてＣＰＵ１０１は、ＡＥセンサ１０７を駆動して、測光処理を行う。なお、ステップＳ２０２の測光処理の詳細については、図３を参照して後述する。続くステップＳ２０３においてＣＰＵ１０１は、周知の位相差方式によるＡＦ処理を行う。例えば、ＡＦ評価値を算出し、ＬＰＵ１２２を通じてレンズ鏡筒１００Ｂが備えるレンズ群１２１に含まれるフォーカスレンズを駆動させることにより、ＡＦ評価値が最大となる位置にフォーカスレンズを移動させる。

ステップＳ２０４においてＣＰＵ１０１は、シャッタスイッチのスイッチＳＷ２がオンされたか否かを判定する。ＣＰＵ１０１は、スイッチＳＷ２がオンされた場合（Ｓ２０１でＹＥＳ）、処理をステップＳ２０６へ進め、スイッチＳＷ２がオンされていない場合（Ｓ２０４でＮＯ）、処理をステップＳ２０５へ進める。

ステップＳ２０５においてＣＰＵ１０１は、スイッチＳＷ１がオンのままか否かを判定する。ＣＰＵ１０１は、スイッチＳＷ１がオンのままである場合（Ｓ２０５でＹＥＳ）、処理をステップＳ２０２へ戻し、スイッチＳＷ１がオフになっている場合（Ｓ２０５でＮＯ）、処理をステップＳ２０１へ戻す。一方、ステップＳ２０６においてＣＰＵ１０１は、ステップＳ２０２での測光処理により決定された露出制御値に基づいて、本撮影を実行する。図２のフローチャートではステップＳ２０６の本撮影処理の終了により処理終了となる。但し、実際の撮影では、処理はステップＳ２０１に戻されて次に撮影準備に入り、デジタルカメラ１００の電源がオフされるまで継続してステップＳ２０１の判定が行われることになる。

図３は、図２のステップＳ２０２の測光処理の詳細を示すフローチャートである。ステップＳ３０１においてＣＰＵ１０１は、ＡＥセンサ１０７が備える測光センサの蓄積時間（Ｔｖ）を決定し、測光用蓄積処理を行って、Ｒ（赤），Ｇ（緑），Ｂ（青），ＩＲ（赤外）の画像データを生成する。

図４は、ＡＥセンサ１０７が備える測光センサの画素配列を示す平面図である。ここでは、測光センサは、Ｒ，Ｇ，Ｂ，ＩＲの各画素が縦にＭ列、横にＮ行で、合計Ｍ×Ｎ個の画素がベイヤー配列されたＣＭＯＳであるとする。

続くステップＳ３０２においてＣＰＵ１０１は、１つずつのＲ，Ｇ，Ｂ，ＩＲの画素を１組の画素群とし、各画素群について下記の式１〜式３による赤外光減算処理を行う。ここで、例えば、ｋｒ＝１．０，ｋｇ＝０．３，ｋｂ＝０．０とする。

ステップＳ３０３においてＣＰＵ１０１は、ステップＳ３０２で算出したＲ’，Ｇ’，Ｂ’を所定のエリア毎に平均し、エリア毎の平均値Ｒａｖ’、Ｇａｖ’、Ｂａｖ’を算出する。なお、エリアの大きさは任意であり、平均値を算出せずに次のステップへ進んでもよい。また、ステップＳ３０２とステップＳ３０３の処理を逆の順序で行ってもよい。つまり、エリア毎に平均値の画像データを算出した後に赤外光減算処理を行うことで、平均値Ｒａｖ’、Ｇａｖ’、Ｂａｖ’を算出してもよい。

ステップＳ３０４においてＣＰＵ１０１は、ステップＳ３０２で算出したＲ’，Ｇ’，Ｂ’又はステップＳ３０３で算出した平均値Ｒａｖ’，Ｇａｖ’，Ｂａｖ’を用いて既知の光源判定処理を行う。これにより、赤外光減算後の色空間における光源色Ｒ’（ｗｈｉｔｅ）、Ｇ’（ｗｈｉｔｅ）、Ｂ’（ｗｈｉｔｅ）が算出される。

ステップＳ３０５においてＣＰＵ１０１は、ステップＳ３０３で算出した平均値Ｒａｖ’，Ｇａｖ’，Ｂａｖ’とステップＳ３０４で算出した光源色Ｒ’（ｗｈｉｔｅ），Ｇ’（ｗｈｉｔｅ），Ｂ’（ｗｈｉｔｅ）を用いて特定色検出処理を行う。ここでは、光源色Ｒ’（ｗｈｉｔｅ），Ｇ’（ｗｈｉｔｅ），Ｂ’（ｗｈｉｔｅ）を用いて現像を行った後、エリア毎の平均値Ｒａｖ’，Ｇａｖ’，Ｂａｖ’が肌色等の特定の色を有しているか否かを検出する。このような特定色を検出した結果は、ステップＳ２０３のＡＦ処理や後のステップＳ３１４の測光処理等において、特定色を有する領域に対してフォーカスを合わせるために用いられる。

ステップＳ３０６においてＣＰＵ１０１は、追跡処理を行うか否かを判定する。ＣＰＵ１０１は、追跡処理を行う場合（Ｓ３０６でＹＥＳ）、処理をステップＳ３０７へ進め、追跡処理を行わない場合（Ｓ３０６でＮＯ）、処理をステップＳ３１１へ進める。なお、ステップＳ３０６の判定は、デジタルカメラ１００に設定されているＡＦモードに従って行われる。例えば、ＣＰＵ１０１は、認識した被写体を連続して追跡するサーボＡＦモードや顔にピントを合わせ続ける顔優先ＡＦモードに設定され、後のステップＳ３１５の次回追跡対象認識処理にてテンプレートが設定された場合に、追跡処理を開始すると判定する。

ステップＳ３０７においてＣＰＵ１０１は、後のステップＳ３１０の追跡処理のために、現像に用いる光源情報を更新するか否かを判定する。ＣＰＵ１０１は、光源情報を更新する場合（Ｓ３０７でＹＥＳ）、処理をステップＳ３０８へ進め、光源情報を更新しない場合（Ｓ３０７でＮＯ）、処理をステップＳ３０９へ進める。なお、ステップＳ３０７での判定方法の詳細については後述する。

ステップＳ３０８においてＣＰＵ１０１は、後のステップＳ３１０の追跡処理のための色変換処理を行う。ここでは、ステップＳ３０４で算出した赤外光減算後の色空間における光源色Ｒ’（ｗｈｉｔｅ），Ｇ’（ｗｈｉｔｅ），Ｂ’（ｗｈｉｔｅ）を色変換し、赤外光減算前の色空間における光源色Ｒ（ｗｈｉｔｅ），Ｇ（ｗｈｉｔｅ），Ｂ（ｗｈｉｔｅ）を算出する。なお、ステップＳ３０８での色変換処理の詳細については後述する。

ステップＳ３０９においてＣＰＵ１０１は、後のステップＳ３１０の追跡処理のための現像処理を行う。ここでは、ステップＳ３０８で算出した赤外光減算前の色空間における光源色Ｒ（ｗｈｉｔｅ），Ｇ（ｗｈｉｔｅ），Ｂ（ｗｈｉｔｅ）を用いて、ステップＳ３０１で生成した画像データＲ，Ｇ，Ｂを現像する。続くステップＳ３１０においてＣＰＵ１０１は、ステップＳ３０９で現像した画像データを用いて、周知の技術を用いた追跡処理を行う。得られた追跡結果は、ステップＳ２０３のＡＦ処理に用いられ、特定の被写体にピントを合わせる処理等が可能となる。

ステップＳ３１１においてＣＰＵ１０１は、後のステップＳ３１３の顔検知処理のための色変換処理を行う。ここでは、ステップＳ３０４で算出した赤外光減算後の色空間における光源色Ｒ’（ｗｈｉｔｅ），Ｇ’（ｗｈｉｔｅ），Ｂ’（ｗｈｉｔｅ）を色変換し、赤外光減算前の色空間における光源色Ｒ（ｗｈｉｔｅ），Ｇ（ｗｈｉｔｅ），Ｂ（ｗｈｉｔｅ）を算出する。なお、ステップＳ３１１での色変換処理の詳細については後述する。

ステップＳ３１２においてＣＰＵ１０１は、後のステップＳ３１３の顔検知処理のための現像処理を行う。ここでは、ステップＳ３１１で算出した赤外光減算前の色空間における光源色Ｒ（ｗｈｉｔｅ），Ｇ（ｗｈｉｔｅ），Ｂ（ｗｈｉｔｅ）を用いてステップＳ３０１で生成したＲ，Ｇ，Ｂの画像データを現像する。

ステップＳ３１３においてＣＰＵ１０１は、ステップＳ３１２で現像した画像データを用いて、既知の顔検知処理を行う。得られた顔検知結果は、ステップＳ２０３のＡＦ処理や後のステップＳ３１４の測光処理等に用いられ、顔を有する領域に対してフォーカスを合わせる処理等が可能になる。

ステップＳ３１４においてＣＰＵ１０１は、測光演算処理を行う。測光演算処理では、先ず、ステップＳ３０３で算出したエリア毎のＲ’，Ｇ’，Ｂ’の積分値から任意の割合で加算した測光出力値Ｙを算出する。測光出力値Ｙは、例えば、下記の式４によって求めることができる。なお、式４において、Ｒ画素，Ｇ画素，Ｂ画素の混合比Ｒａ，Ｇａ，Ｂａに適当な値を入れることにより、エリア毎の輝度値を求めることができる。例えば、Ｒａ＝０．２９９，Ｇａ＝０．５８７，Ｂａ＝０．１１４とすることができる。更に、エリア毎の測光出力値Ｙと後述する露出制御値用の重み付け係数ｋとの加重平均値Ｙｗを下記の式５により算出する。式５において、ｉは横方向、ｊは縦方向のエリア番号を示しており、エリアの分割数に応じて合計する数が変わる。

ステップＳ３１４の測光演算処理では更に、ＣＰＵ１０１は、加重平均値Ｙｗと、蓄積時間等から得られる被写体輝度に基づいて、本撮影のための露出制御値（シャッタ速度、絞り値、感度等）を演算する。なお、露出制御値の決定方法は、本発明とは直接には関係がなく、また、周知の方法を任意に採用することができるため、その詳細についての説明を省略する。

なお、露出制御用の重み付け係数ｋは、デジタルカメラ１００の撮像モードや測光モード、撮影シーン等に応じて、各測光エリアの測光出力値の重み付けを変えるための係数である。例えば、測光モードが中央重点測光モードであれば、画像の中央付近の測光エリアに対する重み付け係数を画像の周辺付近に対する重み付け係数よりも大きくする。また、撮影シーンを自動判別する測光モードであれば、ステップＳ３０５で検出した特定色を有する領域やステップＳ３１３で検出した顔領域に対応する測光エリアに対する重み付け係数を、他の測光エリアに対する重み付け係数よりも大きくする。露出制御用の重み付け係数ｋは、本発明とは直接には関係がないため、これ以上の説明は省略する。

ステップＳ３１５においてＣＰＵ１０１は、次回撮影時の追跡対象を決定する。例えば、ＡＦモードが認識した被写体を連続して追跡するサーボＡＦモードや、顔にピントを合わせ続ける顔優先ＡＦモードに設定されている場合に、ユーザが選択した位置や顔を追跡対象とし、その領域の画像情報をテンプレートとして保持する。こうして保存した追跡情報は、次回撮影時のステップＳ３１０の追跡処理で用いられる。なお、追跡対象のテンプレートの設定方法や、テンプレートを更新するタイミングや条件等は、本発明とは直接には関係がないため、詳細な説明は省略する。

ところで、測光処理とＡＦ処理をそれぞれ専用に実行するＣＰＵを有するデジタルカメラの場合、ステップＳ２０２とステップＳ２０３の処理を並行して実行することができる。その場合、ステップＳ３０６〜Ｓ３１０の追跡結果やステップＳ３１１〜Ｓ３１３の顔検知結果をステップＳ２０３でのＡＦ処理に速やかに供給する必要がある。そこで、ステップＳ３０１で生成したＲ，Ｇ，Ｂの画像データに対して過去に算出した赤外光減算前の色空間における光源色Ｒ（ｗｈｉｔｅ），Ｇ（ｗｈｉｔｅ），Ｂ（ｗｈｉｔｅ）を用いてステップＳ３０６〜Ｓ３１３を行い、その結果をＡＦ処理に送る。そして、続いて、ステップＳ３０２〜Ｓ３０５，Ｓ３１４〜Ｓ３１５を行ってもよい。

次に、ステップＳ３０７の光源情報の更新判定について説明する。ステップＳ３０８で算出した赤外光減算後の色空間における光源色Ｒ（ｗｈｉｔｅ），Ｇ（ｗｈｉｔｅ），Ｂ（ｗｈｉｔｅ）がばらつくと、ステップＳ３１０の追跡処理の精度が低下してしまう。例えば、ＡＥセンサ１０７が有する測光センサのノイズや被写界の微妙なずれにより、ステップＳ３０５で算出した光源色の結果がばらつくことがある。そして、ステップＳ３０５で算出した光源色がばらつくと、ステップＳ３０８で算出した光源色もばらいてしまう。

そこで、ステップＳ３０８の処理を最初（初回）のみ行うか又はステップＳ３１５の処理にて追跡対象のテンプレートを作成したときにステップＳ３０８で算出した光源色を固定値としてステップＳ３０９の処理に用いるかを、ステップＳ３０７で判定するようにする。これにより、光源色にばらつきが生じることを抑制することができる。また、ステップＳ３０５で算出した光源色が大きく変化した場合には、被写界の光源が変わっている可能性がある。そのため、ステップＳ３０５で算出した光源色が所定の閾値を超えて変化した場合には、常にステップＳ３０８の処理を行うように、ステップＳ３０７で判定するようにしてもよい。

更に、ステップＳ３０７の判定を行わず、過去ｎ回分（ｎ≧２）のステップＳ３０４で算出した赤外光減算後の色空間における光源色Ｒ’（ｗｈｉｔｅ），Ｇ’（ｗｈｉｔｅ），Ｂ’（ｗｈｉｔｅ）の平均値を常にステップＳ３０８で用いるようにしてもよい。このような判定方法を用いることにより、ＡＥセンサ１０７が有する測光センサのノイズや被写界の微妙なずれによる光源色のばらつきが追跡精度へ及ぼす影響を抑制することができる。

次に、ステップＳ３０８，Ｓ３１１で行う色変換処理について説明する。ステップＳ３０８，Ｓ３１１の各色変換処理は、目的は異なるが、実質的に同等の処理が行われる。そのため、ここでは、ステップＳ３０８，Ｓ３１１の各色変換処理を区別せずに説明することとする。

図５は、ＡＥセンサ１０７が有する測光センサに設けられたカラーフィルタの光学特性を示す図である。図５（ａ）は、ＡＥセンサ１０７が有する測光センサのＲ，Ｇ，Ｂ，ＩＲの各画素の分光特性を示しており、図５（ｂ）は、図５（ａ）の出力に対して赤外光減算を施したＲ’，Ｇ’，Ｂ’の分光特性を示している。図６は、太陽光下での測光センサが備えるカラーフィルタの分光特性を示す図である。

図６の太陽光下における測光センサの出力とホワイトバランスゲインとの関係は、“［Ｒ（ｗｈｉｔｅ），Ｇ（ｗｈｉｔｅ），Ｂ（ｗｈｉｔｅ），ＩＲ（ｗｈｉｔｅ）］＝［１０２４，１０２４，５１２，５１２］”で示される。よって、“［Ｇ（ｗｈｉｔｅ）／Ｒ（ｗｈｉｔｅ），Ｇ（ｗｈｉｔｅ）／Ｇ（ｗｈｉｔｅ），Ｇ（ｗｈｉｔｅ）／Ｂ（ｗｈｉｔｅ）］＝［１．０，１．０，２．０］”が得られる。

一方、上記の式１〜式３による赤外光減算処理を行った後の測光センサの出力とホワイトバランスゲインとの関係は、“［Ｒ’（ｗｈｉｔｅ），Ｇ’（ｗｈｉｔｅ），Ｂ’（ｗｈｉｔｅ）］＝［５１２，８７０，５１２｝］”で示される。よって、“［Ｇ’（ｗｈｉｔｅ）／Ｒ’（ｗｈｉｔｅ），Ｇ’（ｗｈｉｔｅ）／Ｇ’（ｗｈｉｔｅ），Ｇ’（ｗｈｉｔｅ）／Ｂ’（ｗｈｉｔｅ）］＝［１．７、１．０、１．７］”が得られる。

このように、測光センサが２つの分光特性を有する場合には、ホワイトバランスゲインがそれぞれ異なる。そのため、ステップＳ３０４の光源判定処理をそれぞれの色空間で行うと処理時間が長くなってしまう。これに対して、２つの色空間のうちのどちらか１つの色空間で光源色判定を行って色変換を行うことにより、他方の色空間の光源色に変換することができる。よって、測光センサを用いて検出した２つ以上の各色空間での光源色を検知する演算に要する時間を短縮することができる。

一例として、既知の行列式により色変換を行う。２つの色空間Ａ，Ｂについて、色空間Ａの色変換前の出力［Ｒ’（ｗｈｉｔｅ），Ｇ’（ｗｈｉｔｅ），Ｂ’（ｗｈｉｔｅ）］に対して、色空間Ｂの色変換後の出力［Ｒ（ｗｈｉｔｅ），Ｇ（ｗｈｉｔｅ），Ｂ（ｗｈｉｔｅ）］は、下記の式６により算出される。式６において、｛ｒ，ｇ，ｂ｝は、事前に基準光源を撮影したときの色空間Ｂの出力である。また、［ｒ’、ｇ’、ｂ’］は、事前に基準光源を撮影したときの色空間Ａの出力であり、本実施形態では、［ｒ，ｇ，ｂ］には、式１〜式３の演算を行った結果が用いられる。

別の色変換方法として、テーブルによる変換を行う方法がある。図７は、ステップＳ３０８，Ｓ３１１で用いる色変換処理に用いる色変換テーブルの例を示す図である。色空間Ａのホワイトバランスゲイン［Ｇ’（ｗｈｉｔｅ）／Ｒ’（ｗｈｉｔｅ），Ｇ’（ｗｈｉｔｅ）／Ｂ’（ｗｈｉｔｅ）］と図７の色変換テーブルとから、色変換後のホワイトバランスゲイン［Ｇ（ｗｈｉｔｅ）／Ｒ（ｗｈｉｔｅ），Ｇ（ｗｈｉｔｅ）／Ｂ（ｗｈｉｔｅ）］を算出することができる。

ここでは、２つの色空間における色変換の例を示したが、３つ以上の色空間が存在する場合にも、同様の処理が可能である。また、本実施形態では、１つの測光センサで取得した［Ｒ，Ｇ，Ｂ，ＩＲ］と赤外光減算後の［Ｒ’，Ｇ’，Ｂ’］との光源色の色変換の例を示したが、複数の測光センサ又は複数のカラーフィルタより取得した［Ｒ１，Ｇ１，Ｂ１］、［Ｒ２，Ｇ２，Ｂ２］、・・で光源色の色変換を行ってもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。例えば、上記実施の形態では、被写体の追跡処理と顔検知処理の両方を行うとしたが、勿論、一方だけを行う場合もあり得る。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ デジタルカメラ（撮像装置）
１０１ ＣＰＵ
１０２ メモリ
１０３ 撮影用撮像素子
１０４ シャッタ
１０７ ＡＥセンサ
１１１ ＡＦセンサ

Claims (12)

1. 撮像装置であって、
   赤外光域および可視光域における分光特性の異なる複数の画素からなる画素群を有するセンサを用いて前記画素群ごとに画像情報を取得する取得手段と、
   前記取得手段により取得された画像情報に対して前記画素群ごとに所定の赤外光減算処理を行って可視光域の画像情報を生成する減算手段と、
   前記減算手段により生成された可視光域の画像情報を用いて可視光域における光源色を算出する算出手段と、
   前記算出手段で算出された可視光域における光源色を赤外光域および可視光域における光源色に変換する変換手段と、
   前記変換手段で変換された赤外光域および可視光域における光源色を用いて前記取得手段により取得され前記画像情報を現像する現像手段と、を備えることを特徴とする撮像装置。
2. 前記現像手段は、前記算出手段で算出された光源色または前記変換手段で変換された光源色のどちらかが過去に取得された光源色に対して所定の閾値よりも大きく変化した場合に、現像に用いる光源色を更新することを特徴とする請求項１に記載の撮像装置。
3. 前記現像手段は、現像に用いる光源色として、前記変換手段で変換された光源色の過去ｎ回分（ｎ≧２）の平均値を用いることを特徴とする請求項１に記載の撮像装置。
4. 撮像装置であって、
   赤外光域および可視光域における分光特性の異なる複数の画素からなる画素群を有するセンサを用いて前記画素群ごとに画像情報を取得する取得手段と、
   前記取得手段により取得された画像情報に対して前記画素群ごとに所定の赤外光減算処理を行って可視光域の画像情報を生成する減算手段と、
   前記取得手段により取得された画像情報を用いて赤外光域および可視光域における光源色を算出する算出手段と、
   前記算出手段で算出された赤外光域および可視光域における光源色を可視光域における光源色に変換する変換手段と、
   前記変換手段で変換された可視光域における光源色を用いて前記減算手段により生成された前記画像情報を現像する現像手段と、を備えることを特徴とする撮像装置。
5. 前記現像手段は、前記算出手段で算出された光源色が過去に取得された光源色に対して所定の閾値よりも大きく変化した場合に、現像に用いる光源色を更新することを特徴とする請求項４に記載の撮像装置。
6. 前記現像手段は、現像に用いる光源色として、前記算出手段により算出された光源色の過去ｎ回分（ｎ≧２）の平均値を用いることを特徴とする請求項４に記載の撮像装置。
7. 前記現像手段で現像された画像情報を用いて被写体を認識し追跡する被写体認識手段を備え、
   前記現像手段は、現像に用いる光源色として、前記算出手段により最初に算出された光源色または前記被写体認識手段の追跡処理のテンプレートを作成したときの光源色を固定値として用いることを特徴とする請求項１又は４に記載の撮像装置。
8. 前記被写体認識手段は、被写体の顔を検知する顔検知処理を行うことを特徴とする請求項７に記載の撮像装置。
9. 前記現像手段で現像された画像情報を用いて被写体認識を行う被写体認識手段を備え、
   前記被写体認識手段は、被写体を追跡する追跡処理と被写体の顔を検知する顔検知処理の一方または両方を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
10. 撮像装置の制御方法であって、
    赤外光域および可視光域における分光特性の異なる複数の画素からなる画素群を有するセンサを用いて前記画素群ごとに画像情報を取得する取得ステップと、
    前記取得ステップで取得された画像情報に対して前記画素群ごとに所定の赤外光減算処理を行って可視光域の画像情報を生成する減算ステップと、
    前記減算ステップで生成された可視光域の画像情報を用いて可視光域における光源色を算出する算出ステップと、
    前記算出ステップで算出された可視光域における光源色を赤外光域および可視光域における光源色に変換する変換ステップと、
    前記変換ステップで変換された赤外光域および可視光域における光源色を用いて前記取得ステップで取得された前記画像情報を現像する現像ステップと、を有することを特徴とする撮像装置の制御方法。
11. 撮像装置の制御方法であって、
    赤外光域および可視光域における分光特性の異なる複数の画素からなる画素群を有するセンサを用いて前記画素群ごとに画像情報を取得する取得ステップと、
    前記取得ステップで取得された画像情報に対して前記画素群ごとに所定の赤外光減算処理を行って可視光域の画像情報を生成する減算ステップと、
    前記取得ステップで取得された画像情報を用いて赤外光域および可視光域における光源色を算出する算出ステップと、
    前記算出ステップで算出された赤外光域および可視光域における光源色を可視光域における光源色に変換する変換ステップと、
    前記変換ステップにより変換された可視光域における光源色を用いて前記減算ステップで生成された前記画像情報を現像する現像ステップと、を有することを特徴とする撮像装置の制御方法。
12. 撮像装置が備えるコンピュータに請求項１０又は１１に記載の制御方法を実行させることを特徴とするプログラム。