JP5432075B2 - 撮像装置および色温度算出方法 - Google Patents

Description

本発明は、可視光および近赤外光を利用した撮像装置および色温度算出方法に関する。

可視光と近赤外光とを同時に受光可能なカラー固体撮像素子を用いたカメラ（撮像装置）が、昼夜を問わず撮像できるカメラとして期待されている。このような、カラー固体撮像素子を用いたカメラは、可視光信号に含まれる近赤外成分（信号）を差分演算等により分離することにより、可視光信号（Ｒ，Ｇ，Ｂ信号）を取得する。

そして、当該カメラは、特許文献１もしくは特許文献２で開示されているような、可視光信号（Ｒ，Ｇ，Ｂ信号）を用いた色温度の算出（検出）する技術（以下、従来技術Ａという）により、色温度を算出するのが一般的である。なお、特許文献１および特許文献２に示されるカメラは、Ｒ，Ｇ，Ｂ信号のみを処理可能な撮像素子を利用している。

特開平５−２９２５３３号公報 特開平５−００７３６９号公報

しかしながら、従来技術Ａでは、受光する光の色温度が低い場合、当該受光する光の青色光の強度が、赤色光および緑色光の強度より極端に低いため、算出される色温度の精度が大きく低下するという問題がある。すなわち、可視光の状態によっては、色温度の算出精度が大きく低下するという問題がある。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、色温度の算出精度の低下を抑制可能な撮像装置等を提供することである。

上述の課題を解決するために、本発明の一態様に係る撮像装置は、可視光および近赤外光を受光するための撮像素子と、色温度を算出するための算出部とを備える。前記撮像素子は、可視光を少なくとも透過させる第１のカラーフィルタを透過した可視光に対し光電変換することにより可視光信号としての第１可視光信号を生成するための第１の光電変換素子と、近赤外光を少なくとも透過させる第２のカラーフィルタを透過した近赤外光に対し光電変換することにより近赤外信号を生成するための第２の光電変換素子とを含み、前記算出部は、前記近赤外信号の量が所定量より大きい場合、少なくとも前記第１可視光信号と前記近赤外信号とを用いて、色温度を算出する。

すなわち、算出部は、前記近赤外信号の量が所定量より大きい場合、少なくとも前記第１可視光信号と前記近赤外信号とを用いて、色温度を算出する。第１可視光信号は、可視光に対し光電変換することにより生成される信号である。近赤外信号は、近赤外光に対し光電変換することにより生成される信号である。

なお、光の色温度が低い程、当該光における近赤外光の量は多くなる。したがって、受光する光の色温度が低い場合、近赤外信号の量が大きくなるため、近赤外光（近赤外信号）を利用して色温度が算出される。つまり、撮像素子が受光した可視光の状態に関わらず、色温度の算出精度の低下を抑制することができる。

また、好ましくは、前記算出部は、前記近赤外信号の量が前記所定量より大きい場合、前記第１可視光信号に対する前記近赤外信号の比率である第１比率を算出し、前記算出部は、前記第１比率と、該第１比率に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、前記色温度を算出する。

また、好ましくは、前記算出部は、前記近赤外信号の量が前記所定量より大きい場合、前記第１可視光信号と前記近赤外信号との差分である第１差分を算出し、前記算出部は、前記第１差分と、該第１差分に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、前記色温度を算出する。

また、好ましくは、前記第１のカラーフィルタを透過した可視光は、赤色成分の光であり、前記第１可視光信号は、赤色信号である。

また、好ましくは、前記撮像素子は、さらに、前記第１のカラーフィルタが透過させる可視光の波長と異なる波長の可視光を透過させる第３のカラーフィルタを透過した可視光に対し光電変換することにより可視光信号としての第２可視光信号を生成する第３の光電変換素子を含み、前記算出部は、前記第１可視光信号、前記第２可視光信号および前記近赤外信号のうちの少なくとも２つを用いて、前記色温度を算出する。

また、好ましくは、前記算出部は、前記近赤外信号の量が前記所定量より大きい場合、前記第１可視光信号に対する前記近赤外信号の比率である第１比率を算出し、前記近赤外信号の量が前記所定量以下である場合、前記第２可視光信号に対する前記第１可視光信号の比率である第２比率を算出し、前記算出部は、前記第１比率および第２比率のうち算出した比率と、当該算出した比率に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、前記色温度を算出する。

また、好ましくは、前記算出部は、前記近赤外信号の量が前記所定量より大きい場合、前記第１可視光信号と前記近赤外信号との差分である第１差分を算出し、前記近赤外信号の量が前記所定量以下の場合、前記第１可視光信号と前記第２可視光信号との差分である第２差分を算出し、前記算出部は、前記第１差分および第２差分うち算出した差分と、当該算出した差分に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、前記色温度を算出する。

また、好ましくは、前記第１のカラーフィルタを透過した可視光は、赤色成分の光であり、前記第３のカラーフィルタを透過した可視光は、緑色成分の光であり、前記第１可視光信号は、赤色信号であり、前記第２可視光信号は、緑色信号である。

本発明の一態様に係る色温度算出方法は、可視光および近赤外光を受光するための撮像素子を備える撮像装置が行う。前記撮像素子は、可視光を少なくとも透過させる第１のカラーフィルタを透過した可視光に対し光電変換することにより可視光信号としての第１可視光信号を生成するための第１の光電変換素子と、近赤外光を少なくとも透過させる第２のカラーフィルタを透過した近赤外光に対し光電変換することにより近赤外信号を生成するための第２の光電変換素子とを含み、前記色温度算出方法は、前記近赤外信号の量が所定量より大きい場合、少なくとも前記第１可視光信号と前記近赤外信号とを用いて、色温度を算出するステップを備える。

なお、本発明は、このような撮像装置を構成する複数の構成要素の全てまたは一部を、システムＬＳＩ（Large Scale Integration：大規模集積回路）として実現してもよい。

また、本発明は、色温度算出方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。

本発明により、色温度の算出精度の低下を抑制することができる。

第１の実施の形態における撮像装置の構成を示すブロック図である。 撮像素子の構成を示すブロック図である。 画像生成処理のフローチャートである。 第１の実施の形態における信号処理部の構成を示すブロック図である。 画像補正情報算出処理のフローチャートである。 比較テーブルを説明するための図である。 色温度が１５００Ｋである照明光における各種特性を示す図である。 色温度が２０００Ｋである照明光における各種特性を示す図である。 色温度が２５００Ｋである照明光における各種特性を示す図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜第１の実施の形態＞
図１は、第１の実施の形態における撮像装置１０００の構成を示すブロック図である。なお、図１には、説明のために、撮像装置１０００には含まれない映像デバイス５００も示される。映像デバイス５００は、様々な画像処理を行うデバイスである。

撮像装置１０００は、カラー画像および白黒画像を生成可能な昼夜兼用の撮像装置である。撮像装置１０００は、動画像を撮像可能なデジタルビデオカメラである。なお、撮像装置１０００は静止画像を撮像可能なデジタルスチルカメラであってもよい。

撮像装置１０００は、レンズ１０と、撮像素子１００と、制御部２００と、信号処理部３００とを備える。

撮像素子１００は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ（固体撮像素子）である。なお、撮像素子１００は、ＣＭＯＳイメージセンサに限定されることなく、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサであってもよい。

撮像素子１００は、可視光および近赤外光を受光するための構成を有する。
制御部２００は、ＭＰＵ（Micro Processing Unit）である。なお、制御部２００は、ＭＰＵに限定されず、演算機能を有する演算回路であれば、他の演算回路であってもよい。

図２は、撮像素子１００の構成を示すブロック図である。
図２を参照して、撮像素子１００は、受光部１１０と、垂直走査回路１２１と、水平走査回路１２２と、増幅回路１３０と、ＡＤ変換部１４０とを含む。

受光部１１０は、光が入射される部分である。図１のレンズ１０は、レンズ１０に入射される光を、受光部１１０において結像させる。受光部１１０は、行列状に配列されたｍ個（４以上の整数）の画素ＰＸを有する。例えば、撮像装置１０００が、１０００万画素の画像を生成する装置である場合、ｍは、１０００万となる。

ｍ個の画素ＰＸの各々は、サブ画素としての光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４を有する。すなわち、撮像素子１００は、光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４を有する。

光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４の各々は、入射する光を光電変換することにより信号（以下、光変換信号という）を生成する。光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４の各々は、受光素子としてのフォトダイオードである。

光電変換素子ＳＰ１の上部には、カラーフィルタＣＦ１が形成される。カラーフィルタＣＦ１は、可視光としての赤色成分の光（以下、赤色光という）と、近赤外（Near Infrared Radiation）光とを透過させるカラーフィルタである。以下においては、近赤外光を、ＩＲ光とも表記する。

光電変換素子ＳＰ１には、カラーフィルタＣＦ１を透過する赤色光およびＩＲ光が入射される。光電変換素子ＳＰ１は、入射された赤色光およびＩＲ光の強度に応じた光変換信号（以下、第１光変換信号という）を生成する。

以下においては、赤色成分の信号をＲ信号という。また、以下においては、ＩＲ光成分の信号をＩＲ信号という。ＩＲ信号は、近赤外信号である。第１光変換信号は、可視光信号としてのＲ信号と、ＩＲ信号とを含む。すなわち、第１光変換信号は、可視光信号である。ここで、可視光信号は、可視光成分の信号である。以下においては、第１光変換信号を、Ｒ＋ＩＲ信号ともいう。

光電変換素子ＳＰ２の上部には、カラーフィルタＣＦ２が形成される。カラーフィルタＣＦ２は、可視光としての青色成分の光（以下、青色光という）と、ＩＲ光とを透過させるカラーフィルタである。

光電変換素子ＳＰ２には、カラーフィルタＣＦ２を透過する青色光およびＩＲ光が入射される。光電変換素子ＳＰ２は、入射された青色光およびＩＲ光の強度に応じた光変換信号（以下、第２光変換信号という）を生成する。

以下においては、青色成分の信号をＢ信号という。第２光変換信号は、可視光信号としてのＢ信号と、ＩＲ信号とを含む。すなわち、第２光変換信号は、可視光信号である。以下においては、第２光変換信号を、Ｂ＋ＩＲ信号ともいう。

光電変換素子ＳＰ３の上部には、カラーフィルタＣＦ３が形成される。カラーフィルタＣＦ３は、可視光としての緑色成分の光（以下、緑色光という）と、ＩＲ光とを透過させるカラーフィルタである。

光電変換素子ＳＰ３には、カラーフィルタＣＦ３を透過する緑色光およびＩＲ光が入射される。光電変換素子ＳＰ３は、入射された緑色光およびＩＲ光の強度に応じた光変換信号（以下、第３光変換信号という）を生成する。

以下においては、緑色成分の信号をＧ信号という。第３光変換信号は、可視光信号としてのＧ信号と、ＩＲ信号と含む。すなわち、第３光変換信号は、可視光信号である。以下においては、第３光変換信号を、Ｇ＋ＩＲ信号ともいう。

なお、Ｒ信号、Ｇ信号およびＢ信号の各々は、可視光信号である。以下においては、Ｒ信号、Ｇ信号およびＢ信号を、それぞれ、赤色信号、緑色信号および青色信号ともいう。

光電変換素子ＳＰ４の上部には、カラーフィルタＣＦ４が形成される。カラーフィルタＣＦ４は、ＩＲ光のみを透過させるカラーフィルタである。

光電変換素子ＳＰ４には、カラーフィルタＣＦ４を透過するＩＲ光が入射される。光電変換素子ＳＰ４は、入射されたＩＲ光の強度に応じた光変換信号（以下、第４光変換信号という）を生成する。第４光変換信号は、近赤外光成分の信号（ＩＲ信号）のみを含む近赤外信号である。以下においては、第４光変換信号を、ＩＲ信号ともいう。

光電変換素子ＳＰ１、ＳＰ２，ＳＰ３の各々は、第１の光電変換素子または第３の光電変換素子である。光電変換素子ＳＰ４は、第２の光電変換素子である。

第１の光電変換素子は、可視光を少なくとも透過させる第１のカラーフィルタを透過した可視光に対し光電変換することにより可視光信号としての第１可視光信号を生成する。第１のカラーフィルタは、カラーフィルタＣＦ１，ＣＦ２，ＣＦ３である。

第２の光電変換素子は、近赤外光を少なくとも透過させる第２のカラーフィルタを透過した近赤外光に対し光電変換することにより近赤外信号を生成する。第２のカラーフィルタは、カラーフィルタＣＦ４である。第２の光電変換素子は、光電変換素子ＳＰ４である。

第３の光電変換素子は、第３のカラーフィルタを透過した可視光に対し光電変換することにより可視光信号としての第２可視光信号を生成する。第３のカラーフィルタは、第１のカラーフィルタが透過させる可視光の波長と異なる波長の可視光を透過させる。

ここで、一例として、第１のカラーフィルタおよび第３のカラーフィルタが、それぞれ、カラーフィルタＣＦ１，ＣＦ３であるとする。

この場合、第１の光電変換素子は、光電変換素子ＳＰ１であり、第３の光電変換素子は、光電変換素子ＳＰ３である。また、この場合、第１のカラーフィルタを透過した可視光は赤色成分の光であり、第１可視光信号は、赤色信号である。また、この場合、第３のカラーフィルタを透過した可視光は、緑色成分の光であり、第２可視光信号は、緑色信号である。

以上により、受光部１１０には、可視光から近赤外光までの感度を有する複数の画素が配置される。

なお、カラーフィルタＣＦ１，ＣＦ２，ＣＦ３，ＣＦ４の配置は、図２に示される配置に限定されない。すなわち、カラーフィルタＣＦ１とカラーフィルタＣＦ３とは対角に配置されなくてもよい。

例えば、カラーフィルタＣＦ１とカラーフィルタＣＦ３とは、垂直方向または水平方向に並ぶように配置されてもよい。

垂直走査回路１２１および水平走査回路１２２は、共同して動作することにより、各画素ＰＸに含まれる光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４の各々が生成した光変換信号を読み出す。

垂直走査回路１２１および水平走査回路１２２は、各画素ＰＸに含まれる光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４がそれぞれ生成した第１〜第４光変換信号を順次読み出す処理（以下、信号読出し処理という）を行う。なお、信号読出し処理は、ＣＭＯＳイメージセンサにおいて信号を読み出す周知な処理なので詳細な説明は行わない。

垂直走査回路１２１および水平走査回路１２２が、信号読出し処理により１つの光変換信号を読み出す毎に、読み出した光変換信号（例えば、第１光変換信号）は、増幅回路１３０へ送信される。

増幅回路１３０は、光変換信号の信号レベルを増幅させる処理を行う。増幅回路１３０は、光変換信号を受信する毎に、受信した光変換信号の信号レベルを増幅させた光変換信号を、ＡＤ変換部１４０へ送信する。

前述の信号読出し処理が行われることにより、増幅回路１３０は、第１〜第４光変換信号を順次受信する。そして、増幅回路１３０は、増幅後の第１〜第４光変換信号を、順次、ＡＤ変換部１４０へ送信する。

第１〜第４光変換信号は、１組の光変換信号群を構成する。すなわち、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号は、１組の光変換信号群を構成する。前述したように、第１〜第３光変換信号の各々は、可視光信号を含む。つまり、１組の光変換信号群は、３個の可視光信号と、ＩＲ信号（近赤外信号）とから構成される。

垂直走査回路１２１および水平走査回路１２２は、前述の信号読出し処理を、ｍ回繰り替えし行うことにより、１フレームに対応する全ての信号を読み出す。この場合、増幅回路１３０は、信号読出し処理が行われる毎に、ｍ組の増幅後の光変換信号群を、１組の光変換信号群単位で、順次、ＡＤ変換部１４０へ送信する。

ＡＤ変換部１４０は、光変換信号群を受信する毎に、受信した光変換信号群を構成する４個の光変換信号の各々を、ｓ（自然数）ビットのデジタル信号に変換する。

ＡＤ変換部１４０は、光変換信号群を受信する毎に、デジタル信号に変換した４個の光変換信号から構成される光変換信号群を、信号処理部３００へ送信する。ここで、ＡＤ変換部１４０は、例えば、各光変換信号を、８ビットのデジタル信号に変換するとする。この場合、デジタル信号に変換された各光変換信号は、０〜２５５の範囲の値を示す信号である。

本実施の形態では、デジタル信号の示す値が大きい程、当該デジタル信号に対応する成分量が大きいものとする。例えば、ＡＤ変換部１４０により変換された、デジタル信号としてのＩＲ信号が示す値が大きい程、近赤外光成分の量が大きいとする。

ＡＤ変換部１４０は、ｍ組の変換後の光変換信号群を、１組の光変換信号群単位で、順次、信号処理部３００へ送信する。

撮像装置１０００において動画像が撮像される場合、ＡＤ変換部１４０が、ｍ組の変換後の光変換信号群を信号処理部３００へ送信する処理が繰り返し行われる。

以下においては、撮像素子１００が撮像した画像を生成するための処理を、画像生成処理という。

図３は、画像生成処理のフローチャートである。画像生成処理は、信号処理部３００および映像デバイス５００により行われる。

再び、図１を参照して、信号処理部３００は、撮像素子１００から、ｍ組の光変換信号群を１組の光変換信号群単位で順次受信する（Ｓ１１０）。信号処理部３００は、詳細は後述するが、光変換信号群を受信する毎に、受信した光変換信号群を使用して、Ｒ，Ｇ，Ｂ信号を生成する（Ｓ２１０）。

そして、映像デバイス５００は、Ｒ，Ｇ，Ｂ信号を使用して画像（フレーム）を生成する（Ｓ４００）。すなわち、映像デバイス５００は、画像処理を行う。

撮像装置１０００において動画像が撮像される場合、図３の画像生成処理が繰り返し行われる。

次に、信号処理部３００の構成について説明する。
図４は、第１の実施の形態における信号処理部３００の構成を示すブロック図である。なお、図４には、説明のために、信号処理部３００には含まれない制御部２００が示される。

図４を参照して、信号処理部３００は、色分離部３１０と、ホワイトバランス部３２０と、補間処理部３３０と、ガンマ補正部３４０とを含む。

色分離部３１０は、詳細は後述するが、後述の信号分離処理を行う。
ホワイトバランス部３２０は、詳細は後述するが、ホワイトバランス調整を行う。

補間処理部３３０は、詳細は後述するが、後述の補間処理を行う。
ガンマ補正部３４０は、詳細は後述するが、後述のガンマ補正処理を行う。

次に、信号処理部３００が行う処理について説明する。
信号処理部３００は、図３のステップＳ１１０の処理、ステップＳ２１０の信号生成処理およびステップＳ２２０の処理を行う。

色分離部３１０は、撮像素子１００から、ｍ組の光変換信号群を１組の光変換信号群単位で順次受信する（Ｓ１１０）。１組の光変換信号群は、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号から構成される。

ステップＳ２１０の信号生成処理では、まず、色分離部３１０が、光変換信号群を受信する毎に、信号分離処理を行う。信号分離処理では、色分離部３１０が、光変換信号群を構成する、デジタル信号としてのＲ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号を使用して、デジタル信号としてのＲ信号、Ｇ信号、Ｂ信号を生成する。

具体的には、色分離部３１０は、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号の各々に対し色分離補正行列を乗算することにより、乗算対象の各信号を、可視光信号（Ｒ，Ｇ，Ｂ信号）とＩＲ信号（近赤外信号）とに分離する。

ここで、色分離補正行列は、可視光信号と近赤外信号とを含む信号（例えば、Ｒ＋ＩＲ信号）を、可視光信号とＩＲ信号（近赤外信号）とに分離するための行列である。また、色分離補正行列は、実デバイスの分光等を補正するための行列である。また、色分離補正行列は、撮像素子１００の分光特性から算出された行列である。

例えば、色分離部３１０は、Ｒ＋ＩＲ信号に、色分離補正行列を乗算することにより、
Ｒ＋ＩＲ信号を、Ｒ信号とＩＲ信号（近赤外信号）とに分離する。Ｇ＋ＩＲ信号およびＢ＋ＩＲ信号も、Ｒ＋ＩＲ信号と同様に分離される。

以下においては、デジタル信号としてのＲ信号、Ｇ信号、Ｂ信号およびＩＲ信号がそれぞれ示す値を、Ｒ値、Ｇ値、Ｂ値およびＩＲ値という。

なお、可視光信号と近赤外信号とを分離するための処理は、上記処理に限定されない。
例えば、色分離部３１０は、Ｒ＋ＩＲ信号が示す値から、ＩＲ信号が示す値を減算することに得られた値を示す信号を、Ｒ信号として生成してもよい。

この場合、Ｇ信号およびＢ信号も、Ｒ信号と同様に生成される。すなわち、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号の各々が、可視光信号（例えば、Ｒ信号）と、ＩＲ信号（近赤外信号）とに分離される。

そして、色分離部３１０は、Ｒ，Ｇ，Ｂ信号を、ホワイトバランス部３２０へ送信するとともに、Ｒ，Ｇ，Ｂ，ＩＲ信号を、制御部２００へ送信する。これにより、信号分離処理は終了する。

色分離部３１０は、信号分離処理をｍ回繰り返して行う。これにより、ｍ組のＲ，Ｇ，Ｂ信号が、ホワイトバランス部３２０へ送信されるとともに、ｍ組のＲ，Ｇ，Ｂ，ＩＲ信号が、制御部２００へ送信される。

ホワイトバランス部３２０は、１フレームに対応するｍ組のＲ，Ｇ，Ｂ信号を受信する毎に、受信した１フレームに対応するｍ組のＲ，Ｇ，Ｂ信号に対し、制御部２００から送信される後述のホワイトバランス係数ＷＢを用いて、ホワイトバランス調整の処理を行い、処理後のＲ，Ｇ，Ｂ信号を、補間処理部３３０へ送信する。なお、ホワイトバランス調整の処理は、周知な処理なので詳細な説明は行わない。

補間処理部３３０は、Ｒ，Ｇ，Ｂ信号を受信する毎に、受信したＲ，Ｇ，Ｂ信号を用いて、色の補間処理を行い、処理後のＲ，Ｇ，Ｂ信号を、ガンマ補正部３４０へ送信する。ここで、色の補間処理とは、デモザイク処理である。なお、デモザイク処理（色の補間処理）は、周知な処理なので詳細な説明は行わない。

以上により、ステップＳ２１０の信号生成処理は終了する。
ガンマ補正部３４０は、受信したＲ，Ｇ，Ｂ信号に対し、ガンマ補正処理を行い、処理後のＲ，Ｇ，Ｂ信号を、映像デバイス５００へ送信する（Ｓ２２０）。ガンマ補正処理は、周知な処理なので詳細な説明は行わない。

映像デバイス５００は、受信したＲ，Ｇ，Ｂ信号を使用して画像（フレーム）を生成する（Ｓ４００）。すなわち、映像デバイス５００は、画像処理を行う。

撮像装置１０００において動画像が撮像される場合、図３の画像生成処理が繰り返し行われる。

本実施の形態における撮像装置１０００では、光源から照射される光の色温度が算出され、当該色温度に従ったホワイトバランス係数が算出される。すなわち、撮像シーンに応じた色温度が算出（決定）されるとともに、ホワイトバランス係数が算出（決定）される。

次に、色温度およびホワイトバランス係数を算出するための処理（以下、画像補正情報算出処理という）について説明する。画像補正情報算出処理において、制御部２００は、色温度等を算出するための算出部である。

図５は、画像補正情報算出処理のフローチャートである。画像補正情報算出処理は、制御部２００が、色分離部３１０から、１フレームに対応するｍ組のＲ，Ｇ，Ｂ，ＩＲ信号を受信する毎に、制御部２００により行われる。

制御部２００が受信するＲ，Ｇ，Ｂ，ＩＲ信号は、実デバイス（撮像素子１００）の分光等が考慮された色分離補正行列を用いて補正された信号である。

ステップＳ５１０では、１フレームに対応する可視光信号の平均値が算出される。具体的には、制御部２００が、受信したｍ組のＲ，Ｇ，Ｂ信号を用いて、Ｒ，Ｇ，Ｂ毎に、平均値を算出する。

さらに、具体的には、まず、制御部２００は、ｍ個のＲ信号がそれぞれ示すｍ個のＲ値の平均値（以下、平均赤値ＡＲという）を算出する。また、制御部２００は、ｍ個のＧ信号がそれぞれ示すｍ個のＧ値の平均値（以下、平均緑値ＡＧという）を算出する。また、制御部２００は、ｍ個のＢ信号がそれぞれ示すｍ個のＢ値の平均値（以下、平均青値ＡＢという）を算出する。

ステップＳ５２０では、１フレームに対応する無彩色信号（無彩色成分）の平均値が算出される。具体的には、制御部２００が、受信したｍ個のＩＲ信号がそれぞれ示すｍ個のＩＲ値の平均値（以下、平均赤外値ＡＩＲという）を算出する。

以下においては、平均赤値ＡＲ、平均緑値ＡＧ、平均青値ＡＢおよび平均赤外値ＡＩＲを、それぞれ、ＡＲ、ＡＧ、ＡＢおよびＡＩＲとも表記する。

ステップＳ５３０では、１フレームに対応する近赤外信号（ＩＲ信号）の量が所定量より大きいか否かが判定される。具体的には、制御部２００が、平均赤外値ＡＩＲが所定の判定閾値より大きいか否かを判定する。判定閾値は０である。すなわち、ステップＳ５３０では、受光した１フレーム分の光に近赤外光が含まれるか否かが判定される。

ステップＳ５３０において、ＹＥＳならば処理はステップＳ５４１に移行する。ステップＳ５３０でＹＥＳの場合は、１フレームに対応する近赤外信号（ＩＲ信号）の量が所定量より大きい場合である。

一方、ステップＳ５３０において、ＮＯならば処理はステップＳ５４２に移行する。ステップＳ５３０でＮＯの場合は、平均赤外値ＡＩＲが判定閾値以下の場合である。すなわち、ステップＳ５３０でＮＯの場合は、１フレームに対応する近赤外信号（ＩＲ信号）の量が所定量以下の場合である。すなわち、ステップＳ５３０でＮＯの場合は、近赤外信号（ＩＲ信号）の量がほぼゼロの場合である。

なお、判定閾値は０に限定されず、０に近い値であってもよい。判定閾値は、例えば、ＩＲ値の最大値の１％の値であってもよい。例えば、ＩＲ値が０〜２５５の範囲の値である場合、判定閾値は、３である。この場合、ステップＳ５３０でＮＯの場合は、平均赤外値ＡＩＲ≒０の場合である。

ステップＳ５４１では、近赤外信号および可視光信号を用いた色温度判定値の算出が行われる。色温度判定値とは、色温度を算出するために使用される値である。具体的には、第１および第２可視光信号と、近赤外信号とを用いて、色温度判定値が算出される。第１可視光信号および第２可視光信号の各々は、異なる波長の可視光が光電変換された信号である。

より具体的には、制御部２００は、近赤外信号としての平均赤外値ＡＩＲを、第１可視光信号としての平均赤値ＡＲで除算した値を、色温度判定値として算出する。この場合、色温度判定値は、ＡＩＲ／ＡＲで表される。すなわち、この場合、色温度判定値は、第１可視光信号としての赤色信号に対する近赤外信号の比率である。

以下においては、第１可視光信号に対する近赤外信号の比率を、第１比率という。この場合、ＡＩＲ／ＡＲは、第１比率である。なお、第１比率は、ＡＩＲ／ＡＲに限定されず、例えば、ＡＩＲ／ＡＧであってもよい。

また、制御部２００は、第１可視光信号としての平均赤値ＡＲを、第２可視光信号としての平均緑値ＡＧで除算した値を、色温度判定値として算出する。この場合、色温度判定値は、ＡＲ／ＡＧで表される。この場合、色温度判定値は、第２可視光信号としての緑色信号に対する第１可視光信号としての赤色信号の比率である。

以下においては、第２可視光信号に対する第１可視光信号の比率を、第２比率という。この場合、ＡＲ／ＡＧは、第２比率である。なお、第２比率は、ＡＲ／ＡＧに限定されず、例えば、ＡＧ／ＡＢであってもよい。

なお、色温度判定値は、信号の比率に限定されない。色温度判定値は、例えば、２つの値の差分であってもよい。

この場合、制御部２００は、第１可視光信号としての平均赤値ＡＲと近赤外信号としての平均赤外値ＡＩＲとの差分を、色温度判定値として算出する。なお、差分が負の値である場合は、当該負の値の絶対値が、色温度判定値として算出される。この場合、色温度判定値は、第１可視光信号としての赤色信号と近赤外信号との差分である。

以下においては、第１可視光信号と近赤外信号との差分を、第１差分という。ＡＲとＡＩＲとの差分は、第１差分である。なお、第１差分は、ＡＲとＡＩＲとの差分に限定されず、例えば、ＡＧとＡＩＲとの差分であってもよい。

また、制御部２００は、第１可視光信号としての平均赤値ＡＲと第２可視光信号としての平均緑値ＡＧとの差分を、色温度判定値として算出する。なお、差分が負の値である場合は、当該負の値の絶対値が、色温度判定値として算出される。この場合、色温度判定値は、第１可視光信号と前記第２可視光信号との差分である。

以下においては、第１可視光信号と前記第２可視光信号との差分を、第２差分という。ＡＲとＡＧとの差分は、第２差分である。なお、第２差分は、ＡＲとＡＧとの差分に限定されず、例えば、ＡＧとＡＢとの差分であってもよい。

また、以下においては、色温度判定値が第１比率または第１差分である場合、当該色温度判定値を、第１色温度判定値ともいう。また、以下においては、色温度判定値が第２比率または第２差分である場合、当該色温度判定値を、第２色温度判定値ともいう。

ステップＳ５４１の上記処理および後述のステップＳ５４２の処理は、リアルタイムで実行される場合であっても、演算処理（割り算処理）は少なくともフレーム毎に実施できればよい。そのため、ステップＳ５４１，Ｓ５４２の処理は、１フレームを処理する時間程度で低速に処理できればよい。

ステップＳ５５１では、近赤外信号および可視光信号に基づいて色温度が算出される。具体的には、制御部２００が、算出した色温度判定値と、比較テーブルＴ１００，Ｔ２００とを用いて、色温度を算出する。当該色温度判定値は、第１色温度判定値および第２色温度判定値である。なお、色温度の具体的な算出方法は後述する。当該比較テーブルＴ１００，Ｔ２００の各々は、ＬＵＴ（Look up Table）である。

比較テーブルＴ１００は、算出された第１色温度判定値と比較対象となる複数の判定値を、それぞれ、複数の色温度と対応づけて示すテーブルである。比較テーブルＴ１００が示す各色温度は、色成分値である。

比較テーブルＴ２００は、算出された第２色温度判定値と比較対象となる複数の判定値を、それぞれ、複数の色温度と対応づけて示すテーブルである。比較テーブルＴ２００が示す各色温度は、色成分値である。

図６は、比較テーブルを説明するための図である。
図６において、横軸は、色温度を示し、縦軸は、判定値を示す。また、図６には、一例としての特性曲線Ｌ１，Ｌ２が示される。

特性曲線Ｌ１は、比較テーブルＴ１００に対応する特性曲線である。比較テーブルＴ１００は、特性曲線Ｌ１が示す、各判定値に対応する正確な色温度（色成分値）を示す。特性曲線Ｌ１が示す、各判定値に対応する色温度（色成分値）は、例えば、ｘｙ色度図等を利用したシミュレーション等により経験的に求められた、正確な色温度である。

第１色温度判定値が第１比率である場合、比較テーブルＴ１００は、第１比率と、該第１比率に対応する正確な色温度を算出するための情報を示すテーブルである。

例えば、比較テーブルＴ１００が示す複数の判定値が、第１色温度判定値と比較対象の値であり、第１色温度判定値は、一例として、ＡＩＲ／ＡＲであるとする。この場合、比較テーブルＴ１００が示す各判定値に対応する色温度（色成分値）は、ＡＩＲ／ＡＲが示す各値と正確に対応する色温度となるように、シミュレーション等により経験的に求められたものである。

また、第１色温度判定値が第１差分である場合、比較テーブルＴ１００は、第１差分と、該第１差分に対応する正確な色温度を算出するための情報を示すテーブルである。例えば、比較テーブルＴ１００が示す複数の判定値が、第１色温度判定値と比較対象の値であり、第１色温度判定値は、一例として、ＡＲとＡＩＲとの差分であるとする。この場合、比較テーブルＴ１００が示す各判定値に対応する色温度（色成分値）は、ＡＲとＡＩＲとの差分としての各値と正確に対応する色温度となるように、シミュレーション等により経験的に求められたものである。

なお、第１色温度判定値がＡＩＲ／ＡＲである場合の特性曲線Ｌ１の形状と、第１色温度判定値がＡＲとＡＩＲとの差分である場合の特性曲線Ｌ１の形状とは、互いに異なる。

特性曲線Ｌ２は、比較テーブルＴ２００に対応する特性曲線である。比較テーブルＴ２００は、特性曲線Ｌ２が示す、各判定値に対応する正確な色温度（色成分値）を示す。特性曲線Ｌ２が示す、各判定値に対応する色温度（色成分値）は、例えば、ｘｙ色度図等を利用したシミュレーション等により経験的に求められた、正確な色温度である。

例えば、比較テーブルＴ２００が示す複数の判定値が、第２色温度判定値と比較対象の値であり、第２色温度判定値は、一例として、ＡＲ／ＡＧであるとする。この場合、比較テーブルＴ２００が示す各判定値に対応する色温度（色成分値）は、ＡＲ／ＡＧが示す各値と正確に対応する色温度となるように、シミュレーション等により経験的に求められたものである。

また、例えば、比較テーブルＴ２００が示す複数の判定値が、第２色温度判定値と比較対象の値であり、第２色温度判定値は、一例として、ＡＲとＡＧとの差分であるとする。この場合、比較テーブルＴ２００が示す各判定値に対応する色温度（色成分値）は、ＡＲとＡＧとの差分としての各値と正確に対応する色温度となるように、シミュレーション等により経験的に求められたものである。

なお、第２色温度判定値がＡＲ／ＡＧである場合の特性曲線Ｌ２の形状と、第２色温度判定値がＡＲとＡＧとの差分である場合の特性曲線Ｌ２の形状とは、互いに異なる。

再び、図５を参照して、ステップＳ５５１では、制御部２００が、比較テーブルＴ１００が示す複数の判定値のうち、算出した第１色温度判定値に最も近い判定値に対応する色温度（色成分値）を抽出し、当該抽出した色温度を、第１色温度として算出する。

ここで、第１色温度判定値は、一例として、第１比率であるとする。この場合、第１色温度の算出において、制御部２００は、比較テーブルＴ１００が示す複数の判定値のうち、算出された第１比率に最も近い判定値に対応する色温度（色成分値）を、第１色温度として算出する。

また、ここで、第１色温度判定値は、一例として、第１差分であるとする。この場合、第１色温度の算出において、制御部２００は、比較テーブルＴ１００が示す複数の判定値のうち、算出された第１差分に最も近い判定値に対応する色温度（色成分値）を、第１色温度として算出する。

また、制御部２００が、比較テーブルＴ２００が示す複数の判定値のうち、算出した第２色温度判定値に最も近い判定値に対応する色温度（色成分値）を抽出し、当該抽出した色温度を、第２色温度として算出する。

ここで、第２色温度判定値は、一例として、第２比率であるとする。この場合、第２色温度の算出において、制御部２００は、比較テーブルＴ２００が示す複数の判定値のうち、算出された第２比率に最も近い判定値に対応する色温度（色成分値）を、第２色温度として算出する。

また、ここで、第２色温度判定値は、一例として、第２差分であるとする。この場合、第２色温度の算出において、制御部２００は、比較テーブルＴ２００が示す複数の判定値のうち、算出された第２差分に最も近い判定値に対応する色温度（色成分値）を、第２色温度として算出する。

そして、制御部２００は、第１色温度および第２色温度の平均値を、算出対象の色温度（以下、算出色温度という）として算出する。

すなわち、第１色温度判定値および第２色温度判定値が、それぞれ、第１比率および第２比率である場合、ステップＳ５５１では、制御部２００（算出部）は、第１比率および第２比率のうち算出した比率と、当該算出した比率に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、色温度を算出する。

また、すなわち、第１色温度判定値および第２色温度判定値が、それぞれ、第１差分および第２差分である場合、ステップＳ５５１では、制御部２００（算出部）は、第１差分および第２差分うち算出した差分と、当該算出した差分に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、色温度を算出する。

すなわち、近赤外信号の量が所定量より大きい場合（Ｓ５３０でＹＥＳ）、ステップＳ５５１の処理により、制御部２００（算出部）は、第１比率と、該第１比率に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、色温度を算出する。

また、すなわち、近赤外信号の量が所定量より大きい場合（Ｓ５３０でＹＥＳ）、ステップＳ５５１の処理により、制御部２００（算出部）は、第１差分と、該第１差分に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、色温度を算出する。

言い換えれば、近赤外信号の量が所定量より大きい場合（Ｓ５３０でＹＥＳ）、ステップＳ５４１，Ｓ５５１の処理により、制御部２００（算出部）は、少なくとも第１可視光信号と近赤外信号とを用いて、色温度を算出する。

また、ステップＳ５４１，Ｓ５５１の処理により、制御部２００（算出部）は、第１可視光信号、第２可視光信号および近赤外信号のうちの少なくとも２つを用いて、色温度を算出する。

なお、算出色温度の算出方法は上記方法に限定されない。例えば、算出色温度は、第１色温度および第２色温度の２乗平均であってもよい。

また、算出色温度は、第１色温度および第２色温度を用いて算出された値でなく、第１色温度または第２色温度であってもよい。すなわち、算出色温度は、例えば、比較テーブルＴ２００および第２色温度判定値を使用せず、比較テーブルＴ１００および第１色温度判定値を用いて算出されてもよい。この場合、ステップＳ５５１では、前述したように第１色温度が算出され、算出された第１色温度を、算出色温度として算出してもよい。

ステップＳ５６１では、色温度に対応する画像処理パラメータを算出する。具体的には、制御部２００が、算出した算出色温度に対応する、画像処理パラメータとしてのホワイトバランス係数ＷＢを算出する。なお、色温度を用いてホワイトバランス係数ＷＢを算出する方法は、周知な方法であるので詳細な説明は行わない。

そして、制御部２００は、算出したホワイトバランス係数ＷＢを、ホワイトバランス部３２０へ送信する。

なお、画像処理パラメータは、ホワイトバランス係数ＷＢだけでなく、補正行列係数、色調整係数など画像処理に必要な全てのパラメータである。ホワイトバランス係数ＷＢ以外の画像処理パラメータ（例えば、色調整係数）の算出方法については省略する。

そして、この画像補正情報算出処理は終了する。
前述のステップＳ５３０でＮＯの場合、すなわち、１フレームに対応する近赤外信号（ＩＲ信号）の量が所定量以下の場合、処理はステップＳ５４２に移行する。

ステップＳ５４２では、可視光信号を用いた色温度判定値の算出が行われる。当該色温度判定値の算出方法は、ステップＳ５４１の第２色温度判定値の算出方法と同様なので詳細な説明は繰り返さない。以下、簡単に説明する。

制御部２００は、第１可視光信号としての平均赤値ＡＲを、第２可視光信号としての平均緑値ＡＧで除算した値を、色温度判定値（第２色温度判定値）として算出する。

この場合、第２色温度判定値は、ＡＲ／ＡＧで表される。すなわち、第２色温度判定値は、第２可視光信号としての緑色信号に対する第１可視光信号としての赤色信号の比率（第２比率）である。

なお、第２色温度判定値は、信号の比率に限定されない。第２色温度判定値は、例えば、２つの値の差分であってもよい。この場合、制御部２００は、第１可視光信号としての平均赤値ＡＲと、第２可視光信号としての平均緑値ＡＧとの差分を、第２色温度判定値として算出する。なお、差分が負の値である場合は、当該負の値の絶対値が、第２色温度判定値として算出される。この場合、第２色温度判定値は、第１可視光信号と第２可視光信号との差分（第２差分）である。

ステップＳ５５２では、可視光信号に基づいて色温度が算出される。ステップＳ５５２の処理は、ステップＳ５５１の第２色温度を算出する処理と同様なので詳細な説明は繰り返さない。

以下、簡単に説明する。制御部２００が、算出した第２色温度判定値と、比較テーブルＴ２００とを用いて、色温度を算出する。比較テーブルＴ２００は、前述したので詳細な説明は繰り返さない。

より、具体的には、制御部２００が、比較テーブルＴ２００が示す複数の判定値のうち、算出した第２色温度判定値に最も近い判定値に対応する色温度（色成分値）を抽出し、当該抽出した色温度を、算出対象の色温度（算出色温度）として算出する。

ステップＳ５６２では、ステップＳ５６１と同様な処理が行われるので詳細な説明は繰り返さない。

そして、この画像補正情報算出処理は終了する。

（比較例）
以下、本発明の実施の形態の比較例に係る撮像装置（以下、撮像装置Ｎという）について説明する。撮像装置Ｎは、可視光のみを利用して色温度を算出する装置である。撮像装置Ｎは、可視光と近赤外光とを同時に受光して処理する場合に、不具合の生じる撮像条件が存在する。

例えば、撮像装置Ｎが、Ｂ＋ＩＲ信号からＩＲ信号成分を除去することにより、Ｂ信号を算出し、Ｒ＋ＩＲ信号からＩＲ信号成分を除去することにより、Ｒ信号を算出したとする。この場合、特に、撮像装置Ｎが受光する光の色温度が、１５００Ｋ〜２５００Ｋなどの低い色温度の場合、ＩＲ信号の量に対しＢ信号の量は極めて小さい。そのため、撮像装置Ｎが生成する画像の信号精度、すなわち、ＳＮ（Signal-to-Noise）比が劣化する。

図７，図８および図９は、色温度が１５００Ｋ〜２５００Ｋの照明光（光）における、カラー固体撮像素子（光電変換素子）の分光感度と照明強度との積の波長分散を示す。図７〜図９の各々において、縦軸は、光電変換素子の分光感度と照明光の強度との積を示し、横軸は照明光の波長を示す。

図７は、色温度が１５００Ｋである照明光における各種特性を示す図である。
図８は、色温度が２０００Ｋである照明光における各種特性を示す図である。

図９は、色温度が２５００Ｋである照明光における各種特性を示す図である。
図７、図８および図９の特性曲線Ｌ１１，Ｌ２１，Ｌ３１は、各波長における、Ｂ＋ＩＲ信号を生成する光電変換素子ＳＰ２の分光感度と照明光の強度との積を示す図である。

図７、図８および図９の特性曲線Ｌ１２，Ｌ２２，Ｌ３２は、各波長における、Ｇ＋ＩＲ信号を生成する光電変換素子ＳＰ３の分光感度と照明光の強度との積を示す図である。

図７、図８および図９の特性曲線Ｌ１３，Ｌ２３，Ｌ３３は、各波長における、Ｒ＋ＩＲ信号を生成する光電変換素子ＳＰ１の分光感度と照明光の強度との積を示す図である。

図７、図８および図９の特性曲線Ｌ１４，Ｌ２４，Ｌ３４は、各波長における、ＩＲ信号を生成する光電変換素子ＳＰ４の分光感度と照明光の強度との積を示す図である。

図７で顕著であるように、青の光の感度が、他の光（緑色光、赤色光、ＩＲ光）の感度と比べて極端に低いことがわかる。このような、照明下で青色信号を用いて色温度を算出した場合、算出された色温度の精度が非常に低く、正しくホワイトバランス調整できなくなるなどの問題が生じる。

また、可視光と近赤外光を含んだ３原色の信号に対して、各色に異なる重み付けを行う処理のみで色温度を算出したとしても、近赤外光の比率が多くなるような低色温度の照明下では、色分離自体が困難になる。そのため、この算出方法は、カラー画像には適さない。

仮に、原色毎に異なるゲインを乗算し、色をつけようとしても、近赤外領域の反射率の異なる被写体では、色が異なってしまうため正しい色を再現するためのカラー化は困難である。

一方、本実施の形態における撮像装置１０００では、近赤外信号の量が所定量より大きい場合、近赤外信号と可視光信号とを利用して、受光する光の色温度を算出する。光は、色温度が低いほど、近赤外光の成分は大きくなる。そのため、照明光等の色温度の低い環境下においても、本実施の形態では、近赤外信号を利用するため、精度よく、色温度を算出することができる。そのため、色温度に基づいたホワイトバランス調整を精度よく行うことができる。

なお、光の色温度が低い程、当該光における近赤外光の量は多くなる。したがって、撮像装置１０００が受光する光の色温度が低い場合、近赤外信号の量が所定量より大きくなるため、撮像装置１０００は、近赤外光（近赤外信号）を利用して色温度を算出する。つまり、本実施の形態によれば、撮像素子１００が受光した可視光の状態に関わらず、色温度の算出精度の低下を抑制することができる。

また、図５のステップＳ５３０の処理により、受光した光に近赤外光が含まれるか否かを判定し、近赤外光が含まれない場合、可視光信号を利用して、色温度を算出することにより、色温度の判定誤りを回避する（防ぐ）ことができる。

すなわち、近赤外光の有無を判定し、近赤外光がないような蛍光灯等の照明下では可視光の比率のみで色温度を算出する。これにより、色温度の判定誤りを回避することができる。

（まとめ）
以上、本発明の実施の形態に係る撮像装置１０００には、可視光から近赤外光までの感度を有する複数の画素が配置される。当該複数の画素上には、それぞれ、複数のカラーフィルタが配置される。

当該複数のカラーフィルタのうち少なくとも一種類のカラーフィルタは、少なくとも可視光と近赤外光を透過させる。また、当該複数のカラーフィルタのうち、上記カラーフィルタと別のカラーフィルタは、本質的に近赤外光と同じ波長帯域の近赤外光を透過させる。すなわち、当該別のカラーフィルタは、実質的に同一の近赤外成分の光を透過させる。

撮像装置１０００は、可視光信号と近赤外光信号との比率もしくは差分を評価（算出）することにより、色温度を検知（算出）する。

すなわち、可視光と近赤外光の信号を用いた場合、光の色温度が低くなれば相対的に近赤外光の信号は大きくなる。そのため、実験的に、各色温度に対する色温度の基準を決定しておくことで、色温度を決定することができる。

従来技術では、可視光のみを用いて色温度を判定していた。しかしながら、本実施の形態に係る撮像装置１０００は、可視光から近赤外光までの信号に対して、色温度を判定する。そのため、判定可能な波長範囲が広くなり、決定（算出）する色温度の精度を向上させることができる。

また、本実施の形態に係る撮像装置１０００は、近赤外光信号と可視光信号の比率もしくは差分と、異なる２種類の可視光信号の比率もしくは差分を用いて、色温度を検知（算出）する。

これにより、色温度を算出するための信号として、近赤外光信号と可視光信号との相対比較に加え、別の波長領域の相対比較も使用する。これにより、色温度を算出するための判定材料が増えるため、安定して、色温度を精度よく決定（算出）することができる。

また、本実施の形態に係る撮像装置１０００は、近赤外光と赤色信号の比率もしくは差分と、赤色信号と緑色信号の比率もしくは差分とを評価する（利用する）ことにより色温度を検知（算出）する。

近赤外信号と赤色信号の比率または差分と、赤色信号と緑色信号との比率または差分とを評価する（利用する）ことは、光の色温度が低い場合において、青色信号が少量しかなく誤差が大きくなることを考慮している。すなわち、青色以外の信号である緑色成分、赤色成分、近赤外成分を使うことにより、誤差によるブレの少ない安定した色温度の判定（算出）が可能になる。

また、本実施の形態で算出された色温度を用いて画像処理をすることにより、各色温度下におけるホワイトバランス処理のパラメータや、補正行列処理のパラメータを個別にメモリに保持しておき、照明の色温度を用いることで様々な照明下において適切な画像を出力する撮像装置を提供することができる。

なお、ここでいう画像処理に必要なパラメータとは、ホワイトバランスのみならず補正行列係数、色調整係数など画像処理に必要なすべてのパラメータのことを意味している。

以上、本発明における撮像装置１０００について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

また、上記の撮像装置１０００を構成する複数の構成要素の全てまたは一部は、ハードウエアで構成されてもよい。また、上記の撮像装置１０００を構成する構成要素の全てまたは一部は、ＣＰＵ（Central Processing Unit）等により実行されるプログラムのモジュールであってもよい。

また、上記の撮像装置１０００を構成する複数の構成要素の全てまたは一部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などを含んで構成されるコンピュータシステムである。

例えば、図１において、信号処理部３００は、１個のシステムＬＳＩから構成されてもよい。

また、本発明は、撮像装置１０００が備える特徴的な構成部の動作をステップとする色温度算出方法として実現してもよい。また、本発明は、そのような色温度算出方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。

すなわち、本発明は、上記各ステップを、一般的なプログラミング手法によって、マイクロコンピュータ、ＣＰＵ（Central Processing Unit）等に実行させるソフトウェアで実現されてもよい。

また、本発明は、上記各ステップを、ＲＴＬ（レジスタ転送言語）等のプログラミング言語を利用して、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）等のハードウェアに実行させたものであっても構わない。

また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、色温度の算出精度の低下を抑制可能な撮像装置として、利用することができる。

１００ 撮像素子
１１０ 受光部
２００ 制御部
３００ 信号処理部
３１０ 色分離部
３２０ ホワイトバランス部
３３０ 補間処理部
３４０ ガンマ補正部
１０００ 撮像装置

Claims (9)

1. 可視光および近赤外光を受光するための撮像素子と、
   色温度を算出するための算出部とを備え、
   前記撮像素子は、
   可視光を少なくとも透過させる第１のカラーフィルタを透過した可視光に対し光電変換することにより可視光信号としての第１可視光信号を生成するための第１の光電変換素子と、
   近赤外光を少なくとも透過させる第２のカラーフィルタを透過した近赤外光に対し光電変換することにより近赤外信号を生成するための第２の光電変換素子とを含み、
   前記算出部は、前記近赤外信号の量が所定量より大きい場合、少なくとも前記第１可視光信号と前記近赤外信号とを用いて、色温度を算出する
   撮像装置。
2. 前記算出部は、前記近赤外信号の量が前記所定量より大きい場合、前記第１可視光信号に対する前記近赤外信号の比率である第１比率を算出し、
   前記算出部は、前記第１比率と、該第１比率に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、前記色温度を算出する
   請求項１に記載の撮像装置。
3. 前記算出部は、前記近赤外信号の量が前記所定量より大きい場合、前記第１可視光信号と前記近赤外信号との差分である第１差分を算出し、
   前記算出部は、前記第１差分と、該第１差分に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、前記色温度を算出する
   請求項１に記載の撮像装置。
4. 前記第１のカラーフィルタを透過した可視光は、赤色成分の光であり、
   前記第１可視光信号は、赤色信号である
   請求項１〜３のいずれかに記載の撮像装置。
5. 前記撮像素子は、さらに、
   前記第１のカラーフィルタが透過させる可視光の波長と異なる波長の可視光を透過させる第３のカラーフィルタを透過した可視光に対し光電変換することにより可視光信号としての第２可視光信号を生成する第３の光電変換素子を含み、
   前記算出部は、前記第１可視光信号、前記第２可視光信号および前記近赤外信号のうちの少なくとも２つを用いて、前記色温度を算出する
   請求項１に記載の撮像装置。
6. 前記算出部は、
   前記近赤外信号の量が前記所定量より大きい場合、前記第１可視光信号に対する前記近赤外信号の比率である第１比率を算出し、前記近赤外信号の量が前記所定量以下である場合、前記第２可視光信号に対する前記第１可視光信号の比率である第２比率を算出し、
   前記算出部は、前記第１比率および第２比率のうち算出した比率と、当該算出した比率に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、前記色温度を算出する
   請求項５に記載の撮像装置。
7. 前記算出部は、
   前記近赤外信号の量が前記所定量より大きい場合、前記第１可視光信号と前記近赤外信号との差分である第１差分を算出し、前記近赤外信号の量が前記所定量以下の場合、前記第１可視光信号と前記第２可視光信号との差分である第２差分を算出し、
   前記算出部は、前記第１差分および第２差分うち算出した差分と、当該算出した差分に対応する正確な色温度を算出するための情報を示す比較テーブルとを用いて、前記色温度を算出する
   請求項５に記載の撮像装置。
8. 前記第１のカラーフィルタを透過した可視光は、赤色成分の光であり、
   前記第３のカラーフィルタを透過した可視光は、緑色成分の光であり、
   前記第１可視光信号は、赤色信号であり、
   前記第２可視光信号は、緑色信号である
   請求項５〜７のいずれかに記載の撮像装置。
9. 可視光および近赤外光を受光するための撮像素子を備える撮像装置が行う色温度算出方法であって、
   前記撮像素子は、
   可視光を少なくとも透過させる第１のカラーフィルタを透過した可視光に対し光電変換することにより可視光信号としての第１可視光信号を生成するための第１の光電変換素子と、
   近赤外光を少なくとも透過させる第２のカラーフィルタを透過した近赤外光に対し光電変換することにより近赤外信号を生成するための第２の光電変換素子とを含み、
   前記色温度算出方法は、
   前記近赤外信号の量が所定量より大きい場合、少なくとも前記第１可視光信号と前記近赤外信号とを用いて、色温度を算出するステップを備える、
   色温度算出方法。

Images