JP6360816B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

従来、例えば監視カメラ等の技術分野では、高照度から低照度までのあらゆる環境下において良好な映像を提供することが望まれている。そこで、本技術分野の背景技術としては、例えば、特開２０１１−２３３９８３公報（特許文献１）がある。

特許文献１には、夜間のような低照度下でも良好なカラー画像を得ることができ、かつ、赤外線照明装置を用いた場合のようなコントラストが鮮明な映像を同時に得ることができる撮像装置が記載されている。具体的には、特許文献１には、固体撮像素子と、赤外ＬＥＤと、発光制御部と、赤外ＬＥＤの非発光期間および発光期間に同期して、可視光によるカラー画像信号と赤外光による画像信号とをそれぞれ抽出する信号処理部とを備える撮像装置が記載されている。また、特許文献１には、固体撮像素子が、緑色の可視光と赤外光とを受光する画素と、赤色の可視光と赤外光とを受光する画素と、青色の可視光と赤外光とを受光する画素と、赤外光を受光する画素とを備えた単位配列を有することが記載されている。さらに、特許文献１には、固体撮像素子が、該単位配列が２次元配列された撮像領域を有することが記載されている。この特許文献１に記載の技術を用いれば、可視光と赤外光とを同時に受光可能な撮像素子を用いて、夜間においても良好なカラー画像を得ることができる。

特開２０１１−２３３９８３公報

上記特許文献１では、夜間のような低照度環境下における撮影については十分に考慮されている。しかしながら、特許文献１では、例えば、太陽光、ハロゲン光、ナトリウムランプ等の光源が使用される環境下、すなわち、赤外線が多く含まれる光源が使用される環境下における撮影については、十分に考慮がなされていない。そこで、従来、本技術分野では、可視光と赤外光とを同時に受光可能な撮像装置において、被写体の光学的な撮像環境（以下、被写体環境という）に応じて、撮影時の光学条件（撮像条件）を最適な条件に自動遷移させることが可能な技術の開発が求められている。

本発明は、上記要望に応えるためになされたものであり、本発明の目的は、可視光と赤外光とを同時に受光可能な撮像装置において、被写体環境に応じて、撮影時の光学条件を最適な条件に自動的に遷移させることが可能な技術を提供することである。

上記従来技術の課題を解決するために、本発明では、可視光及び赤外光を同時に受光可能な撮像部と、第１光学フィルタと、可視光信号生成部と、赤外光信号生成部と、制御部と、光学フィルタ制御部と、を備える撮像装置及びその撮像方法を提供する。そして、本発明では、光学フィルタ制御部は、制御部から出力された所定の制御信号に基づいて、可視光のみを透過する第１光学フィルタを入射光の光路上の第１の位置又は光路上の位置以外の第２の位置に配置する。

上記構成の本発明によれば、可視光と赤外光とを同時に受光可能な撮像装置において、被写体環境に応じて、撮影時の光学条件を最適な条件に自動的に遷移させることができる。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。 第１の実施形態に係る撮像装置における単位画素の配列を示す図である。 第１の実施形態に係る撮像装置における各単位画素の感度特性を示す図である。 第１の実施形態に係る撮像装置の可視光信号生成部及び赤外光信号生成部から出力される各信号に対応する感度特性を示す図である。 第１の実施形態に係る撮像装置における制御部の機能ブロック図である。 第１の実施形態に係る撮像装置において実行される光源判定処理の内容を説明するための図である。 第１の実施形態に係る撮像装置における光学フィルタの移動制御処理（光学条件の切り替え処理）の手順を示すフローチャートである。 第１の実施形態に係る撮像装置の効果を説明するための図である。 本発明の第２の実施形態に係る撮像装置の構成を示すブロック図である。 汎用の撮像素子における各単位画素の感度特性を示す図である。 変形例１に係る撮像装置における制御部の機能ブロック図である。

以下に、本発明の各種実施形態に係る撮像装置及びその撮像装置を用いた撮像手法の内容について、図面を参照しながら具体的に説明する。なお、本発明の撮像装置は、様々な用途に適用可能であり、例えば、後述の撮像装置をシャーシ部材に取り付けて構成されたシャーシカメラなどにも適用可能である。

＜第１の実施形態＞
［撮像装置の構成］
図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。撮像装置１は、図１に示すように、撮像部１０と、光学フィルタ２と、可視光信号生成部３と、赤外光信号生成部４と、光学フィルタ制御部５と、赤外線照射部６と、可視光信号処理部７と、赤外光信号処理部８と、信号合成部９と、制御部２０と、を備える。

［撮像部］
撮像部１０は、レンズ１１と、撮像素子１２と、を有する。また、図示しないが、撮像部１０は、撮像素子１２に入射される光の光量を調整するための絞り機構及びシャッタ機構を有する。レンズ１１は、被写体から入射される光信号（以下、被写体信号という）を撮像素子１２の受光面上に結像して光学像を生成する。

撮像素子１２は、可視光及び赤外光の両方に対して光学的感度を有する撮像素子（可視光及び赤外光を同時に受光可能な撮像素子）で構成される。撮像素子１２は、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型やＣＣＤ（Charge-Coupled Device）型などの固体撮像素子で構成することができる。そして、撮像素子１２は、レンズ１１によって結像された光学像（被写体信号）を電気信号に変換し、該変換した電気信号を可視光信号生成部３及び赤外光信号生成部４に出力する。

図２は、撮像素子１２の概略構成図である。撮像素子１２の撮像領域１２ａ（受光面）には、複数の単位画素が２次元状に配列される。

複数の単位画素には、可視光に含まれる赤色成分光と、赤外光とを受光可能な第１単位画素３１、及び、可視光に含まれる緑色成分光と、赤外光とを受光可能な第２単位画素３２が含まれる。また、複数の単位画素には、可視光に含まれる青色成分光と、赤外光とを受光可能な第３単位画素３３、及び、赤外光のみを受光可能な第４単位画素３４が含まれる。なお、図示しないが、第１単位画素３１には、可視光中の赤色成分光と、赤外光とを透過させるフィルタが設けられ、第２単位画素３２には、可視光中の緑色成分光と、赤外光とを透過させるフィルタが設けられる。また、第３単位画素３３には、可視光中の青色成分光と、赤外光とを透過させるフィルタが設けられ、第４単位画素３４には、赤外光のみを透過させるフィルタが設けられる。

そして、撮像領域１２ａでは、第１単位画素３１〜第４単位画素３４が２行×２列の態様で互いに隣接して配置された画素群３０ａ（以下、基本画素群３０ａという）が、２次元状に配列される。

また、基本画素群の別の構成としては、図２に示す基本画素群３０ｂの構成を用いてもよい。基本画素群３０ｂは、可視光中の赤色成分光と、赤外光とを受光可能な第１単位画素３５、及び、可視光中の緑色成分光と、赤外光とを受光可能な第２単位画素３６を含む。また、基本画素群３０ｂは、可視光信号中の青色成分光と、赤外光とを受光可能な第３単位画素３７、及び、可視光帯域全ての光と、赤外光とを受光可能な第４単位画素３８を含む。そして、第１単位画素３５〜第４単位画素３８は、２行×２列の態様で互いに隣接して配置される。また、図示しないが、第４単位画素３８には、可視光（可視光帯域全ての光）と赤外光とを透過させるフィルタが設けられる。

なお、基本画素群内における第１単位画素〜第４単位画素の位置関係及び／又は配列態様は、図２に示す例に限定されず、例えば撮像素子の種別等に応じて適宜設定することができる。

図３Ａ、図３Ｂ、図３Ｃ及び図３Ｄはそれぞれ、基本画素群３０ａ（図２参照）を構成する第３単位画素３３、第２単位画素３２、第１単位画素３１及び第４単位画素３４の感度（感光）特性を示す図である。また、図３Ｅは、基本画素群３０ｂ（図２参照）を構成する第４単位画素３８の感度特性を示す図である。なお、各図に示す感度特性は、入射光の波長の変化に対する、各単位画素の感度の変化を表す特性である。また、各図中の「Ｒ」、「Ｇ」、「Ｂ」、「Ｗ」及び「ＩＲ」で示す波長帯域は、それぞれ、赤色成分光、緑色成分光、青色成分光、可視光及び赤外光の波長帯域を示す。

基本画素群３０ａを構成する、第３単位画素３３の感度特性は、青色成分光及び赤外光の両方の波長帯域で感度を有する特性となり、第２単位画素３２の感度特性は、緑色成分光及び赤外光の両方の波長帯域で感度を有する特性となる。基本画素群３０ａを構成する、第１単位画素３１の感度特性は、赤色成分光及び赤外光の両方の波長帯域で感度を有する特性となり、第４単位画素３４の感度特性は、赤外光の波長帯域でのみ感度を有する特性となる。また、基本画素群３０ｂを構成する第４単位画素３８の感度特性は、可視光及び赤外光の両方の波長帯域で感度を有する特性となる。なお、基本画素群３０ｂを構成する第１単位画素３５〜第３単位画素３７の感度特性は、それぞれ図３Ｃ〜図３Ａで表された感度特性と同様の特性となる。

［可視光信号生成部及び赤外光信号生成部］
可視光信号生成部３は、撮像部１０から入力された電気信号に含まれる可視光成分の信号（以下、可視光信号という）のみを抽出する。なお、基本画素群の構成が上述した基本画素群３０ａである場合（図２参照）、可視光信号生成部３は、可視光信号に含まれる、赤色成分信号、緑色成分信号及び青色成分信号をそれぞれ別個に抽出する。また、基本画素群の構成が上述した基本画素群３０ｂである場合（図２参照）、可視光信号生成部３は、可視光信号に含まれる、赤色成分信号、緑色成分信号、青色成分信号及び可視光帯域全体の信号をそれぞれ別個に抽出する。そして、可視光信号生成部３は、抽出した各種色成分信号を可視光信号処理部７及び制御部２０に出力する。

赤外光信号生成部４は、撮像部１０から入力された電気信号に含まれる赤外光成分の信号（以下、赤外光信号という）のみを抽出する。そして、赤外光信号生成部４は、抽出した赤外光信号を赤外光信号処理部８及び制御部２０に出力する。

なお、基本画素群の構成が基本画素群３０ａである場合（図２参照）、可視光信号生成部３では、下記式により、赤色成分信号（Ｒ信号）、緑色成分信号（Ｇ信号）及び青色成分信号（Ｂ信号）がそれぞれ抽出される。また、赤外光信号生成部４では、第４単位画素３４で得られた信号が赤外光信号（ＩＲ信号）として抽出される。なお、下記式中の「Ｒ＋ＩＲ」、「Ｇ＋ＩＲ」、「Ｂ＋ＩＲ」及び「ＩＲ」は、それぞれ第１単位画素３１、第２単位画素３２、第３単位画素３３及び第４単位画素３４から得られる信号を表す。
Ｒ信号＝（Ｒ＋ＩＲ）−ＩＲ
Ｇ信号＝（Ｇ＋ＩＲ）−ＩＲ
Ｂ信号＝（Ｂ＋ＩＲ）−ＩＲ
ＩＲ信号＝第４単位画素３４で得られた信号

一方、基本画素群の構成が上述した基本画素群３０ｂである場合（図２参照）、可視光信号生成部３では、下記式により、Ｒ信号、Ｇ信号、Ｂ信号及び可視光帯域全体の信号量（Ｗ信号）がそれぞれ抽出される。また、赤外光信号生成部４では、下記式により、ＩＲ信号が抽出される。なお、下記式中の「Ｒ＋ＩＲ」、「Ｇ＋ＩＲ」、「Ｂ＋ＩＲ」及び「Ｗ＋ＩＲ」は、それぞれ第１単位画素３５、第２単位画素３６、第３単位画素３７及び第４単位画素３８から得られる信号を表す。また、下記式中の係数α１〜α４は、不要な信号（抽出すべき色成分信号以外の信号）を適切にキャンセルするための係数である。例えば、α１は、Ｒ信号以外の信号を適切にキャンセルするための係数である。
Ｒ信号＝α１×（Ｗ＋ＩＲ）−｛（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）｝
Ｇ信号＝α２×（Ｗ＋ＩＲ）−｛（Ｒ＋ＩＲ）＋（Ｂ＋ＩＲ）｝
Ｂ信号＝α３×（Ｗ＋ＩＲ）−｛（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）｝
Ｗ信号＝（Ｗ＋ＩＲ）−ＩＲ
ＩＲ信号＝｛（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）｝−α４×（Ｗ＋ＩＲ）

図４Ａ〜図４Ｅはそれぞれ、上記抽出処理により求められたＢ信号、Ｇ信号、Ｒ信号、ＩＲ信号及びＷ信号に対応する感度特性を示す図である。可視光信号生成部３の抽出処理により得られた、Ｂ信号に対応する感度特性は、青色光の波長帯域でのみ感度を有する特性となり、Ｇ信号に対応する感度特性は、緑色光の波長帯域でのみ感度を有する特性となる。また、可視光信号生成部３の抽出処理により得られたＲ信号に対応する感度特性は、赤色光の波長帯域でのみ感度を有する特性となる。赤外光信号生成部４の抽出処理により得られたＩＲ信号に対応する感度特性は、赤外光の波長帯域でのみ感度を有する特性となる。また、可視光信号生成部３の抽出処理により得られたＷ信号に対応する感度特性は、可視光の波長帯域全般に渡って所定の感度が得られるような特性となる。

なお、上述した各種色成分信号及び赤外光信号の抽出処理は、１フレームの画像処理毎に実行される。また、この抽出された各種色成分信号及び赤外光信号に基づいて行われる、後述の信号比率の算出処理、光源の判定処理、光学フィルタ２の挿入要否の判定処理、信号処理で用いられる各種パラメータの設定処理等も、１フレームの画像処理毎に実行される。

［可視光信号処理部、赤外光信号処理部及び信号合成部］
可視光信号処理部７は、可視光信号生成部３から入力される各種色成分信号に対して、例えば、ホワイトバランス処理、ノイズ低減処理、ゲイン補正処理などの各種信号処理を行う。なお、この信号処理は、制御部２０から入力される信号（各種信号処理パラメータ）に基づいて行われる。そして、可視光信号処理部７は、これらの各種信号処理が施された信号を信号合成部９に出力する。

赤外光信号処理部８は、制御部２０から入力される信号（各種信号処理パラメータ）に基づいて、赤外光信号生成部４から入力される赤外光信号に対して、例えば、ノイズ低減処理、ゲイン補正処理などの各種信号処理を施す。そして、赤外光信号処理部８は、これらの各種信号処理が施された信号を信号合成部９に出力する。

信号合成部９は、制御部２０から入力される信号（各種信号処理パラメータ）に基づいて、可視光信号処理部７から入力された信号と、赤外光信号処理部８から入力された信号とを合成する。そして、信号合成部９は、合成された信号を映像信号として、例えば、外部のモニター等の表示装置に出力する。

［光学フィルタ］
光学フィルタ２（第１光学フィルタ）は、撮像部１０に入射される被写体信号に含まれる可視光成分の光信号のみを透過させるフィルタ（バンドパスフィルタ）で構成される。

なお、図示しないが、本実施形態では、光学フィルタ２の位置を移動させることが可能な移動機構部も設けられる。移動機構部は、光学フィルタ制御部５から入力された駆動制御信号に基づいて、光学フィルタ２をレンズ１１及び撮像素子１２間の光路上の位置に移動させる、又は、該光路上に配置された光学フィルタ２を光路上以外の位置に移動させる。また、移動機構部は、光学フィルタ２と一体的に設けられていてもよいし、光学フィルタ２とは別体で設けられていてもよい。

［光学フィルタ制御部］
光学フィルタ制御部５は、制御部２０（後述の信号比率算出部２２）から入力される制御信号に基づいて、光学フィルタ２を駆動（移動）制御する。

例えば、光学フィルタ２を入射光の光路上に挿入するための制御信号（以下、挿入制御信号という）が制御部２０から入力されると、光学フィルタ制御部５は、光学フィルタ２を光路上の所定位置に配置するための駆動制御信号を光学フィルタ２に出力する。この処理により、光学フィルタ２の挿入機能の作動が開始される。なお、この処理時に光学フィルタ２がすでに該光路上の所定位置（挿入位置）に配置されている場合、光学フィルタ制御部５は、挿入制御信号に基づいて、光学フィルタ２が挿入位置に維持されるように光学フィルタ２を駆動制御する。

一方、光学フィルタ２を入射光の光路上から取り外すための制御信号（以下、取り外し制御信号という）が制御部２０から入力されると、光学フィルタ制御部５は、光学フィルタ２を光路上以外の特定位置に配置するための駆動制御信号を光学フィルタ２に出力する。この処理により、光学フィルタ２の取り外し機能の作動が開始される。なお、この処理時に光学フィルタ２がすでに該光路上以外の特定位置（取り外し位置）に配置されている場合、光学フィルタ制御部５は、取り外し制御信号に基づいて、光学フィルタ２が取り外し位置に維持されるように光学フィルタ２を駆動制御する。

なお、本実施形態では、被写体環境が著しく高照度（以下、超高照度という）の環境である場合、後述する光源の判定結果（光学フィルタ２の挿入要否の判定結果）に関係なく、光学フィルタ２をレンズ１１及び撮像素子１２間の光路上の挿入位置に配置する。

［赤外線照射部］
赤外線照射部６は、赤外線ＬＥＤ（Light Emitting Diode：不図示）を有し、制御部２０から入力された制御信号に基づいて、赤外線ＬＥＤを点灯し、被写体に赤外光を照射する。

なお、本実施形態では、被写体環境が著しく低照度（以下、超低照度という）の環境である場合、後述する光源の判定結果（光学フィルタ２の挿入要否の判定結果）に関係なく、赤外線照射部６は、赤外線ＬＥＤを点灯し、被写体に赤外光を照射する。なお、この赤外光照射処理は、後述の赤外線照射量制御部２３により算出された赤外線照射量に基づいて行われる。また、赤外線照射部６による赤外光の照射動作が行われるときには、制御部２０の判定処理により光学フィルタ２の挿入機能の作動が決定されていても、その判定結果は無視される。

［制御部］
図５は、制御部２０の内部構成を示す機能ブロック図である。制御部２０は、図５に示すように、露光制御部２１と、信号比率算出部２２と、赤外線照射量制御部２３と、光源判定部２４と、信号処理設定値算出部２５と、を有する。

露光制御部２１は、可視光信号生成部３から入力される、可視光信号に含まれる各色成分信号の信号量、及び、赤外光信号生成部４から入力される赤外光信号の信号量に基づいて、露光制御信号を生成し、該露光制御信号を撮像部１０に出力する。本実施形態では、この露光制御信号に基づいて、撮像部１０内の絞り機構及びシャッタ機構（不図示）が制御され、撮像素子１２に入射される光の光量（露光条件）が適宜調整される。

信号比率算出部２２は、可視光信号生成部３から入力される、可視光信号に含まれる各色成分信号の信号量、及び、赤外光信号生成部４から入力される赤外光信号の信号量に基づいて、各光成分の信号比率を算出する。具体的には、信号比率算出部２２は、可視光帯域全体の信号量（可視光の信号量）に対する、赤色成分光の信号量の割合（Ｒ＿Ｒａｔｉｏ）、緑色成分光の信号量の割合（Ｇ＿Ｒａｔｉｏ）及び青色成分光の信号量の割合（Ｂ＿Ｒａｔｉｏ）を算出する。また、信号比率算出部２２は、全信号量（可視光及び赤外光の総信号量）に対する赤外光の信号量の割合（ＩＲ＿Ｒａｔｉｏ）を算出する。なお、この各種信号比率の算出手法については、後で詳述する。そして、信号比率算出部２２は、算出した各種信号比率を、赤外線照射量制御部２３、光源判定部２４及び信号処理設定値算出部２５に出力する。

また、信号比率算出部２２には、光源判定部２４から光源の判定結果（光源情報）が入力されるとともに、赤外線照射量制御部２３から赤外線照射量の算出結果が入力される。信号比率算出部２２は、これらの情報に基づいて、光学フィルタ２の挿入機能の作動の要否（光学フィルタ２の取り外し機能の作動の要否）を判定する。そして、信号比率算出部２２は、この判定結果に対応する所定の制御信号（挿入制御信号又は取り外し制御信号）を光学フィルタ制御部５に出力する。

赤外線照射量制御部２３は、信号比率算出部２２から入力される各種信号比率に基づいて、被写体に照射する赤外線の照射量を算出する。そして、赤外線照射量制御部２３は、算出結果（赤外線照射量）を赤外線照射部６及び信号比率算出部２２に出力する。

光源判定部２４は、信号比率算出部２２から入力される各種信号比率に基づいて、被写体環境で現在使用されている光源の種別を判定する。なお、本実施形態では、光源判定部２４は、現在の光源が判定対象の光源（例えば、太陽光、ハロゲン光、ナトリウムランプ等の赤外線が多く含まれる光源）であるか否かを判定する。具体的には、光源判定部２４は、信号比率算出部２２から入力される各種信号比率の値が、判定対象の光源が使用された被写体環境下において取り得る値であるか否かを判定する。なお、この光源の判定手法については、後で詳述する。

そして、光源判定部２４は、判定結果に基づいて光源情報を更新するとともに、光源情報を信号比率算出部２２及び信号処理設定値算出部２５に出力する。なお、判定処理後の光源情報が判定処理前のそれと同じである場合には、光源判定部２４は、光源情報の更新処理を行わない。

信号処理設定値算出部２５は、可視光信号処理部７及び赤外光信号処理部８で行われる各種信号処理で用いられる各種信号処理パラメータ（設定パラメータ）の最適値を算出する。なお、この算出処理は、信号比率算出部２２から入力される、各種信号比率、赤外線照射量及び光学フィルタ２の位置情報、並びに、光源判定部２４から入力される光源情報に基づいて行われる。そして、信号処理設定値算出部２５は、算出された各種信号処理パラメータを可視光信号処理部７及び赤外光信号処理部８に出力する。

また、信号処理設定値算出部２５は、信号合成部９で行われる合成処理で用いられる、例えば、各信号のゲイン値、輝度信号、色信号を生成するためのマトリクス設定値などの信号処理パラメータ（設定パラメータ）を算出する。そして、信号処理設定値算出部２５は、算出されたこれらの信号処理パラメータを信号合成部９に出力する。

なお、制御部２０内には、図１に示すように、各種処理で必要となる各種プログラムや各種データが格納されたメモリ部２０ａが内蔵されている。このメモリ部２０ａは、例えば、ＲＯＭ（Read Only Memory）等で構成することができる。なお、メモリ部２０ａは、制御部２０の外部に設けられていてもよい。また、図示しないが、制御部２０内には、各種処理の実行時に各種処理データ等を一時的に保持するための作業用メモリも内蔵されている。この作業用メモリは、例えば、ＲＡＭ（Random Access Memory）等で構成することができる。

メモリ部２０ａ（記憶部）に記憶される各種データとしては、例えば、光源の判定処理で用いる後述の信号比率の閾値や光源のスペクトル特性などの判定データが挙げられる。さらに、メモリ部２０ａに記憶される各種データとしては、例えば、可視光信号処理部７、赤外光信号処理部８及び信号合成部９の各種信号処理で用いられる各種信号処理パラメータなどが挙げられる。なお、これらのデータは、例えば、撮像装置１の製造段階等において予めメモリ部２０ａに格納されていてもよいし、撮像装置１の使用者（操作者）等の所定操作により各種データを後からメモリ部２０ａに追加可能な構成にしてもよい。後者の構成を設けた場合、被写体環境に応じて、使用者（操作者）等が最適な各種データ（判定データ、信号処理パラメータ等）をメモリ部２０ａに追加することができる。この場合、例えば、光源の判定精度やカラー映像の再現性などをさらに向上させることができる。

［信号比率の算出手法］
次に、各種信号比率（Ｒ＿Ｒａｔｉｏ（第１信号比率）、Ｇ＿Ｒａｔｉｏ（第２信号比率）、Ｂ＿Ｒａｔｉｏ（第３信号比率）及びＩＲ＿Ｒａｔｉｏ（第４信号比率））の算出手法について説明する。最初に、光学フィルタ２がレンズ１１及び撮像素子１２間の光路上に配置されていない場合における、各種信号比率の算出手法を説明する。

この場合、まず、信号比率算出部２２は、基本画素群毎に、可視光帯域全体の信号量に対する、赤色成分光の信号量の割合（ｒ＿ｒａｔｉｏ）、緑色成分光の信号量の割合（ｇ＿ｒａｔｉｏ）及び青色成分光の信号量の割合（ｂ＿ｒａｔｉｏ）を算出する。また、信号比率算出部２２は、基本画素群毎に、全信号量に対する赤外光の信号量の割合（ｉｒ＿ｒａｔｉｏ）を算出する。この算出処理において、基本画素群の構成が基本画素群３０ａである場合（図２参照）には、可視光帯域全体の信号量は、基本画素群における、Ｒ信号の信号量、Ｇ信号の信号量及びＢ信号の信号量の総和とする。また、この場合、全信号量は、基本画素群における、Ｒ信号の信号量、Ｇ信号の信号量、Ｂ信号の信号量及びＩＲ信号の信号量の総和とする。一方、基本画素群の構成が基本画素群３０ｂである場合（図２参照）には、可視光帯域全体の信号量は、基本画素群におけるＷ信号の信号量とし、全信号量は、基本画素群における、Ｗ信号の信号量及びＩＲ信号の信号量の総和とする。

次いで、信号比率算出部２２は、基本画素群毎に算出されたｒ＿ｒａｔｉｏ、ｇ＿ｒａｔｉｏ、ｂ＿ｒａｔｉｏ及びｉｒ＿ｒａｔｉｏの撮像領域１２ａ全体に渡っての平均値をそれぞれ求める。そして、信号比率算出部２２は、算出されたｒ＿ｒａｔｉｏ、ｇ＿ｒａｔｉｏ、ｂ＿ｒａｔｉｏ及びｉｒ＿ｒａｔｉｏの平均値を、それぞれＲ＿Ｒａｔｉｏ、Ｇ＿Ｒａｔｉｏ、Ｂ＿Ｒａｔｉｏ及びＩＲ＿Ｒａｔｉｏとする。なお、信号比率の算出手法はこれに限定されず、例えば、撮像領域１２ａ全体に渡って各色成分信号及び赤外光信号の信号量の平均値をそれぞれ求め、各信号量の平均値を用いて信号比率を算出してもよい。

次に、光学フィルタ２がレンズ１１及び撮像素子１２間の光路上に配置されている場合における、各種信号比率の算出手法を説明する。

この場合、信号比率算出部２２は、光学フィルタ２がレンズ１１及び撮像素子１２間の光路上に配置されていない場合と同様にして、各色成分光の信号比率（Ｒ＿Ｒａｔｉｏ、Ｇ＿Ｒａｔｉｏ、Ｂ＿Ｒａｔｉｏ）を算出する。しかしながら、この場合、赤外光信号の実測値が得られないので、赤外光の信号比率（ＩＲ＿Ｒａｔｉｏ）は、次のようにして算出される。

まず、信号比率算出部２２は、算出された各色成分光の信号比率と、制御部２０内のメモリ部２０ａに格納された各種光源のスペクトル特性とを比較する。次いで、信号比率算出部２２は、両者の比較結果に基づいて、光源の種別を推定する。この際、信号比率算出部２２は、各種光源のスペクトル特性の中から、例えば、Ｒ＿Ｒａｔｉｏ、Ｇ＿Ｒａｔｉｏ及びＢ＿Ｒａｔｉｏ間の大小関係や比率などが最も類似したスペクトル特性を選び出して光源の種別を推定する。次いで、信号比率算出部２２は、推定された光源のスペクトル特性と、算出された各色成分光の信号比率とに基づいて、赤外光の信号比率（ＩＲ＿Ｒａｔｉｏ）を推定する。

例えば、光源にハロゲンランプが使用されている場合には、Ｒ＿Ｒａｔｉｏと、Ｇ＿Ｒａｔｉｏと、Ｂ＿Ｒａｔｉｏとの間には、「Ｂ＿Ｒａｔｉｏ＜Ｇ＿Ｒａｔｉｏ≦Ｒ＿Ｒａｔｉｏ」という関係が成立する。それゆえ、信号比率算出部２２は、可視光信号の実測値に基づいて算出されたＲ＿Ｒａｔｉｏと、Ｇ＿Ｒａｔｉｏと、Ｂ＿Ｒａｔｉｏとの間にこの関係が成立するか否かを判別して、光源がハロゲンランプであるか否かを判別する。そして、光源がハロゲンランプであると判定された場合には、信号比率算出部２２は、ハロゲンランプが有するスペクトル特性に基づいて、ＩＲ＿Ｒａｔｉｏを推定する。

また、光源のスペクトル特性における、Ｒ＿Ｒａｔｉｏ、Ｇ＿Ｒａｔｉｏ及びＢ＿Ｒａｔｉｏ間の関係性は、使用する撮像素子１２の感度特性によって若干変化する場合もある。例えば、光源がハロゲンランプである場合、印加電圧が小さくなると、Ｒ＿Ｒａｔｉｏが大きくなり、Ｇ＿Ｒａｔｉｏ及びＢ＿Ｒａｔｉｏが小さくなる傾向がある。それゆえ、ＩＲ＿Ｒａｔｉｏを推定する際に、このようなＲ＿Ｒａｔｉｏ、Ｇ＿Ｒａｔｉｏ及びＢ＿Ｒａｔｉｏ間の関係性を考慮し、Ｒ＿ＲａｔｉｏとＧ＿Ｒａｔｉｏ及びＢ＿Ｒａｔｉｏとの差に応じて、ＩＲ＿Ｒａｔｉｏを補正してもよい。例えば、Ｒ＿Ｒａｔｉｏと、Ｇ＿Ｒａｔｉｏ及びＢ＿Ｒａｔｉｏとの差が大きくなると、ＩＲ＿Ｒａｔｉｏの推定値も大きくなるような補正を行う構成にしてもよい。

［光源の判定手法］
次に、光源判定部２４により実行される光源の判定手法について説明する。本実施形態では、光源判定部２４は、各信号比率と、対応する閾値との大小関係を比較する。具体的には、光源判定部２４は、Ｒ＿Ｒａｔｉｏと対応する閾値（Ｒ＿Ｒａｔｉｏ＿ｔｈ）とを比較し、Ｇ＿Ｒａｔｉｏと対応する閾値（Ｇ＿Ｒａｔｉｏ＿ｔｈ）とを比較する。また、光源判定部２４は、Ｂ＿Ｒａｔｉｏと対応する閾値（Ｂ＿Ｒａｔｉｏ＿ｔｈ）とを比較し、ＩＲ＿Ｒａｔｉｏと対応する閾値（ＩＲ＿Ｒａｔｉｏ＿ｔｈ）とを比較する。

この比較処理では、光源判定部２４は、算出された各信号比率の値が、対応する閾値を境にして、判定対象の光源が使用された被写体環境下において取り得る範囲内（閾値より大きい範囲又は小さい範囲）の値であるか否かを判別する。次いで、光源判定部２４は、この判別（比較）結果に基づいて、被写体環境で使用されている光源が判定対象の光源であるか否かを判定する。そして、光源判定部２４は、この判定結果に基づいて、光源の種別情報（光源情報）を更新又は維持する。

なお、本実施形態では、各信号比率の判別（比較）結果をフラグ情報（「Ｈｉｇｈ」又は「Ｌｏｗ」）で表す。具体的には、Ｒ＿ＲａｔｉｏとＲ＿Ｒａｔｉｏ＿ｔｈとの比較結果を「Ｆｌａｇ＿Ｒ」で表し、Ｇ＿ＲａｔｉｏとＧ＿Ｒａｔｉｏ＿ｔｈとの比較結果を「Ｆｌａｇ＿Ｇ」で表す。また、Ｂ＿ＲａｔｉｏとＢ＿Ｒａｔｉｏ＿ｔｈとの比較結果を「Ｆｌａｇ＿Ｂ」で表し、ＩＲ＿ＲａｔｉｏとＩＲ＿Ｒａｔｉｏ＿ｔｈとの比較結果を「Ｆｌａｇ＿ＩＲ」で表す。

そして、信号比率の値が、対応する閾値を境にして、判定対象の光源が使用された被写体環境下において取り得る範囲内の値である場合には、対応するフラグ情報は「Ｈｉｇｈ」となるものとする。それゆえ、現在の被写体環境において判定対象の光源が使用されている場合には、Ｆｌａｇ＿Ｒ、Ｆｌａｇ＿Ｇ、Ｆｌａｇ＿Ｂ及びＦｌａｇ＿ＩＲは全て、「Ｈｉｇｈ」となる。一方、現在の被写体環境において判定対象の光源が使用されていない場合には、Ｆｌａｇ＿Ｒ、Ｆｌａｇ＿Ｇ、Ｆｌａｇ＿Ｂ及びＦｌａｇ＿ＩＲの少なくとも一つは、「Ｌｏｗ」になる。

また、本実施形態では、判定処理時の光学情報（前フレームの処理終了時点における光学情報）に基づいて、信号比率の比較処理で用いる閾値を異ならせる。すなわち、現在の光学情報（更新前の光学情報）が判定対象の光源に対応する光源情報である場合の閾値を、現在の光学情報が判定対象以外の光源に対応する光源情報である場合の閾値と異なる値に設定する。なお、本発明はこれに限定されず、信号比率の閾値は、現在の光学情報に関係なく同じであってもよい。

図６Ａ〜図６Ｄは、ハロゲンランプを判定対象の光源とした場合における、各信号比率の値と、対応する閾値と、対応するフラグ情報との関係を示す図であり、光源判定処理（光学フィルタ２の挿入機能の作動の要否の判定処理）の制御イメージを示す図である。図６Ａ〜図６Ｄの各図中の太実線は、現在の光源情報がハロゲンランプ以外の光源情報である場合における、各信号比率の値の変化に対するフラグ情報の遷移態様を示す。一方、図６Ａ〜図６Ｄの各図中の太破線は、現在の光源情報がハロゲンランプの光源情報である場合における、各信号比率の値の変化に対するフラグ情報の遷移態様を示す。

すなわち、例えば、前フレームの判定処理で光源がハロゲンランプであった場合や、現在、光学フィルタ２の挿入機能が作動している場合には、図６Ａ〜図６Ｄの各図中の太破線で示すフラグ情報の遷移態様を参照して判定処理が行われる。その他の場合には、図６Ａ〜図６Ｄの各図中の太破線で示すフラグ情報の遷移態様を参照して判定処理が行われる。このように、現在の光源情報に応じて各信号比率の閾値を変化させて、フラグ情報の遷移態様にヒステリシスを設けることにより、光源情報がノイズなどの影響によって誤って更新されないようにすることができる。

そして、光源判定部２４は、各信号比率と対応する閾値との比較処理により、全てのフラグ情報が、「Ｈｉｇｈ」となった場合には、光源がハロゲンランプであると判定する。図６Ａ〜図６Ｄに示す例では、以下に示す（１）又は（２）の関係が成立する場合に、光源判定部２４は、光源がハロゲンランプであると判定する。
（１）Ｒ＿Ｒａｔｉｏ＞Ｒ＿Ｒａｔｉｏ＿ｔｈ１、Ｇ＿Ｒａｔｉｏ＜Ｇ＿Ｒａｔｉｏ＿ｔｈ１、Ｂ＿Ｒａｔｉｏ＜Ｂ＿Ｒａｔｉｏ＿ｔｈ１、且つ、ＩＲ＿Ｒａｔｉｏ＞ＩＲ＿Ｒａｔｉｏ＿ｔｈ１
（２）Ｒ＿Ｒａｔｉｏ＞Ｒ＿Ｒａｔｉｏ＿ｔｈ２、Ｇ＿Ｒａｔｉｏ＜Ｇ＿Ｒａｔｉｏ＿ｔｈ２、Ｂ＿Ｒａｔｉｏ＜Ｂ＿Ｒａｔｉｏ＿ｔｈ２、且つ、ＩＲ＿Ｒａｔｉｏ＞ＩＲ＿Ｒａｔｉｏ＿ｔｈ２

一方、光源判定部２４は、比較処理により、少なくとも一つのフラグ情報が「Ｌｏｗ」になった場合には、光源がハロゲンランプでないと判定する。なお、この場合であっても、フラグ情報が「Ｌｏｗ」になった全ての信号比率が、対応する閾値に対して非常に近似した値（閾値±δの範囲内の値）となるときには、光源判定部２４は、光源がハロゲンランプであると判定する。

なお、本実施形態では、判定対象の光源、すなわち、考慮する被写体環境を複数種設定することもできる。その場合には、上述した、信号比率の閾値、光源のスペクトル特性、各種信号処理で用いられる各種信号処理パラメータなども、判定対象の光源毎（被写体環境毎）に別個に設定され、メモリ部２０ａに格納される。

［光学フィルタの挿入／取り外し機能の切り替え制御］
図７は、本実施形態の撮像装置１における光学フィルタ２の挿入／取り外し機能の切り替え制御処理（光学フィルタ２の移動制御処理）の手順を示すフローチャートである。

まず、可視光信号生成部３は、基本単位群毎に、入力された電気信号から可視光信号に含まれる各色成分信号（Ｒ信号、Ｇ信号、Ｂ信号、Ｗ信号）を抽出（算出）する（Ｓ１）。また、Ｓ１の処理では、赤外光信号生成部４は、基本単位群毎に、入力された電気信号から赤外光信号（ＩＲ信号）を抽出（算出）する。次いで、信号比率算出部２２は、可視光信号生成部３及び赤外光信号生成部４により基本単位群毎に抽出された各色成分信号及び赤外光信号の信号量を取得する（Ｓ２）。

次いで、信号比率算出部２２は、光学フィルタ２がレンズ１１及び撮像素子１２間の光路上の所定位置（挿入位置）に挿入されているか否かを判別する（Ｓ３）。この処理では、信号比率算出部２２は、現在、光学フィルタ制御部５から光学フィルタ２に出力されている駆動制御信号の種別（光学フィルタ２の位置情報）に基づいて、光学フィルタ２が挿入されているか否かを判別する。

Ｓ３の処理において、信号比率算出部２２が、光学フィルタ２が挿入されていないと判別した場合（Ｓ３がＮＯ判定の場合）、信号比率算出部２２は、各色成分光及び赤外光の信号比率を算出する（Ｓ４）。具体的には、信号比率算出部２２は、Ｓ２で取得した各種信号量に基づいて、Ｒ＿Ｒａｔｉｏ、Ｇ＿Ｒａｔｉｏ、Ｂ＿Ｒａｔｉｏ及びＩＲ＿Ｒａｔｉｏを算出する。

一方、Ｓ３の処理において、信号比率算出部２２が、光学フィルタ２が挿入されていると判別した場合（Ｓ３がＹＥＳ判定の場合）、信号比率算出部２２は、各色成分光の各信号比率を算出する（Ｓ５）。具体的には、信号比率算出部２２は、Ｓ２で取得した各種信号量に基づいて、Ｒ＿Ｒａｔｉｏ、Ｇ＿Ｒａｔｉｏ及びＢ＿Ｒａｔｉｏを算出する。

次いで、信号比率算出部２２は、Ｓ５で算出された各色成分光の信号比率と、各種光源のスペクトル特性とに基づいて、光源の種別を推定し、赤外光の信号比率（ＩＲ＿Ｒａｔｉｏ）の推定値を算出する（Ｓ６）。

Ｓ４又はＳ６の処理後、光源判定部２４は、現在の光源情報に基づいて、算出された各信号比率と、対応する閾値との比較を行う（Ｓ７）。次いで、光源判定部２４は、信号比率毎に、Ｓ７の比較結果に対応するフラグ情報をセットする（Ｓ８）。

次いで、光源判定部２４は、セットされた各信号比率のフラグ情報に基づいて、光源判別を行う（Ｓ９）。この処理において、全てのフラグ情報が「Ｈｉｇｈ」である場合には、光源判定部２４は、光源が判定対象の光源（赤外線が多く含まれる光源）であると判定し、それ以外の場合には、光源判定部２４は、光源が判定対象以外の光源であると判定する。なお、少なくとも一つのフラグ情報が「Ｌｏｗ」になった場合であっても、フラグ情報が「Ｌｏｗ」になった全ての信号比率が、対応する閾値に対して非常に近似した値となるときには、光源判定部２４は、光源が判定対象の光源であると判定する。

次いで、光源判定部２４は、Ｓ９の判定結果に基づいて、光源情報の更新処理（又は維持処理）を行う（Ｓ１０）。この処理において、Ｓ９の判定処理前の光源情報が、判定処理後の光源情報と異なる場合には、光源判定部２４は、光源情報の更新処理を行う。

次いで、赤外線照射量制御部２３は、信号比率算出部２２から入力された各種信号比率に基づいて、被写体に照射する赤外線の照射量を算出する（Ｓ１１）。なお、Ｓ１１の処理は、Ｓ４又はＳ６の処理後であり且つ後述のＳ１２の処理前であれば、任意のタイミングで実行することができる。また、Ｓ１１の処理は、光源判定部２４が実行するＳ７〜Ｓ１０の処理と平行して行われてもよい。

次いで、信号比率算出部２２は、被写体環境が超高照度の環境であるか否かを判別する（Ｓ１２）。この処理では、信号比率算出部２２は、例えば、露光制御部２１から撮像部１０に出力される露光制御信号の内容など参照して、被写体環境が超高照度の環境であるか否かを判別してもよい。また、この処理では、信号比率算出部２２は、例えば、入射光の光量が所定の閾値を超えているか否かを判定することにより、被写体環境が超高照度の環境であるか否かを判別してもよい。

Ｓ１２の処理において、信号比率算出部２２が、被写体環境が超高照度の環境であると判別した場合（Ｓ１２がＹＥＳ判定の場合）、信号比率算出部２２は、後述のＳ１５の処理を行う。

一方、Ｓ１２の処理において、信号比率算出部２２が、被写体環境が超高照度の環境でないと判別した場合（Ｓ１２がＮＯ判定の場合）、信号比率算出部２２は、被写体環境が超低照度の環境であるか否かを判別する（Ｓ１３）。この処理では、信号比率算出部２２は、例えば、露光制御部２１から撮像部１０に出力される露光制御信号の内容など参照して、被写体環境が超低照度の環境であるか否かを判別してもよい。また、この処理では、信号比率算出部２２は、例えば、入射光の光量が特定の閾値未満であるか否かを判定することにより、被写体環境が超低照度の環境であるか否かを判別してもよい。

Ｓ１３の処理において、信号比率算出部２２が、被写体環境が超低照度の環境であると判別した場合（Ｓ１３がＹＥＳ判定の場合）、撮像装置１は、後述のＳ１７の処理を行う。

一方、Ｓ１３の処理において、信号比率算出部２２が、被写体環境が超低照度の環境でないと判別した場合（Ｓ１３がＮＯ判定の場合）、信号比率算出部２２は、赤外線照射量が零であり且つ赤外光成分が大きいか否かを判別する（Ｓ１４）。この処理において、信号比率算出部２２は、Ｓ１０の処理で決定された光源情報が判定対象の光源（赤外線が多く含まれる光源）に対応する光源情報である場合には、入射光に含まれる赤外光成分が大きいと判定する。なお、本発明はこれに限定されず、信号比率算出部２２は、入射された赤外光の光量を示す情報に基づいて、入射光に含まれる赤外光成分が大きいか否かを判別してもよい。

Ｓ１４の処理において、信号比率算出部２２が、Ｓ１４の判定条件を満たさないと判別した場合（Ｓ１４がＮＯ判定の場合）、撮像装置１は、後述のＳ１７の処理を行う。一方、Ｓ１４の処理において、信号比率算出部２２が、Ｓ１４の判定条件を満たすと判別した場合（Ｓ１４がＹＥＳ判定の場合）、又は、Ｓ１２がＹＥＳ判定の場合、信号比率算出部２２は、挿入制御信号を光学フィルタ制御部５に出力する（Ｓ１５）。

次いで、光学フィルタ制御部５は、入力された挿入制御信号に基づいて、光学フィルタ２を駆動制御し、光学フィルタ２をレンズ１１及び撮像素子１２間の光路上の所定位置（挿入位置：第１の位置）に配置する（Ｓ１６）。なお、前フレームの処理終了時点で光学フィルタ２が挿入位置に配置されていない場合、この処理において、光学フィルタ制御部５は、光学フィルタ２を挿入位置に移動させる処理を行う。一方、前フレームの処理終了時点で光学フィルタ２が挿入位置に配置されている場合、この処理において、光学フィルタ制御部５は、光学フィルタ２が挿入位置に配置された状態を維持する処理を行う。そして、Ｓ１６の処理後、撮像装置１は、光学フィルタ２の挿入／取り外し機能の切り替え制御処理（撮影時の光学条件の切り替え処理）を終了する。

ここで、再度、Ｓ１３及びＳ１４の処理に戻って、Ｓ１３がＹＥＳ判定の場合、又は、Ｓ１４がＮＯ判定の場合、赤外線照射部６は、Ｓ１１で算出された赤外線照射量で被写体に赤外線を照射する（Ｓ１７）。なお、Ｓ１１で算出された赤外線照射量が零である場合には、Ｓ１７の処理において、赤外線は被写体に照射されない。

次いで、信号比率算出部２２は、取り外し制御信号を光学フィルタ制御部５に出力する（Ｓ１８）。

次いで、光学フィルタ制御部５は、入力された取り外し制御信号に基づいて、光学フィルタ２を駆動制御し、光学フィルタ２をレンズ１１及び撮像素子１２間の光路上の位置以外の特定位置（取り外し位置：第２の位置）に配置する（Ｓ１９）。なお、前フレームの処理終了時点で光学フィルタ２が挿入位置に配置されている場合、この処理において、光学フィルタ制御部５は、光学フィルタ２を取り外し位置に移動させる処理を行う。一方、前フレームの処理終了時点で光学フィルタ２が取り外し位置に配置されている場合、この処理において、光学フィルタ制御部５は、光学フィルタ２が取り外し位置に配置された状態を維持する処理を行う。そして、Ｓ１９の処理後、撮像装置１は、光学フィルタ２の挿入／取り外し機能の切り替え制御処理（撮影時の光学条件の切り替え処理）を終了する。

［効果］
本実施形態の撮像装置１では、上述した光学フィルタ２の挿入／取り外し機能が設けられ、この両機能が、被写体環境に応じて適宜切り替えられる。それゆえ、本実施形態の撮像装置１によれば、被写体環境に応じて、撮影時の光学条件（撮像条件）を最適な条件に自動的に遷移させることができる。より具体的には、次のような効果が得られる。

図８Ａ及び図８Ｂは、被写体から入射される光の光量（被写体の光量）と、撮像素子１２から出力される信号（出力信号）の値との関係を示す図である。いま、例えば、被写体環境が、高照度の環境であり、被写体の光量に対して撮像素子１２の出力信号が飽和するような環境である場合を考える。この環境において、例えば、被写体の光量に含まれる赤外光の光量が可視光の光量の２倍以上になった場合、図８Ａに示すように、実際に信号処理の対象となる被写体の光量（飽和量を除いた光量）に含まれる赤外光の光量もまた、可視光の光量の２倍以上となる。この場合、実際に信号処理の対象となる可視光の光量は、小さくなる（撮像素子１２から出力される可視光成分の出力信号が小さくなる）。

通常、輝度信号は、可視光信号及び赤外光信号の両方の信号に基づいて生成されるが、色情報を持つ信号（色信号）は、可視光信号のみに基づいて生成される。それゆえ、例えば、被写体の光量に含まれる赤外光の光量が多い場合には、輝度信号に対して色信号が小さくなるので、色の薄い映像が生成される。

この場合、通常、色信号（可視光信号）に対して、例えば、足りない信号量を補うために、ゲイン補正処理などを行って色信号を増幅することにより、映像の色を濃くする。しかしながら、この場合、このゲイン補正処理の過程でノイズも増幅される。すなわち、必要以上の赤外線量を含む光が入射されると、映像信号に不要なノイズが発生する。このような状況は、例えば、太陽光、ハロゲン光、ナトリウムランプ等の光源自体に赤外線が多く含まれる光源が使用された場合（低照度の環境下を除く）において発生し易い。

それに対して、本実施形態では、赤外線を多く含む光源が使用され、被写体環境が高照度である場合には、光学フィルタ２の挿入機能を作動させて（レンズ１１及び撮像素子１２間の光路上に光学フィルタ２を配置して）、入射光に含まれる赤外光成分を遮断する。この場合、撮像素子１２には可視光成分の光のみが入射される。それゆえ、被写体の光量に対する撮像素子１２の出力信号の変化特性は、図８Ｂに示すような特性となり、実際に信号処理の対象となる被写体の光量に対応する信号は、可視光成分の光量に対応する可視光信号のみとなる。この場合、撮像素子１２から出力される可視光信号が大きくなるので、ゲイン補正処理を施すことなく輝度信号及び色信号の両方を生成することができる。

なお、上述した問題は、例えば、基本画素群を構成する、第１単位画素が赤色光のみを受光可能な単位画素であり、第２単位画素が緑色光のみを受光可能な単位画素であり、第３単位画素が青色光のみを受光可能な単位画素である場合にも発生する可能性がある。それゆえ、このような構成の基本画素群を有する撮像装置に対しても、本実施形態の光学フィルタ２の挿入／取り外し機能は、同様に適用可能である。

＜第２の実施形態＞
［撮像装置の構成］
図９は、第２の実施形態に係る撮像装置の構成を示すブロック図である。なお、図９に示す本実施形態の撮像装置４０において、上記第１の実施形態の撮像装置１（図１参照）の構成と同様の構成には、同じ符号を付して示し、それらの構成の説明は省略する。

本実施形態の撮像装置４０は、図９と図１との比較から明らかなように、上記第１の実施形態の撮像装置１の構成において、さらに、光学フィルタを一つ追加した構成を有する。すなわち、本実施形態の撮像装置４０は、２つの光学フィルタ４１，４２（第１光学フィルタ４１及び第２光学フィルタ４２）を備える。

第１光学フィルタ４１は、上記第１の実施形態の光学フィルタ２と同様に可視光帯域の光信号のみを透過させるフィルタである。第２光学フィルタ４２は、可視光帯域の光信号及び赤外光帯域の光信号を透過させるフィルタである。また、第２光学フィルタ４２は、赤外光帯域の可視光帯域側に存在する近赤外光帯域の光信号を遮断する周波数特性を有する。なお、図示しないが、撮像装置４０は、光学フィルタ制御部５から出力される駆動制御信号に基づいて、第１光学フィルタ４１及び第２光学フィルタ４２の配置位置を切り替える移動機構部も有する。

［光学フィルタの切り替え制御］
撮像装置４０の光学フィルタの切り替え制御では、赤外線照射量が零であり且つ被写体環境において赤外線を多く含む光源が使用されている場合、第１光学フィルタ４１は、入射光の光路上の所定位置（挿入位置）に配置されるように駆動（移動）制御される。また、この際、第２光学フィルタ４２は、該光路上の位置以外の特定位置（取り外し位置）に配置されるように駆動（移動）制御される。一方、その他の場合には、第２光学フィルタ４２は、挿入位置に配置されるように駆動制御され、第１光学フィルタ４１は、取り外し位置に配置されるように駆動制御される。

また、被写体環境が超高照度の環境である場合には、光源の判定結果に関係なく、第１光学フィルタ４１が挿入位置に配置され且つ第２光学フィルタ４２が取り外し位置に配置されるように、第１光学フィルタ４１及び第２光学フィルタ４２が駆動制御される。一方、被写体環境が超低照度の環境である場合には、光源の判定結果に関係なく、第２光学フィルタ４２が挿入位置に配置され且つ第１光学フィルタ４１が取り外し位置に配置されるように、第１光学フィルタ４１及び第２光学フィルタ４２が駆動制御される。

なお、上述した第１光学フィルタ４１及び第２光学フィルタ４２の駆動（移動）動作は、光学フィルタ制御部５により制御される。また、本実施形態の光学フィルタの切り替え制御における光源の判定処理は、上記第１の実施形態と同様にして行われる。

また、本実施形態の光学フィルタの切り替え制御（移動制御）フローは、図７に示す上記第１の実施形態のそれと同様の制御フローとなる。なお、本実施形態で信号比率算出部２２から光学フィルタ制御部５に挿入制御信号が出力された場合には、Ｓ１６の処理において、第１光学フィルタ４１を挿入位置に配置し、第２光学フィルタ４２を取り外し位置に配置するような駆動制御処理が行われる。一方、本実施形態で信号比率算出部２２から光学フィルタ制御部５に取り外し制御信号が出力された場合には、Ｓ１９の処理において、第１光学フィルタ４１を取り外し位置に配置し、第２光学フィルタ４２を挿入位置に配置するような駆動制御処理が行われる。

［効果］
上述した本実施形態の撮像装置４０及び光学フィルタの切り替え制御（移動制御）手法においても、上記第１の実施形態と同様に、被写体環境に応じて、撮影時の光学条件を最適な条件に自動的に遷移させることができる。また、本実施形態では、次のような効果も得られる。

可視光及び赤外光の両方を受光可能な汎用（低価格）の各種撮像素子の中には、単位画素において赤外光帯域の可視光帯域側に存在する近赤外光帯域の光に対しても、ある程度感光する撮像素子が存在する。図１０Ａは、そのような汎用の撮像素子において基本画素群を構成する、青色成分光及び赤外光を受光可能な第３単位画素の感度特性であり、図１０Ｂは、緑色成分光及び赤外光を受光可能な第２単位画素の感度特性である。また、図１０Ｃは、汎用の撮像素子において基本画素群を構成する、赤色成分光及び赤外光を受光可能な第１単位画素の感度特性であり、図１０Ｄは、赤外光のみを受光可能な第４単位画素の感度特性である。

このような汎用の撮像素子では、第１〜第４単位画素は、近赤外光帯域（図１０Ａ〜図１０Ｄ中の「ＮＩＲ」の帯域）に対して、ある程度の感度を有する。また、第１〜第３単位画素における近赤外光帯域の感度特性は、互いに異なる。このような感度特性を有する汎用の撮像素子を例えば上記第１の実施形態の撮像装置１に採用した場合、光学フィルタ２の挿入機能の非作動時に得られる映像は、近赤外光帯域の光の影響を受けて赤っぽい映像となり、色再現性が低下する可能性がある。

それに対して、本実施形態の撮像装置４０では、第２光学フィルタ４２の挿入機能の非作動時には、近赤外帯域の光を遮断する第２光学フィルタ４２がレンズ１１及び撮像素子１２間の光路上の挿入位置に配置される。それゆえ、本実施形態の撮像装置４０では、図１０Ａ〜図１０Ｄに示すような感度特性を有する汎用の撮像素子を採用しても、近赤外光帯域の光の影響を受けないので、被写体の正確なカラー映像を得ることができ、色再現性を向上させることができる。また、本実施形態では、低価格の汎用の撮像素子を採用することもできるので、撮像装置４０のコストを低減することも可能になる。

＜各種変形例＞
以上、本発明の各種実施形態に係る撮像装置及び撮像手法について説明したが、本発明は、これらに限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限り、その他種々の変形例、応用例の態様を取ることができる。

［変形例１］
上記各種実施形態では、レンズ１１及び撮像素子１２間の光路上に光学フィルタ２が配置されている場合、赤外光の信号比率（ＩＲ＿Ｒａｔｉｏ）を、可視光の各信号比率（Ｒ，Ｇ，Ｂ＿Ｒａｔｉｏ）に基づいて推定する例を説明した。しかしながら、本発明はこれに限定されない。例えば、レンズ１１及び撮像素子１２間の光路上に光学フィルタ２が配置されている場合、被写体からの入射光に含まれる赤外光の光量（赤外線量）を別途測定する構成部を設けてもよい。

図１１は、変形例１に係る撮像装置の制御部５０の内部構成を示す機能ブロック図である。なお、図１１に示すこの例の制御部５０において、図５に示す上記第１の実施形態の制御部２０の構成と同様の構成には、同じ符号を付して示し、それらの構成の説明は省略する。

この例の制御部５０は、図１１と図５との比較から明らかなように、上記第１の実施形態の制御部２０の構成において、さらに、赤外線受光部５１を設けた構成を有する。赤外線受光部５１は、例えば赤外線受光用のフォトダイオード等の受光素子で構成することができる。なお、赤外線受光部５１は、制御部５０の外部に設けられていてもよい。

この例の撮像装置では、レンズ１１及び撮像素子１２間の光路上に光学フィルタ２が配置されている場合であっても、被写体からの入射光に含まれる赤外光の光量を直接取得することができるので、光源の判定処理の精度を向上させることができる。

［変形例２］
上記各種実施形態及び上記変形例１では、光学フィルタ２の挿入／取り外し機能の切替制御の判定処理及び光源の判定処理において、共通の信号比率の閾値（判定パラメータ）を用いる例を説明したが、本発明はこれに限定されない。例えば、光学フィルタ２の挿入／取り外し機能の切替制御の判定に用いる信号比率の閾値を、光源判定に用いる信号比率の閾値とは別個に設けて、各判定処理を別個に行ってもよい。また、この場合、例えば判定対象の光源の種別（被写体環境）等に応じて、前者の閾値が、後者の閾値と異なっていてもよいし、同じであってもよい。

また、上記各種実施形態及び上記変形例１では、光源の判定処理において、光源が赤外光を多く含む光源（判定対象の光源）であるか否かを判別する例を説明したが、本発明はこれに限定されない。例えば、各種光源の信号比率の閾値やスペクトル特性を用いて、光源の種別そのものを判別する構成にしてもよい。この場合、必要となる各種光源の信号比率の閾値やスペクトル特性のデータは、制御部内のメモリ部に予め格納されている、又は、使用者により別途、メモリ部に追記される。

［変形例３］
上記各種実施形態及び各種変形例では、撮像領域１２ａ全体における各光成分の信号比率を算出し、該信号比率を用いて各種判定処理を行う例を説明したが、本発明はこれに限定されない。例えば、撮像領域１２ａを複数の領域（分割領域）に分割し、分割領域毎に、信号比率を算出するとともに、該信号比率を用いて各種判定処理を行う構成にしてもよい。この場合には、分割領域毎に得られた判定結果を統計的に処理し、複数の分割領域において支配的な判定結果を、撮像領域１２ａ全体（被写体全体）の判定結果としてもよい。

また、この例では、複数の分割領域のうち、一部の分割領域で得られた判定結果だけを統計的に処理して、撮像領域１２ａ全体（被写体全体）の判定結果を求めてもよい。この手法を採用すると、例えば、被写体環境が、被写体の一部に特定の光源から常時、光が照射されているような特殊な環境である場合、この被写体の一部が含まれる分割領域を判定処理の対象から選択的に除外することができる。この結果、光源の判定処理において、特定の光源の影響を抑制すことができる。それゆえ、この例の撮像手法を採用すれば、例えば、多種多様な被写体環境（撮像装置の使用環境）やユーザの多様なニーズなどに対して、より適切に対応することができる。

［変形例４］
上記各種実施形態及び上記各種変形例では、赤色成分光、緑色成分光及び青色成分光の全ての信号比率を光源の判定処理で用いる例を説明したが、本発明はこれに限定されない。撮像素子１２として、例えば、ＣＭＯＳ型やＣＣＤ型などの固体撮像素子を用いた場合、緑色成分光に対する感度は、光源の変化（光源の種別）に対して影響されに難い。それゆえ、緑色成分光の信号比率は、光源の判定処理で用いなくてもよい。

［変形例５］
上記各種実施形態及び上記各種変形例では、光学フィルタの挿入機能の作動中には、光源のスペクトル特性を用いて赤外光の信号比率（ＩＲ＿Ｒａｔｉｏ）を推定する例を説明したが、本発明はこれに限定されない。例えば、光学フィルタの挿入機能の作動中には、ＩＲ＿Ｒａｔｉｏを推定式（経験式）により算出する機能を制御部に設けてもよい。また、この場合、この推定式に用いられる各種パラメータの係数を、例えば、撮像装置の使用環境や被写体環境に応じて自動的に最適化する機能（学習機能）を制御部にさらに追加してもよい。これらの機能を設けることにより、多種多様な被写体環境（撮像装置の使用環境）に対して、より適切に対応することができる。

なお、この推定式（経験式）に規定されるパラメータとしては、例えば、光学フィルタの光路上への挿入直前及び挿入直後の各信号比率等を用いることができる。また、この推定式は、例えば、発生頻度の高い被写体環境毎に別個に設けられていてもよい。さらに、学習機能で用いられる学習アルゴリズムとしては、従来周知の学習アルゴリズムを適用することができる。

［変形例６］
上記各種実施形態及び上記各種変形例では、光源の判定処理（光学フィルタの挿入／取り外し機能の切替制御処理）を１フレーム毎に実行する例を説明したが、本発明はこれに限定されない。例えば、所定の複数フレーム期間毎に、光源の判定処理を実行してもよい。この場合、制御部の処理負荷を軽減することができる。

［変形例７］
上記各種実施形態及び上記各種変形例では、赤外光を遮断するための光学フィルタの挿入位置をレンズ１１及び撮像素子１２間の光路上の位置に設定する例を説明したが、本発明はこれに限定されない。光学フィルタの挿入位置は、撮像素子１２に入射される赤外光を遮断できる位置であれば任意の位置に設定することができる。例えば、光学フィルタの挿入位置を、レンズ１１の光入射面の直前の位置に設定してもよい。

［その他の変形例］
上記各種実施形態及び上記各種変形例では、本発明を分かりやすく説明するために撮像装置の構成を詳細且つ具体的に説明したが、本発明は、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、本発明の撮像装置は、少なくとも、上述した撮像部１０、光学フィルタ２、可視光信号生成部３、赤外光信号生成部４、光学フィルタ制御部５及び制御部２０を備えるカメラモジュールで構成することができる。この場合、その他の信号処理部は、該カメラモジュールとは別個のモジュールで構成してもよい。

また、上記信号制御（電気信号の処理制御）に係る各構成、機能、処理部等では、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよい。この際、上記信号制御に係る各構成、機能、処理部等の一部又は全部を、適宜一体化して構成してもよい。

さらに、上記信号制御に係る各構成、機能、処理部等は、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより実現されてもよい。すなわち、上記信号制御に係る各構成、機能、処理部等をソフトウェアで実現してもよい。なお、各機能を実現するプログラム、テーブル、ファイル等の情報（データ）は、上述した内蔵のメモリ部だけでなく、例えば、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置に格納することもできる。また、各機能を実現するプログラム、テーブル、ファイル等の情報（データ）は、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）カード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に格納することもできる。

１，４０…撮像装置、２…光学フィルタ、３…可視光信号生成部、４…赤外光信号生成部、５…光学フィルタ制御部、６…赤外線照射部、７…可視光信号処理部、８…赤外光信号処理部、９…信号合成部、１０…撮像部、１１…レンズ、１２…撮像素子、２０，５０…制御部、２０ａ…メモリ部、２１…露光制御部、２２…信号比率算出部、２３…赤外線照射量制御部、２４…光源判定部、２５…信号処理設定値算出部、３０ａ，３０ｂ…基本画素群、３１，３５…第１単位画素、３２，３６…第２単位画素、３３，３７…第３単位画素、３４，３８…第４単位画素、４１…第１光学フィルタ、４２…第２光学フィルタ

Claims (11)

1. 被写体からの入射光を結像して光学像を生成するレンズ、並びに、可視光及び赤外光を同時に受光可能であり、前記レンズを介して入射された光信号を電気信号に変換する撮像素子を有する撮像部と、
   可視光のみを透過し、前記入射光の光路上の第１の位置と前記光路上の位置以外の第２の位置との間で移動可能な第１光学フィルタと、
   前記電気信号に含まれる可視光成分の信号のみを算出する可視光信号生成部と、
   前記電気信号に含まれる赤外光成分の信号のみを算出する赤外光信号生成部と、
   前記可視光信号生成部及び前記赤外光信号生成部で算出された信号に基づいて、所定の制御信号を出力する制御部と、
   前記所定の制御信号に基づいて、前記第１光学フィルタを前記第１の位置又は前記第２の位置に配置する光学フィルタ制御部と、
   を備える撮像装置。
2. 前記撮像素子は、前記入射光に含まれる、赤色成分光と赤外光とを受光可能な第１単位画素と、緑色成分光と前記赤外光とを受光可能な第２単位画素と、青色成分光と前記赤外光とを受光可能な第３単位画素と、前記赤外光のみを受光可能な又は可視光帯域全ての光と前記赤外光とを受光可能な第４単位画素と、を有し、
   前記撮像素子の撮像領域では、前記第１単位画素、前記第２単位画素、前記第３単位画素及び前記第４単位画素が所定の態様で配列された基本画素群が、２次元状に配列されている
   請求項１に記載の撮像装置。
3. 前記可視光信号生成部は、前記第１単位画素、前記第２単位画素、前記第３単位画素及び前記第４単位画素のそれぞれで得られた信号に基づいて、前記赤色成分光、前記緑色成分光及び前記青色成分光のそれぞれに対応する色成分信号を生成し、
   前記赤外光信号生成部は、前記第４単位画素で得られた信号又は前記第１単位画素、前記第２単位画素、前記第３単位画素及び前記第４単位画素で得られた信号に基づいて、前記赤外光に対応する赤外光信号を生成する
   請求項２に記載の撮像装置。
4. さらに、
   前記被写体に対して赤外線を照射する赤外線照射部と、
   前記可視光信号生成部で生成された各色成分信号に対して所定の信号処理を施す可視光信号処理部と、
   前記赤外光信号生成部で生成された前記赤外光信号に対して特定の信号処理を施す赤外光信号処理部と、
   前記可視光信号処理部で前記所定の信号処理が施された信号と、前記赤外光信号処理部で前記特定の信号処理が施された信号とを合成し、該合成された信号を映像信号として出力する信号合成部と、を備え、
   前記制御部は、
   前記可視光信号生成部で生成された各色成分信号及び前記赤外光信号生成部で生成された前記赤外光信号に基づいて、前記撮像部における露光条件を制御するための露光制御信号を前記撮像部に出力する露光制御部と、
   前記可視光信号生成部で生成された各色成分信号及び前記赤外光信号生成部で生成された前記赤外光信号に基づいて、前記可視光の信号量に対する、前記赤色成分光の信号量の第１信号比率、前記緑色成分光の信号量の第２信号比率及び前記青色成分光の信号量の第３信号比率、並びに、前記可視光及び前記赤外光の総信号量に対する前記赤外光の信号量の第４信号比率を算出する信号比率算出部と、
   前記信号比率算出部により算出された前記第１信号比率、前記第２信号比率、前記第３信号比率及び前記第４信号比率に基づいて、前記被写体への赤外線の照射量を算出し、該算出した赤外線の照射量を前記赤外線照射部に出力する赤外線照射量制御部と、
   前記信号比率算出部により算出された前記第１信号比率、前記第２信号比率、前記第３信号比率及び前記第４信号比率に基づいて、前記被写体に照射されている光の光源を判定する光源判定部と、
   前記信号比率算出部で算出された前記第１信号比率、前記第２信号比率、前記第３信号比率及び前記第４信号比率、前記赤外線照射量制御部で算出された前記赤外線の照射量、前記第１光学フィルタの配置位置、並びに、前記光源判定部の判定結果に基づいて、前記可視光信号処理部、前記赤外光信号処理部及び前記信号合成部で実行される信号処理に必要な設定パラメータを算出する信号処理設定値算出部と、を有する
   請求項３に記載の撮像装置。
5. 前記信号比率算出部は、前記赤外線照射量制御部で算出された前記赤外線の照射量及び前記光源判定部の判定結果に基づいて、前記第１光学フィルタを前記第１の位置及び前記第２の位置のいずれに配置するかを判定し、該判定結果に対応する制御信号を前記所定の制御信号として前記光学フィルタ制御部に出力する
   請求項４に記載の撮像装置。
6. 前記信号比率算出部は、前記第１光学フィルタが前記第１の位置に配置されている場合には、前記第１信号比率、前記第２信号比率及び前記第３信号比率を用いて前記第４信号比率の推定値を算出する
   請求項４に記載の撮像装置。
7. さらに、
   前記第１光学フィルタが前記第１の位置に配置されている場合に、前記入射光に含まれる前記赤外光を受光し、該受光した赤外光に対応する電気信号を前記信号比率算出部に出力する赤外線受光部を備える
   請求項４に記載の撮像装置。
8. 前記光源判定部は、所定の判定データを用いて前記光源の判定処理を行い、
   前記信号比率算出部は、前記第１信号比率、前記第２信号比率及び前記第３信号比率と所定の光源推定データとに基づいて、前記第４信号比率の推定値を算出し、
   さらに、
   複数の被写体の撮像環境のそれぞれに対して設定された複数の前記所定の判定データ及び複数の前記所定の光源推定データを記憶するとともに、別の判定データ及び別の光源推定データの少なくとも一方を外部から記憶させることが可能な記憶部を備える
   請求項４に記載の撮像装置。
9. さらに、
   複数の被写体の撮像環境のそれぞれに対して設定された複数の前記設定パラメータを記憶するとともに、別の設定パラメータを外部から記憶させることが可能な記憶部を備える
   請求項４に記載の撮像装置。
10. さらに、
    可視光及び赤外光を透過し、該赤外光の波長帯域より可視光側の波長を有する近赤外光を遮断し、且つ、前記第１の位置と前記第２の位置との間で移動可能な第２光学フィルタを備え、
    前記光学フィルタ制御部は、前記所定の制御信号に基づいて、前記第１光学フィルタを前記第１の位置及び前記第２の位置の一方に配置し且つ前記第２光学フィルタを前記第１の位置及び前記第２の位置の他方に配置する
    請求項１に記載の撮像装置。
11. 被写体からの入射光を結像して光学像を生成するレンズ、並びに、可視光及び赤外光を同時に受光可能であり、前記レンズを介して入射された光信号を電気信号に変換する撮像素子を有する撮像部と、可視光のみを透過する光学フィルタと、可視光信号生成部と、赤外光信号生成部と、制御部と、光学フィルタ制御部と、を備える撮像装置の前記可視光信号生成部が、前記電気信号に含まれる可視光成分の信号のみを算出することと、
    前記赤外光信号生成部が、前記電気信号に含まれる赤外光成分の信号のみを算出することと、
    前記制御部が、前記可視光信号生成部及び前記赤外光信号生成部で算出された信号に基づいて、所定の制御信号を出力することと、
    前記光学フィルタ制御部が、前記所定の制御信号に基づいて、前記光学フィルタを前記入射光の光路上の第１の位置又は前記光路上の位置以外の第２の位置に配置することと、
    を含む撮像方法。
    

Images