JP6318789B2 - 映像処理装置、映像処理方法、及び映像処理プログラム - Google Patents

Description

本発明は、映像処理装置、映像処理方法、及び映像処理プログラムに関する。

従来、例えば夜間等の可視光がほとんどない環境下において被写体を撮像するために、赤外線投光器によって被写体に赤外光を照射し、被写体から反射した赤外光を撮像する方法が用いられている。この方法は、可視光を照射するライトを用いることができない場合に有効な撮像方法である。

しかしながら、この撮像方法によって被写体を撮像した映像は、モノクロ映像となる。モノクロ映像では物体の識別が困難となることがある。可視光がない環境下でもカラー映像を撮像することができれば、物体の識別性を向上させることができる。例えば監視カメラでは、物体の識別性を向上させるために、可視光がない環境下でもカラー映像を撮像することが望まれる。

特許文献１には、可視光がない環境下でもカラー映像を撮像することができる撮像装置が記載されている。特許文献１に記載されている撮像装置においても、赤外線投光器が用いられる。監視カメラに特許文献１に記載の技術を搭載すれば、被写体をカラー映像化して物体の識別性を向上させることが可能となる。

特開２０１１−５００４９号公報

例えば、屋外において日の出前や日の入り後の薄明の時間帯、屋内において照明を非常に暗くしている状態では、可視光がわずかに存在している。可視光がわずかに存在しているとはいえ、カラー映像を撮像できるほど可視光は存在していないため、被写体を撮像するために、上記のように、被写体に暗視撮像用の赤外光を照射することが必要となる。

可視光が存在している状態で暗視撮像用の赤外光を投光すると、可視光と赤外光とが混在した状態となる。特許文献１に記載の撮像装置は、可視光がない環境下での撮像を前提としているため、可視光と赤外光とが混在した状態では良好なカラー映像を撮像することできないという問題点がある。

本発明はこのような問題点に鑑み、可視光と暗視撮像用の赤外光とが混在した状態であっても、撮像した映像に基づいて良好なカラー映像信号を生成することができる映像処理装置、映像処理方法、及び映像処理プログラムを提供することを目的とする。

本発明は、中間モードは、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で被写体を撮像して、カラーフィルタの赤色のフィルタエレメントに対応する受光素子から得た画素データから赤色用の画素データを生成し、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの緑色のフィルタエレメントに対応する受光素子から得た画素データから緑色用の画素データを生成し、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの青色のフィルタエレメントに対応する受光素子から得た画素データから青色用の画素データを生成するモードであり、暗視モードは、前記第１の赤外光が投光されている状態で被写体を撮像して、前記赤色のフィルタエレメントに対応する受光素子と、前記赤色のフィルタエレメントの周囲に位置する緑色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから赤色用の画素データを生成し、前記第２の赤外光が投光されている状態で前記被写体を撮像して、前記緑色のフィルタエレメントに対応する受光素子と、前記緑色のフィルタエレメントの周囲に位置する赤色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから緑色用の画素データを生成し、前記第３の赤外光が投光されている状態で前記被写体を撮像して、前記青色のフィルタエレメントに対応する受光素子と、前記青色のフィルタエレメントの周囲に位置する赤色及緑色のフィルタエレメントに対応する受光素子とから得た画素データから青色用の画素データを生成するモードであり、前記中間モードと前記暗視モードとに基づき画素データを生成する映像処理部と、前記第１の赤外光が投光されている期間における露光量と、前記第２の赤外光が投光されている期間における露光量と、前記第３の赤外光が投光されている期間における露光量とのうちの少なくとも２つの露光量を比較した結果に基づいて、映像出力部が前記中間モードによって生成された画素データに基づく映像信号を出力する状態と、前記映像出力部が前記暗視モードによって生成された画素データに基づく映像信号を出力する状態とを切り換えるモード切換部とを備えることを特徴とする映像処理装置を提供する。

本発明は、映像処理部が、中間モード時に、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で被写体を撮像して、カラーフィルタの赤色のフィルタエレメントに対応する受光素子から得た画素データから赤色用の画素データを生成し、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの緑色のフィルタエレメントに対応する受光素子から得た画素データから緑色用の画素データを生成し、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの青色のフィルタエレメントに対応する受光素子から得た画素データから青色用の画素データを生成し、前記映像処理部が、暗視モード時に、前記第１の赤外光が投光されている状態で被写体を撮像して、前記赤色のフィルタエレメントに対応する受光素子と、前記赤色のフィルタエレメントの周囲に位置する緑色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから赤色用の画素データを生成し、前記第２の赤外光が投光されている状態で前記被写体を撮像して、前記緑色のフィルタエレメントに対応する受光素子と、前記緑色のフィルタエレメントの周囲に位置する赤色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから緑色用の画素データを生成し、前記第３の赤外光が投光されている状態で前記被写体を撮像して、前記青色のフィルタエレメントに対応する受光素子と、前記青色のフィルタエレメントの周囲に位置する赤色及緑色のフィルタエレメントに対応する受光素子とから得た画素データから青色用の画素データを生成し、判定部が、前記第１の赤外光が投光されている期間における露光量と、前記第２の赤外光が投光されている期間における露光量と、前記第３の赤外光が投光されている期間における露光量とのうちの少なくとも２つの露光量を比較して、可視光が主であるか赤外光が主であるかを判定し、モード切換部が、前記判定部による判定結果に基づいて、映像出力部が前記中間モードによって生成された画素データに基づく映像信号を出力する状態と、前記映像出力部が前記暗視モードによって生成された画素データに基づく映像信号を出力する状態とを切り換えることを特徴とする映像処理方法を提供する。

本発明は、コンピュータを、中間モード時に、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で被写体を撮像して、カラーフィルタの赤色のフィルタエレメントに対応する受光素子から得た画素データから赤色用の画素データを生成し、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの緑色のフィルタエレメントに対応する受光素子から得た画素データから緑色用の画素データを生成し、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの青色のフィルタエレメントに対応する受光素子から得た画素データから青色用の画素データを生成する手段と、暗視モード時に、前記第１の赤外光が投光されている状態で被写体を撮像して、前記赤色のフィルタエレメントに対応する受光素子と、前記赤色のフィルタエレメントの周囲に位置する緑色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから赤色用の画素データを生成し、前記第２の赤外光が投光されている状態で前記被写体を撮像して、前記緑色のフィルタエレメントに対応する受光素子と、前記緑色のフィルタエレメントの周囲に位置する赤色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから緑色用の画素データを生成し、前記第３の赤外光が投光されている状態で前記被写体を撮像して、前記青色のフィルタエレメントに対応する受光素子と、前記青色のフィルタエレメントの周囲に位置する赤色及緑色のフィルタエレメントに対応する受光素子とから得た画素データから青色用の画素データを生成する手段と、前記第１の赤外光が投光されている期間における露光量と、前記第２の赤外光が投光されている期間における露光量と、前記第３の赤外光が投光されている期間における露光量とのうちの少なくとも２つの露光量を比較した結果に基づいて、映像出力部が前記中間モードによって生成された画素データに基づく映像信号を出力する状態と、前記映像出力部が前記暗視モードによって生成された画素データに基づく映像信号を出力する状態とを切り換えるモード切換手段として機能させることを特徴とする映像処理プログラムを提供する。

本発明の映像処理装置、映像処理方法、及び映像処理プログラムによれば、可視光と暗視撮像用の赤外光とが混在した状態であっても、撮像した映像に基づいて良好なカラー映像信号を生成することができる。

一実施形態の撮像装置の全体的な構成を示すブロック図である。 一実施形態の撮像装置に用いられるカラーフィルタにおけるフィルタエレメントの配列の一例を示す図である。 一実施形態の撮像装置を構成する撮像部における３原色光の波長と相対感度との分光感度特性を示す特性図である。 所定の物質からの３原色光の反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示す特性図である。 図１中の前信号処理部５２の具体的な構成例を示すブロック図である。 一実施形態の撮像装置が通常モードで動作しているときの露光と映像信号のフレームとの関係を示す図である。 一実施形態の撮像装置が通常モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が中間モード及び暗視モードで動作しているときの露光と映像信号のフレームとの関係を示す図である。 一実施形態の撮像装置が第１中間モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第１中間モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が第２中間モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第２中間モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が暗視モードで動作しているときの周囲画素の加算処理を説明するための図である。 周囲画素の加算処理における重み付けの第１の例を示す図である。 周囲画素の加算処理における重み付けの第２の例を示す図である。 周囲画素の加算処理における重み付けの第３の例を示す図である。 周囲画素の加算処理が施されたフレームを示す図である。 一実施形態の撮像装置が第１暗視モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第１暗視モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が第２暗視モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第２暗視モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置におけるモード切換の例を説明するための図である。 一実施形態の撮像装置がそれぞれのモードに設定されているときの各部の状態を示す図である。 一実施形態の撮像装置の第１の変形例を示す部分ブロック図である。 一実施形態の撮像装置の第２の変形例を示す部分ブロック図である。 一実施形態の撮像装置の第３の変形例を示す部分ブロック図である。 モード切換に関する映像信号処理方法を示すフローチャートである。 図２７におけるステップＳ３に示す通常モードの具体的な処理を示すフローチャートである。 図２７におけるステップＳ４の中間モードの具体的な処理を示すフローチャートである。 図２７におけるステップＳ５の暗視モードの具体的な処理を示すフローチャートである。 モード切換に関する映像信号処理プログラムがコンピュータに実行させる処理を示すフローチャートである。 図３に示す分光感度特性の特徴を考察するための特性図である。 可視光が主の状態で赤外光が投光されたときの露光量を説明するための図である。 赤外光が主の状態で赤外光が投光されたときの露光量を説明するための図である。 可視光の量と赤外光の量との関係の判定方法の第１の例を実現する判定部の概念的な説明図である。 判定方法の第１の例を示すフローチャートである。 色ゲイン制御部が判定結果に基づいて色ゲイン設定部を制御する処理を示すフローチャートである。 赤外光が主の状態で、一部の波長の赤外光の発光パワーを異ならせた赤外光が投光されたときの露光量を説明するための図である。 可視光の量と赤外光の量との関係の判定方法の第２の例を実現する判定部の概念的な説明図である。 可視光が主の状態で赤外光が投光されたときに判定部において生成される差分値を説明するための図である。 赤外光が主の状態で赤外光が投光されたときに判定部において生成される差分値を説明するための図である。 判定方法の第２の例を示すフローチャートである。 光量の関係の判定に応じた映像信号処理方法を示すフローチャートである。 光量の関係の判定を含む撮像装置の動作を制御する映像信号処理プログラムがコンピュータに実行させる処理を示すフローチャートである。 一実施形態の撮像装置がそれぞれのモードで用いる色ゲインの組を説明するための図である。

以下、一実施形態の撮像装置、映像信号処理方法及び映像信号処理プログラムについて、添付図面を参照して説明する。

＜撮像装置の構成＞
まず、図１を用いて、一実施形態の撮像装置の全体的な構成について説明する。図１に示す一実施形態の撮像装置は、昼間等の可視光が十分に存在する環境下に適した通常モードと、夜間等の可視光がほとんどない環境下に適した暗視モードと、可視光がわずかに存在する環境下に適した中間モードとの３つのモードで撮像可能な撮像装置である。

中間モードは、可視光が少ない環境下で、赤外線を投光しながら撮像する第１の赤外光投光モードである。暗視モードは、可視光がさらに少ない（ほとんどない）環境下で、赤外線を投光しながら撮像する第２の赤外光投光モードである。

図１において、被写体から反射した一点鎖線にて示す光は、光学レンズ１によって集光される。ここで、光学レンズ１には、可視光が十分に存在する環境下では可視光、可視光がほとんどない環境下では後述する赤外線投光器９より発せられた赤外光を被写体が反射した赤外光が入射される。

可視光がわずかに存在する環境下では、光学レンズ１には、可視光と赤外線投光器９より発せられた赤外光を被写体が反射した赤外光とが混在した光が入射される。

図１では簡略化のため、光学レンズ１を１つのみとしているが、実際には、撮像装置は複数の光学レンズを備える。

光学レンズ１と撮像部３との間には、光学フィルタ２が設けられている。光学フィルタ２は、赤外線カットフィルタ２１とダミーガラス２２との２つの部分を有する。光学フィルタ２は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入した状態と、光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態とのいずれかの状態に駆動される。

撮像部３は、水平方向及び垂直方向に複数の受光素子（画素）が配列した撮像素子３１と、それぞれの受光素子に対応して赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のいずれかの色のフィルタエレメントが配置されたカラーフィルタ３２とを有する。撮像素子３１は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）でよい。

カラーフィルタ３２には、一例として、図２に示すように、Ｒ，Ｇ，Ｂの各色のフィルタエレメントがベイヤ配列と称される配列で並べられている。ベイヤ配列は、Ｒ，Ｇ，Ｂのフィルタエレメントの所定の配列の一例である。図２において、各行のＲのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｒ、Ｂのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｂとしている。

ベイヤ配列では、ＲのフィルタエレメントとＧｒのフィルタエレメントとが交互に配置された水平方向の行と、ＢのフィルタエレメントとＧｂのフィルタエレメントとが交互に配置された水平方向の行とが、垂直方向に交互に配列されている。

図３は、撮像部３におけるＲ光，Ｇ光，Ｂ光の波長と相対感度との分光感度特性を示している。相対感度は、最大値が１に正規化されている。撮像装置を通常モードで動作させるとき、可視光による良好なカラー映像を撮像するには、波長７００ｎｍ以上の赤外光をカットする必要がある。

そこで、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入するように光学フィルタ２を駆動する。

図３より分かるように、撮像部３は、波長７００ｎｍ以上の赤外光の領域においても感度を有する。そこで、撮像装置を中間モードまたは暗視モードで動作させるときには、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間の赤外線カットフィルタ２１を外してダミーガラス２２を挿入するように光学フィルタ２を駆動する。

光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態では、波長７００ｎｍ以上の赤外光はカットされない。よって、撮像装置は、図３に破線の楕円で囲んだ部分の感度を利用して、Ｒ，Ｇ，Ｂの各色情報を得ることが可能となる。ダミーガラス２２を挿入するのは、光路長を、赤外線カットフィルタ２１を挿入した場合の光路長と同じにするためである。

赤外線投光器９は、それぞれ、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する投光部９１，９２，９３を有する。中間モードまたは暗視モードのとき、制御部７内の投光制御部７１は、時分割で投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光させるように制御する。

ところで、撮像素子３１にはシリコンウェハが用いられている。図４は、Ｒ，Ｇ，Ｂそれぞれの色を呈する素材に白色光を照射した場合の各波長における反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示している。図４においても、相対検出率は、最大値が１に正規化されている。

図４に示すように、赤外光の領域において、例えば、波長７８０ｎｍにおける反射光はＲ色を呈する素材の反射光との相関性が高く、波長８７０ｎｍにおける反射光はＢ色を呈する素材の反射光との相関性が高く、波長９４０ｎｍにおける反射光はＧ色を呈する素材の反射光との相関性が高い。

そこで、本実施形態においては、投光部９１，９２，９３が投光する赤外光の波長ＩＲ１，ＩＲ２，ＩＲ３を、７８０ｎｍ，９４０ｎｍ，８７０ｎｍとする。これらの波長は、波長ＩＲ１〜ＩＲ３の一例であり、７８０ｎｍ，９４０ｎｍ，８７０ｎｍ以外でもよい。

投光部９１が波長ＩＲ１の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＲ信号に割り当てる。投光部９３が波長ＩＲ２の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＧ信号に割り当てる。投光部９２が波長ＩＲ３の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＢ信号に割り当てる。

このようにすれば、原理的に、中間モードまたは暗視モードにおいても、通常モードにおいて可視光が存在する環境下で被写体を撮像した場合と同様の色を再現することができる。

色味が被写体の実際の色味と異なるカラー映像となるものの、７８０ｎｍの波長ＩＲ１をＲ光、８７０ｎｍの波長ＩＲ３をＧ光、９４０ｎｍの波長ＩＲ２をＢ光に割り当ててもよい。波長ＩＲ１，ＩＲ２，ＩＲ３をＲ光，Ｇ光，Ｂ光に任意に割り当てることも可能である。

本実施形態においては、被写体の色味を最もよく再現する、波長ＩＲ１，ＩＲ２，ＩＲ３をそれぞれＲ光，Ｇ光，Ｂ光に割り当てることとする。

制御部７は、撮像部３における撮像と、映像処理部５内の各部と、映像出力部６とを制御する。撮像部３によって撮像された撮像信号はＡ／Ｄ変換器４によってＡ／Ｄ変換され、映像処理部５に入力される。映像処理部５の内部構成及び動作は後述する。

映像出力部６は、後述するＲ，Ｇ，Ｂの３原色データのそれぞれに所定の色ゲインを乗じる色ゲイン設定部６２を有する。色ゲイン設定部６２の詳細な動作は後述する。色ゲイン設定部６２を映像処理部５内に設けてもよい。

撮像部３とＡ／Ｄ変換器４とが一体化されていてもよい。映像処理部５と制御部７とが一体化されていてもよい。

制御部７は、通常モードと中間モードと暗視モードとを切り換えるモード切換部７２を備える。モード切換部７２は、通常モードと中間モードと暗視モードとに対応させて、映像処理部５内の動作を後述のように適宜切り換える。

制御部７は、周囲環境の可視光の量と赤外光の量との関係を判定する判定部７８と、色ゲイン設定部６２によって３原色データに乗じる色ゲインを異ならせるように制御する色ゲイン制御部７９とを備える。ここでいう赤外光とは、赤外線投光器９によって投光され、それが被写体によって反射されたものが大部分である。

判定部７８は、例えば、可視光の量が赤外光の量と比較して多く、可視光が主で赤外光が従ある状態と、赤外光の量が可視光の量と比較して多く、赤外光が主で可視光が従ある状態とのいずれであるかを判定すればよい。判定部７８は、可視光の量と赤外光の量との関係を具体的な光量の比を算出することによって、周囲環境の可視光の量と赤外光の量との関係を判定してもよい。

ここでいう光量の比とは、可視光の量と赤外光の量との比そのものでなくてもよく、周囲環境の可視光の量と赤外光の量との関係（比率等）に応じて変化する数値であればよい。

このような数値を算出することで周囲環境の可視光の量と赤外光の量との関係を判定する場合は、必ずしもどちらが主でどちらが従であるかということまで判定しなくてもよい。以下、便宜的に、周囲環境の可視光の量と赤外光の量との関係のことを単に「主従関係」と称する場合がある。

色ゲイン制御部７９は、判定部７８によって判定された、周囲環境の可視光の量と赤外光の量との関係に従って、色ゲイン設定部６２によって３原色データに乗じる色ゲインを異ならせるように制御する。

映像処理部５は、スイッチ５１，５３と、前信号処理部５２と、デモザイク処理部５４とを有する。スイッチ５１，５３は物理的なスイッチであってもよく、前信号処理部５２の動作と不動作とを切り換えるための概念的なスイッチであってもよい。制御部７には、撮像している映像の明るさを検出するために、映像処理部５から映像信号が入力される。

前信号処理部５２に入力される映像データは判定部７８にも入力される。判定部７８は、前信号処理部５２に入力される映像データに基づいて光量の主従関係を判定する。

判定部７８の機能を前信号処理部５２に設けてもよい。この場合、判定部７８の機能を有する前信号処理部５２は、光量の主従関係の判定結果を色ゲイン制御部７９に伝える。

図５に示すように、前信号処理部５２は、周囲画素加算部５２１と、同一位置画素加算部５２２と、合成部５２３とを有する。

映像処理部５は、Ｒ，Ｇ，Ｂの３原色データを生成して、映像出力部６に供給する。映像出力部６は、３原色データを所定の形式で図示していない表示部等へと出力する。

映像出力部６は、Ｒ，Ｇ，Ｂ信号をそのまま出力してもよいし、Ｒ，Ｇ，Ｂ信号を輝度信号と色信号（または色差信号）に変換して出力してもよい。映像出力部６は、コンポジット映像信号を出力してもよい。映像出力部６は、デジタル信号の映像信号を出力してもよいし、Ｄ／Ａ変換器によってアナログ信号に変換した映像信号を出力してもよい。

色ゲイン設定部６２は、映像処理部５より所定の形式の映像信号を出力する際、ホワイトバランスを調整するために、Ｒ，Ｇ，Ｂの３原色データのそれぞれに所定の色ゲインを乗じる。ここではホワイトバランスを調整するために３原色データに色ゲインを乗じるとしたが、所定の色温度の映像を再現するために色ゲインを乗じてもよい。

色ゲイン設定部６２は、Ｒ，Ｇ，Ｂの３原色データに乗じる色ゲインの組を少なくとも２組保持している。１つの組の色ゲインともう１つの組の色ゲインとは、Ｒ，Ｇ，Ｂのデータに対する色ゲインが全て異なっている。

色ゲイン設定部６２は、モード切換部７２によって撮像装置が中間モードに設定されているとき、色ゲイン制御部７９による制御によって、３原色データに乗じる色ゲインの組を選択する。色ゲイン設定部６２は、選択した組の色ゲインを３原色データに乗じる。

色ゲイン設定部６２は、モード切換部７２によって撮像装置が通常モードと暗視モードに設定されているとき、通常モードと暗視モードとで異なるそれぞれ固定の組の色ゲインを３原色データに乗じる。

以下、通常モードと中間モードと暗視モードとのそれぞれの具体的な動作について説明する。

＜通常モード＞
通常モードでは、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオフにする。

撮像部３によって撮像された撮像信号は、Ａ／Ｄ変換器４によってデジタル信号である映像データに変換されて、映像処理部５に入力される。通常モードでは、モード切換部７２は、スイッチ５１，５３を端子Ｔｂに接続するように制御する。

図６の（ａ）は、撮像部３の露光Ｅｘ１，Ｅｘ２，Ｅｘ３…を示している。実際には露光時間はシャッタスピード等の条件によって変化するが、ここでは露光Ｅｘ１，Ｅｘ２，Ｅｘ３は最大露光時間を示している。

図６の（ｂ）は、それぞれの映像信号のフレームが得られるタイミングを示している。露光Ｅｘ１の前の図示していない露光に基づいて、所定時間後に映像信号のフレームＦ０が得られる。露光Ｅｘ１に基づいて、所定時間後に映像信号のフレームＦ１が得られる。露光Ｅｘ２に基づいて、所定時間後に映像信号のフレームＦ２が得られる。露光Ｅｘ３以降も同様である。映像信号のフレーム周波数を、例えば３０フレーム／秒とする。

映像信号のフレーム周波数は、ＮＴＳＣ方式であれば３０フレーム／秒または６０フレーム／秒、ＰＡＬ方式であれば２５フレーム／秒または５０フレーム／秒のように適宜設定すればよい。また、映像信号のフレーム周波数は、映画で使われている２４フレーム／秒であってもよい。

Ａ／Ｄ変換器４より出力された各フレームの映像データは、スイッチ５１，５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、入力された各フレームの映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

図７を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図７において、（ａ）は映像データの任意のフレームＦｍを示している。フレームＦｍは、有効映像期間の画素によって構成されたフレームである。映像データの画素数は、例えばＶＧＡ規格では水平６４０画素、垂直４８０画素である。ここでは簡略化のため、フレームＦｍの画素数を大幅に少なくして、フレームＦｍを概念的に示している。

ベイヤ配列の撮像部３を用いて生成された映像データは、フレームＦｍ内で、Ｒ，Ｇ，Ｂの画素データが混在したデータである。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて算出したＲの補間画素データＲｉを生成する。デモザイク処理部５４は、図７の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームＦｍＲを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて算出したＧの補間画素データＧｉを生成する。デモザイク処理部５４は、図７の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームＦｍＧを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて算出したＢの補間画素データＢｉを生成する。デモザイク処理部５４は、図７の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームＦｍＢを生成する。

デモザイク処理部５４は、Ｒの画素データを補間する際には少なくともＲの画素データを用いればよく、Ｇの画素データを補間する際には少なくともＧの画素データを用いればよく、Ｂの画素データを補間する際には少なくともＢの画素データを用いればよい。デモザイク処理部５４は、補間精度を向上させるために、Ｒ，Ｇ，Ｂの画素データを補間する際に、生成しようとする補間画素データの色とは異なる他の色の画素データを用いてもよい。

撮像部３には、有効映像期間より外側の画素も存在しているため、フレームＦｍの上下左右端部に位置する画素においても、Ｒ，Ｇ，Ｂの画素データを補間することができる。

デモザイク処理部５４によって生成されたＲフレームＦｍＲ，ＧフレームＦｍＧ，ＢフレームＦｍＢがＲ，Ｇ，Ｂの３原色データとして出力される。図７では、理解を容易にするため、Ｒ，Ｇ，Ｂの画素データをフレーム単位で説明したが、実際には、Ｒ，Ｇ，Ｂの画素データは画素ごとに順次出力される。

＜中間モード：第１中間モード＞
中間モード（第１中間モード及び後述する第２中間モード）では、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

図８の（ａ）は、赤外線投光器９による赤外光の投光の状態を示している。制御部７は、通常モードの１フレーム期間を１／３ずつに分け、例えば投光部９１，９２，９３の順に赤外光を投光させるように制御する。

図８の（ａ）に示す例では、１フレームの最初の１／３の期間では、波長ＩＲ１（７８０ｎｍ）の赤外光が被写体に照射される。１フレームの次の１／３の期間では、波長ＩＲ２（９４０ｎｍ）の赤外光が被写体に照射される。１フレームの最後の１／３の期間では、波長ＩＲ３（８７０ｎｍ）の赤外光が被写体に照射される。波長ＩＲ１〜ＩＲ３の赤外光を投光する順番は任意である。但し、次の理由により、波長ＩＲ２が中央である、例えば波長ＩＲ１，ＩＲ２，ＩＲ３の順が最もよい。

中間モード及び暗視モードでは、後に詳述するように、波長ＩＲ１，ＩＲ２，ＩＲ３それぞれの赤外光を投光した状態で撮像部３が生成した３回の撮像信号に基づいて、１フレームの映像信号が生成される。よって、動きのある被写体を撮像したときには、色ずれや輪郭ぼけが発生する場合がある。

一般的に、Ｒ，Ｇ，Ｂ信号においては、Ｇ信号が輝度信号に対する影響度が最も大きい。そこで、Ｇ信号に割り当てた映像信号（撮像信号）を生成するための波長ＩＲ２の赤外光を中央として、その前後に波長ＩＲ１，ＩＲ３の赤外光を投光する順番とするのがよい。

図８の（ｂ）に示すように、波長ＩＲ１の赤外光を投光しているタイミングでは、撮像部３はＲ光との相関性が高い露光Ex1Rが行われる。波長ＩＲ２の赤外光を投光しているタイミングでは、撮像部３はＧ光との相関性が高い露光Ex1Gが行われる。波長ＩＲ３の赤外光を投光しているタイミングでは、撮像部３はＢ光との相関性が高い露光Ex1Bが行われる。

但し、中間モードでは、可視光がわずかに存在する環境下での撮像であるため、可視光と赤外線投光器９より投光された赤外光とが混在した状態である。よって、中間モードにおいては、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、可視光による露光と赤外光による露光とを合わせた露光となる。

図８の（ｃ）に示すように、露光Ex1R，Ex1G，Ex1Bに基づいて、所定時間後に、露光Ex1Rに対応したフレームF1IR1、露光Ex1Gに対応したフレームF1IR2、露光Ex1Bに対応したフレームF1IR3が得られる。

また、露光Ex2R，Ex2G，Ex2Bに基づいて、所定時間後に、露光Ex2Rに対応したフレームF2IR1、露光Ex2Gに対応したフレームF2IR3、露光Ex2Bに対応したフレームF2IR2が得られる。露光Ex3R，Ex3G，Ex3B以降も同様である。

図８の（ｃ）の撮像信号のフレーム周波数は、９０フレーム／秒である。中間モードでは、通常モードにおける映像信号の１フレームを時分割して波長ＩＲ１〜ＩＲ３の赤外光を投光するため、通常モードと同じ形式の映像信号を出力するためには、図８の（ｃ）の撮像信号のフレーム周波数は、通常モードにおけるフレーム周波数の３倍となる。

後述するように、図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）に示す３０フレーム／秒のフレーム周波数を有する映像信号の１フレームが生成される。例えば、フレームF1IR1，F1IR2，F1IR3に基づいてフレームF1IRが生成され、フレームF2IR1，F2IR2，F2IR3に基づいてフレームF2IRが生成される。

図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）の各フレームの映像信号を生成する中間モードでの動作を具体的に説明する。

Ａ／Ｄ変換器４より出力された図８の（ｃ）に示す撮像信号に対応する各フレームの映像データは、スイッチ５１を介して前信号処理部５２に入力される。

図９を用いて、前信号処理部５２における前信号処理について説明する。図９の（ａ）は、波長ＩＲ１の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR1を示している。フレームFmIR1内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ１の赤外光を投光した状態で生成されたことを示す添え字１を付している。

図９の（ｂ）は、波長ＩＲ２の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR2を示している。フレームFmIR2内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ２の赤外光を投光した状態で生成されたことを示す添え字２を付している。

図９の（ｃ）は、波長ＩＲ３の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR3を示している。フレームFmIR3内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ３の赤外光を投光した状態で生成されたことを示す添え字３を付している。

図９の（ａ）に示すフレームFmIR1は、Ｒ光との相関性が高い波長ＩＲ１の赤外光が投光された状態で生成された映像データであるので、Ｒの画素データは投光された赤外光と対応した画素データであり、Ｂ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｂ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

図９の（ｂ）に示すフレームFmIR2は、Ｇ光との相関性が高い波長ＩＲ２の赤外光が投光された状態で生成された映像データであるので、Ｇの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｂの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

図９の（ｃ）に示すフレームFmIR3は、Ｂ光との相関性が高い波長ＩＲ３の赤外光が投光された状態で生成された映像データであるので、Ｂの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

前信号処理部５２内の同一位置画素加算部５２２は、互いに同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データを以下の式（１）〜（３）に従って個別に加算して、加算画素データR123，Gr123，Gb123，B123を生成する。中間モードでは、前信号処理部５２内の周囲画素加算部５２１は不動作である。

R123=ka×R1+kb×R2 +kc×R3 …（１）
G123=kd×G1+ke×G2+kf×G3 …（２）
B123=kg×B1+kh×B2+ki×B3 …（３）

式（１）〜（３）において、R1，G1，B1はフレームFmIR1におけるＲ，Ｇ，Ｂの画素データ、R2，G2，B2はフレームFmIR2におけるＲ，Ｇ，Ｂの画素データ、R3，G3，B3はフレームFmIR3におけるＲ，Ｇ，Ｂの画素データである。ka〜kiは所定の係数である。式（２）におけるG123はGr123またはGb123である。

このとき、同一位置画素加算部５２２は、ハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂのそれぞれの画素データに、ハッチングを付した同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データそれぞれを加算する。

即ち、同一位置画素加算部５２２は、式（１）に基づいて、フレームFmIR1におけるＲの画素データに、フレームFmIR2，FmIR3における同じ画素位置のＲの画素データを加算して、加算画素データR123を生成する。つまり、受光素子における赤色のカラーフィルタに対応する領域の画素データだけを用いて赤色用の加算画素データR123を生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2におけるＧｒ，Ｇｂの画素データに、フレームFmIR1，FmIR3における同じ画素位置のＧｒ，Ｇｂの画素データを加算して、加算画素データG123を生成する。つまり、受光素子における緑色のカラーフィルタに対応する領域の画素データだけを用いて緑色用の加算画素データG123を生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3におけるＢの画素データに、フレームFmIR1，FmIR2における同じ画素位置のＢの画素データを加算して、加算画素データB123を生成する。つまり、受光素子における青色のカラーフィルタに対応する領域の画素データだけを用いて青色用の加算画素データB123を生成する。

前信号処理部５２内の合成部５２３は、それぞれの画素位置において生成された加算画素データR123，Gr123，Gb123，B123に基づいて、図９の（ｄ）に示す合成映像信号のフレームFmIR123を生成する。

具体的には、合成部５２３は、フレームFmIR1における加算画素データR123と、フレームFmIR2における加算画素データGr123，Gb123と、フレームFmIR3における加算画素データB123とを選択して合成する。これによって合成部５２３は、合成映像信号のフレームFmIR123を生成する。

このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、加算画素データR123，Gr123，Gb123，B123を配列させたフレームFmIR123を生成する。

第１中間モードにおいては、ハッチングを付していない画素データと、ハッチングを付した画素データとを用いて、フレームFmIR123の映像データを生成する。

同一位置画素加算部５２２によって互いに同じ画素位置の画素データを加算するのは、次の理由による。中間モードではわずかではあるものの可視光が存在する環境下での撮像であるため、ハッチングを付した画素データは可視光による露光に基づくそれぞれの色の成分を含む。よって、同じ画素位置の画素データを加算することによって、それぞれの色の感度を上げることができる。

可視光と赤外光とが混在している状況で可視光が比較的多ければ、可視光による露光が支配的となる。この場合、フレームFmIR123の映像データは、可視光によって露光した映像信号に基づく成分が主となる。可視光と赤外光とが混在している状況で赤外光が比較的多ければ、赤外光による露光が支配的となる。この場合、フレームFmIR123の映像データは、赤外光によって露光した映像信号に基づく成分が主となる。

可視光が比較的少ない場合には、式（１）において、係数ka，kb，kcの大小関係を、ka>kb，kcとし、式（２）において、係数kd，ke，kfの大小関係を、kf>kd，keとし、式（３）において、係数kg，kh，kiの大小関係を、kh>kg，kiとするのがよい。これは、波長ＩＲ１はＲ光との相関性が高く、波長ＩＲ２はＧ光との相関性が高く、波長ＩＲ３はＢ光との相関性が高いからである。

このようにすれば、Ｒの画素データではフレームFmIR1におけるＲの画素データ、Ｇの画素データではフレームFmIR2におけるＧの画素データ、Ｂの画素データではフレームFmIR3におけるＢの画素データを主とすることができる。

前信号処理部５２より出力されたフレームFmIR123の映像データは、スイッチ５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、通常モードと同様に、入力されたフレームFmIR123の映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

図１０を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１０の（ａ）は、フレームFmIR123を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123iを生成する。デモザイク処理部５４は、図１０の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123iを生成する。デモザイク処理部５４は、図１０の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123iを生成する。デモザイク処理部５４は、図１０の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123Bを生成する。

通常モードにおける図７に示すデモザイク処理部５４の動作と、中間モードにおける図１０に示すデモザイク処理部５４の動作とを比較すれば分かるように、両者は実質的に同じである。デモザイク処理部５４の動作は、通常モードであっても中間モードであっても変わらない。

通常モードでは前信号処理部５２を不動作とし、中間モードでは、周囲画素加算部５２１を除き、前信号処理部５２を動作させればよい。通常モードと中間モードとで、映像処理部５におけるデモザイク処理部５４等の信号処理部を共用させることができる。

＜中間モード：第２中間モード＞
図１１及び図１２を用いて、第２中間モードにおける動作を説明する。第２中間モードにおける動作において、第１中間モードにおける動作と同一部分は説明を省略する。図１１の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。

合成部５２３は、フレームFmIR1におけるＲの画素データであるR1と、フレームFmIR2におけるＧの画素データであるGr2，Gb2と、フレームFmIR3におけるＢの画素データであるB3とを選択して合成する。これによって合成部５２３は、図１１の（ｄ）に示す合成映像信号のフレームFmIR123’を生成する。

即ち、フレームFmIR123’は、フレームFmIR1，FmIR2，FmIR3におけるハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂの画素データを１フレームに集結させた映像データである。

つまり、フレームFmIR123’においては、波長ＩＲ１の赤外光を投光した状態における赤色のカラーフィルタに対応する領域の画素データだけを用いた赤色用の画素データ、波長ＩＲ２の赤外光を投光した状態における緑色のカラーフィルタに対応する領域の画素データだけを用いた緑色用の画素データ、波長ＩＲ３の赤外光を投光した状態における青色のカラーフィルタに対応する領域の画素データだけを用いた青色用の画素データとなっている。

このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1，Gr2，Gb2，B3を配列させたフレームFmIR123’を生成する。

第２中間モードでは、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データは、それぞれそのままの値となる。

よって、合成部５２３は、第１中間モードにおける動作と同様に、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データを選択すれば、フレームFmIR123’を生成することができる。

第２中間モードにおいては、前信号処理部５２は、画素データの色と同じ色の画素データを生成するための赤外光が投光された状態で生成された画素データ（ハッチングを付していない画素データ）のみ用いて、フレームFmIR123’の映像データを生成する。

第２中間モードによれば、第１中間モードよりも感度や色の再現性は低下するものの、演算処理を簡略化したり、フレームメモリを削減したりすることができる。

図１２を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１２の（ａ）は、フレームFmIR123’を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データＲ１ｉを生成する。デモザイク処理部５４は、図１２の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データＧ２ｉを生成する。デモザイク処理部５４は、図１２の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データＢ３ｉを生成する。デモザイク処理部５４は、図１２の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’Bを生成する。

以上のように、中間モードにおいては、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成し、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成し、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成する。

＜暗視モード：第１暗視モード＞
暗視モード（第１暗視モード及び後述する第２暗視モード）では、中間モードと同様、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

暗視モードにおける概略的な動作は、図８と同じである。但し、暗視モードでは、可視光がほとんど存在しない環境下での撮像であるため、図８の（ｂ）における露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、赤外光のみによる露光を想定している。

可視光がほとんど存在せず赤外光のみが存在している環境下では、カラーフィルタ３２におけるそれぞれのフィルタエレメントの特性には差がなくなるため、撮像部３を単色の撮像素子とみなすことができる。

そこで、前信号処理部５２内の周囲画素加算部５２１は、暗視モードでは、赤外光の感度を向上させるために、それぞれの画素データに対して、周囲に位置する画素データを加算する。

具体的には、図１３の（ａ）に示すように、Ｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＲの画素データに対して周囲に位置するＧ（Ｇｒ，Ｇｂ）及びＢの８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから赤色用の画素データを生成することとなる。図１３の（ａ）〜（ｃ）に示す例では、各色とも注目画素を含む９画素分の領域から得た画素データを用いている。

図１３の（ｂ）に示すように、Ｇｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧｒの画素データに対して周囲に位置するＲ，Ｇｂ，Ｂの８画素の画素データを加算する。図１３の（ｃ）に示すように、Ｇｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧｂの画素データに対して周囲に位置するＲ，Ｇｒ，Ｂの８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから緑色用の画素データを生成することとなる。

図１３の（ｄ）に示すように、Ｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＢの画素データに対して周囲に位置するＲ及びＧの８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから青色用の画素データを生成することとなる。

周囲画素加算部５２１は、注目画素の画素データと周囲の８画素の画素データとの９画素を単純に加算してもよいし、周囲の８画素の画素データに対して所定の重み付けをした上で注目画素の画素データに加算してもよい。

ここで、周囲の８画素の画素データに対する重み付けの例を説明する。図３または後述する図３２より分かるように、Ｇ光に割り当てた波長ＩＲ２と、Ｂ光に割り当てた波長ＩＲ３では、Ｒ，Ｇ，Ｂの感度はほぼ同じである。

従って、図１３の（ｂ）〜（ｄ）に示すように、ＧまたはＢの画素が注目画素であるとき、周囲画素加算部５２１が、ＧまたはＢの画素データに周囲に位置する８画素の画素データを重み付けなしで加算すると、感度はほぼ９倍になる。

ところが、図３または後述する図３２より分かるように、Ｒに割り当てた波長ＩＲ１では、Ｒ，Ｇ，Ｂの感度は大きく異なる。

従って、図１３の（ａ）に示すように、Ｒの画素が注目画素であるとき、周囲画素加算部５２１が、Ｒの画素データに周囲に位置する８画素の画素データを重み付けなしで加算すると、感度はほぼ９倍とはならず、９倍より小さい倍数となる。

周囲画素加算部５２１が、注目画素の画素データに対して、周囲に位置する８画素の画素データを重み付けなしで加算したとすると、Ｒ信号とＧ，Ｂ信号とでは感度が異なるため、色バランスがずれることになる。

よって、周囲画素加算部５２１は、周囲の８画素の画素データに対して所定の重み付けをした上で注目画素の画素データに加算するのがよい。周囲画素加算部５２１は、Ｒの画素が注目画素であるときと、Ｇ，Ｂの画素が注目画素であるときとで、重み付けを異ならせるのがよい。Ｇの画素が注目画素であるときと、Ｂの画素が注目画素であるときとで、重み付けを異ならせる場合があってもよい。

図１４は、重み付けの第１の例を示している。図１４に示すＲ，Ｇｂ，Ｇｒ，Ｂの各画素の下に付している数字は、重み付け係数である。

撮像部３におけるＲ，Ｇ，Ｂの分光感度の比が、波長ＩＲ１では、Ｒ：Ｇ：Ｂ＝１：０．８：０．５、波長ＩＲ２及びＩＲ３では、Ｒ：Ｇ：Ｂ＝１：１：１であるとする。基本の重み付け係数を、一例として、注目画素：上下左右の画素：斜め方向の画素＝１００：７０：５０とする。

この場合、図１４に示すように、Ｇｒ，Ｇｂ，Ｂの画素が注目画素であるときには、周囲の８画素の画素データに対して、基本の重み付け係数を乗じればよい。

Ｒの画素が注目画素であるときには、波長ＩＲ１の赤外光が投光されるので、上記のＲ，Ｇ，Ｂの分光感度の比を考慮した重み付け係数とするのがよい。波長ＩＲ１では、Ｒの分光感度／Ｇの分光感度が１／０．８より１．２５であり、Ｒの分光感度／Ｂの分光感度が１／０．５より２．０である。

よって、図１４に示すように、Ｒの画素が注目画素であるときには、上下左右のＧの画素データに対して、７０×１．２５より８７を重み付け係数とし、斜め方向のＢの画素データに対して、５０×２．０より１００を重み付け係数とするのがよい。

撮像部３におけるＲ，Ｇ，Ｂの分光感度の比は、使用する撮像素子３１の種類や製造会社によって異なる。それぞれの撮像素子３１に対応させて、重み付け係数を設定するのがよい。

図１５は、重み付けの第２の例を示している。撮像部３におけるＲ，Ｇ，Ｂの分光感度の比が、波長ＩＲ１では、Ｒ：Ｇ：Ｂ＝１：０．８：０．５、波長ＩＲ２では、Ｒ：Ｇ：Ｂ＝１：１：１、波長ＩＲ３では、Ｒ：Ｇ：Ｂ＝１：０．９５：１であるとする。基本の重み付け係数は、第１の例と同じとする。

この場合、図１５に示すように、Ｇｒ，Ｇｂの画素が注目画素であるときには、周囲の８画素の画素データに対して、基本の重み付け係数を乗じればよい。

Ｒの画素が注目画素であるときには、第１の例と同様に、Ｒ，Ｇ，Ｂの分光感度の比を考慮した重み付け係数とするのがよい。図１５に示すように、Ｒの画素が注目画素であるときの重み付け係数は、第１の例と同じである。

Ｂの画素が注目画素であるときには、波長ＩＲ３の赤外光が投光されるので、上記のＲ，Ｇ，Ｂの分光感度の比を考慮した重み付け係数とするのがよい。波長ＩＲ３では、Ｂの分光感度／Ｇの分光感度が１／０．９５より１．０５である。

よって、図１５に示すように、Ｂの画素が注目画素であるときには、上下左右のＧの画素データに対して、７０×１．０５より７３を重み付け係数とするのがよい。Ｒの画素データに対する重み付け係数は、基本の重み付け係数の５０でよい。

周囲の８画素の画素データに対する重み付けは、部分的に０であってもよい。即ち、周囲画素加算部５２１における注目画素の画素データに対する周囲画素の画素データの加算とは、８画素の画素データの全てを加算することに限定されない。

例えば、周囲画素加算部５２１は、注目画素の画素データに対して上下及び左右に位置する画素の画素データのみを加算し、斜め方向に位置する画素の画素データを加算しなくてもよい。

図１６は、重み付けの第３の例であり、斜め方向の画素に対する重み付け係数を０とした例を示している。基本の重み付け係数を、一例として、注目画素：上下左右の画素：斜め方向の画素＝１００：５０：０とする。

撮像部３におけるＲ，Ｇ，Ｂの分光感度の比を第１の例と同じとする。この場合、図１６に示すように、Ｒの画素が注目画素であるときには、上下左右のＧの画素データに対して、５０×１．２５より６２を重み付け係数とするのがよい。

図１４〜図１６に示す重み付け係数の数値は、周囲画素に対する重み付けの理解を容易にするための単なる例である。実際の重み付け係数は、映像出力部６より出力される映像信号のダイナミックレンジ等を考慮して適宜設定すればよい。

ところで、ビニングと称される複数の画素をまとめて１つの画素として読み出し可能な撮像素子が存在する。撮像素子３１として、ビニング機能を有する撮像素子を用いる場合には、周囲画素加算部５２１による加算処理ではなく、ビニング機能を有する撮像素子による加算処理を行ってもよい。撮像素子によるビニングは、周囲画素加算部５２１による加算処理と実質的に等価である。

図１７の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。図１７の（ｄ）〜（ｆ）において、R1ad，Gr1ad，Gb1ad，B1ad，R2ad，Gr2ad，Gb2ad，B2ad，R3ad，Gr3ad，Gb3ad，B3adは、それぞれ、Ｒ，Ｇｒ，Ｇｂ，Ｂの画素データに対して周囲の８画素の画素データを加算した加算画素データである。

周囲画素加算部５２１は、フレームFmIR1，FmIR2，FmIR3のそれぞれの画素データに対して図１３に示す加算処理を施すことにより、図１７の（ｄ）〜（ｆ）に示すフレームFmIR1ad，FmIR2ad，FmIR3adを生成する。

図１８の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１７の（ｄ）〜（ｆ）のフレームFmIR1ad，FmIR2ad，FmIR3adと同じである。

同一位置画素加算部５２２は、第１中間モードと同様に、式（１）に基づいて、フレームFmIR1adにおけるR1adの画素データに、フレームFmIR2ad，FmIR3adにおける同じ画素位置のR2ad，R3adの画素データを加算して、加算画素データR123adを生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2adにおけるGr2ad，Gb2adの画素データに、フレームFmIR1ad，FmIR3adにおける同じ画素位置のGr1ad，Gb1ad，Gr3ad，Gb3adの画素データを加算して、加算画素データGr123ad，Gb123adを生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3adにおけるB3adの画素データに、フレームFmIR1ad，FmIR2adにおける同じ画素位置のB1ad，B2adの画素データを加算して、加算画素データB123adを生成する。

合成部５２３は、第１中間モードと同様に、フレームFmIR1adにおける加算画素データR123adと、フレームFmIR2adにおける加算画素データGr123ad，Gb123adと、フレームFmIR3adにおける加算画素データB123adとを選択して合成する。これによって合成部５２３は、図１８の（ｄ）に示す合成映像信号のフレームFmIR123adを生成する。

合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、加算画素データR123ad，Gr123ad，Gb123ad，B123adを配列させたフレームFmIR123adを生成する。

図１９の（ａ）はフレームFmIR123adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123adiを生成する。デモザイク処理部５４は、図１９の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123adRを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123adiを生成する。デモザイク処理部５４は、図１９の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123adiを生成する。デモザイク処理部５４は、図１９の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123adBを生成する。

第１中間モードと第１暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。モード切換部７２は、暗視モードのとき、周囲画素加算部５２１を動作させればよい。

暗視モードにおけるデモザイク処理部５４の動作は、通常モード及び中間モードにおけるデモザイク処理部５４の動作と実質的に同じである。通常モードと中間モードと暗視モードとで、映像処理部５におけるデモザイク処理部５４等の信号処理部を共用させることができる。

＜暗視モード：第２暗視モード＞
図２０及び図２１を用いて、第２暗視モードにおける動作を説明する。第２暗視モードにおける動作において、第１暗視モードにおける動作と同一部分は説明を省略する。図２０の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１８の（ａ）〜（ｃ）のFmIR1ad，FmIR2ad，FmIR3adと同じである。

合成部５２３は、フレームFmIR1adにおけるＲの画素データであるR1adと、フレームFmIR2におけるＧの画素データであるGr2ad，Gb2adと、フレームFmIR3におけるＢの画素データであるB3adとを選択して合成する。これによって合成部５２３は、図２０の（ｄ）に示す合成映像信号のフレームFmIR123’adを生成する。

合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1ad，Gr2ad，Gb2ad，B3adを配列させたフレームFmIR123’adを生成する。

なお、図１３を用いて説明したように、フレームFmIR123’adにおける赤色用の画素データR1adは、中間モードのときに赤色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

また、フレームFmIR123’adにおける緑色用の加算画素データGr2adは、中間モードのときに緑色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

さらに、フレームFmIR123’adにおける青色用の加算画素データB3adは、中間モードのときに青色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

第２暗視モードでは、第２中間モードと同様に、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データは、それぞれそのままの値となる。

よって、合成部５２３は、第１暗視モードにおける動作と同様に、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データを選択すれば、フレームFmIR123’adを生成することができる。

図２１を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図２１の（ａ）は、フレームFmIR123’adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のR1adの画素データを用いて演算して、Ｒの補間画素データR1adiを生成する。デモザイク処理部５４は、図２１の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’adRを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のGr2ad，Gb2adの画素データを用いて演算して、Ｇの補間画素データG2adiを生成する。デモザイク処理部５４は、補間して、図２１の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のB3adの画素データを用いて算出したＢの補間画素データB3adiを生成する。デモザイク処理部５４は、図２１の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’adBを生成する。

第２中間モードと第２暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。

また、中間モードにおいては、受光素子における各色に対応する領域から得た画素データそれぞれから各色用の画素データを生成していたが、暗視モードにおいては、周囲画素を加算するため、中間モードにおける各色用の画素データを生成するための領域それぞれよりも広い領域から得た画素データから各色用の画素データを生成するとも言える。

＜モード切換の例＞
図２２を用いて、モード切換部７２によるモード切換の例を説明する。図２２の（ａ）は、一例として、昼間の時間帯から夜の時間帯へと時間が経過していくとき、周囲環境の明るさが変化していく様子を概略的に示している。

図２２の（ａ）に示すように、昼間から夕刻へと時間が経過していくに従って明るさが低下していき、時刻ｔ３以降、ほぼ真っ暗の状態となる。図２２の（ａ）に示す明るさは実質的に可視光の量を示しており、時刻ｔ３以降、可視光がほとんどない状態である。

制御部７は、映像処理部５から入力される映像信号（映像データ）の輝度レベルに基づいて周囲環境の明るさを判断することができる。図２２の（ｂ）に示すように、モード切換部７２は、明るさが所定の閾値Th1（第１の閾値）以上であるとき通常モードとし、明るさが閾値Th1未満で所定の閾値Th2（第２の閾値）以上であるとき中間モード、閾値Th2未満であるとき暗視モードとする。

本実施形態の撮像装置は、明るさが閾値Th1となる時刻ｔ１までは通常モード、時刻ｔ１から明るさが閾値Th2となる時刻ｔ２まで中間モード、時刻ｔ２以降は暗視モードに、モードを自動的に切り換える。図２２の（ｂ）において、中間モードは第１中間モードと第２中間モードとのいずれでもよく、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

図２２の（ａ）では可視光がほとんどなくなる時刻ｔ３の直前の明るさを閾値Th2としているが、時刻ｔ３の明るさを閾値Th2としてもよい。

図２２の（ｃ）に示すように、モード切換部７２は、中間モードの期間で、可視光が比較的多い時刻ｔ１側の期間を第１中間モード、可視光が比較的少ない時刻ｔ２側の期間を第２中間モードとしてもよい。図２２の（ｃ）において、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

本実施形態の撮像装置は、投光制御部７１が赤外線投光器９のオン・オフを制御し、モード切換部７２が映像処理部５内の各部の動作・不動作を切り換えることにより、それぞれのモードを実現することができる。

図２３に示すように、通常モードは、赤外線投光器９がオフ、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３がいずれも不動作、デモザイク処理部５４が動作の状態である。

第１中間モードは、赤外線投光器９がオン、周囲画素加算部５２１が不動作、同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４とが動作の状態である。第２中間モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２とが不動作、合成部５２３とデモザイク処理部５４とが動作の状態である。

同一位置画素加算部５２２における動作と不動作とは、前述のように、式（１）〜（３）の係数ka〜kiの値を適宜に設定することによって容易に切り換えることができる。

第１暗視モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４との全てが動作の状態である。第２暗視モードは、赤外線投光器９がオン、同一位置画素加算部５２２が不動作、周囲画素加算部５２１と合成部５２３とデモザイク処理部５４とが動作の状態である。

ところで、周囲画素加算部５２１は、注目画素の画素データに対して周囲の画素データを加算するための計算式において、周囲の画素データに乗じる係数を、０を超える係数（例えば１）とすれば、周囲画素の加算処理を動作の状態とすることができる。

また、周囲画素加算部５２１は、その計算式において、周囲の画素データに乗じる係数を０とすれば、周囲画素の加算処理を不動作の状態とすることができる。

周囲画素加算部５２１における動作と不動作も、係数の値を適宜に設定することによって容易に切り換えることができる。

＜撮像装置の第１の変形例＞
制御部７が周囲環境の明るさを検出する方法は、映像信号の輝度レベルに基づく方法に限定されない。

図２４に示すように、明るさセンサ１１によって周囲環境の明るさを検出してもよい。図２４において、映像信号の輝度レベルと明るさセンサ１１によって検出した明るさとの双方に基づいて、周囲環境の明るさを判断してもよい。

＜撮像装置の第２の変形例＞
制御部７は、周囲環境の明るさを直接的に検出せず、１年間における時期（日にち）及び時刻（時間帯）に基づいて周囲環境の明るさを概略的に想定して、モード切換部７２が各モードに切り換えるようにしてもよい。

図２５に示すように、モード設定テーブル１２には、日にちと時間帯との組み合わせに対応して、通常モードと中間モードと暗視モードとのいずれかが設定されている。制御部７内の時計７３は、日にちと時刻を管理している。制御部７は、時計７３が示す日にちと時刻とを参照して、モード設定テーブル１２より設定されているモードを読み出す。

投光制御部７１とモード切換部７２は、モード設定テーブル１２より読み出されたモードとなるように、撮像装置を制御する。

＜撮像装置の第３の変形例＞
図２６に示すように、操作部１３によってユーザがモードを手動で選択して、投光制御部７１とモード切換部７２が選択されたモードとなるように撮像装置を制御してもよい。操作部１３は、撮像装置の筐体に設けられている操作ボタンであってもよく、リモートコントローラであってもよい。

＜モード切換に関する映像信号処理方法＞
図２７を用いて、図１に示す撮像装置で実行されるモード切換に関する映像信号処理方法を改めて説明する。

図２７において、撮像装置が動作を開始すると、制御部７は、ステップＳ１にて、周囲環境の明るさが閾値Th1以上であるか否かを判定する。閾値Th1以上であれば（YES）、制御部７は、ステップＳ３にて、通常モードでの処理を実行させる。閾値Th1以上でなければ（NO）、制御部７は、ステップＳ２にて、周囲環境の明るさが閾値Th2以上であるか否かを判定する。

閾値Th2以上であれば（YES）、制御部７は、ステップＳ４にて、中間モードでの処理を実行させる。閾値Th2以上でなければ（NO）、制御部７は、ステップＳ５にて、暗視モードでの処理を実行させる。

制御部７は、ステップＳ３〜Ｓ５の後、処理をステップＳ１に戻し、ステップＳ１以降を繰り返す。

図２８は、ステップＳ３の通常モードの具体的な処理を示す。図２８において、制御部７（投光制御部７１）は、ステップＳ３１にて、赤外線投光器９をオフにする。制御部７は、ステップＳ３２にて、赤外線カットフィルタ２１を挿入する。制御部７（モード切換部７２）は、ステップＳ３３にて、スイッチ５１，５３を端子Ｔｂに接続させる。ステップＳ３１〜Ｓ３３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ３４にて、撮像部３によって被写体を撮像させる。制御部７は、ステップＳ３５にて、撮像部３が被写体を撮像することよって生成した映像信号を構成するフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

図２９は、ステップＳ４の中間モードの具体的な処理を示す。図２９において、制御部７（投光制御部７１）は、ステップＳ４１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ４２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ４３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ４１〜Ｓ４３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ４４にて、撮像部３によって被写体を撮像させる。撮像部３は、Ｒに対応付けられた波長ＩＲ１の赤外光と、Ｇに対応付けられた波長ＩＲ２の赤外光と、Ｂに対応付けられた波長ＩＲ３の赤外光とがそれぞれ投光されている状態で被写体を撮像する。

制御部７（モード切換部７２）は、ステップＳ４５にて、周囲画素加算部５２１を不動作とし、合成部５２３を動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光がそれぞれ投光されている状態で撮像部３が被写体を撮像することよって生成された映像信号を構成するフレームを第１のフレーム，第２のフレーム，第３のフレームとする。

合成部５２３は、第１のフレーム内のＲの画素データと、第２のフレーム内のＧの画素データと、第３のフレーム内のＢの画素データとに基づく３原色の画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させる。合成部５２３は、このようにして第１〜第３のフレームを１フレームに合成した合成映像信号を生成する。

制御部７は、ステップＳ４６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

デモザイク処理部５４は、合成映像信号のフレームに基づいて、Ｒのフレームと、Ｇのフレームと、Ｂのフレームとを生成するデモザイク処理を施して、デモザイク処理された３原色のフレームを順次生成する。

デモザイク処理部５４は、Ｒの画素データが存在しない画素位置にＲの画素データを補間することによって、Ｒのフレームを生成することができる。デモザイク処理部５４は、Ｇの画素データが存在しない画素位置にＧの画素データを補間することによって、Ｇのフレームを生成することができる。デモザイク処理部５４は、Ｂの画素データが存在しない画素位置にＢの画素データを補間することによって、Ｂのフレームとを生成することができる。

第１中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を動作させ、第２中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を不動作とすればよい。

図３０は、ステップＳ５の暗視モードの具体的な処理を示す。図３０において、制御部７（投光制御部７１）は、ステップＳ５１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ５２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ５３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ５１〜Ｓ５３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ５４にて、撮像部３によって被写体を撮像させる。制御部７（モード切換部７２）は、ステップＳ５５にて、周囲画素加算部５２１と合成部５２３とを動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

制御部７は、ステップＳ５６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

第１暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を動作させ、第２暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を不動作とすればよい。

＜モード切換に関する映像信号処理プログラム＞
図１において、制御部７、または、映像処理部５と制御部７との一体化部分をコンピュータ（マイクロコンピュータ）で構成し、映像信号処理プログラム（コンピュータプログラム）をコンピュータで実行させることによって、上述した撮像装置と同様の動作を実現させることも可能である。映像出力部６も含めてコンピュータで構成してもよい。

図３１を用いて、図２７のステップＳ４である中間モードにおける制御を映像信号処理プログラムで構成した場合にコンピュータに実行させる手順の例を説明する。図３１は、モード切換に関する映像信号処理プログラムがコンピュータに実行させる処理を示す。

図３１において、映像信号処理プログラムは、ステップS401にて、コンピュータに、Ｒ，Ｇ，Ｂに対応付けられた波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光をそれぞれ投光するように赤外線投光器９を制御する処理を実行させる。

ステップS401に示すステップを映像信号処理プログラムの外部にて実行させてもよい。図３１では、ダミーガラス２２を挿入させるステップを省略している。ダミーガラス２２を挿入させるステップも映像信号処理プログラムの外部にて実行させてもよい。

映像信号処理プログラムは、ステップS402にて、コンピュータに、波長ＩＲ１の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第１のフレームを構成する画素データを取得する処理を実行させる。

映像信号処理プログラムは、ステップS403にて、コンピュータに、波長ＩＲ２の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第２のフレームを構成する画素データを取得する処理を実行させる。

映像信号処理プログラムは、ステップS404にて、コンピュータに、波長ＩＲ３の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第３のフレームを構成する画素データを取得する処理を実行させる。ステップS402〜S404の順番は任意である。

映像信号処理プログラムは、ステップS405にて、コンピュータに、Ｒ，Ｇ，Ｂの画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させて、１フレームに合成した合成映像信号を生成する処理を実行させる。

中間モードでは、映像信号処理プログラムは、ステップS405にて、コンピュータに、周囲画素の加算処理の処理を実行させない。

映像信号処理プログラムは、ステップS406にて、コンピュータに、合成映像信号のフレームにデモザイク処理を施して、Ｒ，Ｇ，Ｂのフレームを生成する処理を実行させる。

図示は省略するが、図２７のステップＳ５である暗視モードにおける制御を映像信号処理プログラムで構成する場合には、図３１のステップS405にて、コンピュータに、周囲画素の加算処理の処理を実行させればよい。

映像信号処理プログラムは、コンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムであってよい。映像信号処理プログラムが記録媒体に記録された状態で提供されてもよいし、映像信号処理プログラムをコンピュータにダウンロードさせるよう、インターネット等のネットワークを介して提供されてもよい。コンピュータで読み取り可能な記録媒体は、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の非一時的な任意の記録媒体でよい。

図１のように構成される撮像装置において、例えば、必要に応じて各部を複数設けたりして、中間モードと暗視モードとを同時に実行するようにしてもよい。その場合、映像出力部６が、中間モードによって生成された映像信号と、暗視モードによって生成された映像信号との両方を出力するようにしてもよい。

また、モード切換部７２は、映像出力部６が中間モードによって生成された映像信号を出力する状態と、映像出力部６が暗視モードによって生成された映像信号を出力する状態とを切り換えるようにしてもよい。その際、前述のように、周囲環境の明るさや時刻等に応じて切り換えてもよい。また、映像処理部５（映像処理装置）を他の各部と別体にしてもよい。

さらに、中間モードを使用せずに、通常モードから暗視モードに切り換えたり、暗視モードから通常モードに切り換えたりする場合があってもよい。

中間モードを使用しない場合には、上述した中間モードの使用が適した環境下では、通常モードと暗視モードとのいずれかを選択して使用すればよい。この場合、中間モードを使用する場合と比較して良好なカラー映像信号とはならないが、撮像は可能である。

しかしながら、通常モードと暗視モードのみを搭載した撮像装置であっても、例えば監視カメラで被写体を終日撮影する場合のような周囲の明るさが変化する状況で、１つの撮像装置で被写体を撮影することができる、という効果を奏する。

さらにまた、暗視モードを使用せずに、通常モードから中間モードに切り換え、中間モードから通常モードに切り換える場合があってもよい。暗視モードを常時使用しない場合は、暗視モードを搭載しないようにしてもよい。

電灯がある場所等では暗視モードを使用しなくてもよい場合がある。通常モードと中間モードのみを搭載した撮像装置は、暗視モードを使用しなくてもよい場合に利用できる。

暗視モードを使用しない場合には、上述した暗視モードの使用が適した環境下では、中間モードを使用すればよい。この場合、暗視モードを使用する場合と比較して良好なカラー映像信号とはならないが、撮像は可能である。

通常モードと中間モードのみを搭載した撮像装置であっても、同様に、周囲の明るさが変化する状況で、１つの撮像装置で被写体を撮影することができる、という効果を奏する。

＜可視光の量と赤外光の量との関係の判定方法＞
前述のように、周囲環境によって可視光の量と赤外光の量との関係は異なる。可視光の量と赤外光の量との関係がある特定の状態で映像信号のホワイトバランスを調整したとすると、可視光の量と赤外光の量との関係がその特定の状態とは異なった状態では、ホワイトバランスが崩れてしまう。即ち、光量の関係が異なれば、それぞれの状態で被写体の色を高画質に再現することができないということになる。

そこで、判定部７８は後述する判定方法の第１の例または第２の例によって、光量の主従関係を判定する。まず、図３２を用いて、図３で説明した撮像部３における分光感度特性の特徴について考察する。

前述のように、波長ＩＲ１，ＩＲ２，ＩＲ３を、７８０ｎｍ，９４０ｎｍ，８７０ｎｍとする。図３２に示すように、Ｒに対応付けられた波長ＩＲ１におけるＲの感度をＳｔｒ、Ｇに対応付けられた波長ＩＲ２におけるＧの感度をＳｔｇ、Ｂに対応付けられた波長ＩＲ３におけるＢの感度をＳｔｂとする。

図３２より分かるように、感度Ｓｔｒ，Ｓｔｇ，Ｓｔｂの値は大きく異なる。よって、波長ＩＲ１〜ＩＲ３の赤外光の発光パワーが同一であれば、撮像部３の露光量は波長ＩＲ１，ＩＲ２，ＩＲ３のいずれの赤外光を投光したかによって異なることになる。

＜判定方法の第１の例＞
図３３〜図３６，図３８を用いて、判定方法の第１の例を説明する。波長ＩＲ１〜ＩＲ３の赤外光の発光パワーは同一であるとする。判定部７８は、判定方法の第１の例として、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光が所定の期間ごとに選択的に投光されている状態における撮像部３の露光量のうち、少なくとも２つの期間の露光量を比較することによって、光量の主従関係を判定する。

図３３は、可視光の量が赤外光の量と比較して十分に多く、可視光が主の状態を示している。図３３の（ａ），（ｂ）は、図８の（ａ），（ｂ）を部分的に示している。赤外線投光器９は、図３２の（ａ）のように、波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光し、撮像部３は、図３２の（ｂ）に示すように露光する。

波長ＩＲ１の赤外光が投光されている期間での露光量をAepR、波長ＩＲ２の赤外光が投光されている期間での露光量をAepG、波長ＩＲ３の赤外光が投光されている期間での露光量をAepBとする。

可視光が主の状態であれば、撮像部３の露光量は、赤外線投光器９により投光された赤外光にほとんど影響を受けない。よって、撮像部３の露光量AepR，AepG，AepBは、図３３の（ｃ）に示すように、波長ＩＲ１〜ＩＲ３のうちのどの赤外光が投光されてもほぼ同じ値となる。可視光が主の状態のとき、撮像部３の露光量AepR，AepG，AepBは、常時ほぼ一定の値となる。

図３４は、赤外光の量が可視光の量と比較して十分に多く、赤外光が主の状態を示している。図３４の（ａ），（ｂ）は、図３３の（ａ），（ｂ）と同じである。赤外光が主の状態であれば、撮像部３の露光量は、赤外線投光器９により投光された赤外光の影響を受ける。

よって、撮像部３の露光量は、図３４の（ｃ）に示すように、波長ＩＲ１〜ＩＲ３のうちのどの赤外光が投光されているかによって値が異なることになる。露光量AepR，AepG，AepBは、図３２で説明した感度Ｓｔｒ，Ｓｔｇ，Ｓｔｂの違いを反映して、AepR＞AepB＞AepGの関係となる。

図３３の（ｃ）と図３４の（ｃ）とを比較すれば分かるように、判定部７８は、撮像部３の露光量が１フレームを３分割した期間でほぼ一定であれば可視光が主、撮像部３の露光量が３分割した期間でばらつけば赤外光が主と判定する。

具体的には、露光量AepR，AepG，AepBのうちの少なくとも２つを比較して、所定の閾値以下の差しかなければ可視光が主、所定の閾値を超える差があれば赤外光が主であると判定することができる。露光量AepR，AepG，AepBの３つを互いに比較することによって判定精度を高めることも可能である。

露光量AepR，AepG，AepBのうちの２つを比較する場合には、最も差が大きい露光量AepRと露光量AepGとを比較するのがよい。

図３５を用いて、判定方法の第１の例を実現する判定部７８のさらに具体的な構成及び動作を説明する。図３５は、露光量AepRと露光量AepGとを比較して光量の主従関係を判定する概念的な説明図である。

図３５の（ａ）は、図９の（ａ）と同じ、波長ＩＲ１の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR1である。図３５の（ｂ）は、図９の（ｂ）と同じ、波長ＩＲ２の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR2である。ここでは、Ｇｒ，Ｇｂの画素データをＧとし、図９で付した添え字を省略している。

図３５の（ｃ）は、第１の例における判定部７８の概念的なブロック図である。図３５の（ｃ）に示すように、判定部７８は、平均値化部７８１と差分演算部７８２と比較部７８３とを有する。

２つの平均値化部７８１は、フレームFmIR1の画素データが入力されるタイミングでの平均値化部７８１と、フレームFmIR2の画素データが入力されるタイミングでの平均値化部７８１とを別々に図示したものである。

平均値化部７８１は、フレームFmIR1の所定の領域内における画素データを平均値化して平均値Fave(IR1)を生成する。平均値化部７８１は、フレームFmIR2の所定の領域内における画素データを平均値化して平均値Fave(IR2)を生成する。平均値Fave(IR1)，Fave(IR2)は、差分演算部７８２に入力される。

所定の領域とは１フレームの全体でもよいし、１フレームの端部を除いた中央部等の部分でもよい。所定の領域とは、複数フレームであってもよい。以下、所定の領域を１フレームとする。

差分演算部７８２は、平均値Fave(IR1)と平均値Fave(IR2)との差分を演算して差分値Ｖｄｆを生成する。図示していないが、差分値Ｖｄｆは絶対値回路によって絶対化されて、比較部７８３に入力される。

比較部７８３は、差分値Ｖｄｆと閾値Th10とを比較して、差分値Ｖｄｆが閾値Th10以下であれば可視光が主であることを示し、差分値Ｖｄｆが閾値Th10を超えれば赤外光が主であることを示す判定データDdet1を生成する。

判定データDdet1は、例えば、可視光が主であるときに０、赤外光が主であるときに１の２値データでよい。判定データDdet1は、色ゲイン制御部７９へと入力される。なお、判定データDdet1を差分値Ｖｄｆに応じて変化する値として、その値に応じて色ゲインを適応的に変化させてもよい。

図３６のフローチャートを用いて、判定部７８の動作をさらに説明する。図３６において、判定部７８は、ステップS101にて、フレームFmIR1の生成タイミングであるか否かを判定する。フレームFmIR1の生成タイミングであれば（YES）、判定部７８は、ステップS102にて、フレームFmIR1の画素データを平均値化して平均値Fave(IR1)を生成する。

フレームFmIR1の生成タイミングでなければ（NO）、判定部７８は、ステップS103にて、フレームFmIR2の生成タイミングであるか否かを判定する。フレームFmIR2の生成タイミングであれば（YES）、判定部７８は、ステップS104にて、フレームFmIR2の画素データを平均値化して平均値Fave(IR2)を生成する。フレームFmIR2の生成タイミングでなければ（NO）、判定部７８は、処理をステップS101に戻す。

判定部７８は、ステップS105にて、平均値Fave(IR1)と平均値Fave(IR2)との差分を演算して差分値Ｖｄｆを生成する。判定部７８は、ステップS106にて、差分値Ｖｄｆが閾値Th10以下であるか否かを判定する。

差分値Ｖｄｆが閾値Th10以下であれば（YES）、判定部７８は、ステップS107にて、可視光が主であると判定して、処理をステップS101に戻す。差分値Ｖｄｆが閾値Th10以下でなければ（NO）、判定部７８は、ステップS108にて赤外光が主である判定して、処理をステップS101に戻す。以下、同様の処理を繰り返す。

このように、判定方法の第１の例では、制御部７に入力される映像信号（映像データ）の信号レベル、詳細には、１フレームの画素信号（画素データ）の平均値を比較することによって、実質的に露光量AepRと露光量AepGとを比較している。

図３７に示すように、色ゲイン制御部７９は、ステップS201にて、入力された判定データDdet1に基づいて可視光が主であるか否かを判定する。可視光が主であれば（YES）、色ゲイン制御部７９は、第１の組の色ゲインを選択するよう色ゲイン設定部６２を制御して、処理をステップS201に戻す。

可視光が主でなければ（NO）、色ゲイン制御部７９は、第２の組の色ゲインを選択するよう色ゲイン設定部６２を制御して、処理をステップS201に戻す。以下、同様の処理を繰り返す。

図３４及び図３５は、波長ＩＲ１〜ＩＲ３の赤外光の発光パワーが同一である場合を示している。波長ＩＲ１〜ＩＲ３の赤外光の発光パワーを意図的に異ならせた上で、露光量AepR，AepG，AepBに基づいて光量の主従関係を判定することも可能である。

図３８は、図３４と同様、赤外光が主の状態を示している。図３８の（ａ），（ｃ）は、図３４の（ａ），（ｂ）と同じである。図３８の（ｂ）に示すように、例えば波長ＩＲ３の赤外光の発光パワーを波長ＩＲ１，ＩＲ２の赤外光の発光パワーよりも大きくしたとする。

この場合の露光量AepR，AepG，AepBは、図３８の（ｄ）に示すようになる。判定部７８は、露光量AepRと露光量AepBとを比較して光量の主従関係を判定してもよいし、露光量AepGと露光量AepBとを比較して光量の主従関係を判定してもよい。判定部７８は、露光量AepR，AepG，AepBの大小関係の特有のパターンの有無を認識して、特有のパターンがなければ可視光が主、特有のパターンがあれば赤外光が主と判定してもよい。

＜判定方法の第２の例＞
図３９〜図４２を用いて、判定方法の第２の例を説明する。波長ＩＲ１〜ＩＲ３の赤外光の発光パワーは同一であるとする。判定部７８は、判定方法の第２の例として、波長ＩＲ１の赤外光が投光されている状態で生成された撮像信号に基づく画素信号と、他の赤外光が投光されている状態で生成された撮像信号に基づく画素信号とを用いることによって、光量の主従関係を判定する。

判定部７８は、画素信号として、Ｒの画素信号と、ＧまたはＢの画素信号とを用いる。他の赤外光は、波長ＩＲ２の赤外光と波長ＩＲ３の赤外光とのいずれでもよい。

図３２に示すように、波長ＩＲ１では、Ｒの感度ＳｔｒとＧ，Ｂの感度とは大きな感度差がある。Ｒの感度ＳｔｒとＢの感度Stb1との感度差が特に大きい。波長ＩＲ２では、Ｒ，Ｂの感度Str2，Stb2は、Ｇの感度Ｓｔｇとほぼ同じで両者の感度差はほとんどない。波長ＩＲ３でも、Ｂの感度ＳｔｂとＲ，Ｇの感度との違いはわずかである。

判定方法の第２の例は、波長ＩＲ１〜ＩＲ３で、Ｒ，Ｇ，Ｂの感度差が異なることを利用して、光量の主従関係を判定する。

波長ＩＲ１では、Ｒの感度ＳｔｒとＢの感度Stb1との感度差が最も大きいため、Ｒの画素信号と比較する画素信号としては、Ｇの画素信号を用いるよりもＢの画素信号を用いる方が好ましい。そこで、判定部７８は、波長ＩＲ１の赤外光が投光されている状態におけるＲの画素信号とＢの画素信号とを用いることとする。

波長ＩＲ２の赤外光が投光されている状態におけるＲ，Ｂの画素信号と、波長ＩＲ３の赤外光が投光されている状態におけるＲ，Ｂの画素信号とはいずれでもよいが、判定部７８は、前者を用いることとする。

図３９を用いて、判定方法の第２の例を実現する判定部７８の具体的な構成及び動作を説明する。図３９も、図３５と同様、光量の主従関係を判定する概念的な説明図である。

図３９の（ａ）は、図３５の（ａ）と同じ、波長ＩＲ１の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR1である。図３９の（ｂ）は、図３５の（ｂ）と同じ、波長ＩＲ２の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR2である。

図３９の（ｃ）は、フレームFmIR1内のＲの画素のみを抽出した状態を概念的に示している。図３９の（ｄ）は、フレームFmIR1内のＢの画素のみを抽出した状態を概念的に示している。

図３９の（ｅ）は、フレームFmIR2内のＲの画素のみを抽出した状態を概念的に示している。図３９の（ｆ）は、フレームFmIR2内のＢの画素のみを抽出した状態を概念的に示している。

図３９の（ｇ）は、第２の例における判定部７８の概念的なブロック図である。図３９の（ｇ）に示すように、判定部７８は、平均値化部７８４，７８５と差分演算部７８６，７８７と比較部７８８とを有する。

それぞれ２つの平均値化部７８４，７８５は、フレームFmIR1のＲ，Ｂの画素データが入力されるタイミングでの平均値化部７８４，７８５と、フレームFmIR2のＲ，Ｂの画素データが入力されるタイミングでの平均値化部７８４，７８５とを別々に図示したものである。

平均値化部７８４は、フレームFmIR1の１フレーム内のＲの画素データを平均値化して平均値Rave(IR1)を生成する。平均値化部７８５は、フレームFmIR1の１フレーム内のＢの画素データを平均値化して平均値Bave(IR1)を生成する。

平均値化部７８４は、フレームFmIR2の１フレーム内のＲの画素データを平均値化して平均値Rave(IR2)を生成する。平均値化部７８５は、フレームFmIR2の１フレーム内のＢの画素データを平均値化して平均値Bave(IR2)を生成する。

Ｒの画素データの平均値Rave(IR1)，Rave(IR2)を生成するタイミングと、Ｂの画素データの平均値Bave(IR1)，Bave(IR2)を生成するタイミングとをずらすことにより、平均値化部を１つのみとしてもよい。この場合、先に生成した平均値を一時的に保持しておく。

平均値Rave(IR1)，Bave(IR1)と平均値Rave(IR2)，Bave(IR2)とは、差分演算部７８６に入力される。２つの差分演算部７８６は、平均値Rave(IR1)，Bave(IR1)が入力されるタイミングでの差分演算部７８６と、平均値Rave(IR2)，Bave(IR2)が入力されるタイミングでの差分演算部７８６とを別々に図示したものである。

差分演算部７８６は、平均値Rave(IR1)と平均値Bave(IR1)との差分を演算して差分値Vdf1を生成する。差分演算部７８６は、平均値Rave(IR2)と平均値Bave(IR2)との差分を演算して差分値Vdf2を生成する。図示していないが、差分値Vdf1，Vdf2は絶対値回路によって絶対化されて、差分演算部７８７に入力される。

差分演算部７８７は、差分値Vdf1と差分値Vdf2との差分を演算して差分値Vdf12を生成する。図示していないが、差分値Vdf12は絶対値回路によって絶対化されて、比較部７８８に入力される。

比較部７８８は、差分値Vdf12と閾値Th20とを比較して、差分値Vdf12が閾値Th20以下であれば可視光が主であることを示し、差分値Vdf12が閾値Th20を超えれば赤外光が主であることを示す判定データDdet2を生成する。判定データDdet2も２値データでよい。判定データDdet2は、色ゲイン制御部７９へと入力される。

図４０は、可視光が主の状態を示している。図４０の（ａ），（ｂ）は、図３３の（ａ），（ｂ）と同じである。図４０の（ｃ）は、図４０の（ｂ）に示す露光に基づいて生成されるフレームを示している。図８で説明したように、図４０の（ｂ）の露光と図４０の（ｃ）に示すフレームとのタイミングはずれるが、ここでは、タイミングの違いを無視して時間方向（左右方向）の位置を一致させた状態を図示している。

可視光が主の状態では図３３で説明したように撮像部３の露光量AepR，AepG，AepBはほぼ一定の値であり、波長ＩＲ１〜ＩＲ３におけるＲ，Ｇ，Ｂの感度差の影響をほとんど受けない。

よって、図４０の（ｄ）に示すように、フレームFmIR1のタイミングで生成される差分値Vdf1とフレームFmIR2のタイミングで生成される差分値Vdf2とはほぼ同じ値となる。従って、差分値Vdf12は小さな値となる。

図４０の（ｄ）では、差分値Vdf1，Vdf2を、便宜上、フレームFmIR1，FmIR2のそれぞれのフレーム期間に渡るように記載している。実際には、差分値Vdf1，Vdf2は、判定部７８にフレームFmIR1，FmIR2の画素データが入力された後の所定のタイミングで生成される。

図４１は、赤外光が主の状態を示している。図４１の（ａ）〜（ｃ）は、図４０の（ａ）〜（ｃ）と同じである。赤外光が主の状態では、波長ＩＲ１〜ＩＲ３におけるＲ，Ｇ，Ｂの感度差の影響を受ける。

よって、図４１の（ｄ）に示すように、フレームFmIR1のタイミングで生成される差分値Vdf1とフレームFmIR2のタイミングで生成される差分値Vdf2とは値が大きく異なる。従って、差分値Vdf12は大きな値となる。

図４２のフローチャートを用いて、判定部７８の動作をさらに説明する。図４２において、判定部７８は、ステップS301にて、フレームFmIR1の生成タイミングであるか否かを判定する。

フレームFmIR1の生成タイミングであれば（YES）、判定部７８は、ステップS302にて、フレームFmIR1のＲの画素データを平均値化して平均値Rave(IR1)を生成する。判定部７８は、ステップS303にて、フレームFmIR1のＢの画素データを平均値化して平均値Bave(IR1)を生成する。

判定部７８は、ステップS304にて、平均値Rave(IR1)と平均値Bave(IR1)との差分を演算して差分値Vdf1を生成する。

一方、ステップS301にてフレームFmIR1の生成タイミングでなければ（NO）、判定部７８は、ステップS305にて、フレームFmIR2の生成タイミングであるか否かを判定する。

フレームFmIR2の生成タイミングであれば（YES）、判定部７８は、ステップS306にて、フレームFmIR2のＲの画素データを平均値化して平均値Rave(IR2)を生成する。判定部７８は、ステップS307にて、フレームFmIR2のＢの画素データを平均値化して平均値Bave(IR2)を生成する。

判定部７８は、ステップS308にて、平均値Rave(IR2)と平均値Bave(IR2)との差分を演算して差分値Vdf2を生成する。

ステップS305にてフレームFmIR2の生成タイミングでなければ（NO）、判定部７８は、処理をステップS301に戻す。

判定部７８は、ステップS309にて、差分値Vdf1と差分値Vdf2との差分を演算して差分値Vdf12を生成する。判定部７８は、ステップS310にて、差分値Vdf12が閾値Th20以下であるか否かを判定する。

差分値Vdf12が閾値Th20以下であれば（YES）、判定部７８は、ステップS311にて、可視光が主であると判定して、処理をステップS301に戻す。差分値Vdf12が閾値Th20以下でなければ（NO）、判定部７８は、ステップS312にて赤外光が主である判定して、処理をステップS101に戻す。以下、同様の処理を繰り返す。

色ゲイン制御部７９は、図３７のステップS201にて、入力された判定データDdet2に基づいて可視光が主であるか否かを判定する。

可視光が主であれば（YES）、色ゲイン制御部７９は、第１の組の色ゲインを選択するよう色ゲイン設定部６２を制御して、処理をステップS201に戻す。

可視光が主でなければ（NO）、色ゲイン制御部７９は、第２の組の色ゲインを選択するよう色ゲイン設定部６２を制御して、処理をステップS201に戻す。以下、同様の処理を繰り返す。

＜光量の主従関係の判定に応じた映像信号処理方法＞
図４３を用いて、図１に示す撮像装置で実行される光量の主従関係の判定に応じた映像信号処理方法を改めて説明する。

図４３において、撮像部３は、ステップS501にて、赤外線投光器９によって波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光が選択的に投光されている状態で被写体を撮像して、Ｒ，Ｇ，Ｂのそれぞれに対応した撮像信号を生成する。

映像処理部５は、ステップS502にて、撮像信号に基づいて、Ｒ，Ｇ，Ｂの３原色データを生成する。判定部７８は、ステップS503にて、周囲環境の可視光の量と赤外線投光器９によって投光される赤外光の量との主従関係を判定する。

色ゲイン制御部７９は、ステップS504にて、可視光が主であれば（YES）、第１の組の色ゲインを選択するよう色ゲイン設定部６２を制御する。よって、映像出力部６は、ステップS505にて、３原色データに第１の組の色ゲインを乗じた映像信号を出力する。

色ゲイン制御部７９は、ステップS504にて、可視光が主でなければ（NO）、第２の組の色ゲインを選択するよう色ゲイン設定部６２を制御する。よって、映像出力部６は、ステップS506にて、３原色データに第２の組の色ゲインを乗じた映像信号を出力する。

ステップS504〜S506の処理によって、撮像装置は、判定された主従関係に従って、３原色データに乗じる色ゲインの複数の組のうちのいずれかの組を選択し、選択された組の色ゲインを前記３原色データに乗じた映像信号を出力する。

撮像装置が中間モードに設定されているとき、ステップS501〜S506の処理が繰り返される。

＜光量の主従関係の判定を含む撮像装置の動作を制御する映像信号処理プログラム＞
図４４を用いて、光量の主従関係の判定を含む撮像装置の動作をコンピュータプログラムによって制御する場合の映像信号処理プログラムを説明する。

図４４において、映像信号処理プログラムは、ステップS601にて、コンピュータに、赤外線投光器９によって波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光が選択的に投光されている状態で被写体を撮像することによって生成されたＲ，Ｇ，Ｂのそれぞれに対応した撮像信号に基づく映像データを取得する処理を実行させる。

映像信号処理プログラムは、ステップS602にて、コンピュータに、映像データに基づいて、周囲環境の可視光の量と赤外線投光器９によって投光される赤外光の量との関係を判定する処理を実行させる。図示していないが、判定結果はコンピュータに一時的に保持される。

映像信号処理プログラムは、ステップS603にて、コンピュータに、保持された判定結果を確認する処理を実行させる。

可視光が主であれば（YES）、映像信号処理プログラムは、ステップS604にて、コンピュータに、色ゲイン設定部６２が映像データに基づいて生成される３原色データに乗じる色ゲインの組を第１の組とするよう、色ゲイン設定部６２を制御する処理を実行させる。

可視光が主でなければ（NO）、映像信号処理プログラムは、ステップS605にて、コンピュータに、色ゲイン設定部６２が映像データに基づいて生成される３原色データに乗じる色ゲインの組を第２の組とするよう、色ゲイン設定部６２を制御する処理を実行させる。

ステップS603〜S605によって、映像信号処理プログラムは、コンピュータに、色ゲイン設定部６２が３原色データに乗じる色ゲインの組を、判定された主従関係に従って、色ゲインの複数の組のうちからいずれかを選択するよう、色ゲイン設定部６２を制御する処理を実行させている。

撮像装置が中間モードに制御されているとき、映像信号処理プログラムは、コンピュータに、ステップS601〜S605の処理が繰り返し実行させる。

光量の主従関係の判定を含む撮像装置の動作を制御する映像信号処理プログラムも同様に、コンピュータで読み取り可能な非一時的な記録媒体に記録されたコンピュータプログラムであってよい。この映像信号処理プログラムも記録媒体に記録された状態で提供されてもよいし、ネットワークを介して提供されてもよい。

＜色ゲインの組の切換例＞
図４５を用いて、色ゲイン設定部６２が用いる色ゲインの組がどのように切り換えられるかについて説明する。図４５の（ａ），（ｂ）は、図２２の（ａ），（ｂ）と同じである。

通常モードでは可視光が主であるので、色ゲイン設定部６２が用いる色ゲインの組は第１の組で固定である。暗視モードでは赤外光が主であるので、色ゲイン設定部６２が用いる色ゲインの組は第２の組で固定である。色ゲイン設定部６２は、モード切換部７２によるモード切換の状態に応じて、第１の組と第２の組とを選択すればよい。

中間モードでは、上述した判定方法の第１または第２の例による判定結果に従って、可視光が比較的多い状態では第１の組が選択され、赤外光が比較的多い状態では第２の組が選択される。

よって、色ゲイン設定部６２は、通常モードから中間モードへ、中間モードから暗視モードへと移行したとき、中間モードの途中まで第１の組を用い、中間モードの途中以降、第２の組を用いることになる。

図４５の（ｃ）では、便宜的に、中間モードの期間を２分割して、通常モード側を第１の組、暗視モードを第２の組としている。実際に、第１の組が選択する状態から第２の組を選択する状態へと切り換わるタイミングは、閾値Th10，Th20の値の設定の仕方やその他の各種の条件に応じて決まる。

色ゲイン設定部６２に色ゲインの組を少なくとも３組保持させておき、暗視モードで用いる色ゲインの組を、中間モードで用いる第２の組とは異なる第３の組としてもよい。

以上説明した光量の主従関係の判定結果を用いて、中間モードと暗視モードとを切り換えるように構成することも可能である。可視光が主である図３３，図４０の状態では中間モードとし、赤外光が主である図３４，図４０の状態では暗視モードとしてもよい。

ところで、可視光が主で、赤外光が従である状態とは、必ずしも可視光が赤外光よりも多い状態とは限らない。赤外光が主で、可視光が従である状態とは、必ずしも赤外光が可視光も多い状態とは限らない。可視光と赤外光との関係は、可視光と赤外光との特定の比率を基準して決定する必要はない。例えば、生成される映像信号がより高画質となるように可視光と赤外光との関係を決定すればよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。例えば、図１に示す撮像装置において、赤外線投光器９を撮像装置の筐体と着脱自在にしてもよい。赤外線投光器９を、撮像装置外部の構成としてもよい。撮像装置は、赤外線投光器９を装着したときに、赤外線投光器９を制御する構成を有すればよい。

可視光と赤外光との関係をそれぞれの光量を測定してもよい。判定部７８による主従関係の判定とは、光量を測定した測定結果に基づく場合を含む。上述した映像信号に基づく主従関係の判定では、被写体付近の可視光と赤外光との関係を反映しやすい。よって、映像信号に基づく主従関係の判定の方が光量の測定結果に基づく主従関係の判定よりもよい。

また、制御部７は、周囲環境の可視光の量と赤外光の量との関係に応じて種々のパラメータを変化させてもよい。本実施形態は、色ゲインに限らず、撮像部３によって撮像した撮像信号を画像処理するための種々のパラメータを変化させる技術に適応可能である。

制御部７は、周囲環境の可視光の量と赤外光の量との関係に応じて、種々の撮影モード間の切換を行ってもよい。本実施形態は、中間モードや暗視モードに限らず公知の種々の撮影モード間の切換制御に適応可能である。本実施形態は、赤外光を用いた他の撮像技術にも適用可能である。

さらに、制御部７や映像処理部５は、１または複数のハードウェアのプロセッサ（ＣＰＵ）を用いて実現することができる。ハードウェアとソフトウェアとの使い分けは任意である。ハードウェアのみで撮像装置を構成してもよいし、一部の構成をソフトウェアで実現してもよい。

３ 撮像部
５ 映像処理部
７ 制御部
９ 赤外線投光器
３２ カラーフィルタ
５４ デモザイク処理部
６２ 色ゲイン設定部
７１ 投光制御部
７２ モード切換部
７８ 判定部
７９ 色ゲイン制御部
５２１ 周囲画素加算部
５２２ 同一位置画素加算部
５２３ 合成部
７８１，７８４，７８５ 平均値化部
７８２，７８６，７８７ 差分演算部
７８３，７８８ 比較部

Claims (3)

1. 中間モードは、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で被写体を撮像して、カラーフィルタの赤色のフィルタエレメントに対応する受光素子から得た画素データから赤色用の画素データを生成し、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの緑色のフィルタエレメントに対応する受光素子から得た画素データから緑色用の画素データを生成し、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの青色のフィルタエレメントに対応する受光素子から得た画素データから青色用の画素データを生成するモードであり、
   暗視モードは、前記第１の赤外光が投光されている状態で被写体を撮像して、前記赤色のフィルタエレメントに対応する受光素子と、前記赤色のフィルタエレメントの周囲に位置する緑色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから赤色用の画素データを生成し、前記第２の赤外光が投光されている状態で前記被写体を撮像して、前記緑色のフィルタエレメントに対応する受光素子と、前記緑色のフィルタエレメントの周囲に位置する赤色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから緑色用の画素データを生成し、前記第３の赤外光が投光されている状態で前記被写体を撮像して、前記青色のフィルタエレメントに対応する受光素子と、前記青色のフィルタエレメントの周囲に位置する赤色及緑色のフィルタエレメントに対応する受光素子とから得た画素データから青色用の画素データを生成するモードであり、
   前記中間モードと前記暗視モードとに基づき画素データを生成する映像処理部と、
   前記第１の赤外光が投光されている期間における露光量と、前記第２の赤外光が投光されている期間における露光量と、前記第３の赤外光が投光されている期間における露光量とのうちの少なくとも２つの露光量を比較した結果に基づいて、映像出力部が前記中間モードによって生成された画素データに基づく映像信号を出力する状態と、前記映像出力部が前記暗視モードによって生成された画素データに基づく映像信号を出力する状態とを切り換えるモード切換部と、
   を備えることを特徴とする映像処理装置。
2. 映像処理部が、中間モード時に、
   赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で被写体を撮像して、カラーフィルタの赤色のフィルタエレメントに対応する受光素子から得た画素データから赤色用の画素データを生成し、
   緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの緑色のフィルタエレメントに対応する受光素子から得た画素データから緑色用の画素データを生成し、
   青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの青色のフィルタエレメントに対応する受光素子から得た画素データから青色用の画素データを生成し、
   前記映像処理部が、暗視モード時に、
   前記第１の赤外光が投光されている状態で被写体を撮像して、前記赤色のフィルタエレメントに対応する受光素子と、前記赤色のフィルタエレメントの周囲に位置する緑色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから赤色用の画素データを生成し、
   前記第２の赤外光が投光されている状態で前記被写体を撮像して、前記緑色のフィルタエレメントに対応する受光素子と、前記緑色のフィルタエレメントの周囲に位置する赤色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから緑色用の画素データを生成し、
   前記第３の赤外光が投光されている状態で前記被写体を撮像して、前記青色のフィルタエレメントに対応する受光素子と、前記青色のフィルタエレメントの周囲に位置する赤色及緑色のフィルタエレメントに対応する受光素子とから得た画素データから青色用の画素データを生成し、
   判定部が、前記第１の赤外光が投光されている期間における露光量と、前記第２の赤外光が投光されている期間における露光量と、前記第３の赤外光が投光されている期間における露光量とのうちの少なくとも２つの露光量を比較して、可視光が主であるか赤外光が主であるかを判定し、
   モード切換部が、前記判定部による判定結果に基づいて、映像出力部が前記中間モードによって生成された画素データに基づく映像信号を出力する状態と、前記映像出力部が前記暗視モードによって生成された画素データに基づく映像信号を出力する状態とを切り換える
   ことを特徴とする映像処理方法。
3. コンピュータを、
   中間モード時に、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で被写体を撮像して、カラーフィルタの赤色のフィルタエレメントに対応する受光素子から得た画素データから赤色用の画素データを生成し、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの緑色のフィルタエレメントに対応する受光素子から得た画素データから緑色用の画素データを生成し、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で前記被写体を撮像して、前記カラーフィルタの青色のフィルタエレメントに対応する受光素子から得た画素データから青色用の画素データを生成する手段と、
   暗視モード時に、前記第１の赤外光が投光されている状態で被写体を撮像して、前記赤色のフィルタエレメントに対応する受光素子と、前記赤色のフィルタエレメントの周囲に位置する緑色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから赤色用の画素データを生成し、前記第２の赤外光が投光されている状態で前記被写体を撮像して、前記緑色のフィルタエレメントに対応する受光素子と、前記緑色のフィルタエレメントの周囲に位置する赤色及び青色のフィルタエレメントに対応する受光素子とから得た画素データから緑色用の画素データを生成し、前記第３の赤外光が投光されている状態で前記被写体を撮像して、前記青色のフィルタエレメントに対応する受光素子と、前記青色のフィルタエレメントの周囲に位置する赤色及緑色のフィルタエレメントに対応する受光素子とから得た画素データから青色用の画素データを生成する手段と、
   前記第１の赤外光が投光されている期間における露光量と、前記第２の赤外光が投光されている期間における露光量と、前記第３の赤外光が投光されている期間における露光量とのうちの少なくとも２つの露光量を比較した結果に基づいて、映像出力部が前記中間モードによって生成された画素データに基づく映像信号を出力する状態と、前記映像出力部が前記暗視モードによって生成された画素データに基づく映像信号を出力する状態とを切り換えるモード切換手段、
   として機能させることを特徴とする映像処理プログラム。

Images