JP6344279B2 - 撮像装置、撮像装置の制御方法及び制御プログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法及び制御プログラムに関する。

従来、例えば夜間等の可視光がほとんどない環境下において被写体を撮像するために、赤外線投光器によって被写体に赤外光を照射し、被写体から反射した赤外光を撮像する方法が用いられている。この方法は、可視光を照射するライトを用いることができない場合に有効な撮像方法である。

しかしながら、この撮像方法によって被写体を撮像した映像は、モノクロ映像となる。モノクロ映像では物体の識別が困難となることがある。可視光がない環境下でもカラー映像を撮像することができれば、物体の識別性を向上させることができる。例えば監視カメラでは、物体の識別性を向上させるために、可視光がない環境下でもカラー映像を撮像することが望まれる。

特許文献１には、可視光がない環境下でもカラー映像を撮像することができる撮像装置が記載されている。特許文献１に記載されている撮像装置においても、赤外線投光器が用いられる。監視カメラに特許文献１に記載の技術を搭載すれば、被写体をカラー映像化して物体の識別性を向上させることが可能となる。

特開２０１１−５００４９号公報

赤外線投光器を備える撮像装置によって被写体に赤外光を照射して被写体を撮像するとき、ローリングシャッタ方式の撮像素子を用いた場合には、赤外光を照射するタイミングと、撮像素子の露光のタイミングとの対応関係を適切に設定しないと、好ましい色再現を行うことができないという問題点がある。

本発明は、ローリングシャッタ方式の撮像素子を用いて、好ましい色再現を行うことができる撮像装置、撮像装置の制御方法及び制御プログラムを提供することを目的とする。

本発明は、ローリングシャッタ方式の撮像素子を用いて被写体を撮像する撮像部と、赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを選択的に投光するよう、前記赤外線投光器を制御する投光制御部と、前記第２及び第３の赤外光が投光されておらず前記第１の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第１のフレームと、前記第１及び第３の赤外光が投光されておらず前記第２の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第２のフレームと、前記第１及び第２の赤外光が投光されておらず前記第３の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第３のフレームとを用いて、映像信号のフレームを生成する映像処理部とを備え、Ｎ，ＭをＮ＞Ｍなる数とし、ＮはＭの２倍またはそれ以上の数であり、前記投光制御部は、前記第１〜第３の赤外光のうちのいずれか１つの赤外光のみを１／Ｍ秒ごとに選択的に投光するよう前記赤外線投光器を制御し、前記撮像部は、１／Ｍ秒の期間に同期させて、１フレームの全画素を１／Ｎ秒で読み出す複数のフレームを生成し、前記映像処理部は、前記複数のフレームのうちの前記第１〜第３の赤外光それぞれのみが投光されている状態で露光したフレームを選択して、前記映像信号のフレームを生成することを特徴とする撮像装置を提供する。
本発明は、ローリングシャッタ方式の撮像素子を用いて被写体を撮像する撮像部と、赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを選択的に投光するよう、前記赤外線投光器を制御する投光制御部と、前記第２及び第３の赤外光が投光されておらず前記第１の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第１のフレームと、前記第１及び第３の赤外光が投光されておらず前記第２の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第２のフレームと、前記第１及び第２の赤外光が投光されておらず前記第３の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第３のフレームとを用いて、映像信号のフレームを生成する映像処理部とを備え、Ｎ１，Ｎ２，Ｍを、Ｎ１＞ＭかつＮ２＞Ｍであり、１／Ｎ１＋１／Ｎ２＝１／Ｍを満たす数とし、前記投光制御部は、前記第１〜第３の赤外光のうちのいずれか１つの赤外光のみを１／Ｍ秒ごとに選択的に投光するよう前記赤外線投光器を制御し、前記撮像部は、１／Ｍ秒の期間に同期させて、毎秒Ｎ１フレームで被写体を撮像した第１のフレームと、毎秒Ｎ２フレームで被写体を撮像した第２のフレームとを交互に生成し、前記映像処理部は、前記第１及び第２のフレームのうちの前記第１〜第３の赤外光それぞれのみが投光されている状態で露光したフレームを選択して、前記映像信号のフレームを生成することを特徴とする撮像装置を提供する。
本発明は、ローリングシャッタ方式の撮像素子を用いて被写体を撮像する撮像部と、赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを選択的に投光するよう、前記赤外線投光器を制御する投光制御部と、前記第２及び第３の赤外光が投光されておらず前記第１の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第１のフレームと、前記第１及び第３の赤外光が投光されておらず前記第２の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第２のフレームと、前記第１及び第２の赤外光が投光されておらず前記第３の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第３のフレームとを用いて、映像信号のフレームを生成する映像処理部とを備え、Ｎ１，Ｎ２，Ｍを、Ｎ１＞ＭかつＮ２＞Ｍであり、１／Ｎ１＋１／Ｎ２＝１／Ｍを満たす数とし、前記投光制御部は、前記第１〜第３の赤外光のうちのいずれか１つの赤外光のみを１／Ｍ秒ごとに選択的に投光するよう前記赤外線投光器を制御し、前記撮像部は、１／Ｍ秒の期間に同期させて、前記撮像素子より毎秒Ｎ１フレームの速度での読み出し動作と、毎秒Ｎ２フレームの速度での読み出し動作とを交互に繰り返すことにより第１のフレームと第２のフレームとを交互に生成し、前記第１のフレームと前記第２のフレームとのうちのいずれ一方のフレームの期間内で、前記一方のフレームにおける１ラインの最大露光時間が最も短い時間以下で電子シャッタを開放して露光するよう前記撮像素子を制御する撮像素子制御部をさらに備え、前記映像処理部は、前記第１及び第２のフレームのうちの前記第１〜第３の赤外光それぞれのみが投光されている状態で露光した前記一方のフレームを選択して、前記映像信号のフレームを生成することを特徴とする撮像装置を提供する。

また、本発明は、赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを選択的に投光させ、ローリングシャッタ方式の撮像素子を有する撮像部を用いて被写体を撮像し、前記第２及び第３の赤外光が投光されておらず前記第１の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第１のフレームと、前記第１及び第３の赤外光が投光されておらず前記第２の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第２のフレームと、前記第１及び第２の赤外光が投光されておらず前記第３の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第３のフレームとを用いて、映像信号のフレームを生成し、Ｎ，ＭをＮ＞Ｍなる数とし、ＮはＭの２倍またはそれ以上の数であり、前記第１〜第３の赤外光のうちのいずれか１つの赤外光のみを１／Ｍ秒ごとに選択的に投光するよう前記赤外線投光器を制御し、前記撮像部は、１／Ｍ秒の期間に同期させて、１フレームの全画素を１／Ｎ秒で読み出す複数のフレームを生成し、前記複数のフレームのうちの前記第１〜第３の赤外光それぞれのみが投光されている状態で露光したフレームを選択して、前記映像信号のフレームを生成することを特徴とする撮像装置の制御方法を提供する。

さらに、本発明は、コンピュータに、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを選択的に投光するよう、赤外線投光器を制御するステップと、ローリングシャッタ方式の撮像素子を有する撮像部を制御するステップと、前記第２及び第３の赤外光が投光されておらず前記第１の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第１のフレームと、前記第１及び第３の赤外光が投光されておらず前記第２の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第２のフレームと、前記第１及び第２の赤外光が投光されておらず前記第３の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第３のフレームとを用いて、映像信号のフレームを生成するよう、映像処理部を制御するステップとを実行させ、Ｎ，ＭをＮ＞Ｍなる数とし、ＮはＭの２倍またはそれ以上の数であり、前記第１〜第３の赤外光のうちのいずれか１つの赤外光のみを１／Ｍ秒ごとに選択的に投光するよう前記赤外線投光器を制御するステップと、１／Ｍ秒の期間に同期させて、１フレームの全画素を１／Ｎ秒で読み出す複数のフレームを生成するよう前記撮像部を制御するステップと、前記複数のフレームのうちの前記第１〜第３の赤外光それぞれのみが投光されている状態で露光したフレームを選択して、前記映像信号のフレームを生成するよう前記映像処理部を制御するステップとをさらに実行させることを特徴とする撮像装置の制御プログラムを提供する。

本発明の撮像装置、撮像装置の制御方法及び制御プログラムによれば、ローリングシャッタ方式の撮像素子を用いて、好ましい色再現を行うことができる。

一実施形態の撮像装置の全体的な構成を示すブロック図である。 一実施形態の撮像装置に用いられるカラーフィルタにおけるフィルタエレメントの配列の一例を示す図である。 一実施形態の撮像装置を構成する撮像部における３原色光の波長と相対感度との分光感度特性を示す特性図である。 所定の物質からの３原色光の反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示す特性図である。 図１中の前信号処理部５２の具体的な構成を示すブロック図である。 一実施形態の撮像装置が通常モードで動作しているときの露光と映像信号のフレームとの関係を示す図である。 一実施形態の撮像装置が通常モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が中間モード及び暗視モードで動作しているときの露光と映像信号のフレームとの関係を示す図である。 一実施形態の撮像装置が第１中間モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第１中間モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が第２中間モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第２中間モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が暗視モードで動作しているときの周囲画素の加算処理を説明するための図である。 周囲画素の加算処理が施されたフレームを示す図である。 一実施形態の撮像装置が第１暗視モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第１暗視モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が第２暗視モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第２暗視モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置におけるモード切換の例を説明するための図である。 一実施形態の撮像装置がそれぞれのモードに設定されているときの各部の状態を示す図である。 一実施形態の撮像装置の第１の変形例を示す部分ブロック図である。 一実施形態の撮像装置の第２の変形例を示す部分ブロック図である。 一実施形態の撮像装置の第３の変形例を示す部分ブロック図である。 映像信号処理方法を示すフローチャートである。 図２４におけるステップＳ３に示す通常モードの具体的な処理を示すフローチャートである。 図２４におけるステップＳ４の中間モードの具体的な処理を示すフローチャートである。 図２４におけるステップＳ５の暗視モードの具体的な処理を示すフローチャートである。 映像信号処理プログラムがコンピュータに実行させる処理を示すフローチャートである。 グローバルシャッタ方式の撮像素子を用いた場合の、赤外光を照射するタイミングと撮像素子の露光のタイミングとの対応関係を説明するための図である。 ローリングシャッタ方式の撮像素子を用いた場合の、赤外光を照射するタイミングと撮像素子の露光のタイミングとの一般的な対応関係を説明するための図である。 図３０に示す一般的な対応関係で発生する問題点を解決するための第１の例を説明するための図である。 図３０に示す一般的な対応関係で発生する問題点を解決するための第２の例を説明するための図である。 図３２に示す第２の例を詳細に説明するための１フレームの撮像を拡大して示す模式的な拡大図である。 図３０に示す一般的な対応関係で発生する問題点を解決するための第３の例を説明するための図である。 図３０に示す一般的な対応関係で発生する問題点を解決するための第４の例を説明するための図である。 図３０に示す一般的な対応関係で発生する問題点を解決するための第５の例の前提となる撮像素子の読み出し動作を示す図である。 図３０に示す一般的な対応関係で発生する問題点を解決するための第５の例を説明するための図である。 図３０に示す一般的な対応関係で発生する問題点を解決するための第６の例の前提となる撮像素子の読み出し動作を示す図である。 図３０に示す一般的な対応関係で発生する問題点を解決するための第６の例を説明するための図である。 図３０に示す一般的な対応関係で発生する問題点を解決するための第７の例を説明するための図である。

以下、一実施形態の撮像装置、撮像装置の制御方法及び制御プログラムについて、添付図面を参照して説明する。

＜撮像装置の構成＞
まず、図１を用いて、一実施形態の撮像装置の全体的な構成について説明する。図１に示す一実施形態の撮像装置は、昼間等の可視光が十分に存在する環境下に適した通常モードと、夜間等の可視光がほとんどない環境下に適した暗視モードと、可視光がわずかに存在する環境下に適した中間モードとの３つのモードで撮像可能な撮像装置である。

中間モードは、可視光が少ない環境下で、赤外線を投光しながら撮像する第１の赤外光投光モードである。暗視モードは、可視光がさらに少ない（ほとんどない）環境下で、赤外線を投光しながら撮像する第２の赤外光投光モードである。

撮像装置は、中間モードと暗視モードとのうちの一方のみを備えていてもよい。撮像装置は、通常モードを備えていなくてもよい。撮像装置は、少なくとも、赤外線を投光しながら撮像する赤外光投光モードを備えていればよい。

図１において、被写体から反射した一点鎖線にて示す光は、光学レンズ１によって集光される。ここで、光学レンズ１には、可視光が十分に存在する環境下では可視光、可視光がほとんどない環境下では後述する赤外線投光器９より発せられた赤外光を被写体が反射した赤外光が入射される。

可視光がわずかに存在する環境下では、光学レンズ１には、可視光と赤外線投光器９より発せられた赤外光を被写体が反射した赤外光とが混在した光が入射される。

図１では簡略化のため、光学レンズ１を１つのみとしているが、実際には、撮像装置は複数の光学レンズを備える。

光学レンズ１と撮像部３との間には、光学フィルタ２が設けられている。光学フィルタ２は、赤外線カットフィルタ２１とダミーガラス２２との２つの部分を有する。光学フィルタ２は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入した状態と、光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態とのいずれかの状態に駆動される。

撮像部３は、水平方向及び垂直方向に複数の受光素子（画素）が配列した撮像素子３１と、それぞれの受光素子に対応して赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のいずれかの色のフィルタエレメントが配置されたカラーフィルタ３２とを有する。撮像素子３１は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）でよい。

一般的に、ＣＣＤはグローバルシャッタ方式の撮像素子であり、ＣＭＯＳはローリングシャッタ方式の撮像素子である。以下、撮像素子３１としてＣＣＤを用いた場合を説明する。撮像素子３１としてＣＭＯＳを用いた場合については後述する。

カラーフィルタ３２には、一例として、図２に示すように、Ｒ，Ｇ，Ｂの各色のフィルタエレメントがベイヤ配列と称される配列で並べられている。ベイヤ配列は、Ｒ，Ｇ，Ｂのフィルタエレメントの所定の配列の一例である。図２において、各行のＲのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｒ、Ｂのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｂとしている。

ベイヤ配列では、ＲのフィルタエレメントとＧｒのフィルタエレメントとが交互に配置された水平方向の行と、ＢのフィルタエレメントとＧｂのフィルタエレメントとが交互に配置された水平方向の行とが、垂直方向に交互に配列されている。

図３は、撮像部３におけるＲ光，Ｇ光，Ｂ光の波長と相対感度との分光感度特性を示している。相対感度は、最大値が１に正規化されている。撮像装置を通常モードで動作させるとき、可視光による良好なカラー映像を撮像するには、波長７００ｎｍ以上の赤外光をカットする必要がある。

そこで、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入するように光学フィルタ２を駆動する。

図３より分かるように、撮像部３は、波長７００ｎｍ以上の赤外光の領域においても感度を有する。そこで、撮像装置を中間モードまたは暗視モードで動作させるときには、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間の赤外線カットフィルタ２１を外してダミーガラス２２を挿入するように光学フィルタ２を駆動する。

光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態では、波長７００ｎｍ以上の赤外光はカットされない。よって、撮像装置は、図３に破線の楕円で囲んだ部分の感度を利用して、Ｒ，Ｇ，Ｂの各色情報を得ることが可能となる。ダミーガラス２２を挿入するのは、光路長を、赤外線カットフィルタ２１を挿入した場合の光路長と同じにするためである。

赤外線投光器９は、それぞれ、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する投光部９１，９２，９３を有する。中間モードまたは暗視モードのとき、制御部７内の投光制御部７１は、時分割で投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光させるように制御する。

ところで、撮像素子３１にはシリコンウェハが用いられている。図４は、Ｒ，Ｇ，Ｂそれぞれの色を呈する素材に白色光を照射した場合の各波長における反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示している。図４においても、相対検出率は、最大値が１に正規化されている。

図４に示すように、赤外光の領域において、例えば、波長７８０ｎｍにおける反射光はＲ色を呈する素材の反射光との相関性が高く、波長８７０ｎｍにおける反射光はＢ色を呈する素材の反射光との相関性が高く、波長９４０ｎｍにおける反射光はＧ色を呈する素材の反射光との相関性が高い。

そこで、本実施形態においては、投光部９１，９２，９３が投光する赤外光の波長ＩＲ１，ＩＲ２，ＩＲ３を、７８０ｎｍ，９４０ｎｍ，８７０ｎｍとする。これらの波長は、波長ＩＲ１〜ＩＲ３の一例であり、７８０ｎｍ，９４０ｎｍ，８７０ｎｍ以外でもよい。

投光部９１が波長ＩＲ１の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＲ信号に割り当てる。投光部９３が波長ＩＲ２の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＧ信号に割り当てる。投光部９２が波長ＩＲ３の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＢ信号に割り当てる。

このようにすれば、原理的に、中間モードまたは暗視モードにおいても、通常モードにおいて可視光が存在する環境下で被写体を撮像した場合と同様の色を再現することができる。

色味が被写体の実際の色味と異なるカラー映像となるものの、７８０ｎｍの波長ＩＲ１をＲ光、８７０ｎｍの波長ＩＲ３をＧ光、９４０ｎｍの波長ＩＲ２をＢ光に割り当ててもよい。波長ＩＲ１，ＩＲ２，ＩＲ３をＲ光，Ｇ光，Ｂ光に任意に割り当てることも可能である。

本実施形態においては、被写体の色味を最もよく再現する、波長ＩＲ１，ＩＲ２，ＩＲ３をそれぞれＲ光，Ｇ光，Ｂ光に割り当てることとする。

制御部７は、撮像部３における撮像と、映像処理部５内の各部を制御する。制御部７内の撮像素子制御部７３は、撮像素子３１の動作を制御する。撮像部３によって撮像された映像信号はＡ／Ｄ変換器４によってＡ／Ｄ変換され、映像処理部５に入力される。撮像部３とＡ／Ｄ変換器４とが一体化されていてもよい。

制御部７は、通常モードと中間モードと暗視モードとを切り換えるモード切換部７２を備える。モード切換部７２は、通常モードと中間モードと暗視モードとに対応させて、映像処理部５内の動作を後述のように適宜切り換える。映像処理部５と制御部７とが一体化されていてもよい。

映像処理部５は、スイッチ５１，５３と、前信号処理部５２と、デモザイク処理部５４とを有する。スイッチ５１，５３は物理的なスイッチであってもよく、前信号処理部５２の動作と不動作とを切り換えるための概念的なスイッチであってもよい。制御部７には、撮像している映像の明るさを検出するために、映像処理部５から映像信号が入力される。

図５に示すように、前信号処理部５２は、周囲画素加算部５２１と、同一位置画素加算部５２２と、合成部５２３とを有する。

映像処理部５は、Ｒ，Ｇ，Ｂの３原色データを生成して、映像出力部６に供給する。映像出力部６は、３原色データを所定の形式で図示していない表示部等へと出力する。

映像出力部６は、Ｒ，Ｇ，Ｂ信号をそのまま出力してもよいし、Ｒ，Ｇ，Ｂ信号を輝度信号と色信号（または色差信号）に変換して出力してもよい。映像出力部６は、コンポジット映像信号を出力してもよい。映像出力部６は、デジタル信号の映像信号を出力してもよいし、Ｄ／Ａ変換器によってアナログ信号に変換した映像信号を出力してもよい。

以下、通常モードと中間モードと暗視モードとのそれぞれの具体的な動作について説明する。

＜通常モード＞
通常モードでは、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオフにする。

撮像部３によって撮像された映像信号は、Ａ／Ｄ変換器４によってデジタル信号である映像データに変換されて、映像処理部５に入力される。通常モードでは、モード切換部７２は、スイッチ５１，５３を端子Ｔｂに接続するように制御する。

図６の（ａ）は、撮像部３の露光Ｅｘ１，Ｅｘ２，Ｅｘ３…を示している。実際には露光時間はシャッタスピード等の条件によって変化するが、ここでは露光Ｅｘ１，Ｅｘ２，Ｅｘ３は最大露光時間を示している。なお、シャッタスピードは撮像素子制御部７３による制御によって決定される。

図６の（ｂ）は、それぞれの映像信号のフレームが得られるタイミングを示している。露光Ｅｘ１の前の図示していない露光に基づいて、所定時間後に映像信号のフレームＦ０が得られる。露光Ｅｘ１に基づいて、所定時間後に映像信号のフレームＦ１が得られる。露光Ｅｘ２に基づいて、所定時間後に映像信号のフレームＦ２が得られる。露光Ｅｘ３以降も同様である。映像信号のフレーム周波数を、例えば３０フレーム／秒とする。

映像信号のフレーム周波数は、ＮＴＳＣ方式であれば３０フレーム／秒または６０フレーム／秒、ＰＡＬ方式であれば２５フレーム／秒または５０フレーム／秒のように適宜設定すればよい。また、映像信号のフレーム周波数は、映画で使われている２４フレーム／秒であってもよい。

Ａ／Ｄ変換器４より出力された各フレームの映像データは、スイッチ５１，５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、入力された各フレームの映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

図７を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図７において、（ａ）は映像データの任意のフレームＦｍを示している。フレームＦｍは、有効映像期間の画素によって構成されたフレームである。映像データの画素数は、例えばＶＧＡ規格では水平６４０画素、垂直４８０画素である。ここでは簡略化のため、フレームＦｍの画素数を大幅に少なくして、フレームＦｍを概念的に示している。

ベイヤ配列の撮像部３を用いて生成された映像データは、フレームＦｍ内で、Ｒ，Ｇ，Ｂの画素データが混在したデータである。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて算出したＲの補間画素データＲｉを生成する。デモザイク処理部５４は、図７の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームＦｍＲを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて算出したＧの補間画素データＧｉを生成する。デモザイク処理部５４は、図７の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームＦｍＧを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて算出したＢの補間画素データＢｉを生成する。デモザイク処理部５４は、図７の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームＦｍＢを生成する。

デモザイク処理部５４は、Ｒの画素データを補間する際には少なくともＲの画素データを用いればよく、Ｇの画素データを補間する際には少なくともＧの画素データを用いればよく、Ｂの画素データを補間する際には少なくともＢの画素データを用いればよい。デモザイク処理部５４は、補間精度を向上させるために、Ｒ，Ｇ，Ｂの画素データを補間する際に、生成しようとする補間画素データの色とは異なる他の色の画素データを用いてもよい。

撮像部３には、有効映像期間より外側の画素も存在しているため、フレームＦｍの上下左右端部に位置する画素においても、Ｒ，Ｇ，Ｂの画素データを補間することができる。

デモザイク処理部５４によって生成されたＲフレームＦｍＲ，ＧフレームＦｍＧ，ＢフレームＦｍＢがＲ，Ｇ，Ｂの３原色データとして出力される。図６では、理解を容易にするため、Ｒ，Ｇ，Ｂの画素データをフレーム単位で説明したが、実際には、Ｒ，Ｇ，Ｂの画素データは画素ごとに順次出力される。

＜中間モード：第１中間モード＞
中間モード（第１中間モード及び後述する第２中間モード）では、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

図８の（ａ）は、赤外線投光器９による赤外光の投光の状態を示している。制御部７は、通常モードの１フレーム期間を１／３ずつに分け、例えば投光部９１，９２，９３の順に赤外光を投光させるように制御する。

図８の（ａ）に示す例では、１フレームの最初の１／３の期間では、波長ＩＲ１（７８０ｎｍ）の赤外光が被写体に照射される。１フレームの次の１／３の期間では、波長ＩＲ２（９４０ｎｍ）の赤外光が被写体に照射される。１フレームの最後の１／３の期間では、波長ＩＲ３（８７０ｎｍ）の赤外光が被写体に照射される。波長ＩＲ１〜ＩＲ３の赤外光を投光する順番は任意である。

図８の（ｂ）に示すように、波長ＩＲ１の赤外光を投光しているタイミングでは、撮像部３はＲ光との相関性が高い露光Ex1Rが行われる。波長ＩＲ２の赤外光を投光しているタイミングでは、撮像部３はＧ光との相関性が高い露光Ex1Gが行われる。波長ＩＲ３の赤外光を投光しているタイミングでは、撮像部３はＢ光との相関性が高い露光Ex1Bが行われる。

但し、中間モードでは、可視光がわずかに存在する環境下での撮像であるため、可視光と赤外線投光器９より投光された赤外光とが混在した状態である。よって、中間モードにおいては、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、可視光による露光と赤外光による露光とを合わせた露光となる。

図８の（ｃ）に示すように、露光Ex1R，Ex1G，Ex1Bに基づいて、所定時間後に、露光Ex1Rに対応したフレームF1IR1、露光Ex1Gに対応したフレームF1IR2、露光Ex1Bに対応したフレームF1IR3が得られる。

また、露光Ex2R，Ex2G，Ex2Bに基づいて、所定時間後に、露光Ex2Rに対応したフレームF2IR1、露光Ex2Gに対応したフレームF2IR2、露光Ex2Bに対応したフレームF2IR3が得られる。露光Ex3R，Ex3G，Ex3B以降も同様である。

図８の（ｃ）の撮像信号のフレーム周波数は、９０フレーム／秒である。中間モードでは、通常モードにおける映像信号の１フレームを時分割して波長ＩＲ１〜ＩＲ３の赤外光を投光するため、通常モードと同じ形式の映像信号を出力するためには、図８の（ｃ）の撮像信号のフレーム周波数は、通常モードにおけるフレーム周波数の３倍となる。

後述するように、図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）に示す３０フレーム／秒のフレーム周波数を有する映像信号の１フレームが生成される。例えば、フレームF1IR1，F1IR2，F1IR3に基づいてフレームF1IRが生成され、フレームF2IR1，F2IR2，F2IR3に基づいてフレームF2IRが生成される。

図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）の各フレームの映像信号を生成する中間モードでの動作を具体的に説明する。

Ａ／Ｄ変換器４より出力された図８の（ｃ）に示す撮像信号に対応する各フレームの映像データは、スイッチ５１を介して前信号処理部５２に入力される。

図９を用いて、前信号処理部５２における前信号処理について説明する。図９の（ａ）は、波長ＩＲ１の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR1を示している。フレームFmIR1内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ１の赤外光を投光した状態で生成されたことを示す添え字１を付している。

図９の（ｂ）は、波長ＩＲ２の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR2を示している。フレームFmIR2内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ２の赤外光を投光した状態で生成されたことを示す添え字２を付している。

図９の（ｃ）は、波長ＩＲ３の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR3を示している。フレームFmIR3内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ３の赤外光を投光した状態で生成されたことを示す添え字３を付している。

図９の（ａ）に示すフレームFmIR1は、Ｒ光との相関性が高い波長ＩＲ１の赤外光が投光された状態で生成された映像データであるので、Ｒの画素データは投光された赤外光と対応した画素データであり、Ｂ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｂ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

図９の（ｂ）に示すフレームFmIR2は、Ｇ光との相関性が高い波長ＩＲ２の赤外光が投光された状態で生成された映像データであるので、Ｇの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｂの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

図９の（ｃ）に示すフレームFmIR3は、Ｂ光との相関性が高い波長ＩＲ３の赤外光が投光された状態で生成された映像データであるので、Ｂの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

前信号処理部５２内の同一位置画素加算部５２２は、互いに同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データを以下の式（１）〜（３）に従って個別に加算して、画素データR123，Gr123，Gb123，B123を生成する。中間モードでは、前信号処理部５２内の周囲画素加算部５２１は不動作である。

R123=ka×R1+kb×R2+kc×R3 …（１）
G123=kd×G1+ke×G2+kf×G3 …（２）
B123=kg×B1+kh×B2+ki×B3 …（３）

式（１）〜（３）において、R1，G1，B1はフレームFmIR1におけるＲ，Ｇ，Ｂの画素データ、R2，G2，B2はフレームFmIR2におけるＲ，Ｇ，Ｂの画素データ、R3，G3，B3はフレームFmIR3におけるＲ，Ｇ，Ｂの画素データである。ka〜kiは所定の係数である。式（２）におけるG123はGr123またはGb123である。

このとき、同一位置画素加算部５２２は、ハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂのそれぞれの画素データに、ハッチングを付した同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データそれぞれを加算する。

即ち、同一位置画素加算部５２２は、式（１）に基づいて、フレームFmIR1におけるＲの画素データに、フレームFmIR2，FmIR3における同じ画素位置のＲの画素データを加算して、画素データR123を生成する。つまり、受光素子における赤色のカラーフィルタに対応する領域の画素データだけを用いて赤色用の画素データR123を生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2におけるＧｒ，Ｇｂの画素データに、フレームFmIR1，FmIR3における同じ画素位置のＧｒ，Ｇｂの画素データを加算して、画素データG123を生成する。つまり、受光素子における緑色のカラーフィルタに対応する領域の画素データだけを用いて緑色用の画素データG123を生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3におけるＢの画素データに、フレームFmIR1，FmIR2における同じ画素位置のＢの画素データを加算して、画素データB123を生成する。つまり、受光素子における青色のカラーフィルタに対応する領域の画素データだけを用いて青色用の画素データB123を生成する。

前信号処理部５２内の合成部５２３は、それぞれの画素位置において生成された画素データR123，Gr123，Gb123，B123に基づいて、図９の（ｄ）に示す合成映像信号のフレームFmIR123を生成する。

具体的には、合成部５２３は、フレームFmIR1における画素データR123と、フレームFmIR2における画素データGr123，Gb123と、フレームFmIR3における画素データB123とを選択して合成する。これによって合成部５２３は、合成映像信号のフレームFmIR123を生成する。

このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR123，Gr123，Gb123，B123を配列させたフレームFmIR123を生成する。

第１中間モードにおいては、ハッチングを付していない画素データと、ハッチングを付した画素データとを用いて、フレームFmIR123の映像データを生成する。

同一位置画素加算部５２２によって互いに同じ画素位置の画素データを加算するのは、次の理由による。中間モードではわずかではあるものの可視光が存在する環境下での撮像であるため、ハッチングを付した画素データは可視光による露光に基づくそれぞれの色の成分を含む。よって、同じ画素位置の画素データを加算することによって、それぞれの色の感度を上げることができる。

可視光と赤外光とが混在している状況で可視光が比較的多ければ、可視光による露光が支配的となる。この場合、フレームFmIR123の映像データは、可視光によって露光した映像信号に基づく成分が主となる。可視光と赤外光とが混在している状況で赤外光が比較的多ければ、赤外光による露光が支配的となる。この場合、フレームFmIR123の映像データは、赤外光によって露光した映像信号に基づく成分が主となる。

可視光が比較的少ない場合には、式（１）において、係数ka，kb，kcの大小関係を、ka>kb，kcとし、式（２）において、係数kd，ke，kfの大小関係を、kf>kd，keとし、式（３）において、係数kg，kh，kiの大小関係を、kh>kg，kiとするのがよい。これは、波長ＩＲ１はＲ光との相関性が高く、波長ＩＲ２はＧ光との相関性が高く、波長ＩＲ３はＢ光との相関性が高いからである。

このようにすれば、Ｒの画素データではフレームFmIR1におけるＲの画素データ、Ｇの画素データではフレームFmIR2におけるＧの画素データ、Ｂの画素データではフレームFmIR3におけるＢの画素データを主とすることができる。

前信号処理部５２より出力されたフレームFmIR123の映像データは、スイッチ５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、通常モードと同様に、入力されたフレームFmIR123の映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

図１０を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１０の（ａ）は、フレームFmIR123を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123iを生成する。デモザイク処理部５４は、図１０の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123iを生成する。デモザイク処理部５４は、図１０の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123iを生成する。デモザイク処理部５４は、図１０の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123Bを生成する。

通常モードにおける図７に示すデモザイク処理部５４の動作と、中間モードにおける図１０に示すデモザイク処理部５４の動作とを比較すれば分かるように、両者は実質的に同じである。デモザイク処理部５４の動作は、通常モードであっても中間モードであっても変わらない。

通常モードでは前信号処理部５２を不動作とし、中間モードでは、周囲画素加算部５２１を除き、前信号処理部５２を動作させればよい。通常モードと中間モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

＜中間モード：第２中間モード＞
図１１及び図１２を用いて、第２中間モードにおける動作を説明する。第２中間モードにおける動作において、第１中間モードにおける動作と同一部分は説明を省略する。図１１の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。

合成部５２３は、フレームFmIR1におけるＲの画素データであるR1と、フレームFmIR2におけるＧの画素データであるGr2，Gb2と、フレームFmIR3におけるＢの画素データであるB3とを選択して合成する。これによって合成部５２３は、図１１の（ｄ）に示す合成映像信号のフレームFmIR123’を生成する。

即ち、フレームFmIR123’は、フレームFmIR1，FmIR2，FmIR3におけるハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂの画素データを１フレームに集結させた映像データである。

つまり、フレームFmIR123’においては、波長ＩＲ１の赤外光を投光した状態における赤色のカラーフィルタに対応する領域の画素データだけを用いた赤色用の画素データ、波長ＩＲ２の赤外光を投光した状態における緑色のカラーフィルタに対応する領域の画素データだけを用いた緑色用の画素データ、波長ＩＲ３の赤外光を投光した状態における青色のカラーフィルタに対応する領域の画素データだけを用いた青色用の画素データとなっている。

このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1，Gr2，Gb2，B3を配列させたフレームFmIR123’を生成する。

第２中間モードでは、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データは、それぞれそのままの値となる。

よって、合成部５２３は、第１中間モードにおける動作と同様に、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データを選択すれば、フレームFmIR123’を生成することができる。

第２中間モードにおいては、前信号処理部５２は、画素データの色と同じ色の画素データを生成するための赤外光が投光された状態で生成された画素データ（ハッチングを付していない画素データ）のみ用いて、フレームFmIR123’の映像データを生成する。

第２中間モードによれば、第１中間モードよりも感度や色の再現性は低下するものの、演算処理を簡略化したり、フレームメモリを削減したりすることができる。

図１２を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１２の（ａ）は、フレームFmIR123’を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データＲ１ｉを生成する。デモザイク処理部５４は、図１２の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データＧ２ｉを生成する。デモザイク処理部５４は、図１２の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データＢ３ｉを生成する。デモザイク処理部５４は、図１２の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’Bを生成する。

以上のように、中間モードにおいては、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成し、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成し、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成する。

＜暗視モード：第１暗視モード＞
暗視モード（第１暗視モード及び後述する第２暗視モード）では、中間モードと同様、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

暗視モードにおける概略的な動作は、図８と同じである。但し、暗視モードでは、可視光がほとんど存在しない環境下での撮像であるため、図８の（ｂ）における露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、赤外光のみによる露光を想定している。

可視光がほとんど存在せず赤外光のみが存在している環境下では、カラーフィルタ３２におけるそれぞれのフィルタエレメントの特性には差がなくなるため、撮像部３を単色の撮像素子とみなすことができる。

そこで、前信号処理部５２内の周囲画素加算部５２１は、暗視モードでは、赤外光の感度を向上させるために、それぞれの画素データに対して、周囲に位置する画素データを加算する。

具体的には、図１３の（ａ）に示すように、Ｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＲの画素データに対して周囲に位置するＧ（Ｇｒ，Ｇｂ）及びＢの８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから赤色用の画素データを生成することとなる。図１３に示す例では、各色とも注目画素を含む９画素分の領域から得た画素データを用いている。

図１３の（ｂ）に示すように、Ｇｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧｒの画素データに対して周囲に位置するＲ，Ｇｂ，Ｂの８画素の画素データを加算する。図１３の（ｃ）に示すように、Ｇｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧｂの画素データに対して周囲に位置するＲ，Ｇｒ，Ｂの８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから緑色用の画素データを生成することとなる。

図１３の（ｄ）に示すように、Ｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＢの画素データに対して周囲に位置するＲ及びＧ（Ｇｒ，Ｇｂ）の８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから青色用の画素データを生成することとなる。

周囲画素加算部５２１は、注目画素の画素データと周囲の８画素の画素データとの９画素を単純に加算してもよいし、周囲の８画素の画素データに対して所定の重み付けをした上で注目画素の画素データに加算してもよい。

ところで、ビニングと称される複数の画素をまとめて１つの画素として読み出し可能な撮像素子が存在する。撮像素子３１として、ビニング機能を有する撮像素子を用いる場合には、周囲画素加算部５２１による加算処理ではなく、ビニング機能を有する撮像素子による加算処理を行ってもよい。撮像素子によるビニングは、周囲画素加算部５２１による加算処理と実質的に等価である。

図１４の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。図１４の（ｄ）〜（ｆ）において、R1ad，Gr1ad，Gb1ad，B1ad，R2ad，Gr2ad，Gb2ad，B2ad，R3ad，Gr3ad，Gb3ad，B3adは、それぞれ、Ｒ，Ｇｒ，Ｇｂ，Ｂの画素データに対して周囲の８画素の画素データを加算した加算画素データである。

周囲画素加算部５２１は、フレームFmIR1，FmIR2，FmIR3のそれぞれの画素データに対して図１３に示す加算処理を施すことにより、図１４の（ｄ）〜（ｆ）に示すフレームFmIR1ad，FmIR2ad，FmIR3adを生成する。

図１５の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１４の（ｄ）〜（ｆ）のフレームFmIR1ad，FmIR2ad，FmIR3adと同じである。

同一位置画素加算部５２２は、第１中間モードと同様に、式（１）に基づいて、フレームFmIR1adにおけるR1adの画素データに、フレームFmIR2ad，FmIR3adにおける同じ画素位置のR2ad，R3adの画素データを加算して、画素データR123adを生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2adにおけるGr2ad，Gb2adの画素データに、フレームFmIR1ad，FmIR3adにおける同じ画素位置のGr1ad，Gb1ad，Gr3ad，Gb3adの画素データを加算して、画素データGr123ad，Gb123adを生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3adにおけるB3adの画素データに、フレームFmIR1ad，FmIR2adにおける同じ画素位置のB1ad，B2adの画素データを加算して、画素データB123adを生成する。

合成部５２３は、第１中間モードと同様に、フレームFmIR1adにおける画素データR123adと、フレームFmIR2adにおける画素データGr123ad，Gb123adと、フレームFmIR3adにおける画素データB123adとを選択して合成する。これによって合成部５２３は、図１５の（ｄ）に示す合成映像信号のフレームFmIR123adを生成する。

合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR123ad，Gr123ad，Gb123ad，B123adを配列させたフレームFmIR123adを生成する。

図１６の（ａ）はフレームFmIR123adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123adiを生成する。デモザイク処理部５４は、図１６の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123adRを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123adiを生成する。デモザイク処理部５４は、図１６の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123adiを生成する。デモザイク処理部５４は、図１６の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123adBを生成する。

第１中間モードと第１暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。モード切換部７２は、暗視モードのとき、周囲画素加算部５２１を動作させればよい。

暗視モードにおけるデモザイク処理部５４の動作は、通常モード及び中間モードにおけるデモザイク処理部５４の動作と実質的に同じである。通常モードと中間モードと暗視モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

＜暗視モード：第２暗視モード＞
図１７及び図１８を用いて、第２暗視モードにおける動作を説明する。第２暗視モードにおける動作において、第１暗視モードにおける動作と同一部分は説明を省略する。図１７の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１５の（ａ）〜（ｃ）のFmIR1ad，FmIR2ad，FmIR3adと同じである。

合成部５２３は、フレームFmIR1adにおけるＲの画素データであるR1adと、フレームFmIR2におけるＧの画素データであるGr2ad，Gb2adと、フレームFmIR3におけるＢの画素データであるB3adとを選択して合成する。これによって合成部５２３は、図１７の（ｄ）に示す合成映像信号のフレームFmIR123’adを生成する。

合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1ad，Gr2ad，Gb2ad，B3adを配列させたフレームFmIR123’adを生成する。

なお、図１３を用いて説明したように、フレームFmIR123’adにおける赤色用の画素データR1adは、中間モードのときに赤色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

また、フレームFmIR123’adにおける緑色用の画素データGr2adは、中間モードのときに緑色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

さらに、フレームFmIR123’adにおける青色用の画素データB3adは、中間モードのときに青色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

第２暗視モードでは、第２中間モードと同様に、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データは、それぞれそのままの値となる。

よって、合成部５２３は、第１暗視モードにおける動作と同様に、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データを選択すれば、フレームFmIR123’adを生成することができる。

図１８を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１８の（ａ）は、フレームFmIR123’adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のR1adの画素データを用いて演算して、Ｒの補間画素データR1adiを生成する。デモザイク処理部５４は、図１８の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’adRを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のGr2ad，Gb2adの画素データを用いて演算して、Ｇの補間画素データG2adiを生成する。デモザイク処理部５４は、補間して、図１８の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のB3adの画素データを用いて算出したＢの補間画素データB3adiを生成する。デモザイク処理部５４は、図１８の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’adBを生成する。

第２中間モードと第２暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。

また、中間モードにおいては、受光素子における各色に対応する領域から得た画素データそれぞれから各色用の画素データを生成していたが、暗視モードにおいては、周囲画素を加算するため、中間モードにおける各色用の画素データを生成するための領域それぞれよりも広い領域から得た画素データから各色用の画素データを生成するとも言える。

＜モード切換の例＞
図１９を用いて、モード切換部７２によるモード切換の例を説明する。図１９の（ａ）は、一例として、昼間の時間帯から夜の時間帯へと時間が経過していくとき、周囲環境の明るさが変化していく様子を概略的に示している。

図１９の（ａ）に示すように、昼間から夕刻へと時間が経過していくに従って明るさが低下していき、時刻ｔ３以降、ほぼ真っ暗の状態となる。図１９の（ａ）に示す明るさは実質的に可視光の量を示しており、時刻ｔ３以降、可視光がほとんどない状態である。

制御部７は、映像処理部５から入力される映像信号（映像データ）の輝度レベルに基づいて周囲環境の明るさを判断することができる。図１９の（ｂ）に示すように、モード切換部７２は、明るさが所定の閾値Th1（第１の閾値）以上であるとき通常モードとし、明るさが閾値Th1未満で所定の閾値Th2（第２の閾値）以上であるとき中間モード、閾値Th2未満であるとき暗視モードとする。

本実施形態の撮像装置は、明るさが閾値Th1となる時刻ｔ１までは通常モード、時刻ｔ１から明るさが閾値Th2となる時刻ｔ２まで中間モード、時刻ｔ２以降は暗視モードに、モードを自動的に切り換える。図１９の（ｂ）において、中間モードは第１中間モードと第２中間モードとのいずれでもよく、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

図１９の（ａ）では可視光がほとんどなくなる時刻ｔ３の直前の明るさを閾値Th2としているが、時刻ｔ３の明るさを閾値Th2としてもよい。

図１９の（ｃ）に示すように、モード切換部７２は、中間モードの期間で、可視光が比較的多い時刻ｔ１側の期間を第１中間モード、可視光が比較的少ない時刻ｔ２側の期間を第２中間モードとしてもよい。図１９の（ｃ）において、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

本実施形態の撮像装置は、投光制御部７１が赤外線投光器９のオン・オフを制御し、モード切換部７２が映像処理部５内の各部の動作・不動作を切り換えることにより、それぞれのモードを実現することができる。

図２０に示すように、通常モードは、赤外線投光器９がオフ、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３がいずれも不動作、デモザイク処理部５４が動作の状態である。

第１中間モードは、赤外線投光器９がオン、周囲画素加算部５２１が不動作、同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４とが動作の状態である。第２中間モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２とが不動作、合成部５２３とデモザイク処理部５４とが動作の状態である。

同一位置画素加算部５２２における動作と不動作とは、前述のように、式（１）〜（３）の係数ka〜kiの値を適宜に設定することによって容易に切り換えることができる。

第１暗視モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４との全てが動作の状態である。第２暗視モードは、赤外線投光器９がオン、同一位置画素加算部５２２が不動作、周囲画素加算部５２１と合成部５２３とデモザイク処理部５４とが動作の状態である。

ところで、周囲画素加算部５２１は、注目画素の画素データに対して周囲の画素データを加算するための計算式において、周囲の画素データに乗じる係数を、０を超える係数（例えば１）とすれば、周囲画素の加算処理を動作の状態とすることができる。

また、周囲画素加算部５２１は、その計算式において、周囲の画素データに乗じる係数を０とすれば、周囲画素の加算処理を不動作の状態とすることができる。

周囲画素加算部５２１における動作と不動作も、係数の値を適宜に設定することによって容易に切り換えることができる。

＜撮像装置の第１の変形例＞
制御部７が周囲環境の明るさを検出する方法は、映像信号の輝度レベルに基づく方法に限定されない。

図２１に示すように、明るさセンサ１１によって周囲環境の明るさを検出してもよい。図２１において、映像信号の輝度レベルと明るさセンサ１１によって検出した明るさとの双方に基づいて、周囲環境の明るさを判断してもよい。

＜撮像装置の第２の変形例＞
制御部７は、周囲環境の明るさを直接的に検出せず、１年間における時期（日にち）及び時刻（時間帯）に基づいて周囲環境の明るさを概略的に想定して、モード切換部７２が各モードに切り換えるようにしてもよい。

図２２に示すように、モード設定テーブル１２には、日にちと時間帯との組み合わせに対応して、通常モードと中間モードと暗視モードとのいずれかが設定されている。制御部７内の時計７４は、日にちと時刻を管理している。制御部７は、時計７４が示す日にちと時刻とを参照して、モード設定テーブル１２より設定されているモードを読み出す。

投光制御部７１とモード切換部７２は、モード設定テーブル１２より読み出されたモードとなるように、撮像装置を制御する。

＜撮像装置の第３の変形例＞
図２３に示すように、操作部１３によってユーザがモードを手動で選択して、投光制御部７１とモード切換部７２が選択されたモードとなるように撮像装置を制御してもよい。操作部１３は、撮像装置の筐体に設けられている操作ボタンであってもよく、リモートコントローラであってもよい。

＜映像信号処理方法＞
図２４を用いて、図１に示す撮像装置で実行される映像信号処理方法を改めて説明する。

図２４において、撮像装置が動作を開始すると、制御部７は、ステップＳ１にて、周囲環境の明るさが閾値Th1以上であるか否かを判定する。閾値Th1以上であれば（YES）、制御部７は、ステップＳ３にて、通常モードでの処理を実行させる。閾値Th1以上でなければ（NO）、制御部７は、ステップＳ２にて、周囲環境の明るさが閾値Th2以上であるか否かを判定する。

閾値Th2以上であれば（YES）、制御部７は、ステップＳ４にて、中間モードでの処理を実行させる。閾値Th2以上でなければ（NO）、制御部７は、ステップＳ５にて、暗視モードでの処理を実行させる。

制御部７は、ステップＳ３〜Ｓ５の後、処理をステップＳ１に戻し、ステップＳ１以降を繰り返す。

図２５は、ステップＳ３の通常モードの具体的な処理を示す。図２５において、制御部７（投光制御部７１）は、ステップＳ３１にて、赤外線投光器９をオフにする。制御部７は、ステップＳ３２にて、赤外線カットフィルタ２１を挿入する。制御部７（モード切換部７２）は、ステップＳ３３にて、スイッチ５１，５３を端子Ｔｂに接続させる。ステップＳ３１〜Ｓ３３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ３４にて、撮像部３によって被写体を撮像させる。制御部７は、ステップＳ３５にて、撮像部３が被写体を撮像することよって生成した映像信号を構成するフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

図２６は、ステップＳ４の中間モードの具体的な処理を示す。図２６において、制御部７（投光制御部７１）は、ステップＳ４１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ４２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ４３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ４１〜Ｓ４３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ４４にて、撮像部３によって被写体を撮像させる。撮像部３は、Ｒに対応付けられた波長ＩＲ１の赤外光と、Ｇに対応付けられた波長ＩＲ２の赤外光と、Ｂに対応付けられた波長ＩＲ３の赤外光とがそれぞれ投光されている状態で被写体を撮像する。

制御部７（モード切換部７２）は、ステップＳ４５にて、周囲画素加算部５２１を不動作とし、合成部５２３を動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光がそれぞれ投光されている状態で撮像部３が被写体を撮像することよって生成された映像信号を構成するフレームを第１のフレーム，第２のフレーム，第３のフレームとする。

合成部５２３は、第１のフレーム内のＲの画素データと、第２のフレーム内のＧの画素データと、第３のフレーム内のＢの画素データとに基づく３原色の画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させる。合成部５２３は、このようにして第１〜第３のフレームを１フレームに合成した合成映像信号を生成する。

制御部７は、ステップＳ４６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

デモザイク処理部５４は、合成映像信号のフレームに基づいて、Ｒのフレームと、Ｇのフレームと、Ｂのフレームとを生成するデモザイク処理を施して、デモザイク処理された３原色のフレームを順次生成する。

デモザイク処理部５４は、Ｒの画素データが存在しない画素位置にＲの画素データを補間することによって、Ｒのフレームを生成することができる。デモザイク処理部５４は、Ｇの画素データが存在しない画素位置にＧの画素データを補間することによって、Ｇのフレームを生成することができる。デモザイク処理部５４は、Ｂの画素データが存在しない画素位置にＢの画素データを補間することによって、Ｂのフレームを生成することができる。

第１中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を動作させ、第２中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を不動作とすればよい。

図２７は、ステップＳ５の暗視モードの具体的な処理を示す。図２７において、制御部７（投光制御部７１）は、ステップＳ５１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ５２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ５３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ５１〜Ｓ５３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ５４にて、撮像部３によって被写体を撮像させる。制御部７（モード切換部７２）は、ステップＳ５５にて、周囲画素加算部５２１と合成部５２３とを動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

制御部７は、ステップＳ５６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

第１暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を動作させ、第２暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を不動作とすればよい。

＜映像信号処理プログラム＞
図１において、制御部７、または、映像処理部５と制御部７とが一体化部分をコンピュータ（マイクロコンピュータ）で構成し、映像信号処理プログラム（コンピュータプログラム）をコンピュータで実行させることによって、上述した本実施形態の撮像装置と同様の動作を実現させることも可能である。

図２８を用いて、図２４のステップＳ４である中間モードにおける制御を映像信号処理プログラムで構成した場合にコンピュータに実行させる手順の例を説明する。図２８は、映像信号処理プログラムがコンピュータに実行させる処理を示す。

図２８において、映像信号処理プログラムは、ステップS401にて、コンピュータに、Ｒ，Ｇ，Ｂに対応付けられた波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光をそれぞれ投光するように赤外線投光器９を制御するステップを実行させる。

ステップS401に示すステップを映像信号処理プログラムの外部にて実行させてもよい。図２８では、ダミーガラス２２を挿入させるステップを省略している。ダミーガラス２２を挿入させるステップも映像信号処理プログラムの外部にて実行させてもよい。

映像信号処理プログラムは、ステップS402にて、コンピュータに、波長ＩＲ１の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第１のフレームを構成する画素データを取得するステップを実行させる。

映像信号処理プログラムは、ステップS403にて、コンピュータに、波長ＩＲ２の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第２のフレームを構成する画素データを取得するステップを実行させる。

映像信号処理プログラムは、ステップS404にて、コンピュータに、波長ＩＲ３の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第３のフレームを構成する画素データを取得するステップを実行させる。ステップS402〜S404の順番は任意である。

映像信号処理プログラムは、ステップS405にて、コンピュータに、Ｒ，Ｇ，Ｂの画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させて、１フレームに合成した合成映像信号を生成するステップを実行させる。

中間モードでは、映像信号処理プログラムは、ステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させない。

映像信号処理プログラムは、ステップS406にて、コンピュータに、合成映像信号のフレームにデモザイク処理を施して、Ｒ，Ｇ，Ｂのフレームを生成するステップを実行させる。

図示は省略するが、図２４のステップＳ５である暗視モードにおける制御を映像信号処理プログラムで構成する場合には、図２８のステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させればよい。

映像信号処理プログラムは、コンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムであってよい。映像信号処理プログラムが記録媒体に記録された状態で提供されてもよいし、映像信号処理プログラムをコンピュータにダウンロードさせるよう、インターネット等のネットワークを介して提供されてもよい。コンピュータで読み取り可能な記録媒体は、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の非一時的な任意の記録媒体でよい。

＜撮像素子３１としてＣＭＯＳを用いた場合について＞
次に、以上説明した中間モードまたは暗視モードにおいて、撮像素子３１としてＣＣＤを用いた場合と、ＣＭＯＳを用いた場合とを比較しながら、ＣＭＯＳを用いた場合に撮像装置をどのように制御すべきかについて説明する。

図２９は、撮像素子３１としてＣＣＤを用いた場合の露光動作を示している。それぞれ矩形で示している露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…の縦方向は、表示部の画面の上下方向である。露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…それぞれの露光時間は１／９０秒である。露光Ex1R，Ex1G，Ex1Bの１組、露光Ex2R，Ex2G，Ex2Bの１組で１／３０秒である。

図８で説明したように、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…それぞれに対応させて波長ＩＲ１〜ＩＲ３の赤外光が投光される。グローバルシャッタ方式では全ての画素の露光タイミングは同じであるので、図２９に示すように、波長ＩＲ１〜ＩＲ３の赤外光の発光期間と露光期間とが一致する。

図３０は、撮像素子３１として、毎秒９０フレームで被写体を撮像するＣＭＯＳを用いた場合の露光動作を示している。ローリングシャッタ方式では、全画素で同一タイミングでなく、ライン単位で順次、リセット、露光、読み出しが行われる。

よって、ＣＭＯＳを用いた場合には、ラインごとに露光タイミングが異なり、図３０に示すように、１フレームの上端のラインと下端のラインとでは１／９０秒の時間差を有する。露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…それぞれは平行四辺形で表される。

露光Ex1R，Ex1G，Ex1Bに基づいて、Ｒ，Ｇ，Ｂのフレームが得られる。例えば露光Ex1Rの期間に着目すると、１フレームの上端のラインでは波長ＩＲ１の赤外光が照射されるものの、下端のラインでは波長ＩＲ２の赤外光が照射されてしまう。１フレームの中央のラインでは、波長ＩＲ１と波長ＩＲ２の赤外光が照射される。

このように、撮像素子３１としてローリングシャッタ方式のＣＭＯＳを用いると、波長ＩＲ１〜ＩＲ３の赤外光それぞれの発光期間とそれぞれの露光期間とが一致しない。よって、撮像装置は、好ましい色再現を行うことができない。

＜第１の例＞
図３１は、好ましい色再現を行うことができないという問題を解決するための第１の例を示している。第１の例においては、撮像素子３１として、１フレームの全ライン（全画素）を１／１８０秒で読み出すことができるＣＭＯＳを用い、毎秒１８０フレームで被写体を撮像する。

投光制御部７１は、図２９と同様に、１／９０秒ずつ、第１の赤外光、第２の赤外光、第３の赤外光の順で赤外光を選択的に投光するよう、赤外線投光器９を制御する。

図３１より分かるように、ハッチングを付したそれぞれの露光では、第１〜第３の赤外光のうちの２つの赤外光が混在して照射される。ハッチングを付した露光では、それぞれの露光期間が、第１〜第３の赤外光のうちの２つの赤外光の発光期間にまたがるため、撮像装置は、好ましい色再現を行うことができない。

一方、ハッチングを付していない露光では、それぞれの露光期間は、波長ＩＲ１〜ＩＲ３の赤外光それぞれの発光期間内に完全に含まれる。よって、ハッチングを付していない露光によって生成された映像信号を用いれば、撮像装置は、好ましい色再現を行うことができることになる。

具体的には、第１の例において、制御部７は、波長ＩＲ１〜ＩＲ３の赤外光それぞれの発光期間内に完全に含まれている露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…によって生成された撮像信号のみを用いて映像信号を生成するよう、映像処理部５を制御する。

第１の例の解決方法を実行する撮像装置の構成及び動作をまとめると、次のとおりである。Ｎ，Ｍは、ＮがＭの２倍またはそれ以上の数であるとする。ここでの数とは、自然数でなくてもよく、正の実数であればよい。

投光制御部７１は、波長ＩＲ１の赤外光と波長ＩＲ２の赤外光と波長ＩＲ３の赤外光とを１／Ｍ秒ごとに選択的に投光するよう、赤外線投光器９を制御する。撮像部３は、ローリングシャッタ方式の撮像素子３１（例えばＣＭＯＳ）を有する。撮像部３は、毎秒Ｎなる第１のフレーム数で被写体を撮像する。

映像処理部５は、撮像部３が被写体を撮像することによって生成した撮像信号のフレームのうち、２つの波長の赤外光が投光されている状態で露光されたフレームを使用しない。

映像処理部５は、波長ＩＲ１の赤外光のみが投光されている状態で露光された第１のフレームと、波長ＩＲ２の赤外光のみが投光されている状態で露光された第２のフレームと、波長ＩＲ３の赤外光のみが投光されている状態で露光された第３のフレームとを選択する。映像処理部５は、第１〜第３のフレームに基づいて、映像信号のフレームを生成する。前述のように、映像処理部５は、第１〜第３のフレームを合成して映像信号のフレームを生成する。

撮像部３は、赤外線投光器９が波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光する１／Ｍ秒の期間に同期させて、撮像信号のフレームを生成するのがよい。ＮをＭの２倍とすると、映像処理部５は、撮像部３が１／Ｍ秒の期間内に生成を開始する２つのフレームのうち、最初のフレームを第１〜第３のフレームとして選択すればよい。

ＮをＭの３倍以上の整数倍の数とすると、映像処理部５は、撮像部３が１／Ｍ秒の期間内に生成を開始する複数のフレームのうち、最後のフレーム以外のフレームを第１〜第３のフレームとして選択すればよい。最後のフレーム以外の複数のフレームに基づいて１つのフレームを生成して、第１〜第３のフレームとしてもよい。

また、ＮをＭの整数倍の数にすると、撮像素子のタイミング制御を簡単することができるため好ましいが、ＮをＭの整数倍にしなくても、好ましい色を再現することは可能である。

撮像装置の制御プログラム（コンピュータプログラム）をコンピュータで実行させることによって、以上の第１の例の解決方法を実行する撮像装置の動作を実現させてもよい。上述した映像信号処理プログラムと同様、撮像装置の制御プログラムは、コンピュータで読み取り可能な非一時的な記録媒体に記録されたコンピュータプログラムであってよい。

撮像装置の制御プログラムは、コンピュータに第１の例の解決方法を実行させるよう、撮像部３と映像処理部５と赤外線投光器９を制御すればよい。

第１の例によれば、撮像装置は、撮像素子３１としてローリングシャッタ方式のＣＭＯＳを用いても、好ましい色を再現することが可能となる。

＜第２の例＞
図３２は、好ましい色再現を行うことができないという問題を解決するための第２の例を示している。第２の例においては、撮像素子３１として、１フレームの全画素を１／９０秒未満で読み出せるＣＭＯＳを用い、毎秒９０フレームで被写体を撮像する。ここでは、全画素を１／９０秒未満で読み出せるＣＭＯＳとして、１／１２０秒で読み出せるＣＭＯＳを用いる場合を示す。

図３２を説明する前に、図３３を用いて、全画素を１／１２０秒で読み出せるＣＭＯＳを用いて、毎秒９０フレームで被写体を撮像した場合の１フレームの撮像を詳細に説明する。

１フレームにおけるそれぞれラインＬｎは、露光期間Ｔexと、短時間の読み出し期間Ｔｒとを含む。露光期間Ｔexの長さは最大露光時間によって決まる。前述のように、露光時間はシャッタスピード等の条件によって変化するので、露光期間Ｔexの全期間で露光が行われているとは限らない。

ローリングシャッタ方式のＣＭＯＳでは、ラインＬｎ単位で撮像信号を読み出していくので、図３３に示すように、１フレームの上端のラインＬｎから下端のラインＬｎまでタイミングが時間方向に順次ずれていく。

１フレームの全ラインを１／１２０秒の転送時間で読み出すと、上端のラインＬｎから下端のラインＬｎまでの読み出しのタイミングは、図３３に実線で示す傾斜となる。

撮像素子３１が仮に１フレームの全ラインを１／９０秒の転送時間で読み出したとすると、上端のラインＬｎから下端のラインＬｎまでの読み出しのタイミングは、図３３に二点鎖線で示す傾斜となる。

１フレームの全ラインを１／１２０秒の転送時間で読み出した場合と１／９０秒の転送時間で読み出した場合の差分は、１／３６０秒である。１フレームの全ラインを１／１２０秒で読み出せるＣＭＯＳを用いて、毎秒９０フレームで被写体を撮像し、撮像した撮像信号を１／１２０秒の転送時間で転送する。

すると、撮像信号の転送が完了した後の１／３６０秒の期間は、全ラインが同一フレームの露光期間となる。

図３２に示すように、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…における１／３６０秒の期間以内に限定して、波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光すれば、２つの赤外光が混在することはない。

具体的には、第２の例において、制御部７は、撮像信号の転送時間を１／１２０秒とするよう撮像部３を制御する。投光制御部７１は、図３２に示す期間のみ波長ＩＲ１〜ＩＲ３の赤外光を投光するよう、赤外線投光器９を制御する。

第２の例の解決方法を実行する撮像装置の構成及び動作をまとめると、次のとおりである。Ｎ，Ｍは、Ｎ＞Ｍなる数であるとする。

撮像部３は、ローリングシャッタ方式の撮像素子３１を有する。撮像部３は、１フレームの全ラインを１／Ｎ秒で読み出し可能である。撮像部３は、毎秒Ｍなるフレーム数で被写体を撮像する。

撮像素子制御部７３は、撮像部３が撮像したそれぞれのフレームの全ラインの撮像信号を、１／Ｎ秒の転送時間で読み出すよう撮像素子３１を制御する。

それぞれのフレームで１／Ｎ秒の転送時間で全ラインの撮像信号を読み出した後、投光制御部７１は、（１／Ｍ−１／Ｎ）秒以内の投光期間で、波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光するよう、赤外線投光器９を制御する。

なお、波長ＩＲ１〜ＩＲ３の赤外光を、それぞれ、（１／Ｍ−１／Ｎ）秒間ずつ投光することが最も好ましい。（１／Ｍ−１／Ｎ）秒以内の投光時間で、波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光すれば、ローリングシャッタ方式の撮像素子を用いても、好ましい色再現が可能となる。

映像処理部５は、波長ＩＲ１〜ＩＲ３の赤外光が選択的に投光されている状態で撮像部３が被写体を撮像することによって生成した第１〜第３のフレームに基づいて、映像信号のフレームを生成する。前述のように、映像処理部５は、第１〜第３のフレームを合成して映像信号のフレームを生成する。

撮像装置の制御プログラム（コンピュータプログラム）をコンピュータで実行させることによって、以上の第２の例の解決方法を実行する撮像装置の動作を実現させてもよい。上述した映像信号処理プログラムと同様、撮像装置の制御プログラムは、コンピュータで読み取り可能な非一時的な記録媒体に記録されたコンピュータプログラムであってよい。

撮像装置の制御プログラムは、コンピュータに第２の例の解決方法を実行させるよう、撮像部３と映像処理部５と赤外線投光器９を制御すればよい。

第２の例によれば、撮像装置は、撮像素子３１としてローリングシャッタ方式のＣＭＯＳを用いても、好ましい色を再現することが可能となる。

＜第３の例＞
図３４は、好ましい色再現を行うことができないという問題を解決するための第３の例を示している。第３の例は、第１の例において、撮像部３が１／Ｍ秒の期間内に生成を開始する複数のフレームのうちの最後のフレームと最後のフレーム以外のフレームとのフレームレートを異ならせるようにした例である。

例えば、撮像部３が１／Ｍ秒の期間内に生成を開始する複数のフレームのうちの１つ目のフレームにおいてＮをＭの２．５倍として、１つ目のフレームでは毎秒２２５フレームの速さで被写体を撮像するようにした場合、２つ目のフレームでは毎秒１５０フレームの速さで被写体を撮像すればよい。

１つ目のフレームの長さ（１／２２５秒）と２つ目のフレームの長さ（１／１５０秒）との合計が、赤外光の投光期間である１／９０秒になればよい。

具体的には、図３４に示すように、第３の例においては、ハッチングを付していない露光では、毎秒２２５フレームで被写体を撮像し、ハッチングを付した露光では、毎秒１５０フレームで被写体を撮像する。

第３の例においては、ＮをＭの２．５倍とする露光期間と、ＮをＭの１．６６…倍とする露光期間とを交互に切り替えるように構成されている。第３の例においては、撮像素子３１として、１フレームの全ライン（全画素）を１／２２５秒で読み出すことができるＣＭＯＳを用い、１／２２５秒の速度で全画素を読み出す。

投光制御部７１は、１／９０秒ずつ、第１の赤外光、第２の赤外光、第３の赤外光の順で赤外光を選択的に投光するよう、赤外線投光器９を制御する。第１の例と同様に、制御部７は、ハッチングを付していない露光期間における露光Ex1R，Ex1G，Ex1B…によって生成された撮像信号のみを用いて映像信号を生成するよう、映像処理部５を制御する。

図３４に示すように、露光Ex1Rの露光期間における最後のラインの読み出しを完了した時刻ｔ１５と、次の露光Ex1Gの露光期間における最初のラインの読み出しを開始する時刻ｔ１２との間には、時間的なマージンＴｍが存在する。露光Ex1Gの露光期間と次の露光Ex1Bの露光期間との間及びそれ以降においても同様である。

よって、第３の例においては、波長ＩＲ１〜ＩＲ３の赤外光それぞれの発光期間が、時刻ｔ１１，ｔ１２間、時刻ｔ１２，ｔ１３間、時刻ｔ１３，ｔ１３間の１／９０秒に対して、時間方向前側にマージンＴｍの範囲内でずれていてもよい。

第３の例においては、投光制御部７１は、波長ＩＲ１〜ＩＲ３の赤外光それぞれの発光期間を１／９０秒の２フレームの露光期間に完全に一致させなくてもよいので、投光制御部７１による赤外線投光器９の制御が容易になるという利点を有する。

第３の例の解決方法を実行する撮像装置の構成及び動作を、第１の例の解決方法を実行する撮像装置との相違点を中心にまとめると、次のとおりである。Ｎ，Ｍは、正の実数である。

撮像部３は、毎秒Ｎなる第１のフレーム数で被写体を撮像する。第３の例におけるＮは固定値ではなく、図３４に示す例においては、Ｎ１を２２５、Ｎ２を１５０として、毎秒Ｎ１なる第１のフレーム数での被写体の撮像と、毎秒Ｎ２なる第２のフレーム数での被写体の撮像とを交互に繰り返す。

映像処理部５は、毎秒Ｎ１なる第１のフレーム数での被写体の撮像に基づき、波長ＩＲ１の赤外光のみが投光されている状態で露光された第１のフレームと、波長ＩＲ２の赤外光のみが投光されている状態で露光された第２のフレームと、波長ＩＲ３の赤外光のみが投光されている状態で露光された第３のフレームとを選択する。

＜第４の例＞
図３５は、好ましい色再現を行うことができないという問題を解決するための第４の例を示している。第４の例は、第３の例におけるＮ１を１５０、Ｎ２を２２５としている。

第４の例においても、毎秒Ｎ１なる第１のフレーム数での被写体の撮像に基づき、波長ＩＲ１の赤外光のみが投光されている状態で露光された第１のフレームと、波長ＩＲ２の赤外光のみが投光されている状態で露光された第２のフレームと、波長ＩＲ３の赤外光のみが投光されている状態で露光された第３のフレームとを選択する。

第４の例においては、第３の例のようなマージンＴｍは生じないが、毎秒２２５フレームのフレームを使用しないフレームとし、より露光期間が長い毎秒１５０フレームのフレームを使用されるフレームとするため、感度を上げることができるという利点がある。

＜第５の例＞
図３６及び図３７は、好ましい色再現を行うことができないという問題を解決するための第５の例を示している。図３６は、フレームレートに合わせて撮像素子３１の読み出し速度を可変させた場合を示している。

図３６において、撮像素子３１は、ポイントＰ１の時点で毎秒２５５フレームの速度での読み出し動作が完了し、毎秒１５０フレームの速度での読み出し動作を開始する。毎秒１５０フレームの速度での読み出し動作は、ポイントＰ２の時点で完了する。以降同様に、撮像素子制御部７３は、毎秒２５５フレームの速度での読み出し動作と、毎秒１５０フレームの速度での読み出し動作を交互に繰り返すよう、撮像素子３１を制御する。

フレームＦａでは読み出し速度が毎秒１５０フレーム相当であり、フレームＦｂでは読み出し速度が毎秒２２５フレーム相当であるので、フレームレートは、フレームＦａでは１５０フレーム／秒、フレームＦｂでは２２５フレーム／秒とみなすことができる。フレームＦａ，Ｆｂを平均すれば、フレームレートは、１８０フレーム／秒である。フレームＦａは使用されるフレーム、フレームＦｂは使用されないフレームである。

第５の例においては、図３７に示すように、撮像素子制御部７３は、フレームＦａ内に、撮像部３（撮像素子３１）における電子シャッタを開放して、撮像素子３１を露光させる露光期間Ｔｅｓを設定している。撮像素子制御部７３は、電子シャッタの開閉を制御する。

撮像素子制御部７３は、露光期間Ｔｅｓの１ラインの期間を、フレームＦａにおける１ラインの最大露光時間が最も短い時間（ここでは１／２５５秒）以下に制限している。

＜第６の例＞
図３８及び図３９は、好ましい色再現を行うことができないという問題を解決するための第６の例を示している。図３８も、図３６と同様に、フレームレートに合わせて撮像素子３１の読み出し速度を可変させた場合を示している。図３８においては、フレームＦａは使用されないフレーム、フレームＦｂは使用されるフレームである。

第６の例においては、図３９に示すように、撮像素子制御部７３は、フレームＦｂ内に、撮像部３における電子シャッタを開放して、撮像素子３１を露光させる露光期間Ｔｅｓを設定している。撮像素子制御部７３は、露光期間Ｔｅｓの１ラインの期間を、フレームＦｂにおける１ラインの最大露光時間が最も短い時間（ここでは１／２５５秒）以下に制限している。

第６の例においては、図３４で説明した第３の例と同様に、マージンＴｍが生じるので、投光制御部７１による赤外線投光器９の制御が容易になる。

＜第７の例＞
図４０は、好ましい色再現を行うことができないという問題を解決するための第７の例を示している。第７の例においては、第２の例と同様、撮像素子３１として、１フレームの全画素を１／９０秒以下で読み出せるＣＭＯＳを用い、毎秒９０フレームで被写体を撮像する。

撮像部３は、赤外線投光器９が波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光する１／９０秒の期間に同期させて、撮像信号のフレームを生成する。

但し、第７の例においては、図４０に示すように、撮像素子制御部７３は、１フレームの１／１３５秒の期間では撮像部３における電子シャッタを閉じており、残りの１／２７０秒に電子シャッタを開放して、撮像素子３１を露光させる露光期間Ｔｅｓを設定している。

図３２に示す第２の例においては、１フレーム１／９０秒の期間のうち、１／３６０秒の期間のみ波長ＩＲ１〜ＩＲ３の赤外光を投光する。一方、図４０に示す第７の例においては、波長ＩＲ１〜ＩＲ３の赤外光を１／９０秒の期間に同期させて投光しながら、１フレーム１／９０秒の期間のうち、１／２７０秒の期間のみ電子シャッタを開放して撮像信号を読み出す。

図４０における電子シャッタを閉じている期間の１／１３５秒と電子シャッタを開放している期間の１／２７０秒は単なる例である。電子シャッタを閉じている期間を１／１２０秒、電子シャッタを開放している期間を１／３６０秒としてもよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

３ 撮像部
５ 映像処理部
９ 赤外線投光器
７１ 投光制御部
７３ 撮像素子制御部

Claims (6)

1. ローリングシャッタ方式の撮像素子を用いて被写体を撮像する撮像部と、
   赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを選択的に投光するよう、前記赤外線投光器を制御する投光制御部と、
   前記第２及び第３の赤外光が投光されておらず前記第１の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第１のフレームと、前記第１及び第３の赤外光が投光されておらず前記第２の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第２のフレームと、前記第１及び第２の赤外光が投光されておらず前記第３の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第３のフレームとを用いて、映像信号のフレームを生成する映像処理部と、
   を備え、
   Ｎ，ＭをＮ＞Ｍなる数とし、ＮはＭの２倍またはそれ以上の数であり、前記投光制御部は、前記第１〜第３の赤外光のうちのいずれか１つの赤外光のみを１／Ｍ秒ごとに選択的に投光するよう前記赤外線投光器を制御し、
   前記撮像部は、１／Ｍ秒の期間に同期させて、１フレームの全画素を１／Ｎ秒で読み出す複数のフレームを生成し、
   前記映像処理部は、前記複数のフレームのうちの前記第１〜第３の赤外光それぞれのみが投光されている状態で露光したフレームを選択して、前記映像信号のフレームを生成する
   ことを特徴とする撮像装置。
2. ローリングシャッタ方式の撮像素子を用いて被写体を撮像する撮像部と、
   赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを選択的に投光するよう、前記赤外線投光器を制御する投光制御部と、
   前記第２及び第３の赤外光が投光されておらず前記第１の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第１のフレームと、前記第１及び第３の赤外光が投光されておらず前記第２の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第２のフレームと、前記第１及び第２の赤外光が投光されておらず前記第３の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第３のフレームとを用いて、映像信号のフレームを生成する映像処理部と、
   を備え、
   Ｎ１，Ｎ２，Ｍを、Ｎ１＞ＭかつＮ２＞Ｍであり、１／Ｎ１＋１／Ｎ２＝１／Ｍを満たす数とし、前記投光制御部は、前記第１〜第３の赤外光のうちのいずれか１つの赤外光のみを１／Ｍ秒ごとに選択的に投光するよう前記赤外線投光器を制御し、
   前記撮像部は、１／Ｍ秒の期間に同期させて、毎秒Ｎ１フレームで被写体を撮像した第１のフレームと、毎秒Ｎ２フレームで被写体を撮像した第２のフレームとを交互に生成し、
   前記映像処理部は、前記第１及び第２のフレームのうちの前記第１〜第３の赤外光それぞれのみが投光されている状態で露光したフレームを選択して、前記映像信号のフレームを生成する
   ことを特徴とする撮像装置。
3. 前記映像処理部は、前記撮像部が１／Ｍ秒の期間内に生成を開始する複数のフレームのうち、最後のフレーム以外のフレームを前記第１〜第３のフレームとして選択することを特徴とする請求項１または２記載の撮像装置。
4. ローリングシャッタ方式の撮像素子を用いて被写体を撮像する撮像部と、
   赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを選択的に投光するよう、前記赤外線投光器を制御する投光制御部と、
   前記第２及び第３の赤外光が投光されておらず前記第１の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第１のフレームと、前記第１及び第３の赤外光が投光されておらず前記第２の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第２のフレームと、前記第１及び第２の赤外光が投光されておらず前記第３の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第３のフレームとを用いて、映像信号のフレームを生成する映像処理部と、
   を備え、
   Ｎ１，Ｎ２，Ｍを、Ｎ１＞ＭかつＮ２＞Ｍであり、１／Ｎ１＋１／Ｎ２＝１／Ｍを満たす数とし、前記投光制御部は、前記第１〜第３の赤外光のうちのいずれか１つの赤外光のみを１／Ｍ秒ごとに選択的に投光するよう前記赤外線投光器を制御し、
   前記撮像部は、１／Ｍ秒の期間に同期させて、前記撮像素子より毎秒Ｎ１フレームの速度での読み出し動作と、毎秒Ｎ２フレームの速度での読み出し動作とを交互に繰り返すことにより第１のフレームと第２のフレームとを交互に生成し、
   前記第１のフレームと前記第２のフレームとのうちのいずれ一方のフレームの期間内で、前記一方のフレームにおける１ラインの最大露光時間が最も短い時間以下で電子シャッタを開放して露光するよう前記撮像素子を制御する撮像素子制御部をさらに備え、
   前記映像処理部は、前記第１及び第２のフレームのうちの前記第１〜第３の赤外光それぞれのみが投光されている状態で露光した前記一方のフレームを選択して、前記映像信号のフレームを生成する
   ことを特徴とする撮像装置。
5. 赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを選択的に投光させ、
   ローリングシャッタ方式の撮像素子を有する撮像部を用いて被写体を撮像し、
   前記第２及び第３の赤外光が投光されておらず前記第１の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第１のフレームと、前記第１及び第３の赤外光が投光されておらず前記第２の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第２のフレームと、前記第１及び第２の赤外光が投光されておらず前記第３の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第３のフレームとを用いて、映像信号のフレームを生成し、
   Ｎ，ＭをＮ＞Ｍなる数とし、ＮはＭの２倍またはそれ以上の数であり、前記第１〜第３の赤外光のうちのいずれか１つの赤外光のみを１／Ｍ秒ごとに選択的に投光するよう前記赤外線投光器を制御し、
   前記撮像部は、１／Ｍ秒の期間に同期させて、１フレームの全画素を１／Ｎ秒で読み出す複数のフレームを生成し、
   前記複数のフレームのうちの前記第１〜第３の赤外光それぞれのみが投光されている状態で露光したフレームを選択して、前記映像信号のフレームを生成する
   ことを特徴とする撮像装置の制御方法。
6. コンピュータに、
   赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを選択的に投光するよう、赤外線投光器を制御するステップと、
   ローリングシャッタ方式の撮像素子を有する撮像部を制御するステップと、
   前記第２及び第３の赤外光が投光されておらず前記第１の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第１のフレームと、前記第１及び第３の赤外光が投光されておらず前記第２の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第２のフレームと、前記第１及び第２の赤外光が投光されておらず前記第３の赤外光が投光されている状態で前記撮像素子が露光することによって前記撮像部により撮像された撮像信号に基づく第３のフレームとを用いて、映像信号のフレームを生成するよう、映像処理部を制御するステップと、
   を実行させ、
   Ｎ，ＭをＮ＞Ｍなる数とし、ＮはＭの２倍またはそれ以上の数であり、前記第１〜第３の赤外光のうちのいずれか１つの赤外光のみを１／Ｍ秒ごとに選択的に投光するよう前記赤外線投光器を制御するステップと、
   １／Ｍ秒の期間に同期させて、１フレームの全画素を１／Ｎ秒で読み出す複数のフレームを生成するよう前記撮像部を制御するステップと、
   前記複数のフレームのうちの前記第１〜第３の赤外光それぞれのみが投光されている状態で露光したフレームを選択して、前記映像信号のフレームを生成するよう前記映像処理部を制御するステップと、
   をさらに実行させることを特徴とする撮像装置の制御プログラム。

Images