WO2015115142A1 - 撮像装置、撮像装置の制御方法及び制御プログラム - Google Patents

Abstract

　入力部（7in2）には、全地球航法衛星システム用の衛星からの電波に基づいて生成されたパルス信号が入力される。投光制御部（７１）は、パルス信号に基づいて、赤外線投光器（９）によって、赤外光を投光させる投光タイミングを制御する。撮像部（３）は、赤外光が投光されている状態で被写体を撮像する。

Description

撮像装置、撮像装置の制御方法及び制御プログラム

　本開示は、撮像装置、撮像装置の制御方法及び制御プログラムに関する。

　従来、例えば夜間等の可視光がほとんどない環境下において被写体を撮像するために、赤外線投光器によって被写体に赤外光を照射し、被写体から反射した赤外光を撮像する方法が用いられている。この方法は、可視光を照射するライトを用いることができない場合に有効な撮像方法である。

　しかしながら、この撮像方法によって被写体を撮像した映像は、モノクロ映像となる。モノクロ映像では物体の識別が困難となることがある。可視光がない環境下でもカラー映像を撮像することができれば、物体の識別性を向上させることができる。例えば監視カメラでは、物体の識別性を向上させるために、可視光がない環境下でもカラー映像を撮像することが望まれる。

　特許文献１には、可視光がない環境下でもカラー映像を撮像することができる撮像装置が記載されている。特許文献１に記載されている撮像装置においても、赤外線投光器が用いられる。監視カメラに特許文献１に記載の技術を搭載すれば、被写体をカラー映像化して物体の識別性を向上させることが可能となる。

特開２０１１－５００４９号公報

　特許文献１に記載されている撮像装置は、赤外線投光器によって３つの波長の赤外光を順次投光して被写体を撮像する。

　監視システム（撮像システム）では複数の監視カメラを用いて、監視対象の被写体を撮像することがある。特許文献１に記載されている撮像装置を複数の監視カメラそれぞれに用いて、監視システムを構成することが考えられる。

　複数の撮像装置が個々に赤外光を投光すると異なる波長の赤外光が混ざってしまい、好ましい色再現が可能なカラー映像を撮像することができない。

　実施形態は、赤外光を投光して被写体を撮像する自己の撮像装置以外に、赤外光を投光して被写体を撮像する他の撮像装置が存在する場合でも好ましい映像を撮像することができる撮像装置、撮像装置の制御方法及び制御プログラムを提供することを目的とする。

　実施形態の第１の態様によれば、全地球航法衛星システム用の衛星からの電波に基づいて生成されたパルス信号が入力される入力部と、前記パルス信号に基づいて、赤外線投光器に赤外光を投光させる投光タイミングを制御する投光制御部と、赤外光が投光されている状態で被写体を撮像する撮像部とを備えることを特徴とする撮像装置が提供される。

　実施形態の第２の態様によれば、全地球航法衛星システム用の衛星からの電波に基づいて生成されたパルス信号に基づいて、赤外線投光器に赤外光を投光させる投光タイミングを制御し、赤外光が投光されている状態で被写体を撮像することを特徴とする撮像装置の制御方法が提供される。

　実施形態の第３の態様によれば、撮像装置に搭載されているコンピュータに、全地球航法衛星システム用の衛星からの電波に基づいて生成されたパルス信号を取得するステップと、前記パルス信号に基づいて、赤外線投光器に赤外光を投光させる投光タイミングを制御するステップと、赤外光が投光されている状態で被写体を撮像するよう撮像部を制御するステップとを実行させることを特徴とする撮像装置の制御プログラムが提供される。

　実施形態の撮像装置、撮像装置の制御方法及び制御プログラムによれば、赤外光を投光して被写体を撮像する自己の撮像装置以外に、赤外光を投光して被写体を撮像する他の撮像装置が存在する場合でも好ましい色再現が可能なカラー映像を撮像することができる。

図１は、一実施形態の撮像装置の全体的な構成を示すブロック図である。 図２は、一実施形態の撮像装置に用いられるカラーフィルタにおけるフィルタエレメントの配列の一例を示す図である。 図３は、一実施形態の撮像装置を構成する撮像部における３原色光の波長と相対感度との分光感度特性を示す特性図である。 図４は、所定の物質からの３原色光の反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示す特性図である。 図５は、図１中の前信号処理部５２の具体的な構成例を示すブロック図である。 図６は、一実施形態の撮像装置が通常モードで動作しているときの露光と映像信号のフレームとの関係を概略的に示す図である。 図７は、一実施形態の撮像装置が通常モードで動作しているときのデモザイク処理を説明するための図である。 図８は、一実施形態の撮像装置が中間モード及び暗視モードで動作しているときの露光と映像信号のフレームとの関係を概略的に示す図である。 図９は、一実施形態の撮像装置が第１中間モードで動作しているときの前信号処理を説明するための図である。 図１０は、一実施形態の撮像装置が第１中間モードで動作しているときのデモザイク処理を説明するための図である。 図１１は、一実施形態の撮像装置が第２中間モードで動作しているときの前信号処理を説明するための図である。 図１２は、一実施形態の撮像装置が第２中間モードで動作しているときのデモザイク処理を説明するための図である。 図１３は、一実施形態の撮像装置が暗視モードで動作しているときの周囲画素の加算処理を説明するための図である。 図１４は、周囲画素の加算処理が施されたフレームを示す図である。 図１５は、一実施形態の撮像装置が第１暗視モードで動作しているときの前信号処理を説明するための図である。 図１６は、一実施形態の撮像装置が第１暗視モードで動作しているときのデモザイク処理を説明するための図である。 図１７は、一実施形態の撮像装置が第２暗視モードで動作しているときの前信号処理を説明するための図である。 図１８は、一実施形態の撮像装置が第２暗視モードで動作しているときのデモザイク処理を説明するための図である。 図１９は、一実施形態の撮像装置におけるモード切換の例を説明するための図である。 図２０は、一実施形態の撮像装置がそれぞれのモードに設定されているときの各部の状態を示す図である。 図２１は、一実施形態の撮像装置の第１の変形例を示す部分ブロック図である。 図２２は、一実施形態の撮像装置の第２の変形例を示す部分ブロック図である。 図２３は、一実施形態の撮像装置の第３の変形例を示す部分ブロック図である。 図２４は、一実施形態の撮像装置で実行される映像信号処理方法を示すフローチャートである。 図２５は、図２４におけるステップＳ３に示す通常モードの具体的な処理を示すフローチャートである。 図２６は、図２４におけるステップＳ４の中間モードの具体的な処理を示すフローチャートである。 図２７は、図２４におけるステップＳ５の暗視モードの具体的な処理を示すフローチャートである。 図２８は、一実施形態の撮像装置内に記憶されている映像信号処理プログラムがコンピュータに実行させる処理を示すフローチャートである。 図２９は、複数の撮像装置によって構成した撮像システムを示すブロック図である。 図３０は、複数の撮像装置による赤外光の投光タイミングがわずかにずれている場合の問題点を説明するための図である。 図３１は、複数の撮像装置による赤外光の投光タイミングが大きくずれている場合の問題点を説明するための図である。 図３２は、1PPS信号に基づいて赤外光の投光タイミングを制御する一実施形態の撮像装置の動作を説明するための図である。 図３３は、一実施形態の撮像装置の制御方法及び一実施形態の撮像装置の制御プログラムで実行される処理を示すフローチャートである。

　以下、一実施形態の撮像装置、撮像装置の制御方法及び制御プログラムについて、添付図面を参照して説明する。

＜撮像装置の構成＞
　まず、図１を用いて、一実施形態の撮像装置１１０の全体的な構成について説明する。図１に示す一実施形態の撮像装置１１０は、昼間等の可視光が十分に存在する環境下に適した通常モードと、夜間等の可視光がほとんどない環境下に適した暗視モードと、可視光がわずかに存在する環境下に適した中間モードとの３つのモードで撮像可能な撮像装置である。

　暗視モードと中間モードとはいずれも可視光が少ない環境下で、赤外線を投光しながら撮像する赤外光投光モードである。赤外光投光モードは暗視モードのみであってもよい。本実施形態では、好ましい構成として、中間モードを含む３つのモードで撮像可能な撮像装置を例とする。

　図１において、被写体から反射した一点鎖線にて示す光は、光学レンズ１によって集光される。ここで、光学レンズ１には、可視光が十分に存在する環境下では可視光、可視光がほとんどない環境下では後述する赤外線投光器９より発せられた赤外光を被写体が反射した赤外光が入射される。

　可視光がわずかに存在する環境下では、光学レンズ１には、可視光と赤外線投光器９より発せられた赤外光を被写体が反射した赤外光とが混在した光が入射される。

　図１では簡略化のため、光学レンズ１を１つのみとしているが、実際には、撮像装置１１０は複数の光学レンズを備える。

　光学レンズ１と撮像部３との間には、光学フィルタ２が設けられている。光学フィルタ２は、赤外線カットフィルタ２１とダミーガラス２２との２つの部分を有する。光学フィルタ２は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入した状態と、光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態とのいずれかの状態に駆動される。

　撮像部３は、水平方向及び垂直方向に複数の受光素子（画素）が配列した撮像素子３１と、それぞれの受光素子に対応して赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のいずれかの色のフィルタエレメントが配置されたカラーフィルタ３２とを有する。撮像素子３１は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）でよい。

　カラーフィルタ３２には、一例として、図２に示すように、Ｒ，Ｇ，Ｂのフィルタエレメントがベイヤ配列と称される配列で並べられている。ベイヤ配列は、Ｒ，Ｇ，Ｂのフィルタエレメントの所定の配列の一例である。図２において、各行のＲのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｒ、Ｂのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｂとしている。

　ベイヤ配列では、ＲのフィルタエレメントとＧｒのフィルタエレメントとが交互に配置された水平方向の行と、ＢのフィルタエレメントとＧｂのフィルタエレメントとが交互に配置された水平方向の行とが、垂直方向に交互に配列されている。

　図３は、撮像部３におけるＲ光，Ｇ光，Ｂ光の波長と相対感度との分光感度特性を示している。相対感度は、最大値が１に正規化されている。撮像装置１１０を通常モードで動作させるとき、可視光による良好なカラー映像を撮像するには、波長７００ｎｍ以上の赤外光をカットする必要がある。

　そこで、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入するように光学フィルタ２を駆動する。

　図３より分かるように、撮像部３は、波長７００ｎｍ以上の赤外光の領域においても感度を有する。そこで、撮像装置１１０を中間モードまたは暗視モードで動作させるときには、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間の赤外線カットフィルタ２１を外してダミーガラス２２を挿入するように光学フィルタ２を駆動する。

　光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態では、波長７００ｎｍ以上の赤外光はカットされない。よって、撮像装置１１０は、図３に破線の楕円で囲んだ部分の感度を利用して、Ｒ，Ｇ，Ｂの各色情報を得ることが可能となる。ダミーガラス２２を挿入するのは、光路長を、赤外線カットフィルタ２１を挿入した場合の光路長と同じにするためである。

　赤外線投光器９は、それぞれ、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する投光部９１，９２，９３を有する。中間モードまたは暗視モードのとき、制御部７内の投光制御部７１は、時分割で投光部９１～９３より波長ＩＲ１～ＩＲ３の赤外光を選択的に投光させるように制御する。

　ところで、撮像素子３１にはシリコンウェハが用いられている。図４は、Ｒ，Ｇ，Ｂそれぞれの色を呈する素材に白色光を照射した場合の各波長における反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示している。図４においても、相対検出率は、最大値が１に正規化されている。

　図４に示すように、赤外光の領域において、例えば、波長７８０ｎｍにおける反射光はＲ色を呈する素材の反射光との相関性が高く、波長８７０ｎｍにおける反射光はＢ色を呈する素材の反射光との相関性が高く、波長９４０ｎｍにおける反射光はＧ色を呈する素材の反射光との相関性が高い。

　そこで、本実施形態においては、投光部９１，９２，９３が投光する赤外光の波長ＩＲ１，ＩＲ２，ＩＲ３を、７８０ｎｍ，９４０ｎｍ，８７０ｎｍとする。これらの波長は、波長ＩＲ１～ＩＲ３の一例であり、７８０ｎｍ，９４０ｎｍ，８７０ｎｍ以外でもよい。

　投光部９１が波長ＩＲ１の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＲ信号に割り当てる。投光部９３が波長ＩＲ２の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＧ信号に割り当てる。投光部９２が波長ＩＲ３の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＢ信号に割り当てる。

　このようにすれば、原理的に、中間モードまたは暗視モードにおいても、通常モードにおいて可視光が存在する環境下で被写体を撮像した場合と同様の色を再現することができる。

　色味が被写体の実際の色味と異なるカラー映像となるものの、７８０ｎｍの波長ＩＲ１をＲ光、８７０ｎｍの波長ＩＲ３をＧ光、９４０ｎｍの波長ＩＲ２をＢ光に割り当ててもよい。波長ＩＲ１，ＩＲ２，ＩＲ３をＲ光，Ｇ光，Ｂ光に任意に割り当てることも可能である。

　本実施形態においては、被写体の色味を最もよく再現する、波長ＩＲ１，ＩＲ２，ＩＲ３をそれぞれＲ光，Ｇ光，Ｂ光に割り当てることとする。

　制御部７は、撮像部３における撮像と、映像処理部５内の各部とを制御する。撮像部３によって撮像された撮像信号はＡ／Ｄ変換器４によってＡ／Ｄ変換され、映像処理部５に入力される。撮像部３とＡ／Ｄ変換器４とが一体化されていてもよい。映像処理部５と制御部７とが一体化されていてもよい。

　制御部７は、通常モードと中間モードと暗視モードとを切り換えるモード切換部７２を備える。モード切換部７２は、通常モードと中間モードと暗視モードとに対応させて、映像処理部５内の動作を後述のように適宜切り換える。

　撮像装置１１０は、全地球航法衛星システム（Global Navigation Satellite System: GNSS）用の衛星２００からの電波を受信するアンテナ１６ａと、アンテナ１６ａが出力するGNSS信号を受信するGNSS受信部１６とを備える。GNSS信号は一般的にＲＦ信号である。GNSSは、一例としてＧＰＳ（Global Positioning System）である。

　GNSS受信部１６は、衛星２００からの電波に含まれる時刻情報に基づいて、クロック信号Sclkと、１パルス／秒の1PPS信号S1ppsを生成する。衛星２００から送信される時刻情報は、衛星２００に内蔵されている原子時計と高精度に同期している。GNSS受信部１６は、原子時計と高精度に同期するクロック信号Sclkと、クロック信号Sclkと同期した1PPS信号S1ppsを制御部７に供給する。

　制御部７は、クロック信号Sclkが入力される入力部7in1と、1PPS信号S1ppsが入力される入力部7in2とを有する。制御部７は、クロック信号Sclkを基準クロックとする。制御部７は、基準クロックに基づいて撮像装置１１０を動作させる。制御部７が1PPS信号S1ppsをどのように用いるかについては後述する。

　制御部７は、1PPS信号S1ppsに基づいて基準クロックを生成してもよい。この場合には、制御部７にクロック信号Sclkを供給しなくてもよい。

　GNSS受信部１６は、GNSS信号に基づいて緯度及び経度を示す緯度経度信号Slaloを生成する。GNSS受信部１６は、クロック信号Sclkと1PPS信号S1ppsと緯度経度信号Slaloとをナビゲーション装置１１５に供給してもよい。

　一例として撮像装置１１０が車両に設置され、車両がナビゲーション装置１１５を搭載している場合には、ナビゲーション装置１１５に供給するクロック信号Sclkと1PPS信号S1ppsと緯度経度信号Slaloとを撮像装置１１０が利用することができる。

　撮像装置１１０は、GNSS受信部１６を備えていなくてもよい。ナビゲーション装置１１５用のGNSS受信部１６から出力される1PPS信号S1pps（及びクロック信号Sclk）を制御部７に供給してもよい。制御部７は、GNSS受信部１６から出力される1PPS信号S1ppsが入力される入力部7in2を備えればよい。

　映像処理部５は、スイッチ５１，５３と、前信号処理部５２と、デモザイク処理部５４とを有する。スイッチ５１，５３は物理的なスイッチであってもよく、前信号処理部５２の動作と不動作とを切り換えるための概念的なスイッチであってもよい。制御部７には、撮像している映像の明るさを検出するために、映像処理部５から映像信号が入力される。

　図５に示すように、前信号処理部５２は、周囲画素加算部５２１と、同一位置画素加算部５２２と、合成部５２３とを有する。

　映像処理部５は、Ｒ，Ｇ，Ｂの３原色データを生成して、映像出力部６に供給する。映像出力部６は、３原色データを所定の形式で図示していない表示部等へと出力する。

　映像出力部６は、Ｒ，Ｇ，Ｂ信号をそのまま出力してもよいし、Ｒ，Ｇ，Ｂ信号を輝度信号と色信号（または色差信号）に変換して出力してもよい。映像出力部６は、コンポジット映像信号を出力してもよい。映像出力部６は、デジタル信号の映像信号を出力してもよいし、Ｄ／Ａ変換器によってアナログ信号に変換した映像信号を出力してもよい。

　以下、通常モードと中間モードと暗視モードとのそれぞれの具体的な動作について説明する。

＜通常モード＞
　通常モードでは、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオフにする。

　撮像部３によって撮像された撮像信号は、Ａ／Ｄ変換器４によってデジタル信号である映像データに変換されて、映像処理部５に入力される。通常モードでは、モード切換部７２は、スイッチ５１，５３を端子Ｔｂに接続するように制御する。

　図６の（ａ）は、撮像部３の露光Ｅｘ１，Ｅｘ２，Ｅｘ３…を示している。実際には露光時間はシャッタスピード等の条件によって変化するが、ここでは露光Ｅｘ１，Ｅｘ２，Ｅｘ３は最大露光時間を示している。

　図６の（ｂ）は、それぞれの映像信号のフレームが得られるタイミングを示している。露光Ｅｘ１の前の図示していない露光に基づいて、所定時間後に映像信号のフレームＦ０が得られる。露光Ｅｘ１に基づいて、所定時間後に映像信号のフレームＦ１が得られる。露光Ｅｘ２に基づいて、所定時間後に映像信号のフレームＦ２が得られる。露光Ｅｘ３以降も同様である。映像信号のフレーム周波数を、例えば３０フレーム／秒とする。

　映像信号のフレーム周波数は、ＮＴＳＣ方式であれば３０フレーム／秒または６０フレーム／秒、ＰＡＬ方式であれば２５フレーム／秒または５０フレーム／秒のように適宜設定すればよい。また、映像信号のフレーム周波数は、映画で使われている２４フレーム／秒であってもよい。

　Ａ／Ｄ変換器４より出力された各フレームの映像データは、スイッチ５１，５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、入力された各フレームの映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

　図７を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図７において、（ａ）は映像データの任意のフレームＦｍを示している。フレームＦｍは、有効映像期間の画素によって構成されたフレームである。映像データの画素数は、例えばＶＧＡ規格では水平６４０画素、垂直４８０画素である。ここでは簡略化のため、フレームＦｍの画素数を大幅に少なくして、フレームＦｍを概念的に示している。

　ベイヤ配列の撮像部３を用いて生成された映像データは、フレームＦｍ内で、Ｒ，Ｇ，Ｂの画素データが混在したデータである。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて算出したＲの補間画素データＲｉを生成する。デモザイク処理部５４は、図７の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームＦｍＲを生成する。

　デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて算出したＧの補間画素データＧｉを生成する。デモザイク処理部５４は、図７の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームＦｍＧを生成する。

　デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて算出したＢの補間画素データＢｉを生成する。デモザイク処理部５４は、図７の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームＦｍＢを生成する。

　デモザイク処理部５４は、Ｒの画素データを補間する際には少なくともＲの画素データを用いればよく、Ｇの画素データを補間する際には少なくともＧの画素データを用いればよく、Ｂの画素データを補間する際には少なくともＢの画素データを用いればよい。デモザイク処理部５４は、補間精度を向上させるために、Ｒ，Ｇ，Ｂの画素データを補間する際に、生成しようとする補間画素データの色とは異なる他の色の画素データを用いてもよい。

　撮像部３には、有効映像期間より外側の画素も存在しているため、フレームＦｍの上下左右端部に位置する画素においても、Ｒ，Ｇ，Ｂの画素データを補間することができる。

　デモザイク処理部５４によって生成されたＲフレームＦｍＲ，ＧフレームＦｍＧ，ＢフレームＦｍＢがＲ，Ｇ，Ｂの３原色データとして出力される。図７では、理解を容易にするため、Ｒ，Ｇ，Ｂの画素データをフレーム単位で説明したが、実際には、Ｒ，Ｇ，Ｂの画素データは画素ごとに順次出力される。

＜中間モード：第１中間モード＞
　中間モード（第１中間モード及び後述する第２中間モード）では、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

　図８の（ａ）は、赤外線投光器９による赤外光の投光の状態を示している。制御部７は、通常モードの１フレーム期間を１／３ずつに分け、例えば投光部９１，９２，９３の順に赤外光を投光させるように制御する。

　図８の（ａ）に示す例では、１フレームの最初の１／３の期間では、波長ＩＲ１（７８０ｎｍ）の赤外光が被写体に照射される。１フレームの次の１／３の期間では、波長ＩＲ２（９４０ｎｍ）の赤外光が被写体に照射される。１フレームの最後の１／３の期間では、波長ＩＲ３（８７０ｎｍ）の赤外光が被写体に照射される。波長ＩＲ１～ＩＲ３の赤外光を投光する順番は任意である。

　図８の（ｂ）に示すように、波長ＩＲ１の赤外光を投光しているタイミングでは、撮像部３はＲ光との相関性が高い露光Ex1Rが行われる。波長ＩＲ２の赤外光を投光しているタイミングでは、撮像部３はＧ光との相関性が高い露光Ex1Gが行われる。波長ＩＲ３の赤外光を投光しているタイミングでは、撮像部３はＢ光との相関性が高い露光Ex1Bが行われる。

　但し、中間モードでは、可視光がわずかに存在する環境下での撮像であるため、可視光と赤外線投光器９より投光された赤外光とが混在した状態である。よって、中間モードにおいては、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、可視光による露光と赤外光による露光とを合わせた露光となる。

　図８の（ｃ）に示すように、露光Ex1R，Ex1G，Ex1Bに基づいて、所定時間後に、露光Ex1Rに対応したフレームF1IR1、露光Ex1Gに対応したフレームF1IR3、露光Ex1Bに対応したフレームF1IR2が得られる。

　また、露光Ex2R，Ex2G，Ex2Bに基づいて、所定時間後に、露光Ex2Rに対応したフレームF2IR1、露光Ex2Gに対応したフレームF2IR3、露光Ex2Bに対応したフレームF2IR2が得られる。露光Ex3R，Ex3G，Ex3B以降も同様である。

　図８の（ｃ）の撮像信号のフレーム周波数は、９０フレーム／秒である。中間モードでは、通常モードにおける映像信号の１フレームを時分割して波長ＩＲ１～ＩＲ３の赤外光を投光するため、通常モードと同じ形式の映像信号を出力するためには、図８の（ｃ）の撮像信号のフレーム周波数は、通常モードにおけるフレーム周波数の３倍となる。

　後述するように、図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）に示す３０フレーム／秒のフレーム周波数を有する映像信号の１フレームが生成される。例えば、フレームF1IR1，F1IR2，F1IR3に基づいてフレームF1IRが生成され、フレームF2IR1，F2IR2，F2IR3に基づいてフレームF2IRが生成される。

　図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）の各フレームの映像信号を生成する中間モードでの動作を具体的に説明する。

　Ａ／Ｄ変換器４より出力された図８の（ｃ）に示す撮像信号に対応する各フレームの映像データは、スイッチ５１を介して前信号処理部５２に入力される。

　図９を用いて、前信号処理部５２における前信号処理について説明する。図９の（ａ）は、波長ＩＲ１の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR1を示している。フレームFmIR1内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ１の赤外光を投光した状態で生成されたことを示す添え字１を付している。

　図９の（ｂ）は、波長ＩＲ２の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR2を示している。フレームFmIR2内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ２の赤外光を投光した状態で生成されたことを示す添え字２を付している。

　図９の（ｃ）は、波長ＩＲ３の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR3を示している。フレームFmIR3内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ３の赤外光を投光した状態で生成されたことを示す添え字３を付している。

　図９の（ａ）に示すフレームFmIR1は、Ｒ光との相関性が高い波長ＩＲ１の赤外光が投光された状態で生成された映像データであるので、Ｒの画素データは投光された赤外光と対応した画素データであり、Ｂ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｂ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

　図９の（ｂ）に示すフレームFmIR2は、Ｇ光との相関性が高い波長ＩＲ２の赤外光が投光された状態で生成された映像データであるので、Ｇの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｂの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

　図９の（ｃ）に示すフレームFmIR3は、Ｂ光との相関性が高い波長ＩＲ３の赤外光が投光された状態で生成された映像データであるので、Ｂの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

　前信号処理部５２内の同一位置画素加算部５２２は、互いに同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データを以下の式（１）～（３）に従って個別に加算して、加算画素データR123，Gr123，Gb123，B123を生成する。中間モードでは、前信号処理部５２内の周囲画素加算部５２１は不動作である。

　R123=ka×R1+kb×R2 +kc×R3　　…（１）
　G123=kd×G1+ke×G2+kf×G3　　…（２）
　B123=kg×B1+kh×B2+ki×B3　　…（３）

　式（１）～（３）において、R1，G1，B1はフレームFmIR1におけるＲ，Ｇ，Ｂの画素データ、R2，G2，B2はフレームFmIR2におけるＲ，Ｇ，Ｂの画素データ、R3，G3，B3はフレームFmIR3におけるＲ，Ｇ，Ｂの画素データである。ka～kiは所定の係数である。式（２）におけるG123はGr123またはGb123である。

　このとき、同一位置画素加算部５２２は、ハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂのそれぞれの画素データに、ハッチングを付した同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データそれぞれを加算する。

　即ち、同一位置画素加算部５２２は、式（１）に基づいて、フレームFmIR1におけるＲの画素データに、フレームFmIR2，FmIR3における同じ画素位置のＲの画素データを加算して、加算画素データR123を生成する。つまり、受光素子における赤色のカラーフィルタに対応する領域の画素データだけを用いて赤色用の加算画素データR123を生成する。

　同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2におけるＧｒ，Ｇｂの画素データに、フレームFmIR1，FmIR3における同じ画素位置のＧｒ，Ｇｂの画素データを加算して、加算画素データG123を生成する。つまり、受光素子における緑色のカラーフィルタに対応する領域の画素データだけを用いて緑色用の加算画素データG123を生成する。

　同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3におけるＢの画素データに、フレームFmIR1，FmIR2における同じ画素位置のＢの画素データを加算して、加算画素データB123を生成する。つまり、受光素子における青色のカラーフィルタに対応する領域の画素データだけを用いて青色用の加算画素データB123を生成する。

　前信号処理部５２内の合成部５２３は、それぞれの画素位置において生成された加算画素データR123，Gr123，Gb123，B123に基づいて、図９の（ｄ）に示す合成映像信号のフレームFmIR123を生成する。

　具体的には、合成部５２３は、フレームFmIR1における加算画素データR123と、フレームFmIR2における加算画素データGr123，Gb123と、フレームFmIR3における加算画素データB123とを選択して合成する。これによって合成部５２３は、合成映像信号のフレームFmIR123を生成する。

　このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、加算画素データR123，Gr123，Gb123，B123を配列させたフレームFmIR123を生成する。

　第１中間モードにおいては、ハッチングを付していない画素データと、ハッチングを付した画素データとを用いて、フレームFmIR123の映像データを生成する。

　同一位置画素加算部５２２によって互いに同じ画素位置の画素データを加算するのは、次の理由による。中間モードではわずかではあるものの可視光が存在する環境下での撮像であるため、ハッチングを付した画素データは可視光による露光に基づくそれぞれの色の成分を含む。よって、同じ画素位置の画素データを加算することによって、それぞれの色の感度を上げることができる。

　可視光と赤外光とが混在している状況で可視光が比較的多ければ、可視光による露光が支配的となる。この場合、フレームFmIR123の映像データは、可視光によって露光した映像信号に基づく成分が主となる。可視光と赤外光とが混在している状況で赤外光が比較的多ければ、赤外光による露光が支配的となる。この場合、フレームFmIR123の映像データは、赤外光によって露光した映像信号に基づく成分が主となる。

　可視光が比較的少ない場合には、式（１）において、係数ka，kb，kcの大小関係を、ka>kb，kcとし、式（２）において、係数kd，ke，kfの大小関係を、kf>kd，keとし、式（３）において、係数kg，kh，kiの大小関係を、kh>kg，kiとするのがよい。これは、波長ＩＲ１はＲ光との相関性が高く、波長ＩＲ２はＧ光との相関性が高く、波長ＩＲ３はＢ光との相関性が高いからである。

　このようにすれば、Ｒの画素データではフレームFmIR1におけるＲの画素データ、Ｇの画素データではフレームFmIR2におけるＧの画素データ、Ｂの画素データではフレームFmIR3におけるＢの画素データを主とすることができる。

　前信号処理部５２より出力されたフレームFmIR123の映像データは、スイッチ５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、通常モードと同様に、入力されたフレームFmIR123の映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

　図１０を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１０の（ａ）は、フレームFmIR123を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123iを生成する。デモザイク処理部５４は、図１０の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123Rを生成する。

　デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123iを生成する。デモザイク処理部５４は、図１０の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123Gを生成する。

　デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123iを生成する。デモザイク処理部５４は、図１０の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123Bを生成する。

　通常モードにおける図７に示すデモザイク処理部５４の動作と、中間モードにおける図１０に示すデモザイク処理部５４の動作とを比較すれば分かるように、両者は実質的に同じである。デモザイク処理部５４の動作は、通常モードであっても中間モードであっても変わらない。

　通常モードでは前信号処理部５２を不動作とし、中間モードでは、周囲画素加算部５２１を除き、前信号処理部５２を動作させればよい。通常モードと中間モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

＜中間モード：第２中間モード＞
　図１１及び図１２を用いて、第２中間モードにおける動作を説明する。第２中間モードにおける動作において、第１中間モードにおける動作と同一部分は説明を省略する。図１１の（ａ）～（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）～（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。

　合成部５２３は、フレームFmIR1におけるＲの画素データであるR1と、フレームFmIR2におけるＧの画素データであるGr2，Gb2と、フレームFmIR3におけるＢの画素データであるB3とを選択して合成する。これによって合成部５２３は、図１１の（ｄ）に示す合成映像信号のフレームFmIR123’を生成する。

　即ち、フレームFmIR123’は、フレームFmIR1，FmIR3，FmIR2におけるハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂの画素データを１フレームに集結させた映像データである。

　つまり、フレームFmIR123’においては、波長ＩＲ１の赤外光を投光した状態における赤色のカラーフィルタに対応する領域の画素データだけを用いた赤色用の画素データ、波長ＩＲ２の赤外光を投光した状態における緑色のカラーフィルタに対応する領域の画素データだけを用いた緑色用の画素データ、波長ＩＲ３の赤外光を投光した状態における青色のカラーフィルタに対応する領域の画素データだけを用いた青色用の画素データとなっている。

　このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1，Gr2，Gb2，B3を配列させたフレームFmIR123’を生成する。

　第２中間モードでは、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

　これによって、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データは、それぞれそのままの値となる。

　よって、合成部５２３は、第１中間モードにおける動作と同様に、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データを選択すれば、フレームFmIR123’を生成することができる。

　第２中間モードにおいては、前信号処理部５２は、画素データの色と同じ色の画素データを生成するための赤外光が投光された状態で生成された画素データ（ハッチングを付していない画素データ）のみ用いて、フレームFmIR123’の映像データを生成する。

　第２中間モードによれば、第１中間モードよりも感度や色の再現性は低下するものの、演算処理を簡略化したり、フレームメモリを削減したりすることができる。

　図１２を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１２の（ａ）は、フレームFmIR123’を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データＲ１ｉを生成する。デモザイク処理部５４は、図１２の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’Rを生成する。

　デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データＧ２ｉを生成する。デモザイク処理部５４は、図１２の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’Gを生成する。

　デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データＢ３ｉを生成する。デモザイク処理部５４は、図１２の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’Bを生成する。

　以上のように、中間モードにおいては、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成し、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成し、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成する。

＜暗視モード：第１暗視モード＞
　暗視モード（第１暗視モード及び後述する第２暗視モード）では、中間モードと同様、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

　暗視モードにおける概略的な動作は、図８と同じである。但し、暗視モードでは、可視光がほとんど存在しない環境下での撮像であるため、図８の（ｂ）における露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、赤外光のみによる露光を想定している。

　可視光がほとんど存在せず赤外光のみが存在している環境下では、カラーフィルタ３２におけるそれぞれのフィルタエレメントの特性には差がなくなるため、撮像部３を単色の撮像素子とみなすことができる。

　そこで、前信号処理部５２内の周囲画素加算部５２１は、暗視モードでは、赤外光の感度を向上させるために、それぞれの画素データに対して、周囲に位置する画素データを加算する。

　具体的には、図１３の（ａ）に示すように、Ｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＲの画素データに対して周囲に位置するＧ及びＢの８画素の画素データを加算する。

　つまり、中間モードのときは、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから赤色用の画素データを生成することとなる。図１３の例では、各色とも注目画素を含む９画素分の領域から得た画素データを用いている。

　図１３の（ｂ）に示すように、Ｇの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧの画素データに対して周囲に位置するＲ，Ｇ，Ｂの８画素の画素データを加算する。図１３の（ｂ）における注目画素のＧはＧｂの画素であり、周囲に位置するＧはＧｒの画素である。図示を省略しているが、注目画素がＧｒの画素の場合も同様である。

　つまり、中間モードのときは、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから緑色用の画素データを生成することとなる。

　図１３の（ｃ）に示すように、Ｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＢの画素データに対して周囲に位置するＲ及びＧの８画素の画素データを加算する。

　つまり、中間モードのときは、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから青色用の画素データを生成することとなる。

　周囲画素加算部５２１は、注目画素の画素データと周囲の８画素の画素データとの９画素を単純に加算してもよいし、周囲の８画素の画素データに対して所定の重み付けをした上で注目画素の画素データに加算してもよい。

　ところで、ビニングと称される複数の画素をまとめて１つの画素として読み出し可能な撮像素子が存在する。撮像素子３１として、ビニング機能を有する撮像素子を用いる場合には、周囲画素加算部５２１による加算処理ではなく、ビニング機能を有する撮像素子による加算処理を行ってもよい。撮像素子によるビニングは、周囲画素加算部５２１による加算処理と実質的に等価である。

　図１４の（ａ）～（ｃ）のフレームFmIR1，FmIR3，FmIR2は、図９の（ａ）～（ｃ）のフレームFmIR1，FmIR3，FmIR2と同じである。図１４の（ｄ）～（ｆ）において、R1ad，Gr1ad，Gb1ad，B1ad，R2ad，Gr2ad，Gb2ad，B2ad，R3ad，Gr3ad，Gb3ad，B3adは、それぞれ、Ｒ，Ｇｒ，Ｇｂ，Ｂの画素データに対して周囲の８画素の画素データを加算した加算画素データである。

　周囲画素加算部５２１は、フレームFmIR1，FmIR3，FmIR2のそれぞれの画素データに対して図１３に示す加算処理を施すことにより、図１４の（ｄ）～（ｆ）に示すフレームFmIR1ad，FmIR2ad，FmIR3adを生成する。

　図１５の（ａ）～（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１４の（ｄ）～（ｆ）のフレームFmIR1ad，FmIR2ad，FmIR3adと同じである。

　同一位置画素加算部５２２は、第１中間モードと同様に、式（１）に基づいて、フレームFmIR1adにおけるR1adの画素データに、フレームFmIR2ad，FmIR3adにおける同じ画素位置のR2ad，R3adの画素データを加算して、加算画素データR123adを生成する。

　同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2adにおけるGr2ad，Gb2adの画素データに、フレームFmIR1ad，FmIR3adにおける同じ画素位置のGr1ad，Gb1ad，Gr3ad，Gb3adの画素データを加算して、加算画素データGr123ad，Gb123adを生成する。

　同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3adにおけるB3adの画素データに、フレームFmIR1ad，FmIR2adにおける同じ画素位置のB1ad，B2adの画素データを加算して、加算画素データB123adを生成する。

　合成部５２３は、第１中間モードと同様に、フレームFmIR1adにおける加算画素データR123adと、フレームFmIR2adにおける加算画素データGr123ad，Gb123adと、フレームFmIR3adにおける加算画素データB123adとを選択して合成する。これによって合成部５２３は、図１５の（ｄ）に示す合成映像信号のフレームFmIR123adを生成する。

　合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、加算画素データR123ad，Gr123ad，Gb123ad，B123adを配列させたフレームFmIR123adを生成する。

　図１６の（ａ）はフレームFmIR123adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123adiを生成する。デモザイク処理部５４は、図１６の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123adRを生成する。

　デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123adiを生成する。デモザイク処理部５４は、図１６の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123adGを生成する。

　デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123adiを生成する。デモザイク処理部５４は、図１６の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123adBを生成する。

　第１中間モードと第１暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。モード切換部７２は、暗視モードのとき、周囲画素加算部５２１を動作させればよい。

　暗視モードにおけるデモザイク処理部５４の動作は、通常モード及び中間モードにおけるデモザイク処理部５４の動作と実質的に同じである。通常モードと中間モードと暗視モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

＜暗視モード：第２暗視モード＞
　図１７及び図１８を用いて、第２暗視モードにおける動作を説明する。第２暗視モードにおける動作において、第１暗視モードにおける動作と同一部分は説明を省略する。図１７の（ａ）～（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１５の（ａ）～（ｃ）のFmIR1ad，FmIR2ad，FmIR3adと同じである。

　合成部５２３は、フレームFmIR1adにおけるＲの画素データであるR1adと、フレームFmIR2におけるＧの画素データであるGr2ad，Gb2adと、フレームFmIR3におけるＢの画素データであるB3adとを選択して合成する。これによって合成部５２３は、図１７の（ｄ）に示す合成映像信号のフレームFmIR123’adを生成する。

　合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、加算画素データR1ad，Gr2ad，Gb2ad，B3adを配列させたフレームFmIR123’adを生成する。

　なお、図１３を用いて説明したように、フレームFmIR123’adにおける赤色用の加算画素データR1adは、中間モードのときに赤色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

　また、フレームFmIR123’adにおける緑色用の加算画素データGr2adは、中間モードのときに緑色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

　さらに、フレームFmIR123’adにおける青色用の加算画素データB3adは、中間モードのときに青色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

　第２暗視モードでは、第２中間モードと同様に、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

　これによって、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データは、それぞれそのままの値となる。

　よって、合成部５２３は、第１暗視モードにおける動作と同様に、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データを選択すれば、フレームFmIR123’adを生成することができる。

　図１８を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１８の（ａ）は、フレームFmIR123’adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のR1adの画素データを用いて演算して、Ｒの補間画素データR1adiを生成する。デモザイク処理部５４は、図１８の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’adRを生成する。

　デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のGr2ad，Gb2adの画素データを用いて演算して、Ｇの補間画素データG2adiを生成する。デモザイク処理部５４は、補間して、図１８の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’adGを生成する。

　デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のB3adの画素データを用いて算出したＢの補間画素データB3adiを生成する。デモザイク処理部５４は、図１８の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’adBを生成する。

　第２中間モードと第２暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。

　また、中間モードにおいては、受光素子における各色に対応する領域から得た画素データそれぞれから各色用の画素データを生成していたが、暗視モードにおいては、周囲画素を加算するため、中間モードにおける各色用の画素データを生成するための領域それぞれよりも広い領域から得た画素データから各色用の画素データを生成するとも言える。

＜モード切換の例＞
　図１９を用いて、モード切換部７２によるモード切換の例を説明する。図１９の（ａ）は、一例として、昼間の時間帯から夜の時間帯へと時間が経過していくとき、周囲環境の明るさが変化していく様子を概略的に示している。

　図１９の（ａ）に示すように、昼間から夕刻へと時間が経過していくに従って明るさが低下していき、時刻ｔ３以降、ほぼ真っ暗の状態となる。図１９の（ａ）に示す明るさは実質的に可視光の量を示しており、時刻ｔ３以降、可視光がほとんどない状態である。

　制御部７は、映像処理部５から入力される映像信号（映像データ）の輝度レベルに基づいて周囲環境の明るさを判断することができる。図１９の（ｂ）に示すように、モード切換部７２は、明るさが所定の閾値Th1（第１の閾値）以上であるとき通常モードとし、明るさが閾値Th1未満で所定の閾値Th2（第２の閾値）以上であるとき中間モード、閾値Th2未満であるとき暗視モードとする。

　本実施形態の撮像装置１１０は、明るさが閾値Th1となる時刻ｔ１までは通常モード、時刻ｔ１から明るさが閾値Th2となる時刻ｔ２まで中間モード、時刻ｔ２以降は暗視モードに、モードを自動的に切り換える。図１９の（ｂ）において、中間モードは第１中間モードと第２中間モードとのいずれでもよく、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

　図１９の（ａ）では可視光がほとんどなくなる時刻ｔ３の直前の明るさを閾値Th2としているが、時刻ｔ３の明るさを閾値Th2としてもよい。

　図１９の（ｃ）に示すように、モード切換部７２は、中間モードの期間で、可視光が比較的多い時刻ｔ１側の期間を第１中間モード、可視光が比較的少ない時刻ｔ２側の期間を第２中間モードとしてもよい。図１９の（ｃ）において、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

　本実施形態の撮像装置１１０は、投光制御部７１が赤外線投光器９のオン・オフを制御し、モード切換部７２が映像処理部５内の各部の動作・不動作を切り換えることにより、それぞれのモードを実現することができる。

　図２０に示すように、通常モードは、赤外線投光器９がオフ、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３がいずれも不動作、デモザイク処理部５４が動作の状態である。

　第１中間モードは、赤外線投光器９がオン、周囲画素加算部５２１が不動作、同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４とが動作の状態である。第２中間モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２とが不動作、合成部５２３とデモザイク処理部５４とが動作の状態である。

　同一位置画素加算部５２２における動作と不動作とは、前述のように、式（１）～（３）の係数ka～kiの値を適宜に設定することによって容易に切り換えることができる。

　第１暗視モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４との全てが動作の状態である。第２暗視モードは、赤外線投光器９がオン、同一位置画素加算部５２２が不動作、周囲画素加算部５２１と合成部５２３とデモザイク処理部５４とが動作の状態である。

　ところで、周囲画素加算部５２１は、注目画素の画素データに対して周囲の画素データを加算するための計算式において、周囲の画素データに乗じる係数を、０を超える係数（例えば１）とすれば、周囲画素の加算処理を動作の状態とすることができる。

　また、周囲画素加算部５２１は、その計算式において、周囲の画素データに乗じる係数を０とすれば、周囲画素の加算処理を不動作の状態とすることができる。

　周囲画素加算部５２１における動作と不動作も、係数の値を適宜に設定することによって容易に切り換えることができる。

＜撮像装置の第１の変形例＞
　制御部７が周囲環境の明るさを検出する方法は、映像信号の輝度レベルに基づく方法に限定されない。

　図２１に示すように、明るさセンサ１１によって周囲環境の明るさを検出してもよい。図２１において、映像信号の輝度レベルと明るさセンサ１１によって検出した明るさとの双方に基づいて、周囲環境の明るさを判断してもよい。

＜撮像装置の第２の変形例＞
　制御部７は、周囲環境の明るさを直接的に検出せず、１年間における時期（日にち）及び時刻（時間帯）に基づいて周囲環境の明るさを概略的に想定して、モード切換部７２が各モードに切り換えるようにしてもよい。

　図２２に示すように、モード設定テーブル１２には、日にちと時間帯との組み合わせに対応して、通常モードと中間モードと暗視モードとのいずれかが設定されている。制御部７内の時計７３は、日にちと時刻を管理している。制御部７は、時計７３が示す日にちと時刻とを参照して、モード設定テーブル１２より設定されているモードを読み出す。

　投光制御部７１とモード切換部７２は、モード設定テーブル１２より読み出されたモードとなるように、撮像装置を制御する。

＜撮像装置の第３の変形例＞
　図２３に示すように、操作部１３によってユーザがモードを手動で選択して、投光制御部７１とモード切換部７２が選択されたモードとなるように撮像装置を制御してもよい。操作部１３は、撮像装置の筐体に設けられている操作ボタンであってもよく、リモートコントローラであってもよい。

＜映像信号処理方法＞
　図２４を用いて、図１に示す撮像装置１１０で実行される映像信号処理方法を改めて説明する。

　図２４において、撮像装置が動作を開始すると、制御部７は、ステップＳ１にて、周囲環境の明るさが閾値Th1以上であるか否かを判定する。閾値Th1以上であれば（YES）、制御部７は、ステップＳ３にて、通常モードでの処理を実行させる。閾値Th1以上でなければ（NO）、制御部７は、ステップＳ２にて、周囲環境の明るさが閾値Th2以上であるか否かを判定する。

　閾値Th2以上であれば（YES）、制御部７は、ステップＳ４にて、中間モードでの処理を実行させる。閾値Th2以上でなければ（NO）、制御部７は、ステップＳ５にて、暗視モードでの処理を実行させる。

　制御部７は、ステップＳ３～Ｓ５の後、処理をステップＳ１に戻し、ステップＳ１以降を繰り返す。

　図２５は、ステップＳ３の通常モードの具体的な処理を示す。図２５において、制御部７（投光制御部７１）は、ステップＳ３１にて、赤外線投光器９をオフにする。制御部７は、ステップＳ３２にて、赤外線カットフィルタ２１を挿入する。制御部７（モード切換部７２）は、ステップＳ３３にて、スイッチ５１，５３を端子Ｔｂに接続させる。ステップＳ３１～Ｓ３３の順番は任意であり、同時であってもよい。

　制御部７は、ステップＳ３４にて、撮像部３によって被写体を撮像させる。制御部７は、ステップＳ３５にて、撮像部３が被写体を撮像することよって生成した映像信号を構成するフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

　図２６は、ステップＳ４の中間モードの具体的な処理を示す。図２６において、制御部７（投光制御部７１）は、ステップＳ４１にて、投光部９１～９３より波長ＩＲ１～ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

　制御部７は、ステップＳ４２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ４３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ４１～Ｓ４３の順番は任意であり、同時であってもよい。

　制御部７は、ステップＳ４４にて、撮像部３によって被写体を撮像させる。撮像部３は、Ｒに対応付けられた波長ＩＲ１の赤外光と、Ｇに対応付けられた波長ＩＲ２の赤外光と、Ｂに対応付けられた波長ＩＲ３の赤外光とがそれぞれ投光されている状態で被写体を撮像する。

制御部７（モード切換部７２）は、ステップＳ４５にて、周囲画素加算部５２１を不動作とし、合成部５２３を動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

　波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光がそれぞれ投光されている状態で撮像部３が被写体を撮像することよって生成された映像信号を構成するフレームを第１のフレーム，第２のフレーム，第３のフレームとする。

　合成部５２３は、第１のフレーム内のＲの画素データと、第２のフレーム内のＧの画素データと、第３のフレーム内のＢの画素データとに基づく３原色の画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させる。合成部５２３は、このようにして第１～第３のフレームを１フレームに合成した合成映像信号を生成する。

　制御部７は、ステップＳ４６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

　デモザイク処理部５４は、合成映像信号のフレームに基づいて、Ｒのフレームと、Ｇのフレームと、Ｂのフレームとを生成するデモザイク処理を施して、デモザイク処理された３原色のフレームを順次生成する。

　デモザイク処理部５４は、Ｒの画素データが存在しない画素位置にＲの画素データを補間することによって、Ｒのフレームを生成することができる。デモザイク処理部５４は、Ｇの画素データが存在しない画素位置にＧの画素データを補間することによって、Ｇのフレームを生成することができる。デモザイク処理部５４は、Ｂの画素データが存在しない画素位置にＢの画素データを補間することによって、Ｂのフレームを生成することができる。

　第１中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を動作させ、第２中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を不動作とすればよい。

　図２７は、ステップＳ５の暗視モードの具体的な処理を示す。図２７において、制御部７（投光制御部７１）は、ステップＳ５１にて、投光部９１～９３より波長ＩＲ１～ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

　制御部７は、ステップＳ５２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ５３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ５１～Ｓ５３の順番は任意であり、同時であってもよい。

　制御部７は、ステップＳ５４にて、撮像部３によって被写体を撮像させる。制御部７（モード切換部７２）は、ステップＳ５５にて、周囲画素加算部５２１と合成部５２３とを動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

　制御部７は、ステップＳ５６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

　第１暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を動作させ、第２暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を不動作とすればよい。

＜映像信号処理プログラム＞
　図１において、制御部７、または、映像処理部５と制御部７との一体化部分をコンピュータ（マイクロコンピュータ）で構成し、映像信号処理プログラム（コンピュータプログラム）をコンピュータで実行させることによって、上述した撮像装置１１０と同様の動作を実現させることも可能である。

　図２８を用いて、図２４のステップＳ４である中間モードにおける制御を映像信号処理プログラムで構成した場合にコンピュータに実行させる手順の例を説明する。図２８は、映像信号処理プログラムがコンピュータに実行させる処理を示す。

　図２８において、映像信号処理プログラムは、ステップS401にて、コンピュータに、Ｒ，Ｇ，Ｂに対応付けられた波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光をそれぞれ投光するように赤外線投光器９を制御する処理を実行させる。

　ステップS401に示す処理を映像信号処理プログラムの外部にて実行させてもよい。図２８では、ダミーガラス２２を挿入させる処理を省略している。ダミーガラス２２を挿入させる処理も映像信号処理プログラムの外部にて実行させてもよい。

　映像信号処理プログラムは、ステップS402にて、コンピュータに、波長ＩＲ１の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第１のフレームを構成する画素データを取得する処理を実行させる。

　映像信号処理プログラムは、ステップS403にて、コンピュータに、波長ＩＲ２の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第２のフレームを構成する画素データを取得する処理を実行させる。

　映像信号処理プログラムは、ステップS404にて、コンピュータに、波長ＩＲ３の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第３のフレームを構成する画素データを取得する処理を実行させる。ステップS402～S404の順番は任意である。

　映像信号処理プログラムは、ステップS405にて、コンピュータに、Ｒ，Ｇ，Ｂの画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させて、１フレームに合成した合成映像信号を生成する処理を実行させる。

　中間モードでは、映像信号処理プログラムは、ステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させない。

　映像信号処理プログラムは、ステップS406にて、コンピュータに、合成映像信号のフレームにデモザイク処理を施して、Ｒ，Ｇ，Ｂのフレームを生成する処理を実行させる。

　図示は省略するが、図２４のステップＳ５である暗視モードにおける制御を映像信号処理プログラムで構成する場合には、図２８のステップS405にて、コンピュータに、周囲画素の加算処理の処理を実行させればよい。

　映像信号処理プログラムは、コンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムであってよい。映像信号処理プログラムが記録媒体に記録された状態で提供されてもよいし、映像信号処理プログラムをコンピュータにダウンロードさせるよう、インターネット等のネットワークを介して提供されてもよい。コンピュータで読み取り可能な記録媒体は、ＣＤ－ＲＯＭ，ＤＶＤ－ＲＯＭ等の非一時的な任意の記録媒体でよい。

　図１のように構成される撮像装置において、例えば、必要に応じて各部を複数設けたりして、中間モードと暗視モードとを同時に実行するようにしてもよい。その場合、映像出力部６が、中間モードによって生成された映像信号と、暗視モードによって生成された映像信号との両方を出力するようにしてもよい。

　また、モード切換部７２は、映像出力部６が中間モードによって生成された映像信号を出力する状態と、映像出力部６が暗視モードによって生成された映像信号を出力する状態とを切り換えるようにしてもよい。その際、前述のように、周囲環境の明るさや時刻等に応じて切り換えてもよい。また、映像処理部５（映像処理装置）を他の各部と別体にしてもよい。

　さらに、中間モードを使用せずに、通常モードから暗視モードに切り換えたり、暗視モードから通常モードに切り換えたりする場合があってもよい。

　中間モードを使用しない場合には、上述した中間モードの使用が適した環境下では、通常モードと暗視モードとのいずれかを選択して使用すればよい。この場合、中間モードを使用する場合と比較して良好なカラー映像信号とはならないが、撮像は可能である。

　しかしながら、通常モードと暗視モードのみを搭載した撮像装置であっても、例えば監視カメラで被写体を終日撮影する場合のような周囲の明るさが変化する状況で、１つの撮像装置で被写体を撮影することができる、という効果を奏する。

　さらにまた、暗視モードを使用せずに、通常モードから中間モードに切り換え、中間モードから通常モードに切り換える場合があってもよい。暗視モードを常時使用しない場合は、暗視モードを搭載しないようにしてもよい。

　電灯がある場所等では暗視モードを使用しなくてもよい場合がある。通常モードと中間モードのみを搭載した撮像装置は、暗視モードを使用しなくてもよい場合に利用できる。

　暗視モードを使用しない場合には、上述した暗視モードの使用が適した環境下では、中間モードを使用すればよい。この場合、暗視モードを使用する場合と比較して良好なカラー映像信号とはならないが、撮像は可能である。

　通常モードと中間モードのみを搭載した撮像装置であっても、同様に、周囲の明るさが変化する状況で、１つの撮像装置で被写体を撮影することができる、という効果を奏する。

＜赤外光投光タイミングの同期方法＞
　次に、図２９に示すように、例えば２台の撮像装置１１０によって被写体ＳＢ１を撮像する撮像システムを構成する場合を考える。

　図２９に示す２台の撮像装置１１０のうちの一方を自己の撮像装置１１０、もう一方を他の撮像装置１１０とする。

　図３０において、（ａ）は自己の撮像装置１１０の赤外線投光器９による赤外光の投光を、（ｃ）は他の撮像装置１１０の赤外線投光器９による赤外光の投光を示している。２台の撮像装置１１０の赤外線投光器９による赤外光の投光は同期しておらず、１つの波長の赤外光を投光する期間よりも短い期間だけずれているとする。図３０において、（ｂ）は自己の撮像装置１１０による撮像によって生成されるフレームを示している。

　図３０の（ｂ）に示すように、２台の撮像装置１１０の赤外線投光器９による赤外光の投光のタイミングがずれているため、ハッチングを付した期間では、２つの波長の赤外光が混ざった状態となる。よって、ハッチングを付した期間では、色の再現性が損なわれる。

　図３１において、（ａ）は自己の撮像装置１１０の赤外線投光器９による赤外光の投光を、（ｃ）は他の撮像装置１１０の赤外線投光器９による赤外光の投光を示している。２台の撮像装置１１０の赤外線投光器９による赤外光の投光は同期しておらず、１つの波長の赤外光を投光する期間だけずれているとする。図３１において、（ｂ）は自己の撮像装置１１０による撮像によって生成されるフレームを示している。

　図３１の（ｂ）に示すように、２台の撮像装置１１０の赤外線投光器９による赤外光の投光のタイミングが完全にずれているため、全期間で、２つの波長の赤外光が混ざった状態となってしまう。よって、全期間で色の再現性が損なわれる。

　このように、２台の撮像装置１１０の赤外線投光器９が個々に赤外光を投光すると異なる波長の赤外光が混ざってしまい、正しい色再現が可能なカラー映像を撮像することができない。

　２台の撮像装置１１０の赤外線投光器９が波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングを同期させる同期方法について説明する。図２９では、撮像装置１１０を２台としているが、３台以上であってもよい。

　図３２の（ａ）は、協定世界時（ＵＴＣ）を示している。図３２の（ｂ）に示すように、1PPS信号S1ppsはＵＴＣと同期した短いパルスである。1PPS信号S1ppsはＵＴＣに対して±１μ秒程度の精度を有する。

　ここでは、1PPS信号S1ppsの立ち上がりタイミングをＵＴＣの秒のタイミングと一致させているが、1PPS信号S1ppsの立ち上がりタイミングがＵＴＣの秒のタイミングに対して遅れるオフセット時間（第１のオフセット時間）を有していてもよい。

　複数の撮像装置１１０の投光制御部７１は、それぞれ、入力された1PPS信号S1ppsを基準として、赤外線投光器９によって波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を予め定めた時間ごとに予め定めた順番で投光させる。

　予め定めた時間とは、所定の期間（１フレーム期間）を３分割した３つの分割期間における１つの分割期間とすることができる。

　一例として、投光制御部７１は、図３２の（ｃ）に示すように、1PPS信号S1ppsの立ち上がり時に波長ＩＲ１の赤外光を投光させるよう、赤外線投光器９を制御する。

　衛星２００からの電波に基づいて生成される1PPS信号S1ppsを基準として赤外線投光器９による赤外光の投光タイミングを制御すれば、複数の撮像装置１１０それぞれの投光タイミングをほぼ一致させることができる。

　図３２の（ｃ）では1PPS信号S1ppsの立ち上がりタイミングに波長ＩＲ１の赤外光を投光させているが、所定時間のオフセット時間（第２のオフセット時間）を設けてもよい。この場合、複数の撮像装置１１０全てのオフセット時間を共通化する。基準とする赤外光は波長ＩＲ２または波長ＩＲ３の赤外光であってもよい。

　1PPS信号S1ppsの立ち上がりタイミングがＵＴＣの秒のタイミングに対して第１のオフセット時間を有し、赤外光を投光させるタイミングが1PPS信号S1ppsの立ち上がりタイミングに対して第２のオフセット時間を有する場合には、複数の撮像装置１１０全ての第１のオフセット時間と第２のオフセット時間との合計時間を共通化する。

　即ち、複数の撮像装置１１０全てで、ＵＴＣに対する赤外光の投光タイミングを共通化させる。

　以上によって、複数の撮像装置１１０は、それぞれの赤外線投光器９による赤外光の投光タイミングを一致させた状態で同期させることができる。よって、図３０，図３１に示すような問題点は発生しない。

＜撮像システムに用いる撮像装置の制御方法＞
　撮像システムに用いる撮像装置の制御方法は、次のとおりである。

　図３３に示すように、ステップＳ０１にて、衛星２００からの電波に基づいて生成され、ＵＴＣに同期したパルス信号（1PPS信号S1pps）を取得する。ステップＳ０２にて、パルス信号に基づいて、赤外線投光器９によって、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を選択的に投光させる投光タイミングを制御する。

　ステップＳ０３にて、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光が選択的に投光されている状態で被写体を撮像する。

　ステップＳ０１～Ｓ０３は、撮像装置１１０が赤外光投光モードで動作しているとき繰り返される。なお、パルス信号に基づいて赤外光の投光タイミングを制御するのは、撮像装置の起動時の１回だけでもよい。起動後には、クロック信号Sclkに基づいて赤外光の投光タイミングを制御してもよい。

　複数の撮像装置１１０それぞれは、以上の撮像装置の制御方法を実行することによって、個々の赤外線投光器９によって、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を選択的に投光させる投光タイミングを互いに同期させる。

＜撮像装置の制御プログラム＞
　それぞれの撮像装置１１０に搭載されているコンピュータに実行させる撮像装置の制御プログラムは、次のとおりである。

　図３３において、制御プログラムは、ステップＳ０１にて、コンピュータに、ＵＴＣに同期したパルス信号（1PPS信号S1pps）を取得する処理を実行させる。制御プログラムは、ステップＳ０２にて、コンピュータに、パルス信号に基づいて、赤外線投光器９によって、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を選択的に投光させる投光タイミングを制御する処理を実行させる。

　制御プログラムは、ステップＳ０３にて、コンピュータに、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光が選択的に投光されている状態で被写体を撮像するよう撮像部３を制御する処理を実行させる。

　コンピュータは、撮像装置１１０が赤外光投光モードで動作しているとき、ステップＳ０１～Ｓ０３の処理を繰り返し実行させる。コンピュータは、撮像装置の起動時の１回のみ、パルス信号に基づいて赤外光の投光タイミングを制御する処理を実行させてもよい。コンピュータは、起動後には、クロック信号Sclkに基づいて赤外光の投光タイミングを制御する処理を実行させてもよい。

　複数の撮像装置１１０それぞれは、コンピュータに以上の撮像装置の制御プログラムを実行させることによって、個々の赤外線投光器９によって、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を選択的に投光させる投光タイミングを互いに同期させる。

　本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。例えば、図１に示す撮像装置１１０において、赤外線投光器９を撮像装置１１０の筐体と着脱自在にしてもよい。赤外線投光器９を、撮像装置１１０外部の構成としてもよい。撮像装置１１０は、赤外線投光器９を装着したときに、赤外線投光器９を制御する構成を有すればよい。

　また、本発明は以上説明した本実施形態に限定されるものではなく、赤外光を用いた他の撮像技術にも適用可能である。さらに、制御部７や映像処理部５は、１または複数のハードウェアのプロセッサを用いて実現することができる。

　本発明の撮像装置、撮像装置の制御方法及び制御プログラムは、可視光が少ない環境下被写体を監視する監視カメラに利用できる。

Claims (6)

1. 　全地球航法衛星システム用の衛星からの電波に基づいて生成されたパルス信号が入力される入力部と、
   　前記パルス信号に基づいて、赤外線投光器に赤外光を投光させる投光タイミングを制御する投光制御部と、
   　赤外光が投光されている状態で被写体を撮像する撮像部と、
   　を備えることを特徴とする撮像装置。
2. 　前記パルス信号は協定世界時に同期した信号であることを特徴とする請求項１記載の撮像装置。
3. 　前記投光制御部は、前記パルス信号に基づいて、赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを選択的に投光させる投光タイミングを制御し、
   　前記撮像部は、前記第１～第３の赤外光が選択的に投光されている状態で被写体を撮像する、
   　ことを特徴とする請求項１または２に記載の撮像装置。
4. 　前記パルス信号は1PPS信号であることを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
5. 　全地球航法衛星システム用の衛星からの電波に基づいて生成されたパルス信号に基づいて、赤外線投光器に赤外光を投光させる投光タイミングを制御し、
   　赤外光が投光されている状態で被写体を撮像する、
   　ことを特徴とする撮像装置の制御方法。
6. 　撮像装置に搭載されているコンピュータに、
   　全地球航法衛星システム用の衛星からの電波に基づいて生成されたパルス信号を取得するステップと、
   　前記パルス信号に基づいて、赤外線投光器に赤外光を投光させる投光タイミングを制御するステップと、
   　赤外光が投光されている状態で被写体を撮像するよう撮像部を制御するステップと、
   　を実行させることを特徴とする撮像装置の制御プログラム。

Images