JP6264029B2 - 撮像装置、撮像装置の制御方法及び制御プログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法及び制御プログラムに関する。

従来、例えば夜間等の可視光がほとんどない環境下において被写体を撮像するために、赤外線投光器によって被写体に赤外光を照射し、被写体から反射した赤外光を撮像する方法が用いられている。この方法は、可視光を照射するライトを用いることができない場合に有効な撮像方法である。

しかしながら、この撮像方法によって被写体を撮像した映像は、モノクロ映像となる。モノクロ映像では物体の識別が困難となることがある。可視光がない環境下でもカラー映像を撮像することができれば、物体の識別性を向上させることができる。例えば監視カメラでは、物体の識別性を向上させるために、可視光がない環境下でもカラー映像を撮像することが望まれる。

特許文献１には、可視光がない環境下でもカラー映像を撮像することができる撮像装置が記載されている。特許文献１に記載されている撮像装置においても、赤外線投光器が用いられる。監視カメラに特許文献１に記載の技術を搭載すれば、被写体をカラー映像化して物体の識別性を向上させることが可能となる。

特開２０１１−５００４９号公報

１台の撮像装置で、可視光が存在する環境下での通常の撮像と、可視光が少ない環境下での赤外線投光器を用いた暗視撮像との双方を可能とすることが望まれる。撮像装置が赤外線投光器を使用せず通常の撮像を実行するモードを通常モード、撮像装置が赤外線投光器によって赤外光を投光している状態で撮像を実行するモードを赤外光投光モードと称することとする。

撮像装置が通常モードと赤外光投光モードとの２つの撮像モードを搭載する場合、通常モード（第１のモード）から赤外光投光モード（第２のモード）へ、赤外光投光モード（第２のモード）から通常モード（第１のモード）へと、映像の乱れが発生せず映像が切り換えられるのがよい。

本発明は、可視光が存在する環境下で赤外光を投光しない状態で被写体を撮像する第１のモードと、可視光が少ない環境下で、赤外光を投光しながら被写体を撮像する第２のモードとを、映像の乱れが発生せず映像を切り換えることができる撮像装置、撮像装置の制御方法及び制御プログラムを提供することを目的とする。

本発明は、被写体を撮像する撮像部と、前記撮像部より出力された撮像信号に基づいて第１の映像信号を生成する映像処理部と、前記第１の映像信号に基づいて所定の信号方式の第２の映像信号を生成して出力する映像出力部とを備え、前記撮像部は、第１のモードでは、前記第２の映像信号のそれぞれの１フレーム期間に対応させて露光して被写体を撮像し、第２のモードでは、前記第２の映像信号のそれぞれの１フレーム期間を３つの区間に分割した各区間で、互いに異なる撮像条件として、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態とのそれぞれで露光して被写体を撮像し、前記映像処理部は、前記第１のモードでは、１フレーム期間に対応させた露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成し、前記第２のモードでは、前記各区間の露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成し、前記映像出力部は、前記第２の映像信号を、前記第１のモードと前記第２のモードとで共通の信号方式とし、前記第２の映像信号のフレームを連続的に出力することを特徴とする撮像装置を提供する。

また、本発明は、撮像装置の撮像部によって被写体を撮像させ、前記撮像部が被写体を撮像した撮像信号に基づいて第１の映像信号を生成させ、前記第１の映像信号に基づいて所定の信号方式の第２の映像信号を生成させ、前記撮像装置を第１のモードに設定したとき、前記撮像部によって、前記第２の映像信号のそれぞれの１フレーム期間に対応させて露光して被写体を撮像させ、１フレーム期間に対応させた露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成させ、前記撮像装置を第２のモードに設定したとき、前記撮像部によって、前記第２の映像信号のそれぞれの１フレーム期間を３つの区間に分割した各区間で、互いに異なる撮像条件として、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態とのそれぞれで露光して被写体を撮像させ、前記各区間の露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成させ、前記第２の映像信号を、前記第１のモードと前記第２のモードとで共通の信号方式かつ同じ水平及び垂直周波数とし、前記第２の映像信号のフレームを連続的に出力させることを特徴とする撮像装置の制御方法を提供する。

さらに、本発明は、撮像装置に搭載されているコンピュータに、前記撮像装置の撮像部によって被写体を撮像する第１のステップと、前記撮像部が被写体を撮像した撮像信号に基づいて第１の映像信号を生成する第２のステップと、前記第１の映像信号に基づいて所定の信号方式の第２の映像信号を生成する第３のステップとを実行させ、前記撮像装置を第１のモードに設定したとき、前記第１のステップとして、前記撮像部によって、前記第２の映像信号のそれぞれの１フレーム期間に対応させて露光して被写体を撮像するステップと、前記第２のステップとして、１フレーム期間に対応させた露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成するステップとを実行させ、前記撮像装置を第２のモードに設定したとき、前記第１のステップとして、前記撮像部によって、前記第２の映像信号のそれぞれの１フレーム期間を３つの区間に分割した各区間で、互いに異なる撮像条件として、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態とのそれぞれで露光して被写体を撮像するステップと、前記第２のステップとして、前記各区間の露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成するステップとを実行させ、前記撮像装置を前記第１のモードから前記第２のモードに移行させたとき、及び、前記第２のモードから前記第１のモードに移行させたとき、前記第３のステップとして、前記第２の映像信号を、前記第１のモードと前記第２のモードとで共通の信号方式かつ同じ水平及び垂直周波数とし、前記第２の映像信号のフレームを連続的に出力するステップを実行させることを特徴とする撮像装置の制御プログラムを提供する。

本発明の撮像装置、撮像装置の制御方法及び制御プログラムによれば、可視光が存在する環境下で赤外光を投光しない状態で被写体を撮像する第１のモードと、可視光が少ない環境下で、赤外光を投光しながら被写体を撮像する第２のモードとを、映像の乱れが発生せず映像を切り換えることができる。

一実施形態の撮像装置の全体的な構成を示すブロック図である。 一実施形態の撮像装置に用いられるカラーフィルタにおける色フィルタの配列の一例を示す図である。 一実施形態の撮像装置を構成する撮像部における３原色光の波長と相対感度との分光感度特性を示す特性図である。 所定の物質からの３原色光の反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示す特性図である。 図１中の撮像素子３１の具体的な構成例を示すブロック図である。 図５に示す撮像素子３１の露光及び撮像信号の読み出しの動作を説明するための図である。 図１中の前信号処理部５２の具体的な構成例を示すブロック図である。 一実施形態の撮像装置が通常モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が中間モード及び暗視モードで動作しているときの露光と映像信号のフレームとの関係を概略的に示す図である。 一実施形態の撮像装置が中間第１モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が中間第１モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が中間第２モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が中間第２モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が暗視モードで動作しているときの周囲画素の加算処理を説明するための図である。 周囲画素の加算処理が施されたフレームを示す図である。 一実施形態の撮像装置が暗視第１モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が暗視第１モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が暗視第２モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が暗視第２モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置におけるモード切換の例を説明するための図である。 一実施形態の撮像装置がそれぞれのモードに設定されているときの各部の状態を示す図である。 一実施形態の撮像装置の第１の変形例を示す部分ブロック図である。 一実施形態の撮像装置の第２の変形例を示す部分ブロック図である。 一実施形態の撮像装置の第３の変形例を示す部分ブロック図である。 一実施形態の撮像装置で実行される映像信号処理方法を示すフローチャートである。 図２５におけるステップＳ３に示す通常モードの具体的な処理を示すフローチャートである。 図２５におけるステップＳ４の中間モードの具体的な処理を示すフローチャートである。 図２５におけるステップＳ５の暗視モードの具体的な処理を示すフローチャートである。 一実施形態の撮像装置内に記憶されている映像信号処理プログラムがコンピュータに実行させる処理を示すフローチャートである。 通常モードと赤外光投光モードとのモード切換方法の第１の例のシーケンスを示す図である。 通常モードと赤外光投光モードとのモード切換方法の第１の例のシーケンスを示す図である。 通常モードと赤外光投光モードとのモード切換方法の第２の例のシーケンスを示す図である。 通常モードと赤外光投光モードとのモード切換方法の第２の例のシーケンスを示す図である。 通常モードと赤外光投光モードとのモード切換方法の第３の例のシーケンスを示す図である。 通常モードと赤外光投光モードとのモード切換方法の第３の例のシーケンスを示す図である。

以下、一実施形態の撮像装置、撮像装置の制御方法及び制御プログラムについて、添付図面を参照して説明する。

＜撮像装置の構成＞
まず、図１を用いて、一実施形態の撮像装置の全体的な構成について説明する。図１に示す一実施形態の撮像装置は、昼間等の可視光が十分に存在する環境下に適した通常モードと、夜間等の可視光がほとんどない環境下に適した暗視モードと、可視光がわずかに存在する環境下に適した中間モードとの３つのモードで撮像可能な撮像装置である。

暗視モードと中間モードとはいずれも可視光が少ない環境下で、赤外線を投光しながら撮像する赤外光投光モードである。赤外光投光モードは暗視モードのみであってもよい。本実施形態では、好ましい構成として、中間モードを含む３つのモードで撮像可能な撮像装置を例とする。

図１において、被写体から反射した一点鎖線にて示す光は、光学レンズ１によって集光される。ここで、光学レンズ１には、可視光が十分に存在する環境下では可視光、可視光がほとんどない環境下では後述する赤外線投光器９より発せられた赤外光を被写体が反射した赤外光が入射される。

可視光がわずかに存在する環境下では、光学レンズ１には、可視光と赤外線投光器９より発せられた赤外光を被写体が反射した赤外光とが混在した光が入射される。

図１では簡略化のため、光学レンズ１を１つのみとしているが、実際には、撮像装置は複数の光学レンズを備える。

光学レンズ１と撮像部３との間には、光学フィルタ２が設けられている。光学フィルタ２は、赤外線カットフィルタ２１とダミーガラス２２との２つの部分を有する。光学フィルタ２は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入した状態と、光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態とのいずれかの状態に駆動される。

撮像部３は、水平方向及び垂直方向に複数の受光素子（画素）が配列した撮像素子３１と、それぞれの受光素子に対応して赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のいずれかの色フィルタが配置されたカラーフィルタ３２とを有する。撮像素子３１は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）でよい。

カラーフィルタ３２には、一例として、図２に示すように、Ｒ，Ｇ，Ｂの色フィルタがベイヤ配列と称される配列で並べられている。ベイヤ配列は、Ｒ，Ｇ，Ｂの色フィルタの所定の配列の一例である。図２において、各行のＲの色フィルタに挟まれたＧの色フィルタをＧｒ、Ｂの色フィルタに挟まれたＧの色フィルタをＧｂとしている。

ベイヤ配列では、Ｒの色フィルタとＧｒの色フィルタとが交互に配置された水平方向の行と、Ｂの色フィルタとＧｂの色フィルタとが交互に配置された水平方向の行とが、垂直方向に交互に配列されている。

図３は、撮像部３におけるＲ光，Ｇ光，Ｂ光の波長と相対感度との分光感度特性を示している。相対感度は、最大値が１に正規化されている。撮像装置を通常モードで動作させるとき、可視光による良好なカラー映像を撮像するには、波長７００ｎｍ以上の赤外光をカットする必要がある。

そこで、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入するように光学フィルタ２を駆動する。

図３より分かるように、撮像部３は、波長７００ｎｍ以上の赤外光の領域においても感度を有する。そこで、撮像装置を中間モードまたは暗視モードで動作させるときには、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間の赤外線カットフィルタ２１を外してダミーガラス２２を挿入するように光学フィルタ２を駆動する。

光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態では、波長７００ｎｍ以上の赤外光はカットされない。よって、撮像装置は、図３に破線の楕円で囲んだ部分の感度を利用して、Ｒ，Ｇ，Ｂの各色情報を得ることが可能となる。ダミーガラス２２を挿入するのは、光路長を、赤外線カットフィルタ２１を挿入した場合の光路長と同じにするためである。

赤外線投光器９は、それぞれ、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する投光部９１，９２，９３を有する。中間モードまたは暗視モードのとき、制御部７内の投光制御部７１は、時分割で投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光させるように制御する。

ところで、撮像素子３１にはシリコンウェハが用いられている。図４は、Ｒ，Ｇ，Ｂそれぞれの色を呈する素材に白色光を照射した場合の各波長における反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示している。図４においても、相対検出率は、最大値が１に正規化されている。

図４に示すように、赤外光の領域において、例えば、波長７８０ｎｍにおける反射光はＲ色を呈する素材の反射光との相関性が高く、波長８７０ｎｍにおける反射光はＢ色を呈する素材の反射光との相関性が高く、波長９４０ｎｍにおける反射光はＧ色を呈する素材の反射光との相関性が高い。

そこで、本実施形態においては、投光部９１，９２，９３が投光する赤外光の波長ＩＲ１，ＩＲ２，ＩＲ３を、７８０ｎｍ，９４０ｎｍ，８７０ｎｍとする。これらの波長は、波長ＩＲ１〜ＩＲ３の一例であり、７８０ｎｍ，９４０ｎｍ，８７０ｎｍ以外でもよい。

投光部９１が波長ＩＲ１の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＲ信号に割り当てる。投光部９３が波長ＩＲ２の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＧ信号に割り当てる。投光部９２が波長ＩＲ３の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＢ信号に割り当てる。

このようにすれば、原理的に、中間モードまたは暗視モードにおいても、通常モードにおいて可視光が存在する環境下で被写体を撮像した場合と同様の色を再現することができる。

色味が被写体の実際の色味と異なるカラー映像となるものの、７８０ｎｍの波長ＩＲ１をＲ光、８７０ｎｍの波長ＩＲ３をＧ光、９４０ｎｍの波長ＩＲ２をＢ光に割り当ててもよい。波長ＩＲ１，ＩＲ２，ＩＲ３をＲ光，Ｇ光，Ｂ光に任意に割り当てることも可能である。

本実施形態においては、被写体の色味を最もよく再現する、波長ＩＲ１，ＩＲ２，ＩＲ３をそれぞれＲ光，Ｇ光，Ｂ光に割り当てることとする。

制御部７は、撮像部３における撮像と、映像処理部５内の各部と、映像出力部６とを制御する。

撮像素子３１がＣＣＤである場合を例として、撮像素子３１の概略的な構成と、制御部７が撮像部３をどのように制御するかについて説明する。

図５に示すように、撮像素子３１は水平方向及び垂直方向に配列した複数の受光素子Ｐｘを備える。撮像素子３１は、垂直方向に並んだ受光素子Ｐｘのそれぞれの列に対応した垂直転送レジスタ３ｖｒと、それぞれの垂直転送レジスタ３ｖｒに接続された水平転送レジスタ３ｈｒとを備える。

水平方向及び垂直方向に配列した複数の受光素子Ｐｘそれぞれに、図２で説明したカラーフィルタ３２のＲ，Ｇ，Ｂの色フィルタが対応付けられている。実際には、図５に示すように、互いに隣り合う受光素子Ｐｘは水平方向及び垂直方向に離間した状態で配置されているが、図２では便宜上、カラーフィルタ３２を互いに隣り合う色フィルタが密着している状態で示している。

図６において、（ａ）は撮像素子３１の受光素子Ｐｘの露光を示している。受光素子Ｐｘの最大露光時間をtExmaxとする。最大露光時間tExmaxは、１フレーム期間に相当する。受光素子Ｐｘの露光時間は、最大露光時間tExmaxを最大として、シャッタスピードに応じて増減する。

撮像素子３１には、例えば１水平期間の間隔で露光により蓄積した電荷を排出するための抜き取りパルスＰｓ１が供給される。制御部７が所定のタイミングで抜き取りパルスＰｓ１の供給を停止させると、抜き取りパルスＰｓ１の供給が停止された以降がハッチングで示す時間の露光Ｅｘ１，Ｅｘ２…となる。

撮像素子３１には、最大露光時間tExmaxに達するタイミングで、読み出しパルスＰｓ２が供給される。撮像素子３１に読み出しパルスＰｓ２が供給されると、図５におけるそれぞれの列の受光素子Ｐｘに蓄積された電荷は、垂直転送レジスタ３ｖｒへと一括して転送される。

垂直転送レジスタ３ｖｒは、受光素子Ｐｘより転送された電荷を垂直転送クロックによって水平転送レジスタ３ｈｒへと順次転送する。水平転送レジスタ３ｈｒは、それぞれの垂直転送レジスタ３ｖｒより転送された電荷を水平転送クロックによって順次転送する。水平転送レジスタ３ｈｒが転送する電荷は、出力アンプ３ａｐによって増幅されて電圧信号に変換されて出力される。

図６において、（ｂ）に示すように、撮像素子３１は、読み出しパルスＰｓ２が供給された以降の１フレーム期間に渡って、露光Ｅｘ１，Ｅｘ２…によって得られた電荷を電圧信号として読み出すことにより、撮像信号のフレームＦ１,Ｆ２…を出力する。フレームＦ１,Ｆ２…の撮像信号は、Ａ／Ｄ変換器４に供給される。

Ａ／Ｄ変換器４に入力された撮像信号はＡ／Ｄ変換され、映像処理部５に入力される。撮像部３とＡ／Ｄ変換器４とが一体化されていてもよい。

制御部７は、映像処理部５内に設けられたフレームバッファ５０への映像データの書き込みとフレームバッファ５０からの映像データの読み出しを制御する書込・読出制御部７０と、通常モードと中間モードと暗視モードとを切り換えるモード切換部７２を備える。書込・読出制御部７０によって映像データがフレームバッファ５０どのように書き込まれ、読み出されるかについては後述する。

モード切換部７２は、通常モードと中間モードと暗視モードとに対応させて、映像処理部５内の動作を後述のように適宜切り換える。映像処理部５と制御部７とが一体化されていてもよい。

映像処理部５は、フレームバッファ５０と、スイッチ５１，５３と、前信号処理部５２と、デモザイク処理部５４とを有する。フレームバッファ５０は、それぞれ１フレーム分の容量のメモリ５０ａ〜５０ｆを有する。破線で示すように、フレームバッファ５０が、合計６フレーム分の容量のメモリ５０ａ〜５０ｆに加えて、それぞれ１フレーム分の容量のメモリ５０ｇ〜５０ｉを有する場合もある。

スイッチ５１，５３は物理的なスイッチであってもよく、前信号処理部５２の動作と不動作とを切り換えるための概念的なスイッチであってもよい。制御部７には、撮像している映像の明るさを検出するために、映像処理部５から映像信号が入力される。

図７に示すように、前信号処理部５２は、周囲画素加算部５２１と、同一位置画素加算部５２２と、合成部５２３とを有する。

映像処理部５は、Ｒ，Ｇ，Ｂの３原色データを生成して、映像出力部６に供給する。映像出力部６は、３原色データを所定の形式で図示していない表示部等へと出力する。

映像出力部６は、Ｒ，Ｇ，Ｂ信号をそのまま出力してもよいし、Ｒ，Ｇ，Ｂ信号を輝度信号と色信号（または色差信号）に変換して出力してもよい。映像出力部６は、コンポジット映像信号を出力してもよい。映像出力部６は、デジタル信号の映像信号を出力してもよいし、Ｄ／Ａ変換器によってアナログ信号に変換した映像信号を出力してもよい。

本実施形態においては、映像出力部６はＮＴＳＣエンコーダ６１を有し、制御部７による制御に基づいて、ＮＴＳＣ方式のインターレース方式の映像信号を出力するものとする。映像出力部６は、ＮＴＳＣエンコーダ６１の代わりに、ＰＡＬ方式の映像信号を生成するためのＰＡＬエンコーダを有する構成とすることも可能である。また、ＨＤＴＶ（High-definition television）方式でもよく、映像出力部６は種々の方式に適用可能である。

以下、通常モードと中間モードと暗視モードとのそれぞれの具体的な動作について説明する。

＜通常モード＞
通常モードでは、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオフにする。

撮像部３によって撮像された撮像信号は、Ａ／Ｄ変換器４によってデジタル信号である映像データに変換されて、映像処理部５に入力される。通常モードでは、モード切換部７２は、スイッチ５１，５３を端子Ｔｂに接続するように制御する。

図６で説明したように、露光Ｅｘ１に基づいて、映像信号のフレームＦ１が得られる。露光Ｅｘ２に基づいて、映像信号のフレームＦ２が得られる。以降の露光でも同様である。映像信号のフレーム周波数を、例えば３０フレーム／秒とする。

映像信号のフレーム周波数は、ＮＴＳＣ方式であれば３０フレーム／秒または６０フレーム／秒、ＰＡＬ方式であれば２５フレーム／秒または５０フレーム／秒のように適宜設定すればよい。また、映像信号のフレーム周波数は、映画で使われている２４フレーム／秒であってもよい。

Ａ／Ｄ変換器４より出力された各フレームの映像データは、フレームバッファ５０に一時的に保持される。フレームバッファ５０より読み出された映像データは、スイッチ５１，５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、入力された各フレームの映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

図８を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図８において、（ａ）は映像データの任意のフレームＦｍを示している。フレームＦｍは、有効映像期間の画素によって構成されたフレームである。映像データの画素数は、例えばＶＧＡ規格では水平６４０画素、垂直４８０画素である。ここでは簡略化のため、フレームＦｍの画素数を大幅に少なくして、フレームＦｍを概念的に示している。

ベイヤ配列の撮像部３を用いて生成された映像データは、フレームＦｍ内で、Ｒ，Ｇ，Ｂの画素データが混在したデータである。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて算出したＲの補間画素データＲｉを生成する。デモザイク処理部５４は、図８の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームＦｍＲを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて算出したＧの補間画素データＧｉを生成する。デモザイク処理部５４は、図８の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームＦｍＧを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて算出したＢの補間画素データＢｉを生成する。デモザイク処理部５４は、図８の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームＦｍＢを生成する。

デモザイク処理部５４は、Ｒの画素データを補間する際には少なくともＲの画素データを用いればよく、Ｇの画素データを補間する際には少なくともＧの画素データを用いればよく、Ｂの画素データを補間する際には少なくともＢの画素データを用いればよい。デモザイク処理部５４は、補間精度を向上させるために、Ｒ，Ｇ，Ｂの画素データを補間する際に、生成しようとする補間画素データの色とは異なる他の色の画素データを用いてもよい。

撮像部３には、有効映像期間より外側の画素も存在しているため、フレームＦｍの上下左右端部に位置する画素においても、Ｒ，Ｇ，Ｂの画素データを補間することができる。

デモザイク処理部５４によって生成されたＲフレームＦｍＲ，ＧフレームＦｍＧ，ＢフレームＦｍＢがＲ，Ｇ，Ｂの３原色データとして出力される。図８では、理解を容易にするため、Ｒ，Ｇ，Ｂの画素データをフレーム単位で説明したが、実際には、Ｒ，Ｇ，Ｂの画素データは画素ごとに順次出力される。

＜中間モード：中間第１モード＞
中間モード（中間第１モード及び後述する中間第２モード）では、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

図９の（ａ）は、赤外線投光器９による赤外光の投光の状態を示している。制御部７は、通常モードの１フレーム期間を１／３ずつに分け、例えば投光部９１，９２，９３の順に赤外光を投光させるように制御する。

図９の（ａ）に示す例では、１フレームの最初の１／３の期間では、波長ＩＲ１（７８０ｎｍ）の赤外光が被写体に照射される。１フレームの次の１／３の期間では、波長ＩＲ２（９４０ｎｍ）の赤外光が被写体に照射される。１フレームの最後の１／３の期間では、波長ＩＲ３（８７０ｎｍ）の赤外光が被写体に照射される。波長ＩＲ１〜ＩＲ３の赤外光を投光する順番は任意である。

図９の（ｂ）に示すように、波長ＩＲ１の赤外光を投光しているタイミングでは、撮像部３はＲ光との相関性が高い露光Ex1Rが行われる。波長ＩＲ２の赤外光を投光しているタイミングでは、撮像部３はＧ光との相関性が高い露光Ex1Gが行われる。波長ＩＲ３の赤外光を投光しているタイミングでは、撮像部３はＢ光との相関性が高い露光Ex1Bが行われる。

但し、中間モードでは、可視光がわずかに存在する環境下での撮像であるため、可視光と赤外線投光器９より投光された赤外光とが混在した状態である。よって、中間モードにおいては、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、可視光による露光と赤外光による露光とを合わせた露光となる。

図９の（ｃ）に示すように、露光Ex1R，Ex1G，Ex1Bに基づいて、所定時間後に、露光Ex1Rに対応したフレームF1IR1、露光Ex1Gに対応したフレームF1IR3、露光Ex1Bに対応したフレームF1IR2が得られる。

また、露光Ex2R，Ex2G，Ex2Bに基づいて、所定時間後に、露光Ex2Rに対応したフレームF2IR1、露光Ex2Gに対応したフレームF2IR3、露光Ex2Bに対応したフレームF2IR2が得られる。露光Ex3R，Ex3G，Ex3B以降も同様である。

図９の（ｃ）の撮像信号のフレーム周波数は、９０フレーム／秒である。中間モードでは、通常モードにおける映像信号の１フレームを時分割して波長ＩＲ１〜ＩＲ３の赤外光を投光するため、通常モードと同じ形式の映像信号を出力するためには、図９の（ｃ）の撮像信号のフレーム周波数は、通常モードにおけるフレーム周波数の３倍となる。

後述するように、図９の（ｃ）の３フレームの撮像信号に基づいて、図９の（ｄ）に示す３０フレーム／秒のフレーム周波数を有する映像信号の１フレームが生成される。ここでは概略的にインターレース方式の映像信号ではなく、プログレッシブ方式の映像信号として説明する。例えば、フレームF1IR1，F1IR2，F1IR3に基づいてフレームF1IRが生成され、フレームF2IR1，F2IR2，F2IR3に基づいてフレームF2IRが生成される。

図９の（ｃ）の３フレームの撮像信号に基づいて、図９の（ｄ）の各フレームの映像信号を生成する中間モードでの動作を具体的に説明する。

Ａ／Ｄ変換器４より出力された図９の（ｃ）に示す撮像信号に対応する各フレームの映像データは、フレームバッファ５０に一時的に保持される。フレームバッファ５０より読み出された映像データは、スイッチ５１を介して前信号処理部５２に入力される。

図１０を用いて、前信号処理部５２における前信号処理について説明する。図１０の（ａ）は、波長ＩＲ１の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR1を示している。フレームFmIR1内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ１の赤外光を投光した状態で生成されたことを示す添え字１を付している。

図１０の（ｂ）は、波長ＩＲ２の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR2を示している。フレームFmIR2内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ２の赤外光を投光した状態で生成されたことを示す添え字２を付している。

図１０の（ｃ）は、波長ＩＲ３の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR3を示している。フレームFmIR3内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ３の赤外光を投光した状態で生成されたことを示す添え字３を付している。

図１０の（ａ）に示すフレームFmIR1は、Ｒ光との相関性が高い波長ＩＲ１の赤外光が投光された状態で生成された映像データであるので、Ｒの画素データは投光された赤外光と対応した画素データであり、Ｂ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｂ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

図１０の（ｂ）に示すフレームFmIR2は、Ｇ光との相関性が高い波長ＩＲ２の赤外光が投光された状態で生成された映像データであるので、Ｇの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｂの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

図１０の（ｃ）に示すフレームFmIR3は、Ｂ光との相関性が高い波長ＩＲ３の赤外光が投光された状態で生成された映像データであるので、Ｂの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

前信号処理部５２内の同一位置画素加算部５２２は、互いに同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データを以下の式（１）〜（３）に従って個別に加算して、画素データR123，Gr123，Gb123，B123を生成する。中間モードでは、前信号処理部５２内の周囲画素加算部５２１は不動作である。

R123=ka×R1+kb×R2 +kc×R3 …（１）
G123=kd×G1+ke×G2+kf×G3 …（２）
B123=kg×B1+kh×B2+ki×B3 …（３）

式（１）〜（３）において、R1，G1，B1はフレームFmIR1におけるＲ，Ｇ，Ｂの画素データ、R2，G2，B2はフレームFmIR2におけるＲ，Ｇ，Ｂの画素データ、R3，G3，B3はフレームFmIR3におけるＲ，Ｇ，Ｂの画素データである。ka〜kiは所定の係数である。式（２）におけるG123はGr123またはGb123である。

このとき、同一位置画素加算部５２２は、ハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂのそれぞれの画素データに、ハッチングを付した同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データそれぞれを加算する。

即ち、同一位置画素加算部５２２は、式（１）に基づいて、フレームFmIR1におけるＲの画素データに、フレームFmIR2，FmIR3における同じ画素位置のＲの画素データを加算して、画素データR123を生成する。つまり、受光素子における赤色のカラーフィルタに対応する領域の画素データだけを用いて赤色用の画素データR123を生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2におけるＧｒ，Ｇｂの画素データに、フレームFmIR1，FmIR3における同じ画素位置のＧｒ，Ｇｂの画素データを加算して、画素データG123を生成する。つまり、受光素子における緑色のカラーフィルタに対応する領域の画素データだけを用いて緑色用の画素データG123を生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3におけるＢの画素データに、フレームFmIR1，FmIR2における同じ画素位置のＢの画素データを加算して、画素データB123を生成する。つまり、受光素子における青色のカラーフィルタに対応する領域の画素データだけを用いて青色用の画素データB123を生成する。

前信号処理部５２内の合成部５２３は、それぞれの画素位置において生成された画素データR123，Gr123，Gb123，B123に基づいて、図１０の（ｄ）に示す合成映像信号のフレームFmIR123を生成する。

具体的には、合成部５２３は、フレームFmIR1における画素データR123と、フレームFmIR2における画素データGr123，Gb123と、フレームFmIR3における画素データB123とを選択して合成する。これによって合成部５２３は、合成映像信号のフレームFmIR123を生成する。

このように、合成部５２３は、カラーフィルタ３２における色フィルタの配列と同じ配列となるように、画素データR123，Gr123，Gb123，B123を配列させたフレームFmIR123を生成する。

中間第１モードにおいては、ハッチングを付していない画素データと、ハッチングを付した画素データとを用いて、フレームFmIR123の映像データを生成する。

同一位置画素加算部５２２によって互いに同じ画素位置の画素データを加算するのは、次の理由による。中間モードではわずかではあるものの可視光が存在する環境下での撮像であるため、ハッチングを付した画素データは可視光による露光に基づくそれぞれの色の成分を含む。よって、同じ画素位置の画素データを加算することによって、それぞれの色の感度を上げることができる。

可視光と赤外光とが混在している状況で可視光が比較的多ければ、可視光による露光が支配的となる。この場合、フレームFmIR123の映像データは、可視光によって露光した映像信号に基づく成分が主となる。可視光と赤外光とが混在している状況で赤外光が比較的多ければ、赤外光による露光が支配的となる。この場合、フレームFmIR123の映像データは、赤外光によって露光した映像信号に基づく成分が主となる。

可視光が比較的少ない場合には、式（１）において、係数ka，kb，kcの大小関係を、ka>kb，kcとし、式（２）において、係数kd，ke，kfの大小関係を、kf>kd，keとし、式（３）において、係数kg，kh，kiの大小関係を、kh>kg，kiとするのがよい。これは、波長ＩＲ１はＲ光との相関性が高く、波長ＩＲ２はＧ光との相関性が高く、波長ＩＲ３はＢ光との相関性が高いからである。

このようにすれば、Ｒの画素データではフレームFmIR1におけるＲの画素データ、Ｇの画素データではフレームFmIR2におけるＧの画素データ、Ｂの画素データではフレームFmIR3におけるＢの画素データを主とすることができる。

前信号処理部５２より出力されたフレームFmIR123の映像データは、スイッチ５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、通常モードと同様に、入力されたフレームFmIR123の映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

図１１を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１１の（ａ）は、フレームFmIR123を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123iを生成する。デモザイク処理部５４は、図１１の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123iを生成する。デモザイク処理部５４は、図１１の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123iを生成する。デモザイク処理部５４は、図１１の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123Bを生成する。

通常モードにおける図８に示すデモザイク処理部５４の動作と、中間モードにおける図１１に示すデモザイク処理部５４の動作とを比較すれば分かるように、両者は実質的に同じである。デモザイク処理部５４の動作は、通常モードであっても中間モードであっても変わらない。

通常モードでは前信号処理部５２を不動作とし、中間モードでは、周囲画素加算部５２１を除き、前信号処理部５２を動作させればよい。通常モードと中間モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

＜中間モード：中間第２モード＞
図１２及び図１３を用いて、中間第２モードにおける動作を説明する。中間第２モードにおける動作において、中間第１モードにおける動作と同一部分は説明を省略する。図１２の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図１０の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。

合成部５２３は、フレームFmIR1におけるＲの画素データであるR1と、フレームFmIR2におけるＧの画素データであるGr2，Gb2と、フレームFmIR3におけるＢの画素データであるB3とを選択して合成する。これによって合成部５２３は、図１２の（ｄ）に示す合成映像信号のフレームFmIR123’を生成する。

即ち、フレームFmIR123’は、フレームFmIR1，FmIR3，FmIR2におけるハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂの画素データを１フレームに集結させた映像データである。

つまり、フレームFmIR123’においては、波長ＩＲ１の赤外光を投光した状態における赤色のカラーフィルタに対応する領域の画素データだけを用いた赤色用の画素データ、波長ＩＲ２の赤外光を投光した状態における緑色のカラーフィルタに対応する領域の画素データだけを用いた緑色用の画素データ、波長ＩＲ３の赤外光を投光した状態における青色のカラーフィルタに対応する領域の画素データだけを用いた青色用の画素データとなっている。

このように、合成部５２３は、カラーフィルタ３２における色フィルタの配列と同じ配列となるように、画素データR1，Gr2，Gb2，B3を配列させたフレームFmIR123’を生成する。

中間第２モードでは、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データは、それぞれそのままの値となる。

よって、合成部５２３は、中間第１モードにおける動作と同様に、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データを選択すれば、フレームFmIR123’を生成することができる。

中間第２モードにおいては、前信号処理部５２は、画素データの色と同じ色の画素データを生成するための赤外光が投光された状態で生成された画素データ（ハッチングを付していない画素データ）のみ用いて、フレームFmIR123’の映像データを生成する。

中間第２モードによれば、中間第１モードよりも感度や色の再現性は低下するものの、演算処理を簡略化したり、フレームメモリを削減したりすることができる。

図１３を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１３の（ａ）は、フレームFmIR123’を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データＲ１ｉを生成する。デモザイク処理部５４は、図１３の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データＧ２ｉを生成する。デモザイク処理部５４は、図１３の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データＢ３ｉを生成する。デモザイク処理部５４は、図１３の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’Bを生成する。

以上のように、中間モードにおいては、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成し、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成し、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成する。

＜暗視モード：暗視第１モード＞
暗視モード（暗視第１モード及び後述する暗視第２モード）では、中間モードと同様、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

暗視モードにおける概略的な動作は、図９と同じである。但し、暗視モードでは、可視光がほとんど存在しない環境下での撮像であるため、図９の（ｂ）における露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、赤外光のみによる露光を想定している。

可視光がほとんど存在せず赤外光のみが存在している環境下では、カラーフィルタ３２におけるそれぞれの色フィルタの特性には差がなくなるため、撮像部３を単色の撮像素子とみなすことができる。

そこで、前信号処理部５２内の周囲画素加算部５２１は、暗視モードでは、赤外光の感度を向上させるために、それぞれの画素データに対して、周囲に位置する画素データを加算する。

具体的には、図１４の（ａ）に示すように、Ｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＲの画素データに対して周囲に位置するＧ及びＢの８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから赤色用の画素データを生成することとなる。図１４の例では、各色とも注目画素を含む９画素分の領域から得た画素データを用いている。

図１４の（ｂ）に示すように、Ｇの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧの画素データに対して周囲に位置するＧ及びＢの８画素の画素データを加算する。図１４の（ｂ）におけるＧの画素はＧｒまたはＧｂの画素である。

つまり、中間モードのときは、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから緑色用の画素データを生成することとなる。

図１４の（ｃ）に示すように、Ｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＢの画素データに対して周囲に位置するＲ及びＧの８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから青色用の画素データを生成することとなる。

周囲画素加算部５２１は、注目画素の画素データと周囲の８画素の画素データとの９画素を単純に加算してもよいし、周囲の８画素の画素データに対して所定の重み付けをした上で注目画素の画素データに加算してもよい。

ところで、ビニングと称される複数の画素をまとめて１つの画素として読み出し可能な撮像素子が存在する。撮像素子３１として、ビニング機能を有する撮像素子を用いる場合には、周囲画素加算部５２１による加算処理ではなく、ビニング機能を有する撮像素子による加算処理を行ってもよい。撮像素子によるビニングは、周囲画素加算部５２１による加算処理と実質的に等価である。

図１５の（ａ）〜（ｃ）のフレームFmIR1，FmIR3，FmIR2は、図１０の（ａ）〜（ｃ）のフレームFmIR1，FmIR3，FmIR2と同じである。図１５の（ｄ）〜（ｆ）において、R1ad，Gr1ad，Gb1ad，B1ad，R2ad，Gr2ad，Gb2ad，B2ad，R3ad，Gr3ad，Gb3ad，B3adは、それぞれ、Ｒ，Ｇｒ，Ｇｂ，Ｂの画素データに対して周囲の８画素の画素データを加算した加算画素データである。

周囲画素加算部５２１は、フレームFmIR1，FmIR3，FmIR2のそれぞれの画素データに対して図１４に示す加算処理を施すことにより、図１５の（ｄ）〜（ｆ）に示すフレームFmIR1ad，FmIR2ad，FmIR3adを生成する。

図１６の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１５の（ｄ）〜（ｆ）のフレームFmIR1ad，FmIR2ad，FmIR3adと同じである。

同一位置画素加算部５２２は、中間第１モードと同様に、式（１）に基づいて、フレームFmIR1adにおけるR1adの画素データに、フレームFmIR2ad，FmIR3adにおける同じ画素位置のR2ad，R3adの画素データを加算して、画素データR123adを生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2adにおけるGr2ad，Gb2adの画素データに、フレームFmIR1ad，FmIR3adにおける同じ画素位置のGr1ad，Gb1ad，Gr3ad，Gb3adの画素データを加算して、画素データGr123ad，Gb123adを生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3adにおけるB3adの画素データに、フレームFmIR1ad，FmIR2adにおける同じ画素位置のB1ad，B2adの画素データを加算して、画素データB123adを生成する。

合成部５２３は、中間第１モードと同様に、フレームFmIR1adにおける画素データR123adと、フレームFmIR2adにおける画素データGr123ad，Gb123adと、フレームFmIR3adにおける画素データB123adとを選択して合成する。これによって合成部５２３は、図１６の（ｄ）に示す合成映像信号のフレームFmIR123adを生成する。

合成部５２３は、カラーフィルタ３２における色フィルタの配列と同じ配列となるように、画素データR123ad，Gr123ad，Gb123ad，B123adを配列させたフレームFmIR123adを生成する。

図１７の（ａ）はフレームFmIR123adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123adiを生成する。デモザイク処理部５４は、図１７の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123adRを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123adiを生成する。デモザイク処理部５４は、図１７の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123adiを生成する。デモザイク処理部５４は、図１７の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123adBを生成する。

中間第１モードと暗視第１モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。モード切換部７２は、暗視モードのとき、周囲画素加算部５２１を動作させればよい。

暗視モードにおけるデモザイク処理部５４の動作は、通常モード及び中間モードにおけるデモザイク処理部５４の動作と実質的に同じである。通常モードと中間モードと暗視モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

＜暗視モード：暗視第２モード＞
図１８及び図１９を用いて、暗視第２モードにおける動作を説明する。暗視第２モードにおける動作において、暗視第１モードにおける動作と同一部分は説明を省略する。図１８の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１６の（ａ）〜（ｃ）のFmIR1ad，FmIR2ad，FmIR3adと同じである。

合成部５２３は、フレームFmIR1adにおけるＲの画素データであるR1adと、フレームFmIR2におけるＧの画素データであるGr2ad，Gb2adと、フレームFmIR3におけるＢの画素データであるB3adとを選択して合成する。これによって合成部５２３は、図１８の（ｄ）に示す合成映像信号のフレームFmIR123’adを生成する。

合成部５２３は、カラーフィルタ３２における色フィルタの配列と同じ配列となるように、画素データR1ad，Gr2ad，Gb2ad，B3adを配列させたフレームFmIR123’adを生成する。

なお、図１４を用いて説明したように、フレームFmIR123’adにおける赤色用の画素データR1adは、中間モードのときに赤色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

また、フレームFmIR123’adにおける緑色用の画素データGr2adは、中間モードのときに緑色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

さらに、フレームFmIR123’adにおける青色用の画素データB3adは、中間モードのときに青色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

暗視第２モードでは、中間第２モードと同様に、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データは、それぞれそのままの値となる。

よって、合成部５２３は、暗視第１モードにおける動作と同様に、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データを選択すれば、フレームFmIR123’adを生成することができる。

図１９を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１９の（ａ）は、フレームFmIR123’adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のR1adの画素データを用いて演算して、Ｒの補間画素データR1adiを生成する。デモザイク処理部５４は、図１９の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’adRを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のGr2ad，Gb2adの画素データを用いて演算して、Ｇの補間画素データG2adiを生成する。デモザイク処理部５４は、補間して、図１９の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のB3adの画素データを用いて算出したＢの補間画素データB3adiを生成する。デモザイク処理部５４は、図１９の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’adBを生成する。

中間第２モードと暗視第２モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。

また、中間モードにおいては、受光素子における各色に対応する領域から得た画素データそれぞれから各色用の画素データを生成していたが、暗視モードにおいては、周囲画素を加算するため、中間モードにおける各色用の画素データを生成するための領域それぞれよりも広い領域から得た画素データから各色用の画素データを生成するとも言える。

＜モード切換の例＞
図２０を用いて、モード切換部７２によるモード切換の例を説明する。図２０の（ａ）は、一例として、昼間の時間帯から夜の時間帯へと時間が経過していくとき、周囲環境の明るさが変化していく様子を概略的に示している。

図２０の（ａ）に示すように、昼間から夕刻へと時間が経過していくに従って明るさが低下していき、時刻ｔ３以降、ほぼ真っ暗の状態となる。図２０の（ａ）に示す明るさは実質的に可視光の量を示しており、時刻ｔ３以降、可視光がほとんどない状態である。

制御部７は、映像処理部５から入力される映像信号（映像データ）の輝度レベルに基づいて周囲環境の明るさを判断することができる。図２０の（ｂ）に示すように、モード切換部７２は、明るさが所定の閾値Th1（第１の閾値）以上であるとき通常モードとし、明るさが閾値Th1未満で所定の閾値Th2（第２の閾値）以上であるとき中間モード、閾値Th2未満であるとき暗視モードとする。

本実施形態の撮像装置は、明るさが閾値Th1となる時刻ｔ１までは通常モード、時刻ｔ１から明るさが閾値Th2となる時刻ｔ２まで中間モード、時刻ｔ２以降は暗視モードに、モードを自動的に切り換える。図２０の（ｂ）において、中間モードは中間第１モードと中間第２モードとのいずれでもよく、暗視モードは暗視第１モードと暗視第２モードとのいずれでもよい。

図２０の（ａ）では可視光がほとんどなくなる時刻ｔ３の直前の明るさを閾値Th2としているが、時刻ｔ３の明るさを閾値Th2としてもよい。

図２０の（ｃ）に示すように、モード切換部７２は、中間モードの期間で、可視光が比較的多い時刻ｔ１側の期間を中間第１モード、可視光が比較的少ない時刻ｔ２側の期間を中間第２モードとしてもよい。図２０の（ｃ）において、暗視モードは暗視第１モードと暗視第２モードとのいずれでもよい。

本実施形態の撮像装置は、投光制御部７１が赤外線投光器９のオン・オフを制御し、モード切換部７２が映像処理部５内の各部の動作・不動作を切り換えることにより、それぞれのモードを実現することができる。

図２１に示すように、通常モードは、赤外線投光器９がオフ、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３がいずれも不動作、デモザイク処理部５４が動作の状態である。

中間第１モードは、赤外線投光器９がオン、周囲画素加算部５２１が不動作、同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４とが動作の状態である。中間第２モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２とが不動作、合成部５２３とデモザイク処理部５４とが動作の状態である。

同一位置画素加算部５２２における動作と不動作とは、前述のように、式（１）〜（３）の係数ka〜kiの値を適宜に設定することによって容易に切り換えることができる。

暗視第１モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４との全てが動作の状態である。暗視第２モードは、赤外線投光器９がオン、同一位置画素加算部５２２が不動作、周囲画素加算部５２１と合成部５２３とデモザイク処理部５４とが動作の状態である。

ところで、周囲画素加算部５２１は、注目画素の画素データに対して周囲の画素データを加算するための計算式において、周囲の画素データに乗じる係数を、０を超える係数（例えば１）とすれば、周囲画素の加算処理を動作の状態とすることができる。

また、周囲画素加算部５２１は、その計算式において、周囲の画素データに乗じる係数を０とすれば、周囲画素の加算処理を不動作の状態とすることができる。

周囲画素加算部５２１における動作と不動作も、係数の値を適宜に設定することによって容易に切り換えることができる。

＜撮像装置の第１の変形例＞
制御部７が周囲環境の明るさを検出する方法は、映像信号の輝度レベルに基づく方法に限定されない。

図２２に示すように、明るさセンサ１１によって周囲環境の明るさを検出してもよい。図２０において、映像信号の輝度レベルと明るさセンサ１１によって検出した明るさとの双方に基づいて、周囲環境の明るさを判断してもよい。

＜撮像装置の第２の変形例＞
制御部７は、周囲環境の明るさを直接的に検出せず、１年間における時期（日にち）及び時刻（時間帯）に基づいて周囲環境の明るさを概略的に想定して、モード切換部７２が各モードに切り換えるようにしてもよい。

図２３に示すように、モード設定テーブル１２には、日にちと時間帯との組み合わせに対応して、通常モードと中間モードと暗視モードとのいずれかが設定されている。制御部７内の時計７３は、日にちと時刻を管理している。制御部７は、時計７３が示す日にちと時刻とを参照して、モード設定テーブル１２より設定されているモードを読み出す。

投光制御部７１とモード切換部７２は、モード設定テーブル１２より読み出されたモードとなるように、撮像装置を制御する。

＜撮像装置の第３の変形例＞
図２４に示すように、操作部１３によってユーザがモードを手動で選択して、投光制御部７１とモード切換部７２が選択されたモードとなるように撮像装置を制御してもよい。操作部１３は、撮像装置の筐体に設けられている操作ボタンであってもよく、リモートコントローラであってもよい。

＜映像信号処理方法＞
図２５を用いて、図１に示す撮像装置で実行される映像信号処理方法を改めて説明する。

図２５において、撮像装置が動作を開始すると、制御部７は、ステップＳ１にて、周囲環境の明るさが閾値Th1以上であるか否かを判定する。閾値Th1以上であれば（YES）、制御部７は、ステップＳ３にて、通常モードでの処理を実行させる。閾値Th1以上でなければ（NO）、制御部７は、ステップＳ２にて、周囲環境の明るさが閾値Th2以上であるか否かを判定する。

閾値Th2以上であれば（YES）、制御部７は、ステップＳ４にて、中間モードでの処理を実行させる。閾値Th2以上でなければ（NO）、制御部７は、ステップＳ５にて、暗視モードでの処理を実行させる。

制御部７は、ステップＳ３〜Ｓ５の後、処理をステップＳ１に戻し、ステップＳ１以降を繰り返す。

図２６は、ステップＳ３の通常モードの具体的な処理を示す。図２６において、制御部７（投光制御部７１）は、ステップＳ３１にて、赤外線投光器９をオフにする。制御部７は、ステップＳ３２にて、赤外線カットフィルタ２１を挿入する。制御部７（モード切換部７２）は、ステップＳ３３にて、スイッチ５１，５３を端子Ｔｂに接続させる。ステップＳ３１〜Ｓ３３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ３４にて、撮像部３によって被写体を撮像させる。制御部７は、ステップＳ３５にて、撮像部３が被写体を撮像することよって生成した映像信号を構成するフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

図２７は、ステップＳ４の中間モードの具体的な処理を示す。図２７において、制御部７（投光制御部７１）は、ステップＳ４１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ４２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ４３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ４１〜Ｓ４３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ４４にて、撮像部３によって被写体を撮像させる。撮像部３は、Ｒに対応付けられた波長ＩＲ１の赤外光と、Ｇに対応付けられた波長ＩＲ２の赤外光と、Ｂに対応付けられた波長ＩＲ３の赤外光とがそれぞれ投光されている状態で被写体を撮像する。

制御部７（モード切換部７２）は、ステップＳ４５にて、周囲画素加算部５２１を不動作とし、合成部５２３を動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光がそれぞれ投光されている状態で撮像部３が被写体を撮像することよって生成された映像信号を構成するフレームを第１のフレーム，第２のフレーム，第３のフレームとする。

合成部５２３は、第１のフレーム内のＲの画素データと、第２のフレーム内のＧの画素データと、第３のフレーム内のＢの画素データとに基づく３原色の画素データを、カラーフィルタ３２における色フィルタの配列と同じ配列となるように配列させる。合成部５２３は、このようにして第１〜第３のフレームを１フレームに合成した合成映像信号を生成する。

制御部７は、ステップＳ４６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

デモザイク処理部５４は、合成映像信号のフレームに基づいて、Ｒのフレームと、Ｇのフレームと、Ｂのフレームとを生成するデモザイク処理を施して、デモザイク処理された３原色のフレームを順次生成する。

デモザイク処理部５４は、Ｒの画素データが存在しない画素位置にＲの画素データを補間することによって、Ｒのフレームを生成することができる。デモザイク処理部５４は、Ｇの画素データが存在しない画素位置にＧの画素データを補間することによって、Ｇのフレームを生成することができる。デモザイク処理部５４は、Ｂの画素データが存在しない画素位置にＢの画素データを補間することによって、Ｂのフレームとを生成することができる。

中間第１モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を動作させ、中間第２モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を不動作とすればよい。

図２８は、ステップＳ５の暗視モードの具体的な処理を示す。図２８において、制御部７（投光制御部７１）は、ステップＳ５１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ５２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ５３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ５１〜Ｓ５３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ５４にて、撮像部３によって被写体を撮像させる。制御部７（モード切換部７２）は、ステップＳ５５にて、周囲画素加算部５２１と合成部５２３とを動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

制御部７は、ステップＳ５６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

暗視第１モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を動作させ、暗視第２モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を不動作とすればよい。

＜映像信号処理プログラム＞
図１において、制御部７、または、映像処理部５と制御部７との一体化部分をコンピュータ（マイクロコンピュータ）で構成し、映像信号処理プログラム（コンピュータプログラム）をコンピュータで実行させることによって、上述した本実施形態の撮像装置と同様の動作を実現させることも可能である。映像出力部６も含めてコンピュータで構成してもよい。

図２９を用いて、図２３のステップＳ４である中間モードにおける制御を映像信号処理プログラムで構成した場合にコンピュータに実行させる手順の例を説明する。図２９は、映像信号処理プログラムがコンピュータに実行させる処理を示す。

図２９において、映像信号処理プログラムは、ステップS401にて、コンピュータに、Ｒ，Ｇ，Ｂに対応付けられた波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光をそれぞれ投光するように赤外線投光器９を制御するステップを実行させる。

ステップS401に示すステップを映像信号処理プログラムの外部にて実行させてもよい。図２９では、ダミーガラス２２を挿入させるステップを省略している。ダミーガラス２２を挿入させるステップも映像信号処理プログラムの外部にて実行させてもよい。

映像信号処理プログラムは、ステップS402にて、コンピュータに、波長ＩＲ１の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第１のフレームを構成する画素データを取得するステップを実行させる。

映像信号処理プログラムは、ステップS403にて、コンピュータに、波長ＩＲ２の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第２のフレームを構成する画素データを取得するステップを実行させる。

映像信号処理プログラムは、ステップS404にて、コンピュータに、波長ＩＲ３の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第３のフレームを構成する画素データを取得するステップを実行させる。ステップS402〜S404の順番は任意である。

映像信号処理プログラムは、ステップS405にて、コンピュータに、Ｒ，Ｇ，Ｂの画素データを、カラーフィルタ３２における色フィルタの配列と同じ配列となるように配列させて、１フレームに合成した合成映像信号を生成するステップを実行させる。

中間モードでは、映像信号処理プログラムは、ステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させない。

映像信号処理プログラムは、ステップS406にて、コンピュータに、合成映像信号のフレームにデモザイク処理を施して、Ｒ，Ｇ，Ｂのフレームを生成するステップを実行させる。

図示は省略するが、図２５のステップＳ５である暗視モードにおける制御を映像信号処理プログラムで構成する場合には、図２９のステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させればよい。

映像信号処理プログラムは、コンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムであってよい。映像信号処理プログラムが記録媒体に記録された状態で提供されてもよいし、映像信号処理プログラムをコンピュータにダウンロードさせるよう、インターネット等のネットワークを介して提供されてもよい。コンピュータで読み取り可能な記録媒体は、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の非一時的な任意の記録媒体でよい。

図１のように構成される本実施形態の撮像装置において、例えば、必要に応じて各部を複数設けたりして、中間モードと暗視モードとを同時に実行するようにしてもよい。その場合、映像出力部６が、中間モードによって生成された映像信号と、暗視モードによって生成された映像信号との両方を出力するようにしてもよい。

また、モード切換部７２は、映像出力部６が中間モードによって生成された映像信号を出力する状態と、映像出力部６が暗視モードによって生成された映像信号を出力する状態とを切り換えるようにしてもよい。その際、前述のように、周囲環境の明るさや時刻等に応じて切り換えてもよい。また、映像処理部５（映像処理装置）を他の各部と別体にしてもよい。

さらに、また、中間モードを使用せずに、通常モードから暗視モードに切り換えたり、暗視モードから通常モードに切り換えたりするようにしてもよい。

通常モードや暗視モードは、可視光と暗視撮像用の赤外光とが混在した状態においては、中間モードよりも良好なカラー映像信号とはならない。しかしながら、通常モードや暗視モードであっても、可視光と暗視撮像用の赤外光とが混在した状態での撮像は可能であり、周囲の明るさが変わる場合（例えば監視カメラで終日撮影する場合など）であっても同じ撮像装置で撮像を可能にする、という効果を奏することができる。

さらにまた、暗視モードを使用せずに、通常モードから中間モードに切り換えたり、中間モードから通常モードに切り換えたりするようにしてもよい。その場合は、暗視モードを搭載しないようにしてもよい。

通常モードや中間モードは、可視光がほとんどない環境下においては、暗視モードよりも良好なカラー映像信号とはならないが、中間モードでも可視光がほとんどない環境下での撮像は可能であり、周囲の明るさが変わる場合（例えば監視カメラで終日撮影する場合など）であっても同じ撮像装置で撮像を可能にする、という効果を奏することができる。また、電灯がある場所などでは暗視モードを使用しなくてもよい場合がある。

次に、通常モードと赤外光投光モードとを、映像の乱れが発生せず各モードの映像を切り換える具体的なモード切換方法について説明する。

＜モード切換方法の第１の例＞
図３０Ａ及び図３０Ｂは、モード切換方法の第１の例を示す。図３０Ａ及び図３０Ｂは、映像出力部６がＮＴＳＣエンコーダ６１によってインターレース方式の映像信号を出力する場合の撮像装置の各部の動作を示している。

また、図３０Ａ及び図３０Ｂは、制御部７が撮像装置を、時刻ｔ１にて赤外光投光モードから通常モードへと切り換え、時刻ｔ２にて通常モードから赤外光投光モードへと切り換える場合のシーケンスを示している。赤外光投光モードは、中間モードと暗視モードとのいずれでもよい。

図３０Ａ及び図３０Ｂは、シーケンスを２つに分断して示している。なお、図３０Ａと図３０Ｂとは、一部が重複している。

図３０Ａ及び図３０Ｂにおいて、（ａ）は赤外線投光器９による赤外光の投光の状態、（ｂ）は撮像部３の露光を示している。図３０Ａ及び図３０Ｂの（ｂ）に示す撮像部３の露光は、図６の（ａ）で説明した最大露光時間tExmaxを示しており、実際の露光時間はシャッタスピードに応じて異なる。但し、赤外光投光モードでは、最大露光時間tExmaxが実際の露光時間となる可能性が高い。

図３０Ａ及び図３０Ｂにおいて、（ｃ）は、（ｂ）のそれぞれの露光に基づき、撮像部３から読み出される撮像信号によって生成されるフレームを示している。図３０Ａに示すように、露光Ex1R，Ex1G，Ex1Bに基づいて、露光Ex1Rに対応したフレームF1R、露光Ex1Gに対応したフレームF1G、露光Ex1Bに対応したフレームF1Bが得られる。フレームF1R，F1G，F1Bは、図９の（ｃ）のフレームF1IR1，F1IR2，F1IR3に相当する。

また、露光Ex2R，Ex2G，Ex2Bに基づいて、露光Ex2Rに対応したフレームF2R、露光Ex2Gに対応したフレームF2G、露光Ex2Bに対応したフレームF2Bが得られる。フレームF2R，F2G，F2Bは、図９の（ｃ）のフレームF2IR1，F2IR2，F2IR3に相当する。露光Ex1R〜Ex2Bの最大露光時間tExmaxは１／９０秒である。

時刻ｔ１以前の赤外光投光モードの期間では、撮像部３より出力される撮像信号は、９０フレーム／秒のプログレッシブ方式である。９０フレーム／秒のプログレッシブ方式を９０Ｐと称することとする。撮像装置は、後述のようにして、９０Ｐの撮像信号に基づいて、６０フィールド／秒のインターレース方式の映像信号を生成する。６０フィールド／秒のインターレース方式を６０ｉと称することとする。

投光制御部７１は、時刻ｔ１にて赤外線投光器９による赤外光の投光をオフにする。制御部７は、時刻ｔ１以降、撮像装置を通常モードにて動作させる。

通常モードの期間で３０フレーム／秒とすると、インターレース方式では６０フィールド／秒である。そこで、通常モードでは、映像出力部６が最終的に６０ｉの映像信号を生成して出力するよう、制御部７は、撮像部３が６０Ｐの撮像信号を出力するように撮像部３を制御する。

具体的には、撮像部３は、最大露光時間tExmaxを１／６０秒として、奇数フィールド用の露光と、偶数フィールド用の露光とを交互に繰り返す。図３０Ａ及び図３０Ｂの（ｂ）において、添え字oは奇数フィールド用の露光、添え字eは偶数フィールド用の露光であることを示す。

時刻ｔ１以降の最初の露光のタイミングでは、図３０Ａの（ｃ）に示すように、最大露光時間tExmaxが１／９０秒であるフレームF2Bが生成される。そこで、時刻ｔ１以降の最初の露光では、最大露光時間tExmaxを１／６０秒とするのではなく、最大露光時間tExmaxを１／９０秒とした奇数フィールド用の露光Ex3oとする。

図３０Ａに示すように、第１の例においては、撮像部３は、露光Ex3oが終了する時刻ｔ１１まで、９０Ｐの撮像信号を出力するよう動作する。撮像部３は、時刻ｔ１１以降、６０Ｐの撮像信号を出力するよう動作する。

時刻ｔ１１以降の最初の露光である偶数フィールド用の露光Ex3eは、奇数フィールド用の露光Ex3oと対となる露光であることから、最大露光時間tExmaxを１／６０秒とするのではなく、露光Ex3oにおける最大露光時間tExmaxと同じ１／９０秒とするのがよい。

そこで、制御部７は、１／６０秒の最大露光時間tExmaxの先頭から１／１８０秒の期間だけ、図６で説明したように抜き取りパルスＰｓ１によって蓄積した電荷を排出させるように撮像部３を制御する。これによって、露光Ex3oと露光Ex3eとの間には１／１８０秒の時間的な間隙が形成され、露光Ex3eの実質的な最大露光時間は１／９０秒となる。

最大露光時間を１／９０秒とした露光Ex3o，Ex3eによって蓄積した電荷を１／６０秒の期間で読み出すことによって、露光Ex3oに対応したフレームF3oと、露光Ex3eに対応したフレームF3eが得られる。

露光Ex3e以降、最大露光時間tExmaxが１／６０秒である露光Ex4o，Ex4e，Ex5o，Ex5eによって蓄積した電荷を１／６０秒の期間で読み出すことによって、フレームF4o，F4e，F5o，F5eが得られる。

図３０Ｂに示すように、投光制御部７１は、時刻ｔ２にて赤外線投光器９による赤外光の投光を再びオンにする。制御部７は、時刻ｔ２以降、撮像装置を赤外光投光モードにて動作させる。

露光Ex5eに基づいたフレームF5eは、時刻ｔ２を跨ぐ１／６０秒の期間に発生する。時刻ｔ２以降の赤外光投光モードでは、最大露光時間tExmaxを１／９０秒とする必要がある。そこで、制御部７は、露光Ex5eに続く露光Ex6Rでは、１／６０秒の最大露光時間tExmaxの先頭から１／１８０秒の期間だけ、抜き取りパルスＰｓ１によって蓄積した電荷を排出させるよう撮像部３を制御する。

これによって、露光Ex5eと露光Ex6Rとの間には１／１８０秒の時間的な間隙が形成され、露光Ex6Rの実質的な最大露光時間を１／９０秒となる。

露光Ex6R，Ex6G，Ex6Bに基づいて、露光Ex6Rに対応したフレームF6R、露光Ex6Gに対応したフレームF6G、露光Ex6Bに対応したフレームF6Bが得られる。フレームF6R，F6G，F6Bによって１フレームが形成されることから、露光Ex6R，Ex6G，Ex6Bの露光時間は同じでなければならない。露光Ex6Rの最大露光時間を１／９０秒とすることによって、露光Ex6R，Ex6G，Ex6Bの露光時間を同じにすることができる。

露光Ex7R，Ex7G，Ex7Bに基づいて、露光Ex7Rに対応したフレームF7R、露光Ex7Gに対応したフレームF7G、露光Ex7Bに対応したフレームF7Bが得られる。露光Ex8R以降も同様である。

図３０Ｂに示すように、第１の例においては、撮像部３は、露光Ex6Rが終了する時刻ｔ２１まで６０Ｐの撮像信号を出力するよう動作しており、時刻ｔ２１以降、９０Ｐの撮像信号を出力するよう動作する。

以上のように、図３０Ａ及び図３０Ｂに示す第１の例においては、赤外光投光モードから通常モードへと切り換わる時刻ｔ１以降の最初の露光で、最大露光時間tExmaxを１／６０秒とするのではなく、１／９０秒とした露光Ex3oとしている。

また、通常モードから赤外光投光モードへと切り換わる時刻ｔ２を跨ぐ１／６０秒の最大露光時間tExmaxの先頭から１／１８０秒の期間の電荷を排出させて、時刻ｔ２以降の最初の露光の最大露光時間tExmaxを１／９０秒としている。

これによって、撮像部３から読み出される撮像信号によって生成される撮像信号のフレームは、図３０Ａ及び図３０Ｂの（ｃ）に示すように、赤外光投光モードから通常モードへと切り換わるとき、通常モードから赤外光投光モードへと切り換わるときの双方で連続的となる。

図３０Ａ及び図３０Ｂにおいて、（ｄ）はＡ／Ｄ変換器４より出力された映像データのフレームのフレームバッファ５０への書き込み、（ｅ）はフレームバッファ５０からのフレームの読み出しを示している。図３０Ａ及び図３０Ｂの（ｄ），（ｅ）それぞれの区画内には書き込まれる、または、読み出されるメモリ５０ａ〜５０ｆの符号を記している。

Ａ／Ｄ変換器４より出力された映像データのフレームも、図３０Ａ及び図３０Ｂの（ｃ）に示す撮像信号のフレームF1R，F1G，F1B，…と称することとする。フレームF1R，F1G，F1Bはそれぞれメモリ５０ａ，５０ｂ，５０ｃに書き込まれる。

フレームF1Bのメモリ５０ｃへの書き込みが完了すると、メモリ５０ａ〜５０ｃから、フレームF1R，F1G，F1Bが同時に１／６０秒の期間で読み出される。続く１／６０秒の期間でも、メモリ５０ａ〜５０ｃから、フレームF1R，F1G，F1Bが同時に読み出される。即ち、フレームF1R，F1G，F1Bは、２つの１／６０秒の期間で連続的に読み出される。

フレームF1R，F1G，F1Bを読み出す期間に対応させて、フレームF2R，F2G，F2Bはそれぞれメモリ５０ｄ，５０ｅ，５０ｆに書き込まれる。フレームF2R，F2G，F2Bも、フレームF2Bのメモリ５０ｆへの書き込みが完了すると、２つの１／６０秒の期間で連続的に読み出される。

赤外光投光モードにおける１組のフレームを２度読み出すのは、読み出した一方の１組のフレームで奇数フィールドを生成し、もう一方の１組のフレームで偶数フィールドを生成するためである。

フレームF3o，F3eはメモリ５０ａ，５０ｂに書き込まれる。フレームF3eのメモリ５０ｂへの書き込みが完了すると、フレームF3o，F3eがメモリ５０ａ，５０ｂから読み出される。フレームF4o，F4eはメモリ５０ｄ，５０ｅに書き込まれる。フレームF4eのメモリ５０ｅへの書き込みが完了すると、フレームF4o，F4eがメモリ５０ｄ，５０ｅから読み出される。
る。

フレームF5o，F5eはメモリ５０ａ，５０ｂに書き込まれる。フレームF5eのメモリ５０ｂへの書き込みが完了すると、フレームF5o，F5eがメモリ５０ａ，５０ｂから読み出される。

フレームF6R，F6G，F6Bはそれぞれメモリ５０ｄ，５０ｅ，５０ｆに書き込まれる。フレームF6R，F6G，F6Bは、フレームF6Bのメモリ５０ｆへの書き込みが完了すると、２つの１／６０秒の期間で連続的に読み出される。

フレームF7R，F7G，F7Bはそれぞれメモリ５０ａ，５０ｂ，５０ｃに書き込まれる。図３０Ｂでは図示されていないが、フレームF7R，F7G，F7Bは、フレームF7Bのメモリ５０ｆへの書き込みが完了すると、２つの１／６０秒の期間で連続的に読み出される。以降、同様の動作を繰り返す。

図３０Ａ及び図３０Ｂにおいて、（ｆ）は、上述した前信号処理部５２における前信号処理を示している。前信号処理をP52と表す。メモリ５０ａ〜５０ｃから読み出したフレームF1R，F1G，F1Bの全体をフレームF1RGBと表す。例えば、P52(F1RGB)はフレームF1RGBに上述した前信号処理P52を施すことを示す。

図３０Ａ及び図３０Ｂの（ｆ）に示すように、それぞれ２つの１／６０秒の期間連続して、フレームF0RGB，F1RGB，F2RGB，F6RGB…に前信号処理P52が施される。

図３０Ａ及び図３０Ｂにおいて、（ｇ）は、上述したデモザイク処理部５４における前信号処理を示している。デモザイク処理をP54と表す。例えば、P54(F1RGB)はフレームF1RGBに上述したデモザイク処理P54を施すことを示す。

図３０Ａ及び図３０Ｂの（ｇ）に示すように、前信号処理P52が施されたフレームF0RGB，F1RGB，F2RGB，F6RGB…にデモザイク処理P54が施される。前信号処理P52が施されていないフレームF3o，F3e，F4o，F4e，F5o，F5eにデモザイク処理P54が施される。

図３０Ａ及び図３０Ｂにおいて、（ｈ）は、（ｇ）に示す各フレームをＮＴＳＣエンコーダ６１によってプログレッシブ−インターレース変換（ＰＩ変換）したインターレース方式の映像信号を示している。図３０Ａ及び図３０Ｂの（ｈ）において、添え字oは奇数フィールドの映像信号、添え字eは偶数フィールドの映像信号であることを示す。

図３０Ａの（ｈ）に示すように、赤外光投光モードでは、デモザイク処理P54が施されたフレームF0RGB，F1RGB，F2RGBそれぞれの映像データに基づいて、インターレース方式の映像信号F0io，F0ie，F1io，F1ie，F2io，F2ieが順に生成されて出力される。添え字ｉは、ＰＩ変換によって水平ラインが間引かれて、インターレース方式の映像信号となっていることを示す。

図３０Ａ及び図３０Ｂの（ｈ）に示すように、通常モードに切り換わると、デモザイク処理P54が施されたフレームF3o，F3e，F4o，F4e，F5o，F5eそれぞれの映像データに基づいて、インターレース方式の映像信号F3io，F3ie，F4io，F4ie，F5io，F5ieが順に生成されて出力される。

図３０Ｂの（ｈ）に示すように、赤外光投光モードに切り換わると、デモザイク処理P54が施されたフレームF6RGB…それぞれの映像データに基づいて、インターレース方式の映像信号F6io，F6ie…が順に生成されて出力される。

図３０Ａ及び図３０Ｂの（ｈ）に示すように、第１の例によれば、６０ｉの映像信号が、赤外光投光モードから通常モードへと切り換えられても、通常モードから赤外光投光モードへと切り換えられても、各フレーム（各フィールド）が連続的に出力される。

よって、第１の例によれば、映像の乱れが発生することなく、各モードの映像を切り換えることができる。

図３０Ａ及び図３０Ｂに示す第１の例においては、通常モードの期間において、（ｂ）に示す撮像部３の露光によって生成されるフレームの境界と、（ｇ）に示す出力映像信号のフレーム（フィールド）の境界とが一致している。即ち、撮像部３の露光によって生成されるフレームと出力映像信号のフレームとは同期している。よって、出力映像信号にノイズが発生しにくい。

＜モード切換方法の第２の例＞
図３１Ａ及び図３１Ｂは、モード切換方法の第２の例を示す。図３１Ａ及び図３１Ｂも、映像出力部６がＮＴＳＣエンコーダ６１によってインターレース方式の映像信号を出力する場合の撮像装置の各部の動作を示している。

図３１Ａ及び図３１Ｂに示す第２の例では、図３０Ａ及び図３０Ｂに示す第１の例と異なる部分を中心に説明する。図３１Ａ及び図３１Ｂも、シーケンスを２つに分断して示しており、図３１Ａと図３１Ｂとは一部が重複している。

図３１Ａ及び図３１Ｂの（ｂ）に示すように、第２の例においては、時刻ｔ１〜ｔ２の通常モードの期間では、撮像部３は、最大露光時間tExmaxを全て１／６０秒として露光する。図３１Ａ及び図３１Ｂの（ｃ）に示すように、制御部７は、通常モードの期間の露光Ex3o，Ex3e，Ex4o，Ex4e，Ex5o，Ex5eに基づき、撮像部３より撮像信号を１／９０秒で読み出すように制御して、フレームF3o，F3e，F4o，F4e，F5o，F5eを生成する。

露光Ex3oに対応したフレームF3oの読み出しは露光Ex3oが終了する時刻より開始されるので、フレームF3oは、フレームF2Bが終了した時刻から１／１８０秒経過した時刻より開始する。よって、フレームF2BとフレームF3oとの間には、１／１８０秒の時間的な間隙が形成される。以降同様に、フレームF3o，F3e，F4o，F4e，F5o，F5eの隣接するフレームの間には、１／１８０秒の時間的な間隙が形成される。

図３１Ａ及び図３１Ｂの（ｄ）〜（ｈ）は、図３０Ａ及び図３０Ｂの（ｄ）〜（ｈ）と同様である。但し、図３１Ａ及び図３１Ｂの（ｄ），（ｅ）においては、フレームバッファ５０に１／９０秒の期間で書き込まれたフレームF3o〜F5eは、それぞれ１／６０秒の期間で読み出される。

図３１Ａ及び図３１Ｂの（ｇ）に示すように、第２の例によれば、６０ｉの映像信号が、赤外光投光モードから通常モードへと切り換えられても、通常モードから赤外光投光モードへと切り換えられても、各フレーム（各フィールド）が連続的に出力される。

よって、第２の例によれば、映像の乱れが発生することなく、各モードの映像を切り換えることができる。

図３１Ａ及び図３１Ｂに示す第２の例においては、通常モードの期間において、（ｂ）に示す撮像部３の露光よって生成されるフレームと（ｇ）に示す出力映像信号のフレームとは同期しない。しかしながら、図３１Ａ及び図３１Ｂに示す第２の例においては、通常モードの期間において、撮像部３の露光の奇数フィールド用のフレームと偶数フィールド用のフレームとの一対の期間が全て１／３０秒に統一される。

＜モード切換方法の第３の例＞
図３２Ａ及び図３２Ｂは、モード切換方法の第３の例を示す。図３２Ａ及び図３２Ｂも、映像出力部６がＮＴＳＣエンコーダ６１によってインターレース方式の映像信号を出力する場合の撮像装置の各部の動作を示している。

図３２Ａ及び図３２Ｂに示す第３の例では、図３０Ａ及び図３０Ｂに示す第１の例と異なる部分を中心に説明する。図３２Ａ及び図３２Ｂも、シーケンスを２つに分断して示しており、図３２Ａと図３２Ｂとは一部が重複している。

第３の例を実現するために、図１に示すように、フレームバッファ５０を、合計９フレーム分の容量のメモリ５０ａ〜５０ｉを有する構成とする。なお、第３の例を実現するために、少なくとも７フレーム分の容量のメモリを有する構成であればよいが、メモリの書き込みや読み出しの制御を容易にするため、図１では９フレーム分の容量のメモリ５０ａ〜５０ｉを有する構成としている。

図３２Ａ及び図３２Ｂの（ｂ）に示すように、第３の例においては、時刻ｔ１〜ｔ２の通常モードの期間では、撮像部３は、最大露光時間tExmaxを全て１／６０秒として露光する。

図３２Ａ及び図３２Ｂの（ｃ）に示すように、制御部７は、通常モードの期間の露光Ex3o，Ex3e，Ex4o，Ex4e，Ex5oに基づき、撮像部３より蓄積した電荷を１／６０秒で読み出すように制御して、フレームF3o，F3e，F4o，F4e，F5oを生成する。

図３２Ａの（ｃ）に示すように、制御部７は、赤外光投光モードにおける最後の露光Ex2Bのみ、撮像部３より蓄積した電荷を１／６０秒で読み出すように制御して、フレームF2Bを生成する。

図３２Ｂの（ｃ）に示すように、制御部７は、通常モードの期間の最後の露光Ex5eのみ、撮像部３より蓄積した電荷を１／９０秒で読み出すように制御して、フレームF5eを生成する。これによって、時刻ｔ２以降の最初の露光Ex6Rの最大露光時間と、フレームF5eの期間とが同じとなる。

図３２Ａの（ｄ）に示すように、フレームF1R，F1G，F1Bはそれぞれメモリ５０ａ，５０ｂ，５０ｃに書き込まれる。図３２Ａの（ｅ）に示すように、フレームF1Bのメモリ５０ｃへの書き込みが完了すると、フレームF1R，F1G，F1Bは、メモリ５０ａ〜５０ｃから、２つの１／６０秒の期間で連続的に読み出される。

フレームF2R，F2G，F2Bはそれぞれメモリ５０ｄ，５０ｅ，５０ｆに書き込まれる。フレームF2Bのメモリ５０ｆへの書き込みが完了すると、フレームF2R，F2G，F2Bも、２つの１／６０秒の期間で連続的に読み出される。

図３２Ａの（ｄ），（ｅ）を比較すれば分かるように、第３の例においては、例えば、フレームF2R，F2G，F2Bをメモリ５０ｄ〜５０ｆに書き込むタイミングと、メモリ５０ａ〜５０ｃからフレームF1R，F1G，F1Bを読み出すタイミングとが一致していない。これは、フレームF2Bを１／６０秒の期間で生成しているからである。

よって、図１に示す合計６フレーム分の容量のメモリ５０ａ〜５０ｆを有する構成のフレームバッファ５０では、第３の例を実現することができないことになる。そこで、第３の例を実現するために、図３４に示す合計９フレーム分の容量のメモリ５０ａ〜５０ｉを有する構成のフレームバッファ５０としている。

図３２Ａ及び図３２Ｂの（ｄ），（ｅ）に示すように、フレームF3o，F3eはメモリ５０ｇ，５０ｈに書き込まれる。フレームF3eのメモリ５０ｈへの書き込みが完了すると、フレームF3o，F3eがメモリ５０ｇ，５０ｈから読み出される。フレームF4o，F4eはメモリ５０ａ，５０ｂに書き込まれる。フレームF4eのメモリ５０ｂへの書き込みが完了すると、フレームF4o，F4eがメモリ５０ａ，５０ｂから読み出される。

フレームF5o，F5eはメモリ５０ｄ，５０ｅに書き込まれる。フレームF5eのメモリ５０ｅへの書き込みが完了すると、フレームF5o，F5eがメモリ５０ｄ，５０ｅから読み出される。

フレームF6R，F6G，F6Bはそれぞれメモリ５０ｇ，５０ｈ，５０ｉに書き込まれる。フレームF6R，F6G，F6Bは、フレームF6Bのメモリ５０ｉへの書き込みが完了すると、２つの１／６０秒の期間で連続的に読み出される。

フレームF7R，F7G，F7Bはそれぞれメモリ５０ａ，５０ｂ，５０ｃに書き込まれる。図３２Ｂでは図示されていないが、フレームF7R，F7G，F7Bは、フレームF7Bのメモリ５０ｃへの書き込みが完了すると、２つの１／６０秒の期間で連続的に読み出される。以降、同様の動作を繰り返す。

図３２Ａ及び図３２Ｂの（ｆ）〜（ｈ）は、図３０Ａ及び図３０Ｂの（ｇ）〜（ｈ）と同様である。

図３２Ａ及び図３２Ｂの（ｈ）に示すように、第３の例によれば、６０ｉの映像信号が、赤外光投光モードから通常モードへと切り換えられても、通常モードから赤外光投光モードへと切り換えられても、各フレーム（各フィールド）が連続的に出力される。

よって、第３の例によれば、映像の乱れが発生することなく、各モードの映像を切り換えることができる。

図３２２Ａ及び図３２Ｂに示す第３の例においては、通常モードの期間において、（ｂ）に示す撮像部３の露光の同期と（ｇ）に示す出力映像信号の同期とが一致している。撮像部３の露光の同期と出力映像信号の同期とが一致していると、出力映像信号にノイズが発生しにくい。

上記のように、第３の例を実現するには、フレームバッファ５０のメモリ容量を第１の例を実現する場合より多くすることが必要である。フレームバッファ５０のメモリ容量をより少なくするという点では第１の例の方がよい。

しかしながら、メモリの書き込み及び読み出しの制御を工夫すれば、７フレーム分の容量のメモリを有する構成のフレームバッファ５０で第３の例を実現することが可能である。よって、第３の例でも、フレームバッファ５０のメモリ容量はさほど問題にはならない。

＜撮像装置におけるモード切換方法のまとめ＞
以上説明したモード切換方法の第１〜第３の例をまとめると、本実施形態の撮像装置は、次のように動作する。

撮像部３は被写体を撮像する。映像処理部５は、撮像部３より出力された撮像信号に基づいて第１の映像信号を生成する。第１の映像信号とは、Ａ／Ｄ変換器４より出力された映像データに対して、前信号処理P52及びデモザイク処理P54の双方、または、デモザイク処理P54のみを施した映像信号である。

映像出力部６（ＮＴＳＣエンコーダ６１）は、第１の映像信号に基づいて所定の信号方式の第２の映像信号を生成して出力する。所定の信号方式とは例えばインターレース方式であり、プログレッシブ方式であってもよい。第２の映像信号とは、第１の映像信号に基づいて、最終的な信号方式に変換した映像信号である。

ここで、通常モードを第１のモード、赤外光投光モードを第２のモードと称する。撮像部３は、第１のモードでは、第２の映像信号のそれぞれの１フレーム期間に対応させて露光して被写体を撮像する。撮像部３は、第２のモードでは、第２の映像信号のそれぞれの１フレーム期間を複数の区間に分割した各区間で互いに異なる撮像条件で露光して被写体を撮像する。

映像処理部５は、第１のモードでは、１フレーム期間に対応させた露光に対応して読み出された撮像信号に基づいて、第１の映像信号のそれぞれのフレームを生成し、第２のモードでは、各区間の露光に対応して読み出された撮像信号に基づいて、第１の映像信号のそれぞれのフレームを生成する。

映像出力部６は、第２の映像信号を、第１のモードと第２のモードとで共通の信号方式（例えば６０ｉ）とし、第２の映像信号のフレームを連続的に出力する。よって、映像の乱れが発生することなく、第１のモードと第２のモードの映像を互いに切り換えることができる。第２の映像信号を、第１のモードと第２のモードとで同じ水平及び垂直周波数にするとより好ましい。

可視光が少ない環境下で、赤外光を投光しながら被写体を撮像する第２のモードでは、撮像部３は次のように被写体を撮像する。

撮像部３は、第２の映像信号のそれぞれの１フレーム期間を３つの区間に分割して被写体を撮像する。撮像部３は、互いに異なる撮像条件として、３つの区間の各区間で、第１の赤外光が投光されている状態と、第２の赤外光が投光されている状態と、第３の赤外光が投光されている状態とのそれぞれで被写体を撮像する。第１の赤外光は、赤色に対応付けられた第１の波長を有する。第２の赤外光は、緑色に対応付けられた第２の波長を有する。第３の赤外光は、青色に対応付けられた第３の波長を有する。

映像出力部６が第２の映像信号としてインターレース方式の映像信号を出力する場合には、撮像部３と映像処理部５と映像出力部６は次のように動作すればよい。

撮像部３は、第１のモードでは、第２の映像信号のそれぞれの１フレーム期間を奇数フィールド期間と偶数フィールド期間との２つのフィールド期間に分けて被写体を撮像する。制御部７は、２つのフィールド期間の最大露光時間を互いに同じ時間に設定する。映像処理部５は、第１の映像信号として、奇数フィールド期間の映像信号と偶数フィールド期間の映像信号とを生成する。

映像出力部６は、第１のモードでは、映像処理部５で生成された奇数フィールド期間の映像信号に基づいて奇数フィールドの映像信号を生成し、偶数フィールド期間の映像信号に基づいて偶数フィールドの映像信号を生成する。映像出力部６は、第２のモードでは、映像処理部５で生成された第１の映像信号のそれぞれのフレームに基づいて、奇数フィールドの映像信号と偶数フィールドの映像信号とを生成する。

映像出力部６が、映像の乱れが発生しないよう、第２の映像信号のフレームを連続的に出力するために、撮像部３は具体的に次のように動作する。

図３０Ａ，図３０Ｂで説明した第１の例では、次のとおりである。撮像部３は、第１のモードから第２のモードへと切り換えた最初の区間の露光では、第１のモードにおけるフィールド期間の最大露光時間の先頭から電荷を排出させて、最大露光時間を、第２のモードにおける１つの区間の最大露光時間と同じ時間とする。

撮像部３は、第２のモードから第１のモードへと切り換えた最初のフィールド期間の露光では、最大露光時間を、第２のモードにおける１つの区間の最大露光時間と同じ時間する。撮像部３は、第１のモードでは、それぞれのフィールド期間の露光により蓄積した電荷を１フィールド期間で撮像信号として読み出す。

図３１Ａ，図３１Ｂで説明した第２の例では、次のとおりである。撮像部３は、第１のモードでは、１フィールド期間を最大露光時間とし、最大露光時間の露光を終了したら露光により蓄積した電荷を、第２のモードにおける１つの区間の最大露光時間と同じ時間で撮像信号として読み出す。

撮像部３は、撮像信号の読み出しの前に、１フィールド期間と、第２のモードにおける１つの区間の最大露光時間との差に相当する時間的な間隙を設ける。

図３２Ａ，図３２Ｂで説明した第３の例では、次のとおりである。撮像部３は、第１のモードでは、１フィールド期間を最大露光時間として露光する。

撮像部３は、第２のモードにおける最後の１つの区間の露光により蓄積した電荷を１フィールド期間で撮像信号として読み出す。

撮像部３は、第１のモードにおける最後のフィールド期間の露光により蓄積した電荷を、１つの区間の最大露光時間と同じ時間で撮像信号として読み出す。

＜撮像装置の制御方法＞
制御部７は、撮像装置を次のように制御する。

制御部７は、撮像部３によって被写体を撮像させる。制御部７は、撮像部３が被写体を撮像した撮像信号に基づいて、映像処理部５によって第１の映像信号を生成させる。制御部７は、映像出力部６によって、第１の映像信号に基づいて所定の信号方式の第２の映像信号を生成させる。

制御部７が撮像装置を第１のモードに設定させたとき、撮像装置を次のように制御する。制御部７は、撮像部３によって、第２の映像信号のそれぞれの１フレーム期間に対応させて露光して被写体を撮像させる。制御部７は、映像処理部５によって、１フレーム期間に対応させた露光に対応して読み出された撮像信号に基づいて、第１の映像信号のそれぞれのフレームを生成させる。

制御部７が撮像装置を第２のモードに設定させたとき、撮像装置を次のように制御する。制御部７は、撮像部３によって、第２の映像信号のそれぞれの１フレーム期間を複数の区間に分割した各区間で互いに異なる撮像条件で露光して被写体を撮像させる。制御部７は、映像処理部５によって、各区間の露光に対応して読み出された撮像信号に基づいて、第１の映像信号のそれぞれのフレームを生成させる。

制御部７は、映像出力部６によって、第２の映像信号を、第１のモードと第２のモードとで共通の信号方式とし、第２の映像信号のフレームを連続的に出力させる。第２の映像信号を、第１のモードと第２のモードとで同じ水平及び垂直周波数にするとより好ましい。

＜撮像装置の制御プログラム＞
上述したモード切換方法をコンピュータプログラムによる制御で実現する場合には、撮像装置に搭載されているコンピュータに、次の各ステップを有する制御プログラムを実行させればよい。

まず、コンピュータに、撮像部３によって被写体を撮像する第１のステップを実行させる。次に、コンピュータに、撮像部３が被写体を撮像した撮像信号に基づいて第１の映像信号を生成する第２のステップを実行させる。最後に、コンピュータに、第１の映像信号に基づいて所定の信号方式の第２の映像信号を生成する第３のステップを実行させる。

コンピュータが、撮像装置を第１のモードに設定させたとき、第１のステップと第２のステップは次のとおりである。第１のステップは、撮像部３によって、第２の映像信号のそれぞれの１フレーム期間に対応させて露光して被写体を撮像するステップである。第２のステップは、１フレーム期間に対応させた露光に対応して読み出された撮像信号に基づいて、第１の映像信号のそれぞれのフレームを生成するステップである。

コンピュータが、撮像装置を第２のモードに設定させたとき、第１のステップと第２のステップは次のとおりである。第１のステップは、撮像部３によって、第２の映像信号のそれぞれの１フレーム期間を複数の区間に分割した各区間で互いに異なる撮像条件で露光して被写体を撮像するステップである。第２のステップは、各区間の露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成するステップである。

コンピュータが、撮像装置を第１のモードから第２のモードに移行させたとき、及び、第２のモードから第１のモードに移行させたとき、第３のステップは、第２の映像信号を、第１のモードと第２のモードとで共通の信号方式とし、第２の映像信号のフレームを連続的に出力するステップである。このステップにおいて、第２の映像信号を、第１のモードと第２のモードとで同じ水平及び垂直周波数にするとより好ましい。

撮像装置の制御プログラムは、コンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムであってよい。制御プログラムが記録媒体に記録された状態で提供されてもよいし、制御プログラムをコンピュータにダウンロードさせるよう、インターネット等のネットワークを介して提供されてもよい。コンピュータで読み取り可能な記録媒体は、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の非一時的な任意の記録媒体でよい。

＜応用例＞
ところで、以上説明した本実施形態の撮像装置の動作は、赤外光を投光しながら被写体を撮像する赤外光投光モードだけではなく、次のような場合にも応用が可能である。

可視光が存在する環境下で赤外光を投光しない状態であっても、第２の映像信号のそれぞれの１フレーム期間を複数の区間に分割して、各区間で互いに異なる撮像条件（異なるシャッタスピード）で露光する、いわゆる多重露光を行う場合に応用することができる。

即ち、第２のモードは、赤外光投光モードに限定されず、多重露光のために第２の映像信号のそれぞれの１フレーム期間を例えば３つの区間に分割して露光して、３つの区間の撮像信号を合成して１つの映像信号を生成する場合に利用できる。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。上述した発明が解決しようとする課題や目的及び効果の記載においては、本発明の理解を容易にするために、通常モードと赤外光投光モードとの切り換えについて記載した。

しかしながら、上述のように、本実施形態の撮像装置の動作は多重露光にも応用可能である。発明が解決しようとする課題、目的、効果の記載を根拠として、本発明が通常モードと赤外光投光モードとの切り換えのみに適用されると限定的に解釈されるものではない。

３ 撮像部
５ 映像処理部
６ 映像出力部

Claims (7)

1. 被写体を撮像する撮像部と、
   前記撮像部より出力された撮像信号に基づいて第１の映像信号を生成する映像処理部と、
   前記第１の映像信号に基づいて所定の信号方式の第２の映像信号を生成して出力する映像出力部と、
   を備え、
   前記撮像部は、第１のモードでは、前記第２の映像信号のそれぞれの１フレーム期間に対応させて露光して被写体を撮像し、第２のモードでは、前記第２の映像信号のそれぞれの１フレーム期間を３つの区間に分割した各区間で、互いに異なる撮像条件として、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態とのそれぞれで露光して被写体を撮像し、
   前記映像処理部は、前記第１のモードでは、１フレーム期間に対応させた露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成し、前記第２のモードでは、前記各区間の露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成し、
   前記映像出力部は、前記第２の映像信号を、前記第１のモードと前記第２のモードとで共通の信号方式とし、前記第２の映像信号のフレームを連続的に出力する
   ことを特徴とする撮像装置。
2. 前記撮像部は、前記第１のモードでは、前記第２の映像信号のそれぞれの１フレーム期間を奇数フィールド期間と偶数フィールド期間との２つのフィールド期間に分けて被写体を撮像し、前記２つのフィールド期間の最大露光時間を互いに同じ時間に設定し、
   前記映像処理部は、奇数フィールド期間の映像信号と偶数フィールド期間の映像信号とを生成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記映像出力部は、
   前記信号方式をインターレース方式とし、
   前記第１のモードでは、前記映像処理部で生成された奇数フィールド期間の映像信号に基づいて奇数フィールドの映像信号を生成し、偶数フィールド期間の映像信号に基づいて偶数フィールドの映像信号を生成し、
   前記第２のモードでは、前記映像処理部で生成された前記第１の映像信号のそれぞれのフレームに基づいて、奇数フィールドの映像信号と偶数フィールドの映像信号とを生成する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記撮像部は、前記第１のモードでは、
   １フィールド期間を最大露光時間とし、最大露光時間の露光を終了したら露光により蓄積した電荷を、前記第２のモードにおける１つの区間の最大露光時間と同じ時間で撮像信号として読み出し、
   撮像信号の読み出しの前に、１フィールド期間と、前記第２のモードにおける１つの区間の最大露光時間との差に相当する時間的な間隙を設ける
   ことを特徴とする請求項２または３に記載の撮像装置。
5. 前記撮像部は、
   前記第１のモードでは、１フィールド期間を最大露光時間として露光し、
   前記第２のモードにおける最後の１つの区間の露光により蓄積した電荷を１フィールド期間で撮像信号として読み出し、
   前記第１のモードにおける最後のフィールド期間の露光により蓄積した電荷を、前記１つの区間の最大露光時間と同じ時間で撮像信号として読み出す
   ことを特徴とする請求項２または３に記載の撮像装置。
6. 撮像装置の撮像部によって被写体を撮像させ、
   前記撮像部が被写体を撮像した撮像信号に基づいて第１の映像信号を生成させ、
   前記第１の映像信号に基づいて所定の信号方式の第２の映像信号を生成させ、
   前記撮像装置を第１のモードに設定したとき、
   前記撮像部によって、前記第２の映像信号のそれぞれの１フレーム期間に対応させて露光して被写体を撮像させ、
   １フレーム期間に対応させた露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成させ、
   前記撮像装置を第２のモードに設定したとき、
   前記撮像部によって、前記第２の映像信号のそれぞれの１フレーム期間を３つの区間に分割した各区間で、互いに異なる撮像条件として、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態とのそれぞれで露光して被写体を撮像させ、
   前記各区間の露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成させ、
   前記第２の映像信号を、前記第１のモードと前記第２のモードとで共通の信号方式かつ同じ水平及び垂直周波数とし、前記第２の映像信号のフレームを連続的に出力させる
   ことを特徴とする撮像装置の制御方法。
7. 撮像装置に搭載されているコンピュータに、
   前記撮像装置の撮像部によって被写体を撮像する第１のステップと、
   前記撮像部が被写体を撮像した撮像信号に基づいて第１の映像信号を生成する第２のステップと、
   前記第１の映像信号に基づいて所定の信号方式の第２の映像信号を生成する第３のステップと、
   を実行させ、
   前記撮像装置を第１のモードに設定したとき、
   前記第１のステップとして、前記撮像部によって、前記第２の映像信号のそれぞれの１フレーム期間に対応させて露光して被写体を撮像するステップと、
   前記第２のステップとして、１フレーム期間に対応させた露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成するステップと、
   を実行させ、
   前記撮像装置を第２のモードに設定したとき、
   前記第１のステップとして、前記撮像部によって、前記第２の映像信号のそれぞれの１フレーム期間を３つの区間に分割した各区間で、互いに異なる撮像条件として、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態とのそれぞれで露光して被写体を撮像するステップと、
   前記第２のステップとして、前記各区間の露光に対応して読み出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成するステップと、
   を実行させ、
   前記撮像装置を前記第１のモードから前記第２のモードに移行させたとき、及び、前記第２のモードから前記第１のモードに移行させたとき、
   前記第３のステップとして、前記第２の映像信号を、前記第１のモードと前記第２のモードとで共通の信号方式かつ同じ水平及び垂直周波数とし、前記第２の映像信号のフレームを連続的に出力するステップを実行させる
   ことを特徴とする撮像装置の制御プログラム。

Images