JP5692446B1 - 撮像装置、撮像装置の制御方法及び制御プログラム - Google Patents

Abstract

【課題】第１のモードと第２のモードとを、映像の乱れが発生せず映像を切り換えることができる撮像装置を提供する。【解決手段】映像処理部５は第１の映像信号を生成し、映像出力部６は第２の映像信号を生成する。撮像部３は、第１のモードでは、第２の映像信号の１フレーム期間に対応させて露光し、第２のモードでは、第２の映像信号の１フレーム期間を複数の区間に分割した各区間で互いに異なる撮像条件で露光する。映像処理部５は、第１のモードでは、１フレーム期間に対応させた露光に対応して読み出された撮像信号に基づいて、第１の映像信号のフレームを生成し、第２のモードでは、各区間の露光に対応して読み出された撮像信号に基づいて、第１の映像信号のフレームを生成する。映像出力部６は、第２の映像信号を、第１のモードと前記第２のモードとで共通の信号方式とし、第２の映像信号のフレームを連続的に出力する。【選択図】図１

Description

本発明は、撮像装置、撮像装置の制御方法及び制御プログラムに関する。

従来、例えば夜間等の可視光がほとんどない環境下において被写体を撮像するために、
赤外線投光器によって被写体に赤外光を照射し、被写体から反射した赤外光を撮像する方
法が用いられている。この方法は、可視光を照射するライトを用いることができない場合
に有効な撮像方法である。

しかしながら、この撮像方法によって被写体を撮像した映像は、モノクロ映像となる。
モノクロ映像では物体の識別が困難となることがある。可視光がない環境下でもカラー映
像を撮像することができれば、物体の識別性を向上させることができる。例えば監視カメ
ラでは、物体の識別性を向上させるために、可視光がない環境下でもカラー映像を撮像す
ることが望まれる。

特許文献１には、可視光がない環境下でもカラー映像を撮像することができる撮像装置
が記載されている。特許文献１に記載されている撮像装置においても、赤外線投光器が用
いられる。監視カメラに特許文献１に記載の技術を搭載すれば、被写体をカラー映像化し
て物体の識別性を向上させることが可能となる。

特開２０１１−５００４９号公報

１台の撮像装置で、可視光が存在する環境下での通常の撮像と、可視光が少ない環境下
での赤外線投光器を用いた暗視撮像との双方を可能とすることが望まれる。撮像装置が赤
外線投光器を使用せず通常の撮像を実行するモードを通常モード、撮像装置が赤外線投光
器によって赤外光を投光している状態で撮像を実行するモードを赤外光投光モードと称す
ることとする。

撮像装置が通常モードと赤外光投光モードとの２つの撮像モードを搭載する場合、通常
モード（第１のモード）から赤外光投光モード（第２のモード）へ、赤外光投光モード（
第２のモード）から通常モード（第１のモード）へと、映像の乱れが発生せず映像が切り
換えられるのがよい。

本発明は、可視光が存在する環境下で赤外光を投光しない状態で被写体を撮像する第１
のモードと、可視光が少ない環境下で、赤外光を投光しながら被写体を撮像する第２のモ
ードとを、映像の乱れが発生せず映像を切り換えることができる撮像装置、撮像装置の制
御方法及び制御プログラムを提供することを目的とする。

赤外光を投光していない状態で撮像する第１のモード、又は、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で撮像する第１の区間と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で撮像する第２の区間と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で撮像する第３の区間とのそれぞれで撮像する第２のモードで、被写体を撮像する撮像部と、前記撮像部より出力された撮像信号に基づく所定の信号方式の映像信号を生成して出力する映像出力部とを備え、前記第２のモードから前記第１のモードへと切り換えた、少なくとも最初の区間における露光時間は、前記第２のモードにおける１つの区間における最大露光時間以下の時間であり、前記第１のモードにおけるその他の区間における最大露光時間は、前記第２のモードにおける最大露光時間よりも長いことを特徴とする撮像装置を提供する。
赤外光を投光していない状態で撮像する第１のモード、又は、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で撮像する第１の区間と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で撮像する第２の区間と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で撮像する第３の区間とのそれぞれで撮像する第２のモードで、被写体を撮像する撮像ステップと、前記撮像ステップにおいて撮像された撮像信号に基づく所定の信号方式の映像信号を生成して出力する映像出力ステップとを有し、前記第２のモードから前記第１のモードへと切り換えた、少なくとも最初の区間における露光時間は、前記第２のモードにおける１つの区間における最大露光時間以下の時間であり、前記第１のモードにおけるその他の区間における最大露光時間は、前記第２のモードにおける最大露光時間よりも長いことを特徴とする撮像装置の制御方法を提供する。
赤外光を投光していない状態で撮像する第１のモード、又は、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で撮像する第１の区間と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で撮像する第２の区間と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で撮像する第３の区間とのそれぞれで撮像する第２のモードで、被写体を撮像する撮像ステップと、前記撮像ステップにおいて撮像された撮像信号に基づく所定の信号方式の映像信号を生成して出力する映像出力ステップとをコンピュータに実行させ、前記第２のモードから前記第１のモードへと切り換えた、少なくとも最初の区間における露光時間は、前記第２のモードにおける１つの区間における最大露光時間以下の時間であり、前記第１のモードにおけるその他の区間における最大露光時間は、前記第２のモードにおける最大露光時間よりも長いことを特徴とする撮像装置の制御プログラムを提供する。

本発明の撮像装置、撮像装置の制御方法及び制御プログラムによれば、可視光が存在す
る環境下で赤外光を投光しない状態で被写体を撮像する第１のモードと、可視光が少ない
環境下で、赤外光を投光しながら被写体を撮像する第２のモードとを、映像の乱れが発生
せず映像を切り換えることができる。

一実施形態の撮像装置の全体的な構成を示すブロック図である。 一実施形態の撮像装置に用いられるカラーフィルタにおける色フィルタの配列の一例を示す図である。 一実施形態の撮像装置を構成する撮像部における３原色光の波長と相対感度との分光感度特性を示す特性図である。 所定の物質からの３原色光の反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示す特性図である。 図１中の撮像素子３１の具体的な構成例を示すブロック図である。 図５に示す撮像素子３１の露光及び撮像信号の読み出しの動作を説明するための図である。 図１中の前信号処理部５２の具体的な構成例を示すブロック図である。 一実施形態の撮像装置が通常モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が中間モード及び暗視モードで動作しているときの露光と映像信号のフレームとの関係を概略的に示す図である。 一実施形態の撮像装置が中間第１モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が中間第１モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が中間第２モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が中間第２モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が暗視モードで動作しているときの周囲画素の加算処理を説明するための図である。 周囲画素の加算処理が施されたフレームを示す図である。 一実施形態の撮像装置が暗視第１モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が暗視第１モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が暗視第２モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が暗視第２モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置におけるモード切換の例を説明するための図である。 一実施形態の撮像装置がそれぞれのモードに設定されているときの各部の状態を示す図である。 一実施形態の撮像装置の第１の変形例を示す部分ブロック図である。 一実施形態の撮像装置の第２の変形例を示す部分ブロック図である。 一実施形態の撮像装置の第３の変形例を示す部分ブロック図である。 一実施形態の撮像装置で実行される映像信号処理方法を示すフローチャートである。 図２５におけるステップＳ３に示す通常モードの具体的な処理を示すフローチャートである。 図２５におけるステップＳ４の中間モードの具体的な処理を示すフローチャートである。 図２５におけるステップＳ５の暗視モードの具体的な処理を示すフローチャートである。 一実施形態の撮像装置内に記憶されている映像信号処理プログラムがコンピュータに実行させる処理を示すフローチャートである。 通常モードと赤外光投光モードとのモード切換方法の第１の例のシーケンスを示す図である。 通常モードと赤外光投光モードとのモード切換方法の第１の例のシーケンスを示す図である。 通常モードと赤外光投光モードとのモード切換方法の第２の例のシーケンスを示す図である。 通常モードと赤外光投光モードとのモード切換方法の第２の例のシーケンスを示す図である。 通常モードと赤外光投光モードとのモード切換方法の第３の例のシーケンスを示す図である。 通常モードと赤外光投光モードとのモード切換方法の第３の例のシーケンスを示す図である。

以下、一実施形態の撮像装置、撮像装置の制御方法及び制御プログラムについて、添付
図面を参照して説明する。

＜撮像装置の構成＞
まず、図１を用いて、一実施形態の撮像装置の全体的な構成について説明する。図１に
示す一実施形態の撮像装置は、昼間等の可視光が十分に存在する環境下に適した通常モー
ドと、夜間等の可視光がほとんどない環境下に適した暗視モードと、可視光がわずかに存
在する環境下に適した中間モードとの３つのモードで撮像可能な撮像装置である。

暗視モードと中間モードとはいずれも可視光が少ない環境下で、赤外線を投光しながら
撮像する赤外光投光モードである。赤外光投光モードは暗視モードのみであってもよい。
本実施形態では、好ましい構成として、中間モードを含む３つのモードで撮像可能な撮像
装置を例とする。

図１において、被写体から反射した一点鎖線にて示す光は、光学レンズ１によって集光
される。ここで、光学レンズ１には、可視光が十分に存在する環境下では可視光、可視光
がほとんどない環境下では後述する赤外線投光器９より発せられた赤外光を被写体が反射
した赤外光が入射される。

可視光がわずかに存在する環境下では、光学レンズ１には、可視光と赤外線投光器９よ
り発せられた赤外光を被写体が反射した赤外光とが混在した光が入射される。

図１では簡略化のため、光学レンズ１を１つのみとしているが、実際には、撮像装置は
複数の光学レンズを備える。

光学レンズ１と撮像部３との間には、光学フィルタ２が設けられている。光学フィルタ
２は、赤外線カットフィルタ２１とダミーガラス２２との２つの部分を有する。光学フィ
ルタ２は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２
１を挿入した状態と、光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態
とのいずれかの状態に駆動される。

撮像部３は、水平方向及び垂直方向に複数の受光素子（画素）が配列した撮像素子３１
と、それぞれの受光素子に対応して赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のいずれかの色
フィルタが配置されたカラーフィルタ３２とを有する。撮像素子３１は、ＣＣＤ（Charge
Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）でよい
。

カラーフィルタ３２には、一例として、図２に示すように、Ｒ，Ｇ，Ｂの色フィルタが
ベイヤ配列と称される配列で並べられている。ベイヤ配列は、Ｒ，Ｇ，Ｂの色フィルタの
所定の配列の一例である。図２において、各行のＲの色フィルタに挟まれたＧの色フィル
タをＧｒ、Ｂの色フィルタに挟まれたＧの色フィルタをＧｂとしている。

ベイヤ配列では、Ｒの色フィルタとＧｒの色フィルタとが交互に配置された水平方向の
行と、Ｂの色フィルタとＧｂの色フィルタとが交互に配置された水平方向の行とが、垂直
方向に交互に配列されている。

図３は、撮像部３におけるＲ光，Ｇ光，Ｂ光の波長と相対感度との分光感度特性を示し
ている。相対感度は、最大値が１に正規化されている。撮像装置を通常モードで動作させ
るとき、可視光による良好なカラー映像を撮像するには、波長７００ｎｍ以上の赤外光を
カットする必要がある。

そこで、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間
に赤外線カットフィルタ２１を挿入するように光学フィルタ２を駆動する。

図３より分かるように、撮像部３は、波長７００ｎｍ以上の赤外光の領域においても感
度を有する。そこで、撮像装置を中間モードまたは暗視モードで動作させるときには、駆
動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間の赤外線カッ
トフィルタ２１を外してダミーガラス２２を挿入するように光学フィルタ２を駆動する。

光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態では、波長７００ｎ
ｍ以上の赤外光はカットされない。よって、撮像装置は、図３に破線の楕円で囲んだ部分
の感度を利用して、Ｒ，Ｇ，Ｂの各色情報を得ることが可能となる。ダミーガラス２２を
挿入するのは、光路長を、赤外線カットフィルタ２１を挿入した場合の光路長と同じにす
るためである。

赤外線投光器９は、それぞれ、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する投光部
９１，９２，９３を有する。中間モードまたは暗視モードのとき、制御部７内の投光制御
部７１は、時分割で投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光さ
せるように制御する。

ところで、撮像素子３１にはシリコンウェハが用いられている。図４は、Ｒ，Ｇ，Ｂそ
れぞれの色を呈する素材に白色光を照射した場合の各波長における反射率にシリコンの受
光感度を乗じたときの、波長と相対検出率との関係を示している。図４においても、相対
検出率は、最大値が１に正規化されている。

図４に示すように、赤外光の領域において、例えば、波長７８０ｎｍにおける反射光は
Ｒ色を呈する素材の反射光との相関性が高く、波長８７０ｎｍにおける反射光はＢ色を呈
する素材の反射光との相関性が高く、波長９４０ｎｍにおける反射光はＧ色を呈する素材
の反射光との相関性が高い。

そこで、本実施形態においては、投光部９１，９２，９３が投光する赤外光の波長ＩＲ
１，ＩＲ２，ＩＲ３を、７８０ｎｍ，９４０ｎｍ，８７０ｎｍとする。これらの波長は、
波長ＩＲ１〜ＩＲ３の一例であり、７８０ｎｍ，９４０ｎｍ，８７０ｎｍ以外でもよい。

投光部９１が波長ＩＲ１の赤外光を被写体に照射し、被写体から反射した光を撮像した
映像信号をＲ信号に割り当てる。投光部９３が波長ＩＲ２の赤外光を被写体に照射し、被
写体から反射した光を撮像した映像信号をＧ信号に割り当てる。投光部９２が波長ＩＲ３
の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＢ信号に割り当
てる。

このようにすれば、原理的に、中間モードまたは暗視モードにおいても、通常モードに
おいて可視光が存在する環境下で被写体を撮像した場合と同様の色を再現することができ
る。

色味が被写体の実際の色味と異なるカラー映像となるものの、７８０ｎｍの波長ＩＲ１
をＲ光、８７０ｎｍの波長ＩＲ３をＧ光、９４０ｎｍの波長ＩＲ２をＢ光に割り当てても
よい。波長ＩＲ１，ＩＲ２，ＩＲ３をＲ光，Ｇ光，Ｂ光に任意に割り当てることも可能で
ある。

本実施形態においては、被写体の色味を最もよく再現する、波長ＩＲ１，ＩＲ２，ＩＲ
３をそれぞれＲ光，Ｇ光，Ｂ光に割り当てることとする。

制御部７は、撮像部３における撮像と、映像処理部５内の各部と、映像出力部６とを制
御する。

撮像素子３１がＣＣＤである場合を例として、撮像素子３１の概略的な構成と、制御部
７が撮像部３をどのように制御するかについて説明する。

図５に示すように、撮像素子３１は水平方向及び垂直方向に配列した複数の受光素子Ｐ
ｘを備える。撮像素子３１は、垂直方向に並んだ受光素子Ｐｘのそれぞれの列に対応した
垂直転送レジスタ３ｖｒと、それぞれの垂直転送レジスタ３ｖｒに接続された水平転送レ
ジスタ３ｈｒとを備える。

水平方向及び垂直方向に配列した複数の受光素子Ｐｘそれぞれに、図２で説明したカラ
ーフィルタ３２のＲ，Ｇ，Ｂの色フィルタが対応付けられている。実際には、図５に示す
ように、互いに隣り合う受光素子Ｐｘは水平方向及び垂直方向に離間した状態で配置され
ているが、図２では便宜上、カラーフィルタ３２を互いに隣り合う色フィルタが密着して
いる状態で示している。

図６において、（ａ）は撮像素子３１の受光素子Ｐｘの露光を示している。受光素子Ｐ
ｘの最大露光時間をtExmaxとする。最大露光時間tExmaxは、１フレーム期間に相当する。
受光素子Ｐｘの露光時間は、最大露光時間tExmaxを最大として、シャッタスピードに応じ
て増減する。

撮像素子３１には、例えば１水平期間の間隔で露光により蓄積した電荷を排出するため
の抜き取りパルスＰｓ１が供給される。制御部７が所定のタイミングで抜き取りパルスＰ
ｓ１の供給を停止させると、抜き取りパルスＰｓ１の供給が停止された以降がハッチング
で示す時間の露光Ｅｘ１，Ｅｘ２…となる。

撮像素子３１には、最大露光時間tExmaxに達するタイミングで、読み出しパルスＰｓ２
が供給される。撮像素子３１に読み出しパルスＰｓ２が供給されると、図５におけるそれ
ぞれの列の受光素子Ｐｘに蓄積された電荷は、垂直転送レジスタ３ｖｒへと一括して転送
される。

垂直転送レジスタ３ｖｒは、受光素子Ｐｘより転送された電荷を垂直転送クロックによ
って水平転送レジスタ３ｈｒへと順次転送する。水平転送レジスタ３ｈｒは、それぞれの
垂直転送レジスタ３ｖｒより転送された電荷を水平転送クロックによって順次転送する。
水平転送レジスタ３ｈｒが転送する電荷は、出力アンプ３ａｐによって増幅されて電圧信
号に変換されて出力される。

図６において、（ｂ）に示すように、撮像素子３１は、読み出しパルスＰｓ２が供給さ
れた以降の１フレーム期間に渡って、露光Ｅｘ１，Ｅｘ２…によって得られた電荷を電圧
信号として読み出すことにより、撮像信号のフレームＦ１,Ｆ２…を出力する。フレーム
Ｆ１,Ｆ２…の撮像信号は、Ａ／Ｄ変換器４に供給される。

Ａ／Ｄ変換器４に入力された撮像信号はＡ／Ｄ変換され、映像処理部５に入力される。
撮像部３とＡ／Ｄ変換器４とが一体化されていてもよい。

制御部７は、映像処理部５内に設けられたフレームバッファ５０への映像データの書き
込みとフレームバッファ５０からの映像データの読み出しを制御する書込・読出制御部７
０と、通常モードと中間モードと暗視モードとを切り換えるモード切換部７２を備える。
書込・読出制御部７０によって映像データがフレームバッファ５０どのように書き込まれ
、読み出されるかについては後述する。

モード切換部７２は、通常モードと中間モードと暗視モードとに対応させて、映像処理
部５内の動作を後述のように適宜切り換える。映像処理部５と制御部７とが一体化されて
いてもよい。

映像処理部５は、フレームバッファ５０と、スイッチ５１，５３と、前信号処理部５２
と、デモザイク処理部５４とを有する。フレームバッファ５０は、それぞれ１フレーム分
の容量のメモリ５０ａ〜５０ｆを有する。破線で示すように、フレームバッファ５０が、
合計６フレーム分の容量のメモリ５０ａ〜５０ｆに加えて、それぞれ１フレーム分の容量
のメモリ５０ｇ〜５０ｉを有する場合もある。

スイッチ５１，５３は物理的なスイッチであってもよく、前信号処理部５２の動作と不
動作とを切り換えるための概念的なスイッチであってもよい。制御部７には、撮像してい
る映像の明るさを検出するために、映像処理部５から映像信号が入力される。

図７に示すように、前信号処理部５２は、周囲画素加算部５２１と、同一位置画素加算
部５２２と、合成部５２３とを有する。

映像処理部５は、Ｒ，Ｇ，Ｂの３原色データを生成して、映像出力部６に供給する。映
像出力部６は、３原色データを所定の形式で図示していない表示部等へと出力する。

映像出力部６は、Ｒ，Ｇ，Ｂ信号をそのまま出力してもよいし、Ｒ，Ｇ，Ｂ信号を輝度
信号と色信号（または色差信号）に変換して出力してもよい。映像出力部６は、コンポジ
ット映像信号を出力してもよい。映像出力部６は、デジタル信号の映像信号を出力しても
よいし、Ｄ／Ａ変換器によってアナログ信号に変換した映像信号を出力してもよい。

本実施形態においては、映像出力部６はＮＴＳＣエンコーダ６１を有し、制御部７によ
る制御に基づいて、ＮＴＳＣ方式のインターレース方式の映像信号を出力するものとする
。映像出力部６は、ＮＴＳＣエンコーダ６１の代わりに、ＰＡＬ方式の映像信号を生成す
るためのＰＡＬエンコーダを有する構成とすることも可能である。また、ＨＤＴＶ（High
-definition television）方式でもよく、映像出力部６は種々の方式に適用可能である。

以下、通常モードと中間モードと暗視モードとのそれぞれの具体的な動作について説明
する。

＜通常モード＞
通常モードでは、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間に赤
外線カットフィルタ２１を挿入させる。投光制御部７１は、赤外線投光器９による赤外光
の投光をオフにする。

撮像部３によって撮像された撮像信号は、Ａ／Ｄ変換器４によってデジタル信号である
映像データに変換されて、映像処理部５に入力される。通常モードでは、モード切換部７
２は、スイッチ５１，５３を端子Ｔｂに接続するように制御する。

図６で説明したように、露光Ｅｘ１に基づいて、映像信号のフレームＦ１が得られる。
露光Ｅｘ２に基づいて、映像信号のフレームＦ２が得られる。以降の露光でも同様である
。映像信号のフレーム周波数を、例えば３０フレーム／秒とする。

映像信号のフレーム周波数は、ＮＴＳＣ方式であれば３０フレーム／秒または６０フレ
ーム／秒、ＰＡＬ方式であれば２５フレーム／秒または５０フレーム／秒のように適宜設
定すればよい。また、映像信号のフレーム周波数は、映画で使われている２４フレーム／
秒であってもよい。

Ａ／Ｄ変換器４より出力された各フレームの映像データは、フレームバッファ５０に一
時的に保持される。フレームバッファ５０より読み出された映像データは、スイッチ５１
，５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、入力され
た各フレームの映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の
他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原
色データを出力する。

図８を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図８
において、（ａ）は映像データの任意のフレームＦｍを示している。フレームＦｍは、有
効映像期間の画素によって構成されたフレームである。映像データの画素数は、例えばＶ
ＧＡ規格では水平６４０画素、垂直４８０画素である。ここでは簡略化のため、フレーム
Ｆｍの画素数を大幅に少なくして、フレームＦｍを概念的に示している。

ベイヤ配列の撮像部３を用いて生成された映像データは、フレームＦｍ内で、Ｒ，Ｇ，
Ｂの画素データが混在したデータである。デモザイク処理部５４は、Ｒの画素データが存
在しない画素位置のＲの画素データを周囲のＲの画素データを用いて算出したＲの補間画
素データＲｉを生成する。デモザイク処理部５４は、図８の（ｂ）に示す１フレームの全
画素がＲの画素データよりなるＲフレームＦｍＲを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周
囲のＧの画素データを用いて算出したＧの補間画素データＧｉを生成する。デモザイク処
理部５４は、図８の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレー
ムＦｍＧを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周
囲のＢの画素データを用いて算出したＢの補間画素データＢｉを生成する。デモザイク処
理部５４は、図８の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレー
ムＦｍＢを生成する。

デモザイク処理部５４は、Ｒの画素データを補間する際には少なくともＲの画素データ
を用いればよく、Ｇの画素データを補間する際には少なくともＧの画素データを用いれば
よく、Ｂの画素データを補間する際には少なくともＢの画素データを用いればよい。デモ
ザイク処理部５４は、補間精度を向上させるために、Ｒ，Ｇ，Ｂの画素データを補間する
際に、生成しようとする補間画素データの色とは異なる他の色の画素データを用いてもよ
い。

撮像部３には、有効映像期間より外側の画素も存在しているため、フレームＦｍの上下
左右端部に位置する画素においても、Ｒ，Ｇ，Ｂの画素データを補間することができる。

デモザイク処理部５４によって生成されたＲフレームＦｍＲ，ＧフレームＦｍＧ，Ｂフ
レームＦｍＢがＲ，Ｇ，Ｂの３原色データとして出力される。図８では、理解を容易にす
るため、Ｒ，Ｇ，Ｂの画素データをフレーム単位で説明したが、実際には、Ｒ，Ｇ，Ｂの
画素データは画素ごとに順次出力される。

＜中間モード：中間第１モード＞
中間モード（中間第１モード及び後述する中間第２モード）では、制御部７は、駆動部
８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御
部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイ
ッチ５１，５３を端子Ｔａに接続するように制御する。

図９の（ａ）は、赤外線投光器９による赤外光の投光の状態を示している。制御部７は
、通常モードの１フレーム期間を１／３ずつに分け、例えば投光部９１，９２，９３の順
に赤外光を投光させるように制御する。

図９の（ａ）に示す例では、１フレームの最初の１／３の期間では、波長ＩＲ１（７８
０ｎｍ）の赤外光が被写体に照射される。１フレームの次の１／３の期間では、波長ＩＲ
２（９４０ｎｍ）の赤外光が被写体に照射される。１フレームの最後の１／３の期間では
、波長ＩＲ３（８７０ｎｍ）の赤外光が被写体に照射される。波長ＩＲ１〜ＩＲ３の赤外
光を投光する順番は任意である。

図９の（ｂ）に示すように、波長ＩＲ１の赤外光を投光しているタイミングでは、撮像
部３はＲ光との相関性が高い露光Ex1Rが行われる。波長ＩＲ２の赤外光を投光しているタ
イミングでは、撮像部３はＧ光との相関性が高い露光Ex1Gが行われる。波長ＩＲ３の赤外
光を投光しているタイミングでは、撮像部３はＢ光との相関性が高い露光Ex1Bが行われる
。

但し、中間モードでは、可視光がわずかに存在する環境下での撮像であるため、可視光
と赤外線投光器９より投光された赤外光とが混在した状態である。よって、中間モードに
おいては、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、可視光による露光と赤外光に
よる露光とを合わせた露光となる。

図９の（ｃ）に示すように、露光Ex1R，Ex1G，Ex1Bに基づいて、所定時間後に、露光Ex
1Rに対応したフレームF1IR1、露光Ex1Gに対応したフレームF1IR3、露光Ex1Bに対応したフ
レームF1IR2が得られる。

また、露光Ex2R，Ex2G，Ex2Bに基づいて、所定時間後に、露光Ex2Rに対応したフレーム
F2IR1、露光Ex2Gに対応したフレームF2IR3、露光Ex2Bに対応したフレームF2IR2が得られ
る。露光Ex3R，Ex3G，Ex3B以降も同様である。

図９の（ｃ）の撮像信号のフレーム周波数は、９０フレーム／秒である。中間モードで
は、通常モードにおける映像信号の１フレームを時分割して波長ＩＲ１〜ＩＲ３の赤外光
を投光するため、通常モードと同じ形式の映像信号を出力するためには、図９の（ｃ）の
撮像信号のフレーム周波数は、通常モードにおけるフレーム周波数の３倍となる。

後述するように、図９の（ｃ）の３フレームの撮像信号に基づいて、図９の（ｄ）に示
す３０フレーム／秒のフレーム周波数を有する映像信号の１フレームが生成される。ここ
では概略的にインターレース方式の映像信号ではなく、プログレッシブ方式の映像信号と
して説明する。例えば、フレームF1IR1，F1IR2，F1IR3に基づいてフレームF1IRが生成さ
れ、フレームF2IR1，F2IR2，F2IR3に基づいてフレームF2IRが生成される。

図９の（ｃ）の３フレームの撮像信号に基づいて、図９の（ｄ）の各フレームの映像信
号を生成する中間モードでの動作を具体的に説明する。

Ａ／Ｄ変換器４より出力された図９の（ｃ）に示す撮像信号に対応する各フレームの映
像データは、フレームバッファ５０に一時的に保持される。フレームバッファ５０より読
み出された映像データは、スイッチ５１を介して前信号処理部５２に入力される。

図１０を用いて、前信号処理部５２における前信号処理について説明する。図１０の（
ａ）は、波長ＩＲ１の赤外光を投光しているタイミングで生成された映像データの任意の
フレームFmIR1を示している。フレームFmIR1内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、
波長ＩＲ１の赤外光を投光した状態で生成されたことを示す添え字１を付している。

図１０の（ｂ）は、波長ＩＲ２の赤外光を投光しているタイミングで生成された映像デ
ータの任意のフレームFmIR2を示している。フレームFmIR2内のＲ，Ｂ，Ｇｒ，Ｇｂの画素
データには、波長ＩＲ２の赤外光を投光した状態で生成されたことを示す添え字２を付し
ている。

図１０の（ｃ）は、波長ＩＲ３の赤外光を投光しているタイミングで生成された映像デ
ータの任意のフレームFmIR3を示している。フレームFmIR3内のＲ，Ｂ，Ｇｒ，Ｇｂの画素
データには、波長ＩＲ３の赤外光を投光した状態で生成されたことを示す添え字３を付し
ている。

図１０の（ａ）に示すフレームFmIR1は、Ｒ光との相関性が高い波長ＩＲ１の赤外光が
投光された状態で生成された映像データであるので、Ｒの画素データは投光された赤外光
と対応した画素データであり、Ｂ，Ｇの画素データは投光された赤外光と対応していない
画素データである。Ｂ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された
赤外光と対応していない画素データであることを意味する。

図１０の（ｂ）に示すフレームFmIR2は、Ｇ光との相関性が高い波長ＩＲ２の赤外光が
投光された状態で生成された映像データであるので、Ｇの画素データは投光された赤外光
と対応した画素データであり、Ｒ，Ｂの画素データは投光された赤外光と対応していない
画素データである。Ｒ，Ｂの画素データに付しているハッチングは、投光された赤外光と
対応していない画素データであることを意味する。

図１０の（ｃ）に示すフレームFmIR3は、Ｂ光との相関性が高い波長ＩＲ３の赤外光が
投光された状態で生成された映像データであるので、Ｂの画素データは投光された赤外光
と対応した画素データであり、Ｒ，Ｇの画素データは投光された赤外光と対応していない
画素データである。Ｒ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された
赤外光と対応していない画素データであることを意味する。

前信号処理部５２内の同一位置画素加算部５２２は、互いに同じ画素位置のＲ，Ｇｒ，
Ｇｂ，Ｂの画素データを以下の式（１）〜（３）に従って個別に加算して、画素データR1
23，Gr123，Gb123，B123を生成する。中間モードでは、前信号処理部５２内の周囲画素加
算部５２１は不動作である。

R123=ka×R1+kb×R2 +kc×R3 …（１）
G123=kd×G1+ke×G2+kf×G3 …（２）
B123=kg×B1+kh×B2+ki×B3 …（３）

式（１）〜（３）において、R1，G1，B1はフレームFmIR1におけるＲ，Ｇ，Ｂの画素デ
ータ、R2，G2，B2はフレームFmIR2におけるＲ，Ｇ，Ｂの画素データ、R3，G3，B3はフレ
ームFmIR3におけるＲ，Ｇ，Ｂの画素データである。ka〜kiは所定の係数である。式（２
）におけるG123はGr123またはGb123である。

このとき、同一位置画素加算部５２２は、ハッチングを付していないＲ，Ｇｒ，Ｇｂ，
Ｂのそれぞれの画素データに、ハッチングを付した同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの
画素データそれぞれを加算する。

即ち、同一位置画素加算部５２２は、式（１）に基づいて、フレームFmIR1におけるＲ
の画素データに、フレームFmIR2，FmIR3における同じ画素位置のＲの画素データを加算し
て、画素データR123を生成する。つまり、受光素子における赤色のカラーフィルタに対応
する領域の画素データだけを用いて赤色用の画素データR123を生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2におけるＧｒ，Ｇ
ｂの画素データに、フレームFmIR1，FmIR3における同じ画素位置のＧｒ，Ｇｂの画素デー
タを加算して、画素データG123を生成する。つまり、受光素子における緑色のカラーフィ
ルタに対応する領域の画素データだけを用いて緑色用の画素データG123を生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3におけるＢの画素
データに、フレームFmIR1，FmIR2における同じ画素位置のＢの画素データを加算して、画
素データB123を生成する。つまり、受光素子における青色のカラーフィルタに対応する領
域の画素データだけを用いて青色用の画素データB123を生成する。

前信号処理部５２内の合成部５２３は、それぞれの画素位置において生成された画素デ
ータR123，Gr123，Gb123，B123に基づいて、図１０の（ｄ）に示す合成映像信号のフレー
ムFmIR123を生成する。

具体的には、合成部５２３は、フレームFmIR1における画素データR123と、フレームFmI
R2における画素データGr123，Gb123と、フレームFmIR3における画素データB123とを選択
して合成する。これによって合成部５２３は、合成映像信号のフレームFmIR123を生成す
る。

このように、合成部５２３は、カラーフィルタ３２における色フィルタの配列と同じ配
列となるように、画素データR123，Gr123，Gb123，B123を配列させたフレームFmIR123を
生成する。

中間第１モードにおいては、ハッチングを付していない画素データと、ハッチングを付
した画素データとを用いて、フレームFmIR123の映像データを生成する。

同一位置画素加算部５２２によって互いに同じ画素位置の画素データを加算するのは、
次の理由による。中間モードではわずかではあるものの可視光が存在する環境下での撮像
であるため、ハッチングを付した画素データは可視光による露光に基づくそれぞれの色の
成分を含む。よって、同じ画素位置の画素データを加算することによって、それぞれの色
の感度を上げることができる。

可視光と赤外光とが混在している状況で可視光が比較的多ければ、可視光による露光が
支配的となる。この場合、フレームFmIR123の映像データは、可視光によって露光した映
像信号に基づく成分が主となる。可視光と赤外光とが混在している状況で赤外光が比較的
多ければ、赤外光による露光が支配的となる。この場合、フレームFmIR123の映像データ
は、赤外光によって露光した映像信号に基づく成分が主となる。

可視光が比較的少ない場合には、式（１）において、係数ka，kb，kcの大小関係を、ka
>kb，kcとし、式（２）において、係数kd，ke，kfの大小関係を、kf>kd，keとし、式（３
）において、係数kg，kh，kiの大小関係を、kh>kg，kiとするのがよい。これは、波長Ｉ
Ｒ１はＲ光との相関性が高く、波長ＩＲ２はＧ光との相関性が高く、波長ＩＲ３はＢ光と
の相関性が高いからである。

このようにすれば、Ｒの画素データではフレームFmIR1におけるＲの画素データ、Ｇの
画素データではフレームFmIR2におけるＧの画素データ、Ｂの画素データではフレームFmI
R3におけるＢの画素データを主とすることができる。

前信号処理部５２より出力されたフレームFmIR123の映像データは、スイッチ５３を介
してデモザイク処理部５４に入力される。デモザイク処理部５４は、通常モードと同様に
、入力されたフレームFmIR123の映像データにデモザイク処理を施す。映像処理部５は、
デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、
Ｒ，Ｇ，Ｂの３原色データを出力する。

図１１を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図
１１の（ａ）は、フレームFmIR123を示している。デモザイク処理部５４は、Ｒの画素デ
ータが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、
Ｒの補間画素データR123iを生成する。デモザイク処理部５４は、図１１の（ｂ）に示す
１フレームの全画素がＲの画素データよりなるＲフレームFmIR123Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周
囲のＧの画素データを用いて演算して、Ｇの補間画素データG123iを生成する。デモザイ
ク処理部５４は、図１１の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧ
フレームFmIR123Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周
囲のＢの画素データを用いて演算して、Ｂの補間画素データB123iを生成する。デモザイ
ク処理部５４は、図１１の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢ
フレームFmIR123Bを生成する。

通常モードにおける図８に示すデモザイク処理部５４の動作と、中間モードにおける図
１１に示すデモザイク処理部５４の動作とを比較すれば分かるように、両者は実質的に同
じである。デモザイク処理部５４の動作は、通常モードであっても中間モードであっても
変わらない。

通常モードでは前信号処理部５２を不動作とし、中間モードでは、周囲画素加算部５２
１を除き、前信号処理部５２を動作させればよい。通常モードと中間モードとで、映像処
理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信
号処理部を共用させることができる。

＜中間モード：中間第２モード＞
図１２及び図１３を用いて、中間第２モードにおける動作を説明する。中間第２モード
における動作において、中間第１モードにおける動作と同一部分は説明を省略する。図１
２の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図１０の（ａ）〜（ｃ）のフレ
ームFmIR1，FmIR2，FmIR3と同じである。

合成部５２３は、フレームFmIR1におけるＲの画素データであるR1と、フレームFmIR2に
おけるＧの画素データであるGr2，Gb2と、フレームFmIR3におけるＢの画素データであるB
3とを選択して合成する。これによって合成部５２３は、図１２の（ｄ）に示す合成映像
信号のフレームFmIR123’を生成する。

即ち、フレームFmIR123’は、フレームFmIR1，FmIR3，FmIR2におけるハッチングを付し
ていないＲ，Ｇｒ，Ｇｂ，Ｂの画素データを１フレームに集結させた映像データである。

つまり、フレームFmIR123’においては、波長ＩＲ１の赤外光を投光した状態における
赤色のカラーフィルタに対応する領域の画素データだけを用いた赤色用の画素データ、波
長ＩＲ２の赤外光を投光した状態における緑色のカラーフィルタに対応する領域の画素デ
ータだけを用いた緑色用の画素データ、波長ＩＲ３の赤外光を投光した状態における青色
のカラーフィルタに対応する領域の画素データだけを用いた青色用の画素データとなって
いる。

このように、合成部５２３は、カラーフィルタ３２における色フィルタの配列と同じ配
列となるように、画素データR1，Gr2，Gb2，B3を配列させたフレームFmIR123’を生成す
る。

中間第２モードでは、同一位置画素加算部５２２は、式（１）における係数kaを１、係
数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）におけ
る係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ
，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データは、それぞれそのままの
値となる。

よって、合成部５２３は、中間第１モードにおける動作と同様に、フレームFmIR1にお
けるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmI
R3におけるＢの画素データを選択すれば、フレームFmIR123’を生成することができる。

中間第２モードにおいては、前信号処理部５２は、画素データの色と同じ色の画素デー
タを生成するための赤外光が投光された状態で生成された画素データ（ハッチングを付し
ていない画素データ）のみ用いて、フレームFmIR123’の映像データを生成する。

中間第２モードによれば、中間第１モードよりも感度や色の再現性は低下するものの、
演算処理を簡略化したり、フレームメモリを削減したりすることができる。

図１３を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図
１３の（ａ）は、フレームFmIR123’を示している。デモザイク処理部５４は、Ｒの画素
データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して
、Ｒの補間画素データＲ１ｉを生成する。デモザイク処理部５４は、図１３の（ｂ）に示
す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周
囲のＧの画素データを用いて演算して、Ｇの補間画素データＧ２ｉを生成する。デモザイ
ク処理部５４は、図１３の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧ
フレームFmIR123’Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周
囲のＢの画素データを用いて演算して、Ｂの補間画素データＢ３ｉを生成する。デモザイ
ク処理部５４は、図１３の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢ
フレームFmIR123’Bを生成する。

以上のように、中間モードにおいては、受光素子における赤色のカラーフィルタに対応
する領域から得た画素データから赤色用の画素データを生成し、受光素子における緑色の
カラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成し、受
光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画
素データを生成する。

＜暗視モード：暗視第１モード＞
暗視モード（暗視第１モード及び後述する暗視第２モード）では、中間モードと同様、
制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿
入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード
切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

暗視モードにおける概略的な動作は、図９と同じである。但し、暗視モードでは、可視
光がほとんど存在しない環境下での撮像であるため、図９の（ｂ）における露光Ex1R，Ex
1G，Ex1B，Ex2R，Ex2G，Ex2B…は、赤外光のみによる露光を想定している。

可視光がほとんど存在せず赤外光のみが存在している環境下では、カラーフィルタ３２
におけるそれぞれの色フィルタの特性には差がなくなるため、撮像部３を単色の撮像素子
とみなすことができる。

そこで、前信号処理部５２内の周囲画素加算部５２１は、暗視モードでは、赤外光の感
度を向上させるために、それぞれの画素データに対して、周囲に位置する画素データを加
算する。

具体的には、図１４の（ａ）に示すように、Ｒの画素が注目画素であるとき、周囲画素
加算部５２１は、注目画素のＲの画素データに対して周囲に位置するＧ及びＢの８画素の
画素データを加算する。

つまり、中間モードのときは、受光素子における赤色のカラーフィルタに対応する領域
から得た画素データから赤色用の画素データを生成していたが、暗視モードでは、中間モ
ードのときよりも広い領域から得た画素データから赤色用の画素データを生成することと
なる。図１４の例では、各色とも注目画素を含む９画素分の領域から得た画素データを用
いている。

図１４の（ｂ）に示すように、Ｇの画素が注目画素であるとき、周囲画素加算部５２１
は、注目画素のＧの画素データに対して周囲に位置するＧ及びＢの８画素の画素データを
加算する。図１４の（ｂ）におけるＧの画素はＧｒまたはＧｂの画素である。

つまり、中間モードのときは、受光素子における緑色のカラーフィルタに対応する領域
から得た画素データから緑色用の画素データを生成していたが、暗視モードでは、中間モ
ードのときよりも広い領域から得た画素データから緑色用の画素データを生成することと
なる。

図１４の（ｃ）に示すように、Ｂの画素が注目画素であるとき、周囲画素加算部５２１
は、注目画素のＢの画素データに対して周囲に位置するＲ及びＧの８画素の画素データを
加算する。

つまり、中間モードのときは、受光素子における青色のカラーフィルタに対応する領域
から得た画素データから青色用の画素データを生成していたが、暗視モードでは、中間モ
ードのときよりも広い領域から得た画素データから青色用の画素データを生成することと
なる。

周囲画素加算部５２１は、注目画素の画素データと周囲の８画素の画素データとの９画
素を単純に加算してもよいし、周囲の８画素の画素データに対して所定の重み付けをした
上で注目画素の画素データに加算してもよい。

ところで、ビニングと称される複数の画素をまとめて１つの画素として読み出し可能な
撮像素子が存在する。撮像素子３１として、ビニング機能を有する撮像素子を用いる場合
には、周囲画素加算部５２１による加算処理ではなく、ビニング機能を有する撮像素子に
よる加算処理を行ってもよい。撮像素子によるビニングは、周囲画素加算部５２１による
加算処理と実質的に等価である。

図１５の（ａ）〜（ｃ）のフレームFmIR1，FmIR3，FmIR2は、図１０の（ａ）〜（ｃ）
のフレームFmIR1，FmIR3，FmIR2と同じである。図１５の（ｄ）〜（ｆ）において、R1ad
，Gr1ad，Gb1ad，B1ad，R2ad，Gr2ad，Gb2ad，B2ad，R3ad，Gr3ad，Gb3ad，B3adは、それ
ぞれ、Ｒ，Ｇｒ，Ｇｂ，Ｂの画素データに対して周囲の８画素の画素データを加算した加
算画素データである。

周囲画素加算部５２１は、フレームFmIR1，FmIR3，FmIR2のそれぞれの画素データに対
して図１４に示す加算処理を施すことにより、図１５の（ｄ）〜（ｆ）に示すフレームFm
IR1ad，FmIR2ad，FmIR3adを生成する。

図１６の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１５の（ｄ）〜
（ｆ）のフレームFmIR1ad，FmIR2ad，FmIR3adと同じである。

同一位置画素加算部５２２は、中間第１モードと同様に、式（１）に基づいて、フレー
ムFmIR1adにおけるR1adの画素データに、フレームFmIR2ad，FmIR3adにおける同じ画素位
置のR2ad，R3adの画素データを加算して、画素データR123adを生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2adにおけるGr2ad，
Gb2adの画素データに、フレームFmIR1ad，FmIR3adにおける同じ画素位置のGr1ad，Gb1ad
，Gr3ad，Gb3adの画素データを加算して、画素データGr123ad，Gb123adを生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3adにおけるB3adの
画素データに、フレームFmIR1ad，FmIR2adにおける同じ画素位置のB1ad，B2adの画素デー
タを加算して、画素データB123adを生成する。

合成部５２３は、中間第１モードと同様に、フレームFmIR1adにおける画素データR123a
dと、フレームFmIR2adにおける画素データGr123ad，Gb123adと、フレームFmIR3adにおけ
る画素データB123adとを選択して合成する。これによって合成部５２３は、図１６の（ｄ
）に示す合成映像信号のフレームFmIR123adを生成する。

合成部５２３は、カラーフィルタ３２における色フィルタの配列と同じ配列となるよう
に、画素データR123ad，Gr123ad，Gb123ad，B123adを配列させたフレームFmIR123adを生
成する。

図１７の（ａ）はフレームFmIR123adを示している。デモザイク処理部５４は、Ｒの画
素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算し
て、Ｒの補間画素データR123adiを生成する。デモザイク処理部５４は、図１７の（ｂ）
に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123adRを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周
囲のＧの画素データを用いて演算して、Ｇの補間画素データG123adiを生成する。デモザ
イク処理部５４は、図１７の（ｃ）に示す１フレームの全画素がＧの画素データよりなる
ＧフレームFmIR123adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周
囲のＢの画素データを用いて演算して、Ｂの補間画素データB123adiを生成する。デモザ
イク処理部５４は、図１７の（ｄ）に示す１フレームの全画素がＢの画素データよりなる
ＢフレームFmIR123adBを生成する。

中間第１モードと暗視第１モードとは、前者が周囲画素加算部５２１を不動作としてい
る一方で、後者が周囲画素加算部５２１を動作させている点で異なる。モード切換部７２
は、暗視モードのとき、周囲画素加算部５２１を動作させればよい。

暗視モードにおけるデモザイク処理部５４の動作は、通常モード及び中間モードにおけ
るデモザイク処理部５４の動作と実質的に同じである。通常モードと中間モードと暗視モ
ードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正や
ゲイン補正等の信号処理部を共用させることができる。

＜暗視モード：暗視第２モード＞
図１８及び図１９を用いて、暗視第２モードにおける動作を説明する。暗視第２モード
における動作において、暗視第１モードにおける動作と同一部分は説明を省略する。図１
８の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１６の（ａ）〜（ｃ）
のFmIR1ad，FmIR2ad，FmIR3adと同じである。

合成部５２３は、フレームFmIR1adにおけるＲの画素データであるR1adと、フレームFmI
R2におけるＧの画素データであるGr2ad，Gb2adと、フレームFmIR3におけるＢの画素デー
タであるB3adとを選択して合成する。これによって合成部５２３は、図１８の（ｄ）に示
す合成映像信号のフレームFmIR123’adを生成する。

合成部５２３は、カラーフィルタ３２における色フィルタの配列と同じ配列となるよう
に、画素データR1ad，Gr2ad，Gb2ad，B3adを配列させたフレームFmIR123’adを生成する
。

なお、図１４を用いて説明したように、フレームFmIR123’adにおける赤色用の画素デ
ータR1adは、中間モードのときに赤色用の画素データを生成するために用いた領域よりも
広い領域から得た画素データから生成されたものとなっている。

また、フレームFmIR123’adにおける緑色用の画素データGr2adは、中間モードのときに
緑色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから
生成されたものとなっている。

さらに、フレームFmIR123’adにおける青色用の画素データB3adは、中間モードのとき
に青色用の画素データを生成するために用いた領域よりも広い領域から得た画素データか
ら生成されたものとなっている。

暗視第２モードでは、中間第２モードと同様に、同一位置画素加算部５２２は、式（１
）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kf
を０とし、式（３）における係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけ
るGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データは、それぞ
れそのままの値となる。

よって、合成部５２３は、暗視第１モードにおける動作と同様に、フレームFmIR1adに
おけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フ
レームFmIR3adにおけるB3adの画素データを選択すれば、フレームFmIR123’adを生成する
ことができる。

図１９を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図
１９の（ａ）は、フレームFmIR123’adを示している。デモザイク処理部５４は、Ｒの画
素データが存在しない画素位置のＲの画素データを周囲のR1adの画素データを用いて演算
して、Ｒの補間画素データR1adiを生成する。デモザイク処理部５４は、図１９の（ｂ）
に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’adRを生成する
。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周
囲のGr2ad，Gb2adの画素データを用いて演算して、Ｇの補間画素データG2adiを生成する
。デモザイク処理部５４は、補間して、図１９の（ｃ）に示す１フレームの全画素がＧの
画素データよりなるＧフレームFmIR123’adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周
囲のB3adの画素データを用いて算出したＢの補間画素データB3adiを生成する。デモザイ
ク処理部５４は、図１９の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢ
フレームFmIR123’adBを生成する。

中間第２モードと暗視第２モードとは、前者が周囲画素加算部５２１を不動作としてい
る一方で、後者が周囲画素加算部５２１を動作させている点で異なる。

また、中間モードにおいては、受光素子における各色に対応する領域から得た画素デー
タそれぞれから各色用の画素データを生成していたが、暗視モードにおいては、周囲画素
を加算するため、中間モードにおける各色用の画素データを生成するための領域それぞれ
よりも広い領域から得た画素データから各色用の画素データを生成するとも言える。

＜モード切換の例＞
図２０を用いて、モード切換部７２によるモード切換の例を説明する。図２０の（ａ）
は、一例として、昼間の時間帯から夜の時間帯へと時間が経過していくとき、周囲環境の
明るさが変化していく様子を概略的に示している。

図２０の（ａ）に示すように、昼間から夕刻へと時間が経過していくに従って明るさが
低下していき、時刻ｔ３以降、ほぼ真っ暗の状態となる。図２０の（ａ）に示す明るさは
実質的に可視光の量を示しており、時刻ｔ３以降、可視光がほとんどない状態である。

制御部７は、映像処理部５から入力される映像信号（映像データ）の輝度レベルに基づ
いて周囲環境の明るさを判断することができる。図２０の（ｂ）に示すように、モード切
換部７２は、明るさが所定の閾値Th1（第１の閾値）以上であるとき通常モードとし、明
るさが閾値Th1未満で所定の閾値Th2（第２の閾値）以上であるとき中間モード、閾値Th2
未満であるとき暗視モードとする。

本実施形態の撮像装置は、明るさが閾値Th1となる時刻ｔ１までは通常モード、時刻ｔ
１から明るさが閾値Th2となる時刻ｔ２まで中間モード、時刻ｔ２以降は暗視モードに、
モードを自動的に切り換える。図２０の（ｂ）において、中間モードは中間第１モードと
中間第２モードとのいずれでもよく、暗視モードは暗視第１モードと暗視第２モードとの
いずれでもよい。

図２０の（ａ）では可視光がほとんどなくなる時刻ｔ３の直前の明るさを閾値Th2とし
ているが、時刻ｔ３の明るさを閾値Th2としてもよい。

図２０の（ｃ）に示すように、モード切換部７２は、中間モードの期間で、可視光が比
較的多い時刻ｔ１側の期間を中間第１モード、可視光が比較的少ない時刻ｔ２側の期間を
中間第２モードとしてもよい。図２０の（ｃ）において、暗視モードは暗視第１モードと
暗視第２モードとのいずれでもよい。

本実施形態の撮像装置は、投光制御部７１が赤外線投光器９のオン・オフを制御し、モ
ード切換部７２が映像処理部５内の各部の動作・不動作を切り換えることにより、それぞ
れのモードを実現することができる。

図２１に示すように、通常モードは、赤外線投光器９がオフ、周囲画素加算部５２１と
同一位置画素加算部５２２と合成部５２３がいずれも不動作、デモザイク処理部５４が動
作の状態である。

中間第１モードは、赤外線投光器９がオン、周囲画素加算部５２１が不動作、同一位置
画素加算部５２２と合成部５２３とデモザイク処理部５４とが動作の状態である。中間第
２モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２
とが不動作、合成部５２３とデモザイク処理部５４とが動作の状態である。

同一位置画素加算部５２２における動作と不動作とは、前述のように、式（１）〜（３
）の係数ka〜kiの値を適宜に設定することによって容易に切り換えることができる。

暗視第１モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算
部５２２と合成部５２３とデモザイク処理部５４との全てが動作の状態である。暗視第２
モードは、赤外線投光器９がオン、同一位置画素加算部５２２が不動作、周囲画素加算部
５２１と合成部５２３とデモザイク処理部５４とが動作の状態である。

ところで、周囲画素加算部５２１は、注目画素の画素データに対して周囲の画素データ
を加算するための計算式において、周囲の画素データに乗じる係数を、０を超える係数（
例えば１）とすれば、周囲画素の加算処理を動作の状態とすることができる。

また、周囲画素加算部５２１は、その計算式において、周囲の画素データに乗じる係数
を０とすれば、周囲画素の加算処理を不動作の状態とすることができる。

周囲画素加算部５２１における動作と不動作も、係数の値を適宜に設定することによっ
て容易に切り換えることができる。

＜撮像装置の第１の変形例＞
制御部７が周囲環境の明るさを検出する方法は、映像信号の輝度レベルに基づく方法に
限定されない。

図２２に示すように、明るさセンサ１１によって周囲環境の明るさを検出してもよい。
図２０において、映像信号の輝度レベルと明るさセンサ１１によって検出した明るさとの
双方に基づいて、周囲環境の明るさを判断してもよい。

＜撮像装置の第２の変形例＞
制御部７は、周囲環境の明るさを直接的に検出せず、１年間における時期（日にち）及
び時刻（時間帯）に基づいて周囲環境の明るさを概略的に想定して、モード切換部７２が
各モードに切り換えるようにしてもよい。

図２３に示すように、モード設定テーブル１２には、日にちと時間帯との組み合わせに
対応して、通常モードと中間モードと暗視モードとのいずれかが設定されている。制御部
７内の時計７３は、日にちと時刻を管理している。制御部７は、時計７３が示す日にちと
時刻とを参照して、モード設定テーブル１２より設定されているモードを読み出す。

投光制御部７１とモード切換部７２は、モード設定テーブル１２より読み出されたモー
ドとなるように、撮像装置を制御する。

＜撮像装置の第３の変形例＞
図２４に示すように、操作部１３によってユーザがモードを手動で選択して、投光制御
部７１とモード切換部７２が選択されたモードとなるように撮像装置を制御してもよい。
操作部１３は、撮像装置の筐体に設けられている操作ボタンであってもよく、リモートコ
ントローラであってもよい。

＜映像信号処理方法＞
図２５を用いて、図１に示す撮像装置で実行される映像信号処理方法を改めて説明する
。

図２５において、撮像装置が動作を開始すると、制御部７は、ステップＳ１にて、周囲
環境の明るさが閾値Th1以上であるか否かを判定する。閾値Th1以上であれば（YES）、制
御部７は、ステップＳ３にて、通常モードでの処理を実行させる。閾値Th1以上でなけれ
ば（NO）、制御部７は、ステップＳ２にて、周囲環境の明るさが閾値Th2以上であるか否
かを判定する。

閾値Th2以上であれば（YES）、制御部７は、ステップＳ４にて、中間モードでの処理を
実行させる。閾値Th2以上でなければ（NO）、制御部７は、ステップＳ５にて、暗視モー
ドでの処理を実行させる。

制御部７は、ステップＳ３〜Ｓ５の後、処理をステップＳ１に戻し、ステップＳ１以降
を繰り返す。

図２６は、ステップＳ３の通常モードの具体的な処理を示す。図２６において、制御部
７（投光制御部７１）は、ステップＳ３１にて、赤外線投光器９をオフにする。制御部７
は、ステップＳ３２にて、赤外線カットフィルタ２１を挿入する。制御部７（モード切換
部７２）は、ステップＳ３３にて、スイッチ５１，５３を端子Ｔｂに接続させる。ステッ
プＳ３１〜Ｓ３３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ３４にて、撮像部３によって被写体を撮像させる。制御部７は
、ステップＳ３５にて、撮像部３が被写体を撮像することよって生成した映像信号を構成
するフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５
を制御する。

図２７は、ステップＳ４の中間モードの具体的な処理を示す。図２７において、制御部
７（投光制御部７１）は、ステップＳ４１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ
３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ４２にて、ダミーガラス２２を挿入する。制御部７（モード切
換部７２）は、ステップＳ４３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステ
ップＳ４１〜Ｓ４３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ４４にて、撮像部３によって被写体を撮像させる。撮像部３は
、Ｒに対応付けられた波長ＩＲ１の赤外光と、Ｇに対応付けられた波長ＩＲ２の赤外光と
、Ｂに対応付けられた波長ＩＲ３の赤外光とがそれぞれ投光されている状態で被写体を撮
像する。

制御部７（モード切換部７２）は、ステップＳ４５にて、周囲画素加算部５２１を不動作
とし、合成部５２３を動作させて合成映像信号を生成させるよう、前信号処理部５２を制
御する。

波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光がそれぞれ投光されている状態で撮像部３が被写
体を撮像することよって生成された映像信号を構成するフレームを第１のフレーム，第２
のフレーム，第３のフレームとする。

合成部５２３は、第１のフレーム内のＲの画素データと、第２のフレーム内のＧの画素
データと、第３のフレーム内のＢの画素データとに基づく３原色の画素データを、カラー
フィルタ３２における色フィルタの配列と同じ配列となるように配列させる。合成部５２
３は、このようにして第１〜第３のフレームを１フレームに合成した合成映像信号を生成
する。

制御部７は、ステップＳ４６にて、合成映像信号のフレームをデモザイク処理部５４に
よってデモザイク処理させるよう、映像処理部５を制御する。

デモザイク処理部５４は、合成映像信号のフレームに基づいて、Ｒのフレームと、Ｇの
フレームと、Ｂのフレームとを生成するデモザイク処理を施して、デモザイク処理された
３原色のフレームを順次生成する。

デモザイク処理部５４は、Ｒの画素データが存在しない画素位置にＲの画素データを補
間することによって、Ｒのフレームを生成することができる。デモザイク処理部５４は、
Ｇの画素データが存在しない画素位置にＧの画素データを補間することによって、Ｇのフ
レームを生成することができる。デモザイク処理部５４は、Ｂの画素データが存在しない
画素位置にＢの画素データを補間することによって、Ｂのフレームとを生成することがで
きる。

中間第１モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を動
作させ、中間第２モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２
２を不動作とすればよい。

図２８は、ステップＳ５の暗視モードの具体的な処理を示す。図２８において、制御部
７（投光制御部７１）は、ステップＳ５１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ
３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ５２にて、ダミーガラス２２を挿入する。制御部７（モード切
換部７２）は、ステップＳ５３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステ
ップＳ５１〜Ｓ５３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ５４にて、撮像部３によって被写体を撮像させる。制御部７（
モード切換部７２）は、ステップＳ５５にて、周囲画素加算部５２１と合成部５２３とを
動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

制御部７は、ステップＳ５６にて、合成映像信号のフレームをデモザイク処理部５４に
よってデモザイク処理させるよう、映像処理部５を制御する。

暗視第１モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を動
作させ、暗視第２モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２
２を不動作とすればよい。

＜映像信号処理プログラム＞
図１において、制御部７、または、映像処理部５と制御部７との一体化部分をコンピュ
ータ（マイクロコンピュータ）で構成し、映像信号処理プログラム（コンピュータプログ
ラム）をコンピュータで実行させることによって、上述した本実施形態の撮像装置と同様
の動作を実現させることも可能である。映像出力部６も含めてコンピュータで構成しても
よい。

図２９を用いて、図２３のステップＳ４である中間モードにおける制御を映像信号処理
プログラムで構成した場合にコンピュータに実行させる手順の例を説明する。図２９は、
映像信号処理プログラムがコンピュータに実行させる処理を示す。

図２９において、映像信号処理プログラムは、ステップS401にて、コンピュータに、Ｒ
，Ｇ，Ｂに対応付けられた波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光をそれぞれ投光するよう
に赤外線投光器９を制御するステップを実行させる。

ステップS401に示すステップを映像信号処理プログラムの外部にて実行させてもよい。
図２９では、ダミーガラス２２を挿入させるステップを省略している。ダミーガラス２２
を挿入させるステップも映像信号処理プログラムの外部にて実行させてもよい。

映像信号処理プログラムは、ステップS402にて、コンピュータに、波長ＩＲ１の赤外光
が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号
の第１のフレームを構成する画素データを取得するステップを実行させる。

映像信号処理プログラムは、ステップS403にて、コンピュータに、波長ＩＲ２の赤外光
が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号
の第２のフレームを構成する画素データを取得するステップを実行させる。

映像信号処理プログラムは、ステップS404にて、コンピュータに、波長ＩＲ３の赤外光
が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号
の第３のフレームを構成する画素データを取得するステップを実行させる。ステップS402
〜S404の順番は任意である。

映像信号処理プログラムは、ステップS405にて、コンピュータに、Ｒ，Ｇ，Ｂの画素デ
ータを、カラーフィルタ３２における色フィルタの配列と同じ配列となるように配列させ
て、１フレームに合成した合成映像信号を生成するステップを実行させる。

中間モードでは、映像信号処理プログラムは、ステップS405にて、コンピュータに、周
囲画素の加算処理のステップを実行させない。

映像信号処理プログラムは、ステップS406にて、コンピュータに、合成映像信号のフレ
ームにデモザイク処理を施して、Ｒ，Ｇ，Ｂのフレームを生成するステップを実行させる
。

図示は省略するが、図２５のステップＳ５である暗視モードにおける制御を映像信号処
理プログラムで構成する場合には、図２９のステップS405にて、コンピュータに、周囲画
素の加算処理のステップを実行させればよい。

映像信号処理プログラムは、コンピュータで読み取り可能な記録媒体に記録されたコン
ピュータプログラムであってよい。映像信号処理プログラムが記録媒体に記録された状態
で提供されてもよいし、映像信号処理プログラムをコンピュータにダウンロードさせるよ
う、インターネット等のネットワークを介して提供されてもよい。コンピュータで読み取
り可能な記録媒体は、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の非一時的な任意の記録媒体でよ
い。

図１のように構成される本実施形態の撮像装置において、例えば、必要に応じて各部を
複数設けたりして、中間モードと暗視モードとを同時に実行するようにしてもよい。その
場合、映像出力部６が、中間モードによって生成された映像信号と、暗視モードによって
生成された映像信号との両方を出力するようにしてもよい。

また、モード切換部７２は、映像出力部６が中間モードによって生成された映像信号を
出力する状態と、映像出力部６が暗視モードによって生成された映像信号を出力する状態
とを切り換えるようにしてもよい。その際、前述のように、周囲環境の明るさや時刻等に
応じて切り換えてもよい。また、映像処理部５（映像処理装置）を他の各部と別体にして
もよい。

さらに、また、中間モードを使用せずに、通常モードから暗視モードに切り換えたり、
暗視モードから通常モードに切り換えたりするようにしてもよい。

通常モードや暗視モードは、可視光と暗視撮像用の赤外光とが混在した状態においては
、中間モードよりも良好なカラー映像信号とはならない。しかしながら、通常モードや暗
視モードであっても、可視光と暗視撮像用の赤外光とが混在した状態での撮像は可能であ
り、周囲の明るさが変わる場合（例えば監視カメラで終日撮影する場合など）であっても
同じ撮像装置で撮像を可能にする、という効果を奏することができる。

さらにまた、暗視モードを使用せずに、通常モードから中間モードに切り換えたり、中
間モードから通常モードに切り換えたりするようにしてもよい。その場合は、暗視モード
を搭載しないようにしてもよい。

通常モードや中間モードは、可視光がほとんどない環境下においては、暗視モードより
も良好なカラー映像信号とはならないが、中間モードでも可視光がほとんどない環境下で
の撮像は可能であり、周囲の明るさが変わる場合（例えば監視カメラで終日撮影する場合
など）であっても同じ撮像装置で撮像を可能にする、という効果を奏することができる。
また、電灯がある場所などでは暗視モードを使用しなくてもよい場合がある。

次に、通常モードと赤外光投光モードとを、映像の乱れが発生せず各モードの映像を切
り換える具体的なモード切換方法について説明する。

＜モード切換方法の第１の例＞
図３０Ａ及び図３０Ｂは、モード切換方法の第１の例を示す。図３０Ａ及び図３０Ｂは
、映像出力部６がＮＴＳＣエンコーダ６１によってインターレース方式の映像信号を出力
する場合の撮像装置の各部の動作を示している。

また、図３０Ａ及び図３０Ｂは、制御部７が撮像装置を、時刻ｔ１にて赤外光投光モー
ドから通常モードへと切り換え、時刻ｔ２にて通常モードから赤外光投光モードへと切り
換える場合のシーケンスを示している。赤外光投光モードは、中間モードと暗視モードと
のいずれでもよい。

図３０Ａ及び図３０Ｂは、シーケンスを２つに分断して示している。なお、図３０Ａと
図３０Ｂとは、一部が重複している。

図３０Ａ及び図３０Ｂにおいて、（ａ）は赤外線投光器９による赤外光の投光の状態、
（ｂ）は撮像部３の露光を示している。図３０Ａ及び図３０Ｂの（ｂ）に示す撮像部３の
露光は、図６の（ａ）で説明した最大露光時間tExmaxを示しており、実際の露光時間はシ
ャッタスピードに応じて異なる。但し、赤外光投光モードでは、最大露光時間tExmaxが実
際の露光時間となる可能性が高い。

図３０Ａ及び図３０Ｂにおいて、（ｃ）は、（ｂ）のそれぞれの露光に基づき、撮像部
３から読み出される撮像信号によって生成されるフレームを示している。図３０Ａに示す
ように、露光Ex1R，Ex1G，Ex1Bに基づいて、露光Ex1Rに対応したフレームF1R、露光Ex1G
に対応したフレームF1G、露光Ex1Bに対応したフレームF1Bが得られる。フレームF1R，F1G
，F1Bは、図９の（ｃ）のフレームF1IR1，F1IR2，F1IR3に相当する。

また、露光Ex2R，Ex2G，Ex2Bに基づいて、露光Ex2Rに対応したフレームF2R、露光Ex2G
に対応したフレームF2G、露光Ex2Bに対応したフレームF2Bが得られる。フレームF2R，F2G
，F2Bは、図９の（ｃ）のフレームF2IR1，F2IR2，F2IR3に相当する。露光Ex1R〜Ex2Bの最
大露光時間tExmaxは１／９０秒である。

時刻ｔ１以前の赤外光投光モードの期間では、撮像部３より出力される撮像信号は、９
０フレーム／秒のプログレッシブ方式である。９０フレーム／秒のプログレッシブ方式を
９０Ｐと称することとする。撮像装置は、後述のようにして、９０Ｐの撮像信号に基づい
て、６０フィールド／秒のインターレース方式の映像信号を生成する。６０フィールド／
秒のインターレース方式を６０ｉと称することとする。

投光制御部７１は、時刻ｔ１にて赤外線投光器９による赤外光の投光をオフにする。制
御部７は、時刻ｔ１以降、撮像装置を通常モードにて動作させる。

通常モードの期間で３０フレーム／秒とすると、インターレース方式では６０フィール
ド／秒である。そこで、通常モードでは、映像出力部６が最終的に６０ｉの映像信号を生
成して出力するよう、制御部７は、撮像部３が６０Ｐの撮像信号を出力するように撮像部
３を制御する。

具体的には、撮像部３は、最大露光時間tExmaxを１／６０秒として、奇数フィールド用
の露光と、偶数フィールド用の露光とを交互に繰り返す。図３０Ａ及び図３０Ｂの（ｂ）
において、添え字oは奇数フィールド用の露光、添え字eは偶数フィールド用の露光である
ことを示す。

時刻ｔ１以降の最初の露光のタイミングでは、図３０Ａの（ｃ）に示すように、最大露
光時間tExmaxが１／９０秒であるフレームF2Bが生成される。そこで、時刻ｔ１以降の最
初の露光では、最大露光時間tExmaxを１／６０秒とするのではなく、最大露光時間tExmax
を１／９０秒とした奇数フィールド用の露光Ex3oとする。

図３０Ａに示すように、第１の例においては、撮像部３は、露光Ex3oが終了する時刻ｔ
１１まで、９０Ｐの撮像信号を出力するよう動作する。撮像部３は、時刻ｔ１１以降、６
０Ｐの撮像信号を出力するよう動作する。

時刻ｔ１１以降の最初の露光である偶数フィールド用の露光Ex3eは、奇数フィールド用
の露光Ex3oと対となる露光であることから、最大露光時間tExmaxを１／６０秒とするので
はなく、露光Ex3oにおける最大露光時間tExmaxと同じ１／９０秒とするのがよい。

そこで、制御部７は、１／６０秒の最大露光時間tExmaxの先頭から１／１８０秒の期間
だけ、図６で説明したように抜き取りパルスＰｓ１によって蓄積した電荷を排出させるよ
うに撮像部３を制御する。これによって、露光Ex3oと露光Ex3eとの間には１／１８０秒の
時間的な間隙が形成され、露光Ex3eの実質的な最大露光時間は１／９０秒となる。

最大露光時間を１／９０秒とした露光Ex3o，Ex3eによって蓄積した電荷を１／６０秒の
期間で読み出すことによって、露光Ex3oに対応したフレームF3oと、露光Ex3eに対応した
フレームF3eが得られる。

露光Ex3e以降、最大露光時間tExmaxが１／６０秒である露光Ex4o，Ex4e，Ex5o，Ex5eに
よって蓄積した電荷を１／６０秒の期間で読み出すことによって、フレームF4o，F4e，F5
o，F5eが得られる。

図３０Ｂに示すように、投光制御部７１は、時刻ｔ２にて赤外線投光器９による赤外光
の投光を再びオンにする。制御部７は、時刻ｔ２以降、撮像装置を赤外光投光モードにて
動作させる。

露光Ex5eに基づいたフレームF5eは、時刻ｔ２を跨ぐ１／６０秒の期間に発生する。時
刻ｔ２以降の赤外光投光モードでは、最大露光時間tExmaxを１／９０秒とする必要がある
。そこで、制御部７は、露光Ex5eに続く露光Ex6Rでは、１／６０秒の最大露光時間tExmax
の先頭から１／１８０秒の期間だけ、抜き取りパルスＰｓ１によって蓄積した電荷を排出
させるよう撮像部３を制御する。

これによって、露光Ex5eと露光Ex6Rとの間には１／１８０秒の時間的な間隙が形成され
、露光Ex6Rの実質的な最大露光時間を１／９０秒となる。

露光Ex6R，Ex6G，Ex6Bに基づいて、露光Ex6Rに対応したフレームF6R、露光Ex6Gに対応
したフレームF6G、露光Ex6Bに対応したフレームF6Bが得られる。フレームF6R，F6G，F6B
によって１フレームが形成されることから、露光Ex6R，Ex6G，Ex6Bの露光時間は同じでな
ければならない。露光Ex6Rの最大露光時間を１／９０秒とすることによって、露光Ex6R，
Ex6G，Ex6Bの露光時間を同じにすることができる。

露光Ex7R，Ex7G，Ex7Bに基づいて、露光Ex7Rに対応したフレームF7R、露光Ex7Gに対応
したフレームF7G、露光Ex7Bに対応したフレームF7Bが得られる。露光Ex8R以降も同様であ
る。

図３０Ｂに示すように、第１の例においては、撮像部３は、露光Ex6Rが終了する時刻ｔ
２１まで６０Ｐの撮像信号を出力するよう動作しており、時刻ｔ２１以降、９０Ｐの撮像
信号を出力するよう動作する。

以上のように、図３０Ａ及び図３０Ｂに示す第１の例においては、赤外光投光モードか
ら通常モードへと切り換わる時刻ｔ１以降の最初の露光で、最大露光時間tExmaxを１／６
０秒とするのではなく、１／９０秒とした露光Ex3oとしている。

また、通常モードから赤外光投光モードへと切り換わる時刻ｔ２を跨ぐ１／６０秒の最
大露光時間tExmaxの先頭から１／１８０秒の期間の電荷を排出させて、時刻ｔ２以降の最
初の露光の最大露光時間tExmaxを１／９０秒としている。

これによって、撮像部３から読み出される撮像信号によって生成される撮像信号のフレ
ームは、図３０Ａ及び図３０Ｂの（ｃ）に示すように、赤外光投光モードから通常モード
へと切り換わるとき、通常モードから赤外光投光モードへと切り換わるときの双方で連続
的となる。

図３０Ａ及び図３０Ｂにおいて、（ｄ）はＡ／Ｄ変換器４より出力された映像データの
フレームのフレームバッファ５０への書き込み、（ｅ）はフレームバッファ５０からのフ
レームの読み出しを示している。図３０Ａ及び図３０Ｂの（ｄ），（ｅ）それぞれの区画
内には書き込まれる、または、読み出されるメモリ５０ａ〜５０ｆの符号を記している。

Ａ／Ｄ変換器４より出力された映像データのフレームも、図３０Ａ及び図３０Ｂの（ｃ
）に示す撮像信号のフレームF1R，F1G，F1B，…と称することとする。フレームF1R，F1G
，F1Bはそれぞれメモリ５０ａ，５０ｂ，５０ｃに書き込まれる。

フレームF1Bのメモリ５０ｃへの書き込みが完了すると、メモリ５０ａ〜５０ｃから、
フレームF1R，F1G，F1Bが同時に１／６０秒の期間で読み出される。続く１／６０秒の期
間でも、メモリ５０ａ〜５０ｃから、フレームF1R，F1G，F1Bが同時に読み出される。即
ち、フレームF1R，F1G，F1Bは、２つの１／６０秒の期間で連続的に読み出される。

フレームF1R，F1G，F1Bを読み出す期間に対応させて、フレームF2R，F2G，F2Bはそれぞ
れメモリ５０ｄ，５０ｅ，５０ｆに書き込まれる。フレームF2R，F2G，F2Bも、フレームF
2Bのメモリ５０ｆへの書き込みが完了すると、２つの１／６０秒の期間で連続的に読み出
される。

赤外光投光モードにおける１組のフレームを２度読み出すのは、読み出した一方の１組
のフレームで奇数フィールドを生成し、もう一方の１組のフレームで偶数フィールドを生
成するためである。

フレームF3o，F3eはメモリ５０ａ，５０ｂに書き込まれる。フレームF3eのメモリ５０
ｂへの書き込みが完了すると、フレームF3o，F3eがメモリ５０ａ，５０ｂから読み出され
る。フレームF4o，F4eはメモリ５０ｄ，５０ｅに書き込まれる。フレームF4eのメモリ５
０ｅへの書き込みが完了すると、フレームF4o，F4eがメモリ５０ｄ，５０ｅから読み出さ
れる。
る。

フレームF5o，F5eはメモリ５０ａ，５０ｂに書き込まれる。フレームF5eのメモリ５０
ｂへの書き込みが完了すると、フレームF5o，F5eがメモリ５０ａ，５０ｂから読み出され
る。

フレームF6R，F6G，F6Bはそれぞれメモリ５０ｄ，５０ｅ，５０ｆに書き込まれる。フ
レームF6R，F6G，F6Bは、フレームF6Bのメモリ５０ｆへの書き込みが完了すると、２つの
１／６０秒の期間で連続的に読み出される。

フレームF7R，F7G，F7Bはそれぞれメモリ５０ａ，５０ｂ，５０ｃに書き込まれる。図
３０Ｂでは図示されていないが、フレームF7R，F7G，F7Bは、フレームF7Bのメモリ５０ｆ
への書き込みが完了すると、２つの１／６０秒の期間で連続的に読み出される。以降、同
様の動作を繰り返す。

図３０Ａ及び図３０Ｂにおいて、（ｆ）は、上述した前信号処理部５２における前信号
処理を示している。前信号処理をP52と表す。メモリ５０ａ〜５０ｃから読み出したフレ
ームF1R，F1G，F1Bの全体をフレームF1RGBと表す。例えば、P52(F1RGB)はフレームF1RGB
に上述した前信号処理P52を施すことを示す。

図３０Ａ及び図３０Ｂの（ｆ）に示すように、それぞれ２つの１／６０秒の期間連続し
て、フレームF0RGB，F1RGB，F2RGB，F6RGB…に前信号処理P52が施される。

図３０Ａ及び図３０Ｂにおいて、（ｇ）は、上述したデモザイク処理部５４における前
信号処理を示している。デモザイク処理をP54と表す。例えば、P54(F1RGB)はフレームF1R
GBに上述したデモザイク処理P54を施すことを示す。

図３０Ａ及び図３０Ｂの（ｇ）に示すように、前信号処理P52が施されたフレームF0RGB
，F1RGB，F2RGB，F6RGB…にデモザイク処理P54が施される。前信号処理P52が施されてい
ないフレームF3o，F3e，F4o，F4e，F5o，F5eにデモザイク処理P54が施される。

図３０Ａ及び図３０Ｂにおいて、（ｈ）は、（ｇ）に示す各フレームをＮＴＳＣエンコ
ーダ６１によってプログレッシブ−インターレース変換（ＰＩ変換）したインターレース
方式の映像信号を示している。図３０Ａ及び図３０Ｂの（ｈ）において、添え字oは奇数
フィールドの映像信号、添え字eは偶数フィールドの映像信号であることを示す。

図３０Ａの（ｈ）に示すように、赤外光投光モードでは、デモザイク処理P54が施され
たフレームF0RGB，F1RGB，F2RGBそれぞれの映像データに基づいて、インターレース方式
の映像信号F0io，F0ie，F1io，F1ie，F2io，F2ieが順に生成されて出力される。添え字ｉ
は、ＰＩ変換によって水平ラインが間引かれて、インターレース方式の映像信号となって
いることを示す。

図３０Ａ及び図３０Ｂの（ｈ）に示すように、通常モードに切り換わると、デモザイク
処理P54が施されたフレームF3o，F3e，F4o，F4e，F5o，F5eそれぞれの映像データに基づ
いて、インターレース方式の映像信号F3io，F3ie，F4io，F4ie，F5io，F5ieが順に生成さ
れて出力される。

図３０Ｂの（ｈ）に示すように、赤外光投光モードに切り換わると、デモザイク処理P5
4が施されたフレームF6RGB…それぞれの映像データに基づいて、インターレース方式の映
像信号F6io，F6ie…が順に生成されて出力される。

図３０Ａ及び図３０Ｂの（ｈ）に示すように、第１の例によれば、６０ｉの映像信号が
、赤外光投光モードから通常モードへと切り換えられても、通常モードから赤外光投光モ
ードへと切り換えられても、各フレーム（各フィールド）が連続的に出力される。

よって、第１の例によれば、映像の乱れが発生することなく、各モードの映像を切り換
えることができる。

図３０Ａ及び図３０Ｂに示す第１の例においては、通常モードの期間において、（ｂ）
に示す撮像部３の露光によって生成されるフレームの境界と、（ｇ）に示す出力映像信号
のフレーム（フィールド）の境界とが一致している。即ち、撮像部３の露光によって生成
されるフレームと出力映像信号のフレームとは同期している。よって、出力映像信号にノ
イズが発生しにくい。

＜モード切換方法の第２の例＞
図３１Ａ及び図３１Ｂは、モード切換方法の第２の例を示す。図３１Ａ及び図３１Ｂも
、映像出力部６がＮＴＳＣエンコーダ６１によってインターレース方式の映像信号を出力
する場合の撮像装置の各部の動作を示している。

図３１Ａ及び図３１Ｂに示す第２の例では、図３０Ａ及び図３０Ｂに示す第１の例と異
なる部分を中心に説明する。図３１Ａ及び図３１Ｂも、シーケンスを２つに分断して示し
ており、図３１Ａと図３１Ｂとは一部が重複している。

図３１Ａ及び図３１Ｂの（ｂ）に示すように、第２の例においては、時刻ｔ１〜ｔ２の
通常モードの期間では、撮像部３は、最大露光時間tExmaxを全て１／６０秒として露光す
る。図３１Ａ及び図３１Ｂの（ｃ）に示すように、制御部７は、通常モードの期間の露光
Ex3o，Ex3e，Ex4o，Ex4e，Ex5o，Ex5eに基づき、撮像部３より撮像信号を１／９０秒で読
み出すように制御して、フレームF3o，F3e，F4o，F4e，F5o，F5eを生成する。

露光Ex3oに対応したフレームF3oの読み出しは露光Ex3oが終了する時刻より開始される
ので、フレームF3oは、フレームF2Bが終了した時刻から１／１８０秒経過した時刻より開
始する。よって、フレームF2BとフレームF3oとの間には、１／１８０秒の時間的な間隙が
形成される。以降同様に、フレームF3o，F3e，F4o，F4e，F5o，F5eの隣接するフレームの
間には、１／１８０秒の時間的な間隙が形成される。

図３１Ａ及び図３１Ｂの（ｄ）〜（ｈ）は、図３０Ａ及び図３０Ｂの（ｄ）〜（ｈ）と
同様である。但し、図３１Ａ及び図３１Ｂの（ｄ），（ｅ）においては、フレームバッフ
ァ５０に１／９０秒の期間で書き込まれたフレームF3o〜F5eは、それぞれ１／６０秒の期
間で読み出される。

図３１Ａ及び図３１Ｂの（ｇ）に示すように、第２の例によれば、６０ｉの映像信号が
、赤外光投光モードから通常モードへと切り換えられても、通常モードから赤外光投光モ
ードへと切り換えられても、各フレーム（各フィールド）が連続的に出力される。

よって、第２の例によれば、映像の乱れが発生することなく、各モードの映像を切り換
えることができる。

図３１Ａ及び図３１Ｂに示す第２の例においては、通常モードの期間において、（ｂ）
に示す撮像部３の露光よって生成されるフレームと（ｇ）に示す出力映像信号のフレーム
とは同期しない。しかしながら、図３１Ａ及び図３１Ｂに示す第２の例においては、通常
モードの期間において、撮像部３の露光の奇数フィールド用のフレームと偶数フィールド
用のフレームとの一対の期間が全て１／３０秒に統一される。

＜モード切換方法の第３の例＞
図３２Ａ及び図３２Ｂは、モード切換方法の第３の例を示す。図３２Ａ及び図３２Ｂも
、映像出力部６がＮＴＳＣエンコーダ６１によってインターレース方式の映像信号を出力
する場合の撮像装置の各部の動作を示している。

図３２Ａ及び図３２Ｂに示す第３の例では、図３０Ａ及び図３０Ｂに示す第１の例と異
なる部分を中心に説明する。図３２Ａ及び図３２Ｂも、シーケンスを２つに分断して示し
ており、図３２Ａと図３２Ｂとは一部が重複している。

第３の例を実現するために、図１に示すように、フレームバッファ５０を、合計９フレ
ーム分の容量のメモリ５０ａ〜５０ｉを有する構成とする。なお、第３の例を実現するた
めに、少なくとも７フレーム分の容量のメモリを有する構成であればよいが、メモリの書
き込みや読み出しの制御を容易にするため、図１では９フレーム分の容量のメモリ５０ａ
〜５０ｉを有する構成としている。

図３２Ａ及び図３２Ｂの（ｂ）に示すように、第３の例においては、時刻ｔ１〜ｔ２の
通常モードの期間では、撮像部３は、最大露光時間tExmaxを全て１／６０秒として露光す
る。

図３２Ａ及び図３２Ｂの（ｃ）に示すように、制御部７は、通常モードの期間の露光Ex
3o，Ex3e，Ex4o，Ex4e，Ex5oに基づき、撮像部３より蓄積した電荷を１／６０秒で読み出
すように制御して、フレームF3o，F3e，F4o，F4e，F5oを生成する。

図３２Ａの（ｃ）に示すように、制御部７は、赤外光投光モードにおける最後の露光Ex
2Bのみ、撮像部３より蓄積した電荷を１／６０秒で読み出すように制御して、フレームF2
Bを生成する。

図３２Ｂの（ｃ）に示すように、制御部７は、通常モードの期間の最後の露光Ex5eのみ
、撮像部３より蓄積した電荷を１／９０秒で読み出すように制御して、フレームF5eを生
成する。これによって、時刻ｔ２以降の最初の露光Ex6Rの最大露光時間と、フレームF5e
の期間とが同じとなる。

図３２Ａの（ｄ）に示すように、フレームF1R，F1G，F1Bはそれぞれメモリ５０ａ，５
０ｂ，５０ｃに書き込まれる。図３２Ａの（ｅ）に示すように、フレームF1Bのメモリ５
０ｃへの書き込みが完了すると、フレームF1R，F1G，F1Bは、メモリ５０ａ〜５０ｃから
、２つの１／６０秒の期間で連続的に読み出される。

フレームF2R，F2G，F2Bはそれぞれメモリ５０ｄ，５０ｅ，５０ｆに書き込まれる。フ
レームF2Bのメモリ５０ｆへの書き込みが完了すると、フレームF2R，F2G，F2Bも、２つの
１／６０秒の期間で連続的に読み出される。

図３２Ａの（ｄ），（ｅ）を比較すれば分かるように、第３の例においては、例えば、
フレームF2R，F2G，F2Bをメモリ５０ｄ〜５０ｆに書き込むタイミングと、メモリ５０ａ
〜５０ｃからフレームF1R，F1G，F1Bを読み出すタイミングとが一致していない。これは
、フレームF2Bを１／６０秒の期間で生成しているからである。

よって、図１に示す合計６フレーム分の容量のメモリ５０ａ〜５０ｆを有する構成のフ
レームバッファ５０では、第３の例を実現することができないことになる。そこで、第３
の例を実現するために、図３４に示す合計９フレーム分の容量のメモリ５０ａ〜５０ｉを
有する構成のフレームバッファ５０としている。

図３２Ａ及び図３２Ｂの（ｄ），（ｅ）に示すように、フレームF3o，F3eはメモリ５０
ｇ，５０ｈに書き込まれる。フレームF3eのメモリ５０ｈへの書き込みが完了すると、フ
レームF3o，F3eがメモリ５０ｇ，５０ｈから読み出される。フレームF4o，F4eはメモリ５
０ａ，５０ｂに書き込まれる。フレームF4eのメモリ５０ｂへの書き込みが完了すると、
フレームF4o，F4eがメモリ５０ａ，５０ｂから読み出される。

フレームF5o，F5eはメモリ５０ｄ，５０ｅに書き込まれる。フレームF5eのメモリ５０
ｅへの書き込みが完了すると、フレームF5o，F5eがメモリ５０ｄ，５０ｅから読み出され
る。

フレームF6R，F6G，F6Bはそれぞれメモリ５０ｇ，５０ｈ，５０ｉに書き込まれる。フ
レームF6R，F6G，F6Bは、フレームF6Bのメモリ５０ｉへの書き込みが完了すると、２つの
１／６０秒の期間で連続的に読み出される。

フレームF7R，F7G，F7Bはそれぞれメモリ５０ａ，５０ｂ，５０ｃに書き込まれる。図
３２Ｂでは図示されていないが、フレームF7R，F7G，F7Bは、フレームF7Bのメモリ５０ｃ
への書き込みが完了すると、２つの１／６０秒の期間で連続的に読み出される。以降、同
様の動作を繰り返す。

図３２Ａ及び図３２Ｂの（ｆ）〜（ｈ）は、図３０Ａ及び図３０Ｂの（ｇ）〜（ｈ）と
同様である。

図３２Ａ及び図３２Ｂの（ｈ）に示すように、第３の例によれば、６０ｉの映像信号が
、赤外光投光モードから通常モードへと切り換えられても、通常モードから赤外光投光モ
ードへと切り換えられても、各フレーム（各フィールド）が連続的に出力される。

よって、第３の例によれば、映像の乱れが発生することなく、各モードの映像を切り換
えることができる。

図３２２Ａ及び図３２Ｂに示す第３の例においては、通常モードの期間において、（ｂ
）に示す撮像部３の露光の同期と（ｇ）に示す出力映像信号の同期とが一致している。撮
像部３の露光の同期と出力映像信号の同期とが一致していると、出力映像信号にノイズが
発生しにくい。

上記のように、第３の例を実現するには、フレームバッファ５０のメモリ容量を第１の
例を実現する場合より多くすることが必要である。フレームバッファ５０のメモリ容量を
より少なくするという点では第１の例の方がよい。

しかしながら、メモリの書き込み及び読み出しの制御を工夫すれば、７フレーム分の容
量のメモリを有する構成のフレームバッファ５０で第３の例を実現することが可能である
。よって、第３の例でも、フレームバッファ５０のメモリ容量はさほど問題にはならない
。

＜撮像装置におけるモード切換方法のまとめ＞
以上説明したモード切換方法の第１〜第３の例をまとめると、本実施形態の撮像装置は
、次のように動作する。

撮像部３は被写体を撮像する。映像処理部５は、撮像部３より出力された撮像信号に基
づいて第１の映像信号を生成する。第１の映像信号とは、Ａ／Ｄ変換器４より出力された
映像データに対して、前信号処理P52及びデモザイク処理P54の双方、または、デモザイク
処理P54のみを施した映像信号である。

映像出力部６（ＮＴＳＣエンコーダ６１）は、第１の映像信号に基づいて所定の信号方
式の第２の映像信号を生成して出力する。所定の信号方式とは例えばインターレース方式
であり、プログレッシブ方式であってもよい。第２の映像信号とは、第１の映像信号に基
づいて、最終的な信号方式に変換した映像信号である。

ここで、通常モードを第１のモード、赤外光投光モードを第２のモードと称する。撮像
部３は、第１のモードでは、第２の映像信号のそれぞれの１フレーム期間に対応させて露
光して被写体を撮像する。撮像部３は、第２のモードでは、第２の映像信号のそれぞれの
１フレーム期間を複数の区間に分割した各区間で互いに異なる撮像条件で露光して被写体
を撮像する。

映像処理部５は、第１のモードでは、１フレーム期間に対応させた露光に対応して読み
出された撮像信号に基づいて、第１の映像信号のそれぞれのフレームを生成し、第２のモ
ードでは、各区間の露光に対応して読み出された撮像信号に基づいて、第１の映像信号の
それぞれのフレームを生成する。

映像出力部６は、第２の映像信号を、第１のモードと第２のモードとで共通の信号方式
（例えば６０ｉ）とし、第２の映像信号のフレームを連続的に出力する。よって、映像の
乱れが発生することなく、第１のモードと第２のモードの映像を互いに切り換えることが
できる。第２の映像信号を、第１のモードと第２のモードとで同じ水平及び垂直周波数に
するとより好ましい。

可視光が少ない環境下で、赤外光を投光しながら被写体を撮像する第２のモードでは、
撮像部３は次のように被写体を撮像する。

撮像部３は、第２の映像信号のそれぞれの１フレーム期間を３つの区間に分割して被写
体を撮像する。撮像部３は、互いに異なる撮像条件として、３つの区間の各区間で、第１
の赤外光が投光されている状態と、第２の赤外光が投光されている状態と、第３の赤外光
が投光されている状態とのそれぞれで被写体を撮像する。第１の赤外光は、赤色に対応付
けられた第１の波長を有する。第２の赤外光は、緑色に対応付けられた第２の波長を有す
る。第３の赤外光は、青色に対応付けられた第３の波長を有する。

映像出力部６が第２の映像信号としてインターレース方式の映像信号を出力する場合に
は、撮像部３と映像処理部５と映像出力部６は次のように動作すればよい。

撮像部３は、第１のモードでは、第２の映像信号のそれぞれの１フレーム期間を奇数フ
ィールド期間と偶数フィールド期間との２つのフィールド期間に分けて被写体を撮像する
。制御部７は、２つのフィールド期間の最大露光時間を互いに同じ時間に設定する。映像
処理部５は、第１の映像信号として、奇数フィールド期間の映像信号と偶数フィールド期
間の映像信号とを生成する。

映像出力部６は、第１のモードでは、映像処理部５で生成された奇数フィールド期間の
映像信号に基づいて奇数フィールドの映像信号を生成し、偶数フィールド期間の映像信号
に基づいて偶数フィールドの映像信号を生成する。映像出力部６は、第２のモードでは、
映像処理部５で生成された第１の映像信号のそれぞれのフレームに基づいて、奇数フィー
ルドの映像信号と偶数フィールドの映像信号とを生成する。

映像出力部６が、映像の乱れが発生しないよう、第２の映像信号のフレームを連続的に
出力するために、撮像部３は具体的に次のように動作する。

図３０Ａ，図３０Ｂで説明した第１の例では、次のとおりである。撮像部３は、第１の
モードから第２のモードへと切り換えた最初の区間の露光では、第１のモードにおけるフ
ィールド期間の最大露光時間の先頭から電荷を排出させて、最大露光時間を、第２のモー
ドにおける１つの区間の最大露光時間と同じ時間とする。

撮像部３は、第２のモードから第１のモードへと切り換えた最初のフィールド期間の露
光では、最大露光時間を、第２のモードにおける１つの区間の最大露光時間と同じ時間す
る。撮像部３は、第１のモードでは、それぞれのフィールド期間の露光により蓄積した電
荷を１フィールド期間で撮像信号として読み出す。

図３１Ａ，図３１Ｂで説明した第２の例では、次のとおりである。撮像部３は、第１の
モードでは、１フィールド期間を最大露光時間とし、最大露光時間の露光を終了したら露
光により蓄積した電荷を、第２のモードにおける１つの区間の最大露光時間と同じ時間で
撮像信号として読み出す。

撮像部３は、撮像信号の読み出しの前に、１フィールド期間と、第２のモードにおける
１つの区間の最大露光時間との差に相当する時間的な間隙を設ける。

図３２Ａ，図３２Ｂで説明した第３の例では、次のとおりである。撮像部３は、第１の
モードでは、１フィールド期間を最大露光時間として露光する。

撮像部３は、第２のモードにおける最後の１つの区間の露光により蓄積した電荷を１フ
ィールド期間で撮像信号として読み出す。

撮像部３は、第１のモードにおける最後のフィールド期間の露光により蓄積した電荷を
、１つの区間の最大露光時間と同じ時間で撮像信号として読み出す。

＜撮像装置の制御方法＞
制御部７は、撮像装置を次のように制御する。

制御部７は、撮像部３によって被写体を撮像させる。制御部７は、撮像部３が被写体を
撮像した撮像信号に基づいて、映像処理部５によって第１の映像信号を生成させる。制御
部７は、映像出力部６によって、第１の映像信号に基づいて所定の信号方式の第２の映像
信号を生成させる。

制御部７が撮像装置を第１のモードに設定させたとき、撮像装置を次のように制御する
。制御部７は、撮像部３によって、第２の映像信号のそれぞれの１フレーム期間に対応さ
せて露光して被写体を撮像させる。制御部７は、映像処理部５によって、１フレーム期間
に対応させた露光に対応して読み出された撮像信号に基づいて、第１の映像信号のそれぞ
れのフレームを生成させる。

制御部７が撮像装置を第２のモードに設定させたとき、撮像装置を次のように制御する
。制御部７は、撮像部３によって、第２の映像信号のそれぞれの１フレーム期間を複数の
区間に分割した各区間で互いに異なる撮像条件で露光して被写体を撮像させる。制御部７
は、映像処理部５によって、各区間の露光に対応して読み出された撮像信号に基づいて、
第１の映像信号のそれぞれのフレームを生成させる。

制御部７は、映像出力部６によって、第２の映像信号を、第１のモードと第２のモード
とで共通の信号方式とし、第２の映像信号のフレームを連続的に出力させる。第２の映像
信号を、第１のモードと第２のモードとで同じ水平及び垂直周波数にするとより好ましい
。

＜撮像装置の制御プログラム＞
上述したモード切換方法をコンピュータプログラムによる制御で実現する場合には、撮
像装置に搭載されているコンピュータに、次の各ステップを有する制御プログラムを実行
させればよい。

まず、コンピュータに、撮像部３によって被写体を撮像する第１のステップを実行させ
る。次に、コンピュータに、撮像部３が被写体を撮像した撮像信号に基づいて第１の映像
信号を生成する第２のステップを実行させる。最後に、コンピュータに、第１の映像信号
に基づいて所定の信号方式の第２の映像信号を生成する第３のステップを実行させる。

コンピュータが、撮像装置を第１のモードに設定させたとき、第１のステップと第２の
ステップは次のとおりである。第１のステップは、撮像部３によって、第２の映像信号の
それぞれの１フレーム期間に対応させて露光して被写体を撮像するステップである。第２
のステップは、１フレーム期間に対応させた露光に対応して読み出された撮像信号に基づ
いて、第１の映像信号のそれぞれのフレームを生成するステップである。

コンピュータが、撮像装置を第２のモードに設定させたとき、第１のステップと第２の
ステップは次のとおりである。第１のステップは、撮像部３によって、第２の映像信号の
それぞれの１フレーム期間を複数の区間に分割した各区間で互いに異なる撮像条件で露光
して被写体を撮像するステップである。第２のステップは、各区間の露光に対応して読み
出された撮像信号に基づいて、前記第１の映像信号のそれぞれのフレームを生成するステ
ップである。

コンピュータが、撮像装置を第１のモードから第２のモードに移行させたとき、及び、
第２のモードから第１のモードに移行させたとき、第３のステップは、第２の映像信号を
、第１のモードと第２のモードとで共通の信号方式とし、第２の映像信号のフレームを連
続的に出力するステップである。このステップにおいて、第２の映像信号を、第１のモー
ドと第２のモードとで同じ水平及び垂直周波数にするとより好ましい。

撮像装置の制御プログラムは、コンピュータで読み取り可能な記録媒体に記録されたコ
ンピュータプログラムであってよい。制御プログラムが記録媒体に記録された状態で提供
されてもよいし、制御プログラムをコンピュータにダウンロードさせるよう、インターネ
ット等のネットワークを介して提供されてもよい。コンピュータで読み取り可能な記録媒
体は、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の非一時的な任意の記録媒体でよい。

＜応用例＞
ところで、以上説明した本実施形態の撮像装置の動作は、赤外光を投光しながら被写体
を撮像する赤外光投光モードだけではなく、次のような場合にも応用が可能である。

可視光が存在する環境下で赤外光を投光しない状態であっても、第２の映像信号のそれ
ぞれの１フレーム期間を複数の区間に分割して、各区間で互いに異なる撮像条件（異なる
シャッタスピード）で露光する、いわゆる多重露光を行う場合に応用することができる。

即ち、第２のモードは、赤外光投光モードに限定されず、多重露光のために第２の映像
信号のそれぞれの１フレーム期間を例えば３つの区間に分割して露光して、３つの区間の
撮像信号を合成して１つの映像信号を生成する場合に利用できる。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しな
い範囲において種々変更可能である。上述した発明が解決しようとする課題や目的及び効
果の記載においては、本発明の理解を容易にするために、通常モードと赤外光投光モード
との切り換えについて記載した。

しかしながら、上述のように、本実施形態の撮像装置の動作は多重露光にも応用可能で
ある。発明が解決しようとする課題、目的、効果の記載を根拠として、本発明が通常モー
ドと赤外光投光モードとの切り換えのみに適用されると限定的に解釈されるものではない
。

３ 撮像部
５ 映像処理部
６ 映像出力部

Claims (7)

1. 赤外光を投光していない状態で撮像する第１のモード、又は、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で撮像する第１の区間と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で撮像する第２の区間と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で撮像する第３の区間とのそれぞれで撮像する第２のモードで、被写体を撮像する撮像部と、
   前記撮像部より出力された撮像信号に基づく所定の信号方式の映像信号を生成して出力する映像出力部と
   を備え、
   前記第２のモードから前記第１のモードへと切り換えた、少なくとも最初の区間における露光時間は、前記第２のモードにおける１つの区間における最大露光時間以下の時間であり、前記第１のモードにおけるその他の区間における最大露光時間は、前記第２のモードにおける最大露光時間よりも長い、
   ことを特徴とする撮像装置。
2. 前記撮像部は、前記第１のモードでは、前記所定の映像信号の１フレーム期間を奇数フィールド期間と偶数フィールド期間との２つのフィールド期間に分けて被写体を撮像し、
   前記最初の区間は、奇数フィールド期間である、
   ことを特徴とする請求項１記載の撮像装置。
3. 前記２つのフィールド期間の最大露光時間は互いに同じ時間である、
   ことを特徴とする請求項２記載の撮像装置。
4. 前記撮像部は、
   前記第１のモードから前記第２のモードへと切り換えた最初の区間の露光では、前記第１のモードにおける区間の最大露光時間の先頭から電荷を排出させて、最大露光時間を、前記第２のモードにおける１つの区間の最大露光時間と同じ時間とする、
   ことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記映像出力部は、前記第１のモードと前記第２のモードとで共通の信号方式の映像信号を生成する、
   ことを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 赤外光を投光していない状態で撮像する第１のモード、又は、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で撮像する第１の区間と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で撮像する第２の区間と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で撮像する第３の区間とのそれぞれで撮像する第２のモードで、被写体を撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された撮像信号に基づく所定の信号方式の映像信号を生成して出力する映像出力ステップと
   を有し、
   前記第２のモードから前記第１のモードへと切り換えた、少なくとも最初の区間における露光時間は、前記第２のモードにおける１つの区間における最大露光時間以下の時間であり、前記第１のモードにおけるその他の区間における最大露光時間は、前記第２のモードにおける最大露光時間よりも長い、
   ことを特徴とする撮像装置の制御方法。
7. 赤外光を投光していない状態で撮像する第１のモード、又は、赤色に対応付けられた第１の波長を有する第１の赤外光が投光されている状態で撮像する第１の区間と、緑色に対応付けられた第２の波長を有する第２の赤外光が投光されている状態で撮像する第２の区間と、青色に対応付けられた第３の波長を有する第３の赤外光が投光されている状態で撮像する第３の区間とのそれぞれで撮像する第２のモードで、被写体を撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された撮像信号に基づく所定の信号方式の映像信号を生成して出力する映像出力ステップと
   をコンピュータに実行させ、
   前記第２のモードから前記第１のモードへと切り換えた、少なくとも最初の区間における露光時間は、前記第２のモードにおける１つの区間における最大露光時間以下の時間であり、前記第１のモードにおけるその他の区間における最大露光時間は、前記第２のモードにおける最大露光時間よりも長い、
   ことを特徴とする撮像装置の制御プログラム。

Images