JPWO2016203760A1 - 映像撮影装置および映像撮影方法 - Google Patents

Abstract

［課題］簡易な構成で、可視光および赤外光、両方で映像撮影が可能な映像撮影装置を提供する。［解決手段］映像撮影装置は、受光面に入射した入射光の可視光成分と近赤外光成分の強度に応じた入射光映像信号を生成する入射光映像信号生成手段と、前記受光面の入射側に配置され前記入射光の近赤外光成分を回折させる近赤外光回折手段と、前記近赤外光が前記受光面に生成する回折パターンを抽出する回折パターン抽出手段と、前記回折パターンに基づいて算出した前記近赤外光成分の強度に応じた近赤外光映像信号を生成する近赤外光映像信号生成手段と、前記入射光映像信号と前記近赤外光映像信号とに基づいて前記可視光成分の強度に応じた可視光映像信号を生成する可視光映像信号生成手段と、を有する。

Description

本発明は、映像撮影装置および映像撮影方法に関する。

デジタルカメラやビデオカメラなどの撮影装置では、通常、そのイメージセンサには赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色光学フィルタが組み込まれている。カメラに入射した光は、この３色光学フィルタにより分解され、イメージセンサによって映像信号に変換されてＲＧＢの映像データが生成される。

ところで、映像撮影装置に使用されているイメージセンサがシリコン系センサの場合、可視光領域の他に、近赤外領域の光に対しても感度を有している。このため、近赤外光（Ｎｅａｒ ＩｎｆｒａＲｅｄ、ＮＩＲ）がイメージセンサに入射すると、ＲＧＢそれぞれの光による出力に、ＮＩＲによる出力が加算される。その結果、色再現性が低下する。そこで、一般的なデジタルカメラやデジタルビデオカメラでは、近赤外カットフィルタで近赤外光を除去し、高精度な色再現性を確保している。なお一般的な定義では、近赤外光とは、波長が概ね０．７〜２μｍ程度の光のことである。

一方で、上記の近赤外光感度を利用して、近赤外光映像の撮影を行いたいという要望が存在する。この要望にこたえるため、可視光撮影と、近赤外光撮影とを、１つの映像撮影装置で行う方法が、種々検討されている。

もっとも単純な手法は、赤外光（ＩｎｆｒａＲｅｄ、ＩＲ）を除去するＩＲカットフィルタを機械的に移動する仕組みを設けることである。この場合、可視光撮影ではＩＲカットフィルタを光学系にセットし、夜間屋外や暗所における撮影では、ＩＲカットフィルタを光学系から除去して近赤外光撮影を行う。このようにして、色再現性の良い可視光映像と、近赤外光映像とを、１つの映像撮影装置で取得することができる。

また、機械的動作を必要とせずに、ＲＧＢ画像とＮＩＲ画像とを撮影する方法も提案されている。例えば、非特許文献１には、ＲＧＢの３色光学フィルタに加え、可視光を除去しＩＲを透過するＩＲ透過フィルタを加えた４色光学フィルタを用いる方法が開示されている。すなわち、ＩＲ専用の画素を設け、ＩＲ信号を生成している。そして、生成したＩＲ信号を用いて、Ｒ、Ｇ、Ｂセンサ出力からＩＲの寄与分を差し引き、正しいＲ、Ｇ，Ｂ信号を算出する。これにより、高い色再現線を確保している。また暗所撮影ではＲ、Ｇ、Ｂのイメージセンサを近赤外センサとして利用し、近赤外光のモノクロ映像を生成している。

また例えば、特許文献１には、半導体フォトセンサに入射した光強度の測定を、可視光強度の測定と、近赤外光強度の測定の２段階で行う方法が開示されている。可視光強度の測定は、Ｒ、Ｇ、Ｂ各色を透過する３色光学フィルタを用いて行う。これらの光学フィルタはＮＩＲも透過する。そして、ＮＩＲ強度の測定は、Ｒ、Ｇ、Ｂそれぞれのフォトセンサの深部（受光面から遠い部分）に設けられたＮＩＲセンサで行う。これは、波長が長い光ほど、半導体の表面から深くまで進入して吸収されるという現象を利用したものである。つまり、可視光センシング部を透過したＮＩＲ光の強度を、ＮＩＲ専用のセンサで測定している。この構成により、一つの映像撮影装置で、可視光映像、近赤外光映像、両方の撮影を可能としている。

特開２０１１−２４３８６２号公報

香山，田中，廣瀬，"監視カメラ用昼夜兼用イメージセンサ"，Panasonic Technical Journal Vol.54，No.4，Jan.2009

しかしながら、上記の技術には、それぞれ問題点があった。

非特許文献１の技術は、ＩＲ専用の画素を設けている。このため同一面積のイメージセンサに適用した場合、ＲＧＢ３色だけを測定する方式に比べ、ＲＧＢの画素数または画素面積が減少する。その結果、解像度もしくは感度が低下するという問題があった。

また特許文献１の技術では、ＲＧＢ各色のフォトセンサ部の下部（表面から遠い側）にＮＩＲセンサを設けている。このため、一種類のフォトセンサを平面的に配列する構造に比べて、構造、プロセスが複雑になり、製造コストが高くなる、という問題があった。

本発明は、上記の問題点に鑑みてなされたものであり、簡易な構成でありながら、可視光映像および近赤外光映像、両方の撮影が可能な映像撮影装置を提供することを目的としている。

上記の課題を解決するため、本発明の映像撮影装置は、受光面に入射した入射光の可視光成分と近赤外光成分の強度に応じた入射光映像信号を生成する入射光映像信号生成手段と、前記受光面の入射側に配置され前記入射光の近赤外光成分を回折させる近赤外光回折手段と、前記近赤外光が前記受光面に生成する回折パターンを抽出する回折パターン抽出手段と、前記回折パターンに基づいて算出した前記近赤外光成分の強度に応じた近赤外光映像信号を生成する近赤外光映像信号生成手段と、前記入射光映像信号と前記近赤外光映像信号とに基づいて算出した前記可視光成分の強度に応じた可視光映像信号を生成する可視光映像信号生成手段と、を有している。

本発明の効果は、簡易な構成でありながら、可視光および赤外光、両方で映像撮影が可能な映像撮影装置を提供できることである。

第１の実施の形態の映像撮影装置を示すブロック図である。 第２の実施の形態の映像撮影装置を示すブロック図である。 近赤外光による回折パターンの輝度分布の一例を示すグラフである。 近赤外光回折手段と入射光映像信号生成手段との幾何情報を示す斜視図である。 近赤外光回折モデルにおける中心距離と強度の関係の例を示すグラフである。 フォトセンサアレイ上の円状パターンの分布例を示す平面図である。 直交座標から極座標への変換の例を示す図である。 輝度勾配比に関するヒストグラムの一例である。 輝度勾配比と近赤外光の波長に関するヒストグラムの一例である。 近赤外光成分推定動作を示すフローチャートである。 第３の実施の形態の映像撮影装置を示すブロック図である。 符号型ＩＲカットフィルタの例を示す平面図である。 ベイヤ配列型カラーフィルタが組み込まれたフォトセンサアレイの一例を示す平面図である。 第３の実施の形態の動作概要を示すフローチャートである。 デモザイキング処理の一例を説明するための平面図である。 可視光映像信号に近赤外光による円状のパターンを付加した映像信号の一例を示す平面模式図である。 第４の実施形態の映像撮影装置を示すブロック図である。 第５の実施形態の映像撮影装置を示すブロック図である。 第６の実施形態の映像撮影装置を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施の形態の映像撮影装置１００を示すブロック図である。映像撮影装置１００は、近赤外光回折手段１１０と、入射光映像信号生成手段１２０と、回折パターン抽出手段１３０と、近赤外光映像信号生成手段１４０と、可視光映像信号生成手段１５０と、を有している。

近赤外光回折手段１１０は、映像撮影装置１００に入射した入射光１０に含まれる近赤外光を回折させる。近赤外光回折手段１１０で回折した近赤外光は、入射光映像信号生成手段１２０の受光面１２０ａに回折パターンを形成する。

入射光映像信号生成手段１２０は、可視光と近赤外光の強度に応じた入射光映像信号を生成する。

回折パターン抽出手段１３０は、入射光映像信号に基づいて、近赤外光が受光面１２０ａに形成する回折パターンを抽出する。

近赤外光映像信号生成手段１４０は、抽出した近赤外光の回折パターンに基づいて、映像撮影装置１００に入射した近赤外光強度を算出し、近赤外光映像信号を生成する。

可視光映像信号生成手段１５０は、入射光映像信号と、近赤外光映像信号と、に基づいて、可視光映像信号を生成する。以上の構成により、近赤外光映像信号と、可視光映像信号と、を生成することができる。

以上説明したように、本実施の形態によれば、簡易な構成の１つの映像撮影装置を用いて、可視光映像と近赤外光映像とを撮影することができる。

（第２の実施形態）
本実施の形態では、第１の実施の形態の映像撮影装置１００の詳細について説明する。図２は、第２の実施の形態の映像撮影装置１００を示すブロック図である。

映像撮影装置１００は、近赤外光回折手段１１０と、入射光映像信号生成手段１２０と、回折パターン抽出手段１３０と、近赤外光映像信号生成手段１４０と、可視光映像信号生成手段１５０と、を有している。

回折パターン抽出手段１３０は、回折モデル生成手段１３１と、輝度勾配解析手段１３２と、適合モデル判定手段１３３と、を有している。各要素の詳細については、後述する。

近赤外光映像信号生成手段１４０は、回折パターン抽出手段１３０が抽出した回折パターンを解析して、入射した近赤外光の強度を算出し、近赤外光映像信号を生成する。

可視光映像信号生成手段１５０は、入射映像信号と、近赤外光映像信と、に基づいて、可視光信号を生成する。具体的には、各画素において入射映像信号から近赤外光映像信号を差し引くことにより、可視光映像信号を得ることができる。

以下、各要素の詳細について説明する。

近赤外光回折手段１１０は、近赤外光をカットする近赤外光カット部と、近赤外光を透過する近赤外光透過部と、を有し、近赤外光に対して、スリットとして作用する。近赤外光透過部の形状は、例えば円形もしくは円形に近い形状とすることができる。映像撮影装置１００に入射した入射光１０のうちの近赤外光成分は、近赤外光回折手段１１０を通過することによって回折し、入射光映像信号生成手段１２０の受光面１２０ａ上に、明暗の回折パターンを生じる。近赤外光透過部が円形であった場合は、回折パターンは、明暗の同心円からなる円状パターンとなる。

図３は１つの円状パターンの輝度分布の一例を示すグラフである。ここで（ｘ，ｙ）は、入射光映像信号生成手段１２０における直交座標であり、ｚ軸は、その座標における輝度を表している。この円状パターンは、Ｆｒａｕｎｈｏｆｅｒ回折として近似できる。円状パターンの中心の明るい部分はエアリーディスクと呼ばれている。

入射光映像信号生成手段１２０は、受光面１２０ａに入射した可視光と近赤外光の強度に応じた入射光映像信号を生成する。入射光映像信号生成手段１２０は、例えば、可視光と近赤外光とに感度を有するフォトセンサを画素とし、画素を２次元的に配列したフォトセンサアレイである。

回折パターン抽出手段１３０は、入射光映像信号を解析して、近赤外光が形成する回折パターンを抽出する。そのために、回折モデル生成手段１３１と、輝度勾配解析手段１３２と、適合モデル判定手段１３３と、を有している。

回折モデル生成手段１３１は、理論計算、例えばＦｒａｕｎｈｏｆｅｒ近似によって、近赤外光の回折モデルを生成する。

輝度勾配解析手段１３２は、入射光映像信号の各座標における輝度勾配を解析する。解析においては、ある座標における入射光映像信号の輝度勾配と、生成した回折モデルの当該座標に対応する位置での輝度勾配の比を算出する処理などを行う。詳細は後述する。

適合モデル判定手段１３３は、回折モデルと輝度勾配解析結果とに基づいて、入射光映像信号に含まれる円状パターンに適合する回折モデルを判定する。これにより、回折パターンが抽出される。

近赤外光映像信号生成手段１４０は、適合する回折モデルに基づいて、当該座標に入射した近赤外光の強度と波長を推定する。その推定結果から、近赤外光映像信号を生成する。

次に、回折パターン抽出手段１３０が、回折パターンを抽出し、近赤外光映像信号生成手段１４０が、近赤外光映像信号を生成する方法について説明する。

いま、近赤外光回折手段１１０が有する一つの近赤外光透過部に、波長λ、入射強度Ｉ_０の近赤外光が入射したとする。その際の、入射光映像信号生成手段１２０の受光面１２０ａ上の強度Ｉ（ｘ）は、以下の式であらわされる。

ここで、Ｊ_１（ｘ）は次数１の第１種ベッセル関数、Ｃは補正係数、ｘは式（２）の通りである。

ここで、aは、近赤外光回折手段１１０の近赤外光を透過させる部分の半径である。ｑはその部分の中心から入射光映像信号生成手段１２０に垂直におろした点から当該点までの、受光面１２０ａ上における距離である。Ｒは近赤外光を透過させる部分の中心から受光面１２０ａに垂直におろした点から、受光面１２０ａ上で距離ｑ離れた点との距離を示している。これらの幾何情報を図４に示す。

いま、入射強度Ｉ_０を正規化して、式（１）および式（２）で表現できる回折パターンを、回折モデルと呼ぶこととする。

図５は、ある波長を仮定して計算した時の、回折モデルの一例である。回折モデルは、受光面１２０ａ上で生じる円状パターンの強度Ｉと、円状パターンの中心からの距離ｑとの関係を表している。ここでは、式（１）における補正係数Ｃが、Ｃ１（実線）、Ｃ２（破線）の２例を示している。補正係数Ｃは、実際の映像信号に生成される円状パターンに一致するように調整する係数である。

次に、入射光映像信号生成手段１２０が生成した入射光映像信号から、近赤外光成分を推定する方法について説明する。ここでは、入射光映像信号生成手段１２０が、可視光と近赤外光に感度を有するフォトセンサを画素として、複数の画素を２次元的に配列したフォトセンサアレイ１２１であるとする。また、近赤外光回折手段１１０は、フォトセンサアレイ１２１上に、複数の円状パターンを生成するものとする。また、このとき、それぞれの円状パターンが、互いに重ならないようにする。図６は、この様子を模式的に表したものである。

近赤外光成分の推定に当たっては、まず、図６に破線で示したように、入射光映像信号を、１つの円状パターン２０が含まれるように領域を分割する。次いで、各領域の入射光映像信号について、直交座標系の強度Ｉ（ｘ，ｙ）を、円状パターン２０の中心を極とし、動径ｒと偏角θによって表される極座標系の強度Ｉ（ｒ，θ）に変換する。図７は、入射光映像信号の、直交座標系から極座標系への変換過程を図示したものである。なお、強度Ｉ（ｘ，ｙ）は、入射光映像信号生成手段１２０で受光する輝度と言い換えることもできる。以降、強度と輝度とは同じ意味で用いる。

次に、極座標系の各座標（ｒ，θ）に対して、円状パターンの中心方向における輝度勾配を算出する。輝度勾配は、隣接するフォトセンサ（画素）が検出する輝度の傾きであり、画素の位置するそれぞれの座標に対して定義される。

一方、回折モデルに対しても輝度勾配を算出する。まず、ある波長を仮定した時に、式（１）および式（２）で表現される回折モデルパターンを作成する。次いで、中心からの距離を変数とした強度（輝度とみなしてよい）の勾配を算出する。ここで、回折モデルは同心円状であるため、強度は中心からの距離のみで決まる。このため、角度方向については考慮しなくてよい。

次に、極座標系の輝度勾配を用いて近赤外光成分を推定する方法について説明する。入射光映像信号は可視光成分と近赤外光成分の両方を含んでいる。このため、輝度の絶対値は可視光成分に大きく左右される。しかしながら、極座標系における輝度勾配を取ることにより、可視光成分の影響を抑えることができる。そして円状パターンにおける全座標について輝度勾配を求めて統計処理することにより、近赤外光成分のみで生成される円状パターンを抽出することが可能となる。

具体的には、極座標系における入射光映像信号の輝度勾配を、所定刻みで全方向に渡って算出し、その輝度勾配に適合する回折モデルを求める。そして、その回折モデルから、近赤外光の強度および波長を推定する。以下に、その方法を説明する。

＜入射近赤外光強度の推定＞
まず、近赤外光領域のある波長を仮定し式（１）、（２）を用いて回折モデルを作成する。強度の単位は任意であるが、例えば８ビットで表して、正規化された入射強度Ｉ_０を２５５とすることができる。

次に、入射光映像信号の各座標位置（ｒ，θ）における輝度勾配と、その中心からの距離が一致する点における回折モデルの輝度勾配との比ｂを計算する。輝度勾配比の計算は、所定刻みに全方向で行う。また領域内の全画素について行う。

そして、算出した全ての輝度勾配比ｂを集計して、図８に示したような輝度勾配比の出現個数に関するヒストグラムを作成する。このヒストグラムから、最も高い頻度を示す輝度勾配比ｂ_ｍを求める。この輝度勾配比ｂ_ｍは、入射近赤外光強度Ｉ_１と回折モデルパターンの最大強度Ｉ_０の比と同等とみなせる。このため、式（４）が成り立つとすることができる。そして、式（５）によって推定される近赤外光の強度Ｉ_１を計算する。

以上のようにして、入射した近赤外光成分の強度を推定することができる。そして、輝度勾配を利用することで、対象とする領域における近赤外成分以外の成分、すなわち可視光による映像信号の輝度の不連続性（エッジなど）の影響を抑制することできる。

以上の計算処理は、１つの円状パターンを含むように設定された１つの領域について行ったものである。同様の計算を、入射光映像信号の全ての領域に対して実行し、各領域における近赤外成分の強度を算出する。

＜入射近赤外光波長の推定＞
次に、入射した近赤外光の波長を推定するために、波長λをパラメータとして、上記と同様の、近赤外光強度を求める計算を行う。

まず、近赤外光の波長領域を網羅する波長領域について、回折モデルを式（１）および式（２）に基づいて生成する。ここで、近赤外光の波長領域を網羅する波長領域については、例えば、７００ｎｍより１０ｎｍ間隔で離散的に取っても良い。この計算により、所定波長ごとに回折モデルが得られる。

そして、入射光映像信号における、１つの円状パターンを含むように設定された１つの領域について、入射光映像信号と回折モデルとの輝度勾配比を計算する。ここでは、式（３）に基づいて、入射光映像信号の各座標（ｒ，θ）における輝度勾配と、その中心からの距離が一致する回折モデルにおける輝度勾配との比を計算する。次いで、輝度勾配比のヒストグラムを作成する。１つの波長に対して１つのヒストグラムが作成される。そして、波長を変えて同様のヒストグラムを作成することで、図９に示すように、選択した波長の数だけヒストグラムが作成される。

次に、作成されたヒストグラムを解析し、そのヒストグラムの大きい方から1個以上の波長および輝度勾配の比の組み合わせを選択する。そして、選択した波長を式（５）に代入して、対象の領域における近赤外光の入射強度を計算する。こうして１つの領域における、近赤外光成分の、波長と、入射光強度と、を算出することができる。選択する波長と輝度勾配のセットが複数の場合には、セット毎に近赤外光成分の入射光強度を算出して加算すればよい。

同様の計算を、入射光映像信号で、１つの円状パターンを含むように設定された各領域で行い、各領域における近赤外光の波長および入射強度を算出する。

以上により、近赤外光回折手段に設けられたすべての近赤外光透過部に入射する近赤外光の、波長と強度とを算出できる。すなわち、近赤外光映像信号が生成できる。

図１０は、上記に説明した1つの領域における近赤外光映像信号生成動作をまとめたフローチャートである。なお、このフローチャートは領域分割と極座標変換を行った後の動作を示している。以下、このフローチャートについて説明する。

まず、近赤外光領域のある波長を仮定して回折モデルを作成する（Ｓ１）。次に、入射光映像信号と回折モデルの輝度勾配比を座標ごとに計算する（Ｓ２）。次に得られた輝度勾配比のヒストグラムを作成する（Ｓ３）。次に最頻値を与える輝度勾配から近赤外光の入射強度を推定する（Ｓ４）。次に、近赤外光領域を網羅する複数の所定波長で回折モデルを作成する（Ｓ５）。次に、各波長の回折モデルと入射光映像信号との輝度勾配比を、各座標で計算する（Ｓ６）。次に輝度勾配比を計算した波長ごとに、輝度勾配のヒストグラムを作成する（Ｓ７）。次にヒストグラムのピークを示す輝度勾配から、入射した近赤外光の波長を推定する（Ｓ８）。以上により、近赤外光の波長と強度を推定する。

以上説明したように、本実施の形態によれば、一般的な簡易構成のフォトセンサアレイを用いた１台の映像撮影装置で、可視光映像と、近赤外光映像との両方を、撮影することができる。

（第３の実施形態）
図１１は、本発明第３の実施の形態の映像撮影装置１００Ａを示すブロック図である。本実施の形態の映像撮影装置１００Ａは、可視光のカラー映像信号と近赤外光映像の、両方を生成する。映像撮影装置１００Ａは、近赤外光回折手段として、符号型ＩＲカットフィルタ１１０ａを有している。また、入射光映像信号生成手段１２０は、複数のフォトセンサが平面的に配置されたフォトセンサアレイ１２１と、フォトセンサアレイ１２１の光入射側に設けたカラーフィルタアレイ１２２と、を有する。さらに、回折パターン抽出手段１３０と、近赤外光映像信号生成手段１４０と、可視光映像信号生成手段１５０と、を有している。図１１のＲ、Ｇ、Ｂ、ＮＩＲは、それぞれ、赤、緑、青、近赤外信号を表している。ここでは、フォトセンサアレイ１２１で、Ｒ＋ＮＩＲ、Ｇ＋ＮＩＲ、Ｂ＋ＮＩＲ信号が生成され、近赤外光映像信号生成手段１４０でＮＩＲ映像信号が生成される様子を矢印で示している。また、可視光映像信号生成手段１５０で、Ｒ、Ｇ，Ｂ信号が生成される様子を矢印で示している。動作の詳細については、後述する。

次に、各要素の具体的な構成について説明する。

図１２は、符号型ＩＲカットフィルタ１１０ａを示す平面図である。符号型ＩＲカットフィルタ１１０ａは、近赤外光カット部１１１と、近赤外光透過部１１２と、を有している。すなわち、符号型とは、透過とカットの２値を意味している。符号型ＩＲカットフィルタ１１０ａは、カラーフィルタアレイ１２２の光進行方向前側に設けられる。これにより入射光が赤外透過部１２を通過する際、近赤外光の回折が発生する。

近赤外光カット部１１１は近赤外光を透過せず、可視光を透過する。

近赤外光透過部１１２は、近赤外光を透過する。上述したように、近赤外光透過部１１２は、円状もしくはそれに近い形である。近赤外光がフォトセンサアレイ面上に形成する複数の円状パターンは、互いに重ならないようにする。式（１）、（２）に基づけば、おおよその回折光の広がりが予測できる。上記の条件を満たすように、近赤外光透過部１１２を配置し、また、符号型ＩＲカットフィルタ１１０ａと入射光映像信号生成手段１２０との距離を設定する。この条件が満たされる範囲において、近赤外光透過部の配置は任意である。

このような符号型ＩＲカットフィルタ１１０ａを用いることにより、入射光映像信号生成手段１２０の受光面に、所定の大きさの円状パターンを、所定の位置に、複数形成することができる。なお、近赤外光カット部１１２のサイズは、必ずしもフォトセンサの１画素のサイズに一致しなくてもよい。また、近赤外光透過部１１２は、可視光も透過することが望ましいが、可視光を不透過としても本実施の形態は成立する。

フォトセンサアレイ１２１は、第２の実施の形態と同様にフォトセンサを２次元的に配置したものであり、各フォトセンサ（画素）は可視光および近赤外光に感度を有している。

カラーフィルタ１２２は、例えばＲ（赤）、Ｇ（緑），Ｂ（青）をそれぞれ透過するカラーフィルタが、フォトセンサに対応する位置に設けられたアレイ状に配置している。また、各カラーフィルタは近赤外光も透過する。なお、カラーフィルタは、Ｃ（シアン）、Ｍ（マジェンタ）、Ｙ（イエロ）などの補色を用いるタイプの物であっても良い。ここでは、Ｒ、Ｇ、Ｂ、の例を用いて説明する。

図１３は、カラーフィルタアレイ１２２の構成の一例を示す平面図である。前述したように、各カラーフィルタは、それぞれが透過する色の可視光の他に、近赤外光も透過する。このことを明確にするため図１３では、各画素を「色＋ＮＩＲ」の形で記載している。Ｒ＋ＮＩＲは赤とＮＩＲとを透過し、Ｇ＋ＮＩＲは緑とＮＩＲを透過し、Ｂ＋ＮＩＲは青とＮＩＲを透過するカラーフィルタである。入射光映像信号生成手段１２０では、それぞれのカラーフィルタに対応する位置にはフォトセンサが設けられる。なお、１つのカラーフィルタに対応するフォトセンサは１つであっても良いし、複数であっても良い。図１３に示した各色のカラーフィルタの配列は、ベイヤ配列と呼ばれるものであり、Ｒ画素１つ、Ｇ画素２つ、Ｂ画素１つで、１ユニットを形成し、このユニットを周期的に配列したものである。図１３では、縦２×横３の６ユニット分を例示している。

符号型ＩＲカットフィルタ１１０ａおよびカラーフィルタ１２２を透過した光は、フォトセンサにてＲ＋ＮＩＲ、Ｇ＋ＮＩＲ、Ｂ＋ＮＩＲの３色信号に変換される。

以上の構成により、各色に符号型ＩＲカットフィルタ１１０ａによる近赤外光の回折パターンが付加された入射光映像信号が形成される。

本実施の形態では、第２の実施の形態と同様にして、回折パターン抽出手段１３０が上記の回折パターンを抽出し、近赤外光映像信号生成手段１４０が、近赤外光映像信号を生成する。動作の詳細については後述する。

可視光映像信号生成手段１５０は、入射光映像信号と、近赤外光映像信号とに基づいて、Ｒ、Ｇ、Ｂ、色信号を生成する。

次に、動作について説明する。図１４は、動作の概要を示すフローチャートである。以下に、このフローチャートを説明する。

まず入射光映像信号生成手段が入射光映像信号を生成する（Ｓ１０１）。入射光映像信号は、Ｒ、Ｇ、Ｂ、３色の映像信号であるが、それぞれの信号には、近赤外光成分が含まれている。次に、各画素で欠けている色の補間（デモザイキング処理）を行い、Ｒ＋ＮＩＲ、Ｇ＋ＮＩＲ、Ｂ＋ＮＩＲそれぞれのプログレッシブ映像信号を生成する（Ｓ１０２）。ここで、プログレッシブ映像信号とは、上記のデモザイキング処理によって得られた、各色の映像信号であると定義する。次に各色のプログレッシブ映像信号を第２の実施の形態と同様に解析して、これらに含まれる近赤外光映像信号を抽出・生成する（Ｓ１０３）。次に、各プログレッシブ映像信号と、近赤外光映像信号とに基づいて、Ｒ、Ｇ、Ｂ、各色の単色の映像信号を生成する（Ｓ１０４）。以上により、３色の可視光映像信号と、近赤外光映像と、を生成することができる。

次に各動作の詳細について説明する。

＜デモザイキング処理＞
まず、欠けている色を補間するデモザイキング処理について説明する。なお、以下に説明するデモザイキング処理は、あくまで一例であり、他の方法を用いてもよい。

図１５はベイヤ配列の１ユニットで行うデモザイキング処理を説明するための平面模式図である。Ｒ画素が１つ、Ｇ画素が２つ、Ｂ画素が１つの４つの画素で１つのユニットが構成されている。なお、ここでの画素はカラーフィルタとフォトセンサのセットであるものとする。それぞれの画素では、Ｒ＋ＮＩＲ、Ｇ＋ＮＩＲ、Ｂ＋ＮＩＲの光を検出する。ここで、１つの画素に注目すると、対象とする色以外の色は検出されない。このため周辺の画素の輝度を用いて、欠けている色の信号を補間する。なお、この時点でのＲ、Ｇ、Ｂ色信号にはＮＩＲ成分も含まれているが、説明を簡略化する為、Ｒ、Ｇ、Ｂ色信号として説明する。

座標（１，１）の画素は、Ｒに対応し、直接、Ｒ信号を生成する。

Ｒ（１，１）＝Ｒ（１，１） （６）

座標（１，１）の画素に存在しないＧ信号、Ｂ信号については、例えば、以下のように周辺画素の色信号から補間して算出する。

Ｇ（１，１）＝（Ｇ（２，１）＋ Ｇ（１，２））／２ （７）
Ｂ（１，１）＝Ｂ（２，２） （８）

次いで、座標（１，２）の画素の映像信号（Ｒ、Ｇ、Ｂ色信号）を生成する。

座標（１，２）の画素は、Ｇに対応し、直接、Ｇ信号を生成する。
Ｇ（１，２）＝Ｇ（１，２） （９）

座標（１，２）の画素に存在しないＲ信号、Ｂ信号についても、Ｒ画素の場合と同様に、周辺画素の色情報から補間して算出する。

Ｒ（１，２）＝Ｒ（１，１） （１０）
Ｂ（１，２）＝Ｂ（２，２） （１１）

上記と同様の処理を繰り返し、全ての画素について映像データ（Ｒ、Ｇ、Ｂ色信号）を生成する。なお、デモザイキング処理については、上記手法に限らず、様々な手法を用いることができる。以上により、すべての画素にＲ、Ｇ、Ｂ色情報が設定されたプログレッシブ映像信号が得られる。

ここで、可視光成分Ｒ、Ｇ、Ｂは、符号型ＩＲカットフィルタ１１０ａにおける赤外透過部１１２の影響を受けない（回折しない）。このため、撮影シーンの情報がそのままカラーフィルタアレイ１２２およびフォトセンサアレイ１２１に照射される。そして照射された光から、Ｒ＋ＮＩＲ、Ｇ＋ＮＩＲ、Ｂ＋ＮＩＲの３色信号で構成される入射光映像信号が生成される。この時生成された、すべての画素にＲ、Ｇ、Ｂ、３色の信号が設定されたプログレッシブ信号には、円状パターンの近赤外光の成分が含まれている。そこで、これらのＲ＋ＮＩＲ、Ｇ＋ＮＩＲ、Ｂ＋ＮＩＲの各信号成分をＩ_{Ｒ＋ＮＩＲ}、Ｉ_{Ｇ＋ＮＩＲ}、Ｉ_{Ｂ＋ＮＩＲ}で表すこととする。

図１６は、Ｒ、Ｇ、Ｂ、各色について得られた、プログレッシブ信号を示す平面模式図である。プログレッシブＲ映像信号１Ｒ、プログレッシブＧ映像信号１Ｇ、プログレッシブＢ映像信号１Ｂ、には、それぞれ近赤外光の円状パターンが含まれている。図ではこの様子を模式的に示している。

＜近赤外映像信号成分の生成＞
上述したように、Ｒ、Ｇ、Ｂ、各色のプログレッシブ信号には、近赤外光成分の円状パターンが含まれている。それぞれの近赤外光成分の推定を、第２の実施の形態と同様にして行う。すなわち、Ｒ、Ｇ、Ｂプログレッシブ信号を用いて、図１０のフローチャートと同様の処理を行う。これにより、３つのプログレッシブ信号から得られた３つの近赤外光映像信号を抽出・生成する。ここで、Ｒプログレッシブ信号１Ｒから得られたＮＩＲ信号をＮＩＲ＿Ｒ信号、と呼ぶこととする。同様に、Ｇプログレッシブ信号１Ｇから得られたＮＩＲ信号をＮＩＲ＿Ｇ信号、Ｂプログレッシブ信号１Ｂから得られたＮＩＲ信号をＮＩＲ＿Ｂ信号、と呼ぶこととする。そして、それぞれの信号成分を、Ｉ_{ＮＩＲ＿Ｒ}、Ｉ_{ＮＩＲ＿Ｇ}、Ｉ_{ＮＩＲ＿Ｂ}、で表すこととする。

＜可視光映像信号および近赤外映像信号の生成＞
各画素において、各色のプログレッシブ信号成分から、近赤外光成分を差し引くことにより、Ｒ、Ｇ、Ｂ、単色の色成分を得ることができる。それぞれの色成分をＩ_Ｒ、Ｉ_Ｇ、Ｉ_Ｂと呼ぶこととすると、これらの成分は以下の式によって算出することができる。

Ｉ_Ｒ＝Ｉ_{Ｒ＋ＮＩＲ}−Ｉ_{ＮＩＲ＿Ｒ} （１２）
Ｉ_Ｇ＝Ｉ_{Ｇ＋ＮＩＲ}−Ｉ_{ＮＩＲ＿Ｇ} （１３）
Ｉ_Ｂ＝Ｉ_{Ｂ＋ＮＩＲ}−Ｉ_{ＮＩＲ＿Ｂ} （１４）

また、近赤外光成分単色の成分Ｉ_ＮＩＲは、次式で表すことができる。

Ｉ_ＮＩＲ＝Ｉ_{ＮＩＲ＿Ｒ}＋Ｉ_{ＮＩＲ＿Ｇ}＋Ｉ_{ＮＩＲ＿Ｂ} （１５）

なお、式（１５）の各項については、デモザイキング処理の仕方を反映した重み付けを行っても良い。

以上により、各画素についてＲ、Ｇ、Ｂ、ＮＩＲ、４色の映像信号成分を抽出することができる。そして全画素の信号成分を用いて、上記４色の映像データを生成することができる。

以上、説明したように、本実施の形態によれば、ＩＲフィルタを機械的に移動したり、特殊なフォトセンサを用いたりしない、簡易な構成の映像撮影装置で、可視光カラー映像信号および近赤外映像信号を同時に生成することができる。

＜変形例＞
上述の実施形態では、近赤外光成分Ｉ_ＮＩＲを、Ｉ_{Ｒ＋ＮＩＲ}、Ｉ_{Ｇ＋ＮＩＲ}、Ｉ_{Ｂ＋ＮＩＲ}、３つのプログレッシブ信号を用いて算出したが、特定の色の信号を用いて算出することも可能である。特に、画素がＲＧＢベイヤ配列型の場合、Ｇチャネルの情報が他のカラーチャネルの２倍あるため、デモザイキング処理後のＧチャネルのみを利用する方法が有効である。

つまり、プログレッシブ信号のＲ成分_{Ｒ+ＮＩＲ}、Ｂ成分Ｉ_{Ｂ+ＮＩＲ}には、厳密にはＮＩＲ情報が含まれるが、微小であるためこれを無視し、Ｉ_{Ｒ+ＮＩＲ}をＲ信号Ｉ_Ｒ、Ｉ_{Ｂ＋ＮＩＲ}をＢ信号Ｉ_Ｂと見なす。そして、ＮＩＲのみの成分Ｉ_ＮＩＲを次式により算出する。

Ｉ_ＮＩＲ＝Ｉ_{ＮＩＲ＿Ｇ} （１６）

なお、Ｇ信号の映像データＩ_Ｇについては、式（１３）により算出する。

符号型ＩＲカットフィルタ１では、円状パターンが形成される位置を制御できる。そこで、円状パターンが、Ｇ画素を中心形成されるように、近赤外光透過部を配置すれば、Ｉ_{Ｒ＋ＮＩＲ}、およびＩ_Ｂ＋ＮＩに含まれるＮＩＲ成分が小さくなり、これらを無視しても影響は小さくなる。また、近赤外光透過部の形状および配置を、カラーフィルタおよびフォトセンサの１画素のサイズ程度にすれば、さらに影響を小さくすることができる。

（第４の実施形態）
図１７は、第４の実施形の態の映像撮影装置１００Ｂのブロック図である。映像撮影装置１００Ｂは、第３の実施の形態の映像撮影装置１００Ａに符号化情報メモリ１３４を追加した構成となっている。符号化情報メモリ１３４は、回折パターン抽出手段１３０に接続する。なお、符号型ＩＲカットフィルタ１１０ａ、カラーフィルタアレイ１２２、フォトセンサアレイ１２１は、映像撮影装置１００Ａと同じものであるため、ここでは、符号化情報メモリ１３４および回折パターン抽出手段１３０について説明する。

符号化情報メモリ１３４は、近赤外光によって形成される円状パターンに関する情報を記録する。具体的には、円状パターンの中心座標と、大きさと、符号型ＩＲカットフィルタ１１０ａとフォトセンサアレイ１２１との間の距離と、を記録する。

近赤外光が、符号型ＩＲカットフィルタ１１０ａに配置された近赤外光透過部１１２を透過すると、回折によって、フォトセンサ３上に円状のパターンが形成される。

この円状のパターンは、近赤外光の波長、赤外透過部１２の大きさ、符号型ＩＲカットフィルタ１１０ａとフォトセンサアレイ１２１との間の距離によって決まる。したがって、これらのパラメータを決定すれば、円状パターンの中心座標および大きさを、計算もしくはキャリブレーションを行うことによって予め把握することができる。

上記の方法で把握した、赤外透過部１２の大きさ、フォトセンサアレイ１２１上における円状のパターンの中心の座標位置、円状パターンの大きさ、等を有する符号化情報を、符号化情報メモリ５に記録する。記録された符号化情報を用いることで、円状パターンが形成される受光面上の位置を推定し、解析を行うための領域を決定することができる。

この構成で、可視光映像信号および近赤外光映像信号を生成する。生成方法は、第３の実施の形態と同様である。このとき、符号化情報メモリ１３４に記録されている符号化情報を利用することで、処理を簡略化することができる。

以上説明したように、本実施形態によれば、第３実施形態と同様の効果を、容易に得ることができる。

（第５の実施形態）
第３および第４の実施の形態では、ベイヤ配列型の光学フィルタにより分光する映像撮影装置について説明したがが、本発明はベイヤ配列型に限定されない。本実施の形態では、３板式映像撮影装置に適用した例を示す。

図１８は、３板式の映像撮影装置１０１のブロック図である。映像撮影装置１０１は、符号型ＩＲカットフィルタ１１０ａと、プリズム１６０と、３種の入射光映像信号生成手段１２０Ｒ、Ｇ、Ｂと、を有している。また、回折パターン抽出手段１３０と、近赤外光映像信号生成手段１４０と、可視光映像信号生成手段１５０と、を有している。

プリズム１６０は、色分解手段であり、図１８の例ではＧ光を直進させ、Ｂ光を図面下方に進行させ、Ｒ＋ＮＩＲ光を図面上方に進行させている。なお、図１８に描画されたプリズム１６０の形状は、実際の形状を表しているわけではなく、概念的なものである。また、プリズム１６０が光をコリメートする光学系を備えていても良く、プリズム１６０の入射側にはカメラレンズ１７０が設けられていても良い。プリズム１６０およびカメラレンズ１７０は、３板式映像撮影装置で一般的に使用されているもので良い。

それぞれの色の光の進路には、その色専用の入射光映像信号生成手段が設けられている。入射光映像信号生成手段１２０Ｇは、Ｇ映像信号を生成する。入射光映像信号生成手段１２０Ｂは、Ｂ映像信号を生成する。そして、入射光映像信号生成手段１２０Ｒは、Ｒ＋ＮＩＲ映像信号を生成する。１２０Ｒの光入射側には、符号型ＩＲカットフィルタ１１０ａが設けられている。この構成により、１２０Ｒで生成される映像信号には、近赤外光の円状パターンが含まれている。それぞれの入射光映像信号生成手段に用いるフォトセンサは、３板式映像撮影装置で一般的に使用されているフォトセンサで良い。

符号型ＩＲカットフィルタ１１０ａは、例えば第２乃至第４の実施形態のいずれかで用いたものを適用する。符号型ＩＲカットフィルタ１１０ａは、３つの入射光映像信号生成手段のうち少なくとも１つに対し、光進行方向前側に設けられる。図１８の例では、Ｒ対応の入射光映像信号生成手段１２０Ｒに対応して設けている。これにより近赤外光の回折が発生する。

なお、符号型ＩＲカットフィルタが設置されていない残り２つの入射光映像信号生成手段に対して、プリズム１６０から漏れる可能性のある近赤外光をカットするために、通常の近赤外カットフィルタを設置してもよい。これにより、色再現性を確保することができる。

次に動作について説明する。なお、ここでは、プリズム１６０で分光されるＧ、Ｂの光には近赤外光は含まれていないとして説明する。

カメラレンズ１７０を通じて、映像撮影装置１０１に入射する光は、プリズム１６０により、波長帯域が異なるＲ、Ｇ、Ｂの光に分解される。Ｒに対応する光は入射光映像信号生成手段１２０Ｒに入射し、Ｇに対応する光は入射光映像信号生成手段１２０Ｇに入射し、Ｂに対応する光は入射光映像信号生成手段１２０Ｂに入射する。

このとき、Ｒに対応する光は、符号型ＩＲカットフィルタ１１０ａの近赤外光透過部で近赤外光成分が回折する。そして、入射光映像信号生成手段１２０Ｒにおいて、ＮＩＲを含んだＲ＋ＮＩＲの映像信号が生成される。すなわち、上記構成により、近赤外光による円状のパターンが複数付加されたＲ＋ＮＩＲ映像信号が生成される。

回折パターン抽出手段１３０と、近赤外光映像信号生成手段１４０とは、Ｒ＋ＮＩＲ映像信号を受信して、ＮＩＲ映像信号を生成する。そしてＮＩＲ映像信号とＲ＋ＮＩＲ映像信号を出力する。可視光映像生成手段１５０は、Ｒ＋ＮＩＲ映像信号からＮＩＲ映像信号を差し引いて、単色のＲ映像信号を生成する。以上により、４色映像データ（Ｒ、Ｇ、Ｂ、ＮＩＲ）を生成することができる。

本実施形態の映像撮影装置１０１は、一般的な３板式撮影装置の構成であり、特殊なデバイスを必要としていない。また、符号型ＩＲカットフィルタ１は、一般的なカットフィルタに簡単な改造を加えたものであり、簡素な構成である。すなわち、簡素な構成によって、可視光映像信号と近赤外光映像信号の両方を生成できる。このため複雑な構成や特殊なデバイスを用いる方法に比べて、生産コスト低減や故障率軽減が期待できる。また、近赤外光が強く飽和してしまう状況下でも、近赤外光を回折によって分散させることで飽和を抑制し、見かけのダイナミックレンジを広げることが可能となる。

（第６の実施の形態）
第５の実施の形態では、本発明を、３板式映像撮影装置に適用する例を示したが、本発明は、積層型フォトセンサを有する映像撮影装置にも適用できる。

図１９は、本実施の形態における映像撮影装置１０２のブロック図である。
映像撮影装置１０２は、符号型ＩＲカットフィルタ１１０ａと、Ｒ、Ｇ、Ｂ専用の入射光映像信号生成手段１２０Ｒ、１２０Ｇ、１２０Ｂが積層された積層型入射光映像信号生成手段１２０Ｓと、を有している。また回折パターン抽出手段１３０と、近赤外光映像信号生成手段１４０と、可視光映像信号生成手段１５０と、を有している。積層型入射光映像信号生成手段１２０Ｓには、例えば、一般的な積層型センサ式映像撮影装置に使用されている積層型センサを使用することができる。図１９の例では、光進行方向に対し各フォトセンサを、１２０Ｂ、１２０Ｇ、１２０Ｒの順で積層している。

符号型ＩＲカットフィルタ１１０ａは、第２〜第３実施形態のいずれかで用いたものを適用することができる。１１０ａは、１２０Ｓに対し、光進行方向前側に設けられる。

映像撮影装置１０２に入射する光は、波長帯域が異なるＲ、Ｇ、ＢおよびＮＩＲの光を含む。Ｂに対応する光は１２０ＢによりＢ＋ＮＩＲ映像信号に変換され、Ｇに対応する光は１２０ＧによりＧ＋ＮＩＲ映像信号に変換され、ＲおよびＮＩＲに対応する光は１２０ＲによりＲ＋ＮＩＲ映像信号に変換される。これら、Ｒ，Ｇ，Ｂ＋ＮＩＲ映像信号には、符号型ＩＲカットフィルタ１１０ａで回折したＮＩＲが形成した円状パターンが含まれている。

そして、他の実施の形態と同様、回折パターン抽出手段１３０によって円状パターンが抽出され、近赤外光映像生成手段１３０によって近赤外光映像信号が生成される。すなわち、積層型入射光映像信号生成手段１２０Ｓから入力されるＲ＋ＮＩＲ、Ｇ＋ＮＩＲ、Ｂ＋ＮＩＲ映像信号に基づいて、ＮＩＲ映像信号を生成する。その方法は第３、第４の実施の形態の方法と同様である。

以上の構成により、全ての画素について、Ｒ、Ｇ、Ｂ、ＮＩＲ、４色の映像信号を生成することができる。

以上説明したように、本実施の形態によっても、第５の実施の形態と同様の効果を得ることができる。

上記実施形態において、各部をハードウェアで構成してもよいし、コンピュータプログラムにより実現してもよい。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述と同様の機能、動作を実現させる。また、一部の機能のみをコンピュータプログラムにより実現してもよい。

以上の第１から第６の実施形態の処理をコンピュータに実行させるプログラムおよび該プログラムを格納した記録媒体も本発明の範囲に含む。記録媒体としては、例えば、磁気ディスク、磁気テープ、光ディスク、光磁気ディスク、半導体メモリ、などを用いることができる。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上記実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１５年６月１７日に出願された日本出願特願２０１５−１２１５８８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
（付記１）
受光面に入射した入射光の可視光成分と近赤外光成分の強度に応じた入射光映像信号を生成する入射光映像信号生成手段と、前記受光面の入射側に配置され前記入射光の近赤外光成分を回折させる近赤外光回折手段と、前記近赤外光が前記受光面に生成する回折パターンを抽出する回折パターン抽出手段と、前記回折パターンに基づいて算出した前記近赤外光成分の強度に応じた近赤外光映像信号を生成する近赤外光映像信号生成手段と、前記入射光映像信号と前記近赤外光映像信号とに基づいて算出した前記可視光成分の強度に応じた可視光映像信号を生成する可視光映像信号生成手段と、を有することを特徴とする映像撮影装置。
（付記２）
前記近赤外光回折手段が、近赤外光をカットし可視光を透過する近赤外光カット部と、近赤外光を透過する近赤外光透過部と、を有することを特徴とする付記１に記載の映像撮影装置。
（付記３）
前記近赤外光回折手段が、前記近赤外光透過部を複数有する、ことを特徴とする付記２に記載の映像撮影装置。
（付記４）
前記近赤外光透過部の形状が略円形である、ことを特徴とする付記２または付記３に記載の映像撮影装置。
（付記５）
前記近赤外光回折手段の情報と、前記受光面上に前記回折パターンが発生する位置の情報と、を記憶する情報メモリを有する、ことを特徴とする付記１乃至付記４いずれか一付記に記載の映像撮影装置。
（付記６）
前記近赤外光映像信号生成手段が、近赤外光の回折モデルを生成する回折モデル生成手段と、前記入射光映像信号の輝度勾配を解析する輝度勾配解析手段と、前記輝度勾配の解析結果に適合する回折モデルを判定する適合回折モデル判定手段と、前記適合回折モデルに基づいて入射した近赤外光の強度を推定する入射近赤外光強度推定手段と、を有することを特徴とする付記１乃至付記５いずれか一付記に記載の映像撮影装置。
（付記７）
前記近赤外光映像信号生成手段が、前記適合回折モデルに基づいて入射した近赤外光の波長を推定する入射近赤外光波長推定手段、を有することを特徴とする付記６に記載の映像撮影装置。
（付記８）
前記輝度勾配解析手段が、前記入射光映像信号を、前記回折パターンを１つ含む領域ごとに分割する領域分割手段と、分割した領域の座標を前記回折パターンの中心を原点とする極座標に変換する座標変換手段と、を有することを特徴とする付記６または付記７に記載の映像撮影装置。
（付記９）
前記輝度勾配解析手段が、前記入射光映像信号のある座標における輝度勾配と、前記回折モデルの前記ある座標に対応する位置での輝度勾配と、の比である輝度勾配比を算出する輝度勾配比算出手段を有する、ことを特徴とする付記８に記載の映像撮影装置。
（付記１０）
前記輝度勾配解析手段が、前記分割した領域内の複数の座標で生成した前記輝度勾配比を統計処理する輝度勾配比統計処理手段を有する、ことを特徴とする付記９に記載の映像撮影装置。
（付記１１）
前記適合回折モデル判定手段が、前記起動勾配比統計処理手段の統計処理結果に基づいて判定を行う、ことを特徴とする付記１０に記載の映像処理装置。
（付記１２）
前記入射光映像信号生成手段が、入射光を複数色の可視光に分離して強度に応じた信号を生成することを特徴とする付記１乃至付記１１いずれか一付記に記載の映像撮影装置。
（付記１３）
前記近赤外光映像信号生成手段が、前記複数色の色毎に近赤外光映像信号を生成する、ことを特徴とする付記１２に記載の映像撮影装置。
（付記１４）
前記第入射光映像信号生成手段がシリコン系フォトセンサを有する、ことを特徴とする付記１乃至付記１３いずれか一付記に記載の映像撮影装置。
（付記１５）
受光面の入射側に配置された近赤外光回折手段によって入射光の近赤外光成分を回折させ、前記受光面に入射した前記入射光の可視光成分と近赤外光成分の強度に応じた入射光映像信号を生成し、前記近赤外光が前記受光面に生成する回折パターンを抽出し、前記回折パターンに基づいて算出した前記近赤外光成分の強度に応じた近赤外光映像信号を生成し、前記入射光映像信号と前記近赤外光映像信号とに基づいて前記可視光成分の強度に応じた可視光映像信号を生成する、ことを特徴とする映像撮影方法。
（付記１６）
前記入射光の前記近赤外光成分を、近赤外光をカットし可視光を透過する近赤外光カット部と近赤外光を透過する近赤外光透過部とを有する符号型ＩＲカットフィルタで回折させる、ことを特徴とする付記１５に記載の映像撮影方法。
（付記１７）
前記近赤外光透過部を複数有する前記符号型ＩＲカットフィルタを用いる、ことを特徴とする付記１６に記載の映像撮影方法。
（付記１８）
前記近赤外光透過部が略円形の前記符号型ＩＲカットフィルタを用いる、ことを特徴とする付記１６または付記１７に記載の映像撮影方法。
（付記１９）
前記近赤外光回折手段の情報と前記入射光映像信号生成手段上に前記回折パターンが発生する位置情報とをメモリに記憶する、ことを特徴とする付記１５乃至付記１８いずれか一付記に記載の映像撮影方法。
（付記２０）
近赤外光の回折モデルを生成し、前記入射光映像信号の輝度勾配を解析し、前記輝度勾配の解析結果に適合する回折モデルを判定し、前記適合する回折モデルに基づいて入射した近赤外光の強度を推定する、ことを特徴とする付記１５乃至付記１９いずれか一付記に記載の映像撮影方法。
（付記２１）
前記適合する回折モデルに基づいて入射した近赤外光の波長を推定する、ことを特徴とする付記２０に記載の映像撮影方法。
（付記２２）
前記入射光映像信号を、前記回折パターンを１つ含む領域ごとに分割し、分割した領域の座標を前記回折パターンの中心を原点とする極座標に変換する、ことを特徴とする付記１７乃至付記２１いずれか一付記に記載の映像撮影方法。
（付記２３）
前記入射光映像信号のある座標における輝度勾配と前記回折モデルの前記ある座標に対応する位置での輝度勾配との比である輝度勾配比を算出する、ことを特徴とする付記２２に記載の映像撮影方法。
（付記２４）
前記分割した領域内の複数の座標で生成した前記輝度勾配比を統計処理する、ことを特徴とする付記２３に記載の映像撮影方法。
（付記２５）
前記輝度勾配比の前記統計処理の結果に基づいて前記適合する回折モデルの判定を行う、ことを特徴とする付記２４に記載の映像撮影方法。
（付記２６）
入射光を複数色の可視光に分離して強度に応じた信号を生成する、ことを特徴とする付記１５乃至付記２５いずれか一付記に記載の映像撮影方法。
（付記２７）
前記複数色の色毎に近赤外光映像信号を生成する、ことを特徴とする付記２６に記載の映像撮影方法。
（付記２８）
前記入射光映像信号をシリコン系フォトセンサで生成する、ことを特徴とする付記１５乃至付記２７いずれか一付記に記載の映像撮影方法。
（付記２９）
受光面の入射側に配置された近赤外光回折手段によって入射光の近赤外光成分を回折させるステップと、前記受光面に入射した前記入射光の可視光成分と近赤外光成分の強度に応じた入射光映像信号を生成するステップと、前記近赤外光が前記受光面に生成する回折パターンを抽出するステップと、前記回折パターンに基づいて算出した前記近赤外光成分の強度に応じた近赤外光映像信号を生成するステップと、前記入射光映像信号と前記近赤外光映像信号とに基づいて前記可視光成分の強度に応じた可視光映像信号を生成するステップと、を有することを特徴とする映像撮影プログラム。
（付記３０）
近赤外光の回折モデルを生成するステップと、前記入射光映像信号の輝度勾配を解析するステップと、前記輝度勾配の解析結果に適合する回折モデルを判定するステップと、前記適合する回折モデルに基づいて入射した近赤外光の強度を推定するステップと、を有することを特徴とする付記２９に記載の映像撮影プログラム。
（付記３１）
前記入射光映像信号を、前記回折パターンを１つ含む領域ごとに分割するステップと、分割した領域の座標を前記回折パターンの中心を原点とする極座標に変換するステップと、を有することを特徴とする付記２９または付記３０に記載の映像撮影プログラム。
（付記３２）
前記入射光映像信号のある座標における輝度勾配と前記回折モデルの前記ある座標に対応する位置での輝度勾配との比である輝度勾配比を算出するステップ、を有することを特徴とする付記３１に記載の映像撮影プログラム。
（付記３３）
前記分割した領域内の複数の座標で生成した前記輝度勾配比を統計処理するステップと、前記統計処理の結果に基づいて前記適合する回折モデルの判定を行うステップと、を有することを特徴とする付記３２に記載の映像撮影プログラム。
（付記３４）
入射光を複数色の可視光に分離して感知するステップ、を有することを特徴とする付記２９乃至付記３３いずれか一付記に記載の映像撮影プログラム。

１０ 入射光
２０ 円状パターン
１００ 映像撮影装置
１１０ 近赤外光回折手段
１１０ａ 符号型ＩＲカットフィルタ
１２０ 入射光映像信号生成手段
１２１ フォトセンサアレイ
１２２ カラーフィルタアレイ
１３１ 回折モデル生成手段
１３２ 輝度勾配解析手段
１３３ 適合モデル判定手段
１３４ 符号化情報メモリ
１４０ 近赤外光映像信号生成手段
１５０ 可視光映像信号生成手段
１６０ プリズム
１７０ カメラレンズ

Claims (10)

1. 受光面に入射した入射光の可視光成分と近赤外光成分の強度に応じた入射光映像信号を生成する入射光映像信号生成手段と、前記受光面の入射側に配置され前記入射光の近赤外光成分を回折させる近赤外光回折手段と、前記近赤外光が前記受光面に生成する回折パターンを抽出する回折パターン抽出手段と、前記回折パターンに基づいて算出した前記近赤外光成分の強度に応じた近赤外光映像信号を生成する近赤外光映像信号生成手段と、前記入射光映像信号と前記近赤外光映像信号とに基づいて算出した前記可視光成分の強度に応じた可視光映像信号を生成する可視光映像信号生成手段と、を有することを特徴とする映像信号撮影装置。
2. 前記近赤外光回折手段が、近赤外光をカットし可視光を透過する近赤外光カット部と、近赤外光を透過する近赤外光透過部と、を有することを特徴とする請求項１に記載の映像撮影装置。
3. 前記近赤外光透過部の形状が略円形である、ことを特徴とする請求項２に記載の映像撮影装置。
4. 前記近赤外光映像信号生成手段が、近赤外光の回折モデルを生成する回折モデル生成手段と、前記映像信号の輝度勾配を解析する輝度勾配解析手段と、前記輝度勾配の解析結果に適合する適合回折モデルを判定する適合回折モデル判定手段と、前記適合回折モデルに基づいて入射した近赤外光の強度を推定する入射近赤外光強度推定手段と、を有することを特徴とする請求項１乃至請求項３いずれか一付記に記載の映像撮影装置。
5. 前記近赤外光映像信号生成手段が、前記適合回折モデルに基づいて入射した近赤外光の波長を推定する入射近赤外光波長推定手段、を有することを特徴とする請求項４に記載の映像撮影装置。
6. 受光面の入射側に配置された近赤外光回折手段によって入射光の近赤外光成分を回折させ、前記受光面に入射した前記入射光の可視光成分と近赤外光成分の強度に応じた入射光映像信号を生成し、前記近赤外光が前記受光面に生成する回折パターンを抽出し、前記回折パターンに基づいて算出した前記近赤外光成分の強度に応じた近赤外光映像信号を生成し、前記入射光映像信号と前記近赤外光映像信号とに基づいて前記可視光成分の強度に応じた可視光映像信号を生成する、ことを特徴とする映像撮影方法。
7. 前記入射光映像信号を、前記回折パターンを１つ含む領域ごとに分割し、分割した領域の座標を前記回折パターンの中心を原点とする極座標に変換する、ことを特徴とする請求項６に記載の映像撮影方法。
8. 前記入射光映像信号のある座標における輝度勾配と前記回折モデルの前記ある座標に対応する位置での輝度勾配との比である輝度勾配比を算出する、ことを特徴とする請求項７に記載の映像撮影方法。
9. 前記分割した領域内の複数の座標で生成した前記輝度勾配比を統計処理し、前記統計処理の結果に基づいて前記適合する回折モデルの判定を行う、ことを特徴とする請求項８に記載の映像撮影方法。
10. 受光面の入射側に配置された近赤外光回折手段によって入射光の近赤外光成分を回折させるステップと、前記受光面に入射した前記入射光の可視光成分と近赤外光成分の強度に応じた入射光映像信号を生成するステップと、前記近赤外光が前記受光面に生成する回折パターンを抽出するステップと、前記回折パターンに基づいて算出した前記近赤外光成分の強度に応じた近赤外光映像信号を生成するステップと、前記入射光映像信号と前記近赤外光映像信号とに基づいて前記可視光成分の強度に応じた可視光映像信号を生成するステップと、
    を実行させるための映像撮影プログラムを記録したことを特徴とするプログラム記録媒体。

Images