WO2015059897A1

WO2015059897A1 - 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ

Info

Publication number: WO2015059897A1
Application number: PCT/JP2014/005201
Authority: WO
Inventors: 塚田　正人
Original assignee: 日本電気株式会社
Priority date: 2013-10-23
Filing date: 2014-10-14
Publication date: 2015-04-30
Also published as: US20160255286A1; JPWO2015059897A1; US10171757B2; JP6582987B2

Abstract

　一般的な映像撮像装置の構成を利用しつつ、簡易に、可視光領域および近赤外領域の映像処理が可能な映像撮影装置が開示される。係る映像撮像装置は、入射された光を複数色に分光するカラーフィルタと、カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられ、近赤外光をカットする赤外カット部と、近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタと、画素および隣接画素の赤外カット部を透過する光に係る複数の映像信号および赤外透過部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する映像処理手段と、を備える。

Description

映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ

　本発明は、映像撮影技術に関し、特に可視光領域および近赤外領域の映像処理に係る映像撮影技術に関する。

　デジタルカメラやビデオカメラなどの撮像装置において、通常、そのイメージセンサには赤（R）、緑（G）、青（B）の3色光学フィルタが組み込まれている。カメラに入射した光は、この3色光学フィルタにより分解され、イメージセンサによって映像信号に変換されてRGBの映像データが生成される。

　撮像装置に使用されているイメージセンサが、シリコン系センサの場合、可視光領域から近赤外領域の光に対するセンサ感度を有している。一方、デジタルカメラやビデオカメラでは高精度な色再現性が求められるため、色再現に悪影響を及ぼす近赤外光は、近赤外カットフィルタにより除去される。これは、R、G、Bの3色光学フィルタは、それぞれのフィルタが担当する可視光領域における波長帯で透過率を担保するが、可視光領域外である近赤外領域の光の透過特性については考慮されていない場合があるためである。

　図１は、RGB3色光学フィルタの分光透過率を示した例である。可視光領域は波長400nmから700nmとした場合、各色フィルタについて、Bフィルタは約400nm乃至500nm、Gフィルタは約500nm乃至600nm、Rフィルタは約600nm乃至700nmの波長の光を透過する特性が期待される。しかし、図１に示されるように、各フィルタは可視光領域外である700nm以上の光、すなわち、近赤外光を透過させる特性を有していることが確認できる。

　ところで、デジタルカメラやビデオカメラなどのカラー画像入力装置で一般に採用されているフォトダイオードによるイメージセンサの分光感度特性は、700nm以上の波長領域においても感度を有している。図１の分光特性を有する3色光学フィルタを、イメージセンサにそのまま適用するだけでは、色再現性の観点から問題が生じる。

　人間の色知覚に関するXYZ表色系の等色関数は、図２のように表わされる。人間の色知覚において、700nm以上の光については感度がゼロであるため、700nm以上の波長領域にパワーを有する光は、心理物理量である知覚色に影響を与えない。

　今、図３に示すように600nm以上の波長領域にパワーを有する光を観測する場合を考える。人間の場合、この光は赤として知覚される。一方、図１に示す特性を有する3色光学フィルタを用いてイメージセンサで観測すると、センサの出力信号は、Rだけでなく、GおよびBにも値を持つ。この結果、人間が知覚する赤と異なる色が観測されてしまう。このように、色再現に問題が生じる原因は、GおよびBの光学フィルタの700nm以上の波長領域において、分光透過率がゼロでないためである。

　カラー画像入力装置において、人間の色知覚向けに高精度な色再現性を実現するためには、図４に示すような700nm以上の近赤外光の影響を除去する分光透過率を有する赤外光（IR：infrared）カットフィルタを使用する。具体的には、図５に示したように、カラー画像入力装置の光学系に、IRカットフィルタを組み込み、3色光学フィルタおよびイメージセンサへの近赤外光の侵入を遮断する。このようにすることにより、可視光の波長領域のみにパワーを持つ光が3色光学フィルタに入力し、3色光学フィルタによって分光された光がイメージセンサに入力し、RGBの信号が生成される。

　一方、夜間屋外や暗所で映像を撮影する場合には、ノイズが抑えられた高感度撮影が求められる。この場合、光量不足に起因するセンサノイズを抑制するために、より多くの光をイメージセンサに受光させることが望ましい。暗所での高感度撮影を実現するために、近赤外領域の光を利用した撮影方法が提案されている。もっとも簡易な手法としては、高感度撮影時において、光学系にセットされたIRカットフィルタを機械的に除去する方式である。しかし、この方式は、部品点数が増加し製品コストアップとなるだけでなく、IRカットフィルタを除去する機械的動作を要するため、長期利用において故障の危険性が高いという大きなリスクがある。

　機械的動作を必要とせずに、RGB画像とIR（NIR：Near Infra-Red）画像を撮像する方法として、非特許文献１では、RGB画像とIR画像のそれぞれを撮影する2台のカメラを用いる方法が提案されている。

　非特許文献２では、図６に示したように、RGBの3色光学フィルタに加え、近赤外（NIR）光を透過するIRフィルタを加えた４色の光学フィルタが組み込まれたイメージセンサが提案されている。非特許文献２の第２図には、R、G、B、IRの各光学フィルタの分光感度特性が示されている。R、G、Bの各色フィルタの分光感度特性は、近赤外光において、IRフィルタと同等の形状の分光感度を有している。昼間撮影において、高い色再現性を実現するためには、R、G、Bに含まれる近赤外光の影響を除去する必要がある。非特許文献２のイメージセンサでは、IRフィルタを透過して得られたIR信号を利用することで、R、G、Bに含まれる近赤外光の影響を除去し、R、G、B信号を生成する。夜間撮影の場合には、R、G、B、IRすべての信号を利用する。

　特許文献１は、近赤外光を透過するR、G、Bの3色光学フィルタを用いるとともに、近赤外光（NIR）を感知する特殊なフォトセンサを用いることで、R、G、B、NIRの信号を生成する撮像デバイスを提案している。例えば、Rフィルタを透過した光は、R+NIRとなっており、フォトセンサに入射する。このフォトセンサは、光の入射方向において、浅い位置にRを検出する可視光センサ部と、深い位置にNIRを検出する非可視光センサ部から構成される。GおよびBも同様である。

　なお、非特許文献３は、本実施形態の説明の為に後述する、デモザイキング処理の手法の一例を示すものである。非特許文献４は、後述する、Gradient Based Interpolationを用いた手法を示すものである。非特許文献５は、デモザイキング処理の手法の一例を示すものである。特許文献２は、可視光信号が微弱な環境においても可視カラー画像を出力する撮像装置を開示する。特許文献３は、固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置を開示する。

特開２０１１－２４３８６２号公報特開２０１１－０１５０８７号公報特開２００５－００６０６６号公報

松井壮介，島野美保子，岡部孝弘，佐藤洋一著，"カラー画像と近赤外画像の併用による低照度シーンの画質改善"，第12回画像の認識・理解シンポジウム(MIRU2009)論文集，pp.1089-1096，2009年香山，田中，廣瀬著，"監視カメラ用昼夜兼用イメージセンサ"，PanasonicTechnical Journal Vol.54，No.4，2009年1月 O. Losson, L. Macaire, Y. Yang,"Comparison of Color Demosaicking Methods",Advances in Imaging and Electron Physics, Vol.162, p.p. 173-265, 2010年 R.Ramanath, W. Snyder, G. Bilbro, W. Sander, "Demosaicking methods for Bayer color array", J. Electronic Imaging, Vol.11, No.3, p.p. 306-315, 2002年 S. Ferradans, M. Bertalmio, V. Caselles,"Geometry-Based Demosaicking", IEEE Tras. on Image Processing, Vol.18, No.3,p.p. 665-670, 2009年

　非特許文献１の方法は、２台のカメラを用いることにより、高解像度なRGB画像とNIR画像が生成できるが、画像入力装置としてコンパクト化が難しく、またコストも高くなるという課題がある。なお、同方式を１台の装置内に組み込むことも可能であるが、RGBおよびNIRの2つの光学パスと、２つのイメージセンサが必要となるため、上記課題を解消することは難しい。

　非特許文献２および特許文献１のイメージセンサは、近赤外の画像を生成するための特殊なイメージセンサであると言える。即ち、本イメージセンサは、半導体製造で対応することになる。入手が難しく、現時点では通常のイメージセンサよりも高コストであるという課題がある。

　一般的な撮像装置の構成を利用しつつ、可視光領域および近赤外領域の映像処理が可能な映像撮影技術の開発が期待されている。

　本発明は、課題を解決するものであり、一般的な映像撮像装置の構成を利用しつつ、簡易に、可視光領域および近赤外領域の映像処理が可能な映像撮影技術を提供することを目的とする。

　上記課題を解決する本発明の一態様は、入射された光を複数色に分光するカラーフィルタと、前記カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられ、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタと、画素および隣接画素の前記赤外カット部を透過する光に係る複数の映像信号および前記赤外透過部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する映像処理部と、を備える映像撮影装置である。

　上記課題を解決する本発明の一態様は、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタである。

　上記課題を解決する本発明の一態様は、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有し、複数色の２×２画素配列を最小単位とする配列型のカラーフィルタに対応し、前記最小単位配列が複数Ｎ組隣接する箇所を基本ユニットとし、前記基本ユニットにおいて、前記赤外透過部は、Ｎ以上あり、一の最小単位配列における前記赤外透過部に対応する画素位置と、別の最小単位配列における前記赤外透過部に対応する画素位置と、が互いに、１以上異なる符号型赤外カットフィルタである。

　本発明によれば、一般的な撮像装置の構成を利用しつつ、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となる。

RGB3色光学フィルタの分光透過率を示した例である。人間の色知覚に関するXYZ表色系の等色関数である。参考として示す色光の分光強度分布である。 IRカットフィルタの分光透過率の一例である。カラー画像入力装置の光学系の概略構成である。 4色光学フィルタを利用した撮像デバイスの概略構成である。第1実施形態における映像撮像装置の概略構成図である。ベイヤ配列型カラーフィルタが組み込まれたフォトセンサである。第1実施形態における符号型IRカットフィルタの概略である。第1実施形態におけるフォトセンサが出力するRGB映像データの例である。一般的なデモザイキング処理の例である。特徴的なデモザイキング処理の例である。特徴的なデモザイキング処理の例である。第2実施形態における映像撮像装置の概略構成図である。第2実施形態における符号型IRカットフィルタの概略である。第2実施形態におけるフォトセンサが出力するRGB映像データの例である。第3実施形態における符号型IRカットフィルタの概略である。第3実施形態におけるフォトセンサが出力するRGB映像データの例である。第4実施形態における映像撮像装置の概略構成図である。第4実施形態におけるフォトセンサが出力するRGB映像データの例である。第5実施形態における映像撮像装置の概略構成図である。第6実施形態における符号型特定色カットフィルタの概略である。第6実施形態における符号型特定色カットフィルタの分光透過率の一例である。第6実施形態におけるフォトセンサが出力するRGB映像データの例である。第7実施形態における映像撮像装置の概略構成図である。第7実施形態における符号型IRカットフィルタの概略である。第7実施形態におけるフォトセンサが出力するRGB映像データの例である。第7実施形態におけるNIR映像データ取得の概念図である。第7実施形態におけるNIR映像データの拡大版である。第7実施形態におけるNIR映像データから抽出した基本ユニットである。第7実施形態におけるX（横）方向、Y（縦）方向、斜め方向へ、それぞれ１画素の位置ズレが発生した場合のRGB映像データの例である。位置ズレにかかる課題を説明するRGB映像データの例である。第7実施形態における符号型IRカットフィルタのパターン変形例である。第7実施形態におけるパターン２乃至３に対応する出力映像データである。第８実施形態における映像撮像装置の概略構成図である。上記各実施形態における映像撮像装置を実現するハードウエア構成の一例を示す図である。

　以下、本発明の実施形態（１乃至７）について図面を参照して説明する。
（第１実施形態）
　[構成]
　図７は、本発明の第１実施形態における映像撮像装置１００の概略構成図である。

　本発明の第１実施形態における映像撮像装置１００は、符号型IRカットフィルタ１、光学フィルタ２、フォトセンサ３、映像処理部４を備える。カメラレンズは、通常のカメラレンズで良い。光学フィルタ２およびフォトセンサ３は、現在、カラー画像入力装置（もしくは映像撮像装置）で一般的に使用されている光学フィルタおよびフォトセンサを使用すればよい。すなわち、光学フィルタ２の分光特性は図１と同様である。なお、図７において、符号１００Ｂ、１００Ｃ、１Ｂ、４Ｂ、４Ｃは、以下の第３または第６の実施形態において説明する構成を示す符号であって、本実施形態では使用しない。

　図８は、光学フィルタ２とフォトセンサ３の概略である。図８に示された光学フィルタにおけるR、G、Bからなる3色の配列は、ベイヤ配列型と呼ばれるものである。光学フィルタにおけるR、G、Bに対応するように、フォトセンサの1画素にR、G、Bいずれかの1色が割り当てられている。

　図９は符号型IRカットフィルタ１の概略である。符号型IRカットフィルタ１は、近赤外光（NIR）をカットする部分（赤外カット部１１）と透過させる部分（赤外透過部１２）との２つのパターンが施されたフィルタである。すなわち、符号型とは、透過とカットの２値を意味する。

　符号型IRカットフィルタ１は、光学フィルタ２の光進行方向前側に設けられるのが一般的であるが、光学フィルタ２とフォトセンサ３の間に設けられていても良い。

　符号型IRカットフィルタ１の赤外透過部１２は、光学フィルタ２のＧフィルタに対応して配置されている。

　符号型IRカットフィルタ１および光学フィルタ２を透過した光は、フォトセンサ３にてR、G、Bの３色信号に変換される。

　映像処理部４は、R、G、Bの３色信号からなる映像データに基づいて、R、G、B、NIRの4色信号からなる映像データを生成する。詳細については後述する。

　[動作]
　次に、映像撮像装置１００の動作について説明する。カメラレンズを通じて、映像撮像装置１００に入射する光は、符号型IRカットフィルタ１により、近赤外光がカットされた光と、近赤外光を含む光に分光される。分光された２種類の光は、ベイヤ配列型カラーフィルタ（光学フィルタ）２が組み込まれたフォトセンサ３に入射する。

　図１０は、フォトセンサ３が出力するRGB映像データの各画素における色信号成分を表わしたものである。

　本実施形態においては、光学フィルタ２のベイヤ配列のうちＧフィルタはそれぞれ組となるＧフィルタを含む。また、符号型IRカットフィルタ１の赤外透過部１２は、光学フィルタ２に含まれる組となるＧフィルタの一方に対応して配置されている。

　したがって、赤外カット部１１および光学フィルタ２を透過する光により、R信号、G信号、B信号が生成される。一方、赤外透過部１２および光学フィルタ２を透過する光により、近赤外光の成分が含まれたG信号が生成される。ここで、近赤外光の成分が含まれたG信号を「G+NIR」と表記することにする。

　すなわち、フォトセンサ３はRGBの3チャネルの映像データを出力するが、G信号には、近赤外光がカットされたG信号と、近赤外光を含んだG+NIR信号がある。

　映像処理部４は、フォトセンサ３で出力されるR、G、Bの3チャネルの映像データにもとづいて、デモザイキング処理を適用して、R、G、B、NIRの4チャネルの映像データを生成する。映像処理部４は、デモザイキング処理によって、映像データ中の全ての画素について欠損する色信号を生成し、R、G、BおよびNIRの4チャネルの映像データを生成する。

　まず、図１１を参照して、一般的なデモザイキング処理の一例を説明する。図１１に示すように、画像に含まれる各画素は、X-Y座標における座標値を持つとする。

　まず、映像処理部４は、図１１に示す画像における座標値(1，1)の画素の映像データ（R、G、B色情報）を取得する。座標値(1，1)の画素は、Rに対応するので、映像処理部４は、直接、R値を取得する。

R(1,1)=R(1,1)
　座標値(1，1)の画素に存在しないG値、B値については、映像処理部４は、例えば、以下のように周辺画素の色情報から補間して算出する。

G(1,1)=(G(2,1)+ G(1,2))/2
B(1,1)=B(2,2)
　ついで、映像処理部４は、座標値(1，2)の画素の映像データ（R、G、B色情報）を取得する。座標値(1，2)の画素は、Gに対応するので、映像処理部４は、直接、G値を取得する。

G(1,2)=G(1,2)
　映像処理部４は、座標値(1，2)の画素に存在しないR値、B値についても、同様に周辺画素の色情報から補間して算出する。

R(1,2)=R(1,1)
B(1,2)=B(2,2)
　映像処理部４は、上記処理を繰り返し、全ての画素について映像データ（R、G、B色情報）を取得する。なお、デモザイキング処理については、上記手法に限らず、非特許文献３で示されている様々な手法を用いてもよい。

　次に、映像処理部４は、上述の一般的なデモザイキング処理をR、G、B、G＋NIRの4つの色信号が混在する1枚の映像データ（図１０参照）に適用し、全画素にR、G、B、NIRが割り当てられた4チャネルの色信号から構成される映像データを生成する。R、Bについては、上述のデモザイキング処理を適用すれば良い。

　図１０に示した映像データの一部を切り出した図１２を利用してGおよびNIRに対するデモザイキング処理について説明する。ここで、図中に示されているG+NIRは便宜上、「GNIR」と表記する。

　座標値(1,3)の画素について説明する。映像処理部４は、座標値(1，3)の画素に存在しないG値、NIR値についても、同様に周辺画素の色情報から補間して算出する。

NIR(1,3)=(GNIR(1,2)+GINR(1,4))/2-G(2,3)
G(1,3）=G(2,3)
　参考までに座標値（1,1）、座標値(1,2)におけるG値、NIR値は以下のように計算できる（図１３参照）。

　G(1,1)=G(2,1)
　NIR(1,1)=GNIR(1,2)-G(2,1)
　G(1,2)=(G(2,1)+G(2,3))/2
　NIR(1,2)=GNIR(1,2)-(G(2,1)+G(2,3))/2
　映像処理部４は、上記処理を繰り返し、全ての画素について映像データ（R、G、B、NIR）を取得する。なお、上記手法に限らず、非特許文献2で示されている様々なデモザイキング手法が応用可能である。

　さらに、映像処理部４は、主にR、G、B情報を利用して、可視光領域の映像処理をおこない、主にNIR情報を利用して、近赤外領域の映像処理をおこなう。

　[効果]
　本実施形態の映像撮像装置１００は、一般的な撮像装置（図５参照）の構成である、光学フィルタ２とフォトセンサ３に、符号型IRカットフィルタ１を付加したものである。符号型IRカットフィルタ１は、一般的なカットフィルタに簡単な改良を加えたものであり、簡素な構成である。すなわち、関連技術と同様の構成に、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となる。

　その結果、低コストで、撮像装置１００を大量生産できる。さらに、付加構成が簡素であるため、撮像装置１００は、故障が少ない。
　（第２実施形態）
　図１４は、別の実施形態における映像撮像装置１００Ａの概略構成図である。

　映像撮像装置１００Ａは、符号型IRカットフィルタ１Ａ、光学フィルタ２、フォトセンサ３、映像処理部４Ａ、符号情報メモリ５を備える。光学フィルタ２およびフォトセンサ３は、第１実施形態同様、一般的な撮像装置で使用されている光学フィルタおよびフォトセンサを使用する。

　図１５は符号型IRカットフィルタ１Ａの概略である。第1実施形態において、符号型IRカットフィルタ１の赤外透過部１２は、光学フィルタ２に含まれる組となるGフィルタの一方に対応して配置されている。一方、第２実施形態では、符号型IRカットフィルタ１Ａの赤外透過部１２は、R、G、Bの一つに制約されることなく、一組の複数色配列のうち任意の色フィルタに対応して配置される。色フィルタはランダムに選択される。

　符号情報メモリ５は、符号型IRカットフィルタ１Ａの赤外透過部１２に対応する画素位置情報、または、対応する色フィルタ情報（R、G、B）を記憶する。

　映像撮像装置１００Ａに入射する光は、符号型IRカットフィルタ１Ａにより、近赤外光がカットされた光と、近赤外光を含む光に分光される。分光された２種類の光は、ベイヤ配列型カラーフィルタ２が組み込まれたフォトセンサ３に入射する。

　図１６は、フォトセンサ３が出力するRGB映像データの各画素における色信号成分を表わしたものである。R、G、Bの信号にNIRが加算された画素と、NIRがカットされたR、G、Bの信号とがある。

　映像処理部４Ａは、R、G、Bの３色信号からなる映像データに基づいて、R、G、B、NIRの4色信号からなる映像データを生成する。映像処理部４Ａは、符号情報メモリ５からの情報に基づき、R、G、Bの信号にNIRが加算された画素の位置を判断する。

　まず、映像処理部４Ａは、座標値(1，1)の画素の映像データ（R、G、B、NIR情報）を取得する。座標値(1，1)の画素は、Rに対応するので、映像処理部４Ａは、直接、R値を取得する。

　映像処理部４Ａは、座標値(1,1)の画素に欠損するG、B、NIRを、以下のようにして算出する。なお、以下のNIR値の算出は、周辺にNIRを含む色信号を持つ画素が1画素のみ隣接する場合の例である。

　　G(1,1)=G(1,2)
　　B(1,1)=B(2,2)
　　NIR(1,1)=GNIR(2,1)-G(1,2)
　ついで、映像処理部４Ａは、座標値(1，2)の画素の映像データ（R、G、B、NIR情報）を取得する。座標値(1，2)の画素は、Gに対応するので、映像処理部４Ａは、直接、G値を取得する。

　座標値(1，2)の画素に存在しないR値、B値について、映像処理部４Ａは、周辺画素の色情報から補間して算出する。

　NIRについては、映像処理部４Ａは、以下のように算出する。なお、以下のNIR値の算出は、周辺にNIRを含む色信号を持つ画素が２画素隣接する場合の例である。

　　NIR(1，2)＝RNIR(1，3)-R(1,1)
　あるいは、
　　NIR(1，2)＝GNIR(2，1)-G(1，2)
　あるいは、
　　NIR(1，2)＝(RNIR(1，3)-R(1,1)+GNIR(2，1)-G(1，2))/2
　のいずれかを選択すればよい。

　映像処理部４Ａは、上記処理を繰り返し、全ての画素について映像データ（R、G、B、NIR）を取得する。

　本実施形態の映像撮像装置１００Ａも、関連技術と同様の構成である、光学フィルタ２とフォトセンサ３を利用するものであり、第１実施形態と同様の効果が得られる。
　（第３実施形態）
　映像撮像装置１００Ｂは、符号型IRカットフィルタ１Ｂ、光学フィルタ２、フォトセンサ３、映像処理部４Ｂを備える。すなわち、第1実施形態の概略構成（図７）と同様である。

　図１７は符号型IRカットフィルタ１Ｂの概略である。第２実施形態では、符号型IRカットフィルタ１Ａの赤外透過部１２は、一組の複数色配列（R、G、B）のうち任意の色フィルタに対応して配置される。一方、第３実施形態では、符号型IRカットフィルタ１Ｂの赤外透過部１２は、一組の複数色配列に対応して配置される。赤外透過部１２の周りには、赤外カット部１１が一組の複数色配列に対応して配置される。

　言い換えると、第１および第２実施形態においては、画素単位で符号情報を付すのに対し、第３実施形態では、配列単位（２×２画素）単位で符号情報を付す。

　映像撮像装置１００Ｂに入射する光は、符号型IRカットフィルタ１Ｂにより、近赤外光がカットされた光と、近赤外光を含む光に分光される。分光された２種類の光は、ベイヤ配列型カラーフィルタ２が組み込まれたフォトセンサ３に入射する。

　図１８は、フォトセンサ３が出力するRGB映像データの各画素における色信号成分を表わしたものである。R、G、Bの信号にNIRが加算された画素と、NIRがカットされたR、G、Bの信号とがある。座標値(3,3),(3,4),(4,3),(4,4)の画素には、NIRが加算されている。

　映像処理部４Ｂは、R、G、Bの３色信号からなる映像データに基づいて、R、G、B、NIRの4色信号からなる映像データを生成する。

　まず、映像処理部４Ｂは、座標値(1，1)の画素の映像データ（R、G、B、NIR情報）を取得する。座標値(1，1)の画素は、Rに対応するので、映像処理部４Ｂは、直接、R値を取得する。座標値(1，1)の画素に存在しないG値、B値については、映像処理部４Ｂは、周辺画素の色情報から補間して算出する。

　映像処理部４Ｂは、座標値(1,1)の画素に欠損するNIR値を、以下のようにして算出する。

NIR(1，1)＝RNIR(3，3)-R(1,1)
　ついで、映像処理部４Ｂは、座標値(1，2)の画素の映像データ（R、G、B、NIR情報）を取得する。座標値(1，2)の画素は、Gに対応するので、映像処理部４Ｂは、直接、G値を取得する。座標値(1，2)の画素に存在しないR値、B値について、映像処理部４Ｂは、周辺画素の色情報から補間して算出する。

　映像処理部４Ｂは、座標値(1,2)の画素に欠損するNIR値を、以下のようにして算出する。

NIR(1,2)＝(GNIR(4,3)+GNIR(3,4))/2-G(1,2)
　映像処理部４Ｂは、上記処理を繰り返し、全ての画素について映像データ（R、G、B、NIR）を取得する。

　本実施形態の映像撮像装置１００Ｂも、関連技術と同様の構成である、光学フィルタ２とフォトセンサ３を利用するものであり、第１実施形態と同様の効果が得られる。

　さらに、符号型IRカットフィルタ１Ｂは、より簡素な構成になっている。その結果、上記効果が向上する。

　（第４実施形態）
　第１乃至３実施形態は、本発明を、ベイヤ配列型の光学フィルタにより分光する映像撮像装置に適用したものであるが、本発明はこれに限定されない。例えば、３板式映像撮像装置にも適用できる。

　図１９は、本発明の別の実施の形態における映像撮像装置１０１の概略構成図である。

　本発明の別の実施の形態である映像撮像装置１０１は、符号型IRカットフィルタ１、プリズム（色分解部）２１と、フォトセンサ３１乃至３３と、映像処理部４１とを備える。カメラレンズは通常のカメラレンズで良い。プリズム２１およびフォトセンサ３１乃至３３は、現在、３板式映像撮像装置で一般的に使用されているプリズムおよびフォトセンサを使用すればよい。

　符号型IRカットフィルタ１は、第１乃至第３実施形態で用いたものを適用する。

　符号型IRカットフィルタ１は、フォトセンサ３１乃至３３のうち少なくとも１つに対し、光進行方向前側に設けられる。一例として、Ｒ対応のフォトセンサ３１に対応して設けられるものを図示する。なお、符号型赤外カットフィルタが設置されていない残り２つのフォトセンサに対して、色再現性を考慮しプリズム２１から漏れる可能性のある近赤外光をカットするために、通常の赤外カットフィルタを設置してもよい。ここでは、プリズム２１で分光されるG、Bの光には近赤外光は含まれていないとして説明する。

　カメラレンズを通じて、映像撮像装置１０１に入射する光は、プリズム２１により、波長帯域が異なるR、G、Bの光に分解される。Rに対応する光はフォトセンサ３１に入射し、Gに対応する光はフォトセンサ３２に入射し、Bに対応する光はフォトセンサ３３に入射する。

　このとき、Rに対応する光は、符号型IRカットフィルタ１により、近赤外光がカットされた光と、近赤外光を含む光に分光される。

　図２０は、フォトセンサ３１が出力するR映像データの各画素における色信号成分を表わしたものである。近赤外光がカットされたR信号と、近赤外光を含んだR+NIR信号がある。

　映像処理部４１は、フォトセンサ３１で出力されるRの映像データにもとづいて、全ての画素について映像データ（R、NIR）を取得する。

　また、映像処理部４１は、フォトセンサ３２で出力される映像データにもとづいて、全ての画素について映像データ（G）を取得し、フォトセンサ３３で出力される映像データにもとづいて、全ての画素について映像データ（B）を取得する。

　これにより、映像処理部４１は、全ての画素について映像データ（R、G、B、NIR）を取得する。

　本実施形態の映像撮像装置１０１は、一般的な３板式撮像装置の構成である、プリズム２１およびフォトセンサ３１乃至３３に、符号型IRカットフィルタ１を付加したものである。符号型IRカットフィルタ１は、一般的なカットフィルタに簡単な改良を加えたものであり、簡素な構成である。すなわち、関連技術と同様の構成に、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となり、生産コスト低減や故障軽減が期待できる。

　（第５実施形態）
　第１乃至３実施形態は、本発明を、ベイヤ配列型の光学フィルタにより分光する映像撮像装置に適用したものであるが、本発明はこれに限定されない。例えば、積層型センサを有する映像撮像装置にも適用できる。

　図２１は、本発明の実施の形態における映像撮像装置１０２の概略構成図である。

　本発明の別の実施の形態である映像撮像装置１０２は、符号型IRカットフィルタ１、センサ３４乃至３６が積層された積層型センサと、映像処理部４２とを備える。カメラレンズは通常のカメラレンズで良い。積層型センサ３４乃至３６は、現在、積層型センサ式映像撮像装置で一般的に使用されている積層型センサを使用すればよい。

　積層型センサは、光進行方向に対しセンサ３４，３５，３６の順で積層される。センサ３４はBの波長帯域に感度を有し、センサ３５はGの波長帯域に感度を有し、センサ３６はRの波長帯域に感度を有する。

　符号型IRカットフィルタ１は、積層センサに対し、光進行方向前側に設けられる。

　カメラレンズを通じて、映像撮像装置１０１に入射する光は、波長帯域が異なるR、G、BおよびNIRの光を含む。Bに対応する光はセンサ３４により信号に変換され、Gに対応する光はセンサ３５により信号に変換され、RおよびNIRに対応する光はセンサ３６により信号に変換される。

　すなわち、センサ３６は、近赤外光がカットされたR信号と、近赤外光を含んだR+NIR信号を出力する。出力結果は、図２０と同様になる。

　映像処理部４２は、センサ３６で出力されるRの映像データにもとづいて、全ての画素について映像データ（R、NIR）を取得する。

　また、映像処理部４２は、センサ３５で出力される映像データにもとづいて、全ての画素について映像データ（G）を取得し、センサ３６で出力される映像データにもとづいて、全ての画素について映像データ（B）を取得する。

　これにより、映像処理部４２は、全ての画素について映像データ（R、G、B、NIR）を取得する。

　本実施形態の映像撮像装置１０２は、一般的な積層センサ式映像撮像装置の構成である、積層センサ３４乃至３６に、符号型IRカットフィルタ１を付加したものである。符号型IRカットフィルタ１は、一般的なカットフィルタに簡単な改良を加えたものであり、簡素な構成である。すなわち、関連技術と同様の構成に、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となり、生産コスト低減や故障軽減が期待できる。

　（第６実施形態）
　第１乃至５実施形態では、本発明の符号型IRカットフィルタ１は、赤外カット部１１と赤外透過部１２を有しているが、本発明はこれに限定されない。例えば、符号型特定色カットフィルタ６を用いられてもよい。図２２は、符号型特定色カットフィルタ６の概略を示す図である。図２２に示すように、例えば、符号型特定色カットフィルタ６は、特定の色に係る波長帯域を含む可視光領域をカットし可視光領域よりも長波長側の近赤外光を透過する特定色カット部６１と、該波長帯域の光を透過する特定色透過部６２とを有する。

　映像撮像装置１００Ｃは、符号型特定色カットフィルタ６、光学フィルタ２、フォトセンサ３、映像処理部４Ｃを備える。すなわち、符号型カットフィルタ以外、第1実施形態の概略構成（図７）と同様である。

　符号型特定色カットフィルタ６は、光学フィルタ２の光進行方向前側に設けられるのが一般的であるが、光学フィルタ２とフォトセンサ３の間に設けられていても良い。

　符号型特定色カットフィルタ６の特定色カット部６１は、光学フィルタ２のＧフィルタに対応して配置されている。特定色カット部６１は、近赤外光を透過するとともに、特定色Ｇに係る波長帯域を含む可視光領域をカットする。特定色透過部６２は、近赤外光を透過するとともに、特定色Ｇに係る波長帯域の光を透過する。

　図２３は、特定色カット部６１の分光透過率と、特定色透過部６２の分光透過率を示した例である。特定色カット部６１は、特定色Ｇに係る波長帯域をカットできれば、図示の様に可視光領域を全てカットしても良い。また、特定色透過部６２は、特定色Ｇに係る波長帯域を透過できれば、図示の様に可視光領域を全て透過しても良い。

　映像撮像装置１００Ｃに入射する光は、符号型特定色カットフィルタ６により、特定色Ｇがカットされた光と、特定色Ｇを含む光に分光される。分光された２種類の光は、光学フィルタ２が組み込まれたフォトセンサ３に入射する。

　図２４は、フォトセンサ３が出力するRGB映像データの各画素における色信号成分を表わしたものである。

　本実施形態においては、光学フィルタ２のベイヤ配列のうちＧフィルタはそれぞれ組となるＧフィルタを含む。また、符号型特定色カットフィルタ６の特定色カット部６１は、光学フィルタ２に含まれる組となるＧフィルタの一方に対応して配置されている。

　したがって、符号型特定色カットフィルタ６の特定色カット部６１および光学フィルタ２の一のＧフィルタを透過する光により、G成分がカットされ、NIR信号が生成される。

　一方、光学フィルタ２の分光特性は図１と同様である。すなわち、近赤外光の成分が含まれる。その結果、符号型特定色カットフィルタ６の特定色透過部６２および光学フィルタ２の他のＧフィルタおよびＲフィルタ、Ｂフィルタを透過する光により、R+NIR信号、G+NIR信号、B+NIR信号が生成される。

　フォトセンサ３はRGBの３チャネルの映像データを出力するが、G信号には、近赤外光を含んだG+NIR信号と、近赤外光のみのNIR信号がある。また、R信号は、近赤外光を含んだR+NIR信号であり、B信号は、近赤外光を含んだB+NIR信号である。

　すなわち、第１実施形態では、映像処理部４は、R、G、B、G＋NIRの4つの色信号からなる映像データ（図１０参照）から、全ての画素について映像データ（R、G、B、NIR）を取得するのに対し、第６実施形態では、映像処理部４Ｃは、R＋NIR、G＋NIR、B＋NIR、NIRの4つの色信号からなる映像データ（図２４参照）から、全ての画素について映像データ（R、G、B、NIR）を取得する。

　本実施形態の映像撮像装置１００Ｃも、関連技術と同様の構成である、光学フィルタ２とフォトセンサ３を利用するものであり、第１実施形態と同様の効果が得られる。

　（第７実施形態）
　[構成]
　図２５は、別の実施形態における映像撮像装置１００Ｄの概略構成図である。

　映像撮像装置１００Ｄは、符号型IRカットフィルタ１Ｄ、光学フィルタ２、フォトセンサ３、映像処理部４Ｄ、符号情報メモリ５と、位置ズレ情報取得部７と、符号情報修正部８と、を備える。光学フィルタ２およびフォトセンサ３は、第１実施形態同様、一般的な撮像装置で使用されている光学フィルタおよびフォトセンサを使用する。

　図２６は符号型IRカットフィルタ１Ｄの概略である。第1実施形態において、符号型IRカットフィルタ１の赤外透過部１２は、一組のベイヤ配列毎に、光学フィルタ２に含まれる組となるＧフィルタの一方に対応して配置されている。一方、第７実施形態では、ベイヤ配列の２×２配列（４×４画素）を基本ユニット（後述）とする。符号型IRカットフィルタ１Ｄの赤外透過部１２は、４画素であり、基本ユニットの各行に１つ存在し、基本ユニットの各列に１つ存在し、かつ、重複がないように配置される。また、赤外透過部１２は、光学フィルタ２における１個ずつのRとB、2個のGに対応する。この符号型IRカットフィルタのパターンをパターン１とする。

　符号情報メモリ５は、基本ユニットにおいて、赤外透過部１２に係る情報を記憶する。位置ズレ情報取得部７は、符号型IRカットフィルタ１Ｄと光学フィルタ２との位置ズレ情報を取得する。符号情報修正部８は、位置ズレ情報に基づいて、符号情報メモリ５の赤外透過部１２に係る情報を修正する。詳細については後述する。

　[撮影動作]
　次に、映像撮像装置１００Ｄの撮影動作について説明する。映像撮像装置１００Ｄに入射する光は、符号型IRカットフィルタ１Ｄにより、近赤外光がカットされた光と、近赤外光を含む光に分光される。分光された２種類の光は、光学フィルタ２が組み込まれたフォトセンサ３に入射する。

　図２７は、フォトセンサ３が出力するRGB映像データの各画素における色信号成分を表わしたものである。R、G、Bの信号にNIRが加算された画素と、NIRがカットされたR、G、Bの信号とがある。

　映像処理部４Ｄは、R、G、Bの３色信号からなる映像データに基づいて、R、G、B、NIRの4色信号からなる映像データを生成する。符号情報メモリ５からの情報に基づき、R、G、Bの信号にNIRが加算された画素の位置を判断する。

　例えば、座標値(1,1)、座標値(1,5)、座標値(5,1)、座標値(5,5)の画素値は、R（赤）の波長領域の光に近赤外領域（NIR）の光が加算された出力値となっている。座標値(2,3)、座標値(3,4)、座標値(6,3)、座標値(7,4)、座標値(2,7)、座標値(3,8)、座標値(6,7)、座標値(7,8)の画素値は、G（緑）とNIRの加算値となっている。座標値(4,2)、座標値(4,6)、座標値(8,2)、座標値(8,6)の画素値は、B（青）とNIRの加算値となっている。

　光学フィルタ２の分光透過率は、700nm以上の近赤外領域において、同程度の透過特性を有しているものとし、同一光量の近赤外光が入射するのであれば、R、G、BにおけるNIRの信号量は同一であるとみなす。

　映像処理部４Ｄは、RGB3色の光学フィルタ２が組み込まれたフォトセンサ３で出力されるNIRを含んだRGBの3チャネルの映像データについてデモザイキング処理を適用して、R、G、B、NIRの4チャネルの映像データを生成する。

　4チャネルの映像データの生成方法について説明する。まず、映像処理部４Ｄは、映像データにおいて、NIR成分を含む画素に対して、NIRを含まない純粋な色情報（R、G、B）を計算する。今、４×４画素のパターン（基本ユニット）の繰り返しになっている。

　ここで、座標値（5，5）に着目する。R(5,5)+NIR(5,5)に対する、NIRを含まない純粋なRの情報は、その周辺に存在する純粋なRの情報を有する画素から算出する。非特許文献3に記載のGradient Based Interpolationを用いた手法について説明するが、様々な画素補間法が適用できる。座標値（5,5）のR+NIR(5,5)に対する、NIRを含まない純粋なRの情報は、座標値（5,5）の周辺に存在する純粋なRの情報を有する画素（R(3,3), R(3,5), R(3,7), R(5,3),R(5,7), R(7,3), R(7,5), R(7,7)）から算出される。以下に、その計算手順を示す。

　GD1=(R(5,3)+R(5,7))/2 -(R(5,5)+NIR(5,5))
　GD2=(R(3,3)+R(7,7))/2 -(R(5,5)+NIR(5,5))
　GD3=(R(3,5)+R(7,5))/2 -(R(5,5)+NIR(5,5))
　GD4=(R(7,3)+R(3,7))/2 -(R(5,5)+NIR(5,5))
　GDとは、Gradient（画素値の傾き）を考慮した評価値（絶対値表示）である。縦方向、横方向、右斜め方向、左斜め方向の４方向について画素値の傾斜を評価する。GDが最小値であることは、画素値の連続性があることを示唆する。

　例えば、GD1が最小であった場合、映像処理部４Ｄは、
　R(5,5)=(R(5,3)+R(5,7))/2
　と決定する。最小値がGD2、GD3、GD4の場合もそれぞれ同様である。

　NIRを含むGやBの画素についても、映像処理部４Ｄは、その周辺に存在する純粋なGやBの情報を有する８つの画素から、NIRを含まない純粋なGやBの情報を同様の手法で計算する。

　なお、NIRを含むGの画素については、配列パターンがRおよびBと異なるため、斜め方向の画素値の傾きの評価を示すGD2およびGD4を変則的に計算してもよい。今、座標値（3，4）におけるR(3,4)+NIR(3,4)に対するGD2とGD4の計算方法の一例について説明する。

　GD2=(G(1,2)+G(1,2)+G(4,5)+G(5,6))/4-(G(3,4)+IR(3,4))
　GD4=(G(5,2)+G(4,3)+G(2,5)+G(1,6))/4-(G(3,4)+IR(3,4))
　そして、映像処理部４Ｄは、GD1乃至GD４の大小判定により、最小値を選択する。

　しかし、センサの外側周辺における、例えば、座標値（１，１）、座標値（２，３）、座標値（４，２）などに位置するNIRを含んだ画素については、その画素を中心とする周辺から８個の画素を取得できない。このような場合については、例外処理として、近接するNIRを含まない同色の画素の値から計算すればよい。

　例えば、座標値（１，１）の場合、
　R(1,1)=(R(1,3)+R(3,1)+R(3,3))/3
　あるいは、
　R(1,1)=(R(1,3)+R(3,1))/2
　とする。

　座標値（２，３）の場合、映像処理部４Ｄは、
　G(2,3)=((G(1,2)+G(1,4)＋G(3,2))/3
　のように補間計算によって計算すればよい。

　対角成分については重みづけ係数を導入し、補間計算における寄与を抑えたりしてもよい。

　以上の処理により、NIR情報を含んだRGB映像データ（図２７）から、NIR情報を含まない純粋なRGB映像データが得られる。ここで、NIR情報を含んだRGB映像データを「RGB+NIR映像データ」とよび、NIR情報を含まない純粋なRGB映像データを「RGB映像データ」呼ぶ。

　更に、映像処理部４Ｄは、RGB+NIR映像データとRGB映像データから、NIR情報のみを含むNIR映像データを生成する。具体的には、
　NIR映像データ＝　（RGB＋NIR映像データ）　－　RGB映像データ
　により求める。図２８は、NIR映像データ取得の概念図である。

　次に、映像処理部４Ｄは、RGB映像データおよびNIR映像データに対して、デモザイキング処理を適用して、映像データの全ての画素に対して、欠損している色情報（R、G、B、NIR）を算出する。

　まず、ベイヤ型配列のRGB映像データについては、非特許文献3、非特許文献4、非特許文献5で示されている様々なデモザイキング処理（画素補間法）が適用可能である。以上により、RGB映像データにおける全ての画素についてRGB全ての色情報が決定される。

　一方、NIR映像データに対するデモザイキング処理については、以下の様に行う。

　図２９は、図２８で示したNIR映像データの拡大版である。NIR映像データは、座標値（１，１）から座標値（４，４）までの４画素×４画素のパターンが1ユニットとなり、繰り返されている。今、座標値（５，５）から座標値（８，８）までの1ユニット（太枠で囲まれたユニット）について、NIRが欠損する画素のNIRを算出する方法について説明する。ここで、この太枠で囲まれたユニットを基本ユニットと呼ぶことにする。

　図３０は、NIR映像データから抽出した基本ユニットを示す図である。映像処理部４Ｄは、まず、基本ユニットにおけるNIRが欠損する画素に関して、その画素に隣接する８個の画素にNIR情報を有する画素が3個以上存在する画素を見つける。映像処理部４Ｄは、当該画素におけるNIRを、画素補間を用いて算出する。

　図３０において、基本ユニットにおいて、隣接する８個の画素にNIR情報を有する画素が3個以上存在する画素に、丸印（○印）を付加する。○印で示された座標値（５，６）、（６，８）、（７，７）、（８，５）の4個の画素については、映像処理部４Ｄは、NIR情報を有する隣接する画素から補間法を用いてNIRを算出する。例えば、映像処理部４Ｄは、座標値（７，７）の画素におけるNIRを、座標値(６，７)、（７，８）、（８，６）の３個のNIRから以下のような画素補間法によって計算できる。

NIR(7,7)=(NIR(6,7)+NIR(7,8)+NIR(8,6))/3
　残りの３個の画素（５，６）、（６，８）、（８，５）についても同様である。なお、この画素補間法以外も適用可能である。

　これにより、基本ユニット（４×４）のうち、図２９にて取得した４つの画素および図３０における○印が付された４つの画素にて、NIR情報が得られたことになる。更に、NIR情報が与えられていない残りの８個の画素、すなわち、座標値（５，７）、（５，８）、（６，５）、（６，６）、（７，５）、（７，６）、（８，７）、（８，８）におけるNIR情報を算出する。

　図３０において○印が付されたことにより、残り８画素においても、隣接する８個の画素のうちNIR情報が与えられている画素が３個以上存在する。したがって、NIR情報を有する画素を用いた画素補間法によって、残りの８画素についてもNIR情報を算出することができる。以上により、基本ユニット内のすべての画素についてNIR情報を算出することができる。

　以上、RGBおよびNIRを算出する上記の処理を図２７の映像データに適用することにより、全画素にR、G、B、NIRが与えられた映像データを生成することができる。

　さらに、主にR、G、B情報を利用して、可視光領域の映像処理をおこない、主にNIR情報を利用して、近赤外領域の映像処理をおこなう。

　[位置ズレ修正動作]
　本発明における一実施形態は、一般的な撮像装置に符号型IRカットフィルタ１を配置するものである。しかしながら、配置の際、符号型IRカットフィルタ１と光学フィルタ２との間に、位置ズレが発生するおそれがある。

　図３１は、X（横）方向、Y（縦）方向、斜め方向へ、それぞれ１画素の位置ズレが発生した場合、フォトセンサ３が出力するRGB映像データの色信号成分のパターンを示したものである。なお、２画素の位置ズレはベイヤ配列型の性質から結果的に一致するため考慮する必要がない。

　以下、製作した映像撮像装置１００Ｄの位置ズレ情報を検出し、位置ズレ情報に基づいて修正する方法について説明する。

　試験照射により、実際に映像撮像装置１００Ｄによる撮影を行う。撮影シーンは特に規定しないが、近赤外光がすべての画素に照射するシーンを選択すればよい。

　まず、映像撮像装置１００Ｄによる撮影を行う（後述のIRカットフィルタOFF）と、図３１に示すNIR情報を含んだRGB映像データが得られる。

　同じシーンを図４に示す近赤外光領域の光のみを遮断するIRカットフィルタをレンズに被せるように設置し、撮影を行う（IRカットフィルタON）と、NIR情報を含まない純粋なRGB映像データが得られる。

　つまり、試験照射において、IRカットフィルタ「あり」と「なし」の２つの状態を撮影する。

　RGB+NIR映像データからRGB映像データを引いた際に、ある閾値を超える差分値を有する画素は、NIRを含んでいることを意味する。これにより、NIR映像データを取得できる（概略は図２８とほぼ同じ）。

　ところで、符号情報メモリ５には、基本ユニットにおける、赤外透過部１２に係るパターン情報が記憶されている。試験照射により得られた近赤外線画素パターンと符号型ＩＲカットフィルタ１Ｄのパターンを比較すると、両者が一致するか、または、横方向、縦方向、斜め方向のいずれかの位置ズレが発生しているかを検出できる。

　位置ズレ情報取得部７は、横方向、縦方向、斜め方向いずれかの位置ズレパターンを取得し、符号情報修正部８は、位置ズレパターン（縦、横、斜）に基づいて、符号情報メモリ５の赤外透過部１２に係る情報を修正する。

　映像処理部４Ｄは、修正済みの符号型赤外カットフィルタのパターン情報に基づいて、映像撮影を行う。

　[効果]
　本発明の第１ないし第６実施形態にかかる映像撮像装置は、一般的な撮像装置に符号型IRカットフィルタ１を配置するだけの簡素な構成であることを特徴とするが、配置の際、符号型IRカットフィルタ１と光学フィルタ２との間に、位置ズレが発生するおそれがある。

　位置ズレを修正するため、例えば、符号型IRカットフィルタ１を再配置する場合、作業手間となる。

　これに対し、本実施形態においては、符号型IRカットフィルタ１Ｄを再配置するのではなく、符号情報メモリ５の情報を修正することで、位置ズレを修正する。その結果、本発明の簡便性に係る効果が増強され、製作コストをさらに抑えることができる。
　[第７実施形態に特有の解決課題]
　たとえば、本発明の基本的な実施形態である第１実施形態において、位置ズレに係る課題が発生することがある。すなわち、符号型IRカットフィルタ１と光学フィルタ２との関係が１画素ズレると、機能しなくなることがある。

　図３２は、位置ズレにかかる課題を説明するRGB映像データの例である。たとえば、符号型IRカットフィルタ１と光学フィルタ２との関係が横方向に１画素ズレた場合、出力データは、図１０（第１実施形態）から図３２の様になる。すなわち、フォトセンサ３は、R+NIR、G、Bの信号を出力する。言い換えると、NIRがカットされたR信号を出力しない。その結果、NIR値の算出ができない。

　同様に、縦方向に１画素ズレた場合、フォトセンサ３は、R、G、B+NIRの信号を出力する。言い換えると、NIRがカットされたB信号を出力しない。その結果、NIR値の算出ができない。

　第７実施形態にかかる符号型IRカットフィルタおよび映像撮像装置は、上記のような位置ズレにかかる課題をも解決することができる。

　[符号型IRカットフィルタ　パターン変形例]
　上記符号型IRカットフィルタ１Ｄのパターンをパターン１（図２６）とした。パターン１の特徴として、４×４画素の基本ユニットにおいて、
（１）赤外透過部１２に係る画素は4個あり、それらは各行、各列において、重複することなく1個ずつ存在する。

（２）赤外透過部１２に係る画素は、RとBそれぞれ1個、G2個に対応する。

ことが挙げられる。

　図３３は、符号型IRカットフィルタ１Ｄのパターン変形例（パターン２およびパターン３）である。図３４は、パターン２およびパターン３に対応する出力映像データである。

　パターン２およびパターン３は、上記２つの特徴を満たす。これにより、パターン１と同様に、容易に位置ズレを修正できる。また、撮影に係るデータ処理も、パターン１と同様である。

　さらに、符号型IRカットフィルタ１Ｄのパターン１乃至３以外を用いても、位置ズレを修正できる。たとえば、符号型IRカットフィルタ１Ｂ（図１７）において、４×４画素（２配列×２配列）を基本ユニットとしてもよい。また、基本ユニットは、４×４画素（２配列×２配列）に限定されるものではない。例えば、４×２画素（２配列×１配列）でもよい。

　基本ユニットが隣接するＮ（Ｎは整数）組のベイヤ配列に対応する箇所から構成される場合、基本ユニットにおいて赤外透過部１２がＮ個以上あることが好ましい。

　このとき、一のベイヤ配列対応箇所における赤外透過部位置と、別のベイヤ配列対応箇所における赤外透過部位置と、が１以上異なる。言い換えると、Ｎ組のベイヤ配列対応箇所において、赤外透過部位置が全て同じである場合は、除外される。

　図９を例に説明すると、基本ユニットが４組（２×２）のベイヤ配列に対応する箇所から構成される場合、赤外透過部１２は４つある。しかし、各ベイヤ配列対応箇所の同じ位置Ｇに赤外透過部１２があり、上記条件を満たさない。
　（第８の実施形態）
　上記実施形態を包含する第８の実施形態について、図３５を参照して説明する。第８の実施形態に係る映像撮影装置２００は、符号型赤外カットフィルタ２０１、カラーフィルタ２０２、フォトセンサ２０３、映像処理部２０４を備える。

　カラーフィルタ２０２は、入射された光を複数色に分光する。フォトセンサ２０３は、カラーフィルタが分光した複数色の光を映像信号としてデータに変換する。符号型赤外カットフィルタ２０１は、カラーフィルタの光進行方向前側またはカラーフィルタとフォトセンサとの間に設けられ、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する。映像処理部２０４は、画素および隣接画素の赤外カット部を透過する光に係る複数の映像信号および赤外透過部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する。

　上記構成を採用することにより、本第８の実施形態によれば、一般的な撮像装置の構成を利用しつつ、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となるという効果が得られる。

　なお、各図に示した映像撮像装置の映像処理部、符号情報メモリ、位置ズレ情報取得部、符号情報修正部は、図３６に例示するハードウエア資源において実現される。すなわち、図３６に示す構成は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２を備える。ＣＰＵ２０は、ＲＯＭ２２に記憶された各種ソフトウエア・プログラム（コンピュータ・プログラム）を、ＲＡＭ２１に読み出して実行することにより、映像撮像装置の全体的な動作を司る。すなわち、上記各実施形態において、ＣＰＵ２０は、ＲＯＭ２２を適宜参照しながら、映像撮像装置が備える各機能（各部）を実行するソフトウエア・プログラムを実行する。

　（その他）
　以上、好ましい実施形態をあげて本発明を説明したが、本発明は必ずしも上記実施形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

　例えば、上記実施形態では、映像データの表色系としてRGBの例について説明したが、補色系のCMYを用いた場合にも、同様の計算手法で応用可能である。

　また一般に、ベイヤ配列とは、RGB3色からなる２×２画素配列を最小単位とし、最小単位配列が規則正しく並んだ配列を指すが、補色系のCMYを用いても良い。更に、他の複数色の配列として、広義に解釈しても良い。

　（補足）
　一般的な映像撮影装置は、近赤外カットフィルタと光学フィルタとフォトセンサとを基本構成とする（図５参照）。近赤外カットフィルタにより、近赤外光は除去される。一方、フォトセンサは、本来、近赤外領域にまで感度があるのに対し、その能力を生かし切れていなかった。

　本発明者は、今まで有効に活用されていなかったフォトセンサの近赤外領域の感度に着目した。さらに、一般的な映像撮影装置の構成を利用しつつ、可視光領域および近赤外領域の映像処理をおこなうことを考えた。

　本発明者は、上記に付いて検討し、本発明を完成するに至った。

　この出願は、２０１３年１０月２３日に出願された日本出願特願２０１３－２２０５０７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本発明は、例えば、デジタルカメラやビデオカメラなどの映像撮影装置に適用できる。

　１，１Ａ乃至Ｄ　符号型IRカットフィルタ
　２　光学フィルタ
　３　フォトセンサ
　４　映像処理部
　５　符号情報メモリ
　６　符号型特定色カットフィルタ
　７　位置ズレ情報取得部
　８　符号情報修正部
　１１　赤外カット部
　１２　赤外透過部
　２１　プリズム
　３１乃至３６　センサ
　４１，４２　映像処理部
　６１　特定色カット部
　６２　特定色透過部
　１００，１００Ａ～Ｄ　映像撮影装置
　１０１　映像撮影装置（３板式）
　１０２　映像撮影装置（積層センサ式）

Claims

　入射された光を複数色に分光するカラーフィルタと、
　前記カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、
　前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられ、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタと、
　画素および隣接画素の前記赤外カット部を透過する光に係る複数の映像信号および前記赤外透過部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する映像処理手段と、
　を備えた映像撮影装置。
　前記符号型赤外カットフィルタは、前記カラーフィルタの光進行方向前側に設けられる
　請求項１記載の映像撮影装置。
　前記映像処理手段は、
　　前記赤外透過部を透過する光に係る映像信号と、
　　前記赤外カット部を透過し、前記赤外透過部を透過する光の色に対応する光に係る映像信号と、
　に基づいて画素の近赤外情報を取得する
　請求項１または２記載の映像撮影装置。
　前記カラーフィルタは、複数色の２×２画素配列を最小単位とする配列型であり、
　前記符号型赤外カットフィルタの赤外透過部は、前記カラーフィルタの特定色フィルタに対応して配置され、
　前記映像処理手段は、
　　前記赤外透過部を透過する光に係る特定色信号と、
　　前記赤外カット部を透過する光に係る特定色信号と、
　に基づいて画素の近赤外情報を取得する
　請求項１ないし３のいずれか１項記載の映像撮影装置。
　前記カラーフィルタは、複数色の２×２画素配列を最小単位とする配列型であり、
　前記符号型赤外カットフィルタの赤外透過部は、一組の最小単位配列のうち任意の色フィルタに対応して配置され、
　一組の最小単位配列毎に、前記赤外透過部に係る情報を記憶する符号情報記憶手段をさらに備え、
　前記映像処理手段は、
　　前記赤外透過部に対応する色フィルタの情報と、
　　前記赤外透過部を透過する光に係る映像信号と、
　　前記赤外カット部を透過し、前記赤外透過部を透過する光の色に対応する光に係る映像信号と
　に基づいて画素の近赤外情報を取得する
　請求項１ないし３のいずれか１項記載の映像撮影装置。
　前記カラーフィルタは、複数色の２×２画素配列を最小単位とする配列型であり、
　前記符号型赤外カットフィルタの赤外透過部は、一組の最小単位配列に対応して配置され、
　前記映像処理手段は、
　　前記赤外透過部を透過する光に係る各色信号と、
　　前記赤外カット部を透過する光に係る各色信号と、
　に基づいて画素の近赤外情報を取得する
　請求項１乃至３のいずれか１項記載の映像撮影装置。
　波長帯域が異なる複数の光に分解する色分解手段と、
　前記分解された複数の光に対応してそれぞれ設けられ、前記複数色を映像信号としてデータに変換するフォトセンサと、
　近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタと、
　映像処理手段と、
　を備え、
　前記符号型赤外カットフィルタは、前記分解された複数の光のうち少なくとも１つに対応して設けられ、
　前記映像処理手段は、前記赤外カット部を透過する光に係る映像信号および前記赤外透過部を透過する光に係る映像信号に基づいて、画素の色情報および近赤外情報を取得する
　映像撮影装置。
　複数のセンサが積層され、波長帯域が異なる複数の光を各センサにより映像信号としてデータに変換する積層型センサと、
　前記積層型センサの光進行方向前側に設けられ、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタと、
　前記赤外カット部を透過する光に係る映像信号および前記赤外透過部を透過する光に係る映像信号に基づいて、画素の色情報および近赤外情報を取得する映像処理手段と、
　を備えた映像撮影装置。
　入射された光を複数色に分光するカラーフィルタと、
　前記カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、
　前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられ、近赤外光をカットする赤外カット部と該近赤外光を透過する赤外透過部とを有する符号型赤外カットフィルタと、
　を備えた映像撮影装置は、
　　前記赤外透過部を透過する光に係る映像信号と、
　　前記赤外カット部を透過し、前記赤外透過部を透過する光の色に対応する光に係る映像信号と、
　　に基づいて画素の近赤外情報を取得する
　映像撮影方法。
　近赤外光をカットする赤外カット部と、
　該近赤外光を透過する赤外透過部と、
　を有する符号型赤外カットフィルタ。
　特定の色に係る波長帯域を含む可視光領域をカットし、近赤外光を透過する特定色カット部と、
　該波長帯域の光を透過する特定色透過部と、
　を有する符号型特定色カットフィルタ。
　入射された光を複数色に分光するカラーフィルタと、
　前記カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、
　前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられ、特定の色に係る波長帯域を含む可視光領域をカットし近赤外光を透過する特定色カット部と、該波長帯域の光を透過する特定色透過部と、を有する符号型特定色カットフィルタと、
　画素および隣接画素の前記特定色透過部を透過する光に係る複数の映像信号および前記特定色カット部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する映像処理手段と、
　を備えた映像撮影装置。
　近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有し、
　複数色の２×２画素配列を最小単位とする配列型のカラーフィルタに対応し、
　前記最小単位配列が複数Ｎ組隣接する箇所を基本ユニットとし、
　前記基本ユニットにおいて、
　　前記赤外透過部は、Ｎ以上あり、
　　一の最小単位配列における前記赤外透過部に対応する画素位置と、別の最小単位配列における前記赤外透過部に対応する画素位置と、が互いに、１以上異なる
　符号型赤外カットフィルタ。
　前記基本ユニットは、４行４列から構成され、
　前記赤外透過部は、
　　前記基本ユニットの各行に１つ存在し、かつ、
　　前記基本ユニットの各列に１つ存在する
　る請求項１３記載の符号型赤外カットフィルタ。
　前記赤外透過部は、前記基本ユニットにおいて、
　　各行各列において、重複することなく、
　　１つのＲと、１つのＢと、２つのＧに対応している
　請求項１３記載の符号型赤外カットフィルタ。
　請求項１３乃至１５のいずれか１項記載の符号型赤外カットフィルタと、
　入射された光を複数色に分光するカラーフィルタと、
　前記カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、
前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられた請求項１３乃至１５のいずれか１項記載の符号型赤外カットフィルタと、
　画素および隣接画素の前記赤外カット部を透過する光に係る複数の映像信号および前記赤外透過部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する映像処理手段と、
　を備えた映像撮影装置。
　前記基本ユニット毎に、前記赤外透過部に係る情報を記憶する符号情報記憶手段と、
　前記符号型赤外カットフィルタと前記カラーフィルタとの位置ズレ情報を取得する位置ズレ情報取得手段と、
　前記位置ズレ情報に基づいて、前記符号情報記憶手段の前記赤外透過部に係る情報を修正する符号情報修正手段
　を更に備えた請求項１６記載の映像撮影装置。
　請求項１７記載の映像撮影装置は、
　試験照射により、近赤外情報の画素パターンを取得し、
　前記近赤外画素パターンと前記符号型赤外カットフィルタのパターンとを比較して、位置ズレを検出し、
　前記位置ズレ情報に基づいて、前記符号情報記憶手段の前記赤外透過部に係る情報を修正し、
　情報修正後、映像撮影を行う
　映像撮影方法。
　前記試験照射により、近赤外情報の画素パターンを取得する際に、
　赤外カットフィルタを配置しない試験照射パターンと、赤外カットフィルタを配置する試験照射パターンとを比較して、近赤外情報の画素パターンを取得する
　請求項１８記載の映像撮影方法。