JPWO2015133130A1 - 映像撮影装置、信号分離装置および映像撮影方法 - Google Patents

映像撮影装置、信号分離装置および映像撮影方法 Download PDF

Info

Publication number
JPWO2015133130A1
JPWO2015133130A1 JP2016506139A JP2016506139A JPWO2015133130A1 JP WO2015133130 A1 JPWO2015133130 A1 JP WO2015133130A1 JP 2016506139 A JP2016506139 A JP 2016506139A JP 2016506139 A JP2016506139 A JP 2016506139A JP WO2015133130 A1 JPWO2015133130 A1 JP WO2015133130A1
Authority
JP
Japan
Prior art keywords
video data
video
infrared
signal
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016506139A
Other languages
English (en)
Inventor
塚田　正人
正人 塚田
キンバリー ナンシー マクガイア
キンバリー ナンシー マクガイア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015133130A1 publication Critical patent/JPWO2015133130A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

一般的な映像撮影装置の構成を利用しつつ、簡易に、可視光領域および近赤外領域の映像処理が可能な映像撮影装置が開示される。係る映像撮影装置は、近赤外光による周期的なパターンを含む映像データを取得する映像データ取得手段と、周期的なパターンに基づいて、映像データから可視光成分の色信号と近赤外信号とを取得する映像処理手段とを備える。

Description

本発明は、映像撮影技術に関し、特に可視光領域および近赤外領域の映像処理に係る映像撮影技術に関する。
デジタルカメラやビデオカメラなどの撮影装置において、通常、そのイメージセンサには赤（R）、緑（G）、青（B）の3色光学フィルタが組み込まれている。カメラに入射した光は、この3色光学フィルタにより分解され、イメージセンサによって映像信号に変換されてRGBの映像データが生成される。
撮影装置に使用されているイメージセンサが、シリコン系センサの場合、イメージセンサは、可視光領域から近赤外領域の光に対するセンサ感度を有している。一方、デジタルカメラやビデオカメラでは高精度な色再現性が求められるため、色再現に悪影響を及ぼす近赤外光は、近赤外カットフィルタにより除去される。これは、R、G、Bの3色光学フィルタは、それぞれのフィルタが担当する可視光領域における波長帯で透過率を担保するが、可視光領域外である近赤外領域の光の透過特性については考慮されていない場合があるためである。
図１は、RGB3色光学フィルタの分光透過率を示した例である。可視光領域を波長400nmから700nmとした場合、各色フィルタについて、Bフィルタは約400nm〜500nm、Gフィルタは約500nm〜600nm、Rフィルタは約600nm〜700nmの波長の光をそれぞれ透過する特性が期待される。しかし、図１に示されるように、各フィルタは可視光領域外である700nm以上の光、すなわち、近赤外光を透過させる特性を有していることが確認できる。
ところで、デジタルカメラやビデオカメラなどのカラー画像入力装置で一般に採用されているフォトダイオードによるイメージセンサの分光感度特性は、700nm以上の波長領域においても感度を有している。図１の分光特性を有する3色光学フィルタを、イメージセンサにそのまま適用するだけでは、色再現性の観点から問題が生じる。
人間の色知覚に関するXYZ表色系の等色関数は、図２のように表わされる。人間の色知覚において、700nm以上の光については感度がゼロであるため、700nm以上の波長領域にパワーを有する光は、心理物理量である知覚色に影響を与えない。
今、図３に示すように600nm以上の波長領域にパワーを有する光を観測する場合を考える。人間の場合、この光は赤として知覚される。一方、図１に示す特性を有する3色光学フィルタを用いてイメージセンサで観測すると、センサの出力信号は、Rだけでなく、GおよびBにも値を持つ。この結果、人間が知覚する赤と異なる色が観測されてしまう。このように、色再現に問題が生じる原因は、GおよびBの光学フィルタの700nm以上の波長領域において、分光透過率がゼロでないためである。
カラー画像入力装置において、人間の色知覚向けに高精度な色再現性を実現するためには、図４に示すような700nm以上の近赤外光の影響を除去する分光透過率を有する赤外光（IR：Infra-Red）カットフィルタを使用する。具体的には、図５に示したように、カラー画像入力装置の光学系に、IRカットフィルタを組み込み、3色光学フィルタおよびイメージセンサへの近赤外光の侵入を遮断する。このようにすることにより、可視光の波長領域のみにパワーを持つ光が3色光学フィルタに入力し、3色光学フィルタによって分光された光がイメージセンサに入力し、RGBの信号が生成される。
一方、夜間屋外や暗所で映像を撮影する場合には、ノイズが抑えられた高感度撮影が求められる。この場合、光量不足に起因するセンサノイズを抑制するために、より多くの光をイメージセンサに受光させることが望ましい。暗所での高感度撮影を実現するために、近赤外領域の光を利用した撮影方法が提案されている。もっとも簡易な手法としては、高感度撮影時において、光学系にセットされたIRカットフィルタを機械的に除去する方式である。しかし、この方式は、部品点数の増加し製品コストアップとなるだけでなく、IRカットフィルタを除去する機械的動作を要するため、長期利用において故障の危険性が高いという大きなリスクがある。
機械的動作を必要とせずに、RGB画像とIR（NIR：Near Infra-Red）画像を撮像する方法として、非特許文献１では、RGB画像とIR画像のそれぞれを撮影する2台のカメラを用いる方法が提案されている。
非特許文献２では、図６に示したように、RGBの3色光学フィルタに加え、近赤外（NIR）光を透過するIRフィルタを加えた４色の光学フィルタが組み込まれたイメージセンサが提案されている。非特許文献２の第２図には、R、G、B、IRの各光学フィルタの分光感度特性が示されている。R、G、Bの各色フィルタの分光感度特性は、近赤外光において、IRフィルタと同等の形状の分光感度を有している。昼間撮影において、高い色再現性を実現するためには、R、G、Bに含まれる近赤外光の影響を除去する必要がある。非特許文献２のイメージセンサでは、IRフィルタを透過して得られたIR信号を利用することで、R、G、Bに含まれる近赤外光の影響を除去し、R、G、B信号を生成する。夜間撮影の場合には、R、G、B、IRすべての信号を利用する。
特許文献１は、近赤外光を透過するR、G、Bの3色光学フィルタを用いるとともに、近赤外光（NIR）を感知する特殊なフォトセンサを用いることで、R、G、B、NIRの信号を生成する撮像デバイスを提案している。例えば、Rフィルタを透過した光は、R+NIRとなっており、フォトセンサに入射する。このフォトセンサは、光の入射方向において、浅い位置にRを検出する可視光センサ部と、深い位置にNIRを検出する非可視光センサ部から構成される。GおよびBも同様である。
なお、非特許文献３は、本実施形態の説明の為に後述する、デモザイキング処理の手法の一例を示すものである。非特許文献４は、後述する、Gradient Based Interpolationを用いた手法を示すものである。非特許文献５は、デモザイキング処理の手法の一例を示すものである。特許文献２は、赤外光フィルタを用いなくても、赤外光などの不要波長領域成分の影響を排除できる撮像装置を開示する。
特開２０１１−２４３８６２号公報 特開２０１２−０７５１７９号公報
松井壮介，島野美保子，岡部孝弘，佐藤洋一，"カラー画像と近赤外画像の併用による低照度シーンの画質改善"，第12回画像の認識・理解シンポジウム(MIRU2009)論文集，pp.1089-1096，2009年 香山，田中，廣瀬，"監視カメラ用昼夜兼用イメージセンサ"，Panasonic Technical Journal Vol.54，No.4， 2009年1月 O. Losson, L. Macaire, Y. Yang,"Comparison of Color Demosaicking Methods",Advances in Imaging and Electron Physics, Vol.162, p.p. 173-265, 2010年. R.Ramanath, W. Snyder, G. Bilbro, W. Sander, "Demosaicking methods for Bayer color array", J. Electronic Imaging, Vol.11, No.3, p.p. 306-315, 2002年. S. Ferradans, M. Bertalmio, V. Caselles,"Geometry-Based Demosaicking", IEEE Trans. on Image Processing, Vol.18, No.3,p.p. 665-670, 2009年.
非特許文献１の方法は、２台のカメラを用いることにより、高解像度なRGB画像とNIR画像が生成できるが、画像入力装置としてコンパクト化が難しく、またコストも高くなるという課題がある。なお、同方式を１台の装置内に組み込むことも可能であるが、RGBおよびNIRの2つの光学パスと、２つのイメージセンサが必要となるため、上記課題を解消することは難しい。
非特許文献２および特許文献１のイメージセンサは、近赤外の画像を生成するための特殊なイメージセンサであると言える。即ち、本イメージセンサは、半導体製造で対応することになる。入手が難しく、現時点では通常のイメージセンサよりも高コストであるという課題がある。
一般的な撮影装置の構成を利用しつつ、可視光領域および近赤外領域の映像処理が可能な映像撮影技術の開発が期待されている。
本発明は、課題を解決するものであり、一般的な映像撮影装置の構成を利用しつつ、簡易に、可視光領域および近赤外領域の映像処理が可能な映像撮影技術を提供することを主な目的とする。
上記課題を解決する本発明の一態様は、近赤外光による周期的なパターンを含む映像データを取得する映像データ取得手段と、前記周期的なパターンに基づいて、前記映像データから可視光成分の色信号と近赤外信号とを取得する映像処理手段と、を備える映像撮影装置である。
上記課題を解決する本発明の一態様は、近赤外光による周期的なパターンを含む映像データを取得する映像データ取得手段と、前記周期的なパターンに基づいて、前記映像データから近赤外信号を取得する映像処理手段と、を備える信号分離装置である。
上記課題を解決する本発明の一態様は、近赤外光による周期的なパターンを含む映像データを取得し、前記周期的なパターンに基づいて、前記映像データから可視光成分の色信号と近赤外信号とを取得する、映像撮影方法である。
本発明によれば、一般的な撮影装置の構成を利用しつつ、簡易に、可視光領域および近赤外領域の映像処理が可能となる。
RGB3色光学フィルタの分光透過率を示した例である。 人間の色知覚に関するXYZ表色系の等色関数である。 参考として示す色光の分光強度分布である。 IRカットフィルタの分光透過率の一例である。 カラー画像入力装置の光学系の概略構成である。 4色光学フィルタを利用した撮像デバイスの概略構成である。 第１実施形態における映像処理装置の機能ブロック図である。 自然シーンの映像データの2次元フーリエ空間における信号の強度を表す比較例である。 同じシーンに近赤外光による周期的なパターンを付加した映像データの2次元フーリエ空間における信号の強度を表す実施例である。 第２実施形態における映像撮影装置の概略構成図である。 ベイヤ配列型光学フィルタが組み込まれたフォトセンサである。 第２実施形態における符号型IRカットフィルタの概略である。 符号型IRカットフィルタにおける近赤外光の振る舞いを表した図である。 特徴的なデモザイキング処理の例である。 第３実施形態における映像撮影装置の概略構成図である。 第４実施形態における映像撮影装置の概略構成図である。 第５実施形態における映像撮影装置の概略構成図である。 第６実施形態における信号分離装置の機能ブロック図である。 第７実施形態における映像撮像装置の概略構成図である。 各実施形態における映像撮像装置を実現するハードウエア構成を例示する図である。
以下、本発明の実施形態（１〜７）について図面を参照して説明する。
（第１実施形態）
[構成]
図７は、本発明の第１実施形態における映像処理装置４の機能ブロック図である。
映像処理装置４は、映像データ取得部１４１と、第１色信号取得部１４２と、フーリエ変換部１４３と、周期的パターン検出部１４４と、ピーク除去部１４５と、第２色信号取得部１４６と、近赤外信号取得部１４７とを有する。
映像データ取得部１４１は、外部手段１４０より映像データを取得する。映像データには、複数の色信号が含まれている。さらに、映像データには、近赤外光による周期的なパターンが含まれている。
第１色信号取得部１４２は、映像データから一の色信号（第１色信号）を取得する。
第１色信号は、本来の色信号（第２色信号）に近赤外線信号が付加された信号である。
フーリエ変換部１４３は、第１色信号を２次元フーリエ変換によって周波数軸の空間の信号に変換する。以降、２次元フーリエ変換によって変換された周波数軸の空間を、２次元フーリエ空間と称する場合がある。ところで、第１色信号には、近赤外光による周期的なパターンが含まれている。その結果、２次元フーリエ空間において、特定の周波数に近赤外光によるピークが発生する。
周期的パターン検出部１４４は、近赤外光成分によって形成される特定の周波数におけるピークを検出する。
ピーク除去部１４５は、２次元フーリエ空間において、第１色信号から特定の周波数におけるピークを除去する。除去された後の情報は、２次元フーリエ空間における第２色信号である。
第２色信号取得部１４６は、ピークが除去された情報を、逆フーリエ変換することによって、変換後第２色信号を取得する。すなわち、第２色信号は、近赤外光を含まない可視光成分のみによる色信号である。
近赤外信号取得部１４７は、第１色信号から第２色信号を減算することで近赤外信号を取得する。更に、複数の色信号毎に近赤外信号を取得し、NIRの映像データを生成する。
ところで、一般に、フーリエ変換では、時間軸上の信号が周波数軸の空間の信号に変換される。一方、映像空間のフーリエ変換では、空間座標軸上の信号が波数の空間軸の信号に変換される。
一般に、周期とは、繰り返される一定の時間をいう。本実施形態では、繰り返される一定の空間にも周期を適用する。
[動作]
上記構成に係る動作について説明する。
まず、映像データ取得部１４１は、全ての画素について映像データを取得する。映像データには、すべての画素にR、G、B色情報が設定されている。さらに、R、G、B色情報には、近赤外光の成分が特定の周波数パターンで付加されている。
本実施形態では、下記フィルタリング処理によって、すべての画素にR、G、B色情報が設定された映像データから、NIRの映像データを抽出および生成する。以下詳述する。
第１色信号取得部１４２は、複数の色信号（R、G、B）から一の色信号（第１色信号）を選択する。例えば、第１色信号取得部１４２は、G成分に係る第１色信号IG_NIRを選択する。
フーリエ変換部１４３は、第１色信号を２次元フーリエ空間に変換する。
図８は、フーリエ変換の比較例を示す図である。図８は、ある自然なシーンの映像データを取得し、G成分に係る第１色信号に対して2次元離散フーリエ変換を適用し、2次元フーリエ空間における信号の強度を表したものである。ただし、取得した映像データは、通常のIRカットフィルタを用いて撮影した映像データであり、図８で示された各周波数における信号の強度は、可視光成分のみによるもので、近赤外光の成分は含まない。つまり、周期的なパターンは確認できない。
図９は、フーリエ変換の実施例である。図８と同じシーンの映像データを取得し、G成分に係る第１色信号に対して2次元離散フーリエ変換を適用し、2次元フーリエ空間の信号の強度を表したものである。ただし、映像データには、近赤外光による周期的なパターンが含まれている。その結果、図９で示された２次元フーリエ空間において、特定の周波数に近赤外光によるピークが発生する。つまり、各周波数における信号の強度は、可視光成分および近赤外光の成分によるものである。
図８および図９で示されたフーリエ空間における信号の強度は、周期的なパターンに形成された近赤外光を含むか否かが異なる。図９に示されたフーリエ空間における信号の強度において、周期的なパターン（ピーク）が確認される。これは、近赤外光成分によるものであることがわかる。
次いで、ピーク除去部１４５は、フーリエ空間において、近赤外光によるピークが発生する特定の周波数における信号の強度を除去する。ところで、フーリエ空間における特定の周波数の信号の強度を除去することによって、その周辺の周波数における信号の強度との不連続が発生した状態で、逆フーリエ変換し元の映像データに変換すると、リンギングなどの不自然なアーティファクトが発生してしまう。この問題を防ぐために、バターワースフィルタを用いる。
バターワースフィルタの伝達関数H（ｓ）（ラプラス変換形）は、ｓ＝ｊω、フィルタ次数ｎ＝１のとき、以下のようになる。
Figure 2015133130
（１）
ここで、ωは全周波数を、ωcはピークを除去する周波数を、それぞれ表す。この伝達関数は、フーリエ空間においてピークの発生する特定周波数に適用される（その特定周波数についてだけフィルタをかける）ことで、特定周波数とその周辺との信号の強度の不連続性を抑制しつつ、ピークを除去できる。
第２色信号取得部１４６は、バターワースフィルタによって、近赤外光によるピークが発生する特定の周波数における信号の強度が除去された結果を、逆フーリエ変換する。これにより、近赤外光を含まない可視光成分のみによる色信号IGで構成される映像データが得られる。
また、近赤外信号取得部１４７は、NIRのみによる映像データINIR_Gを、式（２）に示すように、NIRを含むG信号の映像データIG_NIRから映像データIGを減算することで、取得する。
INIR_G=IG_NIR-IG （２）
以上、G成分に係る第１色信号を選択する場合について説明した。R成分に係る第１色信号を選択し、上記動作を繰り返すことにより、近赤外光を含まない可視光成分のみによる第２色信号IR、およびNIRのみによる映像データINIR_Rが得られる。同様に、B成分に係る第１色信号を選択し、上記動作を繰り返すことにより、近赤外光を含まない可視光成分のみによる第２色信号IB、およびNIRのみによる映像データINIR_Bが得られる。
つまり、デモザイキング処理によって生成されたすべての画素にR、G、B色情報が設定された映像データの各カラーチャネルごとに、R、G、B色信号のみを含んだ映像データIR、IG、IB、およびNIRのみによる映像データINIR_R、INIR_G、INIR_Bが得られる。
NIRのみによる映像データINIRは、以下の通りとなる。
INIR＝INIR_R＋INIR_G＋INIR_B （３）
以上により、近赤外光による周期的なパターンを含む映像データから、R、G、B、NIRの映像データIR、IG、IB、INIRが生成される。
[効果]
関連技術では、特殊な機械的構成により、可視光領域および近赤外領域の映像処理をおこなっていた。
本実施形態では、近赤外光による周期的なパターンを含む映像データを映像処理することにより、可視光領域および近赤外領域の映像データを取得できる。
すなわち、本実施形態によれば、特殊な機械的構成は不要であり、一般的な撮影装置の構成を利用しつつ、簡易に、可視光領域および近赤外領域の映像処理が可能となるという効果が得られる。
（第２実施形態）
[構成]
図１０は、本発明の第２実施形態における映像撮影装置１００の概略構成図である。
本発明の第２実施形態における映像撮影装置１００は、符号型IRカットフィルタ１、光学フィルタ２、フォトセンサ３および映像処理部４Ａを備える。カメラレンズは、通常のカメラレンズで良い。光学フィルタ２およびフォトセンサ３は、現在、カラー画像入力装置（もしくは映像撮影装置）で一般的に使用されている光学フィルタおよびフォトセンサを使用すればよい。すなわち、光学フィルタ２の分光特性は図１と同様である。
図１１は、光学フィルタ２とフォトセンサ３の概略を示す図である。図１１に示された光学フィルタ２におけるR、G、B3色の配列は、ベイヤ配列型と呼ばれるものである。光学フィルタ２におけるR、G、Bに対応するように、フォトセンサ３の1画素にR、G、Bいずれかの1色が割り当てられている。
図１２は符号型IRカットフィルタ１の概略である。符号型IRカットフィルタ１は、近赤外光（NIR）をカットする部分（赤外カット部１１）と透過させる部分（赤外透過部１２）との２つのパターンが施されたフィルタである。すなわち、符号型とは、透過とカットの２値を意味する。
赤外透過部１２は、符号型IRカットフィルタ１において、例えば、縦方向、横方向、斜め方向、同心円状などのように周期性を保った形で規則正しく配置されている。なお、サイズおよび形状は、必ずしもフォトセンサの1画素のサイズおよび形状に一致しなくてもよい。
符号型IRカットフィルタ１は、光学フィルタ２の光進行方向前側に設けられる。これにより近赤外光の回折が発生する（後述）。
符号型IRカットフィルタ１および光学フィルタ２を透過した光は、フォトセンサ３にてR、G、Bの３色信号に変換され、映像データとして出力される。
これら符号型IRカットフィルタ１、光学フィルタ２およびフォトセンサ３により、近赤外光による周期的なパターンが付加された映像データが形成される。
映像処理部４Ａは、R、G、Bの３色信号で構成される映像データに基づいて、R、G、B、NIRの4色信号からなる映像データを生成する。詳細な処理内容については第１実施形態の映像処理装置４と同等である。
[動作]
次に、映像撮影装置１００の動作について説明する。カメラレンズを通じて、映像撮影装置１００に入射する光は、符号型IRカットフィルタ１により、近赤外光がカットされた光と、近赤外光を含む光に分光される。分光された２種類の光は、R、G、Bベイヤ配列型の光学フィルタ２が組み込まれたフォトセンサ３に入射する。
図１３は、近赤外光が符号型IRカットフィルタ１における赤外透過部１２を透過する際の近赤外光の振る舞いを表す。符号型IRカットフィルタにおける赤外透過部１２を透過した近赤外光は、回折により拡散されて、光学フィルタ２およびフォトセンサ３に入射する。
光学フィルタ２における入射光は、可視光および符号型IRカットフィルタ１における赤外透過部１２によって拡散された近赤外光である。
そして、光学フィルタ２における各フィルタで透過する光（可視光および近赤外光）からフォトセンサ３において、近赤外光の成分が含まれたR、G、B信号が生成される。ここで、近赤外光の成分をNIRと表記する。
映像処理部４Ａは、フォトセンサ３で出力されるNIRを含むR、G、Bの３色信号で構成される映像データIRGB_NIRにもとづいて、デモザイキング処理およびフィルタリング処理を適用して、R、G、B、NIRの4チャネルの映像データを生成する。このとき、取得する映像データIRGB_NIRには近赤外光による周期的なパターンが付加されている。
まず、図１４を参照して、フォトセンサ３が出力するNIRを含むR、G、B色信号で構成される映像データIRGB_NIRに適用するデモザイキング処理の一例を説明する。図１１、図１４に示すように、画像に含まれる各画素は、X-Y座標における座標値を持つとする。
まず、映像処理部４Ａは、座標値(1，1)の画素の映像データ（R、G、B色情報）を取得する。ここで、この時点でのR、G、B色情報にはNIR情報も含まれているが、ここでは、説明の簡略化の為、R、G、B色情報として説明する。
座標値(1，1)の画素は、Rに対応するので、映像処理部４Ａは、直接、R値を取得する。
R(1,1)=R(1,1)
座標値(1，1)の画素に存在しないG値、B値については、映像処理部４Ａは、例えば、以下のように周辺画素の色情報から補間して算出する。
G(1,1)=(G(2,1)+ G(1,2))/2
B(1,1)=B(2,2)
ついで、映像処理部４Ａは、座標値(1，2)の画素の映像データ（R、G、B色情報）を取得する。座標値(1，2)の画素は、Gに対応するので、映像処理部４Ａは、直接、G値を取得する。
G(1,2)=G(1,2)
映像処理部４Ａは、座標値(1，2)の画素に存在しないR値、B値についても、同様に周辺画素の色情報から補間して算出する。
R(1,2)=R(1,1)
B(1,2)=B(2,2)
映像処理部４Ａは、上記処理を繰り返し、全ての画素について映像データ（R、G、B色情報）を取得する。なお、デモザイキング処理については、上記手法に限らず、非特許文献３〜５で示されている様々な手法を用いてもよい。以上により、すべての画素にR、G、B色情報が設定された映像データが得られる。
次に、映像処理部４Ａは、フィルタリング処理によって、すべての画素にR、G、B色情報が設定された映像データから、NIRの映像データを抽出・生成する。詳細な動作は、第１実施形態の動作と同等である。第２実施形態に特有の動作について説明する。
図１３のように、符号型IRカットフィルタ１における赤外透過部１２を透過した近赤外光は、赤外透過部１２を透過する際に発生する回折により拡散されて光学フィルタ２およびフォトセンサ３に照射される。一般に、この回折は複雑なパターンであるので、フォトセンサ３における画素への影響も複雑である。よって、NIR成分が含まれたR、G、B色信号からNIR成分のみを抽出する方法も複雑である。
本実施形態では、符号型IRカットフィルタ１における赤外透過部１２が、規則正しい周期性を保ったパターンで配列されている。これにより、赤外透過部１２を透過した近赤外光は回折するものの、光学フィルタ２およびフォトセンサ３の面上において、ある特定の周波数を有するパターンが形成される。この周期パターンが可視光の成分に付加された形で映像データに反映される。
ここで、可視光成分は、符号型IRカットフィルタ１における赤外透過部１２の影響を受けないため、撮影シーンの情報がそのまま光学フィルタ２およびフォトセンサ３に照射されてR、G、Bの3色信号で構成される映像データとして形成される。つまり、R、G、Bの3色信号で構成される映像データに、特定の周波数パターンで付加されている成分が近赤外光の成分となる。
本実施形態では、近赤外光成分によって形成される特定の周波数にてピークが発生する特性を用いて、フーリエ空間において、近赤外光によるピークを除去する。
本実施形態では、符号型IRカットフィルタ１における赤外透過部１２が、規則正しい周期性を保ったパターンで配列されている。したがって、フーリエ空間においてピークが発生する特定の周波数は、符号型IRカットフィルタ１における赤外透過部１２のサイズ、形状、パターン、および、符号型IRカットフィルタ１とフォトセンサ３の間の距離で決まる。これにより、あらかじめキャリブレーションによってその周波数は容易に決定できる。
また、キャリブレーションを行うことなくフーリエ空間においてピークが発生する特定の周波数を決定することも可能である。つまり、映像処理部４Ａは、光の回折現象のモデル化手法を用いることで、センサ面で形成される近赤外光による画像をあらかじめ推定し、フーリエ変換を適用してフーリエ空間においてピークが発生する特定の周波数を決定する。光の回折現象のモデル化としては、たとえば、以下に示すレイリーゾンマーフェルト（Rayleigh-Sommerfeld）の積分式が利用できる。
Figure 2015133130
ここで、
Figure 2015133130
である。
U2は、符号型IRカットフィルタ１の平面U1からの距離がz1における波形強度分布平面を表しており、これを画像平面上での強度分布とする。λは波長、ｋは波数である。r1は、符号型IRカットフィルタ１における穴の軸からの距離であり、r2は画像平面上での距離となる。つまり、上記式により、光の回折現象のモデル化手法を用いることで、センサ面で形成される近赤外光による画像が得られる。
[効果]
本実施形態の映像撮影装置１００は、一般的な撮影装置（図５参照）の構成である、光学フィルタ２とフォトセンサ３に、符号型IRカットフィルタ１を付加したものである。符号型IRカットフィルタ１は、一般的なIRカットフィルタに簡単な改良を加えたものであり、簡素な構成である。すなわち、関連技術と同様の構成に、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となる。
その結果、本実施形態によれば、低コストで、撮影装置１００を大量生産できるという効果が得られる。さらに、付加構成が簡素であるため、撮影装置１００は、故障が少ないという効果が得られる。
さらに、近赤外光が強く飽和してしまう状況下でも、近赤外光を回折によって分散させることで飽和を抑制し、見かけのダイナミックレンジを広げることが可能となるという効果が得られる。
[変形例]
第２実施形態におけるR、G、B、NIRの映像データIR、IG、IB、INIRを生成する説明では、符号型IRカットフィルタ１を用いて撮影したR、G、B色信号による映像データを使用した。
一方、RGBベイヤ配列型の場合、Gチャネルの情報が他のカラーチャネルより2倍あるため、NIRの映像データの生成において、デモザイキング処理後のGチャネルのみを利用した方法も可能である。
つまり、デモザイキング処理後のR信号の映像データIR_NIR、B信号の映像データIB_NIRには、厳密にはNIR情報が含まれるが、微小情報であるためこれを無視できる。すなわち、IR_NIRをR信号の映像データIR、IB_NIRをB信号の映像データIBと見なせる。
そして、NIRのみによる映像データINIRは、以下の通りとなる。
INIR＝INIR_G （５）
なお、G信号の映像データIGについては、上述の通りである。
特に、符号型IRカットフィルタ１のサイズ、形状、配列によっては、デモザイキング処理後のR信号の映像データINIR_R、B信号の映像データINIR_Bを無視したとしても、その影響は少ない。すなわち、符号型IRカットフィルタ１において、サイズおよび形状が光学フィルタおよびフォトセンサの1画素のサイズおよび形状に対応し、赤外透過部１２がＧ成分に係る画素に対応するように、配列される場合、上記のように無視したとしても影響は少ない。
（第３実施形態）
図１５は、別の実施形態における映像撮影装置１００Ｂの概略構成図である。
映像撮影装置１００Ｂは、図１０に示した映像撮影装置１００に、符号情報メモリ５が追加された構成である。符号情報メモリ５は、映像処理部４Ｂに接続される。なお、符号型IRカットフィルタ１、光学フィルタ２、フォトセンサ３は、映像撮影装置１００と同じものであるため、ここでは、符号情報メモリ５および映像処理部４Ｂについて説明する。
符号情報メモリ５は、近赤外光によって形成される周期性パターンを表現する、フーリエ空間におけるピークでの周波数成分を記録する。
近赤外光が、符号型IRカットフィルタ１において規則正しい周期性を保ったパターンで構成される赤外透過部２を透過する際に生じる回折によって、フォトセンサ３上に周期性を有するパターンが形成される。そのパターンは、色信号として映像データに記録される。この周期性パターンは、符号型IRカットフィルタ１の厚さ、近赤外光の波長、符号型IRカットフィルタ１とフォトセンサ３との間の距離によって決定される。したがって、あらかじめキャリブレーションを行うことによって、符号情報メモリ５に記録する特定の周波数を得ることが可能である。また、光の回折現象のモデル化手法を用いてもよい。
映像処理部４Ｂは、R、G、B色信号で構成される映像データIRGBに対して、映像処理部４Ａと同様にデモザイキング処理を適用して、全ての画素について映像データ（R、G、B色情報）を取得する。
そして、映像処理部４Ｂは、デモザイキング処理によって生成されたR、G、Bの３色信号で構成される映像データにフィルタリング処理を適用して、R、G、B、NIRの4チャネルの映像データを生成する。このとき、映像処理部４Ｂは、符号情報メモリ５に記録されている近赤外光のフーリエ空間におけるピークを有する周波数を用いて、R、G、B色信号で構成される映像データIRGBおよびNIRのみによる映像データINIRを生成する。
本実施形態も第２実施形態と同様の構成を有し、同様の効果が得られる。さらに、本実施形態によれば、フーリエ空間における近赤外光によるピークの除去が容易になる。
（第４実施形態）
第２および３実施形態は、本発明を、ベイヤ配列型の光学フィルタにより分光する映像撮影装置に適用したものであるが、本発明はこれに限定されない。例えば、３板式映像撮影装置にも適用できる。
図１６は、本発明の実施の形態における映像撮影装置１０１の概略構成図である。
本発明の別の実施の形態である映像撮影装置１０１は、符号型IRカットフィルタ１、プリズム（色分解部）２１、センサ３１〜３３および映像処理部４１を備える。カメラレンズは通常のカメラレンズで良い。プリズム２１およびセンサ３１〜３３は、現在、３板式映像撮影装置で一般的に使用されているプリズムおよびフォトセンサを使用すればよい。
符号型IRカットフィルタ１は、第２および第３の実施形態で用いたものを適用する。
符号型赤外カットフィルタ１は、センサ３１〜３３のうち少なくとも１つに対し、光進行方向前側に設けられる。図１６では、一例として、符号型赤外カットフィルタ１がＲ対応のセンサ３１に関連して設けられた構成を示す。これにより近赤外光の回折が発生する。
なお、符号型赤外カットフィルタが設置されていない残り２つのセンサに対して、色再現性を考慮しプリズム２１から漏れる可能性のある近赤外光をカットするために、通常の赤外カットフィルタを設置してもよい。ここでは、プリズム２１で分光されるG、Bの光には近赤外光は含まれていないとして説明する。
カメラレンズを通じて、映像撮影装置１０１に入射する光は、プリズム２１により、波長帯域が異なるR、G、Bの光に分解される。Rに対応する光はセンサ３１に入射し、Gに対応する光はセンサ３２に入射し、Bに対応する光はセンサ３３に入射する。
このとき、Rに対応する光は、符号型IRカットフィルタ１における赤外透過部１２より近赤外光が回折し、センサ３１において、NIRを含んだRの映像データとして生成される。すなわち、符号型IRカットフィルタ１，プリズム２１，センサ３１により、近赤外光による周期的なパターンが付加された映像データが形成される。
映像処理部４１は、センサ３１から出力されるNIRを含んだRの映像データを入力として、式（１）に基づいてRのみによる映像データを生成する。映像処理部４１は、NIRを含んだRの映像データからRのみによる映像データを減算して、NIRのみの映像データを生成する。これによって、映像処理部４１は、全ての画素について映像データ（R、NIR）を取得する。
また、映像処理部４１は、センサ３２から出力される映像データにもとづいて、全ての画素について映像データ（G）を取得する。映像処理部４１は、さらに、センサ３３から出力される映像データにもとづいて、全ての画素について映像データ（B）を取得する。
これにより、映像処理部４１は、全ての画素について映像データ（R、G、B、NIR）を取得する。
本実施形態の映像撮影装置１０１は、一般的な３板式撮影装置の構成である、プリズム２１およびセンサ３１〜３３に、符号型IRカットフィルタ１を付加したものである。符号型IRカットフィルタ１は、一般的なカットフィルタに簡単な改良を加えたものであり、簡素な構成である。すなわち、関連技術と同様の構成に、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となり、生産コスト低減や故障軽減が期待できるという効果が得られる。
さらに、本実施形態によれば、近赤外光が強く飽和してしまう状況下でも、近赤外光を回折によって分散させることで飽和を抑制し見かけのダイナミックレンジを広げることが可能となるという効果が得られる。
（第５実施形態）
第２〜３実施形態は、本発明を、ベイヤ配列型の光学フィルタにより分光する映像撮影装置に適用したものであるが、本発明はこれに限定されない。例えば、積層型センサを有する映像撮影装置にも適用できる。
図１７は、本発明の実施の形態における映像撮影装置１０２の概略構成図である。
本発明の別の実施の形態である映像撮影装置１０２は、符号型IRカットフィルタ１、センサ３４〜３６が積層された積層型センサと、映像処理部４２とから構成される。カメラレンズは通常のカメラレンズで良い。センサ３４〜３６は、現在、センサ式映像撮影装置で一般的に使用されている積層型センサを使用すればよい。
積層型センサは、光進行方向に対しセンサ３４，３５，３６の順で積層される。センサ３４はBの波長帯域に感度を有し、センサ３５はGの波長帯域に感度を有し、センサ３６はRの波長帯域に感度を有する。
符号型IRカットフィルタ１は、第２〜第３実施形態で用いたものを適用する。
符号型赤外カットフィルタ１は、積層センサに対し、光進行方向の前側の位置に設けられる。
カメラレンズを通じて、映像撮影装置１０２に入射する光は、波長帯域が異なるR、G、BおよびNIRの光を含む。Bに対応する光はセンサ３４により信号に変換され、Gに対応する光はセンサ３５により信号に変換され、RおよびNIRに対応する光はセンサ３６により信号に変換される。
このとき、Rに対応する光は、符号型IRカットフィルタ１における赤外透過部１２より近赤外光が回折し、センサ３６において、NIRを含んだRの映像データとして生成される。すなわち、符号型IRカットフィルタ１，センサ３６により、近赤外光による周期的なパターンが付加された映像データが形成される。
映像処理部４２は、センサ３６で出力されるNIRを含んだRの映像データを入力として、式（１）に基づいてRのみによる映像データを生成する。映像処理部４２は、NIRを含んだRの映像データからRのみによる映像データを減算して、NIRのみの映像データを生成する。これによって、映像処理部４２は、全ての画素について映像データ（R、NIR）を取得する。
また、映像処理部４２は、センサ３５で出力される映像データにもとづいて、全ての画素について映像データ（G）を取得する。映像処理部４２は、センサ３６で出力される映像データにもとづいて、全ての画素について映像データ（B）を取得する。
これにより、映像処理部４２は、全ての画素について映像データ（R、G、B、NIR）を取得する。
本実施形態の映像撮影装置１０２は、一般的な積層センサ式映像撮影装置の構成である、センサ３４〜３６に、符号型IRカットフィルタ１を付加したものである。符号型IRカットフィルタ１は、一般的なカットフィルタに簡単な改良を加えたものであり、簡素な構成である。すなわち、関連技術と同様の構成に、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となり、生産コスト低減や故障軽減が期待できるという効果が得られる。
さらに、本実施形態によれば、近赤外光が強く飽和してしまう状況下でも、近赤外光を回折によって分散させることで飽和を抑制し見かけのダイナミックレンジを広げることが可能となるという効果が得られる。
（第６実施形態）
図１８は、本発明の実施形態における信号分離装置４Ｃの機能ブロック図である。信号分離装置４Ｃは、映像データ取得部１４１と、第１色信号取得部１４２と、フーリエ変換部１４３と、周期的パターン検出部１４４と、ピーク除去部１４５と、近赤外信号取得部１４８とを有する。
映像データ取得部１４１は、外部手段１４０より映像データを取得する。映像データには、複数の色信号が含まれている。さらに、映像データには、近赤外光による周期的なパターンが含まれている。
第１色信号取得部１４２は、映像データから一の色信号（第１色信号）を取得する。
第１色信号は、本来の色信号（第２色信号）に近赤外線信号が付加された信号である。
フーリエ変換部１４３は、第１色信号を２次元フーリエ空間に変換する。ところで、第１色信号には、近赤外光による周期的なパターンが含まれている。その結果、２次元フーリエ空間において、特定の周波数に近赤外光によるピークが発生する。
周期的パターン検出部１４４は、近赤外光成分によって形成される特定の周波数におけるピークを検出する。
ピーク除去部１４５は、２次元フーリエ空間において、第１色信号から特定の周波数におけるピークを除去する。除去された後の情報は、２次元フーリエ空間における第２色信号である。
近赤外信号取得部１４８は、ピークが除去された情報を、逆フーリエ変換することによって、第２色信号を取得する。すなわち、第２色信号は、近赤外光を含まない可視光成分のみによる色信号である。ついで、近赤外信号取得部１４８は、第１色信号から第２色信号を減算することで、近赤外信号を取得する。信号分離装置４Ｃは、複数の色信号毎に近赤外信号を取得し、NIRデータを抽出する。

以上のように、第６の実施形態によれば、複数の色信号が含まれた映像データから、近赤外光の信号のみを取得することができるという効果が得られる。

（第７の実施形態）
上記実施形態を包含する第７の実施形態について、図１９を参照して説明する。第７の実施形態に係る映像撮影装置２００は、映像データ取得部２１０、映像処理部２２０を備える。

映像データ取得部２１０は、近赤外光による周期的なパターンを含む映像データを取得する。映像処理部２２０は、周期的なパターンに基づいて、映像データから可視光成分の色信号と近赤外信号とを取得する。

映像データ取得部２１０は、上記第１の実施形態における映像データ取得部１４０に相当する。映像処理部２２０は、同じく映像処理装置４に相当する。

上記構成を採用することにより、本第７の実施形態によれば、一般的な撮影装置の構成を利用しつつ、簡易に、可視光領域および近赤外領域の映像処理が可能となる効果が得られる。
（その他）
以上、好ましい実施形態をあげて本発明を説明したが、本発明は必ずしも上記実施形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
上記実施形態では、カラーチャネルとしてR、G、Bについて説明したが、C（シアン）、M（マジェンタ）、Y（イエロ）などのようにことなるカラーチャネルとしても同様に実現が可能である。
（補足）
一般的な映像撮影装置は、近赤外カットフィルタと光学フィルタとフォトセンサとを基本構成とする（図５参照）。近赤外カットフィルタにより、近赤外光は除去される。一方、フォトセンサは、本来、近赤外領域にまで感度があるのに対し、その能力を生かし切れていなかった。
本発明者は、今まで有効に活用されていなかったフォトセンサの近赤外領域の感度に着目した。さらに、一般的な映像撮影装置の構成を利用しつつ、可視光領域および近赤外領域の映像処理をおこなうことを考えた。
本発明者は、上記に付いて検討し、本発明を完成するに至った。
なお、各図に示した映像撮像装置の映像処理部、符号情報メモリは、図２０に例示するハードウエア資源において実現される。すなわち、図２０に示す構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４を備える。

上記実施形態において、各部をハードウェアで構成してもよいし、コンピュータにより実現してもよい。コンピュータにより実現する場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述と同様の機能、動作が実現される。また、一部の機能のみがコンピュータプログラムにより実現されてもよい。
また、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記）
近赤外光による周期的なパターンを含む映像データを取得する映像データ取得手段１４０と、
前記周期的なパターンに基づいて、前記映像データから可視光成分の色信号と近赤外信号とを取得する映像処理部４，４Ａ，４Ｂ，４１，４２と、
を備える映像撮影装置。
好ましくは、 前記映像処理部４，４Ａ，４Ｂ，４１，４２は、
前記映像データより、複数色の第１色信号を取得し、
前記第１色信号を２次元フーリエ空間に変換し、
前記２次元フーリエ空間において前記近赤外光による前記周期的なパターンのピークを除去することで、前記可視光成分の色信号である第２色信号を取得し、
前記第１色信号から前記第２色信号を減算することで近赤外信号を取得する
映像撮影装置。
好ましくは、
前記映像処理部４，４Ａ，４Ｂ，４１，４２は、
近赤外光による周期的なパターンを含む映像データを入力する映像データ取得部１４１と、
前記映像データより、複数色の第１色信号を取得する第１色信号取得部１４２と、 前記第１色信号を２次元フーリエ空間に変換するフーリエ変換部１４３と、
前記２次元フーリエ空間において、前記近赤外光による前記周期的なパターンのピークを検出する周期的パターン検出部１４４と、
前記２次元フーリエ空間において、前記ピークを除去するピーク除去部１４５と、 前記ピークが除去された情報を、逆フーリエ変換することによって、前記可視光成分の色信号である第２色信号を取得する第２色信号取得部１４６と、
前記第１色信号から前記第２色信号を減算することで近赤外信号を取得する近赤外信号取得部１４７と
を有する映像撮影装置。
好ましくは、
前記近赤外光の周期的に発生するピークの２次元フーリエ空間における周波数情報を記憶する符号情報メモリ５を有し、
前記映像処理部４Ｂは、前記符号情報メモリに記憶されている周波数情報に基づいて前記周期的なパターンのピークを除去する
映像撮影装置。
好ましくは、
前記映像データ取得手段１４０は、
近赤外光をカットする赤外カット部１１と、近赤外光を透過する赤外透過部１２と、を有する符号型赤外カットフィルタ１と、
を含み、
前記赤外透過部１２は、前記符号型赤外カットフィルタ１において、規則正しい周期性を持つ位置に設けられる
映像撮影装置。
好ましくは、
前記映像データ取得手段１４０は、
入射された光を複数色に分光する光学フィルタ２と、
前記光学フィルタ２により分光された複数色の光を映像信号として映像データに変換するフォトセンサ３と、
前記光学フィルタ２の光進行方向前側、または前記光学フィルタ２と前記フォトセンサ３との間に設けられ、近赤外光をカットする赤外カット部１１と、近赤外光を透過する赤外透過部１２と、を有する符号型赤外カットフィルタ１と、
を有し、
前記赤外透過部１２は、前記符号型赤外カットフィルタ１において、規則正しい周期性を持つ位置に設けられる
映像撮影装置。
好ましくは、
前記映像データ取得手段１４０は、
入射された光を波長帯域が異なる複数の光に分解する色分解部２１と、
前記色分解部２１により分解された複数の光に対応してそれぞれ設けられ、前記複数の光を映像信号としてデータに変換するフォトセンサ３１〜３３と、
近赤外光をカットする赤外カット部１１と、該近赤外光を透過する赤外透過部１２と、を有し、前記分解された複数の光のうち少なくとも１つに対応して設けられる符号型赤外カットフィルタ１と、
を有し、
前記赤外透過部１２は、前記符号型赤外カットフィルタ１において、規則正しい周期性を持つ位置に設けられる
映像撮影装置。
好ましくは、
前記映像データ取得手段１４０は、
複数のセンサが積層され、波長帯域が異なる複数の光を各センサにより映像信号としてデータに変換する積層型センサ３４〜３６と、
近赤外光をカットする赤外カット部１１と、該近赤外光を透過する赤外透過部１２と、を有する符号型赤外カットフィルタ１と、
を有し、
前記赤外透過部１２は、前記符号型赤外カットフィルタ１において、規則正しい周期性を持つ位置に設けられる
映像撮影装置。
近赤外光による周期的なパターンを含む映像データを取得する映像データ取得手段１４０と、
前記周期的なパターンに基づいて、前記映像データから近赤外信号を取得する映像処理部４Ｃと、
を備える信号分離装置。
近赤外光による周期的なパターンを含む映像データを取得し、
前記周期的なパターンに基づいて、前記映像データから可視光成分の色信号と近赤外信号とを取得する
映像撮影方法。
好ましくは、
前記映像データより、複数色の第１色信号を取得し、
前記第１色信号を２次元フーリエ空間に変換し、
前記２次元フーリエ空間において前記近赤外光による前記周期的なパターンのピークを除去することで、前記可視光成分の色信号である第２色信号を取得し、
前記第１色信号から前記第２色信号を減算することで近赤外信号を取得する
映像撮影方法。
好ましくは、
前記近赤外光の周期的に発生するピークの２次元フーリエ空間における周波数情報を記憶する符号情報メモリより、該周波数情報を取得し、
該周波数情報に基づいて前記周期的なパターンのピークを除去する
映像撮影方法。
好ましくは、
近赤外光をカットする赤外カット部１１と、近赤外光を透過する赤外透過部１２と、を有し、前記赤外透過部１２が規則正しい周期性を持つ位置に設けられる符号型赤外カットフィルタ１を介して、近赤外光による周期的なパターンを含む映像データを取得する
映像撮影方法。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

この出願は、２０１４年３月６日に出願された日本出願特願２０１４−０４４４４７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、例えば、デジタルカメラやビデオカメラなどの映像撮影装置に適用できる。
１，符号型IRカットフィルタ
２ 光学フィルタ
３ フォトセンサ
４ 映像処理装置
４Ａ，４Ｂ 映像処理部
４Ｃ信号分離装置
５ 符号情報メモリ
１１ 赤外カット部
１２ 赤外透過部
２１ プリズム
３１〜３６ センサ
４１，４２ 映像処理部
１００，１００Ｂ 映像撮影装置
１０１ 映像撮影装置（３板式）
１０２ 映像撮影装置（積層センサ式）

Claims (6)

  1. 近赤外光による周期的なパターンを含む映像データを取得する映像データ取得手段と、
    前記周期的なパターンに基づいて、前記映像データから可視光成分の色信号と近赤外信号とを取得する映像処理手段と、
    を備える映像撮影装置。
  2. 前記映像処理手段は、
    前記映像データより、複数色の第１色信号を取得し、
    前記第１色信号を２次元フーリエ空間に変換し、
    前記２次元フーリエ空間において前記近赤外光による前記周期的なパターンのピークを除去することで、前記可視光成分の色信号である第２色信号を取得し、
    前記第１色信号から前記第２色信号を減算することで近赤外信号を取得する、
    請求項１に記載の映像撮影装置。
  3. 前記近赤外光の周期的に発生するピークの２次元フーリエ空間における周波数情報を記憶する符号情報メモリを有し、
    前記映像処理手段は、前記符号情報メモリに記憶されている周波数情報に基づいて前記周期的なパターンのピークを除去する、
    請求項２に記載の映像撮影装置。
  4. 前記映像データ取得手段は、
    近赤外光をカットする赤外カット部と、近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタ
    を含み、
    前記赤外透過部は、前記符号型赤外カットフィルタにおいて、規則正しい周期性を持つ位置に設けられる、
    請求項１ないし３のいずれか１項に記載の映像撮影装置。
  5. 近赤外光による周期的なパターンを含む映像データを取得する映像データ取得手段と、 前記周期的なパターンに基づいて、前記映像データから近赤外信号を取得する映像処理手段と、
    を備える信号分離装置。
  6. 近赤外光による周期的なパターンを含む映像データを取得し、
    前記周期的なパターンに基づいて、前記映像データから可視光成分の色信号と近赤外信号とを取得する
    映像撮影方法。
JP2016506139A 2014-03-06 2015-03-03 映像撮影装置、信号分離装置および映像撮影方法 Pending JPWO2015133130A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014044447 2014-03-06
JP2014044447 2014-03-06
PCT/JP2015/001121 WO2015133130A1 (ja) 2014-03-06 2015-03-03 映像撮影装置、信号分離装置および映像撮影方法

Publications (1)

Publication Number Publication Date
JPWO2015133130A1 true JPWO2015133130A1 (ja) 2017-04-06

Family

ID=54054946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016506139A Pending JPWO2015133130A1 (ja) 2014-03-06 2015-03-03 映像撮影装置、信号分離装置および映像撮影方法

Country Status (3)

Country Link
US (1) US10334185B2 (ja)
JP (1) JPWO2015133130A1 (ja)
WO (1) WO2015133130A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582175B2 (en) 2014-06-24 2020-03-03 Maxell, Ltd. Imaging sensor and imaging device
WO2017047080A1 (ja) * 2015-09-18 2017-03-23 日本電気株式会社 映像処理装置、撮影装置、映像処理方法及びプログラム記録媒体
WO2017222021A1 (ja) * 2016-06-24 2017-12-28 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
US10922846B2 (en) * 2017-08-29 2021-02-16 Guangdong Virtual Reality Technology Co., Ltd. Method, device and system for identifying light spot
CN117314791B (zh) * 2023-11-27 2024-02-20 长春理工大学 基于巴特沃斯函数拟合的红外图像冷反射噪声矫正方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121445A (en) * 1986-07-01 1992-06-09 Konica Corporation Method and apparatus for reading image
JP4253943B2 (ja) * 1999-08-30 2009-04-15 ソニー株式会社 固体撮像装置
JP4311988B2 (ja) 2003-06-12 2009-08-12 アキュートロジック株式会社 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
CN1971927B (zh) 2005-07-21 2012-07-18 索尼株式会社 物理信息获取方法、物理信息获取装置和半导体器件
JP4466569B2 (ja) 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
EP2271984A4 (en) * 2008-04-28 2012-01-18 Salesforce Com Inc OBJECT-BASED SYSTEM FOR CREATING AND MANAGING WEB SITES AND THEIR CONTENT
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
JP2011243862A (ja) 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP5263373B2 (ja) * 2011-11-07 2013-08-14 ソニー株式会社 半導体装置および撮像装置

Also Published As

Publication number Publication date
WO2015133130A1 (ja) 2015-09-11
US10334185B2 (en) 2019-06-25
US20170019614A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
US20190349537A1 (en) Apparatus and method for combining images
JP6582987B2 (ja) 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
US9025871B2 (en) Image processing apparatus and method of providing high sensitive color images
US8614746B2 (en) Image processing apparatus and method of noise reduction
WO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
JP5186517B2 (ja) 撮像装置
JP5943393B2 (ja) 撮像装置
US10931895B2 (en) Image processing method, image processing device, and storage medium
GB2456492A (en) Image processing method
JPWO2017222021A1 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10593717B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP5454156B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6794989B2 (ja) 映像処理装置、撮影装置、映像処理方法及びプログラム
CN118483856A (zh) 色彩滤镜阵列、图像获取方法、图像传感器及采集装置
US20160156891A1 (en) Color imaging using a monochromatic digital camera