JP7415464B2 - 映像処理装置、映像処理方法およびプログラム - Google Patents
映像処理装置、映像処理方法およびプログラム Download PDFInfo
- Publication number
- JP7415464B2 JP7415464B2 JP2019205449A JP2019205449A JP7415464B2 JP 7415464 B2 JP7415464 B2 JP 7415464B2 JP 2019205449 A JP2019205449 A JP 2019205449A JP 2019205449 A JP2019205449 A JP 2019205449A JP 7415464 B2 JP7415464 B2 JP 7415464B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- infrared
- visible light
- matrix
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 65
- 238000003672 processing method Methods 0.000 title claims description 7
- 239000011159 matrix material Substances 0.000 claims description 154
- 239000013598 vector Substances 0.000 claims description 72
- 230000005540 biological transmission Effects 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 30
- 238000002834 transmittance Methods 0.000 claims description 25
- 238000000926 separation method Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 9
- 239000003086 colorant Substances 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
Description
本開示は、映像処理等に関する。
デジタルカメラやデジタルビデオカメラなどの撮像装置においては、イメージセンサには赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色光学フィルタが組み込まれている構成が一般的である。撮像装置に入射した光は、３色光学フィルタにより分解され、イメージセンサによってＲ、Ｇ、Ｂ各色の信号に変換される。
撮像装置に使用されるイメージセンサがシリコン系センサである場合、イメージセンサの感度は、可視光領域から近赤外（Near InfraRed，NIR）領域に渡る。このため、近赤外光がイメージセンサに入射すると、ＲＧＢそれぞれの色に対応する出力に、NIRの光による出力が加算される。その結果、色再現性が低下するから、近赤外カットフィルタを用いて近赤外光を除去することが行われている。
一方で、非特許文献１に記載されているように、近赤外光感度を利用して、近赤外光画像の撮影を行いたいという要望が存在する。
特許文献１に開示されるように、可視光撮影と、近赤外光撮影とを、１つの撮像装置で行う方法が、種々検討されている。特許文献１の技術では、RGB各色のフォトセンサ部の下部（表面から遠い側）にＮＩＲセンサが設けられている。このため、一種類のフォトセンサを平面的に配列する構造に比べて、構造、プロセスが複雑であり、製造コストが高い。
特許文献２には、NIR光を透過する部分およびNIR光が透過しない部分が周期的なパターンで配置された符号型ＩＲカットフィルタが提案されている。特許文献２の映像撮影装置は、RGB＋NIR混合信号をフーリエ変換などの手法により周波数空間に展開することで、NIRのパターンを取得し、逆変換を行うことでNIR画像を取得する。また、映像撮影装置は、NIRのパターンを取り除いた信号から、RGB画像を取得する。符号型ＩＲカットフィルタを用いて撮像した場合、NIR光はフィルタ上の一部分しか透過しない。透過していないNIR光を周波数変換によって直接復元することはできないから、NIR画像全体を再構成するために、特許文献２ではフィルタによる補間処理を行う方法を採用している。このような補間処理は周辺画素の情報などに基づく推定であり、再構成後の画像にボケが生じる。
非特許文献２には、ベイヤーパターン中に２種類のGチャネルを用意し、圧縮センシングの手法を用いてNIR画像を取得する方法が提案されている。非特許文献２の方法ではベイヤーパターンの変更が必要であるため、一般的なカメラを使用することができず、製造コストが高い。さらに、２種類の分光特性が異なる２種類のGチャネルを用意するのは技術的に困難である。
非特許文献３は圧縮センシングについて説明している。特許文献３には、NIR領域において、圧縮センシングを用いることができるスペクトラルセンシング装置が開示されている。特許文献４には近赤外カットフィルタを受光素子アレイ上に、所定のパターンで設けたイメージセンサが開示されている。
特許文献５には、所定の幾何学的形状を有するパターンに応じた強度の近赤外光を取得し、パターンを規定するパターン情報を用いて色信号と近赤外信号とを出力することが開示されている。特許文献６には、第１受光素子アレイから出力された第１撮像信号と第２受光素子アレイから出力された第２撮像信号に基づいて、被写体の可視光画像と近赤外光画像とを作成することが開示されている。
香山信三，田中圭介，廣瀬裕，"監視カメラ用昼夜兼用イメージセンサ"，Panasonic Technical Journal Vol.54，No.4，Jan.2009
Z. Sadeghipoor, Y. M. Lu and S. Susstrunk, "A NOVEL COMPRESSIVE SENSING APPROACH TO SIMULTANEOUSLY ACQUIRE COLOR AND NEAR-INFRARED IMAGES ON A SINGLE SENSOR", IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2013
田中利幸,"圧縮センシングの数理", IEICE Fundamentals Review Vol.4, No.1, 2010
J. A. Tropp, "Signal Recovery from Random Measurements via Orthogonal Matching Pursuit," IEEE Trans. Inf. Theory, Vol.53, No.12, 2007
Paul W. Hollanda and Roy E. Welsch, "Robust regression using iteratively reweighted least-squares", Communications in Statistics - Theory and Methods, Vol.6, No.9, 1977
E. J. Candes and T. Tao, "Near-optimal signal recovery from random projections: Universal encoding strategies?", IEEE Transactions on Information Theory, Vol.52, No.12, 2006
D. L. Donoho, "Compressed sensing", IEEE Transactions on Information Theory, Vol.52, No.4, 2006
特許文献２および特許文献５は、規則的なＮＩＲ透過部分の配置を有する符号型ＩＲカットフィルタを用いて、演算処理を簡単にしている。このため、演算処理の適用が、規則的なＮＩＲ透過部の配置を有する符号型ＩＲカットフィルタを透過した映像信号に制限されることになる。
本開示は、符号型ＩＲカットフィルタ上に形成するＮＩＲ透過部分の配置に制限されず、近赤外光を含む映像信号から可視光信号と近赤外信号に対応する分離信号を取得する映像処理装置等を提供することを目的とする。
本開示に係る映像処理装置は、近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離する分離手段と、前記可視光成分と前記近赤外成分を用いて、可視光信号と近赤外信号に対応する分離信号を復元する復元手段とを備える。
本開示に係る映像処理方法は、近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離し、前記可視光成分と前記近赤外成分を用いて、可視光信号と近赤外信号に対応する分離信号を復元する。
本開示に係るプログラムは、近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離し、前記可視光成分と前記近赤外成分を用いて、可視光信号と近赤外信号に対応する分離信号を復元する処理をコンピュータに実行させる。
本開示によれば、符号型ＩＲカットフィルタ上に形成するＮＩＲ透過部分の配置に制限されず、近赤外光を含む映像信号に対応する入力信号から可視光信号と近赤外信号に対応する分離信号を取得する映像処理装置を提供することができる。
以下、本開示の実施形態について図面を参照しながら説明する。
［第１の実施形態］
図１は、第１の実施形態に係る映像処理装置１０１の構成を例示するブロック図である。映像処理装置１０１は、分離部１１２、復元部１１３を有する。
［第１の実施形態］
図１は、第１の実施形態に係る映像処理装置１０１の構成を例示するブロック図である。映像処理装置１０１は、分離部１１２、復元部１１３を有する。
映像処理装置１０１は、可視光及び近赤外光を含んだ状態で撮像された映像の映像信号に対応する入力信号から、可視光信号と近赤外信号に対応する分離信号を出力する装置である。なお、本図以降のブロック図に示した矢印は、信号の流れの一例を示すものであって、信号の流れが特定の方向に限定されることを意図したものではない。
ここでいう映像とは、レンズ等の光学系を介して取り込まれる像をいい、静止画と動画のいずれであってもよい。また、可視光信号は、可視光画像を表す信号である。これに対し、近赤外信号は、近赤外画像を表す信号である。可視光信号及び近赤外信号は、例えば画素の輝度を表すが、輝度のみに限定されない。なお、以下の説明において、可視光信号及び近赤外信号は、静止画か、映像である場合には当該映像の特定の時点の像の各画素の輝度を表すものとする。
また、本実施形態において、可視光領域とは、０．４～０．７μｍの波長領域をいう。このうち、０．４～０．５μｍを青（Ｂ）、０．５～０．６μｍを緑（Ｇ）、０．６～０．７μｍを赤（Ｒ）の波長領域とする。また、近赤外領域とは、０．７～２μｍの波長領域をいう。ただし、ここに示した波長領域の分類は、あくまでも一例にすぎない。
映像処理装置１０１は、映像信号を供給する外部装置と接続する。外部装置は、例えば、イメージセンサを有する撮像装置である。
本実施形態において、分離部１１２は、近赤外光を透過する部分を有する光学フィルタを透過した、近赤外光を含む映像を表す映像信号に対応する入力信号を受け付ける。このような映像信号は、例えば、イメージセンサの前に光学フィルタとして符号型ＩＲカットフィルタを設けることで得られる。符号型ＩＲカットフィルタは、RGBを透過しNIRをカットする部分（NIRカット部分）と、RGBとNIRを透過させる部分（NIR透過部分）と、を有するフィルタである。したがって、映像信号は、可視光成分に近赤外光成分が重畳された状態の映像を表す信号である。言い換えると、映像信号はRGB+NIR混合信号である。RGB+NIR混合信号に対応する入力信号は、観測ベクトルｙとも呼ばれる。
図２および図３は符号型ＩＲカットフィルタの一例を示す図である。符号型ＩＲカットフィルタ上のNIR透過部分の配置は、図２に示すように整列でも良いし、図３に示すようにランダムでも良い。また、NIR透過部分のそれぞれは図２及び図３に示すように円形でも良いし、その他の形状でも構わない。また、符号型ＩＲカットフィルタに形成されたNIR透過部が同じ形状である必要もない。符号型ＩＲカットフィルタは、符号化ＩＲカットフィルタとも呼ばれる。
分離部１１２は、RGB+NIR混合信号に対応する観測ベクトルｙを、RGB信号およびNIR信号に分離する。RGB+NIR混合信号と分離されたRGB信号およびNIR信号との関係は、光が符号型ＩＲカットフィルタを透過する際の影響を観測行列Mで表現することによって、線形方程式によって表現される。具体的には、入力されたRGB+NIR混合信号に対応する観測ベクトルｙと、分離後のRGB信号およびNIR信号の関係を、ベクトルと行列の線形演算で表記すると以下のようになる。
ただし観測ベクトルｙの要素の数をｎとすると、行列Mはｎ行２ｎ列の観測行列と呼ばれる行列である。行列Mは例えば、映像の各画素におけるRGBの透過度を対角要素とするｎ行ｎ列の対角行列の成分と、NIRの透過度を対角要素とするｎ行ｎ列の対角行列の成分とを並べた行列であってもよい。透過度とは、例えば透過率であってもよい。行列MのRGBの透過度を対角要素とする成分の代わりに、ｎ行ｎ列の単位行列の成分を並べてもよい（後述する図６の場合）。行列Mは映像処理装置１０１の記憶部（図示せず）に予め記憶されていてもよい。
未知ベクトルｘは、分離後のRGB信号およびNIR信号に対応するサイズ２ｎのベクトルである。例えば、未知ベクトルｘは、分離後のRGB信号に対応するサイズｎのベクトルと分離後のNIR信号に対応するサイズｎのベクトルを並べたベクトルとして表される。ここでベクトルのサイズとは、ベクトルに含まれる要素の数であるとして説明をするが、これに限られない。ベクトルに含まれる各要素は、映像信号の各画素の画素値である輝度を表していてもよいが、これに限られない。
式（１）において、RGB+NIR混合信号に対応する観測ベクトルｙのサイズがｎであるのに対して、分離後の信号に対応するベクトルｘのサイズは２ｎとなるため、一般的な線形手法でこの式を解いて、分離後のRGB信号およびNIR信号を復元することは不可能である。したがって圧縮センシングによる解法を用いる。
ここで、圧縮センシングについて簡単に説明する。圧縮センシングは、未知ベクトルｘがスパースな場合（つまり非ゼロ要素が少ない場合）に、ｙ＝Mxの線形問題を解くことで観測ベクトルｙから未知ベクトルｘを推定する手法である。ここでMは観測行列である。
未知ベクトルｘの長さがQ、観測ベクトルｙの長さがPとする。ここでベクトルの長さとは、例えばベクトルに含まれる要素の数を言う。P＜Qの場合、通常の連立一次方程式を求める手法でベクトルｘを求めることはできない。しかし、未知ベクトルｘのスパース性を利用することで、P＜Qの場合でもこの問題の解が得られる場合がある。例えば、未知ベクトルｘの非ゼロ成分がK個で、未知ベクトルｘのどの成分が非０であるかが分かっており、P≧Kならば、ほとんどの場合、未知ベクトルｘを正しく推定することができる。
非ゼロ成分の数および位置が不明な場合でも、L0最小化問題に定式化することで、ほとんどの場合正しくｘを求めることが可能である。L0最小化問題は、未知ベクトルｘのL0ノルムを最小化する問題としてｘを求める。L0ノルムはあるベクトルの非ゼロ要素の数で定義される。L0最小化問題を解くには、非特許文献４で提案された直交マッチング追跡（Orthogonal Matching Pursuit）や、非特許文献５で提案された反復再重みづけ最小二乗法（Iterative Reweighted Least Square）などの最適化手法を用いることが可能である。
また、非特許文献６や非特許文献７には、L0最小化問題を緩和したL1最小化問題が提案されている。L1最小化問題は、未知ベクトルｘのL1ノルム（非ゼロ要素の絶対値の和）を最小化する問題である。L1最小化問題は、線形計画問題として解くことが可能であるため、シンプレックス法や内点法などの良く知られる方式を用いて解くことが可能であるという利点がある。
非特許文献４から７に示されるように、圧縮センシングは、未知データのスパース性を利用することで、欠損を含むデータの復元を実現する方法である。
本実施形態において、分離後のRGB信号およびNIR信号（分離信号）に対応するベクトルｘはスパースではないため、式（１）に直接圧縮センシングの解法を適用することはできない。しかし、一般的に自然画像を表す信号は、離散コサイン変換（Discrete Cosine Transform: DCT）による展開やウェーブレット空間への展開などの周波数空間への展開によって、その空間における基底行列Φに対する係数ｓがスパースとなる。この係数のスパース性を利用することで、式（１）に圧縮センシングの解法を適用することが可能となる。
具体的には、例えば2次元DCT行列Φを用いて、分離後のRGB信号およびNIR信号に対応するベクトルｘ（分離信号ｘとも呼ばれる）を式（２）のように表現する。
ここでｓは、ｘをDCTにより展開した場合のDCT行列Φに対する係数を表す信号に対応するサイズ２ｎのベクトルである。ここでベクトルｓはスパース信号である。分離部１１２はベクトルｓおよび基底行列Φを生成する。式（２）を式（１）に代入すると以下の式（３）が得られる。
式（３）は圧縮センシングの問題として扱うことが可能であり、ｓのL0ノルム最小化またはL1ノルム最小化などを実施することでｓが算出される。
復元部１１３は、ベクトルｓと基底行列Φで表された、可視光信号と近赤外信号に対応するベクトルｘを復元する。具体的には、復元部１１３は、分離部１１２で得られたベクトルｓおよび基底行列Φを式（２）に代入することでベクトルｘを得る。ベクトルｘは、サイズ２ｎであり、分離されたRGB信号およびNIR信号に対応する分離信号である。
第１の実施形態によれば、符号型ＩＲカットフィルタを透過した近赤外光の透過度を成分に含む観測行列Ｍに基づいて、近赤外光を含む映像信号に対応する入力信号を分離する。したがって、符号型ＩＲカットフィルタ上に形成するＮＩＲ透過部分の配置に制限されず、近赤外光を含む映像信号に対応する入力信号から可視光信号と近赤外信号に対応する分離信号を取得する映像処理装置を提供することができる。
また、第１の実施形態によれば、一般的な撮像装置に符号型ＩＲカットフィルタを設けるだけで、映像処理装置１０１が撮像映像に対応する入力信号を取得し、可視光信号と近赤外信号に対応する分離信号を得るから、撮像装置の製造コストを抑えることができる。
さらに、第１の実施形態によれば、未知信号のスパース性を利用して圧縮センシングを行うから、近赤外成分と可視光成分が重畳された混合信号に対応する入力信号から、可視光信号と近赤外信号とを復元することができる。
［第２の実施形態］
図４は、第２の実施形態に係る映像処理装置１０２の構成を例示するブロック図である。第２の実施形態における映像処理装置１０２は、信号取得部１１１、分離部１１２、復元部１１３、出力部１１４、透過パターン取得部２１２を有する。映像処理装置１０２が備える分離部１１２と復元部１１３は、第１の実施形態における分離部１１２と復元部１１３の機能と同様の機能を有する。このため、分離部１１２と復元部１１３については詳細な説明は省略する。以下では、信号取得部１１１、透過パターン取得部２１２と出力部１１４、について説明する。
図４は、第２の実施形態に係る映像処理装置１０２の構成を例示するブロック図である。第２の実施形態における映像処理装置１０２は、信号取得部１１１、分離部１１２、復元部１１３、出力部１１４、透過パターン取得部２１２を有する。映像処理装置１０２が備える分離部１１２と復元部１１３は、第１の実施形態における分離部１１２と復元部１１３の機能と同様の機能を有する。このため、分離部１１２と復元部１１３については詳細な説明は省略する。以下では、信号取得部１１１、透過パターン取得部２１２と出力部１１４、について説明する。
第２の実施形態において、信号取得部１１１は、外部装置から符号型ＩＲカットフィルタを透過した近赤外光を含む映像を表す映像信号を取得する。第２の実施形態において、信号取得部１１１は、さらに、入力信号変換部１３１を備える。
入力信号変換部１３１は、入力された映像信号を、演算に適したベクトルに変換する。具体的には、以下のように変換を行う。図５は、取得された映像信号のベクトルへの変換を例示する図である。図５のように、１００×１００画素のRGB+NIR混合映像が外部装置に入力されたとする。RGB+NIR混合映像は、符号型ＩＲカットフィルタを用いて撮像された映像であり、RGBとNIRの混合信号を映像で表現したものである。図５においてｙ１，１は例えば（１，１）画素における輝度を表す。この画像をベクトルに変換するには、例えば図５に示すように入力映像の１行ごとに各成分をベクトルｙの要素に入力し、その行が終了次第、次の行に移り、これを画像の最後の行まで行えばよい。
透過パターン取得部２１２は、符号型ＩＲカットフィルタがNIR信号又はRGB信号に与える影響に関する情報（透過パターン）を取得する。透過パターンとは、例えば、白色平面を撮像した場合に、各画素に対応して検出されるNIR光又はRGB光の量を表す情報である。この光の量を説明の便宜上、透過率と呼ぶ。透過率は、符号型ＩＲカットフィルタがない場合の透過率を１としてもよいし、符号型ＩＲカットフィルタをセットし、最も輝度が高い画素における透過率を１としてもよい。ただし、透過パターンは必ずしも各画素に対応している必要はない。
透過パターン取得部２１２は、さらに、観測行列生成部３１１を備える。観測行列生成部３１１は、得られた透過パターンから、RGB+NIR混合信号に対応する入力信号ｙと分離信号ｘの関係を線形表現するための観測行列Ｍを生成する。透過パターン取得部２１２は、生成した観測行列Ｍを分離部１１２に送信する。
図６は、理想的な符号型ＩＲカットフィルタを用いる場合に観測行列生成部３１１が生成する観測行列の例を示す図である。例えば、RGB成分に影響を与えない理想的な符号型ＩＲカットフィルタは、RGB光をそのまま透過させる。符号型ＩＲカットフィルタが与えるNIR信号への影響に関する情報（NIR透過パターン）は、例えば以下のように求められる。カメラに可視光成分をカットし、近赤外光を透過するフィルタを装備する。カメラで白色の平面などを撮像し、NIR信号に基づいて撮像画像を得る。この撮像画像に表われるパターンから、NIR透過パターンを求めることが可能である。
観測行列生成部３１１は、第２の実施形態における透過パターン取得部２１２が取得したRGB信号又はNIR信号にフィルタが与える影響の情報（透過パターン）に基づいて、観測行列Mを生成する。具体的には、以下のように生成する。
例えば、RGB信号に影響を与えない理想的な符号型ＩＲカットフィルタを用いる場合、観測行列生成部３１１は、図６のM1のような観測行列Mを生成すればよい。可視光成分をカットして得た１００×１００画素のＮＩＲ映像から、透過パターン取得部２１２は、各画素におけるNIR透過率を表すNIR透過パターンを得る。理想的な符号型ＩＲカットフィルタにおいて、RGB信号はフィルタをそのまま透過するため、例えば観測行列M1の左半分は単位行列とすればよい。観測行列M1の右半分には、図６に示すように、NIR信号が符号型ＩＲカットフィルタを通して透過する透過率を対角に配置すればよい。
図７は、入力信号変換部１３１で得られたベクトルｙ、および、観測行列生成部３１１によって得られた観測行列M1を用いて得られる線形関係を示す図である。図７において、分離信号ｘの上半分のベクトルは、符号型ＩＲカットフィルタを透過したRGB成分に対応し、下半分のベクトルは、符号型ＩＲカットフィルタを透過したNIR成分に対応する。分離部１１２は、観測行列M1に基づいて、ベクトルｙをRGB成分およびNIR成分を有する未知ベクトルｘに分離し、未知ベクトルｘを周波数空間へ展開する。復元部１１３は、分離部１１２で未知ベクトルｘを展開することによって得られたベクトルｓおよび基底行列Φを用いて、出力映像に対応するベクトルｘを復元する。
実際の符号型ＩＲカットフィルタを用いて撮像する場合、フィルタをカメラに装着すると、カメラの内部で入射光が反射したり、光がフィルタを透過した後に回折現象が起きたりする状況も考えられる。またフィルタのわずかな厚さが入射光に影響を与える可能性もある。このような場合には、符号型ＩＲカットフィルタはNIR信号だけでなく、RGB信号にも影響を与える。
図８は、実際の符号型ＩＲカットフィルタを用いる場合に観測行列生成部３１１が生成する観測行列の例を示す図である。フィルタがRGB信号にも影響を与える場合には、透過パターン取得部２１２はRGB信号へのフィルタの影響に関する情報を取得し、観測行列生成部３１１は観測行列Mに反映する。RGB信号への影響は、NIR信号の場合と同様に、例えば以下のように求められる。まず、カメラ（撮像装置）に近赤外成分をカットするフィルタを装備し、RGB信号に基づいて撮像画像を取得できるようにする。白色の平面などを撮像すると、撮像画像にパターンが表われる。こうして表れたパターンから符号型ＩＲカットフィルタがRGB信号に与える影響に関する情報（RGB透過パターン）を取得すればよい。
実際の符号型ＩＲカットフィルタを用いて撮像する場合には、RGB信号も符号型ＩＲカットフィルタによって影響を受ける。したがって、カメラ（撮像装置）に近赤外光成分をカットするフィルタを装備して得た１００×１００画素のRGB映像から、透過パターン取得部２１２は、各画素における、RGB透過率を表すRGB透過パターンを得る。図８に示すように、RGB光が符号型ＩＲカットフィルタを透過する光の透過率を観測行列M2の左半分に対角に配置すればよい。右半分には、観測行列M1と同様にNIR信号が符号型ＩＲカットフィルタを通して透過する光の透過率を対角に配置すればよい。
図９は、入力信号変換部１３１で得られたベクトルｙ、および、観測行列生成部３１１によって得られた観測行列M2を用いて得られる線形関係を示す図である。
第２の実施形態において、出力部１１４は、さらに、出力信号変換部１３２を備える。出力信号変換部１３２は、図５に示した入力信号変換部１３１の手順とは逆の手順を実行することにより、復元部１１３で復元されたベクトルｘを映像情報に変換する。出力部１１４は、変換された映像情報として、RGB映像およびNIR映像の2種の映像データを出力する。
第２の実施形態によれば、透過パターン取得部２１２が、透過パターンを取得し、観測行列生成部３１１が、取得した透過パターンに基づいて、観測行列を生成することができる。したがって、透過パターンが変化した場合にも観測行列を生成することができる。透過パターンが変化した場合とは、例えば、同一のイメージセンサに設置される符号型ＩＲカットフィルタが異なる場合、又は、同一の符号型ＩＲカットフィルタでも当該フィルタとイメージセンサとの間隔が異なる場合を含む。さらに、分離部１１２は、生成された観測行列に基づいて、RGB+NIR混合信号を分離することが可能になる。加えて、出力部１１４によって、RGB映像とNIR映像を得ることができる。
なお、第２実施形態において、例として、RGB+NIR混合映像と、透過パターンの取得に用いる映像と出力映像の画素数が同じである場合について説明したが、画素数はそれぞれ異なっていてもよい。
［第３の実施形態］
図１０は、第３の実施形態に係る映像処理装置１０３の構成を例示するブロック図である。第３の実施形態における映像処理装置１０３は、基底行列更新部４１１を有する点で第２の実施形態における映像処理装置１０２と相違する。
図１０は、第３の実施形態に係る映像処理装置１０３の構成を例示するブロック図である。第３の実施形態における映像処理装置１０３は、基底行列更新部４１１を有する点で第２の実施形態における映像処理装置１０２と相違する。
映像処理装置１０４が備える信号取得部１１１、入力信号変換部１３１、分離部１１２、復元部１１３、出力信号変換部１３２、映像出力部１１４、および透過パターン取得部２１２の機能は第３の実施形態における各部の機能と同様である。以下では、基底行列更新部４１１の動作について説明する。
第１から３の実施形態では、基底行列Φには2次元DCT行列などを使用するとしてきた。ただし、映像によっては、基底行列の係数のスパース性が十分保証されず、それが原因で望ましい分離信号ｘが得られない場合が想定される。こういった場合には、DCT行列をそのまま用いた場合に比べて、基底行列に対する係数（本実施形態におけるベクトルｓ）がよりスパースになるように基底行列Φを改良することで、より正解の分離信号ｘに近い復元信号ｘ１得るような工夫を行うこともできる。
これを実現するために、基底行列更新部４１１では、例えば主成分分析（Principal Component Analysis, PCA）を利用し、その結果を基底行列として活用する。
具体的には、例えば次のような手法を取ることが可能である。学習集合として、N個のRGB信号およびNIR信号のセットを用意する。これに対し、第１から３の実施形態の映像処理装置１０１から１０３のいずれかを用いてスパース信号ｓを算出する。こうして得られたN個のｓに主成分分析を実施することで、第一主成分ベクトルを始めとする主成分ベクトルが得られる。
各列ベクトルを列とする行列DPCAを生成し、DCT行列をDDCTと表記すると、Φ＝DDCTDPCAとすることで新たな基底ベクトルΦが得られる。この基底ベクトルは、主成分分析によって冗長性を排除しているため、DCT行列をそのまま用いる場合と比較して、分離部１１２において改良スパース信号ｓが得られる。したがって、復元部１１３においてより正解の分離信号ｘに近い復元信号ｘ１が得られる効果がある。
図１０に示した映像処理装置１０３の構成は、図４で示した映像処理装置１０２の構成に基底行列更新部４１１を付加したものである。図１０に示すように、信号取得部１１１と入力信号変換部１３１、出力信号変換部１３２と出力部１１４、および、透過パターン取得部２１２と観測行列生成部３１１とは、別に設けられてもよい。同様に、映像処理装置１０１に基底行列更新部４１１を追加した構成も用いることができる。
［第４の実施形態］
図１１は、第４の実施形態に係る撮影装置３００の概略構成図である。図１１に示す撮影装置３００は、受光部３１０と、第２の実施形態における映像処理装置１０２とを備える。ここで、映像処理装置１０２の代わりに、第３の実施形態における映像処理装置１０３を用いてもよい。受光部３１０は、より詳細には、符号型ＩＲカットフィルタ２１１と、カラーフィルタ３１２と、フォトセンサ３１３とを備える。撮影装置３００には、レンズ等の光学系を介して、可視光と近赤外光とを含んだ光が入射される。
図１１は、第４の実施形態に係る撮影装置３００の概略構成図である。図１１に示す撮影装置３００は、受光部３１０と、第２の実施形態における映像処理装置１０２とを備える。ここで、映像処理装置１０２の代わりに、第３の実施形態における映像処理装置１０３を用いてもよい。受光部３１０は、より詳細には、符号型ＩＲカットフィルタ２１１と、カラーフィルタ３１２と、フォトセンサ３１３とを備える。撮影装置３００には、レンズ等の光学系を介して、可視光と近赤外光とを含んだ光が入射される。
図１１において、符号型ＩＲカットフィルタ２１１は、カラーフィルタ３１２及びフォトセンサ３１３に対し、入射光の進行方向手前側に設けられている。また、符号型ＩＲカットフィルタ２１１は、着脱可能又は移動可能に構成されてもよい。
図１２は、受光部３１０に入射した近赤外光の振る舞いを表す模式図である。図１２に示すように、近赤外光は、符号型ＩＲカットフィルタ２１１の一部（赤外透過部）を透過する一方、他の部分ではカットされる。近赤外光のカットの方法は特に限られず、赤外カット部は、例えば近赤外光を反射してもよいし、吸収してもよい。
カラーフィルタ３１２は、一般的な構成の３色光学式フィルタである。カラーフィルタ３１２は、いわゆるベイヤ型の配列であってもよい。フォトセンサ３１３は、一般的な画像入力装置又は撮影装置と同様の構成でよい。カラーフィルタ３１２は、個々のフィルタがフォトセンサ３１３の個々のセンサ（すなわち画素）に対応するように設けられている。
撮影装置３００は、Ｒ、Ｇ、Ｂの３色で表される映像データに基づいて、Ｒ、Ｇ、Ｂ色（３成分）で表されるＲＧＢ映像データを出力することが可能である。また、撮影装置３００は、ＮＩＲ映像データを出力することが可能である。
［変形例］
本開示の実施の形態は、上述した第１～第４実施形態に限定されない。例えば、本開示は、以下に説明する変形例の態様によっても実施可能である。また、本開示は、第１～第４実施形態及び変形例を適宜に組み合わせた態様で実施されてもよい。
本開示の実施の形態は、上述した第１～第４実施形態に限定されない。例えば、本開示は、以下に説明する変形例の態様によっても実施可能である。また、本開示は、第１～第４実施形態及び変形例を適宜に組み合わせた態様で実施されてもよい。
（１）変形例１
各実施形態において、可視光成分は、Ｒ、Ｇ、Ｂの３成分に限定されない。可視光成分は、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）の３成分が用いられてもよい。また、可視光成分は、３成分で構成される必要はなく、これより多くても少なくてもよい。各実施形態では、可視光に関してはRGB色空間を用いたが、それ以外のYUV色空間などの色空間を用いてよい。
各実施形態において、可視光成分は、Ｒ、Ｇ、Ｂの３成分に限定されない。可視光成分は、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）の３成分が用いられてもよい。また、可視光成分は、３成分で構成される必要はなく、これより多くても少なくてもよい。各実施形態では、可視光に関してはRGB色空間を用いたが、それ以外のYUV色空間などの色空間を用いてよい。
（２）変形例２
図１３及び図１４は、撮影装置の他の例を示す図である。図１３は、いわゆる３板式、すなわちＲ、Ｇ、Ｂ各色に対応するセンサが独立した構成の撮影装置４００を示す図である。また、図１４は、いわゆる積層型のセンサを備えた撮影装置５００を示す図である。本開示は、このような構成の撮影装置に対しても適用可能である。
図１３及び図１４は、撮影装置の他の例を示す図である。図１３は、いわゆる３板式、すなわちＲ、Ｇ、Ｂ各色に対応するセンサが独立した構成の撮影装置４００を示す図である。また、図１４は、いわゆる積層型のセンサを備えた撮影装置５００を示す図である。本開示は、このような構成の撮影装置に対しても適用可能である。
撮影装置４００は、プリズム４１０と、フォトセンサ４２０、４３０、４４０と、符号型ＩＲカットフィルタ４５０と、映像処理装置４６０とを備える。プリズム４１０は、入射光を分解し、Ｒ、Ｇ、Ｂそれぞれの成分に応じた方向に出射する。フォトセンサ４２０（Ｒ）、４３０（Ｇ）、４４０（Ｂ）は、各色の入射光の強度に応じた信号を生成する。
符号型ＩＲカットフィルタ４５０は、第４の実施形態の符号型ＩＲカットフィルタ２１１と同様の光学フィルタである。符号型ＩＲカットフィルタ４５０は、フォトセンサ４２０、４３０、４４０の全てに設けられる必要はなく、プリズム４１０の分光特性に応じて、これらのいずれか（図１３においてはフォトセンサ４２０）に設けられればよい。図１３の例の場合、フォトセンサ４３０、４４０に入射する近赤外光は、フォトセンサ４２０に入射する近赤外光に比して十分に少ないものとする。例えば、フォトセンサ４３０、４４０の前段には、近赤外光をカットする光学フィルタ（ただし、符号型ＩＲカットフィルタ４５０と異なり、近赤外光を透過する部分が形成されていない）が設けられてもよい。
映像処理装置４６０は、第２実施形態で説明された映像処理装置１０２と同様の構成でよい。ただし、図１３に示す例においては、近赤外光成分を含む色信号はＲ成分のみである。したがって、映像処理部４６０は、色信号から近赤外信号を分離する処理をＲ成分の色信号に対してのみ実行すればよい。
撮影装置５００は、符号型ＩＲカットフィルタ５１０と、積層型センサ５２０と、映像処理部５３０とを備える。符号型ＩＲカットフィルタ５１０、映像処理部５３０は、それぞれ、図１３に示した符号型ＩＲカットフィルタ４５０、映像処理装置４６０と同様の構成でよい。
積層型センサ５２０は、センサ５２１、５２２、５２３を積層したセンサである。センサ５２１は、Ｂ成分の波長領域に感度を有する。センサ５２２は、Ｇ成分の波長領域に感度を有する。センサ５２３は、Ｒ成分及び近赤外光成分の波長領域に感度を有する。
本開示は、その全部又は一部の構成をコンピュータによって実現することが可能である。図１５は、各実施形態における映像処理装置を実現するハードウェア構成の一例を示す図である。例えば、映像処理装置１０１、１０２及び１０３は、ＣＰＵ（Central Processing Unit）２０などの処理装置（プロセッサ）とＲＡＭ（Random Access Memory）２１、ＲＯＭ（Read Only Memory）２２などのメモリによって実現可能である。ＣＰＵ２０は、ＲＯＭ２２に記憶された各種ソフトウェアプログラムを、ＲＡＭ２１に読み出して実行することにより、映像処理装置の動作を司る。すなわち、上記各実施形態において、ＣＰＵ２０は、ＲＯＭ２２を適宜参照しながら、映像処理装置が備える各機能（各部）を実行するソフトウェアプログラムを実行する。
本開示は、汎用的なプロセッサによって実現されてもよいし、映像処理専用のプロセッサによって実現されてもよい。また、本開示は、コンピュータが実行可能なプログラムの形態で提供されてもよい。このプログラムは、ネットワークを介して他の装置（サーバ等）からダウンロードされる形態で提供されてもよいし、コンピュータが読み取り可能な記録媒体の形態で提供されてもよい。さらに、本開示は、映像処理装置、撮影装置、プログラム、記録媒体のほか、映像の処理方法としても提供され得る。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離する分離手段と、
前記可視光成分と前記近赤外成分を用いて、可視光信号と近赤外信号に対応する分離信号を復元する復元手段と、
を備える映像処理装置。
（付記２）
前記映像信号を取得する取得手段と、
前記映像信号を観測ベクトルである前記入力信号に変換する入力信号変換手段と、
を更に備える付記１に記載の映像処理装置。
（付記３）
前記可視光透過パターン又は前記近赤外光透過パターンを含む透過パターンを取得する透過パターン取得手段と、
取得した前記透過パターンに基づいて、前記観測行列を生成する観測行列生成手段と、
を更に備える付記１又は２に記載の映像処理装置。
（付記４）
前記分離手段は、前記可視光成分と前記近赤外成分を、基底行列と係数を用いて周波数領域に変換し、
前記復元手段は、前記基底行列と前記係数とに基づいて、前記分離信号を復元する、
付記１乃至３のいずれか１つに記載の映像処理装置。
（付記５）
前記係数を改良スパース信号とする更新基底行列を生成し、前記基底行列を更新する基底行列更新部をさらに備え、
前記分離手段は、前記更新基底行列に基づいて、前記可視光成分と前記近赤外成分を周波数領域に変換する、
付記４に記載の映像処理装置。
（付記６）
復元された前記分離信号を、可視光映像および近赤外光映像に変換する出力信号変換手段を備える付記１乃至５のいずれか１つに記載の映像処理装置。
（付記７）
変換された前記可視光映像および前記近赤外光映像を出力する出力手段を備える付記６に記載の映像処理装置。
（付記８）
前記入力信号におけるベクトルの長さはｎ（ｎは１００以上の自然数）であり、前記観測行列はｎ行２ｎ列であり、前記分離信号におけるベクトルの長さは２ｎである、
付記１乃至７のいずれか１つに記載の映像処理装置。
（付記９）
近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離し、
前記可視光成分と前記近赤外成分を用いて、可視光信号と近赤外信号に対応する分離信号を復元する、
映像処理方法。
（付記１０）
近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離し、
前記可視光成分と前記近赤外成分を用いて、可視光信号と近赤外信号に対応する分離信号を復元する
処理をコンピュータに実行させるプログラム。
（付記１１）
近赤外光を透過する部分と透過しない部分とを有し、可視光を透過するフィルタを透過した近赤外光を含む映像に対応する入力信号を観測ベクトルとして取得する信号取得手段と、
前記フィルタが前記入力信号に与える影響を表す観測行列に基づいて、前記入力信号を可視光成分と近赤外成分とに分離し、基底行列と係数を用いて周波数領域に変換する分離手段と、
前記基底行列と前記係数とに基づいて、前記可視光成分と前記近赤外光成分を可視光信号と近赤外信号に対応する分離信号へと復元する復元手段と、
を備える映像処理装置。
（付記１２）
近赤外光を透過する部分と透過しない部分とを有し、可視光を透過するフィルタを透過した近赤外光を含む映像に対応する入力信号を観測ベクトルとして取得し、
前記入力信号と近赤外信号又は可視光信号との関係を示す観測行列に基づいて、前記入力信号を可視光成分と近赤外成分とに分離し、
前記可視光成分と前記近赤外成分を基底行列と係数を用いた表現に変換し、
前記基底行列と前記係数とに基づいて、前記可視光成分と前記近赤外成分を可視光信号と近赤外信号に対応する分離信号へと復元する、
映像処理方法。
（付記１３）
近赤外光を透過する部分と透過しない部分とを有し、可視光を透過するフィルタを透過した近赤外光を含む映像に対応する入力信号を取得し、
前記入力信号と近赤外信号又は可視光信号との関係を示す観測行列に基づいて、前記入力信号を可視光成分と近赤外成分とに分離し、
前記可視光成分と前記近赤外成分を基底行列と係数を用いた表現に変換し、
前記基底行列と前記係数とに基づいて、前記可視光成分と前記近赤外成分を可視光信号と近赤外信号に対応する分離信号へと復元する、
処理をコンピュータに実行させるプログラム。
（付記１４）
近赤外光を透過する部分と透過しない部分とを有し、可視光を透過する符号型ＩＲカットフィルタと、
入射された光を複数色に分光するカラーフィルタと、
前記カラーフィルタが分光した複数の色を映像信号に変換するフォトセンサと、
前記符号型ＩＲカットフィルタを透過した近赤外光を含む映像信号に対応する入力信号を取得する取得手段と、
前記符号型ＩＲカットフィルタが入力信号に与える影響を表す観測行列に基づいて、前記入力信号を可視光成分と近赤外成分とに分離し、前記可視光成分と前記近赤外成分を基底行列と係数を用いた表現に変換する分離手段と、
前記基底行列と前記係数とに基づいて、前記可視光成分と前記近赤外成分を可視光信号と近赤外信号に対応する分離信号へと復元する復元手段と、
を備えた撮影装置。
（付記１５）
ｙは近赤外光を透過する部分と透過しない部分とを有する符号型ＩＲカットフィルタを透過した近赤外光を含む映像信号に対応する入力信号を観測ベクトルとし、Ｍは前記符号型ＩＲカットフィルタを透過して検出される可視光の割合を要素とする対角行列と近赤外光の割合を要素とする対角行列とを並べた観測行列とし、ｘは前記入力信号ｙを可視光成分と近赤外成分とに分離した信号とすると、前記入力信号をｙ＝Ｍｘの線形関係で表し、前記信号ｘを基底行列Φと係数ｓを用いて周波数領域に変換する分離手段と、
前記基底行列Φと前記係数ｓとに基づいて、前記信号ｘを復元する復元手段と、
を備える映像処理装置。
（付記１６）
ｙは近赤外光を透過する部分と透過しない部分とを有する符号型ＩＲカットフィルタを透過した近赤外光を含む映像信号に対応する入力信号を観測ベクトルとし、Ｍは前記符号型ＩＲカットフィルタを透過して検出される可視光の割合を要素とする対角行列と近赤外光の割合を要素とする対角行列とを並べた観測行列とし、ｘは前記入力信号ｙを可視光成分と近赤外成分とに分離した信号とすると、前記入力信号をｙ＝Ｍｘの線形関係で表し、前記信号ｘを基底行列Φと係数ｓを用いて周波数領域に変換し、
前記基底行列Φと前記係数ｓとに基づいて、前記信号ｘを復元する
映像処理方法。
（付記１７）
ｙは近赤外光を透過する部分と透過しない部分とを有する符号型ＩＲカットフィルタを透過した近赤外光を含む映像信号に対応する入力信号を観測ベクトルとし、Ｍは前記符号型ＩＲカットフィルタを透過して検出される可視光の割合を要素とする対角行列と近赤外光の割合を要素とする対角行列とを並べた観測行列とし、ｘは前記入力信号ｙを可視光成分と近赤外成分とに分離した信号とすると、前記入力信号をｙ＝Ｍｘの線形関係で表し、前記信号ｘを基底行列Φと係数ｓを用いて周波数領域に変換し、
前記基底行列Φと前記係数ｓとに基づいて、前記信号ｘを復元する
処理をコンピュータに実行させるプログラム。
（付記１）
近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離する分離手段と、
前記可視光成分と前記近赤外成分を用いて、可視光信号と近赤外信号に対応する分離信号を復元する復元手段と、
を備える映像処理装置。
（付記２）
前記映像信号を取得する取得手段と、
前記映像信号を観測ベクトルである前記入力信号に変換する入力信号変換手段と、
を更に備える付記１に記載の映像処理装置。
（付記３）
前記可視光透過パターン又は前記近赤外光透過パターンを含む透過パターンを取得する透過パターン取得手段と、
取得した前記透過パターンに基づいて、前記観測行列を生成する観測行列生成手段と、
を更に備える付記１又は２に記載の映像処理装置。
（付記４）
前記分離手段は、前記可視光成分と前記近赤外成分を、基底行列と係数を用いて周波数領域に変換し、
前記復元手段は、前記基底行列と前記係数とに基づいて、前記分離信号を復元する、
付記１乃至３のいずれか１つに記載の映像処理装置。
（付記５）
前記係数を改良スパース信号とする更新基底行列を生成し、前記基底行列を更新する基底行列更新部をさらに備え、
前記分離手段は、前記更新基底行列に基づいて、前記可視光成分と前記近赤外成分を周波数領域に変換する、
付記４に記載の映像処理装置。
（付記６）
復元された前記分離信号を、可視光映像および近赤外光映像に変換する出力信号変換手段を備える付記１乃至５のいずれか１つに記載の映像処理装置。
（付記７）
変換された前記可視光映像および前記近赤外光映像を出力する出力手段を備える付記６に記載の映像処理装置。
（付記８）
前記入力信号におけるベクトルの長さはｎ（ｎは１００以上の自然数）であり、前記観測行列はｎ行２ｎ列であり、前記分離信号におけるベクトルの長さは２ｎである、
付記１乃至７のいずれか１つに記載の映像処理装置。
（付記９）
近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離し、
前記可視光成分と前記近赤外成分を用いて、可視光信号と近赤外信号に対応する分離信号を復元する、
映像処理方法。
（付記１０）
近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離し、
前記可視光成分と前記近赤外成分を用いて、可視光信号と近赤外信号に対応する分離信号を復元する
処理をコンピュータに実行させるプログラム。
（付記１１）
近赤外光を透過する部分と透過しない部分とを有し、可視光を透過するフィルタを透過した近赤外光を含む映像に対応する入力信号を観測ベクトルとして取得する信号取得手段と、
前記フィルタが前記入力信号に与える影響を表す観測行列に基づいて、前記入力信号を可視光成分と近赤外成分とに分離し、基底行列と係数を用いて周波数領域に変換する分離手段と、
前記基底行列と前記係数とに基づいて、前記可視光成分と前記近赤外光成分を可視光信号と近赤外信号に対応する分離信号へと復元する復元手段と、
を備える映像処理装置。
（付記１２）
近赤外光を透過する部分と透過しない部分とを有し、可視光を透過するフィルタを透過した近赤外光を含む映像に対応する入力信号を観測ベクトルとして取得し、
前記入力信号と近赤外信号又は可視光信号との関係を示す観測行列に基づいて、前記入力信号を可視光成分と近赤外成分とに分離し、
前記可視光成分と前記近赤外成分を基底行列と係数を用いた表現に変換し、
前記基底行列と前記係数とに基づいて、前記可視光成分と前記近赤外成分を可視光信号と近赤外信号に対応する分離信号へと復元する、
映像処理方法。
（付記１３）
近赤外光を透過する部分と透過しない部分とを有し、可視光を透過するフィルタを透過した近赤外光を含む映像に対応する入力信号を取得し、
前記入力信号と近赤外信号又は可視光信号との関係を示す観測行列に基づいて、前記入力信号を可視光成分と近赤外成分とに分離し、
前記可視光成分と前記近赤外成分を基底行列と係数を用いた表現に変換し、
前記基底行列と前記係数とに基づいて、前記可視光成分と前記近赤外成分を可視光信号と近赤外信号に対応する分離信号へと復元する、
処理をコンピュータに実行させるプログラム。
（付記１４）
近赤外光を透過する部分と透過しない部分とを有し、可視光を透過する符号型ＩＲカットフィルタと、
入射された光を複数色に分光するカラーフィルタと、
前記カラーフィルタが分光した複数の色を映像信号に変換するフォトセンサと、
前記符号型ＩＲカットフィルタを透過した近赤外光を含む映像信号に対応する入力信号を取得する取得手段と、
前記符号型ＩＲカットフィルタが入力信号に与える影響を表す観測行列に基づいて、前記入力信号を可視光成分と近赤外成分とに分離し、前記可視光成分と前記近赤外成分を基底行列と係数を用いた表現に変換する分離手段と、
前記基底行列と前記係数とに基づいて、前記可視光成分と前記近赤外成分を可視光信号と近赤外信号に対応する分離信号へと復元する復元手段と、
を備えた撮影装置。
（付記１５）
ｙは近赤外光を透過する部分と透過しない部分とを有する符号型ＩＲカットフィルタを透過した近赤外光を含む映像信号に対応する入力信号を観測ベクトルとし、Ｍは前記符号型ＩＲカットフィルタを透過して検出される可視光の割合を要素とする対角行列と近赤外光の割合を要素とする対角行列とを並べた観測行列とし、ｘは前記入力信号ｙを可視光成分と近赤外成分とに分離した信号とすると、前記入力信号をｙ＝Ｍｘの線形関係で表し、前記信号ｘを基底行列Φと係数ｓを用いて周波数領域に変換する分離手段と、
前記基底行列Φと前記係数ｓとに基づいて、前記信号ｘを復元する復元手段と、
を備える映像処理装置。
（付記１６）
ｙは近赤外光を透過する部分と透過しない部分とを有する符号型ＩＲカットフィルタを透過した近赤外光を含む映像信号に対応する入力信号を観測ベクトルとし、Ｍは前記符号型ＩＲカットフィルタを透過して検出される可視光の割合を要素とする対角行列と近赤外光の割合を要素とする対角行列とを並べた観測行列とし、ｘは前記入力信号ｙを可視光成分と近赤外成分とに分離した信号とすると、前記入力信号をｙ＝Ｍｘの線形関係で表し、前記信号ｘを基底行列Φと係数ｓを用いて周波数領域に変換し、
前記基底行列Φと前記係数ｓとに基づいて、前記信号ｘを復元する
映像処理方法。
（付記１７）
ｙは近赤外光を透過する部分と透過しない部分とを有する符号型ＩＲカットフィルタを透過した近赤外光を含む映像信号に対応する入力信号を観測ベクトルとし、Ｍは前記符号型ＩＲカットフィルタを透過して検出される可視光の割合を要素とする対角行列と近赤外光の割合を要素とする対角行列とを並べた観測行列とし、ｘは前記入力信号ｙを可視光成分と近赤外成分とに分離した信号とすると、前記入力信号をｙ＝Ｍｘの線形関係で表し、前記信号ｘを基底行列Φと係数ｓを用いて周波数領域に変換し、
前記基底行列Φと前記係数ｓとに基づいて、前記信号ｘを復元する
処理をコンピュータに実行させるプログラム。
以上、上述した実施形態を模範的な例として本開示を説明した。しかしながら、本開示は、上述した実施形態には限定されない。即ち、本開示は、本開示のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
１１１ 信号取得部
１１２ 分離部
１１３ 復元部
１１４ 出力部
２１１ 符号型ＩＲカットフィルタ
２１２ 透過パターン取得部
１３１ 入力信号変換部
１３２ 出力信号変換部
３１１ 観測行列生成部
４１１ 基底行列更新部
１１２ 分離部
１１３ 復元部
１１４ 出力部
２１１ 符号型ＩＲカットフィルタ
２１２ 透過パターン取得部
１３１ 入力信号変換部
１３２ 出力信号変換部
３１１ 観測行列生成部
４１１ 基底行列更新部
Claims (8)
- 近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離し、前記可視光成分と前記近赤外成分を、基底行列と係数を用いて周波数領域に変換する分離手段と、
前記可視光成分と前記近赤外成分を用いて、可視光信号と近赤外信号に対応する分離信号を復元する復元手段と、
前記係数を改良スパース信号とする更新基底行列を生成し、前記基底行列を更新する基底行列更新部と、
を備え、
前記分離手段は、前記更新基底行列に基づいて、前記可視光成分と前記近赤外成分を周波数領域に変換し、
前記復元手段は、前記更新基底行列と前記改良スパース信号とに基づいて、前記分離信号を復元する
映像処理装置。 - 前記映像信号を取得する取得手段と、
前記映像信号を観測ベクトルである前記入力信号に変換する入力信号変換手段と、
を更に備える請求項１に記載の映像処理装置。 - 前記可視光透過パターン又は前記近赤外光透過パターンを含む透過パターンを取得する透過パターン取得手段と、
取得した前記透過パターンに基づいて、前記観測行列を生成する観測行列生成手段と、
を更に備える請求項１又は２に記載の映像処理装置。 - 復元された前記分離信号を、可視光映像および近赤外光映像に変換する出力信号変換手段を備える請求項１乃至３のいずれか１項に記載の映像処理装置。
- 変換された前記可視光映像および前記近赤外光映像を出力する出力手段を備える請求項４に記載の映像処理装置。
- 前記入力信号におけるベクトルの長さはｎ（ｎは１００以上の自然数）であり、前記観測行列はｎ行２ｎ列であり、前記分離信号におけるベクトルの長さは２ｎである、
請求項１乃至５のいずれか１項に記載の映像処理装置。 - 近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離し、
前記可視光成分と前記近赤外成分を、基底行列と係数を用いて周波数領域に変換し、
前記係数を改良スパース信号とする更新基底行列を生成し、前記基底行列を更新し、
前記更新基底行列に基づいて、前記可視光成分と前記近赤外成分を周波数領域に変換し、
前記更新基底行列と前記改良スパース信号とに基づいて、可視光信号と近赤外信号に対応する分離信号を復元する、
映像処理方法。 - 近赤外光を透過する部分と透過しない部分とを有するフィルタを透過した近赤外光を含む映像信号に対応する入力信号を、前記フィルタによる可視光の透過度を示す可視光透過パターンを対角成分とする対角行列と前記フィルタによる近赤外光の透過度を示す近赤外光透過パターンを対角成分とする対角行列とを並べた観測行列に基づいて、可視光成分と近赤外成分に分離し、
前記可視光成分と前記近赤外成分を、基底行列と係数を用いて周波数領域に変換し、
前記係数を改良スパース信号とする更新基底行列を生成し、前記基底行列を更新し、
前記更新基底行列に基づいて、前記可視光成分と前記近赤外成分を周波数領域に変換し、
前記更新基底行列と前記改良スパース信号とに基づいて、可視光信号と近赤外信号に対応する分離信号を復元する
処理をコンピュータに実行させるプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019205449A JP7415464B2 (ja) | 2019-11-13 | 2019-11-13 | 映像処理装置、映像処理方法およびプログラム |
| US17/093,966 US20210142446A1 (en) | 2019-11-13 | 2020-11-10 | Image processing device, image processing method, and non-transitory computer-readable medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019205449A JP7415464B2 (ja) | 2019-11-13 | 2019-11-13 | 映像処理装置、映像処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021078074A JP2021078074A (ja) | 2021-05-20 |
| JP7415464B2 true JP7415464B2 (ja) | 2024-01-17 |
Family
ID=75846990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019205449A Active JP7415464B2 (ja) | 2019-11-13 | 2019-11-13 | 映像処理装置、映像処理方法およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20210142446A1 (ja) |
| JP (1) | JP7415464B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724164B (zh) * | 2021-08-31 | 2024-05-14 | 南京邮电大学 | 一种基于融合重构制导滤波的可见光图像噪声去除方法 |
-
2019
- 2019-11-13 JP JP2019205449A patent/JP7415464B2/ja active Active
-
2020
- 2020-11-10 US US17/093,966 patent/US20210142446A1/en not_active Abandoned
Non-Patent Citations (1)
| Title |
|---|
| Zahra Sadeghipoor 他，A novel compressive sensing approach to simultaneously acquire color and near-infrared images on a single sensor，2013 IEEE International Conference on Acoustics, Speech and Signal Processing，IEEE，2013年05月26日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6637931，IEL Online IEEE Xplore |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210142446A1 (en) | 2021-05-13 |
| JP2021078074A (ja) | 2021-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10861143B2 (en) | Method and apparatus for reconstructing hyperspectral image using artificial intelligence | |
| US8761525B2 (en) | Method and system for compressive color image sampling and reconstruction | |
| US5901242A (en) | Method and apparatus for decoding spatiochromatically multiplexed color images using predetermined coefficients | |
| US9118797B2 (en) | Method and system for robust and flexible extraction of image information using color filter arrays | |
| CN106507065B (zh) | 拍摄装置、拍摄系统、图像生成装置及滤色器 | |
| WO2012044380A2 (en) | Method and apparatus for compressive acquisition and recovery of dynamic imagery | |
| CN114746895A (zh) | 用于图像去噪的噪声重构 | |
| Wang et al. | Compressive hyperspectral imaging with complementary RGB measurements | |
| Miao et al. | Deep learning for compressive spectral imaging | |
| JP7415464B2 (ja) | 映像処理装置、映像処理方法およびプログラム | |
| JP2018107731A (ja) | 画像生成装置及び撮像装置 | |
| US20160286097A1 (en) | Methods and System for Sparse Blue Sampling | |
| JPWO2017222021A1 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
| EP2550808A2 (en) | Method and system for robust and flexible extraction of image information using color filter arrays | |
| CN108696728B (zh) | 图像生成装置、拍摄装置及拍摄系统 | |
| JP6478579B2 (ja) | 撮像ユニット、撮像装置、及び画像処理システム | |
| US20180122046A1 (en) | Method and system for robust and flexible extraction of image information using color filter arrays | |
| Rueda et al. | Spectral resolution enhancement of hyperspectral imagery by a multiple-aperture compressive optical imaging system | |
| Bennett et al. | Compressive sampling using a pushframe camera | |
| Rueda et al. | Dual-ARM VIS/NIR compressive spectral imager | |
| Galvis-Carreno | Coded aperture design in compressive spectral imaging | |
| US10531104B2 (en) | Imaging apparatus and imaging system | |
| WO2013111824A1 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| Guicquéro | Exploring information retrieval using image sparse representations: from circuit designs and acquisition processes to specific reconstruction algorithms | |
| Galvis et al. | Synthetic coded apertures in compressive spectral imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20211019 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221014 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7415464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |