WO2020213418A1

WO2020213418A1 - 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム

Info

Publication number: WO2020213418A1
Application number: PCT/JP2020/015199
Authority: WO
Inventors: 小野　修司
Original assignee: 富士フイルム株式会社
Priority date: 2019-04-15
Filing date: 2020-04-02
Publication date: 2020-10-22

Abstract

高品質なマルチスペクトル画像を取得できる撮像装置、信号処理装置、信号処理方法及び信号処理プログラムを提供する。撮像装置（１）は、ｎを２≦ｎを満たす整数とした場合に、互いに分光透過率の異なる光学フィルタを備えたｎ個の画素で構成される画素ブロックを複数備えたイメージセンサ（１００）と、ｍを２≦ｍ≦ｎを満たす整数とした場合に、透過する光の波長帯域がｍ個のマルチバンドパスフィルタを備えた光学系（１０）と、イメージセンサ（１００）の各画素ブロックから得られるｎ個の画素信号（ｘ１、ｘ２、…、ｘｎ）から、マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号（Ｘ１、Ｘ２、…、Ｘｍ）を算出して、各波長帯域の画像（マルチスペクトル画像）を生成する信号処理装置（２００）と、を備える。

Description

撮像装置、信号処理装置、信号処理方法及び信号処理プログラム

　本発明は、撮像装置、信号処理装置、信号処理方法及び信号処理プログラムに係り、特に、複数の波長帯域の画像を取得する撮像装置、信号処理装置、信号処理方法及び信号処理プログラムに関する。

　複数の波長帯域の画像を撮像する装置として、マルチスペクトルカメラ（マルチ分光カメラ、マルチバンドカメラなどともいう）が知られている。マルチスペクトルカメラで得られる画像は、マルチスペクトル画像と称される。

　特許文献１には、光学系の瞳部分を分割して各領域に分光透過率の異なる光学フィルタを配置し、かつ、イメージセンサの前方に光線分離機能を有するマイクロレンズアレイを配置することにより、１つのイメージセンサでマルチスペクトル画像を撮像する装置が提案されている。しかし、マイクロレンズアレイによる光線分離は必ずしも完全ではない。このため、特許文献１の装置では、隣接する画素に光が漏れ、いわゆる混信（クロストーク）が発生するという問題がある。この問題を解決するため、特許文献２では、各画素から得られる信号（画素信号）に所定の信号処理を施して、混信の影響を除去することが提案されている。

　また、特許文献３には、内視鏡での撮像において、撮像素子に備えられたＲ画素、Ｇ画素及びＢ画素の各波長帯域に対応した３つの狭帯域光を被写体に照射し、得られた信号を処理して、３つの狭帯域の信号を取得する技術が提案されている。

国際公開第２０１２／１４３９８３号国際公開第２０１５／００４８８６号国際公開第２０１７／０８５７９３号

　しかしながら、マイクロレンズアレイを用いて光線を分離した場合に各画素で生じる混信の量は、画素の位置によって異なる。したがって、特許文献２の手法で、より高品質な画像を得るには、画素ごとに混信の発生量を正確に求める必要がある。しかし、これには多大な労力を要する。

　一方、特許文献３に記載の技術は、体腔内を撮像する場合のように、環境光の影響を受けない特殊な環境下でのみ使用でき、環境光の影響を受ける通常の撮像では、使用できないという欠点がある。また、特殊な光源を別途用意する必要があり、システムが大掛かりになるという欠点もある。

　本発明は、このような事情に鑑みてなされたもので、高品質なマルチスペクトル画像を取得できる撮像装置、信号処理装置、信号処理方法及び信号処理プログラムを提供することを目的とする。

　上記課題を解決するための手段は、次のとおりである。

　（１）ｎを２≦ｎを満たす整数とした場合に、互いに分光透過率の異なる光学フィルタを備えたｎ個の画素で構成される画素ブロックを複数備えたイメージセンサと、ｍを２≦ｍ≦ｎを満たす整数とした場合に、透過する光の波長帯域がｍ個のマルチバンドパスフィルタを備えた光学系と、ｉを１≦ｉ≦ｍを満たす整数、ｊを１≦ｊ≦ｎを満たす整数とした場合に、各要素がａｉｊで表されるｍ行ｎ列の行列Ａで構成される係数群を記憶する記憶部と、記憶部から係数群を取得し、イメージセンサの各画素ブロックから得られるｎ個の画素信号ｘ１、ｘ２、…、ｘｎから、下記式によって、マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号Ｘ１、Ｘ２、…、Ｘｍを算出する演算部と、

　を備える撮像装置。

　（２）行列Ａは、マルチバンドパスフィルタを透過した各波長帯域の光が、イメージセンサの各画素ブロックの各画素で受光される割合を要素とする行列の逆行列を算出して取得される、上記（１）の撮像装置。

　（３）イメージセンサの１つの画素ブロックを構成する画素の数ｎと、マルチバンドパスフィルタが透過する光の波長帯域の数ｍとが同数である、上記（１）又は（２）の撮像装置。

　（４）マルチバンドパスフィルタは、透過させる各波長帯域の帯域幅が４０ｎｍ以下である、上記（１）から（３）のいずれか一の撮像装置。

　（５）マルチバンドパスフィルタで透過させる各波長帯域は、光学フィルタの分光感度曲線の変化量が閾値以下となる領域で設定される、上記（１）から（４）のいずれか一の撮像装置。

　（６）マルチバンドパスフィルタで透過させる各波長帯域は、光学フィルタの分光感度曲線の変曲点が１以下となる領域で設定される、上記（１）から（５）のいずれか一の撮像装置。

　（７）マルチバンドパスフィルタが交換可能であり、記憶部は、交換可能なマルチバンドパスフィルタごとに係数群を記憶し、演算部は、光学系に装着されたマルチバンドパスフィルタに対応する係数群を記憶部から取得して、マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号Ｘ１、Ｘ２、…、Ｘｍを算出する、上記（１）から（６）のいずれか一の撮像装置。

　（８）ｎを２≦ｎを満たす整数とした場合に、互いに分光透過率の異なる光学フィルタを備えたｎ個の画素で構成される画素ブロックを複数備えたイメージセンサと、ｍを２≦ｍ≦ｎを満たす整数とした場合に、透過する光の波長帯域がｍ個のマルチバンドパスフィルタを備えた光学系と、を備えた撮像装置のイメージセンサから得られる信号を処理する信号処理装置であって、ｉを１≦ｉ≦ｍを満たす整数、ｊを１≦ｊ≦ｎを満たす整数とした場合に、各要素がａｉｊで表されるｍ行ｎ列の行列Ａで構成される係数群を記憶する記憶部と、記憶部から係数群を取得し、イメージセンサの各画素ブロックから得られるｎ個の画素信号ｘ１、ｘ２、…、ｘｎから、下記式によって、マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号Ｘ１、Ｘ２、…、Ｘｍを算出する演算部と、

　を備える信号処理装置。

　（９）ｎを２≦ｎを満たす整数とした場合に、互いに分光透過率の異なる光学フィルタを備えたｎ個の画素で構成される画素ブロックを複数備えたイメージセンサと、ｍを２≦ｍ≦ｎを満たす整数とした場合に、透過する光の波長帯域がｍ個のマルチバンドパスフィルタを備えた光学系と、を備えた撮像装置のイメージセンサから得られる信号を処理する信号処理方法であって、イメージセンサの各画素ブロックから得られるｎ個の画素信号ｘ１、ｘ２、…、ｘｎを取得するステップと、ｉを１≦ｉ≦ｍを満たす整数、ｊを１≦ｊ≦ｎを満たす整数とした場合に、各要素がａｉｊで表されるｍ行ｎ列の行列Ａを用いた下記式によって、マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号Ｘ１、Ｘ２、…、Ｘｍを算出するステップと、

　を含む信号処理方法。

　（１０）ｎを２≦ｎを満たす整数とした場合に、互いに分光透過率の異なる光学フィルタを備えたｎ個の画素で構成される画素ブロックを複数備えたイメージセンサと、ｍを２≦ｍ≦ｎを満たす整数とした場合に、透過する光の波長帯域がｍ個のマルチバンドパスフィルタを備えた光学系と、を備えた撮像装置のイメージセンサから得られる信号を処理する信号処理プログラムであって、イメージセンサの各画素ブロックから得られるｎ個の画素信号ｘ１、ｘ２、…、ｘｎを取得する機能と、ｉを１≦ｉ≦ｍを満たす整数、ｊを１≦ｊ≦ｎを満たす整数とした場合に、各要素がａｉｊで表されるｍ行ｎ列の行列Ａを用いた下記式によって、マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号Ｘ１、Ｘ２、…、Ｘｍを算出する機能と、

　をコンピュータに実現させる信号処理プログラム。

　本発明によれば、高品質なマルチスペクトル画像を取得できる。

本実施の形態の撮像装置の概略構成を示す図本実施の形態の撮像装置に用いられるマルチバンドパスフィルタの分光特性の一例を示すグラフイメージセンサの画素の配列の概略構成を示す図Ｒ画素、Ｇ画素、Ｂ画素及びＮＩＲ画素の分光感度特性の一例を示す図信号処理装置の概略構成を示すブロック図光学系に波長５５０［ｎｍ］の光を入射した場合の各画素の感度を求めるグラフ光学系に波長６６０［ｎｍ］の光を入射した場合の各画素の感度を求めるグラフ光学系に波長７３５［ｎｍ］の光を入射した場合の各画素の感度を求めるグラフ光学系に波長７９０［ｎｍ］の光を入射した場合の各画素の感度を求めるグラフ各波長帯域の光が各画素で受光される割合を示す表本実施の形態の撮像装置の動作の概念図

　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

　［装置構成］
　ここでは、マルチスペクトル画像として、４つの波長帯域の画像を取得（撮像）する場合を例に説明する。

　図１は、本実施の形態の撮像装置の概略構成を示す図である。

　同図に示すように、撮像装置１は、光学系１０、イメージセンサ１００及び信号処理装置２００を備えて構成される。

　〈光学系〉
　光学系１０は、撮像装置１の用途に応じたレンズ構成を有する。したがって、必要に応じてレンズに反射鏡及びプリズム等が組み合わされる。なお、図１では、光学系１０を構成するレンズ等を１枚のレンズ１２で簡略化して示している。光学系１０は、全体又は一部のレンズ群が光軸Ｌに沿って前後移動することにより、焦点調節される。また、その光路中に備えられた絞り（不図示）によって、イメージセンサ１００への入射光量が調節される。

　光学系１０は、更にマルチバンドパスフィルタ１４を有する。マルチバンドパスフィルタ１４は、複数の波長帯域の光（複数の中心波長の光）を選択的に透過させる機能を備えた光学フィルタである。マルチバンドパスフィルタ自体は公知であるため、その詳細についての説明は省略する。

　図２は、本実施の形態の撮像装置に用いられるマルチバンドパスフィルタの分光特性の一例を示すグラフである。同図において、横軸は波長（ｎｍ）、縦軸は透過率（％）を表わしている。

　図２に示すように、本実施の形態の撮像装置に用いられるマルチバンドパスフィルタは、４つの波長帯域の光を選択的に透過させる。透過させる各波長帯域の帯域幅（半値幅）は、いずれも４０［ｎｍ］以下であり、いわゆる狭帯域である。

　第１の波長帯域Λ１の光は、中心波長が５５０［ｎｍ］の光である。第２の波長帯域Λ２の光は、中心波長が６６０［ｎｍ］の光である。第３の波長帯域Λ３の光は、中心波長が７３５［ｎｍ］の光である。第４の波長帯域Λ４の光は、中心波長が７９０［ｎｍ］の光である。

　マルチバンドパスフィルタ１４で透過させる波長帯域は、マルチスペクトル画像として取得する各画像の波長帯域である。したがって、図２に示す分光特性は、マルチスペクトル画像として、中心波長が５５０［ｎｍ］の第１の波長帯域Λ１の画像と、中心波長が６６０［ｎｍ］の第２の波長帯域Λ２の画像と、中心波長が７３５［ｎｍ］の第３の波長帯域Λ３の画像と、中心波長が７９０［ｎｍ］の第４の波長帯域Λ４の画像とを取得する場合の例である。

　光学系１０に入射した光は、マルチバンドパスフィルタ１４を通過することにより、中心波長が５５０［ｎｍ］の第１の波長帯域Λ１の光と、中心波長が６６０［ｎｍ］の第２の波長帯域Λ２の光と、中心波長が７３５［ｎｍ］の第３の波長帯域Λ３の光と、中心波長が７９０［ｎｍ］の第４の波長帯域Λ４の光とに分離されて、イメージセンサ１００に入射する。

　〈イメージセンサ〉
　イメージセンサ１００は、たとえば、ＣＣＤ（Charge-Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子で構成される。

　図３は、イメージセンサの画素の配列の概略構成を示す図である。

　イメージセンサ１００は、その受光面に複数の画素を有する。画素は、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って一定ピッチで規則的に配列される。

　各画素は、受光素子であるフォトダイオード、光学フィルタ及び集光レンズを備える。集光レンズ（いわゆるマイクロレンズ）は、光学系１０からの光をフォトダイオードに集光する。光学フィルタは、所定の波長帯域の光を選択的に透過させる。各画素には、互いに分光透過率の異なる４つの光学フィルタのいずれか１つが備えられる。本実施の形態において、４つの光学フィルタは、赤色（Ｒ；red）の波長帯域の光を透過するＲフィルタ、緑色（Ｇ；green）の波長帯域の光を透過するＧフィルタ、青色（Ｂ；blue）の波長帯域の光を透過するＢフィルタ、及び、近赤外（ＮＩＲ；near-infrared）の波長帯域の光を透過するＮＩＲフィルタで構成される。

　図３において、符号Ｒで示す画素は、Ｒフィルタが備えられた画素である。符号Ｇで示す画素は、Ｇフィルタが備えられた画素である。符号Ｂで示す画素は、Ｂフィルタが備えられた画素である。符号ＮＩＲで示す画素は、ＮＩＲフィルタが備えられた画素である。以下、必要に応じて、Ｒフィルタが備えられた画素をＲ画素、Ｇフィルタが備えられた画素をＧ画素、Ｂフィルタが備えられた画素をＢ画素、ＮＩＲフィルタが備えられた画素をＮＩＲ画素と称して、他の画素と区別する。

　図３に示すように、Ｒ画素、Ｇ画素、Ｂ画素及びＮＩＲ画素は規則的に配置される。具体的には、Ｒ画素、Ｇ画素、Ｂ画素及びＮＩＲ画素で１つの画素ブロックＰＢ（ｘ，ｙ）が構成され、その画素ブロックが水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って規則的に配置される。したがって、１つのイメージセンサ１００には、画素ブロックＰＢ（ｘ，ｙ）が複数備えられる。図３は、２×２の配置（水平方向に２画素、垂直方向に２画素の配置）で１つの画素ブロックが構成される場合の例を示している。また、図３は、左上にＢ画素、右上にＧ画素、左下にＲ画素、右下にＮＩＲ画素が配置されて、１つの画素ブロックが構成される場合の例を示している。なお、符号ＰＢ（ｘ，ｙ）における（ｘ，ｙ）は、ｘｙ平面上での画素ブロックの位置を表わしている。

　図４は、Ｒ画素、Ｇ画素、Ｂ画素及びＮＩＲ画素の分光感度特性の一例を示す図である。同図において、横軸は波長（ｎｍ）、縦軸は分光感度を表わしている。また、同図において、符号ＣｒはＲ画素の分光感度曲線、符号ＣｇはＧ画素の分光感度曲線、符号ＣｂはＢ画素の分光感度曲線、及び、符号ＣｎｉｒはＮＩＲ画素の分光感度曲線を示している。

　同図に示すように、Ｒ画素は、赤色（Ｒ）の波長帯域の光を高い感度で受光する特性を有する。Ｇ画素は、緑色（Ｇ）の波長帯域の光を高い感度で受光する特性を有する。Ｂ画素は、青色（Ｂ）の波長帯域の光を高い感度で受光する特性を有する。ＮＩＲ画素は、近赤外（ＮＩＲ）の波長帯域の光を高い感度で受光する特性を有する。

　〈信号処理装置〉
　信号処理装置２００は、イメージセンサ１００から出力される信号を処理して、マルチスペクトル画像を生成する。本実施の形態では、４つの波長帯域の画像（画像データ）を生成する。具体的には、中心波長が５５０［ｎｍ］の第１の波長帯域Λ１の画像、中心波長が６６０［ｎｍ］の第２の波長帯域Λ２の画像、中心波長が７３５［ｎｍ］の第３の波長帯域Λ３の画像、及び、中心波長が７９０［ｎｍ］の第４の波長帯域Λ４の画像を生成する。

　図５は、信号処理装置の概略構成を示すブロック図である。

　同図に示すように、信号処理装置２００は、アナログ信号処理部２００Ａ、マルチスペクトル画像生成部２００Ｂ、係数記憶部２００Ｃ及び出力部２００Ｄを備えて構成される。

　アナログ信号処理部２００Ａは、イメージセンサ１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施し、最終的にデジタル信号に変換して出力する。

　マルチスペクトル画像生成部２００Ｂは、アナログ信号処理部２００Ａから出力されたデジタルの画素信号を取り込み、所定の信号処理を施してマルチスペクトル画像を生成する。この画像は、マルチバンドパスフィルタ１４で分離した４つの波長帯域Λ１～Λ４に対応した４つの波長帯域の画像である。

　各波長帯域の画像は、各画像を構成する各画素の信号値（画素信号）を、行列Ａを用いた下記式（１）により求めて生成される。

　ここで、Ｘ１は、第１の波長帯域Λ１の画像の画素位置ｐ（ｘ，ｙ）の画素信号、Ｘ２は、第２の波長帯域Λ２の画像の画素位置ｐ（ｘ，ｙ）の画素信号、Ｘ３は、第３の波長帯域Λ３の画像の画素位置ｐ（ｘ，ｙ）の画素信号、Ｘ４は、第４の波長帯域Λ４の画像の画素位置ｐ（ｘ，ｙ）の画素信号である。

　また、ｘｂは、画素ブロックＰＢ（ｘ，ｙ）のＢ画素で得られた画素信号である。ｘｇは、画素ブロックＰＢ（ｘ，ｙ）のＧ画素で得られた画素信号である。ｘｒは、画素ブロックＰＢ（ｘ，ｙ）のＲ画素で得られた画素信号である。ｘｎｉｒは、画素ブロックＰＢ（ｘ，ｙ）のＮＩＲ画素で得られた画素信号である。

　また、画素位置ｐ（ｘ，ｙ）は、画素ブロックＰＢ（ｘ，ｙ）の位置と一対一で対応する。したがって、たとえば、画素位置ｐ（１，１）は、画素ブロックＰＢ（１，１）の位置に対応する。

　以下、上記式（１）によって、各波長帯域の画像を構成する各画素の画素信号を算出できる理由について説明する。

　イメージセンサ１００の各画素には、光学系１０を通過した光が入射する。本実施の形態の撮像装置１の光学系１０には、マルチバンドパスフィルタ１４が備えられている。このため、イメージセンサ１００の各画素には、マルチバンドパスフィルタ１４で分離された各波長帯域の光が入射する。本実施の形態では、マルチバンドパスフィルタ１４によって４つの波長帯域の光に分離されるので、４つの波長帯域の光が入射する。

　マルチバンドパスフィルタ１４で分離された各波長帯域の光がイメージセンサ１００の各画素で受光される割合は、各画素に備えられた光学フィルタとの関係で一意に定まる。

　いま、Ｂ画素について、第１の波長帯域Λ１の光が受光される割合をｂ１１、第２の波長帯域Λ２の光が受光される割合をｂ１２、第３の波長帯域Λ３の光が受光される割合をｂ１３、第４の波長帯域Λ４の光が受光される割合をｂ１４とすると、Ｂ画素から出力される画素信号ｘｂと各波長帯域の画像の対応画素の画素信号Ｘ１、Ｘ２、Ｘ３，Ｘ４との間には、次式（２）の関係が成り立つ（式中の記号「＊」は、積算の記号）。

　ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＋ｂ１３＊Ｘ３＋ｂ１４＊Ｘ４＝ｘｂ…（２）
　同様に、Ｇ画素について、第１の波長帯域Λ１の光が受光される割合をｂ２１、第２の波長帯域Λ２の光が受光される割合をｂ２２、第３の波長帯域Λ３の光が受光される割合をｂ２３、第４の波長帯域Λ４の光が受光される割合をｂ２４とすると、Ｇ画素から出力される画素信号ｘｇと各波長帯域の画像の対応画素の画素信号Ｘ１、Ｘ２、Ｘ３，Ｘ４との間には、次式の関係が成り立つ。

　ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＋ｂ２３＊Ｘ３＋ｂ２４＊Ｘ４＝ｘｇ…（３）
　また、Ｒ画素について、第１の波長帯域Λ１の光が受光される割合をｂ３１、第２の波長帯域Λ２の光が受光される割合をｂ３２、第３の波長帯域Λ３の光が受光される割合をｂ３３、第４の波長帯域Λ４の光が受光される割合をｂ３４とすると、Ｒ画素から出力される画素信号ｘｒと各波長帯域の画像の対応画素の画素信号Ｘ１、Ｘ２、Ｘ３，Ｘ４との間には、次式の関係が成り立つ。

　ｂ３１＊Ｘ１＋ｂ３２＊Ｘ２＋ｂ３３＊Ｘ３＋ｂ３４＊Ｘ４＝ｘｒ…（４）
　また、ＮＩＲ画素について、第１の波長帯域Λ１の光が受光される割合をｂ４１、第２の波長帯域Λ２の光が受光される割合をｂ４２、第３の波長帯域Λ３の光が受光される割合をｂ４３、第４の波長帯域Λ４の光が受光される割合をｂ４４とすると、ＮＩＲ画素から出力される画素信号ｘｎｉｒと各波長帯域の画像の対応画素の画素信号Ｘ１、Ｘ２、Ｘ３，Ｘ４との間には、次式の関係が成り立つ。

　ｂ４１＊Ｘ１＋ｂ４２＊Ｘ２＋ｂ４３＊Ｘ３＋ｂ４４＊Ｘ４＝ｘｎｉｒ…（５）
　ここで、上記式（２）～（５）からなる連立方程式は、行列Ｂを用いた下記式（６）で表わすことができる。

　上記式（２）～（５）からなる連立方程式の解であるＸ１～Ｘ４は、上記式（６）の両辺に行列Ｂの逆行列Ｂ^－１をかけることで算出される。すなわち、下記の式（７）により算出される。

　このように、各波長領域の画像を構成する各画素の画素信号Ｘ１～Ｘ４は、各画素ブロックの４つの画素信号ｘｂ、ｘｇ、ｘｒ、ｘｎｉｒから算出できる。

　式（１）は、式（７）の逆行列Ｂ^－１を行列Ａとしたものである。すなわち、行列Ａの各要素は、逆行列Ｂ^－１の各要素で構成される。したがって、行列Ａの各要素ａｉｊ（ｉ＝１～４、ｊ＝１～４）は、行列Ｂの逆行列Ｂ^－１を求めることで取得できる。

　行列Ｂの各要素ｂｉｊ（ｉ＝１～４、ｊ＝１～４）は、Ｂ画素、Ｇ画素、Ｒ画素及びＮＩＲ画素の各画素において、各波長帯域の光が受光される割合である。Ｂ画素、Ｇ画素、Ｒ画素及びＮＩＲ画素の各画素において、各波長帯域の光が受光される割合は、次のように求められる。

　図６は、光学系に波長５５０［ｎｍ］の光を入射した場合の各画素の感度を求めるグラフである。

　同図に示すように、光学系１０に波長５５０［ｎｍ］の光（第１の波長帯域Λ１の中心波長の光）を入射した場合の各画素の感度は、Ｂ画素が７．００、Ｇ画素が３２．００、Ｒ画素が６．００、ＮＩＲ画素が１．７０である。

　図７は、光学系に波長６６０［ｎｍ］の光を入射した場合の各画素の感度を求めるグラフである。

　同図に示すように、光学系１０に波長６６０［ｎｍ］の光（第２の波長帯域Λ２の中心波長の光）を入射した場合の各画素の感度は、Ｂ画素が１．００、Ｇ画素が２．５０、Ｒ画素が１９．５０、ＮＩＲ画素が５．００である。

　図８は、光学系に波長７３５［ｎｍ］の光を入射した場合の各画素の感度を求めるグラフである。

　同図に示すように、光学系１０に波長７３５［ｎｍ］の光（第３の波長帯域Λ３の中心波長の光）を入射した場合の各画素の感度は、Ｂ画素が３．００、Ｇ画素が６．００、Ｒ画素が１４．５０、ＮＩＲ画素が９．００である。

　図９は、光学系に波長７９０［ｎｍ］の光を入射した場合の各画素の感度を求めるグラフである。

　同図に示すように、光学系１０に波長７９０［ｎｍ］の光（第４の波長帯域Λ４の中心波長の光）を入射した場合の各画素の感度は、Ｂ画素が８．００、Ｇ画素が１２．００、Ｒ画素が１６．００、ＮＩＲ画素が２７．００である。

　光学系１０に波長５５０［ｎｍ］の光、波長６６０［ｎｍ］の光、波長７３５［ｎｍ］の光及び波長７９０［ｎｍ］の光を入射した場合、各画素からは、各波長の光の入射光量と各画素の感度との積の和が出力される。各波長の光の入射光量は、各波長の光を受光した場合の画素信号とみなすことができる。波長５５０［ｎｍ］の光を受光した場合の画素信号をＸ１、波長６６０［ｎｍ］の光を受光した場合の画素信号をＸ２、波長７３５［ｎｍ］の光を受光した場合の画素信号をＸ３、及び、波長７９０［ｎｍ］の光を受光した場合の画素信号をＸ４とする。

　Ｂ画素からは、波長５５０［ｎｍ］の光を受光した場合の画素信号と感度の積である７．００＊Ｘ１、波長６６０［ｎｍ］の光を受光した場合の画素信号と感度の積である１．００＊Ｘ２、波長７３５［ｎｍ］の光を受光した場合の画素信号と感度の積である３．００＊Ｘ３、及び、波長７９０［ｎｍ］の光を受光した場合の画素信号と感度の積である８．００＊Ｘ４の和が画素信号として出力される。この出力をｘｂとすると、ｘｂ＝７．００＊Ｘ１＋１．００＊Ｘ２＋３．００＊Ｘ３＋８．００＊Ｘ４となる。マルチバンドパスフィルタ１４で透過させる各波長帯域の光は、いずれも狭帯域光なので、この関係は、中心波長５５０［ｎｍ］の第１の波長帯域Λ１の光、中心波長６６０［ｎｍ］の第２の波長帯域Λ２の光、中心波長７３５［ｎｍ］の波長帯域Λ３の光、及び、中心波長７９０［ｎｍ］の波長帯域Λ４の光を入射した場合に、各波長帯域の光がＢ画素で受光される割合の関係とみなすことができる。

　Ｇ画素からは、波長５５０［ｎｍ］の光を受光した場合の画素信号と感度の積である３２．００＊Ｘ１、波長６６０［ｎｍ］の光を受光した場合の画素信号と感度の積である２．５０＊Ｘ２、波長７３５［ｎｍ］の光を受光した場合の画素信号と感度の積である６．００＊Ｘ３、及び、波長７９０［ｎｍ］の光を受光した場合の画素信号と感度の積である１２．００＊Ｘ４の和が画素信号として出力される。この出力をｘｇとすると、ｘｇ＝３２．００＊Ｘ１＋２．５０＊Ｘ２＋６．００＊Ｘ３＋１２．００＊Ｘ４となる。マルチバンドパスフィルタ１４で透過させる各波長帯域の光は、いずれも狭帯域光なので、この関係は、中心波長５５０［ｎｍ］の第１の波長帯域Λ１の光、中心波長６６０［ｎｍ］の第２の波長帯域Λ２の光、中心波長７３５［ｎｍ］の波長帯域Λ３の光、及び、中心波長７９０［ｎｍ］の波長帯域Λ４の光を入射した場合に、各波長帯域の光がＧ画素で受光される割合の関係とみなすことができる。

　Ｒ画素からは、波長５５０［ｎｍ］の光を受光した場合の画素信号と感度の積である６．００＊Ｘ１、波長６６０［ｎｍ］の光を受光した場合の画素信号と感度の積である１９．５０＊Ｘ２、波長７３５［ｎｍ］の光を受光した場合の画素信号と感度の積である１４．５０＊Ｘ３、及び、波長７９０［ｎｍ］の光を受光した場合の画素信号と感度の積である１６．００＊Ｘ４の和が画素信号として出力される。この出力をｘｒとすると、ｘｒ＝６．００＊Ｘ１＋１９．５０＊Ｘ２＋１４．５０＊Ｘ３＋１６．００＊Ｘ４となる。マルチバンドパスフィルタ１４で透過させる各波長帯域の光は、いずれも狭帯域光なので、この関係は、中心波長５５０［ｎｍ］の第１の波長帯域Λ１の光、中心波長６６０［ｎｍ］の第２の波長帯域Λ２の光、中心波長７３５［ｎｍ］の波長帯域Λ３の光、及び、中心波長７９０［ｎｍ］の波長帯域Λ４の光を入射した場合に、各波長帯域の光がＲ画素で受光される割合の関係とみなすことができる。

　ＮＩＲ画素からは、波長５５０［ｎｍ］の光を受光した場合の画素信号と感度の積である１．７０＊Ｘ１、波長６６０［ｎｍ］の光を受光した場合の画素信号と感度の積である５．００＊Ｘ２、波長７３５［ｎｍ］の光を受光した場合の画素信号と感度の積である９．００＊Ｘ３、及び、波長７９０［ｎｍ］の光を受光した場合の画素信号と感度の積である２７．００＊Ｘ４の和が画素信号として出力される。この出力をｘｎｉｒとすると、ｘｎｉｒ＝１．７０＊Ｘ１＋５．００＊Ｘ２＋９．００＊Ｘ３＋２７．００＊Ｘ４となる。マルチバンドパスフィルタ１４で透過させる各波長帯域の光は、いずれも狭帯域光なので、この関係は、中心波長５５０［ｎｍ］の第１の波長帯域Λ１の光、中心波長６６０［ｎｍ］の第２の波長帯域Λ２の光、中心波長７３５［ｎｍ］の波長帯域Λ３の光、及び、中心波長７９０［ｎｍ］の波長帯域Λ４の光を入射した場合に、各波長帯域の光がＮＩＲ画素で受光される割合の関係とみなすことができる。

　図１０は、各波長帯域の光が各画素で受光される割合を示す表である。

　上記のように、Ｂ画素については、第１の波長帯域Λ１（中心波長５５０［ｎｍ］）の光が７．００、第２の波長帯域Λ２（中心波長６６０［ｎｍ］）の光が１．００、第３の波長帯域Λ３（中心波長７３５［ｎｍ］）の光が３．００、第４の波長帯域Λ４（中心波長７９０［ｎｍ］）の光が８．００の割合で入射する。

　Ｇ画素については、第１の波長帯域Λ１（中心波長５５０［ｎｍ］）の光が３２．００、第２の波長帯域Λ２（中心波長６６０［ｎｍ］）の光が２．５０、第３の波長帯域Λ３（中心波長７３５［ｎｍ］）の光が６．００、第４の波長帯域Λ４（中心波長７９０［ｎｍ］）の光が１２．００の割合で入射する。

　Ｒ画素については、第１の波長帯域Λ１（中心波長５５０［ｎｍ］）の光が６．００、第２の波長帯域Λ２（中心波長６６０［ｎｍ］）の光が１９．５０、第３の波長帯域Λ３（中心波長７３５［ｎｍ］）の光が１４．５０、第４の波長帯域Λ４（中心波長７９０［ｎｍ］）の光が１６．００の割合で入射する。

　ＮＩＲ画素については、第１の波長帯域Λ１（中心波長５５０［ｎｍ］）の光が１．７０、第２の波長帯域Λ２（中心波長６６０［ｎｍ］）の光が５．００、第３の波長帯域Λ３（中心波長７３５［ｎｍ］）の光が９．００、第４の波長帯域Λ４（中心波長７９０［ｎｍ］）の光が２７．００の割合で入射する。

　図１０に示す表の値は、行列Ｂの各要素である。すなわち、ｂ１１＝７．００、ｂ１２＝１．００、ｂ１２＝３．００、ｂ１４＝８．００である。また、ｂ２１＝３２．００、ｂ２２＝２．５０、ｂ２３＝６．００、ｂ２２４＝１２．００である。また、ｂ３１＝６．００、ｂ３２＝１９．５０、ｂ３３＝１４．５０、ｂ３４＝１６．００である。また、ｂ４１＝１．７０、ｂ４２＝５．００、ｂ４３＝９．００、ｂ４４＝２７．００である。したがって、行列Ｂは、次のとおりである。

　この行列Ｂには逆行列が存在する。行列Ｂの逆行列Ｂ^－１は、次のとおりである。

　上記のように、各波長帯域の画像の画素信号Ｘ１、Ｘ２、Ｘ３、Ｘ４を算出する式（１）の行列Ａは、行列Ｂの逆行列Ｂ^－１である（Ａ＝Ｂ^－１）。したがって、本実施の形態の撮像装置１において、各画素（Ｂ画素、Ｇ画素、Ｒ画素及びＮＩＲ画素）の画素信号ｘｂ、ｘｇ、ｘｒ、ｘｎｉｒから各波長帯域の画素信号Ｘ１、Ｘ２、Ｘ３、Ｘ４を算出する式は、下記の式（８）のようになる。

　係数記憶部２００Ｃは、この４行４列の行列Ａの各要素ａｉｊを係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。

　マルチスペクトル画像生成部２００Ｂは、係数記憶部２００Ｃから係数群を取得して演算式を設定する。そして、設定した演算式に基づいて、各波長帯域の画素信号Ｘ１、Ｘ２、Ｘ３、Ｘ４を算出し、各波長帯域の画像を生成する。すなわち、各画素ブロックＰＢ（ｘ，ｙ）から得られる各画素（Ｂ画素、Ｇ画素、Ｒ画素及びＮＩＲ画素）の画素信号ｘｂ、ｘｇ、ｘｒ，ｘｎｉｒから、上記式（８）に基づいて、各波長帯域の画像の対応画素の画素信号Ｘ１～Ｘ４を算出し、各波長帯域の画像を生成する。マルチスペクトル画像生成部２００Ｂは、演算部の一例である。

　マルチスペクトル画像生成部２００Ｂで生成された各波長帯域の画像は、出力部２００Ｄから外部に出力される。出力部２００Ｄから出力された画像は、必要に応じて、記憶装置（不図示）に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。

　［作用］
　図１１は、本実施の形態の撮像装置の動作（信号処理方法）の概念図である。

　光学系１０に入射した被写体Ｏからの光は、光学系１０に備えられたマルチバンドパスフィルタ１４によって、４つの波長帯域の光に分離されて、イメージセンサ１００の各画素（Ｂ画素、Ｇ画素、Ｒ画素及びＮＩＲ画素）に入射する。本実施の形態の撮像装置１では、中心波長が５５０［ｎｍ］の第１の波長帯域Λ１の光、中心波長が６６０［ｎｍ］の第２の波長帯域Λ２の光、中心波長が７３５［ｎｍ］の第３の波長帯域Λ３の光、及び、中心波長が７９０［ｎｍ］の第４の波長帯域Λ４の光に分離されて、イメージセンサ１００の各画素に入射する。

　イメージセンサ１００の各画素（Ｂ画素、Ｇ画素、Ｒ画素及びＮＩＲ画素）は、その受光量に応じた信号（画素信号）ｘｂ、ｘｇ、ｘｒ、ｘｎｉｒを信号処理装置２００に出力する。信号処理装置２００は、イメージセンサ１００から出力された各画素の画素信号を取得する（イメージセンサの各画素ブロックから得られるｎ個の画素信号ｘ１、ｘ２、…、ｘｎを取得するステップ）。

　信号処理装置２００は、取得した画素信号ｘｂ、ｘｇ、ｘｒ、ｘｎｉｒから各波長帯域の画像（画像データ）を生成する。具体的には、式（８）を用いて、各波長帯域の画像を構成する各画素の画素信号Ｘ１、Ｘ２、Ｘ３、Ｘ４を、対応する画素位置の画素ブロックの画素信号ｘｂ、ｘｇ、ｘｒ、ｘｎｉｒから算出し（マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号Ｘ１、Ｘ２、…、Ｘｍを算出するステップ）、各波長帯域の画像を生成する。式（８）は、係数記憶部２００Ｃから係数（行列Ａの各要素ａｉｊ）を読み出して設定する。

　このように、本実施の形態の撮像装置１によれば、１つの光学系１０及び１つのイメージセンサ１００によって、一度に４つの波長帯域の画像を取得できる。各画像は高品質なものが得られる。すなわち、光学系において正しく光を分離さえできれば、あとは信号処理で各波長帯域の画像を再現できるので、高品質なマルチスペクトル画像を取得できる。マルチバンドパスフィルタは、所望の波長帯域の光を高精度に分離できるので、光の分離自体も容易に行うことができる。したがって、帯域幅が１０～２０［ｎｍ］のような極狭帯域の画像であっても高い品質で取得できる。

　また、本実施の形態の撮像装置は、光学系の瞳部分を分割したり、イメージセンサに光線分離機能を備えたりする必要がないので、構成を極めて簡素化できる。また、瞳部分を分割していないので、瞳位置に差が生じることがない。これにより、各画像間で視差のない画像を生成できる。また、光学系の中央部分を使えるので、収差のない高品質な画像を取得できる。また、マルチバンドパスフィルタは、設置の自由度が高いという効果も備えている。

　［変形例］
　〈取得する画像の数〉
　上記実施の形態では、マルチスペクトル画像として、互いに異なる波長帯域の４つの画像を取得する場合を例に説明したが、本発明で取得できる画像の数は、これに限定されるものではない。互いに異なる波長帯域の２以上の画像を取得できる。

　マルチスペクトル画像として、互いに異なる波長帯域のｍ個の画像を取得する場合を考える（ｍは、２≦ｍを満たす整数）。この場合、光学系は、入射した光をｍ個の波長帯域の光に分離して、イメージセンサに入射させる構成にする。本構成を実現するため、光学系には、透過する光の波長帯域がｍ個のマルチバンドパスフィルタを備える。マルチバンドパスフィルタが透過させる波長帯域は、取得しようとする画像の波長帯域である。

　一方、イメージセンサは、１つの画素ブロックをｍ個以上の画素で構成し、各画素に互いに分光透過率の異なる光学フィルタを備える。１つの画素ブロックを構成する画素の数をｎ個とした場合、ｎは、２≦ｍ≦ｎを満たす整数となる。なお、１つの画素ブロックを構成する画素は、少なくとも異なる光学フィルタの画素の数がｍ個以上であればよい。すなわち、異なる光学フィルタの画素の数がｍ個以上含まれていれば、１つの画素ブロックに同じ光学フィルタの画素が含まれていてもよい。

　透過する光の波長帯域がｍ個のマルチバンドパスフィルタを備えた光学系、及び、各画素ブロックがｎ個の画素（各画素は、互いに分光透過率の異なる光学フィルタを有する）で構成されるイメージセンサを備えた撮像装置の場合において、イメージセンサの各画素ブロックから得られるｎ個の画素信号をｘ１、ｘ２、…、ｘｎとすると、ｍ個の波長帯域（マルチバンドパスフィルタを透過する光の波長帯域）の画素信号Ｘ１、Ｘ２、…、Ｘｍは、ｉを１≦ｉ≦ｍを満たす整数、ｊを１≦ｊ≦ｎを満たす整数とした場合に、各要素がａｉｊで表されるｍ行ｎ列の行列Ａを用いた下記式（９）によって算出される。

　ここで、行列Ａは、マルチバンドパスフィルタを透過した各波長帯域の光が、イメージセンサの各画素ブロックの各画素で受光される割合を要素とする行列（行列Ｂ）の逆行列（逆行列Ｂ^－１）を算出して取得される。行列Ｂの各要素、すなわち、マルチバンドパスフィルタを透過した各波長帯域の光が、イメージセンサの各画素ブロックの各画素で受光される割合は、上記実施の形態で説明したとおりである。

　上記の式（９）が成立するのは、行列Ｂが正則行列の場合である。すなわち、行列Ｂに逆行列が存在する場合である。したがって、マルチバンドパスフィルタで選択する波長帯域、及び、イメージセンサに備える光学フィルタについては、行列Ｂが正則行列となるように設定する必要がある。なお、行列Ｂが正方行列ではない場合（ｎ≠ｍ，ｍ＜ｎの場合）は、行列Ｂに一般逆行列（擬似逆行列）が存在するように、マルチバンドパスフィルタ及び光学フィルタを設定する。

　なお、１つの画素ブロックを構成する画素の数ｎと、マルチバンドパスフィルタが透過する光の波長帯域の数ｍを同数とすることにより、構成を簡素化できる。また、演算処理も高速化できる。

　〈マルチバンドパスフィルタ〉
　マルチバンドパスフィルタで透過させる各波長帯域の帯域幅は、撮像装置の用途に応じて設定されるが、４０［ｎｍ］以下とすることが好ましい。たとえば、十分な光量が得られる環境下で使用するような場合は、２０［ｎｍ］あるいは１０［ｎｍ］とすることができる。より狭帯域化することにより、光線の分離性を向上でき、より高品質なマルチスペクトル画像を生成できる。

　〈イメージセンサ〉
　イメージセンサの各画素に備える光学フィルタの組み合わせは、上記実施の形態の例に限定されない。他の波長帯域に光を透過させる光学フィルタを組み合わせて使用することもできる。

　ただし、イメージセンサの各画素に備える光学フィルタと、マルチバンドパスフィルタで透過させる各波長帯域の光は、次の条件を満たすことが必要とされる。すなわち、マルチバンドパスフィルタを透過した各波長帯域の光が、イメージセンサの各画素ブロックの各画素で受光される割合を要素とする行列（行列Ｂ）を設定でき、かつ、その行列（行列Ｂ）の逆行列（逆行列Ｂ^－１）を算出できることを条件とする。これにより、上記式（１）を設定でき、イメージセンサの出力から各波長帯域の画像を生成できる。

　なお、マルチバンドパスフィルタで透過させる各波長帯域は、光学フィルタの分光感度曲線が大きく変化する領域（変化が急峻な領域）を避けて設定することが好ましい。すなわち、光学フィルタの分光感度曲線の変化量が閾値以下となる領域で設定することが好ましい（マルチバンドパスフィルタで透過させる波長帯域内での光学フィルタの分光感度曲線の変化量が閾値以下となるようにすることが好ましい）。

　また、マルチバンドパスフィルタで透過させる各波長帯域は、分光感度曲線の変動が少ない領域で設定することが好ましい。したがって、変曲点が１以下となる領域で設定することが好ましい（マルチバンドパスフィルタで透過させる波長帯域内での変曲点が１以下となるようにすることが好ましい）。

　〈マルチバンドパスフィルタの交換が可能な撮像装置〉
　上記のように、マルチバンドパスフィルタは設置の自由度が高いという効果も備えている。光学系に対してマルチバンドパスフィルタを交換可能とすることにより、種々のマルチスペクトル画像を取得できる。マルチバンドパスフィルタは、たとえば、鏡筒の先端に着脱自在に装着することで交換可能に構成できる。あるいは、光路中に設置したターレット機構等を用いて、交換可能に構成できる。あるいは、光学系ごとに固有のマルチバンドパスフィルタを備え、光学系を交換することで同時にマルチバンドパスフィルタを交換する構成とすることもできる。たとえば、マウントを介して光学系を着脱自在に装着できるように構成する。

　マルチバンドパスフィルタが交換可能な場合、交換可能なマルチバンドパスフィルタごとに行列Ａを求め、その係数群を記憶部である係数記憶部２００Ｃに記憶する。演算部であるマルチスペクトル画像生成部２００Ｂは、光学系に装着されたマルチバンドパスフィルタに対応する係数群を係数記憶部２００Ｃから取得して、各波長帯域の画像を生成する。

　なお、光学系に装着されたマルチバンドパスフィルタの情報（種類）については、ユーザが手動で入力する方式としてもよいし、信号処理装置２００と光学系１０とが通信し、自動で取得する方式としてもよい。

　〈信号処理装置の構成〉
　信号処理装置２００におけるマルチスペクトル画像生成部２００Ｂ（演算部）の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、たとえばソフトウェア（プログラム（本発明では信号処理プログラム））を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上記各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。更に、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上記各種のプロセッサに含まれる。

　各部の機能は１つのプロセッサにより実現されてもよいし、同種又は異種の複数のプロセッサ（たとえば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上記の機能を実現する電気回路であってもよい。

　上記のプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、解析、表示制御等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際にはたとえばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また、たとえば、不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

　信号処理装置２００の係数記憶部２００Ｃは、たとえば、ＲＯＭ（Read-only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-only Memory）等のメモリで実現できる。

　〔撮像装置の構成〕
　撮像装置は、光学系の交換が可能なレンズ交換式の撮像装置として構成することもできる。この場合、行列Ａは、レンズ（光学系）ごとに一意に定まるので、レンズごとに行列Ａを用意し、その係数群を係数記憶部に記憶させる。レンズが交換された場合は、交換されたレンズに対応する行列Ａの係数群を係数記憶部から読み出して、演算処理を実行し、各光学領域の画像を生成する。

１　撮像装置
１０　光学系
１２　レンズ
１４　マルチバンドパスフィルタ
１００　イメージセンサ
２００　信号処理装置
２００Ａ　アナログ信号処理部
２００Ｂ　マルチスペクトル画像生成部
２００Ｃ　係数記憶部
２００Ｄ　出力部
Ｃｂ　Ｂ画素の分光感度曲線
Ｃｇ　Ｇ画素の分光感度曲線
Ｃｒ　Ｒ画素の分光感度曲線
Ｃｎｉｒ　ＮＩＲ画素の分光感度曲線
Ｂ　Ｂフィルタが備えられた画素（Ｂ画素）
Ｇ　Ｇフィルタが備えられた画素（Ｇ画素）
Ｒ　Ｒフィルタが備えられた画素（Ｒ画素）
ＮＩＲ　ＮＩＲフィルタが備えられた画素（ＮＩＲ画素）
Ｌ　光軸
Ｏ　被写体
ＰＢ（ｘ，ｙ）　画素ブロック
Ｘ１　第１の波長帯域Λ１の画像の画素位置ｐ（ｘ，ｙ）の画素信号
Ｘ２　第２の波長帯域Λ２の画像の画素位置ｐ（ｘ，ｙ）の画素信号
Ｘ３　第３の波長帯域Λ３の画像の画素位置ｐ（ｘ，ｙ）の画素信号
Ｘ４　第４の波長帯域Λ４の画像の画素位置ｐ（ｘ，ｙ）の画素信号
ｘｇ　画素ブロックＰＢ（ｘ，ｙ）のＲ画素の画素信号
ｘｒ　画素ブロックＰＢ（ｘ，ｙ）のＧ画素の画素信号
ｘｂ　画素ブロックＰＢ（ｘ，ｙ）のＢ画素の画素信号
ｘｎｉｒ　画素ブロックＰＢ（ｘ，ｙ）のＮＩＲ画素の画素信号
Λ１　第１の波長帯域
Λ２　第２の波長帯域
Λ３　第３の波長帯域
Λ４　第４の波長帯域

Claims

　ｎを２≦ｎを満たす整数とした場合に、互いに分光透過率の異なる光学フィルタを備えたｎ個の画素で構成される画素ブロックを複数備えたイメージセンサと、
　ｍを２≦ｍ≦ｎを満たす整数とした場合に、透過する光の波長帯域がｍ個のマルチバンドパスフィルタを備えた光学系と、
　ｉを１≦ｉ≦ｍを満たす整数、ｊを１≦ｊ≦ｎを満たす整数とした場合に、各要素がａｉｊで表されるｍ行ｎ列の行列Ａで構成される係数群を記憶する記憶部と、
　前記記憶部から前記係数群を取得し、前記イメージセンサの各画素ブロックから得られるｎ個の画素信号ｘ１、ｘ２、…、ｘｎから、下記式によって、前記マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号Ｘ１、Ｘ２、…、Ｘｍを算出する演算部と、

　を備える撮像装置。
　前記行列Ａは、前記マルチバンドパスフィルタを透過した各波長帯域の光が、前記イメージセンサの各画素ブロックの各画素で受光される割合を要素とする行列の逆行列を算出して取得される、
　請求項１に記載の撮像装置。
　前記イメージセンサの１つの画素ブロックを構成する画素の数ｎと、前記マルチバンドパスフィルタが透過する光の波長帯域の数ｍとが同数である、
　請求項１又は２に記載の撮像装置。
　前記マルチバンドパスフィルタは、透過させる各波長帯域の帯域幅が４０ｎｍ以下である、
　請求項１から３のいずれか１項に記載の撮像装置。
　前記マルチバンドパスフィルタで透過させる各波長帯域は、前記光学フィルタの分光感度曲線の変化量が閾値以下となる領域で設定される、
　請求項１から４のいずれか１項に記載の撮像装置。
　前記マルチバンドパスフィルタで透過させる各波長帯域は、前記光学フィルタの分光感度曲線の変曲点が１以下となる領域で設定される、
　請求項１から５のいずれか１項に記載の撮像装置。
　前記マルチバンドパスフィルタが交換可能であり、
　前記記憶部は、交換可能な前記マルチバンドパスフィルタごとに前記係数群を記憶し、
　前記演算部は、前記光学系に装着された前記マルチバンドパスフィルタに対応する前記係数群を前記記憶部から取得して、前記マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号Ｘ１、Ｘ２、…、Ｘｍを算出する、
　請求項１から６のいずれか１項に記載の撮像装置。
　ｎを２≦ｎを満たす整数とした場合に、互いに分光透過率の異なる光学フィルタを備えたｎ個の画素で構成される画素ブロックを複数備えたイメージセンサと、
　ｍを２≦ｍ≦ｎを満たす整数とした場合に、透過する光の波長帯域がｍ個のマルチバンドパスフィルタを備えた光学系と、
　を備えた撮像装置の前記イメージセンサから得られる信号を処理する信号処理装置であって、
　ｉを１≦ｉ≦ｍを満たす整数、ｊを１≦ｊ≦ｎを満たす整数とした場合に、各要素がａｉｊで表されるｍ行ｎ列の行列Ａで構成される係数群を記憶する記憶部と、
　前記記憶部から前記係数群を取得し、前記イメージセンサの各画素ブロックから得られるｎ個の画素信号ｘ１、ｘ２、…、ｘｎから、下記式によって、前記マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号Ｘ１、Ｘ２、…、Ｘｍを算出する演算部と、

　を備える信号処理装置。
　ｎを２≦ｎを満たす整数とした場合に、互いに分光透過率の異なる光学フィルタを備えたｎ個の画素で構成される画素ブロックを複数備えたイメージセンサと、
　ｍを２≦ｍ≦ｎを満たす整数とした場合に、透過する光の波長帯域がｍ個のマルチバンドパスフィルタを備えた光学系と、
　を備えた撮像装置の前記イメージセンサから得られる信号を処理する信号処理方法であって、
　前記イメージセンサの各画素ブロックから得られるｎ個の画素信号ｘ１、ｘ２、…、ｘｎを取得するステップと、
　ｉを１≦ｉ≦ｍを満たす整数、ｊを１≦ｊ≦ｎを満たす整数とした場合に、各要素がａｉｊで表されるｍ行ｎ列の行列Ａを用いた下記式によって、前記マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号Ｘ１、Ｘ２、…、Ｘｍを算出するステップと、

　を含む信号処理方法。
　ｎを２≦ｎを満たす整数とした場合に、互いに分光透過率の異なる光学フィルタを備えたｎ個の画素で構成される画素ブロックを複数備えたイメージセンサと、
　ｍを２≦ｍ≦ｎを満たす整数とした場合に、透過する光の波長帯域がｍ個のマルチバンドパスフィルタを備えた光学系と、
　を備えた撮像装置の前記イメージセンサから得られる信号を処理する信号処理プログラムであって、
　前記イメージセンサの各画素ブロックから得られるｎ個の画素信号ｘ１、ｘ２、…、ｘｎを取得する機能と、
　ｉを１≦ｉ≦ｍを満たす整数、ｊを１≦ｊ≦ｎを満たす整数とした場合に、各要素がａｉｊで表されるｍ行ｎ列の行列Ａを用いた下記式によって、前記マルチバンドパスフィルタを透過する光の波長帯域に対応したｍ個の画素信号Ｘ１、Ｘ２、…、Ｘｍを算出する機能と、

　をコンピュータに実現させる信号処理プログラム。
　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１０に記載のプログラムをコンピュータに実行させる記録媒体。