JP7283394B2 - 撮像装置、および撮像方法、並びに撮像素子 - Google Patents

Description

本開示は、撮像装置、および撮像方法、並びに撮像素子に関し、特に、レンズレス撮像装置において、広い範囲の波長を同時に取得する場合でも、空間解像度の高い２次元画像を最終画像として撮像できるようにした撮像装置、および撮像方法、並びに撮像素子に関する。

レンズレス撮像装置は、従来の２次元画像撮像系において用いられてきたレンズを用いず、２次元画像センサとともにパターン開口または回折格子などの光を変調する機構を用いて撮像し、これを撮像後の画素信号に対して信号処理を施すことで、２次元の最終画像に再構成する撮像装置であり、撮像装置の小型化、軽量化、廉価化、および非平面化などを実現する。

レンズレス撮像装置の構成には、いくつかの方式が存在する。

例えば、パターンマスク開口により２次元画像センサの撮像面に入射する光を変調し、変調された光に基づいて画像を撮像し、撮像した画像を信号処理することにより最終画像を再構成する方式が提案されている（特許文献１参照）。

また、フレネル構造マスク開口により２次元画像センサの撮像面に入射する光を制御し、フーリエ変換ベースの信号処理により最終画像を再構成する方式が提案されている（非特許文献１参照）。

さらに、回折格子を用いて入射光をその角度に応じて位相が異なるサイン波状に変調して２次元画像センサで撮像し、それを信号処理で再構成することで最終画像を復元する方式が提案されている（特許文献２参照）。

国際公開公報２０１６／１２３５２９Ａ１号 特表２０１６－５１０９１０号公報（US2016003994）

Lensless Light-field Imaging with Fresnel Zone Aperture (Yusuke Nakamura, Takeshi Shimano, Kazuyuki Tajima, Mayu Sao, Taku Hoshizawa(Hitachi, Ltd.)), IWISS2016

上述した特許文献１，２および非特許文献１に記載の方式はいずれも、入力となる入射光の波長に対してスケーラブルな手法であることを主張している。確かにレンズレス撮像装置は、X線やγ線の撮像に対しても適用可能な技術であり、天文画像観測にも用いられてきた。理論的には、ミリ波やテラヘルツ波のイメージングに対しても適用可能である。

しかしながら、光の回折現象を考慮すると、それぞれの方式において光を変調させる開口のパターン・形状などは、目的とする波長に対して最適化される必要がある。回折は入射光の波長に依存する現象であるためである。

例えば、特許文献１の方式では、パターンマスクと画像センサの距離、または、開口の単位パターンの大きさを目的の波長に対して最適なものにしなければ回折によるぼけ量が大きくなる恐れがある。

また、非特許文献１の方式では、回折の影響を一層受けやすいものと考えられ、マスクの透過率変調周期を目的の波長に対して最適なものにしなければ回折による相互干渉が生じる恐れがある。

さらに、特許文献２の方式では、回折そのものを利用するため、センサに到達する光は波長に応じて異なる挙動を示す。目的の波長に対して適した位相になるよう格子間隔を設計しなければ、光は拡散してしまい、やはり画像には空間的なぼけが発生する恐れがある。

上記のように、いずれの方式においても広い範囲の波長を同時に取得するケースにおいては、最終画像として再構成される２次元画像の空間解像度が低減する恐れがあった。

本開示は、このような状況に鑑みてなされたものであり、特に、レンズレス撮像装置において、広い範囲の波長を同時に取得する場合でも、空間解像度の高い２次元画像を最終画像として再構成し、復元できるようにするものである。

本開示の一側面の撮像装置および撮像素子は、複数の領域に分割され、前記領域毎に異なる波長帯の入射光を透過させるバンドパスフィルタと、前記複数の領域に対応して分割され、前記領域毎に異なる単位サイズのマスクパターンから構成され、前記バンドパスフィルタを透過した、前記領域毎に異なる波長帯の入射光を変調するマスクと、前記複数の領域に対応して撮像面が分割され、前記領域毎に前記マスクにより変調された入射光を２次元の画素信号として撮像する固体撮像素子と、前記固体撮像素子により撮像された２次元の画素信号を、信号処理により最終画像として再構成する信号処理部とを含み、前記領域毎の、前記マスクパターンは、前記バンドパスフィルタを透過する波長帯の入射光が、前記固体撮像素子により撮像されるとき、回折による前記入射光の拡散が略最小となる前記単位サイズのマスクパターンである撮像装置である。

本開示の一側面の撮像方法は、複数の領域に分割され、前記領域毎に異なる波長帯の入射光を透過させるバンドパスフィルタと、前記複数の領域に対応して分割され、前記領域毎に異なる単位サイズのマスクパターンから構成され、前記バンドパスフィルタを透過した、前記領域毎に異なる波長帯の入射光を変調するマスクと、前記複数の領域に対応して撮像面が分割され、前記領域毎に前記マスクにより変調された入射光を２次元の画素信号として撮像する固体撮像素子とを含み、前記領域毎の、前記マスクパターンは、前記バンドパスフィルタを透過する波長帯の入射光が、前記固体撮像素子により撮像されるとき、回折による前記入射光の拡散が略最小となる前記単位サイズのマスクパターンである撮像装置の撮像方法であって、前記固体撮像素子により撮像された２次元の画素信号を、信号処理により最終画像として再構成する信号処理を含む撮像方法である。

本開示の一側面の撮像素子は、複数の領域に分割され、前記領域毎に異なる波長帯の入射光を透過させるバンドパスフィルタと、前記複数の領域に対応して分割され、前記領域毎に異なる単位サイズのマスクパターンから構成され、前記バンドパスフィルタを透過した、前記領域毎に異なる波長帯の入射光を変調するマスクと、前記複数の領域に対応して撮像面が分割され、前記領域毎に前記マスクにより変調された入射光を２次元の画素信号として撮像する固体撮像素子とを含み、前記領域毎の、前記マスクパターンは、前記バンドパスフィルタを透過する波長帯の入射光が、前記固体撮像素子により撮像されるとき、回折による前記入射光の拡散が略最小となる前記単位サイズのマスクパターンである撮像素子である。
本開示の一側面においては、複数の領域に分割されたバンドパスフィルタにより、前記領域毎に異なる波長帯の入射光が透過され、前記複数の領域に対応して分割され、前記領域毎に異なる単位サイズのマスクパターンから構成されるマスクにより、前記バンドパスフィルタを透過した、前記領域毎に異なる波長帯の入射光が変調され、前記複数の領域に対応して撮像面が分割された固体撮像素子により、前記領域毎に前記マスクにより変調された入射光が２次元の画素信号として撮像され、前記固体撮像素子により撮像された２次元の画素信号が、信号処理により最終画像として再構成され、前記領域毎の、前記マスクパターンは、前記バンドパスフィルタを透過する波長帯の入射光が、前記固体撮像素子により撮像されるとき、回折による前記入射光の拡散が略最小となる前記単位サイズのマスクパターンとされる。

本開示の一側面によれば、特に、レンズレス撮像装置において、広い範囲の波長を同時に取得する場合でも、空間解像度の高い２次元画像を最終画像として再構成し、復元することが可能となる。

レンズレス撮像装置の概要を説明する図である。 レンズレス撮像装置における撮像原理を説明する図である。 本開示の第１の実施の形態の概要を説明する図である。 本開示のレンズレス撮像装置の構成例を説明するブロック図である。 バンドパスフィルタの動作を説明する図である。 マスクの単位サイズと入射光の波長とを変化させる場合に変調された光が撮像されるときの画像の変化を説明する図である。 図４の信号処理部の構成例を説明する図である。 撮像処理を説明するフローチャートである。 本開示の第２の実施の形態の構成例を説明する図である。 マスクから固体撮像素子までの距離と入射光の波長とを変化させる場合に変調された光が撮像されるときの画像の変化を説明する図である。 本開示の第３の実施の形態の構成例を説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．レンズレス撮像装置の概要
２．本開示の概要
３．第１の実施の形態
４．第２の実施の形態
５．第３の実施の形態

＜＜１．レンズレス撮像装置の概要＞＞
本開示の構成について説明する前に、一般的な撮像装置の構成との比較により、レンズレス撮像装置の概要について説明する。

一般的な撮像装置の構成として、例えば、図１の右下部で示されるように、ピンホールカメラが挙げられる。

ピンホールカメラからなる撮像装置は、遮光膜１２に対して穴部として設けられたピンホール２１と固体撮像素子１１から構成される。ピンホールからなる撮像装置の場合、図１の右下部で示されるように、被写体面上のそれぞれ異なる光源から発せられる光線Ｌ１乃至Ｌ３が、それぞれピンホール２１を透過して固体撮像素子１１上の画素Ｉ１乃至Ｉ３に像として撮像される。

ピンホールカメラからなる撮像装置の場合、固体撮像素子１１においては、光源のそれぞれから発せられた光線Ｌ１乃至Ｌ３のうちの１画素分の光線のみにより、像が結像されて固体撮像素子１１上の各画素に入射されることになるので暗い画像として撮像される。

そこで、図１の右上部で示されるように、遮光膜３１の中央に撮像レンズ３２を設けるようにして、撮像レンズ３２が、光線Ｌ１乃至Ｌ３を、光線Ｉ１１乃至Ｉ１３で示されるように集光し、固体撮像素子１１上にそれぞれの像を結像し、これが固体撮像素子１１により撮像されるようにすることを考える。

図１の右上部の場合、固体撮像素子１１においては、光線Ｌ１乃至Ｌ３の全ての光強度の合計である光強度の光からなる像が結像されて固体撮像素子１１に入射されることで、固体撮像素子１１の各画素において十分な光量の画像として撮像される。

図１の右上部で示されるように、撮像レンズ３２を用いることにより、点光源のそれぞれの集合が被写体を構成することになる。したがって、被写体の撮像は、被写体面上の複数の点光源から発せられる光線が集光されて結像される被写体を撮像することになる。

図１の右上部を参照して説明したように、撮像レンズ３２の役割は点光源のそれぞれから出射される各光線、即ち拡散光を、固体撮像素子１１上に導くことにある。そのため、固体撮像素子１１上には最終画像相当の像が結像されることとなり、固体撮像素子１１上の各画素において検出される検出信号からなる画像が、像が結像された撮像画像となる。

しかしながら、撮像レンズと撮像レンズの焦点距離によって撮像装置（撮像素子）のサイズが決定されるため、小型化には限界があった。

そこで、図１の左上部で示されるように、撮像レンズやピンホールを設けることなく、固体撮像素子１１とマスク５１を用いて、被写体面上の被写体を撮像することを考える。

図１の左上部においては、固体撮像素子１１の前段に複数のサイズの開口部５１ａを備えたマスク５１が設けられており、光源のそれぞれからの光線Ｌ１乃至Ｌ３が変調されて固体撮像素子１１の撮像面に入射し、固体撮像素子１１上の各画素により受光される。

ここで、マスク５１においては、開口部５１ａと遮光部５１ｂとが、図１の左下部で示されるように、単位サイズΔの単位で水平方向および垂直方向について、大きさがランダムに設定されることにより、マスク５１上にマスクパターンが形成される。単位サイズΔは、少なくとも画素サイズよりも大きいサイズである。また、固体撮像素子１１とマスク５１との間には、微小な距離ｄの隙間が設けられている。また、図１の左下部においては、固体撮像素子１１上の画素間のピッチがｗとされている。このような構成により、単位サイズΔと距離ｄとのサイズにより光線Ｌ１乃至Ｌ３は、固体撮像素子１１上に変調されて入射する。

より詳細には、図１の左上部における光線Ｌ１乃至Ｌ３の光源を、例えば、図２の左上部で示されるように、点光源ＰＡ，ＰＢ，ＰＣとし、マスク５１を透過して入射する固体撮像素子１１上の位置Ｐａ，Ｐｂ，Ｐｃのそれぞれに光強度ａ，ｂ，ｃの光線が入射するものとする。

レンズレス撮像装置の場合、図２の左上部で示されるように、各画素の検出感度は、マスク５１に、ランダムに設定される開口部５１ａより入射光が変調されることにより、入射角に応じた指向性を持つことになる。ここでいう各画素の検出感度に入射角指向性を持たせるとは、固体撮像素子１１上の領域に応じて入射光の入射角度に応じた受光感度特性を異なるものとなるように持たせることである。

すなわち、被写体面７１を構成する光源が点光源であることを前提とした場合、固体撮像素子１１においては、同一の点光源より発せられた同一の光強度の光線が、入射されることになるが、マスク５１により変調されることにより、固体撮像素子１１の撮像面上の領域毎に入射角度が変化する。そして、マスク５１により固体撮像素子１１上の領域に応じて入射光の入射角度が変化することにより受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、固体撮像素子１１の撮像面の前段に設けられたマスク５１により固体撮像素子１１上の領域毎に異なる感度で検出されることになり、領域毎に異なる検出信号レベルの検出信号が検出される。

より具体的には、図２の右上部で示されるように、固体撮像素子１１上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。

ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
・・・（３）

ここで、α１は、固体撮像素子１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数である。

また、β１は、固体撮像素子１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。

さらに、γ１は、固体撮像素子１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。

従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐｃにおける点光源ＰＡからの光線による検出信号レベルを示したものである。

また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐｃにおける点光源ＰＢからの光線による検出信号レベルを示したものである。

さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐｃにおける点光源ＰＣからの光線による検出信号レベルを示したものである。

従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの係数α１，β１，γ１を掛けたものの合成値として表現される。以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。

同様に、点光源ＰＢにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。また、点光源ＰＣにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。

ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。

すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、光強度ａ，ｂ，ｃを解くことで、図２の右下部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像（最終画像）が再構成されて復元される。

また、図２の左上部で示される固体撮像素子１１と被写体面７１との距離が変化する場合、係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３は、それぞれ変化することになるが、この係数セットを変化させることで、様々な距離の被写体面の復元画像（最終画像）を再構成させることができる。

このため、１回の撮像により、係数セットを様々な距離に対応するものに変化させることで、撮像位置から様々な距離の被写体面の画像を再構成することができる。

結果として、レンズレス撮像装置を用いた撮像においては、レンズを用いた撮像装置での撮像において合焦点がずれた状態で撮像される、いわゆる、ピンぼけといった現象を意識する必要がなく、画角内に撮像したい被写体が含まれるように撮像されていれば、距離に応じた係数セットを変化させることで様々な距離の被写体面の画像を、撮像後に再構成することができる。

尚、図１の右上部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではない。また、図１の右下部で示される検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値、すなわち、復元画像（最終画像）の各画素の値なので、画素値となる。

このような構成により、撮像レンズや、ピンホールを必要としない、いわゆるレンズレス撮像装置を実現することが可能となる。結果として、撮像レンズや、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。また、係数セットを様々に変化させることにより、様々な距離の被写体面における最終画像（復元画像）を再構成して復元することが可能となる。

尚、以降においては、固体撮像素子により撮像された、再構成される前の画像を単に撮像画像と称し、撮像画像が信号処理されることにより再構成されて復元される画像を最終画像（復元画像）と称する。従って、１枚の撮像画像からは、上述した係数セットを様々に変化させることにより、様々な距離の被写体面７１上の画像を最終画像として再構成させることができる。

しかしながら、レンズレス撮像装置においては、マスク５１に設けられた開口部５１ａにおいては、光線Ｌ１乃至Ｌ３が入射すると、出射する際に回折が発生することにより、入射光が拡散し、固体撮像素子１１上において撮像される画像上においてボケとして現れる。この結果、そのまま再構成して最終画像を求めると、ボケによる影響により、空間解像度の低い画像が最終画像となってしまう。

ところが、回折の影響の大きさは、入射光の波長と開口部５１ａの大きさを調整する最小単位である単位サイズにより変化させることができる。

そこで、本開示のレンズレス撮像装置においては、マスク５１および固体撮像素子１１を複数の領域に分割して、マスク５１前段に分割領域毎に入射光の波長帯域を変化させるバンドパスフィルタを設けるようにする。そして、回折により生じる入射光の拡散による影響を小さくするように、各領域のバンドパスフィルタにより透過する光の波長帯に応じた単位サイズで、マスク５１上に開口部５１ａのサイズが設けられるようにする。

このような構成により、領域毎に設定される入射光の波長帯に応じて適切に回折の影響を低減させて、領域毎に撮像画像を撮像し、信号処理により各領域の最終画像を再構成して、統合する。結果として、レンズレス撮像装置において、広い入射光の波長帯の入射光による撮像において、回折によるボケの影響を低減し、空間解像度の高い最終画像を再構成することが可能となる。

＜＜２．本開示の概要＞＞
次に、図３を参照して、本開示のレンズレス撮像装置の撮像素子の概要について説明する。尚、図３の左部は、一般的なレンズレス撮像装置における撮像素子の構成例を示しており、左上部がマスク５１の上面図であり、左下部がマスク５１と固体撮像素子１１とを側面上方からみた斜視図である。また、図３の右部は、本開示のレンズレス撮像装置における撮像素子の構成例を示しており、右上部がマスク１０２の上面図であり、右下部がマスク１０２の前段にバンドパスフィルタ１０３が設けられた状態のマスク１０２と固体撮像素子１０１とを側面上方からみた斜視図である。

一般的なレンズレス撮像装置の撮像素子は、例えば、図３の左部で示されるように、マスク５１における開口部５１ａの単位サイズが、全領域に対して一様に設定されて、固体撮像素子１１においては、マスク５１を透過した光より全体として１枚の画像が撮像される。

これに対して、本開示のレンズレス撮像装置の撮像素子は、固体撮像素子１０１、マスク１０２、およびバンドパスフィルタ１０３のそれぞれが、水平方向および垂直方向についてそれぞれ２領域ずつ合計４領域に分割されており、それぞれの領域に入射する入射光の波長帯がそれぞれ異なる、同一の被写体についての４枚の撮像画像が撮像される。

より詳細には、マスク１０２は、領域１０２Ａ乃至１０２Ｄからなる合計４領域に分割されており、領域１０２Ａ乃至１０２Ｄのそれぞれにおいては、単位サイズが異なる開口部１０２ａ乃至１０２ｄが設けられている。

また、開口部１０２ａ乃至１０２ｄのそれぞれの単位サイズは、マスク１０２の前段に設けられているバンドパスフィルタ１０３における各領域１０３Ａ乃至１０３Ｄのそれぞれにおいて透過させる光の波長帯に応じてランダムに設定される。

すなわち、領域１０２Ａの開口部１０２ａの単位サイズは、バンドパスフィルタ１０３の領域１０３Ａが透過させる波長帯の光が透過するとき、回折の影響が最も小さくなる単位サイズに設定される。

また、領域１０２Ｂの開口部１０２ｂの単位サイズは、バンドパスフィルタ１０３の領域１０３Ｂが透過させる波長帯の光が透過するとき、回折の影響が最も小さくなる単位サイズに設定される。

さらに、領域１０２Ｃの開口部１０２ｃの単位サイズは、バンドパスフィルタ１０３の領域１０３Ｃが透過させる波長帯の光が透過するとき、回折の影響が最も小さくなる単位サイズに設定される。

また、領域１０２Ｄの開口部１０２ｄの単位サイズは、バンドパスフィルタ１０３の領域１０３Ｄが透過させる波長帯の光が透過するとき、回折の影響が最も小さくなる単位サイズに設定される。

固体撮像素子１０１も、領域１０２Ａ乃至１０２Ｄに対応するように、領域１０１Ａ乃至１０１Ｄの４領域に分割されており、固体撮像素子１０１の領域１０１Ａが、バンドパスフィルタ１０３の領域１０３Ａが透過させる波長帯の光からなる撮像画像Ａを撮像する。

また、固体撮像素子１０１の領域１０１Ｂが、バンドパスフィルタ１０３の領域１０３Ｂが透過させる波長帯の光からなる撮像画像Ｂを撮像する。

さらに、固体撮像素子１０１の領域１０１Ｃが、バンドパスフィルタ１０３の領域１０３Ｃが透過させる波長帯の光からなる撮像画像Ｃを撮像する。

また、固体撮像素子１０１の領域１０１Ｄが、バンドパスフィルタ１０３の領域１０３Ｄが透過させる波長の光からなる撮像画像Ｄを撮像する。

そして、各波長帯における回折によるボケの影響が低減された撮像画像Ａ乃至Ｄを撮像することが可能となる。また、撮像画像Ａ乃至Ｄに基づいて、上述したレンズレスの撮像装置における信号処理が施されることにより、最終画像Ａ乃至Ｄが生成され、最終画像Ａ乃至Ｄが加算されて、１枚の最終画像に統合されることで、空間解像度の高い１枚の最終画像を復元することが可能となる。

＜＜３．第１の実施の形態＞＞
次に、図４を参照して、本開示のレンズレスの撮像装置（レンズレス撮像装置）の構成例について説明する。

図４は、本開示のレンズレスの撮像装置１１１の側面断面の構成例を示している。より詳細には、図４のレンズレスの撮像装置１１１は、制御部１２１、撮像素子１２２、信号処理部１２３、表示部１２４、および記憶部１２５より構成されている。

制御部１２１は、プロセッサなどより構成されており、レンズレスの撮像装置１１１の全体の動作を制御している。

撮像素子１２２は、図３の右部を参照して説明した構成とされており、図４の右向きの矢印で示される被写体からの入射光の光量に応じた画素信号からなる画像を撮像画像として撮像して信号処理部１２３に出力する。

より詳細には、撮像素子１２２は、図３の右部に対応しており、図中左からバンドパスフィルタ１０３、マスク１０２、および固体撮像素子１０１より構成される。

バンドパスフィルタ１０３は、図３を参照して説明したように水平方向および垂直方向にそれぞれ２分割され、すなわち、領域１０３Ａ乃至１０３Ｄの合計４分割にされており、それぞれの領域ごとに入射光のうち異なる波長帯の光を透過させる。

例えば、図５で示されるように、バンドパスフィルタ１０３の領域１０３Ａは、入射光のうち所定の波長λ1乃至λ1＋α付近の波長帯ＺＡの入射光を透過させ、領域１０３Ｂは、入射光のうち所定の波長λ1＋α乃至λ1＋2α付近の波長帯ＺＢの入射光を透過させ、領域１０３Ｃは、入射光のうち所定の波長λ1＋2α乃至λ1＋3α付近の波長帯ＺＣの入射光を透過させ、領域１０３Ｄは、入射光のうち所定の波長λ1＋3α乃至λ1＋4α付近の波長帯ＺＤの入射光を透過させる。

ここで、λ1は、入射光のうちの所定の波長であり、αは所定の定数である。

したがって、バンドパスフィルタ１０３の領域１０３Ａ乃至１０３Ｄは、入射光のうち、それぞれ異なる波長帯ＺＡ乃至ＺＤの入射光を透過させる。尚、波長帯ＺＡ乃至ＺＤについては、図５において、波長帯の幅がほぼ同一とされているが、同一の幅である必要は無く、異なる幅であってもよい。

マスク１０２は、図３の右部で示されるように、バンドパスフィルタ１０３の領域１０３Ａ乃至１０３Ｄに対応するように、領域１０２Ａ乃至１０２Ｄに分割されており、それぞれのマスクにおける遮光部と開口部との間隔を調整する単位サイズΔ（図１の左下部参照）が、透過する光の波長に対応して回折による影響を最小にするように調整される。

例えば、マスク１０２と固体撮像素子１０１との間隔が所定の距離ｄである場合、マスク１０２を入射光が透過する場合に発生する回折の大きさは、透過する光の波長と開口部のサイズを調整する単位サイズΔにより変化する。

例えば、図６の最上段で示されるように、入射光の波長が波長λ1であるとき、１個の開口部の大きさを、単位サイズΔで、図中の左からΔ1乃至Δ1＋7βまで所定の幅β単位で変化させるとき、固体撮像素子１０１により撮像される、１個の開口部を通過する入射光の撮像画像は、撮像画像Ｆ１乃至Ｆ８のように変化する。

開口部により回折が発生すると、固体撮像素子１０１の撮像面においては、入射光に対する入射光の画像が、スポット状の画像にならず、光が散乱されて拡がっているような画像となり、さらに、回折の影響の程度により拡がりの大きさが変化する。

すなわち、図６の最上段における、入射光の波長が波長λ1である場合、撮像画像Ｆ４（単位サイズΔ＝Δ1＋3β）において、スポット径が最も明るく、かつ、最小となり、回折の影響が最小になっているとみなすことができる。また、このとき、撮像画像Ｆ３，Ｆ２，Ｆ１で示されるように、単位サイズΔが小さくなるにしたがって、または、撮像画像Ｆ５乃至Ｆ８で示されるように単位サイズΔが大きくなるにしたがって、中心付近のスポットが拡がり、回折による影響が徐々に大きくなっていることが示されている。

また、図６の上から２段目で示されるように、入射光の波長が波長λ1＋αであるとき、単位サイズΔをΔ1乃至Δ1＋7βまで所定の幅β単位で変化させるとき、固体撮像素子１０１により撮像される、１個の開口部を通過する入射光の撮像画像は、撮像画像Ｆ１１乃至Ｆ１８のように変化する。

すなわち、図６の２段目における、入射光の波長が波長λ1＋αである場合、撮像画像Ｆ１５（単位サイズΔ＝Δ1＋4β）において、スポット径が最も明るく、かつ、最小となり、回折の影響が最小になっているとみなすことができる。また、撮像画像Ｆ１４，Ｆ１３，Ｆ１２，Ｆ１１で示されるように、単位サイズΔが小さくなるにしたがって、または、撮像画像Ｆ１６乃至Ｆ１８で示されるように単位サイズΔが大きくなるにしたがって、中心付近のスポットが拡がり、回折による影響が徐々に大きくなっていることが示されている。

さらに、図６の上から３段目で示されるように、入射光の波長が波長λ1＋2αであるとき、単位サイズΔをΔ1乃至Δ1＋7βまで所定の幅β単位で変化させるとき、固体撮像素子１０１により撮像される、１個の開口部を通過する入射光の撮像画像は、撮像画像Ｆ２１乃至Ｆ２８のように変化する。

すなわち、図６の３段目における、入射光の波長が波長λ1＋2αである場合、撮像画像Ｆ２５（単位サイズΔ＝Δ1＋4β）において、スポット径が最も明るく、かつ、最小となり、回折の影響が最小になっているとみなすことができる。また、撮像画像Ｆ２４，Ｆ２３，Ｆ２２，Ｆ２１で示されるように、単位サイズΔが小さくなるにしたがって、または、撮像画像Ｆ２６乃至Ｆ２８で示されるように単位サイズΔが大きくなるにしたがって、中心付近のスポットが拡がり、回折による影響が徐々に大きくなっていることが示されている。

また、図６の上から４段目で示されるように、入射光の波長が波長λ1＋3αであるとき、単位サイズΔをΔ1乃至Δ1＋7βまで所定の幅β単位で変化させるとき、固体撮像素子１０１により撮像される、１個の開口部を通過する入射光の撮像画像は、撮像画像Ｆ３１乃至Ｆ３８のように変化する。

すなわち、図６の４段目における、入射光の波長が波長λ1＋3αである場合、撮像画像Ｆ３６（単位サイズΔ＝Δ1＋5β）において、スポット径が最も明るく、かつ、最小となり、回折の影響が最小になっているとみなすことができる。また、撮像画像Ｆ３５，Ｆ３４，Ｆ３３，Ｆ３２，Ｆ３１で示されるように、単位サイズΔが小さくなるにしたがって、または、撮像画像Ｆ２６乃至Ｆ２８で示されるように単位サイズΔが大きくなるにしたがって、中心付近のスポットが拡がり、回折による影響が徐々に大きくなっていることが示されている。

そこで、バンドパスフィルタ１０３の領域１０３Ａ乃至１０３Ｄのそれぞれが、図５で示される波長帯ＺＡ乃至ＺＤのそれぞれの波長帯の光を透過させる場合、対応するマスク１０２の領域１０２Ａ乃至１０２Ｄの開口部１０２ａ乃至１０２ｄの単位サイズΔは、それぞれΔ1＋3β、Δ1＋4β、Δ1＋4β、およびΔ1＋5βに設定することにより、それぞれの波長帯の光による回折の影響を最小にした状態で入射光を変調させて、固体撮像素子１０１に入射させることができる。

結果として、固体撮像素子１０１の領域１０１Ａ乃至１０１Ｄは、それぞれ回折によるボケの影響が最小となる各波長帯の4枚の撮像画像を撮像することが可能となる。

固体撮像素子１０１は、CMOSイメージセンサなどから構成されており、各画素単位で入射光の光量に応じた画素信号からなる撮像画像を撮像して信号処理部１２３に出力する。また、固体撮像素子１０１は、バンドパスフィルタ１０３およびマスク１０２のそれぞれの領域１０３Ａ乃至１０３Ｄおよび領域１０２Ａ乃至１０２Ｄに対応するように領域１０１Ａ乃至１０１Ｄに分割されており、それぞれの領域毎に異なる波長帯の入射光からなる同一の範囲の、合計４枚の撮像画像Ａ乃至Ｄを撮像して信号処理部１２３に出力する。尚、固体撮像素子１０１においては、領域１０１Ａ乃至１０１Ｄの範囲において、視差が生じる４枚の同一の撮像画像Ａ乃至Ｄからなる１枚の撮像画像が撮像されることになるが、ここでは、撮像画像Ａ乃至Ｄの視差による影響は無視して説明を進めるものとする。

信号処理部１２３は、撮像素子１２２より供給される撮像画像Ａ乃至Ｄの画像信号に対して、例えば、図２および式（１）乃至式（３）を用いて説明したように、連立方程式を解くことにより、領域１０１Ａ乃至１０１Ｄのそれぞれについて最終画像Ａ乃至Ｄを再構成して統合し、１枚の最終画像として表示部１２４に出力して表示させる、または、記憶部１２５に記憶させる。

尚、信号処理部１２３の詳細な構成については、図７を参照して、詳細を後述する。

＜信号処理部の構成例＞
次に、図７を参照して、信号処理部１２３の詳細な構成例について説明する。

信号処理部１２３は、信号領域分割部１３１、画像再構成部１３２、および画像統合部１３３を備えている。

信号領域分割部１３１は、撮像素子１２２より供給されてくる画像を領域１０１Ａ乃至１０１Ｄのそれぞれの領域の画素信号からなる撮像画像Ａ乃至Ｄに分割して、それぞれ画像再構成部１３２の画像再構成処理部１５１Ａ乃至１５１Ｄに出力する。

画像再構成部１３２は、信号領域分割部１３１により領域１０１Ａ乃至１０１Ｄのそれぞれに分割された４枚の撮像画像Ａ乃至Ｄのそれぞれを、図２および式（１）乃至式（３）を参照して説明したように、連立方程式を解くことにより最終画像Ａ乃至Ｄとして再構成し、再構成した最終画像Ａ乃至Ｄを画像統合部１３３に出力する。

より詳細には、画像再構成部１３２は、信号領域分割部１３１により分割された領域１０１Ａ乃至１０１Ｄのそれぞれの撮像画像Ａ乃至Ｄより最終画像Ａ乃至Ｄを再構成する画像再構成処理部１５１Ａ乃至１５１Ｄを備えている。画像再構成処理部１５１Ａ乃至１５１Ｄは、それぞれ信号領域分割部１３１により分割された領域１０１Ａ乃至１０１Ｄのそれぞれの撮像画像Ａ乃至Ｄより最終画像Ａ乃至Ｄを再構成し、画像統合部１３３に出力する。

画像統合部１３３は、画像再構成部１３２の画像再構成処理部１５１Ａ乃至１５１Ｄより供給される固体撮像素子１０１における領域１０１Ａ乃至１０１Ｄの撮像画像Ａ乃至Ｄより再構成された最終画像Ａ乃至Ｄを重ね合わせるように統合して１枚の画像にして表示部１２４に出力して表示させる、および記憶部１２５に出力して記憶させる。

＜撮像処理＞
次に、図８のフローチャートを参照して、図１のレンズレスの撮像装置１１１による撮像処理について説明する。

ステップＳ１１において、バンドパスフィルタ１０３における各領域１０３Ａ乃至１０３Ｄのそれぞれが、入射光のうち、図２を参照して説明した、それぞれの波長帯ＺＡ乃至ＺＤの光を透過させる。

ステップＳ１２において、マスク１０２における、各領域１０２Ａ乃至１０２Ｄのそれぞれが、単位サイズΔに応じた開口部１０２ａ乃至１０２ｄにより、入射光を変調して固体撮像素子１０１の撮像面に入射させる。

ステップＳ１３において、固体撮像素子１０１における、領域１０１Ａ乃至１０１Ｄのそれぞれが、マスク１０２の領域１０２Ａ乃至１０２Ｄを透過することにより変調された光からなる撮像画像Ａ乃至Ｄを撮像して１枚の撮像画像として信号処理部１２３に出力する。

ステップＳ１４において、信号処理部１２３の信号領域分割部１３１は、撮像素子１２２の固体撮像素子１０１より供給されてくる撮像画像を、領域１０１Ａ乃至１０１Ｄのそれぞれに対応する領域の撮像画像Ａ乃至Ｄに分割し、それぞれを画像再構成部１３２の画像再構成処理部１５１Ａ乃至１５１Ｄに出力する。

ステップＳ１５において、画像再構成処理部１５１Ａ乃至１５１Ｄは、それぞれ固体撮像素子１０１における領域１０１Ａ乃至１０１Ｄにより撮像された撮像画像Ａ乃至Ｄを、図２および式（１）乃至式（３）を参照して説明した処理により再構成し、最終画像Ａ乃至Ｄを生成して画像統合部１３３に出力する。

ステップＳ１６において、画像統合部１３３は、領域１０１Ａ乃至１０１Ｄにより撮像された４枚の撮像画像Ａ乃至Ｄのそれぞれより求められた最終画像Ａ乃至Ｄを重ね合わせるようにして統合し、１枚の最終画像として出力する。

以上の処理により、入射光の波長帯に応じたマスク１０２の各領域１０２Ａ乃至１０２Ｄの単位サイズΔに応じたサイズの開口部と遮光部とにより光が変調されることにより、回折による影響が最小となった状態で、それぞれの波長帯の撮像画像Ａ乃至Ｄを撮像することが可能となり、撮像された撮像画像Ａ乃至Ｄより最終画像Ａ乃至Ｄを再構成することが可能となる。結果として、再構成される最終画像Ａ乃至Ｄにおいても、回折によるボケの影響を低減させることが可能となり、空間解像度の高い最終画像を生成することが可能となる。

特に、長波長帯の光による回折の影響は大きいため、長波長帯の光における回折の影響によるボケの発生を効果的に抑制することが可能となる。

例えば、温度情報を撮像可能なことで知られている遠赤外線の画像センシング（サーモグラフィセンシング）においては、広範囲の長波長帯の積分された光のピーク波長によって対象の温度が決定される。より具体的には、センシングされる波長帯の範囲は、一般に8μｍ乃至14μｍ周辺とされている。この場合、センシング対象の最短波長から、最長波長までの波長差は約２倍となる。

また、可視光と近赤外光を同時に撮像するような撮像系も近年多くのものが存在するが、この場合にも、最短波長となる450nmをピークに持つ青色と、最長波長となる800nmをピークに持つ近赤外光との波長差は、約２倍となる。

このように、広範囲の波長帯の光を積分して露光する場合、広範囲の波長帯の全域に対して、回折によるボケの影響を低減するための最適化を図るのは困難となる。例えば、短波長側の点広がりを小さくするような変調を設計する場合、長波長側の点広がりは大きくなり画像の空間解像度は低下する。その逆の場合も同様であり、高い空間解像度の画像復元は難しくなる。

そこで、例えば、温度情報を撮像可能な画像センシングをする場合、上述した図５の波長λ1を8μｍとし、αを1.5μｍとして、波長帯ＺＡ乃至ＺＤを、8μｍ乃至9.5μｍ、9.5μｍ乃至11μｍ、11μｍ乃至12.5μｍ、12.5μｍ乃至14μｍの近傍付近となるように設定することで、近赤外光から遠赤外光の範囲を適切な波長帯として設定することができる。また、それぞれの波長帯において回折の影響が小さくなるようにマスク１０２の領域１０２Ａ乃至１０２Ｄのそれぞれの単位サイズΔを設定することで、回折によるボケの影響を低減させた温度情報の撮像を実現することが可能となる。

また、上述した波長帯ＺＡ乃至ＺＤは、これ以外の波長帯に設定されるものであってもよく、例えば、ＲＧＢ（赤、緑、青の可視光）およびＩＲ（赤外光）となるように設定するようにしてもよい。

さらに、以上においては、バンドパスフィルタ１０３、マスク１０２、および固体撮像素子１０１のそれぞれを、波長帯に応じて、４つの領域に分割して、それぞれの領域において撮像画像Ａ乃至Ｄを撮像し、撮像画像Ａ乃至Ｄを用いた信号処理により、最終画像Ａ乃至Ｄを再構成して、１枚の最終画像に統合する例について説明してきた。しかしながら、分割領域は、４つ以外の数であってもよく、解像度の大きな低下を招かない程度であれば、さらに多くの数に分割するようにしてもよい。また、最終的に統合するため、各領域のサイズは、略同一であることが望ましいが、厳密に同一でなくてもよく、最終画像において必要な範囲を全ての撮像画像が含んでいればよい。

さらに、画像統合部１３３は、複数の画像を統合する際、１枚の固体撮像素子１０１における複数の領域で撮像される画像の位置に応じた視差補正を行った後に、統合するようにしてもよい。これにより、より空間解像度を向上させることが可能となる。

また、以上においては、画像統合部１３３が、複数の再構成された最終画像を重ねるようにして１枚の画像に統合する例について説明してきたが、複数の最終画像を用いて１枚の画像を最終的に生成することができれば統合しているものとみなしてよい。

したがって、画像統合部１３３は、例えば、複数の最終画像のうち、いずれか１枚の最終画像を選択することで、複数の最終画像を統合してもよい。ここで選択される１枚の最終画像は、例えば、回折の影響が最も小さな画像であってもよい。

また、画像統合部１３３は、例えば、複数の最終画像のうち、いずれか複数の最終画像を選択し、選択した最終画像を重ね合わせるようにすることで、複数の最終画像を統合してもよい。ここで選択されるいずれか複数の最終画像は、例えば、回折の影響が比較的小さな複数の最終画像であってもよい。

＜＜４．第２の実施の形態＞＞
以上においては、バンドパスフィルタ１０３、マスク１０２、および固体撮像素子１０１のそれぞれを対応する複数の領域に分割し、分割された領域毎にバンドパスフィルタ１０３により透過させる入射光の波長帯を設定し、領域毎の波長帯に応じた単位サイズにより構成される開口部からなるマスク１０２により入射光を変調させることで、回折による影響を低減した状態で領域毎に撮像画像を撮像し、領域毎に撮像した撮像画像から最終画像を再構成して、各領域の最終画像を統合することで、回折によるボケの影響を低減させることで、空間解像度の高い１枚の最終画像を撮像する例について説明してきた。

しかしながら、回折の影響の程度は、入射光の波長帯に応じて、マスク１０２と固体撮像素子１０１との距離により調整することもできる。そこで、マスク１０２の開口部を同一の単位サイズΔで全領域において形成し、入射光の波長帯に応じた領域毎に、マスク１０２と固体撮像素子１０１との距離を変えて回折による影響を低減するようにしてもよい。

図９は、マスク１０２に形成される開口部を全領域において、同一の単位サイズΔで形成し、入射光の波長帯に応じた領域毎に、マスク１０２と固体撮像素子１０１との距離を変えて回折による影響を低減するレンズレスの撮像装置１１１の撮像素子１２２の構成例を示している。

尚、図９において、図３と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。すなわち、図９においては、図３と異なる点は、マスク１０２の領域１０２Ａ乃至領域１０２Ｄおよびバンドパスフィルタ１０３の領域１０３Ａ乃至１０３Ｄに代えて、領域１０２Ａ’乃至１０２Ｄ’、および領域１０３Ａ’乃至１０３Ｄ’が設定されている点である。また、図９においては、領域１０２Ａ’，１０２Ｂ’には、マスクパターンの記載が省略されているが、説明の便宜上省略されているのみであり、現実には、領域１０２Ａ’乃至１０２Ｄ’には、同一の単位サイズのマスクパターンが設けられている。

図９においては、固体撮像素子１０１の各領域１０１Ａ乃至１０１Ｄと、それぞれのマスク１０２における領域１０２Ａ’乃至１０２Ｄ’との距離が領域毎に異なる。

すなわち、図９においては、固体撮像素子１０１の領域１０１Ａとマスク１０２の領域１０２Ａ’との距離は、距離ＧａｐＡであり、固体撮像素子１０１の領域１０１Ｂとマスク１０２の領域１０２Ｂ’との距離は、距離ＧａｐＢであり、固体撮像素子１０１の領域１０１Ｃとマスク１０２の領域１０２Ｃ’との距離は、距離ＧａｐＣであり、固体撮像素子１０１の領域１０１Ｄとマスク１０２の領域１０２Ｄ’との距離は、距離ＧａｐＤであり、ＧａｐＡ乃至ＧａｐＤは、それぞれ異なる距離とされている。

これは、回折の影響の程度が、入射光の波長帯に応じて、マスク１０２と固体撮像素子１０１との距離により調整することができるためである。

例えば、マスク１０２の開口部を調整する単位サイズΔが、全領域について所定の同一値とした場合、図１０の最上段で示されるように、入射光の波長が波長λ1である場合、マスク１０２と固体撮像素子１０１との距離をG1乃至G1＋11γまで変化させるとき、固体撮像素子１０１により撮像される、１個の開口部を通過する入射光の撮像画像は、撮像画像Ｆ１０１乃至Ｆ１０８のように変化する。

開口部により回折が発生すると、固体撮像素子１０１の撮像面においては、入射光に対する入射光の画像が、スポット状の画像にならず、光が散乱されて拡がっているような画像となり、さらに、回折の影響の程度により拡がりの大きさが変化する。

すなわち、図１０の最上段における、入射光の波長が波長λ1である場合、画像Ｆ１０６（マスク１０２と固体撮像素子１０１との距離＝G1＋9γ）において、スポット径が最も明るく、かつ、最小となり、回折の影響が最小になっているとみなすことができる。また、このとき、画像Ｆ１０５乃至Ｆ１０１で示されるように、マスク１０２と固体撮像素子１０１との距離が小さくなるにしたがって、または、画像Ｆ１０７で示されるように、マスク１０２と固体撮像素子１０１との距離が大きくなるにしたがって、中心付近のスポットが拡がり、回折による影響が徐々に大きくなっていることが示されている。

また、図１０の２段目で示されるように、入射光の波長が波長λ1＋αである場合、マスク１０２と固体撮像素子１０１との距離をG1乃至G1＋11γまで変化させるとき、固体撮像素子１０１により撮像される、１個の開口部を通過する入射光の撮像画像は、撮像画像Ｆ１１１乃至Ｆ１１８のように変化する。

すなわち、図１０の２段目における、入射光の波長が波長λ1＋αである場合、撮像画像Ｆ１１５（マスク１０２と固体撮像素子１０１との距離＝G1＋7γ）において、スポット径が最も明るく、かつ、最小となり、回折の影響が最小になっているとみなすことができる。また、このとき、撮像画像Ｆ１１４乃至Ｆ１１１で示されるように、マスク１０２と固体撮像素子１０１との距離が小さくなるにしたがって、または、撮像画像Ｆ１１６，Ｆ１１７で示されるように、マスク１０２と固体撮像素子１０１との距離が大きくなるにしたがって、中心付近のスポットが拡がり、回折による影響が徐々に大きくなっていることが示されている。

さらに、図１０の３段目で示されるように、入射光の波長が波長λ1＋2αである場合、マスク１０２と固体撮像素子１０１との距離をG1乃至G1＋11γまで変化させるとき、固体撮像素子１０１により撮像される、１個の開口部を通過する入射光の撮像画像は、撮像画像Ｆ１２１乃至Ｆ１２８のように変化する。

すなわち、図１０の３段目における、入射光の波長が波長λ1＋2αである場合、撮像画像Ｆ１２４（マスク１０２と固体撮像素子１０１との距離＝G1＋5γ）において、スポット径が最も明るく、かつ、最小となり、回折の影響が最小になっているとみなすことができる。また、このとき、撮像画像Ｆ１２３乃至Ｆ１２１で示されるように、マスク１０２と固体撮像素子１０１との距離が小さくなるにしたがって、または、撮像画像Ｆ１２５乃至Ｆ１２７で示されるように、マスク１０２と固体撮像素子１０１との距離が大きくなるにしたがって、中心付近のスポットが拡がり、回折による影響が徐々に大きくなっていることが示されている。

また、図１０の４段目で示されるように、入射光の波長が波長λ1＋3αである場合、マスク１０２と固体撮像素子１０１との距離をG1乃至G1＋11γまで変化させるとき、固体撮像素子１０１により撮像される、１個の開口部を通過する入射光の撮像画像は、撮像画像Ｆ１３１乃至Ｆ１３８のように変化する。

すなわち、図１０の４段目における、入射光の波長が波長λ1＋3αである場合、撮像画像Ｆ１３３（マスク１０２と固体撮像素子１０１との距離＝G1＋3γ）において、スポット径が最も明るく、かつ、最小となり、回折の影響が最小になっているとみなすことができる。また、このとき、撮像画像Ｆ１３２，Ｆ１３１で示されるように、マスク１０２と固体撮像素子１０１との距離が小さくなるにしたがって、または、撮像画像Ｆ１３４乃至Ｆ１３７で示されるように、マスク１０２と固体撮像素子１０１との距離が大きくなるにしたがって、中心付近のスポットが拡がり、回折による影響が徐々に大きくなっていることが示されている。

そこで、図９のバンドパスフィルタ１０３の領域１０３Ａ’乃至１０３Ｄ’のそれぞれが、図５で示される波長帯ＺＡ乃至ＺＤのそれぞれの波長帯の光を透過させる場合、対応するマスク１０２の領域１０２Ａ’乃至１０２Ｄ’と固体撮像素子１０１の領域１０１Ａ乃至１０１Ｄとのそれぞれの距離ＧａｐＡ乃至Ｄを、G1＋9γ、G1＋7γ、G1＋5γ、およびG1＋3γに設定することにより、それぞれの波長帯における光による回折を最小にした状態で入射光を変調させて、固体撮像素子１０１に入射させることができる。

結果として、固体撮像素子１０１は、回折によるボケの影響が最小となる各波長帯の4枚の撮像画像を撮像することが可能となる。

尚、図９を参照して説明した構成の撮像素子１２２を用いたレンズレスの撮像装置１１１における撮像処理については、図８のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。

また、透過する波長帯に応じて、回折の影響が最小となるようにバンドパスフィルタ１０３、マスク１０２、および固体撮像素子１０１を構成できればよいので、透過する波長帯が同一の領域毎に、マスク１０２の単位サイズと、マスク１０２および固体撮像素子１０１間の距離との両方を調整するようにしてもよい。

＜＜５．第３の実施の形態＞＞
以上においては、バンドパスフィルタ１０３、マスク１０２、および固体撮像素子１０１のそれぞれを、バンドパスフィルタ１０３により透過させる光の波長帯に応じた領域に、分割して、それぞれの領域において、波長帯毎に回折の影響が最小となるようにして、それぞれの領域においてマスク１０２により変調し、固体撮像素子１０１により撮像し、撮像した領域毎の撮像画像より、各領域の最終画像を再構成して、１枚の最終画像として統合する例について説明してきた。

しかしながら、各領域の境界付近においては、異なる波長帯の光が混色してしまう恐れがあり、境界付近において適切に回折の影響を低減できない恐れがある。

そこで、分割された領域の境界に遮光壁を設けるようにして、異なる波長帯の光の混色を防止するようにして、各波長帯の領域毎に、適切に回折の影響を低減できるようにしてもよい。

図１１は、分割された領域の境界に遮光壁を設けるようにしたレンズレスの撮像装置１１１の撮像素子１２２の構成例を示している。尚、図１１において、図３と同一の機能を備えた構成については、同一の符号を付しており、その説明は省略する。

すなわち、図１１において、図３のレンズレス撮像装置の撮像素子と異なる点は、バンドパスフィルタ１０３の領域１０３Ａ乃至１３０Ｄ、マスク１０２の領域１０２Ａ乃至１０２Ｄ、および、固体撮像素子１０１の領域１０１Ａ乃至１０１Ｄのそれぞれの境界に、遮光壁２０１－１，２０１－２が設けられている点である。

遮光壁２０１－１，２０１－２が、バンドパスフィルタ１０３の領域１０３Ａ乃至１３０Ｄ、マスク１０２の領域１０２Ａ乃至１０２Ｄ、および、固体撮像素子１０１の領域１０１Ａ乃至１０１Ｄのそれぞれの境界に設けられることにより、各領域の境界付近における隣接する波長帯の光による混色を防止することが可能となり、各領域において、確実に回折による影響を低減させることが可能となる。

結果として、各領域における波長帯の入射光により回折に起因するボケの影響を低減して撮像画像を撮像することが可能となるので、撮像画像に基づいて再構成される最終画像の空間解像度を高めることが可能となる。

尚、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。

＜１＞ 複数の領域に分割され、前記領域毎に異なる波長帯の入射光を透過させるバンドパスフィルタと、
前記複数の領域に対応して分割され、前記バンドパスフィルタを透過した、前記領域毎に異なる波長帯の入射光を変調するマスクと、
前記複数の領域に対応して撮像面が分割され、前記領域毎に前記マスクにより変調された入射光を２次元の画素信号として撮像する固体撮像素子と、
前記固体撮像素子により撮像された２次元の画素信号を、信号処理により最終画像として再構成する信号処理部と
を含む撮像装置。
＜２＞ 前記マスクは、前記領域毎に異なる単位サイズのマスクパターンである
＜１＞に記載の撮像装置。
＜３＞ 前記領域毎の、前記マスクパターンは、前記バンドパスフィルタを透過する入射光の波長帯に基づいた、異なる単位サイズのマスクパターンである
＜２＞に記載の撮像装置。
＜４＞ 前記領域毎の、前記マスクパターンは、前記バンドパスフィルタを透過する波長帯の入射光が、前記固体撮像素子により撮像されるとき、回折による前記入射光の拡散が略最小となる単位サイズのマスクパターンである
＜２＞に記載の撮像装置。
＜５＞ 前記マスクから前記固体撮像素子の撮像面までの距離は、前記領域毎に異なる距離である
＜１＞に記載の撮像装置。
＜６＞ 前記マスクから前記固体撮像素子の撮像面までの距離は、前記領域毎の、前記バンドパスフィルタを透過する入射光の波長帯に基づいた異なる距離である
＜５＞に記載の撮像装置。
＜７＞ 前記領域毎の、前記マスクから前記固体撮像素子の撮像面までの距離は、前記バンドパスフィルタを透過する波長帯の入射光が、前記固体撮像素子により撮像されるとき、回折による前記入射光の拡散が略最小となる距離である
＜６＞に記載の撮像装置。
＜８＞ 前記マスクは、全ての前記領域について、同一の単位サイズのマスクパターンである
＜５＞に記載の撮像装置。
＜９＞ 前記バンドパスフィルタ、前記マスク、および前記固体撮像素子における、前記複数の領域における境界において、隣接する領域からの入射光を遮光する遮光壁をさらに含む
＜１＞に記載の撮像装置。
＜１０＞ 前記信号処理部は、
前記固体撮像素子により撮像された２次元の画素信号を、前記複数の領域に対応付けて分割する分割部と、
分割された前記２次元の画素信号のそれぞれについて、信号処理により最終画像として再構成する複数の画像再構成部と、
前記複数の画像再構成部により再構成された最終画像を統合する統合部とを含む
＜１＞に記載の撮像装置。
＜１１＞ 前記統合部は、前記複数の画像再構成部により再構成された最終画像を重ね合わせることにより統合する
＜１０＞に記載の撮像装置。
＜１２＞ 前記統合部は、前記複数の画像再構成部により再構成された最終画像のいずれか１枚を選択することにより統合する
＜１０＞に記載の撮像装置。
＜１３＞ 前記統合部は、前記複数の画像再構成部により再構成された最終画像の少なくとも２枚以上を選択し、選択した前記最終画像を重ね合わせるようにして統合する
＜１０＞に記載の撮像装置。
＜１４＞ 前記固体撮像素子と、前記マスクとの間には、前記入射光の入射方向に対して微細な隙間がある
＜１＞に記載の撮像装置。
＜１５＞ 前記入射光を前記バンドパスフィルタ、前記マスク、および前記固体撮像素子のいずれに対しても合焦させるレンズを含まない
＜１＞に記載の撮像装置。
＜１６＞ 前記入射光の波長帯は、約8μm乃至約14μmである
＜１＞に記載の撮像装置。
＜１７＞ 複数の領域に分割され、前記領域毎に異なる波長帯の入射光を透過させるバンドパスフィルタと、
前記複数の領域に対応して分割され、前記バンドパスフィルタを透過した、前記領域毎に異なる波長帯の入射光を変調するマスクと、
前記複数の領域に対応して撮像面が分割され、前記領域毎に前記マスクにより変調された入射光を２次元の画素信号として撮像する固体撮像素子とを含む撮像装置の撮像方法であって、
前記固体撮像素子により撮像された２次元の画素信号を、信号処理により最終画像として再構成する信号処理
を含む撮像方法。
＜１８＞ 複数の領域に分割され、前記領域毎に異なる波長帯の入射光を透過させるバンドパスフィルタと、
前記複数の領域に対応して分割され、前記バンドパスフィルタを透過した、前記領域毎に異なる波長帯の入射光を変調するマスクと、
前記複数の領域に対応して撮像面が分割され、前記領域毎に前記マスクにより変調された入射光を２次元の画素信号として撮像する固体撮像素子とを含む
撮像素子。

１０１ 固体撮像素子， １０１Ａ乃至１０１Ｄ，１０１Ａ’乃至１０１Ｄ’ 領域， １０２ マスク， １０２Ａ乃至１０２Ｄ，１０２Ａ’乃至１０２Ｄ’ 領域， １０３ バンドパスフィルタ， １０３Ａ乃至１０３Ｄ，１０３Ａ’乃至１０３Ｄ’ 領域， １１１ レンズレス撮像装置， １２１ 制御部， １２２ 撮像素子， １２３ 信号処理部， １２４ 表示部， １２５ 記憶部， １３１ 信号領域分割部， １３２ 画像再構成部， １３３ 画像統合部， １５１Ａ乃至１５１Ｄ 画像再構成処理部

Claims (16)

1. 複数の領域に分割され、前記領域毎に異なる波長帯の入射光を透過させるバンドパスフィルタと、
   前記複数の領域に対応して分割され、前記領域毎に異なる単位サイズのマスクパターンから構成され、前記バンドパスフィルタを透過した、前記領域毎に異なる波長帯の入射光を変調するマスクと、
   前記複数の領域に対応して撮像面が分割され、前記領域毎に前記マスクにより変調された入射光を２次元の画素信号として撮像する固体撮像素子と、
   前記固体撮像素子により撮像された２次元の画素信号を、信号処理により最終画像として再構成する信号処理部とを含み、
   前記領域毎の、前記マスクパターンは、前記バンドパスフィルタを透過する波長帯の入射光が、前記固体撮像素子により撮像されるとき、回折による前記入射光の拡散が略最小となる前記単位サイズのマスクパターンである
   撮像装置。
2. 前記領域毎の、前記マスクパターンは、前記バンドパスフィルタを透過する入射光の波長帯に基づいた、異なる単位サイズのマスクパターンである
   請求項１に記載の撮像装置。
3. 前記マスクから前記固体撮像素子の撮像面までの距離は、前記領域毎に異なる距離である
   請求項１に記載の撮像装置。
4. 前記マスクから前記固体撮像素子の撮像面までの距離は、前記領域毎の、前記バンドパスフィルタを透過する入射光の波長帯に基づいた異なる距離である
   請求項３に記載の撮像装置。
5. 前記領域毎の、前記マスクから前記固体撮像素子の撮像面までの距離は、前記バンドパスフィルタを透過する波長帯の入射光が、前記固体撮像素子により撮像されるとき、回折による前記入射光の拡散が略最小となる距離である
   請求項４に記載の撮像装置。
6. 前記マスクは、全ての前記領域について、同一の単位サイズのマスクパターンである
   請求項３に記載の撮像装置。
7. 前記バンドパスフィルタ、前記マスク、および前記固体撮像素子における、前記複数の領域における境界において、隣接する領域からの入射光を遮光する遮光壁をさらに含む
   請求項１に記載の撮像装置。
8. 前記信号処理部は、
   前記固体撮像素子により撮像された２次元の画素信号を、前記複数の領域に対応付けて分割する分割部と、
   分割された前記２次元の画素信号のそれぞれについて、信号処理により最終画像として再構成する複数の画像再構成部と、
   前記複数の画像再構成部により再構成された最終画像を統合する統合部とを含む
   請求項１に記載の撮像装置。
9. 前記統合部は、前記複数の画像再構成部により再構成された最終画像を重ね合わせることにより統合する
   請求項８に記載の撮像装置。
10. 前記統合部は、前記複数の画像再構成部により再構成された最終画像のいずれか１枚を選択することにより統合する
    請求項８に記載の撮像装置。
11. 前記統合部は、前記複数の画像再構成部により再構成された最終画像の少なくとも２枚以上を選択し、選択した前記最終画像を重ね合わせるようにして統合する
    請求項８に記載の撮像装置。
12. 前記固体撮像素子と、前記マスクとの間には、前記入射光の入射方向に対して微細な隙間がある
    請求項１に記載の撮像装置。
13. 前記入射光を前記バンドパスフィルタ、前記マスク、および前記固体撮像素子のいずれに対しても合焦させるレンズを含まない
    請求項１に記載の撮像装置。
14. 前記入射光の波長帯は、約8μm乃至約14μmである
    請求項１に記載の撮像装置。
15. 複数の領域に分割され、前記領域毎に異なる波長帯の入射光を透過させるバンドパスフィルタと、
    前記複数の領域に対応して分割され、前記領域毎に異なる単位サイズのマスクパターンから構成され、前記バンドパスフィルタを透過した、前記領域毎に異なる波長帯の入射光を変調するマスクと、
    前記複数の領域に対応して撮像面が分割され、前記領域毎に前記マスクにより変調された入射光を２次元の画素信号として撮像する固体撮像素子とを含み、
    前記領域毎の、前記マスクパターンは、前記バンドパスフィルタを透過する波長帯の入射光が、前記固体撮像素子により撮像されるとき、回折による前記入射光の拡散が略最小となる前記単位サイズのマスクパターンである撮像装置の撮像方法であって、
    前記固体撮像素子により撮像された２次元の画素信号を、信号処理により最終画像として再構成する信号処理
    を含む撮像方法。
16. 複数の領域に分割され、前記領域毎に異なる波長帯の入射光を透過させるバンドパスフィルタと、
    前記複数の領域に対応して分割され、前記領域毎に異なる単位サイズのマスクパターンから構成され、前記バンドパスフィルタを透過した、前記領域毎に異なる波長帯の入射光を変調するマスクと、
    前記複数の領域に対応して撮像面が分割され、前記領域毎に前記マスクにより変調された入射光を２次元の画素信号として撮像する固体撮像素子とを含み、
    前記領域毎の、前記マスクパターンは、前記バンドパスフィルタを透過する波長帯の入射光が、前記固体撮像素子により撮像されるとき、回折による前記入射光の拡散が略最小となる前記単位サイズのマスクパターンである
    撮像素子。

Images