WO2019150983A1 - 撮像装置、および撮像方法 - Google Patents

Abstract

本開示は、高価な大口径のレンズを用いることなく、明るい画像を撮像することができるようにする撮像装置、および撮像方法に関する。 撮像素子の前段に撮像素子の面積よりも大きな面積の開口部を備えた、被写体面からの光を集光する鏡面を形成し、撮像素子に直接入射する光と、鏡面を反射する光とにより形成される画像を撮像し、撮像した画像から最終画像を再構成する。本開示は、撮像装置に適用することができる。

Description

撮像装置、および撮像方法

　本開示は、撮像装置、および撮像方法に関し、特に、高価な大口径のレンズを用いることなく、明るい画像を撮像できるようにした撮像装置、および撮像方法に関する。

　撮像装置における光学的な効率（光利用効率）は、レンズのサイズを大きくすることで、向上させることができる。

　しかしながら、レンズのサイズを大きくするほど、レンズのコストが増大し、特に、赤外光のレンズにおいては、コストの増大が大きい。

　そこで、レンズのサイズを大きくさせることなく、光利用効率を向上させる技術として、被写体からの入射光を平面ミラーにより分割し、撮像素子上の複数の領域に分割して複数の画像として投影させ、それぞれ独立したフィルタ処理を施した後、複数の画像を利用して画像を再構成することで、光利用効率の高い画像を生成する技術が提案されている（特許文献１参照）。

米国公開公報２０１６／００６５９３８号

　しかしながら、特許文献１の技術において、再構成される画像は、撮像素子の解像度の一部の画像から生成されるため、解像度が低下してしまう。

　本開示は、このような状況に鑑みてなされたものであり、特に、高価な大口径のレンズを用いることなく、明るい画像を撮像できるようにする。

　本開示の一側面の撮像装置は、被写体からの入射光を撮像素子に誘導する誘導部と、前記誘導部により誘導された入射光を、画素信号として撮像する撮像部と、前記画素信号を信号処理により最終画像として再構成する信号処理部とを含む撮像装置である。

　本開示の一側面の撮像方法は、被写体からの入射光を撮像素子に誘導する誘導処理と、前記誘導処理により誘導された入射光を、画素信号として撮像する撮像処理と、前記画素信号を信号処理により最終画像として再構成する信号処理とを含む撮像方法である。

　本開示の一側面においては、被写体からの入射光が撮像素子に誘導され、誘導された入射光が、画素信号として撮像され、前記画素信号が信号処理により最終画像として再構成される。

　本開示の一側面によれば、特に、高価な大口径のレンズを用いることなく、明るい画像を撮像することが可能となる。

一般的な撮像装置の構成例を説明する図である。 図１の撮像装置における撮像原理を説明する図である。 本開示の撮像装置の第１の実施の形態の構成例を説明する外観斜視図である。 本開示の撮像装置の第１の実施の形態の構成例を説明する側面断面図である。 図３，図４の撮像装置の撮像原理を説明する図である。 再構成の原理を説明する図である。 図３，図４の撮像装置による撮像処理を説明するフローチャートである。 本開示の第１の実施の形態の変形例を説明する図である。 本開示の撮像装置の第２の実施の形態の構成例を説明する外観斜視図である。 本開示の撮像装置の第２の実施の形態の構成例を説明する側面断面図である。 図９，図１０により撮像される被写体面、撮像素子により撮像される画像、および、再構成される最終画像を説明する図である。 本開示の撮像装置の第２の実施の形態の構成例を説明する側面断面図である。 鏡面の開口角と光利用効率との関係を説明する図である。 鏡面の開口角と光利用効率との関係を説明する図である。 図９，図１０の撮像装置による撮像処理を説明するフローチャートである。 本開示の第２の実施の形態の変形例を説明する図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．一般的な撮像装置
　２．第１の実施の形態
　３．第１の実施の形態の変形例
　４．第２の実施の形態
　５．第２の実施の形態の変形例

　＜＜１．一般的な撮像装置＞＞
　＜一般的な撮像装置の構成＞
　本開示の構成について説明する前に、一般的な撮像装置の構成について説明する。

　図１は、一般的な撮像装置の構成における側面断面図である。図１の撮像装置１１は、レンズ３１、撮像素子３２、および出力部３３を備えており、それらが一体となってケース２１に内蔵されている。

　レンズ３１は、視野（FOV：Field Of View）内の入射光を集光して、撮像素子３２の撮像面において合焦させる。より詳細には、レンズ３１は、撮像素子３２に対して画角θにおける視野FOV内の光を集光して投影し、撮像素子３２の撮像面において結像させる。

　撮像素子３２は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサからなり、レンズ３１を介して集光されて結像された像を撮像し、画素単位の信号として出力部３３に出力する。

　出力部３３は、撮像素子３２より出力される画素単位の信号に基づいて、信号処理を施して、画像信号として出力する。

　尚、レンズ３１および撮像素子３２のそれぞれの光の透過方向に対する中心位置が、光軸AXに位置合わせがなされている。

　＜一般的な撮像装置の撮像原理＞
　次に、図２を参照して、図１の撮像装置１１の撮像の原理について説明する。尚、図２においては、撮像装置１１の構成のうち、説明に必要とされるレンズ３１、撮像素子３２、および出力部３３のみが示されている。

　撮像装置１１の撮像位置から、所定の距離であって、光軸AXに対して垂直な、被写体が存在する面を、被写体面Ｓとして定義し、被写体面Ｓ上の点Ｐ，Ｑについて考える。

　被写体面Ｓ上における点Ｐが点光源である場合、点光源である点Ｐより発せられる拡散光は、実線で示されるようにレンズ３１を透過して、撮像素子３２の撮像面において集光されて点Ｐ’に入射する。

　同様に、点光源である点Ｑより発せられる拡散光は、点線で示されるようにレンズ３１を透過して、撮像素子３２の撮像面において集光されて点Ｑ’に入射する。

　また、その他の点についても同様に、レンズ３１により集光されて、撮像素子３２上の撮像面上に入射する。

　すなわち、レンズ３１は、被写体面Ｓ状の各点光源からの拡散光を集光して、撮像素子３２の撮像面の対応する点に集光するようにして、結像させる。

　これにより、撮像素子３２の撮像面においては、被写体面Ｓの像が投影されることになり、結果として、撮像素子３２により被写体面の画像が撮像される。

　すなわち、被写体面Ｓ上の点と、撮像素子３２の撮像面上の点とは、１対１の対応となる。このため、光利用効率を向上させるためには、各点光源から発せられる拡散光をより多くレンズ３１に入射させて集光させる必要があるので、レンズ３１を大径化する必要がある。

　しかしながら、レンズ３１の大径化は、コストを増大させるだけでなく、レンズ３１の大径化に伴って装置構成を大型化させ、携帯性を低減させる。

　＜＜２．第１の実施の形態＞＞
　次に、図３，図４を参照して、本開示の撮像装置の第１の実施の形態の構成例について説明する。尚、図３は、撮像装置４１の概観斜視図であり、図４は、側面断面図である。

　図３，図４の撮像装置４１は、円錐台型鏡面５１、ランダムマスク５２、撮像素子５３、再構成部５４、および出力部５５を備えている。

　円錐台型鏡面５１は、円錐台状に形成された構成の内側が曲面状の鏡面とされ、大開口部５１ａと、大開口部５１ａよりも小口径の小開口部５１ｂが設けられ、大開口部５１ａおよび小開口部５１ｂのそれぞれの中心位置が光軸ＡＸに合わせられた状態とされる。

　また、大開口部５１ａには、被写体面Ｇ１からの入射光が入射し、小口径の開口部５１ｂに設けられたランダムマスク５２を介して撮像素子５３に入射する。小開口部５１ｂは、ランダムマスク５２および撮像素子５３と略同サイズであるが、小開口部５１ｂ内に、ランダムマスク５２および撮像素子５３が全て内包される大きさである。

　より詳細には、被写体面Ｇ１の点Ｐからの入射光の光路には、図５の実線で示されるように、大開口部５１ａを通過した後、直接ランダムマスク５２を介して撮像素子５３上の点Ｐ’に入射する光路と、図５の一点鎖線および点線で示されるように、開口部５１ａを通過した後、鏡面５１に反射してから、ランダムマスク５２を介して撮像素子５３の点Ｐ’に入射する光路とが存在する。

　すなわち、図３，図４の撮像装置４１においては、点Ｐからの拡散光のうち、円錐台型鏡面５１が設けられていなければ、撮像素子５３に入射することのない光が、円錐台型鏡面５１により反射されることにより、仮想点Ｐ１からの拡散光として、撮像素子５３上における点Ｐ’に入射される。

　結果として、円錐台型鏡面５１が設けられることにより、光利用効率を向上させることが可能となる。

　具体的な、光の集光能力は、円錐台型鏡面５１が設けられていない場合と比べて、ほぼ（大開口部５１ａの面積）／（大開口部５１ｂ面積）倍となる。すなわち、小開口部５１ｂに対して、大開口部５１ａが、例えば、５倍の面積である場合、ランダムマスク５２を介して撮像素子５３に入射される光量は、円錐台型鏡面５１が設けられていないときの光量に比べて、ほぼ５倍となる。つまり、この場合、撮像装置４１は、５倍明るい画像を撮像することができる。

　ランダムマスク５２は、円錐台型鏡面５１を介して被写体面Ｇ１から入射される光を変調させて撮像素子５３の撮像面に入射させる。

　ここで、ランダムマスク５２においては、図３の右上部で示されるように、開口部と遮光部とが、単位サイズΔで水平方向および垂直方向について、大きさがランダムに設定されることにより、マスクパターンが形成される。

　単位サイズΔは、少なくとも撮像素子５３の画素サイズよりも大きいサイズである。また、撮像素子５３とランダムマスク５２との間には、微小な距離ｄの隙間が設けられている。

　例えば、図６の左上部で示されるように、被写体面Ｇ１上の点光源ＰＡ，ＰＢ，ＰＣから、ランダムマスク５２を透過して入射する撮像素子５３上の位置Ｐａ，Ｐｂ，Ｐｃのそれぞれに光強度ａ，ｂ，ｃの光線が入射するものとする。

　図６の左上部で示されるように、各画素の検出感度は、ランダムマスク５２に、ランダムに設定される開口部より入射光が変調されることにより、入射角に応じた指向性を持つことになる。ここでいう各画素の検出感度に入射角指向性を持たせるとは、撮像素子５３上の領域に応じて入射光の入射角度に応じた受光感度特性を異なるものとなるように持たせることである。

　すなわち、被写体面Ｇ１を構成する光源が点光源であることを前提とした場合、撮像素子５３においては、同一の点光源より発せられた同一の光強度の光線が、入射されることになるが、ランダムマスク５２により変調されることにより、撮像素子５３の撮像面上の領域毎に入射角度が変化する。そして、ランダムマスク５２により撮像素子５３上の領域に応じて入射光の入射角度が変化することにより受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、撮像素子５３の撮像面の前段に設けられたランダムマスク５２により撮像素子５３上の領域毎に異なる感度で検出されることになり、領域毎に異なる検出信号レベルの検出信号が検出される。

　より具体的には、図６の右上部で示されるように、撮像素子５３上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。

　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）

　ここで、α１は、撮像素子５３上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数である。尚、点光源ＰＡからの光線は、直接撮像素子５３に入射するものと、円錐台型鏡面５１において反射するものとの両方を含む。

　また、β１は、撮像素子５３上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。尚、点光源ＰＢからの光線は、直接撮像素子５３に入射するものと、円錐台型鏡面５１において反射するものとの両方を含む。

　さらに、γ１は、撮像素子５３上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。尚、点光源ＰＣからの光線は、直接撮像素子５３に入射するものと、円錐台型鏡面５１において反射するものとの両方を含む。

　従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐｃにおける点光源ＰＡからの光線による検出信号レベルを示したものである。

　また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐｃにおける点光源ＰＢからの光線による検出信号レベルを示したものである。

　さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐｃにおける点光源ＰＣからの光線による検出信号レベルを示したものである。

　従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの係数α１，β１，γ１を掛けたものの合成値として表現される。以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。

　同様に、点光源ＰＢにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。また、点光源ＰＣにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。

　ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。尚、この位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルＤＡ，ＤＢ，ＤＢからなる画像が、図３の画像Ｇ２に対応する。

　すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、光強度ａ，ｂ，ｃを解くことで、図６の右下部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像（最終画像）が再構成されて復元される。

　また、図６の左上部で示される撮像素子５３と被写体面Ｇ１との距離が変化する場合、係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３は、それぞれ変化することになるが、この係数セットを変化させることで、様々な距離の被写体面の復元画像（最終画像）を再構成させることができる。

　このため、１回の撮像により、係数セットを様々な距離に対応するものに変化させることで、撮像位置から様々な距離の被写体面の画像を再構成することができる。

　結果として、図３，図４の撮像装置４１を用いた撮像においては、レンズを用いた撮像装置１１での撮像において合焦点がずれた状態で撮像される、いわゆる、ピンぼけといった現象を意識する必要がなく、視野FOV内に撮像したい被写体が含まれるように撮像されていれば、距離に応じた係数セットを変化させることで様々な距離の被写体面の画像を、撮像後に再構成することができる。

　尚、図６の右上部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではない。また、図６の右下部で示される検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値、すなわち、復元画像（最終画像）の各画素の値なので、画素値となる。すなわち、この被写体面Ｇ１の復元画像（最終画像）が、画像Ｇ３に対応する。

　このような構成により、撮像装置４１は、いわゆるレンズレスの撮像装置として機能させることが可能となる。結果として、撮像レンズが必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。また、係数セットを様々に変化させることにより、様々な距離の被写体面における最終画像（復元画像）を再構成して復元することが可能となる。

　尚、以降においては、撮像素子５３により撮像された、再構成される前の画像を単に撮像画像と称し、撮像画像が信号処理されることにより再構成されて復元される画像を最終画像（復元画像）と称する。従って、１枚の撮像画像からは、上述した係数セットを様々に変化させることにより、様々な距離の被写体面Ｇ１上の画像を最終画像として再構成させることができる。

　再構成部５４は、上述した係数セットを備えており、撮像装置４１の撮像位置から被写体面Ｇ１までの距離に応じて係数セットを用いて、撮像素子５３により撮像された撮像画像に基づいて、最終画像（復元画像）を再構成して出力部５５に出力する。

　出力部５５は、再構成部５４より供給されてきた最終画像に信号処理を加えて画像信号として出力する。

　＜図３，図４の撮像装置による撮像処理＞
　次に、図７のフローチャートを参照して、図３，図４の撮像装置４１による撮像処理について説明する。

　ステップＳ１１において、円錐台型鏡面５１は、被写体面Ｇ１からの光を集光して、ランダムマスク５２に透過させる。

　ステップＳ１２において、ランダムマスク５２は、鏡面５１により集光された被写体面Ｇ１からの光に変調を掛けて、撮像素子５３に入射させる。

　ステップＳ１３において、撮像素子５３は、被写体面Ｇ１からの光であって、円錐台型鏡面５１により集光され、さらに、ランダムマスク５２により変調が掛けられた光からなる像を撮像して、撮像画像として再構成部５４に出力する。すなわち、この場合、図３の被写体面Ｇ１の画像が、円錐台型鏡面５１により集光されて、ランダムマスク５２により変調が加えられることにより、例えば、撮像素子５３は、画像Ｇ２で示されるような撮像画像として撮像する。すなわち、画像Ｇ２は、被写体面Ｇ１における各点を点光源とする拡散光が円錐台型鏡面５１により集光されて、撮像素子５３の様々な画素に拡散した状態で受光され、さらに、画素単位で、様々な光が重畳されることにより、各画素の画素値が平滑化され、全体としてボヤっとした撮像画像Ｇ２として撮像される。

　ステップＳ１４において、再構成部５４は、撮像素子５３より出力される変調された光からなる像が撮像された撮像画像である画像Ｇ２に基づいて、撮像装置４１の撮像位置から被写体面Ｇ１までの距離に応じた所定の係数セットを用いて、画像を再構成して最終画像（復元画像）として出力部５５に出力する。すなわち、画像Ｇ２に対して、上述した式（１）乃至式（３）を参照して説明した係数セットを用いた連立方程式を構成して解くことにより、例えば、画像Ｇ３で示されるような最終画像（復元画像）が求められることになる。

　ステップＳ１５において、出力部５５は、信号処理を施して、画像信号として出力する。

　すなわち、以上の一連の処理により、円錐台型鏡面５１を用いることで、高価なレンズを用いることなく、光利用効率を高めることが可能となる。また、レンズを用いることなく、ランダムマスクを用いて変調を掛けた後、係数セットを用いて最終画像（復元画像）を再構成するようにしたので、低背化を実現することが可能となる。

　尚、ランダムマスク５２は、入射光を変調するものであるので、入射光を変調できるパターンマスクなどの構成であれば、他の構成であってもよく、例えば、回折格子や拡散板であってもよい。

　＜＜３．第１の実施の形態の変形例＞＞
　以上においては、曲面状の鏡面からなる円錐台型鏡面５１により構成される例について説明してきたが、曲面状の鏡面に代えて、平面状の鏡面により構成されるようにしてもよい。

　図８は、曲面状の鏡面からなる円錐台型鏡面５１に代えて、4枚の平面状の鏡面からなる角錐台型鏡面７１を設けるようにした第１の実施の形態の撮像装置１１の変形例の構成例が示されている。

　図８の角錐台型鏡面７１は、４枚の平面鏡７１ｐ乃至７１ｓが設けられており、被写体面Ｇ１１からの入射光が入射する大開口部７１ａは、ランダムマスク５２、および撮像素子５３が設けられる小開口部７１ｂよりも大きく構成される。

　図８の撮像装置４１においても、小開口部７１ｂの面積に対する大開口部７１ａの面積の倍率に応じて、光利用効率を増大させることが可能となる。

　尚、角錐台型鏡面７１を用いる場合、平面状の鏡面が用いられることにより、上述した行列による定義がし易くなるので、再構成部５４の演算における負荷を低減させることが可能となる。

　＜＜４．第２の実施の形態＞＞
　以上においては、レンズを用いることなく鏡面を用いて構成される撮像装置の構成例について説明してきたが、レンズを用いて、被写体面上の点を撮像素子上の所定の位置に対応付けて撮像した画像を撮像画像として撮像し、撮像画像に基づいて最終画像を再構成するようにしてもよい。

　図９，図１０は、ランダムマスク５２に代えてレンズ１０１を設けるようにした撮像装置４１の構成例を示している。尚、図９は、撮像装置４１の外観斜視図であり、図１０は、図９の撮像装置４１の角錐台型鏡面７１における平面鏡７１ｑを正面に見たときの側面断面図である。

　図９，図１０の撮像装置４１は、角錐台型鏡面７１、レンズ１０１、角柱状光吸収部９１、および角柱状鏡面９２、撮像素子５３、再構成部５４、および出力部５５を備えている。尚、図９，図１０の撮像装置４１において、図８の撮像装置４１における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。

　すなわち、図９，図１０の撮像装置４１において、図８の撮像装置４１と異なる点は、ランダムマスク５２に代えて、レンズ１０１、並びに、角柱状光吸収部９１、および角柱状鏡面９２を備えた点である。

　レンズ１０１は、図１のレンズ３１と同一の構成であり、被写体面Ｇ２１からの光であって、角錐台型鏡面７１により集光された光を、さらに、集光して、撮像素子５３の撮像面上に投影する。

　角柱状光吸収部９１は、レンズ１０１の後段に設けられる、レンズ１０１の径と同サイズの４枚の平面状光吸収部材９１ｐ乃至９１ｓからなる角柱状の光吸収部材から構成される部位であり、角柱状の内側の平面状光吸収部材９１ｐ乃至９１ｓにより入射する光を吸収することで、視野FOV以外の範囲からの入射光の撮像素子５３への進入を防止する。視野FOV以外の範囲からの入射光の撮像素子５３への進入を防止する原理については、図１２を参照して詳細を後述する。

　角柱状鏡面９２は、角柱状光吸収部９１の後段に設けられ、レンズ１０１より透過される光を角柱状（開口断面が方形の筒状形状）の内側に設けられた４枚の平面鏡９２ｐ乃至９２ｓにより反射し、撮像素子５３の撮像面に入射させる。

　より詳細には、図１０で示されるように、被写体面Ｇ２１上の点Ｐを点光源とする拡散光のうち、実線で示される光は、レンズ１０１により集光されて、撮像素子５３上の点Ｐ’に集光されて投影される。

　また、被写体面Ｓ上の点Ｐを点光源とする拡散光のうち、一点鎖線で示される光は、角錐台型鏡面７１の平面鏡７１ｐにより反射されて、点線で示される仮想点Ｐ１からの拡散光としてレンズ１０１を透過する。さらに、仮想点Ｐ１からの拡散光は、レンズ１０１を透過すると、撮像素子５３とは異なる仮想的な撮像素子５３’上の点Ｐ’’に仮想的に集光されて投影される。しかしながら、現実には、仮想点Ｐ１からの拡散光は、レンズ１０１を透過すると、角柱状鏡面９２により反射して、撮像素子５３上の点Ｐ１’に集光されて投影される。

　結果として、被写体面Ｇ２１上の点Ｐからの拡散光は、撮像素子５３上の複数の点に分散しつつ、レンズ１０１により集光されて投影されて撮像されることになる。

　すなわち、角錐台型鏡面７１による光の集光は、被写体面Ｇ２１上の点Ｐを点光源とする拡散光を角柱状鏡面９２内に（レンズ１０１に）、拡散した状態のまま誘導する集光である。これに対して、レンズ１０１による集光は、被写体面Ｇ２１上の点Ｐを点光源とする拡散光を焦点距離に応じた所定の１点の焦点位置に集める集光である。

　図９，図１０の撮像装置４１においては、被写体面Ｇ２１上の各点を点光源とする拡散光が、角錐台型鏡面７１の鏡面７１ｐにより、拡散光の状態のままレンズ１０１に誘導され、さらに、レンズ１０１により撮像素子５３上のいずれか１点の焦点位置に集光されながら、角柱状鏡面９２内において反射されて、撮像素子５３上に投影される。

　また、この際、図１０で示されるように、被写体面Ｇ２１上における各点を点光源とする拡散光は、レンズ１０１に直接入射して集光されて撮像素子５３上に集光されて投影される場合の画素位置と、角錐台型鏡面７１により反射してからレンズ１０１に入射し、さらに角柱状鏡面９２により反射されて撮像素子５３に投影される場合の画素位置とが異なる。すなわち、撮像素子５３の各画素には、被写体面Ｇ２１上の複数の点の光が重畳されて投影される。

　このため、被写体面Ｇ２１上の像が、例えば、図１１の左部で示されるような被写体面（の画像）Ｇ２１であるような場合、撮像素子５３により撮像される（出力される）画像は、図１１の中央部で示されるような画像Ｇ２２で示されるような、全体としてボケた画像となる。これは、図３を参照して説明した、ランダムマスク５２が用いられることにより被写体面Ｇ１１からの入射光に変調が掛けられて、画像Ｇ１２として撮像される状態と同様の状態となる。すなわち、レンズ１０１と角柱状鏡面９２により、誘導された被写体面Ｇ２１からの入射光に変調が掛けられた状態と同様の状態となり、撮像素子５３により画像Ｇ２２として撮像されることになる。

　これにより、再構成部５４は、撮像素子５３より出力される画像に対して、上述した係数セットを用いた再構成により、例えば、図１１の右部で示される画像Ｇ２３を最終画像（復元画像）として出力する。

　さらに、上述したように、被写体面Ｇ２１上の各点は、角錐台型鏡面７１により反射されて複数の点に分散しつつ、レンズ１０１により集光されて撮像素子５３上の各画素に投影されて、加算された画素信号となる。結果として、被写体面Ｇ２１の像が、撮像素子５３の全体として平滑化された状態で撮像されることになるので、画像Ｇ２２の画像は、ダイナミックレンジが抑制されたボヤっとした画像となる。

　例えば、大開口部７１ａを小開口部７１ｂの２．８倍とした場合、すなわち、撮像素子５３の受光する光量を全体として２．８倍だけ増大させた場合、被写体面（上の画像）Ｇ２１における光量は、角錐台型鏡面７１が設けられなかったときの約２．８倍となる。つまり、２．８倍だけ明るい画像として撮像される。

　しかしながら、このときの撮像画像Ｇ２２のダイナミックレンジは、角錐台型鏡面７１が設けられなかったときに撮像素子５３において撮像される画像の約１／２．１５倍となる。

　これは、被写体面Ｇ２１上の点光源からの光が、角錐台型鏡面７１により反射された後、レンズ１０１により集光されることにより、撮像素子５３上のいくつかの点に分散され、さらに、複数の点からの光が加算されることで、撮像素子５３の全画素において、平滑化されることにより検出信号レベルが全体として平均化されて、ダイナミックレンジが小さくなることによるものである。

　ただし、画像Ｇ２２を用いて、式（１）乃至式（３）を参照して説明した係数セットにより、最終画像である画像Ｇ２３が復元されると、被写体面Ｇ２１におけるダイナミックレンジと同程度のダイナミックレンジに復元される。

　結果として、撮像素子５３により撮像される画像のダイナミックレンジが小さくなる分、露光時間を長くすることで、再構成される最終画像のダイナミックレンジを、角錐台型鏡面７１がない場合よりも大きくすることが可能となる。また、撮像素子５３のダイナミックレンジが、小さなものであっても、ダイナミックレンジの大きな撮像素子５３を用いた場合と同等のダイナミックレンジの画像を再構成することが可能となる。

　尚、角柱状光吸収部９１および角柱状鏡面９２を合わせた長さ（図１０中の水平方向の長さ）は、レンズ１０１の焦点距離に対応した長さである。このため、再構成部５４は、レンズ１０１の焦点距離に対応した係数セット（撮像装置４１においてレンズ１０１を用いたときの被写体面Ｓ２１までの距離に対応した係数セット）を用いて、画像Ｇ２２より最終画像（復元画像）である画像Ｇ２３を再構成する。

　＜角柱状光吸収部の作用について＞
　次に、図１２を参照して、角柱状光吸収部９１の作用について説明する。

　図９，図１０の撮像装置４１は、視野FOV内の被写体面Ｇ２１の画像を撮像するが、例えば、図１２で示されるように、視野FOV外の点Ｓ１からなる点光源が存在する場合、角錐台型鏡面７１において反射されることにより、仮想点Ｓ１を光源とする拡散光としてレンズ１０１を透過する。

　ここで、角柱状光吸収部９１が鏡面構造である場合、仮想点Ｓ１を光源とする拡散光としてレンズ１０１を透過した光は、角柱状鏡面９２内において反射を繰り返して、本来、撮像素子５３において受光されるべきではない光として受光される。

　角柱状光吸収部９１は、図１２で示されるように、レンズ１０１を透過した仮想点Ｓ１を光源とする光を吸収することで、角柱状鏡面９２内への進入を防止している。

　このため、視野FOV外からの入射光は、角柱状光吸収部９１により吸収されるので、角柱状鏡面９２内へと進入されることがなく、撮像素子５３において受光されない。

　結果として、角柱状光吸収部９１により、視野FOV外の光が撮像素子５３において受光されない状態となるので、視野FOV内の被写体面Ｇ２１からの光の利用効率を高めつつ、不要な光の進入を防ぐことが可能となる。

　尚、角柱状光吸収部９１の図１２の水平方向の長さは、視野FOVの境界の、光軸AXからみた外側の位置における入射光が、角柱状光吸収部９１の図１２の右端部となるように設定される。また、角柱状光吸収部９１は、光を角柱状鏡面９２に反射させない素材であればよく、遮光膜などにより構成するようにしてもよいし、角柱状鏡面９２へと進入しないように透過させるような材質でもよい。

　＜角錐台型鏡面の開口角について＞
　次に、角錐台型鏡面７１の開口角について説明する。

　ここで、例えば、図１３で示されるように、角錐台型鏡面７１の断面における対向する鏡面のなす角θ１１を開口角と定義する。また、図１０において、仮想点Ｐ１を点光源とする拡散光がレンズ１０１を透過して、角柱状鏡面９２において反射して撮像素子５３上の点Ｐ１’に入射するとき、点Ｐ１’に対して直接入射することを仮定したときの小開口部７１ｂに対応する仮想的な開口部を仮想開口部７１ｂ’と定義する。

　上述したように、大開口部７１ａの面積と、小開口部７１ｂの面積比により、集光できる光量を高めることができる。

　換言すれば、図１０で示されるように、小開口部７１ｂに対応する仮想開口部７１ｂ’の面積を広くすることで、より多くの拡散光を集光することができると考えることができる。

　例えば、図１３で示されるように、平面鏡７１ｐ，７１ｒの開口角を開口角θ１１とした場合、現実の小開口部７１ｂと、仮想開口部７１ｂ’－１，７１ｂ’－２により、図１３の角錐台型鏡面７１は、点Ｐｘを点光源とする拡散光のうち、角度θ１の範囲の光を集光することができる。

　これに対して、図１４で示されるように、平面鏡７１ｐ，７１ｒにおいて開口角θ１１（＜θ１２）とした場合、現実の開口部７１ｂと、仮想開口部７１ｂ’－１１乃至７１ｂ’－１６により、図１４の平面鏡７１ｐ，７１ｒは、点Ｐｘを点光源とする拡散光のうち、角度θ２（＞θ１）の範囲の光を集光することができる。

　すなわち、開口角は、小さくても角錐台型鏡面７１の入射光の入射方向に対して長さを確保することにより、仮想開口部を増やすことで、より多くの光を集光することができると考えることができる。換言すれば、開口角は、小さくても角錐台型鏡面７１の入射光の入射方向に対して長さを確保することで、大開口部７１ａと小開口部７１ｂとの比率を大きくすることができると考えることもできる。

　＜図９，図１０の撮像装置による撮像処理＞
　次に、図１５のフローチャートを参照して、図９，図１０の撮像装置４１による撮像処理について説明する。

　ステップＳ３１において、角錐台型鏡面７１は、被写体面Ｇ２１からの光を集光して、レンズ１０１に透過させる。

　ステップＳ３２において、レンズ１０１は、角錐台型鏡面７１により集光された被写体面Ｇ２１からの光を集光して、角柱状鏡面９２に入射させる。この際、視野FOV外からの入射光は、角柱状光吸収部９１により吸収される。

　ステップＳ３３において、角中状鏡面９２は、レンズ１０１により集光された被写体面Ｇ２１からの光を反射させて、撮像素子５３に入射させる。

　ステップＳ３４において、撮像素子５３は、被写体面Ｇ２１からの光であって、角錐台型鏡面７１とレンズ１０１により集光された光からなる像を撮像して、再構成部５４に出力する。すなわち、この場合、図１０の被写体面Ｇ２１の像が、角錐台型鏡面７１およびレンズ１０１により集光されて、撮像素子５３により、例えば、画像Ｇ２２が撮像される。画像Ｇ２２は、角錐台型鏡面７１およびレンズ１０１により集光された光が、撮像素子５３の様々な画素に拡散した状態で受光され、さらに、画素単位で、様々な光を重畳することにより、各画素の画素値が平滑化されて、全体としてボヤっとした画像（ダイナミックレンジが小さくされた画像）として撮像される。

　ステップＳ３５において、再構成部５４は、撮像素子５３より出力される集光された光からなる像が撮像された画素信号に基づいて、所定の係数セットを用いて、画像を再構成して最終画像（復元画像）として出力部５５に出力する。すなわち、画像Ｇ２２に対して、係数セットを用いた連立方程式を構成して解くことにより、例えば、画像Ｇ２３で示されるような最終画像（復元画像）が求められることになる。

　ステップＳ３６において、出力部５５は、信号処理を施して、画像信号として出力する。

　すなわち、以上の一連の処理により、角錐台型鏡面７１とレンズ１０１を用いることで、高価な大口径のレンズを用いることなく、明るい画像を撮像することが可能となる。また、レンズ１０１が用いられることにより、レンズ１０１が用いられない場合に比べて、撮像素子５３により撮像される画像Ｇ２２を、係数セットを用いて再構成される最終画像（復元画像）Ｇ２３に近い画像として撮像することが可能となる。換言すれば、レンズ１０１を用いることで、画像Ｇ２２を、よりスパース性の高い、最終画像である画像Ｇ２３に再構成し易い画像として撮像することが可能となる。

　＜＜５．第２の実施の形態の変形例＞＞
　また、角錐台型鏡面については、大開口部と角柱状鏡面部へと接続される小開口部に対応する大小二種類の開口部が設けられ、被写体面からの入射光を筒状鏡面に誘導する内側に鏡面が設けられている構成であれば、その他の形状の鏡面であってもよく、例えば、図１６で示されるような円錐台型鏡面５１であってもよい。ただし、円錐台型鏡面５１である場合、対応する形状（開口断面が円形の筒状形状）の筒状光吸収部１２１、および筒状鏡面１２２を設ける必要がある。また、入射光を誘導するための大小二種類の開口部が設けられている限り、大開口部および小開口部の形状は、非対称な形状であってもよいし、両者が相似の関係を持たないものであってもよい。

　尚、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　尚、本開示は、以下のような構成も取ることができる。

＜１＞　被写体からの入射光を撮像素子に誘導する誘導部と、
　前記誘導部により誘導された入射光を、画素信号として撮像する撮像部と、
　前記画素信号を信号処理により最終画像として再構成する信号処理部と
　を含む撮像装置。
＜２＞　前記誘導部は、大開口部と小開口部とが設けられた錐台形状であって、内側が鏡面とされ、前記大開口部より入射される前記入射光を、前記小開口部より前記撮像素子に誘導する
　＜１＞に記載の撮像装置。
＜３＞　前記誘導部は、前記大開口部と前記小開口部とが設けられた円錐台形状であって、内側が曲面状の鏡面とされる
　＜２＞に記載の撮像装置。
＜４＞　前記誘導部は、前記大開口部と前記小開口部とが設けられた角錐台形状であって、内側が平面状の鏡面とされる
　＜２＞に記載の撮像装置。
＜５＞　前記撮像素子は、前記小開口部に内包される大きさであり、
　前記誘導部は、前記被写体からの入射光を誘導することにより、前記小開口部の面積を基準としたとき、前記大開口部の面積の倍率分だけ、前記撮像部における前記入射光の光量を増大させる
　＜２＞に記載の撮像装置。
＜６＞　前記撮像素子の前段に前記入射光を変調する変調部をさらに含み、
　前記撮像部は、前記誘導部により誘導され、かつ、前記変調部により変調された前記入射光を、前記画素信号として撮像する
　＜１＞乃至＜５＞のいずれかに記載の撮像装置。
＜７＞　前記変調部は、ランダムマスク、または、回折格子である
　＜６＞に記載の撮像装置。
＜８＞　前記変調部は、
　　前記誘導部により誘導された前記入射光を集光するレンズと、
　　前記レンズにより集光された入射光を反射して、前記撮像部に誘導する筒状の鏡面からなる筒状鏡面をさらに含む
　＜６＞に記載の撮像装置。
＜９＞　前記変調部は、
　　前記レンズにより集光された入射光を反射して、前記撮像部に誘導する筒状の鏡面からなる筒状鏡面をさらに含む
　＜８＞に記載の撮像装置。
＜１０＞　前記筒状鏡面の開口断面は、円形である
　＜９＞に記載の撮像装置。
＜１１＞　前記筒状鏡面の開口断面は、方形である
　＜９＞に記載の撮像装置。
＜１２＞　前記レンズの後段であって、前記筒状鏡面の前段に、前記入射光を吸収する筒状の筒状光吸収部をさらに含む
　＜９＞に記載の撮像装置。
＜１３＞　前記筒状光吸収部は、前記レンズの視野外の入射光が入射する位置に設けられる
　＜１２＞に記載の撮像装置。
＜１４＞　前記筒状光吸収部の筒長と、前記筒状鏡面の筒長との和が、前記レンズの焦点距離である
　＜１３＞に記載の撮像装置。
＜１５＞　被写体からの入射光を撮像素子に誘導する誘導処理と、
　前記誘導処理により誘導された入射光を、画素信号として撮像する撮像処理と、
　前記画素信号を信号処理により最終画像として再構成する信号処理と
　を含む撮像方法。

　１１　撮像装置，　３１　レンズ，　３２　撮像素子，　３３　出力部，　４１　バンドパスフィルタ，　５１　円錐台型鏡面，　５１ａ　大開口部，　５１ｂ　小開口部，　５２　ランダムマスク，　５３　撮像素子，　５４　再構成部，　５５　出力部，　７１　角錐台型鏡面，　７１ａ　大開口部，　７１ｂ　小開口部，　７１ｐ乃至７１ｓ　平面鏡，　７１ｂ’，７１ｂ’－１，７１ｂ’－２，７１ｂ’－１１乃至７１ｂ’－１６　仮想開口部，　９１　角柱状光吸収部，　９２　角柱状鏡面，　１０１　レンズ，　１２１　筒状光吸収部，　１２２　筒状鏡面

Claims (15)

1. 　被写体からの入射光を撮像素子に誘導する誘導部と、
   　前記誘導部により誘導された入射光を、画素信号として撮像する撮像部と、
   　前記画素信号を信号処理により最終画像として再構成する信号処理部と
   　を含む撮像装置。
2. 　前記誘導部は、大開口部と小開口部とが設けられた錐台形状であって、内側が鏡面とされ、前記大開口部より入射される前記入射光を、前記小開口部より前記撮像素子に誘導する
   　請求項１に記載の撮像装置。
3. 　前記誘導部は、前記大開口部と前記小開口部とが設けられた円錐台形状であって、内側が曲面状の鏡面とされる
   　請求項２に記載の撮像装置。
4. 　前記誘導部は、前記大開口部と前記小開口部とが設けられた角錐台形状であって、内側が平面状の鏡面とされる
   　請求項２に記載の撮像装置。
5. 　前記撮像素子は、前記小開口部に内包される大きさであり、
   　前記誘導部は、前記被写体からの入射光を誘導することにより、前記小開口部の面積を基準としたとき、前記大開口部の面積の倍率分だけ、前記撮像部における前記入射光の光量を増大させる
   　請求項２に記載の撮像装置。
6. 　前記撮像素子の前段に前記入射光を変調する変調部をさらに含み、
   　前記撮像部は、前記誘導部により誘導され、かつ、前記変調部により変調された前記入射光を、前記画素信号として撮像する
   　請求項１に記載の撮像装置。
7. 　前記変調部は、パターンマスク、回折格子、または拡散板である
   　請求項６に記載の撮像装置。
8. 　前記変調部は、
   　　前記誘導部により誘導された前記入射光を集光するレンズをさらに含む
   　請求項６に記載の撮像装置。
9. 　前記変調部は、
   　　前記レンズにより集光された入射光を反射して、前記撮像部に誘導する筒状の鏡面からなる筒状鏡面をさらに含む
   　請求項８に記載の撮像装置。
10. 　前記筒状鏡面の開口断面は、円形である
    　請求項９に記載の撮像装置。
11. 　前記筒状鏡面の開口断面は、方形である
    　請求項９に記載の撮像装置。
12. 　前記レンズの後段であって、前記筒状鏡面の前段に、前記入射光を吸収する筒状の筒状光吸収部をさらに含む
    　請求項９に記載の撮像装置。
13. 　前記筒状光吸収部は、前記レンズの視野外の入射光が入射する位置に設けられる
    　請求項１２に記載の撮像装置。
14. 　前記筒状光吸収部の筒長と、前記筒状鏡面の筒長との和が、前記レンズの焦点距離である
    　請求項１３に記載の撮像装置。
15. 　被写体からの入射光を撮像素子に誘導する誘導処理と、
    　前記誘導処理により誘導された入射光を、画素信号として撮像する撮像処理と、
    　前記画素信号を信号処理により最終画像として再構成する信号処理と
    　を含む撮像方法。

Images