WO2021111888A1

WO2021111888A1 - 撮像装置の製造装置、および撮像装置の製造方法、並びに撮像装置

Info

Publication number: WO2021111888A1
Application number: PCT/JP2020/043169
Authority: WO
Inventors: 小柳津　秀紀; イリヤレシェトウスキ
Original assignee: ソニーグループ株式会社
Priority date: 2019-12-03
Filing date: 2020-11-19
Publication date: 2021-06-10
Also published as: JP7468546B2; DE112020005938T5; JPWO2021111888A1; US20240121522A1

Abstract

本開示は、レンズレスカメラにより再構成される画像の画質を向上できるようにする撮像装置の製造装置、および撮像装置の製造方法、並びに撮像装置に関する。遮光素材の一部に入射光を透過させて集光する複数のレンズが設けられることにより、入射光に変調を掛けて透過させるマスクと、マスクにより変調された前記入射光を、画素信号として撮像する撮像素子と、画素信号を信号処理により最終画像として再構成する信号処理部とを備えたレンズレスカメラにおいて、レンズは、光軸方向がマスクを透過した入射光のみを集光して撮像素子に入射させるように調整されてマスクに設けられる。本開示は、レンズレスカメラに適用することができる。

Description

撮像装置の製造装置、および撮像装置の製造方法、並びに撮像装置

　本開示は、撮像装置の製造装置、および撮像装置の製造方法、並びに撮像装置に関し、特に、レンズレスカメラにより再構成される画像の画質を向上できるようにした撮像装置の製造装置、および撮像装置の製造方法、並びに撮像装置に関する。

　透過領域と不透過領域とからなる２次元のパターンが設けられたマスクをイメージセンサの前段に配置して、マスクを通してセンサ上に投影された観測値に基づいて、シーンの放射光を再構成するレンズレスカメラの技術が広く一般に知られている。

　レンズレスカメラは、シーンからの放射光が、マスクを通してどのようにセンサ上に投影されるかの情報を予めマトリックスとして定義しておき、そのマトリックスとセンサ上に投影された画像から、実際のシーンを再現するものである（非特許文献１参照）。

　このマスクを構成する透過領域は、遮光された不透過領域に対して、単純な穴で構成されるようにしてもよいし、穴のそれぞれにレンズのような集光素子が配置されるような構成でもよい。

　透過領域が単純な穴の場合、サイズが大きくなるとセンサ上に結像する光がぼけてしまい、再構成される画像の画質が低下する。

　これに対して、透過領域となる穴にレンズのような集光素子が配置される構成の場合、光が集光されることで、センサ上における結像のぼけが抑制されることにより、シャープな像として結像されるので、再構成される画像の画質を向上させることができる。

　一方、このように透過領域を構成する穴にレンズが配置されるようなマスクを用いたレンズレスカメラでは、コサイン四乗則により、レンズに対して入射角θで入射する照度I₀の入射光と、入射後の照度Iの透過光との間には、I=I₀cos⁴θの関係があり、入射角θが大きくなる程、光量低下が生じる。

　また、レンズには収差があり、入射角が大きくなるにつれて、コマ収差、歪曲収差、像面湾曲、非点収差などの影響が大きくなる。

　これらの光量低下や収差の影響は、マスクの中心付近に設けられたレンズよりマスクの中心から離れた位置のレンズにおいて強く表れる。

　さらに、透過領域に設けられるレンズ以外の集光素子としては、FZP（Fresnel Zone Plate）がある。FZPは透明、不透明な同心円のゾーンが交互に配置された形をした集光素子であり、外側のゾーンほど間隔が狭くなっており、外側に入射した光ほど光の方向が大きく変わる不等間隔回折格子として働く事で、入射光が光軸上の一点に集光するものである。

　FZPの場合にもレンズと同様に、コマ収差、像面湾曲、非点収差、色収差などが発生する事が知られている（非特許文献２参照）。

　このような収差に対し、レンズを複数枚構成にすることによる補正は可能であるが、カメラに厚みが生じることで低背化の妨げとなるだけでなく、レンズ枚数の増大によるコストアップも生じる。

　そこで、入射方向に最適になるようにFZPの構造を変える手法が提案されている（特許文献１）。

Boominathan, Vivek, et al. "Lensless Imaging: A computational renaissance." IEEE Signal Processing Magazine 33.5 (2016): 23-35. Young, Matt. "Zone plates and their aberrations." JOSA 62.8 (1972): 972-976.

米国特許出願公開第2015/0219808号明細書

　しかしながら、レンズレスカメラにより様々なシーンを撮像する場合、マスクにおける透過領域を構成する集光素子に対して、いろいろな方向から光が入射することになるため、集光素子が適切に調整されていないと、画質の低下を招く恐れがあった。

　本開示は、このような状況に鑑みてなされたものであり、特に、レンズレスカメラに用いられるマスクの透過領域を構成する集光素子を適切に調整することで、センサ上に投影される観測値に基づいた再構成画像の画質を向上させるものである。

　本開示の第１の側面の撮像装置の製造装置は、入射光を遮光する遮光素材からなり、前記遮光素材の一部に前記入射光を透過させる複数の透過領域が設けられ、前記透過領域に前記入射光を集光する集光素子が設けられることにより、前記入射光に変調を掛けて透過させるマスクと、前記マスクにより変調された前記入射光を、画素信号として撮像する撮像素子と、前記画素信号を信号処理により最終画像として再構成する再構成部とを備えた撮像装置を製造する製造装置であって、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲に基づいて、前記集光素子を調整する調整部を備える撮像装置の製造装置である。

　本開示の第１の側面の撮像装置の製造方法は、入射光を遮光する遮光素材からなり、前記遮光素材の一部に前記入射光を透過させる複数の透過領域が設けられ、前記透過領域に前記入射光を集光する集光素子が設けられることにより、前記入射光に変調を掛けて透過させるマスクと、前記マスクにより変調された前記入射光を、画素信号として撮像する撮像素子と、前記画素信号を信号処理により最終画像として再構成する再構成部とを備えた撮像装置の製造方法であって、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲に基づいて、前記集光素子を、調整するステップを含む撮像装置の製造方法である。

　本開示の第１の側面においては、入射光を遮光する遮光素材からなり、前記遮光素材の一部に前記入射光を透過させる複数の透過領域が設けられ、前記透過領域に前記入射光を集光する集光素子が設けられることにより、前記入射光に変調を掛けて透過させるマスクと、前記マスクにより変調された前記入射光を、画素信号として撮像する撮像素子と、前記画素信号を信号処理により最終画像として再構成する再構成部とを備えた撮像装置を製造する製造装置であって、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲に基づいて、前記集光素子が調整される。

　本開示の第２の側面の撮像装置は、入射光を遮光する遮光素材からなり、前記遮光素材の一部に前記入射光を透過させる複数の透過領域が設けられ、前記透過領域に前記入射光を集光する集光素子が設けられることにより、前記入射光に変調を掛けて透過させるマスクと、前記マスクにより変調された前記入射光を、画素信号として撮像する撮像素子と、前記画素信号を信号処理により最終画像として再構成する再構成部とを備え、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲に基づいて、前記集光素子が、調整される撮像装置である。

　本開示の第２の側面においては、入射光を遮光する遮光素材からなり、前記遮光素材の一部に前記入射光を透過させる複数の透過領域が設けられ、前記透過領域に前記入射光を集光する集光素子が設けられたマスクにより、前記入射光に変調が掛けられて透過され、変調された前記入射光が、画素信号として撮像され、前記画素信号が信号処理により最終画像として再構成され、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲に基づいて、前記集光素子が、調整される。

本開示の撮像装置の構成例を説明する図である。図１のマスクの構成例を説明する図である。図１の撮像装置における撮像原理を説明する図である。図１の撮像装置による撮像処理を説明するフローチャートである。カメラ画角CFOVを説明する図である。カメラ画角CFOVを説明する図である。カメラ画角CFOVを説明する図である。各レンズの初期ローカル画角ILFOVを説明する図である。各レンズのローカル画角ILFOVを説明する図である。各レンズのLFOV中心方向Lxを説明する図である。レンズの光軸をローカル画角中心方向に一致させるようにしたマスクの構成例を説明する図である。本開示の撮像装置の製造装置の第１の実施の形態の構成例を説明する図である。図１２の撮像装置の製造装置による製造処理を説明するフローチャートである。マスクの第１の変形例を説明する図である。マスクの第２の変形例を説明する図である。マスク中心から所定の範囲にレンズが形成されないようにしたマスクの例を説明する図である。本開示の撮像装置の製造装置の第２の実施の形態の構成例を説明する図である。図１７の撮像装置の製造装置による製造処理を説明するフローチャートである。汎用のパーソナルコンピュータの構成例を説明する図である。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本開示の撮像装置
　２．本開示の撮像装置の製造装置の第１の実施の形態
　３．本開示の撮像装置の製造装置の第２の実施の形態
　４．ソフトウェアにより実行させる例
　５．移動体への応用例

　＜＜１．本開示の撮像装置＞＞
　次に、図１を参照して、本開示の撮像装置の一実施の形態の構成例について説明する。尚、図１は、撮像装置１１の側面断面図である。

　図１の撮像装置１１は、いわゆるレンズレスカメラであり、マスク３１、撮像素子３２、再構成部３３、および出力部３４を備えている。

　マスク３１は、撮像素子３２の前段に設けられる遮光素材からなる板状の構成であり、例えば、図２で示されるように、入射光を透過させる穴状の開口部に対して、レンズやFZP（Fresnel Zone Plate）等からなる集光素子が設けられた透過領域４１と、それ以外の遮光された不透過領域４２とから構成されている。

　マスク３１は、光軸ＡＸで示される被写体面（現実には３次元の被写体からの放射光が発せられる面）Ｇ１からの光を入射光として受光すると、透過領域４１に設けられた集光素子を介して、入射光を透過させることで、被写体面Ｇ１からの入射光に対して全体として変調を掛けて、変調光に変換し、変換した変調光を撮像素子３２により受光させて撮像させる。

　撮像素子３２は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサからなり、被写体面Ｇ１からの入射光に、マスク３１により変調が掛けられた変調光よりなる像を撮像し、画素単位の信号からなる画像Ｇ２として再構成部３３に出力する。

　尚、マスク３１は、少なくとも撮像素子３２の全面を内包する大きさであり、基本的に撮像素子３２において、マスク３１を透過することで変調が掛けられた変調光のみが受光される構成とされている。

　また、マスク３１に構成される透過領域４１は、少なくとも撮像素子３２の画素サイズよりも大きいサイズである。また、撮像素子３２とマスク３１との間には、微小な距離ｄの隙間が設けられている。

　例えば、図３の左上部で示されるように、被写体面Ｇ１上の点光源ＰＡ，ＰＢ，ＰＣからの入射光が、マスク３１を透過して撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおいて、それぞれ光強度ａ，ｂ，ｃの光線として受光されるものとする。

　図３の左上部で示されるように、各画素の検出感度は、マスク３１に設定される透過領域４１により入射光が変調されることにより、入射角に応じた指向性を持つことになる。ここでいう各画素の検出感度に入射角指向性を持たせるとは、撮像素子３２上の領域に応じて入射光の入射角度に応じた受光感度特性を異なるものとなるように持たせることである。

　すなわち、被写体面Ｇ１を構成する光源が点光源であることを前提とした場合、撮像素子３２においては、同一の点光源より発せられた同一の光強度の光線が、入射されることになるが、マスク３１により変調されることにより、撮像素子３２の撮像面上の領域毎に入射角度が変化する。そして、マスク３１により撮像素子３２上の領域に応じて入射光の入射角度が変化することにより受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、撮像素子３２の撮像面の前段に設けられたマスク３１により撮像素子３２上の領域毎に異なる感度で検出されることになり、領域毎に異なる検出信号レベルの検出信号が検出される。

　より具体的には、図３の右上部で示されるように、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。尚、図３における式（１）乃至式（３）は、図３における撮像素子３２上における位置Ｐａ，Ｐｂ，Ｐｃと上下関係が反転している。

　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）

　ここで、α１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数である。

　また、β１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。

　さらに、γ１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。

　従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐａにおける点光源ＰＡからの光線による検出信号レベルを示したものである。

　また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐａにおける点光源ＰＢからの光線による検出信号レベルを示したものである。

　さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐａにおける点光源ＰＣからの光線による検出信号レベルを示したものである。

　従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの係数α１，β１，γ１を掛けたものの合成値として表現される。以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。

　同様に、点光源Ｐｂにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。また、点光源Ｐｃにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ点光源Ｐａにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。

　ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。尚、この位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルＤＡ，ＤＢ，ＤＢからなる画像が、図１の画像Ｇ２に対応する。

　すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、光強度ａ，ｂ，ｃを解くことで、図３の右下部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像（最終画像）が再構成されて復元される。尚、この再構成される画像が、図１の画像Ｇ３に対応する。

　また、図３の左上部で示される撮像素子３２と被写体面Ｇ１との距離が変化する場合、係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３は、それぞれ変化することになるが、この係数セットを変化させることで、様々な距離の被写体面の復元画像（最終画像）を再構成させることができる。

　このため、１回の撮像により、係数セットを様々な距離に対応するものに変化させることで、撮像位置から様々な距離の被写体面の画像を再構成することができる。

　結果として、図１の撮像装置１１を用いた撮像においては、レンズを用いた撮像装置での撮像において合焦点がずれた状態で撮像される、いわゆる、ピンぼけといった現象を意識する必要がなく、視野内に撮像したい被写体が含まれるように撮像されていれば、距離に応じた係数セットを変化させることで様々な距離の被写体面の画像を、撮像後に再構成することができる。

　尚、図３の右上部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではなく、単なる観測値となり、観測値からなる画像が画像Ｇ２に相当する。また、図３の右下部で示される検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値、すなわち、画像Ｇ２に基づいて復元された、復元画像（最終画像）の各画素の値なので、画素値となる。すなわち、この被写体面Ｇ１の復元画像（最終画像）が、画像Ｇ３に対応する。

　このような構成により、撮像装置１１は、いわゆるレンズレスカメラとして機能させることが可能となる。結果として、撮像レンズが必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。また、係数セットを様々に変化させることにより、様々な距離の被写体面における最終画像（復元画像）を再構成して復元することが可能となる。

　尚、以降においては、撮像素子３２により撮像された、再構成される前の画像Ｇ２に相当する画像を単に撮像画像と称し、撮像画像が信号処理されることにより再構成されて復元される画像Ｇ３に相当する画像を最終画像（復元画像）と称する。従って、１枚の撮像画像からは、上述した係数セットを様々に変化させることにより、様々な距離の被写体面Ｇ１上の画像を最終画像として再構成させることができる。

　再構成部３３は、上述した係数セットを備えており、撮像装置１１の撮像位置から被写体面Ｇ１までの距離に応じた係数セットを用いて、撮像素子３２により撮像された撮像画像（図１の画像Ｇ２）に基づいて、最終画像（復元画像）（図１の画像Ｇ３）を再構成して出力部３４に出力する。

　出力部３４は、再構成部３３より供給されてきた最終画像に信号処理を加えて画像信号として出力する。

　＜図１の撮像装置による撮像処理＞
　次に、図４のフローチャートを参照して、図１の撮像装置１１による撮像処理について説明する。

　ステップＳ１１において、マスク３１は、被写体面Ｇ１からの光に変調を掛けて、撮像素子３２に入射させる。

　ステップＳ１２において、撮像素子３２は、被写体面Ｇ１からの光であって、マスク３１により変調が掛けられた光からなる像を撮像して、撮像画像（画像Ｇ２に相当）として再構成部３３に出力する。

　ステップＳ１３において、再構成部３３は、撮像素子３２より出力される変調された光からなる像が撮像された撮像画像（画像Ｇ２に相当）に基づいて、撮像装置１１の撮像位置から被写体面Ｇ１までの距離に応じた所定の係数セットを用いて、画像を再構成して最終画像（復元画像）（画像Ｇ３に相当）として出力部３４に出力する。すなわち、撮像画像に対して、上述した式（１）乃至式（３）を参照して説明した係数セットを用いた連立方程式を構成して解くことにより、最終画像（復元画像）が求められることになる。

　ステップＳ１４において、出力部３４は、信号処理を施して、画像信号として出力する。

　すなわち、以上の一連の処理により、レンズを用いることなく、マスクを用いて変調を掛けた後、係数セットを用いて最終画像（復元画像）を再構成するようにしたので、低背化を実現すると共に、１回の撮像で様々な距離の画像を再構成することが可能となる。

　＜＜２．本開示の撮像装置の製造装置の第１の実施の形態＞＞
　＜マスクパターン＞
　次に、図１の撮像装置１１におけるマスク３１において透過領域４１の配置パターンとなるマスクパターンについて説明する。

　図１の撮像装置１１におけるマスク３１のマスクパターンには、様々なマスクパターンが提案されており、このうち、MURA（Modified Uniformly Redundant Arrays）マスクや、URA（Uniformly Redundant Arrays）マスクと呼ばれるマスクパターンなどがある。これらのパターンは、cyclic coded maskと呼ばれる繰り返し構造を持つものであり、マスクを使ってシーンを再構成するcoded aperture imagingの世界で良く用いられるパターンである。

　尚、MURAマスクや、URAマスクについては、非特許文献１を参照されたい。

　また、上述した図２のマスク３１は、URAマスクパターンのうち、Singer URAパターンと呼ばれるマスクパターンにより透過領域４１が配置されている。

　尚、Singer URAパターンについては、A. Busboom, H. Elders-Boll , H. D. Shotton, “Uniformly redundant arrays.,” Experimental Astronomy 8.2 (1998): pp. 97-123, 1998.を参照されたい。

　このように様々なパターンのマスク３１が用いられることにより、図１の被写体面Ｇ１に相当するシーン画像を再構成する事が可能となる。

　図２のマスク３１において、透過領域４１を構成する、パターンの開口率は0.9%と極めて小さく、僅かな光のみが撮像素子３２に透過することになるためS/N（Signal to Noise ratio）が悪い。

　また、透過領域４１に集光素子が設けられず、ピンホール状の単なる開口部である場合、回折の影響を強く受けて、撮像素子３２上の像がぼけてしまう。

　そこで、本開示の撮像装置１１のマスク３１における透過領域４１には、レンズやFZP(Fresnel Zone Plate)などの集光素子が配置されており、これにより回折の影響を低減すると共に、入射光量を増大させているので、撮像素子３２においてシャープな像を撮像することが可能な構成とされている。

　尚、MURAマスクパターンからなるマスク３１の透過領域４１にレンズを配置する具体的な方法については、米国特許出願公開第2010/0220212号を参照されたい。

　このように透過領域４１に設けられた集光素子により透過する入射光を集光することでS/Nを向上させることが可能となる。

　マスク３１の透過領域４１がMURAパターンで構成される場合、マスク３１に対する入射光の比率は50%になるが、Singer URAパターンにレンズやFZPを配することで、50%を超える比率での入射光を利用することが可能となり、結果としてS/Nが向上する。

　＜レンズの光軸調整＞
　しかしながら、マスク３１の透過領域４１にレンズやFZPなどの集光素子が配置される場合、各集光素子においては、入射光が光軸方向から外側にずれるにつれ、コサイン四乗則に従って周辺光量低下が発生し、さらに、収差の影響も強くなる。このため、マスク３１の透過領域４１に配置される集光素子の光軸は、できる限り入射光の入射方向に近い方が、画質の低減を抑制できる。

　本開示の撮像装置１１により実現されるレンズレスカメラにおける画像の再構成は、以下のように実現される。

　まず、上述したように、一例としては、シーンからの放射光を３次元上の複数のサンプリングポイントの輝度値（図３における被写体面Ｇ１上における点光源ＰＡ，ＰＢ，ＰＣの光強度ａ，ｂ，ｃの光線の検出信号レベルａ，ｂ，ｃに相当）で表現し、マスク３１を通して撮像素子３２上に投影される変調光のセンサ観測値の組（図３の撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣ）を、シミュレーションなどで複数組求めておく。

　次に、変調光のセンサ観測値の組からマスク３１を表現するマスクマトリクス（上述した式（１）乃至（３）における係数α１乃至α３、β１乃至β３、γ１乃至γ３等からなる係数セット）を計算する。

　そして、係数セットからなるマスクマトリクスを構成する行列の逆行列を求める。

　これにより、観測値を構成する撮像画像（画像Ｇ２に相当）に対して逆行列を掛けることでサンプリングポイント毎の輝度値を復元することが可能となり、最終画像（画像Ｇ３に相当）を再構成することが可能となる。

　３次元上のP個のサンプリングポイントから放射される光の輝度値（図３における検出信号レベルａ，ｂ，ｃに相当）を、要素P個の放射光ベクトルxとして表記し、それを受光する、N画素からなる２次元の撮像素子３２における各画素の観測値（図３の撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣに相当）を、要素N個のシーン観測値ベクトルyとして表現すると、その関係は、以下の式（４）で表される。

　y=Mx
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）

　ここで、Mはマスク３１の変調を表現するマスクマトリクス（行列：上述した式（１）乃至（３）における係数α１乃至α３、β１乃至β３、γ１乃至γ３等からなる係数セットの行列）からなる透過関数である。

　このような関係に基づいて、再構成部３３は、観測値ベクトルyに、マスクマトリクスMの逆行列M^-1を掛けて放射光ベクトルxを求めることで、復元画像（最終画像）を再構成する。

　この式（４）における観測値ベクトルyは、観測すべきシーンがマスク３１を透過して変調された光のみで構成される事を示している。

　従って、マスク３１外からの光が撮像素子３２に入射して、観測値ベクトルyの要素を構成する値に影響を与える場合、マスク３１外からの光が観測値ベクトルyにより再構成される画像においてノイズとして現れることになる。

　（カメラ画角CFOV（Camera Field Of View））
　ここで、マスク３１を透過して撮像素子３２に入射する、最終画像として再構成可能な入射角からなるカメラ画角CFOVを定義する。

　尚、マスク３１の不透過領域４２においては、入射光は遮光されることになるが、透過領域４１は、マスク３１上のいずれの位置にも配置される可能性があるので、入射光の入射範囲を考えるときには、マスク３１上の全面が透過領域４１であるものとする。

　すなわち、カメラ画角CFOV内の入射光のみが、マスク３１を介して変調された後、撮像素子３２に入射され、撮像素子３２により撮像画像として撮像される場合、この撮像画像に基づいて復元される最終画像には、理論的にはノイズが含まれない。

　そこで、カメラ画角CFOVは、以下のように定義できる。

　図５は、マスク３１とマスク３１上における透過領域４１－１乃至４１－４のそれぞれに集光素子としてレンズ５１－１乃至５１－４が設けられたときの撮像素子３２との関係を示している。

　ここで、図５の矢印v1方向はマスク３１および撮像素子３２に対しての入射光の入射方向を示しており、矢印v1方向の入射光は、マスク３１の範囲Ｚ１１を透過する光が撮像素子３２に入射し、範囲Ｚ１１の左端を通る光が撮像素子３２の左端に入射する。

　このため、矢印v1方向は、カメラ画角CFOVの図中の左方向の端部の角度となる。

　同様に、図６で示されるように、矢印v1に対して、やや右側に傾いた矢印v2方向の入射光は、矢印v1方向の入射光より、少し右方向に傾いた方向からの入射光であり、マスク３１上において少し右側の位置である、範囲Ｚ１２を透過する光が撮像素子３２に入射する。

　そして、図６で示されるように、徐々に入射角を右方向に傾け続けると、図７で示されるように、マスク３１の範囲ＺＮを透過する光が撮像素子３２に入射し、右端の矢印vN方向の入射光が、マスク３１の右端を通って撮像素子３２の右端に入射する。

　このため、矢印vN方向は、カメラ画角CFOVの右方向の端部の角度となる。

　これらのことから、マスク３１を透過する入射光のうち、撮像素子３２上に入射する入射光の範囲は、矢印v1方向乃至矢印vN’方向の範囲となり、これがカメラ画角CFOVとなる。ここで、矢印vN’方向は、矢印vN方向と平行な方向である。したがって、カメラ画角CFOVは、矢印v1方向乃至矢印vN方向の範囲とも言える。

　すなわち、カメラ画角CFOVは、マスク３１を透過して、撮像素子３２に入射可能な入射光の入射方向の範囲と定義できる。

　（レンズ毎のローカル画角LFOV（Local Field Of View））
　次にレンズ５１毎の、レンズ５１を透過して撮像素子３２に入射する入射光の範囲としてローカル画角LFOVを定義する。

　図８における透過領域４１－３のレンズ５１－３に着目すると、レンズ５１－３を透過して撮像素子３２に入射する入射光の範囲は、撮像素子３２の端部に入射可能な矢印V3-1方向乃至矢印V3-2方向の間である。

　ここで矢印V3-1方向乃至矢印V3-2方向の範囲は、レンズ５１－３の初期ローカル画角ILFOV（Initial Local Field Of View）と定義する。すなわち、レンズ５１－３においては、初期ローカル画角ILFOVである矢印V3-1方向乃至矢印V3-2方向の範囲内の入射光であれば、撮像素子３２に入射することができる。

　しかしながら、上述の通り、図８の初期ローカル画角ILFOVの内、カメラ画角CFOV外からの入射光は再構成される最終画像において単なるノイズになってしまう。

　すなわち、レンズ５１－３においては、矢印V3-1方向乃至矢印V3-2方向の範囲からなる初期ローカル画角ILFOVの入射光を撮像素子３２に入射させることができるが、他の透過領域４１（レンズ５１）が設けられる可能性のあるマスク３１上の全範囲を考慮した場合、マスク３１を透過して撮像素子３２に入射可能なカメラ画角CFOVから外れる範囲は、撮像素子３２に入射できない。

　従って、マスク３１上の全ての透過領域４１に設けられるレンズ５１のそれぞれにおいて、適切な入射光の範囲は、それぞれの初期ローカル画角ILFOVのうちの、カメラ画角CFOVに属する範囲、換言すれば、それぞれの初期ローカル画角ILFOVとカメラ画角CFOVとの共通範囲となる。

　図９のレンズ５１－３の場合、初期ローカル画角ILFOVのうちの、カメラ画角CFOVに属する範囲は、矢印v3-1方向乃至矢印vN’’方向の範囲となる。

　尚、図９のレンズ５１－３の光軸を中心としたカメラ画角CFOVは、矢印v1’方向乃至矢印vN’’方向の範囲となり、矢印v1’方向、および矢印vN’’方向は、それぞれ矢印v1方向、および矢印vN方向と平行である。

　そこで、この初期ローカル画角ILFOVのうちの、カメラ画角CFOVに属する範囲を、すなわち、図９におけるレンズ５１－３の場合の矢印v3-1方向乃至矢印vN（vN’’）方向の範囲を、ローカル画角LFOV（Local Field Of View）とする。

　このローカル画角LFOVはレンズ５１毎にそれぞれ設定されるものである。

　＜ローカル画角LFOVに基づいたレンズの最適化＞
　レンズ５１のそれぞれについて設定されるローカル画角LFOVに基づいて、レンズ５１を調整することで最適化を図り、再構成される最終画像の画質を向上することが可能となる。

　ローカル画角LFOVを用いたレンズ５１の調整による最適化の手法の一つとして、ローカル画角LFOVの中心方向（以降、LFOV中心方向とも称する）と、レンズ５１の光軸とが一致するようにレンズ５１を傾けて配置する方法が考えられる。

　すなわち、レンズ５１－３の場合、図１０で示されるように、ローカル画角LFOVを成す角度を２等分した方向がLFOV中心方向Lxとされる。

　このように各レンズ５１について、LFOV中心方向Lxを求めて、LFOV中心方向Lxと、レンズ５１の光軸とが一致するようにレンズ５１を傾けて配置することで、ローカル画角LFOVに対して最適化されたレンズ５１配置を実現することが可能となる。

　すなわち、例えば、図１１の上段で示されるように、マスク３１における透過領域４１－１１乃至４１－１５が設けられており、それぞれにレンズ５１－１１乃至５１－１５の光軸がマスク３１の表面に対して垂直をなすように設置されている場合について考える。

　図１１の上段のように、各レンズ５１－１１乃至５１－１５が配置される場合、それぞれのローカル画角LFOVが求められると、それぞれのローカル画角LFOVについてLFOV中心方向Lx11乃至Lx15を求めることが可能となる。

　これにより、図１１の下段におけるレンズ５１’－１１乃至５１’－１５で示されるように、レンズ５１－１１乃至５１－１５における光軸方向をそれぞれLFOV中心方向Lx11乃至Lx15と一致するように傾けて配置することで最適化が可能となる。

　結果として、各レンズ５１の光軸と、レンズ５１のそれぞれのローカル画角LFOVのLFOV中心方向Lxとが一致するように各レンズ５１の向きを調整して配置することで最適化することにより、各レンズ５１の光軸が、撮像素子３２に入射可能な範囲であるローカル画角LFOVの中心方向となるLFOV中心方向Lxと一致するように配置されることになるので、レンズ５１の光軸中心からの距離に応じた周辺光量低下や収差の影響を最も低減させることが可能となる。

　＜第１の実施の形態における撮像装置の製造装置＞
　次に、図１２を参照して、上述したようにレンズ５１の設置方向を調整したマスク３１を備えた撮像装置１１の製造装置の第１の実施の形態の構成例について説明する。

　図１２の製造装置１０１は、マスク３１を生成するマスク生成部１１１と、マスク生成部１１１により生成されたマスク３１を組み付けることで撮像装置１１を組み立てる組立部１１２より構成される。

　マスク生成部１１１は、マスク３１に対して透過領域４１と不透過領域４２とを形成し、さらに、透過領域４１に対して、最適化された向きに傾けた状態でレンズ５１を配置することで、マスク３１を生成し、組立部１１２に出力する。

　この際、マスク生成部１１１は、上述したように透過領域４１毎にレンズ５１を設置する際に、各レンズ５１の光軸と、レンズ５１のそれぞれのローカル画角LFOVのLFOV中心方向Lxとの差が最小になるように各レンズ５１の向きを調整して配置する。

　これにより、マスク３１の透過領域４１に最適化された状態でレンズ５１が設置されることになり、各レンズ５１の光軸中心からの距離に応じた周辺光量低下や収差の影響を最も低減させることが可能となる。

　組立部１１２は、マスク生成部１１１より供給されるマスク３１と、撮像素子３２、再構成部３３、および出力部３４とを組み付けることにより、図１の撮像装置１１を組み立てて出力する。

　（図１２のマスク生成部）
　より詳細には、マスク生成部１１１は、レンズアレイ調整部１２１、およびレンズ装着部１２２を備えている。

　レンズアレイ調整部１２１は、レンズ仕様、レンズ配置情報、マスク-センサ間相対関係情報、センサ仕様、およびマスク仕様の情報に基づいて、上述した手法により、マスク３１の透過領域４１に設置されるレンズ５１のそれぞれの光軸方向を調整して、調整結果となる光軸方向の情報、およびレンズ配置情報をレンズ装着部１２２に出力する。

　レンズ装着部１２２は、レンズアレイ調整部１２１より供給されるレンズ配置情報に基づいて、マスク３１に対して透過領域４１と不透過領域４２とを形成する。そして、レンズ装着部１２２は、形成した透過領域４１のそれぞれについて、レンズアレイ調整部１２１より供給される光軸方向の情報に基づいて、レンズ５１の光軸を調整して、レンズ５１を設置し、マスク３１を完成させて組立部１１２に出力する。

　（図１２のレンズアレイ調整部）
　また、レンズアレイ調整部１２１は、ILFOV計算部１３１、CFOV計算部１３２、LFOV計算部１３３、LFOV中心計算部１３４、およびレンズ光軸方向調整部１３５を備えている。

　ILFOV計算部１３１は、レンズ仕様、レンズ配置、マスク-センサ間相対関係情報、およびセンサ仕様に基づいて、図８を参照して説明したレンズ５１毎の初期ローカル画角ILFOVを計算し、LFOV計算部１３３に出力する。

　ここで、レンズ仕様は、例えば、レンズ５１の口径、および焦点距離の情報である。また、レンズ配置は、例えば、マスク３１上のレンズ５１が個々に配置される透過領域４１の配置情報である。さらに、マスク-センサ間相対関係情報は、例えば、マスク３１とセンサである撮像素子３２との相対的な位置関係の情報であり、中心位置のずれや、相互の距離の情報である。また、センサ仕様は、例えば、センサである撮像素子３２の形状やサイズの情報である。

　CFOV計算部１３２は、マスク-センサ間相対関係情報、センサ仕様、およびマスク仕様に基づいて、図７を参照して説明したカメラ画角CFOVを計算し、LFOV計算部１３３に出力する。

　ここで、マスク仕様は、例えば、マスク３１の形状やサイズの情報である。

　LFOV計算部１３３は、ILFOV計算部１３１より供給されるレンズ５１毎の初期ローカル画角ILFOVと、CFOV計算部１３２より供給されるカメラ画角CFOVとに基づいて、図９を参照して説明した各レンズ５１におけるローカル画角LFOVを計算し、LFOV中心計算部１３４に出力する。

　LFOV中心計算部１３４は、LFOV計算部１３３より供給される、各レンズ５１のローカル画角LFOVに基づいて、図１０を参照して説明したローカル画角LFOVの中心方向であるLFOV中心方向Lxを計算し、レンズ光軸方向調整部１３５に出力する。

　レンズ光軸方向調整部１３５は、LFOV中心計算部１３４より供給される各レンズ５１のLFOV中心方向Lxに基づいて、レンズ５１の光軸方向を調整し、調整したレンズ光軸方向の情報をレンズ装着部１２２に供給する。

　より詳細には、レンズ光軸方向調整部１３５は、LFOV中心計算部１３４より供給される各レンズ５１のLFOV中心方向と、レンズ５１の光軸方向との差分からなる評価関数を計算し、評価関数が最小になるように各レンズ５１の光軸方向を調整する。そして、レンズ光軸方向調整部１３５は、評価関数が最小となるように調整された各レンズ５１の光軸方向の情報をレンズ装着部１２２に出力する。

　これにより、レンズ装着部１２２は、マスク仕様に対応してマスク３１に対して透過領域４１と不透過領域４２とを形成し、透過領域４１のそれぞれについて、レンズ５１の光軸を、レンズアレイ調整部１２１のレンズ光軸方向調整部１３５より供給される調整された光軸方向の情報に基づいて、例えば、図１１の下段で示されるようにして設置し、マスク３１を完成させて組立部１１２に出力する。

　＜図１２の製造装置による撮像装置の製造処理＞
　次に、図１３のフローチャートを参照して、図１２の製造装置１０１による撮像装置１１の製造処理について説明する。

　ステップＳ５１において、ILFOV計算部１３１は、レンズ仕様、レンズ配置、マスク-センサ間相対関係情報、およびセンサ仕様に基づいて、初期ローカル画角ILFOVをレンズ５１毎に計算し、LFOV計算部１３３に出力する。

　ステップＳ５２において、CFOV計算部１３２は、マスク-センサ間相対関係情報、センサ仕様、およびマスク仕様に基づいて、カメラ画角CFOVを計算し、LFOV計算部１３３に出力する。

　ステップＳ５３において、LFOV計算部１３３は、ILFOV計算部１３１より供給されるレンズ５１毎の初期ローカル画角ILFOVと、CFOV計算部１３２より供給されるカメラ画角CFOVとに基づいて、各レンズ５１のローカル画角LFOVを計算し、LFOV中心計算部１３４に出力する。

　ステップＳ５４において、LFOV中心計算部１３４は、LFOV計算部１３３より供給される、各レンズ５１のローカル画角LFOVに基づいて、ローカル画角LFOVの中心方向であるLFOV中心方向を計算し、レンズ光軸方向調整部１３５に出力する。

　ステップＳ５５において、レンズ光軸方向調整部１３５は、各レンズ５１について、LFOV中心計算部１３４より供給されるLFOV中心方向と、光軸方向との差分からなる評価関数を計算し、評価関数が最小になるように、各レンズ５１の光軸方向を調整する。

　すなわち、実質的に、レンズ光軸方向調整部１３５は、LFOV中心計算部１３４より供給される各レンズ５１のLFOV中心方向と、レンズ５１の光軸方向とが略一致するように、レンズ光軸方向を調整する。

　そして、レンズ光軸方向調整部１３５は、評価関数が最小となるように調整された各レンズ５１の光軸方向の情報をレンズ装着部１２２に出力する。

　ステップＳ５６において、レンズ装着部１２２は、マスク３１に対して透過領域４１と不透過領域４２とを形成し、透過領域４１のそれぞれについて、レンズアレイ調整部１２１のレンズ光軸方向調整部１３５より供給される調整された各レンズ５１の光軸方向の情報に基づいて、レンズ５１の光軸を調整して設置し、マスク３１を完成させて組立部１１２に出力する。

　ステップＳ５７において、組立部１１２は、各レンズ５１の光軸が、それぞれの評価関数が最小となるように調整された状態で透過領域４１に設置されたマスク３１と、撮像素子３２、再構成部３３、および出力部３４とを組み付けて、撮像装置１１を完成させる。

　以上の処理により、マスク３１の透過領域４１に設置されるレンズ５１が、それぞれの光軸中心からの距離に応じた周辺光量低下や収差の影響を最も低減させることが可能となる。

　結果として、レンズレスカメラとして機能する撮像装置１１に用いられるマスク３１の透過領域４１を構成する集光素子としてのレンズ５１を適切に調整することが可能となり、撮像素子３２上に投影される観測値に基づいて再構成される最終画像の画質を向上させることが可能となる。

　＜＜２－１．第１の変形例＞＞
　以上においては、レンズ５１のサイズを変えることなく、光軸の向きを調整することで、光軸中心からの距離に応じた周辺光量低下や収差の影響を低減させる例について説明してきたが、マスク３１の中心位置からの距離に応じて、レンズ５１の径を大きくする事で入射光量を増やし、画像のS/Nを良くするようにしてもよい。

　すなわち、例えば、図１４の下段のマスク３１’’で示されるように、端部に近いレンズ５１’’ほど、光軸方向に対する角度を大きくすると共に、径を大きくするように配置してもよい。

　尚、図１４の上段においては、調整前のレンズ５１－２１乃至５１－２５が配置されているマスク３１が示されており、下段においては、調整後のマスク３１’’が示されており、マスク３１’’の端部に近いほど、光軸方向の角度が大きくされると共に、径が大きくされたレンズ５１’’－２１乃至５１’’－２５が配置されている例が示されている。

　すなわち、図１４のマスク３１’’においては、レンズ５１’’－２１乃至５１’’－２５のそれぞれの光軸方向が、それぞれのLFOV中心方向Lx21乃至Lx25との差分が最小になるように、すなわち、それぞれの光軸方向とLFOV中心方向Lx21乃至Lx25とが略一致するように傾けて配置されている。

　ところで、図１４のマスク３１においては、ローカル画角LFOVが大きな、マスク３１の中心に近いレンズ５１ほど、光軸からの最大角度（初期ローカル画角ILFOV）が大きくなるため、収差の影響を受け易くなる。

　一方、ローカル画角LFOVが小さな、マスク３１の中心から離れた端部に近いレンズ５１ほど、光軸近辺の光のみが有効であるため、収差の影響を受けにくい。

　そして、一般的に、レンズは、径を大きくすると、入射光量を増大させることができるが、収差の影響が大きくなる。

　そこで、図１４の下段のマスク３１’’で示されるように、すなわち、マスク３１’’の中心位置から離れた端部に近く、ローカル画角LFOVが小さい、収差の影響を受け難くいレンズ５１ほど、径を大きくするようにしてもよい。

　図１４の下段で示されるようなマスク３１’’を構成することにより、光軸中心からの距離に応じた周辺光量低下や収差の影響を低減させると共に、入射光量を増大させて、S/N（Signal to Noise Ratio）の高い画像を得ることが可能となる。

　＜＜２－２．第２の変形例＞＞
　以上においては、集光素子としてレンズ５１を用いる例について説明してきたが、集光素子であればレンズ５１以外であってもよく、例えば、FZP（Fresnel Zone Plate）であってもよい。

　すなわち、FZPでは、レンズ５１において光軸を傾ける代わりに、同様の光学的に最適なフォーカスが得られるようにFZPの形状を変化させる。

　より具体的には、例えば、図１５の左部で示されるように、フォーカスが得られる方向（以下、フォーカス方向とも称する）と、LFOV中心方向が一致するようにFZPの形状を変更する事で、レンズの場合と同様に、有効なローカル画角LFOVの範囲で最適なフォーカスが得られるような構造にできる。

　すなわち、図１５の左部においては、通常のFZP１５１－１乃至１５１－９が、透過領域１４１－１乃至１４１－９に設けられている調整前のマスク３１が示されている。

　一方、図１５の右部においては、フォーカス方向と、LFOV中心方向が一致するようにFZP１５１’－１乃至１５１’－９の形状が変更されたマスク３１’’’が示されている。

　すなわち、図１５の右部のマスク３１’’’で示されるように、図１５の左部のマスク３１におけるFZP１５１－１乃至１５１－９に対して、FZP１５１’－１乃至１５１’－９は、それぞれの中心位置、並びに、それぞれを構成する円のアスペクト比が変更されて形成されている。

　これにより、マスク３１’’’の端部に近いほど、画像再構成に必要な角度範囲が狭くなるため、FZP１５１’を構成する格子の幅および間隔、並びに形状が変化している。

　また、レンズ５１の代わりにFZP１５１’を使った場合も同様で、ローカル画角LFOVが小さいほど、ゾーンの数（リングの数）を増やして、かつ、FZP１５１’の径が大きくされることで、レンズ５１の場合と同様に周辺光量低下や収差の影響を低減させる効果を得ることができる。

　尚、FZPの詳細な構成方法については、米国特許公報第7,502,178号を参照されたい。

　＜＜３．本開示の撮像装置の製造装置の第２の実施の形態＞＞
　上述したように、マスク３１を構成するレンズ５１やFZP１５１等の集光素子は、光軸より離れる程、入射光の光量が低下し収差の影響を受けるので好ましくない。

　また、ローカル画角LFOVはマスク３１の中心の集光素子の方が、マスク３１の端部に近い集光素子より大きくなる。つまり、マスク３１の中心に近い集光素子ほど光量低下や収差の影響を受け易くなる。

　そこで、なるべくマスク３１の中心から集光素子を遠ざけるように配置を調整することで、光量低下や収差の影響を低減するようにしてもよい。

　より具体的には、集光素子の配置は画像再構成が可能であることが条件であり、例えば、図１６の左部で示されるようなSinger URAパターンのマスク３１に対しては、図１６の左部のパターンの条件を満たしつつ、例えば、図１６の右部で示されるマスク３１で示されるように透過領域４１が再配置されるように調整してもよい。

　すなわち、図１６の左部におけるマスク３１の中心近傍の領域Ｚ５１においては、７個程度の透過領域４１が設定されているが、図１６の右部で示されるマスク３１においては、透過領域４１がマスク３１の中心近傍の範囲から離されて再配置されることにより、領域Ｚ５１に対応する中心近傍の領域Ｚ５１’には２個程度の透過領域４１しか配置されていない。

　このように、図１６の左部のマスク３１の透過領域４１の配置を、図１６の右部のマスク３１で示されるように再配置することで、マスク３１の中心近傍から所定の距離内の範囲に透過領域４１が配置されなくなるので、マスク３１の中心付近に配置されるレンズ５１に生じる光量低下や収差の影響を低減することが可能となる。

　＜第２の実施の形態における撮像装置の製造装置＞
　次に、図１７を参照して、上述したようにマスク３１の中心付近にレンズ５１が配置されないようにして、さらに、レンズ５１の設置方向を調整したマスク３１を備えた撮像装置１１を製造する製造装置の第２の実施の形態の構成例について説明する。

　図１７の製造装置２０１は、マスク３１を生成するマスク生成部２１１と、マスク生成部２１１により生成されたマスク３１を組み付けることで撮像装置１１を組み立てる組立部２１２より構成される。

　マスク生成部２１１は、基本的には、図１２のマスク生成部１１１と同様の機能を備えており、マスク３１に対して、透過領域４１と不透過領域４２とを形成し、形成した透過領域４１にレンズ５１を配置することで、マスク３１を生成し、組立部２１２に出力する。この際、マスク生成部２１１は、マスク３１における透過領域４１（レンズ５１）をマスク３１の中心位置から所定の距離内においては形成されないように配置することで、マスク３１の中心付近に配置されるレンズ５１に生じる光量低下や収差の影響を低減する。これにより、再構成される最終画像を高画質化することが可能となる。

　組立部２１２は、図１２の組立部１１２と同様の構成であり、マスク生成部２１１より供給されるマスク３１と、撮像素子３２、再構成部３３、および出力部３４とを組み付けることにより、図１で示される撮像装置１１を組み立てて出力する。

　（図１７のマスク生成部）
　より詳細には、マスク生成部２１１は、レンズアレイ調整部２２１、およびレンズ装着部２２２を備えている。

　レンズアレイ調整部２２１は、レンズ仕様、レンズ配置情報、マスク-センサ間相対関係情報、センサ仕様、マスク仕様、および初期レンズ配置情報に基づいて、マスク３１の中心近傍から所定の距離だけ離れた位置に透過領域４１が配置されるように最適化して配置する。また、レンズアレイ調整部２２１は、透過領域４１の配置情報である最終レンズ配置と、それぞれの透過領域４１に対して設置されるレンズ５１のそれぞれの光軸方向の情報とをレンズ装着部２２２に出力する。

　レンズ装着部２２２は、レンズアレイ調整部２２１より供給される、最適化された状態で決定された最終レンズ配置に基づいて、透過領域４１と不透過領域４２とを形成し、さらに、レンズアレイ調整部２２１より供給される調整されたレンズ光軸方向の情報に基づいて、レンズ５１の光軸を調整して、各透過領域４１にレンズ５１を設置し、マスク３１を完成させて組立部１１２に出力する。

　（図１７のレンズアレイ調整部）
　また、レンズアレイ調整部２２１は、初期レンズ配置記憶部２３０、ILFOV計算部２３１、CFOV計算部２３２、LFOV計算部２３３、LFOV和計算部２３４、LFOV和比較部２３５、LFOV中心計算部２３６、レンズ光軸方向調整部２３７、レンズ配置記憶部２３８、最適レンズ配置記憶部２３９、LFOV和最小値記憶部２４０、およびレンズ配置移動部２４１を備えている。

　尚、ILFOV計算部２３１、CFOV計算部２３２、LFOV計算部２３３、LFOV中心計算部２３６、およびレンズ光軸方向調整部２３７は、それぞれ図１２のILFOV計算部１３１、CFOV計算部１３２、LFOV計算部１３３、LFOV中心計算部１３４、およびレンズ光軸方向調整部１３５と同様であるので、その説明は適宜省略する。

　初期レンズ配置記憶部２３０は、マスク３１上において、レンズ５１が設置される透過領域４１の配置情報である、初期レンズ配置情報を予め記憶しており、処理の最初にレンズ配置記憶部２３８および最適レンズ配置記憶部２３９に供給して記憶せる。

　LFOV和計算部２３４は、LFOV計算部２３３により計算された、各レンズ５１のローカル画角LFOVの総和であるLFOV和を計算して、各レンズ５１のローカル画角LFOVの情報と共にLFOV和比較部２３５に出力する。

　LFOV和比較部２３５は、LFOV和計算部２３４より供給される各レンズ５１のローカル画角LFOVの総和であるLFOV和と、LFOV和最小値記憶部２４０に記憶されているLFOV和最小値とを比較する。尚、LFOV和最小値記憶部２４０には、初期値として、比較的大きな値が記憶されている。

　そして、LFOV和計算部２３４より供給される各レンズ５１のローカル画角LFOVの総和であるLFOV和が、LFOV和最小値記憶部２４０に記憶されているLFOV和最小値よりも小さい場合、LFOV和比較部２３５は、現在のマスク３１のレンズ５１の配置より高画質な画像を再構成可能であるとみなし、レンズ配置移動部２４１を制御して、マスク３１の中心位置から所定の距離の範囲内に透過領域４１、すなわち、レンズ５１が配置されない状態で、透過領域４１の再配置を指示する。

　このとき、レンズ配置移動部２４１は、レンズ配置記憶部２３８に記憶されたレンズ配置に基づいて、最終画像が再構成できるSinger URAパターンが形成される条件を満たしつつ、マスク３１の中心から所定の距離の範囲内にレンズ５１が配置されないように新たなレンズ配置（レンズ５１が配置可能な透過領域４１の配置）を生成して、レンズ配置記憶部２３８に上書き記憶させる。

　また、LFOV和比較部２３５は、このときのLFOV和をLFOV和最小値とみなして、各レンズ５１のローカル画角LFOVと共にLFOV和最小値記憶部２４０に上書きして記憶させる。

　ILFOV計算部２３１とCFOV計算部２３２とは、レンズ配置記憶部２３８に新たに記憶された、新たなレンズ配置に基づいて、初期ローカル画角ILFOV、およびカメラ画角CFOVを計算する。

　このように、LFOV和計算部２３４より供給される各レンズ５１のローカル画角LFOVの総和であるLFOV和が、LFOV和最小値記憶部２４０に記憶されているLFOV和最小値よりも小さいと判定される限り、透過領域４１（レンズ５１）が配置されないマスク３１の中心位置からの距離を広げながら、同様の処理が繰り返されるようにする。

　すなわち、各レンズ５１のローカル画角LFOVは、マスク３１の中心位置に近い程大きな値となる。このため、各レンズ５１のローカル画角LFOVの総和であるLFOV和が大きいということは、透過領域４１（レンズ５１）がマスク３１の中心付近に多く設置され、再構成後の最終画像の画質が所定の状態よりも低下してしまう状態である考えることができる。

　そこで、LFOV和がLFOV和最小値よりも小さい場合については、透過領域４１（レンズ５１）が設定されない、中心位置から所定の距離内の範囲を広げながら透過領域（レンズ５１）を再配置することで、再構成後の最終画像の画質をさらに向上させられる可能性があるものとみなし、LFOV和比較部２３５は、レンズ配置移動部２４１を制御して、透過領域４１（レンズ５１）が設定されない、中心位置から所定の距離内の範囲を徐々に広げながら透過領域（レンズ５１）の再配置を繰り返す。

　そして、LFOV和がLFOV和最小値よりも大きく、再構成後の画質が所定の条件のマスク３１を用いた場合よりも低いと判定された場合、LFOV和比較部２３５は、最適レンズ配置記憶部２３９に格納されている直前の処理で記憶させたレンズ配置の情報が最適化されたレンズ配置であるものとみなして、最終レンズ配置情報として読み出し、各レンズ５１のローカル画角LFOVの情報と共にLFOV中心計算部２３６に出力する。

　換言すれば、LFOV和比較部２３５は、LFOV和からなる評価関数に基づいて、透過領域４１（レンズ５１）の配置を調整していると言える。

　すなわち、LFOV和比較部２３５は、LFOV和からなる評価関数が最小となるまで、レンズ配置移動部２４１を制御して、レンズ５１が配置されない、マスク３１の中心から所定の距離の範囲を広げながら、新たなレンズ配置（レンズ５１が配置可能な透過領域４１の配置）を繰り返し生成させながら、評価関数であるLFOV和を求める。

　そして、LFOV和からなる評価関数が増加に転じたとき、直前のレンズ配置（レンズ５１が配置可能な透過領域４１の配置）のLFOV和である評価関数が最小であるものとみなし、直前のレンズ配置を最終レンズ配置として出力している。

　LFOV中心計算部２３６は、最終レンズ配置情報に基づいた透過領域４１にレンズ５１は配置されるときの各レンズ５１のLFOV中心方向を計算し、レンズ光軸方向調整部２３７に出力する。

　レンズ光軸方向調整部２３７は、LFOV中心計算部２３６より供給される各レンズ５１のLFOV中心方向に基づいて、レンズ５１の光軸方向を調整し、調整したレンズ５１の光軸方向の情報をレンズ装着部２２２に供給する。

　＜図１７の製造装置による撮像装置の製造処理＞
　次に、図１８のフローチャートを参照して、図１７の製造装置による撮像装置の製造処理について説明する。

　ステップＳ７１において、LFOV和比較部２３５は、LFOV和最小値記憶部２４０に、LFOV和最小値として、所定値よりも大きな値を入れておく。

　ステップＳ７２において、初期レンズ配置記憶部２３０は、予め記憶している初期レンズ配置情報をレンズ配置記憶部２３８および最適レンズ配置記憶部２３９に格納する。

　ステップＳ７３において、ILFOV計算部２３１は、レンズ仕様、マスク-センサ間相対関係情報、センサ仕様、およびレンズ配置に基づいて、初期ローカル画角ILFOVをレンズ５１毎に計算し、LFOV計算部２３３に出力する。

　ステップＳ７４において、CFOV計算部２３２は、マスク-センサ間相対関係情報、センサ仕様、およびマスク仕様に基づいて、カメラ画角CFOVを計算し、LFOV計算部２３３に出力する。

　ステップＳ７５において、LFOV計算部２３３は、ILFOV計算部２３１より供給されるレンズ５１毎の初期ローカル画角ILFOVと、CFOV計算部２３２より供給されるカメラ画角CFOVとに基づいて、各レンズ５１におけるローカル画角LFOVを計算し、LFOV和計算部２３４に出力する。

　ステップＳ７６において、LFOV和計算部２３４は、各レンズ５１におけるローカル画角LFOVの総和を計算して、LFOV和からなる評価関数として、各レンズ５１におけるローカル画角LFOVと共に、LFOV和比較部２３５に出力する。

　ステップＳ７７において、LFOV和比較部２３５は、LFOV和計算部２３４より供給されたLFOV和からなる評価関数と、LFOV和最小値記憶部２４０に記憶されているLFOV和最小値とを比較する。

　ステップＳ７８において、LFOV和比較部２３５は、LFOV和計算部２３４より供給されたLFOV和からなる評価関数が、LFOV和最小値記憶部２４０に記憶されているLFOV和最小値よりも小さいか否かを判定する。

　ステップＳ７８において、LFOV和計算部２３４より供給されたLFOV和からなる評価関数が、LFOV和最小値記憶部２４０に記憶されているLFOV和最小値よりも小さいと判定された場合、処理は、ステップＳ７９に進む。

　ステップＳ７９において、LFOV和比較部２３５は、現在のマスク３１のレンズ５１の配置より高画質な画像を再構成可能であるとみなし、現在のレンズ配置を最適レンズ配置とみなして最適レンズ配置記憶部２３９に格納すると共に、このときのLFOV和からなる評価関数をLFOV和最小値とみなして、各レンズ５１のローカル画角LFOVと共にLFOV和最小値記憶部２４０に上書きして記憶させる。

　ステップＳ８０において、LFOV和比較部２３５は、レンズ配置移動部２４１を制御して、レンズ５１（透過領域４１）が配置されない範囲を、マスク３１の中心位置から所定の距離だけ広げた範囲に設定して透過領域４１の再配置を指示する。

　尚、初期の処理においては、レンズ５１が配置されない範囲については、設定されていないので、初期値となるレンズ５１（透過領域４１）が配置されない、マスク３１の中心位置から所定の距離の範囲が設定される。

　この指示に応じて、レンズ配置移動部２４１は、レンズ配置記憶部２３８に記憶されたレンズ配置に基づいて、Singer URAパターンの条件を満たしつつ、マスク３１の中心から所定の距離だけレンズ５１が配置されない範囲を設定して、新たなレンズ配置を生成して、レンズ配置記憶部２３８に上書き記憶させる。

　すなわち、レンズ５１が配置されない、マスク３１の中心から所定の距離の範囲は、同一の処理が繰り返されるとき、徐々に広げられるように設定されて、新たなレンズ配置が繰り返し設定される。

　そして、処理は、ステップＳ７３に戻り、それ以降の処理が繰り返される。

　すなわち、ステップＳ７８において、LFOV和計算部２３４より供給されたLFOV和からなる評価関数が、LFOV和最小値記憶部２４０に記憶されているLFOV和最小値よりも小さくないと判定されるまで、ステップＳ７３乃至Ｓ８０の処理が繰り返される。

　ここで、現状の透過領域４１に配置されたレンズ５１からなるマスク３１により求められるLFOV和である評価関数の方が、LFOV和最小値よりも小さいということは、直前の処理で求められたマスク３１のレンズ５１の配置よりも、現状のマスク３１のレンズ配置の方が高画質な画像を再構成でき、さらなる再配置により、LFOV和である評価関数をさらに小さくできる可能性があるとみなされる。

　そこで、このような場合については、レンズ５１が配置されない、マスク３１の中心から所定の距離の範囲を、徐々に広げながら、透過領域４１（レンズ５１）を再配置して、LFOV和からなる評価関数を求め、LFOV和最小値と比較する処理が繰り返される。

　すなわち、LFOV和計算部２３４より供給されたLFOV和からなる評価関数が、LFOV和最小値記憶部２４０に記憶されているLFOV和最小値よりも小さくない（LFOV和最小値よりも大きい）と判定されて（評価関数が増加に転じたと判定されて）、今現在のマスク３１のレンズ５１の配置より、直前のマスク３１のレンズ５１の配置の方が高画質な画像を再構成できるとみなされるまで、レンズ５１が配置されない、マスク３１の中心から所定の距離の範囲が、徐々に広げられながらレンズ５１の再配置が繰り返される。

　そして、ステップＳ７８において、LFOV和計算部２３４より供給されたLFOV和からなる評価関数が、LFOV和最小値記憶部２４０に記憶されているLFOV和最小値よりも小さくない（LFOV和最小値よりも大きい）と判定された場合、すなわち、直前のマスク３１のレンズ５１の配置の方が高画質な画像を再構成できるとみなされた場合、処理は、ステップＳ８１に進む。

　ステップＳ８１において、LFOV和比較部２３５は、最適レンズ配置記憶部２３９に記憶されている、直前のマスク３１に対するレンズ５１の配置情報を最終レンズ配置として読み出すと共に、対応付けて記憶されていた各レンズ５１におけるローカル画角LFOVを読み出してLFOV中心計算部２３６に出力する。

　ステップＳ８２において、LFOV中心計算部２３６は、LFOV和比較部２３５より供給される、最終レンズ配置と各レンズ５１のローカル画角LFOVとに基づいて、各レンズ５１のLFOV中心方向を計算し、レンズ光軸方向調整部２３７に出力する。

　すなわち、ここでは、マスク３１に対して最適な状態で配置された透過領域４１のそれぞれに設置される各レンズ５１のLFOV中心方向が計算される。

　ステップＳ８３において、レンズ光軸方向調整部２３７は、LFOV中心計算部２３６より供給される各レンズ５１のLFOV中心方向と、レンズ５１の光軸方向との差分からなる評価関数を計算し、評価関数が最小になるように、各レンズ５１の光軸方向を調整する。

　すなわち、実質的に、レンズ光軸方向調整部２３７は、LFOV中心計算部２３６より供給される各レンズ５１のLFOV中心方向と、レンズ５１の光軸方向とが略一致するように、各レンズ５１の光軸方向を調整する。

　そして、レンズ光軸方向調整部２３７は、評価関数が最小となるように調整されたレンズ５１毎の光軸方向の情報をレンズ装着部２２２に出力する。

　ステップＳ８４において、レンズ装着部２２２は、最終レンズ配置に対応する位置に透過領域４１を形成する。そして、レンズ装着部２２２は、レンズアレイ調整部２２１のレンズ光軸方向調整部２３７より供給される調整された各レンズ５１の光軸方向の情報に基づいて、各レンズ５１の光軸を調整して、それぞれの透過領域４１に装着し、マスク３１を完成させて組立部２１２に出力する。

　ステップＳ８５において、組立部２１２は、最適な状態で配置された各レンズ５１が、それぞれの評価関数が最小となるように光軸が調整された状態で透過領域４１に設置されたマスク３１と、撮像素子３２、再構成部３３、および出力部３４とを組み付けて、図１の撮像装置１１を完成させる。

　以上の処理により、レンズ５１が配置される透過領域４１がマスク３１の中心位置から所定の距離内において配置されない、最適化された状態で配置された透過領域４１に設置されるレンズ５１が、それぞれの光軸中心からの距離に応じた周辺光量低下や収差の影響を最も低減させることが可能となる。

　結果として、レンズレスカメラに用いられるマスクの透過領域を構成する集光素子を適切に調整することが可能となり、撮像素子上に投影される観測値に基づいた再構成画像の画質を向上させることが可能となる。

　尚、以上においては、透過領域４１をマスク３１の中心位置から所定の範囲内に形成しないように再配置した上で、レンズ５１毎に光軸をLFOV中心方向との差分が最小になるように調整する例について説明してきたが、透過領域４１にレンズ５１の代わりにFZPを設けるようにしてもよい。

　また、レンズ５１の光軸をLFOV中心方向との差分が最小となるような調整を省略し、透過領域４１をマスク３１の中心位置から所定の範囲内に形成しないように再配置する処理をするだけでも、透過領域４１をマスク３１の中心位置付近に含む場合に比べて、再構成される最終画像の高画質化を実現することが可能である。

　＜＜４．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。

　図１９は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　尚、図１９におけるCPU１００１が、図１２，図１７のレンズアレイ調整部１２１，２２１の機能を実現させる。

　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　＜＜５．移動体への応用例＞＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

　図２１は、撮像部１２０３１の設置位置の例を示す図である。

　図２１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１１は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、再構成画像の画質を向上させることが可能になる。

　尚、本開示は、以下のような構成も取ることができる。

＜１＞　入射光を遮光する遮光素材からなり、前記遮光素材の一部に前記入射光を透過させる複数の透過領域が設けられ、前記透過領域に前記入射光を集光する集光素子が設けられることにより、前記入射光に変調を掛けて透過させるマスクと、
　前記マスクにより変調された前記入射光を、画素信号として撮像する撮像素子と、
　前記画素信号を信号処理により最終画像として再構成する再構成部とを備えた撮像装置を製造する製造装置であって、
　前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲に基づいて、前記集光素子を調整する調整部
　を備える撮像装置の製造装置。
＜２＞　前記集光素子は、レンズであり、
　前記調整部は、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記レンズを透過した後、前記撮像素子に入射する前記入射光の入射範囲の共通範囲と、前記レンズの光軸方向との関係からなる評価関数に基づいて前記レンズを調整する
　＜１＞に記載の撮像装置の製造装置。
＜３＞　前記評価関数は、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記レンズを透過した後、前記撮像素子に入射する前記入射光の入射範囲の共通範囲の中心方向と、前記レンズの光軸方向との差分からなる
　＜２＞に記載の撮像装置の製造装置。
＜４＞　前記調整部は、前記評価関数が最小となるように、前記レンズの光軸方向を調整する
　＜３＞に記載の撮像装置の製造装置。
＜５＞　前記調整部は、前記評価関数が最小となるように、前記レンズの光軸方向を調整すると共に、前記マスクの中心位置からの距離に応じて前記レンズの径を調整する
　＜４＞に記載の撮像装置の製造装置。
＜６＞　前記集光素子は、FZP(Fresnel Zone Plate)であり、
　前記調整部は、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記FZPを透過した後、前記撮像素子に入射する前記入射光の入射範囲の共通範囲と、前記FZPのフォーカスが得られるフォーカス方向との関係からなる評価関数に基づいて前記FZPを調整する
　＜１＞に記載の撮像装置の製造装置。
＜７＞　前記評価関数は、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記FZPを透過した後、前記撮像素子に入射する前記入射光の入射範囲の共通範囲の中心方向と、前記FZPの前記フォーカス方向との差分からなる
　＜６＞に記載の撮像装置の製造装置。
＜８＞　前記調整部は、前記評価関数が最小となるように、前記FZPの前記フォーカス方向を調整する
　＜７＞に記載の撮像装置の製造装置。
＜９＞　前記調整部は、前記評価関数が最小となるように、前記FZPの中心位置、およびアスペクト比を調整することにより、前記FZPの前記フォーカス方向を調整する
　＜８＞に記載の撮像装置の製造装置。
＜１０＞　前記調整部は、前記評価関数が最小となるように、前記FZPのリング数を調整することにより、前記FZPの前記フォーカス方向を調整する
　＜９＞に記載の撮像装置の製造装置。
＜１１＞　前記調整部は、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲の共通範囲に対応する第１の評価関数に基づいて、前記集光素子の配置を調整する
　＜１＞に記載の撮像装置の製造装置。
＜１２＞　前記第１の評価関数は、前記集光素子毎の、前記共通範囲の総和であり、
　前記調整部は、前記共通範囲の総和からなる前記第１の評価関数を求め、前記第１の評価関数が最小となるように、前記集光素子の配置を調整する
　＜１１＞に記載の撮像装置の製造装置。
＜１３＞　前記再構成部により前記画素信号を信号処理することで前記最終画像として再構成可能な配置であることを条件として前記集光素子の配置を移動させる配置移動部をさらに備え、
　前記調整部は、前記配置移動部を制御して、前記マスクの中心位置から所定の距離の範囲内に前記集光素子が配置されないように前記集光素子の配置を移動させ、前記共通範囲の総和からなる前記第１の評価関数を計算する処理を、前記所定の距離を変化させながら繰り返し、前記第１の評価関数が最小となるように前記集光素子の配置を調整する
　＜１２＞に記載の撮像装置の製造装置。
＜１４＞　前記調整部は、前記配置移動部を制御して、前記マスクの中心位置から前記所定の距離の範囲内に前記集光素子が配置されないように前記集光素子の配置を移動させ、前記共通範囲の総和からなる前記第１の評価関数を計算する処理を、前記所定の距離を広げながら繰り返し、前記第１の評価関数が増加に転じる直前の前記集光素子の配置を、前記第１の評価関数が最小となる前記集光素子の配置とする
　＜１３＞に記載の撮像装置の製造装置。
＜１５＞　前記調整部は、前記共通範囲と、前記集光素子のフォーカスが得られるフォーカス方向との関係からなる第２の評価関数に基づいて前記集光素子を調整する
　＜１４＞に記載の撮像装置の製造装置。
＜１６＞　前記第２の評価関数は、前記共通範囲の中心方向と、前記集光素子の前記フォーカス方向との差分からなる
　＜１５＞に記載の撮像装置の製造装置。
＜１７＞　前記調整部は、前記第２の評価関数が最小となるように、前記集光素子のフォーカス方向を調整する
　＜１６＞に記載の撮像装置の製造装置。
＜１８＞　前記調整部は、前記集光素子の配置を、URA（Uniformly Redundant Array）パターンになるように調整する
　＜１１＞乃至＜１７＞のいずれかに記載の撮像装置の製造装置。
＜１９＞　入射光を遮光する遮光素材からなり、前記遮光素材の一部に前記入射光を透過させる複数の透過領域が設けられ、前記透過領域に前記入射光を集光する集光素子が設けられることにより、前記入射光に変調を掛けて透過させるマスクと、
　前記マスクにより変調された前記入射光を、画素信号として撮像する撮像素子と、
　前記画素信号を信号処理により最終画像として再構成する再構成部とを備えた撮像装置の製造方法であって、
　前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲に基づいて、前記集光素子を、調整するステップ
　を含む撮像装置の製造方法。
＜２０＞　入射光を遮光する遮光素材からなり、前記遮光素材の一部に前記入射光を透過させる複数の透過領域が設けられ、前記透過領域に前記入射光を集光する集光素子が設けられることにより、前記入射光に変調を掛けて透過させるマスクと、
　前記マスクにより変調された前記入射光を、画素信号として撮像する撮像素子と、
　前記画素信号を信号処理により最終画像として再構成する再構成部とを備え、
　前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲に基づいて、前記集光素子が調整される
　撮像装置。

　１１　撮像装置，　３１，３１’，３１’’，３１’’’　マスク，　３２　撮像素子，　３３　再構成部，　３４　出力部，　４１，４１－１乃至４１－４，４１－１１乃至４１－１５，４１－２１乃至４１－２５　透過領域，　４２　不透過領域，　５１，５１－１乃至５１－４，５１－１１乃至５１－１５，５１’－１１乃至５１’－１５，５１－２１乃至５１－２５，５１’－２１乃至５１’－２５　レンズ，　１０１　製造装置，　１１１　マスク生成部，　１１２　組立部，　１２１　レンズアレイ調整部，　１２２　レンズ装着部，　１３１　ILFOV計算部，　１３２　CFOV計算部，　１３３　LFOV計算部，　１３４　LFOV中心計算部，　１３５　レンズ光軸調整部，　１４１，１４１－１乃至１４１－９，１４１’－１乃至１４１’－９　透過領域，　１４２，１４２’　不透過領域，　１５１－１乃至１５１－９，１５１’－１乃至１５１’－９　FZP，　２０１　製造装置，　２１１　マスク生成部，　２１２　組立部，　２２１　レンズアレイ調整部，　２２２　レンズ装着部，　２３０　初期レンズ配置記憶部，　２３１　ILFOV計算部，　２３２　CFOV計算部，　２３３　LFOV計算部，　２３４　LFOV和計算部，　２３５　LFOV和比較部，　２３６　LFOV中心計算部，　２３７　レンズ光軸調整部，　２３８　レンズ配置記憶部，　２３９　最適レンズ配置記憶部，　２４０　LFOV和最小値記憶部，　２４１　レンズ配置移動部

Claims

　入射光を遮光する遮光素材からなり、前記遮光素材の一部に前記入射光を透過させる複数の透過領域が設けられ、前記透過領域に前記入射光を集光する集光素子が設けられることにより、前記入射光に変調を掛けて透過させるマスクと、
　前記マスクにより変調された前記入射光を、画素信号として撮像する撮像素子と、
　前記画素信号を信号処理により最終画像として再構成する再構成部とを備えた撮像装置を製造する製造装置であって、
　前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲に基づいて、前記集光素子を調整する調整部
　を備える撮像装置の製造装置。
　前記集光素子は、レンズであり、
　前記調整部は、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記レンズを透過した後、前記撮像素子に入射する前記入射光の入射範囲の共通範囲と、前記レンズの光軸方向との関係からなる評価関数に基づいて前記レンズを調整する
　請求項１に記載の撮像装置の製造装置。
　前記評価関数は、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記レンズを透過した後、前記撮像素子に入射する前記入射光の入射範囲の共通範囲の中心方向と、前記レンズの光軸方向との差分からなる
　請求項２に記載の撮像装置の製造装置。
　前記調整部は、前記評価関数が最小となるように、前記レンズの光軸方向を調整する
　請求項３に記載の撮像装置の製造装置。
　前記調整部は、前記評価関数が最小となるように、前記レンズの光軸方向を調整すると共に、前記マスクの中心位置からの距離に応じて前記レンズの径を調整する
　請求項４に記載の撮像装置の製造装置。
　前記集光素子は、FZP(Fresnel Zone Plate)であり、
　前記調整部は、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記FZPを透過した後、前記撮像素子に入射する前記入射光の入射範囲の共通範囲と、前記FZPのフォーカスが得られるフォーカス方向との関係からなる評価関数に基づいて前記FZPを調整する
　請求項１に記載の撮像装置の製造装置。
　前記評価関数は、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記FZPを透過した後、前記撮像素子に入射する前記入射光の入射範囲の共通範囲の中心方向と、前記FZPの前記フォーカス方向との差分からなる
　請求項６に記載の撮像装置の製造装置。
　前記調整部は、前記評価関数が最小となるように、前記FZPの前記フォーカス方向を調整する
　請求項７に記載の撮像装置の製造装置。
　前記調整部は、前記評価関数が最小となるように、前記FZPの中心位置、およびアスペクト比を調整することにより、前記FZPの前記フォーカス方向を調整する
　請求項８に記載の撮像装置の製造装置。
　前記調整部は、前記評価関数が最小となるように、前記FZPのリング数を調整することにより、前記FZPの前記フォーカス方向を調整する
　請求項９に記載の撮像装置の製造装置。
　前記調整部は、前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲の共通範囲に対応する第１の評価関数に基づいて、前記集光素子の配置を調整する
　請求項１に記載の撮像装置の製造装置。
　前記第１の評価関数は、前記集光素子毎の、前記共通範囲の総和であり、
　前記調整部は、前記共通範囲の総和からなる前記第１の評価関数を求め、前記第１の評価関数が最小となるように、前記集光素子の配置を調整する
　請求項１１に記載の撮像装置の製造装置。
　前記再構成部により前記画素信号を信号処理することで前記最終画像として再構成可能な配置であることを条件として前記集光素子の配置を移動させる配置移動部をさらに備え、
　前記調整部は、前記配置移動部を制御して、前記マスクの中心位置から所定の距離の範囲内に前記集光素子が配置されないように前記集光素子の配置を移動させ、前記共通範囲の総和からなる前記第１の評価関数を計算する処理を、前記所定の距離を変化させながら繰り返し、前記第１の評価関数が最小となるように前記集光素子の配置を調整する
　請求項１２に記載の撮像装置の製造装置。
　前記調整部は、前記配置移動部を制御して、前記マスクの中心位置から前記所定の距離の範囲内に前記集光素子が配置されないように前記集光素子の配置を移動させ、前記共通範囲の総和からなる前記第１の評価関数を計算する処理を、前記所定の距離を広げながら繰り返し、前記第１の評価関数が増加に転じる直前の前記集光素子の配置を、前記第１の評価関数が最小となる前記集光素子の配置とする
　請求項１３に記載の撮像装置の製造装置。
　前記調整部は、前記共通範囲と、前記集光素子のフォーカスが得られるフォーカス方向との関係からなる第２の評価関数に基づいて前記集光素子を調整する
　請求項１４に記載の撮像装置の製造装置。
　前記第２の評価関数は、前記共通範囲の中心方向と、前記集光素子の前記フォーカス方向との差分からなる
　請求項１５に記載の撮像装置の製造装置。
　前記調整部は、前記第２の評価関数が最小となるように、前記集光素子のフォーカス方向を調整する
　請求項１６に記載の撮像装置の製造装置。
　前記調整部は、前記集光素子の配置を、URA（Uniformly Redundant Array）パターンになるように調整する
　請求項１１に記載の撮像装置の製造装置。
　入射光を遮光する遮光素材からなり、前記遮光素材の一部に前記入射光を透過させる複数の透過領域が設けられ、前記透過領域に前記入射光を集光する集光素子が設けられることにより、前記入射光に変調を掛けて透過させるマスクと、
　前記マスクにより変調された前記入射光を、画素信号として撮像する撮像素子と、
　前記画素信号を信号処理により最終画像として再構成する再構成部とを備えた撮像装置の製造方法であって、
　前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲に基づいて、前記集光素子を、調整するステップ
　を含む撮像装置の製造方法。
　入射光を遮光する遮光素材からなり、前記遮光素材の一部に前記入射光を透過させる複数の透過領域が設けられ、前記透過領域に前記入射光を集光する集光素子が設けられることにより、前記入射光に変調を掛けて透過させるマスクと、
　前記マスクにより変調された前記入射光を、画素信号として撮像する撮像素子と、
　前記画素信号を信号処理により最終画像として再構成する再構成部とを備え、
　前記マスクを透過した後、前記撮像素子に入射する前記入射光の入射範囲、および、前記集光素子を透過した後、前記撮像素子に入射する前記入射光の入射範囲に基づいて、前記集光素子が調整される
　撮像装置。