JP6713549B2 - 撮像装置及び撮像モジュール - Google Patents

Description

本発明は撮像装置及び撮像モジュールに関し、特にレンズなしで被写体の画像を取得する撮像装置及び撮像モジュールに関する。

撮像装置及び撮像モジュールではレンズを用いて被写体の光学像を結像させるタイプが一般的であるが、近年レンズなしで被写体の画像を取得する技術が開発されている。例えば下記非特許文献１では、撮像素子にフレネルゾーンプレートを近接して配置し、被写体からの光により撮像素子上に形成される投影像とフレネルゾーンプレートに対応する投影パターンとを重ね合わせて生じたモアレ縞をフーリエ変換することにより、レンズなしで被写体の像を取得することができる。

また下記非特許文献２では、撮像素子に近接して格子状のパターンが設けられたマスクを配設し、このマスクにより撮像素子上に形成された投影像を復元することで、レンズなしで被写体の像を取得することができる。

"動画撮影後に容易にピント調整ができるレンズレスカメラ技術を開発"、[online]、２０１６年１１月１５日、株式会社日立製作所、［２０１６年１２月１５日検索］、インターネット（http://www.hitachi.co.jp/New/cnews/month/2016/11/1115.html） "レンズなしで画像を撮影できる新技術「FlatCam」"、［online］、２０１５年１１月２５日、ＡＳＣＩＩ．ＪＰ、［２０１６年１２月１３日検索］、インターネット（http://ascii.jp/elem/000/001/083/1083322/）

非特許文献１，２のような技術によれば、結像のためのレンズが不要なので撮像装置を（特に光軸方向に）小型化でき、また撮影後に合焦距離の異なる画像を得る、いわば「事後的なピント合わせ」を行うことができる。しかしながら、このような従来の技術は以下に説明する課題を有する。

＜モアレ縞を用いた画像復元の原理と課題＞
まず、非特許文献１のようなモアレ縞を用いた画像復元の原理及び課題を説明する。

＜画像復元の原理＞
図２３は、被写体（点光源）が無限遠方に存在する場合にイメージセンサ（撮像素子）上に形成されるフレネルゾーンプレートの投影像を示す図である。図２３の（ｂ１）部分に示すように、被写体（点光源Ｐ０）が正面に近い方向に存在する場合、フレネルゾーンプレートＦ０によりイメージセンサｉｍｓ上に形成される投影像と、フレネルゾーンプレートＦ０に対応する投影パターンとを重ね合わせると、図２３の（ａ１）部分に示すように間隔の広いモアレ縞が生じる。このモアレ縞が生じたパターンを２次元フーリエ変換することで、元の点光源Ｐ０の像を復元することができる。そして、図２３の（ｂ１）部分の状態から（ｂ２）部分に示すように点光源Ｐ０が斜め方向に移動すると、（ａ２）部分に示すようにモアレ縞の間隔が狭くなり本数が増える。（ｂ３）部分に示すように点光源Ｐ０がさらに斜め方向に移動すると、（ａ３）部分に示すようにモアレ縞はさらに間隔が狭くなり本数が増える。

図２４は被写体（点光源Ｐ１）が有限距離に存在する場合であり、図２５は図２４に対応する画像の復号の様子を示す図である。図２４の（ａ）部分のように点光源Ｐ１がほぼ正面方向に存在する場合、図２５の（ａ１）部分のように同心円状の投影像がイメージセンサｉｍｓの中央付近に生じ、この投影像に対し（ａ２）部分のように同心円の中心がパターンの中心に存在する投影パターンを重ね合わせると、（ａ３）部分のように間隔が広いモアレ縞が得られる。これに対し図２４の（ｂ）部分のように点光源Ｐ１が斜め方向に存在する場合、図２５の（ｂ１）部分のように投影像は図の右方向にシフトし、（ｂ２）部分のような投影パターン（（ａ２）部分と同じ）を重ね合わせると、（ｂ３）部分のように（ａ３）部分より間隔が狭くなり本数の多いモアレ縞が得られる。図２４の（ｃ）部分のように点光源Ｐ１がさらに斜め方向に存在する場合、図２５の（ｃ１）部分のように投影像は図の右方向にさらにシフトし、（ｃ２）部分のような投影パターン（（ａ２）部分、（ｂ２）部分と同じ）を重ね合わせると、（ｃ３）部分のように（ｂ３）部分より間隔がさらに狭くなり本数の多いモアレ縞が得られる。なお、図２５の（ａ１）部分〜（ｃ３）部分において、周辺部分はパターンのピッチが細かくなり明暗が視認しづらい状態になっている。

このように、点光源Ｐ１が正面から遠い方向に存在するほど、フレネルゾーンプレートＦ０の投影像は大きくシフトされ、モアレ縞のピッチが細かくなってゆく。投影像は光の回折の影響でぼけるので、細かいパターンはイメージセンサｉｍｓに形成されず信号（明暗）の強弱のない状態になる。またイメージセンサｉｍｓの分解能には限界があるので、点光源Ｐ１が正面から遠く離れた方向に存在する場合に形成される細かいモアレ縞（図２５の（ｃ３）部分のような縞）は検出しにくい。モアレ縞として検出できなければフーリエ変換をしても点像には復元されないので、被写体（点光源Ｐ１）の情報を得ることはできないが、その場合でも光としてはイメージセンサｉｍｓに入射している。したがって、正面から遠く離れた斜め方向から入射した光はイメージセンサｉｍｓの入力信号をかさ上げするだけの無用なバイアス成分となる。このように無用なバイアス成分が増えるということは本来欲しい信号（平行なモアレ縞）の成分を埋もれさせることになり、ＳＮ比の低下を招く。すなわち、広い角度範囲の光を受光してしまうとＳＮ比が下がることになる。

このような場合、仮に入射した方向ごとに個別の投影像が得られれば、この投影像に投影パターン（図２５の（ａ２）部分、（ｂ２）部分、（ｃ２）部分のようなパターン）を重ね合わせることで、斜め方向から入射した光に対してもイメージセンサｉｍｓで検出可能なモアレ縞を得ることができる。しかしながら従来の技術では異なる方向（正面方向、斜め方向）の光がイメージセンサ上で重なってしまい、異なる方向の投影像を分離して個別に取得することができないので、複数の異なる方向に対応したモアレ縞を個別に得ることはできず、その結果上述のように、斜め方向から入射した光がバイアス成分となって復元画像のＳＮ比が低下してしまう。

このような問題を図２６〜２８を参照してさらに説明する。図２６はフレネルゾーンプレートＦ０が近接して配置されたイメージセンサｉｍｓに、方位Ａ，方位Ｂ，方位Ｃから点光源Ｐ２Ａ，Ｐ２Ｂ，Ｐ２Ｃの光が入射した状態を示す図であり、上述した非特許文献１，２の技術では、このように複数の異なる方向（方位Ａ，Ｂ，Ｃ）からの光が加算された状態がイメージセンサｉｍｓで検出される。この場合、各方向の成分のみについて着目すると、正面方向（図２６の方位Ｂ）においては図２７の（ｂ１）部分及び（ｂ２）部分に示すように観察可能なモアレ縞（明暗の間隔及び信号強度の差が大きい）が得られるが、斜め方向（方位Ａ）においては図２７の（ａ１）部分及び（ａ２）部分に示すようにモアレ縞が細かくなりすぎて縞の明暗差を検出し難くなる。また逆の斜め方向（方位Ｃ）においても、図２７の（ｃ１）部分及び（ｃ２）部分に示すようにモアレ縞が細かくなりすぎて縞の明暗差を検出し難くなる。

このように、非特許文献１の技術では複数の異なる方向（方位Ａ，Ｂ，Ｃ）からの光が加算された状態がイメージセンサｉｍｓで検出されるので、トータルの信号強度分布としては図２８に示すように斜め方向（方位Ａ，Ｃ）の成分がバイアス成分として信号成分（方位Ｂ）に重畳され、ＳＮ比が低下してしまう。

このようなＳＮ比の低下を防ぐため、斜め方向からの光を遮光することが考えられる。図２９は筒状のフードＨｏにより斜め方向（方位Ａ，Ｃ）からの光を遮光した状態を示す図である。このように遮光すると、正面方向（方位Ｂ）においては図３０の（ｂ１）部分及び（ｂ２）部分に示すように観察可能なモアレ縞（明暗の間隔及び信号強度の差が大きい）が得られ、斜め方向（方位Ａ）においては図３０の（ａ１）部分及び（ａ２）部分に示すように遮光されてモアレ縞を形成する成分が存在しない（信号強度がほぼゼロ）状態になる。また逆の斜め方向（方位Ｃ）においても、（ｃ１）部分及び（ｃ２）部分に示すように遮光によりモアレ縞を形成する成分が存在しない（信号強度がほぼゼロ）状態になる。したがってトータルの信号強度分布は図３１に示すようにほぼ正面方向（方位Ｂ）からの信号成分のみになり、フードＨｏなしの場合（図２６〜２８）と比べてＳＮ比は向上する。しかしながら斜め方向からの光を遮光するので、画角は狭くなってしまう。

非特許文献２の場合も、非特許文献１の場合と同様に正面方向からの光と斜め方向からの光がイメージセンサ上で重畳されるので、斜め方向からの光がバイアス成分となってＳＮ比が低下する。ＳＮ比を向上させるために斜め方向からの光をカットすると、画角が狭くなってしまう。

このように従来の技術は、レンズを使用しない状況で、広い画角の異なる方向にわたって良好な画質の投影像を個別に得ることはできず、その結果複数の方向について良好な画質の復元画像を個別に得られるものではなかった。

本発明はこのような事情に鑑みてなされたもので、レンズを使用せずに、広い画角で、それぞれ異なる複数の方向について良好な画質の復元画像を個別に得られる撮像装置を提供することを目的とする。また本発明は、レンズを使用せずに、広い画角で、それぞれ異なる複数の方向について良好な画質の投影像を個別に得られる撮像モジュールを提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る撮像装置は、入射する光を透過させる透過領域と遮光する遮光領域とが配置されたパターンマスクと、パターンマスクが受光面側に近接して配設され、パターンマスクを介して被写体からの光によるパターンマスクの投影像を受光する指向性センサであって、被写体からパターンマスクに入射する光を、それぞれ方向が異なる複数の方位領域ごとに分割し、分割した複数の方位領域に対応する複数の投影像をそれぞれ取得する指向性センサと、取得した複数の投影像から複数の方位領域にそれぞれ対応する被写体の複数の画像を復元して生成する復元画像生成部と、を備える。

第１の態様に係る撮像装置では、指向性センサにより入射光を複数の方位領域ごとに分割し、それら方位領域に対応して取得した複数の投影像から各方位領域に対応する画像を復元するので、斜め方向からの入射光が正面方向からの入射光に対するノイズにならず、正面方向から斜め方向の広い画角にわたって、方位領域ごとに投影像を個別に取得できる。このため、パターンマスク及び投影像の性質に応じた復元処理を行うことにより、レンズを使用せずに、広い画角で、それぞれ異なる複数の方向（方位領域）について良好な画質の復元画像を個別に得ることができる。

なお、第１の態様において「方位領域」とは、特定の方位に対し光軸方向及び光軸に直交する方向（例えば、水平方向及び垂直方向）に広がりを持つ３次元の領域を意味するものとする。また、復元して生成する被写体の画像は静止画像でもよいし動画像でもよい。

第２の態様に係る撮像装置は第１の態様において、配置のパターンは透過領域と遮光領域とがフレネルゾーンプレートを構成するパターンであり、復元画像生成部は、取得した複数の投影像とフレネルゾーンプレートに対応する投影パターンとを画像処理により重ね合わせる合成処理部と、重ね合わされた複数の投影像と投影パターンとにより形成された複数のモアレ縞をフーリエ変換し、被写体の複数の画像を復元して生成する復元処理部と、を備える。第２の態様はパターンマスクの他の態様を規定するもので、フレネルゾーンプレートによるパターンマスクを用いる場合、投影像と投影パターンとを重ね合わせることにより被写体の方向に応じた本数（間隔）のモアレ縞が生じ、これをフーリエ変換することで被写体の画像を復元することができる。

このように、第２の態様ではパターンマスク及び投影像の性質に応じた復元処理（フレネルゾーンプレートを用いて取得したモアレ縞のフーリエ変換）を行うことにより、レンズを使用せずに、広い画角で、それぞれ異なる複数の方向（方位領域）について良好な画質の復元画像を個別に得ることができる。なお、投影像と投影パターンとを重ね合わせる画像処理は加算により行えるので、計算負荷は軽い。

第３の態様に係る撮像装置は第２の態様において、合成処理部は、複数の投影像と、複数の投影像にそれぞれ対応する複数の投影パターンであって、フレネルゾーンプレートに対応する投影パターンを、複数の方位領域の方向に応じてシフトさせた複数の投影パターンとを画像処理により重ね合わせる。指向性センサ上の投影像は被写体の方向（方位領域の方向）に応じて異なる位置に形成されるので、投影パターンもこれに対応させてシフトすることで、良好な画質の復元画像を得ることができる。

第４の態様に係る撮像装置は第３の態様において、複数の方位領域は、フレネルゾーンプレートの面と直交する方向を中心とする撮影範囲の中心領域を含み、合成処理部は、複数の投影像のうちの中心領域の投影像に対しては、フレネルゾーンプレートに対応する投影パターンを画像処理により重ね合わせる。第４の態様は、撮影範囲の中心領域の投影像に対しては、投影パターンをシフトせずに重ね合わせることを規定するものである。

第５の態様に係る撮像装置は第３または第４の態様において、複数の投影パターンを記憶する記憶部と、記憶部から複数の投影パターンをそれぞれ読み出し、被写体の距離に応じて複数の投影パターンを拡大する拡大部と、を備え、合成処理部は、複数の投影像と拡大部により拡大された複数の投影パターンとを画像処理により重ね合わせる。被写体（光源）の距離が無限大なら平行光が入射して投影パターンと投影像とが同じ大きさになるが、被写体の距離が近づくほど広がりを持った光が入射して投影像が大きくなるので、重ね合わせるべき投影パターンも拡大する必要がある。したがって第５の態様のように距離に応じて拡大した投影パターンと投影像とを重ね合わせることで、適切な復元画像を得ることができ、また合焦状態を調整することができる。

第５の態様において、拡大率は方位領域によらず一定でもよいし、方位領域によって拡大率を変えてもよい。方位領域によって拡大率を変えることで、方位領域ごとに合焦距離（合焦状態）を変えることができる。なお、被写体の距離が近づくほど広がりを持った光が入射して投影像が大きくなるので、投影像とパターンマスクよりも小さい投影パターンを重ね合わせることはない。したがって、パターンマスクと同じ大きさの投影パターンを記憶しておくことで、投影パターンを「拡大」して重ね合わせを行うことができる。

第６の態様に係る撮像装置は第５の態様において、復元処理部により復元された画像を表示する表示部と、手動により複数の投影パターンの拡大率または被写体距離を指示・入力する指示入力部と、を備え、拡大部は、指示入力部からの拡大率または被写体距離の指示入力に基づいて記憶部から読み出した複数の投影パターンをそれぞれ拡大する。第６の態様によれば、ユーザの指示入力に基づいて投影パターンを拡大することで、ユーザの手動で復元画像の合焦状態を調整することができる。

第７の態様に係る撮像装置は第５の態様において、復元処理部により復元された画像の解像度が最大になる複数の投影パターンの拡大率を自動的に取得する拡大率取得部を備え、拡大部は、拡大率取得部が取得した拡大率に基づいて記憶部から読み出した複数の投影パターンをそれぞれ拡大する。第７の態様によれば、取得された拡大率に対応する距離に合焦した復元画像を自動的に得ることができる。

第８の態様に係る撮像装置は第３または第４の態様において、複数の投影パターンであって、被写体距離に応じてそれぞれ拡大率が異なる複数の投影パターンを記憶する記憶部と、復元処理部により復元された画像を表示する表示部と、手動により複数の投影パターンの拡大率または被写体距離を指示・入力する指示入力部と、を備え、合成処理部は、指示入力部からの拡大率または被写体距離の指示入力に基づいて記憶部から対応する拡大率の複数の投影パターンを読み出し、複数の投影像と読み出した複数の投影パターンとを画像処理により重ね合わせる。第８の態様では、被写体距離に応じてそれぞれ拡大率が異なる複数の投影パターンを記憶するので、１種類の投影パターンを距離に応じて拡大する場合と比較して、処理の負荷を軽減することができる。また、ユーザは表示部に表示された復元画像を見ながら拡大率または被写体距離を調節できるので、合焦状態を容易に調整することができる。

第９の態様に係る撮像装置は第３または第４の態様において、複数の投影パターンであって、被写体距離に応じてそれぞれ拡大率が異なる複数の投影パターンを記憶する記憶部と、復元処理部により復元された画像の解像度が最大になる複数の投影パターンの拡大率を自動的に取得する拡大率取得部と、を備え、合成処理部は、拡大率取得部が取得した拡大率に基づいて記憶部から対応する拡大率の複数の投影パターンを読み出し、複数の投影像と読み出した複数の投影パターンとを画像処理により重ね合わせる。第９の態様によれば、復元画像の解像度が最大になる拡大率を自動的に取得して処理が行われるので、所望の距離に合焦した復元画像を自動的に得ることができる。また、被写体距離に応じて拡大率が異なる複数の投影パターンを記憶するので、１種類の投影パターンを距離に応じて拡大する場合と比較して、処理の負荷を軽減することができる。

第１０の態様に係る撮像装置は第１から第９の態様のいずれか１つにおいて、指向性センサは、二次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの入射面側に配設されたマイクロレンズアレイであって、複数の方位領域に対応する複数の画素ごとにマイクロレンズアレイを構成する１つのマイクロレンズが配設され、各マイクロレンズに入射する光を複数の方位領域に対応する複数の画素にそれぞれ分割して入射させるマイクロレンズアレイと、から構成されたセンサである。第１０の態様は指向性センサの１つの態様を規定するもので、１つのマイクロレンズが配設された複数の画素のそれぞれが異なる方位領域に対応する。そして、各方位領域に対応する画素の情報に基づいて各方位領域に対応する復元画像を得ることができる。

本発明の第１１の態様に係る撮像装置は第１から第９の態様のいずれか１つにおいて、指向性センサは、二次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの画素ごとに配設されたマイクロレンズアレイと、イメージセンサの各画素とマイクロレンズアレイの各マイクロレンズとの間にそれぞれ配設された複数種類の遮光マスクであって、複数の方位領域に対応する開口が形成された複数種類の遮光マスクと、から構成されたセンサである。第１１の態様は指向性センサの他の態様を規定するもので、遮光マスクの位置、大きさ、形状等を変えることで異なる方位領域からの光を選択的に受光することができる。これにより、第１０の態様と同様に、各方位領域に対応する画素の情報に基づいて各方位領域に対応する復元画像を個別に得ることができる。

第１２の態様に係る撮像装置は第１１の態様において、複数種類の遮光マスクは、イメージセンサの複数の画素に対して同じ密度で配置される。第１２の態様は遮光マスクの配置の１つの態様を規定するもので、複数種類の遮光マスクがイメージセンサの複数の画素に対して同じ密度で配置されるので、各方位領域に対しイメージセンサの密度が同じになり、全方位領域（撮影画角の全範囲）において均一な画質の復元画像を得ることができる。

第１３の態様に係る撮像装置は第１１の態様において、複数種類の遮光マスクは、イメージセンサの複数の画素に対して異なる密度で配置される。第１３の態様は遮光マスクの配置の他の態様を規定するもので、所望の方位領域に対し、その方位領域に対応するパターンの遮光マスクを有するイメージセンサの密度を高く配置することで、所望の方位領域の画質が良好な復元画像を得ることができる。

第１４の態様に係る撮像装置は第１から第１３の態様のいずれか１つにおいて、復元画像生成部により復元された複数の画像を結合し、１枚の画像を生成する結合画像生成部を備える。第１４の態様によれば、複数の復元画像を結合することで、所望の方位領域における画像を得ることができる。なお複数の復元画像を全て合成して全方位領域にわたる画像を取得してもよいし、一部の領域についてのみ合成してもよい。

第１５の態様に係る撮像装置は第１の態様において、配置のパターンは符号化パターンである。第１５の態様はパターンマスクの他の態様を規定するもので、このようなパターンマスクを用いる場合でも、符号化パターン及び投影像の性質に応じた復元処理を行うことにより、広い画角で、それぞれ異なる複数の方向（方位領域）について良好な画質の復元画像を個別に得ることができる。

第１６の態様に係る撮像装置は第１の態様において、配置のパターンは透過領域としての複数の開口が２次元方向にランダムに配置されたパターンである。第１６の態様はパターンマスクの他の態様を規定するもので、このようなパターンマスクを用いる場合でも、パターンマスク及び投影像の性質に応じた復元処理を行うことにより、広い画角で、それぞれ異なる複数の方向（方位領域）について良好な画質の復元画像を個別に得ることができる。なお「複数の開口（穴）」について、開口の大きさ、形状、位置、配置間隔等（ランダム性）の性質は既知であるものとする。また第１６の態様における画像の復元は、例えばパターンマスクを用いて取得した複数の投影像に対し復元画像生成部が最小二乗誤差の探索を行うことにより行うことができる。

上述の目的を達成するため、本発明の第１７の態様に係る撮像モジュールはフレネルゾーンプレートと、フレネルゾーンプレートが受光面側に近接して配設され、フレネルゾーンプレートを介して被写体からの光を有するフレネルゾーンプレートの投影像を受光する指向性センサであって、被写体からフレネルゾーンプレートに入射する光を、それぞれ方向が異なる複数の方位領域ごとに分割し、分割した複数の方位領域に対応する複数の投影像をそれぞれ取得する指向性センサと、を備える。第１７の態様によれば、レンズを用いることなく、フレネルゾーンプレートと指向性センサとにより、広い画角において、異なる方位領域に対応した複数の投影像を、良好な画質で個別に取得することができる。なお、第１７の態様において「方位領域」の意味は第１の態様と同様である。また、取得する投影像は静止画に対応するもの（特定の時刻における投影像）でもよいし動画に対応するもの（異なる時刻において取得した複数の投影像）でもよい。

第１８の態様に係る撮像モジュールは第１７の態様において、指向性センサは、二次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの入射面側に配設されたマイクロレンズアレイであって、複数の方位領域に対応する複数の画素ごとにマイクロレンズアレイを構成する１つのマイクロレンズが配設され、各マイクロレンズに入射する光を複数の方位領域に対応する複数の画素にそれぞれ分割して入射させるマイクロレンズアレイと、から構成されたセンサである。第１８の態様は第１０の態様と同様の指向性センサを備える撮像モジュールを規定するもので、１つのマイクロレンズが配設された複数の画素のそれぞれが異なる方位領域に対応し、各方位領域に対応する画素の情報に基づいて各方位領域に対応する投影像を個別に得ることができる。

第１９の態様に係る撮像モジュールは第１７の態様において、指向性センサは、二次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの画素ごとに配設されたマイクロレンズアレイと、イメージセンサの各画素とマイクロレンズアレイの各マイクロレンズとの間にそれぞれ配設された複数種類の遮光マスクであって、複数の方位領域に対応する開口が形成された複数種類の遮光マスクと、から構成されたセンサである。第１９の態様は第１１の態様と同様の指向性センサを備える撮像モジュールを規定するもので、遮光マスクの位置、大きさ、形状等を変えることで異なる方位領域からの光を選択的に受光することができる。これにより、第１１の態様と同様に各方位領域に対応する画素の情報に基づいて各方位領域に対応する投影像を個別に得ることができる。

第２０の態様に係る撮像モジュールは第１９の態様において、複数種類の遮光マスクは、イメージセンサの複数の画素に対して同じ密度で配置される。第２０の態様によれば、第１２の態様と同様に、全方位領域（撮影画角の全範囲）において均一な画質の投影像を得ることができる。

第２１の態様に係る撮像モジュールは第１９の態様において、複数種類の遮光マスクは、イメージセンサの複数の画素に対して異なる密度で配置される。第２１の態様によれば、第１３の態様と同様に、所望の方位領域に対しその方位領域に対応するパターンの遮光マスクを有するイメージセンサの密度を高く配置することで、所望の方位領域の画質が良好な投影像を得ることができる。

以上説明したように、本発明の撮像装置によれば、レンズを使用せずに、広い画角で、それぞれ異なる複数の方向について良好な画質の復元画像を個別に得ることができる。また本発明の撮像モジュールによれば、レンズを使用せずに、広い画角で、それぞれ異なる複数の方向について良好な画質の投影像を個別に得ることができる。

図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。 図２は、フレネルゾーンプレートの例を示す図である。 図３は、指向性イメージセンサの構成を示す図である。 図４は、指向性イメージセンサの構成を示す他の図である。 図５は、画像処理部の機能構成を示す図である。 図６は、各方向の投影像を個別に取得する様子を示す図である。 図７は、各方向の復元像を個別に取得する様子を示す図である。 図８は、各方向の復元像を結合して１枚の画像を生成する様子を示す図である。 図９は、方位領域に応じて投影パターンをシフトする様子を示す図である。 図１０は、被写体距離に応じて投影パターンを拡大する様子を示す図である。 図１１は、方位領域及び被写体距離に応じて投影パターンを記憶する様子を示す図である。 図１２は、第１の実施形態に係る撮像装置において正面方向及び斜め方向から光が入射する様子を示す図である。 図１３は、図１２に示す状況におけるモアレ縞を示す図である。 図１４は、図１２に示す状況における各方向の信号強度分布を示す図である。 図１５は、指向性イメージセンサの他の例を示す図である。 図１６は、図１５に示す指向性イメージセンサの配置を示す図である。 図１７は、図１５に示す指向性イメージセンサの他の配置を示す図である。 図１８は、図１５に示す指向性イメージセンサのさらに他の配置を示す図である。 図１９は、撮像装置及び撮像モジュールの他の例を示す図である。 図２０は、符号化パターンマスクの例を示す図である。 図２１は、撮像装置及び撮像モジュールのさらに他の例を示す図である。 図２２は、穴あきパターンマスクの例を示す図である。 図２３は、光源が無限遠に存在する場合の、光の入射方向とモアレ縞との関係を示す図である。 図２４は、光源が有限距離に存在する場合の、光の入射方向と投影像との関係を示す図である。 図２５は、光源が有限距離に存在する場合の、光の入射方向とモアレ縞との関係を示す図である。 図２６は、正面及び斜め方向に存在する光源から光がフレネルゾーンプレート及び従来のイメージセンサに入射する様子を示す図である。 図２７は、図２６に示す状況におけるモアレ縞及び信号強度分布を示す図である。 図２８は、図２６に示す状況におけるトータルでの信号強度分布を示す図である。 図２９は、斜め方向から入射する光をフードでカットする様子を示す図である。 図３０は、図２９に示す状況におけるモアレ縞及び信号強度分布を示す図である。 図３１は、図２９に示す状況におけるトータルでの信号強度分布を示す図である。

以下、添付図面を参照しつつ、本発明に係る撮像装置及び撮像モジュールの実施形態について、詳細に説明する。

＜第１の実施形態＞
図１は第１の実施形態に係る撮像装置１０（撮像装置）の構成を示すブロック図である。撮像装置１０は、撮像モジュール１００（撮像モジュール）と撮像装置本体２００とを備える。

＜撮像モジュールの構成＞
撮像モジュール１００は、フレネルゾーンプレート１１０（パターンマスク）と撮像素子１２０（指向性センサ）とを備え、フレネルゾーンプレート１１０の投影像を取得する。フレネルゾーンプレート１１０は、中心が撮像素子１２０の中心と一致し、かつ撮像素子１２０の受光面と平行な状態で撮像素子１２０の受光面側に配置される。なお、以下の説明においてフレネルゾーンプレート１１０を“ＦＺＰ”（Fresnel Zone Plate）と記載することがある。

＜フレネルゾーンプレートの構成＞
図２は、ＦＺＰの構成を示す図である。図２に示すように、ＦＺＰはパターンマスク部１１２と遮光部１１４とを有する。パターンマスク部１１２には入射する光を透過させる透過領域と入射する光を遮光する遮光領域とが交互に同心円状に配置され、これら透過領域及び遮光領域がフレネルゾーンプレートを構成する。同心円の間隔は、パターンマスク部１１２の中心から周辺に向かうにつれて狭くなる。パターンマスク部１１２の周辺部分には遮光部１１４が設けられ、撮像素子１２０の周辺部分に不要な光が入射しないようになっている。光軸Ｌ（図１参照）は、ＦＺＰ及び撮像素子１２０の中心を通りＦＺＰ及び撮像素子１２０の受光面と垂直な軸である。ＦＺＰは撮像素子１２０に近接（例えば、１ｍｍ程度）して配置されるが、撮像素子１２０との距離によっては光の回折によりＦＺＰの投影像がぼけるので、離しすぎないことが好ましい。

＜撮像素子の構成＞
図３は撮像素子１２０（指向性センサ）の構成を示す図である。撮像素子１２０は２次元方向に（二次元状に）に配列された光電変換素子により構成される複数の画素を有するイメージセンサ１２４と、イメージセンサ１２４の入射面側に配設されたマイクロレンズアレイＭＡ１とを有する。マイクロレンズアレイＭＡ１を構成する１つのマイクロレンズＭＬ１が９画素（図４参照）ごとに配設され、マイクロレンズＭＬ１により入射する光をこれら９画素に分割して入射させる。

図４は画素の配置を示す図である。図４では、水平方向Ｈに３画素かつ垂直方向Ｖに３画素の計９画素（画素１２４Ａ１〜１２４Ｃ３）に対し１つのマイクロレンズＭＬ１（図４において不図示）が配設される場合の例を示す。なお図４では、上述の９画素はそれぞれ異なる９つの方位領域に対応する。例えば、画素１２４Ｂ２はＦＺＰ及びイメージセンサ１２４の面と直交する方向（正面方向）を中心とする、撮影範囲の中心領域に対する方位領域である。なお、撮像素子１２０の各画素にカラーフィルタ（例えば赤色、青色、緑色）を配設してカラー画像を取得してもよい。なお、「方位領域」とは特定の方位（例えば、図３の方位Ａ，Ｂ，Ｃ）に対し光軸Ｌ方向及び光軸Ｌに直交する方向（例えば、水平方向及び垂直方向）に広がりを持つ３次元の領域を意味するものとする。

撮像素子１２０の全画素のうち、同一の方位領域に対応する画素の信号に基づいて各方位領域に対応する投影像を個別に得ることができる。例えば、画素１２４Ｂ２の信号から、上述した中心領域に対応する投影像を得ることができる。

このように、撮像素子１２０はＦＺＰの投影像を受光してそれぞれ方向が異なる９つの方位領域ごとに分割し、分割した９つの方位領域に対応する９つの投影像をそれぞれ取得する指向性センサである。なお、撮像素子１２０において、１つのマイクロレンズＭＬ１に対する画素の数は９画素に限らず他の数（例えば１６画素、２５画素等）でもよい。

＜撮像装置本体の構成＞
撮像装置本体２００は画像処理部２１０（復元画像生成部、合成処理部、復元処理部、拡大部、拡大率取得部、結合画像生成部）と、記憶部２２０（記憶部）と、表示部２３０（表示部）と、指示入力部２４０（指示入力部）とを備え（図１参照）、撮像モジュール１００が取得した投影像に基づく被写体の画像復元、復元した画像の結合等を行う。

図５は画像処理部２１０の機能構成を示す図である。画像処理部２１０は、画像取得部２１０Ａと、合成処理部２１０Ｂ（復元画像生成部）と、復元処理部２１０Ｃ（復元画像生成部）と、拡大部２１０Ｄと、拡大率取得部２１０Ｅと、結合画像生成部２１０Ｆと、を有する。画像取得部２１０Ａは撮像素子１２０が出力する信号から各方位領域に対応する投影像を取得し、合成処理部２１０Ｂは取得した投影像とＦＺＰに対応する投影パターンとを重ね合わせる。そして、重ね合わせにより形成された複数のモアレ縞を復元処理部２１０Ｃが２次元フーリエ変換し、それぞれが異なる方位領域に対応する複数の画像を復元して生成する。拡大部２１０Ｄは記憶部２２０（図１参照）に記憶された複数の投影パターンを読み出して必要な拡大率で拡大し、拡大された投影パターンにより上述の合成処理部２１０Ｂが重ね合わせを行う。投影パターンの拡大に際しては、拡大率取得部２１０Ｅが、復元処理部２１０Ｃにより復元された画像の解像度が最大になる拡大率を自動的に（ユーザの指示入力によらずに）取得する。結合画像生成部２１０Ｆは、復元処理部２１０Ｃにより復元された複数の画像を結合して１枚の画像を生成する。

上述した画像処理部２１０の各機能を実現するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して画像処理部２１０として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

画像処理部２１０の各機能は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の機能を１つのプロセッサで構成してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能を実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、画像処理部２１０全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、画像処理部２１０の各機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述したプロセッサ（あるいは電気回路）がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ読み取り可能なコードを例えばＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータが参照される。

表示部２３０は図示せぬ液晶ディスプレイ等の表示装置により構成され、復元処理部２１０Ｃにより復元された画像及び／または結合画像生成部２１０Ｆにより生成された画像を表示するとともに、指示入力部２４０を介した指示入力時のＵＩ（User Interface）用の画面表示にも用いられる。指示入力部２４０は図示せぬキーボード、マウス等のデバイスにより構成され、ユーザはこれらデバイスにより投影パターンの拡大率、被写体距離等の条件を入力することができる。なお、表示部２３０の表示装置をタッチパネルにより構成し、画像表示に加え指示入力部２４０として用いてもよい。

＜復元画像の生成＞
次に、上述した構成の撮像装置１０による復元画像生成処理の概要について説明する。図６は投影像取得の様子を示す図である。なお、以下では図６の紙面内における方位Ａ，Ｂ，Ｃ（点光源Ｐ３Ａ，Ｐ３Ｂ，Ｐ３Ｃがそれぞれ存在する方向）を中心とする３つの方位領域について説明するが、上述のように紙面と直交する３つの方位領域についても投影像を取得するので、投影像を取得する方位領域は計９つとなる。

まず、画像取得部２１０Ａは各方位領域に対応する画素（例えば、図４の画素１２４Ａ１，１２４Ｂ１，１２４Ｃ１）の信号から、各方位領域に対応するＦＺＰの投影像ＰＩＡ，ＰＩＢ，ＰＩＣを個別に取得する。図７は取得した投影像ＰＩＡ，ＰＩＢ，ＰＩＣに基づいて各方位領域に対応する画像（点光源Ｐ３Ａ，Ｐ３Ｂ，Ｐ３Ｃの画像）を生成する様子を示す図である。具体的には、図７の（ａ）部分は、方位Ａに対する投影像ＰＩＡとこれに対応する投影パターンＰＰＡとを合成処理部２１０Ｂが画像処理により重ね合わせ、これにより得られたモアレ縞の画像ＭＦＡを復元処理部２１０Ｃが２次元フーリエ変換して点光源Ｐ３Ａの画像ＩｍＡを復元する様子を示す。重ね合わせの画像処理は加算によるものなので計算負荷は軽い。また、重ね合わせの際にはＦＺＰに対応する投影パターンを方位Ａの方向に応じてシフトさせる（図９参照）。同様に、図７の（ｂ）部分は、方位Ｂに対する投影像ＰＩＢとこれに対応する投影パターンＰＰＢとを合成処理部２１０Ｂが重ね合わせ、これにより得られたモアレ縞の画像ＭＦＢを復元処理部２１０Ｃが２次元フーリエ変換して点光源Ｐ３Ｂの画像ＩｍＢを復元する様子を示す。また図７の（ｃ）部分は、方位Ｃに対する投影像ＰＩＣとこれに対応する投影パターンＰＰＣを合成処理部２１０Ｂが重ね合わせ、これにより得られたモアレ縞の画像ＭＦＣを復元処理部２１０Ｃが２次元フーリエ変換して点光源Ｐ３Ｃの画像ＩｍＣを復元する様子を示す。

このように、第１の実施形態に係る撮像装置１０では、指向性センサである撮像素子１２０により入射光を３つの方位領域ごとに分割し、それら方位領域に対応して個別に取得した投影像ＰＩＡ，ＰＩＢ，ＰＩＣから各方位領域に対応する被写体の画像ＩｍＡ，ＩｍＢ，ＩｍＣを復元するので、斜め方向（方位Ａ，Ｃ）からの入射光が正面方向（方位Ｂ）からの入射光に対するノイズにならず、正面方向から斜め方向（方位Ａ〜方位Ｃ）にわたる広い画角において、方位領域ごとに投影像ＰＩＡ，ＰＩＢ，ＰＩＣを取得することができる。このため、パターンマスクであるＦＺＰ及び投影像の性質に応じた復元処理（投影像と投影パターンとの重ね合わせにより生じたモアレ縞の２次元フーリエ変換）を行うことにより、レンズを使用せずに、広い画角で、それぞれ異なる複数の方向（方位領域）について良好な画質の復元画像（画像ＩｍＡ，ＩｍＢ，ＩｍＣ）を個別に得ることができる。他の６つの方位領域についても同様であり、合計９つの復元画像を得ることができる。なお、通常の被写体（人物、風景、静物等）は点光源の集合として把握することができ、このような通常の被写体についての復元画像を生成する場合は、被写体の構成に依存して各方向の復元画像に複数の点光源が存在する。

＜結合画像の生成＞
画像ＩｍＡ，ＩｍＢ，ＩｍＣが復元されたら、結合画像生成部２１０Ｆは図８に示すようにそれら画像を結合して１枚の画像ＣＩｍを生成する。なお、第１の実施形態では９つの方位領域について合計９つの復元画像を生成するが、それら復元画像の全てを結合してもよいし、一部の復元画像のみを結合してもよい。また、方位領域の組合せが異なる復元画像を結合した画像を複数生成してもよい。復元画像の全てを結合する場合は全方位領域についての１枚の画像が得られる。一部の復元画像を結合する場合は、所望の方位領域についての画像が得られる。

＜復元画像生成の各処理＞
次に、上述した復元画像生成の各処理について説明する。

＜方位領域に応じた投影パターンのシフト＞
上述した画像の復元において、合成処理部２１０Ｂは、斜め方向の方位領域（方位Ａ，Ｃに対応）についてはそれら方位領域の方向に応じてシフトさせた投影パターンＰＰＡ，ＰＰＣを投影像と重ね合わせ、撮影範囲の中心領域を含む方位領域（方位Ｂに対応）については、シフトさせない投影パターンＰＰＢ（ＦＺＰに対応する投影パターン）を投影像と重ね合わせる。図９は投影パターンのシフトを示す概念図であり、ＦＺＰに対応する投影パターンＰＰＢ（シフトさせない）を８つの方位領域の方向に応じてそれぞれシフトさせる様子を示している。撮像素子１２０上の投影像は被写体の方向（方位領域の方向）に応じて異なる位置に形成されるので、投影パターンもこれに対応させてシフトすることで、良好な画質の復元画像を得ることができる。

＜被写体距離に応じた投影パターンの拡大＞
被写体距離が無限遠の場合、被写体からは平行光が入射し投影像はＦＺＰと同じ大きさになるので投影像に重ね合わせる投影パターンを拡大する必要はないが、距離が近くなるほど広がりを持った光が入射して投影像が多くなるので、投影像に重ね合わせる投影パターンも拡大する必要がある。図１０は、拡大部２１０Ｄによる被写体距離に応じた投影パターンの拡大を示す概念図である。図１０では、被写体距離が無限遠の場合はＦＺＰと同じ大きさの投影パターンＰＰ０を用い、被写体距離が近づくにつれて投影パターンを拡大する（距離が中間の場合は投影パターンＰＰ１を用い、距離が至近の場合は投影パターンＰＰ２を用いる）様子を示している。このように、投影パターンを被写体距離に応じて拡大することにより、復元画像の合焦状態を調整することができる。

上述した投影パターンの拡大に際しては、ユーザが指示入力部２４０を介して手動で拡大率または被写体距離を指示入力してもよいし、復元画像の解像度が最大になる拡大率を拡大率取得部２１０Ｅが自動的に取得してもよい。拡大部２１０Ｄは、手動で、あるいは自動的に取得した拡大率または被写体距離に基づいて複数の投影パターンを記憶部２２０から読み出して拡大し、拡大した投影パターンは合成処理部２１０Ｂにより投影像と重ね合わせされる。なお、拡大率または被写体距離を手動で入力する場合は、入力した拡大率または被写体距離により生成された復元画像を表示部２３０に表示しながら行ってもよい。これにより、ユーザは復元画像を見ながら拡大率または被写体距離を調整し、所望の合焦状態の復元画像を得ることができる。

なお、重ね合わせる投影像の拡大率または被写体距離は、方位領域によらず一定でもよいし、方位領域によって異なる値を用いてもよい。方位領域によって拡大率または被写体距離を変化させることで、所望の方位領域についての合焦状態と他の方位領域についての合焦状態とが異なる復元画像を得ることができる。このような復元画像としては、例えば正面方向について合焦し他の方向については意図的にぼかした復元画像が考えられる。

＜方位領域及び被写体距離に応じた投影パターンの記憶＞
第１の実施形態に係る撮像装置１０では、上述した投影パターンの拡大を行うために、被写体距離に応じてそれぞれ拡大率が異なる複数の投影パターンを記憶部２２０に記憶する。図１１は投影パターン群が記憶される様子を示す概念図である。図１１では１つの枠が１つの投影パターンを表し、同一平面上に存在する９つの投影パターンは方位領域に応じてシフトした投影パターン（図９参照）から構成される投影パターン群を示している。第１の実施形態に係る撮像装置１０では、このように被写体距離に応じて拡大率が異なる複数の投影パターンを記憶するので、１種類の投影パターンを距離に応じて拡大する場合と比較して処理の負荷を軽減することができる。

なお、第１の実施形態では被写体距離に応じて拡大率が異なる複数の投影パターン群を記憶する態様（図１１参照）について説明したが、記憶容量の削減を重視する場合は、特定の距離に対応する１種類または少数の投影パターンを記憶しておき距離に応じて拡大してもよい。

＜第１の実施形態の効果＞
上述した構成の撮像装置１０（撮像装置、撮像モジュール）による効果を図１２〜１４を参照しつつ説明する。図１２のように正面方向及び斜め方向（方位Ａ〜方位Ｃ）から光が入射する状況において、撮像装置１０では指向性センサである撮像素子１２０により入射光を方位領域ごとに分割して投影像を個別に取得するので、図１３の（ａ）部分〜（ｃ）部分に示すように、各方向について観察可能なモアレ縞（図１４の（ａ）部分〜（ｃ）部分にそれぞれ示すように明暗部分で信号強度の差が大きく、縞として認識できる）が生じ、それぞれのモアレ縞から復元画像を生成することができる。すなわち、上述した非特許文献１，２と異なり斜め方向からの入射光が正面方向からの入射光に対するバイアス成分にならず、広い画角で良好な画質の画像を取得することができる。なお、図１３の（ａ）部分、（ｂ）部分、及び（ｃ）部分はそれぞれ方位Ａ，方位Ｂ，方位Ｃから入射する光により形成されるモアレ縞であり、図１４の（ａ）部分、（ｂ）部分、及び（ｃ）部分はそれぞれ図１３の（ａ）部分、（ｂ）部分、及び（ｃ）部分に対応する信号強度分布である。

＜指向性センサの他の例＞
図１５は、本発明の撮像装置及び撮像モジュールにおける指向性センサの他の例を示す図である。図１５に示す例では、撮像素子１３０（指向性センサ）において画素ごとにマイクロレンズＭＬ２（マイクロレンズアレイＭＡ２を構成するマイクロレンズ）が配設され、またイメージセンサ１３４の各画素とマイクロレンズＭＬ２との間には方位領域に対応して方向が異なる開口が形成された複数種類の遮光マスク１３６Ａ１〜１３６Ｃ１が配設されている。なお図１５では紙面内の３方位領域に対応する画素を示しているが、紙面と垂直方向にも画素が配設される。図１６は遮光マスクの配置例を示す図であり、９つの方位領域にそれぞれ対応する遮光マスク１３６Ａ１〜１３６Ｃ３が同じ密度（９画素に対し１つずつ）で配置された状態を示している。図１６において網掛け部分が遮光マスクを示し、非網掛け部分が開口を示す。なお、正面方向に対応する遮光マスク１３６Ｂ２は他の方向と異なる網掛け状態で表示している。

図１７は遮光マスクの他の配置例を示す図であり、９つの方位領域にそれぞれ対応する遮光マスク１３６Ａ１〜１３６Ｃ３が異なる密度で配置された状態を示している。この例では正面方向に対応する遮光マスク１３６Ｂ２が高密度（１６画素に対し８つ）で配置されているので、正面方向の復元画像の画質を高めることができる。また、１６画素で構成される基本配列パターンにおいて、縦横斜め（対角線方向）の４画素全てに正面方向用の遮光マスク１３６Ｂ２が配置されている。図１８は遮光マスクの配置のさらに他の例であり、９つの方位領域にそれぞれ対応する遮光マスク１３６Ａ１〜１３６Ｃ３が異なる密度で配置された状態を示している。図１８の配置例では図１７と同様に正面方向に対応する遮光マスクが密度高いが、配置パターンは図１７と異なっている。具体的には、１６画素で構成される基本配列パターンにおいて縦横斜め（対角線方向）の４画素全てにおいて正面方向用の遮光マスク１３６Ｂ２が２つ配置されており、基本配列パターン内の異なる方向に対する遮光マスクの配置が均一なので、特定の方向における画質の劣化が少ない。

遮光マスクを配置する場合、図１６〜１８に示すパターンあるいはこれらと異なるパターンを複数組み合わせてもよい。基本配列パターンを構成する画素数は９画素、１６画素に限定されない。また、図１７，１８のように正面方向に対する遮光マスク１３６Ｂ２の密度を高くするのではなく、他の方向に対する遮光マスクの密度を高くしてもよい。例えば、側視型の撮像装置の場合に斜め方向に対する遮光マスクの密度を高くすることが考えられる。なお、撮像素子１３０の各画素にカラーフィルタ（例えば赤色、青色、緑色）を配設してカラーの復元画像を取得してもよい。

＜撮像装置及び撮像モジュールの他の例１＞
上述した第１の実施形態ではパターンマスクがフレネルゾーンプレートを構成する場合について説明したが、本発明に係る撮像装置及び撮像モジュールでは、これと異なるパターンマスクを用いてもよい。図１９は撮像装置及び撮像モジュールの他の例１を示す図であり、撮像モジュール１０２（撮像モジュール）と撮像装置本体２０２とから構成される撮像装置２０（撮像装置）を示している。撮像モジュール１０２は符号化パターンマスク１１６（パターンマスク）と撮像素子１２０（指向性センサ）とを備え、符号化パターンマスク１１６は図２０に示すように符号化パターン部１１６Ａとその周辺の遮光部１１６Ｂとから構成され、符号化パターン部１１６Ａにおける透過領域及び遮光領域の配置パターンの性質を示す情報は記憶部２２２に記憶される。このような構成の撮像装置２０においても、被写体からの入射光を撮像素子１２０により複数の方位領域に分割して各方位領域に対応する投影像を取得することができ、画像処理部２１２が符号化パターン及び投影像の性質に応じた復元処理を行うことにより、レンズを使用せずに、広い画角で、それぞれ異なる複数の方向（方位領域）について良好な画質の復元画像を個別に得ることができる。なお、図１９，２０において図１と同様の構成には同一の参照符号を付し、詳細な説明を省略する。

＜撮像装置及び撮像モジュールの他の例２＞
図２１は撮像装置及び撮像モジュールの他の例２を示す図であり、撮像モジュール１０４（撮像モジュール）と撮像装置本体２０４とから構成される撮像装置３０（撮像装置）を示している。撮像モジュール１０４は透過領域としての開口部１１８Ａ（穴；図２２参照）が２次元方向にランダムに配置されたパターンマスク１１８（パターンマスク）と撮像素子１２０（指向性センサ）とを備え、図２２に示すように、パターンマスク１１８は複数の開口部１１８Ａとその周辺の遮光部１１８Ｂとから構成され、開口部１１８Ａの配置パターン（穴の形状、大きさ、間隔等の性質）を示す情報が記憶部２２４に記憶される。このような構成の撮像装置３０においても、被写体からの入射光を撮像素子１２０により複数の方位領域に分割して各方位領域に対応する投影像を取得することができ、開口部１１８Ａの配置パターン及び投影像の性質に応じた復元処理（例えば、画像処理部２１４による最小二乗誤差の探索）を行うことにより、レンズを使用せずに、広い画角で、それぞれ異なる複数の方向（方位領域）について良好な画質の復元画像を個別に得ることができる。なお、例２における最小二乗誤差の探索は、例えば以下の非特許文献３に記載されているように、推定したモデルを画像に投影した結果と観測を比較したときの差異（再投影誤差の残差２乗和）を最小化する非線形最小２乗法、及びこの非線形最小２乗法に対し高速化、安定化を考慮した手法により行うことができる。

［非特許文献３］右田剛史、浅田尚紀、「画像列からの３次元形状復元における非線形最小２乗法の高速化と安定化に関する研究」、社団法人 情報処理学会 研究報告、2004-CVIM-144(21)、２００４年５月
なお、図２１，２２において図１と同様の構成には同一の参照符号を付し、詳細な説明を省略する。

以上で本発明の実施形態及び例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０ 撮像装置
２０ 撮像装置
３０ 撮像装置
１００ 撮像モジュール
１０２ 撮像モジュール
１０４ 撮像モジュール
１１０ フレネルゾーンプレート
１１２ パターンマスク部
１１４ 遮光部
１１６ 符号化パターンマスク
１１６Ａ 符号化パターン部
１１６Ｂ 遮光部
１１８ パターンマスク
１１８Ａ 開口部
１１８Ｂ 遮光部
１２０ 撮像素子
１２４ イメージセンサ
１２４Ａ１ 画素
１２４Ａ２ 画素
１２４Ａ３ 画素
１２４Ｂ１ 画素
１２４Ｂ２ 画素
１２４Ｂ３ 画素
１２４Ｃ１ 画素
１２４Ｃ２ 画素
１２４Ｃ３ 画素
１３０ 撮像素子
１３４ イメージセンサ
１３６Ａ１ 遮光マスク
１３６Ａ２ 遮光マスク
１３６Ａ３ 遮光マスク
１３６Ｂ１ 遮光マスク
１３６Ｂ２ 遮光マスク
１３６Ｂ３ 遮光マスク
１３６Ｃ１ 遮光マスク
１３６Ｃ２ 遮光マスク
１３６Ｃ３ 遮光マスク
２００ 撮像装置本体
２０２ 撮像装置本体
２０４ 撮像装置本体
２１０ 画像処理部
２１０Ａ 画像取得部
２１０Ｂ 合成処理部
２１０Ｃ 復元処理部
２１０Ｄ 拡大部
２１０Ｅ 拡大率取得部
２１０Ｆ 結合画像生成部
２１２ 画像処理部
２１４ 画像処理部
２２０ 記憶部
２２２ 記憶部
２２４ 記憶部
２３０ 表示部
２４０ 指示入力部
Ａ 方位
Ｂ 方位
Ｃ 方位
ＣＩｍ 画像
Ｆ０ フレネルゾーンプレート
Ｈ 水平方向
Ｈｏ フード
ＩｍＡ 画像
ＩｍＢ 画像
ＩｍＣ 画像
Ｌ 光軸
ＭＡ１ マイクロレンズアレイ
ＭＡ２ マイクロレンズアレイ
ＭＦＡ 画像
ＭＦＢ 画像
ＭＦＣ 画像
ＭＬ１ マイクロレンズ
ＭＬ２ マイクロレンズ
Ｐ０ 点光源
Ｐ１ 点光源
Ｐ２Ａ 点光源
Ｐ２Ｂ 点光源
Ｐ２Ｃ 点光源
Ｐ３Ａ 点光源
Ｐ３Ｂ 点光源
Ｐ３Ｃ 点光源
ＰＩＡ 投影像
ＰＩＢ 投影像
ＰＩＣ 投影像
ＰＰ０ 投影パターン
ＰＰ１ 投影パターン
ＰＰ２ 投影パターン
ＰＰＡ 投影パターン
ＰＰＢ 投影パターン
ＰＰＣ 投影パターン
Ｖ 垂直方向
ｉｍｓ イメージセンサ

Claims (21)

1. 入射する光を透過させる透過領域と遮光する遮光領域とが配置されたパターンマスクと、
   前記パターンマスクが受光面側に近接して配設され、前記パターンマスクを介して被写体からの光による前記パターンマスクの投影像を受光する指向性センサであって、前記被写体から前記パターンマスクに入射する前記光を、それぞれ方向が異なる複数の方位領域ごとに分割し、前記分割した複数の方位領域に対応する複数の前記投影像をそれぞれ取得する指向性センサと、
   前記取得した複数の投影像から前記複数の方位領域にそれぞれ対応する前記被写体の複数の画像を復元して生成する復元画像生成部と、
   を備える撮像装置。
2. 前記配置のパターンは前記透過領域と前記遮光領域とがフレネルゾーンプレートを構成するパターンであり、
   前記復元画像生成部は、
   前記取得した複数の投影像と前記フレネルゾーンプレートに対応する投影パターンとを画像処理により重ね合わせる合成処理部と、
   前記重ね合わされた前記複数の投影像と前記投影パターンとにより形成された複数のモアレ縞をフーリエ変換し、前記被写体の前記複数の画像を復元して生成する復元処理部と、
   を備える請求項１に記載の撮像装置。
3. 前記合成処理部は、前記複数の投影像と、前記複数の投影像にそれぞれ対応する複数の投影パターンであって、前記フレネルゾーンプレートに対応する投影パターンを、前記複数の方位領域の方向に応じてシフトさせた前記複数の投影パターンとを画像処理により重ね合わせる請求項２に記載の撮像装置。
4. 前記複数の方位領域は、前記フレネルゾーンプレートの面と直交する方向を中心とする撮影範囲の中心領域を含み、
   前記合成処理部は、前記複数の投影像のうちの前記中心領域の投影像に対しては、前記フレネルゾーンプレートに対応する投影パターンを画像処理により重ね合わせる請求項３に記載の撮像装置。
5. 前記複数の投影パターンを記憶する記憶部と、
   前記記憶部から前記複数の投影パターンをそれぞれ読み出し、前記被写体の距離に応じて前記複数の投影パターンを拡大する拡大部と、を備え、
   前記合成処理部は、前記複数の投影像と前記拡大部により拡大された前記複数の投影パターンとを画像処理により重ね合わせる請求項３または４に記載の撮像装置。
6. 前記復元処理部により復元された画像を表示する表示部と、
   手動により前記複数の投影パターンの拡大率または被写体距離を指示する指示入力部と、を備え、
   前記拡大部は、前記指示入力部からの拡大率または被写体距離の指示入力に基づいて前記記憶部から読み出した前記複数の投影パターンをそれぞれ拡大する請求項５に記載の撮像装置。
7. 前記復元処理部により復元された画像の解像度が最大になる前記複数の投影パターンの拡大率を自動的に取得する拡大率取得部を備え、
   前記拡大部は、前記拡大率取得部が取得した拡大率に基づいて前記記憶部から読み出し
   た前記複数の投影パターンをそれぞれ拡大する請求項５に記載の撮像装置。
8. 前記複数の投影パターンであって、被写体距離に応じてそれぞれ拡大率が異なる複数の投影パターンを記憶する記憶部と、
   前記復元処理部により復元された画像を表示する表示部と、
   手動により前記複数の投影パターンの拡大率または被写体距離を指示する指示入力部と、を備え、
   前記合成処理部は、前記指示入力部からの拡大率または被写体距離の指示入力に基づいて前記記憶部から対応する拡大率の前記複数の投影パターンを読み出し、前記複数の投影像と前記読み出した前記複数の投影パターンとを画像処理により重ね合わせる請求項３または４に記載の撮像装置。
9. 前記複数の投影パターンであって、被写体距離に応じてそれぞれ拡大率が異なる複数の投影パターンを記憶する記憶部と、
   前記復元処理部により復元された画像の解像度が最大になる前記複数の投影パターンの拡大率を自動的に取得する拡大率取得部と、を備え、
   前記合成処理部は、前記拡大率取得部が取得した拡大率に基づいて前記記憶部から対応する拡大率の前記複数の投影パターンを読み出し、前記複数の投影像と前記読み出した前記複数の投影パターンとを画像処理により重ね合わせる請求項３または４に記載の撮像装置。
10. 前記指向性センサは、
    二次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、
    前記イメージセンサの入射面側に配設されたマイクロレンズアレイであって、前記複数の方位領域に対応する複数の画素ごとに前記マイクロレンズアレイを構成する１つのマイクロレンズが配設され、各マイクロレンズに入射する光を前記複数の方位領域に対応する複数の画素にそれぞれ分割して入射させる前記マイクロレンズアレイと、
    から構成されたセンサである請求項１から９のいずれか１項に記載の撮像装置。
11. 前記指向性センサは、
    二次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、
    前記イメージセンサの画素ごとに配設されたマイクロレンズアレイと、
    前記イメージセンサの各画素と前記マイクロレンズアレイの各マイクロレンズとの間にそれぞれ配設された複数種類の遮光マスクであって、前記複数の方位領域に対応する開口が形成された前記複数種類の遮光マスクと、
    から構成されたセンサである請求項１から９のいずれか１項に記載の撮像装置。
12. 前記複数種類の遮光マスクは、前記イメージセンサの複数の画素に対して同じ密度で配置される請求項１１に記載の撮像装置。
13. 前記複数種類の遮光マスクは、前記イメージセンサの複数の画素に対して異なる密度で配置される請求項１１に記載の撮像装置。
14. 前記復元画像生成部により復元された前記複数の画像を結合し、１枚の画像を生成する結合画像生成部を備える請求項１から１３のいずれか１項に記載の撮像装置。
15. 前記配置のパターンは符号化パターンである請求項１に記載の撮像装置。
16. 前記配置のパターンは前記透過領域としての複数の開口が２次元方向にランダムに配置されたパターンである請求項１に記載の撮像装置。
17. フレネルゾーンプレートと、
    前記フレネルゾーンプレートが受光面側に近接して配設され、前記フレネルゾーンプレートを介して被写体からの光を有する前記フレネルゾーンプレートの投影像を受光する指向性センサであって、前記被写体から前記フレネルゾーンプレートに入射する光を、それぞれ方向が異なる複数の方位領域ごとに分割し、前記分割した複数の方位領域に対応する複数の前記投影像をそれぞれ取得する前記指向性センサと、
    を備える撮像モジュール。
18. 前記指向性センサは、
    二次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、
    前記イメージセンサの入射面側に配設されたマイクロレンズアレイであって、前記複数の方位領域に対応する複数の画素ごとに前記マイクロレンズアレイを構成する１つのマイクロレンズが配設され、各マイクロレンズに入射する光を前記複数の方位領域に対応する複数の画素にそれぞれ分割して入射させる前記マイクロレンズアレイと、
    から構成されたセンサである請求項１７に記載の撮像モジュール。
19. 前記指向性センサは、
    二次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、
    前記イメージセンサの画素ごとに配設されたマイクロレンズアレイと、
    前記イメージセンサの各画素と前記マイクロレンズアレイの各マイクロレンズとの間にそれぞれ配設された複数種類の遮光マスクであって、前記複数の方位領域に対応する開口が形成された前記複数種類の遮光マスクと、
    から構成されたセンサである請求項１７に記載の撮像モジュール。
20. 前記複数種類の遮光マスクは、前記イメージセンサの複数の画素に対して同じ密度で配置される請求項１９に記載の撮像モジュール。
21. 前記複数種類の遮光マスクは、前記イメージセンサの複数の画素に対して異なる密度で配置される請求項１９に記載の撮像モジュール。