JP6772380B2 - 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 - Google Patents

Description

本発明は撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体に関し、特にレンズなしで被写体の画像を取得する技術に関する。

近年、Computational photographyの分野において、符号化開口方式によるレンズレスイメージングが注目を浴びている。この技術は、レンズなど光学デバイスによる結像の代わりに、結像されていない観測情報から計算によって結像画像を得るものであり、これによってこれまでのカメラにおける物理的な性能限界を超えることが可能となる。

符号化マスク方式のレンズレスカメラは、イメージセンサの前に模様が描かれたパターンマスクを置き、物体からの入射光によってできたセンサ面上のパターンマスクの影を観測し、数値計算によって物体の結像画像を得る方式である。この方式はもともと、ガンマ線、Ｘ線などの、結像レンズを作るのが物性的に難しい波長領域において像を得るために考案されたものであり、1960年代から研究されているものである。

パターンマスクに要請される条件は主に２点挙げることができる。（１）異なる光の入射角に対して線形独立な影となる（つまり、観測行列がフルランクとなる）必要があること。（２）画像再構成の（観測行列の逆変換を計算する）ために必要となる計算量が少ないこと。（２）に関しては、何も工夫しない場合にはピクセル数をNとしてN^2のオーダーの乗算回数という大きな計算量が必要となってしまうため、それを避けるために計算量を削減できる様々なパターンのマスク形状が考案されている。

最近、下記の非特許文献１において、フレネルゾーンプレートをマスクパターンに用いることによって、画像再構成のための計算として単なるフーリエ変換のみによって実現できるという発表がなされた。これによって計算量は飛躍的に減少し、N×log(N)のオーダーとなり、リアルタイムな動画の撮影も可能となった。フレネルゾーンプレートを符号化開口に利用すること自体は新しいものではなく、1961年の時点において既に検討されているものであるが、非特許文献１では、影とオリジナルのパターンマスク形状を乗算することによって、位置のずれたフレネルゾーンの間において生じるモアレ（差の周波数）成分が、画面内において常に一定となることを利用している。つまり、平面波の入射に対して平面波の波面（ただし波長はフレネルゾーンプレートから定まっている）がイメージセンサ上に直接記録されるため、単なるフーリエ変換によって結像させることが可能となっている。なお、非特許文献１の技術については、非特許文献２による発表もなされている。

また、非特許文献１，２と同様にフレネルゾーンプレートをマスクパターンに用いるレンズレスイメージング技術が知られている（特許文献１を参照）。特許文献１では、対向して配置された２つの格子パターン（フレネルゾーンプレート）に被写体からの光が入射して形成されたモアレ縞をフーリエ変換することによって、被写体の像を再構成している。

Yusuke Nakamura、Takeshi Shimano、Kazuyuki Tajima、Mayu Sao、and Taku Hoshizawa （Hitachi, Ltd.）"Lensless Light-field Imaging with Fresnel Zone Plate"、映像情報メディア学会技術報告、vol. 40, no. 40, IST2016-51, pp. 7-8, 2016年11月 "動画撮影後に容易にピント調整ができるレンズレスカメラ技術を開発"、[online]、２０１６年１１月１５日、株式会社日立製作所、［２０１７年５月８日検索］、インターネット（http://www.hitachi.co.jp/New/cnews/month/2016/11/1115.html）

ＷＯ２０１６／２０３５７３号公報

しかしながら上述する従来の技術（非特許文献１，２、特許文献１）では、以下に説明するように、画質及び設計パラメータに関し問題があった。

＜実数開口を用いた画像の再構成＞
実数開口の場合、符号化開口（フレネルゾーンプレート）のパターンI(r)は、式（１）によって表現される（図１７の「撮影時マスク」を参照）。

I(r)の値が大きいほど、既定の波長帯域における光の透過率が大きくなっている。ｒはフレネルゾーンプレートの中心からの距離、β(＞0)はパターンの細かさ（ピッチ）を決める定数である。以下、マイナスの値を回避するために、式（２）のようにオフセットをつけて０から１の範囲に収めたI2(r)について考える。

この符号化開口（フレネルゾーンプレート）がセンサ面上から距離ｄだけ離れて配置されていると仮定する（図１６参照）。このとき、距離無限遠の点光源から入射角θで光（平行光）が入射したと仮定すると、符号化開口（フレネルゾーンプレートＦ）の影（図１６の影ＳＤ）はΔr(＝d×tanθ)だけ平行移動してイメージセンサ上に映る。平行移動した影S(r)は式（３）により表現される。

I2(r)及びS(r)は本来２次元画像であり、２変数関数であるが、ここでは簡単のため中心と入射光源を含む平面によって切断した断面上の１次元画像のみに注目して考える。しかしながら、以下の式（４）のように計算すれば容易に２次元の場合に拡張できる。

撮影された影画像（投影像）は、計算機上において画像復元（再構成）されて出力される。画像復元プロセスにおいて、影画像は位置ずれしていないフレネルゾーン開口画像（フレネルゾーンパターン）と乗算される。この内部乗算される関数について、ここでは以下の式（５）により表現される関数の場合を考える。なお、虚数単位をｊとする。

Mr(r)はI(r)と同じ実数関数であるが、オフセット（直流成分）を除去したものである（図１７の「内部乗算マスク」）。従来技術（上述した非特許文献１，２及び特許文献１）における画像の再構成は、実数開口の投影像に対して実数関数Mr(r)により表されるフレネルゾーンパターンを乗算する場合に相当する。

内部乗算後の画像は、以下の式（６）により表現される（図１７の「乗算結果」）。

内部乗算画像（フレネルゾーンパターン）にMr(r)を利用した場合である乗算後画像Fr(r)について、第１項はオフセット補正などによって除去可能な成分である。第２項は重ね合わされたフレネルゾーン開口の間の「差の周波数」（撮影時の開口及び重ね合わせるパターンをcosα，cosβによって表した場合、cos(α−β)に対応；図１７の「原理」を参照）が抽出されたモアレ干渉縞である。これはフーリエ変換の基底と一致しているため、フーリエ変換を適用することによってデルタ関数に変換されて「点」となり結像に寄与する成分となる。第３項は「和の周波数」（cos(α＋β)に対応；図１７の「原理」を参照）に相当し、これはフーリエ変換しても結像に寄与せずノイズとして働いてしまう成分となる（図１７の「備考」を参照）。

Fr(r)に対してそれぞれ適切にオフセット補正を適用し、第１項が消去された状態の画像をFr2(r)とする。これらに対して実際にフーリエ変換を適用すると、Fr(r)のフーリエ変換をfr(k)として、式（７）により表現される。

ここで、ξ(k,β,Δr)は実数の多項式である。これに対して複素数の絶対値をとることにより復元画像が得られるが、fr(k)の場合、第１項と第２項は原点に対称な２点を生じてしまうため、点対称に重なった復元画像となってしまう欠点がある。fr(k)の第３項はノイズとして作用し、この項にもたらす影響によって光学系の伝達関数MTF（Modulation Transfer Function）は100%とはなり得ない（これは、イメージセンサによるノイズが存在しなくともMTFが100%とならないことを意味する）。ただし、このノイズはβの値を大きくすると小さくなるため、βの値を大きくする（細かいパターンにする）ことによって影響を軽減させることは可能である。

なお、２次元の場合について計算すると、周辺光量は（cosθ）^４となり、ディストージョンは２×β×ｄ×tanθとなる（θは画角）。

従来技術（上述した非特許文献１，２及び特許文献１）のように、実数開口の投影像に対して実数関数Mr(r)により表される内部乗算マスク（フレネルゾーンパターン）を乗算する場合についての画像処理の例を図１８の表に示す。例１はほぼ正面（距離無限遠）に点光源が存在する場合であり、例２は斜め方向（距離無限遠）に点光源が存在する場合であり、例３は例１，例２の点光源が同時に存在する場合である。図１８中、投影像は上述の式（３）、内部乗算マスクは式（５）、乗算結果は式（６）、所望信号のフーリエ変換は式（７）により表される。乗算結果は、「トータル＝所望信号＋不要成分」であり、式（６）の第２項が所望信号、第３項が不要成分となる。乗算結果のうち所望信号のみをフーリエ変換できれば図１８の「所望信号のフーリエ変換」の列に示すように点像が復元されるが、実際には不要成分が存在するため、式（７）について上述したように原点に対称な２点を生じてしまう。

上記したように、像の重なりによる画質の劣化を避けるためには、イメージセンサの画素数、マスク距離（フレネルゾーンパターンとイメージセンサとの距離：上述したｄ）に応じてフレネルゾーンプレートの空間周波数（上述したβ）を適切に調整する必要があるが、これらの要請によって設計パラメータが大幅に制限されてしまう。また、特許文献１では、再構成した画像を半分に切り出して表示することによって像の重なりを避けているが、再構成画像の一部を切り出すのでは画角（撮影範囲）が狭くなってしまう。

したがって、従来の技術はレンズレスイメージングにおいて高画質の画像を取得することができず、また設計パラメータも大幅に制限されていた。

本発明はこのような事情に鑑みてなされたもので、レンズを用いずに高画質の画像を取得でき、かつ設計パラメータに対する制約が低い撮像システムを提供することを目的とする。また本発明は、その撮像システムを構成する撮像装置及び画像処理装置、画像処理装置で用いられる画像処理方法、及び画像処理方法をコンピュータに実現させるための記録媒体を提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る撮像装置は、実部の画像と虚部の画像とからなる複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する撮像システムに使用される撮像装置であって、被写体からの光を入射する第１のフレネルゾーンプレートと、第１のフレネルゾーンプレートを透過した第１の投影像が入射する第１のイメージセンサとを有し、第１のイメージセンサから第１の投影像を取得する第１の撮像部と、被写体からの光を入射する第２のフレネルゾーンプレートであって、第１のフレネルゾーンプレートとは各領域における局所的な空間周波数の位相が異なる第２のフレネルゾーンプレートと、第２のフレネルゾーンプレートを透過した第２の投影像が入射する第２のイメージセンサとを有し、第２のイメージセンサから第２の投影像を取得する第２の撮像部と、を備え、第１の撮像部により取得された第１の投影像及び第２の撮像部により取得された第２の投影像は、複素画像を生成するためのものである。撮像システムは取得した第１の投影像及び第２の投影像を使用して複素画像を生成する。

第１の態様では、各領域における局所的な空間周波数の位相が異なるフレネルゾーンプレートを用いて第１，第２の投影像を取得することにより、撮像装置を含んで構成される撮像システムにおいてこれら投影像から生成される複素画像を復元（２次元複素フーリエ変換）して広い画角において高画質な画像を取得（再構成）することができる。また、上述した「和の周波数」（ノイズ成分）の影響を考慮せずに設計パラメータ（フレネルゾーンプレートのピッチ、面積、イメージセンサの画素数、フレネルゾーンプレートとイメージセンサとの距離等）を選ぶことができ、設計パラメータに対する制約が低い。

フレネルゾーンプレートには、各領域における局所的な空間周波数に起因して、被写体光を透過する領域と遮光する領域とが同心円状に繰り返して縞状のパターンが形成される。また、第１の態様及び以下の各態様において、「フレネルゾーンプレート」は被写体光の透過率が中心からの距離に応じて連続的に変化するゾーンプレート、及びそのゾーンプレートに対し透過率のしきい値を設けて透過率が不連続に（透過または不透過）変化するゾーンプレートを含む。

第１の態様において、第１，第２の投影像は第１，第２のフレネルゾーンプレートを用いて同時に撮影してもよいし、第１，第２のフレネルゾーンプレートを順次切り替えて撮影してもよい。

第２の態様に係る撮像装置は第１の態様において、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとは、７０°以上１１０°以下の範囲内で正または負の方向に局所的な空間周波数の位相がずれている。第２の態様は、第１，第２のフレネルゾーンプレートの好ましい位相ずれの範囲を規定するものである。この範囲において、位相ずれが９０°に近いことがさらに好ましい。

第３の態様に係る撮像装置は第１または第２の態様において、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとは、同一平面上に並べて配置される。第３の態様は第１，第２のフレネルゾーンプレートの配置の１つの態様を規定するものであり、これにより第１，第２の投影像を同時に取得することができる。なお第３の態様は、第１，第２のフレネルゾーンプレートが完全な同一平面上に配置される場合のみならず、第１，第２のフレネルゾーンプレートが配置される面が、取得する画像の画質に応じて許容される範囲内でずれている場合をも含むものとする。

第４の態様に係る撮像装置は第１または第２の態様において、被写体から入射する光を分岐させる分岐光学部材をさらに備え、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとは、それぞれ分岐光学部材により分岐された被写体からの光を入射する。第４の態様は第１，第２のフレネルゾーンプレートの配置の他の態様を規定するものであり、これにより第１，第２の投影像を同時に取得することができる。また第１，第２のフレネルゾーンプレートで光軸のずれがないため、第１，第２の投影像に視差が発生しない。

第５の態様に係る撮像装置は第１または第２の態様において、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとは重ね合わされ、かつ第１のフレネルゾーンプレートは第１の波長帯域の光を透過させ、第２のフレネルゾーンプレートは第１の波長帯域とは異なる第２の波長帯域の光を透過させ、第１のイメージセンサと第２のイメージセンサとは、第１の波長帯域の第１の投影像のみを受光する第１の受光素子群と第２の波長帯域の第２の投影像のみを受光する第２の受光素子群とが離散的に配置された共通のイメージセンサであり、第１の撮像部及び第２の撮像部は、共通のイメージセンサから第１の投影像と第２の投影像とを分離して取得する。

第５の態様は第１，第２のフレネルゾーンプレートの配置のさらに他の態様を規定するものであり、これにより第１，第２の投影像を同時に取得することができる。また第１，第２のフレネルゾーンプレートで光軸のずれがないため、第１，第２の投影像に視差が発生しない。さらに、配置面積がフレネルゾーンプレート及びイメージセンサ１個分でよいため、撮像部を小型化することができる。なお第５の態様では、例えば第１，第２の波長帯域のみを透過させるカラーフィルタをイメージセンサの第１，第２の受光素子群にそれぞれ配設することにより、第１，第２の投影像を分離して受光することができる。

上述した目的を達成するため、本発明の第６の態様に係る画像処理装置は、第１から第５の態様のいずれか１つに係る撮像装置が取得した第１の投影像及び第２の投影像を入力する投影像入力部と、入力した第１の投影像及び第２の投影像と予め設定されたフレネルゾーンパターンとを乗算し、複素画像を生成する複素画像生成部と、生成された複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成するフーリエ変換部と、を備える。第６の態様に係る画像処理装置では、第１から第５の態様のいずれか１つに係る撮像装置が取得した投影像にフレネルゾーンパターン（内部乗算フレネルゾーンパターン）を乗算して複素画像を生成し、生成した複素画像を２次元複素フーリエ変換するので、入力した投影像に基づいて高画質な画像を再構成でき、また設計パラメータに対する制約が低い。なお、第６の態様では複数の投影像（第１，第２の投影像）を入力するので、投影像に乗算するフレネルゾーンパターンが１種類でも複数でも複素画像を生成することができる。

第６の態様において、第１，第２の投影像を取得する際に用いた第１，第２のフレネルゾーンプレートの局所的な空間周波数の情報（ピッチ）を取得し、取得した情報を画像の再構成に用いることが好ましい。

第７の態様に係る画像処理装置は第６の態様において、複素画像生成部は、合焦させる被写体距離に応じて拡大率の異なるフレネルゾーンパターンを使用して複素画像を生成する。フレネルゾーンプレートにより形成される投影像は被写体（光源）の距離に応じて異なる大きさとなるので、乗算するフレネルゾーンパターンの拡大率もこれに応じて異なることが好ましい。第７の態様のように、合焦させる被写体距離に応じて拡大率の異なる第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンを使用して複素画像を生成することで、ボケの少ない鮮明な画像を得ることができる。

第８の態様に係る画像処理装置は第６または第７の態様において、フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとの局所的な空間周波数の位相ずれとは逆方向に各領域における局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、複素画像生成部は、入力した第１の投影像及び第２の投影像と第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンとを乗算し、複素画像を生成する。第８の態様によれば、ノイズとなる「和の周波数」の成分が少なく高画質な画像を再構成することができる。なお「局所的な空間周波数の位相が逆方向にずれた」とは、第２のフレネルゾーンプレートの位相ずれが正の方向ならば第１，第２のフレネルゾーンパターンの位相ずれは負の方向であり、第１，第２のフレネルゾーンプレートの位相ずれが負の方向ならば第１，第２のフレネルゾーンパターンの位相ずれは正の方向であることを意味する。

第９の態様に係る画像処理装置は第８の態様において、第１のフレネルゾーンパターンと第２のフレネルゾーンパターンとは、７０°以上１１０°以下の範囲内で負または正の方向に局所的な空間周波数の位相がずれている。第９の態様は、第１，第２のフレネルゾーンパターンの好ましい位相ずれの範囲を規定するものである。この範囲において、位相ずれが９０°に近いことがさらに好ましい。

第１０の態様に係る画像処理装置は第８または第９の態様において、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンと第１のフレネルゾーンプレート及び第２のフレネルゾーンプレートとは複素共役の関係が成り立つ。第１，第２のフレネルゾーンパターンは、第６の態様について上述したように内部乗算フレネルゾーンパターンであり、フレネルゾーンプレートに対して複素共役となっている。第１０の態様によれば、投影像とフレネルゾーンパターンとの乗算結果から「差の周波数」の成分（結像に寄与する成分であり、ノイズとなる「和の周波数」の成分を含まない）を取り出すことができ、高画質の画像を得ることができる。

上述した目的を達成するため、本発明の第１１の態様に係る撮像システムは、第１から第５の態様のいずれか１つに係る撮像装置と、第６から第１０の態様のいずれか１つに係る画像処理装置と、を備える。第１１の態様によれば、第１から第５の態様のいずれか１つに係る撮像装置と、第６から第１０の態様のいずれか１つに係る画像処理装置とにより、レンズを用いずに高画質の画像を取得することができ、かつ設計パラメータに対する制約が低い。なお、第１１の態様において撮像装置は画像処理装置に固定してもよいし、画像処理装置に対して交換可能にしてもよい。

上述した目的を達成するため、本発明の第１２の態様に係る画像処理方法は、第１から第５の態様のいずれか１つに係る撮像装置が取得した第１の投影像及び第２の投影像を入力するステップと、入力した第１の投影像及び第２の投影像と予め設定されたフレネルゾーンパターンとを乗算し、複素画像を生成するステップと、生成された複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成するステップと、を含む。第１２の態様によれば、第６の態様と同様に高画質な画像を取得することができ、また設計パラメータに対する制約が低い。

第１３の態様に係る画像処理方法は第１２の態様において、フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとの局所的な空間周波数の位相ずれとは逆方向に各領域における局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、複素画像を生成するステップは、入力した第１の投影像及び第２の投影像と第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンとを乗算し、複素画像を生成する。第１３の態様によれば、第８の態様と同様にノイズとなる「和の周波数」の成分が少なく高画質な画像を再構成することができる。

上述した目的を達成するため、本発明の第１４の態様に係る記録媒体は、第１から第５の態様のいずれか１つに係る撮像装置が取得した第１の投影像及び第２の投影像を入力する機能と、入力した第１の投影像及び第２の投影像と予め設定されたフレネルゾーンパターン（内部乗算フレネルゾーンパターン）とを乗算し、複素画像を生成する機能と、生成された複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成する機能と、をコンピュータに実現させる画像処理プログラムのコンピュータ読み取り可能なコードが記録された記録媒体である。第１４の態様によれば、各機能をコンピュータに実現させることにより第６の態様と同様に高画質の画像を再構成することができ、また設計パラメータに対する制約が低い。

第１５の態様に係る記録媒体は第１４の態様において、フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとの局所的な空間周波数の位相ずれとは逆方向に局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、複素画像を生成する機能は、入力した第１の投影像及び第２の投影像と第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンとを乗算し、複素画像を生成する。第１５の態様によれば、第８の態様と同様にノイズとなる「和の周波数」の成分が少なく高画質な画像を再構成することができる。

以上説明したように、本発明の撮像システムによればレンズを用いずに高画質の画像を取得することができ、かつ設計パラメータに対する制約が低い。そのような撮像システムは本発明の撮像装置及び画像処理装置により構成することができ、画像処理装置では本発明の画像処理方法、記録媒体を用いることができる。

図１は、複素数開口による結像の原理を説明するための図である。 図２は、フレネルゾーン開口の定義式の一般形を説明するための図である。 図３は、第１の実施形態に係る撮像システムの構成を示すブロック図である。 図４は、フレネルゾーンプレートの例を示す図である。 図５は、第１の実施形態におけるフレネルゾーンプレートを示す図である。 図６は、位相が異なるフレネルゾーンプレートの例を示す図である。 図７は、画像処理部の構成を示す図である。 図８は、記憶部に記憶される画像及び情報を示す図である。 図９は、第１の実施形態に係る画像処理方法を示すフローチャートである。 図１０は、合焦させる被写体距離に応じて拡大率の異なるフレネルゾーンパターンを用いる様子を示す図である。 図１１は、従来技術及び本発明による画像の再構成例を示す図である。 図１２は、第２の実施形態に係る撮像システムの構成を示すブロック図である。 図１３は、被写体からの光を光学部材で分岐させて第１，第２のフレネルゾーンプレートに入射させる様子を示す図である。 図１４は、第３の実施形態に係る撮像システムの構成を示す図である。 図１５は、透過波長を変えたフレネルゾーンプレートを重ね合わせる様子を示す図である。 図１６は、投影像が平行移動してイメージセンサ上に写る様子を示す図である。 図１７は、実数開口による結像の原理を説明するための図である。 図１８は、実数開口による結像の原理を説明するための他の図である。

以下、添付図面を参照しつつ、本発明に係る撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体の実施形態について説明する。

＜本発明における画像の復元＞
まず、本発明における複素数のフレネルゾーン開口（フレネルゾーンプレート）を用いた画像の復元（再構成）について説明する。この場合、符号化開口のパターン（フレネルゾーンパターン）I(r)は、式（８）の複素関数であるものとする。

以下、マイナスの値を回避するために、式（９）のようにオフセットをつけて０から１の範囲に収めたI3(r)について考える。

実際には、複素数の開口を作ることは不可能であるため、I3(r)の実部と虚部のそれぞれの符号化開口（図１の「撮影時マスク」の実数部と虚数部）について影画像（投影像）を取得し、２チャネルの画像を得る必要がある。マスクの影は上述した実数開口の場合（図１６参照）と同様にΔr(＝ｄ×tanθ)だけ平行移動してイメージセンサ上に映るものとする。

本発明において、画像復元において計算機上で乗算される画像（フレネルゾーンパターン）は、次式に示すように、符号化開口のパターンであるI(r)の複素共役となるように選ぶのが良い（図１の「内部乗算マスク」を参照）。これは、虚部の符号を反転させて、影画像との差の周波数を取り出すためである。

このとき、乗算後画像は次式のように表現される（図１の「乗算結果」を参照）。

F(r)において、第１項はオフセット補正によって除去可能な成分である。第２項は「差の周波数」に相当する項であり、フーリエ変換の基底と一致しているため、フーリエ変換を適用することによってデルタ関数に変換されて「点」となり結像に寄与する成分となる。注目すべきは、この場合にはノイズ項（和の周波数）が発生しない点である（図１の「備考」を参照）。実数の乗算においては、三角関数の和積の公式により、差の周波数と和の周波数の両者が同時に発生してしまいノイズとなってしまうが（図１７の「原理」を参照）、複素数どうしの乗算においては、差の周波数のみを抽出させられるためである（図１の「原理」を参照）。このため、理論的にはMTF100%に到達可能な撮像処理が可能となる。

F(r)に対してそれぞれ適切にオフセット補正を適用し、第１項が消去された状態の画像をF3(r)とする。これらに対して実際にフーリエ変換を適用すると、フーリエ変換後の画像をf(k)として、次のように表現される。

位相は光の入射角に依存して回転してしまうが、これに対して複素数の絶対値をとると、無限遠光の到来に対応してデルタ関数（点）に結像することが確認できる。入射光の角度スペクトルから結像画像までの演算は全て線形であるため、重ね合わせが成り立ち、これによって画像の結像が説明できる。

＜複素開口フレネルゾーンのメリット＞
本発明のように複素数のフレネルゾーン開口を用いた場合、原理的にノイズ項が発生せず、MTF100%を達成できる。ノイズ項が発生しないため像の重なりがなく、上述した特許文献１のように再構成画像の一部を切り出す必要がないため、広い画角で高画質な画像を取得することができる。また、実数開口の場合、差の周波数と和の周波数の成分が混ざらないようにβの値を調整する必要があるが、複素開口の場合には和の周波数の影響について考慮せずに自由に設計パラメータ（β、面積、画素数、マスク距離）を選ぶことができる。実数の場合には結像させるのが難しかったパラメータ設定においても結像させることができる。

＜フレネルゾーン開口の定義式の一般形＞
フーリエ変換で画像復元が可能であるためには、平行移動した影パターン（投影像）と元のパターン（フレネルゾーンプレート）の間の差の空間周波数が画像上の任意の場所において一定値とならなければならない。（周波数が全画面内同一値であればフーリエ変換の基底関数と一致する。）それを満たすためにはマスクパターンの位相関数Φ(r)は、「位相→周波数」と「位置ずらし」の２回の微分の適用後に一定値となっている必要があるため、逆に２回積分することによって、式（１４）のような２次関数となっていなくてはならないことが分かる。

ただし、一般に位相はなるべく進ませない方がマスクパターンの空間周波数が少なくて済むため、α＝γ＝０が適している。

このような一般形導出の様子を図２を参照して説明する。図２の（ａ）部分に示すフレネルゾーンプレートの式の位相部分である図２の（ｄ）部分の式をｒについて微分すると、（ｅ）部分に示すようにｙ＝２βｒとなる。投影像の並行移動量は上述のようにｄ×ｔａｎθであるから、差の周波数（所望信号、モアレ干渉縞に対応）は（ｃ）部分に示すようにｙ＝２βｒ−２β（ｒ−ｄ×ｔａｎθ）＝２β×ｄ×ｔａｎθとなり、和の周波数（不要成分、ノイズに対応）は（ｆ）部分に示すようにｙ＝２βｒ＋２β（ｒ−ｄ×ｔａｎθ）＝４βｒ−２β×ｄ×ｔａｎθとなる。（ｃ）部分に示す「差の周波数」が定数となればフーリエ変換で復元可能なので、ｙ＝２β×ｄ×ｔａｎθをｒについて２回積分すると、（ｂ）部分及び上述の式（１７）に示す一般形が得られる。

＜第１の実施形態＞
本発明の第１の実施形態について以下に説明する。

＜撮像システムの構成＞
図３は第１の実施形態に係る撮像システム１０（撮像システム）の構成を示すブロック図である。撮像システム１０は、撮像モジュール１００（撮像装置）と撮像装置本体２００（画像処理装置）とを備える。撮像システム１０は、後述するように、実部の画像と虚部の画像とからなる複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する撮像システムである。なお、撮像システム１０はデジタルカメラ、スマートフォン、タブレット端末、監視カメラ等に適用することができる。

＜撮像モジュールの構成＞
撮像モジュール１００は、撮像部１１０，１２０を含む。撮像部１１０（第１の撮像部）は、フレネルゾーンプレート１１２（第１のフレネルゾーンプレート）及び撮像素子１１４（第１のイメージセンサ）を備え、被写体からの光がフレネルゾーンプレート１１２を透過して撮像素子１１４に入射した投影像（第１の投影像）を撮像素子１１４から取得する。フレネルゾーンプレート１１２は中心が撮像素子１１４の中心と一致し、かつ撮像素子１１４の受光面と平行な状態において撮像素子１１４の受光面側に配置される。撮像部１１０は光軸Ｌ１を有する。

同様に、撮像部１２０（第２の撮像部）は、フレネルゾーンプレート１２２（第２のフレネルゾーンプレート）と撮像素子１２４（第２のイメージセンサ）とを備え、被写体からの光がフレネルゾーンプレート１２２を透過して撮像素子１２４に入射した投影像（第２の投影像）を撮像素子１２４から取得する。フレネルゾーンプレート１２２は、中心が撮像素子１２４の中心と一致し、かつ撮像素子１２４の受光面と平行な状態において撮像素子１２４の受光面側に配置される。撮像部１２０は光軸Ｌ２を有する。

フレネルゾーンプレート１１２とフレネルゾーンプレート１２２とは、後述するように各領域における局所的な空間周波数の位相がずれており、この局所的な空間周波数に起因して、被写体光を透過する領域と遮光する領域とが同心円状に繰り返して縞状のパターンが形成される。また、フレネルゾーンプレート１１２，１２２は同一平面上に並べて配置される。ここで「同一平面上に配置される」とは、フレネルゾーンプレート１１２，１２２が完全に同一の平面上に配置される場合のみならず、フレネルゾーンプレート１１２，１２２が配置される面が、取得する画像の画質に応じて許容される範囲内でずれている（並行ずれ、回転ずれがある）場合をも含むものとする。

なお、撮像モジュール１００は撮像装置本体２００に固定してもよいし、交換可能にしてもよい。また、フレネルゾーンプレート１１２，１２２を撮像部１１０，１２０に対し交換可能にしてもよい。このように、特性（大きさ、ピッチ、位相、イメージセンサとの距離等）の異なるフレネルゾーンプレートを使い分けることによって、取得する投影像の特性（画角、深度（距離測定精度）等）を制御し、所望の特性の画像を再構成することができる。なお、以下の説明においてフレネルゾーンプレート１１２，１２２を“ＦＺＰ”（Fresnel Zone Plate）と記載することがある。

＜フレネルゾーンプレートの構成＞
図４の（ａ）部分は、フレネルゾーンプレート１１２，１２２の例であるＦＺＰ１を示す図である。ＦＺＰ１では、入射する光の透過率が中心からの距離に応じて連続的に変化しており、白色に近い領域（透過領域）ほど光の透過率が高く、黒色に近い領域（遮光領域）ほど光の透過率が低い。全体としては透過領域と遮光領域とが交互に同心円状に配置されて上述した縞状のパターンを形成しており、これら透過領域及び遮光領域がフレネルゾーンプレートを構成する。同心円の間隔は、ＦＺＰ１の中心から周辺に向かうにつれて狭くなる。このような同心円状のパターン（局所的な空間周波数の変化）は上述した式（８），（９）等により表され、これらの式における同心円の細かさを「ピッチ」と呼ぶ。ピッチは上述したβの値によって定まり、βが小さいと粗いパターンになり、βが大きいと細かいパターンになる。撮像モジュール１００にメモリを設けてピッチの情報（βの値）を記憶しておき、画像処理部２１０（情報入力部２１０Ｄ：図７参照）がこの情報を取得して画像の再構成に使用してもよい。

ＦＺＰ（フレネルゾーンプレート１１２，１２２）の光軸Ｌ１，Ｌ２（図３参照）は、ＦＺＰ及び撮像素子１１４，１２４の中心を通りＦＺＰ及び撮像素子１１４，１２４の受光面と垂直な軸である。ＦＺＰは撮像素子１１４，１２４に近接（例えば、１ｍｍ程度）して配置されるが、ＦＺＰと撮像素子１１４，１２４との距離によっては光の回折により投影像がぼけるので、離しすぎないことが好ましい。

図４の（ｂ）部分は、ＦＺＰの他の例であるＦＺＰ２を示す図である。ＦＺＰ２は、ＦＺＰ１に対して透過率にしきい値を設定して、透過率がしきい値を超える領域は透過率１００％の透過領域（白色の部分）、しきい値以下の領域は透過率０％の遮光領域（黒色の部分）としたものであり、透過率が中心からの距離に応じて不連続的に（０％または１００％の２段階に）変化する。全体としては透過領域と遮光領域とが交互に同心円状に配置されて上述した縞状のパターンを形成しており、これら透過領域及び遮光領域がフレネルゾーンプレートを構成する。このように、本発明における「フレネルゾーンプレート」はＦＺＰ１のような態様及びＦＺＰ２のような態様を含み、またこれに対応して、本発明における「フレネルゾーンパターン」も透過率が連続的に変化するパターン及び透過率が不連続に変化するパターンを含む。なお、図４に示すようなフレネルゾーンプレートの周辺部分に遮光部（遮光領域と同様に、光が透過しない領域）を設けて、撮像素子１１４，１２４の周辺部分に不要な光が入射するのを防止してもよい。

＜フレネルゾーンプレートの位相＞
フレネルゾーンプレート１１２は、例えば図５の（ａ）部分に示すパターン（中心での局所的な空間周波数の位相が０°）とすることができる。また、フレネルゾーンプレート１２２は、例えば図５の（ｂ）部分に示すパターン（フレネルゾーンプレート１１２とピッチが同じであり、中心での局所的な空間周波数の位相が正の方向に９０°ずれている）とすることができる。なお、複素開口は式（８），（９）により表され、実部、虚部はそれぞれcos（βｒ^２）、sin（βｒ^２）となるので、フレネルゾーンプレート１１２，１２２（実部の画像用、虚部の画像用）の位相ずれはπ／２，すなわち９０°であることが最も好ましく、次いで９０°にできるだけ近いことが好ましい。しかしながら、位相ずれが９０°でなくでも、正または負に７０°以上１１０°以下の範囲であれば鮮明な画像を再構成することができる。また、フレネルゾーンプレート１１２は中心での局所的な空間周波数の位相を０°としているが、フレネルゾーンプレート１１２，１２２の間の位相のずれが上述の条件を満たすのであれば、フレネルゾーンプレート１１２の中心での位相は０°に限定されない。なお、°は角度の単位を表す。

＜フレネルゾーンプレートの例＞
位相が異なるフレネルゾーンプレートの例を図６に示す。図６の１行目は、左から順に中心での位相がそれぞれ０°，１０°，２０°，３０°，４０°，５０°のフレネルゾーンプレートのパターン（局所的な空間周波数のパターン）を示す。以下、２行目は、中心での位相がそれぞれ６０°，７０°，７５°，８０°，９０°，１００°のフレネルゾーンプレートのパターンを示す。３行目は、中心での位相がそれぞれ１０５°，１１０°，１２０°，１３０°，１４０°，１５０°のフレネルゾーンプレートのパターンを示す。４行目は、中心での位相がそれぞれ１６０°，１７０°，１８０°，１９０°，２００°，２１０°のフレネルゾーンプレートのパターンを示す。５行目は、中心での位相がそれぞれ２２０°，２３０°，２４０°，２５０°，２６０°，２７０°のフレネルゾーンプレートのパターンを示す。６行目は中心での位相がそれぞれ２８０°，２９０°，３００°，３１０°，３２０°，３３０°のフレネルゾーンプレートのパターンを示す。７行目は、中心での位相がそれぞれ３４０°，３５０°，３６０°のフレネルゾーンプレートのパターンを示す。なお、投影像に乗算するフレネルゾーンパターンについても、位相とパターンとの関係は図６の例と同じである。

＜撮像素子の構成＞
撮像素子１１４，１２４は、２次元方向に（二次元状に）に配列された光電変換素子により構成される複数の画素を有するイメージセンサである。各画素にマイクロレンズを設けて集光効率を上げてもよい。また、各画素にカラーフィルタ（例えば赤色、青色、及び緑色）を配設してカラー画像を再構成できるようにしてもよい。

＜撮像装置本体の構成＞
撮像装置本体２００は画像処理部２１０と、記憶部２２０と、表示部２３０と、操作部２４０とを備え、撮像モジュール１００が取得した投影像に基づく被写体の画像復元等を行う。

図７は画像処理部２１０の構成を示す図である。画像処理部２１０は、投影像入力部２１０Ａ（投影像入力部）と、複素画像生成部２１０Ｂ（複素画像生成部）と、フーリエ変換部２１０Ｃ（フーリエ変換部）と、情報入力部２１０Ｄ（情報入力部）と、表示制御部２１０Ｅ（表示制御部）と、を有する。投影像入力部２１０Ａは、撮像モジュール１００（撮像部１１０，１２０）を制御して、被写体からの光がＦＺＰに入射して撮像素子１１４，１２４に形成された第１，第２の投影像を撮像素子１１４，１２４からそれぞれ取得する。複素画像生成部２１０Ｂは、第１，第２の投影像と予め設定されたフレネルゾーンパターン（後述）とを乗算して、実部の画像と虚部の画像とからなる複素画像を生成する。フーリエ変換部２１０Ｃは、複素画像を２次元複素フーリエ変換して空間領域の画像を再構成する。情報入力部２１０Ｄは、投影像の取得に用いたフレネルゾーンプレート１１２，１２２の情報（ピッチの情報）を取得する。表示制御部２１０Ｅは、投影像、複素画像、再構成画像等の表示部２３０への表示制御を行う。ＲＯＭ２１０Ｆ（Read Only Memory）（非一時的記録媒体）には、本発明に係る画像処理方法を実行するための画像処理プログラム等、撮像システム１０が動作するための各種プログラムのコンピュータ読み取り可能なコードが記録される。

上述した画像処理部２１０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェア（本発明に係る画像処理方法を実行するための画像処理プログラムを含む）のプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ２１０Ｆ（図７を参照）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。ＲＯＭ２１０Ｆではなくハードディスク、各種光磁気記録装置等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータが参照される。なお、図７ではＲＡＭ，ＥＥＰＲＯＭ等のデバイスの図示は省略する。

＜記憶部の構成＞
記憶部２２０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体により構成され、図８に示す画像及び情報を互いに関連づけて記憶する。投影像２２０Ａは、撮像モジュール１００から取得した投影像（第１，第２の投影像）である。フレネルゾーンプレート情報２２０Ｂはフレネルゾーンプレート１１２，１２２の局所的な空間周波数の情報（βの値等のピッチ情報を含む）である。フレネルゾーンプレート情報２２０Ｂは撮像モジュール１００から取得した情報でもよいし、操作部２４０を介して入力した情報でもよい。フレネルゾーンパターン情報２２０Ｃはフレネルゾーンパターンを示す情報であり、局所的な空間周波数の位相が異なる複数のフレネルゾーンパターンについて記録することが好ましい。複素画像２２０Ｄは、フレネルゾーンパターン情報２２０Ｃが示すフレネルゾーンパターンを投影像（第１，第２の投影像）に乗算して生成された、実部の画像と虚部の画像とからなる複素画像である。再構成画像２２０Ｅは、複素画像２２０Ｄを２次元複素フーリエ変換して得られた空間領域の画像である。

＜表示部及び操作部の構成＞
表示部２３０は図示せぬ液晶ディスプレイ等の表示装置を含んで構成され、投影像、複素画像、再構成画像等を表示するとともに、操作部２４０を介した指示入力時のＵＩ（User Interface）用の画面表示にも用いられる。操作部２４０は図示せぬキーボード、マウス、ボタン等のデバイスにより構成され、ユーザはこれらデバイスにより投影像取得指示、画像再構成指示、合焦距離の条件、局所的な空間周波数の情報（ピッチ、位相）等を入力することができる。なお、表示部２３０の表示装置をタッチパネルにより構成し、画像表示の他に操作部２４０として用いてもよい。

＜撮像システムによる画像処理＞
上述した構成の撮像システム１０による画像処理について説明する。図９は本実施形態に係る画像処理方法の手順を示すフローチャートである。

＜投影像の入力＞
ステップＳ１００では、画像処理部２１０（投影像入力部２１０Ａ）が撮像モジュール１００を制御して、撮像素子１１４，１２４から投影像を取得する。取得する投影像は、被写体からの光がフレネルゾーンプレート１１２，１２２に入射して撮像素子１１４，１２４に形成された投影像（第１，第２の投影像）であり、これらの投影像は画像処理部２１０（投影像入力部２１０Ａ）の制御により同時に取得することができる。撮像素子１１４，１２４にカラーフィルタが配設されている場合、第１，第２の投影像の取得に際しては、通常のデジタルカメラにおけるカラー画像生成の際のデモザイク処理（同時化処理ともいう）と同様に、カラーフィルタの配列パターンに応じた補間処理が行われる。これにより各画素（受光素子）で不足した色の信号が生成され、全画素において各色（例えば赤色、青色、及び緑色）の信号が得られる。このような処理は、例えば画像処理部２１０（投影像入力部２１０Ａ）により行うことができる。

＜局所的な空間周波数の情報＞
ステップＳ１１０では、画像処理部２１０（情報入力部２１０Ｄ）が投影像取得に用いたフレネルゾーンプレート１１２，１２２の局所的な空間周波数の情報（フレネルゾーンプレート１１２，１２２のピッチ）を入力する。この情報は撮像モジュール１００の図示せぬメモリから入力してもよいし、操作部２４０に対するユーザの操作に応じて入力してもよい。また、ステップＳ１００で取得した投影像を情報入力部２１０Ｄが解析して入力してもよい。ピッチは上述した式（８），（９）等におけるβの値により定まるので、具体的にはβの値を入力すればよい。なお、既知の被写体（例えば、距離無限遠の点光源）を撮影した場合は、撮影画像を解析することによりピッチ（βの値）を取得することができる。また、ピッチ（βの値）を変えながら画像の再構成を繰り返し、鮮明な画像が得られる値を求めてもよい。

＜複素画像の生成＞
ステップＳ１２０では、画像処理部２１０（複素画像生成部２１０Ｂ）が第１の投影像に第１のフレネルゾーンパターンを乗算して実部の画像を生成し、第２の投影像に第２のフレネルゾーンパターンを乗算して虚部の画像を生成し、これにより実部の画像と虚部の画像とからなる複素画像を生成する。ステップＳ１２０で乗算されるフレネルゾーンパターンは、記憶部２２０に記憶されたパターン（フレネルゾーンパターン情報２２０Ｃ）のうちステップＳ１１０で入力したピッチ（βの値）に応じて選択したパターンを用いることができる。また、記憶部２２０に記憶されたパターンをピッチ（βの値）に応じて変化（必要に応じて拡大または縮小してよい）させたパターンを用いることもできる。画像処理部２１０（複素画像生成部２１０Ｂ）は、生成した複素画像を複素画像２２０Ｄとして記憶部２２０に記憶する。

＜フレネルゾーンパターンの位相＞
フレネルゾーンプレート１１２，１２２の中心での局所的な空間周波数の位相が図５のようにそれぞれ０°，９０°である場合、第１，第２のフレネルゾーンパターンの中心での局所的な空間周波数の位相は、それぞれ０°，−９０°とすることができる。この場合、フレネルゾーンプレートの局所的な空間周波数の位相のずれは正の方向であり、フレネルゾーンパターンの局所的な空間周波数の位相のずれは、フレネルゾーンプレートとは逆方向の負の方向である。また、投影像に乗算されるフレネルゾーンパターンはフレネルゾーンプレートとの間で複素共役の関係（位相ずれの大きさが同じで、ずれの方向が逆方向）が成り立つ。すなわち、式（１１）について上述したように、第１，第２のフレネルゾーンパターン（内部乗算フレネルゾーンパターン）は、フレネルゾーンプレート１１２，１２２に対して複素共役となっている。これにより、虚部の符号を反転させて投影像との差の周波数を取り出すことができる。

画像処理部２１０（複素画像生成部２１０Ｂ）がこれら第１，第２のフレネルゾーンパターンを第１，第２の投影像にそれぞれ乗算することにより、実部の画像及び虚部の画像からなる複素画像が得られる。なお、複素数の内部乗算マスクは式（１１）により表され、実部、虚部はそれぞれcos（βｒ^２）、sin（βｒ^２）となるので、第１，第２のフレネルゾーンパターンの位相ずれはπ／２，すなわち９０°であることが最も好ましく、次いで９０°にできるだけ近いことが好ましい。しかしながら、フレネルゾーンパターンの局所的な空間周波数の位相のずれが負または正に（フレネルゾーンプレート１１２，１２２の位相ずれと逆方向に）７０°以上１１０°以下の範囲であれば鮮明な画像を再構成することができる。なお、第１，第２のフレネルゾーンパターンの中心での局所的な空間周波数の位相をそれぞれ０°，−９０°とする場合について説明したが、第１，第２のフレネルゾーンパターンの間の位相のずれが上述の条件を満たすのであれば、第１，第２のフレネルゾーンパターンの中心での位相は０°，−９０°に限定されない。

フレネルゾーンパターンを用いるに際しては、位相の異なる複数のフレネルゾーンパターンのデータをフレネルゾーンパターン情報２２０Ｃとして記憶部２２０に記憶しておき所望のパターンを選択して用いてもよいし、画像処理部２１０（複素画像生成部２１０Ｂ）がピッチ及び位相の情報に基づいて所望のパターンを生成してもよい。各位相のフレネルゾーンパターンは、上述のように図６の例と同様である。このようなフレネルゾーンパターンは電子データであるフレネルゾーンパターン情報２２０Ｃ（内部乗算フレネルゾーンパターン）として記憶部２２０に記憶されるので、所望のパターンの選択及び生成を迅速かつ容易に行うことができる。また、複数のパターンに対応するプレート（基板）を有体物として保持することによる装置の大型化、製作コストの増加、複数のパターン間での特性のばらつき（製造時のばらつき、経時変化、温度変化を含む）による画質の劣化等の問題がない。

なお、上述の例では複数のフレネルゾーンパターンを用いる場合について説明したが、本発明では複素開口（フレネルゾーンプレート１１２，１２２）を用いるので、単一のフレネルゾーンパターンを第１，第２の投影像に乗じることによっても、実部の画像と虚部の画像とからなる複素画像を生成して画像を再構成することができる。

＜フレネルゾーンパターンの拡大率＞
被写体（光源）が無限遠方に存在する場合は、フレネルゾーンプレート１１２，１２２には平行光が入射し、撮像素子１１４，１２４に形成される投影像はフレネルゾーンプレート１１２，１２２と同じ大きさになるが、被写体が有限距離に存在する場合は広がりを持った光が入射し、距離が近いほど投影像が大きくなる。したがって、合焦させる被写体距離に応じて拡大率が異なるパターンを第１，第２のフレネルゾーンパターンとして使用することにより、所望の距離に合焦した画像を得ることができる。例えば、被写体距離に応じた複数のパターンをフレネルゾーンパターン情報２２０Ｃとして記憶部２２０に記憶しておき、これを読み出して使用することができる。また、１つのフレネルゾーンパターンを基準パターンとして記憶しておき、被写体距離に応じて異なる拡大率で拡大してもよい。この場合、距離無限大に対応しフレネルゾーンプレートと同じ大きさになるパターンを基準とすることができる。図１０は、被写体距離に応じてフレネルゾーンパターンの拡大率が異なる様子を示す図である。

なお、拡大率を変えながら複素画像の生成（ステップＳ１２０）及び画像の再構成（ステップＳ１３０）を繰り返し、再構成した画像の合焦評価値（例えば、画像中に設定した焦点評価領域における輝度信号の積分値）を最大にすることで鮮明な画像を取得してもよい。

＜画像の再構成＞
ステップＳ１３０では、画像処理部２１０（フーリエ変換部２１０Ｃ）が、上述した式（１３）のように複素画像を２次元複素フーリエ変換して被写体の画像（空間領域の画像）を再構成する。画像処理部２１０（表示制御部２１０Ｅ）は、再構成した画像を表示部２３０に表示する（ステップＳ１４０）。また、画像処理部２１０（フーリエ変換部２１０Ｃ）は、再構成した画像を再構成画像２２０Ｅとして記憶部２２０に記憶する。

＜従来技術との再構成結果の比較＞
第１の実施形態による画像の再構成結果を従来技術と比較して示す。図１１の（ａ）部分は、従来技術のように、実数開口（実数のフレネルゾーンプレート）で取得した投影像に実数のフレネルゾーンパターンを乗算した結果を再構成した画像である。一方、図１１の（ｂ）部分は、本発明の手法により複素開口（複素数のフレネルゾーンプレート）を用いて取得した投影像に複素数のフレネルゾーンパターンを乗算して複素画像を生成し、この複素画像を２次元複素フーリエ変換して再構成した画像である。なお、（ｂ）部分の画像の再構成に際しては、投影像取得のためのフレネルゾーンプレートの位相を０°（実部），９０°（虚部）とし、投影像に乗算するフレネルゾーンパターンの位相を０°（実部），−９０°（虚部）としている（上述した複素共役の関係が成り立っている）。

図１１の（ａ）部分、（ｂ）部分の画像を比較すると、（ａ）部分の画像は像のボケが大きく被写体の判別が困難であるのに対し、（ｂ）部分の画像は像のボケ及び重なりがほとんどなくレンズを用いずに高画質の画像を取得できることが分かる。また、自由に設計パラメータ（フレネルゾーンプレート／パターンのβ、面積、画素数、マスク距離）を選ぶことができ、実数の場合（従来技術の場合）には結像させるのが難しかったパラメータ設定においても結像させることができる。また、像の重なりがないため再構成画像の一部を切り出す必要が無く、広い画角で画像を取得することができる。

＜第２の実施形態＞
図１２は、第２の実施形態に係る撮像システム２０の構成を示すブロック図である。撮像システム２０（撮像システム）は撮像モジュール１０２（撮像装置）及び撮像装置本体２００（画像処理装置）により構成される。撮像装置本体２００の構成は第１の実施形態と同様であるので、同一の参照符号を付し詳細な説明を省略する。

撮像モジュール１０２は第１の実施形態における撮像モジュール１００と同じ撮像部１１０，１２０（第１の撮像部、第２の撮像部）、及び被写体から入射する光を分岐させるハーフミラーＭ１（分岐光学部材）を備える。図１２及び図１３に示すように、ハーフミラーＭ１は被写体から入射する光を分岐させてフレネルゾーンプレート１１２，１２２に入射させ、撮像素子１１４，１２４上に投影像を形成させる。フレネルゾーンプレート１１２，１２２及び第１，第２のフレネルゾーンパターンの位相は、上述した第１の実施形態と同様に設定することができる。

上述した構成の撮像システム２０によれば、第１，第２の投影像を同時に取得することができ、またフレネルゾーンプレート１１２，１２２で光軸Ｌ３が共通であるため第１，第２の投影像に視差が発生しない。なお、撮像システム２０において、撮像部１２０の光路にハーフミラーＭ１で分岐した光を反射させハーフミラーＭ１を透過した光と並行な光として撮像素子１２４に導く他のミラーを挿入し、撮像部１１０，１２０を同一面上に配置してもよい。

撮像システム２０での画像処理（投影像の取得、複素画像の生成、画像の再構成等）は第１の実施形態と同様に実施することができ（図９のフローチャートを参照）る。その結果レンズを用いずに高画質の画像を取得でき、設計パラメータに対する制約も低い。

＜第３の実施形態＞
図１４は、第３の実施形態に係る撮像システム３０の構成を示すブロック図である。撮像システム３０（撮像システム）は撮像モジュール１０３（撮像装置）及び撮像装置本体２００（画像処理装置）により構成される。撮像装置本体２００の構成は第１，第２の実施形態と同様であるので、同一の参照符号を付し詳細な説明を省略する。

撮像モジュール１０３は撮像部１３１（第１の撮像部、第２の撮像部）を有し、撮像部１３１はフレネルゾーンプレート１３２，１３４（第１，第２のフレネルゾーンプレート）と撮像素子１３６（第１のイメージセンサ，第２のイメージセンサ）とを備える。フレネルゾーンプレート１３２，１３４は中心を揃えて重ね合わされて共通の光軸Ｌ４を有し、かつフレネルゾーンプレート１３２は第１の波長帯域の光を透過させ、フレネルゾーンプレート１３４は第１の波長帯域とは異なる第２の波長帯域の光を透過させる（図１５を参照）。例えば、第１の波長帯域の光を赤色波長帯域とし、第２の波長帯域の光を緑色波長帯域とすることができる。この際、フレネルゾーンプレート１３２，１３４の位相をずらすことで、第１，第２の波長帯域の光の透過領域が重ならないようにすることができる。また、フレネルゾーンプレート１３２，１３４の厚みに起因して波長帯域ごとの撮像素子１３６までの間隔（上述したｄの値）が変わらないようにするため、フレネルゾーンプレート１３２，１３４はできるだけ薄く形成することが好ましい。

上述した構成の撮像システム３０によれば、第１，第２の投影像を同時に取得することができる。またフレネルゾーンプレート１３２，１３４で光軸のずれがないため、第１，第２の投影像に視差が発生しない。さらに、撮像部１３１の配置面積がフレネルゾーンプレート及び撮像素子１つ分でよいため、撮像部１３１を小型化することができる。

撮像素子１３６は、第１の波長帯域の第１の投影像のみを受光する第１の受光素子群と第２の波長帯域の第２の投影像のみを受光する第２の受光素子群とが離散的に配置された、フレネルゾーンプレート１３２，１３４に対し共通のイメージセンサである。第１の受光素子群には第１の波長帯域の光を透過させるカラーフィルタ（例えば、赤色カラーフィルタ）が配設され、第２の受光素子群には第２の波長帯域の光を透過させるカラーフィルタ（例えば、緑色カラーフィルタ）が配設される。撮像部１３１は、撮像素子１３６の第１，第２の受光素子群から第１，第２の投影像をそれぞれ分離して取得することができる。第１，第２の投影像の取得に際しては、通常のデジタルカメラにおけるカラー画像生成の際のデモザイク処理（同時化処理ともいう）と同様に、カラーフィルタの配列パターンに応じた補間処理が行われて各画素（受光素子）において不足した第１または第２の投影像の信号が生成され、全画素において第１，第２の投影像の信号が得られる。このような処理は、例えば画像処理部２１０（投影像入力部２１０Ａ）により行うことができる。

撮像システム３０での画像処理（投影像の取得、複素画像の生成、画像の再構成等）は第１，第２の実施形態と同様に実施することができる（図９のフローチャートを参照）。これによりレンズを用いずに高画質の画像を取得でき、設計パラメータに対する制約も低い。

＜その他＞
以上で本発明の実施形態に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０ 撮像システム
２０ 撮像システム
３０ 撮像システム
１００ 撮像モジュール
１０２ 撮像モジュール
１０３ 撮像モジュール
１１０ 撮像部
１１２ フレネルゾーンプレート
１１４ 撮像素子
１２０ 撮像部
１２２ フレネルゾーンプレート
１２４ 撮像素子
１３１ 撮像部
１３２ フレネルゾーンプレート
１３４ フレネルゾーンプレート
１３６ 撮像素子
２００ 撮像装置本体
２１０ 画像処理部
２１０Ａ 投影像入力部
２１０Ｂ 複素画像生成部
２１０Ｃ フーリエ変換部
２１０Ｄ 情報入力部
２１０Ｅ 表示制御部
２１０Ｆ ＲＯＭ
２２０ 記憶部
２２０Ａ 投影像
２２０Ｂ フレネルゾーンプレート情報
２２０Ｃ フレネルゾーンパターン情報
２２０Ｄ 複素画像
２２０Ｅ 再構成画像
２３０ 表示部
２４０ 操作部
Ｆ フレネルゾーンプレート
Ｌ１ 光軸
Ｌ２ 光軸
Ｌ３ 光軸
Ｌ４ 光軸
Ｍ１ ハーフミラー
ＳＤ 影
Ｓ１００〜Ｓ１４０ 画像処理方法の各ステップ
ｄ 距離Φ
位相関数θ 入射角

Claims (16)

1. 実部の画像と虚部の画像とからなる複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する撮像システムに使用される撮像装置であって、
   被写体からの光を入射する第１のフレネルゾーンプレートと、前記第１のフレネルゾーンプレートを透過した第１の投影像が入射する第１のイメージセンサとを有し、前記第１のイメージセンサから前記第１の投影像を取得する第１の撮像部と、
   前記被写体からの光を入射する第２のフレネルゾーンプレートであって、前記第１のフレネルゾーンプレートとは各領域における局所的な空間周波数の位相が異なる第２のフレネルゾーンプレートと、前記第２のフレネルゾーンプレートを透過した第２の投影像が入射する第２のイメージセンサとを有し、前記第２のイメージセンサから前記第２の投影像を取得する第２の撮像部と、
   前記被写体から入射する光を分岐させる分岐光学部材と、を備え、
   前記第１の撮像部により取得された前記第１の投影像及び前記第２の撮像部により取得された前記第２の投影像は、前記複素画像を生成するためのものであり、
   前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとは、それぞれ前記分岐光学部材により分岐された前記被写体からの光を入射する、
   撮像装置。
2. 前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとは、７０°以上１１０°以下の範囲内において正または負の方向に前記局所的な空間周波数の位相がずれている請求項１に記載の撮像装置。
3. 前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとは、同一平面上に並べて配置される、
   請求項１または２に記載の撮像装置。
4. 実部の画像と虚部の画像とからなる複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する撮像システムに使用される撮像装置であって、
   被写体からの光を入射する第１のフレネルゾーンプレートと、前記第１のフレネルゾーンプレートを透過した第１の投影像が入射する第１のイメージセンサとを有し、前記第１のイメージセンサから前記第１の投影像を取得する第１の撮像部と、
   前記被写体からの光を入射する第２のフレネルゾーンプレートであって、前記第１のフレネルゾーンプレートとは各領域における局所的な空間周波数の位相が異なる第２のフレネルゾーンプレートと、前記第２のフレネルゾーンプレートを透過した第２の投影像が入射する第２のイメージセンサとを有し、前記第２のイメージセンサから前記第２の投影像を取得する第２の撮像部と、を備え、
   前記第１の撮像部により取得された前記第１の投影像及び前記第２の撮像部により取得された前記第２の投影像は、前記複素画像を生成するためのものであり、
   前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとは重ね合わされ、かつ前記第１のフレネルゾーンプレートは第１の波長帯域の光を透過させ、前記第２のフレネルゾーンプレートは前記第１の波長帯域とは異なる第２の波長帯域の光を透過させ、
   前記第１のイメージセンサと前記第２のイメージセンサとは、前記第１の波長帯域の第１の投影像のみを受光する第１の受光素子群と前記第２の波長帯域の第２の投影像のみを受光する第２の受光素子群とが離散的に配置された共通のイメージセンサであり、
   前記第１の撮像部及び前記第２の撮像部は、前記共通のイメージセンサから前記第１の投影像と前記第２の投影像とを分離して取得する、
   撮像装置。
5. 前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとは、７０°以上１１０°以下の範囲内において正または負の方向に前記局所的な空間周波数の位相がずれている請求項４に記載の撮像装置。
6. 前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとは、同一平面上に並べて配置される、
   請求項４または５に記載の撮像装置。
7. 請求項１から６のいずれか１項に記載の撮像装置が取得した前記第１の投影像及び前記第２の投影像を入力する投影像入力部と、
   前記入力した前記第１の投影像及び前記第２の投影像と予め設定されたフレネルゾーンパターンとを乗算し、前記複素画像を生成する複素画像生成部と、
   前記生成された前記複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成するフーリエ変換部と、
   を備えた画像処理装置。
8. 前記複素画像生成部は、合焦させる被写体距離に応じて拡大率の異なる前記フレネルゾーンパターンを使用して前記複素画像を生成する請求項７に記載の画像処理装置。
9. 前記フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとの前記局所的な空間周波数の位相ずれとは逆方向に各領域における局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、
   前記複素画像生成部は、前記入力した前記第１の投影像及び前記第２の投影像と前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンとを乗算し、前記複素画像を生成する請求項７または８に記載の画像処理装置。
10. 前記第１のフレネルゾーンパターンと第２のフレネルゾーンパターンとは、７０°以上１１０°以下の範囲内において負または正の方向に前記局所的な空間周波数の位相がずれている請求項９に記載の画像処理装置。
11. 前記第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンと前記第１のフレネルゾーンプレート及び第２のフレネルゾーンプレートとの間において複素共役の関係が成り立つ請求項９または１０に記載の画像処理装置。
12. 請求項１から６のいずれか１項に記載の撮像装置と、
    請求項７から１１のいずれか１項に記載の画像処理装置と、
    を備えた撮像システム。
13. 請求項１から６のいずれか１項に記載の撮像装置が取得した前記第１の投影像及び前記第２の投影像を入力するステップと、
    前記入力した前記第１の投影像及び前記第２の投影像と予め設定されたフレネルゾーンパターンとを乗算し、前記複素画像を生成するステップと、
    前記生成された前記複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成するステップと、
    を含む画像処理方法。
14. 前記フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとの前記局所的な空間周波数の位相ずれとは逆方向に各領域における局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、
    前記複素画像を生成するステップは、前記入力した前記第１の投影像及び前記第２の投影像と前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンとを乗算し、前記複素画像を生成する、
    請求項１３に記載の画像処理方法。
15. 請求項１から６のいずれか１項に記載の撮像装置が取得した前記第１の投影像及び前記第２の投影像を入力する機能と、
    前記入力した前記第１の投影像及び前記第２の投影像と予め設定されたフレネルゾーンパターンとを乗算し、前記複素画像を生成する機能と、
    前記生成された前記複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成する機能と、
    をコンピュータに実現させる画像処理プログラムのコンピュータ読み取り可能なコードが記録された記録媒体。
16. 前記フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとの前記局所的な空間周波数の位相ずれとは逆方向に前記局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、
    前記複素画像を生成する機能は、前記入力した前記第１の投影像及び前記第２の投影像と前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンとを乗算し、前記複素画像を生成する、
    請求項１５に記載の記録媒体。