JPWO2019131382A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JPWO2019131382A1
JPWO2019131382A1 JP2019561575A JP2019561575A JPWO2019131382A1 JP WO2019131382 A1 JPWO2019131382 A1 JP WO2019131382A1 JP 2019561575 A JP2019561575 A JP 2019561575A JP 2019561575 A JP2019561575 A JP 2019561575A JP WO2019131382 A1 JPWO2019131382 A1 JP WO2019131382A1
Authority
JP
Japan
Prior art keywords
image
lens
main body
fresnel zone
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019561575A
Other languages
English (en)
Other versions
JP6934072B2 (ja
Inventor
慶延 岸根
慶延 岸根
大樹 小松
大樹 小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019131382A1 publication Critical patent/JPWO2019131382A1/ja
Application granted granted Critical
Publication of JP6934072B2 publication Critical patent/JP6934072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00—Optical objectives with means for varying the magnification
    • G02B15/02—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective
    • G02B15/10—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective by adding a part, e.g. close-up attachment
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00—Optical objectives with means for varying the magnification
    • G02B15/02—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective
    • G02B15/10—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective by adding a part, e.g. close-up attachment
    • G02B15/12—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective by adding a part, e.g. close-up attachment by adding telescopic attachments
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Geometry (AREA)
  • Lenses (AREA)
  • Cameras In General (AREA)

Abstract

本発明は、リフォーカス機能を有し画角が変更できる符号化開口撮像装置を提供することを目的とする。本発明の第１の態様に係る撮像装置は、符号化開口と、被写体の投影像を示す信号を出力する撮像素子と、信号に基づいて空間領域の画像を再構成する画像復元部と、を有する撮像装置本体と、撮像装置本体に対し符号化開口よりも被写体側に取り付けられるレンズであって、レンズが撮像装置本体に取り付けられた状態での撮影画角をレンズが撮像装置本体に取り付けられていない状態での撮影画角に対して変化させるレンズと、を備え、レンズ及び符号化開口により撮像素子に投影像が形成される。

Description

本発明は符号化開口を備える撮像装置に関する。
近年、レンズなしで被写体の画像を取得する技術が開発されている。例えば下記非特許文献１では、撮像素子にフレネルゾーンプレートを近接して配置し、被写体からの光により撮像素子上に形成される投影像とフレネルゾーンプレートに対応する投影パターンとを重ね合わせて生じたモアレ縞をフーリエ変換することにより、レンズなしで被写体の像を取得することができる。なお、非特許文献１の技術について非特許文献２により技術報告がなされている。
また、非特許文献１，２と同様にフレネルゾーンプレートをマスクパターンに用いるレンズレスイメージング技術が知られている（特許文献１を参照）。特許文献１では、対向して配置された２つの格子パターン（フレネルゾーンプレート）に被写体からの光が入射して形成されたモアレ縞をフーリエ変換することで、被写体の像を再構成している。
"動画撮影後に容易にピント調整ができるレンズレスカメラ技術を開発"、[online]、２０１６年１１月１５日、株式会社日立製作所、［２０１７年５月８日検索］、インターネット（http://www.hitachi.co.jp/New/cnews/month/2016/11/1115.html） "Lensless Light-field Imaging with Fresnel Zone Plate"、映像情報メディア学会技術報告、ｖｏｌ．４０，ｎｏ．４０，ＩＳＴ２０１６−５１，ｐｐ．７−８，２０１６年１１月
ＷＯ２０１６／２０３５７３号公報
上述した非特許文献１，２及び特許文献１に記載の技術ではリフォーカスが可能であり、焦点距離はｆ＝２×β×ｄである。ここで、リフォーカスは、画像の再構成により所望の合焦距離に事後的に合焦させることであり、βはフレネルゾーンプレートのピッチを表し、ｄはイメージセンサとフレネルゾーンプレートとの間隔を表す。このような構成の撮像装置で画角（焦点距離）を変更する場合、フレネルゾーンプレートのピッチ及び／または位置を変更することになる。上記変更により以下に説明するデメリットが生じる。
例えば、広角化する（焦点距離を短くする）場合は「（１）フレネルゾーンプレートのピッチを粗くする」または「（２）フレネルゾーンプレートをセンサに近づける（ｄの値を小さくする）」必要がある。（１）の場合はフレネルゾーンプレートにおいて光を透過させる領域と遮光する領域とにより構成されるパターンである縞の数が低下することにより画角分解能（解像度）が低下し、（２）の場合はフレネルゾーンプレートをイメージセンサに近づけるほどフレネルゾーンプレートとイメージセンサの位置精度への要求が高くなる。一方、望遠化する（焦点距離を長くする）場合は「（３）フレネルゾーンプレートのピッチを細かくする」または「（４）フレネルゾーンプレートをイメージセンサから離す（ｄの値を大きくする）」必要がある。（３）の場合は狭ピッチ化が必要とされることにより製造難度が上昇し、（４）の場合光の回折によりイメージセンサ上においてフレネルゾーンプレートの像がボケて再構成画像の画質が低下する。
このように、従来の技術では、符号化開口を有する撮像装置においてリフォーカス機能を維持しながら画角を変更することが困難であった。
本発明はこのような事情に鑑みてなされたもので、符号化開口を有する撮像装置において、リフォーカス機能を維持しながら画角を変更可能とすることを目的とする。
上述した目的を達成するため、本発明の第１の態様に係る撮像装置は、符号化開口と、被写体の投影像を示す信号を出力する撮像素子と、信号に基づいて空間領域の画像を再構成する画像復元部と、を有する撮像装置本体と、撮像装置本体に対し符号化開口よりも被写体側に取り付けられるレンズであって、レンズが撮像装置本体に取り付けられた状態での撮影画角をレンズが撮像装置本体に取り付けられていない状態での撮影画角に対して変化させるレンズと、を備え、被写体からの光がレンズ及び符号化開口を透過して撮像素子に投影像が形成される。
第１の態様に係る撮像装置によれば、符号化開口によるリフォーカス機能を有し、さらにレンズの装着により画角を変更することができる。
第１の態様において、符号化開口として例えばピンホール、２次元方向に配置された複数の開口、フレネルゾーンプレート、２次元バーコード状の符号化マスクを用いることができる（これら符号化開口の数、位置、大きさ、形状、配置間隔等の性質は既知であるものとする）。また、符号化開口はレンズの瞳（絞り）の位置に配置することができる。なお、撮像装置本体に取り付けられるレンズの画角は固定されていてもよいし、変更可能なレンズ、例えば、ズームレンズ、でもよい。
第２の態様に係る撮像装置は第１の態様において、レンズは、レンズが撮像装置本体に取り付けられた状態での周辺光量をレンズが撮像装置本体に取り付けられていない状態での周辺光量よりも低下させないレンズである。第２の態様によれば、レンズが周辺光量を低下させないので良好な画質の画像を得ることができる。
第３の態様に係る撮像装置は第１または第２の態様において、レンズは、レンズが撮像装置本体に取り付けられた状態での撮影画角をレンズが撮像装置本体に取り付けられていない状態での撮影画角よりも広くするレンズである。第３の態様におけるレンズはいわゆる「ワイドコンバージョンレンズ」であり、レンズが取り付けられていない場合よりも広画角で撮影することができる。
第４の態様に係る撮像装置は第１の態様において、レンズは、レンズが撮像装置本体に取り付けられた状態での撮影画角をレンズが撮像装置本体に取り付けられていない状態での撮影画角よりも狭くするレンズである。第４の態様におけるレンズはいわゆる「テレコンバージョンレンズ」であり、レンズが取り付けられていない場合よりも望遠で撮影することができる。
第５の態様に係る撮像装置は第１から第４の態様のいずれか１つにおいて、レンズは撮像装置本体に対し取り付け及び取り外しされる交換レンズである。第５の態様によれば、撮影目的、撮影条件に応じて異なる画角、焦点距離のレンズを装着し（取り付け）、所望の条件で撮影することができる。
第６の態様に係る撮像装置は第１から第５の態様のいずれか１つにおいて、撮像装置本体は、符号化開口よりも被写体側にレンズが取り付けられるレンズ取付部を有する。第６の態様において、レンズ取付部として例えばマウント、ネジ山、ネジ溝を挙げることができるが、これらに限定されるものではない。
第７の態様に係る撮像装置は第１から第６の態様のいずれか１つにおいて、画像復元部は、空間領域の画像においてレンズに起因する収差を補正する。第７の態様ではレンズに起因する収差を補正するので、良好な画質の画像を得ることができる。収差の補正は画像を再構成する前に行ってもよいし、再構成の後で行ってもよい。再構成の前に収差を補正する場合、例えば投影像に乗算する符号化開口の形状及び／または大きさを、補正する収差の種類及び／または量に応じて変えることにより行うことができる。一方、再構成の後で収差を補正する場合、例えば補正する収差の種類及び／または程度、画像における位置等の条件に応じて異なるフィルタ（例えば、点像復元用のフィルタ等）を適用する等の画像処理により行うことができる。ただし、本発明における収差の補正はこのような態様に限定されるものではない。
第８の態様に係る撮像装置は第７の態様において、レンズの情報を取得するレンズ情報取得部を備え、画像復元部は取得した情報に基づいて収差を補正する。第８の態様によればレンズの情報に基づいて正確かつ容易に収差を補正することができる。なお、レンズの情報を記憶するレンズ情報記憶部をレンズに備え、レンズ情報取得部がレンズ情報記憶部から情報を取得してもよい。このようなレンズ情報記憶部は非一時的記録媒体を用いて構成することができる。
本発明の第９の態様に係る撮像装置は第１から第８の態様のいずれか１つにおいて、符号化開口はフレネルゾーンプレートであり、画像復元部は、フレネルゾーンプレートにより撮像素子に形成される投影像に対しフレネルゾーンプレートに対応したフレネルゾーンパターンを乗算して乗算画像を生成し、乗算画像をフーリエ変換して空間領域の画像を再構成する。第９の態様は画像再構成の具体的態様を規定するものである。
第１０の態様に係る撮像装置は第９の態様において、フレネルゾーンパターンは第１のフレネルゾーンパターンと、第１のフレネルゾーンパターンとは各領域における局所的な空間周波数が同一であり、かつ局所的な空間周波数の位相が異なる第２のフレネルゾーンパターンと、を含み、画像復元部は第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンを投影像にそれぞれ乗算して、乗算画像として実部の画像と虚部の画像とからなる複素画像を生成し、複素画像を２次元複素フーリエ変換して空間領域の画像を再構成する。第１０の態様は画像再構成の他の具体的態様を規定するものにより、被写体像の重なりがなく画質が良好な再構成画像を得ることができる。なお第１０の態様において、第１のフレネルゾーンパターンと第２のフレネルゾーンパターンとの位相のずれは７０度以上１１０度以下であることが好ましい。位相のずれがこの範囲であれば、いっそう良好な画質の画像が得られるからである。
本発明の第１１の態様に係る撮像装置は第１０の態様において、画像復元部は、合焦させる被写体距離に応じて拡大率の異なる第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンを使用して複素画像を生成する。第１１の態様によれば、合焦させる被写体距離に応じて拡大率の異なるフレネルゾーンパターンを用いることにより、所望の被写体距離で合焦した画像を得ることができる。
本発明の第１２の態様に係る撮像装置本体は、符号化開口と、被写体からの光が符号化開口を透過することにより投影された被写体の投影像を示す信号を出力する撮像素子と、信号に基づいて空間領域の画像を再構成する画像復元部と、を有する撮像装置本体であって、撮像装置本体は、符号化開口よりも被写体側にレンズが取り付けられるレンズ取付部と、レンズのレンズ情報を取得するレンズ情報取得部とを有し、画像復元部は、空間領域の画像においてレンズに起因する収差を補正する。
以上説明したように、本発明の撮像装置によれば符号化開口によるリフォーカス機能を維持しながら画角を変更することができる。
図１は、第１の実施形態に係る撮像装置の構成を示すブロック図である。 図２は、レンズ装置の構成の他の例を示す図である。 図３は、フレネルゾーンプレートの例を示す図である。 図４は、処理部の構成を示すブロック図である。 図５は、記憶部に記憶される情報を示す図である。 図６は、実施例のレンズ構成を示す図である。 図７は、各実施例の光路を示す図である。 図８は、各実施例のレンズデータを示す図である。 図９は、実施例１の非球面係数を示す図である。 図１０は、実施例１の縦収差を示す図である。 図１１は、実施例２の縦収差を示す図である。 図１２は、実施例の諸元を示す図である。 図１３は、実施例１の周辺光量算出条件を示す表である。 図１４は、パラメータの定義を示す図である。 図１５は、理想レンズ及び実施例１の周辺光量比を示すグラフである。 図１６は、画像再構成の処理を示すフローチャートである。 図１７は、位相が異なるフレネルゾーンプレートの例を示す図である。 図１８は、合焦距離に応じた拡大率のフレネルゾーンパターンを示す図である。
以下、添付図面を参照しつつ、本発明に係る撮像装置を実施するための形態について詳細に説明する。
＜第１の実施形態＞
＜撮像装置の構成＞
図１は第１の実施形態に係る撮像装置１０（撮像装置）の構成を示すブロック図である。撮像装置１０は、レンズ装置１００（レンズ、交換レンズ）と撮像装置本体２００（撮像装置本体）とを備える。撮像装置１０はデジタルカメラの他、スマートフォン、タブレット端末、監視カメラ、検査用カメラ等に適用できるが、適用対象はこれらの機器に限定されるものではない。
＜レンズ装置の構成＞
レンズ装置１００はレンズ３００（レンズ、交換レンズ）を備える。レンズ３００は、撮像装置本体２００に対し装着（フレネルゾーンプレート２１０よりも被写体側）することにより、装着されていない状態よりも撮影画角を広くするレンズ（ワイドコンバージョンレンズ）である。レンズ装置１００と撮像装置本体２００とはレンズ側マウント１３０及び本体側マウント２７０（レンズ取付部）を介して装着（取り付け）される。レンズ装置１００と撮像装置本体２００とは装着されると、レンズ側端子１３２と本体側端子２７２とが接触してレンズ装置１００と撮像装置本体２００との間での通信が可能になる。メモリ１２０（レンズ情報記憶部）にはレンズ３００の情報が記憶されており、記憶された情報は画像処理部２３０からの指令により取得される。例えば、レンズ３００のレンズ構成、焦点距離、撮影画角、Ｆ値、収差の種類及び値等をメモリ１２０に記憶しておくことができる。これらの情報はレンズ３００（レンズ装置１００）の製造後に測定してメモリ１２０に記憶させてもよいし、設計値を記憶させてもよい。また、操作部２６０の操作により入力した情報を用いてもよい。
レンズ装置１００は、ユーザの操作により撮像装置本体２００に対し取り付け及び取り外しされことができるため、これにより、撮影目的、撮影条件等に応じて異なる画角、焦点距離のレンズを装着し所望の条件で撮影することができる。例えば、レンズ装置１００に代えて、レンズ４００を有するレンズ装置１０２（図２参照）を撮像装置本体２００に装着することができる。レンズ４００は、撮像装置本体２００に対し装着することにより、装着されていない状態よりも撮影画角を狭くするレンズ（テレコンバージョンレンズ）である。なお、図１及び図２ではレンズ３００及び４００の構成を簡略化して表示している。レンズ３００及び４００の具体的な構成は後述する。また、図１ではレンズ装置１００，１０２がレンズ側マウント１３０及び本体側マウント２７０を介して撮像装置本体２００に装着される場合について説明したが、撮像装置本体２００への装着はこのような態様に限定されるものではない。この他にも、例えばレンズ装置１００，１０２と撮像装置本体２００との一方に設けたネジ山（レンズ取付部）と、他方に設けられネジ山に対応したネジ溝（レンズ取付部）とにより行ってもよい。なお、レンズ３００，４００はフレネルゾーンプレート２１０よりも被写体側（物体側）に取り付けられる。
＜撮像装置本体の構成＞
撮像装置本体２００は、フレネルゾーンプレート２１０（フレネルゾーンプレート、符号化開口）と撮像素子２２０（撮像素子）とを備え、被写体からの光がレンズ３００（またはレンズ４００）とフレネルゾーンプレート２１０とを透過して形成された投影像を撮像素子２２０により取得する。フレネルゾーンプレート２１０は、中心が撮像素子２２０の中心と一致し、かつ撮像素子２２０の撮像面２２０Ａ（受光面）と平行な状態で撮像素子２２０の撮像面側に配置される。フレネルゾーンプレート２１０は撮像装置本体２００に対し交換可能でもよい。特性（大きさ、ピッチ、位相、イメージセンサとの距離等）の異なるフレネルゾーンプレートを使い分けることによって、取得する投影像の特性（画角、深度（距離測定精度）等）を制御し、所望の特性の画像を再構成することができる。なお、以下の説明においてフレネルゾーンプレート（Fresnel Zone Plate）を「ＦＺＰ」と記載する場合がある。
＜フレネルゾーンプレートの構成＞
図３の（ａ）部分は、フレネルゾーンプレート２１０の例であるＦＺＰ１を示す図である。ＦＺＰ１では、入射する光の透過率がＦＺＰ１のパターンに従って中心からの距離に応じて連続的に変化しており、白色に近い領域（透過領域）ほど光の透過率が高く、黒色に近い領域（遮光領域）ほど光の透過率が低い。全体としては透過領域と遮光領域とが交互に同心円状に配置された状態となっており、これら透過領域及び遮光領域がフレネルゾーンプレートを構成する。同心円の間隔は、ＦＺＰ１の中心から周辺に向かうにつれて狭くなる。このような同心円状のパターン（局所的な空間周波数の変化）は後述する式（２），（３），（７）等により表され、これらの式における同心円の細かさを「ピッチ」と呼ぶ。ピッチは上述したβの値によって定まり、βが小さいと粗いパターンになり、βが大きいと細かいパターンになる。撮像装置本体２００にメモリを設けてピッチの情報（βの値）を記憶しておき、画像処理部２３０（情報取得部２３０Ｅ）がこの情報を取得して使用してもよい。
フレネルゾーンプレート２１０の光軸Ｌ（図１参照）は、ＦＺＰ及び撮像素子２２０の中心を通りＦＺＰ及び撮像素子２２０の撮像面２２０Ａと垂直な軸である。ＦＺＰは撮像素子２２０に近接して配置される。撮像素子２２０との距離によっては光の回折により投影像がぼけるので、離しすぎないことが好ましい。
図３の（ｂ）部分は、フレネルゾーンプレートの他の例であるＦＺＰ２を示す図である。ＦＺＰ２は、ＦＺＰ１のパターンに対して透過率にしきい値を設定して、透過率がしきい値を超える領域は透過率１００％の透過領域（白色の部分）、しきい値以下の領域は透過率０％の遮光領域（黒色の部分）としたものであり、透過率が中心からの距離に応じて不連続的に（０％または１００％の２段階に）変化する。全体としては透過領域と遮光領域とが交互に同心円状に配置された状態となっており、これら透過領域及び遮光領域がフレネルゾーンプレートを構成する。このように、本発明における「フレネルゾーンプレート」はＦＺＰ１のような態様及びＦＺＰ２のような態様を含む。これに対応して、本発明における「フレネルゾーンパターン」は透過率が連続的に変化するパターン及び透過率が不連続に変化するパターンを含む。なお、図３に示すようなフレネルゾーンプレートの周辺部分に遮光部（遮光領域と同様に、光が透過しない領域）を設けて、撮像素子２２０の周辺部分に不要な光が入射するのを防止してもよい。
＜撮像素子の構成＞
撮像素子２２０は、２次元方向に配列された光電変換素子により構成される複数の画素を有するイメージセンサである。各画素にマイクロレンズを設けて集光効率を上げてもよい。また、各画素にカラーフィルタ（例えば赤色、青色、及び緑色）を配設してカラー画像を再構成できるようにしてもよい。この場合、投影像の取得に際しては、通常のデジタルカメラにおけるカラー画像生成の際のデモザイク処理（同時化処理ともいう）と同様に、カラーフィルタの配列パターンに応じた補間処理が行われる。この補間処理により各画素（受光素子）における不足した色の信号が生成され、全画素において各色（例えば赤色、青色、及び緑色）の信号が得られる。このような処理は、画像処理部２３０により行うことができる。
撮像装置本体２００は、上述したフレネルゾーンプレート２１０及び撮像素子２２０の他に、画像処理部２３０と、記憶部２４０と、表示部２５０と、操作部２６０とを備え、フレネルゾーンプレート２１０及び撮像素子２２０により取得した投影像に基づく被写体の画像復元等を行う。
＜画像処理部の構成＞
図４は画像処理部２３０（画像復元部）の構成を示す図である。画像処理部２３０は、投影像入力部２３０Ａと、乗算画像生成部２３０Ｂ（画像復元部）と、フーリエ変換部２３０Ｃ（画像復元部）と、収差補正部２３０Ｄ（画像復元部）と、情報取得部２３０Ｅ（レンズ情報取得部）と、表示制御部２３０Ｆと、を有する。投影像入力部２３０Ａは、撮像素子２２０を制御して、被写体からの光がＦＺＰに入射して撮像素子２２０に形成された投影像を撮像素子２２０から取得する。乗算画像生成部２３０Ｂは、局所的な空間周波数が同一であり、かつ局所的な空間周波数の位相が異なる複数のフレネルゾーンパターン（第１，第２のフレネルゾーンパターン）を投影像に乗算して、実部の画像と虚部の画像とからなる複素画像を生成する。フーリエ変換部２３０Ｃは、複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する。収差補正部２３０Ｄは、空間領域の画像においてレンズ３００またはレンズ４００に起因する収差（非点収差、球面収差、コマ収差、歪曲収差、軸上色収差、倍率色収差等）を補正する。情報取得部２３０Ｅは、レンズ装置１００のメモリ１２０に記憶されたレンズ３００の情報（例えば、レンズ構成、焦点距離、撮影画角、Ｆ値、収差の種類及び値等）を取得する。また情報取得部２３０Ｅは、投影像の取得に用いたフレネルゾーンプレート２１０の情報（ピッチの情報）を取得する。表示制御部２３０Ｆは、投影像、複素画像、再構成画像等の表示部２５０への表示制御を行う。ＲＯＭ２３０Ｇ（非一時的記録媒体）には、画像の再構成を行うプログラム等、撮像装置１０が動作するための各種プログラムのコンピュータ（プロセッサ）読み取り可能なコードが記録される。
上述した画像処理部２３０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は１つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
上述したプロセッサ（あるいは電気回路）がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ読み取り可能なコードをＲＯＭ２３０Ｇ等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータが参照される。なお、図４ではＲＡＭ，ＥＥＰＲＯＭ等のデバイスの図示は省略する。
＜記憶部の構成＞
記憶部２４０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体により構成され、図５に示す画像及び情報を互いに関連づけて記憶する。レンズ情報２４０Ａは、レンズ装置１００から取得したレンズ３００の情報（例えば、レンズ構成、焦点距離、撮影画角、Ｆ値、収差の種類及び値等）である。投影像２４０Ｂは、撮像素子２２０から取得した投影像である。フレネルゾーンプレート情報２４０Ｃはフレネルゾーンプレート２１０の局所的な空間周波数の情報（βの値等のピッチ情報を含む）である。フレネルゾーンプレート情報２４０Ｃは撮像素子２２０から取得した情報でもよいし、操作部２６０を介して入力した情報でもよい。フレネルゾーンパターン情報２４０Ｄはフレネルゾーンパターンを示す情報であり、局所的な空間周波数の位相が異なる複数のフレネルゾーンパターンについて記録することが好ましい。乗算画像２４０Ｅは、フレネルゾーンパターン情報２４０Ｄが示すフレネルゾーンパターン（第１，第２のフレネルゾーンパターン）を投影像に乗算して得られた、実部の画像と虚部の画像とからなる複素画像である。再構成画像２４０Ｆは、乗算画像２４０Ｅを２次元複素フーリエ変換して得られた空間領域の画像である。
＜表示部及び操作部の構成＞
表示部２５０は図示せぬ液晶ディスプレイ等の表示装置を含んで構成され、投影像、乗算画像、再構成画像等を表示するとともに、操作部２６０を介した指示入力時のＵＩ（User Interface）用の画面表示にも用いられる。操作部２６０は図示せぬキーボード、マウス、ボタン、スイッチ等のデバイスにより構成され、ユーザはこれらデバイスにより投影像取得指示、画像再構成指示、合焦距離の条件、局所的な空間周波数の情報（ピッチ、位相）等を入力することができる。なお、表示部２５０の表示装置をタッチパネルにより構成し、画像表示の他に操作部２６０として用いてもよい。
＜レンズの具体的構成＞
＜実施例１＞
図６の（ａ）部分はレンズ３００、フレネルゾーンプレート２１０、及び撮像素子２２０の撮像面２２０Ａの配置を示す図である。レンズ３００は物体側（被写体側）から順に負のパワー（屈折力、以下同じ）を有する前群３１０と正のパワーを有する後群３２０から構成されるワイドコンバージョンレンズであり、レンズ３０２，３０４，３０６，３０８から構成される。フレネルゾーンプレート２１０はレンズ３００の瞳の位置（絞りの位置）に配置される。
＜実施例２＞
図６の（ｂ）部分はレンズ４００、フレネルゾーンプレート２１０、及び撮像素子２２０の撮像面２２０Ａの配置を示す図である。レンズ４００はテレコンバージョンレンズであり、レンズ４０２，４０４，４０６，４０８から構成される。フレネルゾーンプレート２１０はレンズ４００の瞳の位置（絞りの位置）に配置される。
なお、レンズ３００，４００の画角は固定されているが、本発明の撮像装置において撮像装置本体に取り付けられるレンズは、画角（焦点距離）が可変のズームレンズでもよい。
＜光路図＞
図７の（ａ）部分は、レンズ３００の瞳の位置に理想レンズＩ１（収差がゼロであるレンズ）を配置した状態における、レンズ３００に対する軸上光束Ｂ１及び最大画角の光束Ｂ２の光路を示す図である。なお、実際は理想レンズＩ１の位置にフレネルゾーンプレート２１０が配置され、光束が波面として進行するので、フレネルゾーンプレート２１０以降（撮像素子２２０側）については点線部分のような光路となるわけではないが、参考のため理想レンズＩ１を配置した場合の光路を示している。同様に、図７の（ｂ）部分は、レンズ４００の瞳の位置に理想レンズＩ２（収差がゼロであるレンズ）を配置した状態におけるレンズ４００に対する軸上光束Ｂ３及び最大画角の光束Ｂ４の光路を示す図である。なお、実際は理想レンズＩ２の位置にフレネルゾーンプレート２１０が配置され光束が波面として進行するので、フレネルゾーンプレート２１０以降（撮像素子２２０側）については点線部分のような光路となるわけではないが、参考のため理想レンズＩ２を配置した場合の光路を示している。理想レンズＩ１，Ｉ２の特性は、ｆ’＝１ｍｍ、ＩＨ＝９．４０７、ＦＮｏ．＝２．８８、２ω＝４１．２ｄｅｇである。なお、理想レンズＩ１，Ｉ２のレンズデータは、規格化により瞳と撮像面２２０Ａの間隔を１ｍｍ（すなわち、理想レンズＩ２，Ｉ２と撮像面２２０Ａの間隔が１ｍｍ）とした場合のデータである。なお、ｍｍはミリメートルを表し、ｄｅｇは角度を表す。
＜レンズデータ＞
図８の（ａ）部分はレンズ３００のレンズデータを示す表である。表中、面番号に「＊」を付した面は非球面であることを示す。同様に、図８の（ｂ）部分はレンズ４００のレンズデータを示す表である。なお、図８におけるレンズデータは規格化により瞳と撮像面２２０Ａの間隔を１ｍｍ（すなわち、フレネルゾーンプレート２１０と撮像面２２０Ａの間隔が１ｍｍ）とした場合のデータである。焦点距離を変える等により間隔がｋ倍となった場合は曲率半径、面間隔もｋ倍になる。
図９はレンズ３００についての非球面係数を示す表である。レンズ表面の中心を原点とし、光軸がｘ軸である場合、レンズ表面の非球面形状は以下の式（１）によって表示される。なおｃは近軸曲率半径の逆数（近軸曲率）であり、ｈｉは光軸からの高さであり、κは円錐乗数であり、Ａｉが非球面係数である。
＜縦収差図＞
図１０の（ａ）部分〜（ｄ）部分は、それぞれレンズ３００の球面収差、非点収差、歪曲収差、及び倍率色収差を示す図である。同様に、図１１の（ａ）部分〜（ｄ）部分は、それぞれレンズ４００の球面収差、非点収差、歪曲収差、及び倍率色収差を示す図である。
＜実施例の諸元＞
図１２は実施例１，２の諸元を示す表である。上述した構成により、実施例１（レンズ３００を装着する場合）では元の光学系（画角が２０．６ｄｅｇ）に対し画角が変化している（６０．０ｄｅｇと広くなっている）ことが分かる。同様に、実施例２（レンズ４００を装着する場合）では元の光学系（画角が２４．８ｄｅｇ）に対し画角が変化している（１７．８ｄｅｇと狭くなっている）ことが分かる。なお、実施例１，２における「元の光学系」はフレネルゾーンプレート２１０のような符号化開口を用いた光学系（焦点距離は１．０ｍｍ）である。
＜周辺光量＞
図１３は実施例１についての周辺光量算出のための条件式を示す表であり、表中のパラメータの意味は以下の通りである。なお、Ｃｓ，Ｃｔ，Ｍｔ，Ｍｓの定義を図１４の（ａ）部分，（ｂ）部分，及び（ｃ）部分に示す。図１４の（ｂ）部分は平面Ｐ１を示す図であり、図１４の（ｃ）部分は平面Ｐ２を示す図である。平面Ｐ１，Ｐ２はそれぞれ軸上光束Ｂ１の主光線Ｌ１，最大画角の光束Ｂ２の主光線Ｌ２に垂直な面である。
Ｃｓ ：最も物体側の面に入射する軸上光束のサジタル方向（接線方向）の長さ
Ｍｓ ：最も物体側の面に入射する最大画角の光束のサジタル方向の長さ
ＤＡ ：ワイドコンバージョンレンズ（レンズ３００）中の最大の空気間隔
Ｆｆ ：ＤＡより物体側のレンズ群の焦点距離
Ｃｔ ：最も物体側の面に入射する軸上光束のタンジェンシャル方向（放射方向）の長さ
Ｍｔ ：最も物体側の面に入射する最大画角の光束のタンジェンシャル方向の長さを、主光線に垂直な面に射影したときの長さ
ＷＣＴＬ：ワイドコンバージョンレンズの第１面から最終面までの長さ
ＷＣｆ ：ワイドコンバージョンレンズの焦点距離
Ｄｉｓｔ：ワイドコンバージョンレンズを理想レンズに装着したときの光学ディストーション
図１５は、実施例１における、理想レンズ及び（ワイドコンバージョンレンズ（レンズ３００）＋理想レンズ）についての周辺光量比（光軸上を１００％とし、半画角γに対し（ｃｏｓγ）の４乗で示される）を示すグラフである。半画角γが３０ｄｅｇの場合、理想レンズの周辺光量比は約５６％であるが、（ワイドコンバージョンレンズ＋理想レンズ）の場合約９８％であり、周辺光量比が向上していることが分かる。
＜画像の再構成＞
上述した構成の撮像装置１０による画像の再構成について説明する。図１６は画像の再構成処理を示すフローチャートである。
＜投影像の入力＞
ステップＳ１００では、画像処理部２３０（投影像入力部２３０Ａ）が撮像素子２２０から被写体の投影像を取得する。取得する投影像は、被写体からの光がフレネルゾーンプレート２１０に入射して撮像素子２２０に形成された投影像である。
＜局所的な空間周波数の情報＞
ステップＳ１１０では、画像処理部２３０（情報取得部２３０Ｅ）が投影像取得に用いたフレネルゾーンプレート２１０の局所的な空間周波数の情報（フレネルゾーンプレート２１０のピッチ）を入力する。この情報は図示せぬメモリから入力してもよいし、操作部２６０に対するユーザの操作に応じて入力してもよい。また、ステップＳ１００で取得した投影像を情報取得部２３０Ｅが解析して入力してもよい。ピッチはβの値により定まるので（後述する式（２）〜（４），（７）等を参照）、具体的にはβの値を入力すればよい。なお、既知の被写体（例えば、距離無限遠の点光源）を撮影した場合は、撮影画像を解析することによりピッチ（βの値）を取得することができる。また、ピッチ（βの値）を変えながら画像の再構成を繰り返し、鮮明な画像が得られる値を求めてもよい。
＜複素画像の生成＞
ステップＳ１２０では、画像処理部２３０（乗算画像生成部２３０Ｂ）が投影像に第１，第２のフレネルゾーンパターンをそれぞれ乗算して、実部の画像と虚部の画像とからなる複素画像を生成する。ステップＳ１２０で乗算されるフレネルゾーンパターンは、記憶部２４０に記憶されたパターン（フレネルゾーンパターン情報２４０Ｄ）のうちステップＳ１１０で入力したピッチ（βの値）に応じて選択したパターンを用いることができる。また、記憶部２４０に記憶されたパターンをピッチ（βの値）に応じて変化（必要に応じて拡大または縮小してよい）させたパターンを用いることもできる。画像処理部２３０（乗算画像生成部２３０Ｂ）は、生成した複素画像を乗算画像２４０Ｅとして記憶部２４０に記憶する。
＜フレネルゾーンパターンの位相＞
画像の復元において用いる第１のフレネルゾーンパターンは例えば図１７の（ａ）部分に示すパターン（中心での位相が０ｄｅｇ）とすることができ、これを投影像に乗算することにより実部の画像が得られる。また、第２のフレネルゾーンパターンは例えば図１７の（ｂ）部分に示すパターン（第１のフレネルゾーンパターンとピッチが同じ、位相が９０ｄｅｇずれている）とすることができ、これを投影像に乗算することにより虚部の画像が得られる。式（７）等について上述したように第１，第２のフレネルゾーンパターンの位相ずれは９０ｄｅｇであることが好ましいが、正または負に７０ｄｅｇ以上１１０ｄｅｇ以下の範囲であれば鮮明な画像を再構成することができる。第１のフレネルゾーンパターンまたは第２のフレネルゾーンパターンの局所的な空間周波数の位相を、フレネルゾーンプレート２１０の位相と同一にしてもよい。
フレネルゾーンパターンを用いるに際しては、位相の異なる複数のフレネルゾーンパターンのデータをフレネルゾーンパターン情報２４０Ｄとして記憶部２４０に記憶しておき所望のパターンを選択して用いることができる。また、画像処理部２３０（乗算画像生成部２３０Ｂ）がピッチ及び位相の情報に基づいて所望のパターンを生成してもよい。このようなフレネルゾーンパターンは電子データであるフレネルゾーンパターン情報２４０Ｄとして記憶部２４０に記憶されるので、所望のパターンの選択及び生成を迅速かつ容易に行うことができる。また、複数のパターンに対応するプレート（基板）を有体物として保持することによる装置の大型化、製作コストの増加、複数のパターン間での特性のばらつき（製造時のばらつき、経時変化、温度変化を含む）による画質の劣化等の問題がない。
＜フレネルゾーンパターンの拡大率＞
被写体（光源）が無限遠方に存在する場合は、フレネルゾーンプレート２１０には平行光が入射し、撮像素子２２０に形成される投影像はフレネルゾーンプレート２１０と同じ大きさになるが、被写体が有限距離に存在する場合は広がりを持った光が入射し、距離が近いほど投影像が大きくなる。したがって、合焦させる被写体距離に応じて拡大率が異なるパターンを第１，第２のフレネルゾーンパターンとして使用することにより、所望の距離に合焦した画像を得ることができる。例えば、被写体距離に応じた複数のパターンをフレネルゾーンパターン情報２４０Ｄとして記憶部２４０に記憶しておき、これを読み出して使用することができる。また、１つのフレネルゾーンパターンを基準パターンとして記憶しておき、被写体距離に応じて異なる拡大率で拡大してもよい。この場合、被写体距離無限大に対応しフレネルゾーンプレートと同じ大きさになるパターンを基準パターンとすることができる。図１８は、被写体距離に応じてフレネルゾーンパターンの拡大率が異なる様子を示す図である。
なお、拡大率を変えながら複素画像の生成（ステップＳ１２０）及び画像の再構成（ステップＳ１３０）を繰り返し、再構成した画像の合焦評価値（例えば、画像中に設定した焦点評価領域における輝度信号の積分値）を最大にすることで鮮明な画像を取得してもよい。
このように、第１の実施形態に係る撮像装置１０はフレネルゾーンプレート２１０（符号化開口）及びフレネルゾーンパターンを用いてリフォーカスを行うことができる。
＜画像の再構成＞
ステップＳ１３０では、画像処理部２３０（フーリエ変換部２３０Ｃ）が、複素画像を２次元複素フーリエ変換して被写体の画像（空間領域の画像）を再構成する（後述）。さらに、画像処理部２３０（収差補正部２３０Ｄ）は、再構成した画像（空間領域の画像）において、撮像装置本体２００に装着されたレンズ（レンズ３００，レンズ４００等）に起因する収差（球面収差、コマ収差、歪曲収差、軸上色収差、倍率色収差等）を補正する。補正は、メモリ１２０から取得したレンズ情報２４０Ａに基づいて行う。また、収差の補正は画像を再構成する前に行ってもよいし、再構成の後で行ってもよい。再構成の前に収差を補正する場合、例えば投影像に乗算するフレネルゾーンパターン（符号化開口）の形状及び／または大きさを、補正する収差の種類及び／または量に応じて変えることにより行うことができる。一方、再構成の後で収差を補正する場合、例えば補正する収差の種類及び／または程度、画像における位置等の条件に応じて異なるフィルタ（点像復元用のフィルタ等）を適用する等の画像処理により行うことができる。ただし、本発明における収差の補正はこのような態様に限定されるものではない。画像処理部２３０（表示制御部２３０Ｆ）は、再構成した画像を表示部２５０に表示する（ステップＳ１４０）。また、画像処理部２３０（フーリエ変換部２３０Ｃ）は、再構成した画像を再構成画像２４０Ｆとして記憶部２４０に記憶させる。
＜画像復元の詳細＞
第１の実施形態における画像復元の詳細について、さらに詳細に説明する。符号化開口（フレネルゾーンプレート）のパターンＩ(ｒ)は、式（２）によって表現される。
Ｉ(ｒ)の値が大きいほど、既定の波長帯域における光の透過率が大きくなる。ｒはフレネルゾーンプレートの半径、β(＞０)はパターンの細かさ（ピッチ）を決める定数である。以下、マイナスの値を回避するために、式（３）のようにオフセットをつけて０から１の範囲に収めたＩ２(ｒ)について考える。
この符号化開口（フレネルゾーンプレート）が撮像素子のセンサ面上から距離ｄだけ離れて配置されていると仮定する。このとき、距離無限遠の点光源から入射角θで光（平行光）が入射したと仮定すると、符号化開口（フレネルゾーンプレート）の影はΔr(＝ｄ×tanθ)だけ平行移動してセンサ上に映る。平行移動した影Ｓ(ｒ)は式（４）で表現される。
Ｉ２(ｒ)及びＳ(ｒ)は本来２次元画像であり、２変数関数であるが、ここでは簡単のため中心と入射光源を含む平面で切断した断面上の１次元画像のみに注目して考える。しかし、以下の式（５）のように計算すれば容易に２次元の場合に拡張できる。
撮影された影画像（投影像）は、計算機上で画像復元（再構成）されて出力される。画像復元プロセスにおいて、影画像は位置ずれしていないフレネルゾーン開口画像（フレネルゾーンパターン）と乗算される。この内部乗算される関数について、ここでは以下の式（６），（７）で表現される２つの関数の場合を考える。なお、虚数単位をｊとする。
Ｍｒ(ｒ)はＩ(ｒ)と同じ実数関数であるが、オフセット（直流成分）を除去したものである。従来技術（上述した非特許文献１，２及び特許文献１）における画像の再構成は、実数開口の投影像に対して実数関数Ｍｒ(ｒ)で表されるフレネルゾーンパターンを乗算する場合に相当する。Ｍｃ(ｒ)は複素数関数であり、Ｍｃ(ｒ)＝cosβr２＋ｊ×sinβr２＝cosβr２−ｊ×cos(βr２＋π／２)なので、実部，虚部は位相が（π／２）、すなわち９０ｄｅｇずれたフレネルゾーンパターンに対応する。Ｍｃ(ｒ)の実数部（cosβr２）はＭｒ(ｒ)と同じである。第１の実施形態では、このように複素数関数の実部，虚部にそれぞれ対応し位相が異なる２つのフレネルゾーンパターン（第１，第２のフレネルゾーンパターン）を投影像に乗算して、実部の画像と虚部の画像とからなる複素画像を生成する。
内部乗算後の画像（乗算画像）は、それぞれの場合において以下の式（８），（９）により表現される。
内部乗算画像にＭｒ(ｒ),Ｍｃ(ｒ)を利用した場合である乗算後画像Ｆｒ(ｒ)，Ｆｃ(ｒ)のそれぞれについて、第１項はオフセット補正などによって除去可能な成分である。第２項は重ね合わされたフレネルゾーン開口の間の「差の周波数」（２つの開口をcosα，cosφで表した場合、cos(α−φ)に対応する）が抽出されたモアレ干渉縞であり、これはフーリエ変換の基底と一致しているため、フーリエ変換を適用することによってデルタ関数に変換されて「点」となり結像に寄与する成分となる。第３項は「和の周波数」（cos(α＋φ)に対応する）に相当し、これはフーリエ変換しても結像に寄与せずノイズとして働いてしまう成分となる。
Ｆｒ(ｒ),Ｆｃ(ｒ)に対してそれぞれ適切にオフセット補正を適用し、第１項が消去された状態の画像をＦｒ２(ｒ)，Ｆｃ２(ｒ)とする。これらに対して実際にフーリエ変換を適用すると、Ｆｒ(ｒ)，Ｆｃ(ｒ)のフーリエ変換をｆｒ(ｋ)，ｆｃ(ｋ)として、式（１０），（１１）により表現される。
ここで、ξ(k,β,Δr)は実数の多項式である。これらに対して複素数の絶対値をとると復元画像が得られるが、ｆｒ(ｋ)の場合（従来技術の場合）、第１項と第２項は原点に対称な２点を生じてしまうため、点対称に重なった復元画像となってしまう。これに対してｆｃ(ｋ)の場合（第１の実施形態の場合）、このような問題は起こらず正常に画像が再構成される。両者に共通しているのが、ｆｒ(ｒ)の第３項とｆｃ(ｒ)の第２項はノイズとして作用する点であり、この項のせいで変調伝達関数（ＭＴＦ：Modulation Transfer Function）は１００％とはなり得ない、これはセンサによるノイズが存在しなくともＭＴＦが１００％とならないことを意味する。ただし、このノイズはβの値を大きくすると小さくなるため、βの値を大きくする（細かいパターンにする）ことによって影響を軽減させることは可能である。
ｆｃ(ｋ)（第１の実施形態の場合）の第１項について、位相は光の入射角に依存して回転してしまうが、これに対して複素数の絶対値をとると、無限遠光の到来に対応してデルタ関数（点）に結像することが確認できる。入射光の角度スペクトルから結像画像までの演算は全て線形であるため、重ね合わせが成り立ち、これによって画像の結像が説明できる。
なお、２次元の場合について計算すると、周辺光量は（cosγ）の４乗となり、ディストーションは２×β×d×tanγとなる。γは半画角を表す。
＜第１の実施形態の効果＞
以上説明したように、第１の実施形態に係る撮像装置１０によれば、符号化開口によるリフォーカス機能を有し画角を変更することができる。
＜その他の態様＞
上述した第１の実施形態では投影像に対し第１，第２のフレネルゾーンパターンを乗算して複素画像を生成し、この複素画像を複素フーリエ変換して空間領域の画像を再構成しているが、本発明の撮像装置における画像の再構成は複素画像を用いる態様に限定されるものではない。式（６），（８），（１０）等について上述したように、投影像に対しＭｒ(ｒ)のような実数関数を乗算して乗算画像を求め、この乗算画像をフーリエ変換して画像を再構成してもよい。なお、この場合復元画像において被写体像の重なりが生じるが、再構成した画像を半分に切り出して表示する等により対応することができる。また、実数関数を乗算する場合においても、合焦させる被写体距離に応じて拡大率が異なるフレネルゾーンパターンを使用することにより、所望の距離に合焦した画像を得ることができる。
以上で本発明の実施形態に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０ 撮像装置
１００、１０２ レンズ装置
１２０ メモリ
１３０ レンズ側マウント
１３２ レンズ側端子
２００ 撮像装置本体
２１０、ＦＺＰ１、ＦＺＰ２ フレネルゾーンプレート
２２０ 撮像素子
２２０Ａ 撮像面
２３０ 画像処理部
２３０Ａ 投影像入力部
２３０Ｂ 乗算画像生成部
２３０Ｃ フーリエ変換部
２３０Ｄ 収差補正部
２３０Ｅ 情報取得部
２３０Ｆ 表示制御部
２３０Ｇ ＲＯＭ
２４０ 記憶部
２４０Ａ レンズ情報
２４０Ｂ 投影像
２４０Ｃ フレネルゾーンプレート情報
２４０Ｄ フレネルゾーンパターン情報
２４０Ｅ 乗算画像
２４０Ｆ 再構成画像
２５０ 表示部
２６０ 操作部
２７０ 本体側マウント
２７２ 本体側端子
３００、３０２、３０４、３０６、３０８、４００、４０２、４０４、４０６、４０８、 レンズ
３１０ 前群
３２０ 後群
Ｂ１、Ｂ３ 軸上光束
Ｂ２、Ｂ４ 光束
Ｆｒ 乗算後画像
Ｉ パターン
Ｉ１、Ｉ２ 理想レンズ
Ｌ 光軸
Ｌ１、Ｌ２ 主光線
Ｍｒ 実数関数
Ｐ１、Ｐ２ 平面
Ｓ１００〜Ｓ１４０ 再構成処理の各ステップ
γ 半画角
θ 入射角

Claims (12)

  1. 符号化開口と、被写体の投影像を示す信号を出力する撮像素子と、前記信号に基づいて空間領域の画像を再構成する画像復元部と、を有する撮像装置本体と、
    前記撮像装置本体に対し前記符号化開口よりも被写体側に取り付けられるレンズであって、前記レンズが前記撮像装置本体に取り付けられた状態での撮影画角を前記レンズが前記撮像装置本体に取り付けられていない状態での撮影画角に対して変化させるレンズと、
    を備え、
    前記被写体からの光が前記レンズ及び前記符号化開口を透過して前記撮像素子に前記投影像が形成される撮像装置。
  2. 前記レンズは、前記レンズが前記撮像装置本体に取り付けられた状態での周辺光量を前記レンズが前記撮像装置本体に取り付けられていない状態での周辺光量よりも低下させないレンズである請求項１に記載の撮像装置。
  3. 前記レンズは、前記レンズが前記撮像装置本体に取り付けられた状態での撮影画角を前記レンズが前記撮像装置本体に取り付けられていない状態での撮影画角よりも広くするレンズである請求項１または２に記載の撮像装置。
  4. 前記レンズは、前記レンズが前記撮像装置本体に取り付けられた状態での撮影画角を前記レンズが前記撮像装置本体に取り付けられていない状態での撮影画角よりも狭くするレンズである請求項１に記載の撮像装置。
  5. 前記レンズは前記撮像装置本体に対し取り付け及び取り外しされる交換レンズである請求項１から４のいずれか１項に記載の撮像装置。
  6. 前記撮像装置本体は、前記符号化開口よりも被写体側にレンズが取り付けられるレンズ取付部を有する請求項１から５のいずれか１項に記載の撮像装置。
  7. 前記画像復元部は、前記空間領域の画像において前記レンズに起因する収差を補正する請求項１から６のいずれか１項に記載の撮像装置。
  8. 前記レンズの情報を取得するレンズ情報取得部を備え、
    前記画像復元部は前記取得した情報に基づいて前記収差を補正する請求項７に記載の撮像装置。
  9. 前記符号化開口はフレネルゾーンプレートであり、
    前記画像復元部は、前記フレネルゾーンプレートにより前記撮像素子に形成される投影像に対し前記フレネルゾーンプレートに対応したフレネルゾーンパターンを乗算して乗算画像を生成し、前記乗算画像をフーリエ変換して前記空間領域の画像を再構成する請求項１から８のいずれか１項に記載の撮像装置。
  10. 前記フレネルゾーンパターンは第１のフレネルゾーンパターンと、前記第１のフレネルゾーンパターンとは各領域における局所的な空間周波数が同一であり、かつ前記局所的な空間周波数の位相が異なる第２のフレネルゾーンパターンと、を含み、
    前記画像復元部は前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンを前記投影像にそれぞれ乗算して、前記乗算画像として実部の画像と虚部の画像とからなる複素画像を生成し、前記複素画像を２次元複素フーリエ変換して前記空間領域の画像を再構成する請求項９に記載の撮像装置。
  11. 前記画像復元部は、合焦させる被写体距離に応じて拡大率の異なる前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンを使用して前記複素画像を生成する請求項１０に記載の撮像装置。
  12. 符号化開口と、被写体からの光が前記符号化開口を透過することにより投影された前記被写体の投影像を示す信号を出力する撮像素子と、前記信号に基づいて空間領域の画像を再構成する画像復元部と、を有する撮像装置本体であって、
    前記撮像装置本体は、前記符号化開口よりも被写体側にレンズが取り付けられるレンズ取付部と、前記レンズのレンズ情報を取得するレンズ情報取得部とを有し、
    前記画像復元部は、前記空間領域の画像において前記レンズに起因する収差を補正する撮像装置本体。
JP2019561575A 2017-12-26 2018-12-19 撮像装置 Active JP6934072B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017249069 2017-12-26
JP2017249069 2017-12-26
PCT/JP2018/046789 WO2019131382A1 (ja) 2017-12-26 2018-12-19 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2019131382A1 true JPWO2019131382A1 (ja) 2021-01-07
JP6934072B2 JP6934072B2 (ja) 2021-09-08

Family

ID=67063581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019561575A Active JP6934072B2 (ja) 2017-12-26 2018-12-19 撮像装置

Country Status (4)

Country Link
US (1) US11288780B2 (ja)
JP (1) JP6934072B2 (ja)
CN (1) CN111527737B (ja)
WO (1) WO2019131382A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7363765B2 (ja) * 2018-03-06 2023-10-18 ソニーグループ株式会社 画像処理装置、および撮像装置、並びに画像処理方法
DE102020215960A1 (de) * 2020-01-31 2021-08-05 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Anordnung zum Ermitteln einer Position eines Objekts
CN113504623A (zh) * 2021-07-14 2021-10-15 Oppo广东移动通信有限公司 光学镜头及其制备方法、摄像头模组、电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070139777A1 (en) * 2005-12-21 2007-06-21 Intel Corporation Reconfigurable zone plate lens
JP2008191661A (ja) * 2007-02-06 2008-08-21 Mitsubishi Electric Research Laboratories Inc シーンの４ｄライトフィールドを取得する装置及び方法
US20110037832A1 (en) * 2009-08-11 2011-02-17 California Institute Of Technology Defocusing Feature Matching System to Measure Camera Pose with Interchangeable Lens Cameras
JP2013093754A (ja) * 2011-10-26 2013-05-16 Olympus Corp 撮像装置
JP2014131109A (ja) * 2012-12-28 2014-07-10 Canon Inc 撮像装置
JP2014197002A (ja) * 2014-04-15 2014-10-16 セルオプティック、インコーポレイテッドＣｅｌｌｏｐｔｉｃ， Ｉｎｃ． 受信電磁放射線から物体の３次元情報を抽出するシステム、装置および方法
JP2015133594A (ja) * 2014-01-10 2015-07-23 株式会社リコー 撮像モジュール及び撮像装置
JP2016165070A (ja) * 2015-03-06 2016-09-08 国立大学法人 鹿児島大学 撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法
WO2017149687A1 (ja) * 2016-03-02 2017-09-08 株式会社日立製作所 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100220674B1 (ko) 1994-01-18 1999-09-15 전주범 투사형 화상표시장치
WO1997045755A1 (en) * 1996-05-31 1997-12-04 Massachusetts Institute Of Technology Coded aperture imaging
KR100871097B1 (ko) * 2007-01-08 2008-11-28 김태근 결맞음 주파수영역 반사파 계측법에 기초한 광영상 시스템
US8243353B1 (en) * 2008-04-07 2012-08-14 Applied Science Innovations, Inc. Holography-based device, system and method for coded aperture imaging
JP2010087857A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 撮像装置、撮像方法、およびプログラム
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
US8304737B2 (en) * 2009-10-02 2012-11-06 Ut-Battelle, Llc Apparatus and method to achieve high-resolution microscopy with non-diffracting or refracting radiation
CN101799590B (zh) * 2010-03-31 2011-12-07 深圳大学 一种数字菲涅耳消除相位型空间光调制器黑栅效应的方法和装置
JP2012095167A (ja) * 2010-10-28 2012-05-17 Panasonic Corp 撮像装置
JP6528933B2 (ja) * 2014-12-26 2019-06-12 株式会社ニデック 眼底撮影装置
US10423002B2 (en) 2015-06-17 2019-09-24 Maxell, Ltd. Imaging apparatus capable of generating an image using moire without a lens
CN204993599U (zh) * 2015-09-29 2016-01-20 北京伊神华虹系统工程技术有限公司 一种反射式全景摄像机
CN105929560B (zh) * 2016-07-04 2018-11-09 中国科学院光电技术研究所 一种宽带远场超分辨成像装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070139777A1 (en) * 2005-12-21 2007-06-21 Intel Corporation Reconfigurable zone plate lens
JP2008191661A (ja) * 2007-02-06 2008-08-21 Mitsubishi Electric Research Laboratories Inc シーンの４ｄライトフィールドを取得する装置及び方法
US20110037832A1 (en) * 2009-08-11 2011-02-17 California Institute Of Technology Defocusing Feature Matching System to Measure Camera Pose with Interchangeable Lens Cameras
JP2013093754A (ja) * 2011-10-26 2013-05-16 Olympus Corp 撮像装置
JP2014131109A (ja) * 2012-12-28 2014-07-10 Canon Inc 撮像装置
JP2015133594A (ja) * 2014-01-10 2015-07-23 株式会社リコー 撮像モジュール及び撮像装置
JP2014197002A (ja) * 2014-04-15 2014-10-16 セルオプティック、インコーポレイテッドＣｅｌｌｏｐｔｉｃ， Ｉｎｃ． 受信電磁放射線から物体の３次元情報を抽出するシステム、装置および方法
JP2016165070A (ja) * 2015-03-06 2016-09-08 国立大学法人 鹿児島大学 撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法
WO2017149687A1 (ja) * 2016-03-02 2017-09-08 株式会社日立製作所 撮像装置

Also Published As

Publication number Publication date
CN111527737A (zh) 2020-08-11
US20200294210A1 (en) 2020-09-17
WO2019131382A1 (ja) 2019-07-04
JP6934072B2 (ja) 2021-09-08
CN111527737B (zh) 2022-03-25
US11288780B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
US11290642B2 (en) Image processing apparatus and image processing method that generate a complex image based on a Fresnel Zone pattern
JP6773903B2 (ja) 画像処理装置、撮像システム、画像処理方法、及び記録媒体
US9142582B2 (en) Imaging device and imaging system
KR101021607B1 (ko) 향상된 이미지 품질을 갖는 이미지 시스템 및 그와 관련된 방법
US11288780B2 (en) Imaging apparatus
JP2008511859A (ja) 球面収差範囲が制御され中央を掩蔽した絞りを有する多焦点距離レンズを使用した拡張焦点深度
US9473700B2 (en) Camera systems and methods for gigapixel computational imaging
WO2012127552A1 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2015004883A (ja) 結像光学系および撮像システムおよび撮像方法
Fontbonne et al. Experimental validation of hybrid optical–digital imaging system for extended depth-of-field based on co-optimized binary phase masks
US10062150B2 (en) Image processing apparatus, image capturing apparatus, and storage medium
JP2021043230A (ja) ワイドコンバージョンレンズ及び撮像装置
Oberdörster et al. Digital focusing and refocusing with thin multi-aperture cameras
Shroff et al. Wave analysis of a plenoptic system and its applications
JP4995359B1 (ja) 画像処理装置、撮像装置及び画像処理方法
Laskin et al. Multi-focus camera optics with 5˟ extending the depth of field
Scrymgeour et al. Advanced Imaging Optics Utilizing Wavefront Coding.
Xu 4D Light Field Reconstruction and Scene Depth Estimation from Plenoptic Camera Raw Images

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20200605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210820

R150 Certificate of patent or registration of utility model

Ref document number: 6934072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250