WO2021024452A1 - 撮像装置および方法 - Google Patents
撮像装置および方法 Download PDFInfo
- Publication number
- WO2021024452A1 WO2021024452A1 PCT/JP2019/031352 JP2019031352W WO2021024452A1 WO 2021024452 A1 WO2021024452 A1 WO 2021024452A1 JP 2019031352 W JP2019031352 W JP 2019031352W WO 2021024452 A1 WO2021024452 A1 WO 2021024452A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- sensor
- image sensor
- pattern
- imaging device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/18—Diffraction gratings
- G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/18—Diffraction gratings
- G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
- G02B5/188—Plurality of such optical elements formed in or on a supporting substrate
- G02B5/1885—Arranged as a periodic array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Abstract
レンズレス撮像装置に関して、撮像に適した画像センサの特性や構造等を提供する。撮像装置は、撮影用パターンに基づいて光の強度を変調する変調器と、変調後の光に基づいてセンサ画像を生成する画像センサと、画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、を備える。撮像装置は、画像センサの面内において、複数の画素の各画素の受光部の中心位置と、複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有する。この特性は、隣接する各画素間でのずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも1つ以上持つ特性である。
Description
本発明は、撮像装置の技術に関する。
撮像装置に関する先行技術例として、国際公開第2017/149687号(特許文献1)がある。特許文献1には、「格子基板を透過する光線の入射角度の検出を容易化することにより、撮像装置の高機能化が可能な撮像装置を得る。撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調器と、前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、を具備し、前記変調器は、複数の同心円から構成される第1の格子パターンを有し、前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の同心円から構成される仮想的な第2の格子パターンで変調することでモアレ縞画像を生成し、フォーカス位置に応じて前記第2の格子パターンの同心円の大きさを変更することを特徴とする撮像装置で解決できる。」(要約)と記載されている。
先行技術例のように、カメラを含む撮像装置として、レンズを使用しないレンズレスカメラを含むレンズレス撮像装置が提案されており、小型・低コストを実現できる撮像装置として期待されている。また、撮像装置のネットワーク接続は、画像解析等の撮像装置の適用範囲拡大に必須となってきている。
しかしながら、先行技術例のレンズレス撮像装置は、撮像に適した画像センサの特性に関して検討の余地がある。特許文献1では、レンズレス撮像装置で撮像する際の好適な画像センサの特性については述べられていない。
本発明の目的は、レンズレス撮像装置の技術に関して、撮像に適した画像センサの特性や構造および処理方法等の技術を提供することである。
本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の撮像装置は、撮影用パターンに基づいて、入射される光の強度を変調する変調器と、前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、を備え、前記画像センサの面内において、前記複数の画素の各画素における受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有し、前記特性は、隣接する前記各画素間での前記ずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも1つ以上持つ特性である。
本発明のうち代表的な実施の形態によれば、レンズレス撮像装置に関して、撮像に適した画像センサの特性や構造および処理方法等を提供できる。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。以下、必要に応じて、複数のセクションや実施の形態に分けて説明する。それらは互いに変形例、詳細、補足説明等の関係を持つ。また、以下、構成要素の数、量、範囲、寸法、形状、位置関係等に言及する場合、特定の数等には限定されない。構成要素の形状等は、近似または類似の形状等を含む。
(実施の形態1)
図1~図33等を用いて、本発明の実施の形態1の撮像装置および撮像方法について説明する。実施の形態1の撮像方法は、実施の形態1の撮像装置で実行されるステップを有する方法である。実施の形態1の撮像装置は、実施の形態1の撮像方法を実装した撮像装置である。
図1~図33等を用いて、本発明の実施の形態1の撮像装置および撮像方法について説明する。実施の形態1の撮像方法は、実施の形態1の撮像装置で実行されるステップを有する方法である。実施の形態1の撮像装置は、実施の形態1の撮像方法を実装した撮像装置である。
<無限遠物体の撮像原理>
以下では、主に無限遠物体の撮像原理等について説明する。
以下では、主に無限遠物体の撮像原理等について説明する。
[撮像装置]
図1は、実施の形態1の撮像装置の構成例を示す。図1の撮像装置1は、結像させるレンズを用いることなく、外界の物体の画像を取得するレンズレスカメラである。撮像装置1は、撮像部102、フリンジスキャン処理部106、画像処理部107、およびコントローラ108を有する。撮像部102は、画像センサ103、マイクロレンズアレイ140、および変調器110を有する。変調器110は、パターン基板104および撮影用パターン105を有する。画像センサ103は、光を電気信号に変換し、センサ画像を生成するデバイスである。変調器110は、パターン基板104と撮影用パターン105とを合わせた部分であり、撮影用パターン105に基づいて、画像センサ103に入射され検出される光の強度を変調するデバイスである。
図1は、実施の形態1の撮像装置の構成例を示す。図1の撮像装置1は、結像させるレンズを用いることなく、外界の物体の画像を取得するレンズレスカメラである。撮像装置1は、撮像部102、フリンジスキャン処理部106、画像処理部107、およびコントローラ108を有する。撮像部102は、画像センサ103、マイクロレンズアレイ140、および変調器110を有する。変調器110は、パターン基板104および撮影用パターン105を有する。画像センサ103は、光を電気信号に変換し、センサ画像を生成するデバイスである。変調器110は、パターン基板104と撮影用パターン105とを合わせた部分であり、撮影用パターン105に基づいて、画像センサ103に入射され検出される光の強度を変調するデバイスである。
図2は、撮像部102の構成例における構成要素の分解図を示す。なお、説明上の方向として、x軸方向,y軸方向,z軸方向を用いる。x軸方向およびy軸方向は、画像センサ103等の主面を構成する直交する2つの方向であり、z軸方向は、その主面に対して垂直な、光軸や厚さ等に対応する方向であり、図示での上下方向である。画像センサ103の受光面(図示の上側の面)には、複数の画素30がアレイとして配列されている。画像センサ103の受光面の上側には、後述のマイクロレンズアレイ140が配置されている。画像センサ103の受光面の上側には、マイクロレンズアレイ140を介して、パターン基板104が配置されている。パターン基板104は、例えばマイクロレンズアレイ140に密着して固定されるが、それに限らず、間隔を置いて配置されてもよい。
パターン基板104は、図示の上側の面に、撮影用パターン105が形成されている。パターン基板104は、例えばガラスやプラスティック等の可視光に対して透明な材料から構成される。撮影用パターン105は、例えば半導体プロセスに用いられるスパッタリング法等を用いてアルミニウムやクロム等の金属を蒸着することによって形成されてもよい。撮影用パターン105は、例えばアルミニウムが蒸着されたパターンと蒸着されていないパターンとによって、透過率変調のための濃淡がつけられる。なお、撮影用パターン105の形成の方式や手段は、これに限定されず、例えばインクジェットプリンタによる印刷等によって濃淡をつける方式等、透過率変調を実現できる手段であればよい。また、ここでは、可視光を例に説明するが、これに限らず、パターン基板104は、撮影対象となる波長に対して透過性を持つ材料を用い、撮影用パターン105は、透過および遮断が可能な材料を用いればよい。例えば、遠赤外線の撮影を行う撮像装置1とする場合、パターン基板104は、例えばゲルマニウム、シリコン、カルコゲナイド等の遠赤外線に対して透過性を持つ材料を用い、撮影用パターン105は、遠赤外線に対して透過および遮断が可能な材料を用いればよい。なお、ここでは、撮影用パターン105をパターン基板104に形成する方式の場合を述べたが、これに限らず、表示素子を用いる等、他の方式としてもよい。
図3は、変形例として、他の方式における撮像部102の構成を示す。図3の撮像部102は、撮影用パターン105が薄膜に形成されており、この撮影用パターン105が、支持部材301によって、画像センサ103等に対し保持される構成である。
なお、図1および図2の方式の撮像装置1では、撮影画角は、パターン基板104の厚さによって変更可能である。よって、例えばパターン基板104が、図3の構成を有し、支持部材301の図示のz軸方向での長さを変更可能な機能を有する構成とすれば、撮影時に画角を変更できる機能が実現できる。
図2で、画像センサ103の図示の上側の表面には、受光素子である画素30が、例えば格子状に規則的に配置されている。この画像センサ103は、画素30が受光した光画像を、電気信号である画像信号に変換する。画像センサ103から出力された画像信号は、図1のように、フリンジスキャン処理部106を経由して、画像処理部107によって画像処理され、コントローラ108を経由して出力される。
上記撮像装置1の構成において、撮影する場合に、撮影用パターン105を透過する光は、撮影用パターン105によって光強度が変調される。変調器110を透過した変調後の光は、マイクロレンズアレイ140を透過して画像センサ103にて受光される。画像センサ103から出力された画像信号は、フリンジスキャン処理部106によってノイズキャンセルされる。ノイズキャンセル後の信号は、画像処理部107によって画像処理されて像が復元される。画像処理後の画像データは、コントローラ108に対して出力される。コントローラ108は、画像処理部107の出力の画像データを、ホストコンピュータや外部記録媒体等に出力する場合には、USB等のインターフェイスに適合するようにデータ形式を変換して出力する。なお、撮像装置1内のメモリに画像信号や画像データ等を記憶してもよい。
[撮影原理]
続いて、撮像装置1における撮影原理について説明する。まず、撮影用パターン105は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンである。撮影用パターン105は、同心円の中心である基準座標からの半径r、係数βを用いて、下記の式1で定義する。撮影用パターン105は、式1のI(r)に比例して透過率変調されているものとする。
続いて、撮像装置1における撮影原理について説明する。まず、撮影用パターン105は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンである。撮影用パターン105は、同心円の中心である基準座標からの半径r、係数βを用いて、下記の式1で定義する。撮影用パターン105は、式1のI(r)に比例して透過率変調されているものとする。
このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図4は、撮影用パターン105の構成例として、式1のガボールゾーンプレートの例を示す。このガボールゾーンプレートは、多値の濃淡を持つ透過率変調パターンである。図5は、撮影用パターン105の他の構成例として、式1を閾値1で2値化した、フレネルゾーンプレートの例を示す。このフレネルゾーンプレートは、2値の濃淡を持つ透過率変調パターンである。白部分は透過、黒部分は非透過に対応付けられる。撮影用パターン105に対応して存在する現像用パターンも、同様に模様を持つ。なお、以降では簡単化のために、主に図2のx軸方向についてのみ数式で説明するが、同様にy軸方向について考慮することで、2次元に展開して考えることができる。
図6は、パターン基板104に関する説明図である。図6を用いて、斜め入射平行光によるパターン基板104の表面の撮影用パターン105から画像センサ103への射影像が面内ずれを生じることについて説明する。図6のように、撮影用パターン105が形成された厚さdを持つパターン基板104に、x軸方向に角度θ0で平行光が入射したとする。パターン基板104中の屈折角をθとして、幾何光学的には、パターン基板104の表面の撮影用パターン105の模様の透過率が乗じられた光が、図示のk=d・tanθの量に対応する分だけ屈折して、画像センサ103に入射する。このとき、下記の式2のような強度分布を持つ投影像が、画像センサ103上で検出される。なお、式2のΦは、式1の透過率分布の初期位相を示す。
図7は、この撮影用パターン105の投影像701の例を示す。この投影像701は、式2のように、kシフト(=シフト量kでのシフト)して投影される。この投影像701が、撮像部102の出力となる。
図8は、現像用パターン801を示す。図8の現像用パターン801は、図5の撮影用パターン105に対応した例である。画像処理部107は、このような現像用パターン801を用いて現像処理を行う。
[現像処理(1)]
次に、画像処理部107における処理に関して、相関現像方式とモアレ現像方式による現像処理について説明する。相関現像方式による現像処理と、モアレ現像方式による現像処理とは、いずれを用いてもよい。また、両方の方式を実装し、必要に応じて方式を切り替えて使用できる形態としてもよい。
次に、画像処理部107における処理に関して、相関現像方式とモアレ現像方式による現像処理について説明する。相関現像方式による現像処理と、モアレ現像方式による現像処理とは、いずれを用いてもよい。また、両方の方式を実装し、必要に応じて方式を切り替えて使用できる形態としてもよい。
相関現像方式では、画像処理部107は、図7の撮影用パターン105の投影像701と図8の現像用パターン801との相互相関関数を演算する。これにより、図9のようなシフト量kの輝点902が得られる。図9は、相関現像方式による現像画像901の構成例を示す。
なお、一般的に相互相関演算を2次元畳込演算で行う場合には演算量が大きくなることから、フーリエ変換を用いて演算を行う例について、数式を用いて原理を説明する。まず、図8の現像用パターン801は、撮影用パターン105と同様に、ガボールゾーンプレートやフレネルゾーンプレートを用いる。そのため、現像用パターン801は、初期位相Φを用いて、下記の式3で表せる。
現像用パターン801は、画像処理内で使用されるため、式1のように、1でオフセットさせる必要は無く、負の値を有していても問題無い。式1および式3のフーリエ変換は、それぞれ、下記の式4および式5のようになる。
ここで、Fはフーリエ変換の演算を表し、uはx軸方向の周波数座標を表し、括弧を伴うδはデルタ関数である。これらの式で重要なことは、フーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、撮像装置1は、上記式に基づいて、フーリエ変換後の現像用パターンを直接的に生成し保存しておいて利用してもよい。これにより、演算量を低減可能である。次に、式4および式5を乗算すると、下記の式6となる。
この輝点が無限遠の光束を示しており、図1の撮像装置1による撮影像に相当する。なお、相関現像方式では、パターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。
[現像処理(2)]
次に、モアレ現像方式の場合、画像処理部107は、図7の撮影用パターン105の投影像701と図8の現像用パターン801とを乗算することにより、図10のようなモアレ縞1000を生成する。そして、画像処理部107は、このモアレ縞1000をフーリエ変換することにより、図11の現像画像1101におけるシフト量kβ/πの輝点1102,1103を得る。輝点1102は-kβ/πの輝点、輝点1103は+kβ/πの輝点である。このモアレ縞を数式で示すと、下記の式8となる。
次に、モアレ現像方式の場合、画像処理部107は、図7の撮影用パターン105の投影像701と図8の現像用パターン801とを乗算することにより、図10のようなモアレ縞1000を生成する。そして、画像処理部107は、このモアレ縞1000をフーリエ変換することにより、図11の現像画像1101におけるシフト量kβ/πの輝点1102,1103を得る。輝点1102は-kβ/πの輝点、輝点1103は+kβ/πの輝点である。このモアレ縞を数式で示すと、下記の式8となる。
式8の展開式の第3項が信号成分である。この信号成分が、図10のモアレ縞1000のような縞模様を、2つのパターンが重なり合った領域一面に作ることがわかる。図10のモアレ縞1000では、2つのパターンのずれの方向(x軸方向)に等間隔(間隔1001)で、その方向に対し直交する方向(y軸方向)にまっすぐな縞模様が作られている。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞は、モアレ縞と呼ばれる。実施の形態1の例では、撮影用パターン501と現像用パターン801との重ね合わせによってモアレ縞が生じる。式8の第3項の2次元フーリエ変換は、下記の式9のようになる。
ここで、Fはフーリエ変換の演算を表し、uはx軸方向の周波数座標を表し、括弧を伴うδはデルタ関数である。この結果から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークが、u=±kβ/πの位置に生じることがわかる。このピークに対応する輝点が、無限遠の光束を示しており、図1の撮像装置1による撮影像に相当する。
なお、モアレ現像方式では、パターンのシフトによって得られるモアレ縞が単一の周波数を有するものであればよく、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えば楕円状のパターンで実現してもよい。
<ノイズキャンセル>
以下、フリンジスキャンに基づいたノイズキャンセル等について説明する。
以下、フリンジスキャンに基づいたノイズキャンセル等について説明する。
[フリンジスキャン処理]
上記式6から式7への変換、および式8から式9への変換において、信号成分に着目して説明したが、実際には信号成分以外の項が現像を阻害する。そこで、撮像装置1のフリンジスキャン処理部106は、フリンジスキャンに基づいたノイズキャンセルを行う。フリンジスキャンのためには、撮影用パターン105として、初期位相Φの異なる複数のパターンを使用する必要がある。
上記式6から式7への変換、および式8から式9への変換において、信号成分に着目して説明したが、実際には信号成分以外の項が現像を阻害する。そこで、撮像装置1のフリンジスキャン処理部106は、フリンジスキャンに基づいたノイズキャンセルを行う。フリンジスキャンのためには、撮影用パターン105として、初期位相Φの異なる複数のパターンを使用する必要がある。
図12は、フリンジスキャンにおける撮影用パターン105として、初期位相Φの異なる複数のパターンの組合せの構成例を示す。図12の(a)~(d)は、Φ=0,π/2,π,3π/2となる4位相のパターン1201~1204を示す。ここでは、フリンジスキャン処理部106は、それらの4位相を用いて撮影したセンサ画像を、以下の式10に従って演算する。すると、複素数のセンサ画像(複素センサ画像と記載する場合がある)が得られる。
モアレ現像方式の場合、式10と式11を乗算すると、下記の式12となる。式12の指数関数で表された項exp(2iβkx)が信号成分である。この信号成分から、式8のような不要な項が発生せず、ノイズキャンセルされていることがわかる。
次に、式13および14を乗算すると、下記の式15となる。式15の指数関数で表された項exp(-iku)が信号成分である。この信号成分から、式8のような不要な項が発生せず、ノイズキャンセルされていることがわかる。
なお、以上の例では、4位相の複数のパターンを使用して説明したが、初期位相Φは、0~2πの間の角度を等分するように設定すればよく、上記4位相に限定されない。
以上の複数のパターンによる撮影を実現するための方式としては、大別すると、時分割でパターンを切り替える方式と、空間分割でパターンを切り替える方式とが挙げられる。時分割でパターンを切り替える方式と、空間分割でパターンを切り替える方式とのいずれを適用してもよいし、両方の方式を実装して選択した方式を使用できる形態としてもよい。
上記時分割でパターンを切り替える方式に対応した時分割フリンジスキャンを実現するには、例えば、図12の複数の初期位相を電気的に切り替えて表示可能な液晶表示素子等の表示素子を、図1の撮影用パターン105として使用すればよい。例えば、図1のフリンジスキャン処理部106は、この撮影用パターン105である液晶表示素子の切り替えタイミングと、画像センサ103のシャッタタイミングとを同期して制御する。これにより、撮像装置1は、画像センサ103から対応する4枚の画像を取得した後に、フリンジスキャン処理部106においてフリンジスキャン演算を実行する。
これに対し、上記空間分割でパターンを切り替える方式に対応した空間分割フリンジスキャンを実現するには、例えば、図13に示すように、撮影用パターン105として、空間分割で複数の初期位相を有する撮影用パターン1300を使用する。図13の撮影用パターン1300は、矩形領域全体をx軸方向およびy軸方向を合わせて4分割した領域1301~1304において、上記4位相のパターンを有する。
撮像装置1は、画像センサ103から1枚の画像を取得した後、その画像を、フリンジスキャン処理部106において、それぞれの初期位相のパターンに対応して4枚に分割し、フリンジスキャン演算を実行する。
[フリンジスキャン演算]
続いて、フリンジスキャン処理部106でのフリンジスキャン演算について説明する。図14は、フリンジスキャン処理部106のフリンジスキャン演算を含む処理概略を示すフロー図である。図14は、ステップS1~S7を有し、以下、ステップの順に説明する。まず、ステップS1で、フリンジスキャン処理部106は、画像センサ103から出力される複数のパターンによるセンサ画像を取得する。この際、フリンジスキャン処理部106は、空間分割フリンジスキャンを使用する場合には、そのセンサ画像を分割し、時分割フリンジスキャンを使用する場合には、このステップS1の分割を行わない。
続いて、フリンジスキャン処理部106でのフリンジスキャン演算について説明する。図14は、フリンジスキャン処理部106のフリンジスキャン演算を含む処理概略を示すフロー図である。図14は、ステップS1~S7を有し、以下、ステップの順に説明する。まず、ステップS1で、フリンジスキャン処理部106は、画像センサ103から出力される複数のパターンによるセンサ画像を取得する。この際、フリンジスキャン処理部106は、空間分割フリンジスキャンを使用する場合には、そのセンサ画像を分割し、時分割フリンジスキャンを使用する場合には、このステップS1の分割を行わない。
次に、ステップS2で、フリンジスキャン処理部106は、出力用の複素センサ画像を初期化する。ステップS3で、フリンジスキャン処理部106は、ループにおける1つ目の初期位相Φのセンサ画像を取得し、ステップS4で、そのセンサ画像に、その初期位相Φに応じた指数関数であるexp(iΦ)を乗算し、ステップS5で、乗算結果を出力用の複素センサ画像に加算する。
フリンジスキャン処理部106は、ステップS6で、使用する全初期位相Φについて処理を終了したかを確認し、ステップS3からステップS5までの処理を、使用する初期位相Φの数だけ同様に繰り返す。例えば、図12や図13の4位相を用いたフリンジスキャンでは、初期位相Φ=0,π/2,π,3π/2に対応して4回の処理が繰り返される。
最後に、ステップS7で、フリンジスキャン処理部106は、処理後の複素センサ画像を出力する。以上のフリンジスキャン処理部106での主な処理は、前述の式10に相当する。
[画像処理]
次に、画像処理部107での画像処理について説明する。図15は、画像処理部107において相関現像方式を使用した場合の処理概略を示すフロー図である。図15はステップS21~S26を有する。まず、ステップS21で、画像処理部107は、フリンジスキャン処理部106から出力される複素センサ画像を取得し、その複素センサ画像に2次元高速フーリエ変換(FFT:Fast Fourier Transform)演算を実行する。
次に、画像処理部107での画像処理について説明する。図15は、画像処理部107において相関現像方式を使用した場合の処理概略を示すフロー図である。図15はステップS21~S26を有する。まず、ステップS21で、画像処理部107は、フリンジスキャン処理部106から出力される複素センサ画像を取得し、その複素センサ画像に2次元高速フーリエ変換(FFT:Fast Fourier Transform)演算を実行する。
次に、ステップS22で、画像処理部107は、現像処理に使用する現像用パターン801を生成する。あるいは、画像処理部107は、予めメモリ等に設定および記憶されている現像用パターン801を参照してもよい。そして、画像処理部107は、2次元FFT演算後の複素センサ画像にその現像用パターン801を乗算する。ステップS24で、画像処理部107は、その乗算後の画像に、逆2次元FFT演算を行う。
この演算結果は複素数となる。そのため、ステップS24で、画像処理部107は、その演算結果の複素数に対し、実数化処理を行う。実数化処理は、絶対値化する処理、または、実部を取り出す処理である。複素数をC=A+Biで表すと、絶対値化する処理は、|A+Bi|=√(A2+B2)で表せる。実部を取り出す処理は、Re[A+Bi]=Aで表せる。これにより、画像処理部107は、撮影対象の像を実数化して現像する。
その後、画像処理部107は、得られた画像に対し、ステップS15でコントラスト強調処理を行い、ステップS26でカラーバランス調整等を行う。画像処理部107は、それらの処理結果のデータを撮影画像として出力する。以上で画像処理部107の画像処理が終了となり、ユーザが視認できる撮影画像が得られる。
上記に対し、図16は、モアレ現像方式を使用した場合の処理概略を示す。図16は、ステップS31~S36を有する。まず、ステップS31で、画像処理部107は、フリンジスキャン処理部106から出力される複素センサ画像を取得し、現像処理に使用する現像用パターン801を生成し、その複素センサ画像に乗算する。ステップS32で、画像処理部107は、その乗算後の画像に対し、2次元FFT演算により周波数スペクトルを求め、ステップS33で、この周波数スペクトルのうち必要な周波数領域のデータを切り出す。以降のステップS34~36の処理は、図15のステップS24~S26の処理と同様である。
なお、撮像装置1は、可視光による画像を撮像するカメラに限らず、同様の原理に基づいて、赤外線等の周波数帯域を対象として撮像する装置や、被写体との距離画像(3次元での奥行き方向の距離情報を持つ画像)を撮像する装置(距離画像センサ等と呼ばれる場合がある)とすることも可能である。
<有限距離物体の撮影原理>
以下では、主に有限距離物体の撮像原理等について説明する。
以下では、主に有限距離物体の撮像原理等について説明する。
[無限遠物体の撮像と有限距離物体の撮像]
次に、図17には、これまで述べた被写体が遠い場合(言い換えると無限遠物体の場合)における撮影用パターン105の画像センサ103への射影の様子を示す。遠方の物体を構成する点1701からの球面波は、十分に長い距離を伝搬する間に平面波となり、撮影用パターン105を照射する。その照射による投影像1702が画像センサ103に投影される場合、投影像は、撮影用パターン105とほぼ同じ形状を持つ。結果、投影像1702に対して、前述の現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。
次に、図17には、これまで述べた被写体が遠い場合(言い換えると無限遠物体の場合)における撮影用パターン105の画像センサ103への射影の様子を示す。遠方の物体を構成する点1701からの球面波は、十分に長い距離を伝搬する間に平面波となり、撮影用パターン105を照射する。その照射による投影像1702が画像センサ103に投影される場合、投影像は、撮影用パターン105とほぼ同じ形状を持つ。結果、投影像1702に対して、前述の現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。
一方、被写体が近い場合に対応する有限距離物体に対する撮像について説明する。図18は、撮像する物体が有限距離にある場合に、撮影用パターン105の画像センサ103への射影が、撮影用パターン105よりも拡大されることを示す説明図である。物体を構成する点1801からの球面波が撮影用パターン105を照射し、その照射による投影像1802が画像センサ103に投影される。この場合、投影像は、ほぼ一様に拡大される。なお、この際の拡大率αは、z軸方向における撮影用パターン105から点1801までの距離fを用いて、下記の式16のように算出できる。
そのため、平行光に対して設計された現像用パターンをそのまま使用して現像処理を行うのでは、単一の輝点を得ることができない。そこで、図18のように一様に拡大される撮影用パターン105の投影像に合わせて現像用パターン801を拡大させる場合、拡大された投影像1802に対して、再び、単一の輝点を得ることができる。このためには、現像用パターン801の係数βをβ/α2とすることで、補正が可能である。これにより、撮像装置1は、必ずしも無限遠でない距離の点1801からの光を選択的に再生することができる。これによって、撮像装置1は、任意の位置に焦点を合わせて撮影を行うことができる。
<画像センサ構成>
次に、図19等を用いて、画像センサ103の構成について説明する。
次に、図19等を用いて、画像センサ103の構成について説明する。
[画像センサ(1)]
図19は、実施の形態1に関する比較例における、画像センサ103a(103)のx軸方向における中央部の画素1901や端部の画素1902における断面構造を示す。ここでは、一般的なCMOSやCCD等の撮像素子を用いて構成される画像センサを考える。この画像センサ103aにおける画素30は、配線やマスクの構造に基づいて、全面で光を受光できる訳ではなく、一部である受光部1903でのみ光を受光できる。受光部1903の幅1912は、画素30の幅1911よりも小さい。
図19は、実施の形態1に関する比較例における、画像センサ103a(103)のx軸方向における中央部の画素1901や端部の画素1902における断面構造を示す。ここでは、一般的なCMOSやCCD等の撮像素子を用いて構成される画像センサを考える。この画像センサ103aにおける画素30は、配線やマスクの構造に基づいて、全面で光を受光できる訳ではなく、一部である受光部1903でのみ光を受光できる。受光部1903の幅1912は、画素30の幅1911よりも小さい。
そのため、一般的な画像センサは、この画像センサ103aのように、光利用効率向上のために、z軸方向で受光部1903の前にマイクロレンズ1904がマイクロレンズアレイとして配置されている。これにより、一点鎖線で示す入射光1905が、マイクロレンズ1904によって、点線で示す光1906のように集光されて、受光部1903に効率的に取り込まれる。個々のマイクロレンズ1904は、入射側に凸の曲面を持つレンズである。
図20は、図19の1個の画素30に関する光入射の様子を示す。図19の画像センサ103aは、このように受光部1903が画素30よりも小さいことから、図20の光線2001に示すように、受光部1903の範囲に光が集光されている角度範囲でのみ、撮影が可能である。この角度範囲以外の角度からの光は、急速に感度が低下することになる。
図21には、上記感度の角度依存性の例を示し、図22には、実測した例を示す。このような感度は、主光線角度(Chief Ray Angle:CRA)特性と呼ばれる。図21のグラフで横軸は上記角度θ、縦軸は感度である。感度は受光光量、光強度と対応している。図22で横軸は角度θに対応する入射角、縦軸は規格化光強度である。画像センサの構造が問題とならない場合には、一般的に、CRA特性は、cosθの4乗で低下するとされる。しかし、このような画像センサの構造が阻害要因となる場合、図22のように、cosθの4乗よりも急速に光量が低下することになる。
よって、比較例として、レンズレスではない一般的なカメラでは、図23に示すように、像側テレセントリックとなる系を用いている。これにより、常に画像センサに対して垂直に光線が入射するようにし、画像センサ(対応する画素)への斜入射を避けている。図23は、比較例として一般的なカメラにおける像側テレセントリック光学系の構成例を示す。図23では、z軸方向で、画像センサ103aに対して前(図示の上側)の位置に、レンズ2301,2302が配置されている。レンズ2302は、フィールドレンズであり、像の周辺の光の進行方向を変えるレンズである。z軸方向の光軸に対し斜めに入射する光線2303は、レンズ2301,2302によってz軸方向の光線、すなわち平行光に変換されている。
しかし、近年のスマートフォン等の機器に見られる小型化・高密度化が進展した結果、図24のように、非テレセントリック光学系が使用されることも多くなっている。図24は、比較例として他の一般的なカメラにおける非テレセントリック光学系の構成例を示す。図24では、z軸方向で、画像センサ103aに対して前の位置に、レンズ2401が配置されている。z軸方向の光軸に対し斜めに角度θ1で入射する光線2403は、レンズ2401経由後も斜めの光線として、受光部に受光する。図24のように、レンズが有るカメラの場合、画像センサ103aの面内の複数の画素において、光線の入射角度に応じて画素特性が異なる。端にある画素では、斜入射となるので、光量が少なくなり、暗い画素値となる。
現在のカメラは、このような非テレセントリック光学系の特性に適合させるように、図25に示すような構成が主流となっている。図25は、実施の形態1に関する比較例で、画像センサ103b(103)における画素30とマイクロレンズ1904の配置の構成例を示す。図25の構成は、画像センサ103のマイクロレンズ1904の光軸と受光部1903の光軸とをあえて異ならせるようにシフトさせた構成である。画像センサ103の面内の各画素30の光量を同じにしたい場合、この構成では、端にある画素1902に合わるようにして、マイクロレンズ1904との相対位置関係によって、光線を補正する。この構成では、x軸方向で画像センサ103の中央部の画素1901と端部の画素1902とでは、マイクロレンズ1904と受光部1903との関係が異なっている。この画像センサ103bは、x軸方向およびy軸方向を含む面内において、マイクロレンズ1904と受光部1903との相対位置が変化する構成であり、相対位置のずれ量を単調に増加または減少する構成である。中央部の画素1901では、マイクロレンズ1904の光軸と受光部1903の光軸とが一致している。端部の画素1902では、マイクロレンズ1904の光軸と受光部1903の光軸との間にずれの距離2502を持つ。図示しないが反対側の端部の画素についても同様に、反対方向でのずれの距離を持つ。これにより、この画像センサ103bは、画像の周辺光量減衰が小さい撮像系となっている。図25のような構成を持つカメラは、既に安価に実現されている。
しかし、レンズレス光学系では、図24のようなレンズが無く、図17に示すように、点1701からの光は、パターン基板104からの出射位置ではほぼ平行光である投影像1702となり、一様に画像センサ103を照射することになる。画像センサ103の面内の各画素に対し、基本的には光線が垂直に入射し、各画素の光量がほぼ同じとなる。この場合、図25のようなタイプの画像センサ103bを適用すると、撮像した画像信号に対応するセンサ画像では、図26に示すように、シェーディングが強く発現する。言い換えると、センサ画像内の周辺部分が暗くなってしまう。図26は、画像センサ103bを用いた場合におけるシェーディングを持つセンサ画像2601の例を示す。このようなシェーディングが発生すると、後段の現像処理の過程で、低周波のノイズが強く現れるため、現像した画像が劣化する。
よって、レンズレス光学系では、画像の劣化を避けるためには、図25のような画像センサ103bの構成ではなく、図19のようなタイプの画像センサ103aのように受光部1903とマイクロレンズ1904との関係が一様である構成が望ましい。しかし、その構成を適用した場合、図21および図22のように、画素構造に起因するCRA特性が課題となり、カメラの視野(対応する画角範囲)が狭くなってしまう。
[画像センサ(2)]
そこで、実施の形態1の撮像装置1において、上記シェーディングおよびCRA特性の課題を改善する方式について説明する。実施の形態1は、画像劣化抑制と広い画角範囲との両立を目指す。図27の(A)は、図20の1個の画素30およびマイクロレンズ1904に関する上面図を示す。図27の(A)の場合、マイクロレンズ1904と受光部1903との相対位置のずれが無い。一方、図27の(B)は、マイクロレンズ1904と受光部1903との相対位置のずれが有る場合を示す。相対位置のずれを、ベクトルを用いて、ずれ(Δ)2701として示す。図27の(B)のように、相対位置のずれ2701が生じている場合、x軸方向のずれΔxとy軸方向のずれΔyとに分離して考える。
そこで、実施の形態1の撮像装置1において、上記シェーディングおよびCRA特性の課題を改善する方式について説明する。実施の形態1は、画像劣化抑制と広い画角範囲との両立を目指す。図27の(A)は、図20の1個の画素30およびマイクロレンズ1904に関する上面図を示す。図27の(A)の場合、マイクロレンズ1904と受光部1903との相対位置のずれが無い。一方、図27の(B)は、マイクロレンズ1904と受光部1903との相対位置のずれが有る場合を示す。相対位置のずれを、ベクトルを用いて、ずれ(Δ)2701として示す。図27の(B)のように、相対位置のずれ2701が生じている場合、x軸方向のずれΔxとy軸方向のずれΔyとに分離して考える。
ここで、図28は、前述の図25の画像センサ103bの構成における、x軸方向での画素30の位置とずれΔxとの関係を示す。図28の(A)は、ずれΔxの分布の特性を示し、(B)は、(A)の特性を微分したグラフを示す。図28の(A)では、x軸方向での各位置の画素30に関して、中央を位置L1、正方向に対応する右側の端を位置L2、負方向に対応する左側の端を位置L3で示す。このように、画像センサ103bの中央の位置L1ではずれΔxが無く、すなわち0であり、右側の端の位置L2では正方向にずれΔx(+Δx1)を持ち、左側の端の位置L3では負方向にずれΔx(-Δx1)を持つ。(A)では、相対位置ずれの変化が単調増加の特性である。(B)では、ずれΔxの変化量である隣接画素間での差分値は一定値である。なお、(A)ではずれΔxが直線で変化する構成であるが、これに限らず、二次関数等の曲線で変化する構成もある。
この画像センサ103bの構成は、マイクロレンズ1904のピッチと、画素30のピッチとがほぼ同じで、画像センサ103bの中央部から端部までにかけて1画素分以下の差となるように相対的にピッチをシフトすること、言い換えると変化させることによって実現されている。
図29は、上記画像センサ103bの構成に関する説明のために、画素30間および受光部1903間のピッチp1、マイクロレンズ1904間のピッチp2、相対位置のずれ2502等を示す。図29は図25の左側の端部の画素1902での例である。ピッチp1とピッチp2はほぼ同じである。相対位置のずれ2502については、画素30の中心位置に対するマイクロレンズ1904の中心位置、ならびにx軸方向の正方向(図示の左から右への方向)を基準として示している。例えば、図25の中央部の画素1901におけるマイクロレンズ1904間のピッチp2をピッチp21とし、左側の端部の画素1902におけるマイクロレンズ1904間のピッチp2をピッチp22とする。上記構成は、例えば、p21>p22とし、マイクロレンズ1904間のピッチp2を、中央部から端部までにかけてピッチp21からピッチp22へと減少するようにシフトする構成である。かつ、その構成は、画素30とマイクロレンズ1904との相対位置のずれの変化が、1画素分以下の差となるようにされる。
これに対し、図30は、実施の形態1の撮像装置1における画像センサ103c(103)の構成例を示す。図30は、画像センサ103の面内の中央部の位置L1での画素30およびマイクロレンズ140の構成例を拡大で示す。この構成では、画素30間のピッチp1に対し、マイクロレンズ140間のピッチp2が大きい(p1<p2)。中央の画素30を画素PX1とし、それに対する両隣りの画素30を画素PX2,PX3で示す。それらに対応する個々のマイクロレンズ140をマイクロレンズML1,ML2,ML3で示す。中央の画素PX1では、マイクロレンズML1との相対位置のずれΔxは0である。右隣りの画素PX2では、マイクロレンズML2との相対位置のずれΔx(3001)は正方向で0より大きい値である。左隣りの画素PX3では、マイクロレンズML3との相対位置のずれΔx(3002)は負方向で0より大きい値である。この相対位置ずれは、面内で中央から外側の端に向かうにつれて大きくなるように変化する。
図30のように、マイクロレンズ140のピッチp2と画素30のピッチp1とを大きく異ならせる場合、言い換えるとピッチp2とピッチp1との差(p2-p1)をある程度以上に大きくする場合、面内で相対位置ずれ(Δx,Δy)が急峻に変化することになる。差(p2-p1)の設計に応じて、隣接画素30間では、相対位置ずれが、1画素分の差を越えることで、正から負または負から正へ変化する箇所も生じる。差(p2-p1)が大きいほど、そのような箇所の数は多くなる。このように、実施の形態1では、例えばピッチp1とピッチp2とを大きく異ならせることで、画像センサ103の面内で相対位置ずれを変化させて様々な値を持たせる。これにより、後述するようにカメラ特性の改善の効果が得られる。
また、実施の形態1における画像センサ103としては、極端に言えば、図31のように、画素30とマイクロレンズ140との相対位置を面内でランダムにシフト、変化させる構成としてもよい。図31の(A)の模式的なグラフは、実施の形態1での画像センサ103の相対位置ずれ量の分布の特性を示す。グラフの横軸が例えばx軸方向での各位置の画素30、縦軸が画素30の中心位置とマイクロレンズ140の中心位置との相対位置のずれΔxを示す。(A)では、ずれΔxは、-Δx1から+Δx1までの範囲内でランダムな値をとっている。図31の(B)は、(A)の特性を微分した模式的なグラフであり、相対位置ずれ量の変化量として隣接画素間での差分値をとったグラフである。(B)のように、実施の形態1では、相対位置ずれ量の差分値についてもランダムな分布となる。この特性では、隣接画素間でのずれ量の変化である差分値が、正から負へ変化する箇所や、負から正へ変化する箇所を持つ。このようなランダムの特性は、例えば面内の位置に応じて画素30のピッチp1およびマイクロレンズ140のピッチp2の少なくとも一方をランダムにする構成等で実現できる。
図30や図31のような構成は、画像センサ103の面内で様々な相対位置ずれを含んでいる構成であり、すなわち様々な入射角の光線の受光に対応する画素30を含む構成である。図30や図31のような構成によって、図32に示すようなCRA特性を実現できる。図32は、実施の形態1で、画像センサ103の全体でのCRA特性の例を示す。図32のCRA特性3200は、画像センサ103に垂直となる方向(z軸方向)から入射する光線にピークを有するCRA特性3201や、斜入射する光線にピークを有するCRA特性3202,3203等の、様々な特性が複合した特性となっている。画像センサ103の全体では、CRA特性3200のように、広い入射角に対して感度を有する構成となる。
ただし、例えば画像センサ103に垂直となる方向から入射する光線に対しては、感度を有する画素もあれば、感度が無いまたは低い画素もあり、センサ画像としては歯抜けた画像となってしまう。これは、通常のカメラのように画像センサに結像する系の場合では、画素の欠損となるため問題である。一方、実施の形態1のように、レンズレス光学系を含むレンズレス撮像装置の場合では、ある点からの入射光の情報が、画像センサ103(対応するセンサ画像)の複数の画素30の全体に分散している。そのため、たとえセンサ画像内に欠損があったとしても、処理によって情報(対応する像)を復元することができる。このようなレンズレス撮像装置の性質、およびランダムな相対位置ずれの構成に基づいて、実施の形態1の撮像装置1は、画質劣化を抑制しながら現像が可能である。
また、上記のような効果を実現するには、受光部1903とマイクロレンズ140との相対位置が例えばランダムに変化すればよい。このため、図31のような構成に限らず、図33のような構成例によっても、同様の効果が得られる。図33の構成は、実施の形態1の変形例として、散乱体3301のような、光をランダムに散乱させる光学素子を挿入する構成である。図33の構成では、z軸方向でマイクロレンズ140に対する入射側に、散乱体3301が配置されている。図33の構成では、画像センサ103における画素30とマイクロレンズ140との相対位置ずれの分布を設けていない。他の構成としては、画像センサ103における相対位置ずれの分布を持つ構成に加えて散乱体3301を設ける構成としてもよい。
以上のように、実施の形態1の撮像装置1および撮像方法によれば、画像センサ103の面内において受光部1903とマイクロレンズ140との相対位置が例えばランダムに変化する構成、言い換えると様々な相対位置ずれの分布を持つ構成とする。これにより、撮像に適した画像センサ103の特性や構造および処理方法等を提供でき、撮影画角が広く、かつシェーディングによるノイズが無く、高画質な、カメラ特性を向上したレンズレス撮像装置を実現できる。さらに、実施の形態1の構成によれば、画像センサ103として、既存の安価な画像センサを流用できるため、製造コストの抑制も可能である。
(実施の形態2)
図34以降を用いて、実施の形態2の撮像装置および撮像方法について説明する。以下では、実施の形態2における実施の形態1とは異なる構成部分について説明する。
図34以降を用いて、実施の形態2の撮像装置および撮像方法について説明する。以下では、実施の形態2における実施の形態1とは異なる構成部分について説明する。
[センサ画像の欠損について]
実施の形態1の撮像装置1の構成では、画像センサ103における受光部1903とマイクロレンズ140との相対位置が例えばランダムに変化するように配置した。この構成のために、ある角度から撮影した場合にセンサ画像の欠損がランダムに発生し、ランダムな欠損が現像画像の画質に影響を及ぼす可能性がある。そこで、実施の形態2では、その可能性も考慮して工夫した構成、ならびに処理方法等について説明する。
実施の形態1の撮像装置1の構成では、画像センサ103における受光部1903とマイクロレンズ140との相対位置が例えばランダムに変化するように配置した。この構成のために、ある角度から撮影した場合にセンサ画像の欠損がランダムに発生し、ランダムな欠損が現像画像の画質に影響を及ぼす可能性がある。そこで、実施の形態2では、その可能性も考慮して工夫した構成、ならびに処理方法等について説明する。
実施の形態2の撮像装置1でも、画像センサ103の面内における受光部とマイクロレンズとの相対位置ずれを変化させる構成とすることで、レンズレス光学系全体でのCRA特性を改善させる。ただし、実施の形態2は、実施の形態1のようにランダムの配置とするのではなく、周期的な配置等、既知の相対位置ずれ量の配置、分布の特性とする。これにより、実施の形態2では、画像センサ103で撮像したセンサ画像を、光線の入射角に対応する角度毎に分解して処理を行う。
[画像センサ]
図34は、実施の形態2の撮像装置1における、画像センサ103の相対位置ずれの周期的な配置の構成例を示す。図34の(A)は、実施の形態2での画像センサ103の相対位置ずれ量の分布の特性を示し、図示のように周期的な分布の特性である。(A)の横軸が例えばx軸方向の各位置の画素30を示し、縦軸が受光部1903とマイクロレンズ140との相対位置のずれΔxを示す。ずれΔxは、-Δx1から+Δx1までの範囲内で、x軸方向の画素位置に応じて周期的に変化している。例えば、中央の位置L1では、ずれΔxが-Δx1であり、その位置L1から右側に所定の画素距離を置いた位置3402では、ずれΔxが+Δx1である。位置L1から位置3402までの範囲3401では、ずれΔxが-Δx1から+Δx1まで直線で増加している。また、位置3402から同じ画素距離を置いた右側の範囲3403では、範囲3401と同様にずれΔxが直線で増加している。図34の(B)は、(A)の特性を微分したグラフであり、相対位置ずれ量の変化量として隣接画素30間での差分値をとったグラフである。(B)のように、実施の形態2では、相対位置ずれ量の差分値について、正の一定値の部分と、正から負または負から正へと大きく変化する複数の箇所とを持つ。実施の形態1の図31の特性や、実施の形態2の図34の特性は、比較例の図28のような単調増加または単調減少の特性とは異なり、相対位置ずれ量の差分値が正から負または負から正へと変化する箇所を持つ。撮像装置1は、図34のような特性を既知であり、画像処理部107の処理等に利用する。
図34は、実施の形態2の撮像装置1における、画像センサ103の相対位置ずれの周期的な配置の構成例を示す。図34の(A)は、実施の形態2での画像センサ103の相対位置ずれ量の分布の特性を示し、図示のように周期的な分布の特性である。(A)の横軸が例えばx軸方向の各位置の画素30を示し、縦軸が受光部1903とマイクロレンズ140との相対位置のずれΔxを示す。ずれΔxは、-Δx1から+Δx1までの範囲内で、x軸方向の画素位置に応じて周期的に変化している。例えば、中央の位置L1では、ずれΔxが-Δx1であり、その位置L1から右側に所定の画素距離を置いた位置3402では、ずれΔxが+Δx1である。位置L1から位置3402までの範囲3401では、ずれΔxが-Δx1から+Δx1まで直線で増加している。また、位置3402から同じ画素距離を置いた右側の範囲3403では、範囲3401と同様にずれΔxが直線で増加している。図34の(B)は、(A)の特性を微分したグラフであり、相対位置ずれ量の変化量として隣接画素30間での差分値をとったグラフである。(B)のように、実施の形態2では、相対位置ずれ量の差分値について、正の一定値の部分と、正から負または負から正へと大きく変化する複数の箇所とを持つ。実施の形態1の図31の特性や、実施の形態2の図34の特性は、比較例の図28のような単調増加または単調減少の特性とは異なり、相対位置ずれ量の差分値が正から負または負から正へと変化する箇所を持つ。撮像装置1は、図34のような特性を既知であり、画像処理部107の処理等に利用する。
このように画素30とマイクロレンズ1904との相対位置が周期的に変化する配置を持つ画像センサ103では、画像センサ103に垂直となる方向(z軸方向)から入射する光線に対しては、図35のような画像が得られる。図35は、画像センサ103で撮像した、シェーディングを持つセンサ画像3500の例を示す。センサ画像3500(対応する画像センサ103)は、x軸-y軸の面において、複数の領域3501を有する。1つの領域3501は、相対位置ずれの変化の1周期(図34では範囲3401等の部分)に対応する領域であり、この1周期分の領域を1つのユニットと定義する。すると、このユニットにおける相対位置のずれΔxは、図36のようになる。
[処理分割方法(1)]
図36は、ユニットにおける相対位置ずれに関する処理分割方法の例を示す。図36の(A)のグラフは、横軸がx軸方向での1個のユニットにおける画素30の位置、縦軸は相対位置のずれΔxである。1個のユニットにおける中央をM1、右側の端をM2、左側の端をM3で示す。実施の形態2の撮像装置1は、センサ画像(対応する画像センサ103)の全領域の複数のユニットについて、ある相対位置ずれ量の間隔3601毎に、複数の範囲、例えば範囲A1~A5のように分割する。本例では、ずれ量の最小値(-Δx1)から最大値(+Δx1)までの範囲内で、5つの範囲(A1~A5)に分割している。この分割数を多くするほど、画像品質が改善することになる。間隔3601および分割数は設定値であり、変更可能である。同様に、図36の(B)のように、ユニットにおけるy軸方向の相対位置ずれΔyに対しても、間隔3602毎に、複数の範囲、例えば範囲B1~B5のように分割する。画像処理部107は、センサ画像について、このような分割を行う。
図36は、ユニットにおける相対位置ずれに関する処理分割方法の例を示す。図36の(A)のグラフは、横軸がx軸方向での1個のユニットにおける画素30の位置、縦軸は相対位置のずれΔxである。1個のユニットにおける中央をM1、右側の端をM2、左側の端をM3で示す。実施の形態2の撮像装置1は、センサ画像(対応する画像センサ103)の全領域の複数のユニットについて、ある相対位置ずれ量の間隔3601毎に、複数の範囲、例えば範囲A1~A5のように分割する。本例では、ずれ量の最小値(-Δx1)から最大値(+Δx1)までの範囲内で、5つの範囲(A1~A5)に分割している。この分割数を多くするほど、画像品質が改善することになる。間隔3601および分割数は設定値であり、変更可能である。同様に、図36の(B)のように、ユニットにおけるy軸方向の相対位置ずれΔyに対しても、間隔3602毎に、複数の範囲、例えば範囲B1~B5のように分割する。画像処理部107は、センサ画像について、このような分割を行う。
図36の分割について、領域3501のような1個のユニット(例えばあるユニットU1)においてマッピングすると、図37のようになる。図37の(A)は、1個のユニット内での分割の構成例を示す。x軸方向の各範囲とy軸方向の各範囲との交差によって、ユニットよりも小さい領域が構成されている。例えば、領域3701はA1-B1の領域であり、領域3702はA5-B5の領域である。画像処理部107は、図35のセンサ画像3500の複数のユニットにおいて、同じ種類の領域毎に分類して集めた画像を、分割センサ画像として生成する。例えば、A1-B1の領域3701のみを集めた分割センサ画像(G11とする)から、A5-B5の領域702のみを集めた分割センサ画像(G55とする)まで、5×5=25通りの分割センサ画像が生成される。
画像処理部107は、それらの生成した複数の分割センサ画像における分割センサ画像毎に、対応する現像用パターンを用いて、前述の図15や図16に示した現像処理を実行する。そして、画像処理部107は、それらの分割センサ画像毎の現像処理結果を、1つの画像に合成する。このような処理分割方法によって、分割センサ画像毎では前述の画素欠損が無い状態で処理を行うことができる。そのため、ノイズを増加させることなく画像処理が可能であり、合成後の画像において情報を復元できるとともに、画質劣化を抑制できる。
なお、本例ではユニット毎に5×5の領域に分割して処理する方法を示したが、これに限らず可能である。図38の(B)は、x軸方向でのみ分割して処理する例を示し、図38の(C)は、y軸方向でのみ分割して処理する例を示す。このように、方向を変えて処理する等、画像センサの特性に応じて最適な設計が可能である。
また、上記では、図34のように周期的な相対位置のずれΔxを持つ構成例を説明したが、このような周期的な設計とする場合、設計パラメータ次第では、図38の(A)のように、現像画像のPSF(Point Spread Function:点像分布関数)において複数のピークを持ってしまい、現像画像にゴーストが現れる可能性がある。図38の(A)は、現像画像のPSFの例を示す。例えば、最大のピーク3800は、元の点を表すが、ピーク3801はゴーストとなる。
[処理分割方法(2)]
そこで、実施の形態2の変形例として、以下の構成としてもよい。変形例では、実施の形態1と同様に画像センサ103における相対位置ずれをランダムな配置にするものの、そのランダムな配置を既知の設計とする。すなわち、撮像装置1は、画素30毎にどのような相対位置ずれを持つかが既知である。そして、変形例では、図39のように、ユニット毎に、相対位置ずれ量に応じて、分割による範囲を割り当てる。図39は、変形例での相対位置ずれに関する処理分割方法を示す。例えば、x軸方向での相対位置のずれΔxに関して、ずれ量の大きさに応じた範囲A1~A5が割り当てられる。画像処理部107は、実施の形態2と同様に、範囲に応じた分割センサ画像を生成し、分割センサ画像毎に処理を行う。
そこで、実施の形態2の変形例として、以下の構成としてもよい。変形例では、実施の形態1と同様に画像センサ103における相対位置ずれをランダムな配置にするものの、そのランダムな配置を既知の設計とする。すなわち、撮像装置1は、画素30毎にどのような相対位置ずれを持つかが既知である。そして、変形例では、図39のように、ユニット毎に、相対位置ずれ量に応じて、分割による範囲を割り当てる。図39は、変形例での相対位置ずれに関する処理分割方法を示す。例えば、x軸方向での相対位置のずれΔxに関して、ずれ量の大きさに応じた範囲A1~A5が割り当てられる。画像処理部107は、実施の形態2と同様に、範囲に応じた分割センサ画像を生成し、分割センサ画像毎に処理を行う。
図38の(B)は、変形例による画像処理の結果得られた現像画像に関するPSFの例を示す。変形例の構成によれば、周期性による図38の(A)のピーク、例えばピーク3801が、図38の(B)のピーク3802のように抑圧されることが分かる。
以上のように、実施の形態2によれば、画像センサ103の面内において相対位置ずれが周期的に変化する構成とし、対応してセンサ画像を複数の領域に分割して処理する構成とする。これにより、撮影画角が広く、かつシェーディングによるノイズが無く、高画質なレンズレス撮像装置を実現できる。なお、前述の画像センサ103における相対位置ずれの周期的な分布の特性は、前述の例に限らず、他の周期的な関数、例えばサイン関数等で定義されてもよい。
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。本発明は、実施の形態の全構成要素に対し、要素を追加、削除、置換、併合等した構成も可能である。本発明は、ある実施例と他の実施例との組合せの構成も可能である。本発明における構成要素(例えば図1のコントローラ108、画像処理部107、フリンジスキャン処理部106等)は、集積回路やFPGA等のハードウェアで構成されてもよいし、ソフトウェアプログラム処理等で構成されてもよい。プログラム処理を行う形態とする場合、例えばCPU、ROM、RAM等を用いたプロセッサが、メモリ等を用いながら、プログラムに従った処理を実行することにより、機能を実現する。また、プログラムや関連するデータや情報は、HDD、DVD、SSD、SDカード等の記憶装置または記録媒体に記憶されてもよいし、外部の通信網上に記憶されてもよい。
[相互相関演算]
図40は、各実施の形態の補足として、前述の相関現像方式での相互相関演算の構成例を示す。画像処理部107は、画像センサ103からフリンジスキャン処理部106を介して入力されるセンサ画像401に、FFT402を行い、FFT後画像403を得る。一方、画像処理部107は、予め生成した現像用パターン411(例えば前述の現像用パターン801)に、FFT412を行い、FFT後現像用パターン413を得る。画像処理部107は、FFT後画像403に、FFT後現像用パターン413を畳込演算404することで、畳込後画像405を得る。画像処理部107は、畳込後画像405に逆FFT406を行うことで、復元画像407を得る。なお、画像処理部107は、撮像毎にFFT等の処理をリアルタイムで実行してもよいが、予めFFT等の処理済みのデータ(例えばFFT後現像用パターン413)を生成してメモリに保存しておき、撮像の際にそのデータを読み出して上記演算を行うようにしてもよい。これにより高速化が可能である。
図40は、各実施の形態の補足として、前述の相関現像方式での相互相関演算の構成例を示す。画像処理部107は、画像センサ103からフリンジスキャン処理部106を介して入力されるセンサ画像401に、FFT402を行い、FFT後画像403を得る。一方、画像処理部107は、予め生成した現像用パターン411(例えば前述の現像用パターン801)に、FFT412を行い、FFT後現像用パターン413を得る。画像処理部107は、FFT後画像403に、FFT後現像用パターン413を畳込演算404することで、畳込後画像405を得る。画像処理部107は、畳込後画像405に逆FFT406を行うことで、復元画像407を得る。なお、画像処理部107は、撮像毎にFFT等の処理をリアルタイムで実行してもよいが、予めFFT等の処理済みのデータ(例えばFFT後現像用パターン413)を生成してメモリに保存しておき、撮像の際にそのデータを読み出して上記演算を行うようにしてもよい。これにより高速化が可能である。
1…撮像装置、30…画素、102…撮像部、103…画像センサ、104…パターン基板、105…撮影用パターン、106…フリンジスキャン処理部、107…画像処理部、108…コントローラ、1903…受光部、140…マイクロレンズ。
Claims (12)
- 撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、
前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
を備え、
前記画像センサの面内において、前記複数の画素の各画素の受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有し、
前記特性は、隣接する前記各画素間での前記ずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも1つ以上持つ特性である、
撮像装置。 - 請求項1記載の撮像装置において、
前記特性は、前記面内の位置に応じて前記ずれ量がランダムである特性である、
撮像装置。 - 請求項1記載の撮像装置において、
前記特性は、前記面内の位置に応じて前記ずれ量が周期的に変化する特性である、
撮像装置。 - 請求項1記載の撮像装置において、
前記センサ画像に対する現像用パターンの演算に基づいて像を復元する画像処理部を備える、
撮像装置。 - 請求項1記載の撮像装置において、
前記画像センサおよび前記変調器を制御し、前記センサ画像からノイズをキャンセルするフリンジスキャン処理部を備える、
撮像装置。 - 請求項4記載の撮像装置において、
前記画像処理部は、前記ずれ量の範囲全体を複数の範囲に分割し、前記センサ画像の画素値を、前記複数の範囲に応じて分類し、分類した画素値の画像毎に、対応する現像用パターンとの演算に基づいて現像処理を行い、現像処理後の複数の像を1つの像に合成する、
撮像装置。 - 請求項1記載の撮像装置において、
前記画像センサは、前記面内における前記複数の画素のピッチよりも、前記複数のマイクロレンズのピッチの方が大きい、
撮像装置。 - 撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、
前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
前記マイクロレンズアレイの入射側に配置されている、前記変調後の光を散乱させる散乱体と、
を備える、撮像装置。 - 撮像装置における撮像方法であって、
前記撮像装置は、
撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、
前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
を備え、
前記画像センサの面内において、前記複数の画素の各画素の受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有し、
前記特性は、隣接する前記各画素間での前記ずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも1つ以上持つ特性であり、
前記撮像方法は、
前記変調器によって前記光の強度を変調するステップと、
前記変調器および前記マイクロレンズアレイを経由した前記変調後の光に基づいて前記画像センサによって前記センサ画像を生成するステップと、
を有する、撮像方法。 - 請求項9記載の撮像方法において、
前記センサ画像に対する現像用パターンの演算に基づいて像を復元するステップを有する、
撮像方法。 - 請求項1記載の撮像装置において、
前記画像センサおよび前記変調器を制御し、前記センサ画像からノイズをキャンセルするステップを有する、
撮像方法。 - 請求項10記載の撮像方法において、
前記像を復元するステップは、前記ずれ量の範囲全体を複数の範囲に分割し、前記センサ画像の画素値を、前記複数の範囲に応じて分類し、分類した画素値の画像毎に、対応する現像用パターンとの演算に基づいて現像処理を行い、現像処理後の複数の像を1つの像に合成するステップを含む、
撮像方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980099128.9A CN114208145A (zh) | 2019-08-08 | 2019-08-08 | 摄像装置和方法 |
US17/632,828 US11856281B2 (en) | 2019-08-08 | 2019-08-08 | Imaging device and method |
PCT/JP2019/031352 WO2021024452A1 (ja) | 2019-08-08 | 2019-08-08 | 撮像装置および方法 |
JP2021538646A JP7183429B2 (ja) | 2019-08-08 | 2019-08-08 | 撮像装置および方法 |
JP2022186275A JP2023016864A (ja) | 2019-08-08 | 2022-11-22 | 撮像装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/031352 WO2021024452A1 (ja) | 2019-08-08 | 2019-08-08 | 撮像装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021024452A1 true WO2021024452A1 (ja) | 2021-02-11 |
Family
ID=74502876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/031352 WO2021024452A1 (ja) | 2019-08-08 | 2019-08-08 | 撮像装置および方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11856281B2 (ja) |
JP (2) | JP7183429B2 (ja) |
CN (1) | CN114208145A (ja) |
WO (1) | WO2021024452A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024016288A1 (zh) * | 2022-07-21 | 2024-01-25 | 北京小米移动软件有限公司 | 拍摄装置以及控制方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018221019A1 (ja) * | 2017-06-01 | 2018-12-06 | 富士フイルム株式会社 | 画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
WO2018221025A1 (ja) * | 2017-06-01 | 2018-12-06 | 富士フイルム株式会社 | 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006004802B4 (de) * | 2006-01-23 | 2008-09-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems |
WO2017149687A1 (ja) | 2016-03-02 | 2017-09-08 | 株式会社日立製作所 | 撮像装置 |
-
2019
- 2019-08-08 US US17/632,828 patent/US11856281B2/en active Active
- 2019-08-08 WO PCT/JP2019/031352 patent/WO2021024452A1/ja active Application Filing
- 2019-08-08 JP JP2021538646A patent/JP7183429B2/ja active Active
- 2019-08-08 CN CN201980099128.9A patent/CN114208145A/zh active Pending
-
2022
- 2022-11-22 JP JP2022186275A patent/JP2023016864A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018221019A1 (ja) * | 2017-06-01 | 2018-12-06 | 富士フイルム株式会社 | 画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
WO2018221025A1 (ja) * | 2017-06-01 | 2018-12-06 | 富士フイルム株式会社 | 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20220272239A1 (en) | 2022-08-25 |
CN114208145A (zh) | 2022-03-18 |
US11856281B2 (en) | 2023-12-26 |
JP7183429B2 (ja) | 2022-12-05 |
JPWO2021024452A1 (ja) | 2021-02-11 |
JP2023016864A (ja) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6491332B2 (ja) | 撮像装置 | |
JP6820908B2 (ja) | 撮像装置 | |
TWI658432B (zh) | Camera | |
JP6688716B2 (ja) | 撮像装置および撮像方法 | |
WO2018055831A1 (ja) | 撮像装置 | |
CN110324513B (zh) | 摄像装置,摄像模块和摄像方法 | |
JP2023016864A (ja) | 撮像装置および方法 | |
JP6646619B2 (ja) | 撮像装置 | |
JP6920974B2 (ja) | 距離計測装置および距離計測方法 | |
JP7097787B2 (ja) | 撮像装置および撮像方法 | |
JP6864604B2 (ja) | 撮像装置 | |
JP6807281B2 (ja) | 撮像装置、撮像システム、及び撮像方法 | |
JP6947891B2 (ja) | 携帯情報端末 | |
JP6770164B2 (ja) | 撮像装置 | |
JP2019149674A (ja) | 撮像装置、撮像方法、および画像処理装置 | |
JP6636663B2 (ja) | 撮像装置及び画像生成方法 | |
JP7389195B2 (ja) | 画像生成方法 | |
JP7159118B2 (ja) | 撮像装置 | |
JP6814762B2 (ja) | 撮像装置 | |
JP2022180800A (ja) | 撮像装置 | |
JP2021064000A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19940283 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021538646 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19940283 Country of ref document: EP Kind code of ref document: A1 |