JP6636663B2 - Imaging device and image generation method - Google Patents

Imaging device and image generation method Download PDF

Info

Publication number
JP6636663B2
JP6636663B2 JP2019035108A JP2019035108A JP6636663B2 JP 6636663 B2 JP6636663 B2 JP 6636663B2 JP 2019035108 A JP2019035108 A JP 2019035108A JP 2019035108 A JP2019035108 A JP 2019035108A JP 6636663 B2 JP6636663 B2 JP 6636663B2
Authority
JP
Japan
Prior art keywords
image
concentric
imaging device
pattern
concentric pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019035108A
Other languages
Japanese (ja)
Other versions
JP2019140681A (en
Inventor
島野 健
健 島野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2019035108A priority Critical patent/JP6636663B2/en
Publication of JP2019140681A publication Critical patent/JP2019140681A/en
Application granted granted Critical
Publication of JP6636663B2 publication Critical patent/JP6636663B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、撮像装置及び画像生成方法に関し、特に、撮像装置の高性能化に有効な技術に関する。   The present invention relates to an imaging device and an image generation method, and more particularly to a technique effective for improving the performance of an imaging device.

スマートフォンなどに搭載するデジタルカメラは、薄型化が必要である。この種のデジタルカメラの薄型化技術としては、例えばレンズを用いることなく物体像を得るものがある(例えば特許文献1参照)。   Digital cameras mounted on smartphones and the like need to be thinner. As a technique for reducing the thickness of a digital camera of this type, for example, there is a technique for obtaining an object image without using a lens (for example, see Patent Document 1).

この技術は、画像センサに特殊な回折格子基板を貼り付け、該回折格子基板を透過する光が画像センサ上で生じる射影パターンから、入射光の入射角を逆問題演算により求めることで、外界の物体の像を得るものである。   In this technology, a special diffraction grating substrate is attached to an image sensor, and the light transmitted through the diffraction grating substrate is obtained from a projection pattern generated on the image sensor to obtain the incident angle of the incident light by an inverse problem operation, thereby obtaining the external environment. This is to obtain an image of the object.

米国特許出願公開第2014/0253781号明細書US Patent Application Publication No. 2014/0253781

上述した特許文献1では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンとなっている。そして、その画像センサにて受光される射影パターンから、像を再生するための逆問題を解くことにより、物体の像を得ているが、この逆問題を解く際の演算が複雑になるという問題がある。   In Patent Document 1 described above, the pattern of the diffraction grating formed on the upper surface of the substrate attached to the image sensor is a special grating pattern such as a spiral shape. Then, the image of the object is obtained by solving the inverse problem for reproducing the image from the projection pattern received by the image sensor, but the calculation when solving the inverse problem becomes complicated. There is.

演算が複雑であると、当然処理時間が長くなり、写真を表示するまでの時間も長くなってしまうという問題がある。演算処理を高速に行うには、高性能のCPUなどを用いることになるが、その場合には、デジタルカメラの高コスト化および消費電力の増加などが発生してしまう恐れがある。   If the calculation is complicated, there is a problem that the processing time naturally increases and the time required for displaying the photograph also increases. In order to perform arithmetic processing at high speed, a high-performance CPU or the like is used. However, in that case, there is a possibility that the cost and power consumption of the digital camera may increase.

本発明の目的は、格子基板を透過する光線の入射角度の検出を容易化することにより、撮像装置のコストおよび消費電力を低減することのできる技術を提供することにある。   An object of the present invention is to provide a technique capable of reducing the cost and power consumption of an imaging device by facilitating detection of an incident angle of a light beam transmitted through a lattice substrate.

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。   The above and other objects and novel features of the present invention will become apparent from the description of the present specification and the accompanying drawings.

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。   The outline of a typical invention among the inventions disclosed in the present application will be briefly described as follows.

すなわち、代表的な撮像装置は、画像センサ、変調器、および画像処理部を有する。画像センサは、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する。変調器は、画像センサの受光面に設けられ、光の強度を変調する。画像処理部は、画像センサから出力される画像信号の画像処理を行う。   That is, a typical imaging device has an image sensor, a modulator, and an image processing unit. The image sensor converts an optical image captured by a plurality of pixels arranged in an array on the imaging surface into an image signal and outputs the image signal. The modulator is provided on a light receiving surface of the image sensor, and modulates light intensity. The image processing unit performs image processing on an image signal output from the image sensor.

また、変調器は、格子基板、第1の格子パターン、および第2の格子パターンを有する。第1の格子パターンは、画像センサの受光面に近接する格子基板の第1の面に形成される。第2の格子パターンは、第1の面に対向する第2の面に形成される。   The modulator also has a grating substrate, a first grating pattern, and a second grating pattern. The first grating pattern is formed on a first surface of the grating substrate near the light receiving surface of the image sensor. The second lattice pattern is formed on a second surface opposite to the first surface.

第1の格子パターンおよび第2の格子パターンは、複数の同心円からそれぞれ構成されている。変調器は、第2の格子パターンを透過する光を第1の格子パターンにて強度変調して画像センサに出力する。   The first grid pattern and the second grid pattern are each composed of a plurality of concentric circles. The modulator modulates the intensity of the light transmitted through the second grating pattern with the first grating pattern and outputs the modulated light to the image sensor.

特に、第1の格子パターンおよび第2の格子パターンにおける複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる複数の同心円からそれぞれ形成されている。複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる。   In particular, the plurality of concentric circles in the first lattice pattern and the second lattice pattern are respectively formed from a plurality of concentric circles in which the pitch of the concentric circles becomes smaller in inverse proportion to the reference coordinates at the center of the concentric circles. The pitch of the concentric circles becomes finer in inverse proportion to the reference coordinates at the center of the concentric circles.

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。   The effects obtained by typical aspects of the invention disclosed in the present application will be briefly described as follows.

(1)物体像の取得までの処理時間を短縮することができる。   (1) The processing time until the acquisition of the object image can be reduced.

(2)撮像装置のハードウェアコストを低減することができる。   (2) The hardware cost of the imaging device can be reduced.

実施の形態1による撮像装置における構成の一例を示す説明図である。FIG. 2 is an explanatory diagram illustrating an example of a configuration in the imaging device according to the first embodiment; 図1の撮像装置による撮影の一例を示す説明図である。FIG. 2 is an explanatory diagram illustrating an example of imaging by the imaging device in FIG. 1. 図1の撮像装置が有する画像処理回路による画像処理の概略を示すフローチャートである。2 is a flowchart illustrating an outline of image processing by an image processing circuit included in the imaging device of FIG. 1. 斜め入射平行光による両面格子基板の表面から裏面への射影像が面内ずれの一例を示す説明図である。It is explanatory drawing which shows an example of the in-plane shift | offset | difference of the projection image from the front surface of a double-sided lattice board | substrate by oblique incident parallel light to the back surface. 両面格子基板の格子パターンの軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。It is a schematic diagram explaining generation of a moire fringe and frequency spectrum when the axes of the lattice pattern of the double-sided lattice substrate are aligned. 表面側の格子パターンと裏面側の格子パターンの軸をずらして形成した両面格子基板の一例を示す説明図である。It is explanatory drawing which shows an example of the double-sided lattice board | substrate which shifted the axis | shaft of the grid pattern on the front side and the grid pattern on the back side. 格子パターンをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。FIG. 3 is a schematic diagram illustrating generation of moiré fringes and a frequency spectrum when a lattice pattern is shifted. 垂直入射平面波とその他9個の異なる入射角の平面波の計10個の光で照射したときの空間周波数スペクトル像の計算結果を示す説明図である。It is explanatory drawing which shows the calculation result of the spatial frequency spectrum image at the time of irradiating with a total of 10 lights of a normal incidence plane wave and nine other plane waves of different incident angles. 垂直入射平面波とその他9個の異なる入射角の平面波の計10個の光で照射したときの空間周波数スペクトル像の計算結果を示す鳥瞰図である。It is a bird's-eye view which shows the calculation result of the spatial frequency spectrum image at the time of irradiating with a total of ten lights of a normal incidence plane wave and nine other plane waves of different incident angles. 物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。FIG. 4 is an explanatory diagram illustrating an angle formed by light from each point constituting an object with respect to an image sensor. 格子パターン横方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。FIG. 9 is an explanatory diagram illustrating an example of a spatial frequency spectrum when the lattice pattern is shifted in the horizontal direction. 格子パターンを縦方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。FIG. 4 is an explanatory diagram illustrating an example of a spatial frequency spectrum when a lattice pattern is shifted in a vertical direction. 実施の形態3による撮像装置における構成の一例を示す説明図である。13 is an explanatory diagram illustrating an example of a configuration in an imaging device according to Embodiment 3. FIG. 図13の撮像装置が有する画像処理回路による画像処理の概略を示すフローチャートである。14 is a flowchart illustrating an outline of image processing by an image processing circuit included in the imaging device in FIG. 13. 結像する物体が有限距離にある場合に表面側の格子パターンの裏面への射影が該格子パターンより拡大されることを示す説明図である。FIG. 11 is an explanatory diagram showing that when an object to be imaged is at a finite distance, the projection of the lattice pattern on the front surface onto the back surface is enlarged more than the lattice pattern. 実施の形態4による撮像装置における構成の一例を示す説明図である。15 is an explanatory diagram illustrating an example of a configuration in an imaging device according to Embodiment 4. FIG. 実施の形態5による両面格子基板における構成の一例を示す説明図である。FIG. 15 is an explanatory diagram showing an example of a configuration in a double-sided lattice substrate according to a fifth embodiment. 実施の形態6による携帯情報端末の一例を示す外観図である。FIG. 17 is an external view showing an example of a portable information terminal according to a sixth embodiment.

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。   In the following embodiments, when necessary for the sake of convenience, the description will be made by dividing into a plurality of sections or embodiments, but unless otherwise specified, they are not irrelevant to each other, and one is the other. Of some or all of the above, details, supplementary explanations, and the like.

また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。   Further, in the following embodiments, when referring to the number of elements (including the number, numerical value, amount, range, etc.), a case where it is particularly specified and a case where it is clearly limited to a specific number in principle, etc. Except, the number is not limited to the specific number, and may be more than or less than the specific number.

さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。   Furthermore, in the following embodiments, the constituent elements (including element steps, etc.) are not necessarily essential unless otherwise specified or considered to be essential in principle. Needless to say.

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。   Similarly, in the following embodiments, when referring to the shapes, positional relationships, and the like of the components, the shapes are substantially the same, unless otherwise specified, and in cases where it is considered that it is not clearly apparent in principle. And the like. This is the same for the above numerical values and ranges.

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。   In all the drawings for describing the embodiments, the same members are denoted by the same reference numerals in principle, and the repeated description thereof will be omitted.

以下、実施の形態を詳細に説明する。   Hereinafter, embodiments will be described in detail.

(実施の形態1)
〈撮像装置の構成例〉
図1は、本実施の形態1による撮像装置101における構成の一例を示す説明図である。
(Embodiment 1)
<Configuration example of imaging device>
FIG. 1 is an explanatory diagram illustrating an example of a configuration of the imaging device 101 according to the first embodiment.

撮像装置101は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図1に示すように、変調器102、画像センサ103、および画像処理回路106から構成されている。   The imaging apparatus 101 acquires an image of an external object without using a lens for forming an image. As shown in FIG. 1, the imaging apparatus 101 includes a modulator 102, an image sensor 103, and an image processing circuit 106. I have.

変調器102は、画像センサ103の受光面に密着して固定されており、格子基板102aに格子パターン104,105がそれぞれ形成された構成からなる。格子基板102aは、例えばガラスやプラスティックなどの透明な材料からなる。   The modulator 102 is fixed in close contact with the light receiving surface of the image sensor 103, and has a configuration in which grating patterns 104 and 105 are formed on a grating substrate 102a. The lattice substrate 102a is made of a transparent material such as glass or plastic.

変調器102において、格子基板102aの表面には、第2の格子パターンとなる格子パターン104が形成されている。また、この格子基板102aの表面が第2の面となる。格子パターン104は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。   In the modulator 102, a lattice pattern 104 serving as a second lattice pattern is formed on the surface of the lattice substrate 102a. The surface of the lattice substrate 102a is the second surface. The grid pattern 104 is formed of concentric grid patterns in which the spacing between the grid patterns, that is, the pitch, becomes smaller in inverse proportion to the radius from the center toward the outside.

また、格子基板102aの裏面、すなわち画像センサ103の受光面に接する側の面には、第1の格子パターンとなる格子パターン105が形成されている。格子基板102aの裏面が第1の面となる。   On the back surface of the lattice substrate 102a, that is, on the surface in contact with the light receiving surface of the image sensor 103, a lattice pattern 105 serving as a first lattice pattern is formed. The back surface of the lattice substrate 102a is the first surface.

この格子パターン105においても、格子パターン104と同様に、外側に向かうほど中心からの半径に反比例して格子パターンのピッチが狭くなる同心円状の格子パターンからなる。   Similarly to the lattice pattern 104, the lattice pattern 105 is formed of a concentric lattice pattern in which the pitch of the lattice pattern becomes smaller in inverse proportion to the radius from the center toward the outside.

格子パターン104および格子パターン105は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウムなどを蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。   The lattice pattern 104 and the lattice pattern 105 are formed by evaporating aluminum or the like by, for example, a sputtering method used in a semiconductor process. Shading is given by the pattern with and without the aluminum deposited.

なお、格子パターン104,105の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。   The formation of the lattice patterns 104 and 105 is not limited to this, and may be formed by shading, for example, by printing with an inkjet printer or the like.

格子パターン104,105を透過する光は、その格子パターンによって光の強度が変調される。透過した光は、画像センサ103にて受光される。画像センサ103は、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなる。   The light transmitted through the grating patterns 104 and 105 has its light intensity modulated by the grating patterns. The transmitted light is received by the image sensor 103. The image sensor 103 includes, for example, a charge coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor.

画像センサ103の表面には、受光素子である画素103aが格子状に規則的に配置されている。この画像センサ103は、画素103aが受光した光画像を電気信号である画像信号に変換する。画像センサ103から出力された画像信号は、画像処理部である画像処理回路106によって画像処理されてモニタディスプレイ107などに出力される。   On the surface of the image sensor 103, pixels 103a serving as light receiving elements are regularly arranged in a grid pattern. The image sensor 103 converts a light image received by the pixel 103a into an image signal which is an electric signal. The image signal output from the image sensor 103 is subjected to image processing by an image processing circuit 106 as an image processing unit, and is output to a monitor display 107 or the like.

〈撮像装置の撮影例〉
図2は、図1の撮像装置101による撮影の一例を示す説明図である。この図2では、撮像装置101によって被写体301を撮影してモニタディスプレイ107に表示している例を示している。
<Imaging example of imaging device>
FIG. 2 is an explanatory diagram illustrating an example of imaging by the imaging device 101 in FIG. FIG. 2 shows an example in which the subject 301 is photographed by the imaging device 101 and is displayed on the monitor display 107.

図示するように、被写体301を撮影する際には、該被写体301に対して変調器102における一方の面、具体的には格子パターン104が形成されている格子基板102aの表面が正対するようにして撮影が行われる。   As shown in the figure, when photographing the subject 301, one surface of the modulator 102, specifically, the surface of the lattice substrate 102a on which the lattice pattern 104 is formed faces the subject 301. Shooting is performed.

〈画像処理回路の画像処理例〉
続いて、画像処理回路106による画像処理の概略について説明する。
<Image processing example of image processing circuit>
Subsequently, an outline of image processing by the image processing circuit 106 will be described.

図3は、図1の撮像装置101が有する画像処理回路106による画像処理の概略を示すフローチャートである。   FIG. 3 is a flowchart illustrating an outline of image processing by the image processing circuit 106 included in the imaging apparatus 101 in FIG.

まず、画像センサ103から出力されるモアレ縞画像に対して、カラーのRGB(Red Green Blue)各成分ごとに2次元フーリエ変換(FFT:Fast Fourier Transform)演算を行い、周波数スペクトルを求める(ステップS101)。   First, the moire fringe image output from the image sensor 103 is subjected to a two-dimensional Fourier transform (FFT: Fast Fourier Transform) operation for each of RGB (Red Green Blue) components to obtain a frequency spectrum (step S101). ).

続いて、ステップS101の処理による周波数スペクトルの片側周波数のデータを切り出した後(ステップS102)、該周波数スペクトルの強度計算を行う(ステップS103)ことによって、画像を取得する。   Then, after extracting data of one side frequency of the frequency spectrum by the processing of step S101 (step S102), an image is obtained by calculating the intensity of the frequency spectrum (step S103).

そして、得られた画像に対してノイズ除去処理を行い(ステップS104)、続いてコントラスト強調処理(ステップS105)などを行う。その後、画像のカラーバランスを調整して(ステップS106)撮影画像として出力する。   Then, noise removal processing is performed on the obtained image (step S104), and subsequently, contrast enhancement processing (step S105) and the like are performed. Thereafter, the color balance of the image is adjusted (step S106), and the image is output as a captured image.

以上により、画像処理回路106による画像処理が終了となる。   Thus, the image processing by the image processing circuit 106 ends.

〈撮像装置の撮影原理〉
続いて、撮像装置101における撮影原理について説明する。
<Principle of imaging device imaging>
Next, the imaging principle of the imaging device 101 will be described.

まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン104,105は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。   First, the concentric lattice patterns 104 and 105 whose pitches become smaller in inverse proportion to the radius from the center are defined as follows. It is assumed that a laser interferometer or the like causes a spherical wave close to a plane wave to interfere with a plane wave used as reference light.

同心円の中心である基準座標からの半径をrとし、そこでの球面波の位相をφ(r)とするとき、これを波面の曲がりの大きさを決める係数βを用いて、   When the radius from the reference coordinate, which is the center of the concentric circle, is r, and the phase of the spherical wave there is φ (r), this is determined using a coefficient β that determines the magnitude of the wavefront bend.


と表せる。

Can be expressed as

球面波にもかかわらず、半径rの2乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、   In spite of the spherical wave, it is represented by the square of the radius r because it is a spherical wave close to a plane wave and can be approximated only by the lowest order of expansion. When a plane wave interferes with light having this phase distribution,


のような干渉縞の強度分布が得られる。

The intensity distribution of interference fringes as shown in FIG.

これは、   this is,


を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをpとすると、

Concentric stripes with a bright line at the radial position satisfying If the pitch of the stripe is p,


が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。

It can be seen that the pitch decreases in inverse proportion to the radius.

このような縞は、フレネルゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図1に示した格子パターン104,105として用いる。   Such stripes are called Fresnel zone plates. A grid pattern having a transmittance distribution proportional to the intensity distribution defined in this way is used as the grid patterns 104 and 105 shown in FIG.

このような格子パターンが両面に形成された厚さtの変調器102に、図4に示すように角度θ0で平行光が入射したとする。変調器102中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ=t・tanθだけずれて裏面に入射し、仮に2つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。   As shown in FIG. 4, it is assumed that parallel light enters the modulator 102 having a thickness t having such a lattice pattern on both sides at an angle θ0. In terms of geometrical optics, when the refraction angle in the modulator 102 is θ, the light multiplied by the transmittance of the front surface grating is incident on the back surface with a shift of δ = t · tan θ, and the center of the two concentric gratings is temporarily If they are formed to be aligned, the transmittance of the lattice on the back surface is shifted by δ and multiplied.

このとき、   At this time,


のような強度分布が得られる。

Is obtained.

この展開式の第4項が、2つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。   It can be seen that the fourth term of this expansion formula creates a stripe pattern at equal intervals straight in the direction of the displacement of the two grids over the overlapping region. Such a fringe generated at a relatively low spatial frequency by the superposition of the fringes is called a Moire fringe.

このようにまっすぐな等間隔の縞は、検出画像の2次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。   Such straight, regularly spaced fringes produce sharp peaks in the spatial frequency distribution obtained by two-dimensional Fourier transform of the detected image. From the frequency value, the value of δ, that is, the incident angle θ of the light beam can be obtained.

このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは不可能と考えられる。   It is clear that such moiré fringes uniformly obtained over the entire surface are generated at the same pitch irrespective of the direction of displacement due to the symmetry of the concentric lattice arrangement. Such stripes are obtained because the grating pattern is formed by the Fresnel zone plate, and it is considered impossible to obtain uniform stripes over the entire surface with other grating patterns.

第2項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかるが、2つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。   In the second term, it can be seen that fringes in which the intensity of the Fresnel zone plate is modulated by Moiré fringes are generated. However, since the frequency spectrum of the product of the two fringes is a convolution of each Fourier spectrum, a sharp peak is obtained. Absent.

(5)式から鋭いピークを持つ成分のみを   From equation (5), only the components having sharp peaks


のように取り出すと、そのフーリエスペクトルは、

And its Fourier spectrum is


のようになる。

become that way.

ただし、ここで、Fはフーリエ変換の演算を表し、u、vは、x方向およびy方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがu=±δβ/πの位置に生じることがわかる。   Here, F represents a Fourier transform operation, u and v are spatial frequency coordinates in the x and y directions, and δ with parentheses is a delta function. From this result, it can be seen that in the spatial frequency spectrum of the detected image, the peak of the spatial frequency of the moire fringes occurs at the position of u = ± δβ / π.

その様子を図5に示す。図5において、左から右にかけては、光線と変調器102の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図5(a)は、垂直入射、図5(b)は、左側から角度θで光線が入射する場合、図5(c)は、右側から角度θで光線が入射する場合をそれぞれ示している。   This is shown in FIG. In FIG. 5, from the left to the right, a schematic diagram of the arrangement of the light beam and the modulator 102, a moiré fringe, and a spatial frequency spectrum are shown. 5A shows a case where a light beam is incident at an angle θ from the left side, and FIG. 5B shows a case where a light beam is incident at an angle θ from the right side. .

変調器102の表面側に形成された格子パターン104と裏面側に形成された格子パターン105とは、軸がそろっている。図5(a)では、格子パターン104と格子パターン105との影が一致するのでモアレ縞は生じない。   The axes of the grating pattern 104 formed on the front side of the modulator 102 and the grating pattern 105 formed on the back side of the modulator 102 are aligned. In FIG. 5A, since the shadows of the grid pattern 104 and the grid pattern 105 match, no moire fringes occur.

図5(b)および図5(c)では、格子パターン104と格子パターン105とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図5(b)の場合なのか、あるいは図5(c)の場合なのかを判別することができなくなる。   In FIG. 5B and FIG. 5C, the same moire occurs because the displacement between the grid pattern 104 and the grid pattern 105 is equal, and the peak positions of the spatial frequency spectrum also match. It is impossible to determine whether the incident angle is the case of FIG. 5B or FIG. 5C.

これを避けるためには、変調器102に垂直に入射する光線に対しても2つの格子パターンの影がずれて重なるよう、例えば図6に示すように、あらかじめ2つの格子パターン104,105を光軸に対して相対的にずらしておくことが必要である。   In order to avoid this, the two grating patterns 104 and 105 are preliminarily illuminated as shown in FIG. It is necessary to keep the offset relative to the axis.

軸上の垂直入射平面波に対して2つの格子の影の相対的なずれをδ0とするとき、入射角θの平面波によって生じるずれδは、   Assuming that the relative shift between the shadows of the two gratings with respect to the on-axis normal plane wave is δ0, the shift δ caused by the plane wave at the incident angle θ is


のように表せる。

Can be expressed as

このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では   At this time, the peak of the spatial frequency spectrum of the moiré fringe of the light beam at the incident angle θ is on the plus side of the frequency.


の位置となる。

Position.

画像センサの大きさをS、画像センサのx方向およびy方向の画素数を共にNとすると、高速フーリエ変換(FFT)による離散画像の空間周波数スペクトルは、−N/(2S)から+N/(2S)の範囲で得られる。   Assuming that the size of the image sensor is S and the number of pixels in the x direction and the y direction of the image sensor is N, the spatial frequency spectrum of the discrete image by the fast Fourier transform (FFT) is from −N / (2S) to + N / ( 2S).

このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波(θ=0)によるモアレ縞のスペクトルピーク位置は、原点(DC:直流成分)位置と、例えば+側端の周波数位置との中央位置、すなわち、   From this, considering that the incident angle on the plus side and the incident angle on the minus side are equally received, the spectral peak position of the moiré fringe due to the vertically incident plane wave (θ = 0) is the origin (DC: DC component) position. And, for example, the center position between the frequency position on the + side end, that is,


の空間周波数位置とするのが妥当である。

It is appropriate to use the spatial frequency position of

したがって、2つの格子の相対的な中心位置ずれは、   Therefore, the relative center displacement of the two gratings is


とするのが妥当である。

Is appropriate.

図7は、格子パターン104と格子パターン105とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。   FIG. 7 is a schematic diagram illustrating the generation of moiré fringes and the frequency spectrum when the lattice patterns 104 and 105 are shifted from each other.

図5と同様にして、左側は光線と変調器102の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図7(a)は、光線が垂直入射の場合であり、図7(b)は、光線が左側から角度θで入射する場合であり、図7(c)は、光線が右側から角度θで入射する場合である。   As in FIG. 5, the left side shows the arrangement of the light beam and the modulator 102, the central row shows the moire fringes, and the right side shows the spatial frequency spectrum. 7A shows a case where the light beam is vertically incident, FIG. 7B shows a case where the light beam is incident at an angle θ from the left side, and FIG. This is a case where light is incident at θ.

格子パターン104と格子パターン105とは、あらかじめδ0だけずらして配置されている。そのため、図7(a)でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。   The grid pattern 104 and the grid pattern 105 are previously shifted by δ0. Therefore, moiré fringes also occur in FIG. 7A, and a peak appears in the spatial frequency spectrum.

そのずらし量δ0は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図7(b)では、ずれδがさらに大きくなる方向、図7(c)では、小さくなる方向となっているため、図5と異なり、図7(b)と図7(c)との違いがスペクトルのピーク位置から判別できる。   As described above, the shift amount δ0 is set such that the peak position appears at the center of the spectrum range on one side from the origin. At this time, in FIG. 7 (b), the deviation δ is in a direction in which the deviation is further increased, and in FIG. 7 (c), the deviation is in a direction in which the deviation is smaller. Can be determined from the peak position of the spectrum.

このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図1の撮像装置101による撮影像にほかならない。   The spectrum image of this peak is a luminescent spot indicating a light beam at infinity, and is nothing but an image captured by the imaging device 101 in FIG.

受光できる平行光の入射角の最大角度をθmaxとすると、   When the maximum angle of incidence of parallel light that can be received is θmax,


より、撮像装置101にて受光できる最大画角は、

Therefore, the maximum angle of view that can be received by the imaging device 101 is


で与えられる。

Given by

一般的なレンズを用いた結像との類推から、画角θmaxの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置101の実効的な焦点距離は、   By analogy with image formation using a general lens, considering that parallel light having an angle of view θmax is focused at the end of the image sensor and received, the effective focal length of the imaging device 101 without a lens is:


に相当すると考えることができる。

Can be considered as equivalent to

なお(2)式で示したように、格子パターンの透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子パターンの基本周波数成分としてそのような成分があれば、格子パターンの透過率を2値化して、透過率が高い格子領域と低い領域のdutyを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。   As shown in equation (2), it is assumed that the transmittance distribution of the grating pattern basically has a sinusoidal characteristic, but such a component is considered as a fundamental frequency component of the grating pattern. For example, it is conceivable to binarize the transmittance of the grating pattern, change the duty of the grating region having a high transmittance and the duty of the region having a low transmittance, and increase the width of the region having a high transmittance to increase the transmittance.

以上の説明では、いずれも入射光線は同時には1つの入射角度だけであったが、実際に撮像装置101がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。   In the above description, the incident light beam has only one incident angle at the same time. However, in order for the imaging device 101 to actually act as a camera, it is assumed that light beams at a plurality of incident angles are incident simultaneously. There must be.

このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である格子パターン105とのモアレ縞の検出を阻害するノイズとなることが懸念される。   The light of such a plurality of incident angles already overlaps the images of the plurality of front side gratings at the time of being incident on the back side grating pattern. If they generate moire fringes mutually, there is a concern that noise may be generated that hinders detection of moire fringes with the lattice pattern 105 as a signal component.

しかし、実際は、格子パターン104の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側の格子パターン105との重なりだけになる。   However, actually, the overlap of the images of the lattice pattern 104 does not cause a peak of the moire image, and the peak occurs only at the overlap with the lattice pattern 105 on the back side.

その理由について以下に説明する。   The reason will be described below.

まず、複数の入射角の光線による表面側の格子パターン104の影どうしの重なりは、積ではなく和であることが大きな違いである。1つの入射角の光による格子パターン104の影と格子パターン105との重なりでは、格子パターン104の影である光の強度分布に、格子パターン105の透過率を乗算することで、裏面側の格子パターン105を透過したあとの光強度分布が得られる。   First, a significant difference is that the overlapping of the shadows of the lattice pattern 104 on the front side by the light beams at a plurality of incident angles is not a product but a sum. In the overlap between the shadow of the grid pattern 104 and the grid pattern 105 due to the light at one incident angle, the intensity distribution of the light that is the shadow of the grid pattern 104 is multiplied by the transmittance of the grid pattern 105 to obtain the grid on the back side. The light intensity distribution after passing through the pattern 105 is obtained.

これに対して、表面側の格子パターン104に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、   On the other hand, the overlap of the shadows caused by the lights having different angles incident on the lattice pattern 104 on the front surface side is not the product but the sum, because the lights are overlapped. In the case of sum,


のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。

The distribution is obtained by multiplying the distribution of the grating of the original Fresnel zone plate by the distribution of the moire fringes.

したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。   Therefore, the frequency spectrum is represented by the overlap integral of each frequency spectrum. Therefore, even if the moire spectrum has a sharp peak by itself, a ghost of the frequency spectrum of the Fresnel zone plate is actually generated at that position. That is, no sharp peak occurs in the spectrum.

したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の格子パターン104と裏面側の格子パターン105との積のモアレだけであり、格子パターン105が単一である以上、検出されるスペクトルのピークは1つの入射角に対して1つだけとなるのである。   Therefore, the spectrum of the moiré image detected even when light having a plurality of incident angles is applied is always only the moiré of the product of the lattice pattern 104 on the front side and the lattice pattern 105 on the back side, and the single lattice pattern 105 Therefore, only one peak of the spectrum is detected for one incident angle.

〈撮影原理の確認〉
以下、原理を確認するために行ったシミュレーションの結果を図8および図9に示す。
<Confirmation of shooting principle>
Hereinafter, the results of a simulation performed to confirm the principle are shown in FIGS. 8 and 9.

図8は、垂直入射平面波とその他9個の異なる入射角の平面波の計10個の光で照射したときの空間周波数スペクトル像の計算結果を示す説明図である。図9は、垂直入射平面波とその他9個の異なる入射角の平面波の計10個の光で照射したときの空間周波数スペクトル像の計算結果を示す鳥瞰図である。   FIG. 8 is an explanatory diagram showing a calculation result of a spatial frequency spectrum image when illuminated with a total of 10 lights of a vertical incident plane wave and nine other plane waves having different incident angles. FIG. 9 is a bird's-eye view showing a calculation result of a spatial frequency spectrum image when illuminated with a total of 10 lights of a normal incidence plane wave and nine other plane waves having different incident angles.

いずれも画像センサ103のセンササイズ20mm□、視野角θmax=±70°、入射側および出射側格子係数β=50(rad/mm2)、δ0=0.8mm、画素数1024×1024、変調器102における基板厚さ1mm、基板屈折率1.5のときに、垂直入射平面波と、θx=50°、θy=30°の入射光と、θx=−30°、θy=70°の入射光と、θx=10°、θy=−20°の入射光と、θx=20°、θy=30°の入射光と、θx=30°、θy=−40°の入射光と、θx=−10°、θy=40°の入射光と、θx=−20°、θy=−30°の入射光と、θx=−30°、θy=0°の入射光と、θx=40°、θy=50°の入射光と、の合計10個の平面波を入射させたときのスペクトルである。   In each case, the sensor size of the image sensor 103 is 20 mm □, the viewing angle θmax = ± 70 °, the incident-side and exit-side lattice coefficients β = 50 (rad / mm2), δ0 = 0.8 mm, the number of pixels is 1024 × 1024, and the modulator 102 is used. When the substrate thickness is 1 mm and the substrate refractive index is 1.5, a vertical incident plane wave, incident light of θx = 50 ° and θy = 30 °, incident light of θx = −30 ° and θy = 70 °, incident light of θx = 10 °, θy = −20 °, incident light of θx = 20 °, θy = 30 °, incident light of θx = 30 °, θy = −40 °, θx = −10 °, incident light at θy = 40 °, incident light at θx = −20 °, θy = −30 °, incident light at θx = −30 °, θy = 0 °, and θx = 40 °, θy = 50 ° It is a spectrum when a total of 10 plane waves of incident light and incident light are incident.

図8は、スペクトル画像の白黒反転像であり、図9は、スペクトル画像の輝度を示す鳥瞰図である。元のモアレ像自体は、格子ピッチも細かく、本明細書の図面として表示しても視認できないため省略した。   FIG. 8 is a black-and-white inverted image of the spectrum image, and FIG. 9 is a bird's-eye view showing the luminance of the spectrum image. The original moiré image itself is omitted because it has a fine lattice pitch and is invisible even when displayed as a drawing in this specification.

図中、中心がDC成分、周辺が±N/2Sの空間周波数スペクトル領域の全域を表示している。DC成分は値が大きいため、マスキングをして取り除き、検出すべきピーク成分のみを表示している。さらに、そのままではスペクトルのピーク幅が狭く、視認しにくいため、コントラストを強調している。   In the drawing, the center represents the DC component, and the periphery represents the entire spatial frequency spectrum region of ± N / 2S. Since the DC component has a large value, it is masked and removed, and only the peak component to be detected is displayed. Furthermore, the contrast is emphasized because the peak width of the spectrum is narrow and it is difficult to recognize the spectrum as it is.

また、図8では、当該信号ピークの位置を○印にて囲んで表示している。図9の鳥瞰図は、そのままでは描線がピークを通らずに表示できないので、メッシュサイズの平均化フィルタをかけた結果を表示している。   In FIG. 8, the positions of the signal peaks are indicated by circles. In the bird's-eye view of FIG. 9, since the drawing line cannot be displayed without passing through the peak as it is, the result obtained by applying an averaging filter of the mesh size is displayed.

いずれも基本的に10本のピークが原点を挟んで正負両側に計20本のピークとして検出できていることを示している。この場合、格子パターンの最外周のピッチは約6μm程度であり、実効的焦点距離は12.4mm程度であった。   In each case, basically, 10 peaks can be detected as a total of 20 peaks on both the positive and negative sides of the origin. In this case, the pitch of the outermost periphery of the lattice pattern was about 6 μm, and the effective focal length was about 12.4 mm.

ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応を図10を用いて模式的に説明する。   Here, the correspondence between parallel light, which has been described so far, and light from an actual object will be schematically described with reference to FIG.

図10は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。   FIG. 10 is an explanatory diagram for explaining an angle formed by light from each point constituting the object with respect to the image sensor.

被写体301を構成する各点からの光は、厳密には点光源からの球面波として、図1の撮像装置101の変調器102および画像センサ103(以下、図10では格子センサ一体基板という)に入射する。   Light from each point constituting the subject 301 is strictly a spherical wave from a point light source, and is transmitted to the modulator 102 and the image sensor 103 (hereinafter, referred to as a grating sensor integrated substrate in FIG. 10) of the imaging device 101 in FIG. Incident.

このとき、被写体301に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。   At this time, when the grid sensor integrated substrate is sufficiently small or sufficiently far from the subject 301, it can be considered that the incident angle of light illuminating the grid sensor integrated substrate is the same from each point.

(9)式から求められる微小角度変位Δθに対するモアレの空間周波数変位Δuが、画像センサの空間周波数の最小解像度である1/S以下となる関係から、Δθが平行光とみなせる条件は、   From the relationship that the spatial frequency displacement Δu of the moire with respect to the minute angular displacement Δθ obtained from the equation (9) is 1 / S or less, which is the minimum resolution of the spatial frequency of the image sensor, the condition that Δθ can be regarded as parallel light is


のように表せる。

Can be expressed as

これから、Δθ<0.18°であれば、これは20mmのセンササイズであれば被写体から6m離れれば実現できる条件である。   From this, if Δθ <0.18 °, this is a condition that can be realized at a distance of 6 m from the subject if the sensor size is 20 mm.

以上の結果の類推から、無限遠の物体に対して本発明の撮像装置で結像が可能であることがわかる。   From the analogy of the above results, it can be seen that the imaging device of the present invention can form an image at an object at infinity.

以上、高速フーリエ変換(FFT)などの簡単な演算によって、外界の物体像を得ることができる。これにより、物体像の取得までの処理時間を短縮することができる。   As described above, an object image of the outside world can be obtained by a simple operation such as fast Fourier transform (FFT). This makes it possible to reduce the processing time until the acquisition of the object image.

また、高性能な演算処理装置が不要となるので、撮像装置101のハードウェアコストを低減することができる、さらに、演算の処理時間が短縮することによって、撮像装置101の消費電力を削減することができる。   Further, since a high-performance arithmetic processing device is not required, hardware cost of the imaging device 101 can be reduced. Further, power consumption of the imaging device 101 can be reduced by shortening the processing time of the calculation. Can be.

(実施の形態2)
〈概略〉
前記実施の形態1では、撮像装置101から出力される画像が縦長であったが、本実施の形態2においては、出力画像を横長とする場合について説明する。
(Embodiment 2)
<Overview>
In the first embodiment, the image output from the imaging device 101 is vertically long. However, in the second embodiment, a case where the output image is horizontally long will be described.

前記実施の形態1では、前述したように、格子パターン104と格子パターン105とを画像センサ103のx(横)方向にずらされて形成されている。言い換えれば画像処理回路106から出力される長方形状の画像の長辺方向にずれるように形成されているものとした。   In the first embodiment, as described above, the grid pattern 104 and the grid pattern 105 are formed so as to be shifted in the x (horizontal) direction of the image sensor 103. In other words, the rectangular image output from the image processing circuit 106 is formed so as to be shifted in the long side direction.

〈格子パターンの形成例〉
図11は、格子パターン104,105を横方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。
<Example of forming lattice pattern>
FIG. 11 is an explanatory diagram showing an example of the spatial frequency spectrum when the lattice patterns 104 and 105 are shifted in the horizontal direction.

このとき、画像センサ103の形状は正方形としており、その画素ピッチもx方向とy方向とでいずれも同じとする。この場合、図11の右側に示すように、画像センサの出力の空間周波数スペクトルは、x、y両方±N/Sの周波数範囲内にて、像が左右に分離して再生されていることになる。   At this time, the shape of the image sensor 103 is a square, and the pixel pitch is the same in both the x and y directions. In this case, as shown on the right side of FIG. 11, the spatial frequency spectrum of the output of the image sensor is such that the image is reproduced left and right separately within the frequency range of both x and y ± N / S. Become.

しかし、図11に示す例であると、画像は、基本的に縦長のエリアに限定されることになる。一般に、デジタルカメラなどにて取得される画像は、例えばアスペクト比が3:2あるいは4:3などの横長の長方形である。よって、横長の長方形に適した格子パターン104,105の配置としては、例えば図12に示すようなものが望ましい。   However, in the example shown in FIG. 11, the image is basically limited to a vertically long area. Generally, an image obtained by a digital camera or the like is a horizontally long rectangle having an aspect ratio of 3: 2 or 4: 3, for example. Therefore, as an arrangement of the lattice patterns 104 and 105 suitable for a horizontally long rectangle, for example, the arrangement shown in FIG. 12 is desirable.

図12は、格子パターン104,105を縦方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。   FIG. 12 is an explanatory diagram showing an example of a spatial frequency spectrum when the lattice patterns 104 and 105 are shifted in the vertical direction.

格子パターン104および格子パターン105は、図12に示すように、画像センサの上下方向、すなわち画像センサのy方向にずれて形成されている。言い換えれば、格子パターン104および格子パターン105は、画像処理回路106から出力される長方形状の画像の短辺方向にそれぞれずらされて形成されている。これによって、画像センサ出力の空間周波数空間に形成される画像は、図12の右側に示すように上下に分離することになる。   As shown in FIG. 12, the lattice patterns 104 and 105 are formed so as to be shifted in the vertical direction of the image sensor, that is, in the y direction of the image sensor. In other words, the grid pattern 104 and the grid pattern 105 are formed so as to be shifted in the short side direction of the rectangular image output from the image processing circuit 106. As a result, the image formed in the spatial frequency space of the image sensor output is vertically separated as shown on the right side of FIG.

以上によって、撮像装置101から出力される画像を横長とすることができる。これによって、一般的なデジタルカメラと同様に画像が得られることになるので、撮像装置101の汎用性を高めることができる。   As described above, the image output from the imaging device 101 can be made horizontally long. As a result, an image can be obtained in the same manner as a general digital camera, so that the versatility of the imaging apparatus 101 can be improved.

(実施の形態3)
〈概略〉
前記実施の形態1,2の変調器102では、格子基板102aの表面および裏面にそれぞれ同一形状の格子パターン104および格子パターン105を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を構成していた。
(Embodiment 3)
<Overview>
In the modulators 102 according to the first and second embodiments, the grating pattern 104 and the grating pattern 105 having the same shape are formed on the front surface and the back surface of the grating substrate 102a so as to be shifted from each other. The image was detected from the spatial frequency spectrum of the image.

裏面側の格子パターン105は、画像センサ103に密着して入射する光の強度を変調する光学素子である。そのため、画像センサの感度を実効的に裏面側の格子パターン105の透過率を加味して設定することで、処理画像の中で仮想的にモアレを生じさせることができる。   The lattice pattern 105 on the back side is an optical element that modulates the intensity of light incident on the image sensor 103 in close contact therewith. Therefore, by setting the sensitivity of the image sensor effectively in consideration of the transmittance of the lattice pattern 105 on the rear surface side, moire can be virtually generated in the processed image.

〈撮像装置の構成例〉
図13は、本実施の形態3による撮像装置101における構成の一例を示す説明図である。
<Configuration example of imaging device>
FIG. 13 is an explanatory diagram illustrating an example of a configuration of the imaging device 101 according to the third embodiment.

図13の撮像装置101が、前記実施の形態1の図1の撮像装置101と異なるところは、格子基板102aの裏面側に、図1に示す格子パターン105が形成されていない点である。その他の構成については、図1と同様であるので、説明は省略する。   The imaging device 101 of FIG. 13 differs from the imaging device 101 of FIG. 1 of the first embodiment in that the lattice pattern 105 shown in FIG. 1 is not formed on the back side of the lattice substrate 102a. Other configurations are the same as those in FIG.

図13の構成とすることによって、格子基板102aに形成する格子パターンを1面減らすことができる。それにより、変調器102の製造コストを低減することができる。   With the configuration of FIG. 13, the number of grid patterns formed on the grid substrate 102a can be reduced by one. Thereby, the manufacturing cost of the modulator 102 can be reduced.

しかし、この場合、画像センサ103が有する画素103aのピッチは、格子パターンのピッチを十分再現できる程度に細かいか、あるいは格子パターンのピッチが画像センサ103の画素ピッチにて再現できる程度に粗いことが必要である。   However, in this case, the pitch of the pixels 103a included in the image sensor 103 may be fine enough to sufficiently reproduce the pitch of the grid pattern, or coarse enough so that the pitch of the grid pattern can be reproduced at the pixel pitch of the image sensor 103. is necessary.

格子パターンを格子基板102aの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ103の画素103aにて解像できる必要はなく、そのモアレ像だけが解像できればよい。よって、画素ピッチとは独立に格子パターンのピッチを決めることができる。   When the grid pattern is formed on both sides of the grid substrate 102a, the pitch of the grid pattern does not necessarily need to be resolvable by the pixels 103a of the image sensor 103, and only the moiré image needs to be resolvable. Therefore, the pitch of the lattice pattern can be determined independently of the pixel pitch.

しかし、画像センサ103で格子パターンを再現する場合は、格子パターンと画像センサ103の解像度は、同等である必要がある。よって、画像処理回路106には、画像センサ103の出力画像に対してモアレを生成するための裏面側の格子パターン105(図1)に相当する強度変調回路106cが設けられている。   However, when a grid pattern is reproduced by the image sensor 103, the resolution of the grid pattern and the resolution of the image sensor 103 need to be equal. Therefore, the image processing circuit 106 is provided with an intensity modulation circuit 106c corresponding to the back side grid pattern 105 (FIG. 1) for generating moire for the output image of the image sensor 103.

〈画像処理回路の画像処理例〉
図14は、図13の撮像装置101が有する画像処理回路106による画像処理の概略を示すフローチャートである。
<Image processing example of image processing circuit>
FIG. 14 is a flowchart illustrating an outline of image processing by the image processing circuit 106 included in the imaging apparatus 101 in FIG.

この図14におけるフローチャートが前記実施の形態1の図3のフローチャートと異なるところは、ステップS201の処理である。ステップS201の処理では、前述した強度変調回路106cにより、画像センサ103から出力される画像に対して、裏面側の格子パターンに相当するモアレ縞画像を生成する。   14 differs from the flowchart of FIG. 3 of the first embodiment in the processing of step S201. In the process of step S201, the above-described intensity modulation circuit 106c generates a moiré fringe image corresponding to the lattice pattern on the back side with respect to the image output from the image sensor 103.

以降、図14のステップS202〜S208の処理は、前記実施の形態1の図3のステップS101〜S107の処理と同様であるので、ここでは、説明を省略する。   Thereafter, the processing of steps S202 to S208 in FIG. 14 is the same as the processing of steps S101 to S107 in FIG. 3 of the first embodiment, and a description thereof will not be repeated.

このように、強度変調回路106cを設けることによって、裏面側の格子パターン105(図1)を可変にすることと同様の効果を得ることができ、検出光は必ずしも平行光でなくてもよくすることが可能である。   As described above, by providing the intensity modulation circuit 106c, the same effect as changing the lattice pattern 105 (FIG. 1) on the back side can be obtained, and the detection light does not necessarily have to be parallel light. It is possible.

〈焦点合わせについて〉
図15は、結像する物体が有限距離にある場合に表面側の格子パターン104の裏面への射影が該格子パターン104より拡大されることを示す説明図である。
<About focusing>
FIG. 15 is an explanatory diagram showing that when the object to be imaged is at a finite distance, the projection of the lattice pattern 104 on the front surface onto the back surface is enlarged more than the lattice pattern 104.

図15に示すように、物体を構成する点1301からの球面波が表面側の格子パターン104を照射し、その影1302が下の面に投影される場合、下の面に投影される像は、ほぼ一様に拡大される。   As shown in FIG. 15, when a spherical wave from a point 1301 constituting the object irradiates the lattice pattern 104 on the surface side and its shadow 1302 is projected on the lower surface, the image projected on the lower surface is , Are expanded almost uniformly.

そのため、平行光に対して設計された裏面側の格子パターン(図1の格子パターン105に相当)の透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された表面側の格子パターン104の影に合わせて、下面の格子を拡大するならば、拡大された影1302に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。   Therefore, if the transmittance distribution of the lattice pattern on the back side (corresponding to the lattice pattern 105 in FIG. 1) designed for parallel light is multiplied as it is, linear moire fringes at equal intervals will not occur. However, if the grid on the lower surface is enlarged in accordance with the uniformly enlarged shadow of the grid pattern 104 on the front surface side, equally-spaced linear Moire fringes are generated again for the enlarged shadow 1302. be able to.

これにより、必ずしも無限遠でない距離の点1301からの光を選択的に再生することができる。これによって、焦点合わせが可能となり、前記実施の形態1に示したような無限遠での撮影ではなく、任意の位置に焦点合わせて撮影を行うことができる。   Thus, light from the point 1301 at a distance that is not necessarily infinity can be selectively reproduced. Thereby, focusing can be performed, and it is possible to perform imaging by focusing on an arbitrary position instead of imaging at infinity as described in the first embodiment.

以上により、撮像装置101の利便性を高めることができる。   As described above, the convenience of the imaging device 101 can be improved.

(実施の形態4)
本実施の形態4においては、図1の表面側の格子パターン104を可変とする技術について説明する。
(Embodiment 4)
In the fourth embodiment, a technique for changing the lattice pattern 104 on the front surface side in FIG. 1 will be described.

〈撮像装置の構成例および動作例〉
図16は、本実施の形態4による撮像装置101における構成の一例を示す説明図である。
<Configuration example and operation example of imaging device>
FIG. 16 is an explanatory diagram illustrating an example of a configuration of the imaging device 101 according to the fourth embodiment.

図16の撮像装置101が、前記実施の形態1の図1における撮像装置101と異なる点は、変調器102に液晶部108が新たに設けられたところ、およびピント位置指定入力部109が新たに設けられたところである。なお、図16における画像センサ103の構成については、図1と同様であるので、説明は省略する。   The imaging device 101 of FIG. 16 differs from the imaging device 101 of FIG. 1 of the first embodiment in that a liquid crystal unit 108 is newly provided in the modulator 102 and a focus position designation input unit 109 is newly added. It has just been provided. Note that the configuration of the image sensor 103 in FIG. 16 is the same as that in FIG.

液晶部108は、例えば透明電極などが形成された図示しないガラス基板に同じく図示しない液晶層が設けられた構成からなり、該液晶層がガラス基板と格子基板102aとの間に挟まるように形成されている。   The liquid crystal unit 108 has a configuration in which a liquid crystal layer (not shown) is provided on a glass substrate (not shown) on which a transparent electrode or the like is formed, for example. The liquid crystal layer is formed so as to be sandwiched between the glass substrate and the lattice substrate 102a. ing.

この液晶層には、任意の格子パターン1403が表示され、該格子パターン1403が表面側の格子パターン104として作用する。変調器102における格子基板102aの裏面側には、図1と同様に格子パターン105が形成されている。   An arbitrary lattice pattern 1403 is displayed on the liquid crystal layer, and the lattice pattern 1403 functions as the lattice pattern 104 on the front side. A grating pattern 105 is formed on the back side of the grating substrate 102a in the modulator 102, as in FIG.

ピント位置指定入力部109は、例えば被写体までの距離などの情報であるピント位置を設定する入力部であり、画像処理回路106に接続されている。また、画像処理回路106には、液晶駆動回路106aおよび格子パターン生成回路106bが設けられている。   The focus position designation input unit 109 is an input unit for setting a focus position which is information such as a distance to a subject, and is connected to the image processing circuit 106. Further, the image processing circuit 106 is provided with a liquid crystal drive circuit 106a and a lattice pattern generation circuit 106b.

格子パターン生成回路106bは、ピント位置指定入力部109から入力されたピント位置に基づいて、焦点合わせに最適な格子パターンを生成する。液晶駆動回路106aは、格子パターン生成回路106bが生成した格子パターンが液晶部108の液晶層に表示されるようにガラス基板に形成されている透明電極に電圧を印加して表示制御を行う。   The lattice pattern generation circuit 106b generates a lattice pattern optimal for focusing based on the focus position input from the focus position designation input unit 109. The liquid crystal driving circuit 106a controls the display by applying a voltage to the transparent electrode formed on the glass substrate so that the grid pattern generated by the grid pattern generating circuit 106b is displayed on the liquid crystal layer of the liquid crystal unit 108.

基本的に無限遠より近い、有限距離の点1301からの光は、発散光であるので、裏面側の格子パターン105と裏面にて同じ大きさになるためには表面側の格子パターン104を格子パターン105よりもやや縮小して表示すればよいことになる。   Basically, light from a point 1301 at a finite distance closer to infinity than the infinity is divergent light. Therefore, in order to have the same size on the back side as the grid pattern 105, the front side grid pattern 104 must be It is only necessary to display the pattern slightly smaller than the pattern 105.

以上により、より高速な焦点合わせを可能とすることができる。   As described above, higher-speed focusing can be performed.

(実施の形態5)
本実施の形態5では、両面格子基板に形成される表面側の格子パターンの他の例について説明する。
(Embodiment 5)
In the fifth embodiment, another example of the front-side lattice pattern formed on the double-sided lattice substrate will be described.

〈格子パターンの形成例〉
図17は、本実施の形態5による変調器102における構成の一例を示す説明図である。
<Example of forming lattice pattern>
FIG. 17 is an explanatory diagram showing an example of the configuration of the modulator 102 according to the fifth embodiment.

前記実施の形態1では、変調器102の格子パターン104(図1)を、例えば印刷やスパッタリング法などによって形成したが、図17の変調器102においては、シリンドリカルレンズ110によって構成されている。なお、格子基板102aの裏面側の格子パターン105については、前記実施の形態1の図1と同様である。   In the first embodiment, the grating pattern 104 (FIG. 1) of the modulator 102 is formed by, for example, printing or sputtering. However, the modulator 102 of FIG. 17 includes a cylindrical lens 110. The lattice pattern 105 on the back side of the lattice substrate 102a is the same as that in FIG. 1 of the first embodiment.

この場合、変調器102における格子基板102aの表面に、図1の格子パターン104と同様のパターンとなるようにシリンドリカルレンズ110を配列させて形成されている。シリンドリカルレンズ110は、面が円筒面にて形成されたレンズであり、垂直方向には、凸レンズの曲率を持ち、水平方向には曲率のないレンズである。   In this case, the cylindrical lenses 110 are arranged on the surface of the grating substrate 102a of the modulator 102 so as to have a pattern similar to the grating pattern 104 of FIG. The cylindrical lens 110 is a lens whose surface is formed by a cylindrical surface, has a curvature of a convex lens in the vertical direction, and has no curvature in the horizontal direction.

このように、格子パターンをシリンドリカルレンズ110にて形成することによって、光量の損失を大幅に低減することができる。例えば前記実施の形態1に述べたように、印刷パターンなどによって濃淡をつけた格子パターンでは、その格子パターンの印刷部分は、光を遮断してしまうことになり、光量を大きく損失してしまうことになる。   As described above, by forming the lattice pattern with the cylindrical lens 110, the loss of the light amount can be significantly reduced. For example, as described in the first embodiment, in a grid pattern with shading by a printing pattern or the like, the printed portion of the grid pattern blocks light, and the light amount is greatly reduced. become.

一方、シリンドリカルレンズ110の場合には、光を遮ることがないでの、光利用効率を向上させることができる。   On the other hand, in the case of the cylindrical lens 110, the light use efficiency can be improved without blocking the light.

以上により、撮像装置101におけるS/N比(Signal-to-Noise ratio)を大きくすることができるので、描画性能を向上させることができる。   As described above, the S / N ratio (Signal-to-Noise ratio) of the imaging apparatus 101 can be increased, and thus the drawing performance can be improved.

(実施の形態6)
〈携帯情報端末の構成例〉
本実施の形態6においては、前記実施の形態5における撮像装置101を用いて構成された携帯情報端末について説明する。
(Embodiment 6)
<Configuration example of portable information terminal>
In the sixth embodiment, a portable information terminal configured using the imaging device 101 according to the fifth embodiment will be described.

図18は、本実施の形態6による携帯情報端末200の一例を示す外観図である。   FIG. 18 is an external view showing an example of the portable information terminal 200 according to the sixth embodiment.

携帯情報端末200は、例えばスマートフォンなどである。なお、携帯情報端末200は、スマートフォンに限定されるものではなく、例えばタブレットなどのカメラが内蔵された携帯型の端末であればよい。   The portable information terminal 200 is, for example, a smartphone or the like. Note that the portable information terminal 200 is not limited to a smartphone, but may be any portable terminal having a built-in camera such as a tablet.

携帯情報端末200には、撮像装置101が内蔵されている。この携帯情報端末200の裏面には、開口窓202が設けられており、携帯情報端末200の内部において図16の変調器102が開口窓202に近接するように設けられている。   An imaging device 101 is built in the portable information terminal 200. An opening window 202 is provided on the back surface of the portable information terminal 200, and the modulator 102 of FIG. 16 is provided inside the portable information terminal 200 so as to be close to the opening window 202.

また、携帯情報端末200の一方の長辺側の側面には、ピント調整用のつまみ201が設けられている。このつまみ201が、前記実施の形態4のピント位置指定入力部109に相当する。   On one long side of the portable information terminal 200, a focus adjustment knob 201 is provided. The knob 201 corresponds to the focus position designation input unit 109 according to the fourth embodiment.

つまみ201を回すことによってピント位置が設定され、その設定されたピント位置に応じて、任意の格子パターン1403が図16の液晶部108の液晶層に表示される。その結果、任意の距離にある物体の像を撮影することができる。   The focus position is set by turning the knob 201, and an arbitrary lattice pattern 1403 is displayed on the liquid crystal layer of the liquid crystal unit 108 in FIG. 16 according to the set focus position. As a result, an image of an object at an arbitrary distance can be captured.

撮像装置101は、前記実施の形態1に示した(14)式に従って、実効的な焦点距離を長くできる。そのため、撮像装置101を薄くしたままで、開口を大きくすることができる。   The imaging device 101 can increase the effective focal length according to the expression (14) shown in the first embodiment. Therefore, the aperture can be enlarged while the imaging device 101 is kept thin.

一般的なレンズを用いたスマートフォン用デジタルカメラの場合には、情報携帯機器の厚みを小さくするために、レンズの開口を小さくせざるを得ない。よって、焦点距離が短くなり、像がのっぺりとしてぼけ味が出せないことなる。   In the case of a digital camera for a smartphone using a general lens, the aperture of the lens must be reduced in order to reduce the thickness of the portable information device. As a result, the focal length becomes short, and the image is not sufficiently blurred.

一方、撮像装置101では、上述したように開口を大きくすることができるので、綺麗なぼけを出すことができる
以上により、描写性能が高い携帯情報端末200を実現することができる。
On the other hand, in the imaging device 101, since the opening can be enlarged as described above, a beautiful blur can be obtained. As described above, the portable information terminal 200 with high delineation performance can be realized.

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。   As described above, the invention made by the inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and various modifications can be made without departing from the gist of the invention. Needless to say.

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。   Note that the present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described above.

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。   In addition, part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of one embodiment can be added to the configuration of another embodiment. . In addition, it is possible to add, delete, or replace another configuration with respect to a part of the configuration of each embodiment.

101 撮像装置
102 変調器
102a 格子基板
103 画像センサ
103a 画素
104 格子パターン
105 格子パターン
106 画像処理回路
106a 液晶駆動回路
106b 格子パターン生成回路
106c 強度変調回路
107 モニタディスプレイ
108 液晶部
109 ピント位置指定入力部
110 シリンドリカルレンズ
200 携帯情報端末
201 つまみ
202 開口窓
101 Imaging device 102 Modulator 102a Lattice substrate 103 Image sensor 103a Pixel 104 Lattice pattern 105 Lattice pattern 106 Image processing circuit 106a Liquid crystal drive circuit 106b Lattice pattern generation circuit 106c Intensity modulation circuit 107 Monitor display 108 Liquid crystal unit 109 Focus position designation input unit 110 Cylindrical lens 200 Portable information terminal 201 Knob 202 Opening window

Claims (19)

受光面に配列された複数の画素により受光した光を画像信号に変換して出力する画像センサと、
前記画像センサの受光面側に配置され、光を変調する変調器と、
前記画像センサから出力される画像信号の画像処理を行う画像処理部と、
を備え、
前記変調器は、互いに対向して配置された2つの同心円状パターンを有し、かつ
入射される光を前記2つの同心円状パターンで変調し、
前記画像センサは、前記変調器により変調された光を受光する、撮像装置。
An image sensor that converts light received by the plurality of pixels arranged on the light receiving surface into an image signal and outputs the image signal;
A modulator arranged on the light receiving surface side of the image sensor and modulating light,
An image processing unit that performs image processing on an image signal output from the image sensor;
With
The modulator has two concentric patterns disposed opposite to each other, and modulates incident light with the two concentric patterns.
The imaging device, wherein the image sensor receives light modulated by the modulator.
請求項1記載の撮像装置において、
前記2つの同心円状パターンのそれぞれにおける同心円のピッチは、前記同心円の中心から外側に向かうに従い狭くなる、撮像装置。
The imaging device according to claim 1,
An imaging apparatus, wherein a pitch of concentric circles in each of the two concentric patterns becomes narrower outward from a center of the concentric circles.
請求項1記載の撮像装置において、
前記画像処理部は、前記画像センサから出力される画像信号を2次元フーリエ変換して周波数スペクトルを算出する、撮像装置。
The imaging device according to claim 1,
The imaging device, wherein the image processing unit calculates a frequency spectrum by performing a two-dimensional Fourier transform on an image signal output from the image sensor.
請求項2記載の撮像装置において、
前記2つの同心円状パターンにおける各同心円の中心位置は、互いにずれている、撮像装置。
The imaging device according to claim 2,
An imaging apparatus, wherein the center positions of the concentric circles in the two concentric patterns are shifted from each other.
請求項4記載の撮像装置において、
前記2つの同心円状パターンにおける同心円の中心位置は、前記画像処理部から出力される画像の短辺方向に互いにずれている、撮像装置。
The imaging device according to claim 4,
An imaging device, wherein the center positions of the concentric circles in the two concentric patterns are shifted from each other in a short side direction of an image output from the image processing unit.
請求項1記載の撮像装置において、
前記2つの同心円状パターンの1つは、シリンドリカルレンズによって形成される、撮像装置。
The imaging device according to claim 1,
An imaging device, wherein one of the two concentric patterns is formed by a cylindrical lens.
請求項1に記載の撮像装置において、
前記変調器は透明基板を有し、該透明基板の両面にそれぞれ前記同心円状パターンが形成されている、撮像装置。
The imaging device according to claim 1,
The imaging device, wherein the modulator has a transparent substrate, and the concentric pattern is formed on both surfaces of the transparent substrate.
被写体の画像を生成する撮像装置において、
互いに対向して配置された第1の同心円状パターンと第2の同心円状パターンを有し、前記被写体の光を前記第1の同心円状パターン及び前記第2の同心円状パターンで変調することによりモアレ縞を含む光学像を形成する変調器と、
前記変調器で形成された前記モアレ縞を含む光学像を受光し、画像信号に変換して出力する画像センサと、
前記画像センサから出力された前記モアレ縞を含む光学像に対して、フーリエ変換を含む画像処理を施して前記被写体の画像を生成する画像処理部と、
を備える撮像装置。
In an imaging device that generates an image of a subject,
It has a first concentric pattern and a second concentric pattern arranged opposite to each other, and modulates the light of the subject with the first concentric pattern and the second concentric pattern to form moiré. A modulator for forming an optical image including fringes;
An image sensor that receives an optical image including the moiré fringe formed by the modulator, converts the optical image into an image signal, and outputs the image signal.
An image processing unit that performs image processing including Fourier transform on an optical image including the moiré fringes output from the image sensor to generate an image of the subject,
An imaging device comprising:
請求項8記載の撮像装置において、
前記第1の同心円状パターンおよび前記第2の同心円状パターンのそれぞれにおける同心円のピッチは、前記同心円の中心から外側に向かうに従い狭くなる、撮像装置。
The imaging device according to claim 8,
An imaging apparatus, wherein a pitch of concentric circles in each of the first concentric pattern and the second concentric pattern decreases from the center of the concentric circle toward the outside.
請求項8記載の撮像装置において、
前記第1の同心円状パターンにおける同心円の中心位置と、前記第2の同心円状パターンにおける同心円の中心位置とがずれている、撮像装置。
The imaging device according to claim 8,
An imaging device, wherein a center position of a concentric circle in the first concentric pattern is shifted from a center position of a concentric circle in the second concentric pattern.
請求項10記載の撮像装置において、
前記第1の同心円状パターンにおける同心円の中心位置と、前記第2の同心円状パターンにおける同心円の中心位置が、前記画像処理部から出力される画像の短辺方向にずれている、撮像装置。
The imaging device according to claim 10,
An imaging apparatus, wherein a center position of a concentric circle in the first concentric pattern and a center position of a concentric circle in the second concentric pattern are shifted in a short side direction of an image output from the image processing unit.
請求項8記載の撮像装置において、
前記第1の同心円状パターンは前記画像センサ側に位置し、前記第2の同心円状パターンは前記被写体側に位置し、かつ前記第2の同心円状パターンは、シリンドリカルレンズによって形成される、撮像装置。
The imaging device according to claim 8,
An imaging device, wherein the first concentric pattern is located on the image sensor side, the second concentric pattern is located on the subject side, and the second concentric pattern is formed by a cylindrical lens. .
請求項8に記載の撮像装置において、
前記変調器は透明基板を有し、該透明基板の前記画像センサの受光面と対向する面に前記第1の同心円状パターンが形成され、反対側の面に前記第2の同心円状パターンが形成されている、撮像装置。
The imaging device according to claim 8,
The modulator has a transparent substrate, and the first concentric pattern is formed on a surface of the transparent substrate facing the light receiving surface of the image sensor, and the second concentric pattern is formed on an opposite surface. Imaging device.
画像センサを用いて被写体の画像を生成するための画像生成方法であって、
互いに対向する第1の同心円状パターンと第2の同心円状パターンを有する変調器により、前記被写体の光を変調してモアレ縞を有する光学像を形成し、
前記画像センサにより、前記変調器で形成された前記モアレ縞を有する光学像を受光し、画像信号に変換して出力し、
画像処理部により、前記画像センサから出力された前記モアレ縞を有する光学像の画像信号に対してフーリエ変換を含む信号処理を施して用いて前記被写体の画像を生成する、画像生成方法。
An image generation method for generating an image of a subject using an image sensor,
A modulator having a first concentric pattern and a second concentric pattern facing each other modulates light of the subject to form an optical image having moiré fringes,
The image sensor receives an optical image having the moiré fringes formed by the modulator, converts the optical image into an image signal, and outputs the image signal.
An image generating method, wherein an image processing unit performs signal processing including Fourier transform on an image signal of the optical image having the moiré fringe output from the image sensor and generates an image of the subject using the signal processing.
請求項14記載の画像生成方法において、
前記第1の同心円状パターンおよび前記第2の同心円状パターンのそれぞれにおける同心円のピッチは、前記同心円の中心から外側に向かうに従い狭くなる、画像生成方法。
The image generation method according to claim 14,
An image generation method, wherein a pitch of concentric circles in each of the first concentric pattern and the second concentric pattern becomes narrower outward from a center of the concentric circle.
請求項14記載の画像生成方法において、
前記第1の同心円状パターンにおける同心円の中心位置と、前記第2の同心円状パターンにおける同心円の中心位置とがずれている、画像生成方法。
The image generation method according to claim 14,
An image generation method, wherein a center position of a concentric circle in the first concentric pattern is shifted from a center position of a concentric circle in the second concentric pattern.
請求項14記載の画像生成方法において、
前記第1の同心円状パターンにおける同心円の中心位置と前記第2の同心円状パターンにおける同心円の中心位置とは、前記画像処理部から出力される画像の短辺方向にずれている、画像生成方法。
The image generation method according to claim 14,
An image generation method, wherein a center position of a concentric circle in the first concentric pattern and a center position of a concentric circle in the second concentric pattern are shifted in a short side direction of an image output from the image processing unit.
請求項14記載の画像生成方法において、
前記第2の同心円状パターンは、シリンドリカルレンズによって形成される、画像生成方法。
The image generation method according to claim 14,
The image generating method, wherein the second concentric pattern is formed by a cylindrical lens.
請求項14に記載の画像生成方法において、
前記第1の同心円状パターンは前記画像センサ側に位置し、前記第2の同心円状パターンは前記被写体側に位置し、かつ前記第2の同心円状パターンは、シリンドリカルレンズによって形成される、画像生成方法。
The image generation method according to claim 14,
The first concentric pattern is located on the image sensor side, the second concentric pattern is located on the subject side, and the second concentric pattern is formed by a cylindrical lens; Method.
JP2019035108A 2019-02-28 2019-02-28 Imaging device and image generation method Active JP6636663B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019035108A JP6636663B2 (en) 2019-02-28 2019-02-28 Imaging device and image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019035108A JP6636663B2 (en) 2019-02-28 2019-02-28 Imaging device and image generation method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017524203A Division JP6491332B2 (en) 2015-06-17 2015-06-17 Imaging device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019227885A Division JP6770164B2 (en) 2019-12-18 2019-12-18 Imaging device

Publications (2)

Publication Number Publication Date
JP2019140681A JP2019140681A (en) 2019-08-22
JP6636663B2 true JP6636663B2 (en) 2020-01-29

Family

ID=67694527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019035108A Active JP6636663B2 (en) 2019-02-28 2019-02-28 Imaging device and image generation method

Country Status (1)

Country Link
JP (1) JP6636663B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0510470D0 (en) * 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
JP5784100B2 (en) * 2007-05-02 2015-09-24 キヤノン株式会社 Image forming apparatus and image forming method
EP2260276B1 (en) * 2008-03-20 2018-05-16 Philips Lighting Holding B.V. Photo-detector and method of measuring light
US9746593B2 (en) * 2013-08-28 2017-08-29 Rambus Inc. Patchwork Fresnel zone plates for lensless imaging

Also Published As

Publication number Publication date
JP2019140681A (en) 2019-08-22

Similar Documents

Publication Publication Date Title
JP6491332B2 (en) Imaging device
JP6685887B2 (en) Imaging device
JP6820908B2 (en) Imaging device
JP6721698B2 (en) Imaging device
JP7389195B2 (en) Image generation method
JP6646619B2 (en) Imaging device
JP6947891B2 (en) Mobile information terminal
JP6770164B2 (en) Imaging device
WO2020059181A1 (en) Imaging device and imaging method
JP6636663B2 (en) Imaging device and image generation method
JP6864604B2 (en) Imaging device
JP2023016864A (en) Imaging apparatus and method
JP7159118B2 (en) Imaging device
JP2021064000A (en) Imaging device
JP2022180800A (en) Imaging apparatus
JP2020098963A (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191218

R150 Certificate of patent or registration of utility model

Ref document number: 6636663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250