JP7137290B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP7137290B2 JP7137290B2 JP2021151300A JP2021151300A JP7137290B2 JP 7137290 B2 JP7137290 B2 JP 7137290B2 JP 2021151300 A JP2021151300 A JP 2021151300A JP 2021151300 A JP2021151300 A JP 2021151300A JP 7137290 B2 JP7137290 B2 JP 7137290B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging device
- pattern
- light
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Blocking Light For Cameras (AREA)
Description
本発明は、撮像装置及び画像生成方法に関し、特に、撮像装置の高性能化に有効な技術に関する。 TECHNICAL FIELD The present invention relates to an imaging device and an image generation method, and more particularly to a technique effective for improving the performance of an imaging device.
スマートフォンなどに搭載するデジタルカメラは、薄型化が必要である。この種のデジタルカメラの薄型化技術としては、例えばレンズを用いることなく物体像を得るものがある(例えば特許文献1参照)。 A digital camera mounted on a smartphone or the like needs to be made thinner. As a thinning technique for this type of digital camera, there is a technique for obtaining an object image without using a lens (for example, refer to Patent Document 1).
この技術は、画像センサに特殊な回折格子基板を貼り付け、該回折格子基板を透過する光が画像センサ上で生じる射影パターンから、入射光の入射角を逆問題演算により求めることで、外界の物体の像を得るものである。 This technology attaches a special diffraction grating substrate to the image sensor, and obtains the incident angle of the incident light from the projection pattern generated on the image sensor by the inverse problem calculation of the light that passes through the diffraction grating substrate. It obtains an image of an object.
上述した特許文献1では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンとなっている。そして、その画像センサにて受光される射影パターンから、像を再生するための逆問題を解くことにより、物体の像を得ているが、この逆問題を解く際の演算が複雑になるという問題がある。 In Patent Document 1 described above, the pattern of the diffraction grating formed on the upper surface of the substrate attached to the image sensor is a special grating pattern such as a spiral pattern. An image of the object is obtained by solving an inverse problem for reproducing the image from the projection pattern received by the image sensor. There is
演算が複雑であると、当然処理時間が長くなり、写真を表示するまでの時間も長くなってしまうという問題がある。演算処理を高速に行うには、高性能のCPUなどを用いることになるが、その場合には、デジタルカメラの高コスト化および消費電力の増加などが発生してしまう恐れがある。 If the calculation is complicated, naturally the processing time becomes long, and there is a problem that the time until the photograph is displayed becomes long. In order to perform high-speed arithmetic processing, a high-performance CPU or the like is used, but in that case, there is a risk that the cost of the digital camera will increase and power consumption will increase.
本発明の目的は、格子基板を透過する光線の入射角度の検出を容易化することにより、撮像装置のコストおよび消費電力を低減することのできる技術を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a technique capable of reducing the cost and power consumption of an imaging device by facilitating the detection of the incident angle of light rays passing through a grating substrate.
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will become apparent from the description of the specification and the accompanying drawings.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。 A brief outline of typical inventions disclosed in the present application is as follows.
すなわち、代表的な撮像装置は、画像センサ、変調器、および画像処理部を有する。画像センサは、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する。変調器は、画像センサの受光面に設けられ、光の強度を変調する。画像処理部は、画像センサから出力される画像信号の画像処理を行う。 That is, a typical imaging device has an image sensor, a modulator, and an image processor. The image sensor converts an optical image captured by a plurality of pixels arranged in an array on an imaging surface into an image signal and outputs the image signal. The modulator is provided on the light receiving surface of the image sensor and modulates the intensity of light. The image processing section performs image processing on an image signal output from the image sensor.
また、変調器は、格子基板、第1の格子パターン、および第2の格子パターンを有する。第1の格子パターンは、画像センサの受光面に近接する格子基板の第1の面に形成される。第2の格子パターンは、第1の面に対向する第2の面に形成される。 The modulator also has a grating substrate, a first grating pattern, and a second grating pattern. A first grid pattern is formed on a first surface of the grid substrate proximate to the light receiving surface of the image sensor. A second grid pattern is formed on a second surface opposite the first surface.
第1の格子パターンおよび第2の格子パターンは、複数の同心円からそれぞれ構成されている。変調器は、第2の格子パターンを透過する光を第1の格子パターンにて強度変調して画像センサに出力する。 The first grid pattern and the second grid pattern are each composed of a plurality of concentric circles. The modulator intensity-modulates the light transmitted through the second grating pattern with the first grating pattern and outputs the modulated light to the image sensor.
特に、第1の格子パターンおよび第2の格子パターンにおける複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる複数の同心円からそれぞれ形成されている。複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる。 In particular, the plurality of concentric circles in the first lattice pattern and the second lattice pattern are each formed of a plurality of concentric circles whose pitch becomes finer in inverse proportion to the reference coordinates at the center of the concentric circles. A plurality of concentric circles become finer in inverse proportion to the reference coordinates that are the centers of the concentric circles.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 Among the inventions disclosed in the present application, the effects obtained by representative ones are briefly described below.
(1)物体像の取得までの処理時間を短縮することができる。 (1) It is possible to shorten the processing time up to the acquisition of the object image.
(2)撮像装置のハードウェアコストを低減することができる。 (2) The hardware cost of the imaging device can be reduced.
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。 For the sake of convenience, the following embodiments are divided into a plurality of sections or embodiments when necessary, but unless otherwise specified, they are not independent of each other, and one There is a relationship of part or all of the modification, details, supplementary explanation, etc.
また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。 In addition, in the following embodiments, when referring to the number of elements (including the number, numerical value, amount, range, etc.), when it is particularly specified, when it is clearly limited to a specific number in principle, etc. Except, it is not limited to the specific number, and may be more or less than the specific number.
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。 Furthermore, in the following embodiments, the constituent elements (including element steps, etc.) are not necessarily essential, unless otherwise specified or clearly considered essential in principle. Needless to say.
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。 Similarly, in the following embodiments, when referring to the shape, positional relationship, etc. of components, etc., unless otherwise explicitly stated or in principle, it is considered that the shape is substantially the same. It shall include things that are similar or similar to, etc. This also applies to the above numerical values and ranges.
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。 In addition, in all the drawings for explaining the embodiments, the same members are basically given the same reference numerals, and repeated description thereof will be omitted.
以下、実施の形態を詳細に説明する。 Embodiments will be described in detail below.
(実施の形態1)
〈撮像装置の構成例〉
図1は、本実施の形態1による撮像装置101における構成の一例を示す説明図である。
(Embodiment 1)
<Configuration example of imaging device>
FIG. 1 is an explanatory diagram showing an example of the configuration of an
撮像装置101は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図1に示すように、変調器102、画像センサ103、および画像処理回路106から構成されている。
The
変調器102は、画像センサ103の受光面に密着して固定されており、格子基板102aに格子パターン104,105がそれぞれ形成された構成からなる。格子基板102aは、例えばガラスやプラスティックなどの透明な材料からなる。
The
変調器102において、格子基板102aの表面には、第2の格子パターンとなる格子パターン104が形成されている。また、この格子基板102aの表面が第2の面となる。格子パターン104は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。
In the
また、格子基板102aの裏面、すなわち画像センサ103の受光面に接する側の面には、第1の格子パターンとなる格子パターン105が形成されている。格子基板102aの裏面が第1の面となる。
A
この格子パターン105においても、格子パターン104と同様に、外側に向かうほど中心からの半径に反比例して格子パターンのピッチが狭くなる同心円状の格子パターンからなる。
Similar to the
格子パターン104および格子パターン105は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウムなどを蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。
The
なお、格子パターン104,105の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。
The formation of the
格子パターン104,105を透過する光は、その格子パターンによって光の強度が変調される。透過した光は、画像センサ103にて受光される。画像センサ103は、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなる。
The intensity of light transmitted through the
画像センサ103の表面には、受光素子である画素103aが格子状に規則的に配置されている。この画像センサ103は、画素103aが受光した光画像を電気信号である画像信号に変換する。画像センサ103から出力された画像信号は、画像処理部である画像処理回路106によって画像処理されてモニタディスプレイ107などに出力される。
On the surface of the
〈撮像装置の撮影例〉
図2は、図1の撮像装置101による撮影の一例を示す説明図である。この図2では、撮像装置101によって被写体301を撮影してモニタディスプレイ107に表示している例を示している。
<Example of shooting with an imaging device>
FIG. 2 is an explanatory diagram showing an example of photographing by the
図示するように、被写体301を撮影する際には、該被写体301に対して変調器102における一方の面、具体的には格子パターン104が形成されている格子基板102aの表面が正対するようにして撮影が行われる。
As shown in the figure, when photographing an
〈画像処理回路の画像処理例〉
続いて、画像処理回路106による画像処理の概略について説明する。
<Example of image processing by image processing circuit>
Next, an outline of image processing by the
図3は、図1の撮像装置101が有する画像処理回路106による画像処理の概略を示すフローチャートである。
FIG. 3 is a flow chart showing an outline of image processing by the
まず、画像センサ103から出力されるモアレ縞画像に対して、カラーのRGB(Red Green Blue)各成分ごとに2次元フーリエ変換(FFT:Fast Fourier Transform)演算を行い、周波数スペクトルを求める(ステップS101)。
First, a moire fringe image output from the
続いて、ステップS101の処理による周波数スペクトルの片側周波数のデータを切り出した後(ステップS102)、該周波数スペクトルの強度計算を行う(ステップS103)ことによって、画像を取得する。 Subsequently, after extracting the data of one side frequency of the frequency spectrum by the process of step S101 (step S102), the intensity of the frequency spectrum is calculated (step S103) to obtain an image.
そして、得られた画像に対してノイズ除去処理を行い(ステップS104)、続いてコントラスト強調処理(ステップS105)などを行う。その後、画像のカラーバランスを調整して(ステップS106)撮影画像として出力する。 Then, noise removal processing is performed on the obtained image (step S104), followed by contrast enhancement processing (step S105) and the like. After that, the color balance of the image is adjusted (step S106) and output as a photographed image.
以上により、画像処理回路106による画像処理が終了となる。
Thus, the image processing by the
〈撮像装置の撮影原理〉
続いて、撮像装置101における撮影原理について説明する。
<Shooting Principle of Imaging Device>
Next, the imaging principle of the
まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン104,105は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。
First, the
同心円の中心である基準座標からの半径をrとし、そこでの球面波の位相をφ(r)とするとき、これを波面の曲がりの大きさを決める係数βを用いて、 Let r be the radius from the reference coordinate, which is the center of the concentric circles, and φ(r) be the phase of the spherical wave at that point.
球面波にもかかわらず、半径rの2乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、 The reason why the spherical wave is represented by the square of the radius r is that the spherical wave is close to a plane wave and can be approximated only by the lowest order of expansion. When a plane wave is allowed to interfere with light with this phase distribution,
これは、 this is,
このような縞は、フレネルゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図1に示した格子パターン104,105として用いる。
Such fringes are called Fresnel zone plates. A grid pattern having a transmittance distribution proportional to the intensity distribution defined in this way is used as the
このような格子パターンが両面に形成された厚さtの変調器102に、図4に示すように角度θ0で平行光が入射したとする。変調器102中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ=t・tanθだけずれて裏面に入射し、仮に2つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。
Assume that parallel light is incident at an angle θ0 as shown in FIG. Assuming that the angle of refraction in the
このとき、 At this time,
この展開式の第4項が、2つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。 It can be seen that the fourth term of this expansion produces a pattern of equally spaced stripes straight in the direction of displacement of the two gratings over the overlapping area. A fringe produced at a relatively low spatial frequency by superposition of such fringes is called a moire fringe.
このようにまっすぐな等間隔の縞は、検出画像の2次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。 Such straight, equally spaced fringes produce sharp peaks in the spatial frequency distribution obtained by the two-dimensional Fourier transform of the detected image. It becomes possible to obtain the value of δ, that is, the incident angle θ of the ray from the value of the frequency.
このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは不可能と考えられる。 It is clear that the moire fringes that are obtained uniformly and at equal intervals over the entire surface are generated at the same pitch regardless of the direction of displacement due to the symmetry of the concentric lattice arrangement. Such fringes are obtained because the grid pattern is formed by the Fresnel zone plate, and it is considered impossible to obtain uniform fringes over the entire surface with any other grid pattern.
第2項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかるが、2つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。 It can be seen that fringes in which the intensity of the Fresnel zone plate is modulated by moire fringes are also generated in the second term, but the frequency spectrum of the product of the two fringes is the convolution of each Fourier spectrum, so a sharp peak cannot be obtained. do not have.
(5)式から鋭いピークを持つ成分のみを (5) From the equation, only the components with sharp peaks are
ただし、ここで、Fはフーリエ変換の演算を表し、u、vは、x方向およびy方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがu=±δβ/πの位置に生じることがわかる。 where F represents the Fourier transform operation, u, v are the spatial frequency coordinates in the x and y directions, and δ with brackets is the delta function. From this result, it can be seen that in the spatial frequency spectrum of the detected image, the peak of the spatial frequency of moire fringes occurs at the position of u=±δβ/π.
その様子を図5に示す。図5において、左から右にかけては、光線と変調器102の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図5(a)は、垂直入射、図5(b)は、左側から角度θで光線が入射する場合、図5(c)は、右側から角度θで光線が入射する場合をそれぞれ示している。
The situation is shown in FIG. In FIG. 5, from left to right, a layout diagram of the light beam and the
変調器102の表面側に形成された格子パターン104と裏面側に形成された格子パターン105とは、軸がそろっている。図5(a)では、格子パターン104と格子パターン105との影が一致するのでモアレ縞は生じない。
The
図5(b)および図5(c)では、格子パターン104と格子パターン105とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図5(b)の場合なのか、あるいは図5(c)の場合なのかを判別することができなくなる。
In FIGS. 5(b) and 5(c), the same moire occurs because the
これを避けるためには、変調器102に垂直に入射する光線に対しても2つの格子パターンの影がずれて重なるよう、例えば図6に示すように、あらかじめ2つの格子パターン104,105を光軸に対して相対的にずらしておくことが必要である。
In order to avoid this, two
軸上の垂直入射平面波に対して2つの格子の影の相対的なずれをδ0とするとき、入射角θの平面波によって生じるずれδは、
Assuming that the relative displacement of the shadows of the two gratings for a plane wave of normal incidence on axis is δ0, the displacement δ caused by a plane wave of incident angle θ is given by
このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では At this time, the peak of the spatial frequency spectrum of the moire fringes of the light beam with the incident angle θ is
画像センサの大きさをS、画像センサのx方向およびy方向の画素数を共にNとすると、高速フーリエ変換(FFT)による離散画像の空間周波数スペクトルは、-N/(2S)から+N/(2S)の範囲で得られる。 If the size of the image sensor is S, and the number of pixels in the x and y directions of the image sensor is N, the spatial frequency spectrum of the discrete image obtained by fast Fourier transform (FFT) is -N/(2S) to +N/( 2S).
このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波(θ=0)によるモアレ縞のスペクトルピーク位置は、原点(DC:直流成分)位置と、例えば+側端の周波数位置との中央位置、すなわち、 From this, considering that the incident angle on the plus side and the incident angle on the minus side are equally received, the spectral peak position of the moire fringes due to the perpendicularly incident plane wave (θ = 0) is the origin (DC: direct current component) position and, for example, the center position of the + side end frequency position, that is,
したがって、2つの格子の相対的な中心位置ずれは、 Therefore, the relative center misalignment of the two gratings is
図7は、格子パターン104と格子パターン105とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。
FIG. 7 is a schematic diagram for explaining the generation of moire fringes and the frequency spectrum when the
図5と同様にして、左側は光線と変調器102の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図7(a)は、光線が垂直入射の場合であり、図7(b)は、光線が左側から角度θで入射する場合であり、図7(c)は、光線が右側から角度θで入射する場合である。
Similar to FIG. 5, the left side shows the layout of the light beams and the
格子パターン104と格子パターン105とは、あらかじめδ0だけずらして配置されている。そのため、図7(a)でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。
The
そのずらし量δ0は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図7(b)では、ずれδがさらに大きくなる方向、図7(c)では、小さくなる方向となっているため、図5と異なり、図7(b)と図7(c)との違いがスペクトルのピーク位置から判別できる。 The shift amount δ0 is set so that the peak position appears in the center of the spectral range on one side from the origin, as described above. At this time, in FIG. 7B, the deviation .delta. can be discriminated from the peak position of the spectrum.
このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図1の撮像装置101による撮影像にほかならない。
The spectral image of this peak is a bright spot indicating a luminous flux at infinity, and is nothing but an image captured by the
受光できる平行光の入射角の最大角度をθmaxとすると、 Letting θmax be the maximum incident angle of parallel light that can be received,
一般的なレンズを用いた結像との類推から、画角θmaxの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置101の実効的な焦点距離は、
By analogy with image formation using a general lens, when it is assumed that parallel light with an angle of view θmax is focused at the edge of the image sensor and received, the effective focal length of the
なお(2)式で示したように、格子パターンの透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子パターンの基本周波数成分としてそのような成分があれば、格子パターンの透過率を2値化して、透過率が高い格子領域と低い領域のdutyを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。 As shown in equation (2), it is assumed that the transmittance distribution of the grating pattern basically has sinusoidal characteristics. For example, it is conceivable to binarize the transmittance of the grid pattern, change the duty of the grid area with high transmittance and that of the area with low transmittance, and increase the transmittance by widening the width of the area with high transmittance.
以上の説明では、いずれも入射光線は同時には1つの入射角度だけであったが、実際に撮像装置101がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。 In the above description, the incident light beams have only one incident angle at the same time. There must be.
このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である格子パターン105とのモアレ縞の検出を阻害するノイズとなることが懸念される。
Such light with a plurality of incident angles already overlaps images of a plurality of front-side gratings at the point of incidence on the rear-side grating pattern. If these mutually generate moire fringes, there is a concern that they will become noise that interferes with the detection of the moire fringes with the
しかし、実際は、格子パターン104の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側の格子パターン105との重なりだけになる。
However, in reality, the overlapping of the images of the
その理由について以下に説明する。 The reason will be explained below.
まず、複数の入射角の光線による表面側の格子パターン104の影どうしの重なりは、積ではなく和であることが大きな違いである。1つの入射角の光による格子パターン104の影と格子パターン105との重なりでは、格子パターン104の影である光の強度分布に、格子パターン105の透過率を乗算することで、裏面側の格子パターン105を透過したあとの光強度分布が得られる。
First, the major difference is that the overlap of the shadows of the
これに対して、表面側の格子パターン104に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、
On the other hand, the overlapping of the shadows caused by the plurality of light beams incident on the
したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。 Therefore, its frequency spectrum is represented by the overlap integral of each frequency spectrum. Therefore, even if the moire spectrum has a single sharp peak, in practice, there is only a ghost of the frequency spectrum of the Fresnel zone plate at that location. That is, no sharp peaks appear in the spectrum.
したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の格子パターン104と裏面側の格子パターン105との積のモアレだけであり、格子パターン105が単一である以上、検出されるスペクトルのピークは1つの入射角に対して1つだけとなるのである。
Therefore, the spectrum of the moire image detected even when light of a plurality of incident angles is input is always only the moire of the product of the
〈撮影原理の確認〉
以下、原理を確認するために行ったシミュレーションの結果を図8および図9に示す。
<Confirmation of shooting principle>
8 and 9 show the results of simulations performed to confirm the principle.
図8は、垂直入射平面波とその他9個の異なる入射角の平面波の計10個の光で照射したときの空間周波数スペクトル像の計算結果を示す説明図である。図9は、垂直入射平面波とその他9個の異なる入射角の平面波の計10個の光で照射したときの空間周波数スペクトル像の計算結果を示す鳥瞰図である。 FIG. 8 is an explanatory diagram showing calculation results of spatial frequency spectrum images when irradiated with a total of 10 light beams, that is, a normal incident plane wave and 9 other plane waves with different incident angles. FIG. 9 is a bird's-eye view showing the calculation result of the spatial frequency spectrum image when irradiated with a total of 10 lights, ie, a vertically incident plane wave and 9 other plane waves with different incident angles.
いずれも画像センサ103のセンササイズ20mm□、視野角θmax=±70°、入射側および出射側格子係数β=50(rad/mm2)、δ0=0.8mm、画素数1024×1024、変調器102における基板厚さ1mm、基板屈折率1.5のときに、垂直入射平面波と、θx=50°、θy=30°の入射光と、θx=-30°、θy=70°の入射光と、θx=10°、θy=-20°の入射光と、θx=20°、θy=30°の入射光と、θx=30°、θy=-40°の入射光と、θx=-10°、θy=40°の入射光と、θx=-20°、θy=-30°の入射光と、θx=-30°、θy=0°の入射光と、θx=40°、θy=50°の入射光と、の合計10個の平面波を入射させたときのスペクトルである。
In both cases, the sensor size of the
図8は、スペクトル画像の白黒反転像であり、図9は、スペクトル画像の輝度を示す鳥瞰図である。元のモアレ像自体は、格子ピッチも細かく、本明細書の図面として表示しても視認できないため省略した。 FIG. 8 is a black-and-white inverted image of the spectrum image, and FIG. 9 is a bird's-eye view showing the luminance of the spectrum image. The original moire image itself has a fine lattice pitch and is not visible even if it is displayed as a drawing of this specification, so it is omitted.
図中、中心がDC成分、周辺が±N/2Sの空間周波数スペクトル領域の全域を表示している。DC成分は値が大きいため、マスキングをして取り除き、検出すべきピーク成分のみを表示している。さらに、そのままではスペクトルのピーク幅が狭く、視認しにくいため、コントラストを強調している。 In the figure, the center is the DC component and the periphery is the entire spatial frequency spectrum region of ±N/2S. Since the DC component has a large value, it is masked and removed, and only the peak component to be detected is displayed. Furthermore, since the peak width of the spectrum is narrow as it is and it is difficult to visually recognize it, the contrast is emphasized.
また、図8では、当該信号ピークの位置を○印にて囲んで表示している。図9の鳥瞰図は、そのままでは描線がピークを通らずに表示できないので、メッシュサイズの平均化フィルタをかけた結果を表示している。 In addition, in FIG. 8, the positions of the signal peaks are indicated by circles. Since the bird's-eye view of FIG. 9 cannot be displayed as it is because the drawn line does not pass through the peak, the result of applying a mesh size averaging filter is displayed.
いずれも基本的に10本のピークが原点を挟んで正負両側に計20本のピークとして検出できていることを示している。この場合、格子パターンの最外周のピッチは約6μm程度であり、実効的焦点距離は12.4mm程度であった。 All of them indicate that basically 10 peaks can be detected as a total of 20 peaks on both positive and negative sides of the origin. In this case, the pitch of the outermost circumference of the grid pattern was about 6 μm, and the effective focal length was about 12.4 mm.
ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応を図10を用いて模式的に説明する。 Here, the correspondence between parallel light, which has been described for detection, and light from an actual object will be schematically described with reference to FIG. 10 .
図10は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。 FIG. 10 is an explanatory diagram for explaining angles formed by light from each point forming an object with respect to the image sensor.
被写体301を構成する各点からの光は、厳密には点光源からの球面波として、図1の撮像装置101の変調器102および画像センサ103(以下、図10では格子センサ一体基板という)に入射する。
Strictly speaking, the light from each point forming the subject 301 is transmitted as a spherical wave from a point light source to the
このとき、被写体301に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。 At this time, if the grid sensor integrated substrate is sufficiently small or sufficiently far from the subject 301, the incident angles of the light that illuminates the grid sensor integrated substrate can be considered to be the same from each point.
(9)式から求められる微小角度変位Δθに対するモアレの空間周波数変位Δuが、画像センサの空間周波数の最小解像度である1/S以下となる関係から、Δθが平行光とみなせる条件は、 The spatial frequency displacement Δu of the moire with respect to the minute angular displacement Δθ obtained from the equation (9) is less than or equal to 1/S, which is the minimum resolution of the spatial frequency of the image sensor.
これから、Δθ<0.18°であれば、これは20mmのセンササイズであれば被写体から6m離れれば実現できる条件である。 From this, if Δθ<0.18°, this is a condition that can be realized at a distance of 6 m from the subject with a sensor size of 20 mm.
以上の結果の類推から、無限遠の物体に対して本発明の撮像装置で結像が可能であることがわかる。 From the analogy of the above results, it can be seen that the imaging apparatus of the present invention can image an object at infinity.
以上、高速フーリエ変換(FFT)などの簡単な演算によって、外界の物体像を得ることができる。これにより、物体像の取得までの処理時間を短縮することができる。 As described above, an object image in the external world can be obtained by a simple calculation such as fast Fourier transform (FFT). As a result, the processing time until acquisition of the object image can be shortened.
また、高性能な演算処理装置が不要となるので、撮像装置101のハードウェアコストを低減することができる、さらに、演算の処理時間が短縮することによって、撮像装置101の消費電力を削減することができる。
In addition, since a high-performance arithmetic processing device is not required, the hardware cost of the
(実施の形態2)
〈概略〉
前記実施の形態1では、撮像装置101から出力される画像が縦長であったが、本実施の形態2においては、出力画像を横長とする場合について説明する。
(Embodiment 2)
<Overview>
In the first embodiment, the image output from the
前記実施の形態1では、前述したように、格子パターン104と格子パターン105とを画像センサ103のx(横)方向にずらされて形成されている。言い換えれば画像処理回路106から出力される長方形状の画像の長辺方向にずれるように形成されているものとした。
In the first embodiment, as described above, the
〈格子パターンの形成例〉
図11は、格子パターン104,105を横方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。
<Example of lattice pattern formation>
FIG. 11 is an explanatory diagram showing an example of the spatial frequency spectrum when the
このとき、画像センサ103の形状は正方形としており、その画素ピッチもx方向とy方向とでいずれも同じとする。この場合、図11の右側に示すように、画像センサの出力の空間周波数スペクトルは、x、y両方±N/Sの周波数範囲内にて、像が左右に分離して再生されていることになる。
At this time, the shape of the
しかし、図11に示す例であると、画像は、基本的に縦長のエリアに限定されることになる。一般に、デジタルカメラなどにて取得される画像は、例えばアスペクト比が3:2あるいは4:3などの横長の長方形である。よって、横長の長方形に適した格子パターン104,105の配置としては、例えば図12に示すようなものが望ましい。
However, in the example shown in FIG. 11, the image is basically limited to a vertically long area. Generally, an image acquired by a digital camera or the like is a horizontally long rectangle with an aspect ratio of 3:2 or 4:3, for example. Therefore, it is preferable to arrange the
図12は、格子パターン104,105を縦方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。
FIG. 12 is an explanatory diagram showing an example of the spatial frequency spectrum when the
格子パターン104および格子パターン105は、図12に示すように、画像センサの上下方向、すなわち画像センサのy方向にずれて形成されている。言い換えれば、格子パターン104および格子パターン105は、画像処理回路106から出力される長方形状の画像の短辺方向にそれぞれずらされて形成されている。これによって、画像センサ出力の空間周波数空間に形成される画像は、図12の右側に示すように上下に分離することになる。
As shown in FIG. 12, the
以上によって、撮像装置101から出力される画像を横長とすることができる。これによって、一般的なデジタルカメラと同様に画像が得られることになるので、撮像装置101の汎用性を高めることができる。
As described above, the image output from the
(実施の形態3)
〈概略〉
前記実施の形態1,2の変調器102では、格子基板102aの表面および裏面にそれぞれ同一形状の格子パターン104および格子パターン105を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を構成していた。
(Embodiment 3)
<Overview>
In the
裏面側の格子パターン105は、画像センサ103に密着して入射する光の強度を変調する光学素子である。そのため、画像センサの感度を実効的に裏面側の格子パターン105の透過率を加味して設定することで、処理画像の中で仮想的にモアレを生じさせることができる。
The
〈撮像装置の構成例〉
図13は、本実施の形態3による撮像装置101における構成の一例を示す説明図である。
<Configuration example of imaging device>
FIG. 13 is an explanatory diagram showing an example of the configuration of the
図13の撮像装置101が、前記実施の形態1の図1の撮像装置101と異なるところは、格子基板102aの裏面側に、図1に示す格子パターン105が形成されていない点である。その他の構成については、図1と同様であるので、説明は省略する。
The
図13の構成とすることによって、格子基板102aに形成する格子パターンを1面減らすことができる。それにより、変調器102の製造コストを低減することができる。
By adopting the configuration shown in FIG. 13, the number of lattice patterns formed on the
しかし、この場合、画像センサ103が有する画素103aのピッチは、格子パターンのピッチを十分再現できる程度に細かいか、あるいは格子パターンのピッチが画像センサ103の画素ピッチにて再現できる程度に粗いことが必要である。
However, in this case, the pitch of the
格子パターンを格子基板102aの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ103の画素103aにて解像できる必要はなく、そのモアレ像だけが解像できればよい。よって、画素ピッチとは独立に格子パターンのピッチを決めることができる。
When the lattice pattern is formed on both sides of the
しかし、画像センサ103で格子パターンを再現する場合は、格子パターンと画像センサ103の解像度は、同等である必要がある。よって、画像処理回路106には、画像センサ103の出力画像に対してモアレを生成するための裏面側の格子パターン105(図1)に相当する強度変調回路106cが設けられている。
However, when the grid pattern is reproduced by the
〈画像処理回路の画像処理例〉
図14は、図13の撮像装置101が有する画像処理回路106による画像処理の概略を示すフローチャートである。
<Example of image processing by image processing circuit>
FIG. 14 is a flow chart showing an outline of image processing by the
この図14におけるフローチャートが前記実施の形態1の図3のフローチャートと異なるところは、ステップS201の処理である。ステップS201の処理では、前述した強度変調回路106cにより、画像センサ103から出力される画像に対して、裏面側の格子パターンに相当するモアレ縞画像を生成する。
14 differs from the flowchart of FIG. 3 of the first embodiment in the process of step S201. In the process of step S201, the
以降、図14のステップS202~S208の処理は、前記実施の形態1の図3のステップS101~S107の処理と同様であるので、ここでは、説明を省略する。 After that, the processing of steps S202 to S208 in FIG. 14 is the same as the processing of steps S101 to S107 in FIG. 3 of the first embodiment, so the description is omitted here.
このように、強度変調回路106cを設けることによって、裏面側の格子パターン105(図1)を可変にすることと同様の効果を得ることができ、検出光は必ずしも平行光でなくてもよくすることが可能である。
Thus, by providing the
〈焦点合わせについて〉
図15は、結像する物体が有限距離にある場合に表面側の格子パターン104の裏面への射影が該格子パターン104より拡大されることを示す説明図である。
<About focusing>
FIG. 15 is an explanatory diagram showing that the projection of the
図15に示すように、物体を構成する点1301からの球面波が表面側の格子パターン104を照射し、その影1302が下の面に投影される場合、下の面に投影される像は、ほぼ一様に拡大される。
As shown in FIG. 15, when a spherical wave from a
そのため、平行光に対して設計された裏面側の格子パターン(図1の格子パターン105に相当)の透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された表面側の格子パターン104の影に合わせて、下面の格子を拡大するならば、拡大された影1302に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。
Therefore, if the transmittance distribution of the lattice pattern on the back side (corresponding to the
これにより、必ずしも無限遠でない距離の点1301からの光を選択的に再生することができる。これによって、焦点合わせが可能となり、前記実施の形態1に示したような無限遠での撮影ではなく、任意の位置に焦点合わせて撮影を行うことができる。
This makes it possible to selectively reproduce light from a
以上により、撮像装置101の利便性を高めることができる。
As described above, the convenience of the
(実施の形態4)
本実施の形態4においては、図1の表面側の格子パターン104を可変とする技術について説明する。
(Embodiment 4)
In the fourth embodiment, a technique for making the
〈撮像装置の構成例および動作例〉
図16は、本実施の形態4による撮像装置101における構成の一例を示す説明図である。
<Configuration example and operation example of imaging device>
FIG. 16 is an explanatory diagram showing an example of the configuration of the
図16の撮像装置101が、前記実施の形態1の図1における撮像装置101と異なる点は、変調器102に液晶部108が新たに設けられたところ、およびピント位置指定入力部109が新たに設けられたところである。なお、図16における画像センサ103の構成については、図1と同様であるので、説明は省略する。
The
液晶部108は、例えば透明電極などが形成された図示しないガラス基板に同じく図示しない液晶層が設けられた構成からなり、該液晶層がガラス基板と格子基板102aとの間に挟まるように形成されている。
The
この液晶層には、任意の格子パターン1403が表示され、該格子パターン1403が表面側の格子パターン104として作用する。変調器102における格子基板102aの裏面側には、図1と同様に格子パターン105が形成されている。
An
ピント位置指定入力部109は、例えば被写体までの距離などの情報であるピント位置を設定する入力部であり、画像処理回路106に接続されている。また、画像処理回路106には、液晶駆動回路106aおよび格子パターン生成回路106bが設けられている。
A focus position specification input unit 109 is an input unit for setting a focus position, which is information such as a distance to an object, and is connected to the
格子パターン生成回路106bは、ピント位置指定入力部109から入力されたピント位置に基づいて、焦点合わせに最適な格子パターンを生成する。液晶駆動回路106aは、格子パターン生成回路106bが生成した格子パターンが液晶部108の液晶層に表示されるようにガラス基板に形成されている透明電極に電圧を印加して表示制御を行う。
The lattice
基本的に無限遠より近い、有限距離の点1301からの光は、発散光であるので、裏面側の格子パターン105と裏面にて同じ大きさになるためには表面側の格子パターン104を格子パターン105よりもやや縮小して表示すればよいことになる。
Basically, the light from a
以上により、より高速な焦点合わせを可能とすることができる。 As described above, it is possible to achieve faster focusing.
(実施の形態5)
本実施の形態5では、両面格子基板に形成される表面側の格子パターンの他の例について説明する。
(Embodiment 5)
In the fifth embodiment, another example of the grid pattern on the surface side formed on the double-sided grid substrate will be described.
〈格子パターンの形成例〉
図17は、本実施の形態5による変調器102における構成の一例を示す説明図である。
<Example of lattice pattern formation>
FIG. 17 is an explanatory diagram showing an example of the configuration of
前記実施の形態1では、変調器102の格子パターン104(図1)を、例えば印刷やスパッタリング法などによって形成したが、図17の変調器102においては、シリンドリカルレンズ110によって構成されている。なお、格子基板102aの裏面側の格子パターン105については、前記実施の形態1の図1と同様である。
In the first embodiment, the lattice pattern 104 (FIG. 1) of the
この場合、変調器102における格子基板102aの表面に、図1の格子パターン104と同様のパターンとなるようにシリンドリカルレンズ110を配列させて形成されている。シリンドリカルレンズ110は、面が円筒面にて形成されたレンズであり、垂直方向には、凸レンズの曲率を持ち、水平方向には曲率のないレンズである。
In this case,
このように、格子パターンをシリンドリカルレンズ110にて形成することによって、光量の損失を大幅に低減することができる。例えば前記実施の形態1に述べたように、印刷パターンなどによって濃淡をつけた格子パターンでは、その格子パターンの印刷部分は、光を遮断してしまうことになり、光量を大きく損失してしまうことになる。
By forming the lattice pattern with the
一方、シリンドリカルレンズ110の場合には、光を遮ることがないでの、光利用効率を向上させることができる。
On the other hand, in the case of the
以上により、撮像装置101におけるS/N比(Signal-to-Noise ratio)を大きくすることができるので、描画性能を向上させることができる。
As described above, the S/N ratio (Signal-to-Noise ratio) of the
(実施の形態6)
〈携帯情報端末の構成例〉
本実施の形態6においては、前記実施の形態5における撮像装置101を用いて構成された携帯情報端末について説明する。
(Embodiment 6)
<Configuration example of portable information terminal>
In the sixth embodiment, a mobile information terminal configured using the
図18は、本実施の形態6による携帯情報端末200の一例を示す外観図である。
FIG. 18 is an external view showing an example of a
携帯情報端末200は、例えばスマートフォンなどである。なお、携帯情報端末200は、スマートフォンに限定されるものではなく、例えばタブレットなどのカメラが内蔵された携帯型の端末であればよい。
The
携帯情報端末200には、撮像装置101が内蔵されている。この携帯情報端末200の裏面には、開口窓202が設けられており、携帯情報端末200の内部において図16の変調器102が開口窓202に近接するように設けられている。
The
また、携帯情報端末200の一方の長辺側の側面には、ピント調整用のつまみ201が設けられている。このつまみ201が、前記実施の形態4のピント位置指定入力部109に相当する。
A
つまみ201を回すことによってピント位置が設定され、その設定されたピント位置に応じて、任意の格子パターン1403が図16の液晶部108の液晶層に表示される。その結果、任意の距離にある物体の像を撮影することができる。
A focus position is set by turning the
撮像装置101は、前記実施の形態1に示した(14)式に従って、実効的な焦点距離を長くできる。そのため、撮像装置101を薄くしたままで、開口を大きくすることができる。
The
一般的なレンズを用いたスマートフォン用デジタルカメラの場合には、情報携帯機器の厚みを小さくするために、レンズの開口を小さくせざるを得ない。よって、焦点距離が短くなり、像がのっぺりとしてぼけ味が出せないことなる。 In the case of a smartphone digital camera using a general lens, the lens opening must be made small in order to reduce the thickness of the information portable device. As a result, the focal length becomes short, and the image becomes flat and blurry.
一方、撮像装置101では、上述したように開口を大きくすることができるので、綺麗なぼけを出すことができる
以上により、描写性能が高い携帯情報端末200を実現することができる。
On the other hand, in the
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。 The invention made by the present inventor has been specifically described above based on the embodiment, but the present invention is not limited to the above embodiment, and can be variously modified without departing from the scope of the invention. Needless to say.
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。 In addition, the present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。 Also, part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. . Moreover, it is possible to add, delete, or replace a part of the configuration of each embodiment with another configuration.
101 撮像装置
102 変調器
102a 格子基板
103 画像センサ
103a 画素
104 格子パターン
105 格子パターン
106 画像処理回路
106a 液晶駆動回路
106b 格子パターン生成回路
106c 強度変調回路
107 モニタディスプレイ
108 液晶部
109 ピント位置指定入力部
110 シリンドリカルレンズ
200 携帯情報端末
201 つまみ
202 開口窓
101
Claims (6)
受光面に配列された複数の画素により受光した光を電気信号に変換して出力する画像センサと、
前記画像センサの受光面側に配置され、光を透過する光学素子と、
前記画像センサから出力される電気信号に対して画像処理を行う画像処理回路と、
を備え、
前記光学素子の一方の面には同心円状のシリンドリカルレンズが複数形成され、該同心円状のシリンドリカルレンズに入射する光を集光し、
前記画像センサは、前記光学素子により集光された光を受光して前記同心円状に集光された画像を含む画像信号を出力し、
前記画像処理回路は、
前記画像センサから出力された前記同心円状に集光された画像を含む画像信号を入力し、
前記入力された画像信号に含まれる前記同心円状に集光された画像に、別の同心円状の画像データを組み合わせた場合のモアレ縞画像を生成し、
前記モアレ縞画像に対し2次元フーリエ変換を含む処理を行い、画像を生成する、
撮像装置。 An imaging device,
an image sensor that converts light received by a plurality of pixels arranged on a light receiving surface into an electrical signal and outputs the electrical signal;
an optical element arranged on the light receiving surface side of the image sensor and transmitting light;
an image processing circuit that performs image processing on an electrical signal output from the image sensor;
with
A plurality of concentric cylindrical lenses are formed on one surface of the optical element, and converge light incident on the concentric cylindrical lenses,
The image sensor receives the light condensed by the optical element and outputs an image signal containing the concentrically condensed image;
The image processing circuit is
inputting an image signal including the concentrically condensed image output from the image sensor;
generating a moire fringe image when combining the concentrically focused image included in the input image signal with another concentric image data;
performing processing including a two-dimensional Fourier transform on the moire fringe image to generate an image;
Imaging device.
前記シリンドリカルレンズは、一方の面には凸レンズの曲率をもち、もう一方の面は曲率のないレンズ形状である、
撮像装置。 The imaging device according to claim 1,
The cylindrical lens has a convex lens curvature on one surface and a lens shape with no curvature on the other surface,
Imaging device.
前記同心円状のシリンドリカルレンズは、中心から外側に向うに従い狭い幅で形成される、
撮像装置。 The imaging device according to claim 1,
The concentric cylindrical lens is formed with a narrower width from the center toward the outside,
Imaging device.
前記別の同心円状の画像データは、中心から外側に向うに従い狭いパターンである、
撮像装置。 The imaging device according to claim 1,
The another concentric circular image data is a narrow pattern toward the outside from the center,
Imaging device.
前記別の同心円状の画像データは、同心円状パターンの大きさを拡大または縮小できる、
撮像装置。 The imaging device according to claim 1,
the other concentric circular image data can enlarge or reduce the size of the concentric circular pattern;
Imaging device.
前記別の同心円状の画像データは、同心円状パターンの大きさを拡大または縮小することで焦点合わせを可能にする、
撮像装置。 In the imaging device according to claim 5,
the other concentric circular image data enables focusing by enlarging or reducing the size of the concentric circular pattern;
Imaging device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021151300A JP7137290B2 (en) | 2020-09-24 | 2021-09-16 | Imaging device |
JP2022139418A JP7389195B2 (en) | 2020-09-24 | 2022-09-01 | Image generation method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020159253A JP6947891B2 (en) | 2019-12-18 | 2020-09-24 | Mobile information terminal |
JP2021151300A JP7137290B2 (en) | 2020-09-24 | 2021-09-16 | Imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020159253A Division JP6947891B2 (en) | 2019-12-18 | 2020-09-24 | Mobile information terminal |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022139418A Division JP7389195B2 (en) | 2020-09-24 | 2022-09-01 | Image generation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022003801A JP2022003801A (en) | 2022-01-11 |
JP7137290B2 true JP7137290B2 (en) | 2022-09-14 |
Family
ID=79246951
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021151300A Active JP7137290B2 (en) | 2020-09-24 | 2021-09-16 | Imaging device |
JP2022139418A Active JP7389195B2 (en) | 2020-09-24 | 2022-09-01 | Image generation method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022139418A Active JP7389195B2 (en) | 2020-09-24 | 2022-09-01 | Image generation method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7137290B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024166660A1 (en) * | 2023-02-06 | 2024-08-15 | ソニーグループ株式会社 | Imaging device |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008542863A (en) | 2005-05-23 | 2008-11-27 | キネテイツク・リミテツド | Coded aperture image system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3169224D1 (en) * | 1981-03-30 | 1985-04-18 | Ibm | Method and apparatus for tomographical imaging |
JP3327999B2 (en) * | 1993-06-08 | 2002-09-24 | オリンパス光学工業株式会社 | Image processing device |
JP6770164B2 (en) * | 2019-12-18 | 2020-10-14 | マクセル株式会社 | Imaging device |
JP6947891B2 (en) * | 2019-12-18 | 2021-10-13 | マクセル株式会社 | Mobile information terminal |
-
2021
- 2021-09-16 JP JP2021151300A patent/JP7137290B2/en active Active
-
2022
- 2022-09-01 JP JP2022139418A patent/JP7389195B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008542863A (en) | 2005-05-23 | 2008-11-27 | キネテイツク・リミテツド | Coded aperture image system |
Also Published As
Publication number | Publication date |
---|---|
JP2022003801A (en) | 2022-01-11 |
JP7389195B2 (en) | 2023-11-29 |
JP2022177064A (en) | 2022-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11747641B2 (en) | Imaging apparatus with cylindrical lenses | |
JP6685887B2 (en) | Imaging device | |
JP6820908B2 (en) | Imaging device | |
WO2018055831A1 (en) | Imaging device | |
JP7137290B2 (en) | Imaging device | |
JP6646619B2 (en) | Imaging device | |
JP6947891B2 (en) | Mobile information terminal | |
JP6770164B2 (en) | Imaging device | |
JP6864604B2 (en) | Imaging device | |
WO2020059181A1 (en) | Imaging device and imaging method | |
JP2023016864A (en) | Imaging apparatus and method | |
JP6636663B2 (en) | Imaging device and image generation method | |
JP7159118B2 (en) | Imaging device | |
JP2020098963A (en) | Imaging apparatus | |
JP2021064000A (en) | Imaging device | |
JP2022180800A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210916 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211022 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7137290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |