JP6947891B2 - Mobile information terminal - Google Patents
Mobile information terminal Download PDFInfo
- Publication number
- JP6947891B2 JP6947891B2 JP2020159253A JP2020159253A JP6947891B2 JP 6947891 B2 JP6947891 B2 JP 6947891B2 JP 2020159253 A JP2020159253 A JP 2020159253A JP 2020159253 A JP2020159253 A JP 2020159253A JP 6947891 B2 JP6947891 B2 JP 6947891B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information terminal
- concentric pattern
- mobile information
- concentric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、撮像装置及び画像生成方法に関し、特に、撮像装置の高性能化に有効な技術に関する。 The present invention relates to an image pickup apparatus and an image generation method, and more particularly to a technique effective for improving the performance of the image pickup apparatus.
スマートフォンなどに搭載するデジタルカメラは、薄型化が必要である。この種のデジタルカメラの薄型化技術としては、例えばレンズを用いることなく物体像を得るものがある(例えば特許文献1参照)。 Digital cameras mounted on smartphones and the like need to be made thinner. As a thinning technique for this type of digital camera, for example, there is a technique for obtaining an object image without using a lens (see, for example, Patent Document 1).
この技術は、画像センサに特殊な回折格子基板を貼り付け、該回折格子基板を透過する光が画像センサ上で生じる射影パターンから、入射光の入射角を逆問題演算により求めることで、外界の物体の像を得るものである。 In this technique, a special diffraction grating substrate is attached to an image sensor, and the incident angle of the incident light is obtained by an inverse problem calculation from the projection pattern in which the light transmitted through the diffraction grating substrate is generated on the image sensor. It obtains an image of an object.
上述した特許文献1では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンとなっている。そして、その画像センサにて受光される射影パターンから、像を再生するための逆問題を解くことにより、物体の像を得ているが、この逆問題を解く際の演算が複雑になるという問題がある。 In Patent Document 1 described above, the pattern of the diffraction grating formed on the upper surface of the substrate to be attached to the image sensor is a special lattice pattern such as a spiral pattern. Then, the image of the object is obtained by solving the inverse problem for reproducing the image from the projection pattern received by the image sensor, but the problem that the calculation when solving this inverse problem becomes complicated. There is.
演算が複雑であると、当然処理時間が長くなり、写真を表示するまでの時間も長くなってしまうという問題がある。演算処理を高速に行うには、高性能のCPUなどを用いることになるが、その場合には、デジタルカメラの高コスト化および消費電力の増加などが発生してしまう恐れがある。 If the calculation is complicated, there is a problem that the processing time naturally becomes long and the time until the photograph is displayed becomes long. A high-performance CPU or the like is used to perform arithmetic processing at high speed, but in that case, there is a risk that the cost of the digital camera will increase and the power consumption will increase.
本発明の目的は、格子基板を透過する光線の入射角度の検出を容易化することにより、撮像装置のコストおよび消費電力を低減することのできる技術を提供することにある。 An object of the present invention is to provide a technique capable of reducing the cost and power consumption of an image pickup apparatus by facilitating the detection of the incident angle of light rays passing through a lattice substrate.
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will become apparent from the description and accompanying drawings herein.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。 A brief description of typical inventions disclosed in the present application is as follows.
すなわち、代表的な撮像装置は、画像センサ、変調器、および画像処理部を有する。画像センサは、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する。変調器は、画像センサの受光面に設けられ、光の強度を変調する。画像処理部は、画像センサから出力される画像信号の画像処理を行う。 That is, a typical imaging device has an image sensor, a modulator, and an image processing unit. The image sensor converts optical images captured by a plurality of pixels arranged in an array on the imaging surface into image signals and outputs them. The modulator is provided on the light receiving surface of the image sensor and modulates the intensity of light. The image processing unit performs image processing of the image signal output from the image sensor.
また、変調器は、格子基板、第1の格子パターン、および第2の格子パターンを有する。第1の格子パターンは、画像センサの受光面に近接する格子基板の第1の面に形成される。第2の格子パターンは、第1の面に対向する第2の面に形成される。 The modulator also has a grid substrate, a first grid pattern, and a second grid pattern. The first lattice pattern is formed on the first surface of the lattice substrate close to the light receiving surface of the image sensor. The second grid pattern is formed on the second surface facing the first surface.
第1の格子パターンおよび第2の格子パターンは、複数の同心円からそれぞれ構成されている。変調器は、第2の格子パターンを透過する光を第1の格子パターンにて強度変調して画像センサに出力する。 The first grid pattern and the second grid pattern are each composed of a plurality of concentric circles. The modulator outputs the light transmitted through the second grid pattern to the image sensor by intensity-modulating the light with the first grid pattern.
特に、第1の格子パターンおよび第2の格子パターンにおける複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる複数の同心円からそれぞれ形成されている。複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる。 In particular, the plurality of concentric circles in the first lattice pattern and the second lattice pattern are formed from a plurality of concentric circles in which the pitch of the concentric circles becomes finer in inverse proportion to the reference coordinates at the center of the concentric circles. For a plurality of concentric circles, the pitch of the concentric circles becomes finer in inverse proportion to the reference coordinates at the center of the concentric circles.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 Among the inventions disclosed in the present application, the effects obtained by representative ones will be briefly described as follows.
(1)物体像の取得までの処理時間を短縮することができる。 (1) The processing time until the acquisition of the object image can be shortened.
(2)撮像装置のハードウェアコストを低減することができる。 (2) The hardware cost of the imaging device can be reduced.
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。 In the following embodiments, when necessary for convenience, the description will be divided into a plurality of sections or embodiments, but unless otherwise specified, they are not unrelated to each other, and one is the other. There is a relationship between some or all of the modifications, details, supplementary explanations, etc.
また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。 In addition, in the following embodiments, when the number of elements (including the number, numerical value, quantity, range, etc.) is referred to, when it is specified in particular, or when it is clearly limited to a specific number in principle, etc. Except, the number is not limited to the specific number, and may be more than or less than the specific number.
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。 Furthermore, in the following embodiments, the components (including element steps and the like) are not necessarily essential unless otherwise specified or clearly considered to be essential in principle. Needless to say.
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。 Similarly, in the following embodiments, when the shape, positional relationship, etc. of the constituent elements are referred to, the shape is substantially the same, except when it is clearly stated or when it is considered that it is not clearly the case in principle. Etc., etc. shall be included. This also applies to the above numerical values and ranges.
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。 Further, in all the drawings for explaining the embodiment, the same members are, in principle, given the same reference numerals, and the repeated description thereof will be omitted.
以下、実施の形態を詳細に説明する。 Hereinafter, embodiments will be described in detail.
(実施の形態1)
〈撮像装置の構成例〉
図1は、本実施の形態1による撮像装置101における構成の一例を示す説明図である。
(Embodiment 1)
<Configuration example of imaging device>
FIG. 1 is an explanatory diagram showing an example of the configuration in the
撮像装置101は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図1に示すように、変調器102、画像センサ103、および画像処理回路106から構成されている。
The
変調器102は、画像センサ103の受光面に密着して固定されており、格子基板102aに格子パターン104,105がそれぞれ形成された構成からなる。格子基板102aは、例えばガラスやプラスティックなどの透明な材料からなる。
The
変調器102において、格子基板102aの表面には、第2の格子パターンとなる格子パターン104が形成されている。また、この格子基板102aの表面が第2の面となる。格子パターン104は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。
In the
また、格子基板102aの裏面、すなわち画像センサ103の受光面に接する側の面には、第1の格子パターンとなる格子パターン105が形成されている。格子基板102aの裏面が第1の面となる。
Further, a
この格子パターン105においても、格子パターン104と同様に、外側に向かうほど中心からの半径に反比例して格子パターンのピッチが狭くなる同心円状の格子パターンからなる。
Similar to the
格子パターン104および格子パターン105は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウムなどを蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。
The
なお、格子パターン104,105の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。
The formation of the
格子パターン104,105を透過する光は、その格子パターンによって光の強度が変調される。透過した光は、画像センサ103にて受光される。画像センサ103は、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなる。
The light intensity of the light transmitted through the
画像センサ103の表面には、受光素子である画素103aが格子状に規則的に配置されている。この画像センサ103は、画素103aが受光した光画像を電気信号である画像信号に変換する。画像センサ103から出力された画像信号は、画像処理部である画像処理回路106によって画像処理されてモニタディスプレイ107などに出力される。
〈撮像装置の撮影例〉
図2は、図1の撮像装置101による撮影の一例を示す説明図である。この図2では、撮像装置101によって被写体301を撮影してモニタディスプレイ107に表示している例を示している。
<Shooting example of imaging device>
FIG. 2 is an explanatory diagram showing an example of photographing by the
図示するように、被写体301を撮影する際には、該被写体301に対して変調器102における一方の面、具体的には格子パターン104が形成されている格子基板102aの表面が正対するようにして撮影が行われる。
As shown in the figure, when the subject 301 is photographed, one surface of the
〈画像処理回路の画像処理例〉
続いて、画像処理回路106による画像処理の概略について説明する。
<Image processing example of image processing circuit>
Subsequently, an outline of image processing by the
図3は、図1の撮像装置101が有する画像処理回路106による画像処理の概略を示すフローチャートである。
FIG. 3 is a flowchart showing an outline of image processing by the
まず、画像センサ103から出力されるモアレ縞画像に対して、カラーのRGB(Red Green Blue)各成分ごとに2次元フーリエ変換(FFT:Fast Fourier Transform)演算を行い、周波数スペクトルを求める(ステップS101)。
First, the moire fringe image output from the
続いて、ステップS101の処理による周波数スペクトルの片側周波数のデータを切り出した後(ステップS102)、該周波数スペクトルの強度計算を行う(ステップS103)ことによって、画像を取得する。 Subsequently, after cutting out the data of the one-sided frequency of the frequency spectrum by the processing of step S101 (step S102), the intensity calculation of the frequency spectrum is performed (step S103) to acquire an image.
そして、得られた画像に対してノイズ除去処理を行い(ステップS104)、続いてコントラスト強調処理(ステップS105)などを行う。その後、画像のカラーバランスを調整して(ステップS106)撮影画像として出力する。 Then, the obtained image is subjected to noise removal processing (step S104), followed by contrast enhancement processing (step S105) and the like. After that, the color balance of the image is adjusted (step S106) and the image is output as a captured image.
以上により、画像処理回路106による画像処理が終了となる。
As a result, the image processing by the
〈撮像装置の撮影原理〉
続いて、撮像装置101における撮影原理について説明する。
<Shooting principle of imaging device>
Subsequently, the imaging principle in the
まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン104,105は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。
First, the
同心円の中心である基準座標からの半径をrとし、そこでの球面波の位相をφ(r)とするとき、これを波面の曲がりの大きさを決める係数βを用いて、 When the radius from the reference coordinates, which is the center of the concentric circles, is r, and the phase of the spherical wave there is φ (r), this is determined by using the coefficient β that determines the magnitude of the curve of the wavefront.
球面波にもかかわらず、半径rの2乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、 Despite the spherical wave, it is represented by the square of the radius r because it is a spherical wave close to a plane wave and can be approximated only by the lowest order of expansion. When a plane wave interferes with light having this phase distribution,
これは、 this is,
このような縞は、フレネルゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図1に示した格子パターン104,105として用いる。
Such stripes are called Fresnel zone plates. The lattice patterns having the transmittance distribution proportional to the intensity distribution defined in this way are used as the
このような格子パターンが両面に形成された厚さtの変調器102に、図4に示すように角度θ0で平行光が入射したとする。変調器102中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ=t・tanθだけずれて裏面に入射し、仮に2つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。
It is assumed that parallel light is incident on the
このとき、 At this time,
この展開式の第4項が、2つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。 It can be seen that the fourth term of this expansion formula creates straight, evenly spaced striped patterns in the direction of deviation of the two grids over the overlapping region. The fringes generated at a relatively low spatial frequency by superimposing such fringes are called moire fringes.
このようにまっすぐな等間隔の縞は、検出画像の2次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。 Such straight, evenly spaced fringes produce sharp peaks in the spatial frequency distribution obtained by the two-dimensional Fourier transform of the detected image. From the value of the frequency, it is possible to obtain the value of δ, that is, the incident angle θ of the light beam.
このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは不可能と考えられる。 From the symmetry of the concentric lattice arrangement, it is clear that the moire fringes obtained at uniform intervals over the entire surface occur at the same pitch regardless of the direction of deviation. The reason why such fringes are obtained is that the lattice pattern is formed by the Fresnel zone plate, and it is considered impossible to obtain uniform fringes on the entire surface with other lattice patterns.
第2項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかるが、2つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。 In the second term as well, it can be seen that fringes in which the intensity of the Frenel zone plate is modulated by moiré fringes occur, but since the frequency spectrum of the product of the two fringes is a convolution of the respective Fourier spectra, a sharp peak can be obtained. No.
(5)式から鋭いピークを持つ成分のみを From equation (5), only the components with sharp peaks
ただし、ここで、Fはフーリエ変換の演算を表し、u、vは、x方向およびy方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがu=±δβ/πの位置に生じることがわかる。 However, here, F represents the operation of the Fourier transform, u and v are the spatial frequency coordinates in the x and y directions, and δ with parentheses is the delta function. From this result, it can be seen that the peak of the spatial frequency of the moire fringes occurs at the position of u = ± δβ / π in the spatial frequency spectrum of the detected image.
その様子を図5に示す。図5において、左から右にかけては、光線と変調器102の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図5(a)は、垂直入射、図5(b)は、左側から角度θで光線が入射する場合、図5(c)は、右側から角度θで光線が入射する場合をそれぞれ示している。
The situation is shown in FIG. In FIG. 5, from left to right, a layout diagram of the light beam and the
変調器102の表面側に形成された格子パターン104と裏面側に形成された格子パターン105とは、軸がそろっている。図5(a)では、格子パターン104と格子パターン105との影が一致するのでモアレ縞は生じない。
The
図5(b)および図5(c)では、格子パターン104と格子パターン105とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図5(b)の場合なのか、あるいは図5(c)の場合なのかを判別することができなくなる。
In FIGS. 5 (b) and 5 (c), the same moire occurs because the deviations between the
これを避けるためには、変調器102に垂直に入射する光線に対しても2つの格子パターンの影がずれて重なるよう、例えば図6に示すように、あらかじめ2つの格子パターン104,105を光軸に対して相対的にずらしておくことが必要である。
In order to avoid this, the shadows of the two grid patterns are shifted and overlapped with respect to the light rays perpendicularly incident on the
軸上の垂直入射平面波に対して2つの格子の影の相対的なずれをδ0とするとき、入射角θの平面波によって生じるずれδは、
When the relative deviation of the shadows of the two lattices with respect to the vertically incident plane wave on the axis is δ0, the deviation δ caused by the plane wave at the incident angle θ is
このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では At this time, the peak of the spatial frequency spectrum of the moire fringes of the light beam having an incident angle θ is on the positive side of the frequency.
画像センサの大きさをS、画像センサのx方向およびy方向の画素数を共にNとすると、高速フーリエ変換(FFT)による離散画像の空間周波数スペクトルは、−N/(2S)から+N/(2S)の範囲で得られる。 Assuming that the size of the image sensor is S and the number of pixels in the x and y directions of the image sensor is N, the spatial frequency spectrum of the discrete image by the fast Fourier transform (FFT) is from -N / (2S) to + N / (. Obtained in the range of 2S).
このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波(θ=0)によるモアレ縞のスペクトルピーク位置は、原点(DC:直流成分)位置と、例えば+側端の周波数位置との中央位置、すなわち、 From this, considering that the incident angle on the plus side and the incident angle on the minus side are evenly received, the spectral peak position of the moire fringes due to the vertically incident plane wave (θ = 0) is the origin (DC: DC component) position. And, for example, the center position with the frequency position at the + side end, that is,
したがって、2つの格子の相対的な中心位置ずれは、 Therefore, the relative center misalignment of the two grids is
図7は、格子パターン104と格子パターン105とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。
FIG. 7 is a schematic diagram illustrating the generation of moire fringes and the frequency spectrum when the
図5と同様にして、左側は光線と変調器102の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図7(a)は、光線が垂直入射の場合であり、図7(b)は、光線が左側から角度θで入射する場合であり、図7(c)は、光線が右側から角度θで入射する場合である。
Similar to FIG. 5, the left side shows the arrangement of the light beam and the
格子パターン104と格子パターン105とは、あらかじめδ0だけずらして配置されている。そのため、図7(a)でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。
The
そのずらし量δ0は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図7(b)では、ずれδがさらに大きくなる方向、図7(c)では、小さくなる方向となっているため、図5と異なり、図7(b)と図7(c)との違いがスペクトルのピーク位置から判別できる。 As described above, the shift amount δ0 is set so that the peak position appears in the center of the spectrum range on one side from the origin. At this time, in FIG. 7 (b), the deviation δ is further increased, and in FIG. 7 (c), the deviation δ is decreased. The difference can be discriminated from the peak position of the spectrum.
このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図1の撮像装置101による撮影像にほかならない。
The spectral image of this peak is a bright spot showing a luminous flux at infinity, and is nothing but an image taken by the
受光できる平行光の入射角の最大角度をθmaxとすると、 Assuming that the maximum angle of incidence of parallel light that can be received is θmax,
一般的なレンズを用いた結像との類推から、画角θmaxの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置101の実効的な焦点距離は、
By analogy with imaging using a general lens, considering that parallel light with an angle of view θmax is focused at the edge of the image sensor and received, the effective focal length of the
なお(2)式で示したように、格子パターンの透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子パターンの基本周波数成分としてそのような成分があれば、格子パターンの透過率を2値化して、透過率が高い格子領域と低い領域のdutyを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。 As shown in Eq. (2), the transmittance distribution of the lattice pattern is basically assumed to have sinusoidal characteristics, but such a component is included as the fundamental frequency component of the lattice pattern. For example, it is conceivable to binarize the transmittance of the lattice pattern, change the duty of the lattice region having high transmittance and the duty of the region having low transmittance, and widen the width of the region having high transmittance to increase the transmittance.
以上の説明では、いずれも入射光線は同時には1つの入射角度だけであったが、実際に撮像装置101がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。
In the above description, the incident light rays have only one incident angle at the same time, but in order for the
このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である格子パターン105とのモアレ縞の検出を阻害するノイズとなることが懸念される。
Light with such a plurality of incident angles already overlaps the images of the plurality of front-side grids when they are incident on the back-side grid pattern. If these cause moire fringes with each other, there is a concern that noise may hinder the detection of moire fringes with the
しかし、実際は、格子パターン104の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側の格子パターン105との重なりだけになる。
However, in reality, the overlap of the images of the
その理由について以下に説明する。 The reason will be explained below.
まず、複数の入射角の光線による表面側の格子パターン104の影どうしの重なりは、積ではなく和であることが大きな違いである。1つの入射角の光による格子パターン104の影と格子パターン105との重なりでは、格子パターン104の影である光の強度分布に、格子パターン105の透過率を乗算することで、裏面側の格子パターン105を透過したあとの光強度分布が得られる。
First, the major difference is that the overlap of the shadows of the
これに対して、表面側の格子パターン104に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、
On the other hand, the overlap of shadows due to a plurality of light incidents on the surface
したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。 Therefore, the frequency spectrum is represented by the overlap integral of each frequency spectrum. Therefore, even if the moiré spectrum alone has a sharp peak, in practice, only a ghost of the frequency spectrum of the Fresnel zone plate occurs at that position. That is, no sharp peaks occur in the spectrum.
したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の格子パターン104と裏面側の格子パターン105との積のモアレだけであり、格子パターン105が単一である以上、検出されるスペクトルのピークは1つの入射角に対して1つだけとなるのである。
Therefore, the spectrum of the moire image that is detected even when light with a plurality of incident angles is input is always only the moire of the product of the
〈撮影原理の確認〉
以下、原理を確認するために行ったシミュレーションの結果を図8および図9に示す。
<Confirmation of shooting principle>
Below, the results of the simulation performed to confirm the principle are shown in FIGS. 8 and 9.
図8は、垂直入射平面波とその他9個の異なる入射角の平面波の計10個の光で照射したときの空間周波数スペクトル像の計算結果を示す説明図である。図9は、垂直入射平面波とその他9個の異なる入射角の平面波の計10個の光で照射したときの空間周波数スペクトル像の計算結果を示す鳥瞰図である。 FIG. 8 is an explanatory diagram showing a calculation result of a spatial frequency spectrum image when irradiated with a total of 10 lights of a vertically incident plane wave and nine other plane waves having different incident angles. FIG. 9 is a bird's-eye view showing the calculation results of the spatial frequency spectrum image when irradiated with a total of 10 lights of a vertically incident plane wave and nine other plane waves having different incident angles.
いずれも画像センサ103のセンササイズ20mm□、視野角θmax=±70°、入射側および出射側格子係数β=50(rad/mm2)、δ0=0.8mm、画素数1024×1024、変調器102における基板厚さ1mm、基板屈折率1.5のときに、垂直入射平面波と、θx=50°、θy=30°の入射光と、θx=−30°、θy=70°の入射光と、θx=10°、θy=−20°の入射光と、θx=20°、θy=30°の入射光と、θx=30°、θy=−40°の入射光と、θx=−10°、θy=40°の入射光と、θx=−20°、θy=−30°の入射光と、θx=−30°、θy=0°の入射光と、θx=40°、θy=50°の入射光と、の合計10個の平面波を入射させたときのスペクトルである。
In each case, the sensor size of the
図8は、スペクトル画像の白黒反転像であり、図9は、スペクトル画像の輝度を示す鳥瞰図である。元のモアレ像自体は、格子ピッチも細かく、本明細書の図面として表示しても視認できないため省略した。 FIG. 8 is a black-and-white inverted image of the spectrum image, and FIG. 9 is a bird's-eye view showing the brightness of the spectrum image. The original moire image itself has a fine grid pitch and cannot be visually recognized even if it is displayed as a drawing of the present specification, and thus is omitted.
図中、中心がDC成分、周辺が±N/2Sの空間周波数スペクトル領域の全域を表示している。DC成分は値が大きいため、マスキングをして取り除き、検出すべきピーク成分のみを表示している。さらに、そのままではスペクトルのピーク幅が狭く、視認しにくいため、コントラストを強調している。 In the figure, the center is the DC component, and the periphery is the entire area of the spatial frequency spectrum region of ± N / 2S. Since the DC component has a large value, it is masked and removed, and only the peak component to be detected is displayed. Furthermore, since the peak width of the spectrum is narrow and difficult to see as it is, the contrast is emphasized.
また、図8では、当該信号ピークの位置を○印にて囲んで表示している。図9の鳥瞰図は、そのままでは描線がピークを通らずに表示できないので、メッシュサイズの平均化フィルタをかけた結果を表示している。 Further, in FIG. 8, the position of the signal peak is indicated by being surrounded by a circle. Since the bird's-eye view of FIG. 9 cannot be displayed as it is without the drawn lines passing through the peak, the result of applying the mesh size averaging filter is displayed.
いずれも基本的に10本のピークが原点を挟んで正負両側に計20本のピークとして検出できていることを示している。この場合、格子パターンの最外周のピッチは約6μm程度であり、実効的焦点距離は12.4mm程度であった。 In each case, it is basically shown that 10 peaks can be detected as a total of 20 peaks on both the positive and negative sides of the origin. In this case, the pitch of the outermost circumference of the lattice pattern was about 6 μm, and the effective focal length was about 12.4 mm.
ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応を図10を用いて模式的に説明する。 Here, the correspondence between the parallel light, which has been described so far for detection, and the light from an actual object will be schematically described with reference to FIG.
図10は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。 FIG. 10 is an explanatory diagram illustrating an angle formed by light from each point constituting the object with respect to the image sensor.
被写体301を構成する各点からの光は、厳密には点光源からの球面波として、図1の撮像装置101の変調器102および画像センサ103(以下、図10では格子センサ一体基板という)に入射する。
Strictly speaking, the light from each point constituting the subject 301 is a spherical wave from a point light source on the
このとき、被写体301に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。 At this time, when the grid sensor integrated substrate is sufficiently small or sufficiently far from the subject 301, it can be considered that the incident angles of the light illuminating the grid sensor integrated substrate are the same from each point.
(9)式から求められる微小角度変位Δθに対するモアレの空間周波数変位Δuが、画像センサの空間周波数の最小解像度である1/S以下となる関係から、Δθが平行光とみなせる条件は、 Since the spatial frequency displacement Δu of the moire with respect to the minute angular displacement Δθ obtained from the equation (9) is 1 / S or less, which is the minimum resolution of the spatial frequency of the image sensor, the condition that Δθ can be regarded as parallel light is
これから、Δθ<0.18°であれば、これは20mmのセンササイズであれば被写体から6m離れれば実現できる条件である。 From this, if Δθ <0.18 °, this is a condition that can be realized if the sensor size is 20 mm and the distance from the subject is 6 m.
以上の結果の類推から、無限遠の物体に対して本発明の撮像装置で結像が可能であることがわかる。 From the analogy of the above results, it can be seen that the image pickup apparatus of the present invention can form an image on an object at infinity.
以上、高速フーリエ変換(FFT)などの簡単な演算によって、外界の物体像を得ることができる。これにより、物体像の取得までの処理時間を短縮することができる。 As described above, an object image in the outside world can be obtained by a simple calculation such as a fast Fourier transform (FFT). As a result, the processing time until the acquisition of the object image can be shortened.
また、高性能な演算処理装置が不要となるので、撮像装置101のハードウェアコストを低減することができる、さらに、演算の処理時間が短縮することによって、撮像装置101の消費電力を削減することができる。
Further, since a high-performance arithmetic processing unit is not required, the hardware cost of the
(実施の形態2)
〈概略〉
前記実施の形態1では、撮像装置101から出力される画像が縦長であったが、本実施の形態2においては、出力画像を横長とする場合について説明する。
(Embodiment 2)
<Summary>
In the first embodiment, the image output from the
前記実施の形態1では、前述したように、格子パターン104と格子パターン105とを画像センサ103のx(横)方向にずらされて形成されている。言い換えれば画像処理回路106から出力される長方形状の画像の長辺方向にずれるように形成されているものとした。
In the first embodiment, as described above, the
〈格子パターンの形成例〉
図11は、格子パターン104,105を横方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。
<Example of grid pattern formation>
FIG. 11 is an explanatory diagram showing an example of a spatial frequency spectrum when the
このとき、画像センサ103の形状は正方形としており、その画素ピッチもx方向とy方向とでいずれも同じとする。この場合、図11の右側に示すように、画像センサの出力の空間周波数スペクトルは、x、y両方±N/Sの周波数範囲内にて、像が左右に分離して再生されていることになる。
At this time, the shape of the
しかし、図11に示す例であると、画像は、基本的に縦長のエリアに限定されることになる。一般に、デジタルカメラなどにて取得される画像は、例えばアスペクト比が3:2あるいは4:3などの横長の長方形である。よって、横長の長方形に適した格子パターン104,105の配置としては、例えば図12に示すようなものが望ましい。
However, in the example shown in FIG. 11, the image is basically limited to a vertically long area. Generally, an image acquired by a digital camera or the like is a horizontally long rectangle having an aspect ratio of 3: 2 or 4: 3, for example. Therefore, as the arrangement of the
図12は、格子パターン104,105を縦方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。
FIG. 12 is an explanatory diagram showing an example of a spatial frequency spectrum when the
格子パターン104および格子パターン105は、図12に示すように、画像センサの上下方向、すなわち画像センサのy方向にずれて形成されている。言い換えれば、格子パターン104および格子パターン105は、画像処理回路106から出力される長方形状の画像の短辺方向にそれぞれずらされて形成されている。これによって、画像センサ出力の空間周波数空間に形成される画像は、図12の右側に示すように上下に分離することになる。
As shown in FIG. 12, the
以上によって、撮像装置101から出力される画像を横長とすることができる。これによって、一般的なデジタルカメラと同様に画像が得られることになるので、撮像装置101の汎用性を高めることができる。
As described above, the image output from the
(実施の形態3)
〈概略〉
前記実施の形態1,2の変調器102では、格子基板102aの表面および裏面にそれぞれ同一形状の格子パターン104および格子パターン105を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を構成していた。
(Embodiment 3)
<Summary>
In the
裏面側の格子パターン105は、画像センサ103に密着して入射する光の強度を変調する光学素子である。そのため、画像センサの感度を実効的に裏面側の格子パターン105の透過率を加味して設定することで、処理画像の中で仮想的にモアレを生じさせることができる。
The
〈撮像装置の構成例〉
図13は、本実施の形態3による撮像装置101における構成の一例を示す説明図である。
<Configuration example of imaging device>
FIG. 13 is an explanatory diagram showing an example of the configuration in the
図13の撮像装置101が、前記実施の形態1の図1の撮像装置101と異なるところは、格子基板102aの裏面側に、図1に示す格子パターン105が形成されていない点である。その他の構成については、図1と同様であるので、説明は省略する。
The
図13の構成とすることによって、格子基板102aに形成する格子パターンを1面減らすことができる。それにより、変調器102の製造コストを低減することができる。
By adopting the configuration of FIG. 13, the lattice pattern formed on the
しかし、この場合、画像センサ103が有する画素103aのピッチは、格子パターンのピッチを十分再現できる程度に細かいか、あるいは格子パターンのピッチが画像センサ103の画素ピッチにて再現できる程度に粗いことが必要である。
However, in this case, the pitch of the
格子パターンを格子基板102aの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ103の画素103aにて解像できる必要はなく、そのモアレ像だけが解像できればよい。よって、画素ピッチとは独立に格子パターンのピッチを決めることができる。
When the grid pattern is formed on both sides of the
しかし、画像センサ103で格子パターンを再現する場合は、格子パターンと画像センサ103の解像度は、同等である必要がある。よって、画像処理回路106には、画像センサ103の出力画像に対してモアレを生成するための裏面側の格子パターン105(図1)に相当する強度変調回路106cが設けられている。
However, when the
〈画像処理回路の画像処理例〉
図14は、図13の撮像装置101が有する画像処理回路106による画像処理の概略を示すフローチャートである。
<Image processing example of image processing circuit>
FIG. 14 is a flowchart showing an outline of image processing by the
この図14におけるフローチャートが前記実施の形態1の図3のフローチャートと異なるところは、ステップS201の処理である。ステップS201の処理では、前述した強度変調回路106cにより、画像センサ103から出力される画像に対して、裏面側の格子パターンに相当するモアレ縞画像を生成する。
The difference between the flowchart in FIG. 14 and the flowchart in FIG. 3 in the first embodiment is the process in step S201. In the process of step S201, the
以降、図14のステップS202〜S208の処理は、前記実施の形態1の図3のステップS101〜S107の処理と同様であるので、ここでは、説明を省略する。 Hereinafter, the processes of steps S202 to S208 of FIG. 14 are the same as the processes of steps S101 to S107 of FIG. 3 of the first embodiment, and thus the description thereof will be omitted here.
このように、強度変調回路106cを設けることによって、裏面側の格子パターン105(図1)を可変にすることと同様の効果を得ることができ、検出光は必ずしも平行光でなくてもよくすることが可能である。
By providing the
〈焦点合わせについて〉
図15は、結像する物体が有限距離にある場合に表面側の格子パターン104の裏面への射影が該格子パターン104より拡大されることを示す説明図である。
<About focusing>
FIG. 15 is an explanatory diagram showing that when the object to be imaged is at a finite distance, the projection of the
図15に示すように、物体を構成する点1301からの球面波が表面側の格子パターン104を照射し、その影1302が下の面に投影される場合、下の面に投影される像は、ほぼ一様に拡大される。
As shown in FIG. 15, when the spherical wave from the
そのため、平行光に対して設計された裏面側の格子パターン(図1の格子パターン105に相当)の透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された表面側の格子パターン104の影に合わせて、下面の格子を拡大するならば、拡大された影1302に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。
Therefore, if the transmittance distribution of the lattice pattern on the back surface side (corresponding to the
これにより、必ずしも無限遠でない距離の点1301からの光を選択的に再生することができる。これによって、焦点合わせが可能となり、前記実施の形態1に示したような無限遠での撮影ではなく、任意の位置に焦点合わせて撮影を行うことができる。
As a result, the light from the
以上により、撮像装置101の利便性を高めることができる。
As described above, the convenience of the
(実施の形態4)
本実施の形態4においては、図1の表面側の格子パターン104を可変とする技術について説明する。
(Embodiment 4)
In the fourth embodiment, a technique for making the
〈撮像装置の構成例および動作例〉
図16は、本実施の形態4による撮像装置101における構成の一例を示す説明図である。
<Configuration example and operation example of imaging device>
FIG. 16 is an explanatory diagram showing an example of the configuration in the
図16の撮像装置101が、前記実施の形態1の図1における撮像装置101と異なる点は、変調器102に液晶部108が新たに設けられたところ、およびピント位置指定入力部109が新たに設けられたところである。なお、図16における画像センサ103の構成については、図1と同様であるので、説明は省略する。
The
液晶部108は、例えば透明電極などが形成された図示しないガラス基板に同じく図示しない液晶層が設けられた構成からなり、該液晶層がガラス基板と格子基板102aとの間に挟まるように形成されている。
The
この液晶層には、任意の格子パターン1403が表示され、該格子パターン1403が表面側の格子パターン104として作用する。変調器102における格子基板102aの裏面側には、図1と同様に格子パターン105が形成されている。
An
ピント位置指定入力部109は、例えば被写体までの距離などの情報であるピント位置を設定する入力部であり、画像処理回路106に接続されている。また、画像処理回路106には、液晶駆動回路106aおよび格子パターン生成回路106bが設けられている。
The focus position
格子パターン生成回路106bは、ピント位置指定入力部109から入力されたピント位置に基づいて、焦点合わせに最適な格子パターンを生成する。液晶駆動回路106aは、格子パターン生成回路106bが生成した格子パターンが液晶部108の液晶層に表示されるようにガラス基板に形成されている透明電極に電圧を印加して表示制御を行う。
The grid
基本的に無限遠より近い、有限距離の点1301からの光は、発散光であるので、裏面側の格子パターン105と裏面にて同じ大きさになるためには表面側の格子パターン104を格子パターン105よりもやや縮小して表示すればよいことになる。
Basically, the light from the
以上により、より高速な焦点合わせを可能とすることができる。 From the above, it is possible to enable faster focusing.
(実施の形態5)
本実施の形態5では、両面格子基板に形成される表面側の格子パターンの他の例について説明する。
(Embodiment 5)
In the fifth embodiment, another example of the lattice pattern on the surface side formed on the double-sided lattice substrate will be described.
〈格子パターンの形成例〉
図17は、本実施の形態5による変調器102における構成の一例を示す説明図である。
<Example of grid pattern formation>
FIG. 17 is an explanatory diagram showing an example of the configuration in the
前記実施の形態1では、変調器102の格子パターン104(図1)を、例えば印刷やスパッタリング法などによって形成したが、図17の変調器102においては、シリンドリカルレンズ110によって構成されている。なお、格子基板102aの裏面側の格子パターン105については、前記実施の形態1の図1と同様である。
In the first embodiment, the lattice pattern 104 (FIG. 1) of the
この場合、変調器102における格子基板102aの表面に、図1の格子パターン104と同様のパターンとなるようにシリンドリカルレンズ110を配列させて形成されている。シリンドリカルレンズ110は、面が円筒面にて形成されたレンズであり、垂直方向には、凸レンズの曲率を持ち、水平方向には曲率のないレンズである。
In this case, the
このように、格子パターンをシリンドリカルレンズ110にて形成することによって、光量の損失を大幅に低減することができる。例えば前記実施の形態1に述べたように、印刷パターンなどによって濃淡をつけた格子パターンでは、その格子パターンの印刷部分は、光を遮断してしまうことになり、光量を大きく損失してしまうことになる。
By forming the lattice pattern with the
一方、シリンドリカルレンズ110の場合には、光を遮ることがないでの、光利用効率を向上させることができる。
On the other hand, in the case of the
以上により、撮像装置101におけるS/N比(Signal-to-Noise ratio)を大きくすることができるので、描画性能を向上させることができる。
As described above, the S / N ratio (Signal-to-Noise ratio) in the
(実施の形態6)
〈携帯情報端末の構成例〉
本実施の形態6においては、前記実施の形態5における撮像装置101を用いて構成された携帯情報端末について説明する。
(Embodiment 6)
<Configuration example of mobile information terminal>
In the sixth embodiment, a portable information terminal configured by using the
図18は、本実施の形態6による携帯情報端末200の一例を示す外観図である。
FIG. 18 is an external view showing an example of the
携帯情報端末200は、例えばスマートフォンなどである。なお、携帯情報端末200は、スマートフォンに限定されるものではなく、例えばタブレットなどのカメラが内蔵された携帯型の端末であればよい。
The
携帯情報端末200には、撮像装置101が内蔵されている。この携帯情報端末200の裏面には、開口窓202が設けられており、携帯情報端末200の内部において図16の変調器102が開口窓202に近接するように設けられている。
The personal
また、携帯情報端末200の一方の長辺側の側面には、ピント調整用のつまみ201が設けられている。このつまみ201が、前記実施の形態4のピント位置指定入力部109に相当する。
Further, a
つまみ201を回すことによってピント位置が設定され、その設定されたピント位置に応じて、任意の格子パターン1403が図16の液晶部108の液晶層に表示される。その結果、任意の距離にある物体の像を撮影することができる。
The focus position is set by turning the
撮像装置101は、前記実施の形態1に示した(14)式に従って、実効的な焦点距離を長くできる。そのため、撮像装置101を薄くしたままで、開口を大きくすることができる。
The
一般的なレンズを用いたスマートフォン用デジタルカメラの場合には、情報携帯機器の厚みを小さくするために、レンズの開口を小さくせざるを得ない。よって、焦点距離が短くなり、像がのっぺりとしてぼけ味が出せないことなる。 In the case of a digital camera for smartphones using a general lens, the aperture of the lens must be reduced in order to reduce the thickness of the information mobile device. Therefore, the focal length is shortened, and the image is flat and cannot be blurred.
一方、撮像装置101では、上述したように開口を大きくすることができるので、綺麗なぼけを出すことができる
以上により、描写性能が高い携帯情報端末200を実現することができる。
On the other hand, in the
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。 Although the invention made by the present inventor has been specifically described above based on the embodiment, the present invention is not limited to the above embodiment and can be variously modified without departing from the gist thereof. Needless to say.
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。 Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. .. Further, it is possible to add, delete, or replace a part of the configuration of each embodiment with another configuration.
101 撮像装置
102 変調器
102a 格子基板
103 画像センサ
103a 画素
104 格子パターン
105 格子パターン
106 画像処理回路
106a 液晶駆動回路
106b 格子パターン生成回路
106c 強度変調回路
107 モニタディスプレイ
108 液晶部
109 ピント位置指定入力部
110 シリンドリカルレンズ
200 携帯情報端末
201 つまみ
202 開口窓
101
Claims (17)
受光面に配列された複数の画素により受光した光を画像信号に変換して出力する画像センサと、
前記画像センサの受光面側に配置され、光を変調する透過性の変調器と、
前記画像センサから出力される画像信号の画像処理を行う画像処理回路と、
を備え、
前記変調器の一方の面には第1の同心円状パターンが形成され、該第1の同心円状パターンで入射される光を変調し、
前記画像センサは、前記変調器により変調された光を受光して前記第1の同心円状パターンに対応する画像を含む画像信号を出力し、
前記画像処理回路は、
前記画像センサから出力された前記第1の同心円状パターンに対応する画像を含む画像信号を入力し、
第2の同心円状パターンの画像を生成し、
前記入力された画像信号に含まれる前記第1の同心円状パターンに対応する画像と、前記第2の同心円状パターンの画像を用いてモアレ縞画像を生成し、
前記モアレ縞画像に対し2次元フーリエ変換を含む処理を行い画像を生成し、
更に前記画像処理回路は、前記第2の同心円状パターンの画像を変更可能である、
携帯情報端末。 It is a mobile information terminal
An image sensor that converts the light received by a plurality of pixels arranged on the light receiving surface into an image signal and outputs it.
A transmissive modulator arranged on the light receiving surface side of the image sensor to modulate light,
An image processing circuit that performs image processing of the image signal output from the image sensor, and
With
A first concentric pattern is formed on one surface of the modulator, and the light incident on the first concentric pattern is modulated.
The image sensor receives the light modulated by the modulator and outputs an image signal including an image corresponding to the first concentric pattern.
The image processing circuit
An image signal including an image corresponding to the first concentric pattern output from the image sensor is input.
Generate an image of the second concentric pattern and
A moire fringe image is generated by using the image corresponding to the first concentric pattern included in the input image signal and the image of the second concentric pattern.
A process including a two-dimensional Fourier transform is performed on the moire fringe image to generate an image, and the image is generated.
Further, the image processing circuit can change the image of the second concentric pattern.
Mobile information terminal.
前記第1の同心円状パターンの同心円のピッチは、前記同心円の中心から外側に向かうに従い狭くなる、携帯情報端末。 In the mobile information terminal according to claim 1.
A portable information terminal in which the pitch of the concentric circles of the first concentric pattern becomes narrower from the center of the concentric circles toward the outside.
前記第1の同心円状パターン及び前記第2の同心円状パターンのそれぞれにおける同心円のピッチは、前記同心円の中心から外側に向かうに従い狭くなる、携帯情報端末。 In the mobile information terminal according to claim 1,
A portable information terminal in which the pitch of concentric circles in each of the first concentric pattern and the second concentric pattern becomes narrower from the center of the concentric circles toward the outside.
前記画像処理回路は、前記第2の同心円状パターンの画像における同心円の中心位置が、前記第1の同心円状パターンに対応する画像における同心円の中心位置とずれるように前記第2の同心円状パターンを生成する、携帯情報端末。 In the mobile information terminal according to claim 1.
The image processing circuit performs the second concentric pattern so that the center position of the concentric circles in the image of the second concentric pattern deviates from the center position of the concentric circles in the image corresponding to the first concentric pattern. A mobile information terminal to generate.
前記第1の同心円状パターンに対応する画像における同心円の中心位置と記第2の同心円状パターンの画像における同心円の中心位置が、前記画像処理回路から出力される画像の短辺方向に互いにずれている、携帯情報端末。 In the mobile information terminal according to claim 4.
The center position of the concentric circles in the image corresponding to the first concentric pattern and the center position of the concentric circles in the image of the second concentric pattern are deviated from each other in the short side direction of the image output from the image processing circuit. There is a mobile information terminal.
前記第1の同心円状パターンは、シリンドリカルレンズによって形成される、携帯情報端末。 In the mobile information terminal according to claim 1.
The first concentric pattern is a portable information terminal formed by a cylindrical lens.
前記画像処理回路は、前記モアレ縞画像を2次元フーリエ変換する処理により該モアレ縞画像の周波数スペクトルを算出する処理と、該モアレ縞画像の周波数スペクトルの強度を算出する処理を行って画像を生成する、携帯情報端末。 In the mobile information terminal according to claim 1.
The image processing circuit generates an image by performing a process of calculating the frequency spectrum of the moire fringe image by a two-dimensional Fourier transform process of the moire fringe image and a process of calculating the intensity of the frequency spectrum of the moire fringe image. Mobile information terminal.
更に操作部を備え、
前記画像処理回路は、前記操作部に対するユーザの操作に応じて前記第2の同心円状パターンの画像を変更する、携帯情報端末。 In the mobile information terminal according to claim 1.
In addition, it has an operation unit
The image processing circuit is a mobile information terminal that changes an image of the second concentric pattern according to a user's operation on the operation unit.
前記第2の同心円状パターンの画像を変更することで焦点合わせを可能にする、携帯情報端末。 In the mobile information terminal according to claim 8.
A portable information terminal that enables focusing by changing the image of the second concentric pattern.
前記画像処理回路は、前記操作部に対するユーザの操作により前記第2の同心円状パターンの大きさを拡大または縮小することが可能である、携帯情報端末。 In the mobile information terminal according to claim 8 or 9.
The image processing circuit is a portable information terminal capable of enlarging or reducing the size of the second concentric pattern by a user's operation on the operation unit.
受光面に配列された複数の画素により受光した光を画像信号に変換して出力する画像センサと、
前記画像センサの受光面側に配置され、光を変調する透過性の変調器と、
前記画像センサから出力される画像信号の画像処理を行う画像処理回路と、
を備え、
前記変調器の一方の面には同心円状パターンが形成され、該同心円状パターンで入射される光を変調し、
前記画像センサは、前記変調器により変調された光を受光して前記同心円状パターンに対応する画像を含む画像信号を出力し、
前記画像処理回路は、
前記画像センサから出力された前記同心円状パターンに対応する画像を含む画像信号を入力し、
前記入力された画像信号に含まれる前記同心円状パターンに対応する画像に別の同心円状パターンを組み合わせた場合の仮想的なモアレ縞画像を生成し、
前記モアレ縞画像に対し2次元フーリエ変換を含む処理を行い画像を生成する、
携帯情報端末。 It is a mobile information terminal
An image sensor that converts the light received by a plurality of pixels arranged on the light receiving surface into an image signal and outputs it.
A transmissive modulator arranged on the light receiving surface side of the image sensor to modulate light,
An image processing circuit that performs image processing of the image signal output from the image sensor, and
With
A concentric pattern is formed on one surface of the modulator, and the light incident on the concentric pattern is modulated.
The image sensor receives the light modulated by the modulator and outputs an image signal including an image corresponding to the concentric pattern.
The image processing circuit
An image signal including an image corresponding to the concentric pattern output from the image sensor is input.
A virtual moire fringe image when another concentric pattern is combined with the image corresponding to the concentric pattern included in the input image signal is generated.
A process including a two-dimensional Fourier transform is performed on the moire fringe image to generate an image.
Mobile information terminal.
前記同心円状パターンの同心円のピッチは、前記同心円の中心から外側に向かうに従い狭くなる、携帯情報端末。 In the mobile information terminal according to claim 11.
A portable information terminal in which the pitch of concentric circles in the concentric pattern becomes narrower from the center of the concentric circles toward the outside.
前記同心円状パターンは、シリンドリカルレンズによって形成される、携帯情報端末。 In the mobile information terminal according to claim 11.
The concentric pattern is a portable information terminal formed by a cylindrical lens.
前記画像処理回路は、前記モアレ縞画像を2次元フーリエ変換する処理により該モアレ縞画像の周波数スペクトルを算出する処理と、該モアレ縞画像の周波数スペクトルの強度を算出する処理を行って画像を生成する、携帯情報端末。 In the mobile information terminal according to claim 11.
The image processing circuit generates an image by performing a process of calculating the frequency spectrum of the moire fringe image by a two-dimensional Fourier transform process of the moire fringe image and a process of calculating the intensity of the frequency spectrum of the moire fringe image. Mobile information terminal.
前記別の同心円状パターンは前記画像処理回路によって画像として生成され、該別の同心円状パターンの画像が変更可能である、携帯情報端末。 In the mobile information terminal according to claim 11.
A portable information terminal in which the other concentric pattern is generated as an image by the image processing circuit, and the image of the other concentric pattern can be changed.
前記該別の同心円状パターンの画像を変更することで焦点合わせを可能にする、携帯情報端末。 In the mobile information terminal according to claim 15.
A portable information terminal that enables focusing by changing an image of the other concentric pattern.
更に操作部を備え、
前記画像処理回路は、前記操作部に対するユーザの操作により前記別の同心円状パターンの大きさを拡大または縮小することが可能である、携帯情報端末。 In the mobile information terminal according to claim 15 or 16.
In addition, it has an operation unit
The image processing circuit is a portable information terminal capable of enlarging or reducing the size of the other concentric pattern by a user's operation on the operation unit.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020159253A JP6947891B2 (en) | 2019-12-18 | 2020-09-24 | Mobile information terminal |
JP2021151300A JP7137290B2 (en) | 2020-09-24 | 2021-09-16 | Imaging device |
JP2022139418A JP7389195B2 (en) | 2020-09-24 | 2022-09-01 | Image generation method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019227885A JP6770164B2 (en) | 2019-12-18 | 2019-12-18 | Imaging device |
JP2020159253A JP6947891B2 (en) | 2019-12-18 | 2020-09-24 | Mobile information terminal |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019227885A Division JP6770164B2 (en) | 2019-12-18 | 2019-12-18 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021151300A Division JP7137290B2 (en) | 2020-09-24 | 2021-09-16 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021007235A JP2021007235A (en) | 2021-01-21 |
JP6947891B2 true JP6947891B2 (en) | 2021-10-13 |
Family
ID=74174651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020159253A Active JP6947891B2 (en) | 2019-12-18 | 2020-09-24 | Mobile information terminal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6947891B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022177064A (en) * | 2020-09-24 | 2022-11-30 | マクセル株式会社 | Image generation method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0510470D0 (en) * | 2005-05-23 | 2005-06-29 | Qinetiq Ltd | Coded aperture imaging system |
CN101978247B (en) * | 2008-03-20 | 2012-03-21 | 皇家飞利浦电子股份有限公司 | Photo-detector and method of measuring light |
CN105008969B (en) * | 2013-03-05 | 2019-03-19 | 拉姆伯斯公司 | The phase grating with odd symmetry for high-resolution non-lens optical sensing |
-
2020
- 2020-09-24 JP JP2020159253A patent/JP6947891B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022177064A (en) * | 2020-09-24 | 2022-11-30 | マクセル株式会社 | Image generation method |
JP7389195B2 (en) | 2020-09-24 | 2023-11-29 | マクセル株式会社 | Image generation method |
Also Published As
Publication number | Publication date |
---|---|
JP2021007235A (en) | 2021-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11747641B2 (en) | Imaging apparatus with cylindrical lenses | |
JP6685887B2 (en) | Imaging device | |
JP6820908B2 (en) | Imaging device | |
JP6721698B2 (en) | Imaging device | |
JP6646619B2 (en) | Imaging device | |
JP6947891B2 (en) | Mobile information terminal | |
JP6770164B2 (en) | Imaging device | |
JP6864604B2 (en) | Imaging device | |
WO2020059181A1 (en) | Imaging device and imaging method | |
JP2023016864A (en) | Imaging apparatus and method | |
JP7389195B2 (en) | Image generation method | |
JP6636663B2 (en) | Imaging device and image generation method | |
JP2021064000A (en) | Imaging device | |
JP2020098963A (en) | Imaging apparatus | |
JP2022180800A (en) | Imaging apparatus | |
JP2021005743A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6947891 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |