WO2018055831A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2018055831A1
WO2018055831A1 PCT/JP2017/018578 JP2017018578W WO2018055831A1 WO 2018055831 A1 WO2018055831 A1 WO 2018055831A1 JP 2017018578 W JP2017018578 W JP 2017018578W WO 2018055831 A1 WO2018055831 A1 WO 2018055831A1
Authority
WO
WIPO (PCT)
Prior art keywords
lattice
lattice pattern
image
grating
pattern
Prior art date
Application number
PCT/JP2017/018578
Other languages
English (en)
French (fr)
Inventor
和幸 田島
島野　健
健 宇津木
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US16/335,290 priority Critical patent/US10649118B2/en
Priority to JP2018540628A priority patent/JP6721698B2/ja
Priority to CN201780059121.5A priority patent/CN109804616B/zh
Publication of WO2018055831A1 publication Critical patent/WO2018055831A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1842—Gratings for image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/60—Systems using moiré fringes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1866—Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1866—Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • G02B5/1871—Transmissive phase gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1343—Electrodes
    • G02F1/134309—Electrodes characterised by their geometrical arrangement
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1343—Electrodes
    • G02F1/13439—Electrodes characterised by their electrical, optical, physical properties; materials therefor; method of making
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/292—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection by controlled diffraction or phased-array beam steering
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/12—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 electrode
    • G02F2201/122—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 electrode having a particular pattern

Definitions

  • the present invention relates to an imaging apparatus, and more particularly, to an imaging apparatus that improves the resolution of an imaging apparatus using a diffraction grating substrate.
  • Patent Document 1 a special diffraction grating substrate is attached to an image sensor, and an incident angle of incident light is inversely determined from a projection pattern in which light transmitted through the diffraction grating substrate is generated on the sensor without using a lens. It describes a method for obtaining an image of an object in the outside world by calculating it.
  • Patent Document 2 describes that a concentric grating pattern having a fine pitch from the center toward the outside is used as the diffraction grating substrate.
  • a diffraction grating pattern formed on the upper surface of a substrate to be attached to an image sensor is a special grating pattern such as a spiral, and an inverse problem for reproducing an image is solved from a projection pattern received by the sensor. There was a problem that the calculation was complicated.
  • Patent Document 2 since a diffraction grating in which a plurality of concentric grating patterns overlap each other is used, there is a concern that the transmittance decreases, and the concentric grating patterns interfere with each other, leading to an increase in noise of a reproduced image. is there.
  • the front and back diffraction grating patterns of the double-sided grating substrate are made up of a plurality of concentric circles whose pitch is inversely proportional to the distance from the origin, causing moire fringes, and Fourier-transforming the captured image.
  • An imaging device that obtains a captured image by analyzing a spatial frequency spectrum by paying attention to moire fringes has been proposed.
  • the front and back diffraction grating patterns in order to detect the incident angle of the light beam, the front and back diffraction grating patterns must be shifted with respect to the grating substrate, and two spatial frequency peaks must be created ( For this reason, the resolution of the imaging is reduced.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to improve the resolution of an imaging apparatus in which a plurality of concentric diffraction grating substrates whose pitches are inversely proportional to the distance from the origin are arranged. There is.
  • the configuration of the imaging apparatus includes an image sensor that converts an optical image captured by a plurality of pixels arranged in an array on the imaging surface into an image signal, and an image.
  • a modulation unit that is provided on the light receiving surface of the sensor and modulates the intensity of light
  • an image processing unit that performs image processing on an output image output from the image sensor.
  • the modulation unit includes a lattice substrate, an image sensor A first grating pattern formed on a first surface of a grating substrate facing a surface close to the light receiving surface, and the pitch of the grating pattern is inversely proportional to the distance from the origin of at least one reference coordinate
  • the concentric circles are not overlapped with each other in the lattice pattern, and the reference coordinates are arranged symmetrically with respect to the normal line at the center of the light receiving surface.
  • lattice It is a schematic diagram explaining the generation
  • FIG. 1 is a configuration diagram of an imaging apparatus using a lattice pattern.
  • FIG. 2 is a diagram illustrating a state in which the image is displayed on the monitor display by the imaging apparatus.
  • FIG. 3 is a flowchart showing the processing of the image processing circuit.
  • the imaging apparatus 101 includes a double-sided lattice substrate 102, an image sensor 103, and an image processing circuit 106.
  • the double-sided lattice substrate 102 is fixed in close contact with the light receiving surface of the image sensor 103, and on the surface of the double-sided lattice substrate 102, the lattice interval (pitch) is inversely proportional to the radius from the center.
  • a concentric front side lattice pattern 104 is formed in which the lattice interval (pitch) becomes narrower in proportion to the radius from the center.
  • a similar back side lattice pattern 105 is also formed on the back surface of the image sensor 103 in contact with the light receiving surface.
  • the intensity of the light transmitted through these lattice patterns is modulated by the lattice pattern.
  • the transmitted light is received by the image sensor 103, and the image signal is subjected to image processing by the image processing circuit 106 and output to the monitor display 107 or the like.
  • a normal imaging device requires a lens for imaging before a sensor, but this imaging device can acquire an image of an object in the outside world without the need for a lens.
  • the concentric lattice pattern 104 has no other lattice pattern that intersects the ring patterns constituting the concentric circles in the same plane, does not cause unnecessary interference between the lattice patterns, and suppresses a decrease in light utilization efficiency. it can.
  • the state of display by the imaging device is as shown in FIG. 2, the subject 201 is photographed with the lattice surface of the double-sided lattice substrate 102 facing the subject 201, the light received by the image sensor is subjected to image output processing, and the output Is output to the monitor display 107.
  • the flow of image processing in the image processing circuit 106 is as shown in FIG. 3, and a two-dimensional FFT operation is performed on the input moire fringe image for each color RGB component (S01) to obtain a frequency spectrum. Ask for.
  • the data of the one side frequency is cut out (S02), and intensity calculation is performed (S03).
  • noise removal (S04) and contrast enhancement processing are performed on the obtained image (S05), color balance is adjusted (S06), and the resulting image is output.
  • FIG. 4 is a diagram for explaining that the projected image from the front surface of the lattice substrate to the back surface by the obliquely incident parallel light causes an in-plane shift.
  • FIG. 5 is a schematic diagram for explaining the generation of moire fringes and the frequency spectrum when the lattice axes on both surfaces of the lattice substrate are aligned.
  • FIG. 6 is a schematic diagram when the axes of the front surface lattice and the back surface lattice are shifted.
  • FIG. 7 is a schematic diagram for explaining the generation of moire fringes and the frequency spectrum when the gratings on both sides of the grating substrate are shifted.
  • FIG. 8 is a diagram for explaining angles formed by the light from each point constituting the object with respect to the sensor.
  • a laser interferometer or the like that causes a spherical wave close to a plane wave to interfere with a plane wave used as reference light.
  • the center of the concentric circle is the reference coordinate
  • the radius from the reference coordinate is r
  • the phase of the spherical wave is ⁇ (r)
  • the interference fringe intensity distribution is obtained. This is,
  • a lattice pattern having a transmittance distribution proportional to the intensity distribution defined as described above is used as the lattice patterns 104 and 105 shown in FIG.
  • the refraction angle in the substrate is ⁇ and the surface of the surface is geometrically optical.
  • F represents a Fourier transform operation
  • u and v are spatial frequency coordinates in the x and y directions
  • ⁇ with parentheses is a Dirac delta function
  • FIG. 5 shows the correspondence between the light beam and the substrate arrangement, the generated moire fringes, and the spatial frequency spectrum.
  • FIG. 5 is a schematic diagram of the arrangement of light and substrate, moire fringes, and spatial frequency spectrum from the left.
  • FIG. 5 (a) shows normal incidence
  • FIG. 5 (b) shows light incident at an angle ⁇ from the left.
  • FIG. 5C shows a case where a light beam is incident at an angle ⁇ from the right side.
  • the front side lattice pattern 104 and the back side lattice pattern 105 on the double-sided lattice substrate 102 are aligned.
  • FIG. 5A since the shadows of the front side lattice and the back side lattice match, moire fringes do not occur.
  • the two gratings are relatively positioned relative to the optical axis so that the shadows of the two gratings are shifted and overlapped even with respect to a light beam perpendicularly incident on the substrate. It is necessary to shift.
  • the relative shift of the shadows of the two gratings is ⁇ 0 with respect to the normal incident plane wave on the axis, the shift ⁇ caused by the plane wave at the incident angle ⁇ is
  • FIG. 5 shows the arrangement of the light beam and the substrate on the left side
  • the center row shows moire fringes
  • the right side shows the spatial frequency spectrum
  • FIG. 7A shows the case where the light ray is vertically incident
  • FIG. 7C shows the case where the light beam is incident at an angle ⁇ from the left side. Since the front side lattice pattern 104 and the back side lattice pattern 105 are preliminarily shifted by ⁇ 0, even in the case of FIG.
  • the maximum incident angle of parallel light that can be received is ⁇ max.
  • the transmittance distribution of the grating basically has a sinusoidal characteristic. However, if such a component exists as a fundamental frequency component of the grating, the grating It is also conceivable to increase the transmittance by binarizing the transmittance of the light and changing the duty of the lattice region having a high transmittance and the low region to widen the width of the region having a high transmittance.
  • the incident light beam has only one incident angle at the same time.
  • this apparatus in order for this apparatus to actually function as a camera, it is assumed that light of a plurality of incident angles is incident simultaneously. There must be. Such light having a plurality of incident angles already overlaps the images of the plurality of front side gratings when entering the back side grating. If these cause moiré fringes, there is a concern that they may cause noise that hinders detection of moiré fringes with the back surface grating, which is a signal component.
  • the overlap between the images on the front side lattice does not cause the peak of the moire image, and the peak is caused only by the overlap with the back side lattice. The reason will be described below.
  • the major difference is that the overlap between the shadows of the front side grating due to the light beams having a plurality of incident angles is not the product of the respective light intensities but the sum.
  • the light intensity distribution after passing through the back side grating is multiplied by the light intensity distribution of the front side shadow and the transmittance of the back side grating. Is obtained.
  • the overlap of shadows caused by light incident at different angles on the front side grating is an overlap of light, so it is not a product but a sum. For the sum,
  • the distribution of the original Fresnel zone plate lattice is multiplied by the distribution of moire fringes. Therefore, since the frequency spectrum is represented by the overlap integral of each frequency spectrum, even if the moire spectrum alone has a sharp peak, the ghost of the frequency spectrum of the Fresnel zone plate is actually generated at that position. is there. That is, no sharp peak occurs in the spectrum. Therefore, the spectrum of the moiré image detected even when light with multiple incident angles is included is always only the moiré of the product of the front side grating and the back side grating, and as long as the back side grating is single, the peak of the detected spectrum is There is only one for one incident angle.
  • ⁇ ⁇ 0.18 ° in the condition of the present embodiment which is a condition that can be realized if the sensor size is 20 mm and it is 6 m away from the subject.
  • the imaging apparatus can form an image on an object at infinity.
  • FIG. 9 is a diagram showing a spatial frequency spectrum when two lattice patterns are shifted in the horizontal direction.
  • FIG. 10 is a diagram showing a spatial frequency spectrum when two lattice patterns are shifted in the vertical direction.
  • the front side lattice pattern 104 and the back side lattice pattern 105 are shifted to the left and right as shown in FIG.
  • the spatial frequency spectrum of the sensor output is the frequency range of both x and y ⁇ N / S, as shown on the right side of the figure.
  • the image is reproduced separately from left and right.
  • the image of the image is basically limited to a vertically long area. In general, since an image acquired by a camera is a horizontally long rectangle, an arrangement suitable for it is preferably as shown in FIG.
  • the front side lattice pattern 104 and the back side lattice pattern 105 are shifted in the vertical direction, and the image formed in the spatial frequency space of the sensor output is separated in the vertical direction. In this way, the output image can be horizontally long.
  • FIG. 11 is a configuration diagram of the imaging apparatus when the back side lattice pattern is realized by the sensor sensitivity distribution.
  • FIG. 12 is a diagram showing that the projection of the front side lattice pattern on the back surface is enlarged from the front side lattice pattern when the object to be imaged is at a finite distance.
  • FIG. 13 is a flowchart showing the processing of the image processing circuit of the imaging apparatus when the back side lattice pattern is realized by the sensor sensitivity distribution.
  • the angle of the incident parallel light is detected from the spatial frequency spectrum of the moire fringes by disposing the same grating on the front side and the back side of the grating substrate. And made up the statue.
  • the backside grating is an optical element that modulates the intensity of incident light in close contact with the sensor, the sensitivity of the sensor is effectively set by taking the transmittance of the backside grating into account, thereby processing the image. Moire can be virtually generated in the interior.
  • FIG. 11 shows the configuration of the imaging apparatus when there is no backside grid on the backside of the grid substrate.
  • the pixel pitch of the sensor needs to be fine enough to reproduce the lattice pitch sufficiently, or so coarse that the lattice pitch can be reproduced with the pixel pitch of the sensor.
  • the pitch of the grating does not necessarily need to be resolved by the sensor pixels, and only the moire image needs to be resolved. Therefore, the grating pitch can be determined independently of the sensor pitch. it can.
  • the resolution of the grating and the sensor needs to be equal.
  • the intensity modulation processing S0A of the sensor corresponding to the function of the back surface grid for generating the moire on the sensor output image is required. Necessary.
  • the detection light does not necessarily have to be parallel light.
  • FIG. 12 when a spherical wave from a point 1301 constituting an object irradiates the front lattice pattern 104 and its shadow 1302 is projected on the lower surface, the image projected on the lower surface is approximately It is enlarged uniformly. Therefore, if the transmittance distribution of the bottom grating designed for parallel light is multiplied as it is, linear moire fringes at equal intervals will not occur. However, if the lower surface lattice is enlarged in accordance with the shadow of the uniformly enlarged upper surface lattice, linear moire fringes at equal intervals can be generated again for the enlarged shadow 1302. Thereby, light from the point 1301 at a distance that is not necessarily infinite can be selectively reproduced. Therefore, this enables focusing.
  • FIG. 14 is a configuration diagram of an imaging apparatus that displays a surface lattice pattern with a variable size by using a liquid crystal element.
  • FIG. 15 is a block diagram of a portion related to liquid crystal control of an image processing circuit of an imaging apparatus that displays a surface lattice pattern with a liquid crystal element with variable size.
  • FIG. 14 is a configuration diagram of an imaging device that displays a variable grating 1403 on the front substrate by a liquid crystal element sandwiched by a liquid crystal substrate 1402 with a liquid crystal layer 1401 interposed therebetween.
  • Transparent electrodes are formed on the liquid crystal substrate 1402 and the lattice substrate 102a, and an arbitrary lattice image can be displayed through an electrode (not shown).
  • the image processing circuit 1404 includes a liquid crystal driving circuit 1410 and a back surface grid generation circuit 1411.
  • the back surface grid generation circuit 1411 generates a back surface grid pattern in response to an external focus designation input.
  • the liquid crystal driving circuit 1410 is driven to display a backside lattice pattern corresponding to an arbitrary focus position on the liquid crystal element integrated with the sensor.
  • FIG. 16 is a diagram showing a 3 ⁇ 3 divided lattice pattern.
  • FIG. 17 is a perspective view showing the arrangement of initial phases on both sides of a 3 ⁇ 3 divided lattice pattern.
  • FIG. 18 is a diagram showing an image of moiré fringes generated when light from a single point light source enters a 3 ⁇ 3 divided double-sided grating.
  • FIG. 19 is a diagram illustrating an image of moire fringes obtained by performing noise reduction image processing.
  • FIG. 20 is a flowchart showing the processing of the image processing circuit of the imaging apparatus in which the double-sided lattice substrate is divided.
  • independent zone plates are formed in areas obtained by dividing the front side lattice and the back side lattice into 3 ⁇ 3 or more as shown in FIG.
  • the zone plates are arranged without overlapping.
  • the initial phase of the grating is aligned with ⁇ 1, ⁇ 2, and ⁇ 3 on the left side, left and right middle, and right side in the upper, middle, lower, and back side lattices in the front side lattice. These are arranged as shown in FIG.
  • the light intensity Is on the sensor surface is
  • I k is the light intensity distribution of the shadow of the front side grating by the k-th point light source
  • I is the transmittance distribution of the back side grating.
  • the initial phase ⁇ F of the front side lattice and the initial phase ⁇ B of the back side lattice have three values of ⁇ 1, ⁇ 2, and ⁇ 3, respectively. It is assumed that the k-th point light source that illuminates the front grid emits light with an intensity of A k and forms a shadow of the front grid on the sensor with a deviation of ⁇ k .
  • Equation (17) The second term in ⁇ in the lower expression of Equation (17) is the shadow of the front side lattice, the third term is the intensity modulation of the back side lattice, the fourth term is the sum frequency component of the two lattices, and the fifth term is It is a difference frequency component and a moire fringe term that is a signal component used by the present apparatus. Therefore, it is only necessary to extract the component having the additional phase ⁇ F ⁇ a . (17) focusing on ⁇ F and ⁇ B
  • the 3 ⁇ 3 double-sided Fresnel zone plate described in FIGS. 16 and 17 is used.
  • the moire fringes obtained by this 3 ⁇ 3 double-sided grating with a single point light source are as shown in FIG.
  • a plurality of Fresnel zone plates appear to intersect, and this is a light intensity distribution formed in a sensor shape by light incident on both sides of the Fresnel zone plate without intersection.
  • the moire fringes obtained by synthesizing the moire fringes from the 3 ⁇ 3 cells using the equation (24) are as shown in FIG. According to this figure, unnecessary noise other than moire fringes is greatly reduced. As a result, the quality of the captured image can be improved.
  • FIG. 3 The processing of the image processing circuit based on the above principle is as shown in FIG. In this flowchart, in addition to FIG. 3, a process of moire fringe noise removal S0B is added.
  • FIG. 21 is a diagram showing a 2 ⁇ 2 divided lattice pattern.
  • FIG. 22 is a diagram illustrating an image of moire fringes obtained by performing noise reduction image processing.
  • FIG. 23 is a flowchart showing the processing of the image processing circuit of the imaging device obtained by dividing the single-sided lattice substrate.
  • FIG. 21 shows a lattice pattern when the front side lattice pattern is different from the double-sided lattice substrate shown above.
  • the back surface side grating is not a fixed grating and sensor sensitivity is virtually given in the form of a Fresnel zone plate, or a liquid crystal element is used.
  • the grating is divided into 2 ⁇ 2 areas, and the initial phase of each Fresnel zone plate is shifted by 90 °.
  • the phase is shifted by column or row, but in this device, the phase is changed in all regions.
  • the phase of the virtual zone plate on the back surface side is changed by 90 degrees in all regions in four steps to generate moire fringes, so that the double-sided grating can be integrated with four phases.
  • a reproduction image of moire fringes by a single point light source is shown in FIG. The noise is further reduced compared to the case of FIG.
  • FIG. 23 shows processing of the image processing circuit based on the above principle.
  • a sensor intensity modulation process S0A corresponding to the function of the backside grating is added.
  • FIG. 24 is a diagram illustrating a spatial frequency spectrum when two lattice pattern positions are matched.
  • the mirror image relationship generated in the spatial frequency space is obtained by shifting the front side lattice pattern 104 and the back side lattice pattern 105 left and right or up and down as shown in FIGS. Two reproduced images were separated.
  • the number of pixels of the reproduced image is half that of a normal camera. Therefore, a configuration that avoids the generation of a mirror image and does not reduce the number of effective pixels will be described.
  • i is an imaginary unit. Therefore, the moire fringes may be represented by one complex exponential function from the beginning.
  • cos cos and sin sin were extracted in the equations (21) and (22) referenced there, but if the components of cos sin and sin cos were extracted in the same way,
  • the angular distribution of light transmitted through an optical element corresponds to the spatial frequency spectrum of the amplitude transmittance distribution of the element, and discrete diffracted light reflecting the grating shape is generated from a periodic structure such as a diffraction grating.
  • the transmittance of the grating is realized with light and shade, the transmitted light is separated into zero-order light traveling straight and a plurality of diffracted lights generated symmetrically on both sides thereof.
  • a blaze diffraction grating is used to remove unnecessary order light and improve the light utilization efficiency.
  • Expression (29) represents the moire fringes as a blazed diffraction grating, which is equivalent to concentrating the diffraction orders to one order. This is realized because the phase of not only the intensity of the moire fringes but also the phase is detected by changing the phase of the front side grating and the back side grating.
  • Expression (30) can be expressed in terms of one Dirac delta function when viewed in the (u, v) space.
  • FIG. 25 is a diagram showing the arrangement of the grating substrate and the imaging device of the image sensor when the phase of the front grating is variable.
  • FIG. 26 is a diagram illustrating an example of an electrode pattern of a liquid crystal element.
  • FIG. 27 is a schematic diagram when the initial phase of the electrode pattern of the liquid crystal element is variably input.
  • FIG. 28 is a diagram illustrating an arrangement example of the zone plates in the case where the initial phase of the front side grating is varied.
  • the center of the concentric electrode of the zone plate 3403 formed as the liquid crystal electrode is set at the center position of the sensor light receiving unit 3404. It arrange
  • the liquid crystal element is used as a zone plate size variable means for focus adjustment. In this apparatus, the liquid crystal element is used as a means for changing the initial phase of the zone plate.
  • the electrode pattern like the schematic diagram shown in FIG. 26, for example.
  • Concentric electrodes are formed so that one period of the lattice pattern of the zone plate is divided into four, and every four electrodes from the inside are connected to the outer electrodes.
  • the terminal portion 3501 has 4 as electrode driving terminals. The electrodes are output.
  • the initial phase 0 state 3601, the ⁇ / 2 state 3602, the ⁇ state 3603, and the 3 ⁇ / 2 state 3604 are applied to the four electrodes in terms of two states, “0” and “1”. This is realized by switching to. This means that the hatched electrode shields the light and the white electrode transmits the light.
  • the initial phase of the backside grating is made variable by setting the effective light receiving sensitivity of the sensor as a virtual transmittance.
  • the change of the initial phase of the backside grating is performed as image processing, it is not always necessary to vary the time depending on the calculation capability of the device, and may be calculated in parallel.
  • the calculation based on the equation (30) is performed to obtain a moire fringe image having a complex luminance from which noise is removed. .
  • a final detection image is obtained by performing a two-dimensional Fourier transform on this.
  • the center position of the plate is arranged symmetrically with respect to the normal N passing through the center of the sensor.
  • the quadrangle formed by the center positions of the concentric circles of the four zone plates is a square, and the normal line N of the sensor center is arranged so as to pass through the center of the square.
  • phase information can be obtained by calculation at the time of image reproduction, and it becomes possible to improve the resolution in addition to noise removal of the reproduced image.
  • FIG. 29 is a diagram showing an example of a surface lattice pattern when a single-sided lattice substrate is divided.
  • the back surface side lattice is not a fixed lattice, sensor sensitivity is virtually given in the form of a Fresnel zone plate, and the phase of the back surface side virtual zone plate is 90 ° in the entire region.
  • FIG. 29 shows an example of the front side lattice in this apparatus, and the phase difference between ⁇ 1 and ⁇ 2 is ⁇ / 2.
  • the back side lattice is a virtual zone plate
  • the negative component of cos can be handled in the expression expressing the zone plate, and the light intensity Is on the sensor surface is
  • the second term in the lower stage ⁇ of the expression (32) indicates the sum frequency component of the two lattices. If this term can be removed, only the moire fringe term can be expressed.
  • results ⁇ B is multiplied by the back surface side grating of the front side grid and the initial phase phi B of the initial phase .phi.F, represents the result of subtracting (31) second term of the equation.
  • the reproduced image is displayed at the center in the spatial frequency space by adding the sine and the cos to create the moire fringe, thereby improving the resolution.
  • the resolution of the reproduced image can also be improved here by adding the sin components.
  • FIG. 30 is a configuration diagram of an imaging apparatus capable of switching display of both the front side grid and the back side grid in terms of time.
  • FIG. 31 is a block diagram of the image processing circuit.
  • FIG. 32 is a flowchart showing the processing of the image processing circuit. In the example of dividing the single-sided lattice substrate shown in FIG. 21, the case where the front side lattice divided into a plurality of regions and the back side lattice are displayed using a liquid crystal element or the like has been described. Here, both the front side lattice and the back side lattice are displayed. A configuration in which the display can be switched over time using a liquid crystal element or the like will be described.
  • the imaging apparatus 3101 includes an image sensor 103, a front side grid display unit 3102, a back side grid display unit 3103, an image processing unit 3104, and a display control unit 3015.
  • the front-side grid display unit 3102 and the back-side grid display unit 3103 can display a Fresnel zone plate whose phase of gradation change is temporally variable, and the display is controlled by the display control unit 3105.
  • Image capturing in the image processing unit 3104 and display switching by the display control unit 3105 are performed in synchronization, and the image processing unit 3104 performs noise removal and development processing from a plurality of captured images, and then performs a reference by Fourier transform. Is reproduced and output to the monitor display 107 or the like.
  • the image processing unit 3104 includes an image acquisition unit 3201, an exponential function calculation unit 3202, an image storage unit 3203, a switch 3204, an all stored image addition unit 3205, and a two-dimensional Fourier transform unit 3206.
  • the image acquisition unit 3201 is a part that acquires an image from the image sensor.
  • the exponential function calculation unit 3202 is a part that performs a calculation to multiply the phase difference between the front side lattice pattern and the back side lattice pattern as an exponential function.
  • the image storage unit 3203 is a memory that temporarily stores the calculation result of the exponential function calculation unit 3202.
  • the switch 3204 is a switch that is turned on / off by a command from the display control unit 3105.
  • the all stored image adding unit 3205 is a part for adding the image data of the image storing unit 3203.
  • a two-dimensional Fourier transform unit 3206 is a part that performs two-dimensional Fourier transform on the added image data.
  • the reference phase is set to 0 for both the front side lattice and the back side lattice, the phase changes by ⁇ / 2 for each step, and the reproduction process is performed with a combination of four step times.
  • a sensor image is acquired by the image acquisition unit 3201 (S3302), and the phase difference between the front side lattice pattern and the back side lattice pattern is acquired by the exponential function calculation unit 3202 with respect to the acquired image. Is multiplied as an exponential function (S3303), and the image is stored in the image storage unit 3203 (S3304).
  • the display control unit 3105 sends a command to the front side grid display unit 3103 to display the Fresnel zone plate with the phase added by ⁇ / 2, and further, the Fresnel with the phase added to the back side grid display unit 3104 as necessary.
  • a command is sent to display the zone plate (S3305 to S3308).
  • the switch 3204 is closed, and all the images stored in the image storage unit 3203 are stored in the all stored image addition unit 3205. To be added (S3309).
  • the moire fringes from which noise has been removed are calculated, and the two-dimensional Fourier transform unit 3206 performs Fourier transform on the image (S3310), and the reproduced image is displayed on the monitor display 107 (S3311).
  • the display of the zone plate is switched temporally without dividing the area of both the front side grating and the rear side grating, and noise of moire fringes is removed using a plurality of sensor images, so that the quality is high.
  • a playback image can be obtained.
  • the grid display it is possible to switch the display unit an arbitrary number of times, and the display switching frequency is changed according to the noise occurrence state, so that a high-quality reproduced image can always be obtained. Is possible.
  • liquid crystal elements are used for both the front side grating and the back side grating.
  • a Fresnel zone plate having a different phase For example, an electrode is arranged in an annular shape, and the transmittance between the electrodes is modulated. Display may be performed. As a result, it is possible to eliminate the influence of the lattice-like non-transmission portion caused by the fill factor or the like in the liquid crystal element.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

撮像装置は、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、画像センサの受光面に設けられ、光の強度を変調する変調部と、画像センサより出力された出力画像に対して画像処理を施す画像処理部とを備え、変調部は格子基板と、画像センサの受光面に近接する面に対向する格子基板の第１の面に形成される第１の格子パターンとを有する。格子パターンは、少なくとも一つの基準座標の原点からの距離に対してピッチが反比例する複数の同心円からそれぞれ構成されており、複数の同心円は格子パターン内で互いに重ならず、基準座標は、受光面の中央の法線に対し対称に配置されている。　それにより、原点からの距離に対してピッチが反比例する複数の同心円からなる回折格子基板を配置した撮像装置における解像度を向上させる。

Description

撮像装置
　本発明は、撮像装置に係り、特に、回折格子基板を用いた撮像装置の解像度を向上させる撮像装置に関する。
　スマートフォンなどに搭載するカメラや、３６０°センシングが必要となりつつある車載カメラでは薄型化が必要であり、レンズを用いることなく、回折格子基板を透過した光学像を解析することより、撮像をおこなう装置が提案されている。
　例えば、特許文献１には、画像センサに特殊な回折格子基板を貼り付け、レンズを用いることなく、回折格子基板を透過する光がセンサ上で生じる射影パターンから、入射光の入射角を逆問題演算により求めることにより、外界の物体の像を得る方法について記載されている。
　また、特許文献２には、回折格子基板として中心から外側に向けてピッチが細かくなる同心円状の格子パターンを用いることが記載されている。
米国特許出願公開第２０１４／０２５３７８１号明細書 米国特許出願公開第２０１５／０２１９８０８号明細書
　特許文献１では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンであり、センサで受光される射影パターンから、像を再生するための逆問題を解く演算が複雑になるという問題点があった。
　特許文献２では、前記同心円状格子パターンが複数オーバーラップしている回折格子を用いているため、透過率が低下するとともに、相互の同心円格子パターンが干渉し、再生画像のノイズ増大を招く懸念がある。
　そこで、両面格子基板の表と裏の回折格子パターンを、原点からの距離に対してピッチが反比例する複数の同心円からなるようにし、モアレ縞を生じさせ、撮像した画像をフーリエ変換して、そのモアレ縞に着目し、空間周波数スペクトルを分析することにより、撮像画像を得る撮像装置が提案されている。
　この技術によれば、光線の入射角度の検出が容易になり、回折格子のパターンの干渉ノイズが少ない撮像装置を提供することができる。
　しかしながら、この撮像装置によれば、光線の入射角度を検出するために、格子基板に対して表と裏の回折格子パターンをずらして配置し、空間周波数のピークを二箇所作らなければならず（詳細は、後述）、そのため撮像における解像度の低下を招いていた。
　本発明は、上記問題点を解決するためになされたもので、その目的は、原点からの距離に対してピッチが反比例する複数の同心円からなる回折格子基板を配置した撮像装置における解像度を向上させることにある。
　上記問題点を解決するために、本発明の撮像装置の構成は、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、画像センサの受光面に設けられ、光の強度を変調する変調部と、画像センサより出力された出力画像に対して画像処理を施す画像処理部とを備え、変調部は格子基板と、画像センサの受光面に近接する面に対向する格子基板の第１の面に形成される第１の格子パターンとを有し、格子パターンは、少なくとも一つの基準座標の原点からの距離に対してピッチが反比例する複数の同心円からそれぞれ構成されており、複数の同心円は格子パターン内で互いに重ならず、基準座標は、受光面の中央の法線に対し対称に配置されているようにしたものである。
　本発明によれば、原点からの距離に対してピッチが反比例する複数の同心円からなる回折格子基板を配置した撮像装置における解像度を向上させることができる。
格子パターンを利用した撮像装置の構成図である。 撮像装置によりモニタディスプレイに表示している様子を示す図である。 画像処理回路の処理を示すフローチャートである。 斜め入射平行光による格子基板表面から裏面への射影像が、面内ずれを生じることを説明する図である。 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。 表面格子と裏面格子の軸をずらして配置する場合の模式図である。 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。 物体を構成する各点からの光がセンサに対してなす角を説明する図である。 ２枚の格子パターンを横方向にずらす場合の空間周波数スペクトルを示す図である。 ２枚の格子パターンを縦方向にずらす場合の空間周波数スペクトルを示す図である。 裏面側格子パターンをセンサ感度分布で実現する場合の撮像装置の構成図である。 結像する物体が有限距離にある場合に表側格子パターンの裏面への射影が表側格子パターンより拡大されることを示す図である。 裏面側格子パターンをセンサ感度分布で実現する場合の撮像装置の画像処理回路の処理を示すフローチャートである。 表面格子パターンを液晶素子によりサイズ可変で表示させる撮像装置の構成図である。 表面格子パターンを液晶素子によりサイズ可変で表示させる撮像装置の画像処理回路の液晶制御に関する部分のブロック図である。 ３×３分割の格子パターンを示す図である。 ３×３分割の格子パターンの両面の初期位相の配置を示す斜視図である。 ３×３分割の両面格子に単一点光源からの光が入射して生じるモアレ縞の画像を示す図である。 ノイズ低減画像処理を施して得られたモアレ縞の画像を示す図である。 両面格子基板を分割した撮像装置の画像処理回路の処理を示すフローチャートである。 ２×２分割の格子パターンを示す図である。 ノイズ低減画像処理を施して得られたモアレ縞の画像を示す図である。 片面格子基板を分割した撮像装置の画像処理回路の処理を示すフローチャートである。 ２枚の格子パターン位置を一致させる場合の空間周波数スペクトルを示す図である。 表側格子の位相を可変にする場合の格子基板と画像センサの撮像装置の配置を示す図である。 液晶素子の電極パターンの例を示す図である。 液晶素子の電極パターンの初期位相を可変入力した場合の模式図である。 表側格子の初期位相を可変させる場合のゾーンプレートの配置例を示す図である。 片面格子基板を分割した場合の表面格子パターンの一例を示す図である。 表側格子、裏側格子共に時間的にその表示切り替えが可能な撮像装置の構成図である。 画像処理回路のブロック図である。 画像処理回路の処理を示すフローチャートである。
　　〔両面格子基板を利用した撮像装置の構成〕
　先ず、図１および図２を用いて両面格子基板を利用した撮像装置の構成と画像処理の概要について説明する。
  図１は、格子パターンを利用した撮像装置の構成図である。
  図２は、撮像装置によりモニタディスプレイに表示している様子を示す図である。
  図３は、画像処理回路の処理を示すフローチャートである。
　撮像装置１０１は、両面格子基板１０２、画像センサ１０３、画像処理回路１０６から構成される。両面格子基板１０２は、画像センサ１０３の受光面に密着して固定されており、両面格子基板１０２の表面には、格子間隔（ピッチ）が中心からの半径に反比例する、すなわち、外に向かうほど中心からの半径に比例して格子間隔（ピッチ）が狭くなる同心円状の表側格子パターン１０４が形成されている。また、裏面の、画像センサ１０３の受光面に接する面にも、同様の裏側格子パターン１０５が形成されている。これらの格子パターンを透過する光は、その格子パターンによってその強度が変調される。透過した光は、画像センサ１０３で受光され、その画像信号は、画像処理回路１０６によって画像処理され、モニタディスプレイ１０７などに出力される。通常の撮像装置は、センサの前に結像のためのレンズが必要であるが、本撮像装置では、レンズを必要とせずに外界の物体の画像を取得することができる。このとき同心円状格子パターン１０４は、同心円を構成する各リングパターンに同じ面内で交差する他の格子パターンがなく、格子パターン間の不要な干渉を生じず、光利用効率の低下を抑えることができる。
　撮像装置により表示する様子は、図２に示されるようになり、被写体２０１に対して両面格子基板１０２の格子面を正対させて撮影し、画像センサでの受光を画像出力処理し、その出力をモニタディスプレイ１０７に出力することにより可能となる。
　画像処理回路１０６での画像処理の流れは、図３に示されるようになり、入力されたモアレ縞画像に対して、カラーのＲＧＢ各成分ごとに２次元ＦＦＴ演算を行い（Ｓ０１）、周波数スペクトルを求める。その片側周波数のデータを切り出し（Ｓ０２）、強度計算をおこなう（Ｓ０３）。さらに得られた画像に対してノイズ除去（Ｓ０４）、コントラスト強調処理などを行い（Ｓ０５）、カラーバランスを調整し（Ｓ０６）、撮影画像として出力する。
　　〔両面格子基板を利用した撮像装置の撮影原理〕
　次に、図４ないし図８を用いて図１に示した撮像装置の撮影原理について説明する。
  図４は、斜め入射平行光による格子基板表面から裏面への射影像が、面内ずれを生じることを説明する図である。
  図５は、格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。
  図６は、表面格子と裏面格子の軸をずらして配置する場合の模式図である。
  図７は、格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。
  図８は、物体を構成する各点からの光がセンサに対してなす角を説明する図である。
　先ず、格子間隔（ピッチ）が中心からの半径に反比例する、すなわち、外に向かうほど中心からの半径に比例して格子間隔（ピッチ）が狭くなる同心円状の格子パターン１０４の格子パターンを、以下のように定義する。
　レーザー干渉計などにおいて、平面波に近い球面波と、参照光として用いる平面波を干渉させる場合を想定する。同心円の中心を基準座標とし、その基準座標からの半径をｒ、そこでの球面波の位相をφ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて、
Figure JPOXMLDOC01-appb-M000001
と表せる。球面波にも関わらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、
Figure JPOXMLDOC01-appb-M000002
  のような干渉縞の強度分布が得られる。これは、
Figure JPOXMLDOC01-appb-M000003
を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをｐとすると、
Figure JPOXMLDOC01-appb-M000004
が得られ、ピッチは半径に対して比例して狭くなっていくことがわかる。このような縞はフレネルゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した格子パターン１０４、１０５として用いる。このような格子が両面に形成された厚さｔの基板に、図４に示すように角度θ0で平行光が入射したとすると、基板中の屈折角をθとして幾何光学的には表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に二つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、
Figure JPOXMLDOC01-appb-M000005
のような強度分布が得られる。この展開式の第４項が、二つの格子のずれの方向にまっすぐな等間隔の縞模様を、重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞は、モアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。そして、その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは不可能と考えられる。第２項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかるが、二つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。（５）式から鋭いピークを持つ成分のみを、
Figure JPOXMLDOC01-appb-M000006
のように取り出すと、そのフーリエスペクトルは、
Figure JPOXMLDOC01-appb-M000007
のようになる。ただしここで、Ｆは、フーリエ変換の演算を表し、ｕ、ｖは、ｘ、ｙ方向の空間周波数座標、括弧を伴うδは、ディラックのデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。
　光線と基板配置、生じるモアレ縞、空間周波数スペクトルの対応の様子を示すと、図５に示されるようになる。図５は、左から光線と基板の配置図、モアレ縞、空間周波数スペクトルの模式図であり、図５（ａ）が、垂直入射、図５（ｂ）が、左側から角度θで光線が入射する場合、図５（ｃ）が、右側から角度θで光線が入射する場合である。両面格子基板１０２上の表側格子パターン１０４と裏側格子パターン１０５は軸がそろっている。図５（ａ）の場合には、表側格子と裏側格子の影が一致するのでモアレ縞は生じない。図５（ｂ）と図５（ｃ）の場合には、表側格子と裏側格子のずれが等しいため、同じモアレが生じ、空間周波数スペクトルのピーク位置も一致し、空間周波数スペクトルからは光線の入射角が図５（ｂ）のときのものなのか図５（ｃ）ときのものなのかを判別することができなくなる。
　これを避けるためには、基板に垂直に入射する光線に対しても二つの格子の影がずれて重なるよう、図６に示すように、あらかじめ二つの格子は、光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して二つの格子の影の相対的なずれをδ０とするとき、入射角θの平面波によって生じるずれδは
Figure JPOXMLDOC01-appb-M000008
のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では、
Figure JPOXMLDOC01-appb-M000009
 の位置となる。画像センサの大きさをＳ、ｘ、ｙ各方向の画素数を共にＮとすると、高速フーリエ変換（ＦＦＴ）による離散画像の空間周波数スペクトルは、－Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られることから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は原点（ＤＣ）位置と、例えば＋側端の周波数位置との中央位置、すなわち、
Figure JPOXMLDOC01-appb-M000010
の空間周波数位置とするのが妥当である。したがって、二つの格子の相対的な中心位置ずれは、
Figure JPOXMLDOC01-appb-M000011
とするのが妥当である。
　このように、表側格子パターン１０４と裏側格子パターン１０５をずらした場合に、光線と基板配置、生じるモアレ縞、空間周波数スペクトルの対応の様子を示すと、図７に示されるようになる。図５と同様、左側に光線と基板の配置図、中央列がモアレ縞、右側が空間周波数スペクトルを示しており、図７（ａ）が、光線が垂直入射の場合、図７（ｂ）が、左側から角度θで入射する場合、図７（ｃ）が、右側から角度θで入射する場合である。表側格子パターン１０４と裏側格子パターン１０５はあらかじめδ０だけずらして配置されているため、図７（ａ）の場合でも、モアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ０は上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図７（ｂ）では、ずれδがさらに大きくなる方向、図７（ｃ）では、小さくなる方向となっているため、図５の場合とは、異なり図７（ｂ）と図７（ｃ）の入射角の違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、この撮像装置による撮影像にほかならない。
　ここで、受光できる平行光の入射角の最大角度をθmaxとすると、
Figure JPOXMLDOC01-appb-M000012
より、本撮像装置で受光できる最大画角は、
Figure JPOXMLDOC01-appb-M000013
 で与えられる。通常のレンズを用いた結像との類推から、画角θmaxの平行光をセンサの端で焦点を結んで受光すると考えると、レンズを用いない本装置の結像光学系の実効的な焦点距離は、
Figure JPOXMLDOC01-appb-M000014
 に相当すると考えることができる。
　なお（２）式で示したように格子の透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子の基本周波数成分としてそのような成分があれば、格子の透過率を２値化して、透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。
　以上の説明では、いずれも入射光線は、同時には一つの入射角度だけであったが、実際に本装置がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側格子に入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もしこれらが相互にモアレ縞を生じると、信号成分である裏面格子とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は表側格子の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは、裏面側格子との重なりだけになる。その理由について以下、説明する。先ず、複数の入射角の光線による表側格子の影どうしの重なりは、それぞれの光強度に関する積ではなく和であることが大きな違いである。一つの入射角の光による表側格子の影と裏側格子の重なりでは、表側の影である光の強度分布に、裏側格子の透過率を乗算することにより、裏側格子を透過したあとの光強度分布が得られる。これに対して、表側格子に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、
Figure JPOXMLDOC01-appb-M000015
 のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがってその周波数スペクトルはそれぞれの周波数スペクトルの重なり積分で表されるため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。すなわち、スペクトルに鋭いピークは生じない。したがって複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表側格子と裏側格子の積のモアレだけであり、裏側格子が単一である以上、検出されるスペクトルのピークは一つの入射角に対して一つだけとなる。
　ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応を図８を用いて模式的に説明する。被写体２０１を構成する各点からの光は、厳密には点光源からの球面波として、本撮像装置の格子センサ一体基板９０１に入射する。このとき物体に対して格子センサ一体基板９０１が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板９０１を照明する光の入射角が同じとみなすことができる。（９）式から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、
Figure JPOXMLDOC01-appb-M000016
 のように表せる。これから、たとえば本実施例の条件においてはΔθ＜０．１８°であり、これは２０ｍｍのセンササイズであれば被写体から６ｍ離れれば実現できる条件である。
　以上の結果の類推から、無限遠の物体に対して本撮像装置で結像が可能であることが理解できる。
　　〔格子パターンをずらす方向〕
　次に、図９および図１０を用いて格子パターンをずらす方向について説明する。
  図９は、２枚の格子パターンを横方向にずらす場合の空間周波数スペクトルを示す図である。
  図１０は、２枚の格子パターンを縦方向にずらす場合の空間周波数スペクトルを示す図である。
　前述の例では、図９に示すように表側格子パターン１０４と裏側格子パターン１０５を左右にずらしていた。このときセンサの形状を正方形としており、その画素ピッチもｘ方向とｙ方向で同じとすると、図の右側に示すように、センサ出力の空間周波数スペクトルはｘ、ｙ両方±Ｎ／Ｓの周波数範囲内で、像が左右に分離して再生されていることになる。しかし、このようにすると、像の画像は基本的に縦長のエリアに限定されることになる。一般にカメラで取得される画像は横長の長方形であるので、それに適した配置としては、図１０のようにするのが望ましい。このとき、表側格子パターン１０４と裏側格子パターン１０５は上下にずれており、センサ出力の空間周波数空間に形成される画像は上下に分離することになる。このようにすれば出力画像は横長とすることができる。
　　〔片面格子基板を利用した撮像装置〕
　次に、図１１ないし図１３を用いて上記の両面格子基板を利用した撮像装置において、裏面側格子パターンの機能をセンサの感度分布を変更させることにより、実現する撮像装置について説明する。
  図１１は、裏面側格子パターンをセンサ感度分布で実現する場合の撮像装置の構成図である。
  図１２は、結像する物体が有限距離にある場合に表側格子パターンの裏面への射影が表側格子パターンより拡大されることを示す図である。
  図１３は、裏面側格子パターンをセンサ感度分布で実現する場合の撮像装置の画像処理回路の処理を示すフローチャートである。
　上記の両面格子基板を利用した撮像装置の例では、格子基板の表側と裏側に同一の格子を互いにずらして配置することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して、像を構成していた。しかしながら、裏側の格子は、センサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に裏側の格子の透過率を加味して設定することにより、処理画像の中で仮想的にモアレを生じさせることができる。図１１は、格子基板の裏面に裏面格子がない場合の撮像装置の構成を示している。このようにすると、形成する格子を１面減らすことができるので、素子の製造コストを減じることができる。しかしながら、このとき、センサの画素ピッチは、格子ピッチを十分再現できる程度に細かいか、格子ピッチがセンサの画素ピッチで再現できる程度に粗いことが必要である。格子を基板の両面に形成する場合は、必ずしも格子のピッチがセンサの画素で解像できる必要はなく、そのモアレ像だけが解像できればよいので、センサピッチとは独立に格子ピッチを決めることができる。しかしながら、センサで格子の機能を実現する場合は、格子とセンサの解像度は同等である必要がある。画像処理回路１２０１の処理として、図１３に示すように、センサ出力画像に対してモアレを生成するための裏面格子の機能に相当するセンサの強度変調処理Ｓ０Ａが必要となり、そのための強度変調回路も必要となる。
　このように格子を可変にすることができると、検出光は必ずしも平行光でなくてもよい。図１２に示すように、物体を構成する点１３０１からの球面波が表側格子パターン１０４を照射し、その影１３０２が下の面に投影される場合、下の面に投影される像は、ほぼ一様に拡大される。そのため、平行光に対して設計された下面格子の透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された上面格子の影に合わせて、下面の格子を拡大するならば、拡大された影１３０２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。これにより、必ずしも無限遠でない距離の点１３０１からの光を選択的に再生することができる。したがってこれにより焦点合わせが可能となる。
　　〔表面格子を可変にした撮像装置〕
　次に、図１４および図１５を用いて、表面側格子パターンを液晶素子などにより可変にした撮像装置について説明する。
  図１４は、表面格子パターンを液晶素子によりサイズ可変で表示させる撮像装置の構成図である。
  図１５は、表面格子パターンを液晶素子によりサイズ可変で表示させる撮像装置の画像処理回路の液晶制御に関する部分のブロック図である。
　上記の撮像装置では、裏側格子パターンの機能をセンサの感度分布を可変にすることにより実現したが、表側基板の格子も液晶素子などを用いると可変とすることができる。図１４は、液晶層１４０１を挟み、液晶基板１４０２で封入した液晶素子により、表側基板の可変格子１４０３を表示する撮像装置の構成図である。液晶基板１４０２、および格子基板１０２ａには透明電極が形成されており、図示していない電極を介して、任意の格子像を表示させることができる。基本的に無限遠とはみなせない有限距離の点１３０１からの光は、発散光であるので、裏側格子パターン１０５と裏面で同じ大きさになるためには表面でやや縮小して表示すればよいことになる。画像処理回路１４０４には、図１５に示すように、液晶駆動回路１４１０と裏面格子生成回路１４１１が内蔵され、裏面格子生成回路１４１１が外部からのピント指定入力に応じて裏面格子パターンを生成し、それに応じて液晶駆動回路１４１０を駆動することにより、センサと一体となった液晶素子に任意のピント位置に対応した裏面格子パターンを表示させる。
　　〔両面格子基板を分割した撮像装置〕
  図１６ないし図２０を用いて両面格子基板を分割した撮像装置について説明する。
  図１６は、３×３分割の格子パターンを示す図である。
  図１７は、３×３分割の格子パターンの両面の初期位相の配置を示す斜視図である。
  図１８は、３×３分割の両面格子に単一点光源からの光が入射して生じるモアレ縞の画像を示す図である。
  図１９は、ノイズ低減画像処理を施して得られたモアレ縞の画像を示す図である。
  図２０は、両面格子基板を分割した撮像装置の画像処理回路の処理を示すフローチャートである。
　上記の両面格子基板を用いた撮像装置の原理説明で、（５）式において信号の鋭いピークが得られるのは、第４項のモアレ縞の周波数のみであることを説明したが、光学系や被写体の条件によっては、第２、第３項がノイズとなって再生画像の画質に影響を与える場合がありえる。そこでそれらのノイズを除去する構成について説明する。
　ノイズの除去のために、ここでは、表側格子と裏側格子を、図１６に示すように、３×３以上に分割したエリアでそれぞれ独立のゾーンプレートを形成する。ただし、それぞれのゾーンプレートは重なることなく並べる。このとき、表側格子では、上段、中段、下段、裏側格子では左側、左右中間、右側でそれぞれ格子の初期位相をφ１、φ２、φ３に揃える。これらは、図１７に示すように配置されている。このときセンサ面上の光強度Ｉｓは、
Figure JPOXMLDOC01-appb-M000017
 のように表すことができる。ここで、Ｉｋはｋ番目の点光源による表側格子の影の光強度分布、Ｉが裏側格子の透過率分布である。表側格子の初期位相φＦ、裏側格子の初期位相φＢはそれぞれ、上記したようにφ１、φ２、φ３の三つの値をとる。表側格子を照らすｋ番目の点光源はＡｋの強度で発光し、δｋのずれをもって表側格子の影をセンサ上に形成するものと仮定している。（１７）式の下段の式の｛｝内の第２項は表面側格子の影、第３項は裏面側格子の強度変調、第４項は二つの格子の和周波成分、第５項が差周波成分であり、本装置が利用する信号成分であるモアレ縞の項である。したがって、このφＦ－ａの付加位相を持つ成分だけを抽出すればよいことになる。（１７）式をφＦとφＢに着目して
Figure JPOXMLDOC01-appb-M000018
 のように表すと、三角関数の直交性を用いてcos、sinの係数を、
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
 のように抜き出すことができる。さらにこれから、cos　cos、sin　sinの項を抜き出すと、
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
 のように表すことができる。これらを辺々加えると、
Figure JPOXMLDOC01-appb-M000023
 が得られるが、これは結局、
Figure JPOXMLDOC01-appb-M000024
 のように（１７）式におけるモアレ成分のみを抜き出したことに対応する。この演算は、表側格子の位相と裏側格子の位相の両方を２次元に走査して積分することに対応する。この積分を最低限のサンプリング点数である３点で離散化するため、図１６、図１７に説明した３×３の両面フレネルゾーンプレートを用いている。単一の点光源によるこの３×３の両面格子によって得られたモアレ縞は、図１８に示されるようになる。複数のフレネルゾーンプレートが交差しているように見えるが、これは交差のない両面のフレネルゾーンプレートに入射した光によってセンサ状に形成された光強度分布である。さらに、（２４）式を用いてこの３×３の各セルからのモアレ縞を合成して得られたモアレ縞は、図１９に示されるようになる。この図によれば、モアレ縞以外の不要なノイズが大幅に低減されている。これによって撮影画像の品質を向上させることができる。
　上記の原理による画像処理回路の処理を示すと、図２０に示されるようになる。このフローチャートでは、図３に加えて、モアレ縞ノイズ除去Ｓ０Ｂのプロセスが加わっている。
　　〔片面格子基板を分割した撮像装置〕
　上記では、両面格子基板を分割した撮像装置について説明したが、ここで、図２１ないし図２３を用いて、片面格子基板を分割の例について説明する。
  図２１は、２×２分割の格子パターンを示す図である。
  図２２は、ノイズ低減画像処理を施して得られたモアレ縞の画像を示す図である。
  図２３は、片面格子基板を分割した撮像装置の画像処理回路の処理を示すフローチャートである。
  図２１は、上で示した両面格子基板とは、さらに異なる表側格子のパターンにした場合の格子パターンを示している。これは、裏面側格子を固定格子とせず、センサ感度を仮想的にフレネルゾーンプレート状に与える場合や、液晶素子などを用いる場合を想定している。格子は、２×２のエリアに分かれており、それぞれのフレネルゾーンプレートの初期位相は、９０°ずつずらしてある。上記の両面格子基板分割した撮像装置では、列または行で位相をずらしたが、本装置では、領域すべてで位相を変えている。このようにして、裏面側の仮想ゾーンプレートの位相を全領域で９０°ずつ、４ステップで位相を変えてモアレ縞を生成することにより、両面格子とも４位相での積分演算が可能となる。分割が細かくなることにより、ノイズ低減効果のさらなる向上が期待できる。単一点光源によるモアレ縞の再生像を示すと、図２２に示されるようになる。図１９の場合に比べてさらにノイズが低減している。
　上記の原理による画像処理回路の処理を示すと、図２３に示されるようになる。このフローチャートでは、図２０に加えて、裏面格子の機能に相当するセンサの強度変調処理Ｓ０Ａのプロセスが加わっている。
　　〔解像度を向上させる両面格子基板を利用した撮像装置〕
　次に、図２４を用いて解像度を向上させる両面格子基板を利用した撮像装置について説明する。
  図２４は、２枚の格子パターン位置を一致させる場合の空間周波数スペクトルを示す図である。
　上で説明した両面格子基板を利用した撮像装置では、図９および図１０に示したように表側格子パターン１０４と裏側格子パターン１０５を左右または上下にずらすことにより、空間周波数空間に生じる鏡像関係にある二つの再生画像を分離していた。しかし、そのため再生画像の画素数が通常カメラの半分になる問題点がある。そこで鏡像の発生を回避し、有効画素数を減じない構成について説明する。
　一つのモアレ縞の空間周波数スペクトルがプラス側とマイナス側の二つのピークを生じるのは、モアレ縞を正弦波の実関数としているためである。すなわちｃｏｓ（ｘ）＝（ｅｘｐ（ｉｘ）＋ｅｘｐ（－ｉｘ））／２と二つの複素指数関数に分離すると、これらがそれぞれのスペクトルのピークに対応する。ここで、ｉは、虚数単位である。したがって、モアレ縞を最初から一つの複素指数関数で表せばよい。両面格子基板を分割した撮像装置において、ノイズをキャンセルし、モアレ縞の信号成分のみを抽出する方法を説明した。そこで参照した（２１）（２２）式においてcos　cos、sin　sinの項を抜き出したが、同様にしてcos　sin　、sin　cosの成分を抜き出すと、
Figure JPOXMLDOC01-appb-M000025
Figure JPOXMLDOC01-appb-M000026
 のように表せる。これらの辺々の差をとると、
Figure JPOXMLDOC01-appb-M000027
 が得られ、（２４）式のモアレ縞のｃｏｓ波成分と同様にして、
Figure JPOXMLDOC01-appb-M000028
 のように、モアレ縞のｓｉｎ波成分を抽出することができる。（２４）式と（２８）式をそれぞれ複素指数関数の実部と虚部として辺々加えると、
Figure JPOXMLDOC01-appb-M000029
 を得ることができる。すなわち、センサ画像に対して表側格子と裏側格子の位相差の複素指数関数を乗じて２重積分すると、モアレ縞の信号波形を複素指数関数として抜き出すことができる。これをフーリエ変換することにより、プラス側またはマイナス側のみの空間周波数成分のスペクトル像を得ることができる。
　この原理は、光学部品における回折格子との類推から理解することができる。一般に光学素子を透過する光の角度分布は、素子の振幅透過率分布の空間周波数スペクトルに対応し、回折格子のような周期構造からは格子形状を反映した離散的な回折光を生じる。格子の透過率を濃淡で実現する場合などは、透過する光を直進する０次光とその両側に対称に生じる複数の回折光に分離する。しかし、回折レンズなど一つの次数の光だけが必要な場合には、不要次数光を除去して、光利用効率を向上させるためにブレーズ回折格子が用いられる。これは格子断面がのこぎり歯状の形状をした位相格子であり、回折光を一つの次数に集中させることができる。（２９）式はモアレ縞をブレーズ回折格子として表し、回折次数を一つの次数に集中させたことと等価である。これが実現できているのは、表側格子と裏側格子の位相を変化させてモアレ縞の強度のみならず、位相も検出しているからである。
　このように一つのモアレ縞成分の空間周波数のピークを１点に集約できる場合には、表側格子パターン１０４と裏側格子パターン１０５の同心円状のゾーンプレートの中心位置を、局所的なセンサ中心から立てたセンサ面に対する法線上に配置すれば、再生画像を、図２４に示すように、空間周波数空間上で中央に表示することが可能となり、センサの画素数と同じ画素数の再生画像を得ることができる。この場合、δ０＝０であり、信号となるモアレ縞成分を、
Figure JPOXMLDOC01-appb-M000030
 のように表すことができる。式（３０）は、（ｕ，ｖ）空間で見ると、一つのディラックのデルタ関数の項で表現することができる。
　　〔格子基板の位相可変手段〕
　次に、図２５ないし図２８を用いて格子基板の初期位相を可変とする撮像装置について説明する。
  図２５は、表側格子の位相を可変にする場合の格子基板と画像センサの撮像装置の配置を示す図である。
  図２６は、液晶素子の電極パターンの例を示す図である。
  図２７は、液晶素子の電極パターンの初期位相を可変入力した場合の模式図である。
  図２８は、表側格子の初期位相を可変させる場合のゾーンプレートの配置例を示す図である。
　表側格子の初期位相の可変手段を液晶素子でおこなう場合には、図２５に示すように、液晶電極として形成されたゾーンプレート３４０３の同心円電極の中心が、センサ受光部３４０４の中央位置に立てた法線Ｎの上にあるように配置する。しかしながら、必ずしもその精度に関して厳密なものは要請されず、少なくとも中央の円形電極内に法線Ｎがあれば多くの場合問題は生じないと考えられる。上述の表側格子を可変にした撮像装置では液晶素子を、ピント調整のためのゾーンプレートサイズ可変手段として用いたが、本装置では、ゾーンプレートの初期位相を可変する手段として用いている。その電極パターンは、例えば、図２６に示す模式図のように構成すればよい。ゾーンプレートの格子パターンの１周期を４分割するように同心円状電極が構成されており、内側から４本おきに外側の電極と結線されて、最終的に端子部３５０１では電極の駆動端子として４本の電極が出力されている。これらに所定の電圧を印加して実際に初期位相を可変するには、図２７のようにすればよい。初期位相０の状態３６０１、π／２の状態３６０２、πの状態３６０３、３π／２の状態３６０４を、四つの電極に印加する電圧状態を“０”と“１”の二つの状態で時間的に切り替えることにより実現している。ハッチングした電極が光を遮蔽し、白い電極が光を透過させることを意味している。また、裏側格子の初期位相は、センサの実効的な受光感度を仮想的な透過率として設定することによって可変にさせる。本装置では裏側格子の初期位相の変化は、画像処理として行われるため、デバイスの計算能力によっては必ずしも時間的に可変させる必要はなく、並列的に計算してもよい。可変させる表側格子と裏側格子の初期位相のすべての組み合わせによる仮想的なモアレ縞の検出画像から、（３０）式に基づく演算を行い、ノイズが除去された複素数の輝度を持つモアレ縞画像を得る。これを２次元フーリエ変換することにより最終的な検出画像が得られる。
　また、図２１に示したような四つのゾーンプレートを面内に並べて配置することにより、表側格子の初期位相を可変させる場合には、図２８に示すように、初期位相を変えた四つのゾーンプレートの中心位置を、センサの中心を通る法線Ｎに対し、対称に配置する。言い換えれば、四つのゾーンプレートの同心円の中心位置が作る四角形は正方形であり、センサ中心の法線Ｎは、その正方形の中心を通るように配置されている。
　この方法を用いると、画像再生時の計算によって位相情報を取得することができ、再生画像のノイズ除去に加えて解像度を向上することが可能になる。
　　〔位相変更処理の削減〕
　次に、図２９を用いて片面格子基板を分割した場合の位相変更処理を削減する例について説明する。
  図２９は、片面格子基板を分割した場合の表面格子パターンの一例を示す図である。
  図２１に示した片面格子基板を分割の例では、裏面側格子を固定格子とせず、センサ感度を仮想的にフレネルゾーンプレート状に与え、裏面側の仮想ゾーンプレートの位相を全領域で９０°ずつ４ステップで位相を変えることでおこなうモアレ縞のノイズ除去に関して説明したが、ここでは、さらにステップの回数を減らし、２ステップの位相変更でノイズ除去を可能とする構成について説明する。
  図２９は、本装置における表側格子の一例を示すものであり、φ１とφ２の位相差はπ／２となっている。ここで、裏面側格子を仮想ゾーンプレートとする場合、ゾーンプレートを表現する式においてcosの負成分を扱うことが可能となり、センサ面上の光強度Ｉｓは、
Figure JPOXMLDOC01-appb-M000031
 のように表すことができる。（３１）式の下段の式の｛｝内の第２項は裏面側格子の強度変調を示しており、その値は既知のものであるため減算することが可能であり、減算後は、
Figure JPOXMLDOC01-appb-M000032
 となる。（３２）式の下段｛｝内の第２項は二つの格子の和周波成分を示しており、この項を除去することができればモアレ縞の項だけを表すことができる。ここで第２項と第３項におけるφＦ、φＢにそれぞれ注目すると、φＦ＋φＢとφＦ－aの差分が０の場合、例えば、φＦ＝φＢ＝０のときに、第２項と第３項は、共に正の値となる。一方、φＦ＋φＢとφＦ－ａの差分がπの場合、例えばφＦ＝φＢ＝π／２のときに第２項は負の値に、第３項は正の値となる。φＦ、φＢの組み合わせを２通り変えて得られた光強度ＩＳを平均化することにより、モアレ縞の項だけを残すことができる。φＦ＝φＢ＝０とφＦ＝φＢ＝π／２の組み合わせによって得られた結果を平均化し、モアレ縞の項を計算する例を示すと、
Figure JPOXMLDOC01-appb-M000033
 になる。ただしここで、ＩＭφＦ，φＢは初期位相φＦの前面側格子と初期位相φＢの裏面側格子を掛け合わせた結果から、（３１）式の第２項を減算した結果を表す。
更にここで、三角関数の対象性よりφＦ－a＝π／２の場合、例えばφＦ＝π／２、φＢ＝０のときに第２項と第３項はそれぞれ負のsin成分に、φＦ－a＝－π／２の場合、例えば、φＦ＝０、φＢ＝π／２のときには第２項は負のsin成分に、第３項は正のsin成分となる。上記の解像度を向上させる両面格子基板を利用した撮像装置の原理の説明では、sinとcosを足し合わせてモアレ縞を作ることで再生像を空間周波数空間上で中心に表示し、解像度を向上する方法を説明したが、ここでも、sin成分を足し合わせることにより再生像の解像度向上が可能である。φＦを０とπ／２、φＢを０とπ／２とした場合の４通りの組み合わせからcos成分とsin成分を用いてモアレ縞の項を計算する例を示すと、
Figure JPOXMLDOC01-appb-M000034
 になる。以上より、領域ごとにπ／２位相がずれた表側格子と領域ごとにπ／２位相がずれた裏側格子を用いることにより、モアレ縞のノイズ除去が可能となる。さらに、裏側格子の位相を全領域で９０°ずつ２ステップで位相を変えることで指数関数でのモアレ縞表現を可能とし、解像度の向上が可能となる。
　　〔表側格子、裏側格子共に時間的にその表示切り替えが可能な撮像装置〕
　次に、図３０ないし図３２を用いて表側格子、裏側格子共に時間的にその表示切り替えが可能な撮像装置について説明する。
  図３０は、表側格子、裏側格子共に時間的にその表示切り替えが可能な撮像装置の構成図である。
  図３１は、画像処理回路のブロック図である。
  図３２は、画像処理回路の処理を示すフローチャートである。
  図２１に示した片面格子基板を分割の例では、複数の領域に分割された表側格子と、液晶素子などを用いて裏側格子を表示する場合に関して説明したが、ここでは表側格子、裏側格子共に液晶素子などを用いて時間的にその表示切り替えが可能な構成について説明する。
　撮像装置３１０１は、画像センサ１０３と、表側格子表示部３１０２と、裏側格子表示部３１０３と、画像処理部３１０４と表示制御部３０１５から構成される。
　表側格子表示部３１０２および裏側格子表示部３１０３は、時間的にその濃淡変化の位相が可変なフレネルゾーンプレートを表示可能であり、その表示は表示制御部３１０５によって制御される。画像処理部３１０４における画像取り込みと表示制御部３１０５による表示の切り替えは同期して行われ、画像処理部３１０４では、取り込んだ複数枚の画像からノイズ除去と現像処理を行ったのちにフーリエ変換で基準となる画像を再生し、モニタディスプレイ１０７などに出力する。画像処理部３１０４は、画像取得部３２０１、指数関数演算部３２０２、画像記憶部３２０３、スイッチ３２０４、全記憶画像加算部３２０５、２次元フーリエ変換部３２０６からなる。画像取得部３２０１は、画像センサから画像を取得する部分である。指数関数演算部３２０２は、表側格子パターンと裏側格子パターンの位相の差分を指数関数として掛け合わせる演算をする部分である。画像記憶部３２０３は、指数関数演算部３２０２の演算結果を一時的に保存するメモリである。スイッチ３２０４は、表示制御部３１０５からの指令によりオン・オフされるスイッチである。全記憶画像加算部３２０５は、画像記憶部３２０３の画像データを加算する部分である。２次元フーリエ変換部３２０６は、加算された画像データを２次元フーリエ変換する部分である。
　以下では、本装置における画像取得からモアレ縞のノイズ除去を含めた画像再生までの処理を、図３１および図３２を用いて説明する。なお、ここでは表側格子、裏側格子共に基準となる位相を、０とし、ステップ毎に位相がπ／２変化し、ステップ回数はそれぞれ４回ずつの組み合わせで再生処理をおこなう場合を例とする。
　表面格子、裏面格子の表示のリセット後（Ｓ３３０１）、画像取得部３２０１でセンサ画像を取得し（Ｓ３３０２）、取得した画像に対し指数関数演算部３２０２で表側格子パターンと裏側格子パターンの位相の差分を指数関数として掛け合わせ（Ｓ３３０３）、その画像を画像記憶部３２０３に記憶する（Ｓ３３０４）。表示制御部３１０５では、表側格子表示部３１０３に位相をπ／２付加したフレネルゾーンプレートを表示するよう指令を送り、さらに、必要に応じて裏側格子表示部３１０４に位相をπ／２付加したフレネルゾーンプレートを表示するよう指令を送る（Ｓ３３０５～Ｓ３３０８）。ここで、前記表示制御部で再生に必要な位相の全画像を取り込んだと判断した場合には、スイッチ３２０４が閉じられ、画像記憶部３２０３に記憶していた全画像が全記憶画像加算部３２０５に送られ加算される（Ｓ３３０９）。これによってノイズが除去されたモアレ縞が計算されるため、２次元フーリエ変換部３２０６で画像をフーリエ変換し（Ｓ３３１０）、再生画像を前記モニタディスプレイ１０７で画像を表示する（Ｓ３３１１）。
　本撮像装置によれば、前面側格子と後面側格子共に領域を分割することなく時間的にゾーンプレートの表示を切り替え、複数枚のセンサ画像を用いてモアレ縞のノイズを除去し、品質の良い再生画像を得られる。格子の表示が固定された場合と比較して表示部を任意の回数切り替えることが可能であり、ノイズの発生状況に応じて表示の切り替え回数を変動し、常に品質の良い再生画像を得ることが可能である。
　以上、表側格子と裏側格子共に液晶素子を用いる説明をしたが、位相を変えたフレネルゾーンプレートを表示できればよく、例えば、円環状に電極を配置し、電極間の透過率を変調させて任意の表示を行ってもよい。これによって、液晶素子でフィルファクター等に起因して生じる格子状の非透過部分の影響を排除することが可能である。
１０１…撮像装置
１０２…両面格子基板
１０２ａ…格子基板
１０３…画像センサ
１０４…表側格子パターン
１０５…裏側格子パターン
１０６、１２０１…画像処理回路
１０７…モニタディスプレイ
２０１…被写体
９０１…格子センサ一体基板
１３０１…物体を構成する点
１３０２…表側格子の影
１４０１…液晶層
１４０２…液晶基板
１４０３…表側基板の可変格子
２８０２…撮像装置の視域
３１０１…撮像装置
３１０２…表側格子表示部
３１０３…裏側格子表示部
３１０４…画像処理部
３１０５…表示制御部
３２０１…画像取得部
３２０２…指数関数演算部
３２０３…画像記憶部
３２０４…スイッチ
３２０５…全記憶画像加算部
３２０６…２次元フーリエ変換部

Claims (20)

  1. 　撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    　前記画像センサの受光面に設けられ、光の強度を変調する変調部と、
    　前記画像センサより出力された出力画像に対して画像処理を施す画像処理部とを備え、
    　前記変調部は格子基板と、
    　前記画像センサの受光面に近接する面に対向する前記格子基板の第１の面に形成される第１の格子パターンとを有し、
    　前記第１の格子パターンは、少なくとも一つの基準座標の原点からの距離に対してそれぞれのピッチが反比例する複数の同心円から構成されており、
    　複数の前記同心円は前記第１の格子パターン内で互いに重ならず、
    　前記基準座標は、前記受光面の中央の法線に対し対称に配置されていることを特徴とする撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記変調部は、前記第１の面に対向する第２の面に形成される第１の格子パターンに対応した第２の格子パターンを有し、
    　前記第２の格子パターンは、少なくとも一つの基準座標の原点からの距離に対してそれぞれのピッチが反比例する複数の同心円から構成されており、
    　前記第１の格子パターンの基準座標の原点と前記第２の格子パターンの基準座標の原点は、一致しており、
    　前記変調部は、前記第１の格子パターンを透過する光を前記第２の格子パターンにおいて強度変調して、前記画像センサに出力することを特徴とする撮像装置。
  3. 　請求項２に記載の撮像装置であって、
    　前記第２の格子パターンは、前記格子基板の裏面に設けられたことを特徴とする撮像装置。
  4. 　請求項１に記載の撮像装置であって、
    　前記画像処理部は、出力された画像について２次元フーリエ変換演算をおこなうことを特徴とする撮像装置。
  5. 　請求項１に記載の撮像装置であって、
    　前記画像処理部は、前記第１の格子パターンを透過する光を仮想的に強度変調する処理をおこなう強度変調部を有し、
    　前記強度変調部は、前記第１の格子パターンを透過した光を前記画像センサに出力し、前記画像センサは取り込まれた画像を前記画像処理部に出力し、
    　前記強度変調部は、仮想的な第２の格子パターンを用いて前記画像センサより取り込まれた画像に基づいて、前記第１の格子パターンを透過する光を強度変調する処理をおこなうことを特徴とする撮像装置。
  6. 　請求項１に記載の撮像装置であって、
    　前記第１の格子パターンを円環状の透明電極によって表示する液晶素子を有し、
    　前記透明電極は、前記格子パターンの各周期を少なくとも３以上の同心円環に分割して選択的に光透過率を可変できることを特徴とする撮像装置。
  7. 　請求項６に記載の撮像装置であって、
    　前記撮像装置により１フレームの画像を撮像するにあたり、前記格子パターンの各周期を分割する少なくとも３以上の同心円環状透明電極に印加する電圧状態を、それぞれ少なくとも１回は変更させることを特徴とする撮像装置。
  8. 　請求項６記載の撮像装置であって、
    　前記強度変調部は、仮想的な第２の格子パターンにより光強度を変調し、
    　１フレームの画像を撮像するにあたり、前記液晶素子により光強度を異ならしめた第１の格子パターンそれぞれに対し、第２の格子パターンの位相を変化させ、すべての組み合わせの画像を合成して演算することで、第１の格子と第２の格子のモアレ縞成分を抽出する演算をおこなうことを特徴とする撮像装置。
  9. 　請求項１に記載の撮像装置であって、
    　前記第１の格子パターンは、複数の領域に分かれており、前記領域ごとに異なる同心円格子パターンが配置され、それぞれの格子パターンの基準座標が、前記受光面の中央の法線に対し対称に配置されていることを特徴とする撮像装置。
  10. 　請求項９に記載の撮像装置であって、
    　前記第１の格子パターンが複数の領域に分割されたそれぞれの同心円格子パターンは、互いに基準座標の原点からの距離に対するピッチの分布が同一であり、格子配置の位相が異なっていることを特徴とする撮像装置。
  11. 　請求項９に記載の撮像装置であって、
    　前記変調部は、前記第１の面に対向する第２の面に形成される第１の格子パターンに対応した第２の格子パターンを有し、
    　前記第２の格子パターンは、少なくとも一つの基準座標の原点からの距離に対してそれぞれのピッチが反比例する複数の同心円から構成されており、
    　前記第１の格子パターンの基準座標の原点と前記第２の格子パターンの基準座標の原点は、一致しており、
    　すべての領域の画像を合成して演算することにより、前記第１の格子と前記第２の格子のモアレ縞成分を抽出する演算をおこなうことを特徴とする撮像装置。
  12. 　請求項１１に記載の撮像装置であって、
    　前記第１の格子パターンと前記第２の格子パターンのいずれか、または、その双方において、分割された領域毎の格子配置の位相がＸ方向もしくはＹ方向のみ同一であることを特徴とする撮像装置。
  13. 　請求項９に記載の撮像装置であって、
    　前記強度変調部は、仮想的な第２の格子パターンにより光強度を変調し、
    　１フレームの画像を撮像するにあたり、第２の格子パターンの位相を変化させ、すべての領域の画像を合成して演算することにより、第１の格子と第２の格子のモアレ縞成分を抽出する演算をおこなうことを特徴とする撮像装置。
  14. 　請求項２に記載の撮像装置であって、
    　前記第１の格子パターンおよび第２の格子パターンは、複数の領域に分かれており、
    　隣接領域間で異なる同心円格子パターンが配置されており、
    　前記第１の格子パターン内の前記複数の領域の格子の位相と、前記第２の格子パターン内の前記複数の領域の位相の組み合わせが、複数の組み合わせで重ねあわされるように配置されていることを特徴とする撮像装置。
  15. 　請求項２に記載の撮像装置であって、
    　前記画像処理では、Ｐ（Ｐ≧２，Ｐ：自然数）通りの前記第１の格子パターンとＱ（Ｑ≧２，Ｑ：自然数）通りの前記第２の格子パターン全ての組み合わせによるセンサ出力信号を取得して演算し、両格子パターンを透過する光に生じるモアレ縞成分を強調することを特徴とする撮像装置。
  16. 　請求項１５に記載の撮像装置であって、
    　前記第１の格子パターンの濃淡変化の位相ずれ量が（２π）／Ｐであり、前記第２の格子パターンの濃淡変化の位相ずれ量が（２π）／Ｑであることを特徴とする撮像装置。
  17. 　請求項８記載の撮像装置であって、
    　前記第１の格子パターンと前記第２の格子パターンの濃淡変化の位相が揃っており、
    　前期画像処理では、前記濃淡変化の位相がずれていない場合とπ／２ずれた場合の２枚の出力画像を平均することを特徴とする撮像装置。
  18. 　請求項８記載の撮像装置であって、
    　前記第１の格子パターンと前記第２の格子パターンの濃淡変化の位相差が０、または、π／２であり、前期画像処理では、前記位相差が０の演算結果と、π／２の演算結果を、それぞれ実部と虚部または虚部と実部に割り当てて加算することを特徴とする撮像装置。
  19. 　請求項２に記載の撮像装置であって、
    　前記第２の格子パターン、または、第１の格子パターンと第２の格子パターンの双方が液晶素子により実現されることを特徴とする撮像装置。
  20. 　請求項１９に記載の撮像装置であって、
    　前記第２の格子パターン、または、第１の格子パターンと第２の格子パターンの双方が円環状に配置された電極により実現されることを特徴とする撮像装置。
PCT/JP2017/018578 2016-09-26 2017-05-17 撮像装置 WO2018055831A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/335,290 US10649118B2 (en) 2016-09-26 2017-05-17 Imaging device
JP2018540628A JP6721698B2 (ja) 2016-09-26 2017-05-17 撮像装置
CN201780059121.5A CN109804616B (zh) 2016-09-26 2017-05-17 摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-186695 2016-09-26
JP2016186695 2016-09-26

Publications (1)

Publication Number Publication Date
WO2018055831A1 true WO2018055831A1 (ja) 2018-03-29

Family

ID=61690260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/018578 WO2018055831A1 (ja) 2016-09-26 2017-05-17 撮像装置

Country Status (4)

Country Link
US (1) US10649118B2 (ja)
JP (1) JP6721698B2 (ja)
CN (1) CN109804616B (ja)
WO (1) WO2018055831A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018221019A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2018225547A1 (ja) * 2017-06-09 2018-12-13 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN109474818A (zh) * 2019-01-03 2019-03-15 Oppo广东移动通信有限公司 一种图像传感器以及成像模组

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6713549B2 (ja) * 2016-12-27 2020-06-24 富士フイルム株式会社 撮像装置及び撮像モジュール
CN111066263B (zh) * 2017-07-21 2023-10-03 加州理工学院 超薄平面无透镜相机
WO2019033110A1 (en) 2017-08-11 2019-02-14 California Institute Of Technology THIN-DIMENSIONAL IMAGING WITHOUT LENS USING DIRECTIONAL DETECTION ELEMENTS
JP6999820B2 (ja) * 2018-08-08 2022-01-19 マクセル株式会社 撮像装置、撮像システム、及び撮像方法
JP7378935B2 (ja) * 2019-02-06 2023-11-14 キヤノン株式会社 画像処理装置
CN110166678A (zh) * 2019-06-26 2019-08-23 京东方科技集团股份有限公司 图像采集结构及其采集方法、显示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07270677A (ja) * 1994-03-29 1995-10-20 Olympus Optical Co Ltd 焦点検出光学系
JP2015115527A (ja) * 2013-12-13 2015-06-22 株式会社東芝 固体撮像装置及びカメラシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3507632B2 (ja) * 1996-09-17 2004-03-15 株式会社東芝 回折格子レンズ
EP1116169B1 (en) * 1998-09-24 2003-07-30 QinetiQ Limited Improvements relating to pattern recognition
JP4843506B2 (ja) * 2005-01-17 2011-12-21 日本電信電話株式会社 変調機能付光源装置とその駆動方法
US8106993B2 (en) * 2006-05-15 2012-01-31 Panasonic Corporation Diffractive imaging lens, diffractive imaging lens optical system, and imaging apparatus using the diffractive imaging lens optical system
JP2009252978A (ja) * 2008-04-04 2009-10-29 Panasonic Corp 固体撮像素子およびその製造方法
JP4944275B2 (ja) * 2009-06-11 2012-05-30 パナソニック株式会社 回折光学素子
JP5936357B2 (ja) * 2012-01-06 2016-06-22 株式会社ミツトヨ 姿勢検出器、接触プローブ、および、マルチセンシングプローブ
WO2013146873A1 (ja) * 2012-03-30 2013-10-03 三菱レイヨン株式会社 ロッドレンズアレイおよびそれを用いたイメージセンサヘッド
US9110240B2 (en) 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
EP2965134A1 (en) * 2013-03-05 2016-01-13 Rambus Inc. Phase gratings with odd symmetry for high-resoultion lensless optical sensing
US9746593B2 (en) 2013-08-28 2017-08-29 Rambus Inc. Patchwork Fresnel zone plates for lensless imaging
JP6478922B2 (ja) * 2013-12-19 2019-03-06 シチズン時計株式会社 光変調素子
CN104006765B (zh) * 2014-03-14 2016-07-13 中国科学院上海光学精密机械研究所 单幅载频干涉条纹相位提取方法及检测装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07270677A (ja) * 1994-03-29 1995-10-20 Olympus Optical Co Ltd 焦点検出光学系
JP2015115527A (ja) * 2013-12-13 2015-06-22 株式会社東芝 固体撮像装置及びカメラシステム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018221019A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体
JP2021010178A (ja) * 2017-06-01 2021-01-28 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US10911668B2 (en) 2017-06-01 2021-02-02 Fujifilm Corporation Imaging apparatus, image processing apparatus, imaging system, image processing method, and recording medium employing first and second Fresnel Zone plates with corresponding image sensors
US11290642B2 (en) 2017-06-01 2022-03-29 Fujifilm Corporation Image processing apparatus and image processing method that generate a complex image based on a Fresnel Zone pattern
WO2018225547A1 (ja) * 2017-06-09 2018-12-13 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN109474818A (zh) * 2019-01-03 2019-03-15 Oppo广东移动通信有限公司 一种图像传感器以及成像模组
CN109474818B (zh) * 2019-01-03 2024-05-10 Oppo广东移动通信有限公司 一种图像传感器以及成像模组

Also Published As

Publication number Publication date
JP6721698B2 (ja) 2020-07-15
US20190278006A1 (en) 2019-09-12
CN109804616B (zh) 2021-01-08
US10649118B2 (en) 2020-05-12
CN109804616A (zh) 2019-05-24
JPWO2018055831A1 (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
WO2018055831A1 (ja) 撮像装置
JP6820908B2 (ja) 撮像装置
US10928641B2 (en) Imaging apparatus generating subject image from moire fringe image obtained by concentric pattern and method thereof
JP6685887B2 (ja) 撮像装置
JP6646619B2 (ja) 撮像装置
JP6864604B2 (ja) 撮像装置
JP6947891B2 (ja) 携帯情報端末
JP6770164B2 (ja) 撮像装置
JP2021064000A (ja) 撮像装置
JP6636663B2 (ja) 撮像装置及び画像生成方法
JP7389195B2 (ja) 画像生成方法
CN110278350B (zh) 摄像装置
JP2020098963A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17852612

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018540628

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17852612

Country of ref document: EP

Kind code of ref document: A1