WO2018110120A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2018110120A1
WO2018110120A1 PCT/JP2017/038941 JP2017038941W WO2018110120A1 WO 2018110120 A1 WO2018110120 A1 WO 2018110120A1 JP 2017038941 W JP2017038941 W JP 2017038941W WO 2018110120 A1 WO2018110120 A1 WO 2018110120A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lattice pattern
pattern
compound eye
light
Prior art date
Application number
PCT/JP2017/038941
Other languages
English (en)
French (fr)
Inventor
真侑 佐尾
悠介 中村
和幸 田島
島野　健
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2018110120A1 publication Critical patent/WO2018110120A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4272—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having plural diffractive elements positioned sequentially along the optical path
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1842—Gratings for image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685—Process for coatings or optical elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/04—Reversed telephoto objectives

Definitions

  • the present invention relates to an imaging apparatus.
  • the present invention claims the priority of Japanese Patent Application No. 2016-240818 filed on December 13, 2016, and for the designated countries where weaving by reference of documents is permitted, the contents described in the application are as follows: Is incorporated into this application by reference.
  • Patent Document 1 JP 2011-203792 A (Patent Document 1).
  • Patent Document 1 JP 2011-203792 A (Patent Document 1).
  • Patent Document 2 JP 2011-203792 A
  • this publication there is a description of an imaging device that achieves a reduction in size and thickness by using a microlens array.
  • the aperture of the aperture array is provided near the focal point of the light from the subject of the front microlens array, and the rear stage
  • the imaging method is limited in that it requires a distance to collect light on the image sensor by using a lens and requires a space for arranging two lens arrays.
  • An object of the present invention is to provide a technique related to a thin imaging device that reduces the amount of calculation by easy signal processing and expands the field of view in short-distance imaging.
  • an imaging apparatus includes a modulator that has a first compound eye lattice pattern and modulates light intensity by transmitting the first compound eye lattice pattern; An image sensor that converts the light transmitted through the modulator into image data and outputs the image data; and an image processing unit that performs image processing to restore an image using the image data output from the image sensor.
  • One compound eye lattice pattern includes a plurality of basic patterns, and each of the basic patterns is concentric.
  • the constituent elements are not necessarily indispensable unless otherwise specified and apparently essential in principle. Needless to say.
  • an imaging method has been proposed that achieves a reduction in thickness and cost by obtaining an object image without using a lens.
  • an imaging method for obtaining an image of an object by pasting a special grid pattern in front of the image sensor and solving the inverse problem for developing the image from the projected pattern received by the image sensor There is.
  • calculation when solving the inverse problem by signal processing becomes complicated, and the processing load is high, so that the hardware requirement specification of the information equipment becomes high.
  • the present invention is aimed at enabling a reduction in thickness while keeping the processing load low.
  • FIG. 1 is a diagram showing a configuration of an image pickup apparatus 101 according to the first embodiment of the present invention.
  • the imaging device 101 acquires an image of an object in the outside world without using a lens that forms an image, and includes a modulator 102, an image sensor 103, and an image processing unit 106 as shown in FIG. Yes.
  • the imaging device 101 is connected to an image display unit 107 having a display device or the like that displays an image, and display information on the image display unit 107 is controlled by the image processing unit 106.
  • FIG. 2 shows an example of the modulator 102.
  • the modulator 102 is fixed in close contact with the light receiving surface of the image sensor 103, and has a configuration in which a first grating pattern 104 and a second grating pattern 105 are formed on a grating substrate 102a.
  • the lattice substrate 102a is made of a transparent material such as glass or plastic.
  • the image sensor 103 side of the lattice substrate 102a is referred to as a back surface, and the opposite surface, that is, the imaging target side is referred to as a front surface.
  • the lattice patterns 104 and 105 are concentric lattice patterns whose intervals, that is, the pitches of the lattice patterns are reduced in inverse proportion to the radius from the center toward the outside.
  • the lattice patterns 104 and 105 are formed by evaporating a metal such as aluminum or chromium by a sputtering method used in a semiconductor process, for example. The shading is given by a pattern in which the metal is deposited and a pattern in which the metal is not deposited. Note that the formation of the lattice patterns 104 and 105 is not limited to this, and the lattice patterns 104 and 105 may be formed with light and shade by, for example, printing by an inkjet printer or the like.
  • the lattice substrate 102a is a material to be imaged such as a material transparent to far-infrared such as germanium, silicon, chalcogenide, and the like.
  • a material that is transparent with respect to the wavelength to be used, and a material that blocks the metal such as metal may be used for the lattice patterns 104 and 105.
  • the method of forming the grating patterns 104 and 105 on the grating substrate 102a has been described. However, as shown in FIG. This can also be realized by a configuration held by 102b.
  • the intensity of the light transmitted through the lattice patterns 104 and 105 is modulated by the lattice pattern, and the transmitted light is received by the image sensor 103.
  • the image sensor 103 includes, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • pixels 103a as light receiving elements are regularly arranged in a grid pattern.
  • the image sensor 103 converts the optical image received by the pixel 103a into an image signal that is an electrical signal.
  • the image signal output from the image sensor 103 is subjected to image processing by the image processing unit 106, which is an image processing unit, and output to the image display unit 107 and the like.
  • FIG. 4 is an explanatory diagram showing an example of photographing by the imaging device 101 of FIG. FIG. 4 shows an example in which a subject 401 is photographed by the imaging device 101 and displayed on the image display unit 107.
  • the surface of the modulator 102 specifically, the surface of the lattice substrate 102a on which the first lattice pattern 104 is formed faces the subject 401.
  • Shooting is performed.
  • FIG. 5 is a flowchart illustrating an outline of image processing by the image processing unit 106 included in the imaging apparatus 101 of FIG.
  • the frequency spectrum of the moire fringe image output from the image sensor 103 is developed by a two-dimensional Fourier transform operation such as Fast Fourier Transform (FFT) for each color RGB (Red Green Blue) component. (501). Subsequently, after extracting necessary frequency domain data from the frequency spectrum obtained by the processing in step 501 (502), the intensity of the frequency spectrum is calculated (503) to obtain an image. Then, noise removal processing is performed on the obtained image (504), followed by contrast enhancement processing (505). Thereafter, the color balance of the image is adjusted (506) and output as a captured image. Thus, the image processing by the image processing unit 106 is completed.
  • FFT Fast Fourier Transform
  • the concentric lattice patterns 104 and 105 whose pitch is inversely proportional to the radius from the center are defined as follows. A case where a spherical wave close to a plane wave and a plane wave used as reference light are caused to interfere with each other in a laser interferometer or the like.
  • the radius from the reference coordinate that is the center of the concentric circle is r
  • the phase of the spherical wave is ⁇ (r)
  • this is used using a coefficient ⁇ that determines the magnitude of the wavefront bend, ⁇ Formula 1> ... Formula 1 It can be expressed.
  • the fourth term of the unfolding formula creates a straight strip with equal intervals in the direction of displacement of the two gratings over the entire region.
  • a fringe generated at a relatively low spatial frequency by overlapping the fringes is called a moire fringe.
  • Such straight equidistant fringes cause sharp peaks in the spatial frequency distribution obtained by two-dimensional Fourier transform of the detected image.
  • the value of ⁇ that is, the incident angle ⁇ of the light beam can be obtained from the frequency value. It is clear that the moire fringes obtained at such uniform intervals on the entire surface are generated at the same pitch regardless of the direction of displacement, due to the symmetry of the concentric lattice arrangement.
  • Such fringes can be obtained because the lattice pattern is formed by Fresnel zone plates or Gabor zone plates, but any type of moire fringes that are uniformly spaced on the entire surface can be obtained.
  • a pattern may be used.
  • the component having a sharp peak from Equation 5 is expressed as ⁇ Equation 6>.
  • ... Formula 6 And the Fourier spectrum is ⁇ Formula 7> ... Formula 7 become that way.
  • F represents a Fourier transform operation
  • u and v are spatial frequency coordinates in the x and y directions
  • FIG. 7 from left to right, there are shown a layout diagram of light beams and a modulator 102, moire fringes, and a schematic diagram of a spatial frequency spectrum.
  • FIG. 7A shows normal incidence
  • FIG. 7B shows a case where a light beam is incident from the left side at an angle ⁇
  • FIG. 7C shows a case where a light beam is incident from the right side at an angle ⁇ . .
  • the first grating pattern 104 formed on the front surface side of the modulator 102 and the second grating pattern 105 formed on the back surface side are aligned.
  • FIG. 7A since the shadows of the first lattice pattern 104 and the second lattice pattern 105 coincide with each other, moire fringes do not occur.
  • the same moiré occurs because the shift between the first lattice pattern 104 and the second lattice pattern 105 is the same, and the peak positions of the spatial frequency spectrum also coincide with each other. From the frequency spectrum, it becomes impossible to determine whether the incident angle of the light beam is as shown in FIG. 7B or FIG. 7C.
  • the two grating patterns 104 and 105 are preliminarily placed on the optical axis so that the shadows of the two grating patterns are shifted and overlapped even with respect to the light beam perpendicularly incident on the modulator 102. It is necessary to shift relative to the above.
  • the relative shift of the shadows of the two gratings is ⁇ 0 with respect to the normal incident plane wave on the axis
  • the shift ⁇ caused by the plane wave of the incident angle ⁇ is ⁇ Formula 8> ...
  • FIG. 9 is a schematic diagram for explaining the generation of moire fringes and the frequency spectrum when the first grating pattern 104 and the second grating pattern 105 are shifted from each other.
  • the left side shows the arrangement of the light beam and the modulator 102
  • the middle row shows the moire fringes
  • the right side shows the spatial frequency spectrum.
  • 9A shows a case where the light beam is perpendicularly incident
  • FIG. 9B shows a case where the light beam is incident at an angle ⁇ from the left side
  • FIG. 9C shows an angle from the right side. In this case, the incident light is ⁇ .
  • a first grating pattern 104 and the second grating pattern 105 is disposed shifted by beforehand [delta] 0. Therefore, moire fringes are generated in FIG. 9A, and a peak appears in the spatial frequency spectrum.
  • the shift amount ⁇ 0 is set so that the peak position appears at the center of the spectrum range on one side from the origin, as described above.
  • the shift ⁇ is further increased, and in FIG. 9C, the shift ⁇ is decreased. Therefore, unlike FIG. 7, FIG. 9B and FIG. Can be discriminated from the peak position of the spectrum.
  • This peak spectral image is a bright spot showing a light beam at infinity, and is nothing but a photographed image by the imaging device 101 of FIG.
  • Equation 13 it can be seen from Equation 13 that the angle of view can be changed by the thickness t of the modulator 102 and the coefficient ⁇ of the grating patterns 104 and 105. Therefore, for example, if the modulator 102 has the configuration shown in FIG. 3 and a function capable of changing the length of the support member 102b, it is possible to change the angle of view at the time of shooting.
  • the fast Fourier transform was demonstrated to the example as a method of calculating a spatial frequency spectrum from a moire fringe, it is not limited to this, It is realizable also using discrete cosine transform (DCT: Discrete Cosine Transform) etc. It is also possible to reduce the amount of calculation.
  • DCT discrete cosine transform
  • the transmittance distribution of the grating patterns 104 and 105 has been described on the assumption that there is a sinusoidal characteristic as shown in Equation 2, but if there is such a component as the fundamental frequency component of the grating pattern, For example, as shown in FIG. 10, it is also possible to binarize the transmittance of the lattice pattern. Further, as shown in FIG. 11, by changing the duty of the lattice region having the high transmittance and the low region, the transmittance is high. It is conceivable to increase the transmittance by widening the area. As a result, an effect such as suppression of diffraction from the grating pattern can be obtained, and deterioration of the photographed image can be reduced.
  • the grating patterns 104 and 105 may be realized not by transmittance modulation but by phase modulation.
  • a cylindrical lens 1201 as the lattice substrate 102a as shown in FIG. 12, an intensity modulation pattern as shown in the figure can be generated on the image sensor 103, so that imaging can be performed as in the previous discussion. It becomes.
  • it can also be implemented with a phase modulation element having an equivalent effect.
  • the incident light beam is only one incident angle at the same time.
  • the imaging apparatus 101 it is assumed that light having a plurality of incident angles is incident simultaneously. There must be.
  • Such light having a plurality of incident angles already overlaps the images of the plurality of front side gratings at the point of incidence on the back side grating pattern. If these cause moiré fringes, there is a concern that the noise may interfere with detection of moiré fringes with the second grating pattern 105, which is a signal component.
  • the overlap between the images of the first lattice pattern 104 does not cause the peak of the moire image, and the peak is caused only by the overlap with the second lattice pattern 105 on the back surface side. The reason will be described below.
  • the major difference is that the overlap between the shadows of the first grating pattern 104 on the surface side due to the light beams having a plurality of incident angles is not a product but a sum.
  • the intensity distribution of the light that is the shadow of the first grating pattern 104 is changed to the intensity distribution of the second grating pattern 105.
  • the overlap of the shadows caused by the light having different angles incident on the first grating pattern 104 on the surface side is not the product but the sum because it is the overlap of the light.
  • ⁇ Formula 15> ... Formula 15 As shown, the distribution of the original Fresnel zone plate lattice is multiplied by the distribution of moire fringes. Therefore, the frequency spectrum is represented by the overlap integral of the respective frequency spectra. Therefore, even if the moiré spectrum alone has a sharp peak, in effect, only a ghost of the frequency spectrum of the Fresnel zone plate occurs at that position. That is, no sharp peak occurs in the spectrum.
  • the spectrum of the moire image detected even when light of a plurality of incident angles is put is always only the moire of the product of the first grating pattern 104 on the front surface side and the second grating pattern 105 on the back surface side, As long as the second grating pattern 105 is single, only one spectrum peak is detected for one incident angle.
  • FIG. 13 is an explanatory diagram for explaining angles formed by the light from the respective points constituting the object with respect to the image sensor.
  • the light from each point constituting the subject 401 is a spherical wave from a point light source, and the modulator 102 and the image sensor 103 (hereinafter referred to as a grating sensor integrated substrate 1301 in FIG. 13) of the imaging apparatus 101 in FIG. Is incident on.
  • the lattice sensor integrated substrate is sufficiently small or sufficiently distant from the subject 401, it can be considered that the incident angle of light illuminating the lattice sensor integrated substrate is the same from each point.
  • FIG. 14 shows a state of projection onto the back surface of the first lattice pattern 104 on the front surface side in the case of infinity described above.
  • the spherical wave from the point 1401 constituting the object at infinity becomes a plane wave while propagating a sufficiently long distance, irradiates the first lattice pattern 104 on the surface side, and the projected image 1402 is projected on the lower surface.
  • the projected image has substantially the same shape as the first lattice pattern 104.
  • the projected image 1402 by multiplying the projected image 1402 by the transmittance distribution of the back side lattice pattern (corresponding to the second lattice pattern 105 in FIG. 2), linear moire fringes at equal intervals can be obtained ( FIG. 15).
  • FIG. 16 is an explanatory diagram showing that the projection onto the back surface of the first grid pattern 104 on the front surface side is enlarged from the first grid pattern 104 when the object to be imaged is at a finite distance.
  • a spherical wave from a point 1601 constituting the object irradiates the first lattice pattern 104 on the surface side, and the projected image 1602 is projected on the lower surface, the projected image is almost one. Will be enlarged.
  • the enlargement factor ⁇ is obtained by using the distance f from the first lattice pattern 104 to the point 1601.
  • ⁇ Formula 17> ... Formula 17 It can be calculated as follows.
  • the first grating pattern 104 and the second grating pattern 105 having the same shape are formed on the front and back surfaces of the grating substrate 102a so as to be shifted from each other, thereby changing the angle of incident parallel light to the space of the moire fringes.
  • the image was developed as detected from the frequency spectrum.
  • the second lattice pattern 105 on the back surface side is an optical element that modulates the intensity of light incident in close contact with the image sensor 103, and is the same lattice pattern regardless of incident light. Therefore, as shown in FIG. 19, a modulator 1901 from which the second lattice pattern 105 is removed is used, and processing corresponding to the second lattice pattern 105 is executed by the intensity modulation unit 1903 in the image processing unit 1902. Also good.
  • FIG. 20 shows details of the configuration of the modulator 1901 at this time.
  • one surface of the lattice pattern formed on the lattice substrate 102a can be reduced.
  • the manufacturing cost of the modulator can be reduced, and the light utilization efficiency can be further improved.
  • FIG. 21 is a flowchart showing an outline of image processing by the image processing unit 1902 of FIG.
  • the flowchart in FIG. 21 is different from the flowchart in FIG.
  • the above-described intensity modulation unit 1903 generates a moire fringe image corresponding to the transmission of the lattice pattern 105 on the back side of the image output from the image sensor 103.
  • the intensity modulation unit 1903 generates the back side lattice pattern 105 and multiplies the image of the image sensor 103. Further, if the lattice pattern 105 on the back surface side is a binarized pattern as shown in FIGS.
  • the pitch of the pixels 103a included in the image sensor 103 is fine enough to reproduce the pitch of the first lattice pattern 104, or the pitch of the first lattice pattern 104 is reproduced at the pitch of the pixel 103a. It needs to be as rough as possible.
  • the pitch of the lattice pattern does not necessarily need to be resolved by the pixel 103a of the image sensor 103, and only the moire image needs to be resolved.
  • the resolution of the lattice pattern and the image sensor 103 needs to be equal.
  • the processing corresponding to the second grating pattern 105 is realized by the intensity modulation unit 1903, but the second grating pattern 105 is an optical element that modulates the intensity of incident light in close contact with the sensor. It can also be realized by effectively setting the sensitivity of the sensor in consideration of the transmittance of the second grating pattern 105.
  • Equation 19 is shown in the form of integration, but the same effect can be obtained by actually calculating the total sum of the combinations of ⁇ F and ⁇ B.
  • ⁇ F and ⁇ B may be set so as to equally divide the angle between 0 and 2 ⁇ , and are divided into four equal parts such as ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ , ⁇ 0, ⁇ / 3 It may be divided into three equal parts such as 2 ⁇ / 3 ⁇ .
  • Equation 19 can be simplified.
  • the calculation is performed so that ⁇ F and ⁇ B can be changed independently.
  • the noise term can be canceled.
  • Formula 20 the noise term is canceled and a term that is a constant multiple of the single frequency remains.
  • ⁇ may be set so as to equally divide the angle between 0 and 2 ⁇ , and may be equally divided into four as ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ .
  • the noise term can be canceled and further simplified without dividing into equal parts.
  • the first lattice pattern 104 and the second lattice pattern 105 separate the two developed images generated in the spatial frequency space by shifting ⁇ 0 in advance.
  • this method has a problem that the number of pixels of the developed image is halved. Therefore, a method for avoiding duplication of developed images without shifting ⁇ 0 will be described.
  • ⁇ Equation 23> ... Formula 23 As shown below, the calculation is performed on the complex plane using exp. This cancels the noise term and leaves a term that is a constant multiple of the single frequency. If exp (2i ⁇ x) in Equation 23 is Fourier transformed, ⁇ Formula 24> ... Formula 24 Thus, it can be seen that a single developed image can be obtained without generating two peaks as in Equation 7. Thus, it is not necessary to shift the grid patterns 104 and 105, and the number of pixels can be used effectively.
  • FIGS. 1-10 A configuration for performing the noise canceling method based on the above fringe scan will be described with reference to FIGS.
  • fringe scanning it is necessary to use a plurality of patterns having different initial phases as at least the grating pattern 104.
  • FIG. 22 shows a configuration for realizing time-division fringe scanning.
  • the modulator 2201 is, for example, a liquid crystal display element that can electrically switch and display a plurality of initial phases shown in FIG.
  • the initial phase ⁇ F or ⁇ is ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ , respectively.
  • FIG. 24 shows an example of electrode arrangement in the liquid crystal display element of the modulator 2201 that realizes this. Concentric electrodes are configured so that one period of the lattice pattern is divided into four. Every four electrodes are connected from the inside, and four electrodes are drawn out as drive terminals from the outer periphery.
  • the initial phase ⁇ F or ⁇ of the lattice pattern is as shown in FIGS. Can be switched to ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ .
  • the electrode to which “1” indicated by shading is shielded from light, and the electrode to which “0” indicated by white is transmitted corresponds to light transmission.
  • FIG. 25 shows a flowchart showing an outline of image processing in the image processing unit 2203.
  • the flowchart in FIG. 25 differs from the flowchart in FIG. 21 in the processing of steps 2501 to 2504.
  • the addition result is reset at the beginning of the fringe scan calculation (2501).
  • the same initial phase as that of the lattice pattern 104 used for photographing is set (2502), and the lattice pattern 105 having the initial phase is generated and multiplied by the image of the image sensor 103. (2101). This result is added for each initial phase pattern (2503).
  • the above steps 2502 to 2503 are repeated for all initial phase patterns (2504).
  • Subsequent processing is the same as the processing of FIG. 21, and thus the description thereof is omitted here.
  • the said flow demonstrated the formula 20 as an example, it is possible to apply to the formulas 19, 22, and 23 similarly.
  • FIG. 26 shows a configuration for realizing the space division fringe scan.
  • the modulator 2601 has a configuration in which a plurality of initial phase patterns are two-dimensionally arranged, for example, such that the initial phase ⁇ F or ⁇ in FIG. 27 is a pattern of ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ , respectively. is there.
  • the image dividing unit 2602 divides the output of the image sensor 103 into regions corresponding to the pattern arrangement of the modulator 2601 and sequentially transmits them to the image processing unit. In the example of FIG. 26, the image sensor output is divided into 4 areas of 2 ⁇ 2 in the vertical direction.
  • the modulator 2601 Since the fringe scan based on Equation 20 requires 4 phases, the modulator 2601 has 2 ⁇ 2 in the vertical direction. However, the fringe scan based on Equation 22 can be realized in 2 phases, so the modulator 2601 has 1 ⁇ 2 in the vertical direction. This can also be realized by pattern arrangement, and the image sensor output is also divided into 1 ⁇ 2 horizontal regions accordingly.
  • the subsequent processing of the image processing unit 2203 is the same as the processing of FIG. 22 that is time-division fringe scanning, and thus the description thereof is omitted.
  • space-division fringe scan it is not necessary to perform electrical switching as in the case of the time-division fringe scan modulator 2201, and the modulator can be manufactured at low cost.
  • space division fringe scanning when space division fringe scanning is used, the resolution is effectively reduced because the image is divided. Therefore, time division fringe scanning is suitable when the resolution needs to be increased.
  • FIG. 28 is an explanatory diagram showing the spread angle (scattering angle) ⁇ s of light from a certain point of the object when the object to be imaged is at a short distance.
  • the diameter B of the irradiation region in the first lattice pattern 104 is determined using the scattering angle ⁇ s.
  • f is the distance from the point 2801 to the first lattice pattern 104. In this way, only the irradiation area of the first lattice pattern 104 can be used during close-up photography. In reality, the scattered light intensity gradually attenuates as the scattering angle increases, but in FIG. 28, it is assumed that the scattered light reaches only the irradiated region for the sake of simplicity.
  • the first lattice pattern 104 is a concentric lattice pattern in which the pitch of the stripes becomes narrower from the center toward the end, the distance from the center of the first lattice pattern 104 increases, for example, as indicated by a point 2803.
  • the pitch of the stripes becomes narrower.
  • the projected image of the stripes with a narrow pitch is likely to be buried in noise because the contrast on the image sensor 103 is lowered due to the influence of diffraction or the like, and development is difficult. From the above, it is possible to image points near the center of the first lattice pattern 104 such as points 2801 and 2802, but imaging becomes difficult as the distance from the center increases as point 2803, and the imageable range (field of view) is large. Will be limited.
  • FIG. 29 is a diagram illustrating a configuration example of wide field of view by a compound eye lattice pattern.
  • FIG. 29 shows a configuration capable of enlarging the field of view in proximity imaging.
  • FIG. 29 differs from FIG. 19 in that a first compound eye lattice pattern 2902 in which a plurality of basic patterns 2903 are arranged is used as the first lattice pattern 104, and that an image dividing unit 2904 and an image processing unit 2905 are provided.
  • FIG. 30 shows an example of the first compound eye lattice pattern 2902.
  • the first compound eye lattice pattern 2902 can be realized by arranging the basic patterns 2903 composed of concentric lattice patterns on a plane parallel to the image sensor without overlapping three vertical and three horizontal.
  • the first compound eye lattice pattern 2902 is a pattern composed of basic patterns arranged in three vertical rows and three horizontal rows.
  • the present invention is not limited to this. You may change suitably according to the distance of this.
  • FIG. 31 shows a field of view by a compound eye lattice pattern.
  • the initial phase ⁇ of the concentric lattice pattern constituting each basic pattern 2903 may be arbitrary. Further, although the single image sensor 103 is used in the configuration of FIG. 29, a plurality of image sensors 103 may be used side by side.
  • the light beam from the point 3103 passes through the adjacent basic pattern 3102 and enters the range C.
  • the basic pattern 3101 information on the adjacent basic pattern 3102 becomes noise. In this way, crosstalk occurs due to light rays incident through different basic patterns.
  • FIG. 33A and FIG. 33B are flowcharts showing an outline of image processing by the image processing unit 2905.
  • the flowchart in FIG. 33A differs from that in FIG. 21 in the processing of step 3301 and step 3302.
  • the image dividing unit 2904 divides the sensor image acquired by the image sensor 103 according to the basic pattern 2903 arrangement (3301). Thereafter, processing similar to that of FIG. 21 is performed up to step 504, and in step 3302, the output images of step 504 are rearranged and combined in accordance with the division in step 3301. The subsequent processing is the same as the processing in FIG.
  • the back side lattice pattern used in the processing of step 2101 is either a monocular first lattice pattern composed of a single basic pattern 2903 or a compound eye pattern similar to the compound eye first compound eye lattice pattern 2902. good.
  • FIG. 33B is different from the flowchart in FIG. 33A in the timing of dividing the output image.
  • step 3301 of FIG. 33A is not performed, and the output image after the processing of step 504 is divided according to the arrangement of the basic pattern 2903 (3303), rearranged and combined (3302).
  • FIG. 29 has been described based on FIG. 19, but it is also possible to cancel noise by fringe scanning by similarly applying to other configurations such as FIG.
  • Example 2 Crosstalk reduction by light shielding plate>
  • a method of reducing crosstalk generated from adjacent basic patterns in the first compound eye lattice pattern 2902 by a light shielding plate will be described.
  • crosstalk is reduced by appropriately setting t (the thickness of the modulator 102) and q m (the distance between the centers of concentric circles of adjacent basic patterns). In some cases, the degree of design freedom of the vessel is limited.
  • Crosstalk can also be reduced by inserting a light shielding plate.
  • FIG. 34 shows the principle of crosstalk reduction by the light shielding plate. A light beam from the point 3103 that becomes noise for imaging by the basic pattern 3101 can be removed by inserting a light shielding plate 3401.
  • FIG. 35 is an explanatory diagram of a configuration for realizing crosstalk reduction by the light shielding plate.
  • a light shielding plate 3502 is inserted into the modulator 3501.
  • the light shielding plate needs to be made of a material that does not transmit a wavelength to be photographed.
  • a black plastic plate or metal plate may be used, and for far infrared light, an acrylic plate or metal plate may be used.
  • the light shielding plate 3502 is arranged so as to be divided into regions U having the basic pattern 2903 as a unit.
  • FIG. 36 shows the principle of crosstalk reduction using a polarizing plate.
  • the modulator 2901 is sandwiched between polarizing plates 3601 to 3604.
  • the polarizing axes of adjacent polarizing plates such as the polarizing plate 3601 and the polarizing plate 3602 are orthogonal to each other, and the polarizing axes of the opposing polarizing plates such as the polarizing plate 3601 and the polarizing plate 3603 are aligned.
  • the light beam from the point 3605 to be imaged by the basic pattern 3101 passes through the polarizing plate 3601 and the polarizing plate 3603, and the light beams reach the image sensor 103 because the polarization axes of the two polarizing plates are parallel to each other. .
  • FIG. 37 is an explanatory diagram of a configuration for realizing crosstalk reduction by a polarizing plate.
  • a modulator 2901 is sandwiched between a first polarizing plate 3701 and a second polarizing plate 3702.
  • the first polarizing plate 3701 is disposed close to the first compound eye lattice pattern 2902, and the second lattice pattern is disposed close to the image sensor 103.
  • the first polarizing plate 3701 is disposed on the front surface side of the modulator 2901, but may be disposed on the back surface side of the first compound eye lattice pattern 2902.
  • FIG. 37B shows examples of polarizing plates 3701 and 3702.
  • the polarizing plate 3701 includes a plurality of polarizing plates, and is disposed so that the polarizing axes of adjacent polarizing plates such as the polarizing plate 3601 and the polarizing plate 3602 are orthogonal to each other.
  • the size of the polarizing plate 3601 is the same size as the basic pattern 2903 of the first compound eye lattice pattern 2902 and is arranged in accordance with the arrangement of the basic pattern 2903.
  • the first compound eye lattice pattern 2902 is a pattern composed of an arrangement of 3 vertical ⁇ 3 basic patterns.
  • the present invention is not limited to this. You may change suitably according to distance etc.
  • the polarizing plate of the liquid crystal display element may be the polarizing plate 3603 constituting the first polarizing plate 3601.
  • the polarizing plates such as the polarizing plate 3601 and the polarizing plate 3603 are arranged so that the polarizing axes of the opposing polarizing plates are aligned.
  • the present invention is not limited to this, and the polarization plane rotates depending on the material of the modulator 2901.
  • the inclination of the polarization axis may be set so that the amount of light transmitted through the opposing polarizing plate is maximized or the amount of crosstalk light is minimized.
  • FIG. 38 shows a configuration for realizing crosstalk cancellation using time-division fringe scanning.
  • FIG. 38 differs from FIG. 22 in that a first compound eye lattice pattern 3802 is used as the first lattice pattern, and an image dividing unit 3806 and an image processing unit 3805 are provided.
  • the first compound eye lattice pattern 3802 is arranged so that the initial phases ⁇ of the basic patterns 3803 and 3804 adjacent vertically and horizontally are shifted by ⁇ / 2.
  • FIG. 39 shows combinations of basic patterns 3803 and 3804 in FIG.
  • basic patterns 3803 and 3804 are set as basic patterns 3901 and 3902, respectively.
  • ⁇ F1 and ⁇ F2 are set to ⁇ 0, ⁇ / 2 ⁇ , ⁇ / 2, ⁇ , so that the phase difference between the initial phases ⁇ F1 and ⁇ F2 is ⁇ / 2.
  • a combination such as ⁇ , 3 ⁇ / 2 ⁇ , ⁇ 3 ⁇ / 2, 2 ⁇ is used.
  • the initial phase [Phi B1 and [Phi B2 of the basic pattern 3903,3904 constituting the compound-eye grating pattern of the back side so that the phase difference of the initial phase [Phi B1 and [Phi B2 becomes ⁇ / 2, ⁇ 0, ⁇ / 2 ⁇ , ⁇ / 2, ⁇ , ⁇ , 3 ⁇ / 2 ⁇ , ⁇ 3 ⁇ / 2, 2 ⁇ , etc.
  • crosstalk can be canceled by performing a fringe scan operation according to Equation 19.
  • the projection image of the basic pattern 3901 is developed by the basic pattern 3903, but the initial phase difference ( ⁇ F1 ⁇ F3 ) of this pattern is 0, and the cos term in Equation 19 is 1.
  • the initial phase difference ( ⁇ F1 ⁇ F3 ) is ⁇ / 2
  • the cos term in Equation 19 is 0. Canceled. Therefore, crosstalk cancellation is possible by a combination of initial phases of the front-side compound eye lattice pattern and the back-side compound eye lattice pattern.
  • FIG. 40 shows an example of the first compound eye lattice pattern 3802.
  • the first compound eye lattice pattern 3802 having different initial phases of the basic patterns 3803 and 3804 is switched and used.
  • the switching method is the same as the time-division fringe scanning method described in the first embodiment, and thus the description thereof is omitted.
  • FIG. 41 shows an example of the first compound eye lattice pattern. Since the first compound eye lattice pattern 4101 realizes a space division fringe scan, the basic pattern 4102 includes division patterns 4103 and 4104 each having four initial phases. Further, in order to realize crosstalk cancellation, the division patterns 4103 and the division patterns 4104 adjacent to each other are arranged such that the initial phases of the division patterns adjacent vertically and horizontally are shifted by ⁇ / 2. In this combination, if the fringe scan calculation according to Equation 19 is performed, crosstalk can be canceled as described above.
  • the basic patterns constituting the first compound eye lattice pattern are arranged so that adjacent ones do not overlap with each other.
  • the adjacent basic patterns overlap. May be.
  • Example 5 Combined use of crosstalk cancellation and polarizing plate>
  • the crosstalk cancellation of Example 4 and the crosstalk reduction method using the polarizing plate of Example 3 were used in combination, and the first compound eye lattice pattern A method for reducing the crosstalk generated from the adjacent pattern will be described.
  • Example 4 shows an example in which a polarizing plate is used in combination.
  • FIG. 42 is an explanatory diagram showing a method of reducing crosstalk by using crosstalk cancellation using time-division fringe scanning and a polarizing plate in combination.
  • FIG. 42 is different from FIG. 38 in that it includes two polarizing plates, a first polarizing plate 4201 and a second polarizing plate 4202.
  • the first polarizing plate 4201 is disposed in the vicinity of the first compound eye lattice pattern 3802, and the second polarizing plate 4202 is disposed in the vicinity of the image sensor 103.
  • the second polarizing plate 4202 is the same as the first polarizing plate 4201 and is arranged so that the polarization directions of the polarizing plates are aligned.
  • the first polarizing plate 4201 is disposed on the front surface side of the modulator 3801, but may be disposed on the back surface side of the first compound eye lattice pattern 3802.
  • FIG. 43 shows examples of polarizing plates 4201 and 4202.
  • FIG. 43 differs from the polarizing plates 3701 and 3702 described with reference to FIG. This is the point of size.
  • the first compound eye lattice pattern 3802 is a pattern composed of 2 ⁇ 2 basic patterns, so that the polarizing plates 4201 and 4202 are equivalent to 2 ⁇ 1 horizontal pattern of the basic pattern. It becomes size.
  • the polarization axis of the adjacent polarizing plate 4203 is orthogonal to the polarizing axes of the polarizing plates 4201 and 4202. Crosstalk is reduced by the orthogonal polarization axes.
  • the configuration in which the basic patterns are arranged in a lattice shape has been described as an example.
  • the present invention is not limited to this, and the adjacent basic patterns may be arranged so as to have a 60-degree positional relationship like a honeycomb structure. Good. Even in such a case, crosstalk can be reduced by setting the initial phase difference between adjacent basic patterns to ⁇ / 2, or by arranging the polarization axes of adjacent polarizing plates to be orthogonal to each other.
  • the polarizing plate of the liquid crystal display element may be the polarizing plate 4203 constituting the first polarizing plate 4201.
  • the crosstalk cancellation using the spatial division fringe scan and the reduction of the crosstalk by using the polarizing plate can be realized.
  • Example 6 Application Example to Vein Imaging>
  • a finger vein imaging method for application to a finger vein authentication apparatus will be described.
  • FIG. 44 is an explanatory diagram showing the configuration and optical path of an imaging device for securing a field of view sufficient for finger vein authentication.
  • q m is the distance between the centers of the basic patterns constituting the first compound eye lattice pattern 4401
  • n is the number of basic patterns in a certain direction
  • f is the distance from the subject 4402 to the first compound eye lattice pattern 4401.
  • Field A s of each basic pattern is represented by formula 26.
  • the image sensor 103 is not a single sensor, but a plurality of sensors can be arranged to increase the sensor size.
  • the visual field necessary for finger vein authentication can be acquired. Further, although crosstalk occurs in the above method, it can be reduced by using the above-described crosstalk reduction method.
  • FIG. 45 shows an example of a finger vein authentication device.
  • FIG. 45 includes a compound eye lattice pattern (front side) 4501, a light source 4503, and an image sensor 4502.
  • the light source 4503 uses near-infrared light having a wavelength of around 850 nm and the reflected light from the finger is acquired by the image sensor 4502. Note that the arrangement may be such that transmitted light is acquired by the image sensor 4502. Finger vein imaging can be realized with such an apparatus.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
  • Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function is stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • a RAM Random Access Memory
  • CPU Central Processing Unit
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • each of the above-described configurations, functions, processing units, and the like may be realized in a distributed system by executing a part or all of them by, for example, another device and performing integrated processing via a network.
  • DESCRIPTION OF SYMBOLS 101 ... Imaging device, 102 ... Modulator, 102a ... Lattice substrate, 102b ... Support member, 103 ... Image sensor, 103a ... Pixel, 106 ... Image processing part, 107 ... Image display unit, 104 ... Grid pattern (front side), 105 ... Grid pattern (back side), 401 ... Subject, 1201 ... Cylindrical lens, 1301 ... Grid sensor integrated substrate, 1401 ... Point, 1402 ... Projected image, 1601 ... Point, 1602 ... Projected image, 1901 ... Modulator, 1902 ... Image processing unit, 1903 ... Intensity modulation unit, 2201 ..
  • Modulator 2202 Modulator control unit 2203 Image processing unit 2601 Modulator 2602 Image dividing unit 2801 Point 2802 Point 2803 ⁇ ⁇ Point, 2901 ... modulator, 2902 ... compound eye lattice pattern (front side), 2903 ... lattice pattern, 2904 ... image dividing unit, 2905 ... image processing unit, 3101 ... lattice pattern, 3102 ... Lattice pattern, 3103 ... Point, 3401 ... Light shielding plate, 3501 ... Modulator, 3502 ... Light shielding plate, 3601 ... Polarizing plate, 3602 ... Polarizing plate, 3603 .. Polarizing plate, 3604... Polarizing plate, 3605..., 3701... Polarizing plate, 3702...
  • Polarizing plate 3801. 3803 ... Grid pattern, 3804 ... Grid pattern, 3805 ... Image processing unit, 3806 ... Image dividing unit, 3901 ... Grid pattern, 3902 ... Grid pattern, 3 03 ... lattice pattern, 3904 ... lattice pattern, 4101 ... compound eye lattice pattern, 4102 ... lattice pattern, 4103 ... lattice pattern, 4104 ... lattice pattern, 4201 ... polarizing plate, 4202 ... Polarizing plate, 4203 ... Polarizing plate, 4401 ... Compound eye lattice pattern (front side), 4402 ... Subject, 4403 ... Grid pattern, 4501 ... Compound eye lattice pattern (front side), 4502 ... Image sensor, 4503 ... Light source

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Polarising Elements (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

容易な信号処理により演算量を低減し、近距離の撮像において視野を拡大する薄型の撮像装置の技術を提供する。　撮像装置であって、第１の複眼格子パターンを有し、第１の複眼格子パターンを透過させることで光の強度を変調する変調器と、変調器を透過した光を画像データに変換して出力する画像センサと、画像センサから出力される画像データを用いて像を復元する画像処理を行う画像処理部と、を備え、第１の複眼格子パターンは、複数の基本パターンを含んで構成され、それぞれの基本パターンは、同心円状である、ことを特徴とする。

Description

撮像装置
　本発明は、撮像装置に関する。本発明は２０１６年１２月１３日に出願された日本国特許の出願番号２０１６－２４０８１８の優先権を主張し、文献の参照による織り込みが認められる指定国については、その出願に記載された内容は参照により本出願に織り込まれる。
　本技術分野の背景技術として、特開２０１１－２０３７９２号公報(特許文献1)がある。この公報には、マイクロレンズアレイを用いることにより小型・薄型化を実現する撮像装置についての記載がある。
特開２０１１－２０３７９２号公報
　上記特許文献１に記載された技術では、「前段のマイクロレンズアレイと絞りアレイとを対向させ、前段のマイクロレンズアレイの被写体からの光の焦点近傍に絞りアレイの絞りを設けて、更に後段のマイクロレンズアレイによって光の集束も同時に行う」ことで、「光学系を小さくし、小型・薄型の指静脈認証装置を実現することが出来る」撮像方式である。該撮像方式は、レンズを用いることにより画像センサ上への集光に距離が必要である点と、２つのレンズアレイを配置する空間が必要である点が、薄型化の限界となっている。
　本発明の課題は、容易な信号処理により演算量を低減し、近距離の撮像において視野を拡大する薄型の撮像装置に係る技術を提供することである。
　本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る撮像装置は、第１の複眼格子パターンを有し、上記第１の複眼格子パターンを透過させることで光の強度を変調する変調器と、上記変調器を透過した光を画像データに変換して出力する画像センサと、上記画像センサから出力される画像データを用いて像を復元する画像処理を行う画像処理部と、を備え、上記第１の複眼格子パターンは、複数の基本パターンを含んで構成され、それぞれの上記基本パターンは、同心円状である。
　本発明によれば、容易な信号処理により演算量を低減し、近距離の撮像において視野を拡大する薄型の撮像装置の技術を提供できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第一の実施形態に係る撮像装置の構成を示す図である。 第一の実施形態に係る変調器の構成を示す図である。 第一の実施形態に係る別の変調器の構成を示す図である。 第一の実施形態に係る撮像装置による撮影状況の例を示す図である。 第一の実施形態に係る撮像処理フローの例を示す図である。 斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じる例を示す図である。 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルの例を示す図である（入射角ゼロ、＋θ、－θ）。 表面格子と裏面格子の軸をずらして配置する例を示す図である。 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルの例を示す図である（入射角ゼロ、＋θ、－θ）。 格子パターンの例を示す図である。 格子パターンの別の例を示す図である。 格子パターンのさらに別の例を示す図である。 物体を構成する各点からの光がセンサに対してなす角を説明する図である。 物体が無限距離にある場合に表側格子パターンが投影される例を示す図である。 物体が無限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に表側格子パターンが拡大される例を示す図である。 物体が有限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図である。 裏側格子パターンを画像処理で代替する変形例を示す図である。 裏側格子パターンを画像処理で代替する変調器を示す図である。 裏側格子パターンを画像処理で代替する処理フローを示す図である。 時分割フリンジスキャンの変形例を示す図である。 時分割フリンジスキャンにおける格子パターンの例を示す図である（ΦＦ, Φ＝０、ΦＦ, Φ＝π／２、ΦＦ, Φ＝π、ΦＦ, Φ＝３π／２）。 時分割フリンジスキャンにおける変調器の例を示す図である（ΦＦ, Φ＝０、ΦＦ, Φ＝π／２、ΦＦ, Φ＝π、ΦＦ, Φ＝３π／２）。 時分割フリンジスキャンの処理フローの例を示す図である。 空間分割フリンジスキャンの変形例を示す図である。 空間分割フリンジスキャンにおける格子パターンの例を示す図である。 物体が近距離にある場合の格子パターンと視野の関係を示す図である。 複眼の格子パターンによる広視野化の構成例を示す図である。 複眼の格子パターンの例を示す図である。 複眼の格子パターンにおけるクロストーク発生の原理を示す図である。 クロストークを低減する構成の例を示す図である。 複眼の格子パターンにおける処理フローを示す図である。 遮光板によるクロストーク低減の原理を説明する図である。 遮光板によるクロストーク低減の変調器の構成例を示す図である。 偏光板によるクロストーク低減の原理を説明する図である。 偏光板によるクロストーク低減の変調器の構成例を示す図である。 時分割フリンジスキャンによるクロストークキャンセルの構成例を示す図である。 クロストークキャンセルを実現する表面側と裏面側の格子パターンの組合せを示す図である（ΦＦ＝０,π／２、ΦＦ＝π／２,π、ΦＦ＝π,３π／２、ΦＦ＝３π／２,０）。 時分割フリンジスキャンにおけるクロストークキャンセルの格子パターンの例を示す図である（ΦＦ＝０,π／２、ΦＦ＝π／２,π、ΦＦ＝π,３π／２、ΦＦ＝３π／２、０）。 空間分割フリンジスキャンにおけるクロストークキャンセルを実現する格子パターンの例を示す図である。 クロストークキャンセルと偏光板の併用によるクロストーク低減を実現する構成の例を示す図である。 クロストークキャンセルと偏光板の併用によるクロストーク低減を実現する偏光板の例を示す図である。 複眼の格子パターンを用いて近距離にある物体を撮像するときの視野の例を示す図である。 複眼の格子パターンを用いた指静脈撮像の利用状況の例を示す図である。
　以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
　また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
　さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
　同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
　また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の実施例について図面を用いて説明する。
　一般に、車載カメラ、ウェアラブルデバイス、スマートフォンなどの情報機器に搭載するデジタルカメラには薄型化と低コスト化が求められることが多い。例えば、レンズを用いることなく物体像を得ることで薄型化と低コスト化を実現する撮像方式が提案されている。そのような技術では、画像センサの前に特殊な格子パターンを貼り付け、その画像センサにて受光される射影パターンから像を現像するための逆問題を解くことにより、物体の像を得る撮像方式がある。この方式では、信号処理により逆問題を解く際の演算が複雑になり、処理負荷が高いために、情報機器のハードウェア要求仕様が高くなってしまう。本発明は、処理負荷を低く抑えつつ、薄型化を可能とすることをねらいとしている。
　〈無限遠物体の撮影原理〉図１は、本発明の第一の実施形態に係る撮像装置１０１の構成を示す図である。撮像装置１０１は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図１に示すように、変調器１０２、画像センサ１０３、および画像処理部１０６から構成されている。また、撮像装置１０１は、画像を表示するディスプレイ装置等を有する画像表示部１０７と接続され、画像処理部１０６により画像表示部１０７の表示情報は制御される。
　図２に変調器１０２の一例を示す。変調器１０２は、画像センサ１０３の受光面に密着して固定されており、格子基板１０２ａに第１の格子パターン１０４、第２の格子パターン１０５がそれぞれ形成された構成からなる。格子基板１０２ａは、例えばガラスやプラスティックなどの透明な材料からなる。以降、格子基板１０２ａの画像センサ１０３側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。この格子パターン１０４、１０５は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。格子パターン１０４，１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。金属が蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。なお、格子パターン１０４，１０５の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。さらに、ここでは可視光を例に説明したが、例えば遠赤外線の撮影を行う際には、格子基板１０２ａは例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料、格子パターン１０４，１０５には金属等の遮断する材料を用いればよい。
　なお、ここでは変調器１０２を実現するために、格子パターン１０４，１０５を格子基板１０２ａに形成する方法について述べたが、図３に示すように格子パターン１０４，１０５を薄膜に形成し、支持部材１０２ｂにより保持する構成などによっても実現できる。
　格子パターン１０４，１０５を透過する光は、その格子パターンによって光の強度が変調され、透過した光は画像センサ１０３にて受光される。画像センサ１０３は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなる。
　画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置されている。この画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号は、画像処理部である画像処理部１０６によって画像処理されて画像表示部１０７などに出力される。
　図４は、図１の撮像装置１０１による撮影の一例を示す説明図である。この図４では、撮像装置１０１によって被写体４０１を撮影して画像表示部１０７に表示している例を示している。図示するように、被写体４０１を撮影する際には、被写体４０１に対して変調器１０２における表面、具体的には第１の格子パターン１０４が形成されている格子基板１０２ａの面が正対するようにして撮影が行われる。
　続いて、画像処理部１０６による画像処理の概略について説明する。図５は、図１の撮像装置１０１が有する画像処理部１０６による画像処理の概略を示すフローチャートである。
　まず、画像センサ１０３から出力されるモアレ縞画像に対して、カラーのＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）成分ごとに高速フーリエ変換（ＦＦＴ：Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）などの２次元フーリエ変換演算による現像処理で周波数スペクトルを求める（５０１）。続いて、ステップ５０１の処理による周波数スペクトルのうち必要な周波数領域のデータを切り出した後（５０２）、該周波数スペクトルの強度計算を行う（５０３）ことによって画像を取得する。そして、得られた画像に対してノイズ除去処理を行い（５０４）、続いてコントラスト強調処理（５０５）などを行う。その後、画像のカラーバランスを調整して（５０６）撮影画像として出力する。以上により、画像処理部１０６による画像処理が終了となる。
　続いて、撮像装置１０１における撮影原理について説明する。まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン１０４，１０５は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をΦ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて、
＜式１＞
Figure JPOXMLDOC01-appb-I000001
　　　　　　　　　　　　・・・式１
と表せる。
　球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、
＜式２＞
Figure JPOXMLDOC01-appb-I000002
・・・式２
のような干渉縞の強度分布が得られる。これは、
＜式３＞
Figure JPOXMLDOC01-appb-I000003
　　　　　　　　　　　　　　　　　　　　　　　　　・・・式３
を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをｐとすると、
＜式４＞
Figure JPOXMLDOC01-appb-I000004
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・式４
が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。式２で定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した格子パターン１０４，１０５として用いる。
　このような格子パターンが両面に形成された厚さｔの変調器１０２に、図６に示すように角度θ０で平行光が入射したとする。変調器１０２中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、
＜式５＞
Figure JPOXMLDOC01-appb-I000005
・・・式５
ような強度分布が得られる。
　この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであるが、全面で一様に等間隔なモアレ縞が得られるのであればどのような格子パターンを使用してもよい。
　ここで、式５から鋭いピークを持つ成分のみを
＜式６＞
Figure JPOXMLDOC01-appb-I000006
　　　　　　　　　　　　　　　　　　　　　・・・式６
のように取り出すと、そのフーリエスペクトルは、
＜式７＞
Figure JPOXMLDOC01-appb-I000007
・・・式７
のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕ、ｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。
　その様子を図７に示す。図７において、左から右にかけては、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図７（ａ）は、垂直入射、図７（ｂ）は、左側から角度θで光線が入射する場合、図７（ｃ）は、右側から角度θで光線が入射する場合をそれぞれ示している。
　変調器１０２の表面側に形成された第１の格子パターン１０４と裏面側に形成された第２の格子パターン１０５とは、軸がそろっている。図７（ａ）では、第１の格子パターン１０４と第２の格子パターン１０５との影が一致するのでモアレ縞は生じない。
　図７（ｂ）および図７（ｃ）では、第１の格子パターン１０４と第２の格子パターン１０５とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図７（ｂ）の場合なのか、あるいは図７（ｃ）の場合なのかを判別することができなくなる。
　これを避けるためには、例えば図８に示すように、変調器１０２に垂直に入射する光線に対しても２つの格子パターンの影がずれて重なるようあらかじめ２つの格子パターン１０４，１０５を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ０とするとき、入射角θの平面波によって生じるずれδは、
＜式８＞
Figure JPOXMLDOC01-appb-I000008
　　　　　　　　　　　　　・・・式８
のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では
＜式９＞
Figure JPOXMLDOC01-appb-I000009
　　　　　　　　　　　　　　　　　　　　　・・・式９
の位置となる。画像センサの大きさをＳ、画像センサのｘ方向およびｙ方向の画素数を共にＮとすると、２次元フーリエ変換による離散画像の空間周波数スペクトルは、－Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、
＜式１０＞
Figure JPOXMLDOC01-appb-I000010
　　　　　　　　　　　　　　・・・式１０
の空間周波数位置とするのが妥当である。したがって、２つの格子の相対的な中心位置ずれは、
＜式１１＞
Figure JPOXMLDOC01-appb-I000011
　　　　　　　　・・・式１１
とするのが妥当である。
　図９は、第１の格子パターン１０４と第２の格子パターン１０５とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図７と同様にして、左側は光線と変調器１０２の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図９（ａ）は、光線が垂直入射の場合であり、図９（ｂ）は、光線が左側から角度θで入射する場合であり、図９（ｃ）は、光線が右側から角度θで入射する場合である。
　第１の格子パターン１０４と第２の格子パターン１０５とは、あらかじめδ０だけずらして配置されている。そのため、図９（ａ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図９（ｂ）では、ずれδがさらに大きくなる方向、図９（ｃ）では、小さくなる方向となっているため、図７と異なり、図９（ｂ）と図９（ｃ）との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図１の撮像装置１０１による撮影像にほかならない。
　受光できる平行光の入射角の最大角度をθｍａｘとすると、
＜式１２＞
Figure JPOXMLDOC01-appb-I000012
　　　　　　　　　　　　　　　　　　　　　　　　　・・・式１２
より、撮像装置１０１にて受光できる最大画角は、
＜式１３＞
Figure JPOXMLDOC01-appb-I000013
　　　　　　　　　　　　　　　・・・式１３
で与えられる。
　一般的なレンズを用いた結像との類推から、画角θｍａｘの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０１の実効的な焦点距離は、
＜式１４＞
Figure JPOXMLDOC01-appb-I000014
　　　　　　　　　　　　　　　　　　・・・式１４
に相当すると考えることができる。
　ここで、式１３より画角は変調器１０２の厚さｔ、格子パターン１０４，１０５の係数βによって変更可能であることが判る。よって、例えば変調器１０２が図３の構成であり支持部材１０２ｂの長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。
　なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）などを使用しても実現可能であり、さらに演算量を削減することも可能である。
　また、格子パターン１０４，１０５の透過率分布は、式２で示したように正弦波的な特性があることを想定して説明したが、格子パターンの基本周波数成分としてそのような成分があればよく、例えば図１０に示すように格子パターンの透過率を２値化することも可能であり、さらに図１１のように透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。
　また、格子パターン１０４，１０５は透過率変調でなく、位相変調で実現してもよい。例えば図１２に示すように格子基板１０２ａをシリンドリカルレンズ１２０１とすることにより、画像センサ１０３上に図に示すような強度変調パターンを生じさせることができるため、今までの議論と同様に撮像が可能となる。これにより格子パターン１０４の遮蔽部による光量損失を低減でき、光利用効率を向上させることができる上、格子パターンからの回折を抑圧する効果も得られる。図１２ではレンズとして実現したが、同等の効果を持つ位相変調素子で実現することも可能である。
　以上の説明では、いずれも入射光線は同時には１つの入射角度だけであったが、実際に撮像装置１０１がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である第２の格子パターン１０５とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は、第１の格子パターン１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側の第２の格子パターン１０５との重なりだけになる。その理由について以下に説明する。
　まず、複数の入射角の光線による表面側の第１の格子パターン１０４の影どうしの重なりは、積ではなく和であることが大きな違いである。１つの入射角の光による第１の格子パターン１０４の影と第２の格子パターン１０５との重なりでは、第１の格子パターン１０４の影である光の強度分布に、第２の格子パターン１０５の透過率を乗算することで、裏面側の第２の格子パターン１０５を透過したあとの光強度分布が得られる。
　これに対して、表面側の第１の格子パターン１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、
＜式１５＞
Figure JPOXMLDOC01-appb-I000015
・・・式１５
のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の第１の格子パターン１０４と裏面側の第２の格子パターン１０５との積のモアレだけであり、第２の格子パターン１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなるのである。
　ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図１３を用いて模式的に説明する。図１３は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。被写体４０１を構成する各点からの光は、厳密には点光源からの球面波として、図１の撮像装置１０１の変調器１０２および画像センサ１０３（以下、図１３では格子センサ一体基板１３０１という）に入射する。このとき、被写体４０１に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。
　式９から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、画像センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、
＜式１６＞
Figure JPOXMLDOC01-appb-I000016
　　　　　　　　　　　　　　　　　　　　・・・式１６
のように表せる。この条件下であれば、無限遠の物体に対して本発明の撮像装置で撮像が可能である。
　〈有限距離物体の撮影原理〉ここで、これまで述べた無限遠の場合における表面側の第１の格子パターン１０４の裏面への射影の様子を図１４に示す。無限遠の物体を構成する点１４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側の第１の格子パターン１０４を照射し、その投影像１４０２が下の面に投影される場合、投影像は第１の格子パターン１０４とほぼ同じ形状である。結果、投影像１４０２に対して、裏面側の格子パターン（図２の第２の格子パターン１０５に相当）の透過率分布を乗じることにより、等間隔な直線状のモアレ縞を得ることができる（図１５）。
　一方、有限距離の物体に対する撮像について説明する。図１６は、撮像する物体が有限距離にある場合に表面側の第１の格子パターン１０４の裏面への射影が第１の格子パターン１０４より拡大されることを示す説明図である。図１６に示すように、物体を構成する点１６０１からの球面波が表面側の第１の格子パターン１０４を照射し、その投影像１６０２が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、第１の格子パターン１０４から点１６０１までの距離ｆを用いて、
＜式１７＞
Figure JPOXMLDOC01-appb-I000017
　　　　　　　　　・・・式１７
のように算出できる。
　そのため、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる（図１７）。しかし、一様に拡大された表面側の第１の格子パターン１０４の影に合わせて、第２の格子パターン１０５を拡大するならば、拡大された投影像１６０２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる（図１８）。このためには、第２の格子パターン１０５の係数βをβ／α２とすることで補正が可能である。
　これにより、必ずしも無限遠でない距離の点１６０１からの光を選択的に現像することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。
　〈簡略化構成〉次に、変調器１０２の構成を簡略化する方法について説明する。変調器１０２では、格子基板１０２ａの表面および裏面にそれぞれ同一形状の第１の格子パターン１０４および第２の格子パターン１０５を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を現像していた。この裏面側の第２の格子パターン１０５は、画像センサ１０３に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、図１９に示すように、第２の格子パターン１０５を除去した変調器１９０１を使用し、第２の格子パターン１０５に相当する処理を画像処理部１９０２内の強度変調部１９０３で実行してもよい。
　この時の変調器１９０１の構成の詳細を図２０に示す。この構成によって、格子基板１０２ａに形成する格子パターンを１面減らすことができる。それにより、変調器の製造コストを低減することができ、さらに光利用効率を向上させることもできる。
　図２１は、図１９の画像処理部１９０２による画像処理の概略を示すフローチャートである。この図２１におけるフローチャートが図５のフローチャートと異なるところは、ステップ２１０１の処理である。ステップ２１０１の処理では、前述した強度変調部１９０３により、画像センサ１０３から出力される画像に対して、裏面側の格子パターン１０５を透過したことに相当するモアレ縞画像を生成する。具体的には、式５に相当する演算が行われればよいので、強度変調部１９０３において裏面側の格子パターン１０５を生成し、画像センサ１０３の画像に対して乗算すればよい。さらに、裏面側の格子パターン１０５が図１０、１１に示すような２値化したパターンであれば、黒に相当する領域の画像センサ１０３の値を０にするだけでも実現可能である。これにより、乗算回路の規模を抑圧することが可能である。以降、図２１のステップ５０１～５０６の処理は、図５の処理と同様であるので、ここでは説明を省略する。
　なお、この場合、画像センサ１０３が有する画素１０３ａのピッチは、第１の格子パターン１０４のピッチを十分再現できる程度に細かいか、あるいは第１の格子パターン１０４のピッチが画素１０３ａのピッチにて再現できる程度に粗い必要がある。格子パターンを格子基板１０２ａの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ１０３の画素１０３ａにて解像できる必要はなく、そのモアレ像だけが解像できればよい。しかし、画像処理により格子パターンを再現する場合は、格子パターンと画像センサ１０３の解像度は同等である必要がある。
　また、以上は強度変調部１９０３により第２の格子パターン１０５に相当する処理を実現したが、第２の格子パターン１０５はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に第２の格子パターン１０５の透過率を加味して設定することによっても実現できる。
〈ノイズキャンセル〉これまでの説明では、式５から鋭いピークを持つ成分のみを取り出した式６に着目して話を進めたが、実際には式５の第４項以外の項がノイズとなる。そこで、フリンジスキャンに基づくノイズキャンセルが効果的である。
　まず、式２の干渉縞強度分布において、第１の格子パターン１０４の初期位相をΦＦ、第２の格子パターン１０５の初期位相をΦＢとすると、式５は
＜式１８＞
Figure JPOXMLDOC01-appb-I000018
・・・式１８
のように表せる。ここで、三角関数の直交性を利用し、
＜式１９＞
Figure JPOXMLDOC01-appb-I000019
　・・・式１９
のように式１８をΦＦ、ΦＢに関して積分すると、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。
　ここで式１９は積分の形で示しているが、実際にはΦＦ、ΦＢの組合せの総和を計算することによっても同様の効果が得られる。ΦＦ、ΦＢは０～２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分、｛０、π／３、２π／３｝のように３等分してもよい。
　さらに、式１９は簡略化できる。式１９では、ΦＦ、ΦＢを独立して変えられるように計算したが、ΦＦ＝ΦＢすなわち格子パターン１０４と１０５の初期位相に同じ位相を適用してもノイズ項をキャンセルできる。式１９においてΦＦ＝ΦＢ＝Φとすれば、
＜式２０＞
Figure JPOXMLDOC01-appb-I000020
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・式２０
となり、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。また、Φは０～２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分すればよい。
　また、等分せずとも、｛０、π／２｝の直交した位相を使用してもノイズ項をキャンセルでき、さらに簡略化できる。まず、図１９の構成のように第２の格子パターン１０５を画像処理部１９０２で実施すれば、格子パターン１０５に負値を扱えるため、式１８は
＜式２１＞
Figure JPOXMLDOC01-appb-I000021
・・・式２１
となる（ΦＦ＝ΦＢ＝Φ）。格子パターン１０５は既知であるため、この式２１から格子パターン１０５を減算し、Φ＝｛０、π／２｝の場合について加算すれば、
＜式２２＞
Figure JPOXMLDOC01-appb-I000022
・・・式２２
のようにノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。
　また、前述のように第１の格子パターン１０４と第２の格子パターン１０５とは、あらかじめδ０ずらすことで空間周波数空間に生じる２つの現像画像を分離していた。しかし、この方法では現像画像の画素数が半分になる問題点がある。そこで、δ０ずらさなくとも現像画像の重複を回避する方法について説明する。式１９のフリンジスキャンにおいて、ｃｏｓの代わりに
＜式２３＞
Figure JPOXMLDOC01-appb-I000023
・・・式２３
のようにｅｘｐを用い複素平面上で演算する。これによりノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。式２３中のｅｘｐ（２ｉβδｘ）をフーリエ変換すれば、
＜式２４＞
Figure JPOXMLDOC01-appb-I000024
　　　　　　　　　　　　　　　　　　　　・・・式２４
となり、式７のように２つのピークを生じず、単一の現像画像を得られることが判る。このように、格子パターン１０４、１０５をずらす必要もなくなり、画素数を有効に使用可能となる。
　以上のフリンジスキャンに基づくノイズキャンセル方法を行うための構成について図２２～２７を用いて説明する。フリンジスキャンでは、少なくとも格子パターン１０４として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。
　図２２に時分割フリンジスキャンを実現する構成を示す。変調器２２０１は、例えば電気的に図２３に示す複数の初期位相を切り替えて表示することが可能な液晶表示素子などである。図２３（ａ）～（ｄ）のパターンは、初期位相ΦＦもしくはΦがそれぞれ｛０、π／２、π、３π／２｝とする。これを実現する変調器２２０１の液晶表示素子における電極配置の例を図２４に示す。格子パターンの１周期を４分割するように同心円状電極が構成されており、内側から４本おきに電極が結線され、外周部から駆動端子として４本の電極が引き出されている。これら４つの電極に印加する電圧状態を“０”と“１”の２つの状態で時間的に切り替えることで、格子パターンの初期位相ΦＦもしくはΦを図２４（ａ）～（ｄ）のように｛０、π／２、π、３π／２｝と切り替えることが可能となる。なお、図２４において、網掛けで示した“１”を印加した電極が光を遮蔽し、白で示した“０”を印加した電極が光を透過させることに対応している。
　次に、図２５に画像処理部２２０３における画像処理の概略を示すフローチャートを示す。この図２５におけるフローチャートが図２１のフローチャートと異なるところは、ステップ２５０１～２５０４の処理である。まず、フリンジスキャン演算の初めに加算結果をリセットする（２５０１）。次に、式２０に対応する場合には、撮影に使用した格子パターン１０４と同じ初期位相に設定し（２５０２）、その初期位相を持つ格子パターン１０５を生成、画像センサ１０３の画像に対して乗算する（２１０１）。この結果を各初期位相のパターン毎に加算する（２５０３）。以上のステップ２５０２～２５０３の処理を全ての初期位相のパターン数繰り返す（２５０４）。以降の処理は、図２１の処理と同様であるので、ここでは説明を省略する。なお、上記フローは式２０を例に説明したが、式１９、２２、２３にも同様に適用することが可能である。
　対して、図２６に空間分割フリンジスキャンを実現する構成を示す。変調器２６０１は、例えば図２７の初期位相ΦＦもしくはΦがそれぞれ｛０、π／２、π、３π／２｝のパターンように、複数の初期位相のパターンを２次元的に並べた構成である。画像分割部２６０２は、画像センサ１０３出力を変調器２６０１のパターン配置に応じた領域に分割し、画像処理部に順次伝送する。図２６の例では、画像センサ出力を縦２×横２の４領域に分割するということである。式２０に基づくフリンジスキャンでは４位相必要であるため変調器２６０１は縦２×横２であったが、式２２に基づくフリンジスキャンでは２位相で実現できるため変調器２６０１は縦１×横２のパターン配置でも実現可能であり、それに応じて画像センサ出力も縦１×横２の領域に分割する。以降の画像処理部２２０３の処理は時分割フリンジスキャンである図２２の処理と同等であるため説明を省略する。
　この空間分割フリンジスキャンを用いれば、時分割フリンジスキャンの変調器２２０１のように電気的に切り替える必要がなく、安価に変調器を作製することができる。しかし、空間分割フリンジスキャンを用いると画像を分割するため解像度が実効的に低下する。よって、解像度を上げる必要がある場合には時分割フリンジスキャンが適している。
　〈近接撮像における問題〉次に、近距離の物体に対する撮像時の問題点について説明する。ある光源からの光が物体に照射され、その散乱光を近距離から撮像する場合、その物体からの散乱角が問題となる。図２８は、撮像する物体が近距離にある場合に物体のある点からの光の拡がり角（散乱角）θｓを示す説明図である。図２８に示すように、物体を構成する点２８０１からの散乱光が第１の格子パターン１０４を照射する場合、第１の格子パターン１０４における照射領域の直径Ｂは、散乱角θｓを用いて、
＜式２５＞
Figure JPOXMLDOC01-appb-I000025
　　　　　　　　　　　・・・式２５
となる。ｆは点２８０１から第１の格子パターン１０４までの距離である。このように、近接撮影時には第１の格子パターン１０４のうち照射領域しか使用することができない。なお、現実には散乱光強度は散乱角が大きくなるに従い徐々に減衰するものであるが、図２８では簡単化のため、照射領域のみ散乱光が到達しているとしている。
　第１の格子パターン１０４は中心から端へ向かうほど縞のピッチが狭くなる同心円状の格子パターンからなるため、例えば点２８０３のように、第１の格子パターン１０４の中心から離れるほど、照射領域における縞のピッチは狭くなる。ピッチの狭い縞の投影像は回折等の影響により画像センサ１０３上でのコントラストが低下することからノイズに埋もれやすく、現像が困難となる。以上から、点２８０１、２８０２のように第１の格子パターン１０４の中心付近にある点の撮像は可能だが、点２８０３のように中心から離れるに従って撮像が困難となり、撮像可能な範囲（視野）が制限されることになる。
　実験的に、散乱光が第１の格子パターン１０４の中心を通る場合に撮像できることが判っている。そのため、式１３で与えられる最大画角θｍａｘを用いて、θｓ≦θｍａｘとなる場合には、視野角は散乱角θｓとなり、視野の直径Ａｓは
＜式２６＞
Figure JPOXMLDOC01-appb-I000026
　　　　　　　　　　　　・・・式２６
となる。
　この視野を拡大するためには、第１の格子パターン１０４を形成する同心円状の格子パターンの係数βを小さくすることで縞のピッチを広くするという方法があるが、ピッチを広くすると解像度が劣化してしまう。
　〈近接撮像における視野拡大方法〉そこで、近距離の物体に対する撮像において解像度を保ちながら視野を拡大する方法について説明する。
　図２９は、複眼の格子パターンによる広視野化の構成例を示す図である。図２９は、近接撮像における視野を拡大可能な構成を示す。図２９が図１９と異なるところは、基本パターン２９０３を複数配列した第１の複眼格子パターン２９０２を第１の格子パターン１０４として用いる点と、画像分割部２９０４と画像処理部２９０５を有する点である。図３０に第１の複眼格子パターン２９０２の例を示す。同心円状の格子パターンからなる基本パターン２９０３を縦３つ×横３つ重なることなく撮像素子と平行する平面上に配列することで第１の複眼格子パターン２９０２を実現できる。このように基本パターンを複数配置する構成とすることで、単一の格子パターンの視野Ａｓを複数配置することができるようになる。このように構成することで、格子パターンの係数βを変更することなく、照射領域の周辺部分の縞のピッチが狭くなりすぎることにより回折等の解像度低下の影響が強くなり視野を制限するという問題を抑圧可能となる。
　なお、図２９では、第１の複眼格子パターン２９０２を、縦３つ×横３つに配列した基本パターンからなるパターンとしているが、これに限定するものではなく、撮影対象のサイズ、撮影対象までの距離などに合わせて適宜変更してもよい。
　また、図３１に、複眼格子パターンによる視野を示す。複眼格子パターンによる視野Ａｍは、隣接する基本パターンの同心円の中心間距離をｑｍ、基本パターンの配置数をｎとして、
＜式２７＞
Figure JPOXMLDOC01-appb-I000027
　　　　　　　　　　　　　　　　　　・・・式２７
となる。
　また、それぞれの基本パターン２９０３を構成する同心円状の格子パターンの初期位相Φは任意のもので良い。また、図２９の構成では単一の画像センサ１０３を用いているが、画像センサ１０３を複数並べて用いても良い。
　〈クロストーク発生原理〉複眼格子パターンを用いることで、隣接する基本パターンから発生するクロストークが問題になりうる。図３１を用いて、第１の複眼格子パターン２９０２を用いた撮像におけるクロストークについて説明する。基本パターン３１０１の視野角をθｓとすると、画像センサ１０３上では、
＜式２８＞
Figure JPOXMLDOC01-appb-I000028
　　　　　　　　　　　　・・・式２８
の直径をもつ範囲に散乱光が入射する。この範囲の情報が基本パターン３１０１の視野角θｓの範囲の撮像に寄与する。
　しかし、例えば点３１０３からの光線は隣接する基本パターン３１０２を通過してＣの範囲に入射する。基本パターン３１０１の現像において、隣接する基本パターン３１０２の情報はノイズとなる。このように、異なる基本パターンを通過して入射する光線によりクロストークが発生する。
　（実施例１：変調器の形状）これに対して、図３２のように、Ｃ≦ｑｍとなる場合には、クロストークは発生しない。つまりｔ≦ｑｍ／（２・ｔａｎθｓ）を満たすｔ（変調器１０２の厚さ）とｑｍ（隣接する基本パターンの同心円の中心間距離）となるよう変調器１０２を構成することで、クロストークを防ぐことが可能である。
　続いて、複眼格子パターン適用時の画像処理について説明する。図３３（ａ）および図３３（ｂ）は画像処理部２９０５による画像処理の概略を示すフローチャートである。図３３（ａ）におけるフローチャートが図２１と異なるところは、ステップ３３０１とステップ３３０２の処理である。
　まず、画像分割部２９０４において、画像センサ１０３にて取得するセンサ画像を基本パターン２９０３の配列に従って分割する（３３０１）。以降、ステップ５０４まで図２１の処理と同様の処理を行い、ステップ３３０２にて、ステップ３３０１での分割に従ってステップ５０４の出力画像を並び替えて合成する。以降の処理は図２１の処理と同様である。なお、ステップ２１０１の処理において用いる裏面側の格子パターンは単一の基本パターン２９０３からなる単眼の第１の格子パターン、もしくは複眼の第１の複眼格子パターン２９０２と同様の複眼のパターンのどちらとしても良い。
　図３３（ｂ）におけるフローチャートが図３３（ａ）と異なるところは、出力画像の分割のタイミングである。図３３（ｂ）では、図３３（ａ）のステップ３３０１を行わず、ステップ５０４の処理後の出力画像を基本パターン２９０３の配列に従って分割し（３３０３）、並び替えて合成する（３３０２）。
　なお、図２９は図１９を基に説明したが、同様に図２２など他の構成にも適用することで、フリンジスキャンによるノイズキャンセルを行うことも可能である。
　以上の構成によれば、近接撮像においても解像度を保ったまま視野を広げることが可能となる。
　〈実施例２：遮光板によるクロストーク低減〉本実施例では、第１の複眼格子パターン２９０２における隣接する基本パターンから発生するクロストークを遮光板により低減する方法について説明する。
　上述のとおり、実施例１では、ｔ（変調器１０２の厚さ）とｑｍ（隣接する基本パターンの同心円の中心間距離）を適切に設定することでクロストークを低減したが、これでは変調器の設計自由度が制限される場合もある。クロストークは遮光板を挿入することでも低減可能である。図３４に、遮光板によるクロストーク低減の原理について示す。基本パターン３１０１による撮像に対してノイズとなる点３１０３からの光線は、遮光板３４０１を挿入することで除去することが出来る。
　図３５は、遮光板によるクロストーク低減を実現する構成の説明図である。図３５では、変調器３５０１に遮光板３５０２を挿入している。遮光板は、撮影対象とする波長が透過しない材質とする必要があり、可視光では黒色のプラスティック板や金属板、遠赤外光ではアクリル板や金属板などを用いればよい。また、遮光板３５０２は図３４のように、基本パターン２９０３を単位とする領域Ｕ毎に区切るように配置する。このとき、視野角は式１３においてＳ＝Ｕとしたときのθｍａｘとなり、視野角をθｕとすると視野Ａｕは、
＜式２９＞
Figure JPOXMLDOC01-appb-I000029
　　　　　　　　　　　　　　　　　　・・・式２９
となる。
　以上の構成によれば、設計自由度を制限することなく、第１の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを低減することが可能となる。
〈実施例３：偏光板によるクロストーク低減〉本実施例では、第１の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを偏光板により低減する方法について説明する。
　図３６に、偏光板によるクロストーク低減の原理について示す。変調器２９０１を偏光板３６０１乃至３６０４で挟む構成とする。また、偏光板３６０１と偏光板３６０２のように隣接する偏光板の偏光軸を直交させ、偏光板３６０１と偏光板３６０３のように対向する偏光板の偏光軸を揃えるように配置する。これにより、基本パターン３１０１による撮像対象である点３６０５からの光線は、偏光板３６０１ならびに偏光板３６０３を経由し、２つの偏光板の偏光軸は互いに並行であるため画像センサ１０３に光が到達する。それに対し、ノイズとなる点３１０３からの光線は、偏光板３６０２ならびに偏光板３６０３を経由するが、２つの偏光板の偏光軸は互いに直交しているため画像センサ１０３に光が到達しない。よって、クロストークを除去することができる。このとき、視野角はθｕとなり、視野Ａｕは式２９で与えられる。
　図３７は、偏光板によるクロストーク低減を実現する構成の説明図である。図３７（ａ）に示すように、変調器２９０１を第１の偏光板３７０１および第２の偏光板３７０２で挟む構成とする。第１の偏光板３７０１は第１の複眼格子パターン２９０２に近接して配置し、第２の格子パターンは画像センサ１０３に近接して配置する。なお、図３７（ａ）では変調器２９０１の表面側に第１の偏光板３７０１を配置しているが、第１の複眼格子パターン２９０２の裏面側に配置しても良い。
　図３７（ｂ）に偏光板３７０１、３７０２の例を示す。偏光板３７０１は複数の偏光板からなり、偏光板３６０１と偏光板３６０２のように隣接する偏光板の偏光軸を直交するように配置する。また、偏光板３６０１の大きさは第１の複眼格子パターン２９０２の基本パターン２９０３と同じサイズとし、基本パターン２９０３の配置に合わせて配置する。
　以上の構成によれば、第１の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを低減することが可能となる。
　なお、図３７では、第１の複眼格子パターン２９０２を、縦３つ×横３つの基本パターンの配置からなるパターンとしているが、これに限定するものではなく、撮影対象のサイズ、撮影対象までの距離などに合わせて適宜変更してもよい。
　また、液晶表示素子を用いて第１の複眼格子パターンを実現する場合には、液晶表示素子の偏光板を、上記第１の偏光板３６０１を構成する偏光板３６０３とすることもできる。
　また、偏光板３６０１と偏光板３６０３のように対向する偏光板の偏光軸を揃えるように配置するものとしたが、これに限定するものではなく、変調器２９０１の素材によっては偏光面が旋回することもあるため、対向する偏光板を透過する光量が最も大きくなるように、またはクロストーク光量が最も小さくなるように、偏光軸の傾きを設定するものであってもよい。
　〈実施例４：クロストークキャンセル〉本実施例では、第１の複眼格子パターンにおける隣接する基本パターンから発生するクロストークをフリンジスキャンに基づいてキャンセルする方法について説明する。
　フリンジスキャンによるクロストークキャンセルでは、少なくとも第１の複眼格子パターンとして、基本パターンの初期位相が異なる複数のパターンを使用する必要がある。これを実現するには時分割フリンジスキャンを用いる方法と、空間分割フリンジスキャンスキャンを用いる方法がある。
　まず、時分割フリンジスキャンを用いたクロストークキャンセルについて説明する。図３８に、時分割フリンジスキャンを用いてクロストークキャンセルを実現するための構成を示す。図３８が図２２と異なるところは、第１の格子パターンとして、第１の複眼格子パターン３８０２を用いる点と、画像分割部３８０６および画像処理部３８０５を有する点である。第１の複眼格子パターン３８０２は、上下左右に隣接する基本パターン３８０３、３８０４の初期位相Φが互いにπ／２ずれるように配置する。
　ここで、初期位相差をπ／２とすることによるクロストークキャンセルの原理について説明する。図３９に、図３８における基本パターン３８０３、３８０４の組合せを示す。図４０では、基本パターン３８０３、３８０４をそれぞれ基本パターン３９０１、３９０２としている。基本パターン３９０１、３９０２は、それぞれの初期位相ΦＦ１とΦＦ２の位相差がπ／２となるように、ΦＦ１とΦＦ２を｛０、π／２｝、｛π／２、π｝、｛π、３π／２｝、｛３π／２、２π｝などの組合せとする。また、裏面側の複眼格子パターンを構成する基本パターン３９０３、３９０４の初期位相ΦＢ１とΦＢ２も同様に、初期位相ΦＢ１とΦＢ２の位相差がπ／２となるように、｛０、π／２｝、｛π／２、π｝、｛π、３π／２｝、｛３π／２、２π｝などの組合せとする。本組合せにおいて、式１９によるフリンジスキャン演算を行えばクロストークをキャンセルできる。
　例えば、基本パターン３９０１の投影像は基本パターン３９０３により現像処理するが、このパターンの初期位相差（ΦＦ１－ΦＦ３）は０となり、式１９におけるｃｏｓの項は１となる。対して、クロストークとなる基本パターン３９０２の像を基本パターン３９０３により現像処理する場合、初期位相差（ΦＦ１－ΦＦ３）はπ／２となり、式１９におけるｃｏｓの項は０となることからキャンセルされる。よって、表面側の複眼格子パターンと裏面側の複眼格子パターンの初期位相の組合せにより、クロストークキャンセルが可能となる。
　図４０に、第１の複眼格子パターン３８０２の例を示す。図４０（ａ）～（ｂ）のように基本パターン３８０３、３８０４の初期位相が異なる第１の複眼格子パターン３８０２を切り替えて使用する。切り替え方法については、実施例１にて説明した時分割フリンジスキャンの方法と同様であるため説明を省略する。
　次に、空間分割フリンジスキャンを用いたクロストークキャンセルについて説明する。図４１に、第１の複眼格子パターンの例を示す。第１の複眼格子パターン４１０１は空間分割フリンジスキャンを実現するため、基本パターン４１０２は４つの初期位相からなる分割パターン４１０３、４１０４からなる。さらに、クロストークキャンセルを実現するため、分割パターン４１０３と隣接する分割パターン４１０４のように、上下左右に隣接する分割パターンの初期位相がπ／２ずれるように配置する。本組合せにおいて、式１９によるフリンジスキャン演算を行えば、前述の説明の通りクロストークをキャンセルすることが可能となる。
　以上の構成によれば、第１の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを低減することが可能となる。
　なお、実施例１乃至実施例３では、第１の複眼格子パターンを構成する基本パターンを、隣接するもの同士が重ならないように配置していたが、本実施例では隣接する基本パターンが重なり合っていても良い。
　〈実施例５：クロストークキャンセルと偏光板の併用〉本実施例では、実施例４のクロストークキャンセルと、実施例３の偏光板によるクロストーク低減方法を併用し、第１の複眼格子パターンにおける隣接パターンから発生するクロストークを低減する方法について説明する。
　実施例４に係るクロストークキャンセル方法では、上下左右に隣接する基本パターンの初期位相Φが互いにπ／２ずれるように配置することで、クロストークの影響をキャンセルした。しかし、この方法だと斜め方向に隣接する基本パターンからのクロストークをキャンセルしきれない場合がある。そこで、実施例４では、偏光板を併用する例を示す。
　図４２は、時分割フリンジスキャンを用いたクロストークキャンセルと偏光板の併用によりクロストークを低減する方法について示した説明図である。図４２が図３８と異なるところは、第１の偏光板４２０１と第２の偏光板４２０２の２枚の偏光板を有する点である。第１の偏光板４２０１は第１の複眼格子パターン３８０２に近接して配置し、第２の偏光板４２０２は画像センサ１０３に近接して配置する。ここで、第２の偏光板４２０２は、第１の偏光板４２０１と同じものとし、偏光板の偏光の方向が揃うように配置する。なお、図４２では、変調器３８０１の表面側に第１の偏光板４２０１を配置しているが、第１の複眼格子パターン３８０２の裏面側に配置しても良い。
　図４３に、偏光板４２０１および４２０２の例を示す。図４３が図３７にて説明した偏光板３７０１および３７０２と異なるところは、第１の偏光板４２０１および第２の偏光板４２０２を構成する偏光板４２０３のサイズを、基本パターン３８０３を並べた一列のサイズとする点である。図４３では、例として、第１の複眼格子パターン３８０２として、縦２×横２の基本パターンからなるパターンとしているため、偏光板４２０１、４２０２は、基本パターンの縦２枚×横１枚分のサイズとなる。また、隣接する偏光板４２０３の偏光軸は、偏光板４２０１、４２０２の偏光軸と直交させる。偏光軸が直交することで、クロストークが低減される。
　なお、基本パターンを格子状に配置する構成を例に説明したが、これに限定するものではなく、ハニカム構造のように隣接する基本パターンが互いに６０度の位置関係となるように配置してもよい。このような場合においても、隣接する基本パターンの初期位相差をπ／２とする、または、隣り合う偏光板の偏光軸を直交させて配置することによりクロストークを低減することが可能となる。
　以上の構成によれば、第１の複眼格子パターンにおける斜め方向の隣接する基本パターンから発生するクロストークをも低減することが可能となる。
　なお、液晶表示素子を用いて第１の複眼格子パターンを実現する場合には、液晶表示素子の偏光板を、上記第１の偏光板４２０１を構成する偏光板４２０３とすることもできる。
　また、上記２枚の偏光板４２０１および４２０２を用いて、空間分割フリンジスキャンを用いたクロストークキャンセルと偏光板の併用によるクロストークの低減も実現できる。
　〈実施例６：静脈撮像への適用例〉本実施例では、指静脈認証装置への適用のための指静脈撮像方法について示す。
　指静脈認証では、認証に十分な視野の撮像が必要となる。図４４は、指静脈認証に十分な視野を確保するための撮像装置の構成と光路を示した説明図である。ｑｍを第１の複眼格子パターン４４０１を構成する基本パターンの中心間距離、ｎをある方向における基本パターンの数、ｆを被写体４４０２から第１の複眼格子パターン４４０１までの距離、とする。この時、被写体４４０２の撮像に必要な視野Ａｍを得るために必要な、距離ｆと中心間距離ｑｍの関係について説明する。
　距離ｆが短いと、各基本パターンの視野が小さくなり、合成した視野Ａｍに隙間が生じることになる。隙間が生じないためには、ｆが図４４におけるｆｍｉｎ以上でなければならない。各基本パターンの視野Ａｓは、式２６で示される。式２６における散乱角θｓは、光源を指に照射した時に生じる透過光または反射光の散乱角であるので、Ａｓ＝２ｆ・ｔａｎθｓ≧ｑｍであればよい。つまり、指を第１の複眼格子パターンに近づけられる限界となる距離ｆｍｉｎは
＜式３０＞
Figure JPOXMLDOC01-appb-I000030
　　　　　　　　　・・・式３０
となる。
　次に、視野Ａｍを得るために必要な、画像センサ１０３のサイズＤについて説明する。各基本パターン４４０３の視野内の光線は、画像センサ１０３上で式２７の関係を有するものとなる。よって、
＜式３１＞
Figure JPOXMLDOC01-appb-I000031
　　　　　　　　　　　　　　　・・・式３１
のサイズがあれば、視野Ａｍ内の情報を正しく撮像することが可能となる。
　なお、画像センサ１０３は単一のセンサでなくても、複数のセンサを配列してセンササイズを広げることも可能である。
　以上の条件を満たせば、指静脈認証に必要な視野を取得することができる。また、以上の方法ではクロストークが生じるが、前述のクロストーク低減方法を用いることで低減可能である。
　続いて、図４５に指静脈認証装置の例を示す。図４５は、複眼格子パターン（表側）４５０１と、光源４５０３と、画像センサ４５０２とを有する。光源４５０３は、波長８５０ｎｍ付近の近赤外光を用い、指からの反射光を画像センサ４５０２で取得する構成としている。なお、透過光を画像センサ４５０２で取得する配置としてもよい。このような装置により指静脈撮像を実現できる。
　以上の構成によれば、指静脈認証に必要な視野を確保し、かつ薄型の指静脈認証装置を実現することが可能となる。
　なお、本発明は上記の実施の例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納しておき、実行時にＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等に読み出され、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等により実行することができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　また、上記した各構成、機能、処理部等は、それらの一部又は全部を、例えば別の装置で実行してネットワークを介して統合処理する等により分散システムで実現してもよい。
　また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。
　以上、本発明について、実施形態を中心に説明した。
１０１・・・撮像装置、１０２・・・変調器、１０２ａ・・・格子基板、１０２ｂ・・・支持部材、１０３・・・画像センサ、１０３ａ・・・画素、１０６・・・画像処理部、１０７・・・画像表示部、１０４・・・格子パターン（表側）、１０５・・・格子パターン（裏側）、４０１・・・被写体、１２０１・・・シリンドリカルレンズ、１３０１・・・格子センサ一体基板、１４０１・・・点、１４０２・・・投影像、１６０１・・・点、１６０２・・・投影像、１９０１・・・変調器、１９０２・・・画像処理部、１９０３・・・強度変調部、２２０１・・・変調器、２２０２・・・変調器制御部、２２０３・・・画像処理部、２６０１・・・変調器、２６０２・・・画像分割部、２８０１・・・点、２８０２・・・点、２８０３・・・点、２９０１・・・変調器、２９０２・・・複眼格子パターン（表側）、２９０３・・・格子パターン、２９０４・・・画像分割部、２９０５・・・画像処理部、３１０１・・・格子パターン、３１０２・・・格子パターン、３１０３・・・点、３４０１・・・遮光板、３５０１・・・変調器、３５０２・・・遮光板、３６０１・・・偏光板、３６０２・・・偏光板、３６０３・・・偏光板、３６０４・・・偏光板、３６０５・・・点、３７０１・・・偏光板、３７０２・・・偏光板、３８０１・・・変調器、３８０２・・・複眼格子パターン（表側）、３８０３・・・格子パターン、３８０４・・・格子パターン、３８０５・・・画像処理部、３８０６・・・画像分割部、３９０１・・・格子パターン、３９０２・・・格子パターン、３９０３・・・格子パターン、３９０４・・・格子パターン、４１０１・・・複眼格子パターン、４１０２・・・格子パターン、４１０３・・・格子パターン、４１０４・・・格子パターン、４２０１・・・偏光板、４２０２・・・偏光板、４２０３・・・偏光板、４４０１・・・複眼格子パターン（表側）、４４０２・・・被写体、４４０３・・・格子パターン、４５０１・・・複眼格子パターン（表側）、４５０２・・・画像センサ、４５０３・・・光源

Claims (7)

  1. 　第１の複眼格子パターンを有し、前記第１の複眼格子パターンを透過させることで光の強度を変調する変調器と、
    　前記変調器を透過した光を画像データに変換して出力する画像センサと、
    　前記画像センサから出力される画像データを用いて像を復元する画像処理を行う画像処理部と、
    　を備え、
    　前記第１の複眼格子パターンは、複数の基本パターンを含んで構成され、
    　それぞれの前記基本パターンは、同心円状であり、
    　前記同心円の中心間の距離は複数の前記基本パターンの合成視野に隙間が生じないように決定されている、
    　ことを特徴とする撮像装置。
  2. 　第１の複眼格子パターンを有し、前記第１の複眼格子パターンを透過させることで光の強度を変調する変調器と、
    　前記変調器を透過した光を画像データに変換して出力する画像センサと、
    　前記画像センサから出力される画像データを用いて像を復元する画像処理を行う画像処理部と、
    　を備え、
    　前記第１の複眼格子パターンは、複数の基本パターンを含んで構成され、
    　それぞれの前記基本パターンは、同心円状であり、
    　前記画像センサのサイズは、前記同心円の中心間の距離と、複数の前記基本パターンにより撮像できる視野角に基づいて決定されている、
    　ことを特徴とする撮像装置。
  3. 　請求項１または２に記載の撮像装置であって、
    　前記基本パターンにおける前記同心円は、同心円の中心となる基準座標に対して同心円のピッチが前記基準座標からの距離に反比例して細かくなる、
    　ことを特徴とする撮像装置。
  4. 　請求項１または２に記載の撮像装置であって、
    　前記画像処理部は、前記画像データを、同心円から構成される第２の複眼格子パターンを示すデータを用いて変調することでモアレ縞画像を生成する、
    　ことを特徴とする撮像装置。
  5. 　請求項１または２に記載の撮像装置であって、
    　前記画像処理部は、前記画像データを、同心円から構成される第２の複眼格子パターンを示すデータを用いて変調することでモアレ縞画像を生成し、前記モアレ縞画像をフーリエ変換して周波数スペクトルを算出する、
    　ことを特徴とする撮像装置。
  6. 　請求項１または２に記載の撮像装置であって、
    　前記同心円の中心間の距離は、前記変調器から撮像対象物までの距離および該撮像対象物からの光の散乱角に基づき決定されている、
    　ことを特徴とする撮像装置。
  7. 　請求項２に記載の撮像装置であって、
    　前記画像センサのサイズは、前記同心円の中心間の距離と、撮像対象物からの光の散乱角に基づいて決定されている、
    　ことを特徴とする撮像装置。
PCT/JP2017/038941 2016-12-13 2017-10-27 撮像装置 WO2018110120A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016240818A JP6685887B2 (ja) 2016-12-13 2016-12-13 撮像装置
JP2016-240818 2016-12-13

Publications (1)

Publication Number Publication Date
WO2018110120A1 true WO2018110120A1 (ja) 2018-06-21

Family

ID=62488619

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038941 WO2018110120A1 (ja) 2016-12-13 2017-10-27 撮像装置

Country Status (5)

Country Link
US (1) US10461108B2 (ja)
JP (1) JP6685887B2 (ja)
CN (1) CN108616677B (ja)
TW (1) TWI658432B (ja)
WO (1) WO2018110120A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031299A1 (ja) * 2018-08-08 2020-02-13 マクセル株式会社 撮像装置、撮像システム、及び撮像方法
JP2022033219A (ja) * 2018-08-08 2022-02-28 マクセル株式会社 撮像装置、撮像システム、及び撮像方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145348A1 (ja) * 2016-02-26 2017-08-31 株式会社日立製作所 撮像装置
US11054680B1 (en) * 2018-08-07 2021-07-06 UltResFP, LLC Electronically configurable variable aperture and grating for optical and spectral applications
US10638061B2 (en) * 2018-09-18 2020-04-28 Analog Devices Global Unlimited Company Active-pixel image sensor
CN109842766B (zh) * 2018-12-28 2021-05-18 上海集成电路研发中心有限公司 一种极坐标图像传感器及其进行图像处理的方法
WO2021010339A1 (ja) * 2019-07-12 2021-01-21 株式会社小糸製作所 イメージング装置およびその照明装置、車両、車両用灯具
CN112630932B (zh) 2019-10-09 2023-05-26 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹成像装置
CN112995452B (zh) * 2019-12-17 2022-11-11 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹影像处理装置
US20210263198A1 (en) * 2020-02-26 2021-08-26 Beijing Voyager Technology Co., Ltd. Liquid crystal-based laser beam scanners and laser signal receivers
CN113554575B (zh) * 2020-04-23 2022-10-11 华东交通大学 一种基于偏振原理的高反物体表面高光去除方法
JP2022051426A (ja) * 2020-09-18 2022-03-31 株式会社ジャパンディスプレイ カメラモジュール
KR102406921B1 (ko) 2020-12-04 2022-06-10 (주)딥인사이트 모놀리식 아키텍처를 가지는 광학 장치 및 그 제조 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007109801A (ja) * 2005-10-12 2007-04-26 Sumitomo Electric Ind Ltd 固体撮像装置とその製造方法
JP2015115527A (ja) * 2013-12-13 2015-06-22 株式会社東芝 固体撮像装置及びカメラシステム
US20150219808A1 (en) * 2013-08-28 2015-08-06 Rambus Inc. Patchwork fresnel zone plates for lensless imaging
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
WO2004084560A1 (ja) * 2003-03-20 2004-09-30 Seijiro Tomita 立体映像撮影表示システム
CN100397105C (zh) * 2003-12-18 2008-06-25 松下电器产业株式会社 聚光元件及固体摄像器件
JP4711657B2 (ja) * 2004-09-29 2011-06-29 パナソニック株式会社 固体撮像装置
JP4515971B2 (ja) * 2005-06-17 2010-08-04 パナソニック株式会社 集光素子の製造方法および位相シフトマスク
US8106993B2 (en) * 2006-05-15 2012-01-31 Panasonic Corporation Diffractive imaging lens, diffractive imaging lens optical system, and imaging apparatus using the diffractive imaging lens optical system
JP2009252978A (ja) * 2008-04-04 2009-10-29 Panasonic Corp 固体撮像素子およびその製造方法
US8558182B2 (en) * 2009-10-09 2013-10-15 University Of Rochester Optical element, device, method, and applications
JP2011203792A (ja) 2010-03-24 2011-10-13 Hitachi Displays Ltd 撮像装置
CN104006765B (zh) * 2014-03-14 2016-07-13 中国科学院上海光学精密机械研究所 单幅载频干涉条纹相位提取方法及检测装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007109801A (ja) * 2005-10-12 2007-04-26 Sumitomo Electric Ind Ltd 固体撮像装置とその製造方法
US20150219808A1 (en) * 2013-08-28 2015-08-06 Rambus Inc. Patchwork fresnel zone plates for lensless imaging
JP2015115527A (ja) * 2013-12-13 2015-06-22 株式会社東芝 固体撮像装置及びカメラシステム
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031299A1 (ja) * 2018-08-08 2020-02-13 マクセル株式会社 撮像装置、撮像システム、及び撮像方法
CN112020854A (zh) * 2018-08-08 2020-12-01 麦克赛尔株式会社 摄像装置、摄像系统和摄像方法
JPWO2020031299A1 (ja) * 2018-08-08 2021-02-25 マクセル株式会社 撮像装置、撮像システム、及び撮像方法
US11228705B2 (en) 2018-08-08 2022-01-18 Maxell, Ltd. Imaging device, imaging system, and imaging method which manage a moving image captured by a lensless imaging device in a state in which the capacity of the moving image is reduced
JP6999820B2 (ja) 2018-08-08 2022-01-19 マクセル株式会社 撮像装置、撮像システム、及び撮像方法
JP2022033219A (ja) * 2018-08-08 2022-02-28 マクセル株式会社 撮像装置、撮像システム、及び撮像方法
US11570357B2 (en) 2018-08-08 2023-01-31 Maxell, Ltd. Imaging device and imaging system
JP7218422B2 (ja) 2018-08-08 2023-02-06 マクセル株式会社 撮像装置、撮像システム、及び撮像方法
US11812163B2 (en) 2018-08-08 2023-11-07 Maxell, Ltd. Imaging device having a modulator that includes at least a first grating pattern and a second grating patern having a phase deviating from a phase of the first grating pattern

Also Published As

Publication number Publication date
US10461108B2 (en) 2019-10-29
TW201822145A (zh) 2018-06-16
JP6685887B2 (ja) 2020-04-22
JP2018098623A (ja) 2018-06-21
TWI658432B (zh) 2019-05-01
US20180166489A1 (en) 2018-06-14
CN108616677B (zh) 2020-11-03
CN108616677A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
WO2018110120A1 (ja) 撮像装置
JP6820908B2 (ja) 撮像装置
JP6491332B2 (ja) 撮像装置
JP6721698B2 (ja) 撮像装置
JP6646619B2 (ja) 撮像装置
JP6864604B2 (ja) 撮像装置
WO2020059181A1 (ja) 撮像装置および撮像方法
JP6947891B2 (ja) 携帯情報端末
JP2023016864A (ja) 撮像装置および方法
JP6770164B2 (ja) 撮像装置
JP7389195B2 (ja) 画像生成方法
JP6636663B2 (ja) 撮像装置及び画像生成方法
JP2021064000A (ja) 撮像装置
JP2020098963A (ja) 撮像装置
CN110278350B (zh) 摄像装置
JP2022180800A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17880828

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17880828

Country of ref document: EP

Kind code of ref document: A1