WO2018221025A1 - 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 - Google Patents

撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2018221025A1
WO2018221025A1 PCT/JP2018/015229 JP2018015229W WO2018221025A1 WO 2018221025 A1 WO2018221025 A1 WO 2018221025A1 JP 2018015229 W JP2018015229 W JP 2018015229W WO 2018221025 A1 WO2018221025 A1 WO 2018221025A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fresnel zone
pattern
complex
zone plate
Prior art date
Application number
PCT/JP2018/015229
Other languages
English (en)
French (fr)
Inventor
洋介 成瀬
慶延 岸根
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201880035481.6A priority Critical patent/CN110692233B/zh
Priority to JP2019522003A priority patent/JP6772380B2/ja
Priority to EP18809268.8A priority patent/EP3633968A4/en
Publication of WO2018221025A1 publication Critical patent/WO2018221025A1/ja
Priority to US16/680,521 priority patent/US10911668B2/en
Priority to US17/121,772 priority patent/US11290642B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/106—Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/02—Simple or compound lenses with non-spherical faces
    • G02B3/08—Simple or compound lenses with non-spherical faces with discontinuous faces, e.g. Fresnel lens

Definitions

  • the present invention relates to an imaging apparatus, an image processing apparatus, an imaging system, an image processing method, and a recording medium, and particularly to a technique for acquiring an image of a subject without a lens.
  • An encoding mask type lensless camera places a pattern mask with a pattern in front of an image sensor, observes the shadow of the pattern mask on the sensor surface due to incident light from the object, and numerically calculates the object's shadow.
  • This is a method for obtaining a formed image. This method was originally devised to obtain an image in a wavelength region where it is difficult to make an imaging lens, such as gamma rays and X-rays, and has been studied since the 1960s.
  • pattern masks There are two main requirements for pattern masks. (1) It is necessary to have a linearly independent shadow with respect to different light incident angles (that is, the observation matrix becomes full rank). (2) The amount of calculation required for image reconstruction (calculating the inverse transformation of the observation matrix) is small. With regard to (2), if nothing is devised, the number of pixels is N, and a large amount of multiplication of the order of N ⁇ 2 is required. Pattern mask shapes have been devised.
  • Non-Patent Document 1 Recently, in the following Non-Patent Document 1, it has been announced that a Fresnel zone plate can be used as a mask pattern and can be realized by only a Fourier transform as a calculation for image reconstruction. This drastically reduced the amount of calculation, and the order of N x log (N), enabling real-time video shooting.
  • the use of the Fresnel zone plate for the coded aperture itself is not new and has already been studied as of 1961.
  • the shadow is multiplied by the original pattern mask shape.
  • the moire (difference frequency) component generated between the misaligned Fresnel zones is always constant in the screen is utilized.
  • the wavefront of the plane wave (the wavelength is determined from the Fresnel zone plate) is directly recorded on the image sensor with respect to the incidence of the plane wave, it is possible to form an image by simple Fourier transform.
  • the announcement by the nonpatent literature 2 is also made
  • Patent Document 1 a lensless imaging technique using a Fresnel zone plate as a mask pattern as in Non-Patent Documents 1 and 2 is known (see Patent Document 1).
  • Patent Document 1 an image of a subject is reconstructed by Fourier transforming moire fringes formed by light from the subject incident on two lattice patterns (Fresnel zone plates) arranged facing each other. .
  • Non-Patent Documents 1 and 2 and Patent Document 1 have problems with respect to image quality and design parameters as described below.
  • I (r) The greater the value of I (r), the greater the light transmittance in the predetermined wavelength band.
  • r is the distance from the center of the Fresnel zone plate, and ⁇ (> 0) is a constant that determines the fineness (pitch) of the pattern.
  • I2 (r) that is within the range of 0 to 1 with an offset as shown in equation (2) will be considered.
  • this coded aperture (Fresnel zone plate) is arranged at a distance d from the sensor surface (see FIG. 16).
  • the image is projected on the image sensor while being translated by tan ⁇ ).
  • the translated shadow S (r) is expressed by equation (3).
  • I2 (r) and S (r) are originally two-dimensional images and are two-variable functions, but here we focus only on the one-dimensional image on the cross section cut by the plane including the center and the incident light source for simplicity. Think. However, the calculation can be easily extended to the two-dimensional case by calculating the following equation (4).
  • the captured shadow image (projected image) is restored (reconstructed) on the computer and output.
  • the shadow image is multiplied by a non-misaligned Fresnel zone aperture image (Fresnel zone pattern).
  • Fresnel zone pattern a non-misaligned Fresnel zone aperture image
  • Mr (r) is the same real function as I (r), but with the offset (DC component) removed (“internal multiplication mask” in FIG. 17).
  • Image reconstruction in the prior art corresponds to a case where a projected image of a real aperture is multiplied by a Fresnel zone pattern represented by a real function Mr (r). To do.
  • the first term is a component that can be removed by offset correction or the like.
  • the second term corresponds to “frequency of difference” between the superimposed Fresnel zone openings (corresponding to cos ( ⁇ ) when the aperture at the time of photographing and the superposed pattern are represented by cos ⁇ and cos ⁇ ; Are extracted moire interference fringes. Since this coincides with the basis of the Fourier transform, it is converted into a delta function by applying the Fourier transform to become a “point” and a component contributing to imaging.
  • the third term corresponds to the “sum frequency” (corresponding to cos ( ⁇ + ⁇ ); see “principle” in FIG. 17), which is a component that does not contribute to image formation and acts as noise even if Fourier transform is performed. (See “Remarks” in FIG. 17).
  • ⁇ (k, ⁇ , ⁇ r) is a real polynomial.
  • fr (k) the first and second terms produce two symmetrical points at the origin, so they overlap in point symmetry.
  • MTF Modulation Transfer Function
  • the peripheral light amount is (cos ⁇ ) 4 and the distortion is 2 ⁇ ⁇ ⁇ d ⁇ tan ⁇ ( ⁇ is an angle of view).
  • Example 1 is a case where a point light source exists almost in front (distance infinity)
  • Example 2 is a case where a point light source exists in an oblique direction (distance infinity)
  • Example 3 is a point of Example 1 and Example 2. This is the case where the light sources exist simultaneously.
  • the projected image is represented by the above-described equation (3)
  • the internal multiplication mask is represented by equation (5)
  • the multiplication result is represented by equation (6)
  • the Fourier transform of the desired signal is represented by equation (7).
  • the spatial frequency of the Fresnel zone plate according to the number of pixels of the image sensor and the mask distance (distance between the Fresnel zone pattern and the image sensor: d described above). Although it is necessary to adjust ( ⁇ described above) appropriately, the design parameters are greatly limited by these requirements. Further, in Patent Document 1, the reconstructed image is cut out in half and displayed to avoid overlapping of the images, but if a part of the reconstructed image is cut out, the angle of view (shooting range) becomes narrow. .
  • the conventional technology cannot acquire high-quality images in lensless imaging, and the design parameters are greatly limited.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an imaging system that can acquire a high-quality image without using a lens and has low restrictions on design parameters. It is another object of the present invention to provide an imaging apparatus and an image processing apparatus that constitute the imaging system, an image processing method used in the image processing apparatus, and a recording medium for causing a computer to implement the image processing method.
  • the imaging apparatus reconstructs a spatial domain image by performing a two-dimensional complex Fourier transform on a complex image composed of a real part image and an imaginary part image.
  • An imaging apparatus used in a configured imaging system wherein a first Fresnel zone plate that receives light from a subject and a first image that receives a first projection image that has passed through the first Fresnel zone plate A first imaging unit that obtains a first projection image from the first image sensor, and a second Fresnel zone plate that receives light from the subject, the first Fresnel zone plate Is a second Fresnel zone plate having a different phase of local spatial frequency in each region, and a second image on which a second projection image transmitted through the second Fresnel zone plate is incident And a second imaging unit that acquires a second projection image from the second image sensor, and the first projection image and the second imaging unit acquired by the first imaging unit The second projection image obtained by the
  • the first and second projection images are obtained by using the Fresnel zone plates having different local spatial frequency phases in the respective regions, and these are obtained in the imaging system configured to include the imaging device.
  • a complex image generated from the projection image can be restored (two-dimensional complex Fourier transform) to obtain (reconstruct) a high-quality image at a wide angle of view.
  • design parameters Fresnel zone plate pitch, area, number of pixels of image sensor, distance between Fresnel zone plate and image sensor, etc.
  • sum frequency noise component
  • the “Fresnel zone plate” is a zone plate in which the transmittance of the subject light continuously changes in accordance with the distance from the center, and the transmittance of the zone plate is determined. It includes a zone plate in which the transmittance changes discontinuously (transmission or non-transmission).
  • the first and second projected images may be photographed simultaneously using the first and second Fresnel zone plates, or the first and second Fresnel zone plates are sequentially switched and photographed. May be.
  • the imaging device is the first aspect, wherein the first Fresnel zone plate and the second Fresnel zone plate are locally in the positive or negative direction within a range of 70 ° to 110 °.
  • the spatial frequency is out of phase.
  • the second aspect defines a preferable phase shift range of the first and second Fresnel zone plates. In this range, the phase shift is more preferably close to 90 °.
  • the first Fresnel zone plate and the second Fresnel zone plate are arranged side by side on the same plane.
  • the third aspect defines one aspect of the arrangement of the first and second Fresnel zone plates, whereby the first and second projection images can be acquired simultaneously.
  • the third mode is not only the case where the first and second Fresnel zone plates are arranged on the same plane, but also the image on which the plane on which the first and second Fresnel zone plates are arranged is acquired. This includes the case where the image quality is deviated within the allowable range according to the image quality.
  • the imaging device further includes a branching optical member that branches light incident from the subject, and the first Fresnel zone plate and the second Fresnel zone plate are respectively Light from the subject branched by the branching optical member is incident.
  • the fourth aspect defines another aspect of the arrangement of the first and second Fresnel zone plates, whereby the first and second projection images can be acquired simultaneously. Further, since there is no optical axis shift between the first and second Fresnel zone plates, no parallax occurs in the first and second projected images.
  • the imaging device is the first or second aspect, wherein the first Fresnel zone plate and the second Fresnel zone plate are overlapped with each other, and the first Fresnel zone plate has the first wavelength band.
  • the second Fresnel zone plate transmits light in a second wavelength band different from the first wavelength band, and the first image sensor and the second image sensor have a first wavelength band.
  • a common image sensor in which a first light receiving element group that receives only the first projection image and a second light receiving element group that receives only the second projection image in the second wavelength band are discretely arranged.
  • the first imaging unit and the second imaging unit obtain the first projection image and the second projection image separately from the common image sensor.
  • the fifth aspect defines yet another aspect of the arrangement of the first and second Fresnel zone plates, whereby the first and second projection images can be acquired simultaneously. Further, since there is no optical axis shift between the first and second Fresnel zone plates, no parallax occurs in the first and second projected images. Furthermore, since the arrangement area may be one Fresnel zone plate and one image sensor, the imaging unit can be reduced in size. In the fifth aspect, for example, by arranging color filters that transmit only the first and second wavelength bands in the first and second light receiving element groups of the image sensor, respectively, the first and second projections are provided. The image can be separated and received.
  • an image processing apparatus includes a first projection image and a second projection image acquired by the imaging apparatus according to any one of the first to fifth aspects.
  • a projection image input unit that inputs a projection image
  • a complex image generation unit that generates a complex image by multiplying the input first projection image and second projection image by a preset Fresnel zone pattern
  • a Fourier transform unit that performs two-dimensional complex Fourier transform on the complex image and reconstructs a spatial domain image.
  • a complex image is obtained by multiplying the projection image acquired by the imaging device according to any one of the first to fifth aspects by a Fresnel zone pattern (internal multiplication Fresnel zone pattern). Since the generated complex image is subjected to a two-dimensional complex Fourier transform, a high-quality image can be reconstructed based on the input projection image, and restrictions on design parameters are low. In the sixth mode, since a plurality of projection images (first and second projection images) are input, a complex image can be generated regardless of whether the projection image is multiplied by one type or a plurality of Fresnel zone patterns.
  • the local spatial frequency information (pitch) of the 1st, 2nd Fresnel zone plate used when acquiring the 1st, 2nd projection image is acquired, and the acquired information is an image. It is preferable to use it for the reconstruction.
  • the complex image generation unit generates a complex image using a Fresnel zone pattern having a different enlargement ratio in accordance with a subject distance to be focused. Since the projection image formed by the Fresnel zone plate has different sizes depending on the distance of the subject (light source), it is preferable that the magnification rate of the Fresnel zone pattern to be multiplied also differs accordingly.
  • the seventh aspect by generating a complex image using the first Fresnel zone pattern and the second Fresnel zone pattern having different enlargement ratios according to the subject distance to be focused, a clear image with less blur is obtained. An image can be obtained.
  • the image processing apparatus is the sixth or seventh aspect, wherein the Fresnel zone pattern is a first Fresnel zone pattern and a second Fresnel zone pattern, the first Fresnel zone plate and the second Fresnel zone pattern.
  • the first Fresnel zone pattern and the second Fresnel zone pattern in which the phase of the local spatial frequency is shifted in the opposite direction to the local spatial frequency phase shift with the Fresnel zone plate of the complex image
  • the generation unit multiplies the input first projection image and second projection image by the first Fresnel zone pattern and the second Fresnel zone pattern to generate a complex image.
  • the phase of the local spatial frequency is shifted in the opposite direction means that the phase shift of the first and second Fresnel zone patterns is negative if the phase shift of the second Fresnel zone plate is positive. If the phase shift of the first and second Fresnel zone plates is in the negative direction, it means that the phase shift of the first and second Fresnel zone patterns is in the positive direction.
  • the first Fresnel zone pattern and the second Fresnel zone pattern are locally in the negative or positive direction within a range of 70 ° to 110 °.
  • the phase of the spatial frequency is shifted.
  • the ninth aspect prescribes a preferable phase shift range of the first and second Fresnel zone patterns. In this range, the phase shift is more preferably close to 90 °.
  • An image processing apparatus is the eighth or ninth aspect, wherein the first Fresnel zone pattern, the second Fresnel zone pattern, the first Fresnel zone plate, and the second Fresnel zone plate are complex conjugates.
  • the first and second Fresnel zone patterns are internally multiplied Fresnel zone patterns as described above for the sixth aspect, and are complex conjugates with the Fresnel zone plate.
  • a “difference frequency” component (a component that contributes to image formation and does not include a “sum frequency” component that causes noise) Can be taken out, and a high-quality image can be obtained.
  • an imaging system includes an imaging device according to any one of the first to fifth aspects and any one of the sixth to tenth aspects.
  • An image processing apparatus according to the above.
  • the imaging apparatus according to any one of the first to fifth aspects and the image processing apparatus according to any one of the sixth to tenth aspects do not use a lens.
  • the imaging device may be fixed to the image processing device, or may be replaceable with respect to the image processing device.
  • an image processing method includes a first projection image and a second projection image acquired by the imaging device according to any one of the first to fifth aspects.
  • a high-quality image can be acquired as in the sixth aspect, and the restrictions on the design parameters are low.
  • the image processing method is the twelfth aspect, wherein the Fresnel zone pattern is a first Fresnel zone pattern and a second Fresnel zone pattern, the first Fresnel zone plate and the second Fresnel zone pattern.
  • a complex image is generated by including a first Fresnel zone pattern and a second Fresnel zone pattern in which the phase of the local spatial frequency in each region is shifted in the opposite direction to the phase shift of the local spatial frequency with the plate.
  • the step multiplies the input first projection image and second projection image by the first Fresnel zone pattern and the second Fresnel zone pattern to generate a complex image.
  • the thirteenth aspect as in the eighth aspect, it is possible to reconstruct a high-quality image with few “sum frequency” components that become noise.
  • a recording medium includes a first projection image and a second projection acquired by the imaging device according to any one of the first to fifth aspects.
  • a function of inputting an image a function of generating a complex image by multiplying the input first projection image and second projection image by a preset Fresnel zone pattern (internal multiplication Fresnel zone pattern), and
  • This is a recording medium on which a computer-readable code of an image processing program for causing a computer to realize a function of performing a two-dimensional complex Fourier transform on the complex image and reconstructing a spatial domain image.
  • the recording medium is the fourteenth aspect, wherein the Fresnel zone pattern is a first Fresnel zone pattern and a second Fresnel zone pattern, the first Fresnel zone plate and the second Fresnel zone plate.
  • the first projected image and the second projected image are multiplied by the first Fresnel zone pattern and the second Fresnel zone pattern to generate a complex image.
  • an imaging system of the present invention a high-quality image can be acquired without using a lens, and restrictions on design parameters are low.
  • Such an imaging system can be configured by the imaging apparatus and the image processing apparatus of the present invention, and the image processing method and the recording medium of the present invention can be used in the image processing apparatus.
  • FIG. 1 is a diagram for explaining the principle of imaging by a complex aperture.
  • FIG. 2 is a diagram for explaining the general form of the definition formula of the Fresnel zone opening.
  • FIG. 3 is a block diagram illustrating a configuration of the imaging system according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a Fresnel zone plate.
  • FIG. 5 is a diagram illustrating the Fresnel zone plate according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of a Fresnel zone plate having a different phase.
  • FIG. 7 is a diagram illustrating a configuration of the image processing unit.
  • FIG. 8 is a diagram illustrating images and information stored in the storage unit.
  • FIG. 1 is a diagram for explaining the principle of imaging by a complex aperture.
  • FIG. 2 is a diagram for explaining the general form of the definition formula of the Fresnel zone opening.
  • FIG. 3 is a block diagram illustrating a configuration
  • FIG. 9 is a flowchart illustrating the image processing method according to the first embodiment.
  • FIG. 10 is a diagram illustrating a state in which a Fresnel zone pattern having a different enlargement ratio is used according to a subject distance to be focused.
  • FIG. 11 is a diagram showing an example of image reconstruction according to the related art and the present invention.
  • FIG. 12 is a block diagram illustrating a configuration of an imaging system according to the second embodiment.
  • FIG. 13 is a diagram illustrating a state in which light from a subject is branched by an optical member and is incident on the first and second Fresnel zone plates.
  • FIG. 14 is a diagram illustrating a configuration of an imaging system according to the third embodiment.
  • FIG. 14 is a diagram illustrating a configuration of an imaging system according to the third embodiment.
  • FIG. 15 is a diagram illustrating a state in which Fresnel zone plates having different transmission wavelengths are overlaid.
  • FIG. 16 is a diagram illustrating a state in which the projected image is translated and reflected on the image sensor.
  • FIG. 17 is a diagram for explaining the principle of imaging with a real aperture.
  • FIG. 18 is another diagram for explaining the principle of imaging with a real aperture.
  • each of the encoded apertures of the real part and imaginary part of I3 (r) (the real part and imaginary part of the "shooting mask” in Fig. 1) It is necessary to obtain a shadow image (projected image) and obtain a 2-channel image.
  • the image (Fresnel zone pattern) to be multiplied on the computer in the image restoration is preferably selected so as to be a complex conjugate of I (r) that is the pattern of the coded aperture, as shown in the following equation. (See “Internal Multiplication Mask” in FIG. 1). This is because the frequency of the difference from the shadow image is extracted by inverting the sign of the imaginary part.
  • the post-multiplication image is expressed as the following equation (see “multiplication result” in FIG. 1).
  • the first term is a component that can be removed by offset correction.
  • the second term is a term corresponding to the “frequency of difference” and matches the basis of the Fourier transform. Therefore, the second term is converted into a delta function by applying the Fourier transform to become a “point” and contributes to imaging. It becomes.
  • no noise term (sum frequency) is generated in this case (see “Remarks” in FIG. 1).
  • both the difference frequency and the sum frequency are generated at the same time due to the formula of the product of trigonometric functions, resulting in noise (see “Principle” in FIG. 17). This is because only the difference frequency can be extracted in the multiplication (see “Principle” in FIG. 1). For this reason, it is theoretically possible to perform imaging processing that can reach MTF 100%.
  • the phase rotates depending on the incident angle of light.
  • the absolute value of the complex number is taken, it can be confirmed that an image is formed into a delta function (point) corresponding to the arrival of light at infinity. . Since the calculation from the angle spectrum of the incident light to the formed image is all linear, superposition is established, and this can explain the image formation of the image.
  • FIG. 3 is a block diagram illustrating a configuration of the imaging system 10 (imaging system) according to the first embodiment.
  • the imaging system 10 includes an imaging module 100 (imaging device) and an imaging device body 200 (image processing device).
  • the imaging system 10 is an imaging system that reconstructs a spatial domain image by performing a two-dimensional complex Fourier transform on a complex image including a real part image and an imaginary part image.
  • the imaging system 10 can be applied to a digital camera, a smartphone, a tablet terminal, a surveillance camera, and the like.
  • the imaging module 100 includes imaging units 110 and 120.
  • the imaging unit 110 (first imaging unit) includes a Fresnel zone plate 112 (first Fresnel zone plate) and an imaging element 114 (first image sensor), and light from the subject passes through the Fresnel zone plate 112. Then, a projection image (first projection image) incident on the image sensor 114 is acquired from the image sensor 114.
  • the center of the Fresnel zone plate 112 coincides with the center of the image sensor 114 and is disposed on the light receiving surface side of the image sensor 114 in a state parallel to the light receiving surface of the image sensor 114.
  • the imaging unit 110 has an optical axis L1.
  • the imaging unit 120 (second imaging unit) includes a Fresnel zone plate 122 (second Fresnel zone plate) and an imaging element 124 (second image sensor), and light from the subject is Fresnel zone plate.
  • a projection image (second projection image) that passes through 122 and enters the image sensor 124 is acquired from the image sensor 124.
  • the Fresnel zone plate 122 is disposed on the light receiving surface side of the image sensor 124 in a state where the center coincides with the center of the image sensor 124 and is parallel to the light receiving surface of the image sensor 124.
  • the imaging unit 120 has an optical axis L2.
  • the Fresnel zone plate 112 and the Fresnel zone plate 122 are out of phase with the local spatial frequency in each region, as will be described later.
  • a striped pattern is formed by repeating concentrically with the region to be formed.
  • the Fresnel zone plates 112 and 122 are arranged side by side on the same plane.
  • “arranged on the same plane” means not only the case where the Fresnel zone plates 112 and 122 are completely arranged on the same plane, but also the surface on which the Fresnel zone plates 112 and 122 are arranged. It also includes the case where there is a deviation within the allowable range according to the image quality of the image to be performed (there is a parallel deviation or a rotational deviation).
  • the imaging module 100 may be fixed to the imaging apparatus main body 200 or may be replaceable. Further, the Fresnel zone plates 112 and 122 may be exchangeable for the imaging units 110 and 120. In this way, by properly using Fresnel zone plates with different characteristics (size, pitch, phase, distance from the image sensor, etc.), the characteristics (field angle, depth (distance measurement accuracy), etc.) of the acquired projection image are controlled. Thus, an image having desired characteristics can be reconstructed.
  • the Fresnel zone plates 112 and 122 may be referred to as “FZP” (Fresnel Zone Plate).
  • FIG. 4 Part (a) of FIG. 4 is a view showing an FZP 1 which is an example of the Fresnel zone plates 112 and 122.
  • FZP1 the transmittance of incident light continuously changes according to the distance from the center.
  • the light transmittance is higher in a region closer to white (transmission region), and the region closer to black (light-shielding region).
  • Low light transmittance As a whole, the transmission regions and the light shielding regions are alternately arranged concentrically to form the above-described stripe pattern, and these transmission regions and the light shielding regions constitute a Fresnel zone plate.
  • the distance between the concentric circles becomes narrower from the center of FZP1 toward the periphery.
  • Such a concentric pattern (local spatial frequency change) is expressed by the above-described equations (8), (9), etc., and the fineness of the concentric circles in these equations is called “pitch”.
  • the pitch is determined by the above-described value of ⁇ . When ⁇ is small, a coarse pattern is obtained, and when ⁇ is large, a fine pattern is obtained.
  • the imaging module 100 is provided with a memory to store pitch information (value of ⁇ ), and the image processing unit 210 (information input unit 210D: see FIG. 7) acquires this information and uses it for image reconstruction. May be.
  • the optical axes L1 and L2 are axes that pass through the centers of the FZP and the image sensors 114 and 124 and are perpendicular to the light receiving surfaces of the FZP and the image sensors 114 and 124.
  • the FZP is disposed close to (for example, about 1 mm) the image sensors 114 and 124. However, depending on the distance between the FZP and the image sensors 114 and 124, the projected image may be blurred due to light diffraction, so it is preferable that the FZP is not separated too much. .
  • FIG. 4 (B) part of Drawing 4 is a figure showing FZP2 which is other examples of FZP.
  • FZP2 sets a threshold value for the transmittance with respect to FZP1, a region where the transmittance exceeds the threshold value is a transmission region of 100% transmittance (white portion), and a region below the threshold value has a transmittance of 0 % Light-shielding region (black portion), and the transmittance changes discontinuously (in two steps of 0% or 100%) according to the distance from the center.
  • the transmission regions and the light shielding regions are alternately arranged concentrically to form the above-described stripe pattern, and these transmission regions and the light shielding regions constitute a Fresnel zone plate.
  • the “Fresnel zone plate” in the present invention includes an embodiment such as FZP1 and an embodiment such as FZP2, and the transmittance of the “Fresnel zone pattern” in the present invention also changes continuously. And a pattern in which the transmittance changes discontinuously.
  • a light shielding portion (a region where light is not transmitted similarly to the light shielding region) is provided in the peripheral portion of the Fresnel zone plate as shown in FIG. 4 so that unnecessary light is incident on the peripheral portions of the imaging elements 114 and 124. May be prevented.
  • the Fresnel zone plate 112 may have a pattern shown in FIG. 5A (the phase of the local spatial frequency at the center is 0 °). Further, the Fresnel zone plate 122 has the same pitch as the Fresnel zone plate 112 shown in FIG. 5B, for example, and the phase of the local spatial frequency at the center is shifted by 90 ° in the positive direction. Is).
  • the complex aperture is expressed by equations (8) and (9), and the real part and the imaginary part are cos ( ⁇ r 2 ) and sin ( ⁇ r 2 ), respectively.
  • the Fresnel zone plates 112 and 122 (images of the real part) And imaginary part image) are most preferably ⁇ / 2, that is, 90 °, and preferably as close to 90 ° as possible.
  • the Fresnel zone plate 112 has a local spatial frequency phase at 0 ° at the center.
  • the Fresnel zone plate 112 is used.
  • the phase at the center of is not limited to 0 °. Note that ° represents a unit of angle.
  • FIG. 6 An example of a Fresnel zone plate with different phases is shown in FIG.
  • the first line of FIG. 6 shows Fresnel zone plate patterns (local spatial frequency patterns) whose phases at the center are 0 °, 10 °, 20 °, 30 °, 40 °, and 50 ° in order from the left. Show.
  • the second row shows Fresnel zone plate patterns whose phases at the center are 60 °, 70 °, 75 °, 80 °, 90 °, and 100 °, respectively.
  • the third row shows Fresnel zone plate patterns whose phases at the centers are 105 °, 110 °, 120 °, 130 °, 140 °, and 150 °, respectively.
  • the fourth row shows the Fresnel zone plate pattern whose phases at the center are 160 °, 170 °, 180 °, 190 °, 200 °, and 210 °, respectively.
  • the fifth line shows a Fresnel zone plate pattern with phases at the centers of 220 °, 230 °, 240 °, 250 °, 260 °, and 270 °, respectively.
  • the sixth line shows the Fresnel zone plate pattern whose phases at the center are 280 °, 290 °, 300 °, 310 °, 320 °, and 330 °, respectively.
  • the seventh line shows a Fresnel zone plate pattern with phases at the centers of 340 °, 350 °, and 360 °, respectively. Note that the relationship between the phase and the pattern of the Fresnel zone pattern to be multiplied with the projected image is the same as in the example of FIG.
  • the imaging elements 114 and 124 are image sensors having a plurality of pixels configured by photoelectric conversion elements arranged in a two-dimensional direction (two-dimensionally). A condensing efficiency may be increased by providing a microlens for each pixel. Further, a color filter (for example, red, blue, and green) may be provided for each pixel so that a color image can be reconstructed.
  • a color filter for example, red, blue, and green
  • the imaging apparatus main body 200 includes an image processing unit 210, a storage unit 220, a display unit 230, and an operation unit 240, and performs image restoration of a subject based on the projection image acquired by the imaging module 100.
  • FIG. 7 is a diagram showing a configuration of the image processing unit 210.
  • the image processing unit 210 includes a projection image input unit 210A (projection image input unit), a complex image generation unit 210B (complex image generation unit), a Fourier transform unit 210C (Fourier transform unit), and an information input unit 210D (information input unit). Unit) and a display control unit 210E (display control unit).
  • the projection image input unit 210A controls the imaging module 100 (imaging units 110 and 120), and the first and second projection images formed on the imaging elements 114 and 124 when light from the subject enters the FZP. Obtained from the image sensors 114 and 124, respectively.
  • the complex image generation unit 210B multiplies the first and second projection images and a preset Fresnel zone pattern (described later) to generate a complex image composed of a real part image and an imaginary part image.
  • the Fourier transform unit 210C reconstructs a spatial domain image by performing a two-dimensional complex Fourier transform on the complex image.
  • the information input unit 210D acquires information (pitch information) on the Fresnel zone plates 112 and 122 used to acquire the projection image.
  • the display control unit 210E performs display control on the display unit 230 such as a projection image, a complex image, and a reconstructed image.
  • ROM 210F Read Only Memory
  • ROM 210F Non-transitory recording medium
  • the functions of the image processing unit 210 described above can be realized by using various processors.
  • the various processors include, for example, a CPU (Central Processing Unit) that is a general-purpose processor that executes various types of functions by executing software (programs).
  • the various processors described above also include a programmable logic device (PLD), which is a processor whose circuit configuration can be changed after manufacturing, such as an FPGA (Field Programmable Gate Array).
  • PLD programmable logic device
  • the above-mentioned various processors include dedicated electric circuits, which are processors having a circuit configuration designed exclusively for executing specific processing such as ASIC (Application Specific Specific Integrated Circuit).
  • each unit may be realized by a single processor, or may be realized by combining a plurality of processors.
  • a plurality of functions may be realized by one processor.
  • a processor As an example of configuring a plurality of functions by one processor, first, as represented by a computer such as a client and a server, one processor is configured by a combination of one or more CPUs and software. Is realized as a plurality of functions.
  • SoC system-on-chip
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • the processor or the electric circuit described above executes software (program)
  • the processor (computer) readable code of the software to be executed (including the image processing program for executing the image processing method according to the present invention) is read from the ROM 210F. It is stored in a non-temporary recording medium such as (see FIG. 7), and the processor refers to the software.
  • the code may be recorded not on the ROM 210F but on a non-temporary recording medium such as a hard disk or various magneto-optical recording devices.
  • RAM Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the storage unit 220 is configured by a non-temporary recording medium such as a CD (Compact Disk), a DVD (Digital Versatile Disk), a hard disk (Hard Disk), or various semiconductor memories, and stores the images and information shown in FIG. 8 in association with each other.
  • the projected image 220A is a projected image (first and second projected images) acquired from the imaging module 100.
  • the Fresnel zone plate information 220B is information on local spatial frequencies of the Fresnel zone plates 112 and 122 (including pitch information such as the value of ⁇ ).
  • the Fresnel zone plate information 220B may be information acquired from the imaging module 100 or information input via the operation unit 240.
  • the Fresnel zone pattern information 220C is information indicating the Fresnel zone pattern, and is preferably recorded for a plurality of Fresnel zone patterns having different local spatial frequency phases.
  • the complex image 220D is a complex image formed by multiplying the projection image (first and second projection images) by the Fresnel zone pattern indicated by the Fresnel zone pattern information 220C and including a real part image and an imaginary part image. It is.
  • the reconstructed image 220E is a spatial domain image obtained by two-dimensional complex Fourier transform of the complex image 220D.
  • the display unit 230 is configured to include a display device such as a liquid crystal display (not shown), and displays a projection image, a complex image, a reconstructed image, and the like, and a UI (User Interface) at the time of instruction input via the operation unit 240. It is also used for screen display.
  • the operation unit 240 includes devices such as a keyboard, a mouse, and buttons (not shown), and the user uses these devices to issue a projection image acquisition instruction, an image reconstruction instruction, a focus distance condition, and information on local spatial frequencies (pitch, Phase) or the like.
  • the display device of the display unit 230 may be configured by a touch panel and used as the operation unit 240 in addition to image display.
  • FIG. 9 is a flowchart showing the procedure of the image processing method according to the present embodiment.
  • step S ⁇ b> 100 the image processing unit 210 (projected image input unit 210 ⁇ / b> A) controls the imaging module 100 and acquires projected images from the imaging elements 114 and 124.
  • the acquired projection images are projection images (first and second projection images) formed on the image sensors 114 and 124 by the light from the subject incident on the Fresnel zone plates 112 and 122. These projection images are They can be acquired simultaneously by control of the image processing unit 210 (projected image input unit 210A).
  • a demosaic process (also referred to as a synchronization process) when generating a color image in a normal digital camera is used.
  • an interpolation process according to the arrangement pattern of the color filters is performed.
  • a signal of insufficient color is generated in each pixel (light receiving element), and signals of each color (for example, red, blue, and green) are obtained in all pixels.
  • Such processing can be performed by, for example, the image processing unit 210 (projected image input unit 210A).
  • step S110 information on the local spatial frequency of the Fresnel zone plates 112 and 122 (pitch of the Fresnel zone plates 112 and 122) used by the image processing unit 210 (information input unit 210D) for acquiring the projection image is input.
  • This information may be input from a memory (not shown) of the imaging module 100 or may be input according to a user operation on the operation unit 240. Further, the information input unit 210D may analyze and input the projection image acquired in step S100. Since the pitch is determined by the value of ⁇ in the above formulas (8), (9), etc., specifically, the value of ⁇ may be input.
  • the pitch (value of ⁇ ) can be acquired by analyzing the photographed image.
  • the image reconstruction may be repeated while changing the pitch (value of ⁇ ) to obtain a value that provides a clear image.
  • step S120 the image processing unit 210 (complex image generation unit 210B) multiplies the first projected image by the first Fresnel zone pattern to generate a real part image, and the second projected image has the second Fresnel.
  • the zone pattern is multiplied to generate an imaginary part image, thereby generating a complex image composed of the real part image and the imaginary part image.
  • a pattern selected according to the pitch (value of ⁇ ) input in step S110 among the patterns (Fresnel zone pattern information 220C) stored in the storage unit 220 can be used. .
  • the image processing unit 210 (complex image generation unit 210B) stores the generated complex image in the storage unit 220 as a complex image 220D.
  • ⁇ Phase of Fresnel zone pattern> When the phase of the local spatial frequency at the center of the Fresnel zone plates 112 and 122 is 0 ° and 90 °, respectively, as shown in FIG. 5, the local space at the center of the first and second Fresnel zone patterns.
  • the phase of the frequency can be 0 ° and ⁇ 90 °, respectively.
  • the local spatial frequency phase shift of the Fresnel zone plate is in the positive direction
  • the local spatial frequency phase shift of the Fresnel zone pattern is in the negative direction opposite to the Fresnel zone plate. is there.
  • the Fresnel zone pattern multiplied by the projected image has a complex conjugate relationship (the phase shift is the same and the direction of the shift is the reverse direction) with the Fresnel zone plate. That is, as described above with respect to Equation (11), the first and second Fresnel zone patterns (internally multiplied Fresnel zone patterns) are complex conjugates to the Fresnel zone plates 112 and 122. As a result, the frequency of the difference from the projected image can be extracted by inverting the sign of the imaginary part.
  • the image processing unit 210 multiplies the first and second Fresnel zone patterns by the first and second projection images, respectively, so that a complex composed of a real part image and an imaginary part image is obtained. An image is obtained.
  • the complex internal multiplication mask is expressed by equation (11), and the real part and the imaginary part are cos ( ⁇ r 2 ) and sin ( ⁇ r 2 ), respectively, and therefore the phase shift of the first and second Fresnel zone patterns Is most preferably ⁇ / 2, ie 90 °, and is preferably as close to 90 ° as possible.
  • the local spatial frequency phase shift of the Fresnel zone pattern is negative or positive (in the opposite direction to the phase shift of the Fresnel zone plates 112 and 122), a clear image is obtained. Can be reconfigured. Although the case where the phase of the local spatial frequency at the center of the first and second Fresnel zone patterns is 0 ° and ⁇ 90 ° has been described, If the phase shift satisfies the above-described conditions, the phase at the center of the first and second Fresnel zone patterns is not limited to 0 ° and ⁇ 90 °.
  • Fresnel zone pattern information 220C When using the Fresnel zone pattern, data of a plurality of Fresnel zone patterns having different phases may be stored in the storage unit 220 as the Fresnel zone pattern information 220C, and a desired pattern may be selected and used.
  • the (complex image generation unit 210B) may generate a desired pattern based on pitch and phase information.
  • the Fresnel zone pattern of each phase is the same as the example of FIG. 6 as described above. Since such a Fresnel zone pattern is stored in the storage unit 220 as Fresnel zone pattern information 220C (internal multiplication Fresnel zone pattern) which is electronic data, a desired pattern can be selected and generated quickly and easily.
  • Fresnel zone pattern information 220C internal multiplication Fresnel zone pattern
  • a plurality of patterns corresponding to the subject distance can be stored in the storage unit 220 as Fresnel zone pattern information 220C, and can be read and used.
  • one Fresnel zone pattern may be stored as a reference pattern and enlarged at different magnifications depending on the subject distance.
  • a pattern corresponding to an infinite distance and having the same size as the Fresnel zone plate can be used as a reference.
  • FIG. 10 is a diagram illustrating a state in which the enlargement ratio of the Fresnel zone pattern varies depending on the subject distance.
  • step S120 generation of a complex image (step S120) and image reconstruction (step S130) are repeated while changing the enlargement ratio, and a focus evaluation value of the reconstructed image (for example, a luminance signal in a focus evaluation region set in the image) It is also possible to acquire a clear image by maximizing the integral value).
  • a focus evaluation value of the reconstructed image for example, a luminance signal in a focus evaluation region set in the image
  • step S130 the image processing unit 210 (Fourier transform unit 210C) reconstructs the image of the subject (spatial region image) by performing two-dimensional complex Fourier transform on the complex image as in the above-described equation (13).
  • the image processing unit 210 (display control unit 210E) displays the reconstructed image on the display unit 230 (step S140). Further, the image processing unit 210 (Fourier transform unit 210C) stores the reconstructed image in the storage unit 220 as a reconstructed image 220E.
  • FIG. 11 An image reconstruction result according to the first embodiment is shown in comparison with the prior art.
  • the part (a) of FIG. 11 is an image obtained by reconstructing the result of multiplying the projection image acquired by the real aperture (real Fresnel zone plate) by the real Fresnel zone pattern as in the prior art.
  • part (b) of FIG. 11 generates a complex image by multiplying the projection image obtained by using the complex aperture (complex Fresnel zone plate) by the method of the present invention and the complex Fresnel zone pattern. It is an image reconstructed by performing two-dimensional complex Fourier transform on the image.
  • the phase of the Fresnel zone plate for acquiring the projection image is set to 0 ° (real part) and 90 ° (imaginary part), and the Fresnel zone pattern to be multiplied by the projection image is obtained.
  • the phase is set to 0 ° (real part) and ⁇ 90 ° (imaginary part) (the above complex conjugate relationship is established).
  • the image of (a) has a large image blur and it is difficult to discriminate the subject
  • the image of (b) has an image of the image. It can be seen that a high-quality image can be acquired without using a lens with almost no blur and overlap.
  • design parameters Fesnel zone plate / pattern ⁇ , area, number of pixels, mask distance
  • FIG. 12 is a block diagram illustrating a configuration of the imaging system 20 according to the second embodiment.
  • the imaging system 20 (imaging system) includes an imaging module 102 (imaging device) and an imaging device body 200 (image processing device). Since the configuration of the imaging apparatus main body 200 is the same as that of the first embodiment, the same reference numerals are assigned and detailed description is omitted.
  • the imaging module 102 includes the same imaging units 110 and 120 (first imaging unit and second imaging unit) as the imaging module 100 in the first embodiment, and a half mirror M1 (branching optical member) that branches light incident from a subject. ). As shown in FIGS. 12 and 13, the half mirror M ⁇ b> 1 splits the light incident from the subject and enters the Fresnel zone plates 112 and 122 to form projected images on the image sensors 114 and 124.
  • the phases of the Fresnel zone plates 112 and 122 and the first and second Fresnel zone patterns can be set in the same manner as in the first embodiment described above.
  • the first and second projection images can be acquired simultaneously, and since the optical axis L3 is common to the Fresnel zone plates 112 and 122, the first and second projections are obtained. No parallax occurs in the image.
  • another mirror that reflects the light branched by the half mirror M ⁇ b> 1 and guides it to the imaging element 124 as light that passes through the half mirror M ⁇ b> 1 is inserted in the optical path of the imaging unit 120.
  • 120 may be arranged on the same plane.
  • Image processing acquisition of projection images, generation of complex images, image reconstruction, etc.
  • image processing in the imaging system 20 can be performed in the same manner as in the first embodiment (see the flowchart in FIG. 9).
  • a high-quality image can be acquired without using a lens, and the restrictions on design parameters are low.
  • FIG. 14 is a block diagram illustrating a configuration of an imaging system 30 according to the third embodiment.
  • the imaging system 30 (imaging system) includes an imaging module 103 (imaging device) and an imaging device body 200 (image processing device). Since the configuration of the imaging apparatus main body 200 is the same as that of the first and second embodiments, the same reference numerals are assigned and detailed description is omitted.
  • the imaging module 103 includes an imaging unit 131 (first imaging unit and second imaging unit).
  • the imaging unit 131 includes Fresnel zone plates 132 and 134 (first and second Fresnel zone plates) and an imaging element 136 ( A first image sensor and a second image sensor).
  • the Fresnel zone plates 132 and 134 are overlapped with their centers aligned and have a common optical axis L4, and the Fresnel zone plate 132 transmits light in the first wavelength band, and the Fresnel zone plate 134 is in the first wavelength band. Transmits light in a second wavelength band different from (see FIG. 15).
  • the light in the first wavelength band can be a red wavelength band
  • the light in the second wavelength band can be a green wavelength band.
  • the Fresnel zone plates 132 and 134 are formed as thin as possible so that the distance (the value of d described above) to the image sensor 136 for each wavelength band does not change due to the thickness of the Fresnel zone plates 132 and 134. It is preferable.
  • the first and second projection images can be acquired simultaneously. Further, since there is no deviation of the optical axis in the Fresnel zone plates 132 and 134, no parallax occurs in the first and second projected images. Furthermore, since the arrangement area of the imaging unit 131 may be one Fresnel zone plate and one imaging element, the imaging unit 131 can be reduced in size.
  • the image sensor 136 includes a first light receiving element group that receives only the first projected image in the first wavelength band and a second light receiving element group that receives only the second projected image in the second wavelength band. It is an image sensor common to the Fresnel zone plates 132 and 134 arranged discretely.
  • a color filter (for example, a red color filter) that transmits light in the first wavelength band is disposed in the first light receiving element group, and light in the second wavelength band is transmitted through the second light receiving element group.
  • a color filter (for example, a green color filter) is provided.
  • the imaging unit 131 can acquire the first and second projection images separately from the first and second light receiving element groups of the imaging element 136, respectively.
  • interpolation processing When acquiring the first and second projection images, interpolation processing according to the arrangement pattern of the color filters is performed in the same manner as demosaic processing (also referred to as synchronization processing) at the time of color image generation in a normal digital camera.
  • demosaic processing also referred to as synchronization processing
  • the shortage of the first or second projection image signal is generated in each pixel (light receiving element), and the first and second projection image signals are obtained in all the pixels.
  • Such processing can be performed by, for example, the image processing unit 210 (projected image input unit 210A).
  • Image processing acquisition of a projection image, generation of a complex image, reconstruction of an image, etc.
  • Image processing acquisition of a projection image, generation of a complex image, reconstruction of an image, etc.
  • the imaging system 30 can be performed in the same manner as in the first and second embodiments (see the flowchart in FIG. 9).
  • a high-quality image can be obtained without using a lens, and the restrictions on design parameters are low.
  • Imaging system 20 Imaging system 30 Imaging system 100 Imaging module 102 Imaging module 103 Imaging module 110 Imaging part 110 Fresnel zone plate 114 Imaging element 120 Imaging part 122 Fresnel zone plate 124 Imaging element 131 Imaging part 132 Fresnel zone plate 134 Fresnel zone plate 136 Image sensor 200 Imaging device body 210 Image processor 210A Projected image input unit 210B Complex image generator 210C Fourier transform unit 210D Information input unit 210E Display controller 210F ROM 220 Storage unit 220A Projected image 220B Fresnel zone plate information 220C Fresnel zone pattern information 220D Complex image 220E Reconstructed image 230 Display unit 240 Operation unit F Fresnel zone plate L1 Optical axis L2 Optical axis L3 Optical axis L4 Optical axis M1 Half mirror SD Shadow S100 to S140 Each step d of the image processing method Distance ⁇ Phase function ⁇ Incident

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Blocking Light For Cameras (AREA)
  • Optical Elements Other Than Lenses (AREA)

Abstract

本発明は、レンズを用いずに高画質の画像を取得でき、かつ設計パラメータに対する制約が低い撮像システム、及びそのような撮像システムを構成する撮像装置及び画像処理装置、画像処理装置で用いられる画像処理方法、及び画像処理方法をコンピュータに実現させるための記録媒体を提供することを目的とする。本発明の一の態様に係る撮像装置によれば、局所的な空間周波数の位相が異なるフレネルゾーンプレートを用いて第１，第２の投影像を取得することにより、撮像装置を含んで構成される撮像システムにおいて高画質な画像を取得（再構成）することができる。また、ノイズ成分の影響を考慮せずに設計パラメータ（フレネルゾーンプレートのピッチ、面積、イメージセンサの画素数、フレネルゾーンプレートとイメージセンサとの距離等）を選ぶことができ、設計パラメータに対する制約が低い。

Description

撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体
　本発明は撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体に関し、特にレンズなしで被写体の画像を取得する技術に関する。
　近年、Computational photographyの分野において、符号化開口方式によるレンズレスイメージングが注目を浴びている。この技術は、レンズなど光学デバイスによる結像の代わりに、結像されていない観測情報から計算によって結像画像を得るものであり、これによってこれまでのカメラにおける物理的な性能限界を超えることが可能となる。
　符号化マスク方式のレンズレスカメラは、イメージセンサの前に模様が描かれたパターンマスクを置き、物体からの入射光によってできたセンサ面上のパターンマスクの影を観測し、数値計算によって物体の結像画像を得る方式である。この方式はもともと、ガンマ線、Ｘ線などの、結像レンズを作るのが物性的に難しい波長領域において像を得るために考案されたものであり、1960年代から研究されているものである。
　パターンマスクに要請される条件は主に２点挙げることができる。（１）異なる光の入射角に対して線形独立な影となる（つまり、観測行列がフルランクとなる）必要があること。（２）画像再構成の（観測行列の逆変換を計算する）ために必要となる計算量が少ないこと。（２）に関しては、何も工夫しない場合にはピクセル数をNとしてN^2のオーダーの乗算回数という大きな計算量が必要となってしまうため、それを避けるために計算量を削減できる様々なパターンのマスク形状が考案されている。
　最近、下記の非特許文献１において、フレネルゾーンプレートをマスクパターンに用いることによって、画像再構成のための計算として単なるフーリエ変換のみによって実現できるという発表がなされた。これによって計算量は飛躍的に減少し、N×log(N)のオーダーとなり、リアルタイムな動画の撮影も可能となった。フレネルゾーンプレートを符号化開口に利用すること自体は新しいものではなく、1961年の時点において既に検討されているものであるが、非特許文献１では、影とオリジナルのパターンマスク形状を乗算することによって、位置のずれたフレネルゾーンの間において生じるモアレ（差の周波数）成分が、画面内において常に一定となることを利用している。つまり、平面波の入射に対して平面波の波面（ただし波長はフレネルゾーンプレートから定まっている）がイメージセンサ上に直接記録されるため、単なるフーリエ変換によって結像させることが可能となっている。なお、非特許文献１の技術については、非特許文献２による発表もなされている。
　また、非特許文献１，２と同様にフレネルゾーンプレートをマスクパターンに用いるレンズレスイメージング技術が知られている（特許文献１を参照）。特許文献１では、対向して配置された２つの格子パターン（フレネルゾーンプレート）に被写体からの光が入射して形成されたモアレ縞をフーリエ変換することによって、被写体の像を再構成している。
Yusuke Nakamura、Takeshi Shimano、Kazuyuki Tajima、Mayu Sao、and Taku Hoshizawa （Hitachi, Ltd.）"Lensless Light-field Imaging with Fresnel Zone Plate"、映像情報メディア学会技術報告、vol. 40, no. 40, IST2016-51, pp. 7-8, 2016年11月 "動画撮影後に容易にピント調整ができるレンズレスカメラ技術を開発"、[online]、２０１６年１１月１５日、株式会社日立製作所、［２０１７年５月８日検索］、インターネット（http://www.hitachi.co.jp/New/cnews/month/2016/11/1115.html）
ＷＯ２０１６／２０３５７３号公報
　しかしながら上述する従来の技術（非特許文献１，２、特許文献１）では、以下に説明するように、画質及び設計パラメータに関し問題があった。
　＜実数開口を用いた画像の再構成＞
　実数開口の場合、符号化開口（フレネルゾーンプレート）のパターンI(r)は、式（１）によって表現される（図１７の「撮影時マスク」を参照）。
Figure JPOXMLDOC01-appb-M000001
　I(r)の値が大きいほど、既定の波長帯域における光の透過率が大きくなっている。ｒはフレネルゾーンプレートの中心からの距離、β(＞0)はパターンの細かさ（ピッチ）を決める定数である。以下、マイナスの値を回避するために、式（２）のようにオフセットをつけて０から１の範囲に収めたI2(r)について考える。
Figure JPOXMLDOC01-appb-M000002
　この符号化開口（フレネルゾーンプレート）がセンサ面上から距離ｄだけ離れて配置されていると仮定する（図１６参照）。このとき、距離無限遠の点光源から入射角θで光（平行光）が入射したと仮定すると、符号化開口（フレネルゾーンプレートＦ）の影（図１６の影ＳＤ）はΔr(＝d×tanθ)だけ平行移動してイメージセンサ上に映る。平行移動した影S(r)は式（３）により表現される。
Figure JPOXMLDOC01-appb-M000003
　I2(r)及びS(r)は本来２次元画像であり、２変数関数であるが、ここでは簡単のため中心と入射光源を含む平面によって切断した断面上の１次元画像のみに注目して考える。しかしながら、以下の式（４）のように計算すれば容易に２次元の場合に拡張できる。
Figure JPOXMLDOC01-appb-M000004
　撮影された影画像（投影像）は、計算機上において画像復元（再構成）されて出力される。画像復元プロセスにおいて、影画像は位置ずれしていないフレネルゾーン開口画像（フレネルゾーンパターン）と乗算される。この内部乗算される関数について、ここでは以下の式（５）により表現される関数の場合を考える。なお、虚数単位をｊとする。
Figure JPOXMLDOC01-appb-M000005
　Mr(r)はI(r)と同じ実数関数であるが、オフセット（直流成分）を除去したものである（図１７の「内部乗算マスク」）。従来技術（上述した非特許文献１，２及び特許文献１）における画像の再構成は、実数開口の投影像に対して実数関数Mr(r)により表されるフレネルゾーンパターンを乗算する場合に相当する。
　内部乗算後の画像は、以下の式（６）により表現される（図１７の「乗算結果」）。
Figure JPOXMLDOC01-appb-M000006
　内部乗算画像（フレネルゾーンパターン）にMr(r)を利用した場合である乗算後画像Fr(r)について、第１項はオフセット補正などによって除去可能な成分である。第２項は重ね合わされたフレネルゾーン開口の間の「差の周波数」（撮影時の開口及び重ね合わせるパターンをcosα，cosβによって表した場合、cos(α－β)に対応；図１７の「原理」を参照）が抽出されたモアレ干渉縞である。これはフーリエ変換の基底と一致しているため、フーリエ変換を適用することによってデルタ関数に変換されて「点」となり結像に寄与する成分となる。第３項は「和の周波数」（cos(α＋β)に対応；図１７の「原理」を参照）に相当し、これはフーリエ変換しても結像に寄与せずノイズとして働いてしまう成分となる（図１７の「備考」を参照）。
　Fr(r)に対してそれぞれ適切にオフセット補正を適用し、第１項が消去された状態の画像をFr2(r)とする。これらに対して実際にフーリエ変換を適用すると、Fr(r)のフーリエ変換をfr(k)として、式（７）により表現される。
Figure JPOXMLDOC01-appb-M000007
　ここで、ξ(k,β,Δr)は実数の多項式である。これに対して複素数の絶対値をとることにより復元画像が得られるが、fr(k)の場合、第１項と第２項は原点に対称な２点を生じてしまうため、点対称に重なった復元画像となってしまう欠点がある。fr(k)の第３項はノイズとして作用し、この項にもたらす影響によって光学系の伝達関数MTF（Modulation Transfer Function）は100%とはなり得ない（これは、イメージセンサによるノイズが存在しなくともMTFが100%とならないことを意味する）。ただし、このノイズはβの値を大きくすると小さくなるため、βの値を大きくする（細かいパターンにする）ことによって影響を軽減させることは可能である。
　なお、２次元の場合について計算すると、周辺光量は（cosθ）４となり、ディストージョンは２×β×ｄ×tanθとなる（θは画角）。
　従来技術（上述した非特許文献１，２及び特許文献１）のように、実数開口の投影像に対して実数関数Mr(r)により表される内部乗算マスク（フレネルゾーンパターン）を乗算する場合についての画像処理の例を図１８の表に示す。例１はほぼ正面（距離無限遠）に点光源が存在する場合であり、例２は斜め方向（距離無限遠）に点光源が存在する場合であり、例３は例１，例２の点光源が同時に存在する場合である。図１８中、投影像は上述の式（３）、内部乗算マスクは式（５）、乗算結果は式（６）、所望信号のフーリエ変換は式（７）により表される。乗算結果は、「トータル＝所望信号＋不要成分」であり、式（６）の第２項が所望信号、第３項が不要成分となる。乗算結果のうち所望信号のみをフーリエ変換できれば図１８の「所望信号のフーリエ変換」の列に示すように点像が復元されるが、実際には不要成分が存在するため、式（７）について上述したように原点に対称な２点を生じてしまう。
　上記したように、像の重なりによる画質の劣化を避けるためには、イメージセンサの画素数、マスク距離（フレネルゾーンパターンとイメージセンサとの距離：上述したｄ）に応じてフレネルゾーンプレートの空間周波数（上述したβ）を適切に調整する必要があるが、これらの要請によって設計パラメータが大幅に制限されてしまう。また、特許文献１では、再構成した画像を半分に切り出して表示することによって像の重なりを避けているが、再構成画像の一部を切り出すのでは画角（撮影範囲）が狭くなってしまう。
　したがって、従来の技術はレンズレスイメージングにおいて高画質の画像を取得することができず、また設計パラメータも大幅に制限されていた。
　本発明はこのような事情に鑑みてなされたもので、レンズを用いずに高画質の画像を取得でき、かつ設計パラメータに対する制約が低い撮像システムを提供することを目的とする。また本発明は、その撮像システムを構成する撮像装置及び画像処理装置、画像処理装置で用いられる画像処理方法、及び画像処理方法をコンピュータに実現させるための記録媒体を提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る撮像装置は、実部の画像と虚部の画像とからなる複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する撮像システムに使用される撮像装置であって、被写体からの光を入射する第１のフレネルゾーンプレートと、第１のフレネルゾーンプレートを透過した第１の投影像が入射する第１のイメージセンサとを有し、第１のイメージセンサから第１の投影像を取得する第１の撮像部と、被写体からの光を入射する第２のフレネルゾーンプレートであって、第１のフレネルゾーンプレートとは各領域における局所的な空間周波数の位相が異なる第２のフレネルゾーンプレートと、第２のフレネルゾーンプレートを透過した第２の投影像が入射する第２のイメージセンサとを有し、第２のイメージセンサから第２の投影像を取得する第２の撮像部と、を備え、第１の撮像部により取得された第１の投影像及び第２の撮像部により取得された第２の投影像は、複素画像を生成するためのものである。撮像システムは取得した第１の投影像及び第２の投影像を使用して複素画像を生成する。
　第１の態様では、各領域における局所的な空間周波数の位相が異なるフレネルゾーンプレートを用いて第１，第２の投影像を取得することにより、撮像装置を含んで構成される撮像システムにおいてこれら投影像から生成される複素画像を復元（２次元複素フーリエ変換）して広い画角において高画質な画像を取得（再構成）することができる。また、上述した「和の周波数」（ノイズ成分）の影響を考慮せずに設計パラメータ（フレネルゾーンプレートのピッチ、面積、イメージセンサの画素数、フレネルゾーンプレートとイメージセンサとの距離等）を選ぶことができ、設計パラメータに対する制約が低い。
　フレネルゾーンプレートには、各領域における局所的な空間周波数に起因して、被写体光を透過する領域と遮光する領域とが同心円状に繰り返して縞状のパターンが形成される。また、第１の態様及び以下の各態様において、「フレネルゾーンプレート」は被写体光の透過率が中心からの距離に応じて連続的に変化するゾーンプレート、及びそのゾーンプレートに対し透過率のしきい値を設けて透過率が不連続に（透過または不透過）変化するゾーンプレートを含む。
　第１の態様において、第１，第２の投影像は第１，第２のフレネルゾーンプレートを用いて同時に撮影してもよいし、第１，第２のフレネルゾーンプレートを順次切り替えて撮影してもよい。
　第２の態様に係る撮像装置は第１の態様において、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとは、７０°以上１１０°以下の範囲内で正または負の方向に局所的な空間周波数の位相がずれている。第２の態様は、第１，第２のフレネルゾーンプレートの好ましい位相ずれの範囲を規定するものである。この範囲において、位相ずれが９０°に近いことがさらに好ましい。
　第３の態様に係る撮像装置は第１または第２の態様において、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとは、同一平面上に並べて配置される。第３の態様は第１，第２のフレネルゾーンプレートの配置の１つの態様を規定するものであり、これにより第１，第２の投影像を同時に取得することができる。なお第３の態様は、第１，第２のフレネルゾーンプレートが完全な同一平面上に配置される場合のみならず、第１，第２のフレネルゾーンプレートが配置される面が、取得する画像の画質に応じて許容される範囲内でずれている場合をも含むものとする。
　第４の態様に係る撮像装置は第１または第２の態様において、被写体から入射する光を分岐させる分岐光学部材をさらに備え、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとは、それぞれ分岐光学部材により分岐された被写体からの光を入射する。第４の態様は第１，第２のフレネルゾーンプレートの配置の他の態様を規定するものであり、これにより第１，第２の投影像を同時に取得することができる。また第１，第２のフレネルゾーンプレートで光軸のずれがないため、第１，第２の投影像に視差が発生しない。
　第５の態様に係る撮像装置は第１または第２の態様において、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとは重ね合わされ、かつ第１のフレネルゾーンプレートは第１の波長帯域の光を透過させ、第２のフレネルゾーンプレートは第１の波長帯域とは異なる第２の波長帯域の光を透過させ、第１のイメージセンサと第２のイメージセンサとは、第１の波長帯域の第１の投影像のみを受光する第１の受光素子群と第２の波長帯域の第２の投影像のみを受光する第２の受光素子群とが離散的に配置された共通のイメージセンサであり、第１の撮像部及び第２の撮像部は、共通のイメージセンサから第１の投影像と第２の投影像とを分離して取得する。
　第５の態様は第１，第２のフレネルゾーンプレートの配置のさらに他の態様を規定するものであり、これにより第１，第２の投影像を同時に取得することができる。また第１，第２のフレネルゾーンプレートで光軸のずれがないため、第１，第２の投影像に視差が発生しない。さらに、配置面積がフレネルゾーンプレート及びイメージセンサ１個分でよいため、撮像部を小型化することができる。なお第５の態様では、例えば第１，第２の波長帯域のみを透過させるカラーフィルタをイメージセンサの第１，第２の受光素子群にそれぞれ配設することにより、第１，第２の投影像を分離して受光することができる。
　上述した目的を達成するため、本発明の第６の態様に係る画像処理装置は、第１から第５の態様のいずれか１つに係る撮像装置が取得した第１の投影像及び第２の投影像を入力する投影像入力部と、入力した第１の投影像及び第２の投影像と予め設定されたフレネルゾーンパターンとを乗算し、複素画像を生成する複素画像生成部と、生成された複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成するフーリエ変換部と、を備える。第６の態様に係る画像処理装置では、第１から第５の態様のいずれか１つに係る撮像装置が取得した投影像にフレネルゾーンパターン（内部乗算フレネルゾーンパターン）を乗算して複素画像を生成し、生成した複素画像を２次元複素フーリエ変換するので、入力した投影像に基づいて高画質な画像を再構成でき、また設計パラメータに対する制約が低い。なお、第６の態様では複数の投影像（第１，第２の投影像）を入力するので、投影像に乗算するフレネルゾーンパターンが１種類でも複数でも複素画像を生成することができる。
　第６の態様において、第１，第２の投影像を取得する際に用いた第１，第２のフレネルゾーンプレートの局所的な空間周波数の情報（ピッチ）を取得し、取得した情報を画像の再構成に用いることが好ましい。
　第７の態様に係る画像処理装置は第６の態様において、複素画像生成部は、合焦させる被写体距離に応じて拡大率の異なるフレネルゾーンパターンを使用して複素画像を生成する。フレネルゾーンプレートにより形成される投影像は被写体（光源）の距離に応じて異なる大きさとなるので、乗算するフレネルゾーンパターンの拡大率もこれに応じて異なることが好ましい。第７の態様のように、合焦させる被写体距離に応じて拡大率の異なる第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンを使用して複素画像を生成することで、ボケの少ない鮮明な画像を得ることができる。
　第８の態様に係る画像処理装置は第６または第７の態様において、フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとの局所的な空間周波数の位相ずれとは逆方向に各領域における局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、複素画像生成部は、入力した第１の投影像及び第２の投影像と第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンとを乗算し、複素画像を生成する。第８の態様によれば、ノイズとなる「和の周波数」の成分が少なく高画質な画像を再構成することができる。なお「局所的な空間周波数の位相が逆方向にずれた」とは、第２のフレネルゾーンプレートの位相ずれが正の方向ならば第１，第２のフレネルゾーンパターンの位相ずれは負の方向であり、第１，第２のフレネルゾーンプレートの位相ずれが負の方向ならば第１，第２のフレネルゾーンパターンの位相ずれは正の方向であることを意味する。
　第９の態様に係る画像処理装置は第８の態様において、第１のフレネルゾーンパターンと第２のフレネルゾーンパターンとは、７０°以上１１０°以下の範囲内で負または正の方向に局所的な空間周波数の位相がずれている。第９の態様は、第１，第２のフレネルゾーンパターンの好ましい位相ずれの範囲を規定するものである。この範囲において、位相ずれが９０°に近いことがさらに好ましい。
　第１０の態様に係る画像処理装置は第８または第９の態様において、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンと第１のフレネルゾーンプレート及び第２のフレネルゾーンプレートとは複素共役の関係が成り立つ。第１，第２のフレネルゾーンパターンは、第６の態様について上述したように内部乗算フレネルゾーンパターンであり、フレネルゾーンプレートに対して複素共役となっている。第１０の態様によれば、投影像とフレネルゾーンパターンとの乗算結果から「差の周波数」の成分（結像に寄与する成分であり、ノイズとなる「和の周波数」の成分を含まない）を取り出すことができ、高画質の画像を得ることができる。
　上述した目的を達成するため、本発明の第１１の態様に係る撮像システムは、第１から第５の態様のいずれか１つに係る撮像装置と、第６から第１０の態様のいずれか１つに係る画像処理装置と、を備える。第１１の態様によれば、第１から第５の態様のいずれか１つに係る撮像装置と、第６から第１０の態様のいずれか１つに係る画像処理装置とにより、レンズを用いずに高画質の画像を取得することができ、かつ設計パラメータに対する制約が低い。なお、第１１の態様において撮像装置は画像処理装置に固定してもよいし、画像処理装置に対して交換可能にしてもよい。
　上述した目的を達成するため、本発明の第１２の態様に係る画像処理方法は、第１から第５の態様のいずれか１つに係る撮像装置が取得した第１の投影像及び第２の投影像を入力するステップと、入力した第１の投影像及び第２の投影像と予め設定されたフレネルゾーンパターンとを乗算し、複素画像を生成するステップと、生成された複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成するステップと、を含む。第１２の態様によれば、第６の態様と同様に高画質な画像を取得することができ、また設計パラメータに対する制約が低い。
　第１３の態様に係る画像処理方法は第１２の態様において、フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとの局所的な空間周波数の位相ずれとは逆方向に各領域における局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、複素画像を生成するステップは、入力した第１の投影像及び第２の投影像と第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンとを乗算し、複素画像を生成する。第１３の態様によれば、第８の態様と同様にノイズとなる「和の周波数」の成分が少なく高画質な画像を再構成することができる。
　上述した目的を達成するため、本発明の第１４の態様に係る記録媒体は、第１から第５の態様のいずれか１つに係る撮像装置が取得した第１の投影像及び第２の投影像を入力する機能と、入力した第１の投影像及び第２の投影像と予め設定されたフレネルゾーンパターン（内部乗算フレネルゾーンパターン）とを乗算し、複素画像を生成する機能と、生成された複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成する機能と、をコンピュータに実現させる画像処理プログラムのコンピュータ読み取り可能なコードが記録された記録媒体である。第１４の態様によれば、各機能をコンピュータに実現させることにより第６の態様と同様に高画質の画像を再構成することができ、また設計パラメータに対する制約が低い。
　第１５の態様に係る記録媒体は第１４の態様において、フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、第１のフレネルゾーンプレートと第２のフレネルゾーンプレートとの局所的な空間周波数の位相ずれとは逆方向に局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、複素画像を生成する機能は、入力した第１の投影像及び第２の投影像と第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンとを乗算し、複素画像を生成する。第１５の態様によれば、第８の態様と同様にノイズとなる「和の周波数」の成分が少なく高画質な画像を再構成することができる。
　以上説明したように、本発明の撮像システムによればレンズを用いずに高画質の画像を取得することができ、かつ設計パラメータに対する制約が低い。そのような撮像システムは本発明の撮像装置及び画像処理装置により構成することができ、画像処理装置では本発明の画像処理方法、記録媒体を用いることができる。
図１は、複素数開口による結像の原理を説明するための図である。 図２は、フレネルゾーン開口の定義式の一般形を説明するための図である。 図３は、第１の実施形態に係る撮像システムの構成を示すブロック図である。 図４は、フレネルゾーンプレートの例を示す図である。 図５は、第１の実施形態におけるフレネルゾーンプレートを示す図である。 図６は、位相が異なるフレネルゾーンプレートの例を示す図である。 図７は、画像処理部の構成を示す図である。 図８は、記憶部に記憶される画像及び情報を示す図である。 図９は、第１の実施形態に係る画像処理方法を示すフローチャートである。 図１０は、合焦させる被写体距離に応じて拡大率の異なるフレネルゾーンパターンを用いる様子を示す図である。 図１１は、従来技術及び本発明による画像の再構成例を示す図である。 図１２は、第２の実施形態に係る撮像システムの構成を示すブロック図である。 図１３は、被写体からの光を光学部材で分岐させて第１，第２のフレネルゾーンプレートに入射させる様子を示す図である。 図１４は、第３の実施形態に係る撮像システムの構成を示す図である。 図１５は、透過波長を変えたフレネルゾーンプレートを重ね合わせる様子を示す図である。 図１６は、投影像が平行移動してイメージセンサ上に写る様子を示す図である。 図１７は、実数開口による結像の原理を説明するための図である。 図１８は、実数開口による結像の原理を説明するための他の図である。
　以下、添付図面を参照しつつ、本発明に係る撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体の実施形態について説明する。
　＜本発明における画像の復元＞
　まず、本発明における複素数のフレネルゾーン開口（フレネルゾーンプレート）を用いた画像の復元（再構成）について説明する。この場合、符号化開口のパターン（フレネルゾーンパターン）I(r)は、式（８）の複素関数であるものとする。
Figure JPOXMLDOC01-appb-M000008
　以下、マイナスの値を回避するために、式（９）のようにオフセットをつけて０から１の範囲に収めたI3(r)について考える。
Figure JPOXMLDOC01-appb-M000009
　実際には、複素数の開口を作ることは不可能であるため、I3(r)の実部と虚部のそれぞれの符号化開口（図１の「撮影時マスク」の実数部と虚数部）について影画像（投影像）を取得し、２チャネルの画像を得る必要がある。マスクの影は上述した実数開口の場合（図１６参照）と同様にΔr(＝ｄ×tanθ)だけ平行移動してイメージセンサ上に映るものとする。
Figure JPOXMLDOC01-appb-M000010
本発明において、画像復元において計算機上で乗算される画像（フレネルゾーンパターン）は、次式に示すように、符号化開口のパターンであるI(r)の複素共役となるように選ぶのが良い（図１の「内部乗算マスク」を参照）。これは、虚部の符号を反転させて、影画像との差の周波数を取り出すためである。
Figure JPOXMLDOC01-appb-M000011
このとき、乗算後画像は次式のように表現される（図１の「乗算結果」を参照）。
Figure JPOXMLDOC01-appb-M000012
　F(r)において、第１項はオフセット補正によって除去可能な成分である。第２項は「差の周波数」に相当する項であり、フーリエ変換の基底と一致しているため、フーリエ変換を適用することによってデルタ関数に変換されて「点」となり結像に寄与する成分となる。注目すべきは、この場合にはノイズ項（和の周波数）が発生しない点である（図１の「備考」を参照）。実数の乗算においては、三角関数の和積の公式により、差の周波数と和の周波数の両者が同時に発生してしまいノイズとなってしまうが（図１７の「原理」を参照）、複素数どうしの乗算においては、差の周波数のみを抽出させられるためである（図１の「原理」を参照）。このため、理論的にはMTF100%に到達可能な撮像処理が可能となる。
　F(r)に対してそれぞれ適切にオフセット補正を適用し、第１項が消去された状態の画像をF3(r)とする。これらに対して実際にフーリエ変換を適用すると、フーリエ変換後の画像をf(k)として、次のように表現される。
Figure JPOXMLDOC01-appb-M000013
　位相は光の入射角に依存して回転してしまうが、これに対して複素数の絶対値をとると、無限遠光の到来に対応してデルタ関数（点）に結像することが確認できる。入射光の角度スペクトルから結像画像までの演算は全て線形であるため、重ね合わせが成り立ち、これによって画像の結像が説明できる。
　＜複素開口フレネルゾーンのメリット＞
　本発明のように複素数のフレネルゾーン開口を用いた場合、原理的にノイズ項が発生せず、MTF100%を達成できる。ノイズ項が発生しないため像の重なりがなく、上述した特許文献１のように再構成画像の一部を切り出す必要がないため、広い画角で高画質な画像を取得することができる。また、実数開口の場合、差の周波数と和の周波数の成分が混ざらないようにβの値を調整する必要があるが、複素開口の場合には和の周波数の影響について考慮せずに自由に設計パラメータ（β、面積、画素数、マスク距離）を選ぶことができる。実数の場合には結像させるのが難しかったパラメータ設定においても結像させることができる。
　＜フレネルゾーン開口の定義式の一般形＞
　フーリエ変換で画像復元が可能であるためには、平行移動した影パターン（投影像）と元のパターン（フレネルゾーンプレート）の間の差の空間周波数が画像上の任意の場所において一定値とならなければならない。（周波数が全画面内同一値であればフーリエ変換の基底関数と一致する。）それを満たすためにはマスクパターンの位相関数Φ(r)は、「位相→周波数」と「位置ずらし」の２回の微分の適用後に一定値となっている必要があるため、逆に２回積分することによって、式（１４）のような２次関数となっていなくてはならないことが分かる。
Figure JPOXMLDOC01-appb-M000014
　ただし、一般に位相はなるべく進ませない方がマスクパターンの空間周波数が少なくて済むため、α＝γ＝０が適している。
　このような一般形導出の様子を図２を参照して説明する。図２の（ａ）部分に示すフレネルゾーンプレートの式の位相部分である図２の（ｄ）部分の式をｒについて微分すると、（ｅ）部分に示すようにｙ＝２βｒとなる。投影像の並行移動量は上述のようにｄ×ｔａｎθであるから、差の周波数（所望信号、モアレ干渉縞に対応）は（ｃ）部分に示すようにｙ＝２βｒ－２β（ｒ－ｄ×ｔａｎθ）＝２β×ｄ×ｔａｎθとなり、和の周波数（不要成分、ノイズに対応）は（ｆ）部分に示すようにｙ＝２βｒ＋２β（ｒ－ｄ×ｔａｎθ）＝４βｒ－２β×ｄ×ｔａｎθとなる。（ｃ）部分に示す「差の周波数」が定数となればフーリエ変換で復元可能なので、ｙ＝２β×ｄ×ｔａｎθをｒについて２回積分すると、（ｂ）部分及び上述の式（１７）に示す一般形が得られる。
　＜第１の実施形態＞
　本発明の第１の実施形態について以下に説明する。
　＜撮像システムの構成＞
　図３は第１の実施形態に係る撮像システム１０（撮像システム）の構成を示すブロック図である。撮像システム１０は、撮像モジュール１００（撮像装置）と撮像装置本体２００（画像処理装置）とを備える。撮像システム１０は、後述するように、実部の画像と虚部の画像とからなる複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する撮像システムである。なお、撮像システム１０はデジタルカメラ、スマートフォン、タブレット端末、監視カメラ等に適用することができる。
　＜撮像モジュールの構成＞
　撮像モジュール１００は、撮像部１１０，１２０を含む。撮像部１１０（第１の撮像部）は、フレネルゾーンプレート１１２（第１のフレネルゾーンプレート）及び撮像素子１１４（第１のイメージセンサ）を備え、被写体からの光がフレネルゾーンプレート１１２を透過して撮像素子１１４に入射した投影像（第１の投影像）を撮像素子１１４から取得する。フレネルゾーンプレート１１２は中心が撮像素子１１４の中心と一致し、かつ撮像素子１１４の受光面と平行な状態において撮像素子１１４の受光面側に配置される。撮像部１１０は光軸Ｌ１を有する。
　同様に、撮像部１２０（第２の撮像部）は、フレネルゾーンプレート１２２（第２のフレネルゾーンプレート）と撮像素子１２４（第２のイメージセンサ）とを備え、被写体からの光がフレネルゾーンプレート１２２を透過して撮像素子１２４に入射した投影像（第２の投影像）を撮像素子１２４から取得する。フレネルゾーンプレート１２２は、中心が撮像素子１２４の中心と一致し、かつ撮像素子１２４の受光面と平行な状態において撮像素子１２４の受光面側に配置される。撮像部１２０は光軸Ｌ２を有する。
　フレネルゾーンプレート１１２とフレネルゾーンプレート１２２とは、後述するように各領域における局所的な空間周波数の位相がずれており、この局所的な空間周波数に起因して、被写体光を透過する領域と遮光する領域とが同心円状に繰り返して縞状のパターンが形成される。また、フレネルゾーンプレート１１２，１２２は同一平面上に並べて配置される。ここで「同一平面上に配置される」とは、フレネルゾーンプレート１１２，１２２が完全に同一の平面上に配置される場合のみならず、フレネルゾーンプレート１１２，１２２が配置される面が、取得する画像の画質に応じて許容される範囲内でずれている（並行ずれ、回転ずれがある）場合をも含むものとする。
　なお、撮像モジュール１００は撮像装置本体２００に固定してもよいし、交換可能にしてもよい。また、フレネルゾーンプレート１１２，１２２を撮像部１１０，１２０に対し交換可能にしてもよい。このように、特性（大きさ、ピッチ、位相、イメージセンサとの距離等）の異なるフレネルゾーンプレートを使い分けることによって、取得する投影像の特性（画角、深度（距離測定精度）等）を制御し、所望の特性の画像を再構成することができる。なお、以下の説明においてフレネルゾーンプレート１１２，１２２を“ＦＺＰ”（Fresnel Zone Plate）と記載することがある。
　＜フレネルゾーンプレートの構成＞
　図４の（ａ）部分は、フレネルゾーンプレート１１２，１２２の例であるＦＺＰ１を示す図である。ＦＺＰ１では、入射する光の透過率が中心からの距離に応じて連続的に変化しており、白色に近い領域（透過領域）ほど光の透過率が高く、黒色に近い領域（遮光領域）ほど光の透過率が低い。全体としては透過領域と遮光領域とが交互に同心円状に配置されて上述した縞状のパターンを形成しており、これら透過領域及び遮光領域がフレネルゾーンプレートを構成する。同心円の間隔は、ＦＺＰ１の中心から周辺に向かうにつれて狭くなる。このような同心円状のパターン（局所的な空間周波数の変化）は上述した式（８），（９）等により表され、これらの式における同心円の細かさを「ピッチ」と呼ぶ。ピッチは上述したβの値によって定まり、βが小さいと粗いパターンになり、βが大きいと細かいパターンになる。撮像モジュール１００にメモリを設けてピッチの情報（βの値）を記憶しておき、画像処理部２１０（情報入力部２１０Ｄ：図７参照）がこの情報を取得して画像の再構成に使用してもよい。
　ＦＺＰ（フレネルゾーンプレート１１２，１２２）の光軸Ｌ１，Ｌ２（図３参照）は、ＦＺＰ及び撮像素子１１４，１２４の中心を通りＦＺＰ及び撮像素子１１４，１２４の受光面と垂直な軸である。ＦＺＰは撮像素子１１４，１２４に近接（例えば、１ｍｍ程度）して配置されるが、ＦＺＰと撮像素子１１４，１２４との距離によっては光の回折により投影像がぼけるので、離しすぎないことが好ましい。
　図４の（ｂ）部分は、ＦＺＰの他の例であるＦＺＰ２を示す図である。ＦＺＰ２は、ＦＺＰ１に対して透過率にしきい値を設定して、透過率がしきい値を超える領域は透過率１００％の透過領域（白色の部分）、しきい値以下の領域は透過率０％の遮光領域（黒色の部分）としたものであり、透過率が中心からの距離に応じて不連続的に（０％または１００％の２段階に）変化する。全体としては透過領域と遮光領域とが交互に同心円状に配置されて上述した縞状のパターンを形成しており、これら透過領域及び遮光領域がフレネルゾーンプレートを構成する。このように、本発明における「フレネルゾーンプレート」はＦＺＰ１のような態様及びＦＺＰ２のような態様を含み、またこれに対応して、本発明における「フレネルゾーンパターン」も透過率が連続的に変化するパターン及び透過率が不連続に変化するパターンを含む。なお、図４に示すようなフレネルゾーンプレートの周辺部分に遮光部（遮光領域と同様に、光が透過しない領域）を設けて、撮像素子１１４，１２４の周辺部分に不要な光が入射するのを防止してもよい。
　＜フレネルゾーンプレートの位相＞
　フレネルゾーンプレート１１２は、例えば図５の（ａ）部分に示すパターン（中心での局所的な空間周波数の位相が０°）とすることができる。また、フレネルゾーンプレート１２２は、例えば図５の（ｂ）部分に示すパターン（フレネルゾーンプレート１１２とピッチが同じであり、中心での局所的な空間周波数の位相が正の方向に９０°ずれている）とすることができる。なお、複素開口は式（８），（９）により表され、実部、虚部はそれぞれcos（βｒ２）、sin（βｒ２）となるので、フレネルゾーンプレート１１２，１２２（実部の画像用、虚部の画像用）の位相ずれはπ／２，すなわち９０°であることが最も好ましく、次いで９０°にできるだけ近いことが好ましい。しかしながら、位相ずれが９０°でなくでも、正または負に７０°以上１１０°以下の範囲であれば鮮明な画像を再構成することができる。また、フレネルゾーンプレート１１２は中心での局所的な空間周波数の位相を０°としているが、フレネルゾーンプレート１１２，１２２の間の位相のずれが上述の条件を満たすのであれば、フレネルゾーンプレート１１２の中心での位相は０°に限定されない。なお、°は角度の単位を表す。
　＜フレネルゾーンプレートの例＞
　位相が異なるフレネルゾーンプレートの例を図６に示す。図６の１行目は、左から順に中心での位相がそれぞれ０°，１０°，２０°，３０°，４０°，５０°のフレネルゾーンプレートのパターン（局所的な空間周波数のパターン）を示す。以下、２行目は、中心での位相がそれぞれ６０°，７０°，７５°，８０°，９０°，１００°のフレネルゾーンプレートのパターンを示す。３行目は、中心での位相がそれぞれ１０５°，１１０°，１２０°，１３０°，１４０°，１５０°のフレネルゾーンプレートのパターンを示す。４行目は、中心での位相がそれぞれ１６０°，１７０°，１８０°，１９０°，２００°，２１０°のフレネルゾーンプレートのパターンを示す。５行目は、中心での位相がそれぞれ２２０°，２３０°，２４０°，２５０°，２６０°，２７０°のフレネルゾーンプレートのパターンを示す。６行目は中心での位相がそれぞれ２８０°，２９０°，３００°，３１０°，３２０°，３３０°のフレネルゾーンプレートのパターンを示す。７行目は、中心での位相がそれぞれ３４０°，３５０°，３６０°のフレネルゾーンプレートのパターンを示す。なお、投影像に乗算するフレネルゾーンパターンについても、位相とパターンとの関係は図６の例と同じである。
　＜撮像素子の構成＞
　撮像素子１１４，１２４は、２次元方向に（二次元状に）に配列された光電変換素子により構成される複数の画素を有するイメージセンサである。各画素にマイクロレンズを設けて集光効率を上げてもよい。また、各画素にカラーフィルタ（例えば赤色、青色、及び緑色）を配設してカラー画像を再構成できるようにしてもよい。
　＜撮像装置本体の構成＞
　撮像装置本体２００は画像処理部２１０と、記憶部２２０と、表示部２３０と、操作部２４０とを備え、撮像モジュール１００が取得した投影像に基づく被写体の画像復元等を行う。
　図７は画像処理部２１０の構成を示す図である。画像処理部２１０は、投影像入力部２１０Ａ（投影像入力部）と、複素画像生成部２１０Ｂ（複素画像生成部）と、フーリエ変換部２１０Ｃ（フーリエ変換部）と、情報入力部２１０Ｄ（情報入力部）と、表示制御部２１０Ｅ（表示制御部）と、を有する。投影像入力部２１０Ａは、撮像モジュール１００（撮像部１１０，１２０）を制御して、被写体からの光がＦＺＰに入射して撮像素子１１４，１２４に形成された第１，第２の投影像を撮像素子１１４，１２４からそれぞれ取得する。複素画像生成部２１０Ｂは、第１，第２の投影像と予め設定されたフレネルゾーンパターン（後述）とを乗算して、実部の画像と虚部の画像とからなる複素画像を生成する。フーリエ変換部２１０Ｃは、複素画像を２次元複素フーリエ変換して空間領域の画像を再構成する。情報入力部２１０Ｄは、投影像の取得に用いたフレネルゾーンプレート１１２，１２２の情報（ピッチの情報）を取得する。表示制御部２１０Ｅは、投影像、複素画像、再構成画像等の表示部２３０への表示制御を行う。ＲＯＭ２１０Ｆ（Read Only Memory）（非一時的記録媒体）には、本発明に係る画像処理方法を実行するための画像処理プログラム等、撮像システム１０が動作するための各種プログラムのコンピュータ読み取り可能なコードが記録される。
　上述した画像処理部２１０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェア（本発明に係る画像処理方法を実行するための画像処理プログラムを含む）のプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ２１０Ｆ（図７を参照）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。ＲＯＭ２１０Ｆではなくハードディスク、各種光磁気記録装置等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータが参照される。なお、図７ではＲＡＭ，ＥＥＰＲＯＭ等のデバイスの図示は省略する。
　＜記憶部の構成＞
　記憶部２２０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体により構成され、図８に示す画像及び情報を互いに関連づけて記憶する。投影像２２０Ａは、撮像モジュール１００から取得した投影像（第１，第２の投影像）である。フレネルゾーンプレート情報２２０Ｂはフレネルゾーンプレート１１２，１２２の局所的な空間周波数の情報（βの値等のピッチ情報を含む）である。フレネルゾーンプレート情報２２０Ｂは撮像モジュール１００から取得した情報でもよいし、操作部２４０を介して入力した情報でもよい。フレネルゾーンパターン情報２２０Ｃはフレネルゾーンパターンを示す情報であり、局所的な空間周波数の位相が異なる複数のフレネルゾーンパターンについて記録することが好ましい。複素画像２２０Ｄは、フレネルゾーンパターン情報２２０Ｃが示すフレネルゾーンパターンを投影像（第１，第２の投影像）に乗算して生成された、実部の画像と虚部の画像とからなる複素画像である。再構成画像２２０Ｅは、複素画像２２０Ｄを２次元複素フーリエ変換して得られた空間領域の画像である。
　＜表示部及び操作部の構成＞
　表示部２３０は図示せぬ液晶ディスプレイ等の表示装置を含んで構成され、投影像、複素画像、再構成画像等を表示するとともに、操作部２４０を介した指示入力時のＵＩ（User Interface）用の画面表示にも用いられる。操作部２４０は図示せぬキーボード、マウス、ボタン等のデバイスにより構成され、ユーザはこれらデバイスにより投影像取得指示、画像再構成指示、合焦距離の条件、局所的な空間周波数の情報（ピッチ、位相）等を入力することができる。なお、表示部２３０の表示装置をタッチパネルにより構成し、画像表示の他に操作部２４０として用いてもよい。
　＜撮像システムによる画像処理＞
　上述した構成の撮像システム１０による画像処理について説明する。図９は本実施形態に係る画像処理方法の手順を示すフローチャートである。
　＜投影像の入力＞
　ステップＳ１００では、画像処理部２１０（投影像入力部２１０Ａ）が撮像モジュール１００を制御して、撮像素子１１４，１２４から投影像を取得する。取得する投影像は、被写体からの光がフレネルゾーンプレート１１２，１２２に入射して撮像素子１１４，１２４に形成された投影像（第１，第２の投影像）であり、これらの投影像は画像処理部２１０（投影像入力部２１０Ａ）の制御により同時に取得することができる。撮像素子１１４，１２４にカラーフィルタが配設されている場合、第１，第２の投影像の取得に際しては、通常のデジタルカメラにおけるカラー画像生成の際のデモザイク処理（同時化処理ともいう）と同様に、カラーフィルタの配列パターンに応じた補間処理が行われる。これにより各画素（受光素子）で不足した色の信号が生成され、全画素において各色（例えば赤色、青色、及び緑色）の信号が得られる。このような処理は、例えば画像処理部２１０（投影像入力部２１０Ａ）により行うことができる。
　＜局所的な空間周波数の情報＞
　ステップＳ１１０では、画像処理部２１０（情報入力部２１０Ｄ）が投影像取得に用いたフレネルゾーンプレート１１２，１２２の局所的な空間周波数の情報（フレネルゾーンプレート１１２，１２２のピッチ）を入力する。この情報は撮像モジュール１００の図示せぬメモリから入力してもよいし、操作部２４０に対するユーザの操作に応じて入力してもよい。また、ステップＳ１００で取得した投影像を情報入力部２１０Ｄが解析して入力してもよい。ピッチは上述した式（８），（９）等におけるβの値により定まるので、具体的にはβの値を入力すればよい。なお、既知の被写体（例えば、距離無限遠の点光源）を撮影した場合は、撮影画像を解析することによりピッチ（βの値）を取得することができる。また、ピッチ（βの値）を変えながら画像の再構成を繰り返し、鮮明な画像が得られる値を求めてもよい。
　＜複素画像の生成＞
　ステップＳ１２０では、画像処理部２１０（複素画像生成部２１０Ｂ）が第１の投影像に第１のフレネルゾーンパターンを乗算して実部の画像を生成し、第２の投影像に第２のフレネルゾーンパターンを乗算して虚部の画像を生成し、これにより実部の画像と虚部の画像とからなる複素画像を生成する。ステップＳ１２０で乗算されるフレネルゾーンパターンは、記憶部２２０に記憶されたパターン（フレネルゾーンパターン情報２２０Ｃ）のうちステップＳ１１０で入力したピッチ（βの値）に応じて選択したパターンを用いることができる。また、記憶部２２０に記憶されたパターンをピッチ（βの値）に応じて変化（必要に応じて拡大または縮小してよい）させたパターンを用いることもできる。画像処理部２１０（複素画像生成部２１０Ｂ）は、生成した複素画像を複素画像２２０Ｄとして記憶部２２０に記憶する。
　＜フレネルゾーンパターンの位相＞
　フレネルゾーンプレート１１２，１２２の中心での局所的な空間周波数の位相が図５のようにそれぞれ０°，９０°である場合、第１，第２のフレネルゾーンパターンの中心での局所的な空間周波数の位相は、それぞれ０°，－９０°とすることができる。この場合、フレネルゾーンプレートの局所的な空間周波数の位相のずれは正の方向であり、フレネルゾーンパターンの局所的な空間周波数の位相のずれは、フレネルゾーンプレートとは逆方向の負の方向である。また、投影像に乗算されるフレネルゾーンパターンはフレネルゾーンプレートとの間で複素共役の関係（位相ずれの大きさが同じで、ずれの方向が逆方向）が成り立つ。すなわち、式（１１）について上述したように、第１，第２のフレネルゾーンパターン（内部乗算フレネルゾーンパターン）は、フレネルゾーンプレート１１２，１２２に対して複素共役となっている。これにより、虚部の符号を反転させて投影像との差の周波数を取り出すことができる。
　画像処理部２１０（複素画像生成部２１０Ｂ）がこれら第１，第２のフレネルゾーンパターンを第１，第２の投影像にそれぞれ乗算することにより、実部の画像及び虚部の画像からなる複素画像が得られる。なお、複素数の内部乗算マスクは式（１１）により表され、実部、虚部はそれぞれcos（βｒ２）、sin（βｒ２）となるので、第１，第２のフレネルゾーンパターンの位相ずれはπ／２，すなわち９０°であることが最も好ましく、次いで９０°にできるだけ近いことが好ましい。しかしながら、フレネルゾーンパターンの局所的な空間周波数の位相のずれが負または正に（フレネルゾーンプレート１１２，１２２の位相ずれと逆方向に）７０°以上１１０°以下の範囲であれば鮮明な画像を再構成することができる。なお、第１，第２のフレネルゾーンパターンの中心での局所的な空間周波数の位相をそれぞれ０°，－９０°とする場合について説明したが、第１，第２のフレネルゾーンパターンの間の位相のずれが上述の条件を満たすのであれば、第１，第２のフレネルゾーンパターンの中心での位相は０°，－９０°に限定されない。
　フレネルゾーンパターンを用いるに際しては、位相の異なる複数のフレネルゾーンパターンのデータをフレネルゾーンパターン情報２２０Ｃとして記憶部２２０に記憶しておき所望のパターンを選択して用いてもよいし、画像処理部２１０（複素画像生成部２１０Ｂ）がピッチ及び位相の情報に基づいて所望のパターンを生成してもよい。各位相のフレネルゾーンパターンは、上述のように図６の例と同様である。このようなフレネルゾーンパターンは電子データであるフレネルゾーンパターン情報２２０Ｃ（内部乗算フレネルゾーンパターン）として記憶部２２０に記憶されるので、所望のパターンの選択及び生成を迅速かつ容易に行うことができる。また、複数のパターンに対応するプレート（基板）を有体物として保持することによる装置の大型化、製作コストの増加、複数のパターン間での特性のばらつき（製造時のばらつき、経時変化、温度変化を含む）による画質の劣化等の問題がない。
　なお、上述の例では複数のフレネルゾーンパターンを用いる場合について説明したが、本発明では複素開口（フレネルゾーンプレート１１２，１２２）を用いるので、単一のフレネルゾーンパターンを第１，第２の投影像に乗じることによっても、実部の画像と虚部の画像とからなる複素画像を生成して画像を再構成することができる。
　＜フレネルゾーンパターンの拡大率＞
　被写体（光源）が無限遠方に存在する場合は、フレネルゾーンプレート１１２，１２２には平行光が入射し、撮像素子１１４，１２４に形成される投影像はフレネルゾーンプレート１１２，１２２と同じ大きさになるが、被写体が有限距離に存在する場合は広がりを持った光が入射し、距離が近いほど投影像が大きくなる。したがって、合焦させる被写体距離に応じて拡大率が異なるパターンを第１，第２のフレネルゾーンパターンとして使用することにより、所望の距離に合焦した画像を得ることができる。例えば、被写体距離に応じた複数のパターンをフレネルゾーンパターン情報２２０Ｃとして記憶部２２０に記憶しておき、これを読み出して使用することができる。また、１つのフレネルゾーンパターンを基準パターンとして記憶しておき、被写体距離に応じて異なる拡大率で拡大してもよい。この場合、距離無限大に対応しフレネルゾーンプレートと同じ大きさになるパターンを基準とすることができる。図１０は、被写体距離に応じてフレネルゾーンパターンの拡大率が異なる様子を示す図である。
　なお、拡大率を変えながら複素画像の生成（ステップＳ１２０）及び画像の再構成（ステップＳ１３０）を繰り返し、再構成した画像の合焦評価値（例えば、画像中に設定した焦点評価領域における輝度信号の積分値）を最大にすることで鮮明な画像を取得してもよい。
　＜画像の再構成＞
　ステップＳ１３０では、画像処理部２１０（フーリエ変換部２１０Ｃ）が、上述した式（１３）のように複素画像を２次元複素フーリエ変換して被写体の画像（空間領域の画像）を再構成する。画像処理部２１０（表示制御部２１０Ｅ）は、再構成した画像を表示部２３０に表示する（ステップＳ１４０）。また、画像処理部２１０（フーリエ変換部２１０Ｃ）は、再構成した画像を再構成画像２２０Ｅとして記憶部２２０に記憶する。
　＜従来技術との再構成結果の比較＞
　第１の実施形態による画像の再構成結果を従来技術と比較して示す。図１１の（ａ）部分は、従来技術のように、実数開口（実数のフレネルゾーンプレート）で取得した投影像に実数のフレネルゾーンパターンを乗算した結果を再構成した画像である。一方、図１１の（ｂ）部分は、本発明の手法により複素開口（複素数のフレネルゾーンプレート）を用いて取得した投影像に複素数のフレネルゾーンパターンを乗算して複素画像を生成し、この複素画像を２次元複素フーリエ変換して再構成した画像である。なお、（ｂ）部分の画像の再構成に際しては、投影像取得のためのフレネルゾーンプレートの位相を０°（実部），９０°（虚部）とし、投影像に乗算するフレネルゾーンパターンの位相を０°（実部），－９０°（虚部）としている（上述した複素共役の関係が成り立っている）。
　図１１の（ａ）部分、（ｂ）部分の画像を比較すると、（ａ）部分の画像は像のボケが大きく被写体の判別が困難であるのに対し、（ｂ）部分の画像は像のボケ及び重なりがほとんどなくレンズを用いずに高画質の画像を取得できることが分かる。また、自由に設計パラメータ（フレネルゾーンプレート／パターンのβ、面積、画素数、マスク距離）を選ぶことができ、実数の場合（従来技術の場合）には結像させるのが難しかったパラメータ設定においても結像させることができる。また、像の重なりがないため再構成画像の一部を切り出す必要が無く、広い画角で画像を取得することができる。
　＜第２の実施形態＞
　図１２は、第２の実施形態に係る撮像システム２０の構成を示すブロック図である。撮像システム２０（撮像システム）は撮像モジュール１０２（撮像装置）及び撮像装置本体２００（画像処理装置）により構成される。撮像装置本体２００の構成は第１の実施形態と同様であるので、同一の参照符号を付し詳細な説明を省略する。
　撮像モジュール１０２は第１の実施形態における撮像モジュール１００と同じ撮像部１１０，１２０（第１の撮像部、第２の撮像部）、及び被写体から入射する光を分岐させるハーフミラーＭ１（分岐光学部材）を備える。図１２及び図１３に示すように、ハーフミラーＭ１は被写体から入射する光を分岐させてフレネルゾーンプレート１１２，１２２に入射させ、撮像素子１１４，１２４上に投影像を形成させる。フレネルゾーンプレート１１２，１２２及び第１，第２のフレネルゾーンパターンの位相は、上述した第１の実施形態と同様に設定することができる。
　上述した構成の撮像システム２０によれば、第１，第２の投影像を同時に取得することができ、またフレネルゾーンプレート１１２，１２２で光軸Ｌ３が共通であるため第１，第２の投影像に視差が発生しない。なお、撮像システム２０において、撮像部１２０の光路にハーフミラーＭ１で分岐した光を反射させハーフミラーＭ１を透過した光と並行な光として撮像素子１２４に導く他のミラーを挿入し、撮像部１１０，１２０を同一面上に配置してもよい。
　撮像システム２０での画像処理（投影像の取得、複素画像の生成、画像の再構成等）は第１の実施形態と同様に実施することができ（図９のフローチャートを参照）る。その結果レンズを用いずに高画質の画像を取得でき、設計パラメータに対する制約も低い。
　＜第３の実施形態＞
　図１４は、第３の実施形態に係る撮像システム３０の構成を示すブロック図である。撮像システム３０（撮像システム）は撮像モジュール１０３（撮像装置）及び撮像装置本体２００（画像処理装置）により構成される。撮像装置本体２００の構成は第１，第２の実施形態と同様であるので、同一の参照符号を付し詳細な説明を省略する。
　撮像モジュール１０３は撮像部１３１（第１の撮像部、第２の撮像部）を有し、撮像部１３１はフレネルゾーンプレート１３２，１３４（第１，第２のフレネルゾーンプレート）と撮像素子１３６（第１のイメージセンサ，第２のイメージセンサ）とを備える。フレネルゾーンプレート１３２，１３４は中心を揃えて重ね合わされて共通の光軸Ｌ４を有し、かつフレネルゾーンプレート１３２は第１の波長帯域の光を透過させ、フレネルゾーンプレート１３４は第１の波長帯域とは異なる第２の波長帯域の光を透過させる（図１５を参照）。例えば、第１の波長帯域の光を赤色波長帯域とし、第２の波長帯域の光を緑色波長帯域とすることができる。この際、フレネルゾーンプレート１３２，１３４の位相をずらすことで、第１，第２の波長帯域の光の透過領域が重ならないようにすることができる。また、フレネルゾーンプレート１３２，１３４の厚みに起因して波長帯域ごとの撮像素子１３６までの間隔（上述したｄの値）が変わらないようにするため、フレネルゾーンプレート１３２，１３４はできるだけ薄く形成することが好ましい。
　上述した構成の撮像システム３０によれば、第１，第２の投影像を同時に取得することができる。またフレネルゾーンプレート１３２，１３４で光軸のずれがないため、第１，第２の投影像に視差が発生しない。さらに、撮像部１３１の配置面積がフレネルゾーンプレート及び撮像素子１つ分でよいため、撮像部１３１を小型化することができる。
　撮像素子１３６は、第１の波長帯域の第１の投影像のみを受光する第１の受光素子群と第２の波長帯域の第２の投影像のみを受光する第２の受光素子群とが離散的に配置された、フレネルゾーンプレート１３２，１３４に対し共通のイメージセンサである。第１の受光素子群には第１の波長帯域の光を透過させるカラーフィルタ（例えば、赤色カラーフィルタ）が配設され、第２の受光素子群には第２の波長帯域の光を透過させるカラーフィルタ（例えば、緑色カラーフィルタ）が配設される。撮像部１３１は、撮像素子１３６の第１，第２の受光素子群から第１，第２の投影像をそれぞれ分離して取得することができる。第１，第２の投影像の取得に際しては、通常のデジタルカメラにおけるカラー画像生成の際のデモザイク処理（同時化処理ともいう）と同様に、カラーフィルタの配列パターンに応じた補間処理が行われて各画素（受光素子）において不足した第１または第２の投影像の信号が生成され、全画素において第１，第２の投影像の信号が得られる。このような処理は、例えば画像処理部２１０（投影像入力部２１０Ａ）により行うことができる。
　撮像システム３０での画像処理（投影像の取得、複素画像の生成、画像の再構成等）は第１，第２の実施形態と同様に実施することができる（図９のフローチャートを参照）。これによりレンズを用いずに高画質の画像を取得でき、設計パラメータに対する制約も低い。
　＜その他＞
　以上で本発明の実施形態に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０　　　撮像システム
２０　　　撮像システム
３０　　　撮像システム
１００　　撮像モジュール
１０２　　撮像モジュール
１０３　　撮像モジュール
１１０　　撮像部
１１２　　フレネルゾーンプレート
１１４　　撮像素子
１２０　　撮像部
１２２　　フレネルゾーンプレート
１２４　　撮像素子
１３１　　撮像部
１３２　　フレネルゾーンプレート
１３４　　フレネルゾーンプレート
１３６　　撮像素子
２００　　撮像装置本体
２１０　　画像処理部
２１０Ａ　投影像入力部
２１０Ｂ　複素画像生成部
２１０Ｃ　フーリエ変換部
２１０Ｄ　情報入力部
２１０Ｅ　表示制御部
２１０Ｆ　ＲＯＭ
２２０　　記憶部
２２０Ａ　投影像
２２０Ｂ　フレネルゾーンプレート情報
２２０Ｃ　フレネルゾーンパターン情報
２２０Ｄ　複素画像
２２０Ｅ　再構成画像
２３０　　表示部
２４０　　操作部
Ｆ　　　　フレネルゾーンプレート
Ｌ１　　　光軸
Ｌ２　　　光軸
Ｌ３　　　光軸
Ｌ４　　　光軸
Ｍ１　　　ハーフミラー
ＳＤ　　　影
Ｓ１００～Ｓ１４０　画像処理方法の各ステップ
ｄ　　　　距離Φ　　　　
位相関数θ　　　　入射角

Claims (15)

  1. 　実部の画像と虚部の画像とからなる複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する撮像システムに使用される撮像装置であって、
    　被写体からの光を入射する第１のフレネルゾーンプレートと、前記第１のフレネルゾーンプレートを透過した第１の投影像が入射する第１のイメージセンサとを有し、前記第１のイメージセンサから前記第１の投影像を取得する第１の撮像部と、
    　前記被写体からの光を入射する第２のフレネルゾーンプレートであって、前記第１のフレネルゾーンプレートとは各領域における局所的な空間周波数の位相が異なる第２のフレネルゾーンプレートと、前記第２のフレネルゾーンプレートを透過した第２の投影像が入射する第２のイメージセンサとを有し、前記第２のイメージセンサから前記第２の投影像を取得する第２の撮像部と、を備え、
    　前記第１の撮像部により取得された前記第１の投影像及び前記第２の撮像部により取得された前記第２の投影像は、前記複素画像を生成するためのものである撮像装置。
  2. 　前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとは、７０°以上１１０°以下の範囲内において正または負の方向に前記局所的な空間周波数の位相がずれている請求項１に記載の撮像装置。
  3. 　前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとは、同一平面上に並べて配置される、
    　請求項１または２に記載の撮像装置。
  4. 　前記被写体から入射する光を分岐させる分岐光学部材をさらに備え、
    　前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとは、それぞれ前記分岐光学部材により分岐された前記被写体からの光を入射する、
    　請求項１または２に記載の撮像装置。
  5. 　前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとは重ね合わされ、かつ前記第１のフレネルゾーンプレートは第１の波長帯域の光を透過させ、前記第２のフレネルゾーンプレートは前記第１の波長帯域とは異なる第２の波長帯域の光を透過させ、
    　前記第１のイメージセンサと前記第２のイメージセンサとは、前記第１の波長帯域の第１の投影像のみを受光する第１の受光素子群と前記第２の波長帯域の第２の投影像のみを受光する第２の受光素子群とが離散的に配置された共通のイメージセンサであり、
    　前記第１の撮像部及び前記第２の撮像部は、前記共通のイメージセンサから前記第１の投影像と前記第２の投影像とを分離して取得する、
    　請求項１または２に記載の撮像装置。
  6. 　請求項１から５のいずれか１項に記載の撮像装置が取得した前記第１の投影像及び前記第２の投影像を入力する投影像入力部と、
    　前記入力した前記第１の投影像及び前記第２の投影像と予め設定されたフレネルゾーンパターンとを乗算し、前記複素画像を生成する複素画像生成部と、
    　前記生成された前記複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成するフーリエ変換部と、
    　を備えた画像処理装置。
  7. 　前記複素画像生成部は、合焦させる被写体距離に応じて拡大率の異なる前記フレネルゾーンパターンを使用して前記複素画像を生成する請求項６に記載の画像処理装置。
  8. 　前記フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとの前記局所的な空間周波数の位相ずれとは逆方向に各領域における局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、
    　前記複素画像生成部は、前記入力した前記第１の投影像及び前記第２の投影像と前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンとを乗算し、前記複素画像を生成する請求項６または７に記載の画像処理装置。
  9. 　前記第１のフレネルゾーンパターンと第２のフレネルゾーンパターンとは、７０°以上１１０°以下の範囲内において負または正の方向に前記局所的な空間周波数の位相がずれている請求項８に記載の画像処理装置。
  10. 　前記第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンと前記第１のフレネルゾーンプレート及び第２のフレネルゾーンプレートとの間において複素共役の関係が成り立つ請求項８または９に記載の画像処理装置。
  11. 　請求項１から５のいずれか１項に記載の撮像装置と、
    　請求項６から１０のいずれか１項に記載の画像処理装置と、
    　を備えた撮像システム。
  12. 　請求項１から５のいずれか１項に記載の撮像装置が取得した前記第１の投影像及び前記第２の投影像を入力するステップと、
    　前記入力した前記第１の投影像及び前記第２の投影像と予め設定されたフレネルゾーンパターンとを乗算し、前記複素画像を生成するステップと、
    　前記生成された前記複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成するステップと、
    　を含む画像処理方法。
  13. 　前記フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとの前記局所的な空間周波数の位相ずれとは逆方向に各領域における局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、
    　前記複素画像を生成するステップは、前記入力した前記第１の投影像及び前記第２の投影像と前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンとを乗算し、前記複素画像を生成する、
    　請求項１２に記載の画像処理方法。
  14. 　請求項１から５のいずれか１項に記載の撮像装置が取得した前記第１の投影像及び前記第２の投影像を入力する機能と、
    　前記入力した前記第１の投影像及び前記第２の投影像と予め設定されたフレネルゾーンパターンとを乗算し、前記複素画像を生成する機能と、
    　前記生成された前記複素画像を２次元複素フーリエ変換し、空間領域の画像を再構成する機能と、
    　をコンピュータに実現させる画像処理プログラムのコンピュータ読み取り可能なコードが記録された記録媒体。
  15. 　前記フレネルゾーンパターンは、第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンであって、前記第１のフレネルゾーンプレートと前記第２のフレネルゾーンプレートとの前記局所的な空間周波数の位相ずれとは逆方向に前記局所的な空間周波数の位相がずれた第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンからなり、
    　前記複素画像を生成する機能は、前記入力した前記第１の投影像及び前記第２の投影像と前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンとを乗算し、前記複素画像を生成する、
    　請求項１４に記載の記録媒体。
PCT/JP2018/015229 2017-06-01 2018-04-11 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 WO2018221025A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880035481.6A CN110692233B (zh) 2017-06-01 2018-04-11 摄像装置、图像处理装置、摄像系统、图像处理方法及记录介质
JP2019522003A JP6772380B2 (ja) 2017-06-01 2018-04-11 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体
EP18809268.8A EP3633968A4 (en) 2017-06-01 2018-04-11 IMAGING DEVICE, IMAGE PROCESSING DEVICE, IMAGING SYSTEM, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM
US16/680,521 US10911668B2 (en) 2017-06-01 2019-11-12 Imaging apparatus, image processing apparatus, imaging system, image processing method, and recording medium employing first and second Fresnel Zone plates with corresponding image sensors
US17/121,772 US11290642B2 (en) 2017-06-01 2020-12-15 Image processing apparatus and image processing method that generate a complex image based on a Fresnel Zone pattern

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017109268 2017-06-01
JP2017-109268 2017-06-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/680,521 Continuation US10911668B2 (en) 2017-06-01 2019-11-12 Imaging apparatus, image processing apparatus, imaging system, image processing method, and recording medium employing first and second Fresnel Zone plates with corresponding image sensors

Publications (1)

Publication Number Publication Date
WO2018221025A1 true WO2018221025A1 (ja) 2018-12-06

Family

ID=64454704

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015229 WO2018221025A1 (ja) 2017-06-01 2018-04-11 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体

Country Status (5)

Country Link
US (2) US10911668B2 (ja)
EP (1) EP3633968A4 (ja)
JP (2) JP6772380B2 (ja)
CN (1) CN110692233B (ja)
WO (1) WO2018221025A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109474818A (zh) * 2019-01-03 2019-03-15 Oppo广东移动通信有限公司 一种图像传感器以及成像模组
WO2020137185A1 (ja) * 2018-12-26 2020-07-02 株式会社日立製作所 距離計測装置および距離計測方法
JPWO2021024452A1 (ja) * 2019-08-08 2021-02-11
WO2022163306A1 (ja) * 2021-01-28 2022-08-04 ソニーグループ株式会社 撮像装置、および撮像方法
JP2023068679A (ja) * 2021-11-03 2023-05-18 克貴 美木 保安管理システム、保安管理方法及び符号化撮像装置
WO2023171358A1 (ja) * 2022-03-07 2023-09-14 ソニーグループ株式会社 マスクユニット、並びに撮像装置および撮像装置の作動方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6713549B2 (ja) * 2016-12-27 2020-06-24 富士フイルム株式会社 撮像装置及び撮像モジュール
WO2019171691A1 (ja) * 2018-03-06 2019-09-12 ソニー株式会社 画像処理装置、および撮像装置、並びに画像処理方法
US11399134B2 (en) * 2018-03-14 2022-07-26 Sony Corporation Image processing apparatus, imaging apparatus, and image processing method
US20220004148A1 (en) * 2020-07-06 2022-01-06 Grimaldi, Inc. Apparatus and method of reproduction of a diffractive pattern
KR20230135565A (ko) 2021-01-26 2023-09-25 닛본 세이고 가부시끼가이샤 프레스 성형품, 구름 베어링, 차량, 기계, 프레스 성형품의 제조 방법, 구름 베어링의 제조 방법, 차량의 제조 방법 및 기계의 제조 방법
WO2023237329A1 (en) * 2022-06-10 2023-12-14 Ams International Ag Multispectral image sensor, camera system and method of manufacturing a multispectral image sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203573A1 (ja) 2015-06-17 2016-12-22 日立マクセル株式会社 撮像装置
WO2018055831A1 (ja) * 2016-09-26 2018-03-29 株式会社日立製作所 撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1160901A (zh) * 1995-04-14 1997-10-01 三星航空产业株式会社 具有可拆装液晶板的投影仪
CN1735831A (zh) * 2001-11-06 2006-02-15 基约蒂公司 用于图像投影的装置
JP2005099474A (ja) * 2003-09-25 2005-04-14 Asahi Glass Co Ltd 反射防止性基材およびそれを用いた物品
US20060181770A1 (en) * 2005-02-15 2006-08-17 K Laser Technology, Inc. Rear projection screen with spatial varying diffusing angle
US20070273983A1 (en) * 2006-05-26 2007-11-29 Hebert Raymond T Devices, methods, and systems for image viewing
CN101356546B (zh) * 2006-05-29 2011-10-12 松下电器产业株式会社 图像高分辨率化装置、方法及系统
US8405890B2 (en) * 2007-01-29 2013-03-26 Celloptic, Inc. System, apparatus and method for extracting image cross-sections of an object from received electromagnetic radiation
WO2009036761A1 (en) * 2007-09-17 2009-03-26 Danmarks Tekniske Universitet An electromagnetic beam converter
TW200943136A (en) * 2008-04-03 2009-10-16 Pixart Imaging Inc Optical pointing device
CN102356628B (zh) * 2009-12-08 2015-03-11 松下电器产业株式会社 图像处理装置及图像处理方法
FR2974189B1 (fr) * 2011-04-14 2013-12-20 Onera (Off Nat Aerospatiale) Systeme d'imagerie comprenant une lentille de fresnel
CN102589695B (zh) * 2012-02-27 2014-02-26 苏州大学 一种光谱成像方法及其系统
US9746593B2 (en) * 2013-08-28 2017-08-29 Rambus Inc. Patchwork Fresnel zone plates for lensless imaging
WO2015054797A1 (en) * 2013-10-20 2015-04-23 Mtt Innovation Incorporated Light field projectors and methods
CN110720207B (zh) * 2017-06-01 2021-04-27 富士胶片株式会社 图像处理装置、摄像系统、图像处理方法及记录介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203573A1 (ja) 2015-06-17 2016-12-22 日立マクセル株式会社 撮像装置
WO2018055831A1 (ja) * 2016-09-26 2018-03-29 株式会社日立製作所 撮像装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Development of lensless camera technology enabling easy focus adjustment after motion picture imaging", 15 November 2016, HITACHI, LTD.
See also references of EP3633968A4
YUSUKE NAKAMURATAKESHI SHIMANOKAZUYUKI TAJIMAMAYU SAOTAKU HOSHIZAWA: "The Institute of Image Information and Television Engineers Technical Report", vol. 40, November 2016, HITACHI, LTD., article "Lensless Light-field Imaging with Fresnel Zone Aperture", pages: 7 - 8

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137185A1 (ja) * 2018-12-26 2020-07-02 株式会社日立製作所 距離計測装置および距離計測方法
JP2020106301A (ja) * 2018-12-26 2020-07-09 株式会社日立製作所 距離計測装置および距離計測方法
JP7065761B2 (ja) 2018-12-26 2022-05-12 株式会社日立製作所 距離計測装置および距離計測方法
CN109474818A (zh) * 2019-01-03 2019-03-15 Oppo广东移动通信有限公司 一种图像传感器以及成像模组
CN109474818B (zh) * 2019-01-03 2024-05-10 Oppo广东移动通信有限公司 一种图像传感器以及成像模组
US11856281B2 (en) 2019-08-08 2023-12-26 Maxell, Ltd. Imaging device and method
JPWO2021024452A1 (ja) * 2019-08-08 2021-02-11
WO2021024452A1 (ja) * 2019-08-08 2021-02-11 マクセル株式会社 撮像装置および方法
JP7183429B2 (ja) 2019-08-08 2022-12-05 マクセル株式会社 撮像装置および方法
WO2022163306A1 (ja) * 2021-01-28 2022-08-04 ソニーグループ株式会社 撮像装置、および撮像方法
JP7288945B2 (ja) 2021-11-03 2023-06-08 克貴 美木 保安管理システム、保安管理方法及び符号化撮像装置
JP2023068679A (ja) * 2021-11-03 2023-05-18 克貴 美木 保安管理システム、保安管理方法及び符号化撮像装置
WO2023171358A1 (ja) * 2022-03-07 2023-09-14 ソニーグループ株式会社 マスクユニット、並びに撮像装置および撮像装置の作動方法

Also Published As

Publication number Publication date
JP6772380B2 (ja) 2020-10-21
US10911668B2 (en) 2021-02-02
EP3633968A4 (en) 2020-06-03
JP2021010178A (ja) 2021-01-28
CN110692233A (zh) 2020-01-14
JP6970800B2 (ja) 2021-11-24
US11290642B2 (en) 2022-03-29
US20210144298A1 (en) 2021-05-13
US20200084376A1 (en) 2020-03-12
EP3633968A1 (en) 2020-04-08
CN110692233B (zh) 2021-04-23
JPWO2018221025A1 (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
WO2018221025A1 (ja) 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体
JP6773903B2 (ja) 画像処理装置、撮像システム、画像処理方法、及び記録媒体
JP6713549B2 (ja) 撮像装置及び撮像モジュール
TWI658432B (zh) Camera
JPWO2018055831A1 (ja) 撮像装置
US11288780B2 (en) Imaging apparatus
JP7373015B2 (ja) 撮像方法
JP6646619B2 (ja) 撮像装置
Nakamura et al. Lensless light-field imaging with Fresnel zone aperture
JP2023016864A (ja) 撮像装置および方法
JP6947891B2 (ja) 携帯情報端末
WO2019131191A1 (ja) ワイドコンバージョンレンズ及び撮像装置
JP2020065265A (ja) 撮像装置
JP7389195B2 (ja) 画像生成方法
JP2021064000A (ja) 撮像装置
Dominguez et al. An Approach to Explain the Human Hyper-acuity: Applied to THz Imaging
DaneshPanah et al. Effect of Pickup Position Uncertainty in Three-Dimensional Computational Integral Imaging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18809268

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019522003

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018809268

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018809268

Country of ref document: EP

Effective date: 20200102