WO2023127509A1 - 調整装置および調整装置の作動方法 - Google Patents

調整装置および調整装置の作動方法 Download PDF

Info

Publication number
WO2023127509A1
WO2023127509A1 PCT/JP2022/046133 JP2022046133W WO2023127509A1 WO 2023127509 A1 WO2023127509 A1 WO 2023127509A1 JP 2022046133 W JP2022046133 W JP 2022046133W WO 2023127509 A1 WO2023127509 A1 WO 2023127509A1
Authority
WO
WIPO (PCT)
Prior art keywords
mask
image
light
distance
correction value
Prior art date
Application number
PCT/JP2022/046133
Other languages
English (en)
French (fr)
Inventor
秀紀 小柳津
イリヤ レシェトウスキ
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202280084280.1A priority Critical patent/CN118451720A/zh
Priority to JP2023570829A priority patent/JPWO2023127509A1/ja
Publication of WO2023127509A1 publication Critical patent/WO2023127509A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/16—Pin-hole cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to an adjustment device and an operation method of the adjustment device, and in particular, an adjustment device and an operation method of the adjustment device that enable easy adjustment of the positional relationship between a mask and an imaging element in a lensless camera with high accuracy. Regarding.
  • a mask provided with a two-dimensional pattern consisting of transparent and opaque regions is placed in front of the image sensor, and the source of the scene is generated based on the modulated image consisting of the observed values projected onto the image sensor through the mask.
  • the technique of lensless cameras for reconstructing images is widely known.
  • the information on how the emitted light from the scene is modulated through the mask and projected onto the image sensor is defined in advance as a matrix, and the matrix and the image sensor are combined. An actual scene is reconstructed from the projected modulated image (see Non-Patent Document 1).
  • the transmissive regions that make up this mask may be composed of simple holes in contrast to the opaque regions that are shielded from light, or they may be configured such that a condensing element such as a lens is arranged in each of the holes. .
  • the transparent area is a simple hole, the light imaged on the sensor becomes blurred as the size increases, and the image quality of the reconstructed image deteriorates.
  • a condensing element other than a lens may be provided in this transmissive region, and as an example, there is a method using an FZP (Fresnel Zone Plate) (see Non-Patent Document 2).
  • FZP Fesnel Zone Plate
  • FZP is a light condensing element in which transparent and opaque concentric zones are alternately arranged. By working as a diffraction grating, the incident light is converged to one point on the optical axis.
  • the positional relationship between the imaging element and the mask requires calibration in order to maintain a state in which it is adjusted with high accuracy.
  • the present disclosure has been made in view of such circumstances, and in particular, enables highly accurate and easy adjustment of the positional relationship between a mask and an imaging device in a lensless camera.
  • An adjustment device includes a mask that includes a plurality of transmissive regions made up of Fresnel Zone Plates (FZPs) and a plurality of light shielding regions, and modulates incident light into modulated light by transmitting the mask.
  • FZPs Fresnel Zone Plates
  • an imaging device having an imaging device that captures a modulated image composed of the transmitted modulated light and a reconstruction unit that reconstructs an image corresponding to the incident light based on the modulated image; a mask holding unit for adjusting the position and angle of the mask with respect to the imaging device; a point light source for emitting white light as the incident light; a control unit for controlling the mask holding unit so as to adjust the mask to a predetermined positional relationship with respect to the imaging element based on the color of light corresponding to the wavelength of the image to be captured; be.
  • a method of operating an adjustment device includes a mask that includes a transmission region made up of a plurality of FZPs (Fresnel Zone Plates) and a plurality of light shielding regions, and modulates incident light into modulated light by transmitting the mask;
  • An imaging device having an imaging device that captures a modulated image composed of the modulated light that has passed through the mask, and a reconstructing unit that reconstructs an image corresponding to the incident light based on the modulated image.
  • a method for operating an adjusting device comprising: a mask holding unit for holding and adjusting the position and angle of the mask with respect to the imaging element; and a point light source for emitting white light as the incident light, wherein the white light is the incident light.
  • the mask is adjusted to have a predetermined positional relationship with respect to the image sensor based on the color of the light according to the wavelength of the image imaged by the image sensor when the incident light passes through the mask.
  • a method of operating an adjustment device comprising controlling a retainer.
  • a mask that includes a plurality of transmissive regions made up of FZPs (Fresnel Zone Plates) and a plurality of light shielding regions, and modulates incident light into modulated light by transmitting the mask, and
  • An imaging device having an imaging device that captures a modulated image formed by the modulated light, and a reconstructing unit that reconstructs an image corresponding to the incident light based on the modulated image, the mask being held, and the imaging
  • the position and angle of the mask with respect to the element are adjusted, white light is emitted as the incident light, and when the white light is transmitted through the mask as the incident light, the wavelength of the image captured by the imaging element is adjusted.
  • the mask is adjusted to a predetermined positional relationship with respect to the imaging element based on the color of the light received.
  • FIG. 10 is a diagram illustrating an example of an image when there is a deviation due to yaw rotation between the mask and the imaging element; It is a figure explaining the example of composition of the lensless camera calibration device of this indication.
  • FIG. 4 is a diagram for explaining adjustments in the pitch direction, yaw direction, and Z direction between the mask and the imaging device; It is a figure explaining adjustment of the roll direction between a mask and an imaging device, and an X, Y direction.
  • 13 is a flowchart illustrating calibration processing by the lensless camera calibration device of FIG. 12; 9 is a flowchart for explaining distance rotation correction value calculation processing; It is a figure explaining the coordinate system set for every area
  • FIG. 1 is a side cross-sectional view of an imaging device 11 that functions as a lensless camera.
  • the imaging device 11 in FIG. 1 is a so-called lensless camera, and includes a mask 31, an imaging device 32, a reconstruction section 33, and an output section .
  • the mask 31 is a plate-like structure made of a light shielding material provided in front of the imaging device 32. For example, as shown in the left part of FIG. 41 and a light-shielding area 42 which is shielded from light.
  • the mask 31 When the mask 31 receives light as incident light from an object surface (actually, a surface from which radiation light from a three-dimensional object is emitted) G1 indicated by the optical axis AX, the incident light passes through the transmission region 41. By transmitting the incident light, the incident light from the object plane G1 is modulated as a whole, converted into modulated light, and the converted modulated light is received by the imaging element 32 to be imaged.
  • an object surface actually, a surface from which radiation light from a three-dimensional object is emitted
  • the imaging element 32 is composed of a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor, and captures the modulated light obtained by modulating the incident light from the object plane G1 by the mask 31, and the pixel It is output to the reconstruction unit 33 as a modulated signal G2 made up of unit signals.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the mask 31 is of a size that encompasses at least the entire surface of the imaging element 32, and basically, the imaging element 32 is configured to receive only modulated light that has been modulated by passing through the mask 31. ing.
  • the transmissive region 41 formed in the mask 31 has a size that is at least larger than the pixel size of the imaging device 32 .
  • a small gap of distance d is provided between the imaging device 32 and the mask 31 .
  • incident light from point light sources PA, PB, and PC on the object plane G1 is transmitted through the transmission region 41 of the mask 31 and reaches positions Pa and Pb on the imaging device 32.
  • Pc are received as light rays of light intensities a, b, and c, respectively.
  • the detection sensitivity of each pixel has directivity according to the incident angle by modulating the incident light by the transmissive region 41 set on the mask 31 .
  • Giving incident angle directivity to the detection sensitivity of each pixel here means giving different light receiving sensitivity characteristics according to the incident angle of incident light depending on the area on the image sensor 32. be.
  • the light source that constitutes the object plane G1 is a point light source
  • light rays with the same light intensity emitted from the same point light source are incident on the imaging device 32.
  • the incident angle changes for each region on the imaging surface of the imaging device 32 .
  • the mask 31 changes the incident angle of the incident light depending on the area on the imaging device 32
  • the light receiving sensitivity characteristic that is, the incident angle directivity
  • the mask 31 provided in front of the image pickup surface of the image pickup device 32 detects with different sensitivities for each region on the image pickup device 32, and detection signals with different detection signal levels are detected for each region.
  • detection signal levels DA, DB, and DC of pixels at positions Pa, Pb, and Pc on the image sensor 32 are expressed by the following equations (1) to (3). It should be noted that formulas (1) to (3) in FIG. 2 are reversed in vertical relation from positions Pa, Pb, and Pc on the imaging device 32 in FIG.
  • DA ⁇ 1 ⁇ a+ ⁇ 1 ⁇ b+ ⁇ 1 ⁇ c ...
  • DB ⁇ 2 ⁇ a+ ⁇ 2 ⁇ b+ ⁇ 2 ⁇ c ...
  • DC ⁇ 3 ⁇ a+ ⁇ 3 ⁇ b+ ⁇ 3 ⁇ c ...
  • ⁇ 1 is a coefficient for the detection signal level a set according to the incident angle of the light beam from the point light source PA on the object plane G1 to be restored at the position Pa on the imaging device 32 .
  • ⁇ 1 is a coefficient for the detection signal level b that is set according to the incident angle of the light beam from the point light source PB on the object plane G1 to be restored at the position Pa on the imaging device 32 .
  • ⁇ 1 is a coefficient for the detection signal level c set according to the incident angle of the light beam from the point light source PC on the object plane G1 to be restored at the position Pa on the imaging device 32 .
  • ( ⁇ 1 ⁇ a) of the detection signal level DA indicates the detection signal level due to the light beam from the point light source PA at the position Pa.
  • ( ⁇ 1 ⁇ b) of the detection signal level DA indicates the detection signal level by the light beam from the point light source PB at the position Pa.
  • ( ⁇ 1 ⁇ c) of the detection signal level DA indicates the detection signal level due to the light beam from the point light source PC at the position Pa.
  • the detection signal level DA is expressed as a composite value obtained by multiplying each component of the point light sources PA, PB, and PC at the position Pa by respective coefficients ⁇ 1, ⁇ 1, and ⁇ 1.
  • the coefficients ⁇ 1, ⁇ 1, and ⁇ 1 are collectively referred to as a coefficient set.
  • the coefficient sets ⁇ 2, ⁇ 2, ⁇ 2 for the detected signal level DB at the position Pb correspond to the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1 for the detected signal level DA at the point light source PA, respectively.
  • the coefficient sets ⁇ 3, ⁇ 3, ⁇ 3 for the detection signal level DC at the position Pc correspond to the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1 for the detection signal level DA at the position Pa, respectively.
  • the detection signal levels of the pixels at the positions Pa, Pb, and Pc are values expressed by the product sum of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively, and the coefficients. is. For this reason, these detection signal levels are a mixture of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively. is different from An image composed of detection signal levels DA, DB, and DC of pixels at positions Pa, Pb, and Pc corresponds to modulation signal G2 in FIG.
  • a set of coefficients ⁇ 1, ⁇ 1, ⁇ 1, a set of coefficients ⁇ 2, ⁇ 2, ⁇ 2, a set of coefficients ⁇ 3, ⁇ 3, ⁇ 3, and detection signal levels DA, DB, DC are used to construct simultaneous equations, and light intensities a, b , c, the pixel values of the respective positions Pa, Pb, and Pc are obtained as shown in the lower right portion of FIG.
  • a restored image final image
  • this reconstructed image corresponds to the image G3 in FIG.
  • the image of the object plane at various distances can be reconstructed after the image is captured by changing the coefficient set according to the distance.
  • the detection signal level shown in the upper right part of FIG. 2 is not the detection signal level corresponding to the image in which the image of the object is formed. It corresponds to the modulation signal G2. Also, the detection signal level shown in the lower right part of FIG. ), it becomes a pixel value. That is, the restored image (final image) of this object plane G1 corresponds to the image G3.
  • Such a configuration enables the imaging device 11 to function as a so-called lensless camera.
  • the imaging lens is not an essential component, it is possible to reduce the height of the imaging device, that is, to reduce the thickness in the light incident direction in the configuration that realizes the imaging function. Also, by varying the coefficient set, it is possible to reconstruct and restore the final image (restored image) on the object plane at various distances.
  • an image corresponding to the modulated signal G2 before reconstruction which is captured by the imaging device 32, is simply referred to as a modulated image, and the modulated image is reconstructed and restored by signal processing.
  • An image corresponding to the image G3 is called a final image (restored image). Therefore, from one modulated image, by variously changing the coefficient set described above, images on the object plane G1 at various distances can be reconstructed as the final image.
  • the reconstruction unit 33 has the above-described coefficient set, and uses the coefficient set corresponding to the distance from the imaging position of the imaging device 11 to the object plane G1 to reconstruct the modulated image captured by the imaging device 32 ( Based on the modulated signal G2), the final image (restored image) (image G3 in FIG. 1) is reconstructed and output to the output unit .
  • the output unit 34 applies signal processing to the final image supplied from the reconstruction unit 33 and outputs the result as an image signal.
  • the transmissive regions 41 constituting the mask 31 may be configured as simple pinhole-like openings with respect to the light-shielded light-shielding regions 42 , or may be configured as lens-like convergent regions in each of the transmissive regions 41 .
  • a configuration in which an optical element is arranged may be used.
  • the transmission region 41 is a small-diameter pinhole 41H that is a simple opening
  • the light from the light source 51 diffuses and blurs due to diffraction.
  • the image quality of the reconstructed image is degraded.
  • the image forming area on the imaging element 32 when the transmission area 41 is a small pinhole 41H consisting of a simple opening is represented by an image 52H of a circle drawn with a dotted line.
  • the imaging area on the imaging device 32 when the transmissive area 41 is composed of the condensing element 41F is represented by an image 52F indicated by a white circle.
  • the transmission region 41 is a small-diameter pinhole 41H consisting of a simple opening
  • the image 52H is the incident light from the light source 51 that is diffused by diffraction and is incident on the imaging device 32 in a blurred state. It is expressed that there is
  • the image 52F is expressed as being incident on the imaging element 32 as a small spot-like area by being condensed by the condensing element 41F.
  • a condensing element 41F other than a lens may be provided in this transmissive region 41, and for example, an FZP (Fresnel Zone Plate) may be used.
  • FZP Fesnel Zone Plate
  • FZP is a light condensing element in which transparent and opaque concentric zones are alternately arranged. By working as a diffraction grating, the incident light is converged to one point on the optical axis.
  • FIG. 3 illustrates an example in which the condensing element 41F is composed of FZP.
  • incident light composed of the input image X which corresponds to the object plane G1 in FIG.
  • the imaging device 32 captures the input image X corresponding to the object plane G1, the incident light modulated by the pattern M of the mask 31 as a modulated image Y corresponding to the modulated signal G2 in FIG. 33.
  • the reconstruction unit 33 reconstructs the final image X' corresponding to the input image X, which corresponds to the final image G3 in FIG. 1, by performing signal processing on the modulated image Y.
  • the modulated image Y corresponding to the modulated signal G2 picked up by the image pickup device 32 is obtained by the pattern M of the mask 31 and the input image X, as shown in the following equation (4). It is known that it can be expressed as a convolution with
  • Y is a vector of length P representing the modulated image captured by the imager 32, i.e., the observations of the imager 32
  • M is the pattern of the mask 31, as shown in FIG.
  • X is a vector of length N representing the input image
  • * represents the convolution operation.
  • the pattern of the mask 31 expressed as a matrix M is generally a URA (Uniformly Redundant Arrays) pattern or a MURA (Modified URA) pattern, for example.
  • URA Uniformly Redundant Arrays
  • MURA Modified URA
  • the reconstruction processing of image X' which corresponds to reconstructed image G3, can be obtained, for example, by calculation such as the following formula (5).
  • X' represents a reconstructed image corresponding to the reconstructed image G3 in FIG.
  • Each element of this reconstruction matrix G corresponds to the coefficient set described above.
  • Tikhonov's regularization method and the like are generally used in reconstructing the reconstructed image X'.
  • the matrix M of the mask 31 must have physical properties. must be correctly expressed.
  • Physical properties include not only the pattern of the mask 31 but also the geometric relationship between the mask 31 and the imaging element 32, so if the relationship differs from the design, the image cannot be reconstructed correctly.
  • the calibration here is a process of observing light from a point light source on the imaging element 32 and adjusting the position and angle of the mask 31 so that it matches the position calculated by the simulation.
  • the positional relationship between the mask 31 and the imaging device 32 can be adjusted with high accuracy and easily.
  • the transmission region 41 of the mask 31 is provided with a condensing element 41F made of, for example, FZP, if the positional relationship between the mask 31 and the imaging element 32 is appropriate, the incident light from the point light source is condensed. After passing through the optical element 41F, an image is formed on the imaging element 32 .
  • a condensing element 41F made of, for example, FZP
  • the incident light includes light with different wavelengths, so the distance to focus differs depending on the wavelength.
  • the light sources 51r and 51b and the images 52r and 52b are drawn at different positions for convenience of explanation.
  • the images 52r and 52b have the same center position, but different spot diameters.
  • the R wavelength light source 51r for red light is represented by a white circle
  • the B wavelength light source 51b for blue light is represented by a black circle.
  • the distance between the mask 31 and the image pickup device 32 is set to be the distance at which the G wavelength light that becomes green light is focused
  • the image on the image pickup device 32 is an image 52g in FIG. will be shown.
  • the image 52g in FIG. 6 emits the strongest light by minimizing the spot diameter by focusing the G wavelength image 52gj, which becomes green light, and the R wavelength image 52rn, which becomes red light.
  • the B-wavelength image 52bn which is the blue light, is out of focus and the spot diameter expands.
  • the image 52rn, the image 52gj, and the image 52bn are superimposed on each other on the imaging device 32, and are detected as the image 52g emitting the strongest green light.
  • the image 52gj emitting light of G wavelength which is green light
  • G wavelength which is green light
  • the image on the image pickup device 32 is the image shown in FIG. 52r.
  • the image 52r of FIG. 6 emits the strongest light by focusing the R wavelength image 52rj of red light and minimizing the spot diameter, and the G wavelength image 52gn of green light is The image 52bf of the B wavelength, which is out of focus and the spot diameter is widened, and the image 52bf of the B wavelength, which is blue light, is further out of focus than the G wavelength. will also spread.
  • the image 52rj, the image 52gn, and the image 52bf are superimposed and detected as the image 52r emitting the strongest red light.
  • the image on the image pickup device 32 is the image shown in FIG. 52b.
  • the image 52b of FIG. 6 emits the strongest light by focusing the B-wavelength image 52bj of blue light and minimizing the spot diameter, and the G-wavelength image 52gn of green light is It is out of focus, the spot diameter expands, and the R wavelength image 52rf, which is red light, is further out of focus than the G wavelength, so the spot diameter is larger than the G wavelength image gn. will also spread.
  • the image 52rf, the image 52gn, and the image 52bj are superimposed and detected as the image 52b emitting the strongest blue light.
  • images 52g-1 to 52g-7 composed of green light are detected as indicated by the image pickup device 32j in FIG. Become.
  • the distance between the mask 31 and the imaging element 32 is appropriate, and no separate adjustment is required.
  • images 52r-1 to 52r are displayed as shown by the imaging device 32n in FIG. -7 will be detected.
  • images 52b-1 to 52b are displayed as shown by the imaging device 32f in FIG. -7 will be detected.
  • the distance between the mask 31 and the image sensor 32 is longer than the appropriate distance, attention is focused on the colors of the observed images, and all the images 52b- 1 to 52b-7 change to green light images 52g-1 to 52g-7, the distance between the mask 31 and the imaging device 32 needs to be adjusted to be closer.
  • images 52r-11 and 52r-12, and images 52g-11 to 52g- shown by the imaging device 32p in FIG. 13, and images 52b-11, 52b-12 are detected.
  • images 52r-11 and 52r-12 are detected as red light
  • images 52g-11 to 52g-13 are detected as green light
  • images 52b-11 and 52b-12 are detected as blue light. detected as
  • the distance from the mask 31 is appropriate in the range around which the images 52g-11 to 52g-13 in the middle of FIG. 10 are detected on the imaging element 32p.
  • the imaging element 32p detects the images 52r-11 and 52r-12 in the upper part of FIG. 10, and the range in which the images 52b-11 and 52b-12 in the lower row of FIG. 10 are detected is the image 52g-11 in the middle row to It is recognized that the pitch rotation is performed while being tilted to the back side with respect to the paper surface of FIG.
  • the range near the top of FIG. 10 is rotated to the front side of the paper surface of FIG. 10, and adjusted so that the images 52r-11 and 52r-12 and the images 52b-11 and 52b-12 are both observed as green light.
  • ⁇ Yaw rotation> For example, when the imaging element 32 is displaced from the mask 31 due to yaw rotation, images 52r-21 to 52r-23, an image 52g-21, and an image 52bg shown by the imaging element 32y in FIG. -21, 52bg-22, and image 52b-21 are detected.
  • the images 52r-21 to 52r-23 are detected as red light
  • the image 52g-21 is detected as green light
  • the images 52gb-21 and 52gb-22 are detected as light blue light
  • Image 52b-21 is detected as blue light. Note that the images 52gb-21 and 52gb-22 are expressed in light blue with gray circles that are an intermediate color between the images 52g and 52b.
  • the distance from the mask 31 is appropriate in the range around where the image 52g-21 in the center of FIG. 11 is detected on the imaging element 32.
  • the imaging device 32 detects the images 52r-21 to 52r-23 in the left part of FIG. 11, and the range around where the image 52b-21 in the right part of FIG. 11 is detected is the range around where the image 52g-21 in the center of FIG. 11 is detected. It is recognized that the yaw rotation is performed in a state of being tilted to the back side with respect to the paper surface of FIG.
  • the mask 31 and the image pickup device 32 are arranged according to the color of the image 52 observed on the image pickup device 32 by the condensing element 41F provided in the opening of the mask 31.
  • the mask 31 and the imaging element 32 can be adjusted with high precision and easily so as to have a positional relationship suitable for imaging.
  • the lensless camera calibration device 101 in FIG. 12 includes an image sensor base 211, a mask holding section 212, an XY direction adjustment section 213, a Z direction adjustment section 214, a p (pitch) direction adjustment section 215, an r (roll) direction adjustment section. 216 and a y (yaw) direction adjuster 217 .
  • the lensless camera calibration device 101 also includes a point light source 218 , a device control section 219 , a central control section 220 , an angle distance estimation section 221 and a mask design PSF storage section 222 .
  • the imaging device base 211 is a fixed base, and fixes the imaging device 112 so as to face the mask 111 . Further, the imaging device base 211 captures an image captured by the imaging device 112 and outputs the image to the angular distance estimating section 221 .
  • the mask 111 and the imaging device 112 in FIG. 12 have configurations corresponding to the mask 31 and the imaging device 32 in the imaging apparatus 11 in FIG.
  • the mask holding unit 212 holds the mask 111 and drives it in the directions of arrows X, Y, and Z in the figure to adjust its position, and in the roll direction, pitch direction, and direction indicated by arrows r, p, and y in the figure. And by rotating in the yaw direction, the angle with respect to the image sensor 112 is adjusted so that the direction of the mask 111 has an appropriate positional relationship with respect to the image sensor 112 .
  • the mask holding portion 212 includes an outer frame portion 212a and an inner frame portion 212b.
  • the outer frame portion 212a is controlled by the y-direction adjusting portion 217 to rotate the mask 111 in the yaw direction indicated by the arrow y in the figure (hereinafter also referred to as the y-direction) so that it becomes parallel to the imaging element 112. rotate and adjust the angle.
  • the outer frame portion 212a is controlled by the XY direction adjustment portion 213 and driven in the X and Y directions of the arrows, thereby adjusting the position so as to have an appropriate positional relationship with the image sensor 112.
  • the outer frame part 212a is controlled by the Z-direction adjusting part 214 and driven in the direction of the arrow Z, thereby adjusting the position of the outer frame part 212a so as to maintain an appropriate distance from the imaging element 112.
  • the inner frame portion 212b is provided inside the outer frame portion 212a, and is rotated in the pitch direction indicated by the arrow p (hereinafter also referred to as the p direction) by the p-direction adjusting portion 215, and is rotated by the r-direction adjusting portion 216.
  • the angle of the mask 111 with respect to the imaging element 112 is adjusted by rotating in the roll direction indicated by the arrow r (hereinafter also referred to as the r direction).
  • the XY-direction adjusting section 213, the Z-direction adjusting section 214, and the y-direction adjusting section 217 adjust the position by driving the outer frame section 212a in the X-direction, the Y-direction, and the Z-direction, respectively, and move the outer frame section 212a in the y-direction. It is composed of a drive device such as a motor that adjusts the angle by rotating it.
  • the XY-direction adjusting section 213, the Z-direction adjusting section 214, and the y-direction adjusting section 217 are controlled by the device control section 219, and drive the outer frame section 212a in the XY direction and the Z direction, respectively, thereby adjusting the mask 111.
  • the angle of the mask 111 with respect to the image sensor 112 is adjusted by adjusting the position with respect to the image sensor 112 and rotating it in the y direction.
  • Both the p-direction adjusting section 215 and the r-direction adjusting section 216 are composed of driving devices such as motors that rotate the inner frame section 212b in the p-direction and the r-direction.
  • the p-direction adjusting unit 215 and the r-direction adjusting unit 216 are controlled by the device control unit 219, and rotate the inner frame 212b in the p-direction and the r-direction to adjust the angle of the mask 111 with respect to the imaging element 112. do.
  • the point light source 218 emits white light as incident light on the mask 111 and the imaging element 112 .
  • the incident light from the point light source 218 is condensed by passing through the condensing element 231 (FIG. 13) made of FZP or the like on the mask 111 and enters the imaging element 112 .
  • an image 251 (FIG. 13) of the incident light condensed by the condensing device 231 is formed on the imaging device 112. It shall be imaged as green light.
  • the angle distance estimation unit 221 acquires an image captured by the image pickup device 112 supplied from the image pickup device base 211, the angle distance estimation unit 221 calculates the correction amount in the Z direction based on the color of the light detected as the image 251 (FIG. 13). A certain distance correction value and rotation correction values in the y direction and p direction are estimated and supplied to the central control unit 220 as distance rotation correction values.
  • the angle distance estimation unit 221 acquires the image captured by the image sensor 112 again, A captured image peak image representing the distribution of the image 251, which is the peak generated by the light condensed by the condensing element 231, is generated from the captured image.
  • the angular distance estimation unit 221 reads out the mask design PSF (Point Spread Function) stored in the mask design PSF storage unit 222, and based on the designed arrangement of the light collecting elements 231 of the mask 111, the image sensor A PSF peak image representing the distribution of images 251 expected to occur on 112 is generated.
  • PSF Point Spread Function
  • the angular distance estimating unit 221 compares the captured image peak image and the PSF peak image to determine the r-direction rotation correction value of the mask 111 with respect to the image sensor 112 and the X, Y A direction position correction value is estimated, and the estimation result is supplied to the central control unit 220 as a position rotation correction value.
  • the mask design PSF is a point spread function corresponding to the imaging result when the mask 111 and the imaging element 112 face each other with an appropriate distance. Therefore, by comparing the PSF peak image based on the mask design PSF and the captured image peak image, the positional rotation correction value for correcting the current positional relationship between the mask 111 and the image sensor 112 to an appropriate positional relationship is obtained. Presumed.
  • the central control unit 220 is composed of a processor and memory, and controls the overall operation of the lensless camera calibration device 101 by executing various programs. In addition, the central control unit 220 determines whether the distance between the mask 111 and the imaging element 112 is appropriate and whether the two are parallel based on the distance rotation correction value supplied from the angle/distance estimation unit 221. judge.
  • the central control unit 220 adjusts the device based on the distance rotation correction value supplied from the angle distance estimation unit 221.
  • the controller 219 is controlled to repeat the adjustment of the distance and angle of the mask 111 with respect to the imaging device 112 .
  • the central control unit 220 adjusts the mask 111 to the PSF peak image and the captured image peak image by the position rotation correction value.
  • the positions are adjusted by parallel movement and rotation so that the peak positions, which are the positions of the images 251 of both of .
  • the device control unit 219 controls the XY direction adjustment unit 213, the Z direction adjustment unit 214, the p direction adjustment unit 215, and the r direction adjustment unit. 216 and the y-direction adjusting unit 217 to drive the mask holding unit 212 and adjust the position and angle of the mask 111 with respect to the imaging device 112 .
  • the calibration of the mask 111 with respect to the imaging device 112 is realized by two stages of processing, distance rotation correction processing and position rotation correction processing.
  • the distance rotation correction process is, as shown in FIG. 13, correction by adjusting the position related to the distance between the mask 111 and the imaging element 112 in the Z direction, and correction by rotation in the p direction and the y direction. This is a process of correcting the distance between the element 112 and the mask 111 to an appropriate distance and correcting so that the planes formed by both are parallel to each other.
  • the mask 111 and the image pickup device 112 are rotated by an angle ⁇ that is a deviation from parallelism, so that both are made parallel.
  • the front side of the mask 111 in the figure is moved away from the image sensor 112, and conversely, the mask 111 The back side is rotated in the p direction so as to approach the imaging device 112 .
  • the y-direction is also rotated in a similar manner so that all images captured by the image sensor 112 are corrected to the same color.
  • the imaging device 112 is moved in the Z direction so that all images captured by the imaging device 112 are captured with green light.
  • the position is corrected so that the mask 111 is moved in the Z direction away from the image sensor 112 by a predetermined distance.
  • the position is corrected so that the mask 111 is moved in the Z direction so as to approach the image sensor 112 by a predetermined distance.
  • the mask 111 is corrected to be parallel to the imaging device 112, and the distances between the two are corrected to appropriate distances.
  • the position rotation correction process is a correction process performed after the distance rotation correction process makes the mask 111 and the imaging device 112 parallel and the distances between them are appropriate. , so that the peak position of the image captured on the imaging device 112 matches the peak position of the image on the mask design PSF. .
  • the peak position shown as the image of the white circle mark on the mask PDF peak image 261, which is the peak distribution of the mask design PSF, is indicated by the dotted line arrow through the condensing element 231. Incident light from light source 218 is shown to be collected.
  • the distance rotation correction process makes the mask 111 parallel to the imaging element 112 and at an appropriate distance. Therefore, in the position rotation correction process, the peak position, which is the image projected on the image sensor 112 by condensing the incident light through the mask 111, and the mask design PSF, are projected on the image sensor 112. The position is adjusted by parallel movement and rotation while the mask 111 maintains parallelism and distance from the imaging device 112 so that the peak position of the image assumed to coincide with the mask 111 .
  • the calibration process is realized by the two-stage correction process in which the position rotation correction process is performed after the distance rotation correction process is performed.
  • step S ⁇ b>31 the imaging element 112 is held by the imaging element base 211 and the mask 111 is held by the mask holder 212 .
  • step S32 the central control unit 220 controls the device control unit 219 to cause the point light source 218 to emit light.
  • the white light emitted by the point light source 218 passes through the condensing element 231 of the mask 111 , is condensed according to the wavelength, and enters the imaging surface of the imaging element 112 .
  • step S ⁇ b>33 the imaging element 112 captures an image and outputs the captured image to the angular distance estimation section 221 . That is, here, the distribution of light condensed on the imaging element 112 according to the wavelength is captured as an image by the condensing element 231 of the mask 111 described above.
  • step S34 the central control unit 220 controls the angle/distance estimation unit 221 to execute a distance rotation correction value calculation process based on the image supplied from the image sensor 112, and the Z direction of the mask 111 with respect to the image sensor 112.
  • the distance correction value for the direction and the rotation correction values for the p direction and the y direction are calculated together as the distance rotation correction value.
  • step S35 the central control unit 220 controls the device control unit 219 based on the distance rotation correction value to correct the distance of the mask 111 in the Z direction, and to make the mask 111 parallel to the imaging device 112. is rotationally corrected in the p- and y-directions.
  • the device control unit 219 controls the Z-direction adjusting unit 214 based on the distance correction value among the distance rotation correction values to drive the outer frame portion 212a of the mask holding unit 212 in the Z direction. to correct the distance between the mask 111 and the image sensor 112 .
  • the device control unit 219 controls the p-direction adjusting unit 215 and the y-direction adjusting unit 217 based on the rotation correction value among the distance rotation correction values to shift the inner frame portion 212b of the mask holding unit 212 to p. direction, and rotate the outer frame portion 212a in the y direction to correct so that the mask 111 and the imaging device 112 are parallel to each other.
  • step S35 is the distance rotation correction process described with reference to FIG.
  • step S36 the central control unit 220 determines whether each distance rotation correction value is smaller than a predetermined value. That is, the central control unit 220 determines that the Z-direction distance correction value of the mask 111 with respect to the imaging device 112 and the p-direction and y-direction rotation correction values, which are the distance rotation correction values, are smaller than predetermined values, and are not larger than the predetermined values. It is determined whether or not the distance rotation correction process of is unnecessary.
  • step S36 if the central control unit 220 determines that none of the distance rotation correction values is smaller than the predetermined value and that distance rotation correction processing is still necessary, the process returns to step S33.
  • steps S33 to S36 are repeated until it is determined that each of the distance rotation correction values is smaller than the predetermined value and further distance rotation correction processing is unnecessary.
  • step S36 if it is determined that each of the distance rotation correction values is smaller than the predetermined value and further distance rotation correction processing is unnecessary, the process proceeds to step S37.
  • step S ⁇ b>37 the imaging device 112 captures an image and outputs the captured image to the angular distance estimating section 221 . That is, here, each component of the incident light is converted into a A distribution of images generated by condensing light according to the wavelength is captured as an image.
  • step S38 the central control unit 220 controls the angle distance estimating unit 221 to execute position rotation correction value calculation processing based on the image supplied from the image sensor 112, and the XY image of the mask 111 with respect to the image sensor 112.
  • a position correction value for the direction and a rotation correction value for the r direction are calculated as position rotation correction values.
  • step S39 the central control unit 220 controls the device control unit 219 based on the position rotation correction value to correct the position of the mask 111 in the XY directions, and to face the imaging element 112 in the r direction. Rotation correction is performed and the process ends.
  • the device control unit 219 thereby controls the XY direction adjustment unit 213 to rotate the outer frame portion 212a of the mask holding unit 212 in the XY directions based on the position correction values in the XY directions among the position rotation correction values. to correct the positions of the mask 111 and the imaging device 112 .
  • the device control section 219 controls the r-direction adjusting section 216 to rotate the inner frame section 212b of the mask holding section 212 in the r-direction based on the r-direction rotation correction value among the position rotation correction values. Then, the mask 111 and the imaging device 112 are corrected to face each other in the r direction.
  • step S39 is the position rotation correction process described with reference to FIG.
  • the light emitted from the point light source 218 is condensed by the condensing element 231 of the mask 111 and is incident on the imaging element 112. Based on the image captured, the distance rotation correction value is calculated. Then, distance rotation correction processing is performed based on the distance rotation correction value to correct the distance of the mask 111 with respect to the imaging device 112 in the Z direction. are rotated to be parallel.
  • the position rotation correction value is calculated based on the image captured again by being incident on the imaging device 112, and the position rotation correction processing is performed based on the position rotation correction value.
  • the position of the mask 111 in the XY direction with respect to the imaging device 112 is corrected, and further, the position is corrected in the r direction so as to be rotationally corrected.
  • the relative positional relationship between the mask 111 and the imaging element 112 is highly accurately and easily corrected.
  • step S51 the angular distance estimating unit 221 obtains the maximum pixel value for each area where light is collected by the light collecting element 231, and sets the pixel value for each area, which consists of the pixel position and the pixel value where the maximum pixel value is obtained. do.
  • N images 251 of condensed light are generated on the imaging element 112 . It is assumed that areas where the N images 251 are generated are set as areas pi (i ⁇ N).
  • the angular distance estimation unit 221 uses the pixel position with the maximum pixel value in the region as a representative position in each region, thereby calculating the region pj (Xj, Yj) (j ⁇ N) set to
  • (Xj, Yj) are coordinates whose origin is the center position (Xc, Yc) of the imaging device 112, as shown in FIG.
  • the angle distance estimation unit 221 calculates the position and the pixel value in each region pj.
  • the positional pixel value Ipj (Xj, Yj, rj, gj, bj) for each area is set.
  • rj, gj, and bj are the pixel value of the R (red light) component, the pixel value of the G (green light) component, and the pixel value of the B (blue light) component in the pixel value Ij and the positional pixel value Ipj for each region, respectively. value.
  • step S52 the angular distance estimating unit 221 calculates a position-weighted average pixel value Iave based on the region-by-region position pixel value Ipj by the following equation (6).
  • LSXj and LSYj are (Xj-Xc) and (Yj-Yc), respectively, and a weight corresponding to the distance in the X direction from the center position (Xc, Yc) of the image sensor 112 in each region Pj, It is a weight corresponding to the distance in the Y direction.
  • the position-weighted pixel value average Iave is the weight set according to the position (distance) in the X direction from the center position (Xc, Yc) of the image sensor 112 for each region, and the pixel value obtained when the weight is multiplied. It is an average value of both the average of the pixel values and the average of the pixel values when the pixel values are multiplied by the weight set according to the position (distance) in the Y direction.
  • step S53 the angular distance estimating unit 221 subtracts the position-weighted pixel value average Iave from the position pixel value Ipj (Xj, Yj, rj, gj, bj) for each region, thereby obtaining the offset pixel value for each region.
  • Ijofs (Xj, Yj, rjofs, gjofs, bjofs). Note that rjofs, gjofs, and bjofs are the offset pixel value of the R component, the offset pixel value of the G component, and the offset pixel value of the B component, respectively.
  • step S54 the angular distance estimating unit 221 converts the offset pixel value Ijofs (Xj, Yj, rjofs, gjofs, bjofs) for each area into a distance correction value for each area Djcor, which is a distance correction value for each area.
  • a distance correction value Dcor which is a correction value of the mask 111 in the Z direction, is calculated from the average of the distance correction values Djcor.
  • the color of the light of the condensed image 251 depends on the distance between the mask 111 and the image sensor 112. If the distance is appropriate, the color of the light is green light g, and the distance between the two is appropriate. If they are closer than , it will be red light r, and conversely, if they are more than the correct distance, it will be blue light r.
  • the per-region distance correction value Djcor is a predetermined It can be expressed by a function f (both linear and nonlinear functions).
  • the angular distance estimation unit 221 converts the offset pixel value Ijofs (Xj, Yj, rjofs, gjofs, bjofs) for each area into the distance correction value Djcor for each area using this function f. Then, the angular distance estimating unit 221 calculates the average of the distance correction values Djcor for each region in the entire imaging device 112 as the distance correction value Dcor, which is the correction value of the mask 111 in the Z direction.
  • the function f is used in advance to convert the offset pixel value Ijofs (Xj, Yj, rjofs, gjofs, bjofs) for each area into the distance correction value Djcor for each area, and is stored as a table. It may be made readable.
  • step S55 the angular distance estimating unit 221 calculates the rotation correction value Aj for each region, which is the correction value for the p direction and the y direction, based on the position pixel value Ipj (Xj, Yj, rj, gj, bj) for each region. calculate.
  • the angular distance estimating unit 221 calculates the following equation (7) based on the position pixel value Ipj (Xj, Yj, rj, gj, bj) for each region, so that the rotation correction for each region Calculate the value Aj.
  • r0, g0, and b0 are the luminance values of red light, green light, and blue light in white light, respectively.
  • the rotational correction value Aj for each region is obtained by rotationally correcting the mask 111 in the p direction and the y direction so that rj/gj and bj/gj are the same and rj ⁇ gj and bj ⁇ gj. This is the amount of displacement for each region so that the mask 111 and the imaging device 112 are parallel.
  • the rotational correction value Aj increases and becomes positive in sign when the red light rj becomes stronger than the blue light bj.
  • step S56 the angular distance estimator 221 calculates rotational correction values Aycor and Apcor of the mask 111 in the y-direction and p-direction, respectively, based on the per-region rotational correction value Aj.
  • the angular distance estimating unit 221 computes the following equations (8) and (9) based on the rotation correction value Aj for each region, so that the y direction and the p direction of the mask 111 are respectively , are calculated.
  • Aycor (1/N) x ⁇ (LCyj x Aj) (where j is 0 to N) ...
  • Apcor (1/N) x ⁇ (LCpj x Aj) (where j is 0 to N) ... (9)
  • LCyj and LCpj are (Xj-Xc) and (Yj-Yc), respectively, and the distance in the X direction and the distance in the Y direction from the center position (Xc, Yc) of the image sensor 112 in each region Pj are respectively is the distance of
  • the rotation correction values Aycor and Apcor of the entire mask 111 are based on the premise that the correction amount of the center position of the mask 111 is 0, respectively, and the mask 111 is controlled by rotation in the y direction and the p direction. It is a weighted average obtained by weighting the rotation correction value Aj, which is the amount of displacement in each region Pj when the correction angles are ⁇ ycor and ⁇ pcor, based on the distances LCyj and LCpj from the center.
  • step S57 the angular distance estimator 221 calculates the distance correction value Dcor, which is the correction value of the mask 111 in the Z direction calculated as described above, and the correction angle ⁇ ycor in the y direction and the correction angle ⁇ pcor in the p direction of the mask 111.
  • the rotation correction values Aycor and Apcor are output to the central control unit 220 as distance rotation correction values.
  • the distance correction value Dcor which is the correction value in the Z direction of the mask 111
  • the rotation correction values Aycor and Apcor which are the correction angle ⁇ ycol in the y direction and the correction angle in the p direction of the mask 111.
  • the central control unit 220 controls the device control unit 219 using the distance correction value Dcor, which is the correction value in the Z direction, and adjusts the mask 111 fixed to the outer frame unit 212a by the Z direction adjustment unit 214 in the Z direction.
  • Dcor the distance correction value in the Z direction
  • the central control unit 220 controls the device control unit 219 using the rotation correction value Apcor, and causes the p-direction adjustment unit 215 to adjust the rotation of the mask 111 fixed to the inner frame unit 212b in the p direction.
  • the y-direction adjustment unit 217 adjusts the rotation of the mask 111 fixed to the outer frame 212a in the y-direction using the rotation correction value Aycor, so that the mask 111 and the image sensor 112 are corrected to be parallel. .
  • step S71 the angular distance estimating unit 221 reads the mask design PSF from the mask design PSF storage unit 222, and an image assumed to be condensed when the condensing element 231 of the mask 111 is arranged as designed.
  • a PSF peak image is generated by reading out the peak position corresponding to the position of .
  • step S72 the angular distance estimating unit 221 extracts the peak position, which is the position of the image generated by condensing the light by the condensing element 231, from the image captured by the imaging element 112, and extracts the peak position. A captured image peak image is generated.
  • step S73 based on the PSF peak image and the captured image peak image, the angular distance estimation unit 221 performs, for example, SIFT (Scale-Invariant Feature Transform (https://patents google.com/patent/US6711293))), the r-direction rotation correction value Rcor and the position correction values Xcor and Ycor of the mask 111 are calculated.
  • SIFT Scale-Invariant Feature Transform
  • step S74 the angular distance estimating section 221 outputs the r-direction rotation correction value Rcor and the position correction values Xcor and Ycor to the central control section 220 as position rotation correction values.
  • the rotation correction value Rcor which is the correction value of the mask 111 in the r direction
  • the position correction values Xcor, Ycor which are the correction values of the mask 111 in the X and Y directions
  • the central control unit 220 controls the device control unit 219 based on the r-direction rotation correction value Rcor to rotate the mask 111 fixed to the inner frame portion 212b by the r-direction adjusting unit 216 in the r direction. be adjusted.
  • the central control unit 220 controls the device control unit 219 based on the position correction values Xcor and Ycor to adjust the position of the mask 111 fixed to the outer frame unit 212a by the XY direction adjustment unit 213 in the X and Y directions. be adjusted.
  • the distance and angle between the mask 111 and the image pickup device 112 are accurately and easily adjusted, that is, the two face each other in an appropriate positional relationship. Adjustment (calibration) becomes possible.
  • Example of execution by software By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processes is executed by software, the programs that make up the software are built into dedicated hardware, or various functions can be executed by installing various programs. installed from a recording medium, for example, on a general-purpose computer.
  • FIG. 19 shows a configuration example of a general-purpose computer.
  • This computer incorporates a CPU (Central Processing Unit) 1001 .
  • An input/output interface 1005 is connected to the CPU 1001 via a bus 1004 .
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004 .
  • the input/output interface 1005 includes an input unit 1006 including input devices such as a keyboard and a mouse for the user to input operation commands, an output unit 1007 for outputting a processing operation screen and images of processing results to a display device, and programs and various data.
  • LAN Local Area Network
  • magnetic discs including flexible discs
  • optical discs including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical discs (including MD (Mini Disc)), or semiconductors
  • a drive 1010 that reads and writes data from a removable storage medium 1011 such as a memory is connected.
  • the CPU 1001 reads a program stored in the ROM 1002 or a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installs the program in the storage unit 1008, and loads the RAM 1003 from the storage unit 1008. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads, for example, a program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the above-described series of programs. is processed.
  • a program executed by the computer (CPU 1001) can be provided by being recorded on a removable storage medium 1011 such as a package medium, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage section 1008 via the input/output interface 1005 by loading the removable storage medium 1011 into the drive 1010 . Also, the program can be received by the communication unit 1009 and installed in the storage unit 1008 via a wired or wireless transmission medium. In addition, programs can be installed in the ROM 1002 and the storage unit 1008 in advance.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be executed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the CPU 1001 in FIG. 19 implements at least one of the functions of the device control unit 219, the central control unit 220, and the angular distance estimation unit 221 in FIG.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • the present disclosure can take the configuration of cloud computing in which a single function is shared by multiple devices via a network and processed jointly.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • the present disclosure can also take the following configuration.
  • a mask comprising a plurality of light-condensing elements in a transmission region and a plurality of light-shielding regions, and modulating incident light into modulated light by transmitting the light; an imaging device that captures a modulated image composed of the modulated light that has passed through the mask; and a reconstruction unit that reconstructs an image corresponding to the incident light based on the modulated image, a mask holder that holds the mask and adjusts the position and angle of the mask with respect to the imaging element; a point light source that emits white light as the incident light; When the white light passes through the mask as the incident light, the mask is placed in a predetermined positional relationship with respect to the imaging element based on the color of the light according to the wavelength of the image imaged by the imaging element.
  • the adjustment device controls the mask holding section to adjust the position and angle of the mask with respect to the imaging device to the predetermined positional relationship.
  • the control unit controls the mask holding unit to adjust the distance of the mask to the imaging device to a distance corresponding to a predetermined positional relationship, and adjusts the angle of the mask to the imaging device.
  • the adjustment device which adjusts so as to be parallel.
  • the control unit controls the mask holding unit to adjust the distance of the mask to the imaging device to a distance at which the image is captured by the imaging device as light of a predetermined color
  • the adjustment device according to ⁇ 3> which adjusts the angles of the yaw direction and the pitch direction of the mask so that the mask and the imaging device are parallel to each other.
  • the adjustment device according to ⁇ 4> wherein the light of the predetermined color is green light.
  • the adjustment device further including a correction value calculation unit that calculates a rotation correction value for adjusting the rotation.
  • the correction value calculation unit calculates, for each image captured by the imaging element, a difference from an average pixel value of the image captured by the imaging element as an offset pixel value for each image, and The adjustment device according to ⁇ 6>, wherein each offset pixel value is converted into a distance correction value for each image, and an average of the distance correction values for each image is calculated as the distance correction value.
  • the average pixel value of the image is weighted according to the distance between the position of the image and the center position of the image pickup device, with a sign that is reversed with respect to the center position of the image pickup device,
  • the adjustment device according to ⁇ 7> which is a weighted average obtained by assigning the pixel values of each image.
  • the correction value calculation unit calculates, for each image captured by the image sensor, the ratio between the R component and the G component in the pixel values of the image captured by the image sensor, and the R component of white light. and the G component, the ratio of the B component to the G component in the pixel value of the image, and the difference in the ratio of the B component to the G component of white light.
  • the adjusting device according to ⁇ 6>.
  • the control unit After the distance of the mask with respect to the imaging element is adjusted to a distance corresponding to a predetermined position and the angle of the mask is adjusted to be parallel to the imaging element, the control unit , the adjustment device according to any one of ⁇ 3> to ⁇ 9>, which controls the mask holding unit to adjust the mask to a position and angle facing the imaging element.
  • the control unit controls the mask holding unit so that the mask is distributed based on the image distribution in the image captured by the imaging device and the mask design PSF (Point Spread Function).
  • PSF Point Spread Function
  • the adjustment device which adjusts the position and angle of facing the imaging device to the same position and angle.
  • the control unit controls the mask holding unit so that the distribution of the image of the mask in the image captured by the imaging element matches the distribution of the image based on the mask design PSF.
  • the adjustment device which adjusts the position by parallel movement and adjusts the angle in the roll direction.
  • Position correction for adjusting the position of the mask by translation so that the distribution of the image in the image captured by the imaging device matches the distribution of the image based on the mask design PSF.
  • the control unit controls the mask holding unit so that the distribution of the image in the image captured by the imaging device matches the distribution of the image based on the mask design PSF,
  • the adjustment device according to ⁇ 12> which adjusts the position by translation based on the position correction value, and adjusts the angle in the roll direction based on the rotation correction value.
  • a mask comprising a plurality of transmissive regions made up of a plurality of FZPs (Fresnel Zone Plates) and a plurality of light shielding regions, and modulating incident light into modulated light by transmitting it; an imaging device that captures a modulated image composed of the modulated light that has passed through the mask; and a reconstruction unit that reconstructs an image corresponding to the incident light based on the modulated image, a mask holder that holds the mask and adjusts the position and angle of the mask with respect to the imaging element;
  • a method of operating an adjustment device comprising a point light source emitting white light as the incident light, When the white light passes through the mask as the incident light, the mask is placed in a predetermined positional relationship with respect to the imaging element based on the color of the light according to the wavelength of the image imaged by the imaging element.
  • a method of operating an adjustment device comprising: controlling the mask retainer to adjust.
  • 101 lens-less camera calibration device 211 imaging device table, 212 mask holding unit, 212a outer frame unit, 212b inner frame unit, 213 XY direction adjustment unit, 214 Z direction adjustment unit, 215 p direction adjustment unit, 216 r direction adjustment section, 217 y-direction adjustment section, 218 point light source, 219 device control section, 220 central control section, 221 angle distance estimation section, 222 mask design PSF storage section, 231 light condensing element, 251 image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

本開示は、レンズレスカメラにおけるマスクと撮像素子との位置関係を高精度で、かつ、容易に調整できるようにする調整装置および調整装置の作動方法に関する。 白色光が入射光として複数の集光素子からなる透過領域と遮光領域とを備えた撮像素子の前段に設けられたマスクを透過するとき、撮像素子により撮像される像の波長に応じた光の色に基づいて、マスクを、撮像素子に対して、適切な位置関係となるように調整させる。本開示は、レンズレスカメラにおけるマスクと撮像素子とのキャリブレーション装置に適用することができる。

Description

調整装置および調整装置の作動方法
　本開示は、調整装置および調整装置の作動方法に関し、特に、レンズレスカメラにおけるマスクと撮像素子との位置関係を高精度で、かつ、容易に調整できるようにした調整装置および調整装置の作動方法に関する。
　透過領域と不透過領域とからなる２次元のパターンが設けられたマスクを撮像素子の前段に配置し、マスクを通して撮像素子上に投影された観測値からなる変調画像に基づいて、シーンとなる元画像を再構成するレンズレスカメラの技術が広く一般に知られている。
　レンズレスカメラは、シーンからの放射光が、マスクを通して変調されることで、撮像素子上にどのように投影されるかの情報を、予めマトリックスとして定義しておき、そのマトリックスと撮像素子上に投影された変調画像から、実際のシーンを再構成するものである（非特許文献１参照）。
　このマスクを構成する透過領域は、遮光された不透過領域に対して、単純な穴で構成されてもよいし、穴のそれぞれにレンズのような集光素子が配置されるような構成でもよい。
　透過領域が単純な穴の場合、サイズが大きくなるとセンサ上に結像する光がぼけてしまい、再構成される画像の画質が低下する。
　これに対して、透過領域となる穴にレンズのような集光素子が配置される構成の場合、光が集光されることで、センサ上における結像のぼけが抑制されることにより、シャープな像として結像されるので、再構成される画像の画質を向上させることができる。
　この透過領域にはレンズ以外の集光素子が設けられる場合もあり、その例として、FZP（Fresnel Zone Plate）を用いる方法がある（非特許文献２参照）。
　FZPは透明、不透明な同心円のゾーンが交互に配置された形をした集光素子であり、外側のゾーンほど間隔が狭くなっており、外側に入射した光ほど光の方向が大きく変わる不等間隔回折格子として働く事で、入射光が光軸上の一点に集光するものである。
Boominathan, Vivek, et al. "Lensless Imaging: A computational renaissance." IEEE Signal Processing Magazine 33.5 (2016): 23-35. Reshetouski, Ilya, et al. "Lensless Imaging with Focusing Sparse URA Masks in Long-Wave Infrared and Its Application for Human Detection." Computer Vision-ECCV 2020: 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part XIX 16. Springer International Publishing, 2020.
　一方、レンズレスカメラにおいて、マスクと撮像素子の位置や回転の関係が再構成される画像の画質に影響を与える。
　このため、撮像素子とマスクとの位置関係は、高精度に調整された状態とするためのキャリブレーションが必要となる。
　しかしながら、撮像素子とマスクとの位置関係を調整するためのキャリブレーションを実現するには、相互の位置関係について、３軸方向の位置調整と、ヨー、ピッチ、ロールといった３軸方向の回転調整との合計６軸の調整が必要であり、それぞれの位置と回転を精度よく調整するには、微調整を繰り返す必要があり、手間と時間を要していた。
　本開示は、このような状況に鑑みてなされたものであり、特に、レンズレスカメラにおけるマスクと撮像素子との位置関係を高精度で、かつ、容易に調整できるようにする。
　本開示の一側面の調整装置は、複数のFZP(Fresnel Zone Plate)からなる透過領域と、複数の遮光領域とからなり、入射光を透過させることで変調光に変調するマスクと、前記マスクを透過した前記変調光からなる変調画像を撮像する撮像素子と、前記変調画像に基づいて、前記入射光に対応する画像を再構成する再構成部とを有する撮像装置の、前記マスクを保持し、前記撮像素子に対する前記マスクの位置および角度を調整するマスク保持部と、前記入射光として白色光を発する点光源と、前記白色光が前記入射光として前記マスクを透過するとき、前記撮像素子により撮像される像の波長に応じた光の色に基づいて、前記マスクを、前記撮像素子に対して所定の位置関係に調整させるように前記マスク保持部を制御する制御部とを備えた調整装置である。
　本開示の一側面の調整装置の作動方法は、複数のFZP(Fresnel Zone Plate)からなる透過領域と、複数の遮光領域とからなり、入射光を透過させることで変調光に変調するマスクと、前記マスクを透過した前記変調光からなる変調画像を撮像する撮像素子と、前記変調画像に基づいて、前記入射光に対応する画像を再構成する再構成部とを有する撮像装置の、前記マスクを保持し、前記撮像素子に対する前記マスクの位置および角度を調整するマスク保持部と、前記入射光として白色光を発する点光源とを備えた調整装置の作動方法であって、前記白色光が前記入射光として前記マスクを透過するとき、前記撮像素子により撮像される像の波長に応じた光の色に基づいて、前記マスクを、前記撮像素子に対して所定の位置関係に調整させるように前記マスク保持部を制御するステップを含む調整装置の作動方法である。
　本開示の一側面においては、複数のFZP(Fresnel Zone Plate)からなる透過領域と、複数の遮光領域とからなり、入射光を透過させることで変調光に変調するマスクと、前記マスクを透過した前記変調光からなる変調画像を撮像する撮像素子と、前記変調画像に基づいて、前記入射光に対応する画像を再構成する再構成部とを有する撮像装置の、前記マスクが保持され、前記撮像素子に対する前記マスクの位置および角度が調整され、前記入射光として白色光が発っせられ、前記白色光が前記入射光として前記マスクを透過するとき、前記撮像素子により撮像される像の波長に応じた光の色に基づいて、前記マスクが、前記撮像素子に対して所定の位置関係に調整される。
レンズレスカメラの概要を説明する図である。 レンズレスカメラの撮像原理を説明する図である。 透過領域に集光素子を設けた場合の例を説明する図である。 レンズレスカメラの撮像処理を説明する図である。 マスクと撮像素子との距離のずれを検出する原理を説明する図である。 マスクと撮像素子との距離に応じて生じる像の違いを説明する図である。 マスクと撮像素子との距離が適正距離であるときの像の例を説明する図である。 マスクと撮像素子との距離が適正距離よりも近いときの像の例を説明する図である。 マスクと撮像素子との距離が適正距離よりも遠いときの像の例を説明する図である。 マスクと撮像素子との間でピッチ回転によるずれがあるときの像の例を説明する図である。 マスクと撮像素子との間でヨー回転によるずれがあるときの像の例を説明する図である。 本開示のレンズレスカメラキャリブレーション装置の構成例を説明する図である。 マスクと撮像素子との間のピッチ方向、ヨー方向、およびＺ方向の調整を説明する図である。 マスクと撮像素子との間のロール方向、およびＸ，Ｙ方向の調整を説明する図である。 図１２のレンズレスカメラキャリブレーション装置によるキャリブレーション処理を説明するフローチャートである。 距離回転補正値算出処理を説明するフローチャートである。 領域毎に設定される座標系を説明する図である。 位置回転補正値算出処理を説明するフローチャートである。 汎用のコンピュータの構成例を示している。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．レンズレスカメラの概要
　２．本開示の概要
　３．本開示のキャリブレーション装置の構成例
　４．ソフトウェアにより実行させる例
　＜＜１．レンズレスカメラの概要＞＞
　図１を参照して、レンズレスカメラの概要について説明する。尚、図１は、レンズレスカメラとして機能する撮像装置１１の側面断面図である。
　図１の撮像装置１１は、いわゆるレンズレスカメラであり、マスク３１、撮像素子３２、再構成部３３、および出力部３４を備えている。
　マスク３１は、撮像素子３２の前段に設けられる遮光素材からなる板状の構成であり、例えば、図２の左部で示されるように、入射光を透過させる穴状の開口部からなる透過領域４１と、それ以外の遮光された遮光領域４２とから構成されている。
　マスク３１は、光軸ＡＸで示される被写体面（現実には３次元の被写体からの放射光が発せられる面）Ｇ１からの光を入射光として受光すると、透過領域４１を介して、入射光を透過させることで、被写体面Ｇ１からの入射光に対して全体として変調を掛けて、変調光に変換し、変換した変調光を撮像素子３２により受光させて撮像させる。
　撮像素子３２は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサからなり、被写体面Ｇ１からの入射光に、マスク３１により変調が掛けられた変調光を撮像し、画素単位の信号からなる変調信号Ｇ２として再構成部３３に出力する。
　尚、マスク３１は、少なくとも撮像素子３２の全面を内包する大きさであり、基本的に撮像素子３２において、マスク３１を透過することで変調が掛けられた変調光のみが受光される構成とされている。
　また、マスク３１に構成される透過領域４１は、少なくとも撮像素子３２の画素サイズよりも大きいサイズである。また、撮像素子３２とマスク３１との間には、微小な距離ｄの隙間が設けられている。
　例えば、図２の左上部で示されるように、被写体面Ｇ１上の点光源ＰＡ，ＰＢ，ＰＣからの入射光が、マスク３１の透過領域４１を透過して撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおいて、それぞれ光強度ａ，ｂ，ｃの光線として受光されるものとする。
　図２の左上部で示されるように、各画素の検出感度は、マスク３１に設定される透過領域４１により入射光が変調されることにより、入射角に応じた指向性を持つことになる。ここでいう各画素の検出感度に入射角指向性を持たせるとは、撮像素子３２上の領域に応じて入射光の入射角度に応じた受光感度特性を異なるものとなるように持たせることである。
　すなわち、被写体面Ｇ１を構成する光源が点光源であることを前提とした場合、撮像素子３２においては、同一の点光源より発せられた同一の光強度の光線が、入射されることになるが、マスク３１により変調されることにより、撮像素子３２の撮像面上の領域毎に入射角度が変化する。そして、マスク３１により撮像素子３２上の領域に応じて入射光の入射角度が変化することにより受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、撮像素子３２の撮像面の前段に設けられたマスク３１により撮像素子３２上の領域毎に異なる感度で検出されることになり、領域毎に異なる検出信号レベルの検出信号が検出される。
　より具体的には、図２の右上部で示されるように、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。尚、図２における式（１）乃至式（３）は、図２における撮像素子３２上における位置Ｐａ，Ｐｂ，Ｐｃと上下関係が反転している。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、α１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数である。
　また、β１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。
　さらに、γ１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。
　従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐａにおける点光源ＰＡからの光線による検出信号レベルを示したものである。
　また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐａにおける点光源ＰＢからの光線による検出信号レベルを示したものである。
　さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐａにおける点光源ＰＣからの光線による検出信号レベルを示したものである。
　従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの係数α１，β１，γ１を掛けたものの合成値として表現される。以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。
　同様に、位置Ｐｂにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。また、位置Ｐｃにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ位置Ｐａにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。
　ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。尚、この位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルＤＡ，ＤＢ，ＤＣからなる画像が、図１の変調信号Ｇ２に対応する。
　すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、光強度ａ，ｂ，ｃを解くことで、図２の右下部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像（最終画像）が再構成されて復元される。尚、この再構成される画像が、図１の画像Ｇ３に対応する。
　また、図２の左上部で示される撮像素子３２と被写体面Ｇ１との距離が変化する場合、係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３は、それぞれ変化することになるが、この係数セットを変化させることで、様々な距離の被写体面の復元画像（最終画像）を再構成させることができる。
　このため、１回の撮像により、係数セットを様々な距離に対応するものに変化させることで、撮像位置から様々な距離の被写体面の画像を再構成することができる。
　結果として、図１の撮像装置１１を用いた撮像においては、レンズを用いた撮像装置での撮像において合焦点がずれた状態で撮像される、いわゆる、ピンぼけといった現象を意識する必要がなく、視野内に撮像したい被写体が含まれるように撮像されていれば、距離に応じた係数セットを変化させることで様々な距離の被写体面の画像を、撮像後に再構成することができる。
　尚、図２の右上部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではなく、単なる観測値となり、観測値からなる画像が変調信号Ｇ２に相当する。また、図３の右下部で示される検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値、すなわち、変調信号Ｇ２に基づいて復元された、復元画像（最終画像）の各画素の値なので、画素値となる。すなわち、この被写体面Ｇ１の復元画像（最終画像）が、画像Ｇ３に対応する。
　このような構成により、撮像装置１１は、いわゆるレンズレスカメラとして機能させることが可能となる。結果として、撮像レンズが必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。また、係数セットを様々に変化させることにより、様々な距離の被写体面における最終画像（復元画像）を再構成して復元することが可能となる。
　尚、以降においては、撮像素子３２により撮像された、再構成される前の変調信号Ｇ２に相当する画像を単に変調画像と称し、変調画像が信号処理されることにより再構成されて復元される画像Ｇ３に相当する画像を最終画像（復元画像）と称する。従って、１枚の変調画像からは、上述した係数セットを様々に変化させることにより、様々な距離の被写体面Ｇ１上の画像を最終画像として再構成させることができる。
　再構成部３３は、上述した係数セットを備えており、撮像装置１１の撮像位置から被写体面Ｇ１までの距離に応じた係数セットを用いて、撮像素子３２により撮像された変調画像（図１の変調信号Ｇ２）に基づいて、最終画像（復元画像）（図１の画像Ｇ３）を再構成して出力部３４に出力する。
　出力部３４は、再構成部３３より供給されてきた最終画像に信号処理を加えて画像信号として出力する。
　＜透過領域の構成＞
　マスク３１を構成する透過領域４１は、遮光された遮光領域４２に対して、単純な小径のピンホールのような開口部として構成されてもよいし、透過領域４１のそれぞれにレンズのような集光素子が配置されるような構成でもよい。
　例えば、図３で示されるように、透過領域４１が単純な開口部である小径のピンホール４１Ｈの場合、光源５１からの光は、回折により撮像素子３２上に落ちる光が拡散してぼけてしまい、再構成される画像の画質が低下する。
　これに対して、図３で示されるように、透過領域４１にレンズのような集光素子４１Ｆが配置される構成の場合、光源５１からの光が集光されることで、撮像素子３２上における結像のぼけが抑制されることにより、シャープな像として結像されるので、再構成される画像の画質を向上させることができる。
　尚、図３においては、透過領域４１が単純な開口部からなる小径のピンホール４１Ｈであるときの撮像素子３２上の結像領域が点線で描かれた丸印の像５２Ｈで表現されており、透過領域４１が集光素子４１Ｆで構成された場合の撮像素子３２上の結像領域が白丸で示される像５２Ｆで表現されている。
　すなわち、像５２Ｈは、透過領域４１が単純な開口部からなる小径のピンホール４１Ｈである場合において、光源５１からの入射光が回折により拡散してボケた状態で撮像素子３２上に入射していることが表現されている。
　一方、像５２Ｆは、集光素子４１Ｆで集光されることにより小さなスポット状の領域として撮像素子３２に入射していることが表現されている。
　この透過領域４１にはレンズ以外の集光素子４１Ｆが設けられてもよく、例えば、FZP（Fresnel Zone Plate）を用いるようにしてもよい。
　FZPは透明、不透明な同心円のゾーンが交互に配置された形をした集光素子であり、外側のゾーンほど間隔が狭くなっており、外側に入射した光ほど光の方向が大きく変わる不等間隔回折格子として働く事で、入射光が光軸上の一点に集光するものである。
　尚、図３においては、集光素子４１Ｆが、FZPで構成される場合の例が描かれている。
　＜マスクと撮像素子との関係について＞
　上述したような原理により実現される撮像装置１１の一連の処理は、まとめると図４で示されるような処理となる。
　すなわち、図１の被写体面Ｇ１に相当する、入力画像Xからなる入射光が、マスク３１に入射することで、マスク３１のパターンMによる変調が掛けられて、撮像素子３２により撮像される。
　撮像素子３２は、被写体面Ｇ１に相当する入力画像Ｘに、マスク３１のパターンMで変調が掛けられた入射光を、図１の変調信号Ｇ２に相当する変調画像Yとして撮像し、再構成部３３に出力する。
　再構成部３３は、変調画像Yに対して信号処理を施すことにより、図１の最終画像Ｇ３に相当する、入力画像Ｘに対応する最終画像X’を再構成する。
　この撮像装置１１の一連の処理において、撮像素子３２により撮像される変調信号Ｇ２に相当する変調画像Yは、以下の式（４）で示されるような、マスク３１のパターンMと、入力画像Ｘとの畳み込みとして表現できることが知られている。
　Y=M*X
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　ここで、Yは、図４で示されるように、撮像素子３２により撮像された変調画像、すなわち、撮像素子３２の観測値を表現する、長さPのベクトルであり、Mはマスク３１のパターンを表現するマトリクス（行列）であり、Xは、入力画像を表現する長さNのベクトルであり、*は畳み込み演算を表している。
　行列Mとして表現されるマスク３１のパターンは、例えば、URA(Uniformly Redundant Arrays)パターンやMURA(Modified URA)パターンが一般的である。
　上述した式（４）の関係から、再構成画像Ｇ３に相当する、画像X'の再構成処理は、例えば、以下の式（５）のような演算により求めることができる。
　X'=G*M*X
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　ここで、X'は、図１における再構成画像Ｇ３に対応する再構成画像を表し、Gはマスク３１のパターンMの行列に対応した復元行列（Mの逆行列）を表す。この復元行列Gの各要素は、上述した係数セットに対応する。
　また、再構成画像X'の再構成にあたっては、Tikhonovの正則化法なども一般的に使用される。
　ところで、被写体面G1の画像Xが、マトリクスMからなるマスク３１により変調されて、撮像素子３２上の観測値からなる変調画像より再構成されるには、マスク３１のマトリクスMが物理的な性質を正しく表現している必要がある。
　物理的な性質には、マスク３１のパターンだけでなく、マスク３１と撮像素子３２間の幾何学的関係が含まれるため、その関係が設計と異なる場合は正しく画像を再構成できない。
　理想的には設計データからマスク３１のマトリクスMを求める事は可能であるが、実際は組立精度ばらつきによる誤差が生じる。
　そのため、マスク３１と撮像素子３２との相互の位置Ｘ，Ｙ，Ｚと回転ヨー（ｙ）、ピッチ（ｐ）、ロール（ｒ）の6軸の幾何学的誤差を修正するためのキャリブレーションが必要となる。尚、以降において、位置を示すＹについては、大文字で表記し、ヨーを示すｙについては小文字で表記することで、双方を区別して表記する。
　ここでいうキャリブレーションは、点光源の光を撮像素子３２上で観測し、シミュレーションで計算された位置に合うようにマスク３１の位置や角度を調整する処理である。
　しかしながら、上記6軸のパラメータを修正するためには、各点の位置を正確に求め、それぞれが正しい位置になるよう各パラメータを少しずつ調整していく必要があり、修正に時間を要していた。
　そこで、本開示においては、マスク３１と撮像素子３２との位置関係を、高精度で、かつ、容易に調整できるようにする。
　＜＜２．本開示の概要＞＞
　＜マスクと撮像素子との距離のずれを検出する原理＞
　次に、本開示の概要について説明する。
　マスク３１の透過領域４１に、例えば、FZPからなる集光素子４１Ｆが設けられている場合、マスク３１と撮像素子３２との位置関係とが適切であるときには、点光源からの入射光は、集光素子４１Ｆを透過すると、撮像素子３２上において結像する。
　しかしながら、点光源が白色光であるような場合、入射光には、波長の異なる光が混在することにより、波長に応じて合焦する距離が異なる。
　ここで、例えば、図５で示されるように、赤色光となるR波長の光源５１ｒと青色光となるB波長の光源５１ｂとがそれぞれマスク３１から等距離に存在する場合について考える。
　図５の場合、それぞれからの入射光がFZPからなる集光素子４１Ｆを透過すると、撮像素子３２上において、赤色光となるR波長の像５２ｒが適切に合焦するときには、青色光となるB波長の像５２ｂは、焦点位置が撮像素子３２より遠い位置となるため、径が像５２ｒよりも大きくなる。
　尚、図５においては、説明の便宜上、光源５１ｒ，５１ｂ、および像５２ｒ，５２ｂが異なる位置に描かれているが、同軸であることを想定しており、光源５１ｒ，５１ｂは、同一位置であると共に、像５２ｒ，５２ｂは、中心位置が同一であるが、それぞれのスポット径が異なることを表している。
　また、図５においては、赤色光となるR波長の光源５１ｒが、白丸で表現され、青色光となるB波長の光源５１ｂが、黒丸で表現されており、以降においても同様に表現する。
　マスク３１と撮像素子３２との距離が、例えば、緑色光となるG波長の光が焦点を結ぶ距離となるように設定されていた場合、撮像素子３２上の像は、図６の像５２ｇで示されるものとなる。
　すなわち、図６の像５２ｇは、緑色光となるG波長の像５２ｇｊが合焦することでスポット径が最小となることで、最も強い光を放ち、赤色光となるR波長の像５２ｒｎ、および青色光となるB波長の像５２ｂｎは、合焦しておらず、スポット径が拡がってしまう。
　このため、撮像素子３２上では、像５２ｒｎ、像５２ｇｊ、および像５２ｂｎが重なり合わさることにより、最も強い緑色光を放つ像５２ｇとして検知される。
　尚、図６においては、緑色光となるＧ波長の光を放つ像５２ｇｊについては、グレーの丸印で表現されており、以降においても同様に表現する。
　また、マスク３１と撮像素子３２との距離が、例えば、赤色光となるR波長の光が焦点を結ぶ距離となるように設定されていた場合、撮像素子３２上の像は、図６の像５２ｒで示されるものとなる。
　すなわち、図６の像５２ｒは、赤色光となるR波長の像５２ｒｊが合焦して、スポット径が最小となることで、最も強い光を放ち、緑色光となるG波長の像５２ｇｎは、合焦しておらず、スポット径が拡がってしまい、さらに、青色光となるB波長の像５２ｂｆは、G波長よりも、さらに焦点位置がずれているため、スポット径がG波長の像ｇｎよりも拡がってしまう。
　このため、撮像素子３２上では、像５２ｒｊ、像５２ｇｎ、および像５２ｂｆが重なり合わさることにより、最も強い赤色光を放つ像５２ｒとして検知される。
　さらに、マスク３１と撮像素子３２との距離が、例えば、青色光となるB波長の光が焦点を結ぶ距離となるように設定されていた場合、撮像素子３２上の像は、図６の像５２ｂで示されるものとなる。
　すなわち、図６の像５２ｂは、青色光となるB波長の像５２ｂｊが合焦して、スポット径が最小となることで、最も強い光を放ち、緑色光となるG波長の像５２ｇｎは、合焦しておらず、スポット径が拡がってしまい、さらに、赤色光となるR波長の像５２ｒｆは、G波長よりも、さらに焦点位置がずれているため、スポット径がG波長の像ｇｎよりも拡がってしまう。
　このため、撮像素子３２上では、像５２ｒｆ、像５２ｇｎ、および像５２ｂｊが重なり合わさることにより、最も強い青色光を放つ像５２ｂとして検知される。
　＜距離のずれを調整する原理＞
　上述の関係から、マスク３１と撮像素子３２の距離に応じて、撮像素子３２上で検出される像５２の色が異なることから、この像の色を観測することでずれを検出することができ、この色のずれを調整することで、マスク３１と撮像素子３２との距離を調整することができる。
　例えば、マスク３１と撮像素子３２との距離が、適切に設定される場合、図７の撮像素子３２ｊで示されるように、緑色光からなる像５２ｇ－１乃至５２ｇ－７が検出されるものとなる。
　すなわち、この場合、マスク３１と撮像素子３２との距離は適正であり、別途、調整は不要となる。
　一方、例えば、マスク３１と撮像素子３２との距離が、適切な距離よりも接近した距離となるようにずれていた場合、図８の撮像素子３２ｎで示されるように、像５２ｒ－１乃至５２ｒ－７が検出されるものとなる。
　すなわち、この場合、マスク３１と撮像素子３２との距離は適正な距離よりも接近した状態であるので、観測される像の色に着目し、図７で示されるように、全ての像５２ｒ－１乃至５２ｒ－７が、緑色光の像５２ｇ－１乃至５２ｇ－７に変化するまで、マスク３１と撮像素子３２間の距離を離すような調整が必要となる。
　また、例えば、マスク３１と撮像素子３２との距離が、適切な距離よりも離れた距離となるようにずれていた場合、図９の撮像素子３２ｆで示されるように、像５２ｂ－１乃至５２ｂ－７が検出されるものとなる。
　すなわち、この場合、マスク３１と撮像素子３２との距離は適正な距離よりも離れた状態であるので、観測される像の色に着目し、図７で示されるように、全ての像５２ｂ－１乃至５２ｂ－７が、緑色光の像５２ｇ－１乃至５２ｇ－７に変化するまで、マスク３１と撮像素子３２間の距離を接近するような調整が必要となる。
　＜マスクと撮像素子との回転のずれを検出し、調整する原理＞
　＜ピッチ回転＞
　以上においては、マスク３１と撮像素子３２との距離のずれを検出し、調整する原理について説明してきたが、次に、マスク３１と撮像素子３２との回転のずれを検出し、調整する原理について説明する。
　例えば、マスク３１に対して、撮像素子３２がピッチ回転によるずれが生じた場合、例えば、図１０の撮像素子３２ｐで示されるような像５２ｒ－１１，５２ｒ－１２、像５２ｇ－１１乃至５２ｇ－１３、および像５２ｂ－１１，５２ｂ－１２が検出される。
　すなわち、図１０においては、像５２ｒ－１１，５２ｒ－１２は、赤色光として検出され、像５２ｇ－１１乃至５２ｇ－１３は、緑色光として検出され、像５２ｂ－１１，５２ｂ－１２が青色光として検出される。
　このため、撮像素子３２ｐ上の、図１０上段の像５２ｒ－１１，５２ｒ－１２が検出される付近の範囲は、マスク３１に対しての距離が接近した状態であることが認識される。
　また、撮像素子３２ｐ上の、図１０中段の像５２ｇ－１１乃至５２ｇ－１３が検出される付近の範囲は、マスク３１に対しての距離が適切な状態であることが認識される。
　さらに、撮像素子３２ｐ上の、図１０下段の像５２ｇ－１１乃至５２ｇ－１３が検出される付近の範囲は、マスク３１に対しての距離が離れた状態であることが認識される。
　すなわち、撮像素子３２ｐは、図１０上段の像５２ｒ－１１，５２ｒ－１２が検出される付近の範囲は、図１０の中段の像５２ｇ－１１乃至５２ｇ－１３が検出される付近の範囲を中心として、図１０の紙面に対して手前側に傾いた状態で、かつ、図１０下段の像５２ｂ－１１，５２ｂ－１２が検出される付近の範囲は、図１０の中段の像５２ｇ－１１乃至５２ｇ－１３が検出される付近の範囲を中心として、図１０の紙面に対して奥側に傾いた状態で、ピッチ回転していることが認識される。
　従って、図１０の撮像素子３２ｐで示されるような観測結果が得られる場合、像５２ｒ－１１，５２ｒ－１２、および像５２ｂ－１１，５２ｂ－１２で観測される光の色に着目し、撮像素子３２の図１０の中段の像５２ｇ－１１乃至５２ｇ－１３が検出される付近の範囲を中心として、図１０の上段付近の範囲を、図１０の紙面奥側に回転させると共に、図１０の下段付近の範囲を、図１０の紙面手前側に回転させ、像５２ｒ－１１，５２ｒ－１２、および像５２ｂ－１１，５２ｂ－１２が、いずれも緑色光として観測されるように調整する。
　＜ヨー回転＞
　例えば、マスク３１に対して、撮像素子３２がヨー回転によるずれが生じた場合、例えば、図１１の撮像素子３２ｙで示されるような像５２ｒ－２１乃至５２ｒ－２３、像５２ｇ－２１、像５２ｂｇ－２１，５２ｂｇ－２２、および像５２ｂ－２１が検出される。
　すなわち、図１１においては、像５２ｒ－２１乃至５２ｒ－２３は、赤色光として検出され、像５２ｇ－２１は、緑色光として検出され、像５２ｇｂ－２１，５２ｇｂ－２２が水色光として検出され、像５２ｂ－２１が青色光として検出される。尚、像５２ｇｂ－２１，５２ｇｂ－２２は、像５２ｇと像５２ｂとの中間色となるグレーの丸印で水色が表現されている。
　このため、撮像素子３２上の、図１１左部の像５２ｒ－２１乃至５２ｒ－２３が検出される付近の範囲は、マスク３１に対しての距離が接近した状態であることが認識される。
　また、撮像素子３２上の、図１１中央の像５２ｇ－２１が検出される付近の範囲は、マスク３１に対しての距離が適切な状態であることが認識される。
　さらに、撮像素子３２上の、図１１右部の像５２ｂ－２１が検出される付近の範囲は、マスク３１に対しての距離が離れた状態であることが認識される。
　また、撮像素子３２上の、図１１の像５２ｇｂ－２１，５２ｇｂ－２２が検出される付近の範囲は、マスク３１に対しての距離が像５２ｂ－２１よりも適切な距離に近いが、離れた状態であることが認識される。
　すなわち、撮像素子３２は、図１１左部の像５２ｒ－２１乃至５２ｒ－２３が検出される付近の範囲は、図１１の中央の像５２ｇ－２１が検出される付近の範囲を中心として、図１１の紙面に対して手前側に傾いた状態で、かつ、図１１右部の像５２ｂ－２１が検出される付近の範囲は、図１１の中央の像５２ｇ－２１が検出される付近の範囲を中心として、図１１の紙面に対して奥側に傾いた状態で、ヨー回転していることが認識される。
　従って、図１１の撮像素子３２ｙで示されるような観測結果が得られる場合、像５２ｒ－２１乃至５２ｒ－２３、および像５２ｇｂ－２１，５２ｇｂ－２２，５２ｂ－２１で観測される光の色に着目し、撮像素子３２の図１１の中央の像５２ｇ－２１が検出される付近の範囲を中心として、図１１の左部付近の範囲を、図１１の紙面奥側に回転させると共に、図１１の右部付近の範囲を、図１１の紙面手前側に回転させ、像５２ｒ－２１乃至５２ｒ－２３、および像５２ｇｂ－１１，５２ｇｂ－１２，５２ｂ－２１が、いずれも緑色光として観測されるように調整する。
　以上のような原理により、本開示においては、マスク３１の開口部に設けられた集光素子４１Ｆにより、撮像素子３２上で観測される像５２の色に応じて、マスク３１と撮像素子３２との位置関係を調整することで、マスク３１と撮像素子３２とを、高精度で、かつ、容易に撮像に適切な位置関係となるように調整する。
　＜＜３．本開示のキャリブレーション装置の構成例＞＞
　次に、図１２を参照して、本開示のレンズレスカメラキャリブレーション装置の構成例について説明する。
　図１２のレンズレスカメラキャリブレーション装置１０１は、撮像素子台２１１、マスク保持部２１２、ＸＹ方向調整部２１３、Ｚ方向調整部２１４、ｐ（ピッチ）方向調整部２１５、ｒ（ロール）方向調整部２１６、およびｙ（ヨー）方向調整部２１７を備えている。
　また、レンズレスカメラキャリブレーション装置１０１は、点光源２１８、デバイス制御部２１９、中央制御部２２０、角度距離推定部２２１、およびマスク設計PSF記憶部２２２を備えている。
　撮像素子台２１１は、固定された台であり、撮像素子１１２をマスク１１１と対向するように固定する。また、撮像素子台２１１は、撮像素子１１２により撮像された画像を取り込んで、角度距離推定部２２１に出力する。
　尚、図１２のマスク１１１および撮像素子１１２は、図１の撮像装置１１におけるマスク３１および撮像素子３２に対応する構成である。
　マスク保持部２１２は、マスク１１１を保持し、図中の矢印Ｘ，Ｙ，Ｚ方向に駆動して位置を調整させると共に、図中の矢印ｒ，ｐ，ｙで示されるロール方向、ピッチ方向、およびヨー方向に回転させることで、マスク１１１の向きを撮像素子１１２に対して適切な位置関係となるように撮像素子１１２に対する角度を調整する。
　より詳細には、マスク保持部２１２は、外枠部２１２ａおよび内枠部２１２ｂを備えている。
　外枠部２１２ａは、ｙ方向調整部２１７により制御され、マスク１１１を図中の矢印ｙで示されるヨー方向（以降においては、ｙ方向とも称する）に回転させて、撮像素子１１２と平行になるように回転し、角度を調整する。
　また、外枠部２１２ａは、ＸＹ方向調整部２１３により制御され、矢印Ｘ，Ｙ方向に駆動されることにより、撮像素子１１２と適切な位置関係となるように位置を調整する。
　さらに、外枠部２１２ａは、Ｚ方向調整部２１４により制御され、矢印Ｚ方向に駆動されることにより、撮像素子１１２に対して、適切な距離をとるように位置を調整する。
　内枠部２１２ｂは、外枠部２１２ａ内に設けられ、ｐ方向調整部２１５により、矢印ｐで示されるピッチ方向（以降において、ｐ方向とも称する）に回転すると共に、ｒ方向調整部２１６により、矢印ｒで示されるロール方向（以降において、ｒ方向とも称する）に回転することで、マスク１１１の撮像素子１１２に対する角度を調整する。
　ＸＹ方向調整部２１３、Ｚ方向調整部２１４、およびｙ方向調整部２１７は、それぞれ外枠部２１２ａを、Ｘ方向、およびＹ方向、並びにＺ方向に駆動させて位置を調整すると共に、ｙ方向に回転させることで角度を調整するモータ等の駆動デバイスより構成される。
　また、ＸＹ方向調整部２１３、Ｚ方向調整部２１４、およびｙ方向調整部２１７は、デバイス制御部２１９により制御され、それぞれ外枠部２１２ａをＸＹ方向、およびＺ方向に駆動させることでマスク１１１の撮像素子１１２に対する位置を調整すると共に、ｙ方向に回転させることでマスク１１１の撮像素子１１２に対する角度を調整する。
　ｐ方向調整部２１５、およびｒ方向調整部２１６は、いずれも内枠部２１２ｂをｐ方向およびｒ方向に回転させるモータ等の駆動デバイスより構成される。
　また、ｐ方向調整部２１５、およびｒ方向調整部２１６は、デバイス制御部２１９により制御され、内枠部２１２ｂをｐ方向およびｒ方向に回転させることで、マスク１１１の撮像素子１１２に対する角度を調整する。
　点光源２１８は、白色光をマスク１１１および撮像素子１１２に対する入射光として発する。これにより、点光源２１８からの入射光は、マスク１１１上のFZP等からなる集光素子２３１（図１３）を透過することにより集光されて、撮像素子１１２に入射する。
　尚、ここでは、マスク１１１と撮像素子１１２とが適切に正対した位置関係にあるとき、撮像素子１１２上には、集光素子２３１により集光された入射光の像２５１（図１３）が緑色光として撮像されるものとする。
　角度距離推定部２２１は、撮像素子台２１１より供給される撮像素子１１２により撮像された画像を取得すると、像２５１（図１３）として検出される光の色に基づいて、Ｚ方向の補正量である距離補正値と、ｙ方向およびｐ方向の回転補正値とを推定し、距離回転補正値として中央制御部２２０に供給する。
　また、角度距離推定部２２１は、距離回転補正値に基づいて、Ｚ方向の距離補正と、ｙ方向およびｐ方向の回転補正がなされると、再び撮像素子１１２により撮像された画像を取得し、撮像された画像より、集光素子２３１により集光される光により生じるピークである像２５１の分布を表す撮像画像ピーク画像を生成する。
　さらに、角度距離推定部２２１は、マスク設計PSF記憶部２２２に記憶されているマスク設計PSF（Point Spread Function）を読み出して、マスク１１１の集光素子２３１の設計上の配置に基づいて、撮像素子１１２上に生じることが想定される像２５１の分布を表すPSFピーク画像を生成する。
　そして、角度距離推定部２２１は、撮像画像ピーク画像とPSFピーク画像との比較により、双方のピーク位置が一致するような、撮像素子１１２に対するマスク１１１のｒ方向の回転補正値、およびＸ，Ｙ方向の位置補正値を推定し、推定結果を位置回転補正値として中央制御部２２０に供給する。
　尚、マスク設計PSFは、マスク１１１と撮像素子１１２との距離が適切な状態で正対しているときの撮像結果に相当する点像分布関数である。このため、マスク設計PSFに基づいたPSFピーク画像と撮像画像ピーク画像との比較により、現状のマスク１１１と撮像素子１１２との位置関係を、適切な位置関係に補正するための位置回転補正値が推定される。
　中央制御部２２０は、プロセッサやメモリから構成され、各種のプログラムを実行することで、レンズレスカメラキャリブレーション装置１０１の全体の動作を制御する。また、中央制御部２２０は、角度距離推定部２２１より供給される距離回転補正値に基づいて、マスク１１１と撮像素子１１２との距離が適切で、かつ、双方が平行状態であるか否かを判定する。
　マスク１１１と撮像素子１１２との位置関係が適切な距離で、かつ、双方が平行状態になるまで、中央制御部２２０は、角度距離推定部２２１より供給される距離回転補正値に基づいて、デバイス制御部２１９を制御して、マスク１１１の撮像素子１１２に対する距離、および角度の調整を繰り返す。
　そして、マスク１１１と撮像素子１１２との位置関係が適切な距離で、かつ、双方が平行状態になると、中央制御部２２０は、位置回転補正値によりマスク１１１を、PSFピーク画像と撮像画像ピーク画像との双方の像２５１の位置であるピーク位置が一致するように、平行移動と回転により位置を調整する。
　デバイス制御部２１９は、中央制御部２２０より供給される距離回転補正値、および位置回転補正値に基づいて、ＸＹ方向調整部２１３、Ｚ方向調整部２１４、ｐ方向調整部２１５、ｒ方向調整部２１６、およびｙ方向調整部２１７を制御して、マスク保持部２１２を駆動させて、マスク１１１の撮像素子１１２に対する位置および角度を調整する。
　＜キャリブレーション方法＞
　＜距離回転補正処理＞
　次に、具体的なキャリブレーション方法について説明する。
　撮像素子１１２に対するマスク１１１のキャリブレーションは、距離回転補正処理と、位置回転補正処理との2段階の処理により実現される。
　距離回転補正処理とは、図１３で示されるように、Ｚ方向であるマスク１１１と撮像素子１１２との距離に係る位置の調整による補正と、ｐ方向およびｙ方向の回転による補正とにより、撮像素子１１２とマスク１１１との距離を適切な距離に補正すると共に、双方の成す面同士が平行となるように補正する処理である。
　すなわち、図１３で示されるように、撮像素子１１２上において撮像される像２５１－１，２５１－２が同一の色になるようにｐ方向とｙ方向との回転を調整することで、マスク１１１と撮像素子１１２との平行に対するずれとなる角度θだけ回転させることで、双方を平行にさせる。
　例えば、図１３において、像２５１－１が赤色光で撮像され、像２５１－２が青色光で撮像される場合、図中のマスク１１１の手前側を撮像素子１１２から離し、逆にマスク１１１の奥側を撮像素子１１２に対して接近するようにｐ方向に回転させる。
　ｙ方向についても同様の要領で回転させ、撮像素子１１２において撮像される全ての像が同一の色に補正されるようにする。
　また、撮像素子１１２において撮像される全ての像が、緑色光で撮像されるようにＺ方向に移動させる。例えば、全ての像が赤色光で撮像されている場合については、マスク１１１が撮像素子１１２から所定距離だけ離れるようにＺ方向に移動されるように位置を補正する。逆に、例えば、全ての像が青色光で撮像されている場合については、マスク１１１が撮像素子１１２から所定距離だけ接近するようにＺ方向に移動されるように位置を補正する。
　このような距離回転補正処理により、マスク１１１は、撮像素子１１２に対して平行となり、かつ、双方の距離が適切な距離となるように補正される。
　＜位置回転補正処理＞
　位置回転補正処理は、距離回転補正処理により、マスク１１１と撮像素子１１２とが平行で、かつ、双方の距離が適切な状態になった後になされる補正処理であり、例えば、図１４で示されるように、撮像素子１１２上で撮像される像となるピーク位置が、マスク設計PSF上の像となるピーク位置と一致するように、ＸＹ方向に移動させると共に、ｒ方向に回転させる補正処理である。
　尚、図１４においては、マスク設計PSFのピーク分布であるマスクPDFピーク画像２６１上の白丸印の像として示されるピーク位置に、点線の矢印で示されるように、集光素子２３１を介して点光源２１８からの入射光が集光されていることが示されている。
　すなわち、距離回転補正処理により、マスク１１１は、撮像素子１１２に対して平行とされ、かつ、適切な距離とされている。そこで、位置回転補正処理においては、マスク１１１を介して入射光が集光して撮像素子１１２上に投影される像であるピーク位置と、マスク設計PSFに基づいて撮像素子１１２上に投影されることが想定される像であるピーク位置とが一致するように、マスク１１１が撮像素子１１２との平行と距離を維持した状態における平行移動と回転により、位置が調整される。
　以上のように、距離回転補正処理がなされた後、位置回転補正処理がなされる、２段階の補正処理により、キャリブレーション処理が実現される。
　＜キャリブレーション処理＞
　次に、図１５のフローチャートを参照して、図１２のレンズレスカメラキャリブレーション装置１０１によるキャリブレーション処理について説明する。
　ステップＳ３１において、撮像素子１１２が撮像素子台２１１に保持されると共に、マスク１１１がマスク保持部２１２により保持される。
　ステップＳ３２において、中央制御部２２０は、デバイス制御部２１９を制御して、点光源２１８を発光させる。これにより、点光源２１８で発せられた白色光が、マスク１１１の集光素子２３１を透過することで、波長に応じて集光されて、撮像素子１１２の撮像面に入射する。
　ステップＳ３３において、撮像素子１１２は、画像を撮像して、撮像した画像を角度距離推定部２２１に出力する。すなわち、ここでは、上述したマスク１１１の集光素子２３１により、撮像素子１１２上に波長に応じて集光された光の分布が画像として撮像される。
　ステップＳ３４において、中央制御部２２０は、角度距離推定部２２１を制御して、撮像素子１１２より供給される画像に基づいて、距離回転補正値算出処理を実行させ、撮像素子１１２に対するマスク１１１のＺ方向の距離補正値、並びに、ｐ方向、およびｙ方向の回転補正値とを併せて距離回転補正値として算出させる。
　尚、距離回転補正値算出処理については、図１６のフローチャートを参照して、詳細を後述する。
　ステップＳ３５において、中央制御部２２０は、距離回転補正値に基づいて、デバイス制御部２１９を制御して、マスク１１１のＺ方向の距離を補正させると共に、マスク１１１を撮像素子１１２と平行になるようにｐ方向、およびｙ方向について回転補正させる。
　すなわち、これにより、デバイス制御部２１９は、距離回転補正値のうち、距離補正値に基づいて、Ｚ方向調整部２１４を制御して、マスク保持部２１２の外枠部２１２ａをＺ方向に駆動させて、マスク１１１と撮像素子１１２との距離を補正する。
　また、デバイス制御部２１９は、距離回転補正値のうち、回転補正値に基づいて、ｐ方向調整部２１５、およびｙ方向調整部２１７を制御して、マスク保持部２１２の内枠部２１２ｂをｐ方向に回転させると共に、外枠部２１２ａをｙ方向に回転させて、マスク１１１と撮像素子１１２とが平行になるように補正する。
　すなわち、ステップＳ３５の処理が、図１３を参照して説明した距離回転補正処理となる。
　ステップＳ３６において、中央制御部２２０は、距離回転補正値のそれぞれがいずれも所定値よりも小さいか否かを判定する。すなわち、中央制御部２２０は、距離回転補正値である、撮像素子１１２に対するマスク１１１のＺ方向の距離補正値、並びに、ｐ方向、およびｙ方向の回転補正値が所定値よりも小さく、これ以上の距離回転補正処理が不要であるか否かを判定する。
　ステップＳ３６において、中央制御部２２０は、距離回転補正値のそれぞれがいずれも所定値よりも小さくなく、まだ、距離回転補正処理が必要であると判定された場合、処理は、ステップＳ３３に戻る。
　すなわち、距離回転補正値のそれぞれがいずれも所定値よりも小さく、これ以上の距離回転補正処理が不要であると判定されるまで、ステップＳ３３乃至Ｓ３６の処理が繰り返される。
　そして、ステップＳ３６において、距離回転補正値のそれぞれがいずれも所定値よりも小さく、これ以上の距離回転補正処理が不要であると判定された場合、処理は、ステップＳ３７に進む。
　ステップＳ３７において、撮像素子１１２は、画像を撮像して、撮像した画像を角度距離推定部２２１に出力する。すなわち、ここでは、距離回転補正処理により、マスク１１１が、撮像素子１１２に対して平行で、かつ、適切な距離となった状態における、マスク１１１の集光素子２３１により、入射光の各成分が波長に応じて集光されることで生じる像の分布が画像として撮像される。
　ステップＳ３８において、中央制御部２２０は、角度距離推定部２２１を制御して、撮像素子１１２より供給される画像に基づいて、位置回転補正値算出処理を実行させ、撮像素子１１２に対するマスク１１１のＸＹ方向の位置補正値、および、ｒ方向の回転補正値を位置回転補正値として算出させる。
　尚、位置回転補正値算出処理については、図１８のフローチャートを参照して、詳細を後述する。
　ステップＳ３９において、中央制御部２２０は、位置回転補正値に基づいて、デバイス制御部２１９を制御して、マスク１１１のＸＹ方向の位置を補正させると共に、撮像素子１１２と正対するようにｒ方向について回転補正させ、処理を終了する。
　すなわち、これにより、デバイス制御部２１９は、ＸＹ方向調整部２１３を制御して、位置回転補正値のうち、ＸＹ方向の位置補正値に基づいて、マスク保持部２１２の外枠部２１２ａをＸＹ方向に駆動させて、マスク１１１と撮像素子１１２との位置を補正する。
　また、デバイス制御部２１９は、ｒ方向調整部２１６を制御して、位置回転補正値のうち、ｒ方向の回転補正値に基づいて、マスク保持部２１２の内枠部２１２ｂをｒ方向に回転させて、マスク１１１と撮像素子１１２とのｒ方向について正対するように補正する。
　すなわち、ステップＳ３９の処理が、図１４を参照して説明した位置回転補正処理となる。
　以上の一連の処理により、点光源２１８で発する光がマスク１１１の集光素子２３１により集光されて、撮像素子１１２に入射することで撮像される画像に基づいて、距離回転補正値が算出されて、距離回転補正値に基づいて、距離回転補正処理がなされることで、撮像素子１１２に対するマスク１１１のＺ方向の距離が補正され、さらに、ｐ方向およびｙ方向についてマスク１１１と撮像素子１１２とが平行となるように回転補正される。
　距離回転補正処理がなされた後、撮像素子１１２に入射することで再度撮像される画像に基づいて、位置回転補正値が算出されて、位置回転補正値に基づいて、位置回転補正処理がなされることで、撮像素子１１２に対するマスク１１１のＸＹ方向の位置が補正され、さらに、ｒ方向に位置が合うように回転補正される。
　結果として、マスク１１１と撮像素子１１２との相対的な位置関係が、高精度で、かつ、容易に補正される。
　＜距離回転補正値算出処理＞
　次に、図１６のフローチャートを参照して、距離回転補正値算出処理について説明する。
　ステップＳ５１において、角度距離推定部２２１は、集光素子２３１により光が集光された領域毎に最大画素値を求め、最大画素値となる画素位置と画素値とからなる領域毎画素値を設定する。
　より詳細には、例えば、集光素子２３１が、マスク１１１にN個設けられている場合、撮像素子１１２上に光が集光する像２５１がN個発生する。このN個の像２５１が発生する領域が、それぞれ領域ｐｉ（ｉ≦Ｎ）に設定されるものとする。
　角度距離推定部２２１は、N個の領域ｐｉのそれぞれについて、領域内で最大画素値となる画素位置を、各領域における代表位置として用いることにより、領域ｐｊ（Ｘｊ，Ｙｊ）（ｊ≦Ｎ）に設定する。ここで、（Ｘｊ，Ｙｊ）は、図１７で示されるように、撮像素子１１２の中心位置（Ｘｃ，Ｙｃ）を原点とする座標とする。
　また、このときの領域ｐｊ内における最大画素値が、領域毎画素値Ｉｊ（ｒｊ，ｇｊ，ｂｊ）で表現されるとき、角度距離推定部２２１は、各領域ｐｊにおける位置と画素値とからなる情報として、領域毎位置画素値Ｉｐｊ（Ｘｊ，Ｙｊ，ｒｊ，ｇｊ，ｂｊ）を設定する。尚、ｒｊ，ｇｊ，ｂｊは、それぞれ画素値Ｉｊおよび領域毎位置画素値ＩｐｊにおけるＲ（赤色光）成分の画素値、Ｇ（緑色光）成分の画素値、およびＢ（青色光）成分の画素値である。
　ステップＳ５２において、角度距離推定部２２１は、領域毎位置画素値Ｉｐｊに基づいて、以下の式（６）の演算により、位置重み付き画素値平均Ｉａｖｅを算出する。
　Ｉａｖｅ＝（１／２Ｎ）×Σ（ＬＳＸｊ×Ｉｐｊ）
　　　　　　　　＋（１／２Ｎ）×Σ（ＬＳＹｊ×Ｉｐｊ）
　　　　　　　　　　　　　　　　　　（Σは、ｊが０乃至Ｎ）
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　ここで、ＬＳＸｊ，ＬＳＹｊは、それぞれ（Ｘｊ－Ｘｃ），（Ｙｊ－Ｙｃ）であり、各領域Ｐｊにおける撮像素子１１２の中心位置（Ｘｃ，Ｙｃ）からのＸ方向の距離に対応する重みと、Ｙ方向の距離に対応する重みである。
　すなわち、位置重み付き画素値平均Ｉａｖｅとは、領域毎の撮像素子１１２の中心位置（Ｘｃ，Ｙｃ）からのＸ方向の位置（距離）に応じて設定される重みを画素値に乗じたときの画素値の平均と、Ｙ方向の位置（距離）に応じて設定される重みを画素値に乗じたときの画素値の平均との両者の平均値である。
　ステップＳ５３において、角度距離推定部２２１は、領域毎に、領域毎位置画素値Ｉｐｊ（Ｘｊ，Ｙｊ，ｒｊ，ｇｊ，ｂｊ）から位置重み付き画素値平均Ｉａｖｅを減算することで、領域毎オフセット画素値Ｉｊｏｆｓ（Ｘｊ，Ｙｊ，ｒｊｏｆｓ，ｇｊｏｆｓ，ｂｊｏｆｓ）を算出する。尚、ｒｊｏｆｓ，ｇｊｏｆｓ，ｂｊｏｆｓは、それぞれＲ成分のオフセット画素値、Ｇ成分のオフセット画素値、およびＢ成分のオフセット画素値である。
　ステップＳ５４において、角度距離推定部２２１は、領域毎オフセット画素値Ｉｊｏｆｓ（Ｘｊ，Ｙｊ，ｒｊｏｆｓ，ｇｊｏｆｓ，ｂｊｏｆｓ）を、領域毎の距離補正値である領域毎距離補正値Ｄｊｃｏｒに変換し、領域毎距離補正値Ｄｊｃｏｒの平均よりマスク１１１のＺ方向の補正値である距離補正値Ｄｃｏｒを算出する。
　尚、集光される像２５１の光の色は、マスク１１１と撮像素子１１２との双方の距離に応じたものとなり、適切な距離である場合、緑色光ｇとなり、双方の距離が適正な距離よりも近づいている場合、赤色光ｒとなり、逆に、双方の距離が適正な距離よりも離れている場合、青色光ｒとなる。
　このような傾向があるので、領域毎距離補正値Ｄｊｃｏｒは、領域毎オフセット画素値Ｉｊｏｆｓ（Ｘｊ，Ｙｊ，ｒｊｏｆｓ，ｇｊｏｆｓ，ｂｊｏｆｓ）の画素値成分（ｒｊｏｆｓ，ｇｊｏｆｓ，ｂｊｏｆｓ）に応じた、所定の関数ｆ（線形関数、および非線形関数のいずれでもよい）で表現することができる。
　そこで、角度距離推定部２２１は、この関数ｆにより、領域毎オフセット画素値Ｉｊｏｆｓ（Ｘｊ，Ｙｊ，ｒｊｏｆｓ，ｇｊｏｆｓ，ｂｊｏｆｓ）を領域毎距離補正値Ｄｊｃｏｒに変換する。そして、角度距離推定部２２１は、領域毎距離補正値Ｄｊｃｏｒの撮像素子１１２の全体における平均を、マスク１１１のＺ方向の補正値である距離補正値Ｄｃｏｒとして算出する。
　尚、予め関数ｆを用いて領域毎オフセット画素値Ｉｊｏｆｓ（Ｘｊ，Ｙｊ，ｒｊｏｆｓ，ｇｊｏｆｓ，ｂｊｏｆｓ）を領域毎距離補正値Ｄｊｃｏｒに変換する演算を実行し、テーブルとして記憶しておくようにして、読み出せるようにしてもよい。
　ステップＳ５５において、角度距離推定部２２１は、領域毎位置画素値Ｉｐｊ（Ｘｊ，Ｙｊ，ｒｊ，ｇｊ，ｂｊ）に基づいて、ｐ方向とｙ方向との補正値である領域毎回転補正値Ａｊを算出する。
　より具体的には、角度距離推定部２２１は、領域毎位置画素値Ｉｐｊ（Ｘｊ，Ｙｊ，ｒｊ，ｇｊ，ｂｊ）に基づいて、以下の式（７）を演算することで、領域毎回転補正値Ａｊを算出する。
　Ａｊ＝（ｒｊ／ｇｊ－ｒ０／ｇ０）－（ｂｊ／ｇｊ－ｂ０／ｇ０）
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　ここで、ｒ０，ｇ０，ｂ０は、それぞれ白色光における赤色光、緑色光、および青色光のそれぞれの輝度値である。
　領域毎回転補正値Ａｊは、ｒｊ／ｇｊとｂｊ／ｇｊとが同一で、かつ、ｒｊ＜ｇｊ，ｂｊ＜ｇｊとなるように、ｐ方向およびｙ方向について、マスク１１１を回転補正することで、マスク１１１と撮像素子１１２とが平行状態になるようにするための領域毎の変位量である。
　すなわち、式（７）によれば、領域Ｐｊ毎に、マスク１１１と撮像素子１１２との距離が適正な距離よりも近づく程、赤色光ｒｊが大きく、かつ、青色光ｂｊが小さくなり、領域毎回転補正値Ａｊは、大きくなり、赤色光ｒｊが青色光ｂｊより強くなると符号が正になる。
　また逆に、領域Ｐｊ毎に、マスク１１１と撮像素子１１２との距離が適正な距離よりも離れる程、青色光ｂｊが大きく、かつ、赤色光ｒｊ小さくなり、領域毎回転補正値Ａｊは、小さくなり、青色光ｂｊが赤色光ｒｊより強くなると符号が負になる。
　そして、領域Ｐｊ毎に、マスク１１１と撮像素子１１２との距離が適正な距離であるときには、青色光ｂｊと赤色光ｒｊとが同程度になり、領域毎回転補正値Ａｊは、０になる。
　ステップＳ５６において、角度距離推定部２２１は、領域毎回転補正値Ａｊに基づいて、マスク１１１のｙ方向とｐ方向とのそれぞれの回転補正値Ａｙｃｏｒ，Ａｐｃｏｒを算出する。
　より詳細には、角度距離推定部２２１は、領域毎回転補正値Ａｊに基づいて、以下の式（８），式（９）を演算することで、マスク１１１のｙ方向とｐ方向とのそれぞれの回転補正値Ａｙｃｏｒ，Ａｘｃｏｒを算出する。
　Ａｙｃｏｒ＝（１／Ｎ）×Σ（ＬＣｙｊ×Ａｊ）（Σは、ｊが０乃至Ｎ）
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）
　Ａｐｃｏｒ＝（１／Ｎ）×Σ（ＬＣｐｊ×Ａｊ）（Σは、ｊが０乃至Ｎ）
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（９）
　ここで、ＬＣｙｊ，ＬＣｐｊは、それぞれ、（Ｘｊ－Ｘｃ），（Ｙｊ－Ｙｃ）であり、それぞれ各領域Ｐｊにおける撮像素子１１２の中心位置（Ｘｃ，Ｙｃ）からのＸ方向の距離、およびＹ方向の距離である。
　各領域Ｐｊでの変位量である回転補正値Ａｊは、マスク１１１のｙ方向とｐ方向のそれぞれの補正角度を補正角度θｙｃｏｌ，θｐｃｏｌとしたとき、各領域Ｐｊにおいて、Ａｊ＝ＬＣｊ×ｔａｎ（θｙｃｏｒ），Ａｊ＝ＬＣｊ×ｔａｎ（θｙｃｏｒ）の関係となる。
　すなわち、マスク１１１の全体の回転補正値Ａｙｃｏｒ，Ａｐｃｏｒは、それぞれマスク１１１の中心位置の補正量が０であることを前提とした、ｙ方向およびｐ方向のそれぞれの回転により制御されるマスク１１１の補正角度θｙｃｏｒ，θｐｃｏｒであるときの、各領域Ｐｊでの変位量である回転補正値Ａｊに、中心からの距離ＬＣｙｊ，ＬＣｐｊからなる重みを付した重み付平均である。
　ステップＳ５７において、角度距離推定部２２１は、以上のように算出したマスク１１１のＺ方向の補正値である距離補正値Ｄｃｏｒ、およびマスク１１１のｙ方向の補正角度θｙｃｏｒとｐ方向の補正角度θｐｃｏｒからなる回転補正値Ａｙｃｏｒ，Ａｐｃｏｒを、距離回転補正値として中央制御部２２０に出力する。
　以上の処理により、マスク１１１のＺ方向の補正値である距離補正値Ｄｃｏｒ、およびマスク１１１のｙ方向の補正角度θｙｃｏｌおよびｐ方向の補正角度からなる回転補正値Ａｙｃｏｒ，Ａｐｃｏｒが演算される。
　これにより、中央制御部２２０は、Ｚ方向の補正値である距離補正値Ｄｃｏｒにより、デバイス制御部２１９を制御して、Ｚ方向調整部２１４により外枠部２１２ａに固定されたマスク１１１のＺ方向の距離を調整させることで、マスク１１１と撮像素子１１２との距離が適切な距離へと補正される。
　また、中央制御部２２０は、回転補正値Ａｐｃｏｒにより、デバイス制御部２１９を制御して、ｐ方向調整部２１５により、内枠部２１２ｂに固定されたマスク１１１のｐ方向の回転を調整させると共に、回転補正値Ａｙｃｏｒにより、ｙ方向調整部２１７により、外枠部２１２ａに固定されたマスク１１１のｙ方向の回転を調整させることで、マスク１１１と撮像素子１１２とが平行をなすように補正される。
　＜位置回転補正値算出処理＞
　次に、図１８のフローチャートを参照して、位置回転補正値算出処理について説明する。
　ステップＳ７１において、角度距離推定部２２１は、マスク設計PSF記憶部２２２よりマスク設計PSFを読み込み、マスク１１１の集光素子２３１が設計通りに配置されたときに集光されることで想定される像の位置に相当するピーク位置を読み出し、PSFピーク画像を生成する。
　ステップＳ７２において、角度距離推定部２２１は、撮像素子１１２により撮像された画像より、集光素子２３１により光が集光されることで生じる像の位置からなるピーク位置を抽出し、ピーク位置からなる撮像画像ピーク画像を生成する。
　ステップＳ７３において、角度距離推定部２２１は、PSFピーク画像と、撮像画像ピーク画像とに基づいて、双方のピーク位置が一致するように、例えば、SIFT（Scale-Invariant Feature Transform（https://patents.google.com/patent/US6711293参照））などのアルゴリズムにより、マスク１１１のｒ方向の回転補正値Ｒｃｏｒ、および位置補正値Ｘｃｏｒ，Ｙｃｏｒを算出する。
　ステップＳ７４において、角度距離推定部２２１は、ｒ方向の回転補正値Ｒｃｏｒ、および位置補正値Ｘｃｏｒ，Ｙｃｏｒを位置回転補正値として中央制御部２２０に出力する。
　以上の処理により、マスク１１１のｒ方向の補正値である回転補正値Ｒｃｏｒ、およびマスク１１１のＸ方向、およびＹ方向の補正値である位置補正値Ｘｃｏｒ，Ｙｃｏｒが演算される。
　これにより、中央制御部２２０は、ｒ方向の回転補正値Ｒｃｏｒに基づいて、デバイス制御部２１９を制御して、ｒ方向調整部２１６により内枠部２１２ｂに固定されたマスク１１１のｒ方向の回転を調整させる。
　また、中央制御部２２０は、位置補正値Ｘｃｏｒ，Ｙｃｏｒに基づいて、デバイス制御部２１９を制御して、ＸＹ方向調整部２１３により外枠部２１２ａに固定されたマスク１１１のＸ，Ｙ方向の位置を調整させる。
　上述した一連の処理により、高精度で、かつ、容易に、マスク１１１と撮像素子１１２との距離と角度とが適切な状態、すなわち、双方が適切な位置関係で正対した状態となるように調整（キャリブレーション）することが可能となる。
　＜＜４．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図１９は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図１９におけるCPU１００１が、図１２のデバイス制御部２１９、中央制御部２２０、および角度距離推定部２２１の少なくともいずれかの機能を実現させる。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本開示は、以下のような構成も取ることができる。
＜１＞　複数の集光素子からなる透過領域と、複数の遮光領域とからなり、入射光を透過させることで変調光に変調するマスクと、
　前記マスクを透過した前記変調光からなる変調画像を撮像する撮像素子と、
　前記変調画像に基づいて、前記入射光に対応する画像を再構成する再構成部とを有する撮像装置の、
　前記マスクを保持し、前記撮像素子に対する前記マスクの位置および角度を調整するマスク保持部と、
　前記入射光として白色光を発する点光源と、
　前記白色光が前記入射光として前記マスクを透過するとき、前記撮像素子により撮像される像の波長に応じた光の色に基づいて、前記マスクを、前記撮像素子に対して所定の位置関係に調整させるように前記マスク保持部を制御する制御部と
　を備えた調整装置。
＜２＞　前記制御部は、前記マスク保持部を制御して、前記マスクの前記撮像素子に対する位置と角度を、前記所定の位置関係に調整させる
　＜１＞に記載の調整装置。
＜３＞　前記制御部は、前記マスク保持部を制御して、前記マスクの前記撮像素子に対する距離を、所定の位置関係に対応する距離に調整させると共に、前記マスクの角度を、前記撮像素子と平行となるように調整させる
　＜２＞に記載の調整装置。
＜４＞　前記制御部は、前記マスク保持部を制御して、前記マスクの前記撮像素子に対する距離を、前記像が所定の色の光として、前記撮像素子により撮像される距離に調整させると共に、前記マスクと前記撮像素子とが平行になる角度に、前記マスクのヨー方向とピッチ方向の角度を調整させる
　＜３＞に記載の調整装置。
＜５＞　前記所定の色の光は、緑色光である
　＜４＞に記載の調整装置。
＜６＞　前記マスクの前記撮像素子に対する距離を、所定の位置に対応する距離である所定の距離に調整させるための距離補正値、および、前記マスクの角度を、前記撮像素子と平行となるように調整させるための回転補正値を算出する補正値算出部をさらに含む
　＜３＞に記載の調整装置。
＜７＞　前記補正値算出部は、前記撮像素子により撮像された像毎に、前記撮像素子において撮像される前記像の平均画素値に対する差分を前記像毎のオフセット画素値として算出し、前記像毎のオフセット画素値を、前記像毎の距離補正値に変換し、前記像毎の距離補正値の平均を、前記距離補正値として算出する
　＜６＞に記載の調整装置。
＜８＞　前記像の平均画素値は、前記撮像素子の中心位置を基準として正負が反転する符号がされた、前記像の位置と前記撮像素子の中心位置との距離に応じた重さを、前記像毎の画素値に付して求められる重み付平均である
　＜７＞に記載の調整装置。
＜９＞　前記補正値算出部は、前記撮像素子により撮像された像毎に、前記撮像素子において撮像される前記像の画素値におけるR成分とG成分との比、および、白色光のR成分とG成分との比の差分、並びに、前記像の画素値におけるB成分とG成分との比、および、白色光のB成分とG成分との比の差分の、双方の差分を前記像毎の回転補正値として算出し、前記像毎の回転補正値の、前記像の前記撮像素子における中心位置からの距離に応じて設定される重み付き平均を前記マスク全体の前記回転補正値として算出する
　＜６＞に記載の調整装置。
＜１０＞　前記マスクの前記撮像素子に対する距離が、所定の位置に対応する距離に調整されると共に、前記マスクの角度が、前記撮像素子と平行となるように調整された後、前記制御部は、前記マスク保持部を制御して、前記マスクを、前記撮像素子に正対する位置および角度に調整させる
　＜３＞乃至＜９＞のいずれかに記載の調整装置。
＜１１＞　前記制御部は、前記マスク保持部を制御して、前記マスクを、前記撮像素子により撮像された画像内における像の分布と、マスク設計PSF（Point Spread Function）に基づいた像の分布とが一致する、前記撮像素子に対して正対する位置および角度に調整させる
　＜１０＞に記載の調整装置。
＜１２＞　前記制御部は、前記マスク保持部を制御して、前記マスクを、前記撮像素子により撮像された画像内における像の分布と、前記マスク設計PSFに基づいた像の分布とが一致するように、平行移動で位置を調整させると共に、ロール方向の角度を調整させる
　＜１１＞に記載の調整装置。
＜１３＞　前記マスクを、前記撮像素子により撮像された画像内における像の分布と、前記マスク設計PSFに基づいた像の分布とが一致するように、平行移動で位置を調整させるための位置補正値と、ロール方向の角度を調整させるための回転補正値とを算出する補正値算出部をさらに備え、
　前記制御部は、前記マスク保持部を制御して、前記マスクを、前記撮像素子により撮像された画像内における像の分布と、前記マスク設計PSFに基づいた像の分布とが一致するように、前記位置補正値に基づいて、平行移動により位置を調整させると共に、前記回転補正値に基づいて、前記ロール方向の角度を調整させる
　＜１２＞に記載の調整装置。
＜１４＞　複数のFZP(Fresnel Zone Plate)からなる透過領域と、複数の遮光領域とからなり、入射光を透過させることで変調光に変調するマスクと、
　前記マスクを透過した前記変調光からなる変調画像を撮像する撮像素子と、
　前記変調画像に基づいて、前記入射光に対応する画像を再構成する再構成部とを有する撮像装置の、
　前記マスクを保持し、前記撮像素子に対する前記マスクの位置および角度を調整するマスク保持部と、
　前記入射光として白色光を発する点光源とを備えた調整装置の作動方法であって、
　前記白色光が前記入射光として前記マスクを透過するとき、前記撮像素子により撮像される像の波長に応じた光の色に基づいて、前記マスクを、前記撮像素子に対して所定の位置関係に調整させるように前記マスク保持部を制御する
　ステップを含む調整装置の作動方法。
　１０１　レンズレスカメラキャリブレーション装置，　２１１　撮像素子台，　２１２　マスク保持部，　２１２ａ　外枠部，　２１２ｂ　内枠部，　２１３　ＸＹ方向調整部，　２１４　Ｚ方向調整部，　２１５　ｐ方向調整部，　２１６　ｒ方向調整部，　２１７　ｙ方向調整部，　２１８　点光源，　２１９　デバイス制御部，　２２０　中央制御部，　２２１　角度距離推定部，　２２２　マスク設計PSF記憶部，　２３１　集光素子，　２５１　像

Claims (14)

  1. 　複数のFZP(Fresnel Zone Plate)からなる透過領域と、複数の遮光領域とからなり、入射光を透過させることで変調光に変調するマスクと、
    　前記マスクを透過した前記変調光からなる変調画像を撮像する撮像素子と、
    　前記変調画像に基づいて、前記入射光に対応する画像を再構成する再構成部とを有する撮像装置の、
    　前記マスクを保持し、前記撮像素子に対する前記マスクの位置および角度を調整するマスク保持部と、
    　前記入射光として白色光を発する点光源と、
    　前記白色光が前記入射光として前記マスクを透過するとき、前記撮像素子により撮像される像の波長に応じた光の色に基づいて、前記マスクを、前記撮像素子に対して所定の位置関係に調整させるように前記マスク保持部を制御する制御部と
    　を備えた調整装置。
  2. 　前記制御部は、前記マスク保持部を制御して、前記マスクの前記撮像素子に対する位置と角度を、前記所定の位置関係に調整させる
    　請求項１に記載の調整装置。
  3. 　前記制御部は、前記マスク保持部を制御して、前記マスクの前記撮像素子に対する距離を、所定の位置関係に対応する距離に調整させると共に、前記マスクの角度を、前記撮像素子と平行となるように調整させる
    　請求項２に記載の調整装置。
  4. 　前記制御部は、前記マスク保持部を制御して、前記マスクの前記撮像素子に対する距離を、前記像が所定の色の光として、前記撮像素子により撮像される距離に調整させると共に、前記マスクと前記撮像素子とが平行になる角度に、前記マスクのヨー方向とピッチ方向の角度を調整させる
    　請求項３に記載の調整装置。
  5. 　前記所定の色の光は、緑色光である
    　請求項４に記載の調整装置。
  6. 　前記マスクの前記撮像素子に対する距離を、所定の位置に対応する距離である所定の距離に調整させるための距離補正値、および、前記マスクの角度を、前記撮像素子と平行となるように調整させるための回転補正値を算出する補正値算出部をさらに含む
    　請求項３に記載の調整装置。
  7. 　前記補正値算出部は、前記撮像素子により撮像された像毎に、前記撮像素子において撮像される前記像の平均画素値に対する差分を前記像毎のオフセット画素値として算出し、前記像毎のオフセット画素値を、前記像毎の距離補正値に変換し、前記像毎の距離補正値の平均を、前記距離補正値として算出する
    　請求項６に記載の調整装置。
  8. 　前記像の平均画素値は、前記撮像素子の中心位置を基準として正負が反転する符号がされた、前記像の位置と前記撮像素子の中心位置との距離に応じた重さを、前記像毎の画素値に付して求められる重み付平均である
    　請求項７に記載の調整装置。
  9. 　前記補正値算出部は、前記撮像素子により撮像された像毎に、前記撮像素子において撮像される前記像の画素値におけるR成分とG成分との比、および、白色光のR成分とG成分との比の差分、並びに、前記像の画素値におけるB成分とG成分との比、および、白色光のB成分とG成分との比の差分の、双方の差分を前記像毎の回転補正値として算出し、前記像毎の回転補正値の、前記像の前記撮像素子における中心位置からの距離に応じて設定される重み付き平均を前記マスク全体の前記回転補正値として算出する
    　請求項６に記載の調整装置。
  10. 　前記マスクの前記撮像素子に対する距離が、前記所定の位置に対応する距離に調整されると共に、前記マスクの角度が、前記撮像素子と平行となるように調整された後、前記制御部は、前記マスク保持部を制御して、前記マスクを、前記撮像素子に正対する位置および角度に調整させる
    　請求項３に記載の調整装置。
  11. 　前記制御部は、前記マスク保持部を制御して、前記マスクを、前記撮像素子により撮像された画像内における像の分布と、マスク設計PSF（Point Spread Function）に基づいた像の分布とが一致する、前記撮像素子に対して正対する位置および角度に調整させる
    　請求項１０に記載の調整装置。
  12. 　前記制御部は、前記マスク保持部を制御して、前記マスクを、前記撮像素子により撮像された画像内における像の分布と、前記マスク設計PSFに基づいた像の分布とが一致するように、平行移動で位置を調整させると共に、ロール方向の角度を調整させる
    　請求項１１に記載の調整装置。
  13. 　前記マスクを、前記撮像素子により撮像された画像内における像の分布と、前記マスク設計PSFに基づいた像の分布とが一致するように、平行移動で位置を調整させるための位置補正値と、ロール方向の角度を調整させるための回転補正値とを算出する補正値算出部をさらに備え、
    　前記制御部は、前記マスク保持部を制御して、前記マスクを、前記撮像素子により撮像された画像内における像の分布と、前記マスク設計PSFに基づいた像の分布とが一致するように、前記位置補正値に基づいて、平行移動により位置を調整させると共に、前記回転補正値に基づいて、前記ロール方向の角度を調整させる
    　請求項１２に記載の調整装置。
  14. 　複数のFZP(Fresnel Zone Plate)からなる透過領域と、複数の遮光領域とからなり、入射光を透過させることで変調光に変調するマスクと、
    　前記マスクを透過した前記変調光からなる変調画像を撮像する撮像素子と、
    　前記変調画像に基づいて、前記入射光に対応する画像を再構成する再構成部とを有する撮像装置の、
    　前記マスクを保持し、前記撮像素子に対する前記マスクの位置および角度を調整するマスク保持部と、
    　前記入射光として白色光を発する点光源とを備えた調整装置の作動方法であって、
    　前記白色光が前記入射光として前記マスクを透過するとき、前記撮像素子により撮像される像の波長に応じた光の色に基づいて、前記マスクを、前記撮像素子に対して所定の位置関係に調整させるように前記マスク保持部を制御する
    　ステップを含む調整装置の作動方法。
PCT/JP2022/046133 2021-12-27 2022-12-15 調整装置および調整装置の作動方法 WO2023127509A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280084280.1A CN118451720A (zh) 2021-12-27 2022-12-15 调整装置及调整装置的操作方法
JP2023570829A JPWO2023127509A1 (ja) 2021-12-27 2022-12-15

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-211926 2021-12-27
JP2021211926 2021-12-27

Publications (1)

Publication Number Publication Date
WO2023127509A1 true WO2023127509A1 (ja) 2023-07-06

Family

ID=86998816

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/046133 WO2023127509A1 (ja) 2021-12-27 2022-12-15 調整装置および調整装置の作動方法

Country Status (3)

Country Link
JP (1) JPWO2023127509A1 (ja)
CN (1) CN118451720A (ja)
WO (1) WO2023127509A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176349A1 (ja) * 2018-03-14 2019-09-19 ソニー株式会社 画像処理装置、および撮像装置、並びに画像処理方法
WO2020059181A1 (ja) * 2018-09-18 2020-03-26 株式会社日立製作所 撮像装置および撮像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176349A1 (ja) * 2018-03-14 2019-09-19 ソニー株式会社 画像処理装置、および撮像装置、並びに画像処理方法
WO2020059181A1 (ja) * 2018-09-18 2020-03-26 株式会社日立製作所 撮像装置および撮像方法

Also Published As

Publication number Publication date
JPWO2023127509A1 (ja) 2023-07-06
CN118451720A (zh) 2024-08-06

Similar Documents

Publication Publication Date Title
JP4377404B2 (ja) 画像向上機能を備えたカメラ
CN107343130B (zh) 一种基于dmd动态分光的高动态成像模块
TWI618977B (zh) Mask inspection method and mask inspection device
JP4478358B2 (ja) ディジタル画像の輝度調整のためのディジタル画像処理方法及び装置
JP5519460B2 (ja) 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法
US6281931B1 (en) Method and apparatus for determining and correcting geometric distortions in electronic imaging systems
CN111869195B (zh) 图像处理装置、成像装置及图像处理方法
US20150163405A1 (en) Image forming apparatus, image forming method and image sensor
US11538193B2 (en) Methods and systems for calibrating a camera
CN111201783B (zh) 成像装置和方法以及图像处理装置和方法
KR20180004007A (ko) 포커싱 장치, 포커싱 방법 및 패턴 검사 방법
US20170257583A1 (en) Image processing device and control method thereof
CN111311686A (zh) 一种基于边缘感知的投影仪失焦校正方法
US20190188841A1 (en) Image processing system, computer readable recording medium, and image processing method
US20190356836A1 (en) Imaging apparatus, accessory, processing apparatus, processing method, and storage medium
WO2023127509A1 (ja) 調整装置および調整装置の作動方法
JP6961846B1 (ja) Ｅｕｖマスク検査装置、ｅｕｖマスク検査方法、ｅｕｖマスク検査プログラム及びｅｕｖマスク検査システム
JP2021127998A (ja) 距離情報取得装置および距離情報取得方法
US12047680B2 (en) Image pickup apparatus
JP2020030569A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
WO2021053852A1 (ja) 外観検査装置、外観検査装置の較正方法及びプログラム
CN109813533B (zh) 一种批量测试doe衍射效率和均匀性的方法及装置
WO2001070111A2 (en) Digital high resolution x-ray imaging utilizing an imaging sensor
JP6136364B2 (ja) デフォーカス量検出装置およびカメラ
US12105026B2 (en) Image acquisition method and image acquisition apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22915733

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023570829

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18712261

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280084280.1

Country of ref document: CN