WO2022163306A1 - 撮像装置、および撮像方法 - Google Patents

撮像装置、および撮像方法 Download PDF

Info

Publication number
WO2022163306A1
WO2022163306A1 PCT/JP2022/000009 JP2022000009W WO2022163306A1 WO 2022163306 A1 WO2022163306 A1 WO 2022163306A1 JP 2022000009 W JP2022000009 W JP 2022000009W WO 2022163306 A1 WO2022163306 A1 WO 2022163306A1
Authority
WO
WIPO (PCT)
Prior art keywords
angle
image
pattern
sensor
wide
Prior art date
Application number
PCT/JP2022/000009
Other languages
English (en)
French (fr)
Inventor
秀紀 小柳津
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/262,071 priority Critical patent/US20240098377A1/en
Publication of WO2022163306A1 publication Critical patent/WO2022163306A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/16—Pin-hole cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to an imaging device and an imaging method, and more particularly to an imaging device and an imaging method that enable imaging from wide-angle to telephoto with a thin device configuration and at low cost.
  • the wide-angle image and the telephoto image are synthesized to generate an image with an angle of view intermediate between the two images, realizing imaging as if using a zoom lens.
  • Patent Document 1 the configuration using a plurality of cameras as in Patent Document 1 increases cost and occupies a large surface area.
  • Patent Document 1 the optical axes of the two cameras are different, and parallax occurs between the respective cameras. It was necessary to synthesize after correcting the parallax.
  • the present disclosure has been made in view of such circumstances, and in particular, realizes imaging from wide-angle to telephoto with a thin device configuration and at low cost.
  • An imaging device is made of a light shielding material that shields incident light, and includes a first pattern including a plurality of transmission areas and light shielding areas that transmit the incident light in a part of the light shielding material; A second pattern different from the first pattern is provided, a mask for modulating and transmitting the incident light, and a pixel signal for the incident light modulated by the first pattern of the mask.
  • a first sensor that captures an image as a first imaging result
  • a second sensor that captures the incident light modulated by the second pattern of the mask as a second imaging result consisting of pixel signals
  • an image processing unit that reconstructs a first image based on a first imaging result and reconstructs a second image based on the second imaging result.
  • An imaging method includes: a first pattern made of a light shielding material that shields incident light, a first pattern including a plurality of transmission regions that transmit the incident light and a light shielding region in a part of the light shielding material; A mask provided with a second pattern different from the first pattern modulates and transmits the incident light, and the incident light modulated by the first pattern of the mask is converted from a pixel signal. imaging as a first imaging result, imaging the incident light modulated by the second pattern of the mask as a second imaging result consisting of pixel signals, and based on the first imaging result, An imaging method comprising reconstructing a first image and reconstructing a second image based on the second imaging result.
  • a first pattern made of a light shielding material that shields incident light, and a first pattern including a plurality of transmission regions and light shielding regions that transmit the incident light in a part of the light shielding material;
  • the incident light is modulated and transmitted by a mask provided with a second pattern different from the pattern of the mask, and the incident light modulated by the first pattern of the mask is composed of pixel signals.
  • the incident light imaged as a first imaging result and modulated by the second pattern of the mask is imaged as a second imaging result composed of pixel signals, and based on the first imaging result, a second One image is reconstructed, and a second image is reconstructed based on the second imaging result.
  • FIG. 1 is an external view illustrating a configuration example of an optical system of an imaging device of the present disclosure
  • FIG. 2 is a side cross-sectional view illustrating a configuration example of an optical system of an imaging device of the present disclosure
  • FIG. 10 is a diagram for explaining the reason why two sensors cannot be arranged side by side with a lens camera so that the central positions are aligned
  • FIG. 3 is a diagram illustrating functions realized by the imaging device of the present disclosure
  • FIG. 8 is a flowchart for explaining imaging processing by the imaging device of FIG. 7
  • FIG. 4 is an external view for explaining an application example of the imaging device of the present disclosure
  • Imaging device with lenses of different focal lengths 2.
  • Imaging device of the present disclosure 3 Application example
  • Imaging device with lenses of different focal length >> The present disclosure realizes imaging from wide-angle to telephoto with a thin device configuration at low cost.
  • the imaging apparatus 1 of FIG. 1 includes a telephoto block 11 that captures an image with an angle of view including the subject 2 as a telephoto image, a wide-angle block 12 that captures an image with an angle of view including the subject 2 as a wide-angle image, and a synthesizing unit 13 . It has
  • the telephoto block 11 includes a telephoto lens 31 and an imaging device 32 .
  • the telephoto lens 31 converges light in a range with a relatively long focal length and a relatively narrow angle of view, and focuses it on the imaging surface of the imaging device 32 .
  • the imaging element 32 captures the light condensed by the telephoto lens 31 to capture an image with a relatively long focal length and a relatively narrow angle of view as a telephoto image, and outputs the image to the synthesizing unit 13 .
  • the wide-angle block 12 includes a wide-angle lens 51 and an imaging device 52.
  • the wide-angle lens 51 has a relatively short focal length and a relatively wide angle of view.
  • the image sensor 52 By capturing light condensed by the wide-angle lens 51 , the image sensor 52 captures an image with a relatively short focal length and a relatively wide angle of view as a wide-angle image, and outputs the image to the synthesizing unit 13 .
  • the synthesizing unit 13 synthesizes the telephoto image supplied from the telephoto block 11 and the wide-angle image supplied from the wide-angle block 12 to generate and output an image having an intermediate angle of view between the two. do.
  • the imaging apparatus 1 of FIG. 1 having lenses with different focal lengths, since the imaging blocks with different optical axes are combined, the area occupied on the surface becomes large, which limits the design. obtain.
  • the lens since the lens is an essential component, it is necessary to ensure the thickness of the lens in the optical axis direction and the optical distance required for focusing, and the thickness direction can also be the rate limiting factor for design. .
  • smartphones and the like require a thin device configuration, and the thickness of the lens can be a rate-limiting factor in the design of the device configuration.
  • the optical axis Axn of the telephoto lens 31 and the optical axis Axw of the wide-angle lens 51 are different.
  • a parallax occurs between the captured wide-angle image.
  • lensless cameras with different angles of view are configured coaxially to achieve imaging from wide-angle to telephoto with a thin device configuration and at low cost.
  • FIG. 2 is an external view of the configuration of the optical system of the imaging device of the present disclosure
  • FIG. 3 is a side cross-sectional view of the imaging device of the present disclosure.
  • the imaging device 101 of FIGS. 2 and 3 shows an example of the configuration of an optical system including a mask 111, a telephoto sensor 112, a wide-angle sensor 113, and an image processing section 114.
  • FIG. 1 A schematic diagram of an optical system including a mask 111, a telephoto sensor 112, a wide-angle sensor 113, and an image processing section 114.
  • the imaging device 101 in FIGS. 2 and 3 is provided with a mask 111 instead of a lens, and the mask 111 modulates incident light to generate modulated light.
  • the imaging device 101 causes the telephoto sensor 112 and the wide-angle sensor 113 to receive the modulated light generated by the mask 111 to capture an image, and the image processing unit 114 performs image processing (signal processing) on the imaging result to obtain an image. to be reconfigured. That is, the imaging device 101 of the present disclosure is a so-called lensless camera.
  • the mask 111 , the telephoto sensor 112 , and the wide-angle sensor 113 are arranged so that their central positions are aligned.
  • the sensors 113 are arranged in order.
  • the telephoto sensor 112 and the wide-angle sensor 113 are both CMOS (Complementary Metal Oxide Semiconductor) image sensors or CCD (Charge Coupled Device) image sensors, and the telephoto sensor 112 is smaller in size than the wide-angle sensor 113. , and the pixel pitch is also small.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the mask 111 is made of a light-shielding material, and has a pattern of openings and light-shielding portions formed at a predetermined pitch. It has a telephoto pattern area 131 and a wide-angle pattern area 132 in which a wide-angle pattern is formed.
  • the pitches of the telephoto pattern area 131 and the wide-angle pattern area 132 respectively correspond to the sizes of the openings and the light shielding parts that are the constituent elements of the telephoto pattern area 131 and the wide-angle pattern area 132 .
  • a telephoto pattern area 131 formed with a telephoto pattern for modulating the incident light to the telephoto sensor 112 arranged at a position closer to the mask 111 than the wide-angle sensor 113 . is placed.
  • a wide-angle pattern for modulating incident light to a wide-angle sensor 113 arranged at a position farther from the mask 111 than the telephoto sensor 112 is formed on the outer edge of the mask 111 .
  • a region 132 is located.
  • the incident light information obtained by the telephoto sensor 112 arranged at a position close to the mask 111 has a higher angular resolution than the incident light information obtained by the wide-angle sensor 113 arranged at a position farther from the mask 111 than the telephoto sensor 112.
  • the pitch of the mask formed in the telephoto pattern region 131 is set finer than the pitch of the mask formed in the wide-angle pattern region 132 because it is necessary to increase the height.
  • the telephoto sensor 112 provided upstream in the incident direction of the incident light receives only the modulated light that has passed through the telephoto pattern area 131 in the central portion of the mask 111, picks up the image, and outputs the picked-up image. It is output to the image processing unit 114 as a telephoto imaging result.
  • the wide-angle sensor 113 provided after the telephoto sensor 112 receives only the modulated light that has passed through the wide-angle pattern region 132 at the outer edge of the mask, captures the image, and uses the captured image as the wide-angle imaging result. Output to the image processing unit 114 .
  • the telephoto sensor 112 in front of the wide-angle sensor 113, the telephoto sensor 112 is provided with the center position set at the same position. Since the light is blocked by 112 , it does not enter the wide-angle sensor 113 .
  • the telephoto sensor 112 telephoto-images the vicinity of the central portion of the full view including the subject 151, and the wide-angle sensor 113 wide-angle images the peripheral portion of the full view including the subject 151 excluding the vicinity of the center. do. Further, the telescopic imaging by the telescopic sensor 112 and the wide-angle imaging by the wide-angle sensor 113 are performed at the same timing while the respective imaging regions are independent.
  • the mask 111 , the telephoto sensor 112 , and the wide-angle sensor 113 are configured such that their center positions are aligned, the telephoto image reconstructed based on the telephoto imaging result captured by the telephoto sensor 112 is obtained. , and the wide-angle image reconstructed based on the wide-angle imaging result captured by the wide-angle sensor 113, there is no parallax.
  • the pitches for forming the patterns of the openings and light shielding portions of the telephoto pattern region 131 and the wide-angle pattern region 132 are set to match the pixel pitches of the telephoto sensor 112 and the wide-angle sensor 113, respectively. be.
  • the pixel pitch of the telephoto sensor 112 and the wide-angle sensor 113 corresponds to the size of the pixels constituting the telephoto sensor 112 and the wide-angle sensor 113 .
  • the pitch of patterns forming the openings and light shielding portions of the telephoto pattern region 131 and the wide-angle pattern region 132, and the angle of view of the pair of the telephoto sensor 112 and the wide-angle sensor 113 are the pattern size (pitch), It is set by the sensor size and mask-sensor distance.
  • the pitch of the pattern in the telephoto pattern area 131 and the wide-angle pattern area 132 used in the mask 111 has a high matrix rank so that the matrix calculation described later can be easily solved.
  • both the telephoto pattern area 131 and the wide-angle pattern area 132 used in the mask 111 desirably satisfy the conditions of high pattern autocorrelation and low side lobes of the function indicating cross-correlation.
  • a pattern that satisfies such conditions is, for example, the Modified Uniformly Redundant Array (MURA) pattern.
  • MURA Modified Uniformly Redundant Array
  • As the wide-angle pattern and the telephoto pattern patterns that satisfy this condition and are designed according to the specifications of each sensor are selected.
  • the telephoto imaging result in which the modulated light transmitted through the telephoto pattern area 131 is imaged by the telephoto sensor 112 is obtained from the telephoto imaging result in which the modulated light transmitted through the wide-angle pattern area 132 is imaged by the wide-angle sensor 113.
  • the configuration must be such that a narrow range of the object can be imaged.
  • the pixel pitch of 112 must be narrower than the pattern pitch of the wide-angle pattern region 132 and the pixel pitch of the wide-angle sensor 113 .
  • the image processing unit 114 reconstructs a telephoto image and a wide-angle image based on the result of the telephoto image captured by the telephoto sensor 112 and the result of the wide-angle image captured by the wide-angle sensor 113, and reconstructs them.
  • the configured telephoto image and wide-angle image are combined to generate an image with an intermediate angle of view.
  • FIG. 4 an example in which the mask pattern of the mask 161 applied to the lensless camera is uniform and the sensor 162, which is an imaging element, is one sheet will be described.
  • the mask 161 has a plate-like configuration made of a light-shielding material provided in front of the sensor 162. For example, as shown in FIG. Other light-shielded non-transmissive regions are formed at a predetermined pitch.
  • the aperture may be provided with a condensing element such as a lens or FZP (Fresnel Zone Plate).
  • the mask 161 When the mask 161 receives light as incident light from a subject plane (actually, a plane on which radiation light from a three-dimensional subject is emitted), the incident light is transmitted through a condensing element provided in a transmission area. By doing so, the incident light from the object surface is modulated as a whole, converted into modulated light, and the converted modulated light is received by the sensor 162 to be imaged.
  • a subject plane actually, a plane on which radiation light from a three-dimensional subject is emitted
  • the sensor 162 captures an image composed of modulated light obtained by modulating the incident light from the object surface by the mask 161, and outputs an image composed of pixel-by-pixel signals as an image capturing result.
  • incident light from point light sources PA, PB, and PC on the object plane passes through the mask 161 and reaches positions Pa, Pb, and Pc on the sensor 162, respectively.
  • the rays are received as rays of intensities a, b, and c.
  • the detection sensitivity of each pixel has directivity according to the incident angle by modulating the incident light by the transmissive area set on the mask 161 .
  • Giving the detection sensitivity of each pixel the incident angle directivity here means giving different light receiving sensitivity characteristics according to the incident angle of the incident light depending on the area on the sensor 162. .
  • the light source that constitutes the object plane is a point light source
  • light rays with the same light intensity emitted from the same point light source are incident on the sensor 162 .
  • Modulation by 161 changes the incident angle for each region on the imaging surface of sensor 162 . Since the mask 161 changes the incident angle of the incident light depending on the area on the sensor 162, the light receiving sensitivity characteristic, that is, the incident angle directivity, is obtained. , the mask 161 provided in front of the imaging surface of the sensor 162 detects with different sensitivities for each area on the sensor 162, and detection signals with different detection signal levels are detected for each area.
  • detection signal levels DA, DB, and DC of pixels at positions Pa, Pb, and Pc on sensor 162 are expressed by the following equations (1) to ( 3). It should be noted that the equations (1) to (3) in FIG. 4 are reversed from the positions Pa, Pb, and Pc on the sensor 162 in FIG.
  • DA ⁇ 1 ⁇ a+ ⁇ 1 ⁇ b+ ⁇ 1 ⁇ c ...
  • DB ⁇ 2 ⁇ a+ ⁇ 2 ⁇ b+ ⁇ 2 ⁇ c ...
  • DC ⁇ 3 ⁇ a+ ⁇ 3 ⁇ b+ ⁇ 3 ⁇ c ...
  • ⁇ 1 is a coefficient for the detection signal level a set according to the incident angle of the light beam from the point light source PA on the object plane to be restored at the position Pa on the sensor 162 .
  • ⁇ 1 is a coefficient for the detection signal level b that is set according to the incident angle of the light beam from the point light source PB on the object plane to be restored at the position Pa on the sensor 162 .
  • ⁇ 1 is a coefficient for the detection signal level c set according to the incident angle of the light beam from the point light source PC on the object plane to be restored at the position Pa on the sensor 162 .
  • ( ⁇ 1 ⁇ a) of the detection signal level DA indicates the detection signal level due to the light beam from the point light source PA at the position Pa.
  • ( ⁇ 1 ⁇ b) of the detection signal level DA indicates the detection signal level by the light beam from the point light source PB at the position Pa.
  • ( ⁇ 1 ⁇ c) of the detection signal level DA indicates the detection signal level due to the light beam from the point light source PC at the position Pa.
  • the detection signal level DA is expressed as a composite value obtained by multiplying each component of the point light sources PA, PB, and PC at the position Pa by respective coefficients ⁇ 1, ⁇ 1, and ⁇ 1.
  • the coefficients ⁇ 1, ⁇ 1, and ⁇ 1 are collectively referred to as a coefficient set.
  • the coefficient sets ⁇ 2, ⁇ 2, ⁇ 2 for the detection signal level DB at the point light source Pb correspond to the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1 for the detection signal level DA at the point light source PA, respectively.
  • the coefficient sets ⁇ 3, ⁇ 3, ⁇ 3 for the detection signal level DC at the point light source Pc correspond to the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1 for the detection signal level DA at the point light source Pa, respectively.
  • the detection signal levels of the pixels at the positions Pa, Pb, and Pc are values expressed by the product sum of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively, and the coefficients. is. For this reason, these detection signal levels are a mixture of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively. is different from
  • the detection signal level shown in the upper right part of FIG. 4 is not the detection signal level corresponding to the image in which the image of the subject is formed, so the imaging result is not a pixel value but a mere observation value.
  • the detection signal level shown in the lower right part of FIG. 4 is the value of each pixel of the restored image (final image) restored based on the signal value of each pixel corresponding to the image in which the image of the subject is formed. Therefore, it becomes a pixel value. That is, the restored image (final image) of this object plane corresponds to the captured image.
  • the lensless camera does not require an imaging lens, which makes it possible to reduce the height of the imaging device, that is, to reduce the thickness in the light incident direction in the configuration that realizes the imaging function. Become. Also, by varying the coefficient set, it is possible to reconstruct and restore the final image (restored image) on the object plane at various distances.
  • the image captured by the sensor 162 before reconstruction will be simply referred to as the imaging result, and the image reconstructed and restored by signal processing the imaging result will be the final image (restored image). or reconstructed image). Therefore, from the result of imaging one image, images on the object plane at various distances can be reconstructed as final images (reconstructed images) by variously changing the above-described coefficient set.
  • the final image corresponding to the object plane at various distances is obtained based on the imaging result of the image pickup by the sensor 162. (restored image) can be reconstructed.
  • the incident light modulated by the telephoto pattern area 131 on the mask 111 is received by the telephoto sensor 112, the telephoto imaging result is captured, and the mask
  • the incident light modulated by the wide-angle pattern area 132 in 111 is received by the wide-angle sensor 113, and the wide-angle imaging result is captured.
  • the above-described coefficient set is used for the telephoto imaging result to reconstruct the telephoto image as the final image
  • the above-described coefficient set is used for the wide-angle imaging result to reconstruct the wide-angle image as the final image.
  • the image and the wide-angle image are combined, and an intermediate angle of view image is generated from the combined image.
  • FIG. 5 shows a detailed configuration example of the optical system of the imaging device 101.
  • the imaging device 101 further includes a partition wall 171 and a housing 181 in addition to the mask 111 , the telephoto sensor 112 and the wide-angle sensor 113 .
  • the housing 181 shields light so as to surround the telephoto sensor 112 and the wide-angle sensor 113, and is configured such that the mask 111 is fitted in the opening.
  • the housing 181 shields the incident light that does not pass through the mask 111 out of the incident light to the telephoto sensor 112 and the wide-angle sensor 113, and only the incident light that has passed through the mask 111 is used for telephoto.
  • the light is made incident on the sensor 112 and the wide-angle sensor 113 .
  • the telephoto sensor 112 is provided with a partition wall 171 at a position surrounding the peripheral edge of the telephoto sensor 112 in a range connecting the peripheral edge and the peripheral edge of the telephoto pattern region 131 of the mask 111 . . Due to this partition wall 171 , only the incident light that has passed through the telephoto pattern region 131 of the mask 111 enters the telephoto sensor 112 . Limit the light receiving range of the incident light so that it is incident on the
  • the telephoto sensor 112 Since the telephoto sensor 112 captures a telephoto image, it must be an image with a higher resolution per angle of view than the wide-angle image captured by the wide-angle sensor 113 .
  • the mask pitch of the telephoto pattern area 131 and the pixel pitch of the telephoto sensor 112 are higher (fineer) than the mask pitch of the wide-angle pattern area 132 and the pixel pitch of the wide-angle sensor 113 .
  • the wide-angle sensor 113 is designed to have a wider angle of view than the telephoto sensor 112.
  • the angle ⁇ b of the partition wall 171 with respect to the vertical direction of the imaging surface of the telephoto sensor 112 is smaller than the angle ⁇ c that is the maximum angle of incidence from the mask 111 to the wide-angle sensor 113 ( ⁇ b ⁇ c).
  • part of the wide-angle pattern area 132 may be in the shadow of the telephoto sensor 112 depending on the direction of the incident angle of the incident light. and may not enter the wide-angle sensor 113 .
  • the angle ⁇ b between the partition wall 171 and the direction perpendicular to the incident plane of the mask 111 indicated by the dashed-dotted line in FIG. and the angle .theta.a formed by a straight line connecting the upper ends (the other ends) of the telephoto sensors 112 (.theta.a ⁇ .theta.b).
  • the incident light passing through the telephoto pattern area 131 of the mask 111 is received by the telephoto sensor 112 and processed for image processing.
  • the incident light passing through the wide-angle pattern area 132 is received by the wide-angle sensor 113 and then image-processed to reconstruct a wide-angle image.
  • incident light transmitted through the telephoto pattern area 131 of the mask 111 is reconstructed as a telephoto image
  • incident light transmitted through the wide-angle pattern area 132 is reconstructed as a wide-angle image.
  • the telephoto imaging result and the wide-angle imaging result can be imaged at the same time.
  • the lens 201 collects the incident light so that the wide-angle sensor 113 is focused
  • the wide-angle sensor 113 can pick up a wide-angle image.
  • the incident light is not focused, so a telephoto image cannot be captured.
  • the lens 201 when the lens 201 converges the incident light so that the telephoto sensor 112 is focused, the telephoto image can be captured by the telephoto sensor 112 , but the wide-angle sensor 113 does not. , wide-angle images cannot be captured because the incident light is out of focus.
  • the telephoto sensor 112 and the wide-angle sensor 113 are arranged coaxially, it is not possible to capture a telephoto image and a wide-angle image at the same time.
  • the imaging apparatus 101 of the present disclosure which functions as a lensless camera, even if the telephoto sensor 112 and the wide-angle sensor 113 are arranged so that their central positions are aligned, the telephoto imaging result and the wide-angle imaging result can be obtained. can be obtained at the same time. Also, a telephoto image reconstructed using the telephoto imaging result, which is the imaging result of the telephoto sensor 112 , and a wide-angle image reconstructed using the wide-angle imaging result, which is the imaging result of the wide-angle sensor 113 . Since there is no parallax between them, the synthesis of both can be facilitated.
  • the configuration functions as a lensless camera, only the mask 111 having the telephoto pattern area 131 and the wide-angle pattern area 132 is provided in front of the telephoto sensor 112 and the wide-angle sensor 113. OK.
  • the imaging device 101 of the present disclosure includes a mask 111 , a telephoto sensor 112 , a wide-angle sensor 113 , and an image processing section 114 , as well as a control section 211 and an output section 212 .
  • the control unit 211 is composed of a processor, memory, etc., and controls the overall operation of the imaging device 101 .
  • the output unit 212 is configured to output the processing result of the image processing unit 114.
  • an LCD Liquid Crystal Display
  • an organic EL Electro Luminescence
  • a recording device or the like that records an image of an angle of view as data on a recording medium or the like.
  • the image processing unit 114 reconstructs and synthesizes a telephoto image and a wide-angle image based on the results of telephoto and wide-angle imaging captured by the telephoto sensor 112 and the wide-angle sensor 113, and obtains an intermediate angle of view. is generated and output to the output unit 212 .
  • the image processing unit 114 includes a reconstruction unit 231 and a synthesizing unit 232 .
  • the reconstruction unit 231 includes a wide-angle image reconstruction unit 251 and a telephoto image reconstruction unit 252, and based on the telephoto imaging result and the wide-angle imaging result captured by the telephoto sensor 112 and the wide-angle sensor 113, to reconstruct a telescopic image and a wide-angle image, and output them to the synthesizing unit 232 .
  • the wide-angle image reconstruction unit 251 reconstructs a wide-angle image from the wide-angle imaging result captured by the wide-angle sensor 113 by performing matrix operations using the coefficient set described above, and outputs the reconstructed wide-angle image to the synthesis unit 232 .
  • the telephoto image reconstruction unit 252 reconstructs a telephoto image from the result of the telephoto image captured by the telephoto sensor 112 by performing matrix operations using the coefficient set described above, and outputs the reconstructed telephoto image to the synthesizing unit 232 .
  • the synthesizing unit 232 synthesizes the reconstructed telephoto image and the wide-angle image, generates an image with an intermediate angle of view from the synthesized image, and outputs the image to the output unit 212 for display or recording.
  • Imaging processing by the imaging apparatus 101 of the present disclosure will be described with reference to the flowchart of FIG. 8 .
  • step S ⁇ b>11 the telephoto pattern area 131 on the mask 111 modulates the incident light to enter the telephoto sensor 112 .
  • step S12 the telephoto sensor 112 captures an image made up of light modulated by the telephoto pattern area 131 of the mask 111 and outputs it to the image processing unit 114 as a telephoto imaging result.
  • step S ⁇ b>13 the telephoto image reconstruction unit 252 of the image processing unit 114 determines the image pickup position of the image pickup device 101 based on the telephoto image pickup result in which the image composed of the modulated light output from the telephoto sensor 112 is picked up.
  • the telescopic image is reconstructed as the final image by matrix operation using a predetermined coefficient set according to the distance from the to the object plane, and is output to the synthesizing unit 232 .
  • a determinant using the coefficient set described with reference to the above equations (1) to (3) is constructed and calculated for the result of telephoto imaging, whereby a telephoto image , the final image (restored image) of is obtained.
  • step S ⁇ b>14 the wide-angle pattern area 132 on the mask 111 modulates the incident light and causes it to enter the wide-angle sensor 113 .
  • step S15 the wide-angle sensor 113 captures an image of light modulated by the wide-angle pattern area 132 of the mask 111, and outputs the image to the image processing unit 114 as a wide-angle imaging result.
  • step S ⁇ b>16 the wide-angle image reconstruction unit 251 of the image processing unit 114 determines the imaging position of the imaging device 101 based on the wide-angle imaging result in which the image composed of the modulated light output from the wide-angle sensor 113 is captured.
  • the wide-angle image is reconstructed as the final image and output to the synthesizing unit 232 by matrix operation using a predetermined coefficient set according to the distance from the to the object plane.
  • a determinant using the coefficient set described with reference to the above equations (1) to (3) is constructed and calculated for the result of telephoto imaging, whereby a telephoto image , the final image (restored image) of is obtained.
  • step S17 the synthesis unit 232 synthesizes the wide-angle image supplied from the wide-angle image reconstruction unit 251 of the reconstruction unit 231 and the telephoto image supplied from the telephoto image reconstruction unit 252 to obtain a wide-angle image and a telephoto image. , and outputs the image to the output unit 212 .
  • the image capturing apparatus 101 of the present disclosure captures the result of the telephoto image captured by the telephoto sensor 112 adjusted so that the center positions match, and the result of the wide-angle image captured by the wide-angle sensor 113.
  • the mask 111 having the telephoto pattern area 131 and the wide-angle pattern area 132, the telephoto sensor 112, and the wide-angle sensor 113 are configured so that their central positions are aligned, thereby reconstructing a telephoto image. and wide-angle images have been described.
  • the number of sensors may be three or more, and the mask 111 may be provided with different patterns according to the number of sensors.
  • 9 and 10 show a configuration example of an imaging device 301 that includes three sensors and masks with different patterns according to the number of sensors.
  • the mask 311, the telephoto sensor 312, the wide-angle sensor 313, and the ultra-wide-angle sensor 314 are aligned with their respective center positions, and the mask 311 and the telephoto sensor are separated from the incident direction of the incident light.
  • 312, wide-angle sensor 313, and ultra-wide-angle sensor 314 are arranged in this order.
  • the mask 311 has a telephoto pattern area 321 formed with a telephoto pattern near the center, and a wide-angle pattern area 322 formed with a wide-angle pattern around the telephoto pattern area 321.
  • an ultra-wide-angle pattern area 323 in which an ultra-wide-angle pattern is formed is arranged in an outer edge portion around the wide-angle pattern area 322 .
  • the telephoto sensor 312 captures an image of modulated light that has been modulated by passing through the telephoto pattern area 321 of the mask 311, and outputs it to the image processing unit 315 as a telephoto imaging result.
  • the wide-angle sensor 313 captures an image of modulated light that has been modulated by passing through the wide-angle pattern area 322 of the mask 311, and outputs the image to the image processing unit 315 as a wide-angle imaging result.
  • the ultra-wide-angle sensor 314 captures an image of the modulated light that has been modulated by passing through the ultra-wide-angle pattern area 323 of the mask 311, and outputs it to the image processing unit 315 as an ultra-wide-angle imaging result.
  • the image processing unit 315 performs a matrix operation using a coefficient set to perform a telephoto image, a wide-angle image, and an ultra-wide-angle image with aligned center positions. By reconstructing wide-angle images and synthesizing them, an image with an arbitrary intermediate angle of view from a telephoto image to a super-wide-angle image is generated and output.
  • the reconstructed telephoto image and the wide-angle image can be obtained.
  • ultra-wide-angle images have no parallax, so their synthesis can be facilitated.
  • a telephoto pattern area 321 and a wide-angle pattern area are arranged in order from the center. 322 and a mask 311 on which the ultra-wide-angle pattern region 323 is arranged.
  • the number of sensors corresponding to the angle of view may be three or more.
  • the mask has a plurality of regions formed with a pattern having a pitch corresponding to the angle of view of each sensor according to the number of sensors. necessary.
  • a first pattern made of a light-shielding material that blocks incident light, and having a plurality of light-shielding regions and a plurality of transmissive regions that allow the incident light to pass through in a part of the light-shielding material, and a first pattern that is different from the first pattern.
  • a mask provided with a second pattern for modulating and transmitting the incident light; a first sensor that captures the incident light modulated by the first pattern of the mask as a first imaging result composed of pixel signals; a second sensor that captures the incident light modulated by the second pattern of the mask as a second imaging result composed of pixel signals; and an image processing unit that reconstructs a first image based on the first imaging result and reconstructs a second image based on the second imaging result.
  • the mask, the first sensor, and the second sensor are arranged in the order of the mask, the first sensor, and the second sensor with respect to the direction of incidence of the incident light.
  • ⁇ 6> The imaging device according to ⁇ 1>, wherein the maximum incident angle of the incident light on the first sensor is smaller than the maximum incident angle of the incident light on the second sensor.
  • ⁇ 7> The imaging device according to ⁇ 1>, wherein a partition wall is formed in a range connecting a peripheral portion of the first sensor and a peripheral portion of the first pattern on the mask.
  • the angle formed by the partition wall with respect to the direction perpendicular to the mask is the straight line connecting one end of the first sensor and the other end of the second sensor.
  • ⁇ 9> further comprising a synthesizing unit that synthesizes the first image and the second image, and synthesizes the angle of view of the first image and the angle of view of the second image;
  • the synthesizing unit selects an intermediate angle of view from the angle of view of the first image to the angle of view of the second image from an image obtained by synthesizing the first image and the second image.
  • ⁇ 11> The imaging device according to any one of ⁇ 1> to ⁇ 10>, wherein the first pattern and the second pattern are MURAs (Modified Uniformly Redundant Arrays).
  • ⁇ 12> The imaging device according to ⁇ 1>, wherein the pixel pitch of the first sensor is smaller than the pixel pitch of the second sensor.
  • An imaging method comprising: reconstructing a first image based on the first imaging result; and reconstructing a second image based on the second imaging result.
  • 101 imaging device 111 mask, 112 telephoto sensor, 113 wide-angle sensor, 114 image processing unit, 131 telephoto pattern area, 132 wide-angle pattern area, 151 subject, 171 partition wall, 181 housing, 191 subject, 301 imaging Device, 311 mask, 312 telephoto sensor, 313 wide-angle sensor, 314 ultra-wide-angle sensor, 315 image processor, 321 telephoto pattern area, 322 wide-angle pattern area, 323 ultra-wide-angle pattern area

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、レンズレスカメラにより再構成される画像の画質を向上できるようにする撮像装置、および撮像方法に関する。 入射光を遮光する遮光素材からなり、遮光素材の一部において前記入射光を透過させる複数の透過領域と遮光領域とからなり、中央付近に構成される望遠用パターンと、望遠用パターンの外縁部であって、望遠用パターンよりもピッチが大きな広角用パターンとが設けられたマスクにより、入射光に変調を掛けて透過させ、望遠用パターンで変調された入射光を望遠用撮像結果として撮像し、マスクの広角用パターンで変調された入射光を、広角用撮像結果として撮像し、望遠用撮像結果に基づいて、望遠画像を再構成し、広角用撮像結果に基づいて、広角画像を再構成する。本開示は、スマートフォンに搭載されるカメラに適用することができる。

Description

撮像装置、および撮像方法
　本開示は、撮像装置、および撮像方法に関し、特に、広角から望遠まで撮像を薄型の装置構成で、かつ、低コストに実現できるようにした撮像装置、および撮像方法に関する。
　近年のスマートフォン等には、異なる焦点距離を持つカメラを複数搭載し、広角から望遠までの撮像を実現できるものが提案されている（特許文献１参照）。
　通常のデジタルカメラでは、異なる焦点距離の撮像を行うために、ズームレンズが搭載されていることがあるが、スマートフォンでは光学系の構成を薄くする必要があるため、ズームレンズが用いられることは少ない。
　その代わりに複数の異なる焦点距離を持つカメラを用意し、それらのカメラで別々に撮像し、広角画像の撮像と望遠画像の撮像とを並行して実現している。
　また、後段の信号処理において、広角画像と望遠画像とが合成されることにより、２つの画像の中間の画角の画像が生成されており、あたかもズームレンズを用いたような撮像を実現している。
特開２０１８－１７０６５７号公報
　しかしながら、特許文献１のような複数のカメラを用いる構成では、コストの増大と、占有表面積が大きくなる。
　また、特許文献１においては、２つのカメラの光軸が異なり、それぞれのカメラ間で視差が生じるため、２つの画角の中間となる画像を合成する際、対象までの距離を勘案して、視差を補正した上で合成する必要があった。
　本開示は、このような状況に鑑みてなされたものであり、特に、広角から望遠まで撮像を薄型の装置構成で、かつ、低コストに実現するものである。
　本開示の一側面の撮像装置は、入射光を遮光する遮光素材からなり、前記遮光素材の一部において前記入射光を透過させる複数の透過領域と遮光領域とからなる第１のパターンと、前記第１のパターンとは異なる第２のパターンとが設けられ、前記入射光に変調を掛けて透過させるマスクと、前記マスクの前記第１のパターンで変調された前記入射光を、画素信号からなる第１の撮像結果として撮像する第１のセンサと、前記マスクの前記第２のパターンで変調された前記入射光を、画素信号からなる第２の撮像結果として撮像する第２のセンサと、前記第１の撮像結果に基づいて、第１の画像を再構成し、前記第２の撮像結果に基づいて、第２の画像を再構成する画像処理部とを備える撮像装置である。
　本開示の一側面の撮像方法は、入射光を遮光する遮光素材からなり、前記遮光素材の一部において前記入射光を透過させる複数の透過領域と遮光領域とからなる第１のパターンと、前記第１のパターンとは異なる第２のパターンとが設けられたマスクにより、前記入射光に変調を掛けて透過させ、前記マスクの前記第１のパターンで変調された前記入射光を、画素信号からなる第１の撮像結果として撮像し、前記マスクの前記第２のパターンで変調された前記入射光を、画素信号からなる第２の撮像結果として撮像し、前記第１の撮像結果に基づいて、第１の画像を再構成し、前記第２の撮像結果に基づいて、第２の画像を再構成するステップを含む撮像方法である。
　本開示の一側面においては、入射光を遮光する遮光素材からなり、前記遮光素材の一部において前記入射光を透過させる複数の透過領域と遮光領域とからなる第１のパターンと、前記第１のパターンとは異なる第２のパターンとが設けられたマスクにより、前記入射光に変調が掛けられて透過され、前記マスクの前記第１のパターンで変調された前記入射光が、画素信号からなる第１の撮像結果として撮像され、前記マスクの前記第２のパターンで変調された前記入射光が、画素信号からなる第２の撮像結果として撮像され、前記第１の撮像結果に基づいて、第１の画像が再構成され、前記第２の撮像結果に基づいて、第２の画像が再構成される。
異なる焦点距離のレンズを備えた撮像装置の構成例を説明する図である。 本開示の撮像装置の光学系の構成例を説明する外観図である。 本開示の撮像装置の光学系の構成例を説明する側面断面図である。 レンズレスカメラの撮像原理を説明する図である。 本開示の撮像装置の光学系の詳細な構成例を説明する図である。 レンズカメラでは、中心位置を揃えて２枚のセンサを並べて撮像できない理由を説明する図である。 本開示の撮像装置により実現される機能を説明する図である。 図７の撮像装置による撮像処理を説明するフローチャートである。 本開示の撮像装置の応用例を説明する外観図である。 本開示の撮像装置の応用例を説明する側面断面図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．異なる焦点距離のレンズを備えた撮像装置
　２．本開示の撮像装置
　３．応用例
　＜＜１．異なる焦点距離のレンズを備えた撮像装置＞＞
　本開示は、広角から望遠まで撮像を薄型の装置構成で、かつ、低コストに実現するものである。
　まず、図１を参照して、異なる焦点距離のレンズを備えた撮像装置の構成例について説明する。
　図１の撮像装置１は、被写体２を含む画角の画像を望遠画像として撮像する望遠用ブロック１１、被写体２を含む画角の画像を広角画像として撮像する広角用ブロック１２、および合成部１３を備えている。
　望遠用ブロック１１は、望遠レンズ３１と撮像素子３２とを備えている。望遠レンズ３１は、比較的焦点距離が遠く、画角が比較的狭い範囲の光を集光して、撮像素子３２の撮像面で合焦させる。
　撮像素子３２は、望遠レンズ３１により集光された光を撮像することにより、比較的焦点距離が遠く、比較的狭い範囲の画角の画像を望遠画像として撮像し、合成部１３に出力する。
　広角用ブロック１２は、広角レンズ５１と撮像素子５２とを備えている。広角レンズ５１は、比較的焦点距離が近く、画角が比較的広い範囲の光を集光して、撮像素子５２の撮像面で合焦させる。
　撮像素子５２は、広角レンズ５１により集光された光を撮像することにより、比較的焦点距離が近く、比較的広い範囲の画角の画像を広角画像として撮像し、合成部１３に出力する。
　合成部１３は、望遠用ブロック１１より供給される望遠画像と、広角用ブロック１２より供給される広角画像とを合成することにより、両者の画角の中間の画角の画像を生成して出力する。
　しかしながら、異なる焦点距離のレンズを備えた図１の撮像装置１においては、光軸の異なる撮像ブロックが組み合わされた構成とされるため、表面占有面積が大きくなるので、設計やデザインの律速になり得る。また、レンズが必須構成であることから、レンズの光軸方向の厚さや合焦に必要とされる光学距離を確保する必要があり、厚さ方向に対しても設計やデザインの律速になり得る。特に、スマートフォンなどでは、機器構成の薄さが求められるが、レンズの厚さが機器構成の設計やデザインにおける律速になり得る。
　また、図１の撮像装置１においては、望遠レンズ３１の光軸Ａｘｎと、広角レンズ５１との光軸Ａｘｗとが異なるため、望遠用ブロック１１により撮像される望遠画像と、広角用ブロック１２により撮像される広角画像との間に視差が生じる。
　このため、両者の画角の中間の画角の画像を生成するに当たっては、視差に応じた被写体２までの距離を考慮して画像を補正した上で合成する必要があり処理が煩雑になる。
　そこで、本開示においては、画角の異なるレンズレスカメラを同軸上に構成することで、広角から望遠まで撮像を薄型の装置構成で、かつ、低コストに実現する。
　＜＜２．本開示の撮像装置＞＞
　＜撮像装置の光学系の構成例＞
　次に、図２，図３を参照して、本開示の撮像装置の光学系の構成例について説明する。尚、図２は、本開示の撮像装置の光学系の構成の外観図であり、図３は、本開示の撮像装置の側面断面図である。
　図２，図３の撮像装置１０１は、マスク１１１、望遠用センサ１１２、広角用センサ１１３、および画像処理部１１４を備えた構成の光学系の構成例を示している。
　図２，図３の撮像装置１０１は、レンズに代えて、マスク１１１を設けており、マスク１１１により入射光を変調して、変調光を生成する。
　そして、撮像装置１０１は、マスク１１１により生成した変調光を望遠用センサ１１２および広角用センサ１１３で受光させることで撮像させ、撮像結果を画像処理部１１４において画像処理（信号処理）することで画像を再構成させる。すなわち、本開示の撮像装置１０１は、いわゆるレンズレスカメラである。
　マスク１１１、望遠用センサ１１２、および広角用センサ１１３は、中心位置が揃えられた状態で配置され、被写体１５１からの入射光の入射方向に対して、マスク１１１、望遠用センサ１１２、および広角用センサ１１３の順序で配置されている。
　望遠用センサ１１２および広角用センサ１１３は、いずれもCMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサからなり、望遠用センサ１１２は、広角用センサ１１３よりも小さなサイズであり、また、ピクセルピッチについても小さい。
　マスク１１１は、遮光材から構成され、一部に所定のピッチで形成された開口部と遮光部のパターンからなり、開口部と遮光部とを形成するピッチパターンが異なる望遠用パターンが形成された望遠用パターン領域１３１および広角用パターンが形成された広角用パターン領域１３２を備えている。
　尚、望遠用パターン領域１３１および広角用パターン領域１３２のそれぞれにおけるピッチは、望遠用パターン領域１３１および広角用パターン領域１３２の構成要素となる開口部、および遮光部のサイズに対応する。
　マスク１１１の中心部付近には、マスク１１１に対して広角用センサ１１３より近い位置に配置される望遠用センサ１１２への入射光を変調するための望遠用パターンが形成された望遠用パターン領域１３１が配置される。
　また、マスク１１１の外縁部には、マスク１１１に対して望遠用センサ１１２よりも遠い位置に配置される広角用センサ１１３への入射光を変調するための広角用パターンが形成された広角用パターン領域１３２が配置される。
　マスク１１１に近い位置に構成される望遠用センサ１１２で得られる入射光情報は、マスク１１１から望遠用センサ１１２より遠い位置に構成される広角用センサ１１３で得られる入射光情報より、角度解像度が高くなるようにする必要があるので、望遠用パターン領域１３１に形成されるマスクのピッチは、広角用パターン領域１３２に形成されるマスクのピッチよりも細かく設定されている。
　すなわち、入射光の入射方向に対して前段に設けられた望遠用センサ１１２は、マスク１１１の中央部の望遠用パターン領域１３１を通過した変調光だけを受光して、撮像し、撮像した画像を望遠用撮像結果として画像処理部１１４に出力する。
　一方、望遠用センサ１１２の後段に設けられた広角用センサ１１３は、マスク外縁部の広角用パターン領域１３２を通過した変調光だけを受光して、撮像し、撮像した画像を広角用撮像結果として画像処理部１１４に出力する。
　すなわち、広角用センサ１１３の前段には、中心位置が同一の位置に設定された状態で、望遠用センサ１１２が設けられているため、望遠用パターン領域１３１を透過した入射光は、望遠用センサ１１２により遮られることになるので、広角用センサ１１３には入射されない。
　このような構成により、望遠用センサ１１２は被写体１５１を含む全景のうちの中央部付近を望遠撮像し、広角用センサ１１３は被写体１５１を含む全景のうち、中央部付近を除く外縁部を広角撮像する。また、望遠用センサ１１２による望遠撮像と広角用センサ１１３による広角撮像とは、それぞれの撮像領域が独立した状態で、同一のタイミングで実施される。
　マスク１１１、望遠用センサ１１２、および広角用センサ１１３は、中心位置が一致するように構成されているので、望遠用センサ１１２により撮像された望遠用撮像結果に基づいて再構成される望遠画像と、広角用センサ１１３により撮像された広角用撮像結果に基づいて再構成される広角画像との間には視差がない。
　このため、望遠画像と広角画像とを合成する際には、視差調整が不要であり、双方の画像を容易に合成することができるので、双方の中間画角の画像を、より容易に生成することが可能である。
　ここで、望遠用パターン領域１３１と広角用パターン領域１３２のそれぞれの開口部と遮光部のパターンを形成するピッチは、望遠用センサ１１２と広角用センサ１１３のそれぞれのピクセルピッチに合うように設定される。
　尚、望遠用センサ１１２および広角用センサ１１３のピクセルピッチは、望遠用センサ１１２および広角用センサ１１３の構成要素となる画素のサイズに対応する。
　また、望遠用パターン領域１３１および広角用パターン領域１３２の開口部と遮光部を形成するパターンのピッチ、並びに、望遠用センサ１１２および広角用センサ１１３のペアの画角は、パターンサイズ（ピッチ）、センササイズ、マスク-センサ間距離によって設定される。
　さらに、マスク１１１で用いられる望遠用パターン領域１３１および広角用パターン領域１３２におけるパターンのピッチは、後述する行列演算が解き易くなるような、行列のランクが高いものが望ましい。
　すなわち、マスク１１１で用いられる望遠用パターン領域１３１および広角用パターン領域１３２は、いずれもパターンの自己相関性が高く、かつ、相互相関性を示す関数のサイドローブが低い条件を満たすことが望ましい。
　そのような条件を満たすパターンは、例えば、Modified Uniformly Redundant Array(MURA)パターンが挙げられる。広角用パターンと望遠用パターンには、この条件を満たし、かつ、各センサの仕様に合わせて設計されたパターンが選択される。
　望遠用パターン領域１３１を透過した変調光が望遠用センサ１１２により撮像される望遠用撮像結果は、広角用パターン領域１３２を透過した変調光が広角用センサ１１３により撮像される望遠用撮像結果より、対象の狭い範囲を撮像できるような構成になっている必要がある。
　これはセンサの解像度とマスクパターンのピッチと、センサ-マスク間の距離で決定されるが、例えば、センサ-マスク間距離を一定とすると、望遠用パターン領域１３１のパターンのピッチ、および望遠用センサ１１２のピクセルピッチは、広角用パターン領域１３２のパターンのピッチ、および広角用センサ１１３のピクセルピッチよりも狭い事が条件となる。
　画像処理部１１４は、望遠用センサ１１２より撮像された望遠用撮像結果と、広角用センサ１１３より撮像された広角用撮像結果とに基づいて、それぞれ望遠画像、および広角画像を再構成し、再構成した望遠画像と広角画像とを合成し、それぞれの中間画角の画像を生成する。
　＜レンズレスカメラの撮像原理＞
　次に、図４を参照して、撮像装置１０１に適用される一般的なレンズレスカメラの撮像原理について説明する。
　尚、図４においては、レンズレスカメラにおいて適用されるマスク１６１のマスクパターンが均一であり、撮像素子であるセンサ１６２が１枚である場合の例について説明する。
　マスク１６１は、センサ１６２の前段に設けられる遮光素材からなる板状の構成であり、例えば、図４で示されるように、入射光を透過させる穴状の開口部が設けられた透過領域と、それ以外の遮光された不透過領域とが所定のピッチで形成されている。尚、開口部には、レンズやFZP(Fresnel Zone Plate)などの集光素子が設けられてもよい。
　マスク１６１は、被写体面（現実には３次元の被写体からの放射光が発せられる面）からの光を入射光として受光すると、透過領域に設けられた集光素子を介して、入射光を透過させることで、被写体面からの入射光に対して全体として変調を掛けることで、変調光に変換し、変換した変調光をセンサ１６２により受光させて撮像させる。
　センサ１６２は、被写体面からの入射光に、マスク１６１により変調が掛けられた変調光よりなる像を撮像し、画素単位の信号からなる画像を撮像結果として出力する。
　例えば、図４の左上部で示されるように、被写体面上の点光源ＰＡ，ＰＢ，ＰＣからの入射光が、マスク１６１を透過してセンサ１６２上の位置Ｐａ，Ｐｂ，Ｐｃにおいて、それぞれ光強度ａ，ｂ，ｃの光線として受光されるものとする。
　図４の左上部で示されるように、各画素の検出感度は、マスク１６１に設定される透過領域により入射光が変調されることにより、入射角に応じた指向性を持つことになる。ここでいう各画素の検出感度に入射角指向性を持たせるとは、センサ１６２上の領域に応じて入射光の入射角度に応じた受光感度特性を異なるものとなるように持たせることである。
　すなわち、被写体面を構成する光源が点光源であることを前提とした場合、センサ１６２においては、同一の点光源より発せられた同一の光強度の光線が、入射されることになるが、マスク１６１により変調されることにより、センサ１６２の撮像面上の領域毎に入射角度が変化する。そして、マスク１６１によりセンサ１６２上の領域に応じて入射光の入射角度が変化することにより受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、センサ１６２の撮像面の前段に設けられたマスク１６１によりセンサ１６２上の領域毎に異なる感度で検出されることになり、領域毎に異なる検出信号レベルの検出信号が検出される。
　より具体的には、図４の右上部で示されるように、センサ１６２上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。尚、図４における式（１）乃至式（３）は、図４におけるセンサ１６２上における位置Ｐａ，Ｐｂ，Ｐｃと上下関係が反転している。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、α１は、センサ１６２上の位置Ｐａにおける復元する被写体面上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数である。
　また、β１は、センサ１６２上の位置Ｐａにおける復元する被写体面上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。
　さらに、γ１は、センサ１６２上の位置Ｐａにおける復元する被写体面上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。
　従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐａにおける点光源ＰＡからの光線による検出信号レベルを示したものである。
　また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐａにおける点光源ＰＢからの光線による検出信号レベルを示したものである。
　さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐａにおける点光源ＰＣからの光線による検出信号レベルを示したものである。
　従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの係数α１，β１，γ１を掛けたものの合成値として表現される。以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。
　同様に、点光源Ｐｂにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。また、点光源Ｐｃにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ点光源Ｐａにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。
　ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。
　すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた行列式（連立方程式）を構成し、光強度ａ，ｂ，ｃを解く（逆行列によって演算する）ことで、図４の右下部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像（最終画像）が再構成されて復元される。
　また、図４の左上部で示されるセンサ１６２と被写体面との距離が変化する場合、係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３は、それぞれ変化することになるが、この係数セットを変化させることで、様々な距離の被写体面の復元画像（最終画像）を再構成させることができる。
　このため、１回の撮像により、係数セットを様々な距離に対応するものに変化させることで、撮像位置から様々な距離の被写体面の画像を再構成することができる。
　結果として、レンズレスカメラにおいては、レンズを用いた撮像装置での撮像において合焦点がずれた状態で撮像される、いわゆる、ピンぼけといった現象を意識する必要がなく、視野内に撮像したい被写体が含まれるように撮像されていれば、距離に応じた係数セットを変化させることで様々な距離の被写体面の画像を、撮像後に再構成することができる。
　尚、図４の右上部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではなく、単なる観測値からなる撮像結果となる。また、図４の右下部で示される検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値に基づいて復元された、復元画像（最終画像）の各画素の値なので、画素値となる。すなわち、この被写体面の復元画像（最終画像）が、撮像画像に対応する。
　このような構成により、レンズレスカメラは、撮像レンズが必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。また、係数セットを様々に変化させることにより、様々な距離の被写体面における最終画像（復元画像）を再構成して復元することが可能となる。
　尚、以降においては、センサ１６２により撮像された、再構成される前の画像を単に撮像結果と称し、撮像結果が信号処理されることにより再構成されて復元される画像を最終画像（復元画像または再構成画像）と称する。従って、１枚の撮像結果からは、上述した係数セットを様々に変化させることにより、様々な距離の被写体面上の画像を最終画像（再構成画像）として再構成させることができる。
　撮像位置から被写体面までの様々な距離に応じた複数の係数セットを切り替えて用いるようにすることで、センサ１６２により撮像された撮像結果に基づいて、様々な距離の被写体面に対応する最終画像（復元画像）を再構成することが可能となる。
　尚、図２，図３の本開示の撮像装置１０１においては、マスク１１１における望遠用パターン領域１３１で変調された入射光が望遠用センサ１１２により受光されて、望遠用撮像結果が撮像され、マスク１１１における広角用パターン領域１３２で変調された入射光が広角用センサ１１３により受光されて、広角用撮像結果が撮像される。
　そして、望遠用撮像結果に上述した係数セットが用いられて望遠画像が最終画像として再構成され、広角用撮像結果に上述した係数セットが用いられて広角画像が最終画像として再構成されて、望遠画像と広角画像とが合成されて、合成された画像から中間画角の画像が生成される。
　＜撮像装置の光学系の詳細な構成について＞
　次に、図５を参照して、撮像装置１０１における光学系の詳細な構成について説明する。
　図５は、撮像装置１０１の光学系の詳細な構成例を示している。撮像装置１０１は、マスク１１１、望遠用センサ１１２、および広角用センサ１１３に加えて、さらに、仕切り壁１７１、および筐体１８１を備えている。
　筐体１８１は、望遠用センサ１１２、および広角用センサ１１３を囲むように遮光し、開口部にマスク１１１が嵌め込まれた構成とされる。
　このような構成により、筐体１８１は、望遠用センサ１１２、および広角用センサ１１３への入射光のうち、マスク１１１を透過しない入射光を遮光し、マスク１１１を透過した入射光のみを望遠用センサ１１２、および広角用センサ１１３に入射させる。
　望遠用センサ１１２は、辺縁部とマスク１１１の望遠用パターン領域１３１の辺縁部とを結ぶ範囲であって、望遠用センサ１１２の辺縁部を取り囲む位置に仕切り壁１７１が設けられている。この仕切り壁１７１により、マスク１１１のうち、望遠用パターン領域１３１を透過した入射光のみが望遠用センサ１１２に入射し、同様に、広角用パターン領域１３２を透過した入射光のみが広角用センサ１１３に入射するように入射光の受光範囲を制限する。
　望遠用センサ１１２は、望遠画像を撮像するため、広角用センサ１１３で撮像される広角画像に対して、画角あたりの解像度が高い画像である必要がある。
　このため、望遠用パターン領域１３１のマスクピッチと、望遠用センサ１１２のピクセルピッチは、広角用パターン領域１３２のマスクピッチと、広角用センサ１１３のピクセルピッチよりも高い（細かい）。
　さらに、広角用センサ１１３は、望遠用センサ１１２より画角が広くなるように設計されている。
　また、仕切り壁１７１の望遠用センサ１１２の撮像面の垂直方向に対する角度θｂは、マスク１１１から広角用センサ１１３に入射する最大角である角度θｃよりも小さい（θｂ＜θｃ）。
　さらに、マスク１１１と望遠用センサ１１２との距離があるため、広角用センサ１１３から観測した時、入射光の入射角の方向によっては広角用パターン領域１３２の一部が望遠用センサ１１２の影になり、広角用センサ１１３に入射しない可能性がある。
　その場合、上述した演算に必要とされる係数セットにより構成される行列で、最終画像を正しく再構成できなくなる。
　そこで、図５の一点鎖線で示されるマスク１１１の入射面に対して垂直方向と、仕切り壁１７１とのなす角である角度θｂは、広角用センサ１１３の下端（一方の端部）のピクセルと、望遠用センサ１１２の上端（他方の端部）を結んだ直線の成す角度θａよりも大きくする（θａ＜θｂ）。
　＜レンズカメラにおいて、望遠用センサと広角用センサとを同軸上に並べても望遠画像と広角画像とを同時に撮像できない理由＞
　ここで、レンズカメラにおいて、望遠用センサと広角用センサとを同軸上に並べても望遠画像と広角画像とを同時に撮像できない理由について説明する。
　レンズレスカメラは、図６の上段で示されるように、被写体１９１からの入射光のうち、マスク１１１の望遠用パターン領域１３１を通過する入射光は、望遠用センサ１１２で受光されて、画像処理により望遠画像として再構成され、広角用パターン領域１３２を通過する入射光は広角用センサ１１３で受光された後、画像処理がなされることにより広角画像として再構成される。
　このようにレンズレスカメラにおいては、マスク１１１の望遠用パターン領域１３１を透過する入射光は望遠画像として再構成され、広角用パターン領域１３２を透過する入射光は広角画像として再構成されることにより、望遠用撮像結果と広角用撮像結果とを同時に撮像することができる。
　一方、レンズカメラは、図６の下段で示されるように、被写体１９１の所定の点から発せられた光が、レンズ２０１によって望遠用センサ１１２’または広角用センサ１１３’に指向する。
　このため、図６の下段で示されるように、例えば、レンズ２０１により入射光を広角用センサ１１３で合焦するように集光した時には、広角用センサ１１３において広角画像を撮像することはできるが、望遠用センサ１１２上においては、入射光が合焦しないので望遠画像を撮像することはできない。
　逆に、図示しないが、例えば、レンズ２０１により入射光を望遠用センサ１１２で合焦するように集光した時には、望遠用センサ１１２において望遠画像を撮像することはできるが、広角用センサ１１３上において、入射光が合焦しないので広角画像を撮像することはできない。
　従って、レンズカメラにおいて、望遠用センサ１１２と広角用センサ１１３とを同軸上に配置する構成にした場合、望遠画像と広角画像とを同時に撮像することはできない。
　このように、レンズレスカメラとして機能する本開示の撮像装置１０１は、望遠用センサ１１２と広角用センサ１１３とは中心位置を揃えて配置しても、望遠用撮像結果と広角用撮像結果とを同時に取得することが可能である。また、望遠用センサ１１２の撮像結果である望遠用撮像結果を用いて再構成される望遠画像と、広角用センサ１１３の撮像結果である広角用撮像結果を用いて再構成される広角画像との間には視差がないので、双方の合成を容易なものとすることができる。
　また、レンズレスカメラとして機能する構成とされているため、望遠用センサ１１２、および広角用センサ１１３の前段には、望遠用パターン領域１３１と広角用パターン領域１３２を備えたマスク１１１が設けられるのみでよい。
　このため、望遠用レンズと広角用レンズとを個別に設ける必要がないため、表面積における専有面積を小さくすることが可能になると共に、望遠用レンズと広角用レンズとを省いた構成とすることで、低コスト化することが可能となる。
　また、望遠用レンズと広角用レンズとが不要となるため、レンズの厚みや、レンズの焦点距離に応じた厚みの確保が不要な構成となるため、装置全体の構成を小型で軽量なものとすることが可能となり、さらには、入射光の入射方向に対して、薄型の装置構成を実現することが可能となる（低背化が可能となる）。
　＜撮像装置により実現される機能＞
　次に、図７の機能ブロック図を参照して、本開示の撮像装置１０１により実現される機能について説明する。
　本開示の撮像装置１０１は、マスク１１１、望遠用センサ１１２、広角用センサ１１３、および画像処理部１１４に加えて、制御部２１１および出力部２１２を備えている。
　制御部２１１は、プロセッサやメモリなどから構成され、撮像装置１０１の動作の全体を制御する。
　出力部２１２は、画像処理部１１４の処理結果を出力する構成であり、例えば、中間画角の画像を表示するLCD（Liquid Crystal Display）や有機EL（Electro Luminescence）などの表示装置等や、中間画角の画像をデータとして記録媒体等に記録する記録装置等である。
　画像処理部１１４は、望遠用センサ１１２、および広角用センサ１１３により撮像された望遠用撮像結果と広角用撮像結果とに基づいて、望遠画像および広角画像を再構成させ、合成し、中間画角となる画像を生成し、出力部２１２に出力する。
　より詳細には、画像処理部１１４は、再構成部２３１、および合成部２３２を備えている。再構成部２３１は、広角画像再構成部２５１および望遠画像再構成部２５２を備えており、望遠用センサ１１２、および広角用センサ１１３により撮像された望遠用撮像結果と広角用撮像結果とに基づいて、望遠画像および広角画像を再構成し、合成部２３２に出力する。
　広角画像再構成部２５１は、広角用センサ１１３により撮像された広角用撮像結果に対して、上述した係数セットを用いた行列演算により広角画像を再構成し、合成部２３２に出力する。
　望遠画像再構成部２５２は、望遠用センサ１１２により撮像された望遠用撮像結果に対して、上述した係数セットを用いた行列演算により望遠画像を再構成し、合成部２３２に出力する。
　合成部２３２は、再構成された望遠画像と広角画像とを合成して、合成結果となる画像より中間画角の画像を生成して出力部２１２に出力し、表示させる、または、記録させる。
　＜本開示の撮像装置による撮像処理＞
　次に、図８のフローチャートを参照して、本開示の撮像装置１０１による撮像処理について説明する。
　ステップＳ１１において、マスク１１１における望遠用パターン領域１３１は、入射光に変調を掛けて、望遠用センサ１１２に入射させる。
　ステップＳ１２において、望遠用センサ１１２は、マスク１１１の望遠用パターン領域１３１により変調が掛けられた光からなる像を撮像して、望遠用撮像結果として画像処理部１１４に出力する。
　ステップＳ１３において、画像処理部１１４の望遠画像再構成部２５２は、望遠用センサ１１２より出力される変調された光からなる像が撮像された望遠用撮像結果に基づいて、撮像装置１０１の撮像位置から被写体面までの距離に応じた所定の係数セットを用いた行列演算により、望遠画像を最終画像として再構成して合成部２３２に出力する。
　すなわち、望遠用撮像結果に対して、上述した式（１）乃至式（３）を参照して説明した係数セットを用いた行列式（連立方程式）が構成されて演算されることにより、望遠画像の最終画像（復元画像）が求められることになる。
　ステップＳ１４において、マスク１１１における広角用パターン領域１３２は、入射光に変調を掛けて、広角用センサ１１３に入射させる。
　ステップＳ１５において、広角用センサ１１３は、マスク１１１の広角用パターン領域１３２により変調が掛けられた光からなる像を撮像して、広角用撮像結果として画像処理部１１４に出力する。
　ステップＳ１６において、画像処理部１１４の広角画像再構成部２５１は、広角用センサ１１３より出力される変調された光からなる像が撮像された広角用撮像結果に基づいて、撮像装置１０１の撮像位置から被写体面までの距離に応じた所定の係数セットを用いた行列演算により、広角画像を最終画像として再構成して合成部２３２に出力する。
　すなわち、望遠用撮像結果に対して、上述した式（１）乃至式（３）を参照して説明した係数セットを用いた行列式（連立方程式）が構成されて演算されることにより、望遠画像の最終画像（復元画像）が求められることになる。
　ステップＳ１７において、合成部２３２は、再構成部２３１の広角画像再構成部２５１より供給される広角画像、および、望遠画像再構成部２５２より供給される望遠画像を合成し、広角画像と望遠画像との所定の中間画角となる画像を生成して出力部２１２に出力する。
　以上の処理により、本開示の撮像装置１０１により、中心位置が一致するように調整された望遠用センサ１１２により撮像された望遠用撮像結果と、広角用センサ１１３により撮像された広角用撮像結果とに基づいて、望遠画像と広角画像とが視差のない画像として再構成されることにより、双方を容易に合成させることが可能となり、中間画角の画像の生成を容易にすることが可能となる。
　＜＜３．応用例＞＞
　以上においては、望遠用パターン領域１３１と広角用パターン領域１３２とを備えたマスク１１１、望遠用センサ１１２、および広角用センサ１１３を、中心位置を揃えて構成することで、再構成される望遠画像と広角画像とを容易に合成させる例について説明してきた。
　しかしながら、センサ数を３枚以上にして、マスク１１１にセンサ数に応じた異なるパターンを備えるようにしてもよい。
　図９，図１０は、３枚のセンサと、センサの枚数に応じた異なるパターンを備えたマスクとを備えた撮像装置３０１の構成例を示している。
　すなわち、図９，図１０の撮像装置３０１は、マスク３１１、望遠用センサ３１２、広角用センサ３１３、超広角用センサ３１４、および画像処理部３１５を備えている。
　撮像装置３０１においても、マスク３１１、望遠用センサ３１２、広角用センサ３１３、および超広角用センサ３１４は、それぞれの中心位置が揃えられた状態で入射光の入射方向から、マスク３１１、望遠用センサ３１２、広角用センサ３１３、および超広角用センサ３１４の順序に並べて配置されている。
　また、マスク３１１は、中心付近に望遠用パターンが形成された望遠用パターン領域３２１が配置され、望遠用パターン領域３２１の周囲に広角用パターンが形成された広角用パターン領域３２２が配置され、さらに、広角用パターン領域３２２の周囲の外縁部に超広角用パターンが形成された超広角用パターン領域３２３が配置されている。
　このような構成により、望遠用センサ３１２は、マスク３１１における望遠用パターン領域３２１を透過することで変調された変調光を撮像し、望遠用撮像結果として画像処理部３１５に出力する。
　また、広角用センサ３１３は、マスク３１１における広角用パターン領域３２２を透過することで変調された変調光を撮像し、広角用撮像結果として画像処理部３１５に出力する。
　さらに、超広角用センサ３１４は、マスク３１１における超広角用パターン領域３２３を透過することで変調された変調光を撮像し、超広角用撮像結果として画像処理部３１５に出力する。
　そして、画像処理部３１５は、望遠用撮像結果、広角用撮像結果、および超広角用撮像結果に基づいて、係数セットを用いた行列演算により、中心位置が揃った望遠画像、広角画像、および超広角画像を再構成し、これらを合成することで、望遠画像から超広角画像までの任意の中間画角の画像を生成して出力する。
　撮像装置３０１のような構成により、マスク３１１、望遠用センサ３１２、広角用センサ３１３、および超広角用センサ３１４のそれぞれの中心位置を揃えて配置することで、再構成される望遠画像、広角画像、および超広角画像において視差がなくなるので、それらの合成を容易なものとすることができる。
　また、レンズレスカメラとして機能する構成とされているため、望遠用センサ３１２、広角用センサ３１３、および超広角用センサ３１４の前段には、中心付近から順に望遠用パターン領域３２１、広角用パターン領域３２２、および超広角用パターン領域３２３が配置されたマスク３１１が設けられるのみでよい。
　このため、望遠用レンズ、広角用レンズ、および超広角用レンズをそれぞれ個別に設ける必要がないため、表面占有面積を小さくすることが可能になると共に、低コスト化を実現することが可能となる。
　また、望遠用レンズ、広角用レンズ、および超広角用レンズが不要となるため、レンズの厚みや、レンズの焦点距離に応じた厚みの確保が不要な構成となるため、装置全体の構成を小型で軽量なものとすることが可能となり、さらには、入射光の入射方向に対して薄型化（低背化）することが可能となる。
　さらに、画角に応じたセンサ数は、３枚以上でもよく、この場合、マスクには、センサ数に応じて、それぞれのセンサの画角に応じたピッチのパターンが形成された複数の領域が必要となる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　入射光を遮光する遮光素材からなり、前記遮光素材の一部において前記入射光を透過させる複数の透過領域と遮光領域とからなる第１のパターンと、前記第１のパターンとは異なる第２のパターンとが設けられ、前記入射光に変調を掛けて透過させるマスクと、
　前記マスクの前記第１のパターンで変調された前記入射光を、画素信号からなる第１の撮像結果として撮像する第１のセンサと、
　前記マスクの前記第２のパターンで変調された前記入射光を、画素信号からなる第２の撮像結果として撮像する第２のセンサと、
　前記第１の撮像結果に基づいて、第１の画像を再構成し、前記第２の撮像結果に基づいて、第２の画像を再構成する画像処理部と
　を備える撮像装置。
＜２＞　前記マスクにおける前記第２のパターンは、前記第１のパターンの外縁部に設けられる
　＜１＞に記載の撮像装置。
＜３＞　前記マスク、前記第１のセンサ、および前記第２のセンサが、前記入射光の入射方向に対して、前記マスク、前記第１のセンサ、および前記第２のセンサの順序で、それぞれの中心位置が直線上に揃えて配置される
　＜１＞に記載の撮像装置。
＜４＞　前記第１のパターンを構成する構成要素は、前記第２のパターンを構成する構成要素よりも大きい
　＜１＞に記載の撮像装置。
＜５＞　前記第１のパターンを構成する構成要素、および前記第２のパターンを構成する構成要素は、前記複数の透過領域と遮光領域である
　＜１＞に記載の撮像装置。
＜６＞　前記第１のセンサへの前記入射光の最大入射角は、前記第２のセンサへの前記入射光の最大入射角よりも小さい
　＜１＞に記載の撮像装置。
＜７＞　前記第１のセンサの辺縁部と前記マスクにおける前記第１のパターンの辺縁部とを結ぶ範囲に仕切り壁が形成される
　＜１＞に記載の撮像装置。
＜８＞　前記仕切り壁の前記マスクと垂直な方向に対してなす角は、前記第１のセンサの一方の端部と、前記第２のセンサの他方の端部とを結んだ直線が前記マスクと垂直な方向に対してなす角よりも大きい
　＜７＞に記載の撮像装置。
＜９＞　前記第１の画像と、前記第２の画像とを合成し、前記第１の画像の画角と、前記第２の画像の画角と合成する合成部をさらに含む
　＜１＞に記載の撮像装置。
＜１０＞　前記合成部は、前記第１の画像と、前記第２の画像とが合成された画像より、前記第１の画像の画角から前記第２の画像の画角までの中間画角を生成する
　＜９＞に記載の撮像装置。
＜１１＞　前記第１のパターンおよび前記第２のパターンは、MURA（Modified Uniformly Redundant Array）である
　＜１＞乃至＜１０＞のいずれかに記載の撮像装置。
＜１２＞　前記第１のセンサのピクセルピッチは、前記第２のセンサのピクセルピッチよりも小さい
　＜１＞に記載の撮像装置。
＜１３＞　入射光を遮光する遮光素材からなり、前記遮光素材の一部において前記入射光を透過させる複数の透過領域と遮光領域とからなる第１のパターンと、前記第１のパターンとは異なる第２のパターンとが設けられたマスクにより、前記入射光に変調を掛けて透過させ、
　前記マスクの前記第１のパターンで変調された前記入射光を、画素信号からなる第１の撮像結果として撮像し、
　前記マスクの前記第２のパターンで変調された前記入射光を、画素信号からなる第２の撮像結果として撮像し、
　前記第１の撮像結果に基づいて、第１の画像を再構成し、前記第２の撮像結果に基づいて、第２の画像を再構成する
　ステップを含む撮像方法。
　１０１　撮像装置，　１１１　マスク，　１１２　望遠用センサ，　１１３　広角用センサ，　１１４　画像処理部，　１３１　望遠用パターン領域，　１３２　広角用パターン領域，　１５１　被写体，　１７１　仕切り壁，　１８１　筐体，　１９１　被写体，　３０１　撮像装置，　３１１　マスク，　３１２　望遠用センサ，　３１３　広角用センサ，　３１４　超広角用センサ，　３１５　画像処理部，　３２１　望遠用パターン領域，　３２２　広角用パターン領域，　３２３　超広角用パターン領域

Claims (13)

  1. 　入射光を遮光する遮光素材からなり、前記遮光素材の一部において前記入射光を透過させる複数の透過領域と遮光領域とからなる第１のパターンと、前記第１のパターンとは異なる第２のパターンとが設けられ、前記入射光に変調を掛けて透過させるマスクと、
    　前記マスクの前記第１のパターンで変調された前記入射光を、画素信号からなる第１の撮像結果として撮像する第１のセンサと、
    　前記マスクの前記第２のパターンで変調された前記入射光を、画素信号からなる第２の撮像結果として撮像する第２のセンサと、
    　前記第１の撮像結果に基づいて、第１の画像を再構成し、前記第２の撮像結果に基づいて、第２の画像を再構成する画像処理部と
    　を備える撮像装置。
  2. 　前記マスクにおける前記第２のパターンは、前記第１のパターンの外縁部に設けられる
    　請求項１に記載の撮像装置。
  3. 　前記マスク、前記第１のセンサ、および前記第２のセンサが、前記入射光の入射方向に対して、前記マスク、前記第１のセンサ、および前記第２のセンサの順序で、それぞれの中心位置が直線上に揃えて配置される
    　請求項１に記載の撮像装置。
  4. 　前記第１のパターンを構成する構成要素は、前記第２のパターンを構成する構成要素よりも大きい
    　請求項１に記載の撮像装置。
  5. 　前記第１のパターンを構成する構成要素、および前記第２のパターンを構成する構成要素は、前記複数の透過領域と遮光領域である
    　請求項１に記載の撮像装置。
  6. 　前記第１のセンサへの前記入射光の最大入射角は、前記第２のセンサへの前記入射光の最大入射角よりも小さい
    　請求項１に記載の撮像装置。
  7. 　前記第１のセンサの辺縁部と前記マスクにおける前記第１のパターンの辺縁部とを結ぶ範囲に仕切り壁が形成される
    　請求項１に記載の撮像装置。
  8. 　前記仕切り壁の前記マスクと垂直な方向に対してなす角は、前記第１のセンサの一方の端部と、前記第２のセンサの他方の端部とを結んだ直線が前記マスクと垂直な方向に対してなす角よりも大きい
    　請求項７に記載の撮像装置。
  9. 　前記第１の画像と、前記第２の画像とを合成し、前記第１の画像の画角と、前記第２の画像の画角と合成する合成部をさらに含む
    　請求項１に記載の撮像装置。
  10. 　前記合成部は、前記第１の画像と、前記第２の画像とが合成された画像より、前記第１の画像の画角から前記第２の画像の画角までの中間画角を生成する
    　請求項９に記載の撮像装置。
  11. 　前記第１のパターンおよび前記第２のパターンは、MURA（Modified Uniformly Redundant Array）パターンである
    　請求項１に記載の撮像装置。
  12. 　前記第１のセンサのピクセルピッチは、前記第２のセンサのピクセルピッチよりも小さい
    　請求項１に記載の撮像装置。
  13. 　入射光を遮光する遮光素材からなり、前記遮光素材の一部において前記入射光を透過させる複数の透過領域と遮光領域とからなる第１のパターンと、前記第１のパターンとは異なる第２のパターンとが設けられたマスクにより、前記入射光に変調を掛けて透過させ、
    　前記マスクの前記第１のパターンで変調された前記入射光を、画素信号からなる第１の撮像結果として撮像し、
    　前記マスクの前記第２のパターンで変調された前記入射光を、画素信号からなる第２の撮像結果として撮像し、
    　前記第１の撮像結果に基づいて、第１の画像を再構成し、前記第２の撮像結果に基づいて、第２の画像を再構成する
    　ステップを含む撮像方法。
PCT/JP2022/000009 2021-01-28 2022-01-04 撮像装置、および撮像方法 WO2022163306A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/262,071 US20240098377A1 (en) 2021-01-28 2022-01-04 Imaging device and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-011784 2021-01-28
JP2021011784 2021-01-28

Publications (1)

Publication Number Publication Date
WO2022163306A1 true WO2022163306A1 (ja) 2022-08-04

Family

ID=82654620

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000009 WO2022163306A1 (ja) 2021-01-28 2022-01-04 撮像装置、および撮像方法

Country Status (2)

Country Link
US (1) US20240098377A1 (ja)
WO (1) WO2022163306A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024190374A1 (ja) * 2023-03-13 2024-09-19 ソニーグループ株式会社 光学素子および撮像装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024190374A1 (ja) * 2023-03-13 2024-09-19 ソニーグループ株式会社 光学素子および撮像装置

Also Published As

Publication number Publication date
US20240098377A1 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
JP5879549B2 (ja) ライトフィールド撮像装置、および画像処理装置
US9609208B2 (en) Image generation method, image generation apparatus, program, and storage medium
JP6120508B2 (ja) 撮像素子および撮像装置
US8902291B2 (en) Three-dimensional image pickup device
US9456198B2 (en) Depth estimating image capture device and image sensor
JP4983271B2 (ja) 撮像装置
JP6004280B2 (ja) ライトフィールド撮像装置および撮像素子
JP6486149B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2015169722A (ja) 撮像装置
JPWO2019078335A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
JP4858179B2 (ja) 焦点検出装置および撮像装置
WO2022163306A1 (ja) 撮像装置、および撮像方法
US9086620B2 (en) Three-dimensional imaging device and optical transmission plate
JP6045208B2 (ja) 撮像装置
WO2013114889A1 (ja) 撮像装置
US9154770B2 (en) Three-dimensional imaging device, image processing device, image processing method, and program
JP2020046482A (ja) 撮像装置
JP7150785B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
JP6600217B2 (ja) 画像処理装置および画像処理方法、撮像装置およびその制御方法
JP2956273B2 (ja) 立体表示装置
JP7286452B2 (ja) 撮像素子および撮像装置
JPH10107975A (ja) 画像入力装置
JP5907668B2 (ja) 撮像装置及び撮像素子
WO2024166660A1 (ja) 撮像装置
JP2018046563A (ja) 撮像素子

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22745534

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18262071

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22745534

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP