WO2022239326A1 - 撮像装置、および撮像装置の作動方法 - Google Patents

撮像装置、および撮像装置の作動方法 Download PDF

Info

Publication number
WO2022239326A1
WO2022239326A1 PCT/JP2022/003951 JP2022003951W WO2022239326A1 WO 2022239326 A1 WO2022239326 A1 WO 2022239326A1 JP 2022003951 W JP2022003951 W JP 2022003951W WO 2022239326 A1 WO2022239326 A1 WO 2022239326A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging device
component
filter
components
Prior art date
Application number
PCT/JP2022/003951
Other languages
English (en)
French (fr)
Inventor
イリヤ レシェトウスキ
秀紀 小柳津
隆一 唯野
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023520778A priority Critical patent/JPWO2022239326A1/ja
Publication of WO2022239326A1 publication Critical patent/WO2022239326A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Definitions

  • the present disclosure relates to an imaging device and an operating method of the imaging device, and more particularly to an imaging device and an operating method of the imaging device that can appropriately limit information included when capturing an image.
  • Patent Document 1 A technology has been proposed that restricts the information captured as an image by disposing a cover or filter in front of the imaging surface of an image sensor, etc., so that a partial area of the scene cannot be captured. Also, a technique for restricting information to be imaged by arranging a polarizing filter has been disclosed (see Patent Document 2).
  • a polarizing filter that blocks information from a display that emits a polarized component can be used to physically block the light of an entire scene, or part of a scene, to prevent specific information from being displayed. are removed to achieve privacy protection.
  • the filter since the filter blocks non-polarized components and allows polarized components to pass through, the filter is the opposite of the filter in the first example.
  • the non-polarized components have all the polarized components, so the polarizing filter does not function as a filter for some of the non-polarized components.
  • the present disclosure has been made in view of such circumstances, and in particular, provides an imaging apparatus that can appropriately limit information included in an image that is an imaging result in imaging using an image sensor or the like. come true.
  • An imaging device includes a mask in which a plurality of transmission regions that transmit incident light for each of a plurality of components are formed in a predetermined pattern, and that each of the plurality of components of the incident light is modulated and transmitted. and an imaging device that captures a transmission image made up of light transmitted through the mask, and a reconstructing unit that reconstructs an image corresponding to the incident light based on the transmission image.
  • a method of operating an imaging device is an imaging device including a mask in which a plurality of transmission regions that transmit incident light for each component are formed in a predetermined pattern, an imaging device, and a reconstruction unit.
  • the mask modulates each of the components of the incident light to transmit them as modulated light
  • the imaging device captures a transmission image made up of the light transmitted through the mask
  • the reconstruction unit and reconstructing an image corresponding to said incident light based on said transmitted image.
  • each of the plurality of components of the incident light is modulated and transmitted by a mask in which a plurality of transmission regions that transmit the incident light for each of the plurality of components are formed in a predetermined pattern. Then, an imaging device picks up a transmitted image composed of light transmitted through the mask, and reconstructs an image corresponding to the incident light based on the transmitted image.
  • FIG. 5 is a diagram for explaining the configuration of the mask in FIG. 4; 5 is a diagram for explaining the imaging principle of the imaging device of FIG. 4; FIG. 5 is a diagram illustrating a final image generated by the imaging device of FIG. 4; FIG. 5 is a flowchart for explaining imaging processing of the imaging device of FIG. 4; It is a figure explaining the example of composition of the 2nd embodiment of the imaging device of this indication.
  • FIGS. 10A and 10B are diagrams for explaining the imaging principle of the imaging device of FIG. 9;
  • FIG. 10 is a diagram illustrating a final image generated by the imaging device of FIG. 9;
  • FIG. 10 is a flowchart for explaining imaging processing of the imaging device of FIG. 9;
  • FIG. It is a figure explaining the structure of the mask used as the application example of 2nd Embodiment of the imaging device of this indication.
  • 15 is a diagram for explaining the imaging principle of the imaging device of FIG. 14;
  • FIG. 15 is a diagram illustrating a final image generated by the imaging device of FIG. 14;
  • FIG. 15 is a flowchart for explaining imaging processing of the imaging device of FIG. 14;
  • FIG. 1 is a side cross-sectional view of the lensless imaging device 11.
  • the imaging device 11 in FIG. 1 is a so-called lensless camera, and includes a mask 31, an imaging device 32, a reconstruction section 33, and an output section .
  • the mask 31 is a plate-like structure made of a light shielding material provided in front of the imaging device 32. For example, as shown in the left part of FIG. 41 and a light-shielding area 42 which is shielded from light.
  • the mask 31 When the mask 31 receives light as incident light from an object surface (actually, a surface from which radiation light from a three-dimensional object is emitted) G1 indicated by the optical axis AX, the incident light passes through the transmission region 41. By transmitting the incident light, the incident light from the object plane G1 is modulated as a whole, converted into modulated light, and the converted modulated light is received by the imaging element 32 to be imaged.
  • an object surface actually, a surface from which radiation light from a three-dimensional object is emitted
  • the imaging element 32 is composed of a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor, and captures the modulated light obtained by modulating the incident light from the object plane G1 by the mask 31, and the pixel It is output to the reconstruction unit 33 as an image G2 made up of unit signals.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the mask 31 is of a size that encompasses at least the entire surface of the imaging element 32, and basically, the imaging element 32 is configured to receive only modulated light that has been modulated by passing through the mask 31. ing.
  • the transmissive region 41 formed in the mask 31 has a size that is at least larger than the pixel size of the imaging device 32 .
  • a small gap of distance d is provided between the imaging device 32 and the mask 31 .
  • incident light from point light sources PA, PB, and PC on the object plane G1 is transmitted through the transmission region 41 of the mask 31 and reaches positions Pa and Pb on the imaging device 32.
  • Pc are received as light rays of light intensities a, b, and c, respectively.
  • the detection sensitivity of each pixel has directivity according to the incident angle by modulating the incident light by the transmissive area 41 set on the mask 31 .
  • Giving incident angle directivity to the detection sensitivity of each pixel here means giving different light receiving sensitivity characteristics according to the incident angle of incident light depending on the area on the image sensor 32. be.
  • the light source that constitutes the object plane G1 is a point light source
  • light rays with the same light intensity emitted from the same point light source are incident on the imaging device 32.
  • the incident angle changes for each region on the imaging surface of the imaging element 32 .
  • the mask 31 changes the incident angle of the incident light depending on the area on the imaging device 32
  • the light receiving sensitivity characteristic that is, the incident angle directivity
  • the mask 31 provided in front of the image pickup surface of the image pickup device 32 detects with different sensitivities for each region on the image pickup device 32, and detection signals with different detection signal levels are detected for each region.
  • detection signal levels DA, DB, and DC of pixels at positions Pa, Pb, and Pc on the image sensor 32 are expressed by the following equations (1) to (3). It should be noted that formulas (1) to (3) in FIG. 2 are reversed in vertical relation from positions Pa, Pb, and Pc on the imaging device 32 in FIG.
  • DA ⁇ 1 ⁇ a+ ⁇ 1 ⁇ b+ ⁇ 1 ⁇ c ...
  • DB ⁇ 2 ⁇ a+ ⁇ 2 ⁇ b+ ⁇ 2 ⁇ c ...
  • DC ⁇ 3 ⁇ a+ ⁇ 3 ⁇ b+ ⁇ 3 ⁇ c ...
  • ⁇ 1 is a coefficient for the detection signal level a set according to the incident angle of the light beam from the point light source PA on the object plane G1 to be restored at the position Pa on the imaging device 32 .
  • ⁇ 1 is a coefficient for the detection signal level b that is set according to the incident angle of the light beam from the point light source PB on the object plane G1 to be restored at the position Pa on the imaging device 32 .
  • ⁇ 1 is a coefficient for the detection signal level c set according to the incident angle of the light beam from the point light source PC on the object plane G1 to be restored at the position Pa on the imaging device 32 .
  • ( ⁇ 1 ⁇ a) of the detection signal level DA indicates the detection signal level due to the light beam from the point light source PA at the position Pa.
  • ( ⁇ 1 ⁇ b) of the detection signal level DA indicates the detection signal level by the light beam from the point light source PB at the position Pa.
  • ( ⁇ 1 ⁇ c) of the detection signal level DA indicates the detection signal level due to the light beam from the point light source PC at the position Pa.
  • the detection signal level DA is expressed as a composite value obtained by multiplying each component of the point light sources PA, PB, and PC at the position Pa by respective coefficients ⁇ 1, ⁇ 1, and ⁇ 1.
  • the coefficients ⁇ 1, ⁇ 1, and ⁇ 1 are collectively referred to as a coefficient set.
  • the coefficient sets ⁇ 2, ⁇ 2, ⁇ 2 for the detection signal level DB at the point light source Pb correspond to the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1 for the detection signal level DA at the point light source PA, respectively.
  • the coefficient sets ⁇ 3, ⁇ 3, ⁇ 3 for the detection signal level DC at the point light source Pc correspond to the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1 for the detection signal level DA at the point light source Pa, respectively.
  • the detection signal levels of the pixels at the positions Pa, Pb, and Pc are values expressed by the product sum of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively, and the coefficients. is. For this reason, these detection signal levels are a mixture of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively. is different from An image composed of detection signal levels DA, DB, and DC of pixels at positions Pa, Pb, and Pc corresponds to image G2 in FIG.
  • a set of coefficients ⁇ 1, ⁇ 1, ⁇ 1, a set of coefficients ⁇ 2, ⁇ 2, ⁇ 2, a set of coefficients ⁇ 3, ⁇ 3, ⁇ 3, and detection signal levels DA, DB, DC are used to construct simultaneous equations, and light intensities a, b , c, the pixel values of the respective positions Pa, Pb, and Pc are obtained as shown in the lower right portion of FIG.
  • a restored image final image
  • this reconstructed image corresponds to the image G3 in FIG.
  • the image of the object plane at various distances can be reconstructed after the image is captured by changing the coefficient set according to the distance.
  • the detection signal level shown in the upper right part of FIG. 3 is not the detection signal level corresponding to the image in which the image of the subject is formed. It corresponds to the image G2. Further, the detection signal level shown in the lower right part of FIG. 3 is the signal value for each pixel corresponding to the image in which the image of the subject is formed, that is, the restored image (final image) restored based on the image G2. is the value of each pixel in , it becomes a pixel value. That is, the restored image (final image) of this object plane G1 corresponds to the image G3.
  • Such a configuration enables the imaging device 11 to function as a so-called lensless camera.
  • the imaging lens is not an essential component, it is possible to reduce the height of the imaging device, that is, to reduce the thickness in the light incident direction in the configuration that realizes the imaging function. Also, by varying the coefficient set, it is possible to reconstruct and restore the final image (restored image) on the object plane at various distances.
  • an image corresponding to the image G2 before reconstruction captured by the imaging device 32 is simply referred to as a captured image, and an image reconstructed and restored by signal processing the captured image.
  • An image corresponding to G3 is called a final image (restored image). Therefore, from one shot image, by variously changing the coefficient set described above, images on the object plane G1 at various distances can be reconstructed as the final image.
  • the reconstruction unit 33 has the above-described coefficient set, and uses the coefficient set corresponding to the distance from the imaging position of the imaging device 11 to the object plane G1 to reconstruct the image captured by the imaging device 32 ( Based on the image G2), the final image (restored image) (image G3 in FIG. 1) is reconstructed and output to the output unit .
  • the output unit 34 applies signal processing to the final image supplied from the reconstruction unit 33 and outputs the result as an image signal.
  • step S ⁇ b>11 the mask 31 modulates the light from the object plane G ⁇ b>1 to enter the imaging device 32 .
  • step S12 the imaging device 32 captures an image of light from the object plane G1 that has been modulated by the mask 31, and outputs it to the reconstruction unit 33 as a captured image (corresponding to the image G2). Output.
  • the reconstruction unit 33 converts the image pickup position of the image pickup device 11 from the image pickup position of the image pickup device 11 to the object plane G1 based on the image pickup image (equivalent to the image G2) obtained by picking up the image composed of the modulated light output from the image pickup device 32.
  • the image is reconstructed using a predetermined coefficient set according to the distance to the point, and is output to the output unit 34 as a final image (restored image) (corresponding to image G3). That is, the final image (restored image) is obtained by constructing and solving the simultaneous equations using the coefficient set described with reference to the above equations (1) to (3) for the captured image. become.
  • step S14 the output unit 34 performs signal processing and outputs it as an image signal.
  • the imaging device of the present disclosure applies the principle of the lensless imaging device described above, and uses filters that transmit at least two or more specific light components as a transmission region 41 and a light shielding region 42 for each light component. By making it work, a specific light component is modulated and reconstructed.
  • an imaging device that can appropriately limit the information included when an image is captured.
  • the imaging apparatus 101 in FIG. 4 reconstructs only an image composed of polarized components and does not reconstruct an image composed of non-polarized components, so that the final image is an image composed only of polarized components. Limit the information contained in the image composed of the polarization components.
  • the imaging device 101 is composed of a mask 111 , an imaging device 112 , a reconstruction section 113 and an output section 114 .
  • the mask 111, image sensor 112, reconstruction unit 113, and output unit 114 have configurations corresponding to the mask 31, image sensor 32, reconstruction unit 33, and output unit 34 in FIG. 1, respectively.
  • the mask 111 has a configuration corresponding to the mask 31 in FIG.
  • the mask 31 has a plate-like configuration made of a light-shielding material, and is configured to modulate incident light by forming the transmission region 41 and the light-shielding region 42 .
  • the mask 111 includes a vertical polarizing filter 111v that transmits the vertically polarized light component and a horizontal polarizing filter 111h that transmits the horizontally polarized light component of the light incident from the subject plane 121 on the left side of the drawing. are arranged in a pseudo-random pattern.
  • the arrangement pattern of the vertical polarizing filter 111v and the horizontal polarizing filter 111h may be a pattern other than a pseudo-random pattern, such as a random pattern, a URA (Uniformly Redundant Arrays) pattern, and a MURA (Modified Uniformly Redundant Arrays) pattern.
  • the vertical polarizing filter 111v and the horizontal polarizing filter 111h have the same light transmittance.
  • a vertical striped pattern is drawn in the area where the vertical polarizing filter 111v is arranged on the mask 111, and a horizontal striped pattern is drawn in the area where the horizontal polarizing filter 111h is arranged.
  • the object plane 121 there are a smartphone 131 that emits a vertically polarized component Lv composed of a polarized component of light in the vertical direction, a person 132 that emits an unpolarized component Lu composed of unpolarized light, and a person 132 that emits an unpolarized component Lu composed of unpolarized light.
  • a smartphone 131 that emits a vertically polarized component Lv composed of a polarized component of light in the vertical direction
  • a person 132 that emits an unpolarized component Lu composed of unpolarized light
  • a person 132 that emits an unpolarized component Lu composed of unpolarized light a person 132 that emits an unpolarized component Lu composed of unpolarized light.
  • a display 133 that emits a horizontal polarization component Lh of polarization components.
  • the vertical polarization component Lv emitted by the smartphone 131 is modulated by, for example, passing through the vertical polarization filter 111v area of the mask 111 indicated by the white area in the center of FIG.
  • the imaging device 112 captures an image composed of the modulated vertical polarization component Lv.
  • the reconstruction unit 113 reconstructs an image of the smartphone 131 composed of the vertically polarized component Lv based on the modulated image composed of the vertically polarized component Lv.
  • the unpolarized component Lu emitted by the person 132 is transmitted through both the horizontal polarizing filter 111h and the vertical polarizing filter 111v, as shown in the left part of FIG. Therefore, the light transmitted through the entire surface of the mask 111 is incident on the imaging device 112, and the image of the person 132 cannot be reconstructed by the above-described image reconstruction processing. That is, the non-polarized component Lu passes through both the horizontal polarizing filter 111h and the vertical polarizing filter 111v, so that it appears as if it passes through a transparent space where the mask 111 does not exist. Then, an image is captured.
  • the non-polarized component Lu when transmitted through the mask 111, there is only a region corresponding to the transmissive region 41 on the mask 111, and no region corresponding to the light-shielding region 42 exists.
  • the component Lu is incident on the imaging element 112 without being modulated by the mask 111 and is imaged.
  • the reconstruction unit 113 cannot reconstruct an image composed of the unpolarized light component Lu, which is incident light that has not been modulated, so that the person 132 cannot be reconstructed.
  • the horizontal polarization component Lh emitted by the display 133 is modulated by passing through the region of the horizontal polarization filter 111h of the mask 111 indicated by the white region in the right part of FIG.
  • the imaging device 112 captures an image composed of the modulated horizontal polarization component Lh.
  • the reconstruction unit 113 reconstructs an image of the display 133 composed of the horizontal polarization component Lh based on the modulated image composed of the horizontal polarization component Lh.
  • each region of the mask 111 corresponds to at least one of the horizontal polarizing filter 111h and the vertical polarizing filter 111v. It has been shown that
  • an image 121u composed of the unpolarized component Lu an image 121v composed of the vertically polarized component Lv
  • an image 121v composed of the horizontally polarized component An image 121h composed of components Lh is transmitted through the mask 111 in a combined state.
  • the image 121v consisting of only the vertical polarization component Lv in FIG. 6 is only the balloon displayed in the smartphone 131 emitting the vertical polarization component Lv, and the rest is observed as a black image.
  • the image 121h composed only of the horizontal polarization component Lh in FIG. 6 is only the automobile displayed in the display 133 emitting the horizontal polarization component Lh, and the other images are observed as a black image.
  • Image 112i is an image of each of smartphone 131 in object plane 121 consisting of modulated vertical polarization component Lv, person 132 consisting of unmodulated unpolarized component Lu, and display 133 consisting of modulated horizontal polarization component Lh. is not formed, the image is blurred as a whole, as shown in FIG.
  • the reconstruction unit 113 Based on the image 112i supplied from the imaging device 112, the reconstruction unit 113 generates images 121v' and 121h' corresponding to the image 121v composed of the modulated vertical polarization component Lv and 121h composed of the modulated horizontal polarization component Lh. is reconstructed and output to the output unit 114 . At this time, the reconstruction unit 113 cannot reconstruct the non-modulated non-polarized component Lu, and therefore cannot reconstruct the image corresponding to the image 121u composed of the non-modulated non-polarized component Lu.
  • the mask 111 has a configuration in which horizontal polarizing filters 111h and vertical polarizing filters 111v are arranged in a pseudo-random pattern.
  • the horizontal polarization filter 111h functions as the transmission region 41 of the mask 31 in FIG. 1, and the vertical polarization filter 111v functions as the light shielding region 42 in FIG. By functioning, the horizontal polarization component Lh is modulated.
  • the vertical polarization filter 111v functions as the transmission region 41 of the mask 31 in FIG. 1, and the horizontal polarization filter 111h functions as the light shielding region 42 in FIG. By doing so, the vertical polarization component Lv is modulated.
  • the horizontal polarization component Lh and the vertical polarization component Lv are the light modulated by the vertical polarization filter 111v and the horizontal polarization filter 111h of the mask 111, and the light modulated by the horizontal polarization filter 111h.
  • An image 112 i is obtained from the observation result with the non-polarized light component, and is output to the reconstruction unit 113 .
  • the reconstruction unit 113 uses coefficient sets corresponding to the vertical polarization filter 111v and the horizontal polarization filter 111h of the mask 111 for the image 112i to generate an image 121v composed of the vertical polarization component Lv. and an image 121h' corresponding to the image 121h composed of the horizontal polarization component Lh. At this time, the reconstruction unit 113 cannot reconstruct the image 121u composed of the non-polarized component Lu because the processing is based on the image captured without modulation.
  • the output unit 114 synthesizes the image 121v' consisting of the vertical polarization component Lv supplied from the reconstruction unit 113 and the image 121h' consisting of the horizontal polarization component Lh, and produces an image 122 as shown in the right part of FIG. is generated and output as the final image.
  • an image 122 composed of an image 121v′ displayed by the smartphone 131 and composed of the vertically polarized component Lv and an image 121h′ composed of the horizontally polarized component Lh displayed by the display 133 is output.
  • the face of the person holding the smartphone 131 or the display 133 exists within the imaging field of view.
  • the face of the person holding the smartphone 131 or the display 133 is reflected together with the QR code, making it difficult to consider privacy.
  • the imaging device 101 of the present disclosure even if the face of a person holding the smartphone 131 or the display 133 on which the QR code is displayed exists within the imaging field, the non-polarized light A person's face, which consists of components, is not imaged, so only the QR code is imaged, and it is possible to realize appropriate restrictions on imaging in consideration of privacy.
  • the object plane 121 is a rectangular image of M pixels ⁇ N pixels, and light emitted from each pixel as a light source is composed of a vertically polarized component, a horizontally polarized component, and a non-polarized component.
  • the imaging device 112 is composed of P pixels ⁇ Q pixels.
  • Q-1 is formed so as to be distributed in a grid pattern, and has substantially the same shape and size as the pixels of the imaging device 112 .
  • Light from the object surface 121 passes through either the vertical polarizing filter 111v or the horizontal polarizing filter 111h formed on the mask 111, and is modulated before entering the imaging element 112.
  • Equation (4) is a determinant representing the simultaneous equations.
  • p i is the pixel value of the image sensor 112
  • a ij is a coefficient set according to the design of the mask 111.
  • 0 represents the horizontal polarizing filter 111h
  • 1 represents the vertical polarizing filter. It represents filter 111v.
  • s i ⁇ represents the light intensity of the incident light at the position where the vertical polarization filter 111v is provided
  • s i ⁇ represents the light intensity of the incident light at the position where the horizontal polarization filter 111h is provided.
  • A is a matrix represented by the following formula (6).
  • s i is represented by the following equation (7).
  • s i is estimated by solving equation (5) above.
  • equation (5) there are various methods for solving equation (5), for example, it may be solved using a pseudo-inverse matrix by normalization.
  • Equation (5) can be expressed as an exact solution as shown in Equation (8) below.
  • Equation (8) or Equation (9) is the light intensity s i of the incident light at the position where the vertical polarizing filter 111v is provided and the intensity of the incident light at the position where the horizontal polarizing filter 111h is provided. It can be obtained by giving an approximate value to the difference from the light intensity s i ⁇ (s i ⁇ ⁇ s i ⁇ ) .
  • the following formula (10) can be used based on the assumption that the light of each pixel constituting the object plane 121 is a vertically polarized component, a horizontally polarized component, or a non-polarized component.
  • the result s i can be separated into either vertically polarized, horizontally polarized, and unpolarized components.
  • the vertical polarizing filter 111v and the horizontal polarizing filter 111h of the mask 111 act in the same way on the non-polarized component (component with a transmittance of 50%). It is recorded by the imaging device 112 as an offset for estimating the intensity of the component.
  • Equations (8) and (9), which are the solutions described above, represent the difference between the vertical polarization component and the horizontal polarization component at each pixel position forming the object plane 121 .
  • the intensity in the vertical polarization direction is Ii
  • the polarization angle with respect to the vertical polarization direction is ⁇ i
  • the linear polarization degree ( DoLP ) is ⁇ i ( 0 ⁇ i ⁇ 1 ) .
  • the following formula (11) holds based on Malus' law.
  • the polarization angle ⁇ i cannot be determined unless the product of the perpendicular polarization direction intensity I i and the degree of linear polarization (DoLP) ⁇ i is known.
  • the polarization angle ⁇ i is constrained to two angles ⁇ a , ⁇ b ( ⁇ i ⁇ ⁇ a , ⁇ b ⁇ ) such that, for example, cos2 ⁇ a cos2 ⁇ b ⁇ 0, then the object plane 121 can be obtained based on the sign and value of s i obtained by equation (7 ) .
  • step S31 the horizontal polarization filter 111h and the vertical polarization filter 111v of the mask 111 modulate the horizontal polarization component and the vertical polarization component of the light from the object plane 121, respectively, and make them enter the imaging device 112. Since the non-polarized light component is not modulated by the mask 111 , it passes through the mask 111 and enters the imaging element 112 as it is.
  • step S32 the imaging device 112 captures the light from the object plane 121 that has passed through the mask 111, and outputs the captured image to the reconstruction unit 113 as a captured image.
  • step S ⁇ b>33 the reconstruction unit 113 generates a predetermined distance corresponding to the distance from the imaging position of the imaging device 101 to the object plane 121 based on the captured image output from the imaging device 112 and in which the light transmitted through the mask 111 is captured.
  • the final image (restored image) composed of the horizontal polarization component and the final image (restored image) composed of the vertical polarization component are reconstructed using the above-described equation (4) consisting of the coefficient set of , and output to the output unit 34 do.
  • step S34 the output unit 114 synthesizes the reconstructed final image composed of the horizontally polarized component and the reconstructed final image composed of the vertically polarized component.
  • step S35 the output unit 114 performs signal processing on an image obtained by synthesizing the reconstructed image composed of the horizontally polarized component and the reconstructed image composed of the vertically polarized component, and outputs the result as an image signal.
  • the final image (restored image) is reconstructed using a set of coefficients. , it becomes possible to reconstruct images at various distances by one imaging.
  • the imaging device 101 of the present disclosure applies the principle of the lensless imaging device described above, and uses a mask 111 made of a filter that transmits at least two or more specific light components to separate the horizontal polarization component and the vertical polarization component. is modulated and reconstructed. At this time, the unpolarized components are not modulated and therefore not reconstructed.
  • the mask 111 composed of two types of polarizing filters, the horizontal polarizing filter 111h and the vertical polarizing filter 111v, is used to modulate the incident light and take an image, thereby reconstructing an image composed of polarized components.
  • the types of polarizing filters used in the mask 111 are not limited to two types, and more types of polarizing filters may be included.
  • the mask may be formed from three types of polarizing filters including a polarizing filter that transmits a polarized component in the diagonal direction (45 degree direction).
  • FIG. 9 shows an imaging device in which a mask is formed from three types of polarizing filters including a horizontal polarizing filter, a vertical polarizing filter, and a polarizing filter that transmits a polarized component in the diagonal direction (45 degree direction). configuration example.
  • the imaging device 201 in FIG. 9 is composed of a mask 211 , an imaging element 212 , a reconstruction section 213 and an output section 214 .
  • the mask 211, the imaging device 212, the reconstruction unit 213, and the output unit 214 basically correspond to the mask 111, the imaging device 112, the reconstruction unit 113, and the output unit 114 of the imaging device 101 in FIG. It is a configuration with functions.
  • the mask 111 is composed of a horizontal polarizing filter 111h and a vertical polarizing filter 111v
  • the mask 211 is composed of a horizontal polarizing filter 211h and a vertical polarizing filter 211v as well as a diagonal direction (45 degrees direction) is provided (hereinafter referred to as a 45-degree polarizing filter 211s).
  • the mask 111 in FIG. 4 includes a vertical polarizing filter 111v that transmits the vertically polarized light component and a horizontal polarizing filter 111h that transmits the horizontally polarized light component of the light incident from the subject plane 121 on the left side of the figure. were arranged in a pseudo-random pattern.
  • the mask 211 in FIG. 9 includes a vertical polarizing filter 211v that transmits the vertically polarized light component and a horizontal filter 211v that transmits the horizontally polarized light component of the light incident from the subject plane 221 on the left side of the figure.
  • a vertical polarizing filter 211v that transmits the vertically polarized light component
  • a horizontal filter 211v that transmits the horizontally polarized light component of the light incident from the subject plane 221 on the left side of the figure.
  • 45-degree polarizing filters 211s that transmit polarized light components in the diagonal direction (45-degree direction) are arranged in a pseudo-random pattern.
  • the non-polarized component passes through all of the vertical polarizing filter 211v, the horizontal polarizing filter 211h, and the 45-degree polarizing filter 211s, so it passes through without being modulated. Therefore, even if an image is captured by the imaging device 212, the reconstructing unit 213 cannot reconstruct an image of the non-polar
  • the arrangement patterns of the vertical polarizing filters 211v, the horizontal polarizing filters 211h, and the 45-degree polarizing filters 211s may be patterns other than pseudo-random patterns, such as random patterns, URA (Uniformly Redundant Arrays) patterns, and MURA (Modified Uniformly Redundant Arrays) pattern. Further, the vertical polarizing filter 211v, the horizontal polarizing filter 211h, and the 45-degree polarizing filter 211s have the same light transmittance.
  • a vertical striped pattern is drawn in the area where the vertical polarizing filter 211v is arranged on the mask 211, and a horizontal striped pattern is drawn in the area where the horizontal polarizing filter 211h is arranged.
  • the area where the 45-degree polarizing filter 211s is arranged has a diagonal striped pattern.
  • a subject plane 221 on which persons 231 and 232 emitting light of non-polarized light components and smartphones 233 to 235 emitting light of polarized light components in predetermined directions to display images are present.
  • the smartphones 233 to 235 display an image when the QR code is displayed on the display surface.
  • the polarized light components emitted by the smartphones 233 to 235 are modulated by passing through the regions of the vertical polarizing filter 211v, the horizontal polarizing filter 211h, and the 45-degree polarizing filter 211s of the mask 211, and enter the imaging device 212. .
  • the black portion indicates the area of the vertical polarizing filter 211v
  • the white portion indicates the area of the horizontal polarizing filter 211h
  • the gray portion indicates the area of the 45-degree polarizing filter 211s.
  • a pixel value corresponding to a value of 0 to 1 corresponding to the degree of linear polarization (DoLP) is set for each pixel.
  • pixel values corresponding to 0 to ⁇ (Rad) corresponding to the polarization angle are set for each pixel.
  • the pixel values corresponding to the degree of linear polarization are set for the regions where the displays of the smartphones 233 to 235 exist, and the pixel values are set to 0 for the other regions. are black.
  • the pixel values corresponding to the polarization angles are set for the regions where the displays of the smartphones 233 to 235 are present, and the pixel values for the other regions are set to 0 and black. ing.
  • the image 212i is an image composed of a modulated polarized component in which the images of the persons 231 and 232 and the smartphones 233 to 235 in the object plane 221 are not formed, and an unmodulated non-polarized component. Therefore, as shown in FIG. 10, the image becomes blurred as a whole.
  • the reconstruction unit 213 reconstructs images 221 d and 221 a composed of the modulated polarization components based on the image 212 i supplied from the imaging device 212 and outputs the images 221 d and 221 a to the output unit 224 .
  • the reconstruction unit 213 uses coefficient sets corresponding to the vertical polarizing filter 211v, the horizontal polarizing filter 211h, and the 45-degree polarizing filter 211s of the mask 211 for the image 212i.
  • An image 221d' consisting of pixel values multiplied by , and an image 221a consisting of polarization angles are respectively reconstructed.
  • the output unit 214 synthesizes the images 221d' and 221a supplied from the reconstruction unit 213, generates an image 222, and outputs it as the final image.
  • an image 222 composed of modulated components displayed by the smartphones 233 to 235 is output, so an image composed of only non-polarized components such as a human face is output. will not be included.
  • the object plane 221 is assumed to be a rectangular image of M pixels ⁇ N pixels, and light emitted from each pixel as a light source is composed of a vertically polarized component, a horizontally polarized component, a 45-degree polarized component, and a non-polarized component. shall be configured.
  • the image sensor 212 is composed of P pixels ⁇ Q pixels.
  • the vertical polarizing filter 211v, the horizontal polarizing filter 211h, and the 45-degree polarizing filter 211s are arranged in a pseudo-random pattern such that (M+P-1 ) ⁇ (N+Q ⁇ 1) grid, and the shape, size, and transmittance of the pixels of the imaging device 212 are substantially the same.
  • Light from the object plane 221 passes through any one of the vertical polarizing filter 211v, horizontal polarizing filter 211h, and 45-degree polarizing filter 211s formed on the mask 211, is modulated, and enters the imaging device 212.
  • Equation (12) is a determinant of the simultaneous equations.
  • a 0 is a matrix represented by Equation (13) below.
  • p i is the pixel value of the image sensor 212
  • a ij and b ij are coefficients set according to the design of the mask 211.
  • a ij is 1, the vertical polarizing filter 211v, and b ij being 1 represents the horizontal polarizing filter 211h, and when both a ij and b ij are 0, representing the 45 degree polarizing filter 211s.
  • s i ⁇ represents the light intensity of the incident light at the position where the vertical polarizing filter 211v is provided
  • s i ⁇ represents the light intensity of the incident light at the position where the horizontal polarizing filter 211h is provided
  • s i 45 represents the light intensity of the incident light at the position where the 45-degree polarizing filter 211s is provided.
  • Equation (12) is transformed into the following equation (14) in order to solve the simultaneous equations. be able to.
  • a and S are matrices represented by the following formula (15).
  • S is estimated by solving the above equation (14).
  • equation (14) there are various methods for solving equation (14), for example, it may be solved using a pseudo-inverse matrix by normalization.
  • Equation (14) can be expressed as an exact solution as shown in Equation (16) below.
  • Equation (16) or Equation (17) is the difference between the light intensity s i of the incident light at the position where the vertical polarizing filter 111v is provided and the light intensity s i 45 of the 45-degree polarizing filter 211s. (s i ⁇ ⁇ s i 45 ) , and the difference (s i ⁇ -s i 45 ) can be obtained by giving an approximate value to each.
  • the light intensity I i ⁇ i and the polarization angle ⁇ i corresponding to the linear polarization degree ⁇ i can be obtained for each pixel position.
  • Equation (14) and (15) all polarization components are obtained at all points on the object plane 221 . Furthermore, by using equations (22) and (23), the light intensity I i ⁇ i and the polarization angle ⁇ i corresponding to the linear polarization degree ⁇ i at all points can be solved. Images consisting of polarization components cannot be reconstructed.
  • Imaging processing by the imaging device 201 in FIG. 9 will be described with reference to the flowchart in FIG.
  • step S51 the horizontal polarization filter 211h, vertical polarization filter 211v, and 45-degree polarization filter 211s of the mask 211 modulate the horizontal polarization component, vertical polarization component, and 45-degree polarization component of the light from the object plane 221, respectively. to make it incident on the imaging device 212 . Since the non-polarized light component is not modulated by the mask 211 , it passes through the mask 211 as it is and enters the imaging element 212 .
  • step S52 the imaging element 212 captures the light from the object plane 221 and the light transmitted through the mask 211, and outputs the captured image to the reconstruction unit 213.
  • step S ⁇ b>53 the reconstruction unit 213 generates a predetermined distance according to the distance from the imaging position of the imaging device 201 to the object plane 221 based on the captured image output from the imaging element 212 and in which the light transmitted through the mask 211 is captured.
  • equations (14) to (23) which consist of the coefficient set of (Restored image) is output to the output unit 214 .
  • step S54 the output unit 214 synthesizes the final image (restored image) made up of the degree of linear polarization and the final image (restored image) made up of the polarization angles.
  • step S55 the output unit 214 outputs the final image (restored image) having the light intensity I i ⁇ i corresponding to the degree of linear polarization and the final image (restored image) having the polarization angle ⁇ i . Then, the signal is processed and output as an image signal.
  • a mask 211 consisting of a filter that transmits three or more specific light components is used to obtain a horizontal polarization component, a vertical polarization component, and a 45-degree polarization component. are modulated and reconstructed, and non-polarized components are not reconstructed by not being modulated.
  • the final image composed of the light intensity corresponding to the degree of linear polarization of the polarized component and the final image composed of the polarization angle are reconstructed, and the image composed of the non-polarized component is not reconstructed. It is possible to appropriately restrict privacy-related information such as a face image of a person composed of non-polarized components, which is included, and to capture only images composed of polarized components such as smartphones and displays.
  • the 45-degree polarizing filter 211s may be a polarizing filter with an angle other than 45 degrees.
  • a 60-degree polarizing filter or the like that transmits only the component may be used.
  • an ND (Neutral Density) filter may be used.
  • FIG. 13 shows a configuration example of a mask 251 in which an ND filter is provided instead of the 45-degree polarizing filter 211s in the mask 211 of FIG.
  • a vertical striped pattern is drawn in the region where the vertical polarizing filter 251v is arranged on the mask 251, and a horizontal striped pattern is drawn in the region where the horizontal polarizing filter 251h is arranged.
  • the area where the ND filter 251n is arranged is drawn in gray.
  • the vertical polarizing filter 251v, the horizontal polarizing filter 251h, and the ND filter 251n have the same transmittance.
  • a mask in which filters that transmit polarized light components corresponding to a plurality of polarization directions are randomly arranged is provided in front of the imaging device, and the incident light is modulated by the mask and captured, and the final image is reconstructed.
  • the incident light is modulated by the mask and captured, and the final image is reconstructed.
  • the filter formed on the mask may be configured to filter not only the component corresponding to the polarization direction, but also the component corresponding to other light characteristics.
  • filters that transmit specific color components out of RGB (red, green, and blue components) that make up the incident light may be arranged in a pseudorandom pattern on the mask.
  • the imaging device 301 in FIG. The mask 311, the imaging device 312, the reconstruction unit 313, and the output unit 314 have configurations corresponding to the mask 31, the imaging device 32, the reconstruction unit 33, and the output unit 34 in FIG. 1, respectively.
  • the mask 311 has a configuration corresponding to the mask 31 in FIG.
  • the mask 31 has a plate-like configuration made of a light-shielding material, and is configured to modulate incident light by forming the transmission region 41 and the light-shielding region 42 .
  • the mask 311 has a pseudo-random pattern of blue filters 311b and red filters 311b and 311r, respectively, which transmit the blue component and the red filter 311r, respectively. It is configured as
  • the area where the blue filter 311b on the mask 311 is arranged is drawn as a light gray area, and the area where the red filter 311r is arranged is drawn as a dark gray area.
  • the blue filter 311b and the red filter 311r have the same transmittance.
  • a smart phone 331 emitting light containing red and blue components, a display 333, and a document 332 in which a confidential document is written in black (or gray) ink on a white paper surface are present on an object plane 321.
  • a document 332 in which a confidential document is written in black (or gray) ink on a white paper surface are present on an object plane 321.
  • the document 332 for example, it is assumed that white light is projected substantially from the front, and the confidential document itself written on the paper is substantially colored with gray components.
  • the blue component of the light emitted by each of the smartphone 331, the document 332, and the display 333 is modulated by passing through the area of the blue filter 311b of the mask 311, which is indicated by the light gray area in the figure. incident on element 312 .
  • the red component of the light emitted by each of the smartphone 331, the document 332, and the display 333 is modulated by passing through the red filter 311r region of the mask 311, which is indicated by the dark gray region in the figure, and is modulated by the image sensor. 312.
  • an image 321r made up of red components, an image 321p made up of gray components, and an image 321b made up of blue components are transmitted through the mask 311 in a combined state.
  • the image 312i is an image composed of modulated light and unmodulated light in which the respective images of the smartphone 331, the document 332, and the display 333 in the object plane 321 are not formed. As shown in , the image is vague as a whole.
  • the reconstruction unit 313 reconstructs the images 321 b and 321 r based on the image 312 i supplied from the imaging device 312 and outputs them to the output unit 314 .
  • the mask 311 has a configuration in which blue filters 311b and red filters 311r are arranged in a pseudo-random pattern.
  • the blue filter 311b functions as the transmission region 41 of the mask 31 in FIG. 1
  • the red filter 311r functions as the light shielding region 42 in FIG. , the blue component is modulated.
  • the red filter 311r functions as the transmission region 41 of the mask 31 in FIG. 1
  • the blue filter 311b functions as the light shielding region 42 in FIG. Modulation is applied to the red component.
  • the blue and red components are obtained by evenly dividing the observation result of the light modulated by the blue and red filters 311b and 311r of the mask 311 and the blue and red components.
  • An image 312 i is captured as an image 312 i and output to the reconstruction unit 313 .
  • the reconstruction unit 313 applies the blue filter 311b and the red filter 311r of the mask 311 to the image 312i by using the coefficient sets of the respective coefficient sets.
  • An image 321r consisting of a red component is reconstructed.
  • the reconstructing unit 313 cannot reconstruct an unmodulated gray component that equally includes a blue component and a red component, and therefore cannot reconstruct an image corresponding to the image 321p.
  • the output unit 314 synthesizes the image 321b composed of the blue component and the image 321r composed of the red component supplied from the reconstruction unit 313 to generate the image 322 shown in the right part of FIG. Output as an image.
  • the image 321b made up of the blue component and the image 321r made up of the red component are synthesized, so that, for example, the smartphone 331 displaying the display image made up of the red component and the blue component and the display 333 display
  • An image 322 is output that is configured by synthesizing the surface portions and that does not include the document 332 made up of gray components.
  • Imaging processing by the imaging apparatus 101 in FIG. 14 will be described with reference to the flowchart in FIG. 17 .
  • step S ⁇ b>71 the blue filter 311 b and red filter 311 r of the mask 311 modulate the blue component and red component of the light from the object plane 321 , respectively, and make them enter the imaging element 312 .
  • a gray component including a blue component and a red component evenly is not modulated even if it passes through the mask 311 , it passes through the mask 311 as it is and enters the imaging device 312 .
  • step S72 the image sensor 312 detects the light from the object plane 321, which is modulated by passing through the mask 311, the blue component and the red component, and the unmodulated blue component and the red component.
  • An image composed of light including a gray component that equally includes the gray component is captured and output to the reconstruction unit 313 as a captured image.
  • step S73 the reconstruction unit 313 generates a final image (restored image) made up of blue components and a final image ( (Restored image) is reconstructed and output to the output unit 314 .
  • a non-modulated gray component image that equally includes blue and red components is not reconstructed.
  • step S74 the output unit 314 synthesizes the final image made up of the red component and the final image made up of the blue component.
  • the output unit 314 may output a composite result of a final image made up of red components and a final image made up of blue components.
  • step S75 the output unit 314 performs signal processing on the image obtained by synthesizing the reconstructed image composed of the red component and the reconstructed image composed of the blue component, and outputs the result as an image signal.
  • a mask 311 made of a filter that transmits at least two types of specific light components is used to form a transmission region 41 and a light blocking region 42 for each light component. to modulate the blue and red components.
  • the final image of the blue component and the red component may be reconstructed.
  • modulates the blue and green components reconstructs the modulated blue and green components, and includes both blue and green components equally.
  • the gray component may not be reconstructed.
  • constructing a mask 311 made up of filters that transmit the red component and the green component the red component and the green component are modulated, the modulated red component and the green component are reconstructed, and the red component and the green component are reconstructed.
  • the mask 311 composed of a filter that evenly transmits the blue component and the red component
  • other color components cannot be reconstructed as long as the color includes the blue component and the red component evenly.
  • the mask 311 by configuring the mask 311 with filters that transmit blue and green components, the blue and green components are modulated and the modulated blue and green components are reconstructed. In this way, other color components that equally contain both blue and green components may also be prevented from being reconstructed, for example, an intermediate color that equally contains both blue and green components. Certain cyan components may not be reconstructed.
  • a mask 311 composed of a filter that equally transmits the red component and the green component
  • the red component and the green component are modulated
  • the modulated red component and the green component are reconstructed
  • the red component is modulated.
  • Other color components that equally contain both red and green components may also be prevented from being reconstructed. good.
  • Reconstruction may be restricted so that images of wavelength components that equally include each of two specific types of components are not reconstructed.
  • each of the RGB components red, green, and blue components
  • gray components containing each of the RGB components are reconstructed. It may not be configured.
  • FIG. 18 shows an image including each of the RGB components evenly, for example, by filtering each of the RGB components (red component, green component, blue component) so as to reconstruct the final image for each of the RGB components. , gray components, etc., are not reconstructed.
  • the mask 351 is provided in front of the imaging device 312 instead of the mask 311 in the imaging device 301 of FIG.
  • a red filter 351r that transmits a red component, a green filter 351g that transmits a green component, and a blue filter 351b that transmits a blue component are arranged in a pseudorandom pattern.
  • the area where the blue filter 351b on the mask 351 is arranged is drawn as a dark gray area
  • the area where the green filter 351g is arranged is drawn as an intermediate color between dark gray and light gray. It is drawn as a dark gray area
  • the area where the red filter 351r is arranged is drawn as a light gray area.
  • the blue filter 351b, the green filter 351g, and the red filter 351r have the same transmittance.
  • a red filter 351r, a green filter 351g, and a blue filter 351b transmit the red component, the green component, and the blue component, respectively, so that they are modulated and made incident on the imaging element 312.
  • the reconstruction unit 313 reconstructs the final images of the modulated red, green, and blue components picked up by the imaging device 312 and outputs them to the output unit 314 .
  • the output unit 314 synthesizes and outputs the final images of the reconstructed red, green, and blue components.
  • a component in which red, green, and blue components are evenly synthesized is equally transmitted through each of the red filter 351r, the green filter 351g, and the blue filter 351b.
  • a component such as a gray component in which the red component, the green component, and the blue component are evenly synthesized is incident on the imaging element 312 in a state in which it is not modulated even if it passes through the mask 351. become.
  • the reconstruction unit 313 reconstructs a final image of a component, such as a gray component, in which the red component, the green component, and the blue component are evenly synthesized, based on the image captured by the image sensor 312. Can not do it.
  • a component such as a gray component, in which the red component, the green component, and the blue component are evenly synthesized, based on the image captured by the image sensor 312. Can not do it.
  • the mask 351 makes it possible to reconstruct the final image of each of the RGB components, and for a final image containing evenly each of the RGB components, e.g. Since it is not possible, it is possible to limit the reflection of an image composed of components including evenly distributed RGB components, such as gray components.
  • FIG. 19 shows a configuration example of a general-purpose computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001 .
  • An input/output interface 1005 is connected to the CPU 1001 via a bus 1004 .
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004 .
  • the input/output interface 1005 includes an input unit 1006 including input devices such as a keyboard and a mouse for the user to input operation commands, an output unit 1007 for outputting a processing operation screen and images of processing results to a display device, and programs and various data.
  • LAN Local Area Network
  • magnetic discs including flexible discs
  • optical discs including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical discs (including MD (Mini Disc)), or semiconductors
  • a drive 1010 that reads and writes data from a removable storage medium 1011 such as a memory is connected.
  • the CPU 1001 reads a program stored in the ROM 1002 or a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installs the program in the storage unit 1008, and loads the RAM 1003 from the storage unit 1008. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads, for example, a program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the above-described series of programs. is processed.
  • a program executed by the computer (CPU 1001) can be provided by being recorded on a removable storage medium 1011 such as a package medium, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage section 1008 via the input/output interface 1005 by loading the removable storage medium 1011 into the drive 1010 . Also, the program can be received by the communication unit 1009 and installed in the storage unit 1008 via a wired or wireless transmission medium. In addition, programs can be installed in the ROM 1002 and the storage unit 1008 in advance.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be executed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • the present disclosure can take the configuration of cloud computing in which a single function is shared by multiple devices via a network and processed jointly.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • ⁇ 1> a mask having a plurality of transmission regions formed in a predetermined pattern for transmitting each of a plurality of components of incident light, and transmitting the incident light by modulating each of the plurality of components; an imaging device that captures a transmission image made up of light that has passed through the mask; and a reconstruction unit that reconstructs an image corresponding to the incident light based on the transmission image.
  • ⁇ 2> The imaging device according to ⁇ 1>, wherein the plurality of transmissive regions are formed in a pseudo-random pattern.
  • ⁇ 3> The imaging device according to ⁇ 1> or ⁇ 2>, wherein the plurality of transmissive regions are formed to have the same transmittance.
  • ⁇ 4> The imaging device according to any one of ⁇ 1> to ⁇ 3>, wherein the plurality of transmission regions are formed of a linear polarization filter that transmits polarized components in a plurality of directions.
  • ⁇ 5> The imaging device according to ⁇ 4>, wherein the plurality of transmission regions are formed of a linear polarization filter that transmits polarized components in two directions.
  • ⁇ 6> The imaging device according to ⁇ 5>, wherein the plurality of transmission regions are formed of a linear polarization filter that transmits a vertical polarization component and a horizontal polarization filter that transmits a horizontal polarization component.
  • ⁇ 7> The imaging device according to ⁇ 6>, wherein the reconstruction unit reconstructs a vertical polarization component image made up of the vertical polarization component and a horizontal polarization component image made up of the horizontal polarization component.
  • the vertical polarization component image and the horizontal polarization component image are synthesized and output.
  • the plurality of transmission areas are formed of a linear polarization filter that transmits polarized components in three directions.
  • the plurality of transmission regions are formed of a linear polarization filter that transmits a vertical polarization component, a horizontal polarization filter that transmits a horizontal polarization component, and a 45-degree polarization filter that transmits a 45-degree polarization component.
  • ⁇ 11> The imaging device according to ⁇ 10>, wherein the reconstructing unit reconstructs an image obtained by synthesizing the light intensity and the degree of linear polarization and an image composed of polarization angles.
  • ⁇ 12> The imaging device according to ⁇ 11>, wherein the reconstructed image obtained by combining the light intensity and the degree of linear polarization and the image formed by the polarization angle are combined and output.
  • ⁇ 13> The imaging device according to any one of ⁇ 1> to ⁇ 3>, wherein the plurality of transmission areas are formed of a linear polarization filter that transmits polarized components in a plurality of directions and an ND (Neutral Density) filter.
  • ⁇ 14> The imaging device according to ⁇ 13>, wherein the plurality of transmission regions are formed of a linear polarization filter that transmits polarized components in two directions and the ND filter.
  • ⁇ 15> The imaging device according to any one of ⁇ 1> to ⁇ 3>, wherein the plurality of transmission regions are formed from a wavelength filter that transmits a plurality of wavelength components.
  • the imaging device according to ⁇ 15>, wherein the plurality of transmission regions are formed from the wavelength filter that transmits two or three wavelength components.
  • the plurality of transmission regions include the two or three types of a blue filter that transmits a blue wavelength component, a red filter that transmits a red wavelength component, and a green filter that transmits a green wavelength component.
  • the imaging device which is formed from the wavelength filter that transmits wavelength components.
  • the reconstruction unit reconstructs images of the two or three wavelength components that form the plurality of transmission regions.
  • the imaging device according to ⁇ 18>, wherein the reconstructed images of the two or three wavelength components are combined and output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、画像を撮像する際に含まれてしまう情報を適切に制限できるようにする撮像装置、および撮像装置の作動方法に関する。 入射光を複数の成分毎に透過させる複数の透過領域が所定のパターンで形成されたマスクを撮像素子の前段に形成し、入射光に変調を掛けて変調光として透過させ、撮像素子が、変調光からなる画像を撮像し、再構成部が、変調光からなる画像に基づいて、画像を再構成する。本開示は、撮像装置に適用することができる。

Description

撮像装置、および撮像装置の作動方法
　本開示は、撮像装置、および撮像装置の作動方法に関し、特に、画像を撮像する際に含まれてしまう情報を適切に制限できるようにした撮像装置、および撮像装置の作動方法に関する。
　イメージセンサなどの撮像面の前段に、カバーやフィルターを配し、シーンの一部領域の撮影ができないようにする事で、画像として撮像される情報を制限する技術が提案されている（特許文献１参照）。また、偏光フィルタを配する事で、同様に撮像される情報を制限する技術が開示されている（特許文献２参照）。
米国特許出願公開２０１３／００５０５４９号明細書 米国特許出願公開２０１８／０３４８５３６号明細書
　ところで、特許文献１のようなフィルタを用いて実現されるアプリケーションの第１の例としては、例えば、シーン全体、または、シーンの一部の光を物理的に遮光することで、特定の情報を除去して、例えば、プライバシ保護を実現するものが挙げられる。
　ところが、このアプリケーションにおいては、動きのあるシーンに対しては、適切に機能しないことがある。
　すなわち、動きのあるシーンにおいて、このアプリケーションを機能させるには、内部において入射光を遮光する、シーン全体、または、シーンの一部の領域を変化させる処理を組み込む必要がある。
　しかしながら、この場合、プライバシを保護すべき領域を同定するためには、一度、シーン全体を撮像し、撮像したシーン全体からプライバシを保護する領域を同定する必要があり、厳密なプライバシ保護を保証することができない。
　また、第２の例としては、偏光成分を発するディスプレイからの情報をブロックする偏光フィルタを使用して、シーン全体、または、シーンの一部の光を物理的に遮光することで、特定の情報を除去して、プライバシ保護を実現するものが挙げられる。
　しかしながら、この第２の例においては、非偏光成分をブロックし、偏光成分を透過させるようなフィルタであるため、第１の例におけるフィルタとは反対のフィルタになってしまう。
　また、先行文献２においては、非偏光成分が全ての偏光成分を持つため、偏光フィルタが、非偏光成分の一部に対してフィルタとして機能しない。
　本開示は、このような状況に鑑みてなされたものであり、特に、イメージセンサなどを用いた撮像において、撮像結果となる画像に含まれてしまう情報を適切に制限できるようにした撮像装置を実現する。
　本開示の一側面の撮像装置は、入射光を複数の成分毎に透過させる複数の透過領域が所定のパターンで形成され、前記入射光に前記複数の成分のそれぞれに変調を掛けて透過させるマスクと、前記マスクを透過した光からなる透過画像を撮像する撮像素子と、前記透過画像に基づいて、前記入射光に対応する画像を再構成する再構成部とを備える撮像装置である。
　本開示の一側面の撮像装置の作動方法は、入射光を成分毎に透過させる複数の透過領域が所定のパターンで形成されたマスクと、撮像素子と、再構成部とを備えた撮像装置の作動方法において、前記マスクが、前記入射光の成分のそれぞれに変調を掛けて変調光として透過させ、前記撮像素子が、前記マスクを透過した光からなる透過画像を撮像し、前記再構成部が、前記透過画像に基づいて、前記入射光に対応する画像を再構成するステップを含む撮像装置の作動方法である。
　本開示の一側面においては、入射光を複数の成分毎に透過させる複数の透過領域が所定のパターンで形成されたマスクにより、前記入射光に前記複数の成分のそれぞれに変調が掛けられて透過され、撮像素子により、前記マスクを透過した光からなる透過画像が撮像され、前記透過画像に基づいて、前記入射光に対応する画像が再構成される。
レンズレスカメラの概要を説明する図である。 レンズレスカメラの撮像原理を説明する図である。 レンズレスカメラの撮像処理を説明するフローチャートである。 本開示の撮像装置の第１の実施の形態の構成例を説明する図である。 図４のマスクの構成を説明する図である。 図４の撮像装置の撮像原理を説明する図である。 図４の撮像装置により生成される最終画像を説明する図である。 図４の撮像装置の撮像処理を説明するフローチャートである。 本開示の撮像装置の第２の実施の形態の構成例を説明する図である。 図９の撮像装置の撮像原理を説明する図である。 図９の撮像装置により生成される最終画像を説明する図である。 図９の撮像装置の撮像処理を説明するフローチャートである。 本開示の撮像装置の第２の実施の形態の応用例となるマスクの構成を説明する図である。 本開示の撮像装置の第３の実施の形態の構成例を説明する図である。 図１４の撮像装置の撮像原理を説明する図である。 図１４の撮像装置により生成される最終画像を説明する図である。 図１４の撮像装置の撮像処理を説明するフローチャートである。 本開示の撮像装置の第３の実施の形態の応用例となるマスクの構成を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．レンズレス撮像装置の概要
　２．第１の実施の形態
　３．第２の実施の形態
　４．第２の実施の形態の応用例
　５．第３の実施の形態
　６．第３の実施の形態の応用例
　７．ソフトウエアにより実行させる例
　＜＜１．レンズレス撮像装置の概要＞＞
　図１を参照して、レンズレス撮像装置の概要について説明する。尚、図１は、レンズレス撮像装置１１の側面断面図である。
　図１の撮像装置１１は、いわゆるレンズレスカメラであり、マスク３１、撮像素子３２、再構成部３３、および出力部３４を備えている。
　マスク３１は、撮像素子３２の前段に設けられる遮光素材からなる板状の構成であり、例えば、図２の左部で示されるように、入射光を透過させる穴状の開口部からなる透過領域４１と、それ以外の遮光された遮光領域４２とから構成されている。
　マスク３１は、光軸ＡＸで示される被写体面（現実には３次元の被写体からの放射光が発せられる面）Ｇ１からの光を入射光として受光すると、透過領域４１を介して、入射光を透過させることで、被写体面Ｇ１からの入射光に対して全体として変調を掛けて、変調光に変換し、変換した変調光を撮像素子３２により受光させて撮像させる。
　撮像素子３２は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサからなり、被写体面Ｇ１からの入射光に、マスク３１により変調が掛けられた変調光を撮像し、画素単位の信号からなる画像Ｇ２として再構成部３３に出力する。
　尚、マスク３１は、少なくとも撮像素子３２の全面を内包する大きさであり、基本的に撮像素子３２において、マスク３１を透過することで変調が掛けられた変調光のみが受光される構成とされている。
　また、マスク３１に構成される透過領域４１は、少なくとも撮像素子３２の画素サイズよりも大きいサイズである。また、撮像素子３２とマスク３１との間には、微小な距離ｄの隙間が設けられている。
　例えば、図２の左上部で示されるように、被写体面Ｇ１上の点光源ＰＡ，ＰＢ，ＰＣからの入射光が、マスク３１の透過領域４１を透過して撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおいて、それぞれ光強度ａ，ｂ，ｃの光線として受光されるものとする。
　図２の左上部で示されるように、各画素の検出感度は、マスク３１に設定される透過領域４１により入射光が変調されることにより、入射角に応じた指向性を持つことになる。ここでいう各画素の検出感度に入射角指向性を持たせるとは、撮像素子３２上の領域に応じて入射光の入射角度に応じた受光感度特性を異なるものとなるように持たせることである。
　すなわち、被写体面Ｇ１を構成する光源が点光源であることを前提とした場合、撮像素子３２においては、同一の点光源より発せられた同一の光強度の光線が、入射されることになるが、マスク３１により変調されることにより、撮像素子３２の撮像面上の領域毎に入射角度が変化する。そして、マスク３１により撮像素子３２上の領域に応じて入射光の入射角度が変化することにより受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、撮像素子３２の撮像面の前段に設けられたマスク３１により撮像素子３２上の領域毎に異なる感度で検出されることになり、領域毎に異なる検出信号レベルの検出信号が検出される。
　より具体的には、図２の右上部で示されるように、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。尚、図２における式（１）乃至式（３）は、図２における撮像素子３２上における位置Ｐａ，Ｐｂ，Ｐｃと上下関係が反転している。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、α１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数である。
　また、β１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。
　さらに、γ１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。
　従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐａにおける点光源ＰＡからの光線による検出信号レベルを示したものである。
　また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐａにおける点光源ＰＢからの光線による検出信号レベルを示したものである。
　さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐａにおける点光源ＰＣからの光線による検出信号レベルを示したものである。
　従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの係数α１，β１，γ１を掛けたものの合成値として表現される。以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。
　同様に、点光源Ｐｂにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。また、点光源Ｐｃにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ点光源Ｐａにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。
　ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。尚、この位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルＤＡ，ＤＢ，ＤＣからなる画像が、図１の画像Ｇ２に対応する。
　すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、光強度ａ，ｂ，ｃを解くことで、図２の右下部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像（最終画像）が再構成されて復元される。尚、この再構成される画像が、図１の画像Ｇ３に対応する。
　また、図２の左上部で示される撮像素子３２と被写体面Ｇ１との距離が変化する場合、係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３は、それぞれ変化することになるが、この係数セットを変化させることで、様々な距離の被写体面の復元画像（最終画像）を再構成させることができる。
　このため、１回の撮像により、係数セットを様々な距離に対応するものに変化させることで、撮像位置から様々な距離の被写体面の画像を再構成することができる。
　結果として、図１の撮像装置１１を用いた撮像においては、レンズを用いた撮像装置での撮像において合焦点がずれた状態で撮像される、いわゆる、ピンぼけといった現象を意識する必要がなく、視野内に撮像したい被写体が含まれるように撮像されていれば、距離に応じた係数セットを変化させることで様々な距離の被写体面の画像を、撮像後に再構成することができる。
　尚、図３の右上部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではなく、単なる観測値となり、観測値からなる画像が画像Ｇ２に相当する。また、図３の右下部で示される検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値、すなわち、画像Ｇ２に基づいて復元された、復元画像（最終画像）の各画素の値なので、画素値となる。すなわち、この被写体面Ｇ１の復元画像（最終画像）が、画像Ｇ３に対応する。
　このような構成により、撮像装置１１は、いわゆるレンズレスカメラとして機能させることが可能となる。結果として、撮像レンズが必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。また、係数セットを様々に変化させることにより、様々な距離の被写体面における最終画像（復元画像）を再構成して復元することが可能となる。
　尚、以降においては、撮像素子３２により撮像された、再構成される前の画像Ｇ２に相当する画像を単に撮像画像と称し、撮像画像が信号処理されることにより再構成されて復元される画像Ｇ３に相当する画像を最終画像（復元画像）と称する。従って、１枚の撮像画像からは、上述した係数セットを様々に変化させることにより、様々な距離の被写体面Ｇ１上の画像を最終画像として再構成させることができる。
　再構成部３３は、上述した係数セットを備えており、撮像装置１１の撮像位置から被写体面Ｇ１までの距離に応じた係数セットを用いて、撮像素子３２により撮像された撮像画像（図１の画像Ｇ２）に基づいて、最終画像（復元画像）（図１の画像Ｇ３）を再構成して出力部３４に出力する。
　出力部３４は、再構成部３３より供給されてきた最終画像に信号処理を加えて画像信号として出力する。
　＜図１の撮像装置による撮像処理＞
　次に、図３のフローチャートを参照して、図１の撮像装置１１による撮像処理について説明する。
　ステップＳ１１において、マスク３１は、被写体面Ｇ１からの光に変調を掛けて、撮像素子３２に入射させる。
　ステップＳ１２において、撮像素子３２は、被写体面Ｇ１からの光であって、マスク３１により変調が掛けられた光からなる像を撮像して、撮像画像（画像Ｇ２に相当）として再構成部３３に出力する。
　ステップＳ１３において、再構成部３３は、撮像素子３２より出力される変調された光からなる像が撮像された撮像画像（画像Ｇ２に相当）に基づいて、撮像装置１１の撮像位置から被写体面Ｇ１までの距離に応じた所定の係数セットを用いて、画像を再構成して最終画像（復元画像）（画像Ｇ３に相当）として出力部３４に出力する。すなわち、撮像画像に対して、上述した式（１）乃至式（３）を参照して説明した係数セットを用いた連立方程式を構成して解くことにより、最終画像（復元画像）が求められることになる。
　ステップＳ１４において、出力部３４は、信号処理を施して、画像信号として出力する。
　すなわち、以上の一連の処理により、レンズを用いることなく、マスクを用いて変調を掛けた後、係数セットを用いて最終画像（復元画像）を再構成するようにしたので、低背化を実現すると共に、１回の撮像で様々な距離の画像を再構成することが可能となる。
　本開示の撮像装置は、上述したレンズレス撮像装置の原理を応用して、少なくとも２種類以上の特定の光の成分を透過させるフィルタを、それぞれの光の成分に対する透過領域４１と遮光領域４２として機能させることにより、特定の光の成分に対して変調を掛けて再構成させる。
　これにより、特定の光の成分からなる最終画像を再構成させることで、画像を撮像する際に含まれてしまう情報を適切に制限できるようにした撮像装置を実現する。
　＜＜２．第１の実施の形態＞＞
　＜本開示の撮像装置の構成例＞
　次に、図４を参照して、本開示の撮像装置の第１の実施の形態の構成例について説明する。
　図４の撮像装置１０１は、偏光成分からなる画像のみを再構成させ、非偏光成分からなる画像を再構成させないようにして、最終画像を偏光成分のみで構成される画像とすることで、非偏光成分により構成される画像に含まれる情報を制限する。
　より詳細には、撮像装置１０１は、マスク１１１、撮像素子１１２、再構成部１１３、および出力部１１４より構成される。尚、マスク１１１、撮像素子１１２、再構成部１１３、および出力部１１４は、それぞれ図１のマスク３１、撮像素子３２、再構成部３３、および出力部３４に対応する構成である。
　マスク１１１は、図１のマスク３１に対応する構成であり、入射光に対して所定の変調を掛けて、撮像素子１１２に入射させる。
　上述したように、マスク３１は、遮光素材からなる板状の構成において、透過領域４１と遮光領域４２とが形成されることにより、入射光に対して変調を掛ける構成とされている。
　これに対して、マスク１１１は、図中左側の被写体面１２１より入射される光のうち、垂直方向の偏光成分を透過させる垂直偏光フィルタ１１１ｖと、水平方向の偏光成分を透過させる水平偏光フィルタ１１１ｈとが、疑似ランダムパターンで配置された構成とされている。
　垂直偏光フィルタ１１１ｖと、水平偏光フィルタ１１１ｈとの配置パターンは、疑似ランダムパターン以外のパターンでもよく、例えば、ランダムパターン、URA（Uniformly Redundant Arrays）パターン、およびMURA（Modified Uniformly Redundant Arrays）パターンでもよい。垂直偏光フィルタ１１１ｖ、および水平偏光フィルタ１１１ｈのそれぞれの光の透過率は等しい。
　尚、図４においては、マスク１１１上の垂直偏光フィルタ１１１ｖが配置された領域については、縦縞状の模様が描かれており、水平偏光フィルタ１１１ｈが配置された領域については、横縞状の模様が描かれている。
　ここで、被写体面１２１上には、垂直方向の光の偏光成分からなる垂直偏光成分Ｌｖを発するスマートフォン１３１、非偏光の光からなる非偏光成分Ｌｕを発する人物１３２、および、水平方向の光の偏光成分からなる水平偏光成分Ｌｈを発するディスプレイ１３３が存在する場合の例について考える。
　この場合、スマートフォン１３１が発する垂直偏光成分Ｌｖは、例えば、図５の中央部における白色領域で示されるマスク１１１の垂直偏光フィルタ１１１ｖの領域を透過することにより変調されて撮像素子１１２に入射する。撮像素子１１２は、変調された垂直偏光成分Ｌｖよりなる画像を撮像する。再構成部１１３は、変調された垂直偏光成分Ｌｖよりなる画像に基づいて、垂直偏光成分Ｌｖよりなるスマートフォン１３１の画像を再構成する。
　また、人物１３２が発する非偏光成分Ｌｕは、図５の左部で示されるように、水平偏光フィルタ１１１ｈも、垂直偏光フィルタ１１１ｖも透過する。そのため、撮像素子１１２にはマスク１１１の全面から透過した光が入射する事となり、上述した画像の再構成処理によって人物１３２の画像を再構成する事ができない。すなわち、非偏光成分Ｌｕは、水平偏光フィルタ１１１ｈも、垂直偏光フィルタ１１１ｖも透過することにより、あたかもマスク１１１が存在しない透明な空間を透過するような状態となり、変調されない状態で撮像素子１１２に入射して、撮像される。換言すれば、非偏光成分Ｌｕが、マスク１１１を透過する際には、マスク１１１上に透過領域４１に相当する領域しかなく、遮光領域４２に相当する領域が存在しない状態となるため、非偏光成分Ｌｕはマスク１１１により変調されることがない状態で撮像素子１１２に入射して、撮像される。このため、再構成部１１３は、変調されていない入射光である、非偏光成分Ｌｕよりなる画像を再構成することができないので、人物１３２については再構成することができない。
　さらに、ディスプレイ１３３が発する水平偏光成分Ｌｈは、図５の右部における白色領域で示されるマスク１１１の水平偏光フィルタ１１１ｈの領域を透過することにより変調されて撮像素子１１２に入射する。撮像素子１１２は、変調された水平偏光成分Ｌｈよりなる画像を撮像する。再構成部１１３は、変調された水平偏光成分Ｌｈよりなる画像に基づいて、水平偏光成分Ｌｈよりなるディスプレイ１３３の画像を再構成する。
　なお、図５の中央部と右部における白色部分と黒色部分とは、相互に対応しており、マスク１１１の各領域は、水平偏光フィルタ１１１ｈ、および、垂直偏光フィルタ１１１ｖの少なくともいずれかの領域であることが示されている。
　すなわち、図６で示されるように、スマートフォン１３１、人物１３２、およびディスプレイ１３３の像を含む被写体面１２１からは、非偏光成分Ｌｕよりなる画像１２１ｕ、垂直偏光成分Ｌｖよりなる画像１２１ｖ、および水平偏光成分Ｌｈよりなる画像１２１ｈが組み合わされた状態でマスク１１１を透過する。
　ここで、図６の垂直偏光成分Ｌｖのみからなる画像１２１ｖは、垂直偏光成分Ｌｖを発するスマートフォン１３１内の表示である気球のみとされ、それ以外は黒色の画像として観測される。
　また、図６の水平偏光成分Ｌｈのみからなる画像１２１ｈは、水平偏光成分Ｌｈを発するディスプレイ１３３内の表示である自動車のみとされ、それ以外は黒色の画像として観測される。
　さらに、図６の非偏光成分Ｌｕのみからなる画像１２１ｕは、被写体面１２１より直視するとき認識される、画像１２１ｖにおけるスマートフォン１３１内の表示画像と、画像１２１ｈにおけるディスプレイ１３３内の表示画像とが黒色とされた画像として観測される。
　これにより、被写体面１２１からの入射光については、人間が直視するときには、図６の被写体面１２１そのものが画像１２１ｕのように視聴されることになるが、マスク１１１においては、垂直偏光成分Ｌｖと水平偏光成分Ｌｈとが変調された状態で、非偏光成分Ｌｕが変調されない状態で、それぞれ撮像素子１１２に入射する。これにより、垂直偏光成分Ｌｖよりなる画像１２１ｖと、水平偏光成分Ｌｈよりなる画像１２１ｈとは、撮像素子１１２により撮像された画像に基づいて再構成部１１３により再構成される。これに対して、変調されていない非偏光成分Ｌｕよりなる画像１２１ｕは、再構成部１１３において再構成されない。
　これらをまとめると以下のようになる。すなわち、図６で示されるように、被写体面１２１からの光がマスク１１１を透過して、変調が掛けられることにより、撮像素子１１２においては、例えば、画像１１２ｉのような画像が撮像される。
　画像１１２ｉは、変調された垂直偏光成分Ｌｖからなる被写体面１２１内のスマートフォン１３１、変調されていない非偏光成分Ｌｕからなる人物１３２、および変調された水平偏光成分Ｌｈからなるディスプレイ１３３のそれぞれの像が結像されていない状態の画像となるため、図６で示されるように、全体としてぼんやりとした画像となる。
　再構成部１１３は、撮像素子１１２より供給される画像１１２ｉに基づいて、変調された垂直偏光成分Ｌｖからなる画像１２１ｖおよび変調された水平偏光成分Ｌｈからなる１２１ｈに対応する画像１２１ｖ’，１２１ｈ’を再構成して、出力部１１４に出力する。このとき、再構成部１１３は、変調されていない非偏光成分Ｌｕについては、再構成できないので、変調されていない非偏光成分Ｌｕからなる画像１２１ｕに対応する画像は再構成できない。
　ここで、図５を参照して説明したように、マスク１１１は、水平偏光フィルタ１１１ｈと垂直偏光フィルタ１１１ｖとがそれぞれ疑似ランダムパターンで配置された構成とされている。
　このため、水平偏光成分Ｌｈが、マスク１１１を透過する際には、水平偏光フィルタ１１１ｈが、図１のマスク３１の透過領域４１として機能し、垂直偏光フィルタ１１１ｖが、図１の遮光領域４２として機能することにより、水平偏光成分Ｌｈに変調が掛けられる。
　一方、垂直偏光成分Ｌｖが、マスク１１１を透過する際には、垂直偏光フィルタ１１１ｖが、図１のマスク３１の透過領域４１として機能し、水平偏光フィルタ１１１ｈが、図１の遮光領域４２として機能することにより、垂直偏光成分Ｌｖに変調が掛けられる。
　すなわち、撮像素子１１２においては、水平偏光成分Ｌｈと垂直偏光成分Ｌｖとは、マスク１１１の垂直偏光フィルタ１１１ｖと水平偏光フィルタ１１１ｈとのそれぞれの変調が掛けられた状態の光と、変調が掛けられていない非偏光成分の光との観測結果を画像１１２ｉとして撮像し、再構成部１１３に出力する。
　再構成部１１３は、図７で示されるように、画像１１２ｉに対して、マスク１１１の垂直偏光フィルタ１１１ｖと水平偏光フィルタ１１１ｈとに対応した係数セットを用いて、垂直偏光成分Ｌｖからなる画像１２１ｖに対応する画像１２１ｖ’と水平偏光成分Ｌｈからなる画像１２１ｈに対応する画像１２１ｈ’とをそれぞれ再構成する。尚、このとき、再構成部１１３は、非偏光成分Ｌｕよりなる画像１２１ｕについては、変調が掛けられていない状態で撮像された画像に基づいた処理となるため、再構成することができない。
　出力部１１４は、再構成部１１３より供給される垂直偏光成分Ｌｖからなる画像１２１ｖ’と水平偏光成分Ｌｈからなる画像１２１ｈ’とを合成して、図４の右部で示されるような画像１２２を生成して、最終画像として出力する。
　これにより、スマートフォン１３１により表示される垂直偏光成分Ｌｖよりなる画像１２１ｖ’と、ディスプレイ１３３により表示される水平偏光成分Ｌｈよりなる画像１２１ｈ’とからなる画像１２２が出力されることになるので、人間の顔などの非偏光成分のみからなる像が含まれないことになる。
　結果として、人物１３２の、特に顔などのプライバシに係る情報が撮像されないように制限した上で、スマートフォン１３１やディスプレイ１３３で表示される画像のみの撮像を実現することが可能となる。
　例えば、スマートフォン１３１やディスプレイ１３３上に表示されているQRコード（登録商標）などを撮像（再撮）したい場合、スマートフォン１３１やディスプレイ１３３を所持した人物の顔などが撮像視野内に存在しているようなときには、これまでの撮像技術では、QRコードと共に、スマートフォン１３１やディスプレイ１３３を所持した人物の顔が映り込んでしまい、プライバシの配慮が難しくなることがあった。
　このような場合でも、本開示の撮像装置１０１を用いて撮像することで、QRコードが表示された、スマートフォン１３１やディスプレイ１３３を所持した人物の顔が撮像視野内に存在しても、非偏光成分からなる人物の顔については、撮像されないことになるので、QRコードのみが撮像されるようになり、プライバシに配慮した適切な撮像の制限を実現することが可能となる。
　＜再構成部による再構成について＞
　次に、再構成部１１３による具体的な再構成に係る演算について説明する。
　基本的な再構成に係る演算については、図１を参照したレンズレスカメラにおける係数セットを用いた演算と同様である。
　ここで、被写体面１２１が、M画素×N画素の矩形状の画像であるものとし、各画素を光源とする光が、垂直偏光成分、水平偏光成分、および非偏光成分から構成される場合の例について考える。
　また、撮像素子１１２が、P画素×Q画素から構成されるものとし、マスク１１１においては、擬似ランダムパターンで垂直偏光フィルタ１１１ｖおよび水平偏光フィルタ１１１ｈが、（M+P-1）×（N+Q-1）のグリッド状に分布するように形成され、撮像素子１１２の画素の形状およびサイズとほぼ同一であるものとする。被写体面１２１からの光は、マスク１１１に形成された垂直偏光フィルタ１１１ｖおよび水平偏光フィルタ１１１ｈの何れかを透過して、変調が掛けられて撮像素子１１２に入射する。
　このような関係に基づいて、上述した係数セットを用いることにより、例えば、以下の式（４）で示されるような連立方程式を構成することができる。尚、式（４）は、連立方程式を行列式で表現したものである。
Figure JPOXMLDOC01-appb-M000001
　ここで、piは、撮像素子１１２の画素値であり、aijは、マスク１１１の設計に応じて設定される係数であり、ここでは、0が水平偏光フィルタ１１１ｈを表し、1が垂直偏光フィルタ１１１ｖを表している。si ∥は、垂直偏光フィルタ１１１ｖが設けられた位置の入射光の光強度であり、si ⊥は、水平偏光フィルタ１１１ｈが設けられた位置の入射光の光強度を表している。
　この式（４）で表される連立方程式を解くことで、画像が再構成されることになるが、式（４）の連立方程式を解くため、以下の式（５）のように変形する。
Figure JPOXMLDOC01-appb-M000002
　ここで、Aは、以下の式（６）で表される行列である。
Figure JPOXMLDOC01-appb-M000003
　さらに、siは、以下の式（７）で表される。
Figure JPOXMLDOC01-appb-M000004
　また、siは、上記の式（５）を解くことにより推定される。式（５）の解法は、様々な手法が存在するが、例えば、正規化による擬似逆行列を使用して解くようにしてもよい。
　特に、行列AのランクがMN+1の場合、式（５）は、以下の式（８）で示されるような厳密解として表すことができる。
Figure JPOXMLDOC01-appb-M000005
　しかしながら、現実には、撮像素子１１２により撮像される画素値には観測エラーが含まれることになるために、以下の式（９）で示されるような正則化解の方が適切な解であるものとみなすこともできる。
Figure JPOXMLDOC01-appb-M000006
　ここで、λ2BTBは、正規化パラメータである。
　式（８）または式（９）で表されるsiは、垂直偏光フィルタ１１１ｖが設けられた位置の入射光の光強度si ∥と、水平偏光フィルタ１１１ｈが設けられた位置の入射光の光強度si ⊥との差（si ∥－si ⊥）に凡その値を与えることで求めることができる。
　すなわち、被写体面１２１を構成する各画素の光が、垂直偏光成分であるか、水平偏光成分であるか、または非偏光成分であるのかの仮定に基づいて、以下の式（１０）を用いることにより、結果siを垂直偏光成分、水平偏光成分、および非偏光成分のいずれかに分けることができる。
Figure JPOXMLDOC01-appb-M000007
　ここでδは、再構成される画像に生じるアーティファクトを軽減するために設定される閾値パラメータであり、例えば、ノイズの発生がない理想的な場合、δ=0となる。
　尚、マスク１１１の垂直偏光フィルタ１１１ｖ、および水平偏光フィルタ１１１ｈは、非偏光成分（透過率50%の成分）に対して同じように作用するため、非偏光成分の画像の情報は、全非偏光成分の強度を推定するためのオフセットとして撮像素子１１２で記録されることになる。
　このため、非偏光成分からなる画像の情報については、再構成することはできない。また、非偏光成分からなる位置の画素は再構成できないだけでなく、直線偏光度（DoLP：Degree of Linear Polarization）が、１よりも小さい（DoLP<1）、垂直偏光成分、および水平偏光成分の位置における、非偏光成分も再構成できない。
　また、上述した解である式（８），式（９）は、被写体面１２１を構成する各画素位置の垂直偏光成分と水平偏光成分の差を表す。画素位置siにおいて垂直偏光方向の強度がIiであり、垂直偏光方向に対しての偏光角度がφiであり、線形偏光度(DoLP)がρi（0≦ρi≦1）である場合、マリュス則に基づいて、以下の式（１１）が成立する。
Figure JPOXMLDOC01-appb-M000008
　したがって、図４の撮像装置１０１は、被写体面１２１における偏光成分を備えた任意の位置の画素を再構成するために使用することができ、（その偏光角度がφi=π/4、またはφi=3π/4でない限り、）どの位置の画素が偏光されていて、偏光方向が垂直方向に近いか、または、水平に近いかを決定することができる。
　さらに、式（１１）においては、垂直偏光方向の強度Iiと線形偏光度（DoLP）ρiとを乗じた値が既知でない限り、偏光角度φiを決定することはできない。しかしながら、偏光角度φiが、例えば、cos2φacos2φb<0であるような、２つの角度φa，φb（φi∈{φa，φb}）に制限される場合、被写体面１２１の画素位置siにおける偏光角度と光強度との厳密解は、式（７）で求められるsiの符号と値に基づいて求めることができる。
　＜図４の撮像装置による撮像処理＞
　次に、図８のフローチャートを参照して、図４の撮像装置１０１による撮像処理について説明する。
　ステップＳ３１において、マスク１１１の水平偏光フィルタ１１１ｈおよび垂直偏光フィルタ１１１ｖは、それぞれ被写体面１２１からの光の水平偏光成分と垂直偏光成分とに変調を掛けて、撮像素子１１２に入射させる。尚、非偏光成分は、マスク１１１により変調されないので、そのままマスク１１１を透過して撮像素子１１２に入射する。
　ステップＳ３２において、撮像素子１１２は、被写体面１２１からの光であって、マスク１１１を透過した光を撮像して、撮像画像として再構成部１１３に出力する。
　ステップＳ３３において、再構成部１１３は、撮像素子１１２より出力されるマスク１１１を透過した光が撮像された撮像画像に基づいて、撮像装置１０１の撮像位置から被写体面１２１までの距離に応じた所定の係数セットからなる上述した式（４）を用いて、水平偏光成分からなる最終画像（復元画像）と、垂直偏光成分からなる最終画像（復元画像）とを再構成し、出力部３４に出力する。
　ステップＳ３４において、出力部１１４は、再構成された、水平偏光成分からなる最終画像と、垂直偏光成分からなる最終画像とを合成する。
　ステップＳ３５において、出力部１１４は、水平偏光成分からなる再構成画像と、垂直偏光成分からなる再構成画像とが合成された画像に対して信号処理を施して、画像信号として出力する。
　以上の一連の処理により、レンズを用いることなく、マスクを用いて変調を掛けた後、係数セットを用いて最終画像（復元画像）を再構成するようにしたので、低背化を実現すると共に、１回の撮像で様々な距離の画像を再構成することが可能となる。
　また、本開示の撮像装置１０１は、上述したレンズレス撮像装置の原理を応用して、少なくとも２種類以上の特定の光の成分を透過させるフィルタからなるマスク１１１により、水平偏光成分と垂直偏光成分に対して変調を掛けて再構成させる。このとき、非偏光成分については、変調されないので、再構成されない。
　これにより、水平偏光成分と垂直偏光成分とからなる最終画像を再構成させることで、非偏光成分からなる画像が再構成されないようにすることができる。
　結果として、偏光成分からなる画像のみを撮像しつつ、非偏光成分からなる画像の撮像を制限することが可能となる。例えば、非偏光成分の情報からなる人物の顔画像などのプライバシに係る情報の撮像を適切に制限し、スマートフォンやディスプレイなどの偏光成分の光のみから構成される画像のみを撮像することが可能となる。
　＜＜３．第２の実施の形態＞＞
　以上においては、水平偏光フィルタ１１１ｈと垂直偏光フィルタ１１１ｖとの２種類の偏光フィルタからなるマスク１１１を用いて入射光に変調を掛けて撮像し、偏光成分からなる画像を再構成するようにした。
　これにより、非偏光成分からなる画像が再構成されない状態になるので、撮像される画像内の情報として制限したいものについては、非偏光成分の情報にすることで、撮像される画像内の情報を制限することが可能となる例について説明してきた。
　しかしながら、マスク１１１に使用される偏光フィルタの種類は、２種類に限らず、それ以上の種別の偏光フィルタが含まれていてもよい。
　例えば、水平偏光フィルタ、および垂直偏光フィルタに加えて、対角方向（45度方向）の偏光成分を透過させる偏光フィルタを含む３種類の偏光フィルタからマスクが形成されるようにしてもよい。
　図９は、水平偏光フィルタ、および垂直偏光フィルタに加えて、対角方向（45度方向）の偏光成分を透過させる偏光フィルタを含む３種類の偏光フィルタからマスクが形成されるようにした撮像装置の構成例を示している。
　図９の撮像装置２０１は、マスク２１１、撮像素子２１２、再構成部２１３、および出力部２１４より構成される。
　マスク２１１、撮像素子２１２、再構成部２１３、および出力部２１４は、それぞれ基本的には、図４の撮像装置１０１のマスク１１１、撮像素子１１２、再構成部１１３、および出力部１１４に対応する機能を備えた構成である。
　ただし、マスク１１１は、水平偏光フィルタ１１１ｈ、および垂直偏光フィルタ１１１ｖから構成されているのに対して、マスク２１１は、水平偏光フィルタ２１１ｈ、および垂直偏光フィルタ２１１ｖに加えて、対角方向（45度方向）の偏光成分を透過させるフィルタ（以降、45度偏光フィルタ２１１ｓと称する）を備えている。
　すなわち、図４のマスク１１１は、図中左側の被写体面１２１より入射される光のうち、垂直方向の偏光成分を透過させる垂直偏光フィルタ１１１ｖと、水平方向の偏光成分を透過させる水平偏光フィルタ１１１ｈとが、疑似ランダムパターンで配置された構成とされていた。
　これに対して、図９のマスク２１１は、図中左側の被写体面２２１より入射される光のうち、垂直方向の偏光成分を透過させる垂直偏光フィルタ２１１ｖと、水平方向の偏光成分を透過させる水平偏光フィルタ２１１ｈとに加えて、さらに、対角方向（45度方向）の偏光成分を透過させる45度偏光フィルタ２１１ｓが、それぞれ疑似ランダムパターンで配置された構成とされている。尚、ここでも、非偏光成分は、垂直偏光フィルタ２１１ｖ、水平偏光フィルタ２１１ｈ、および45度偏光フィルタ２１１ｓのいずれも透過してしまうので、変調されない状態で透過する。このため、撮像素子２１２において撮像されても、再構成部２１３は、非偏光成分の画像を再構成することができない。
　垂直偏光フィルタ２１１ｖ、水平偏光フィルタ２１１ｈ、および45度偏光フィルタ２１１ｓのそれぞれの配置パターンは、疑似ランダムパターン以外のパターンでもよく、例えば、ランダムパターン、URA（Uniformly Redundant Arrays）パターン、およびMURA（Modified Uniformly Redundant Arrays）パターンでもよい。また、垂直偏光フィルタ２１１ｖ、水平偏光フィルタ２１１ｈ、および45度偏光フィルタ２１１ｓのそれぞれの光の透過率は等しい。
　尚、図９においては、マスク２１１上の垂直偏光フィルタ２１１ｖが配置された領域については、縦縞状の模様が描かれており、水平偏光フィルタ２１１ｈが配置された領域については、横縞状の模様が描かれており、45度偏光フィルタ２１１ｓが配置された領域については、対角線方向の縞状の模様が描かれている。
　ここで、図１０で示されるように、非偏光成分の光を発する人物２３１，２３２、および所定の方向の偏光成分の光を発して画像を表示するスマートフォン２３３乃至２３５が存在する被写体面２２１を撮像する場合について考える。尚、この例においては、スマートフォン２３３乃至２３５においては、表示面にQRコードが表示されているときの画像が表示されている。
　この場合、スマートフォン２３３乃至２３５が発する偏光成分の光が、マスク２１１の垂直偏光フィルタ２１１ｖ、水平偏光フィルタ２１１ｈ、および45度偏光フィルタ２１１ｓの領域を透過することにより変調されて撮像素子２１２に入射する。
　尚、図１０のマスク２１１においては、黒色部が垂直偏光フィルタ２１１ｖの領域を、白色部が水平偏光フィルタ２１１ｈの領域を、灰色部が45度偏光フィルタ２１１ｓの領域を示している。
　この結果、図１０の左下部で示されるように、被写体面２２１からは、偏光成分、および非偏光成分の全ての光の強度からなる画像２２１ｕ、直線偏光度（DoLP）よりなる画像２２１ｄ、および偏光角度よりなる画像２２１ａが組み合わされた状態でマスク２１１を透過する。
　ここで、画像２２１ｄにおいては、各画素について直線偏光度（DoLP）に対応する０乃至１の値に対応した画素値が設定されている。また、画像２２１ａにおいては、各画素について、偏光角度に対応する０乃至π（Rad）に応じた画素値が設定されている。
　すなわち、画像２２１ｄにおいては、スマートフォン２３３乃至２３５のディスプレイが存在する領域について、直線偏光度（DoLP）に応じた画素値が設定されており、それ以外の領域については、画素値が０に設定されて黒色とされている。
　また、画像２２１ａにおいては、スマートフォン２３３乃至２３５のディスプレイが存在する領域について、偏光角度に応じた画素値が設定されており、それ以外の領域については、画素値が０に設定されて黒色とされている。
　これにより、被写体面２２１からの入射光については、人間が直視するときには、図１０の被写体面２２１そのものが画像２２１ｕとして視聴されることになるが、マスク２１１においては、偏光成分が、マスク２１１の垂直偏光フィルタ２１１ｖ、水平偏光フィルタ２１１ｈ、および45度偏光フィルタ２１１ｓを透過することで変調され、非偏光成分が変調されない。これにより、偏光成分からなる画像２２１ｄ，２２１ａに対応する画像を構成する光が、変調が掛けられた状態で撮像素子に入射され、画像２２１ｕの非偏光成分については、変調が掛けられない状態で撮像素子２１２に入射される。
　図１０で示されるようなマスク２１１を被写体面２２１からの光が透過して、変調が掛けられた偏光成分と、変調が掛けられていない非偏光成分とが撮像素子２１２に入射され、撮像素子２１２においては、例えば、画像２１２ｉのような画像が撮像される。
　画像２１２ｉは、被写体面２２１内の人物２３１，２３２，およびスマートフォン２３３乃至２３５のそれぞれの像が結像されていない状態の変調された偏光成分と、変調されていない非偏光成分とからなる画像となるため、図１０で示されるように、全体としてぼんやりとした画像となる。
　再構成部２１３は、撮像素子２１２より供給される画像２１２ｉに基づいて、変調瀬された偏光成分からなる画像２２１ｄ，２２１ａを再構成して、出力部２２４に出力する。
　そこで、再構成部２１３は、画像２１２ｉに対して、マスク２１１の垂直偏光フィルタ２１１ｖ、水平偏光フィルタ２１１ｈ、および45度偏光フィルタ２１１ｓとに対応する係数セットを用いて、直線偏光度に光の強度を乗じた画素値からなる画像２２１ｄ’と偏光角度からなる画像２２１ａとをそれぞれ再構成する。
　出力部２１４は、図１１の右部で示されるように、再構成部２１３より供給される画像２２１ｄ’，２２１ａを合成して、画像２２２を生成して、最終画像として出力する。
　これにより、図９の右部で示されるように、スマートフォン２３３乃至２３５により表示される変調成分からなる画像２２２が出力されることになるので、人間の顔などの非偏光成分のみからなる像が含まれないことになる。
　結果として、人物２３１，２３２の、特に顔などのプライバシに係る情報が撮像されないように制限した上で、スマートフォン２３３乃至２３５で表示される画像のみの撮像を実現することが可能となる。
　＜図９の再構成部による再構成について＞
　次に、図９の再構成部２１３による具体的な再構成に係る演算例について説明する。
　基本的な再構成に係る演算については、図１を参照したレンズレスカメラにおける係数セットを用いた演算と同様である。
　ここで、被写体面２２１は、M画素×N画素の矩形状の画像であるものとし、各画素を光源とする光は、垂直偏光成分、水平偏光成分、45度偏光成分、および非偏光成分から構成されるものとする。
　撮像素子２１２は、P画素×Q画素から構成されるものとし、マスク２１１においては、擬似ランダムパターンで垂直偏光フィルタ２１１ｖ、水平偏光フィルタ２１１ｈ、および45度偏光フィルタ２１１ｓが、（M+P-1）×（N+Q-1）のグリッド状に分布するように形成され、撮像素子２１２の画素の形状、サイズ、および透過率が、ほぼ同一であるものとする。被写体面２２１からの光は、マスク２１１に形成された垂直偏光フィルタ２１１ｖ、水平偏光フィルタ２１１ｈ、および45度偏光フィルタ２１１ｓの何れかを透過して、変調が掛けられて撮像素子２１２に入射する。
　このような関係に基づいて、上述した係数セットを用いることにより、例えば、以下の式（１２）で示されるような連立方程式を構成することができる。尚、式（１２）は、連立方程式を行列式で表現したものである。
Figure JPOXMLDOC01-appb-M000009
　ここで、A0は、以下の式（１３）で表される行列である。
Figure JPOXMLDOC01-appb-M000010
　ここで、piは、撮像素子２１２の画素値であり、aij，bijは、マスク２１１の設計に応じて設定される係数であり、ここでは、aijが1のとき、垂直偏光フィルタ２１１ｖを表し、bijが1のとき、水平偏光フィルタ２１１ｈを表し、aijとbijとがいずれも0のとき、45度偏光フィルタ２１１ｓを表している。
　si ∥は、垂直偏光フィルタ２１１ｖが設けられた位置の入射光の光強度を表しており、si ⊥は、水平偏光フィルタ２１１ｈが設けられた位置の入射光の光強度を表しており、si 45は、45度偏光フィルタ２１１ｓが設けられた位置の入射光の光強度を表している。
　この式（１２）で表される連立方程式を解くことで、画像が再構成されることになるが、式（１２）は、連立方程式を解くため、以下の式（１４）のように変形することができる。
Figure JPOXMLDOC01-appb-M000011
　ここで、A，Sは、それぞれ以下の式（１５）で表される行列である。
Figure JPOXMLDOC01-appb-M000012
　ここで、Sは、上記の式（１４）を解くことにより推定される。式（１４）の解法は、様々な手法が存在するが、例えば、正規化による擬似逆行列を使用して解くようにしてもよい。
　特に、行列Aのランクが2MN+1の場合、式（１４）は、以下の式（１６）で示されるような厳密解として表すことができる。
Figure JPOXMLDOC01-appb-M000013
　しかしながら、現実には、撮像素子２１２により撮像される画素値には観測エラーが含まれることになるために、以下の式（１７）で示されるような正則化解の方が適切な解であるものとみなすこともできる。
Figure JPOXMLDOC01-appb-M000014
　ここで、λ2BTBは、正規化パラメータである。
　式（１６）または式（１７）で表されるSは、垂直偏光フィルタ１１１ｖが設けられた位置の入射光の光強度si ∥と、45度偏光フィルタ２１１ｓの光強度si 45との差（si ∥－si 45）、および、水平偏光フィルタ１１１ｈが設けられた位置の入射光の光強度si ⊥と、45度偏光フィルタ２１１ｓの光強度si 45とのの差（si ⊥－si 45）のそれぞれに凡その値を与えることで求めることができる。
　例えば、被写体面２２１上の位置siにおける光強度がIiであり、直線偏光度DoLPがρiであり、偏光角度がφiである場合、マリュス則を使用すると、以下の式（１８），式（１９）のようにパラメータai,biを定義することができる。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　さらに、パラメータai,biの和と差を求めることにより、以下の式（２０），式（２１）のような関係が求められる。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
　故に、以下の式（２２），式（２３）で示されるように、画素位置毎に直線偏光度ρiに対応する光強度Iiρiと偏光角度φiとを求めることができる。
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
　すなわち、式（１４），式（１５）で構成される連立方程式を解くことで、被写体面２２１のすべての点で全ての偏光成分が求められる。さらに、式（２２），式（２３）が用いられることにより、すべての点で直線偏光度ρiに対応する光強度Iiρiと偏光角度φiを解くことができ、一方で、非偏光成分よりなる画像については再構成できない。
　結果として、図１１の光強度Iiに直線偏光度ρiを乗じた画像２２１ｄ’と、偏光角度φiよりなる画像２２１ａとが再構成されることになり、さらに、再構成された画像２２１ｄ’、および画像２２１ａが合成されることで、画像２２２が生成される。
　＜図９の撮像装置による撮像処理＞
　次に、図１２のフローチャートを参照して、図９の撮像装置２０１による撮像処理について説明する。
　ステップＳ５１において、マスク２１１の水平偏光フィルタ２１１ｈ、垂直偏光フィルタ２１１ｖ、および45度偏光フィルタ２１１ｓは、それぞれ被写体面２２１からの光の水平偏光成分、垂直偏光成分、および45度偏光成分に変調を掛けて、撮像素子２１２に入射させる。尚、非偏光成分は、マスク２１１により変調されないので、そのままマスク２１１を透過して撮像素子２１２に入射する。
　ステップＳ５２において、撮像素子２１２は、被写体面２２１からの光であって、マスク２１１を透過した光を撮像して、撮像画像として再構成部２１３に出力する。
　ステップＳ５３において、再構成部２１３は、撮像素子２１２より出力されるマスク２１１を透過した光が撮像された撮像画像に基づいて、撮像装置２０１の撮像位置から被写体面２２１までの距離に応じた所定の係数セットからなる上述した式（１４）乃至式（２３）を用いて、直線偏光度に対応する光強度Iiρiからなる最終画像（復元画像）、および偏光角度φiからなる最終画像（復元画像）を出力部２１４に出力する。
　ステップＳ５４において、出力部２１４は、直線偏光度からなる最終画像（復元画像）、および偏光角度からなる最終画像（復元画像）を合成する。
　ステップＳ５５において、出力部２１４は、直線偏光度に対応する光強度Iiρiからなる最終画像（復元画像）、および偏光角度φiからなる最終画像（復元画像）が合成された画像に対して信号処理を施して、画像信号として出力する。
　以上の一連の処理により、レンズレス撮像装置の原理を応用して、３種類以上の特定の光の成分を透過させるフィルタからなるマスク２１１により、水平偏光成分、垂直偏光成分、および45度偏光成分に対しては変調を掛けて再構成させ、非偏光成分に対しては、変調を掛けないことにより再構成させない。
　これにより、偏光成分からなる直線偏光度に応じた光強度からなる最終画像と、偏光角度とからなる最終画像が再構成され、非偏光成分からなる画像については再構成されないので、撮像する際に含まれてしまう、非偏光成分からなる人物の顔画像のようなプライバシに係る情報を適切に制限し、スマートフォンやディスプレイなどの偏光成分から構成される画像のみを撮像することが可能となる。
　＜＜４．第２の実施の形態の応用例＞＞
　以上においては、水平偏光フィルタ２１１ｈ、垂直偏光フィルタ２１１ｖ、および45度偏光フィルタ２１１ｓの3種類のフィルタが設けられたマスク２１１を撮像素子２１２の前段に設けるようにした例について説明してきた。
　しかしながら、45度偏光フィルタ２１１ｓについては、45度以外の角度の偏光フィルタであってもよく、例えば、30度の偏光角の偏光成分のみを透過させる30度偏光フィルタや60度の偏光角の偏光成分のみを透過させる60度偏光フィルタなどでもよい。
　また、所定の偏光角度の偏光成分のみを透過させるフィルタに加えて、例えば、ND（Neutral Density）フィルタなどを用いるようにしてもよい。
　図１３は、図９のマスク２１１における45度偏光フィルタ２１１ｓに代えて、NDフィルタを設けるようにしたマスク２５１の構成例を示している。
　図１３においては、マスク２５１上の垂直偏光フィルタ２５１ｖが配置された領域については、縦縞状の模様が描かれており、水平偏光フィルタ２５１ｈが配置された領域については、横縞状の模様が描かれており、NDフィルタ２５１ｎが配置された領域については、灰色で描かれている。尚、マスク２５１においても、垂直偏光フィルタ２５１ｖ、水平偏光フィルタ２５１ｈ、およびNDフィルタ２５１ｎは、それぞれの透過率が等しい。
　＜＜５．第３の実施の形態＞＞
　以上においては、複数の偏光方向に応じた偏光成分を透過するフィルタをランダムに配置したマスクを撮像素子の前段に設け、マスクにより入射光に変調を掛けて撮像し、最終画像を再構成することで、入射光の特定の成分のみが像として再構成されるようにすることにより、撮像される画像内の情報を制限する例について説明してきた。
　しかしながら、マスクに形成されるフィルタは、偏光方向に応じたもののみならず、その他の光の特性に応じた成分をフィルタリングする構成であってもよい。
　例えば、マスクに、入射光を構成するRGB（赤色成分、緑色成分、および青色成分）のうち、特定の色成分を透過させるフィルタを疑似ランダムパターンで配置するようにしてもよい。
　図１４は、入射光のうち、青色成分と赤色成分を透過させるフィルタを疑似ランダムパターンで配置することにより、青色成分と赤色成分からなる画像のみを再構成させ、青色成分と赤色成分とを均等に含む成分からなる画像を再構成させないようにすることで、例えば、青色成分、赤色成分、および緑色成分を均等に含むグレー成分により構成される画像の情報を制限するようにした撮像装置の構成例である。
　より詳細には、図１４の撮像装置３０１は、マスク３１１、撮像素子３１２、再構成部３１３、および出力部３１４より構成される。尚、マスク３１１、撮像素子３１２、再構成部３１３、および出力部３１４は、それぞれ図１のマスク３１、撮像素子３２、再構成部３３、および出力部３４に対応する構成である。
　マスク３１１は、図１のマスク３１に対応する構成であり、入射光に対して所定の偏光を掛けて、撮像素子３１２に入射させる。
　上述したように、マスク３１は、遮光素材からなる板状の構成において、透過領域４１と遮光領域４２とが形成されることにより、入射光に対して変調を掛ける構成とされている。
　これに対して、マスク３１１は、図中左側の被写体面３２１より入射される光のうち、青色成分を透過させる青色フィルタ３１１ｂと、赤色成分を透過させる赤色フィルタ３１１ｒとが、疑似ランダムパターンで配置された構成とされている。
　尚、図１４においては、マスク３１１上の青色フィルタ３１１ｂが配置された領域については、薄い灰色領域として描かれており、赤色フィルタ３１１ｒが配置された領域については、濃い灰色領域として描かれている。また、マスク３１１においても、青色フィルタ３１１ｂ、および赤色フィルタ３１１ｒは、それぞれの透過率が等しい。
　ここで、被写体面３２１上に赤色成分、および青色成分を含む光を発するスマートフォン３３１、およびディスプレイ３３３と、白色の紙面に黒色（または灰色）のインクで機密文書が記載された書面３３２が存在する場合の例について考える。尚、書面３３２については、例えば、略正面方向から白色の光が投射され、紙面上に記載された機密文書そのものは実質的にグレー成分で発色された状態であることを想定する。
　この場合、スマートフォン３３１、書面３３２、およびディスプレイ３３３のそれぞれが発する光のうちの青色成分は、図中の薄い灰色領域で示されるマスク３１１の青色フィルタ３１１ｂの領域を透過することにより変調されて撮像素子３１２に入射する。
　また、スマートフォン３３１、書面３３２、およびディスプレイ３３３のそれぞれが発する光のうちの赤色成分は、図中の濃い灰色領域で示されるマスク３１１の赤色フィルタ３１１ｒの領域を透過することにより変調されて撮像素子３１２に入射する。
　すなわち、図１５で示されるように、スマートフォン３３１、書面３３２、およびディスプレイ３３３の像を含む被写体面３２１からは、赤色成分よりなる画像３２１ｒ、グレー成分よりなる画像３２１ｐ、および青色成分よりなる画像３２１ｂが組み合わされた状態でマスク３１１を透過する。
　図１５で示されるようなマスク３１１を被写体面３２１からの光が透過して、青色成分と赤色成分に対して変調が掛けられ、青色成分と赤色成分とを均等に含むグレー成分に対して変調が掛けられないことにより、例えば、画像３１２ｉのような画像が撮像される。すなわち、青色成分と赤色成分とを均等に含むグレー成分については、青色フィルタ３１１ｂ、および赤色フィルタ３１１ｒのいずれも透過することにより、マスク３１１上の全面が透過領域とされ、遮光領域がない状態となるため、変調が掛けられない。
　画像３１２ｉは、被写体面３２１内のスマートフォン３３１、書面３３２、およびディスプレイ３３３のそれぞれの像が結像されていない状態の変調された光と、変調されていない光からなる画像となるため、図１５で示されるように、全体としてぼんやりとした画像となる。
　再構成部３１３は、撮像素子３１２より供給される画像３１２ｉに基づいて、画像３２１ｂ，３２１ｒを再構成して、出力部３１４に出力する。
　ここで、図１５を参照して説明したように、マスク３１１は、青色フィルタ３１１ｂと赤色フィルタ３１１ｒとがそれぞれ疑似ランダムパターンで配置された構成とされている。
　このため、青色成分が、マスク３１１を透過する際には、青色フィルタ３１１ｂが、図１のマスク３１の透過領域４１として機能し、赤色フィルタ３１１ｒが、図１の遮光領域４２として機能することにより、青色成分に変調が掛けられる。
　一方、赤色成分が、マスク３１１を透過する際には、赤色フィルタ３１１ｒが、図１のマスク３１の透過領域４１として機能し、青色フィルタ３１１ｂが、図１の遮光領域４２として機能することにより、赤色成分に変調が掛けられる。
　すなわち、撮像素子３１２においては、青色成分と赤色成分とは、マスク３１１の青色フィルタ３１１ｂと赤色フィルタ３１１ｒとで変調が掛けられた状態の光の観測結果と、青色成分と赤色成分とを均等に含む、変調が掛けられていないグレー成分からなる光の観測結果を画像３１２ｉとして撮像し、再構成部３１３に出力する。
　そこで、再構成部３１３は、図１６で示されるように、画像３１２ｉに対して、マスク３１１の青色フィルタ３１１ｂと赤色フィルタ３１１ｒとが、それぞれの係数セットを用いて、青色成分からなる画像３２１ｂと赤色成分からなる画像３２１ｒとをそれぞれ再構成する。このとき、再構成部３１３は、青色成分と赤色成分とを均等に含む、変調が掛けられていないグレー成分については、再構成できないので、画像３２１ｐに対応する画像を再構成できない。
　出力部３１４は、再構成部３１３より供給される青色成分からなる画像３２１ｂと赤色成分からなる画像３２１ｒとを合成して、図１６の右部で示されるような画像３２２を生成して、最終画像として出力する。
　これにより、青色成分よりなる画像３２１ｂと、赤色成分よりなる画像３２１ｒとが合成されることにより、例えば、赤色成分と青色成分とからなる表示画像を表示しているスマートフォン３３１、およびディスプレイ３３３の表示面部分が合成されて構成され、グレー成分からなる書面３３２が含まれない画像３２２が出力されることになる。
　結果として、被写体面３２１における白色の紙面上に記載される、例えば、機密文書のようなグレー成分よりなる情報のみが撮像されないように制限した上で、画像を撮像することが可能となる。
　＜図１４の撮像装置による撮像処理＞
　次に、図１７のフローチャートを参照して、図１４の撮像装置１０１による撮像処理について説明する。
　ステップＳ７１において、マスク３１１の青色フィルタ３１１ｂおよび赤色フィルタ３１１ｒは、それぞれ被写体面３２１からの光の青色成分と赤色成分とに変調を掛けて、撮像素子３１２に入射させる。このとき、青色成分と赤色成分とを均等に含むグレー成分などは、マスク３１１を透過しても変調されないので、そのままマスク３１１を透過して撮像素子３１２に入射する。
　ステップＳ７２において、撮像素子３１２は、被写体面３２１からの光であって、マスク３１１を透過することにより変調が掛けられた青色成分と赤色成分の光と、変調が掛けられていない青色成分と赤色成分とを均等に含むグレー成分とを含む光からなる画像を撮像して、撮像画像として再構成部３１３に出力する。
　ステップＳ７３において、再構成部３１３は、撮像素子３１２より出力される変調された光が撮像された撮像画像に基づいて、青色成分からなる最終画像（復元画像）と、赤色成分からなる最終画像（復元画像）とを再構成して出力部３１４に出力する。このとき、変調が掛けられていない、青色成分と赤色成分とを均等に含むグレー成分の画像は再構成されない。
　ステップＳ７４において、出力部３１４は、赤色成分からなる最終画像と、青色成分からなる最終画像とを合成する。例えば、出力部３１４は、赤色成分からなる最終画像と、青色成分からなる最終画像との合成結果を出力してもよい。
　ステップＳ７５において、出力部３１４は、赤色成分からなる再構成画像と、青色成分からなる再構成画像とが合成された画像に対して信号処理を施して、画像信号として出力する。
　以上の一連の処理により、レンズレス撮像装置の原理を応用して、少なくとも２種類の特定の光の成分を透過させるフィルタからなるマスク３１１により、それぞれの光の成分に対する透過領域４１と遮光領域４２として機能させることにより、青色成分と赤色成分に対して変調を掛ける。
　これにより、変調が掛けられた青色成分と赤色成分とからなる最終画像を再構成させることで、画像を撮像する際に含まれてしまう、変調が掛けられていないグレー成分の情報を適切に制限し、青色成分と赤色成分の光のみから構成される画像のみを撮像することが可能となる。
　尚、以上においては、青色成分と赤色成分の最終画像を再構成させる例について説明してきたが、その他の成分の最終画像を再構成させるようにしてもよく、例えば、青色成分と緑色成分を透過させるフィルタからなるマスク３１１を構成することで、青色成分と緑色成分とを変調し、変調された青色成分と緑色成分とを再構成させ、青色成分と緑色成分との双方の成分を均等に含むグレー成分を再構成できないようにしてもよい。また、赤色成分と緑色成分を透過させるフィルタからなるマスク３１１を構成することで、赤色成分と緑色成分とを変調し、変調された赤色成分と緑色成分とを再構成させ、赤色成分と緑色成分との双方の成分を均等に含むグレー成分を再構成できないようにしてもよい。
　また、上述したように青色成分と赤色成分とを均等に透過させるフィルタからなるマスク３１１においては、青色成分と赤色成分とを均等に含む色であれば他の色成分も再構成できないので、例えば、青色成分と赤色成分とを均等に含む中間色である紫色成分からなる画像についても再構成させないようにすることができ、紫色成分からなる画像の情報を制限することもできる。同様に、青色成分と緑色成分とを透過させるフィルタからマスク３１１が構成されるようにすることで、青色成分と緑色成分とを変調し、変調された青色成分と緑色成分とが再構成されるようにして、青色成分と緑色成分との双方の成分を均等に含む他の色成分も再構成できないようにしてもよく、例えば、青色成分と緑色成分との双方の成分を均等に含む中間色であるシアン成分を再構成できないようにしてもよい。さらに、赤色成分と緑色成分とを均等に透過させるフィルタからなるマスク３１１を構成することで、赤色成分と緑色成分とを変調し、変調された赤色成分と緑色成分とを再構成させ、赤色成分と緑色成分との双方の成分を均等に含む他の色成分も再構成できないようにしてもよく、例えば、赤色成分と緑色成分を均等に含む中間色である黄色成分を再構成できないようにしてもよい。
　また、赤色成分、緑色成分、および青色成分のいずれかのみならず、特定の波長の成分の２種類についてフィルタリングして、特定の波長の２種類の成分の最終画像を再構成させるようにして、特定の２種類のそれぞれの成分を均等に含む波長成分の像が再構成されないように制限してもよい。
　＜＜６．第３の実施の形態の応用例＞＞
　以上においては、特定の波長の成分の２種類についてフィルタリングして、特定の波長の２種類の成分の最終画像を再構成させるようにして、特定の波長の双方の成分を均等に含む波長成分の像が再構成されないようにする例について説明してきた。
　しかしながら、RGB成分（赤色成分、緑色成分、青色成分）のそれぞれの成分をフィルタリングして、RGB成分のそれぞれについて最終画像を再構成させるようにして、RGB成分のそれぞれを含むグレー成分については、再構成されないようにしてもよい。
　図１８は、RGB成分（赤色成分、緑色成分、青色成分）のそれぞれの成分をフィルタリングして、RGB成分のそれぞれについて最終画像を再構成させるようにして、RGB成分のそれぞれを均等に含む、例えば、グレー成分のような他の成分については、再構成されないようにするマスク３５１の構成例を示している。
　マスク３５１は、例えば、図１４の撮像装置３０１において、マスク３１１に代えて撮像素子３１２の前段に設けられる。
　マスク３５１は、赤色成分を透過させる赤色フィルタ３５１ｒ、緑色成分を透過させる緑色フィルタ３５１ｇ、および青色成分を透過させる青色フィルタ３５１ｂが、それぞれ疑似ランダムパターンで配置されている。
　尚、図１８においては、マスク３５１上の青色フィルタ３５１ｂが配置された領域については、濃い灰色領域として描かれており、緑色フィルタ３５１ｇが配置された領域については、濃い灰色と薄い灰色の中間の濃度の灰色領域として描かれており、赤色フィルタ３５１ｒが配置された領域については、薄い灰色領域として描かれている。また、マスク３５１においても、青色フィルタ３５１ｂ、緑色フィルタ３５１ｇ、および赤色フィルタ３５１ｒは、それぞれの透過率が等しい。
　マスク３５１においては、赤色フィルタ３５１ｒ、緑色フィルタ３５１ｇ、および青色フィルタ３５１ｂが、それぞれ赤色成分、緑色成分、および青色成分を透過させることで、それぞれに変調を掛けて、撮像素子３１２に入射させる。
　これにより、再構成部３１３は、撮像素子３１２において撮像された変調が掛けられた赤色成分、緑色成分、および青色成分のそれぞれの最終画像を再構成し、出力部３１４に出力する。
　出力部３１４は、再構成された赤色成分、緑色成分、および青色成分のそれぞれの最終画像を合成して出力する。
　ここで、例えば、グレー成分のような、赤色成分、緑色成分、および青色成分が均等に合成された成分については、赤色フィルタ３５１ｒ、緑色フィルタ３５１ｇ、および青色フィルタ３５１ｂのそれぞれにおいて等しく透過する。
　これにより、グレー成分のような、赤色成分、緑色成分、および青色成分が均等に合成された成分については、マスク３５１を透過しても変調が掛けられない状態で撮像素子３１２に入射されることになる。
　このため、再構成部３１３は、撮像素子３１２で撮像された画像に基づいて、グレー成分のような、赤色成分、緑色成分、および青色成分が均等に合成された成分の最終画像については再構成することができない。
　結果として、マスク３５１を用いることにより、RGB成分のそれぞれの最終画像を再構成させることが可能になると共に、RGB成分のそれぞれを均等に含む、例えば、グレー成分などの最終画像については、再構成できないので、グレー成分のような、RGB成分が均等に含まれる成分からなる画像の映り込みを制限することが可能となる。
　＜＜７．ソフトウエアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図１９は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図１９におけるCPU１００１が、図４の再構成部１１３、および出力部１１４、図９の再構成部２１３、および出力部２１４、並びに図１４の再構成部３１３、および出力部３１４の機能を実現させる。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　入射光を複数の成分毎に透過させる複数の透過領域が所定のパターンで形成され、前記入射光に前記複数の成分のそれぞれに変調を掛けて透過させるマスクと、
　前記マスクを透過した光からなる透過画像を撮像する撮像素子と、
　前記透過画像に基づいて、前記入射光に対応する画像を再構成する再構成部と
　を備える撮像装置。
＜２＞　前記複数の透過領域は、疑似ランダムパターンで形成される
　＜１＞に記載の撮像装置。
＜３＞　前記複数の透過領域は、それぞれの透過率が等しく形成される
　＜１＞または＜２＞に記載の撮像装置。
＜４＞　前記複数の透過領域は、複数の方向の偏光成分を透過させる直線偏光フィルタより形成される
　＜１＞乃至＜３＞のいずれかに記載の撮像装置。
＜５＞　前記複数の透過領域は、２方向の偏光成分を透過させる直線偏光フィルタより形成される
　＜４＞に記載の撮像装置。
＜６＞　前記複数の透過領域は、垂直方向の偏光成分を透過させる直線偏光フィルタ、および水平方向の偏光成分を透過させる水平偏光フィルタより形成される
　＜５＞に記載の撮像装置。
＜７＞　前記再構成部は、前記垂直方向の偏光成分よりなる垂直偏光成分画像、および前記水平方向の偏光成分よりなる水平偏光成分画像を再構成する
　＜６＞に記載の撮像装置。
＜８＞　前記垂直偏光成分画像、および前記水平偏光成分画像が合成されて出力される
　＜７＞に記載の撮像装置。
＜９＞　前記複数の透過領域は、３方向の偏光成分を透過させる直線偏光フィルタより形成される
　＜４＞に記載の撮像装置。
＜１０＞　前記複数の透過領域は、垂直方向の偏光成分を透過させる直線偏光フィルタ、水平方向の偏光成分を透過させる水平偏光フィルタ、および45度方向の偏光成分を透過させる45度偏光フィルタより形成される
　＜９＞に記載の撮像装置。
＜１１＞　前記再構成部は、光強度と直線偏光度とが合成された画像、および偏光角度からなる画像を再構成する
　＜１０＞に記載の撮像装置。
＜１２＞　再構成された、前記光強度と前記直線偏光度とが合成された画像、および前記偏光角度からなる画像が合成されて出力される
　＜１１＞に記載の撮像装置。
＜１３＞　前記複数の透過領域は、複数の方向の偏光成分を透過させる直線偏光フィルタと、ND（Neutral Density）フィルタより形成される
　＜１＞乃至＜３＞のいずれかに記載の撮像装置。
＜１４＞　前記複数の透過領域は、２方向の偏光成分を透過させる直線偏光フィルタと、前記NDフィルタより形成される
　＜１３＞に記載の撮像装置。
＜１５＞　前記複数の透過領域は、複数の波長成分を透過させる波長フィルタより形成される
　＜１＞乃至＜３＞のいずれかに記載の撮像装置。
＜１６＞　前記複数の透過領域は、２種類または３種類の波長成分を透過させる前記波長フィルタより形成される
　＜１５＞に記載の撮像装置。
＜１７＞　前記複数の透過領域は、青色の波長成分を透過させる青色フィルタ、赤色の波長成分を透過させる赤色フィルタ、および緑色の波長成分を透過させる緑色フィルタのうちの前記２種類または３種類の波長成分を透過させる前記波長フィルタより形成される
　＜１６＞に記載の撮像装置。
＜１８＞　前記再構成部は、前記複数の透過領域を形成する前記２種類または３種類の波長成分の画像を再構成する
　＜１７＞に記載の撮像装置。
＜１９＞　再構成された前記２種類または３種類の波長成分の画像が合成されて出力される
　＜１８＞に記載の撮像装置。
＜２０＞　入射光を成分毎に透過させる複数の透過領域が所定のパターンで形成されたマスクと、
　撮像素子と、
　再構成部とを備えた撮像装置の作動方法において、
　前記マスクが、前記入射光の成分のそれぞれに変調を掛けて変調光として透過させ、
　前記撮像素子が、前記マスクを透過した光からなる透過画像を撮像し、
　前記再構成部が、前記透過画像に基づいて、前記入射光に対応する画像を再構成する
　ステップを含む撮像装置の作動方法。
　１０１　撮像装置，　１１１　マスク，　１１１ｈ　水平偏光フィルタ，　１１１ｖ　垂直偏光フィルタ，　１１２　撮像素子，　１１３　再構成部，　１１４　出力部，　２０１　撮像装置，　２１１　マスク，　２１１ｈ　水平偏光フィルタ，　２１１ｖ　垂直偏光フィルタ，　２１１ｓ　45度偏光フィルタ，　２１２　撮像素子，　２１３　再構成部，　２１４　出力部，　２２１　マスク，　２２２　光学素子，　２２３　イメージセンサ，　２５１　マスク，　２５１ｈ　水平偏光フィルタ，　２５１ｖ　垂直偏光フィルタ，　２５１ｎ　NDフィルタ，　３０１　撮像装置，　３１１　マスク，　３１１ｂ　青色フィルタ，　３１１ｒ　赤色フィルタ，　３１２　撮像素子，　３１３　再構成部，　３１４　出力部

Claims (20)

  1. 　入射光を複数の成分毎に透過させる複数の透過領域が所定のパターンで形成され、前記入射光に前記複数の成分のそれぞれに変調を掛けて透過させるマスクと、
    　前記マスクを透過した光からなる透過画像を撮像する撮像素子と、
    　前記透過画像に基づいて、前記入射光に対応する画像を再構成する再構成部と
    　を備える撮像装置。
  2. 　前記複数の透過領域は、疑似ランダムパターンで形成される
    　請求項１に記載の撮像装置。
  3. 　前記複数の透過領域は、それぞれの透過率が等しく形成される
    　請求項１に記載の撮像装置。
  4. 　前記複数の透過領域は、複数の方向の偏光成分を透過させる直線偏光フィルタより形成される
    　請求項１に記載の撮像装置。
  5. 　前記複数の透過領域は、２方向の偏光成分を透過させる直線偏光フィルタより形成される
    　請求項４に記載の撮像装置。
  6. 　前記複数の透過領域は、垂直方向の偏光成分を透過させる直線偏光フィルタ、および水平方向の偏光成分を透過させる水平偏光フィルタより形成される
    　請求項５に記載の撮像装置。
  7. 　前記再構成部は、前記垂直方向の偏光成分よりなる垂直偏光成分画像、および前記水平方向の偏光成分よりなる水平偏光成分画像を再構成する
    　請求項６に記載の撮像装置。
  8. 　前記垂直偏光成分画像、および前記水平偏光成分画像が合成されて出力される
    　請求項７に記載の撮像装置。
  9. 　前記複数の透過領域は、３方向の偏光成分を透過させる直線偏光フィルタより形成される
    　請求項４に記載の撮像装置。
  10. 　前記複数の透過領域は、垂直方向の偏光成分を透過させる直線偏光フィルタ、水平方向の偏光成分を透過させる水平偏光フィルタ、および45度方向の偏光成分を透過させる45度偏光フィルタより形成される
    　請求項９に記載の撮像装置。
  11. 　前記再構成部は、光強度と直線偏光度とが合成された画像、および偏光角度からなる画像を再構成する
    　請求項１０に記載の撮像装置。
  12. 　再構成された、前記光強度と前記直線偏光度とが合成された画像、および前記偏光角度からなる画像が合成されて出力される
    　請求項１１に記載の撮像装置。
  13. 　前記複数の透過領域は、複数の方向の偏光成分を透過させる直線偏光フィルタと、ND（Neutral Density）フィルタより形成される
    　請求項１に記載の撮像装置。
  14. 　前記複数の透過領域は、２方向の偏光成分を透過させる直線偏光フィルタと、前記NDフィルタより形成される
    　請求項１３に記載の撮像装置。
  15. 　前記複数の透過領域は、複数の波長成分を透過させる波長フィルタより形成される
    　請求項１に記載の撮像装置。
  16. 　前記複数の透過領域は、２種類または３種類の波長成分を透過させる前記波長フィルタより形成される
    　請求項１５に記載の撮像装置。
  17. 　前記複数の透過領域は、青色の波長成分を透過させる青色フィルタ、赤色の波長成分を透過させる赤色フィルタ、および緑色の波長成分を透過させる緑色フィルタのうちの前記２種類または３種類の波長成分を透過させる前記波長フィルタより形成される
    　請求項１６に記載の撮像装置。
  18. 　前記再構成部は、前記複数の透過領域を形成する前記２種類または３種類の波長成分の画像を再構成する
    　請求項１７に記載の撮像装置。
  19. 　再構成された前記２種類または３種類の波長成分の画像が合成されて出力される
    　請求項１８に記載の撮像装置。
  20. 　入射光を成分毎に透過させる複数の透過領域が所定のパターンで形成されたマスクと、
    　撮像素子と、
    　再構成部とを備えた撮像装置の作動方法において、
    　前記マスクが、前記入射光の成分のそれぞれに変調を掛けて透過させ、
    　前記撮像素子が、前記マスクを透過した光からなる透過画像を撮像し、
    　前記再構成部が、前記透過画像に基づいて、前記入射光に対応する画像を再構成する
    　ステップを含む撮像装置の作動方法。
PCT/JP2022/003951 2021-05-12 2022-02-02 撮像装置、および撮像装置の作動方法 WO2022239326A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023520778A JPWO2022239326A1 (ja) 2021-05-12 2022-02-02

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021080935 2021-05-12
JP2021-080935 2021-05-12

Publications (1)

Publication Number Publication Date
WO2022239326A1 true WO2022239326A1 (ja) 2022-11-17

Family

ID=84029058

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003951 WO2022239326A1 (ja) 2021-05-12 2022-02-02 撮像装置、および撮像装置の作動方法

Country Status (2)

Country Link
JP (1) JPWO2022239326A1 (ja)
WO (1) WO2022239326A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228895A1 (en) * 2008-12-06 2011-09-22 Qinetiq Limited Optically diverse coded aperture imaging
US20170351012A1 (en) * 2016-06-07 2017-12-07 Goodrich Corporation Imaging systems and methods
JP2018107794A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228895A1 (en) * 2008-12-06 2011-09-22 Qinetiq Limited Optically diverse coded aperture imaging
US20170351012A1 (en) * 2016-06-07 2017-12-07 Goodrich Corporation Imaging systems and methods
JP2018107794A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置

Also Published As

Publication number Publication date
JPWO2022239326A1 (ja) 2022-11-17

Similar Documents

Publication Publication Date Title
JP4469021B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置
JP7259757B2 (ja) 撮像装置、並びに、画像処理装置および方法
Wetzstein et al. Sensor saturation in fourier multiplexed imaging
CN101652798A (zh) 使用全色像素的边缘映射
KR20120017006A (ko) 루미넌스 및 크로미넌스 센서들을 이용한 이미지 캡처
US11336799B2 (en) Imaging device including pixels having individually settable incident angle directivity
JP7192778B2 (ja) 撮像装置および方法、並びに、画像処理装置および方法
CN108243331A (zh) 图像生成装置及拍摄装置
CN106170052A (zh) 双传感器超光谱运动成像系统
JPWO2019188536A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
CN106507065A (zh) 拍摄装置、拍摄系统、图像生成装置及滤色器
WO2022239326A1 (ja) 撮像装置、および撮像装置の作動方法
CN108696728A (zh) 图像生成装置及拍摄装置
JP2019521599A (ja) 改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング
US11663708B2 (en) Image processing apparatus, imaging apparatus, and image processing method
Miandji et al. Compressive HDR light field imaging using a single multi-ISO sensor
JP7147841B2 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
US20240114254A1 (en) Image processing apparatus, image processing method, and program
Zhao et al. Spectral reconstruction from dispersive blur: A novel light efficient spectral imager
CN113766107B (zh) 用于生成高分辨率图像的方法和设备
Elgendy Image Processing for Quanta Image Sensors
CN115719311A (zh) 处理图像的方法和相关设备
Hel‐Or et al. Camera‐Based Image Forgery Detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22807033

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023520778

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22807033

Country of ref document: EP

Kind code of ref document: A1