WO2023171358A1 - マスクユニット、並びに撮像装置および撮像装置の作動方法 - Google Patents

マスクユニット、並びに撮像装置および撮像装置の作動方法 Download PDF

Info

Publication number
WO2023171358A1
WO2023171358A1 PCT/JP2023/006126 JP2023006126W WO2023171358A1 WO 2023171358 A1 WO2023171358 A1 WO 2023171358A1 JP 2023006126 W JP2023006126 W JP 2023006126W WO 2023171358 A1 WO2023171358 A1 WO 2023171358A1
Authority
WO
WIPO (PCT)
Prior art keywords
mask
image
unit
mask pattern
modulated
Prior art date
Application number
PCT/JP2023/006126
Other languages
English (en)
French (fr)
Inventor
秀紀 小柳津
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023171358A1 publication Critical patent/WO2023171358A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging

Definitions

  • the present disclosure relates to a mask unit, an imaging device, and an operating method of the imaging device, and particularly relates to a mask unit, an imaging device, and an operating method of the imaging device that enable easy replacement of the mask in lensless imaging.
  • a mask with a two-dimensional pattern consisting of a transparent area and a non-transparent area is placed in front of the image sensor, and based on a modulated image consisting of observed values projected onto the image sensor through the mask, the source that becomes the scene is detected.
  • Lensless camera technology for reconstructing images is widely known.
  • Non-Patent Document 1 information on how the emitted light from the scene is projected onto the image sensor by being modulated through a mask is defined in advance as a matrix, and the matrix and the information on the image sensor are The actual scene is reconstructed from the projected modulated image (see Non-Patent Document 1).
  • the transparent area that constitutes this mask may be configured with a simple hole in contrast to the light-blocked non-transparent area, or it may be configured such that a condensing element such as a lens is placed in each hole. .
  • the transmission area is a simple hole, as the size increases, the light that forms on the sensor will become blurred, and the quality of the reconstructed image will deteriorate.
  • a condensing element other than a lens may be provided in this transmission region, and an example of this is a method using an FZP (Fresnel Zone Plate) (see Non-Patent Document 2).
  • FZP Fesnel Zone Plate
  • FZP is a condensing element in the form of alternating transparent and opaque concentric zones, and the outer zones are narrower, and the farther the light enters the outer zone, the more the direction of the light changes. By acting as a diffraction grating, the incident light is focused on a single point on the optical axis.
  • the relationship between the position and rotation of the mask and the image sensor affects the image quality of the reconstructed image, so if multiple masks are prepared and can be replaced, the Calibration is required to adjust the positional relationship between the image sensor and the mask.
  • the present disclosure has been made in view of this situation, and particularly, in lensless imaging, it is possible to easily replace the mask.
  • a mask unit includes a mask that modulates incident light and converts it into modulated light, an adapter that can be attached to and detached from a lens mount, and a modulated image formed by the modulated light transmitted through the mask.
  • the mask unit includes a storage section that stores related information for reconstructing an image corresponding to emitted light.
  • the mask modulates the incident light and converts it into modulated light
  • the mask is detachably attached to a lens mount using an adapter, and the modulated light is made up of the modulated light transmitted through the mask. Relevant information for reconstructing an image corresponding to the incident light from the image is stored.
  • An imaging device includes a mask unit that includes a mask that modulates incident light and converts it into modulated light, and an adapter that is detachable from a lens mount, the lens mount, and the mask.
  • the present invention is an imaging device that includes a camera module including an image sensor that captures a modulated image made of transmitted modulated light, and reconstructs an image corresponding to the incident light from the modulated image.
  • the incident light is modulated by the mask and converted into modulated light
  • the mask unit is detachably attached to the lens mount of the camera module
  • the mask unit is detachably attached to the lens mount of the camera module
  • the mask unit is attached to the lens mount of the camera module in a detachable state
  • a modulated image made of modulated light transmitted through the mask is captured by the element, and an image corresponding to the incident light is reconstructed from the modulated image.
  • a method of operating an imaging device is an imaging device including a mask unit and a camera module, in which the mask unit has a predetermined mask pattern and modulates incident light to produce modulated light.
  • a first communication unit that transmits a mask pattern ID that identifies the mask pattern to the camera module, an adapter that can be attached and detached to a lens mount, and a mask pattern ID that identifies the predetermined mask pattern; an image sensor that captures a modulated image made of modulated light; a second communication unit that receives the mask pattern ID transmitted from the mask unit; and a signal processing unit that generates RAW data from the modulated image.
  • An operating method of an imaging device comprising: the first communication unit transmitting the mask pattern ID to the camera module; and the second communication unit transmitting the mask pattern ID from the mask unit.
  • the signal processing unit When receiving the mask pattern ID and generating the RAW data from the modulated image, the signal processing unit writes the mask pattern ID received by the second communication unit into the RAW data.
  • a mask pattern ID that identifies a mask pattern included in a mask that modulates incident light and converts it into modulated light is transmitted to the camera module and transmitted from the mask unit.
  • the received mask pattern ID is written to the RAW data
  • the received mask pattern ID is written to the RAW data.
  • Processing using a restoration matrix set corresponding to the mask pattern ID is performed on the modulated image, and an image corresponding to the incident light is reconstructed.
  • FIG. 1 is a diagram illustrating an overview of a lensless camera.
  • FIG. 2 is a diagram illustrating the imaging principle of a lensless camera.
  • FIG. 6 is a diagram illustrating calculation processing by lensless imaging processing.
  • FIG. 3 is a diagram illustrating a configuration example of a URA mask and a MURA mask.
  • FIG. 1 is a diagram illustrating a configuration example of an imaging device according to a first embodiment of the present disclosure. It is a figure explaining the structure of a mask with a mount, and a camera module. 7 is a diagram illustrating a state in which a mask with a mount is removed from the camera module of FIG. 6.
  • FIG. FIG. 3 is a diagram illustrating an example of the external configuration of a mask with a mount.
  • FIG. 6 is a flowchart illustrating mounting processing in the imaging device of FIG. 5.
  • FIG. 6 is a flowchart illustrating imaging processing in the imaging device of FIG. 5.
  • FIG. FIG. 2 is a diagram illustrating a configuration example of a lensless imaging system according to a second embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating a configuration example of the imaging device shown in FIG. 12; 13 is a diagram illustrating a configuration example of the PC in FIG. 12.
  • FIG. 13 is a flowchart illustrating imaging processing by the imaging device of FIG. 12.
  • FIG. 13 is a flowchart illustrating reconfiguration processing by the PC of FIG. 12.
  • FIG. 12 is a flowchart illustrating mounting processing in the imaging device of FIG. 5.
  • FIG. 6 is a flowchart illustrating imaging processing in the imaging device of FIG. 5.
  • FIG. FIG. 2 is a diagram illustrating a configuration example of a lensless imaging system according to a second embodiment of the present disclosure.
  • FIG. 13
  • FIG. 1 is a side sectional view of the imaging device 11.
  • the imaging device 11 in FIG. 1 is a so-called lensless camera, and includes a mask 31, an image sensor 32, a reconstruction section 33, and an output section 34.
  • the mask 31 has a plate-like structure made of a light-shielding material and is provided in front of the image sensor 32. For example, as shown in the left part of FIG. 41, and a light shielding area 42 that is shielded from light.
  • the mask 31 When the mask 31 receives light as incident light from the subject surface G1 (in reality, a surface from which radiation light from a three-dimensional subject is emitted) indicated by the optical axis AX, the mask 31 transmits the incident light through the transmission area 41. By transmitting the light, the incident light from the subject surface G1 is modulated as a whole, converted into modulated light, and the converted modulated light is received by the image sensor 32 to capture an image.
  • the image sensor 32 is composed of a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor, and captures an image of the modulated light that is modulated by the mask 31 on the incident light from the subject plane G1. It is output to the reconstruction unit 33 as a modulated signal G2 consisting of unit signals. More specifically, the image sensor 32 includes a signal processing section (not shown), generates RAW data based on the image formed by the modulation signal G2, and outputs it to the reconstruction section 33.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the mask 31 has a size that includes at least the entire surface of the image sensor 32, and is basically configured so that the image sensor 32 receives only modulated light that has been modulated by passing through the mask 31. ing.
  • the transparent region 41 formed in the mask 31 has a size larger than at least the pixel size of the image sensor 32. Further, a gap of a small distance d is provided between the image sensor 32 and the mask 31.
  • the light beams are received as light beams having light intensities a, b, and c, respectively.
  • the detection sensitivity of each pixel has directivity depending on the angle of incidence because the incident light is modulated by the transmission area 41 set on the mask 31.
  • Giving the detection sensitivity of each pixel an incident angle directivity here means giving different light receiving sensitivity characteristics depending on the incident angle of the incident light depending on the area on the image sensor 32. be.
  • the light sources forming the subject plane G1 are point light sources
  • the incident angle changes for each region on the imaging surface of the imaging device 32 by being modulated by the mask 31. Since the incident angle of the incident light changes depending on the area on the image sensor 32 by the mask 31, the light receiving sensitivity characteristic, that is, the incident angle directivity is obtained, so that the light rays of the same light intensity are Also, each area on the image sensor 32 is detected with a different sensitivity by the mask 31 provided in front of the imaging surface of the image sensor 32, and a detection signal with a different detection signal level is detected for each area.
  • the detection signal levels DA, DB, and DC of the pixels at positions Pa, Pb, and Pc on the image sensor 32 are expressed by the following equations (1) to 2, respectively. It is expressed as (3). Note that the equations (1) to (3) in FIG. 2 have the vertical relationship reversed from the positions Pa, Pb, and Pc on the image sensor 32 in FIG.
  • ⁇ 1 is a coefficient for the detection signal level a that is set according to the incident angle of the light ray from the point light source PA on the object surface G1 to be restored at the position Pa on the image sensor 32.
  • ⁇ 1 is a coefficient for the detection signal level b that is set according to the incident angle of the light ray from the point light source PB on the object surface G1 to be restored at the position Pa on the image sensor 32.
  • ⁇ 1 is a coefficient for the detection signal level c that is set according to the incident angle of the light ray from the point light source PC on the object surface G1 to be restored at the position Pa on the image sensor 32.
  • ( ⁇ 1 ⁇ a) of the detection signal level DA indicates the detection signal level due to the light beam from the point light source PA at the position Pa.
  • ( ⁇ 1 ⁇ b) of the detection signal level DA indicates the detection signal level due to the light beam from the point light source PB at the position Pa.
  • ( ⁇ 1 ⁇ c) of the detection signal level DA indicates the detection signal level due to the light beam from the point light source PC at the position Pa.
  • the detection signal level DA is expressed as a composite value of the respective components of the point light sources PA, PB, and PC at the position Pa multiplied by the respective coefficients ⁇ 1, ⁇ 1, and ⁇ 1.
  • the coefficients ⁇ 1, ⁇ 1, and ⁇ 1 will be collectively referred to as a coefficient set.
  • the coefficient sets ⁇ 2, ⁇ 2, ⁇ 2 for the detection signal level DB at the point light source Pb correspond to the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1 for the detection signal level DA at the point light source PA, respectively.
  • the coefficient sets ⁇ 3, ⁇ 3, and ⁇ 3 for the detection signal level DC at the point light source Pc correspond to the coefficient sets ⁇ 1, ⁇ 1, and ⁇ 1 for the detection signal level DA at the point light source Pa, respectively.
  • the detection signal level of the pixels at positions Pa, Pb, and Pc is a value expressed by the sum of products of the light intensities a, b, and c of the light rays emitted from the point light sources PA, PB, and PC, respectively, and the coefficient. It is. For this reason, these detection signal levels are a mixture of the light intensities a, b, and c of the light rays emitted from the point light sources PA, PB, and PC, so the image of the subject is It is different from Note that an image consisting of detection signal levels DA, DB, and DC of pixels at positions Pa, Pb, and Pc corresponds to modulation signal G2 in FIG. 1.
  • a simultaneous equation is constructed using the coefficient set ⁇ 1, ⁇ 1, ⁇ 1, the coefficient set ⁇ 2, ⁇ 2, ⁇ 2, the coefficient set ⁇ 3, ⁇ 3, ⁇ 3, and the detection signal levels DA, DB, DC, and the light intensities a, b are , c, the pixel values at each position Pa, Pb, and Pc are determined as shown in the lower right part of FIG.
  • a restored image final image
  • this reconstructed image corresponds to image G3 in FIG.
  • the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1, the coefficient sets ⁇ 2, ⁇ 2, ⁇ 2, and the coefficient sets ⁇ 3, ⁇ 3, ⁇ 3 are By changing this coefficient set, restored images (final images) of the subject plane at various distances can be reconstructed.
  • the detection signal level shown in the upper right corner of Fig. 2 is not the detection signal level corresponding to the image in which the image of the subject is formed, so it is not a pixel value but a mere observed value, and the image consisting of observed values is This corresponds to the modulation signal G2.
  • the detection signal level shown in the lower right part of FIG. is the value of each pixel, so it is a pixel value. That is, the restored image (final image) of this subject plane G1 corresponds to image G3.
  • Such a configuration allows the imaging device 11 to function as a so-called lensless camera.
  • the imaging lens is not an essential component, it becomes possible to reduce the height of the imaging device, that is, to reduce the thickness of the configuration that implements the imaging function in the light incident direction.
  • the coefficient set it is possible to reconstruct and restore final images (restored images) at object planes at various distances.
  • the image corresponding to the modulated signal G2 before being reconstructed, captured by the image sensor 32 will be simply referred to as a modulated image, and the modulated image will be reconstructed and restored by signal processing.
  • An image corresponding to image G3 is referred to as a final image (restored image). Therefore, from one modulated image, images on the subject plane G1 at various distances can be reconstructed as the final image by variously changing the coefficient set described above.
  • the reconstruction unit 33 is equipped with the above-mentioned coefficient set, and uses the coefficient set according to the distance from the imaging position of the imaging device 11 to the subject plane G1 to perform imaging consisting of RAW data supplied from the imaging device 32. Based on the modulated image (modulated signal G2 in FIG. 1), a final image (restored image) (image G3 in FIG. 1) is reconstructed and output to the output unit 34.
  • the output unit 34 applies signal processing to the final image supplied from the reconstruction unit 33 and outputs it as an image signal.
  • the incident light consisting of the input image X corresponding to the subject plane G1 in FIG.
  • the image sensor 32 images the input image X corresponding to the subject plane G1 modulated by the pattern A of the mask 31 as a modulated image Y corresponding to the modulation signal G2 in FIG. Output to 33.
  • the reconstruction unit 33 reconstructs a final image X' corresponding to the input image X, which corresponds to the final image G3 in FIG. 1, by performing signal processing on the modulated image Y.
  • a modulated image Y corresponding to the modulated signal G2 captured by the imaging device 32 is created by combining the pattern A of the mask 31 and the input image X as shown by the following equation (4). It is known that it can be expressed as a convolution with.
  • Y is a modulated image captured by the image sensor 32
  • A is a matrix expressing the pattern of the mask 31
  • X is an input image
  • * is a convolution operation. represents.
  • the pattern of the mask 31 expressed as matrix A is generally a URA (Uniformly Redundant Arrays) pattern P1 shown on the left side of FIG. 4 or a MURA (Modified URA) pattern P2 shown on the right side of FIG. 4, for example. be.
  • URA Uniformly Redundant Arrays
  • MURA Modified URA
  • X' represents a reconstructed image corresponding to the reconstructed image G3 in FIG. 1
  • G represents a restoration matrix (inverse matrix of A) corresponding to the matrix of pattern A of the mask 31.
  • the imaging device 51 in FIG. 5 is a lensless camera, like the imaging device 11 in FIG. .
  • the configuration of the output section 73 basically has a function corresponding to that of the output section 34 in the imaging device 11 of FIG. 1.
  • the imaging device 51 in FIG. 5 differs from the imaging device 11 in FIG. , and a reconstruction unit 72 are provided.
  • the camera module 71 includes an image sensor 91 and a signal processing section 92, and as shown in FIGS. 6 and 7, a mask unit 61 including a mask 61a is fitted into a mount 71a with a mount adapter 61b. It is removably engaged by pushing it in.
  • FIG. 6 is a side sectional view of the mask unit 61 attached to and engaged with the camera module 71
  • FIG. 7 is a side sectional view of the mask unit 61 removed from the camera module 71. be.
  • the mask 61a and the image sensor 91 in the mask unit 61 have a configuration corresponding to the mask 31 and the image sensor 32 in FIG.
  • the mask unit 61 includes a mask 61a, a mount adapter 61b, a storage section 61c, and a communication section 61d.
  • the mask 61a has a configuration corresponding to the mask 31 in FIG. 1, and modulates the incident light from the subject surface G11 to make it enter the image sensor 91 as modulated light.
  • the mount adapter 61b engages with the mount 71a of the camera module 71 to removably connect the mount adapter 61b to the camera module 71.
  • the storage unit 61c stores a mask pattern ID (Identifier) that identifies the mask pattern formed on the mask 61a.
  • the communication section 61d communicates with the communication section 71b controlled by the signal processing section 92 of the camera module 71, and receives the mask pattern ID stored in the storage section 61c. Read and send.
  • the camera module 71 includes a mount 71a, a communication section 71b, an image sensor 91, and a signal processing section 92.
  • the mount 71a engages with the mount adapter 61b of the mask unit 61 to detachably connect the mask unit 61 to the camera module 71.
  • the image sensor 91 has a configuration corresponding to the image sensor 32 in FIG. 1, captures the modulated light transmitted through the mask 61a, generates a modulated image G12, and outputs it to the signal processing section 92.
  • the signal processing unit 92 performs signal processing on the modulated image to generate RAW data and outputs it to the reconstruction unit 72.
  • the signal processing section 92 controls the communication section 71b to communicate with the communication section 61d of the attached mask unit 61, obtains a mask pattern ID for identifying the mask pattern of the mask 61a, and obtains a mask pattern ID for identifying the mask pattern of the mask 61a.
  • information on the mask pattern ID is included in the RAW data and output to the reconstruction unit 72.
  • the mask pattern ID information may be included in data other than RAW data, and may be written in Exif, for example.
  • the communication section 61d in the mask unit 61 and the communication section 71b in the camera module 71 may be connected to each other via physically configured terminals and communicate electrically, or It may also be one that communicates wirelessly through contact.
  • the communication between the communication section 61d in the mask unit 61 and the communication section 71b in the camera module 71 is achieved through TTL (Through TTL), which is realized between the camera (body) and the interchangeable lens in a general interchangeable lens camera.
  • TTL Three TTL
  • the Lens) Communication may be performed in accordance with a standardized communication protocol for realizing exposure and TTL distance measurement.
  • the communication section 61d in the mask unit 61 realizes communication on the interchangeable lens side.
  • a communication unit 71b in the camera module 71 realizes communication on the camera (body) side.
  • the communication units 61d and 71b are composed of processors with communication functions that execute various processes to achieve TTL (Through the Lens) exposure and TTL distance measurement in general interchangeable lens cameras. You may also do so.
  • the communication units 61d and 71b are composed of processors or the like, the only function that is substantially realized is the function of transmitting and receiving the mask pattern ID.
  • the reconstruction unit 72 has a configuration corresponding to the reconstruction unit 33 in FIG. 1, and has the same basic functions, but differs in that it includes a restoration matrix storage unit 72a.
  • the restoration matrix storage unit 72a stores a plurality of restoration matrices for restoring a modulated image modulated with a plurality of mask patterns in association with a mask pattern ID set according to the mask pattern.
  • the reconstruction unit 72 reads the mask pattern ID included in the RAW data (or Exif), searches the restoration matrix storage unit 72a, identifies the restoration matrix stored in association with the mask pattern ID, and specifies the The final image G13 is restored by performing reconstruction processing on the modulated image G12 using the restored matrix and outputted to the output unit 73.
  • the mask unit 61 and the camera module 71 are configured to be detachable via a mount 71a and a mount adapter 61b.
  • the mount 71a and the mount adapter 61b have a configuration that corresponds to a standardized lens mount and mount adapter adopted in general interchangeable lens cameras, and are compatible with lenses installed on the camera side of common interchangeable lens cameras.
  • the mount corresponds to the mount 71a, and the mount adapter provided on the interchangeable lens side corresponds to the mount adapter 61b.
  • Non-Patent Document 2 describes the relationship between horizontal and vertical misalignment between the image sensor and the mask and image quality deterioration with respect to rotation in the roll direction in the lensless camera described in the paper.
  • Non-Patent Document 2 According to the description in Non-Patent Document 2, it is clearly stated that sufficient image quality is guaranteed if the roll is rotated by about 1.5° in the rotational direction.
  • mount 71a and mount adapter 61b are mainly divided into screw-type mounts (practical mounts) and bayonet mounts.
  • the currently mainstream bayonet mount has three to four claws on the interchangeable lens side, and when the claws on the interchangeable lens side are fitted into the recesses on the camera (body) side, the By rotating the lens to the position where it is fixed with the pin, the claw on the interchangeable lens side engages with the protrusion on the camera side, and the interchangeable lens is fixed at a fixed angle to the camera (body). There is.
  • the repeatability of the rotational direction of the connection between the camera and the interchangeable lens in a bayonet mount interchangeable lens camera is determined by the fixing pin attached to the mount, and is therefore acceptable for the image quality of a lensless camera. It is sufficiently high against rotational errors.
  • the mask unit 61 by attaching the mask unit 61 to the camera module 71 in a configuration using the mount 71a and the mount adapter 61b shown in FIGS. 6 and 7, the mask 61a and the image sensor 91 can be connected without a lens.
  • the mask unit 61 is mounted so as to satisfy the geometrical relationship required to function as a camera, and there is no need for calibration each time the mask unit 61 is mounted, and the mask unit 61 is mounted while maintaining an appropriate distance and angle to the image sensor 91. becomes possible.
  • the external configuration of the mask unit 61 is as shown in FIG. With the element 91 facing each other, a claw (not shown) provided on the outer periphery and a recess (not shown) provided at the opposing position of the mount 71a are fitted together, and then fixed with a fixing pin. By rotating the mask unit 61 and the camera module 71 in a predetermined direction to a certain position, the claws and the protrusions engage with each other, and the mask unit 61 and the camera module 71 are locked together.
  • the image sensor 91 and the mask 61a are directly facing each other with the fixing pin in such a state that the mask 61a and the image sensor 91 satisfy the geometrical relationship necessary for functioning as a lensless camera. Since the mask 61a and the image sensor 91 are fixed in this state, the mask 61a and the image sensor 91 function as a lensless camera.
  • the mask pattern of the mask 61a includes not only patterns such as the URA pattern and the MURA pattern, but also various arrangement patterns (mask patterns) of the transmissive area 41 and the light-shielding area 42 in FIG. 2, and various angles of view. By changing it, images with various characteristics can be captured.
  • FIG. 9 a case will be considered in which there are mask units 61-1 and 61-2 equipped with masks 61a-1 and 61a-2 having two different mask patterns.
  • the mount adapters 61b-1 and 61b-2 have a common configuration.
  • the mask unit 61-1 can be attached to the camera module 71, or the mask unit 61-1 can be removed from the camera module 71 and the mask unit 61-2 can be attached.
  • the mask unit 61 is not limited to the example shown in FIG. 9, and even if the mask patterns of the masks 61a are different, the mount adapter 61b has a common configuration in all of them.
  • the mask unit 61 is configured to be detachable from the camera module 71, it can be easily replaced with a mask 61a having various mask patterns for the image sensor 91. It is considered possible to use. Furthermore, since calibration is not required during replacement, the user can quickly replace and use the mask unit 61 having the mask 61a having a desired mask pattern.
  • step S31 the signal processing unit 92 determines whether a power button (not shown) has been operated to turn on the power, or whether a new mask unit 61 has been newly attached to the mount 71a and replaced. .
  • the signal processing section 92 determines whether a power button (not shown) has been operated, and also controls the communication section 71b to determine whether new communication has been made with the communication section 61d of the mask unit 61. Based on this, it is determined whether the mask unit 61 has been newly attached to the mount 71a and has been replaced.
  • step S31 If it is determined in step S31 that the power button (not shown) has been operated to turn on the power, or that a new mask unit 61 has been attached to the mount 71a, the process proceeds to step S32.
  • step S32 the signal processing section 92 controls the communication section 71b to communicate with the communication section 61d of the mask unit 61 and requests the mask pattern ID.
  • the communication unit 61d reads out the mask pattern ID stored in the storage unit 61c and transmits it to the communication unit 71b.
  • the signal processing section 92 controls the communication section 71b to acquire the mask pattern ID transmitted from the communication section 61d of the mask unit 61.
  • step S33 the signal processing unit 92 stores the mask pattern ID.
  • step S31 determines that the power has not been turned on and that a new mask unit 61 has not been replaced with the mount 71a.
  • step S34 the signal processing unit 92 determines whether the power button (not shown) has been operated to turn off the power, and if it is determined that the power has not been turned off, the process returns to step S31.
  • step S34 If it is determined in step S34 that the power has been turned off, the process proceeds to step S35.
  • step S35 the signal processing unit 92 deletes the stored mask pattern ID.
  • the mask pattern ID is supplied from the attached mask unit 61 to the signal processing section 92 and stored, and the power is turned off. It is retained until the power is turned off, and is erased when the power is turned off.
  • the mask pattern ID may also be read out and stored due to other processing.
  • the mask pattern ID may be read and stored each time a shutter button is operated and an image is captured.
  • step S51 the mask 61a of the mask unit 61 modulates the light from the object surface (corresponding to the object surface G11) and causes it to enter the image sensor 91.
  • step S52 the image sensor 91 captures an image of light from the subject surface that has been modulated by the mask 61a, and outputs it to the signal processing unit 92 as a modulated image (corresponding to image G12). do.
  • step S53 the signal processing unit 92 generates RAW data of the modulated image, further writes the stored mask pattern ID information into the RAW data (or Exif), and outputs it to the reconstruction unit 72.
  • step S54 the reconstruction unit 72 acquires the RAW data supplied from the signal processing unit 92 of the camera module 71, and reads out the written mask pattern ID.
  • step S55 the reconstruction unit 72 accesses the restoration matrix storage unit 72a and reads out the restoration matrix stored in association with the read mask pattern ID.
  • step S56 the reconstruction unit 72 reconstructs the image from the RAW data output from the camera module 71 based on the captured modulated image (corresponding to image G12) using the restoration matrix to create a final image. It is output to the output unit 73 as a (restored image) (corresponding to image G13).
  • step S57 the output unit 73 performs signal processing on the reconstructed final image and outputs it as an image signal.
  • a modulated image corresponding to the mask pattern of the mask 61a can be generated by attaching the mask unit 61 equipped with the mask 61a made of an arbitrary mask pattern to the camera module 71 without using a lens.
  • the mask pattern ID corresponding to the mask pattern of the mask 61a is read out, and the final image (restored image) is reconstructed using the restoration matrix stored in association with the mask pattern ID. .
  • the reconstruction section 72 includes a reconstruction matrix storage section 72a in which a reconstruction matrix is stored in association with a mask pattern ID, and reads out the reconstruction matrix according to the mask pattern ID and performs reconstruction. Examples have been described in which the processing is implemented.
  • the restoration matrix is stored in a server or cloud computer on a network provided outside the imaging device 51, and when the mask unit 61 is attached to the camera module 71, The reconstruction unit 72 may be able to acquire the restoration matrix associated with the mask pattern ID read from the mask pattern ID via a network. Further, the reconstruction unit 72 and the output unit 73 themselves may be provided in a server on a network, a cloud computer, etc. outside the imaging device 51.
  • Second embodiment In the above, in the imaging device 51, a modulated image modulated by the mask 61a of the easily replaceable mask unit 61 is imaged, and the modulated image is modulated using a restoration matrix according to the mask pattern of the mask 61a of the mask unit 61. An example has been described in which a final image is reconstructed from images.
  • the mask unit 61 is attached to an existing interchangeable lens camera like an interchangeable lens, and the interchangeable lens camera captures a modulated image to generate RAW data with a mask pattern ID.
  • the final image may be generated by performing reconstruction processing on the modulated image using a restoration matrix corresponding to the mask pattern ID included in the RAW data using a personal computer (PC) or the like.
  • PC personal computer
  • a mask unit 61 is attached to an existing interchangeable lens camera, a modulated image is captured by the interchangeable lens camera, and RAW data with a mask pattern ID is generated.
  • RAW data with a mask pattern ID shows an example of the configuration of a lensless imaging system in which the final image is generated by performing reconstruction processing on the modulated image using the restoration matrix corresponding to the mask pattern ID included in the RAW data. .
  • a lensless imaging system 101 in FIG. 12 includes an imaging device 111 equipped with a mask unit 61 instead of a lens, and a personal computer 112.
  • the imaging device 111 is an existing interchangeable lens camera, and includes a lens mount 132 to which an interchangeable lens can be attached.
  • a mask unit 61 is attached to the imaging device 111 instead of the interchangeable lens. .
  • the mask unit 61 By attaching the mask unit 61 to the lens mount 132, the mask 61a is provided in front of the imaging device 131, so the imaging device 111 functions as a lensless camera.
  • the imaging device 111 does not have a configuration corresponding to the reconstruction unit 72 in FIG. 5, so it only captures a modulated image. , it is not possible to output the final image. Therefore, the imaging device 111 in FIG. 12 reads the mask pattern ID corresponding to the mask 61a from the mask unit 61, captures the modulated image, and writes the mask pattern ID when generating RAW data based on the modulated image. Then, the RAW data is stored in a storage medium and supplied to the PC 112 via the storage medium, or the RAW data is supplied to the PC 112 via communication such as a network.
  • the PC 112 When the PC 112 acquires RAW data generated based on a modulated image in which a mask pattern ID is written via a storage medium or communication, the PC 112 uses a restoration matrix corresponding to the mask pattern ID to generate a modulated image. A final image is generated and output by performing reconstruction processing on the image.
  • the imaging device 111 is a general interchangeable lens camera, and by connecting a lens mount 132 and a mount adapter 61b, a mask 61a is provided in front of the imaging device 131, so that It functions as a configuration corresponding to the image sensor 32 and mask 31 in FIG. 1, and functions substantially as a lensless camera.
  • mount adapter 61b and the lens mount 132 have the same configuration as the mount adapter 61b and the mount 71a described with reference to FIGS. 6 and 7, and have a standardized configuration for general interchangeable lens cameras. .
  • the imaging device 111 includes an imaging element 131, a signal processing section 151, a communication section 152, an external output section 153, a drive 154, and a removable storage medium 155.
  • the signal processing unit 151 has a configuration corresponding to the signal processing unit 92 in the camera module 71, performs signal processing on the image captured by the image sensor 131, generates RAW data, and outputs it to the external output unit 153.
  • the communication section 152 communicates with the communication section 61d and requests a mask pattern ID.
  • the communication section 61d of the mask unit 61 reads out the mask pattern ID stored in the storage section 61c and supplies it to the communication section 152 of the imaging device 111.
  • the communication unit 152 has a configuration corresponding to the communication unit 71b in the camera module 71, and when it acquires the mask pattern ID supplied from the mask unit 61, it supplies it to the signal processing unit 151.
  • the signal processing unit 151 uses the information of the mask pattern ID as RAW data when generating RAW data from a modulated image captured by the image sensor 131 based on the incident light modulated by the mask 61a. It is written in data (or Exif) and output to the external output section 153.
  • the communication unit 152 When functioning as an interchangeable lens camera, the communication unit 152 normally communicates with the interchangeable lens attached to the lens mount 132, and communicates with the lens type and control necessary to achieve TTL exposure and TTL distance measurement. Get information.
  • the signal processing unit 151 writes the lens model, control information, etc. when generating RAW data from the image captured by the image sensor 131 based on the incident light that enters through the interchangeable lens. .
  • the external output unit 153 outputs the RAW data supplied from the signal processing unit 151 to the PC 112 through communication processing via a network or the like, or controls the drive 154 and writes it to the removable storage medium 155.
  • the removable storage medium 155 includes magnetic disks (including flexible disks), optical disks (including CD-ROMs (Compact Disc-Read Only Memory), DVDs (Digital Versatile Discs)), and magneto-optical disks (MDs (Mini Discs)). ) or a semiconductor memory, etc., and is configured to be removable from the imaging device 111. By taking out the RAW data written therein and making it readable on the PC 112, the RAW data can be transferred to the PC 112. It is a configuration that can supply
  • the PC 112 acquires the modulated image captured by the imaging device 111 and recorded including the mask pattern ID in the state of RAW data via a network (not shown) or via the removable storage medium 155. , performs reconstruction processing on the modulated image to restore the final image.
  • the PC 112 includes a control section 171, an input section 172, an output section 173, a storage section 174, a communication section 175, a drive 176, and a removable storage medium 155, which are connected to each other via a bus 177. It is possible to send and receive data and programs.
  • the control unit 171 is composed of a processor and memory, and controls the entire operation of the PC 112.
  • the control unit 171 also includes a mask pattern ID acquisition unit 191, a restoration matrix identification unit 192, and a reconstruction processing unit 193.
  • the mask pattern ID acquisition unit 191 acquires RAW data of a modulated image acquired by the communication unit 175 via a network (not shown) or by controlling the drive 176 and reading from the removable storage medium 155. Get the mask pattern ID.
  • the restoration matrix identification unit 192 selects a mask pattern ID corresponding to the mask pattern ID acquired by the mask pattern ID acquisition unit 191 from among the restoration matrices 201-1 to 201-n stored in association with the mask pattern ID in the storage unit 174.
  • the restoration matrix 201 that is stored with the specified name is specified.
  • the reconstruction processing unit 193 performs reconstruction processing on the modulated image as RAW data using the restoration matrix 201 specified based on the obtained mask pattern ID to generate a final image.
  • the input unit 172 is composed of input devices such as a keyboard, a mouse, and a touch panel through which the user of the PC 112 inputs operation commands, and supplies various input signals to the control unit 171.
  • the output section 173 is controlled by the control section 171 and includes a display section and an audio output section.
  • the output unit 173 outputs and displays images of the operation screen and processing results on a display unit including a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence).
  • the output unit 173 also controls an audio output unit including an audio output device to reproduce various sounds, music, sound effects, and the like.
  • the storage unit 174 is composed of an HDD (Hard Disk Drive), SSD (Solid State Drive), or semiconductor memory, and is controlled by the control unit 171 to write or read various data and programs including content data. Furthermore, the storage unit 174 stores a plurality of restoration matrices 201-1 to 201-n in association with mask pattern IDs.
  • the communication unit 175 is controlled by the control unit 171 and realizes wired or wireless communications such as LAN (Local Area Network) and Bluetooth (registered trademark), and as necessary via a network (not shown). , and transmits and receives various data and programs to and from various devices including the imaging device 111. That is, the communication unit 175 receives RAW data when it is transmitted from the imaging device 111.
  • wired or wireless communications such as LAN (Local Area Network) and Bluetooth (registered trademark)
  • the drive 176 includes magnetic disks (including flexible disks), optical disks (including CD-ROMs (Compact Disc-Read Only Memory), DVDs (Digital Versatile Discs)), magneto-optical disks (including MDs (Mini Discs)), Alternatively, data is read and written to a removable storage medium 155 such as a semiconductor memory.
  • FIG. 14 shows a configuration based on the premise that RAW data of a modulated image in which mask pattern ID information is written by the imaging device 111 is stored in the removable storage medium 155.
  • an interchangeable lens (not shown) may be attached to the imaging device 111, and an image may be captured based on incident light that enters through the interchangeable lens.
  • the signal processing unit 151 generates an image by normal signal processing.
  • the mounting process is performed before that, and the communication section 152 communicates with the communication section 61d of the mask unit 61 to read the mask pattern ID stored in the storage section 61c. It is assumed that the mask pattern ID is acquired and supplied to the signal processing unit 151, and that the signal processing unit 151 stores the mask pattern ID of the mask unit 61 that is attached.
  • step S101 the mask 61a of the mask unit 61 modulates the light from the object surface (corresponding to the object surface G11) and makes it enter the image sensor 131.
  • step S102 the image sensor 131 captures an image of light from the subject surface that has been modulated by the mask 61a, and outputs it to the signal processing unit 151 as a modulated image (corresponding to image G12). do.
  • step S103 the signal processing unit 151 generates RAW data of the modulated image, writes the stored mask pattern ID information into the RAW data, and outputs it to the external output unit 153.
  • step S104 the external output unit 153 controls the drive 154 to write and store the RAW data in which the modulated image in which the mask pattern ID information is written into the removable storage medium 155, or It is transmitted to the PC 112 by communication via an undisclosed network.
  • the PC 112 is able to acquire RAW data in which a modulated image in which mask pattern ID information is written is recorded, via the removable storage medium 155 or a network (not shown). Become.
  • step S131 the control unit 171 controls the communication unit 175 or the drive 176 to display the modulated image in which the mask pattern ID information is written via the network (not shown) or the removable storage medium 155. Obtain recorded RAW data.
  • step S132 the mask pattern ID acquisition unit 191 reads and acquires the mask pattern ID from the RAW data in which the modulated image in which the information of the acquired mask pattern ID is written is recorded.
  • step S133 the restoration matrix specifying unit 192 accesses the storage unit 174, and determines which restoration matrices among the stored restoration matrices 201-1 to 201-n are stored in association with the read mask pattern ID. Identify and read matrix 201.
  • step S134 the reconstruction processing unit 193 uses the restoration matrix read out by the restoration matrix identification unit 192 based on the captured modulated image (corresponding to image G12) from the acquired RAW data to create an image. is reconstructed and output as a final image (restored image) (corresponding to image G13).
  • step S135 the reconstruction processing unit 193 displays the final image on the display unit in the output unit 173, or controls the drive 176 to store it in the removable storage medium 155.
  • ⁇ 1> A mask that modulates incident light and converts it into modulated light, An adapter that can be attached to and detached from the lens mount, and a storage section that stores related information for reconstructing an image corresponding to the incident light from a modulated image made of modulated light transmitted through the mask.
  • the mask consists of a predetermined mask pattern, In ⁇ 1> or ⁇ 2>, an image corresponding to the incident light is reconstructed by performing processing on the modulated image using a restoration matrix set corresponding to the predetermined mask pattern.
  • Mask unit as described.
  • the related information is a mask pattern ID that identifies the predetermined mask pattern
  • the mask unit according to ⁇ 3> wherein the image corresponding to the incident light is reconstructed by subjecting the modulated image to processing using the restoration matrix that is set corresponding to the mask pattern ID.
  • ⁇ 5> The lens mount; When the adapter is attached to the lens mount of an external device including a signal processing unit that generates RAW data from the modulated image, The mask unit according to ⁇ 4>, further comprising a communication section that transmits the mask pattern ID stored in the storage section to the signal processing section.
  • the signal processing unit writes the mask pattern ID to the RAW data when generating the RAW data from the modulated image,
  • the modulated image is subjected to processing using the restoration matrix set corresponding to the mask pattern ID,
  • the mask unit according to ⁇ 5> wherein an image corresponding to the incident light is reconstructed.
  • a mask that modulates incident light and converts it into modulated light a mask unit equipped with an adapter that can be detached from the lens mount; the lens mount; an image sensor that captures a modulated image made of modulated light transmitted through the mask; and a camera module comprising: An image capturing device in which an image corresponding to the incident light is reconstructed from the modulated image.
  • the mask consists of a predetermined mask pattern, In ⁇ 7> or ⁇ 8>, an image corresponding to the incident light is reconstructed by performing processing on the modulated image using a restoration matrix set corresponding to the predetermined mask pattern. The imaging device described.
  • the mask unit further includes an ID storage section that stores a mask pattern ID that identifies the predetermined mask pattern,
  • the imaging device according to ⁇ 9> wherein the image corresponding to the incident light is reconstructed by performing processing on the modulated image using the restoration matrix that is set corresponding to the mask pattern ID.
  • the mask unit includes: further comprising a first communication unit that transmits the mask pattern ID stored in the ID storage unit to the camera module,
  • the camera module includes: a second communication unit that receives the mask pattern ID transmitted from the mask unit; further comprising a signal processing unit that generates RAW data from the modulated image,
  • the signal processing unit writes the mask pattern ID to the RAW data when generating the RAW data from the modulated image;
  • the restoration matrix is specified from the mask pattern ID written in the RAW data, and the modulated image is processed using the restoration matrix specified from the mask pattern ID to correspond to the incident light.
  • ⁇ 12> The imaging according to ⁇ 11>, wherein the RAW data in which the mask pattern ID is written is supplied to an external device including a reconstruction unit that reconstructs an image corresponding to the incident light from the modulated image.
  • Device. ⁇ 13> The imaging device according to ⁇ 12>, wherein the RAW data in which the mask pattern ID is written is supplied to the external device via a network or via a storage medium.
  • the imaging device which reconstructs an image corresponding to incident light.
  • the reconstruction unit further includes a restoration matrix storage unit that stores a plurality of restoration matrices in association with the mask pattern ID, The reconstruction unit identifies the restoration matrix that is stored in association with the mask pattern ID written in the RAW data, from among the plurality of restoration matrices stored in the restoration matrix storage unit, The imaging device according to ⁇ 14>, wherein the modulated image is subjected to processing using the specified restoration matrix to reconstruct an image corresponding to the incident light.
  • the mask unit includes: a mask that has a predetermined mask pattern and modulates incident light to convert it into modulated light; comprising an adapter that can be detachably attached to a lens mount, and a first communication unit that transmits a mask pattern ID for identifying the predetermined mask pattern to the camera module
  • the camera module includes: an image sensor that captures a modulated image made of modulated light transmitted through the mask; a second communication unit that receives the mask pattern ID transmitted from the mask unit;
  • a method of operating an imaging device comprising: a signal processing unit that generates RAW data from the modulated image; the first communication unit transmits the mask pattern ID to the camera module; the second communication unit receives the mask pattern ID transmitted from the mask unit;
  • the signal processing unit includes a step of writing the mask pattern ID received by the second communication unit into the RAW data, Processing using a restoration matrix set corresponding to the mask pattern ID written in

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、レンズレス撮像において、マスクを容易に交換できるようにするマスクユニット、並びに撮像装置および撮像装置の作動方法に関する。 入射光に変調を掛けて変調光に変換するマスクと、レンズマウントに脱着可能なアダプタとを備えたマスクユニットと、レンズマウントと、マスクを透過した変調光からなる変調画像を撮像する撮像素子とを備えたカメラモジュールとを備えた構成とし、マスクを透過した変調光からなる変調画像に基づいて、入射光に対応する画像が再構成されるようにする。本開示は、レンズレスカメラに適用することができる。

Description

マスクユニット、並びに撮像装置および撮像装置の作動方法
　本開示は、マスクユニット、並びに撮像装置および撮像装置の作動方法に関し、特に、レンズレス撮像において、マスクを容易に交換できるようにしたマスクユニット、並びに撮像装置および撮像装置の作動方法に関する。
　透過領域と不透過領域とからなる２次元のパターンが設けられたマスクを撮像素子の前段に配置し、マスクを通して撮像素子上に投影された観測値からなる変調画像に基づいて、シーンとなる元画像を再構成するレンズレスカメラの技術が広く一般に知られている。
　レンズレスカメラは、シーンからの放射光が、マスクを通して変調されることで、撮像素子上にどのように投影されるかの情報を、予めマトリックスとして定義しておき、そのマトリックスと撮像素子上に投影された変調画像から、実際のシーンを再構成するものである（非特許文献１参照）。
　このマスクを構成する透過領域は、遮光された不透過領域に対して、単純な穴で構成されてもよいし、穴のそれぞれにレンズのような集光素子が配置されるような構成でもよい。
　透過領域が単純な穴の場合、サイズが大きくなるとセンサ上に結像する光がぼけてしまい、再構成される画像の画質が低下する。
　これに対して、透過領域となる穴にレンズのような集光素子が配置される構成の場合、光が集光されることで、センサ上における結像のぼけが抑制されることにより、シャープな像として結像されるので、再構成される画像の画質を向上させることができる。
　この透過領域にはレンズ以外の集光素子が設けられる場合もあり、その例として、FZP（Fresnel Zone Plate）を用いる方法がある（非特許文献２参照）。
　FZPは透明、不透明な同心円のゾーンが交互に配置された形をした集光素子であり、外側のゾーンほど間隔が狭くなっており、外側に入射した光ほど光の方向が大きく変わる不等間隔回折格子として働く事で、入射光が光軸上の一点に集光するものである。
Boominathan, Vivek, et al. "Lensless Imaging: A computational renaissance." IEEE Signal Processing Magazine 33.5 (2016): 23-35. Reshetouski, Ilya, et al. "Lensless Imaging with Focusing Sparse URA Masks in Long-Wave Infrared and Its Application for Human Detection." Computer Vision-ECCV 2020: 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part XIX 16. Springer International Publishing, 2020.
　ところで、撮像素子とマスクとが一体になっているカメラモジュールの場合、異なる画角や異なる性質の画像を撮影したい時には、異なるマスクパターンを備えたマスクを有するカメラモジュールをその都度用意する必要があった。
　そこで、カメラモジュールとマスクとを別々に用意し、必要に応じて異なる組み合わせにする方法が考えられる。
　この方法を用いれば、複数のカメラモジュールを用意しなくても、比較的安価なマスクのみを複数のマスクパターンにして用意し、必要に応じて交換すれば良くなる。
　しかしながら、レンズレスカメラにおいては、マスクと撮像素子の位置や回転の関係が、再構成される画像の画質に影響を与えるため、マスクのみを複数用意して交換できるようにする場合、交換の度に撮像素子とマスクとの位置関係を調整するためのキャリブレーションが必要となる。
　撮像素子とマスクとの位置関係を調整するためのキャリブレーションを実現するには、それぞれの位置や回転に係る微調整を繰り返す必要があり、手間と時間を要していた。
　本開示は、このような状況に鑑みてなされたものであり、特に、レンズレス撮像において、マスクを容易に交換できるようにする。
　本開示の第１の側面のマスクユニットは、入射光に変調を掛けて変調光に変換するマスクと、レンズマウントに脱着可能なアダプタと、前記マスクを透過した変調光からなる変調画像から前記入射光に対応する画像を再構成するための関連情報を記憶する記憶部とを備えるマスクユニットである。
　本開示の第１の側面においては、マスクにより、入射光に変調が掛けられて変調光に変換され、アダプタによるレンズマウントに脱着可能な状態で装着され、前記マスクを透過した変調光からなる変調画像から前記入射光に対応する画像を再構成するための関連情報が記憶される。
　本開示の第２の側面の撮像装置は、入射光に変調を掛けて変調光に変換するマスクと、レンズマウントに脱着可能なアダプタとを備えたマスクユニットと、前記レンズマウントと、前記マスクを透過した変調光からなる変調画像を撮像する撮像素子とを備えたカメラモジュールとを備え、前記変調画像から前記入射光に対応する画像が再構成される撮像装置である。
　本開示の第２の側面においては、マスクユニットにおいて、マスクにより、入射光に変調が掛けられて変調光に変換され、カメラモジュールのレンズマウントに脱着可能な状態で、マスクユニットが装着され、撮像素子により、前記マスクを透過した変調光からなる変調画像が撮像され、前記変調画像から前記入射光に対応する画像が再構成される。
　本開示の第３の側面の撮像装置の作動方法は、マスクユニットと、カメラモジュールとからなる撮像装置において、前記マスクユニットが、所定のマスクパターンを有し、入射光に変調を掛けて変調光に変換するマスクと、レンズマウントに脱着可能なアダプタと前記所定のマスクパターンを識別するマスクパターンIDを、前記カメラモジュールに送信する第１の通信部を備え、前記カメラモジュールが、前記マスクを透過した変調光からなる変調画像を撮像する撮像素子と、前記マスクユニットより送信されてくる、前記マスクパターンIDを受信する第２の通信部と、前記変調画像からRAWデータを生成する信号処理部とを備えた撮像装置の作動方法であって、前記第１の通信部が、前記マスクパターンIDを、前記カメラモジュールに送信し、前記第２の通信部が、前記マスクユニットより送信されてくる、前記マスクパターンIDを受信し、前記信号処理部が、前記変調画像から前記RAWデータを生成するとき、前記RAWデータに、前記第２の通信部により受信された、前記マスクパターンIDを書き込むステップを含み、前記RAWデータに書き込まれた前記マスクパターンIDに対応して設定される復元行列を用いた処理が、前記変調画像に施されて、前記入射光に対応する画像が再構成される撮像装置の作動方法である。
　本開示の第３の側面においては、入射光に変調を掛けて変調光に変換するマスクが有するマスクパターンを識別するマスクパターンIDが、前記カメラモジュールに送信され、前記マスクユニットより送信されてくる、前記マスクパターンIDが受信され、前記変調光からなる変調画像から前記RAWデータが生成されるとき、前記RAWデータに、受信された、前記マスクパターンIDが書き込まれ、前記RAWデータに書き込まれた前記マスクパターンIDに対応して設定される復元行列を用いた処理が、前記変調画像に施されて、前記入射光に対応する画像が再構成される。
レンズレスカメラの概要を説明する図である。 レンズレスカメラの撮像原理を説明する図である。 レンズレス撮像処理による演算処理を説明する図である。 URAマスクとMURAマスクの構成例を説明する図である。 本開示の第１の実施の形態の撮像装置の構成例を説明する図である。 マウント付きマスクとカメラモジュールの構成を説明する図である。 図６のカメラモジュールからマウント付きマスクを取り外した状態を説明する図である。 マウント付きマスクの外観構成例を説明する図である。 マウント付きマスクを交換して装着する例を説明する図である。 図５の撮像装置におけるマウント処理を説明するフローチャートである。 図５の撮像装置における撮像処理を説明するフローチャートである。 本開示の第２の実施の形態のレンズレス撮像システムの構成例を説明する図である。 図１２の撮像装置の構成例を説明する図である。 図１２のPCの構成例を説明する図である。 図１２の撮像装置による撮像処理を説明するフローチャートである。 図１２のPCによる再構成処理を説明するフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．レンズレス撮像装置の概要
　２．第１の実施の形態
　３．第２の実施の形態
　＜＜１．レンズレス撮像装置の概要＞＞
　図１を参照して、レンズレス撮像装置の概要について説明する。尚、図１は、撮像装置１１の側面断面図である。
　図１の撮像装置１１は、いわゆるレンズレスカメラであり、マスク３１、撮像素子３２、再構成部３３、および出力部３４を備えている。
　マスク３１は、撮像素子３２の前段に設けられる遮光素材からなる板状の構成であり、例えば、図２の左部で示されるように、入射光を透過させる穴状の開口部からなる透過領域４１と、それ以外の遮光された遮光領域４２とから構成されている。
　マスク３１は、光軸ＡＸで示される被写体面（現実には３次元の被写体からの放射光が発せられる面）Ｇ１からの光を入射光として受光すると、透過領域４１を介して、入射光を透過させることで、被写体面Ｇ１からの入射光に対して全体として変調を掛けて、変調光に変換し、変換した変調光を撮像素子３２により受光させて撮像させる。
　撮像素子３２は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサからなり、被写体面Ｇ１からの入射光に、マスク３１により変調が掛けられた変調光を撮像し、画素単位の信号からなる変調信号Ｇ２として再構成部３３に出力する。より詳細には、撮像素子３２は、図示せぬ信号処理部を備えており、変調信号Ｇ２からなる画像に基づいて、RAWデータを生成して再構成部３３に出力する。
　尚、マスク３１は、少なくとも撮像素子３２の全面を内包する大きさであり、基本的に撮像素子３２において、マスク３１を透過することで変調が掛けられた変調光のみが受光される構成とされている。
　また、マスク３１に構成される透過領域４１は、少なくとも撮像素子３２の画素サイズよりも大きいサイズである。また、撮像素子３２とマスク３１との間には、微小な距離ｄの隙間が設けられている。
　例えば、図２の左上部で示されるように、被写体面Ｇ１上の点光源ＰＡ，ＰＢ，ＰＣからの入射光が、マスク３１の透過領域４１を透過して撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおいて、それぞれ光強度ａ，ｂ，ｃの光線として受光されるものとする。
　図２の左上部で示されるように、各画素の検出感度は、マスク３１に設定される透過領域４１により入射光が変調されることで、入射角に応じた指向性を持つことになる。ここでいう各画素の検出感度に入射角指向性を持たせるとは、撮像素子３２上の領域に応じて入射光の入射角度に応じた受光感度特性を異なるものとなるように持たせることである。
　すなわち、被写体面Ｇ１を構成する光源が点光源であることを前提とした場合、撮像素子３２においては、同一の点光源より発せられた同一の光強度の光線が、入射されることになるが、マスク３１により変調されることで、撮像素子３２の撮像面上の領域毎に入射角度が変化する。そして、マスク３１により撮像素子３２上の領域に応じて入射光の入射角度が変化することにより受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、撮像素子３２の撮像面の前段に設けられたマスク３１により撮像素子３２上の領域毎に異なる感度で検出されることになり、領域毎に異なる検出信号レベルの検出信号が検出される。
　より具体的には、図２の右上部で示されるように、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。尚、図２における式（１）乃至式（３）は、図２における撮像素子３２上における位置Ｐａ，Ｐｂ，Ｐｃと上下関係が反転している。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、α１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数である。
　また、β１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。
　さらに、γ１は、撮像素子３２上の位置Ｐａにおける復元する被写体面Ｇ１上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。
　従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐａにおける点光源ＰＡからの光線による検出信号レベルを示したものである。
　また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐａにおける点光源ＰＢからの光線による検出信号レベルを示したものである。
　さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐａにおける点光源ＰＣからの光線による検出信号レベルを示したものである。
　従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの係数α１，β１，γ１を掛けたものの合成値として表現される。以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。
　同様に、点光源Ｐｂにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。また、点光源Ｐｃにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ点光源Ｐａにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。
　ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。尚、この位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルＤＡ，ＤＢ，ＤＣからなる画像が、図１の変調信号Ｇ２に対応する。
　すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、光強度ａ，ｂ，ｃを解くことで、図２の右下部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像（最終画像）が再構成されて復元される。尚、この再構成される画像が、図１の画像Ｇ３に対応する。
　また、図２の左上部で示される撮像素子３２と被写体面Ｇ１との距離が変化する場合、係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３は、それぞれ変化することになるが、この係数セットを変化させることで、様々な距離の被写体面の復元画像（最終画像）を再構成させることができる。
　このため、１回の撮像により、係数セットを様々な距離に対応するものに変化させることで、撮像位置から様々な距離の被写体面の画像を再構成することができる。
　結果として、図１の撮像装置１１を用いた撮像においては、レンズを用いた撮像装置での撮像において合焦点がずれた状態で撮像される、いわゆる、ピンぼけといった現象を意識する必要がなく、視野内に撮像したい被写体が含まれるように撮像されていれば、距離に応じた係数セットを変化させることで様々な距離の被写体面の画像を、撮像後に再構成することができる。
　尚、図２の右上部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではなく、単なる観測値となり、観測値からなる画像が変調信号Ｇ２に相当する。また、図２の右下部で示される検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値、すなわち、変調信号Ｇ２に基づいて復元された、復元画像（最終画像）の各画素の値なので、画素値となる。すなわち、この被写体面Ｇ１の復元画像（最終画像）が、画像Ｇ３に対応する。
　このような構成により、撮像装置１１は、いわゆるレンズレスカメラとして機能させることが可能となる。結果として、撮像レンズが必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。また、係数セットを様々に変化させることにより、様々な距離の被写体面における最終画像（復元画像）を再構成して復元することが可能となる。
　尚、以降においては、撮像素子３２により撮像された、再構成される前の変調信号Ｇ２に相当する画像を単に変調画像と称し、変調画像が信号処理されることにより再構成されて復元される画像Ｇ３に相当する画像を最終画像（復元画像）と称する。従って、１枚の変調画像からは、上述した係数セットを様々に変化させることにより、様々な距離の被写体面Ｇ１上の画像を最終画像として再構成させることができる。
　再構成部３３は、上述した係数セットを備えており、撮像装置１１の撮像位置から被写体面Ｇ１までの距離に応じた係数セットを用いて、撮像素子３２より供給されるRAWデータからなる、撮像された変調画像（図１の変調信号Ｇ２）に基づいて、最終画像（復元画像）（図１の画像Ｇ３）を再構成して出力部３４に出力する。
　出力部３４は、再構成部３３より供給されてきた最終画像に信号処理を加えて画像信号として出力する。
　＜マスクと撮像素子との関係について＞
　上述したような原理により実現される撮像装置１１の一連の処理は、まとめると図３で示されるような処理となる。
　すなわち、図１の被写体面Ｇ１に相当する入力画像Xからなる入射光が、マスク３１に入射することで、マスク３１のパターンAによる変調が掛けられて、撮像素子３２により撮像される。
　撮像素子３２は、被写体面Ｇ１に相当する入力画像Ｘに、マスク３１のパターンAで変調が掛けられた入射光を、図１の変調信号Ｇ２に相当する変調画像Yとして撮像し、再構成部３３に出力する。
　再構成部３３は、変調画像Yに対して信号処理を施すことにより、図１の最終画像Ｇ３に相当する、入力画像Ｘに対応する最終画像X’を再構成する。
　この撮像装置１１の一連の処理において、撮像素子３２により撮像される変調信号Ｇ２に相当する変調画像Yは、以下の式（４）で示されるような、マスク３１のパターンAと、入力画像Ｘとの畳み込みとして表現できることが知られている。
　Y=A＊X
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　ここで、Yは、図３で示されるように、撮像素子３２により撮像された変調画像であり、Aはマスク３１のパターンを表現する行列であり、Xは入力画像であり、＊は畳み込み演算を表している。
　行列Aとして表現されるマスク３１のパターンは、例えば、図４の左部で示されるURA(Uniformly Redundant Arrays)パターンＰ１や図４の右部で示されるMURA(Modified URA)パターンＰ２が一般的である。
　URAパターンＰ１およびMURAパターンＰ２は、自己相関関数がδ関数となることが知られており、この特徴を生かすと画像の再構成処理を下記の式（５）で示されるような畳み込みで行うことができ、FFT(Fast Fourier Transform)により軽量に演算を行うことが可能である。
　X'=G＊A＊X=F-1(F(G)・F(A＊X))
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　ここで、X'は、図１における再構成画像Ｇ３に対応する再構成画像を表し、Gはマスク３１のパターンAの行列に対応した復元行列（Aの逆行列）を表す。
　＜＜２．第１の実施の形態＞＞
　＜本開示のレンズレス撮像装置の構成例＞
　次に、図５を参照して、本開示のレンズレスカメラからなる撮像装置の構成例について説明する。
　図５の撮像装置５１は、図１の撮像装置１１同様に、レンズレスカメラであり、マスクユニット６１、撮像素子９１を備えたカメラモジュール７１、再構成部７２、および出力部７３を備えている。
　尚、出力部７３の構成は、基本的に、図１の撮像装置１１における出力部３４と対応する機能を備えたものである。
　すなわち、図５の撮像装置５１において、図１の撮像装置１１と異なる点は、マスク３１、撮像素子３２、および再構成部３３に代えて、マスクユニット６１、撮像素子９１を備えたカメラモジュール７１、および再構成部７２が設けられた点である。
　カメラモジュール７１は、撮像素子９１、および信号処理部９２を備えており、図６，図７で示されるように、マスク６１ａを備えたマスクユニット６１を、マウント７１ａに対してマウントアダプタ６１ｂを嵌め込むことで着脱可能に係合している。
　尚、図６は、カメラモジュール７１にマスクユニット６１が装着されて係合された状態の側面断面図であり、図７は、カメラモジュール７１からマスクユニット６１が取り外れた状態の側面断面図である。
　また、マスクユニット６１におけるマスク６１ａと、撮像素子９１とが、図１におけるマスク３１、および撮像素子３２に対応する構成となる。
　マスクユニット６１は、マスク６１ａ、マウントアダプタ６１ｂ、記憶部６１ｃ、および通信部６１ｄとから構成される。
　マスク６１ａは、図１のマスク３１に対応する構成であり、被写体面Ｇ１１からの入射光に変調を掛けて変調光として撮像素子９１に入射させる。
　マウントアダプタ６１ｂは、カメラモジュール７１のマウント７１ａと係合してマウントアダプタ６１ｂをカメラモジュール７１に脱着可能な状態で接続する。
　記憶部６１ｃは、マスク６１ａに形成されているマスクパターンを識別するマスクパターンID（Identifier）を記憶している。
　通信部６１ｄは、マスクユニット６１が、カメラモジュール７１に装着されるとき、カメラモジュール７１の信号処理部９２により制御される通信部７１ｂと通信し、記憶部６１ｃに記憶されているマスクパターンIDを読み出して、送信する。
　カメラモジュール７１は、マウント７１ａおよび通信部７１ｂ、並びに撮像素子９１および信号処理部９２を備えている。
　マウント７１ａは、マスクユニット６１のマウントアダプタ６１ｂと係合して、マスクユニット６１をカメラモジュール７１に脱着可能な状態で接続させる。
　撮像素子９１は、図１の撮像素子３２に対応する構成であり、マスク６１ａを透過して変調された変調光を撮像して、変調画像Ｇ１２を生成して信号処理部９２に出力する。
　信号処理部９２は、変調画像を信号処理してRAWデータを生成して再構成部７２に出力する。
　また、信号処理部９２は、通信部７１ｂを制御して、装着されたマスクユニット６１の通信部６１ｄと通信させ、マスク６１ａのマスクパターンを識別するマスクパターンIDを取得し、変調画像に基づいたRAWデータを生成する際、マスクパターンIDの情報をRAWデータに含めて生成し、再構成部７２に出力する。尚、マスクパターンIDの情報については、RAWデータ以外のデータに含まれるようにしてもよく、例えば、Exifに書き込まれるようにしてもよい。
　尚、マスクユニット６１における通信部６１ｄと、カメラモジュール７１における通信部７１ｂとは、物理的に構成される端子などを介して相互に接続された状態で電気的に通信するものでもよいし、非接触で無線通信するものでもよい。
　また、マスクユニット６１における通信部６１ｄと、カメラモジュール７１における通信部７１ｂとの通信は、一般的なレンズ交換式カメラにおける、カメラ（ボディ）と、交換レンズとの間で実現されるTTL（Through the Lens）露光やTTL測距を実現するための規格化された通信プロトコルに従った通信を行うようにしてもよい。
　一般的なレンズ交換式カメラにおける、カメラ（ボディ）と、交換レンズとの規格化された通信プロトコルに従った通信を行う場合、マスクユニット６１における通信部６１ｄが、交換レンズ側の通信を実現し、カメラモジュール７１における通信部７１ｂが、カメラ（ボディ）側の通信を実現する。
　また、通信部６１ｄ，７１ｂは、一般的なレンズ交換式カメラにおいてTTL（Through the Lens）露光やTTL測距を実現するための各種の処理を実行する、通信機能を備えたプロセッサなどで構成されるようにしてもよい。ただし、この例では、通信部６１ｄ，７１ｂがプロセッサなどで構成されていても、実質的に実現される機能は、マスクパターンIDが送受信される機能のみとなる。
　再構成部７２は、図１の再構成部３３に対応する構成であり、基本的な機能は同一であるが、復元行列記憶部７２ａを備えている点で異なる。
　復元行列記憶部７２ａは、複数のマスクパターンで変調された変調画像を復元するための複数の復元行列を、マスクパターンに応じて設定されるマスクパターンIDに対応付けて記憶している。
　再構成部７２は、RAWデータ（または、Exif）に含まれるマスクパターンIDを読み出し、復元行列記憶部７２ａを検索して、マスクパターンIDに対応付けて記憶されている復元行列を特定し、特定した復元行列を用いて変調画像Ｇ１２に対して再構成処理を施すことで最終画像Ｇ１３を復元して出力部７３に出力する。
　＜カメラモジュールと、マスクユニットとの関係＞
　図６，図７で示されるように、マスクユニット６１と、カメラモジュール７１とは、マウント７１ａおよびマウントアダプタ６１ｂを介して、着脱可能な構成とされる。
　マウント７１ａおよびマウントアダプタ６１ｂは、一般的なレンズ交換式カメラにおいて採用される規格化されたレンズマウントとマウントアダプタとに対応する構成であり、一般的なレンズ交換式カメラにおけるカメラ側に設けられるレンズマウントがマウント７１ａに対応し、交換レンズ側に設けられるマウントアダプタが、マウントアダプタ６１ｂに対応する。
　上述した非特許文献２には、当該論文で記載されているレンズレスカメラにおいて、撮像素子とマスクと間の水平垂直方向のずれと、ロール方向の回転に対する画質劣化の関係が記述されている。
　非特許文献２の記述によれば、ロール回転方向で1.5°程度の回転であれば、十分な画質が保証されることが明示されている。
　マウント７１ａおよびマウントアダプタ６１ｂの形式は、主に、ねじ込み式マウント（プラクチカマウント）とバヨネットマウントに分けられる。
　このうち、現在主流のバヨネットマウントは、交換レンズ側に３個乃至４個の爪が設けられており、カメラ（ボディ）側の凹部に、交換レンズ側の爪を嵌め込んだ状態で、固定用のピンで固定される位置まで回転させることで、交換レンズ側の爪とカメラ側の凸部とを噛み合わせて、交換レンズをカメラ（ボディ）に対して決まった角度で固定させる構成とされている。
　一般的に、バヨネットマウントによるレンズ交換式カメラにおけるカメラと交換レンズとの接続に係る回転方向の繰り返し精度は、マウントに付けられた固定用のピンによって決まるため、レンズレスカメラの画質に許容される回転誤差に対しては、十分高い。
　このため、図６，図７で示される、マウント７１ａとマウントアダプタ６１ｂとを用いた構成で、マスクユニット６１が、カメラモジュール７１に装着されることで、マスク６１ａと撮像素子９１とがレンズレスカメラとして機能するための幾何学的関係を満たすように装着され、マスクユニット６１を装着する度にキャリブレーションの必要がなく、撮像素子９１に対して適切な距離と角度を保った状態で装着することが可能となる。
　より詳細には、マスクユニット６１の外観構成は、図８で示されるようなものであり、周囲に設けられた凹凸部を把持することで、マスクユニット６１のマウントアダプタ６１ｂとカメラモジュール７１の撮像素子９１とが対向する状態で、外周部に設けられた図示せぬ爪と、マウント７１ａの対向する位置に設けられた図示せぬ凹部とを嵌め合わせた後、固定用のピンで固定される位置まで、所定の方向に回転させることで、爪と凸部とが噛み合ってマスクユニット６１とカメラモジュール７１とが係止される。
　このとき、撮像素子９１とマスク６１ａとは、固定用のピンにより、マスク６１ａと撮像素子９１とがレンズレスカメラとして機能するために必要な幾何学的関係を満たす状態で、相互に正対した状態で固定されるので、マスク６１ａと撮像素子９１とがレンズレスカメラとして機能する。
　また、マスク６１ａのマスクパターンは、上述したように、URAパターンやMURAパターンなどのパターンのみならず、図２の透過領域４１と遮光領域４２との配置パターン（マスクパターン）や画角を様々に変えることで、様々な特性の画像を撮像することができる。
　ここで、例えば、図９で示されるように、２種類の異なるマスクパターンのマスク６１ａ－１，６１ａ－２を備えたマスクユニット６１－１，６１－２が存在するような場合について考える。図９のマスクユニット６１－１，６１－２においては、いずれも、マウントアダプタ６１ｂ－１，６１ｂ－２が、共通の構成とされる。
　このため、マスクユニット６１－１をカメラモジュール７１に装着することもできるし、マスクユニット６１－１をカメラモジュール７１から取り外して、マスクユニット６１－２を装着することもできる。
　逆に、マスクユニット６１－２をカメラモジュール７１から取り外して、マスクユニット６１－１を装着することもできる。
　すなわち、マスクユニット６１は、図９の例に限らず、マスク６１ａのマスクパターンが異なっていても、マウントアダプタ６１ｂはいずれにおいても共通の構成とされている。
　このように、マスクユニット６１は、カメラモジュール７１に対して脱着可能な構成とされていることから、撮像素子９１に対して、様々なマスクパターンのマスク６１ａを備えたものと容易に交換して使用することが可能とされている。また、交換の際、キャリブレーションも必要としないので、ユーザは、所望とするマスクパターンからなるマスク６１ａを有するマスクユニット６１を素早く交換して使用することが可能となる。
　＜マウント処理＞
　次に、図１０のフローチャートを参照して、カメラモジュール７１に対して、マスクユニット６１が装着されるとき、または、電源オンにされるときの図５の撮像装置５１におけるマスクユニットの６１のマウント処理について説明する。
　ステップＳ３１において、信号処理部９２は、図示せぬ電源ボタンが操作されて電源オンにされたか、または、新たなマスクユニット６１がマウント７１ａに新たに装着されて、交換されたか否かを判定する。
　より詳細には、信号処理部９２は、図示せぬ電源ボタンが操作されたか否かを判定すると共に、通信部７１ｂを制御して、マスクユニット６１の通信部６１ｄと新たに通信がなされたか否かに基づいて、マスクユニット６１がマウント７１ａに新たに装着されて、交換されたか否かを判定する。
　ステップＳ３１において、図示せぬ電源ボタンが操作されて電源オンにされたか、または、新たなマスクユニット６１がマウント７１ａに装着されたと判定された場合、処理は、ステップＳ３２に進む。
　ステップＳ３２において、信号処理部９２は、通信部７１ｂを制御して、マスクユニット６１の通信部６１ｄと通信し、マスクパターンIDを要求する。通信部６１ｄは、この要求に応じて、記憶部６１ｃに記憶されているマスクパターンIDを読み出して、通信部７１ｂに送信する。信号処理部９２は、通信部７１ｂを制御して、マスクユニット６１の通信部６１ｄより送信されてくるマスクパターンIDを取得する。
　ステップＳ３３において、信号処理部９２は、マスクパターンIDを記憶する。
　尚、ステップＳ３１において、電源オンにされておらず、かつ、新たなマスクユニット６１がマウント７１ａに交換されていないと判定された場合、ステップＳ３２，Ｓ３３の処理がスキップされる。
　ステップＳ３４において、信号処理部９２は、図示せぬ電源ボタンが操作されて電源オフにされたか否かを判定し、電源オフにされていないと判定された場合、処理は、ステップＳ３１に戻る。
　そして、ステップＳ３４において、電源オフにされたと判定された場合、処理は、ステップＳ３５に進む。
　ステップＳ３５において、信号処理部９２は、記憶しているマスクパターンIDを削除する。
　以上の処理により、電源オンにされたか、または、マスクユニット６１が交換されると、装着されているマスクユニット６１よりマスクパターンIDが信号処理部９２に供給されて記憶され、電源オフとされるまで保持されて、電源オフにされると消去される。尚、以上においては、電源オンにされたか、または、マスクユニット６１が交換されたときをきっかけとしてマスクパターンIDが読み出されて記憶される例について説明してきたが、その他の処理をきっかけとしてもよく、例えば、シャッタボタンが操作されて撮像がなされる度に、マスクパターンIDが読み出されて記憶されるようにしてもよい。
　＜図５の撮像装置による撮像処理＞
　次に、図１１のフローチャートを参照して、図５の撮像装置５１による撮像処理について説明する。
　ステップＳ５１において、マスクユニット６１のマスク６１ａは、被写体面（被写体面Ｇ１１に相当）からの光に変調を掛けて、撮像素子９１に入射させる。
　ステップＳ５２において、撮像素子９１は、被写体面からの光であって、マスク６１ａにより変調が掛けられた光からなる像を撮像して、変調画像（画像Ｇ１２に相当）として信号処理部９２に出力する。
　ステップＳ５３において、信号処理部９２は、変調画像のRAWデータを生成し、さらに、記憶しているマスクパターンIDの情報をRAWデータ（またはExif）に書き込み、再構成部７２に出力する。
　ステップＳ５４において、再構成部７２は、カメラモジュール７１の信号処理部９２より供給されるRAWデータを取得し、書き込まれたマスクパターンIDを読み出す。
　ステップＳ５５において、再構成部７２は、復元行列記憶部７２ａにアクセスし、読み出したマスクパターンIDに対応付けて記憶されている復元行列を読み出す。
　ステップＳ５６において、再構成部７２は、カメラモジュール７１より出力されるRAWデータより、撮像された変調画像（画像Ｇ１２に相当）に基づいて、復元行列を用いて、画像を再構成して最終画像（復元画像）（画像Ｇ１３に相当）として出力部７３に出力する。
　ステップＳ５７において、出力部７３は、再構成された最終画像に信号処理を施して、画像信号として出力する。
　すなわち、以上の一連の処理により、レンズを用いることなく、任意のマスクパターンからなるマスク６１ａを備えたマスクユニット６１をカメラモジュール７１に装着することで、マスク６１ａのマスクパターンに応じた変調画像が撮像されると共に、マスク６１ａのマスクパターンに応じたマスクパターンIDが読み出されて、マスクパターンIDに対応付けて記憶された復元行列が用いられて、最終画像（復元画像）が再構成される。
　これにより、様々なマスクパターンのマスク６１ａを備えたマスクユニット６１を容易に交換して使用することが可能となるので、様々な撮像効果を備えたマスクパターンを用いたレンズレスカメラによる撮像を容易に実現することが可能となる。
　尚、以上の例においては、再構成部７２が、マスクパターンIDに対応付けて復元行列が記憶された復元行列記憶部７２ａを備えており、マスクパターンIDに応じて復元行列を読み出して再構成処理が実現される例について説明してきた。
　しかしながら、復元行列については、撮像装置５１の外部に設けられた、例えば、ネットワーク上のサーバやクラウドコンピュータなどに記憶させておき、マスクユニット６１がカメラモジュール７１に装着されるときに、マスクユニット６１から読み出されたマスクパターンIDに対応付けられた復元行列がネットワークを介して、再構成部７２において取得できるようにしてもよい。また、再構成部７２や出力部７３そのものを、撮像装置５１の外部のネットワーク上のサーバやクラウドコンピュータなどに設けるようにしてもよい。
　＜＜３．第２の実施の形態＞＞
　以上においては、撮像装置５１において、容易に交換可能なマスクユニット６１のマスク６１ａで変調された変調画像が撮像されて、マスクユニット６１のマスク６１ａのマスクパターンに応じた復元行列を用いて、変調画像から最終画像が再構成される例について説明してきた。
　しかしながら、マスクユニット６１を既存のレンズ交換式カメラに対して、交換レンズのように装着し、レンズ交換式カメラにおいては変調画像を撮像させて、マスクパターンIDを付したRAWデータを生成させ、外部のパーソナルコンピュータ（PC）などでRAWデータに含まれたマスクパターンIDに対応する復元行列を用いて、変調画像に対して再構成処理を施して最終画像が生成されるようにしてもよい。
　図１２は、マスクユニット６１を既存のレンズ交換式カメラに装着させ、レンズ交換式カメラにより変調画像を撮像させて、マスクパターンIDを付したRAWデータを生成させ、外部のパーソナルコンピュータ（PC）などでRAWデータに含まれたマスクパターンIDに対応する復元行列を用いて、変調画像に対して再構成処理を施して最終画像が生成されるようにしたレンズレス撮像システムの構成例を示している。
　図１２のレンズレス撮像システム１０１は、マスクユニット６１をレンズに代えて装着した撮像装置１１１、およびパーソナルコンピュータ１１２より構成される。
　撮像装置１１１は、既存のレンズ交換式カメラであり、交換レンズを装着可能なレンズマウント１３２を備えており、この例においては、交換レンズに代えて、マスクユニット６１が撮像装置１１１に装着される。
　マスクユニット６１がレンズマウント１３２に装着されることにより、撮像素子１３１の前段にマスク６１ａが設けられることになるので、撮像装置１１１は、レンズレスカメラとして機能する。
　ただし、撮像装置１１１は、マスクユニット６１が交換レンズに代えてレンズマウント１３２に装着されても、図５の再構成部７２に対応する構成を備えていないため、変調画像を撮像するのみであり、最終画像を出力することはできない。
　このため、図１２の撮像装置１１１は、マスクユニット６１からマスク６１ａに対応するマスクパターンIDを読み出して、変調画像を撮像し、変調画像に基づいてRAWデータを生成する際にマスクパターンIDを書き込んで、記憶媒体に記憶させて、記憶媒体を介してPC１１２にRAWデータを供給する、または、ネットワーク等の通信を介して、PC１１２にRAWデータを供給する。
　PC１１２は、記憶媒体、または、通信を介して、マスクパターンIDが書き込まれている、変調画像に基づいて生成されたRAWデータを取得すると、マスクパターンIDに対応する復元行列を用いて、変調画像に再構成処理を施して、最終画像を生成して出力する。
　このような構成により、既存のレンズ交換式カメラをレンズレスカメラとして使用することが可能になると共に、様々なマスクパターンのマスクユニット６１を容易に交換して使用することが可能となる。
　＜図１２の撮像装置により実現される機能＞
　次に、図１３を参照して、図１２の撮像装置１１１により実現される機能について説明する。
　撮像装置１１１は、一般的なレンズ交換式カメラであり、レンズマウント１３２とマウントアダプタ６１ｂとが接続されることにより、撮像素子１３１の前段にマスク６１ａが設けられた構成となることで、それぞれ、図１の撮像素子３２およびマスク３１に対応する構成として機能し、実質的にレンズレスカメラとして機能する。
　また、マウントアダプタ６１ｂおよびレンズマウント１３２は、図６，図７を参照して説明したマウントアダプタ６１ｂおよびマウント７１ａと同一の構成であり、一般的なレンズ交換式カメラにおいて規格化された構成である。
　より詳細には、撮像装置１１１は、撮像素子１３１、信号処理部１５１、通信部１５２、外部出力部１５３、ドライブ１５４、およびリムーバブル記憶媒体１５５を備えている。
　信号処理部１５１は、カメラモジュール７１における信号処理部９２に対応する構成であり、撮像素子１３１により撮像された画像に信号処理を施してRAWデータを生成して、外部出力部１５３に出力する。
　通信部１５２は、マスクユニット６１が、レンズマウント１３２およびマウントアダプタ６１ｂを介して接続される際、通信部６１ｄと通信し、マスクパターンIDを要求する。この要求に応じて、マスクユニット６１の通信部６１ｄが、記憶部６１ｃに記憶されているマスクパターンIDを読み出して、撮像装置１１１の通信部１５２に供給する。
　通信部１５２は、カメラモジュール７１における通信部７１ｂに対応する構成であり、マスクユニット６１から供給されるマスクパターンIDを取得すると信号処理部１５１に供給する。
　信号処理部１５１は、このマスクパターンIDを取得すると、マスク６１ａにより変調された入射光に基づいて、撮像素子１３１において撮像される変調画像よりRAWデータを生成する際、マスクパターンIDの情報をRAWデータ（またはExif）に書き込んで、外部出力部１５３に出力する。
　通信部１５２は、通常、レンズ交換式カメラとして機能する際は、レンズマウント１３２に装着される交換レンズと通信し、TTL露光やTTL測距を実現する上で必要とされるレンズの型式や制御情報を取得する。
　従って、この場合、信号処理部１５１は、交換レンズを介して入射される入射光に基づいて、撮像素子１３１において撮像される画像よりRAWデータを生成する際、レンズの型式や制御情報等を書き込む。
　外部出力部１５３は、信号処理部１５１より供給されたRAWデータを、ネットワーク等を介して通信処理によりPC１１２に出力する、または、ドライブ１５４を制御して、リムーバブル記憶媒体１５５に書き込む。
　リムーバブル記憶媒体１５５は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどから構成されており、撮像装置１１１に対して着脱可能な構成であり、RAWデータが書き込まれた状態で取り出して、PC１１２において読み出せるようにすることで、RAWデータをPC１１２に供給することが可能な構成である。
　＜PCの構成例＞
　次に、図１４を参照して、PC１１２の構成例について説明する。
　PC１１２は、図示せぬネットワークを介して、または、リムーバブル記憶媒体１５５を介して、撮像装置１１１において撮像された、マスクパターンIDを含めて記録されている、変調画像をRAWデータの状態で取得し、変調画像に再構成処理を施して、最終画像を復元する。
　より詳細には、PC１１２は、制御部１７１、入力部１７２、出力部１７３、記憶部１７４、通信部１７５、ドライブ１７６、およびリムーバブル記憶媒体１５５より構成されており、相互にバス１７７を介して接続されており、データやプログラムを送受信することができる。
　制御部１７１は、プロセッサやメモリから構成されており、PC１１２の動作の全体を制御する。また、制御部１７１は、マスクパターンID取得部１９１、復元行列特定部１９２、および再構成処理部１９３を備えている。
　マスクパターンID取得部１９１は、通信部１７５により図示せぬネットワークを介して取得された、または、ドライブ１７６を制御して、リムーバブル記憶媒体１５５より読み出されることで取得された、変調画像のRAWデータより、マスクパターンIDを取得する。
　復元行列特定部１９２は、記憶部１７４において、マスクパターンIDに対応付けて記憶されている復元行列２０１－１乃至２０１－ｎのうち、マスクパターンID取得部１９１により取得されたマスクパターンIDに対応付けて記憶されている復元行列２０１を特定する。
　再構成処理部１９３は、取得されたマスクパターンIDに基づいて特定された復元行列２０１を用いて、RAWデータとしての変調画像に対して、再構成処理を施して、最終画像を生成する。
　入力部１７２は、PC１１２のユーザが操作コマンドを入力するキーボード、マウス、タッチパネルなどの入力デバイスより構成され、入力された各種の信号を制御部１７１に供給する。
　出力部１７３は、制御部１７１により制御され、表示部、および音声出力部を備えている。出力部１７３は、操作画面や処理結果の画像を、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）などからなる表示デバイスからなる表示部に出力して表示する。また、出力部１７３は、音声出力デバイスからなる音声出力部を制御して、各種の音声や音楽、効果音などを再生する。
　記憶部１７４は、HDD（Hard Disk Drive）、SSD（Solid State Drive）、または、半導体メモリなどからなり、制御部１７１により制御され、コンテンツデータを含む各種のデータおよびプログラムを書き込む、または、読み出す。また、記憶部１７４は、マスクパターンIDと対応付けて、複数の復元行列２０１－１乃至２０１－ｎを記憶している。
　通信部１７５は、制御部１７１により制御され、有線または無線により、LAN（Local Area Network）やブルートゥース（登録商標）等に代表される通信を実現し、必要に応じて図示せぬネットワークを介して、撮像装置１１１を含む、各種の装置との間で各種のデータやプログラムを送受信する。すなわち、通信部１７５は、撮像装置１１１よりRAWデータが送信されてくるとき、受信する。
　ドライブ１７６は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１５５に対してデータを読み書きする。
　尚、図１４の例においては、撮像装置１１１により、マスクパターンIDの情報が書き込まれた、変調画像のRAWデータが、リムーバブル記憶媒体１５５に記憶されていることを前提とした構成が示されているが、撮像装置１１１において、マスクユニット６１に代えて、図示せぬ交換レンズが装着され、交換レンズを介して入射する入射光に基づいた画像が撮像されていてもよい。
　ただし、交換レンズを介して入射する入射光に基づいた画像が撮像されている場合、RAWデータには、マスクパターンIDの情報に代えて、装着されていたレンズの型式や制御情報等が書き込まれているので、信号処理部１５１は、通常の信号処理により、画像を生成する。
　＜図１２の撮像装置による撮像処理＞
　次に、図１５のフローチャートを参照して、図１２の撮像装置１１１による撮像処理について説明する。
　尚、この処理の前に、マスクユニット６１が撮像装置１１１に装着されることで、マウント処理が実行済みであることが前提となる。このマウント処理は、図１０のフローチャートを参照して説明した処理と同様である。
　従って、図１２の撮像装置１１１による撮像処理においては、それ以前にマウント処理がなされ、通信部１５２が、マスクユニット６１の通信部６１ｄと通信し、記憶部６１ｃに記憶されているマスクパターンIDを取得して、信号処理部１５１に供給しており、信号処理部１５１は、装着されているマスクユニット６１のマスクパターンIDを記憶していることを前提とする。
　ステップＳ１０１において、マスクユニット６１のマスク６１ａは、被写体面（被写体面Ｇ１１に相当）からの光に変調を掛けて、撮像素子１３１に入射させる。
　ステップＳ１０２において、撮像素子１３１は、被写体面からの光であって、マスク６１ａにより変調が掛けられた光からなる像を撮像して、変調画像（画像Ｇ１２に相当）として信号処理部１５１に出力する。
　ステップＳ１０３において、信号処理部１５１は、変調画像のRAWデータを生成し、記憶しているマスクパターンIDの情報をRAWデータに書き込み、外部出力部１５３に出力する。
　ステップＳ１０４において、外部出力部１５３は、マスクパターンIDの情報が書き込まれている変調画像が記録されたRAWデータを、ドライブ１５４を制御して、リムーバブル記憶媒体１５５に書き込んで記憶させる、または、図示せぬネットワークを介して、通信によりPC１１２に送信する。
　以上の一連の処理により、PC１１２は、リムーバブル記憶媒体１５５、または、図示せぬネットワークを介して、マスクパターンIDの情報が書き込まれている変調画像が記録されたRAWデータを取得することが可能となる。
　＜図１２のPCによる再構成処理＞
　次に、図１６のフローチャートを参照して、図１２のPCによる再構成処理について説明する。
　ステップＳ１３１において、制御部１７１は、通信部１７５、または、ドライブ１７６を制御して、図示せぬネットワーク、または、リムーバブル記憶媒体１５５を介して、マスクパターンIDの情報が書き込まれている変調画像が記録されたRAWデータを取得する。
　ステップＳ１３２において、マスクパターンID取得部１９１は、取得したマスクパターンIDの情報が書き込まれている変調画像が記録されたRAWデータより、マスクパターンIDを読み出して取得する。
　ステップＳ１３３において、復元行列特定部１９２は、記憶部１７４にアクセスし、記憶されている復元行列２０１－１乃至２０１－ｎのうち、読み出されたマスクパターンIDに対応付けて記憶されている復元行列２０１を特定し、読み出す。
　ステップＳ１３４において、再構成処理部１９３は、取得されたRAWデータより、撮像された変調画像（画像Ｇ１２に相当）に基づいて、復元行列特定部１９２により読み出された復元行列を用いて、画像を再構成して最終画像（復元画像）（画像Ｇ１３に相当）として出力する。
　ステップＳ１３５において、再構成処理部１９３は、最終画像を出力部１７３における表示部により表示する、または、ドライブ１７６を制御して、リムーバブル記憶媒体１５５に記憶させる。
　以上の処理により、既存のレンズ交換式カメラをレンズレスカメラとして使用することが可能となる。
　また、この際、様々なマスクパターンのマスクユニット６１を容易に交換して使用することが可能となる。
　尚、以上の再構成処理については、PC１１２を用いて実現する例について説明してきたが、PC１１２と同様の機能を備えた、図示せぬネットワーク上のサーバコンピュータやクラウドコンピュータにより実現されるようにしてもよい。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　入射光に変調を掛けて変調光に変換するマスクと、
　レンズマウントに脱着可能なアダプタと、
　前記マスクを透過した変調光からなる変調画像から前記入射光に対応する画像を再構成するための関連情報を記憶する記憶部と
　を備えるマスクユニット。
＜２＞　前記アダプタは、規格化された前記レンズマウントに適合する
　＜１＞に記載のマスクユニット。
＜３＞　前記マスクは、所定のマスクパターンからなり、
　前記変調画像に、前記所定のマスクパターンに対応して設定される復元行列を用いた処理が施されることにより、前記入射光に対応する画像が再構成される
　＜１＞または＜２＞に記載のマスクユニット。
＜４＞　前記関連情報は、前記所定のマスクパターンを識別するマスクパターンIDであり、
　前記変調画像に、前記マスクパターンIDに対応して設定される前記復元行列を用いた処理が施されることにより、前記入射光に対応する画像が再構成される
　＜３＞に記載のマスクユニット。
＜５＞　前記レンズマウントと、
　前記変調画像からRAWデータを生成する信号処理部とを備えた外部装置の前記レンズマウントに前記アダプタが装着されるとき、
　前記記憶部に記憶された前記マスクパターンIDを、前記信号処理部に送信する通信部をさらに備える
　＜４＞に記載のマスクユニット。
＜６＞　前記信号処理部は、前記変調画像から前記RAWデータを生成するとき、前記RAWデータに、前記マスクパターンIDを書き込み、
　前記RAWデータに書き込まれた前記マスクパターンIDから前記復元行列が特定されることにより、前記変調画像に、前記マスクパターンIDに対応して設定される前記復元行列を用いた処理が施されて、前記入射光に対応する画像が再構成される
　＜５＞に記載のマスクユニット。
＜７＞　　入射光に変調を掛けて変調光に変換するマスクと、
　　レンズマウントに脱着可能なアダプタと
　を備えたマスクユニットと、
　　前記レンズマウントと、
　　前記マスクを透過した変調光からなる変調画像を撮像する撮像素子と
　を備えたカメラモジュールとを備え、
　前記変調画像から前記入射光に対応する画像が再構成される
　撮像装置。
＜８＞　前記アダプタは、規格化された前記レンズマウントに適合する
　＜７＞に記載の撮像装置。
＜９＞　前記マスクは、所定のマスクパターンからなり、
　前記変調画像に、前記所定のマスクパターンに対応して設定される復元行列を用いた処理が施されることにより、前記入射光に対応する画像が再構成される
　＜７＞または＜８＞に記載の撮像装置。
＜１０＞　前記マスクユニットは、前記所定のマスクパターンを識別するマスクパターンIDを記憶するID記憶部をさらに備え、
　前記変調画像に、前記マスクパターンIDに対応して設定される前記復元行列を用いた処理が施されることにより、前記入射光に対応する画像が再構成される
　＜９＞に記載の撮像装置。
＜１１＞　前記マスクユニットは、
　　前記ID記憶部に記憶された前記マスクパターンIDを、前記カメラモジュールに送信する第１の通信部をさらに備え、
　前記カメラモジュールは、
　　前記マスクユニットより送信されてくる、前記マスクパターンIDを受信する第２の通信部と、
　　前記変調画像からRAWデータを生成する信号処理部とをさらに備え、
　前記信号処理部は、前記変調画像から前記RAWデータを生成するとき、前記RAWデータに、前記マスクパターンIDを書き込み、
　前記RAWデータに書き込まれた前記マスクパターンIDから前記復元行列が特定されて、前記変調画像に、前記マスクパターンIDから特定された前記復元行列を用いた処理が施されて、前記入射光に対応する画像が再構成される
　＜１０＞に記載の撮像装置。
＜１２＞　前記マスクパターンIDが書き込まれた前記RAWデータは、前記変調画像から前記入射光に対応する画像を再構成する再構成部を備えた外部装置に供給される
　＜１１＞に記載の撮像装置。
＜１３＞　前記マスクパターンIDが書き込まれた前記RAWデータは、ネットワークを介して、または、記憶媒体を介して、前記外部装置に供給される
　＜１２＞に記載の撮像装置。
＜１４＞　前記変調画像から前記入射光に対応する画像を再構成する再構成部をさらに備え、
　前記再構成部は、前記RAWデータに書き込まれた前記マスクパターンIDから前記復元行列を特定し、前記変調画像に、前記マスクパターンIDから特定された前記復元行列を用いた処理を施して、前記入射光に対応する画像を再構成する
　＜１１＞に記載の撮像装置。
＜１５＞　前記再構成部は、前記マスクパターンIDと対応付けて複数の復元行列を記憶する復元行列記憶部をさらに含み、
　前記再構成部は、前記復元行列記憶部に記憶されている前記複数の復元行列のうち、前記RAWデータに書き込まれた前記マスクパターンIDと対応付けて記憶されている前記復元行列を特定し、前記変調画像に、特定された前記復元行列を用いた処理を施して、前記入射光に対応する画像を再構成する
　＜１４＞に記載の撮像装置。
＜１６＞　マスクユニットと、カメラモジュールとからなる撮像装置において、
　前記マスクユニットは、
　　所定のマスクパターンを有し、入射光に変調を掛けて変調光に変換するマスクと、
　　レンズマウントに脱着可能なアダプタと
　　前記所定のマスクパターンを識別するマスクパターンIDを、前記カメラモジュールに送信する第１の通信部を備え、
　前記カメラモジュールは、
　　前記マスクを透過した変調光からなる変調画像を撮像する撮像素子と、
　　前記マスクユニットより送信されてくる、前記マスクパターンIDを受信する第２の通信部と、
　　前記変調画像からRAWデータを生成する信号処理部とを備えた撮像装置の作動方法であって、
　前記第１の通信部が、前記マスクパターンIDを、前記カメラモジュールに送信し、
　前記第２の通信部が、前記マスクユニットより送信されてくる、前記マスクパターンIDを受信し、
　前記信号処理部が、前記変調画像から前記RAWデータを生成するとき、前記RAWデータに、前記第２の通信部により受信された、前記マスクパターンIDを書き込むステップを含み、
　前記RAWデータに書き込まれた前記マスクパターンIDに対応して設定される復元行列を用いた処理が、前記変調画像に施されて、前記入射光に対応する画像が再構成される
　撮像装置の作動方法。
　５１　撮像装置，　６１，６１－１，６１－２　マスクユニット，　６１ａ，６１ａ－１，６１ａ－２　マスク，　６１ｂ，６１ｂ－１，６１ｂ－２　マウントアダプタ，　６１ｃ，６１ｃ－１，６１ｃ－２　記憶部，　６１ｄ，６１ｄ－１，６１ｄ－２　通信部，　７１　カメラモジュール，　７１ａ　マウント，　７１ｂ　通信部，　９１　撮像素子，　９２信号処理部　出力部，　１０１　レンズレス撮像システム，　１１１　撮像装置，　１１２　PC，　１３１　撮像素子，　１３２　レンズマウント，　１５１　信号処理部，　１５２　通信部，　１５３　外部出力部，　１５５　リムーバブル記憶媒体，　１７１　制御部，　１７４　記憶部，　１９１　マスクパターンID取得部，　１９２　復元行列特定部，　１９３　再構成処理部，　２０１，２０１－１乃至２０１－ｎ　復元行列

Claims (16)

  1. 　入射光に変調を掛けて変調光に変換するマスクと、
    　レンズマウントに脱着可能なアダプタと、
    　前記マスクを透過した変調光からなる変調画像から前記入射光に対応する画像を再構成するための関連情報を記憶する記憶部と
    　を備えるマスクユニット。
  2. 　前記アダプタは、規格化された前記レンズマウントに適合する
    　請求項１に記載のマスクユニット。
  3. 　前記マスクは、所定のマスクパターンからなり、
    　前記変調画像に、前記所定のマスクパターンに対応して設定される復元行列を用いた処理が施されることにより、前記入射光に対応する画像が再構成される
    　請求項１に記載のマスクユニット。
  4. 　前記関連情報は、前記所定のマスクパターンを識別するマスクパターンIDであり、
    　前記変調画像に、前記マスクパターンIDに対応して設定される前記復元行列を用いた処理が施されることにより、前記入射光に対応する画像が再構成される
    　請求項３に記載のマスクユニット。
  5. 　前記レンズマウントと、
    　前記変調画像からRAWデータを生成する信号処理部とを備えた外部装置の前記レンズマウントに前記アダプタが装着されるとき、
    　前記記憶部に記憶された前記マスクパターンIDを、前記信号処理部に送信する通信部をさらに備える
    　請求項４に記載のマスクユニット。
  6. 　前記信号処理部は、前記変調画像から前記RAWデータを生成するとき、前記RAWデータに、前記マスクパターンIDを書き込み、
    　前記RAWデータに書き込まれた前記マスクパターンIDから前記復元行列が特定されることにより、前記変調画像に、前記マスクパターンIDに対応して設定される前記復元行列を用いた処理が施されて、前記入射光に対応する画像が再構成される
    　請求項５に記載のマスクユニット。
  7. 　　入射光に変調を掛けて変調光に変換するマスクと、
    　　レンズマウントに脱着可能なアダプタと
    　を備えたマスクユニットと、
    　　前記レンズマウントと、
    　　前記マスクを透過した変調光からなる変調画像を撮像する撮像素子と
    　を備えたカメラモジュールとを備え、
    　前記変調画像から前記入射光に対応する画像が再構成される
    　撮像装置。
  8. 　前記アダプタは、規格化された前記レンズマウントに適合する
    　請求項７に記載の撮像装置。
  9. 　前記マスクは、所定のマスクパターンからなり、
    　前記変調画像に、前記所定のマスクパターンに対応して設定される復元行列を用いた処理が施されることにより、前記入射光に対応する画像が再構成される
    　請求項７に記載の撮像装置。
  10. 　前記マスクユニットは、前記所定のマスクパターンを識別するマスクパターンIDを記憶するID記憶部をさらに備え、
    　前記変調画像に、前記マスクパターンIDに対応して設定される前記復元行列を用いた処理が施されることにより、前記入射光に対応する画像が再構成される
    　請求項９に記載の撮像装置。
  11. 　前記マスクユニットは、
    　　前記ID記憶部に記憶された前記マスクパターンIDを、前記カメラモジュールに送信する第１の通信部をさらに備え、
    　前記カメラモジュールは、
    　　前記マスクユニットより送信されてくる、前記マスクパターンIDを受信する第２の通信部と、
    　　前記変調画像からRAWデータを生成する信号処理部とをさらに備え、
    　前記信号処理部は、前記変調画像から前記RAWデータを生成するとき、前記RAWデータに、前記マスクパターンIDを書き込み、
    　前記RAWデータに書き込まれた前記マスクパターンIDから前記復元行列が特定されて、前記変調画像に、前記マスクパターンIDから特定された前記復元行列を用いた処理が施されて、前記入射光に対応する画像が再構成される
    　請求項１０に記載の撮像装置。
  12. 　前記マスクパターンIDが書き込まれた前記RAWデータは、前記変調画像から前記入射光に対応する画像を再構成する再構成部を備えた外部装置に供給される
    　請求項１１に記載の撮像装置。
  13. 　前記マスクパターンIDが書き込まれた前記RAWデータは、ネットワークを介して、または、記憶媒体を介して、前記外部装置に供給される
    　請求項１２に記載の撮像装置。
  14. 　前記変調画像から前記入射光に対応する画像を再構成する再構成部をさらに備え、
    　前記再構成部は、前記RAWデータに書き込まれた前記マスクパターンIDから前記復元行列を特定し、前記変調画像に、前記マスクパターンIDから特定された前記復元行列を用いた処理を施して、前記入射光に対応する画像を再構成する
    　請求項１１に記載の撮像装置。
  15. 　前記再構成部は、前記マスクパターンIDと対応付けて複数の復元行列を記憶する復元行列記憶部をさらに含み、
    　前記再構成部は、前記復元行列記憶部に記憶されている前記複数の復元行列のうち、前記RAWデータに書き込まれた前記マスクパターンIDと対応付けて記憶されている前記復元行列を特定し、前記変調画像に、特定された前記復元行列を用いた処理を施して、前記入射光に対応する画像を再構成する
    　請求項１４に記載の撮像装置。
  16. 　マスクユニットと、カメラモジュールとからなる撮像装置において、
    　前記マスクユニットは、
    　　所定のマスクパターンを有し、入射光に変調を掛けて変調光に変換するマスクと、
    　　レンズマウントに脱着可能なアダプタと
    　　前記所定のマスクパターンを識別するマスクパターンIDを、前記カメラモジュールに送信する第１の通信部を備え、
    　前記カメラモジュールは、
    　　前記マスクを透過した変調光からなる変調画像を撮像する撮像素子と、
    　　前記マスクユニットより送信されてくる、前記マスクパターンIDを受信する第２の通信部と、
    　　前記変調画像からRAWデータを生成する信号処理部とを備えた撮像装置の作動方法であって、
    　前記第１の通信部が、前記マスクパターンIDを、前記カメラモジュールに送信し、
    　前記第２の通信部が、前記マスクユニットより送信されてくる、前記マスクパターンIDを受信し、
    　前記信号処理部が、前記変調画像から前記RAWデータを生成するとき、前記RAWデータに、前記第２の通信部により受信された、前記マスクパターンIDを書き込むステップを含み、
    　前記RAWデータに書き込まれた前記マスクパターンIDに対応して設定される復元行列を用いた処理が、前記変調画像に施されて、前記入射光に対応する画像が再構成される
    　撮像装置の作動方法。
PCT/JP2023/006126 2022-03-07 2023-02-21 マスクユニット、並びに撮像装置および撮像装置の作動方法 WO2023171358A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-034753 2022-03-07
JP2022034753 2022-03-07

Publications (1)

Publication Number Publication Date
WO2023171358A1 true WO2023171358A1 (ja) 2023-09-14

Family

ID=87936849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/006126 WO2023171358A1 (ja) 2022-03-07 2023-02-21 マスクユニット、並びに撮像装置および撮像装置の作動方法

Country Status (1)

Country Link
WO (1) WO2023171358A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017129790A (ja) * 2016-01-21 2017-07-27 オムロン株式会社 光学系および撮像装置
WO2018221019A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2021124942A1 (ja) * 2019-12-20 2021-06-24 ソニーグループ株式会社 撮像装置、情報処理方法、およびプログラム
WO2022014305A1 (ja) * 2020-07-16 2022-01-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ マルチピンホールカメラ及び画像識別システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017129790A (ja) * 2016-01-21 2017-07-27 オムロン株式会社 光学系および撮像装置
WO2018221019A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2021124942A1 (ja) * 2019-12-20 2021-06-24 ソニーグループ株式会社 撮像装置、情報処理方法、およびプログラム
WO2022014305A1 (ja) * 2020-07-16 2022-01-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ マルチピンホールカメラ及び画像識別システム

Similar Documents

Publication Publication Date Title
Sun et al. 3D computational imaging with single-pixel detectors
US11169367B2 (en) Three-dimensional microscopic imaging method and system
TW201724842A (zh) 圖像傳感器及輸出方法、相位對焦方法、成像裝置和終端
JP2019516295A (ja) ３次元３６０度バーチャルリアリティカメラの露出制御
JP2007164862A (ja) ホログラム記録方法及びホログラム記録装置
EP1412918A1 (fr) Procede et systeme pour produire des informations formatees liees aux distorsions geometriques
JP2007135005A (ja) 撮像装置
US9229430B2 (en) Device for recording and reproducing holographic 3D image, and method for recording and reproducing holographic 3D image
JPH0229081A (ja) 撮像装置
WO2019078335A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
JPWO2019176349A1 (ja) 画像処理装置、および撮像装置、並びに画像処理方法
WO2023171358A1 (ja) マスクユニット、並びに撮像装置および撮像装置の作動方法
TWI452451B (zh) 全像影像的合成系統
JP3576882B2 (ja) ディジタル画像の視覚的再構成あるいは捕捉に関するディジタル画像伝送方法及びこの方法を実行する装置
JP4429183B2 (ja) アクセサリ装置
FR2503397A1 (fr) Appareil d'examen a rayonnement avec memorisation sur film
CN111538033A (zh) 主动照明关联成像发射系统和主动照明关联成像系统
CN110230995A (zh) 一种基于鬼成像的感兴趣区域成像装置
CN110874047A (zh) 一种将内镜下图像全息化的方法及装置
JP2020048031A (ja) 撮像装置および撮像方法
JPWO2019171691A1 (ja) 画像処理装置、および撮像装置、並びに画像処理方法
JP2005057541A (ja) 分光カメラヘッド
JP2016100714A (ja) 絵画データの作成方法
US20120229598A1 (en) Method of Transmitting Holograms Electronically and Storing 3D Image in a Hologram and Restoring and Reproducing the 3D Image for Viewing
JP2006510953A (ja) 対象物の３次元画像情報を取得するための装置および再生するための装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23766536

Country of ref document: EP

Kind code of ref document: A1