WO2016158957A1 - 撮像装置、マルチレンズカメラおよび撮像装置の製造方法 - Google Patents

撮像装置、マルチレンズカメラおよび撮像装置の製造方法 Download PDF

Info

Publication number
WO2016158957A1
WO2016158957A1 PCT/JP2016/060138 JP2016060138W WO2016158957A1 WO 2016158957 A1 WO2016158957 A1 WO 2016158957A1 JP 2016060138 W JP2016060138 W JP 2016060138W WO 2016158957 A1 WO2016158957 A1 WO 2016158957A1
Authority
WO
WIPO (PCT)
Prior art keywords
microlens array
imaging device
microlens
imaging
image sensor
Prior art date
Application number
PCT/JP2016/060138
Other languages
English (en)
French (fr)
Inventor
聖生 中島
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201680020241.XA priority Critical patent/CN107407852A/zh
Priority to US15/562,687 priority patent/US20180095275A1/en
Priority to JP2017510028A priority patent/JPWO2016158957A1/ja
Publication of WO2016158957A1 publication Critical patent/WO2016158957A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements

Definitions

  • the present invention relates to an imaging device, a multi-lens camera, and a manufacturing method of the imaging device.
  • Patent Document 1 In a camera using a light field photography technique (multi-lens camera), a technique for moving the entire micro lens array in the arrangement direction of the micro lenses (direction orthogonal to the optical axis) is known ( Patent Document 1).
  • the conventional technology only performs imaging with a pseudo reduction in the arrangement pitch of the microlenses, and cannot suppress the influence caused by blurring during imaging.
  • the imaging apparatus has a microlens array in which a plurality of microlenses are arranged two-dimensionally and a plurality of pixel groups including a plurality of pixels, and each microlens of the microlens array.
  • An image sensor that receives light passing through each pixel group, and a drive unit that changes the positional relationship between the image sensor and the microlens array in order to prevent blurring of an image received by the pixel group.
  • the drive unit changes the positional relationship between the imaging sensor and the microlens array based on a signal indicating blurring of the imaging device.
  • the drive unit is provided on at least one of a part facing the imaging sensor of the microlens array and a side part of the microlens array. It is preferable to change the position of the microlens array with respect to the imaging sensor.
  • the drive unit is provided at a portion facing the imaging sensor of the microlens array or at a side part of the microlens array at the four corners of the microlens array. It is preferable.
  • the drive unit is provided on a part of the four sides of the microlens array facing the imaging sensor of the microlens array or on a side part of the microlens array. It is preferable.
  • the driving unit has a two-dimensional intersection where at least a plurality of microlenses are arranged with respect to the microlens array. It is preferable that the translational movement in the biaxial direction and the rotational movement about the axis orthogonal to the two axes are performed.
  • the drive unit preferably includes a piezoelectric element.
  • the piezoelectric element in the imaging device according to the seventh aspect, preferably has a displacement amplification function.
  • a pixel that is provided between the microlens array and the imaging sensor and receives light that has passed through one microlens. It is preferable to provide a partition that prevents the light that has passed through the other microlenses from entering the group.
  • the partition wall is a portion where at least a part of the partition wall facing the microlens array is connected to the microlens array or a part of the partition wall facing the imaging sensor Is preferably connected to the imaging sensor.
  • the partition wall is arranged such that the partition wall and the microlens array or the partition wall and the imaging sensor are separated from each other.
  • the partition wall is connected to the micro lens array at a portion of the partition wall facing the micro lens array, and the image sensor of the partition wall is opposed to the image sensor. It is preferable to be connected to.
  • at least a part of the partition wall is preferably formed of an elastic member.
  • the information indicating the restriction on the signal from the pixel group when the positional relationship between the imaging sensor and the microlens array changes. It is preferable to provide an information generation unit for generating.
  • the information generation unit outputs a signal when the imaging sensor performs photoelectric conversion in a state where the positional relationship between the imaging sensor and the microlens array changes. It is preferable to generate additional information indicating that the number of signals used for processing is limited.
  • the information generation unit excludes signals from the pixels at the end of the pixel group that receives light that has passed through one microlens. Therefore, it is preferable to generate additional information indicating that the number of signals is limited.
  • a multi-lens camera includes the imaging device according to any one of the first to sixteenth aspects.
  • a method for manufacturing an imaging device comprising: preparing a microlens array in which a plurality of microlenses are two-dimensionally arranged; and a plurality of pixel groups including a plurality of pixels; In order to prepare an imaging sensor that receives light that has passed through each microlens of the microlens array, and to prevent blurring of an image received by the pixel group, the positions of the imaging sensor and the microlens array Preparing a drive unit for changing the relationship, and assembling a microlens array, an image sensor, and the drive unit.
  • an imaging apparatus has a microlens array in which a plurality of microlenses are two-dimensionally arranged and a plurality of pixel groups including a plurality of pixels, and each microlens of the microlens array.
  • An image sensor that receives light that has passed through each pixel group, and a microlens array that is provided between the image sensor and another pixel that receives light that has passed through one microlens.
  • a partition wall that prevents light from entering, and the partition wall, even if the positional relationship between the imaging sensor and the microlens array changes, to another pixel group that receives light that has passed through one microlens. It is configured to prevent light that has passed through from entering.
  • the imaging apparatus has a microlens array in which a plurality of microlenses are arranged two-dimensionally and a plurality of pixel groups including a plurality of pixels, and each microlens of the microlens array.
  • An image sensor that receives light that has passed through each pixel group, and a microlens array that is provided between the image sensor and another pixel that receives light that has passed through one microlens.
  • a partition that prevents light from entering, and an information generation unit that generates information indicating a restriction on a signal from the pixel group when the positional relationship between the imaging sensor and the microlens array changes.
  • FIG. 10A to FIG. 10A It is a figure explaining the principal part structure of a light field camera. It is a figure explaining the microlens array and piezoelectric element in FIG. It is an enlarged view of a piezo element. It is the figure which expanded a part of micro lens array and an image sensor. It is a figure explaining the example which translated the micro lens array of FIG. It is a flowchart explaining the process which a control part performs at the time of VR operation
  • FIG. 10C are diagrams for explaining the assembly procedure of the imaging unit of the LF camera.
  • FIG. 11A and FIG. 11B are diagrams illustrating a modified example related to the partition wall.
  • FIG. 12A to FIG. 12C are diagrams for explaining a modification example regarding the position of the piezo element. It is a figure which illustrates the external appearance of a thin light field camera. It is sectional drawing of the imaging part of the light field camera of FIG.
  • FIG. 15A to FIG. 15C are diagrams illustrating light that enters the pixel group PXs during the VR operation.
  • FIGS. 16A to 16C are diagrams for explaining light incident on the pixel group PXs during the VR operation.
  • FIG. 17A to FIG. 17C are diagrams for explaining light incident on the pixel group PXs during the VR operation.
  • FIG. 1 is a diagram for explaining a main configuration of a light field (hereinafter referred to as LF) camera 100 according to an embodiment.
  • the LF camera 100 captures a plurality of images with different viewpoints.
  • an imaging lens 201 projects light from a subject onto a microlens array 202.
  • the imaging lens 201 is configured to be replaceable, and is used by being attached to the body of the LF camera 100.
  • the subject light incident on the microlens array 202 passes through the microlens array 202 and is photoelectrically converted by the image sensor 203.
  • the imaging lens may be integrated with the body of the LF camera 100.
  • the pixel signal after photoelectric conversion read from the image sensor 203 is sent to the image processing unit 210.
  • the image processing unit 210 performs predetermined image processing on the pixel signal.
  • the image data after the image processing is recorded on a recording medium 209 such as a memory card. Note that the pixel signal read from the image sensor 203 may be recorded on the recording medium 209 without being subjected to image processing.
  • the LF camera 100 has a VR (Vibration Reduction) function that suppresses the influence of shaking (so-called camera shake) that occurs when hand-held imaging is performed.
  • the VR function is not limited to peristalsis or vibration that occurs when shooting by hand, and for example, perturbation or vibration when the LF camera 100 is fixed to an attachment (for example, a helmet) (for example, the LF camera is a so-called action). It may be one that suppresses the influence of blurring during shooting when used as a camera.
  • the imaging unit shown in FIG. 10 is not only applied to the LF camera 100 but may also be applied to a thin LF camera 300 (see FIG. 13) as described later.
  • the thin LF camera 300 can be attached to various parts (attached parts) because of its thinness.
  • the VR function functions to suppress the influence of camera shake due to the shaking of the mounted portion on which the thin LF camera 300 is mounted. Details of the VR operation will be described later. For example, metadata indicating that the VR operation is being performed is added to the image data captured during the VR operation. Further, the metadata may be configured to include acceleration information when the LF camera 100 moves in addition to information indicating that the VR operation is being performed.
  • the microlens array 202 is configured by two-dimensionally arranging microlenses (microlenses 202a described later) in a lattice shape or a honeycomb shape, and is provided on the imaging surface side (imaging lens 201 side) of the image sensor 203.
  • the microlens array 202 is supported by a piezo element 205 which is an example of a piezoelectric element.
  • a piezo element 205 which is an example of a piezoelectric element.
  • One end of the piezo element 205 is fixed to the microlens array 202, and the other end is fixed to a base 150 (FIG. 10) on which the image sensor 203 is mounted. Therefore, the relative positional relationship between the microlens array 202 and the image sensor 203 can be changed by driving the piezo element 205.
  • an actuator such as a voice coil motor or an ultrasonic motor can be used.
  • the VR operation is performed by controlling the positional relationship between the microlens array 202 and the image sensor 203.
  • the image sensor 203 may be configured to be driven by the piezo element 205.
  • the shake detection unit 207 includes an acceleration sensor and an angular velocity sensor. As the shake of the LF camera 100, the shake detection unit 207 detects, for example, a translational movement in each axial direction of the X axis, the Y axis, and the Z axis, and a rotation around each axis.
  • the control unit 208 controls the imaging operation of the LF camera 100. Further, the control unit 208 performs a VR calculation based on the detection signal from the shake detection unit 207.
  • the shake detection unit 207 includes an acceleration sensor, and the detection signal from the shake detection unit 207 includes acceleration information when the LF camera 100 moves.
  • the purpose of the VR calculation is to calculate the driving direction and the driving amount of the microlens array 202 necessary for suppressing the shaking of the image on the image sensor 203.
  • the VR calculation is the same as the calculation in a known VR operation for driving the imaging lens or a known VR operation for driving the image sensor, for example. For this reason, the detailed description about VR calculation is abbreviate
  • the piezo element drive circuit 206 drives the piezo element 205 in accordance with the drive direction and drive amount instructions from the control unit 208.
  • FIG. 2 is a diagram for explaining the microlens array 202 and the piezoelectric element 205 in FIG. In the example of FIG. 2, a plurality of microlenses 202a are arranged in a honeycomb shape.
  • the piezo element 205 includes four piezo elements 205-1 to 205-4. Each of the piezo elements 205-1 to 205-4 is fixed to the four corners of the microlens array 202 and to the surface behind the microlens array 202 (on the image sensor 203 side).
  • FIG. 3 is an enlarged view of the piezo element 205-1.
  • Each of the piezo elements 205-2 to 205-4 has the same configuration as the piezo element 205-1.
  • the piezo element 205-1 is formed by stacking three piezo elements having different displacement directions. That is, the piezoelectric element PZ1 is a thickness longitudinal vibration type element that is displaced in the Z-axis direction.
  • the piezo element PZ2 is a thickness-slip type element that is displaced in the Y-axis direction.
  • the piezo element PZ3 is a thickness-slip type element that is displaced in the X-axis direction.
  • the piezoelectric element PZ2 and the piezoelectric element PZ3 are not only arranged so as to be displaced in the Y-axis direction and the X-axis direction as shown in FIG. 3, but are also displaced in any two intersecting directions on the XY plane. You may arrange as follows.
  • each piezo element may include an amplification mechanism (not shown).
  • the amplification mechanism may be any of a hinge type, an elliptical shell type, a honeycomb link type, and the like. Further, for example, the piezo element PZ1 that translates in the Z-axis direction may be omitted.
  • the microlens array 202 is moved with respect to the image sensor 203. It can be translated in the direction of the axis.
  • the piezo elements 205-1 to 205-4 positioned on the upper side of FIG. 2 and the piezo elements 205-2 and 205- positioned on the lower side of FIG. 3, when the displacement in the Z-axis direction is reversed, the microlens array 202 can be rotated around the X-axis with respect to the image sensor 203.
  • the piezoelectric elements 205-1 to 205-4 the piezoelectric elements 205-3 and 205-4 positioned on the right side of FIG. 2 and the piezoelectric elements 205-1 and 205-2 positioned on the left side of FIG.
  • the microlens array 202 can be rotated around the Y-axis with respect to the image sensor 203.
  • the piezo element 205-1 is displaced in the Y-axis plus direction
  • the piezo element 205-4 is displaced in the X-axis plus direction
  • the piezo element 205-3 is displaced in the Y-axis minus direction
  • the piezo element 205-2 Is displaced in the minus direction of the X axis, the microlens array 202 can be rotated clockwise around the Z axis with respect to the image sensor 203.
  • the microlens array 202 can be rotated counterclockwise around the Z axis with respect to the image sensor 203.
  • FIG. 4 is an enlarged view of a part of the microlens array 202 and the image sensor 203 in FIG.
  • a symbol G in the figure indicates a distance between the microlens array 202 and the image sensor 203.
  • the image sensor 203 has a plurality of pixels arranged two-dimensionally, and detects the intensity of light at each pixel.
  • a symbol P in the figure indicates a pixel pitch.
  • a pixel group PXs composed of a plurality of pixels is assigned to each microlens 202a. Each pixel constituting the pixel group PXs is arranged at a predetermined position with respect to the micro lens 202a. Thereby, the light that has passed through each micro lens 202a is divided into a plurality of pixels by the pixel group PXs arranged behind the micro lens 202a.
  • the surface 202d of the microlens array 202 on the image sensor 203 side is curved with respect to the XY plane.
  • the reason why the surface 202 is curved is that even when the microlens array 202 is rotated about the X axis and the Y axis by driving the piezoelectric elements 205-1 to 205-4 (FIG. 2), the microlens array 202 This is to ensure a predetermined gap between the image sensor 203 and the image sensor 203. Note that the curved surface in FIG. 4 is exaggerated for easy understanding.
  • a partition wall 204 that shields light is provided at a boundary portion of each microlens 202a.
  • the partition wall 204 is made of, for example, an elastic member, and one end of the partition wall 204 is connected to the surface 202 d of the microlens array 202. Further, the other end of the partition wall 204 is connected to the image sensor 203.
  • the reason why the partition wall 204 is provided is that light that has passed through the micro lens 202a is received only by the pixel group PXs arranged behind the micro lens 202a (downward in FIG. 4), and behind the adjacent micro lens 202a (FIG. 4). This is to prevent entry into the pixel group PXs arranged in the lower part of FIG.
  • FIG. 5 is a diagram for explaining an example in which the microlens array 202 in FIG. 4 is translated in the Y-axis plus direction.
  • the moving direction and moving amount of the microlens array 202 are determined based on the VR calculation result by the control unit 208.
  • each pixel of the image sensor 203 can receive light similar to the case where there is no shake of the LF camera 100 even after the shake of the LF camera 100.
  • the partition 204 is deformed so that the light passing through the microlens 202a is arranged behind the microlens 202a (downward in FIG. 5).
  • the light is received only by the pixel group PXs, and is prevented from entering the pixel group PXs arranged behind the adjacent microlens 202a (downward in FIG. 5).
  • the partition wall 204 is not deformed, the portion where the partition wall 204 is connected to the surface 202d of the microlens array 202 and the portion where the partition wall 204 is connected to the image sensor 203 are deformed. Light that has passed through the lens 202a is prevented from entering the pixel group PXs arranged behind the adjacent microlens 202a (downward in FIG. 5).
  • ⁇ VR operation> The flow of processing executed by the control unit 208 during the VR operation will be described with reference to the flowchart of FIG.
  • the control unit 208 activates the process illustrated in FIG.
  • a program for performing the processing in FIG. 6 is stored in, for example, a nonvolatile memory in the control unit 208.
  • step S20 the control unit 208 inputs a detection signal from the shake detection unit 207, and proceeds to step S30.
  • step S30 the control unit 208, based on the detection signal from the shake detection unit 207, calculates the initial position instead of the previously calculated attitude (in the first time after starting the process of FIG. 6). The position difference between the current position and the current position is calculated, and the process proceeds to step S40.
  • step S ⁇ b> 40 the control unit 208 drives the microlens array 202 in the driving direction and the driving amount for suppressing the influence of shaking (image shaking on the image sensor 203) due to the shaking of the LF camera 100 based on the attitude difference. Is calculated and the process proceeds to step S50.
  • step S50 the control unit 208 sends an instruction to the piezo element drive circuit 206 to drive the four piezo elements 205-1 to 205-4 in the drive direction calculated in step S40 by the calculated drive amount.
  • the piezo element PZ2 (FIG. 2) constituting the piezo element 205 (205-1 to 205-4 in FIG. 2). 3) is displaced in the Y-axis plus direction.
  • the microlens array 202 moves in the Y axis plus direction with respect to the image sensor 203.
  • step S60 the control unit 208 determines whether or not to end the VR operation.
  • the control unit 208 makes an affirmative determination in step S60 when a VR switch (not shown) is set to OFF, and ends the process of FIG. If the VR switch (not shown) is not set to OFF, the control unit 208 makes a negative determination in step S60 and returns to step S20. When returning to step S20, the control unit 208 repeats the processing described above.
  • FIG. 7 is a diagram schematically showing an optical system of the LF camera 100.
  • the imaging lens 201 guides light from the subject to the microlens array 202. Light from different parts of the subject is incident on each microlens 202a.
  • the light incident on the microlens array 202 is divided into a plurality of parts by the microlens 202 a that constitutes the microlens array 202.
  • the light that has passed through each microlens 202a is incident on the pixel group PXs of the image sensor 203 arranged at a predetermined position behind the corresponding microlens 202a (rightward in FIG. 7).
  • each micro lens 202a In the LF camera 100, light that has passed through each micro lens 202a is divided into a plurality of pixels by a pixel group PXs arranged behind the micro lens 202a. That is, each pixel constituting the pixel group PXs receives light from one part of the subject that has passed through different regions of the imaging lens 201.
  • the thickness of the microlens array 202 of the above embodiment is, for example, 150 ⁇ m.
  • the outer diameter of the micro lens 202a is, for example, 50 ⁇ m.
  • the number of pixels in the pixel group PXs arranged behind one micro lens 202a (right side in FIG. 7) is several hundreds, for example.
  • the pixel pitch P of the pixel group PXs is, for example, 2 ⁇ m.
  • the maximum displacement in one direction by the piezoelectric elements 205-1 to 205-4 is, for example, 6 ⁇ m.
  • a gap between the microlens array 202 and the image sensor 203 is, for example, 10 ⁇ m.
  • the incident direction of light to each pixel is determined by the positions of a plurality of pixels arranged behind each micro lens 202a (to the right in FIG. 7). That is, since the positional relationship between the microlens 202a and each pixel of the image sensor 203 behind (rightward in FIG. 7) is known as design information, the light rays incident on each pixel via the microlens 202a. The incident direction (direction information) is obtained. For this reason, the pixel signal of each pixel of the image sensor 203 represents the intensity of light (light ray information) from a predetermined incident direction. In this embodiment, light from a predetermined direction that enters the pixel is referred to as a light beam.
  • an LF image is subjected to image reconstruction processing using the data.
  • the reconstruction process refers to a process of generating an image at an arbitrary focus position or viewpoint by performing an operation based on the light ray information and the direction information of the LF image (an operation for rearranging light rays). Since such a reconstruction process is known, a detailed description of the reconstruction process is omitted.
  • the reconstruction process may be performed in the LF camera 100 by the image processing unit 210, or the LF image data recorded in the recording medium 209 is transmitted to an external device such as a personal computer, and the external device causes the external device to perform the reconstruction process. May be.
  • FIG. 8 is a diagram illustrating the pixel group PXs arranged behind the microlens array 202.
  • the image processing unit 210 normally performs reconstruction processing using each pixel signal (light ray information) of the pixel group PXs corresponding to each microlens 202a.
  • the pixel group PXs is a pixel that exists in the range 203b (shaded portion).
  • the image processing unit 210 when metadata is added to the data of the LF image, the image processing unit 210, as shown in FIG. 9, has a range 203c (shaded portion) whose diameter is smaller than the range 203b of FIG. Reconstruction processing is performed using each pixel signal (light ray information).
  • the range 203c is obtained by reducing the diameter of the range 203b by about 10%.
  • the reason for limiting the range used for the reconstruction process in the pixel group PXs is as follows.
  • the pixel signal (light ray information) of pixels in a range other than the range 203c (shaded portion) has low reliability. Therefore, by removing pixel signals (light ray information) of pixels (pixels in a range other than the range 203c (shaded portion)) away from the center of the pixel group PXs from the reconstruction process, the microlens array 202 and the image sensor Inappropriate reconstruction processing when the positional relationship with 203 is changed can be avoided.
  • FIG. 10A ⁇ Method for Manufacturing Imaging Unit>
  • an operator may be a robot
  • the operator mounts the image sensor 203 on the base 150, which is a base member, with the imaging surface of the prepared image sensor 203 facing upward in FIG.
  • illustration of the partition 204 (FIG. 4) is omitted, the partition 204 is provided at a predetermined position for each pixel group PXs in the image sensor 203.
  • an operator prepares the microlens array 202 and the piezo elements 205 (205-1 to 205-4).
  • the operator attaches one end of each of the piezo elements 205 (205-1 to 205-4) to the four corners (see FIG. 2) of the microlens array 202, and faces the image sensor 203 side of the microlens array 202 (see FIG. 2). Adhere to the lower surface in 10 (b).
  • an operator aligns the position of the microlens 202a with the pixel group PXs of the image sensor 203 from above the image sensor 203 mounted on the base 150, and the piezo element 205.
  • the microlens array 202 to which (205-1 to 205-4) is fixed is mounted.
  • the operator adheres the other ends of the piezo elements 205 (205-1 to 205-4) to the base 150, respectively. Thereby, an imaging part is completed.
  • the order of assembling the imaging unit described above may be changed as appropriate.
  • the image sensor 203, the piezo elements 205 (205-1 to 205-4), and the partition wall 204 may be mounted on the base 150, and the microlens array 202 may be finally mounted from above.
  • the imaging unit of the LF camera 100 includes a microlens array 202 in which a plurality of microlenses 202a are two-dimensionally arranged, an image sensor 203 that photoelectrically converts light that has passed through the microlens array 202, and the LF camera 100.
  • Piezo elements 205-1 to 205-4 for changing the positional relationship between the image sensor 203 and the microlens array 202 based on a signal indicating the vibration of the image sensor 203.
  • the VR operation can be realized with a small configuration as compared with the case where the positional relationship between the imaging lens 201 and the image sensor 203 is changed.
  • the piezo elements 205-1 to 205-4 are provided on the surface 202d of the microlens array 202 on the image sensor 203 side, and change the position of the microlens array 202 with respect to the image sensor 203. Since only the microlens array 202 needs to be moved, it can be moved by piezo elements 205-1 to 205-4 which are smaller than a voice coil motor or the like.
  • the piezo elements 205-1 to 205-4 are provided on the surface 202d of the microlens array 202 on the image sensor 203 side at the four corners of the microlens array 202. In comparison, the size in the X-axis direction and the Y-axis direction in FIG. 2 can be kept small.
  • Piezoelectric elements 205-1 to 205-4 are arranged in two-dimensionally intersecting two-axis (X-axis and Y-axis) directions where at least a plurality of microlenses 202a are arranged with respect to the microlens array 202.
  • the translational movement and the rotational movement around the Z axis perpendicular to the two axes are performed.
  • VR operation suitable for suppression of the influence by camera shake can be realized.
  • the piezo element PZ1 FIG. 3
  • the Z-axis direction in FIG. 1, that is, the thickness of the imaging unit can be reduced.
  • the micro lens array 202 is moved by the piezoelectric elements 205-1 to 205-4 which are piezoelectric elements, for example, a stop mechanism required when using a voice coil motor is unnecessary, and a simple configuration Can be.
  • the movement amount of the microlens array 202 can be increased.
  • a suitable movement amount for the VR operation is, for example, about 2P to 3P (2 to 3 pixel pitch).
  • the image sensor 203 of the LF camera 100 has a large number of pixels that photoelectrically convert received light, and the microlens array 202 of the LF camera 100 has a plurality of pixels that receive the light that has passed through one microlens 202a. Arranged to receive light.
  • the VR operation of moving the microlens array 202 the influence of camera shake at the time of capturing an LF image can be appropriately suppressed.
  • partition wall 202 Since the partition wall 202 is formed by an elastic member, the partition wall 202 is deformed according to the changed positional relationship between the image sensor 203 and the microlens array 202, and the light that has passed through the other microlens 202a is surely entered. Can be prevented.
  • the LF camera 100 generates metadata indicating whether or not to limit the number of signals used for signal processing for reconstructing an image by performing predetermined signal processing on signals from a plurality of pixels. 208. As a result, an external device that performs a reconstruction process on the LF image checks the metadata, thereby preventing an inappropriate reconstruction process.
  • the control unit 208 generates the metadata when the image sensor 203 performs photoelectric conversion in a state where the positional relationship between the image sensor 203 and the microlens array 202 changes.
  • the external device makes the reconstruction process for the LF image acquired during the VR operation different from the reconstruction process for the LF image acquired during the non-VR operation. It is possible to cope with a change in the positional relationship between
  • the control unit 208 generates metadata for limiting the pixel signal used for the reconstruction process for the LF image acquired during the VR operation. Thereby, it is possible to avoid inappropriate reconstruction processing using a pixel signal with low reliability in the external device.
  • the light field camera of FIG. 1 has been described as an embodiment, all the components are not necessarily essential components of the present invention.
  • the present invention includes a microlens array 202, an image sensor 203 that photoelectrically converts light that has passed through the microlens array 202, and a drive unit that changes the positional relationship between the image sensor 203 and the microlens array 202. be able to. Even in that case, blurring can be suppressed.
  • the present invention provides a microlens array 202 that is arranged so that a plurality of pixels receive light that has passed through one microlens, and an image sensor 203 that photoelectrically converts light that has passed through the microlens array 202.
  • the driving unit that changes the positional relationship between the image sensor 203 and the microlens array 202 can be used. Even in such a case, blurring at the time of capturing an LF image can be suppressed.
  • the present invention provides a microlens array 202 that is arranged so that a plurality of pixels receive light that has passed through one microlens, and an image sensor 203 that photoelectrically converts light that has passed through the microlens array 202.
  • a partition wall provided between the microlens array 202 and the image sensor 203 for preventing light that has passed through another microlens from entering a plurality of pixels that receive light that has passed through one microlens, and an image It can be configured only by a drive unit that changes the positional relationship between the sensor 203 and the microlens array 202. Even in this case, it is possible to prevent the light that has passed through the other microlenses from entering.
  • Modification 1 In the above embodiment (FIGS. 4 and 5), an example in which one end of the partition wall 204 is connected to the surface 202d of the microlens array 202 and the other end of the partition wall 204 is connected to the surface of the image sensor 203 has been described. . Instead, as illustrated in FIG. 11A, only one end of the partition wall 204 may be connected to the surface 202d of the microlens array 202, and the other end of the partition wall 204 may be separated from the image sensor 203. Conversely, only one end of the partition wall 204 may be connected to the image sensor 203, and the other end of the partition wall 204 may be separated from the microlens array 202.
  • both ends of the partition wall 204 may be connected to the surface 202d of the microlens array 202 and the surface of the image sensor 203, respectively, and a part of the partition wall 204 may be configured by an elastic member.
  • a part or all of the partition walls may be configured using an expansion / contraction member having an expansion / contraction mechanism such as a bellows.
  • the piezo elements 205 (205-1 to 205-4) are respectively provided on the side portions of the microlens array 202 (at the four corners of the side portions or on each side of the side portions). It is good also as a structure.
  • a part of the piezo element 205 (for example, 205-1 and 205-2) is provided on the side of the microlens array 202, and the remaining piezo element 205 (for example, 205- 3, 205-4) may be provided on the rear surface of the microlens array 202.
  • the attachment positions of the piezo elements 205 (205-1 to 205-4) may be appropriately changed at the four corners or the four sides of the microlens array 202 on the side portion or the rear surface of the microlens array 202.
  • the piezoelectric elements 205 are provided on the four sides of the microlens array 202 on the image sensor 203 side of the microlens array 202 or on the side of the microlens array 202.
  • the piezo elements 205 (205-1 to 205-4) can be arranged at appropriate positions according to the space for accommodating the imaging unit as shown in FIG.
  • FIG. 13 is a diagram showing an example of the appearance of a thin LF camera 300.
  • the LF camera 300 is composed of a central part 301 and a peripheral part 302, for example.
  • an imaging unit (see FIG. 14) including a microlens array 202, an image sensor 203, and a piezo element 205 is disposed.
  • the peripheral portion 302 as shown by a broken line, for example, a battery 302a, a control circuit 302b, a shake detection unit 302c, a communication unit 302d, and the like are arranged.
  • the battery 302a for example, a rechargeable secondary battery or a capacitor having a sufficient charge storage capacity is used.
  • the shake detection unit 302c a thin one having the same function as the shake detection unit 207 described in FIG. 1 is used.
  • the control circuit 302b a thin circuit having the same functions as those of the piezo driving circuit 206 and the control unit 208 described in FIG. 1 is used.
  • the communication unit 302d transmits an image signal captured by the image sensor to an external receiver (for example, an external recording medium for recording an image, an electronic device such as a smartphone having an image display function and an image signal memory function) by wireless communication. Device, etc.).
  • an external receiver for example, an external recording medium for recording an image, an electronic device such as a smartphone having an image display function and an image signal memory function
  • control circuit 302b may be provided with the function of the image processing unit 210 described with reference to FIG. 1 so as to transmit an image-processed signal to an external receiver.
  • the battery 302 a disposed in the peripheral portion 302 is not essential.
  • the LF camera 300 may be configured to operate without a power source by using a known electromagnetic induction technique.
  • FIG. 14 shows an example of a cross-sectional view when the central portion 301 of the LF camera 300 of FIG. 13 is cut along the Y axis.
  • the image sensor 203 is fixed to a base 150 which is a base member.
  • one end of the piezo element 205 is fixed to the base 150, and the other end of the piezo element 205 is fixed to the microlens array 202 to support the microlens array 202.
  • the operation of the imaging unit including the microlens array 202, the image sensor 203, and the piezo element 205 described in FIG. 14 is the same as the operation of the LF camera 100 described above.
  • the following operational effects can be obtained. (1) Since the LF camera 300 is thin, it does not get in the way even if it is fixed to an attachment (for example, a helmet). (2) The LF camera 300 can be bent because it is thin, and can be adhered to an object to be attached (for example, a utility pole) having a curved surface. (3) Since the LF camera 300 is thin, it can be stored in a wallet or the like like various cards. (4) The LF camera 300 does not receive air resistance when it is fixed to an object to be mounted (for example, a car or a helicopter body) because of its thinness.
  • the object when incorporating the LF camera 300 or the central portion 301 (imaging unit) of the LF camera 300 into an object, the object can be incorporated without changing the design of the object. (6) When incorporating the LF camera 300 or the central portion 301 (imaging unit) of the LF camera 300 into an object, the object can be incorporated even when the object is thin.
  • FIG. 15A is a diagram schematically illustrating a positional relationship among the microlens array 202, the partition 204, and the image sensor 203 before the VR operation is started.
  • FIG. 15B shows the positions of the microlens array 202, the partition wall 204, and the image sensor 203 when the microlens array 202 is moved to the right side in FIG.
  • FIG. 15C shows the positions of the microlens array 202, the partition wall 204, and the image sensor 203 when the microlens array 202 is moved to the left in FIG. It is a figure which shows a relationship typically.
  • the partition wall 204 moves together with the microlens array 202.
  • the positional relationship between the other end of the partition wall 204 and the image sensor 203 is changed. For this reason, among the plurality of pixels of the pixel group PXs, there is a possibility that light incident on the pixels 203d and 203e located on the peripheral side may be blocked by the partition wall 204.
  • the control unit 208 be configured to generate.
  • FIG. 16A is a diagram schematically illustrating a positional relationship among the microlens array 202, the partition wall 204, and the image sensor 203 before starting the VR operation.
  • FIG. 16B shows the positions of the microlens array 202, the partition wall 204, and the image sensor 203 when the microlens array 202 is moved to the right side in FIG. It is a figure which shows a relationship typically.
  • FIG. 16C shows the positions of the microlens array 202, the partition wall 204, and the image sensor 203 when the microlens array 202 is moved to the left in FIG. It is a figure which shows a relationship typically.
  • the light that has passed through the microlens 202a enters the corresponding pixel group PXs.
  • FIGS. 16B and 16C when the positional relationship between the microlens array 202 and the image sensor 203 is changed by the VR operation, one end of the partition wall 204 is aligned with the microlens array 202. Move with.
  • the other end of the partition wall 204 is connected to the subject-side surface 203a of the image sensor 203, even if the positional relationship between the microlens array 202 and the image sensor 203 is changed by the VR operation, the other end of the partition wall 204 is The positional relationship between the image sensor 203 and the image sensor 203 does not change. Therefore, there is a low possibility that the light incident on the pixels located on the peripheral side among the plurality of pixels of the pixel group PXs is blocked by the partition wall 204.
  • the control unit 208 when one end of the partition wall 204 is connected to the surface 202d of the microlens array 202 and the other end of the partition wall 204 is connected to the subject side surface 203a of the image sensor 203, the control unit 208 The above-described metadata need not be generated.
  • FIG. 17A is a diagram schematically illustrating a positional relationship among the microlens array 202, the partition 204, and the image sensor 203 before the VR operation is started.
  • FIG. 17B shows the positions of the microlens array 202, the partition wall 204, and the image sensor 203 when the microlens array 202 is moved to the right side in FIG. It is a figure which shows a relationship typically.
  • FIG. 17C shows the positions of the microlens array 202, the partition wall 204, and the image sensor 203 when the microlens array 202 is moved to the left side in FIG. It is a figure which shows a relationship typically.
  • the light that has passed through the microlens 202a enters the corresponding pixel group PXs.
  • FIGS. 17B and 17C even if the positional relationship between the microlens array 202 and the image sensor 203 is changed by the VR operation, one end of the partition wall 204 remains at the microlens array 202. Since the other end of the partition wall 204 is connected to the subject side surface 203a of the image sensor 203, the positional relationship between the partition wall 204 and the image sensor 203 does not change. Therefore, the light incident on the pixels located on the peripheral side among the plurality of pixels of the pixel group PXs is not likely to be blocked by the partition wall 204.
  • the control unit 208 when one end of the partition wall 204 is separated from the surface 202d of the microlens array 202 and the other end of the partition wall 204 is connected to the subject-side surface 203a of the image sensor 203, the control unit 208 The above-described metadata need not be generated.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Lens Barrels (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

　撮像装置は、複数のマイクロレンズが二次元上に配置されるマイクロレンズアレイと、複数の画素を含む画素群を複数有し、マイクロレンズアレイの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、画素群で受光する像のブレを防止するために、撮像センサとマイクロレンズアレイとの位置関係を変化させる駆動部と、を備える。

Description

撮像装置、マルチレンズカメラおよび撮像装置の製造方法
　本発明は、撮像装置、マルチレンズカメラおよび撮像装置の製造方法に関する。
　ライト・フィールド・フォトグラフィ（Light Field Photography）技術を用いるカメラ（マルチレンズカメラ）において、マイクロレンズの配列方向（光軸に直交する方向）にマイクロレンズアレイ全体を移動させる技術が知られている（特許文献１参照）。
日本国特開２０１２－６０４６０号公報
　従来技術では、マイクロレンズの配列ピッチを擬似的に短縮した撮像を行うにすぎず、撮影時に生じたブレによる影響を抑制できない。
　本発明の第１の態様によると、撮像装置は、複数のマイクロレンズが二次元上に配置されるマイクロレンズアレイと、複数の画素を含む画素群を複数有し、マイクロレンズアレイの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、画素群で受光する像のブレを防止するために、撮像センサとマイクロレンズアレイとの位置関係を変化させる駆動部と、を備える。
　本発明の第２の態様によると、第１の態様の撮像装置において、駆動部は、撮像装置のブレを示す信号に基づき、撮像センサとマイクロレンズアレイとの位置関係を変化させることが好ましい。
　本発明の第３の態様によると、第１または第２の態様の撮像装置において、駆動部は、マイクロレンズアレイの撮像センサに対向する部分とマイクロレンズアレイの側部との少なくとも一方に設けられ、撮像センサに対するマイクロレンズアレイの位置を変化させることが好ましい。
　本発明の第４の態様によると、第３の態様の撮像装置において、駆動部は、マイクロレンズアレイの四隅において、マイクロレンズアレイの撮像センサに対向する部分またはマイクロレンズアレイの側部に設けられることが好ましい。
　本発明の第５の態様によると、第３の態様の撮像装置において、駆動部は、マイクロレンズアレイの四辺において、マイクロレンズアレイの撮像センサに対向する部分またはマイクロレンズアレイの側部に設けられることが好ましい。
　本発明の第６の態様によると、第１から第５のいずれか一態様の撮像装置において、駆動部は、マイクロレンズアレイに対して、少なくとも複数のマイクロレンズが配置される二次元上の交差する２軸方向への並進移動と、２軸に直交する軸の周りの回転移動とをさせることが好ましい。
　本発明の第７の態様によると、第１から第６のいずれか一態様の撮像装置において、駆動部は圧電素子を含むことが好ましい。
　本発明の第８の態様によると、第７の態様の撮像装置において、圧電素子は、変位増幅機能を有することが好ましい。
　本発明の第９の態様によると、第１から第８のいずれか一態様の撮像装置において、マイクロレンズアレイと撮像センサとの間に設けられ、１つのマイクロレンズを通過した光を受光する画素群へ、他のマイクロレンズを通過した光が進入することを妨げる隔壁を備えることが好ましい。
　本発明の第１０の態様によると、第９の態様の撮像装置において、隔壁は、少なくとも隔壁のマイクロレンズアレイに対向する部分がマイクロレンズアレイに接続されるか、隔壁の撮像センサに対向する部分が撮像センサに接続されることが好ましい。
　本発明の第１１の態様によると、第９の態様の撮像装置において、隔壁は、隔壁とマイクロレンズアレイ、または隔壁と撮像センサが離間するように配置されることが好ましい。
　本発明の第１２の態様によると、第９の態様の撮像装置において、隔壁は、隔壁のマイクロレンズアレイに対向する部分がマイクロレンズアレイに接続され、隔壁の撮像センサに対向する部分が撮像センサに接続されることが好ましい。
　本発明の第１３の態様によると、第１２の態様の撮像装置において、隔壁は、少なくとも一部が弾性部材によって形成されることが好ましい。
　本発明の第１４の態様によると、第１から第１３のいずれか一態様の撮像装置において、撮像センサとマイクロレンズアレイとの位置関係が変化するとき、画素群からの信号に対する制限を示す情報を生成する情報生成部を備えることが好ましい。
　本発明の第１５の態様によると、第１４の態様の撮像装置において、情報生成部は、撮像センサとマイクロレンズアレイとの位置関係が変化する状態で撮像センサが光電変換を行う場合に、信号処理に用いる信号数を制限することを示す付加情報を生成することが好ましい。
　本発明の第１６の態様によると、第１５の態様の撮像装置において、情報生成部は、１つのマイクロレンズを通過した光を受光する画素群のうち、端部の画素からの信号を除外することによって信号数を制限することを示す付加情報を生成することが好ましい。
　本発明の第１７の態様によると、マルチレンズカメラは、第１から第１６のいずれか一態様の撮像装置を備える。
　本発明の第１８の態様によると、撮像装置の製造方法は、複数のマイクロレンズが二次元上に配置されるマイクロレンズアレイを準備することと、複数の画素を含む画素群を複数有し、マイクロレンズアレイの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサを準備することと、画素群で受光する像のブレを防止するために、撮像センサとマイクロレンズアレイとの位置関係を変化させる駆動部を準備することと、マイクロレンズアレイと、撮像センサと、駆動部とを組み立てることと、を有する。
　本発明の第１９の態様によると、撮像装置は、複数のマイクロレンズが二次元上に配置されるマイクロレンズアレイと、複数の画素を含む画素群を複数有し、マイクロレンズアレイの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、マイクロレンズアレイと撮像センサとの間に設けられ、一つのマイクロレンズを通過した光を受光する画素群へ他のマイクロレンズを通過した光が進入することを妨げる隔壁と、を備え、隔壁は、撮像センサとマイクロレンズアレイとの位置関係が変化しても、一つのマイクロレンズを通過した光を受光する画素群へ他のマイクロレンズを通過した光が進入することを妨げるよう構成される。
　本発明の第２０の態様によると、撮像装置は、複数のマイクロレンズが二次元上に配置されるマイクロレンズアレイと、複数の画素を含む画素群を複数有し、マイクロレンズアレイの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、マイクロレンズアレイと撮像センサとの間に設けられ、一つのマイクロレンズを通過した光を受光する画素群へ他のマイクロレンズを通過した光が進入することを妨げる隔壁と、撮像センサとマイクロレンズアレイとの位置関係が変化するとき、画素群からの信号に対する制限を示す情報を生成する情報生成部と、を備える。
ライト・フィールドカメラの要部構成を説明する図である。 図１におけるマイクロレンズアレイおよびピエゾ素子を説明する図である。 ピエゾ素子の拡大図である。 マイクロレンズアレイとイメージセンサの一部を拡大した図である。 図４のマイクロレンズアレイを並進移動させた例を説明する図である。 制御部がＶＲ動作時に実行する処理を説明するフローチャートである。 ライト・フィールドカメラの光学系を模式的に示す図である。 撮像レンズ側から見たイメージセンサを例示する図である。 撮像レンズ側から見たイメージセンサを例示する図である。 図１０(a)～図１０(c)は、ＬＦカメラの撮像部の組立手順について説明する図である。 図１１(a)、図１１(b)は、隔壁に関する変形例を説明する図である。 図１２(a)～図１２(c)は、ピエゾ素子の位置に関する変形例を説明する図である。 薄型のライト・フィールドカメラの外観を例示する図である。 図１３のライト・フィールドカメラの撮像部の断面図である。 図１５(a)～図１５(c)は、ＶＲ動作中に画素群ＰＸｓに入射する光について説明する図である。 図１６(a)～図１６(c)は、ＶＲ動作中に画素群ＰＸｓに入射する光について説明する図である。 図１７(a)～図１７(c)は、ＶＲ動作中に画素群ＰＸｓに入射する光について説明する図である。
＜ライト・フィールドカメラの概要＞
　図１は、一実施の形態によるライト・フィールド（以下ＬＦと呼ぶ）カメラ１００の要部構成を説明する図である。一般に、ＬＦカメラ１００は、視点が異なる複数の画像を撮像する。図１において、撮像レンズ２０１は、被写体からの光をマイクロレンズアレイ２０２に投射する。撮像レンズ２０１は交換可能に構成されており、ＬＦカメラ１００のボディに装着して使用する。マイクロレンズアレイ２０２に入射した被写体光は、マイクロレンズアレイ２０２を通過し、イメージセンサ２０３によって光電変換される。
　なお、撮像レンズをＬＦカメラ１００のボディと一体に構成してもよい。
　イメージセンサ２０３から読み出された光電変換後の画素信号は、画像処理部２１０へ送られる。画像処理部２１０は、画素信号に対して所定の画像処理を施す。画像処理後の画像データは、メモリカードなどの記録媒体２０９に記録される。
　なお、イメージセンサ２０３から読み出された画素信号に画像処理を施さずに記録媒体２０９へ記録してもよい。
　本実施形態のＬＦカメラ１００は、手持ちで撮像を行う場合に生じる揺動（いわゆる手ブレ）の影響を抑えるＶＲ（Vibration Reduction）機能を備える。なお、ＶＲ機能は、手持ちで撮影を行う場合に生じる搖動や振動に限られず、例えばＬＦカメラ１００が被装着物（例えばヘルメット等）に固定された場合の搖動や振動（例えばＬＦカメラがいわゆるアクションカメラとして用いられる場合の撮影時のブレ）の影響を抑えるものであっても良い。
　なお図１０に示される撮像部は、ＬＦカメラ１００に適用されるばかりではなく、後述するような薄型のＬＦカメラ３００（図１３参照）に適用されることもある。薄型のＬＦカメラ３００は、その薄さゆえに様々な部位（被装着部）に装着可能である。上記ＶＲ機能は、薄型のＬＦカメラ３００が装着されている被装着部の揺れに伴うカメラのブレの影響を抑えるものとして機能する。ＶＲ動作の詳細については後述する。ＶＲ動作中に撮像された画像データには、例えば、ＶＲ動作中であったことを示すメタデータが付加される。また、メタデータは、ＶＲ動作中であったことを示す情報に加え、ＬＦカメラ１００が移動した場合の加速度情報を含むように構成しても良い。
　マイクロレンズアレイ２０２は、微小レンズ（後述するマイクロレンズ２０２ａ）を格子状またはハニカム形状に二次元配列して構成されており、イメージセンサ２０３の撮像面側（撮像レンズ２０１側）に設けられる。
　マイクロレンズアレイ２０２は、圧電素子の一例であるピエゾ素子２０５によって支持される。ピエゾ素子２０５は、一端がマイクロレンズアレイ２０２に固定され、他端がイメージセンサ２０３を実装する基部１５０（図１０）に固定される。このため、ピエゾ素子２０５を駆動することによって、マイクロレンズアレイ２０２とイメージセンサ２０３との相対的な位置関係の変更が可能である。なお、ピエゾ素子の代わりに、ボイスコイルモーターや超音波モーターなどのアクチュエータを用いることも可能である。
　本実施形態では、マイクロレンズアレイ２０２とイメージセンサ２０３との間の位置関係を制御することにより、上記ＶＲ動作を行う。本実施形態では、マイクロレンズアレイ２０２がピエゾ素子２０５によって駆動される例を用いて説明するが、イメージセンサ２０３がピエゾ素子２０５によって駆動されるように構成しても良い。
　振れ検出部２０７は、加速度センサおよび角速度センサによって構成される。振れ検出部２０７は、ＬＦカメラ１００の振れとして、例えば、Ｘ軸、Ｙ軸、Ｚ軸の各軸方向の並進移動、および各軸回りの回転をそれぞれ検出する。
　図１に示した座標軸において、被写体からの光はＺ軸マイナス方向へ向かう。また、図１において、上向きかつＺ軸に直交する向きをＹ軸プラス方向とし、紙面に垂直な手前方向で、Ｚ軸およびＹ軸に直交する向きをＸ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準としてそれぞれの図における向きを表す。
　制御部２０８は、ＬＦカメラ１００の撮像動作を制御する。また、制御部２０８は、振れ検出部２０７からの検出信号に基づいてＶＲ演算を行う。振れ検出部２０７は、加速度センサを含み、振れ検出部２０７からの検出信号はＬＦカメラ１００が移動した場合の加速度情報を含んでいる。ＶＲ演算は、イメージセンサ２０３上における像の揺れを抑えるために必要なマイクロレンズアレイ２０２の駆動方向および駆動量の算出を目的とする。ＶＲ演算は、例えば撮像レンズを駆動する公知のＶＲ動作や、イメージセンサを駆動する公知のＶＲ動作における演算と同様である。このため、ＶＲ演算についての詳細な説明は省略する。
　ピエゾ素子駆動回路２０６は、制御部２０８からの駆動方向および駆動量の指示に応じて、ピエゾ素子２０５を駆動する。図２は、図１におけるマイクロレンズアレイ２０２およびピエゾ素子２０５を説明する図である。図２の例では、複数のマイクロレンズ２０２ａがハニカム形状に配列されている。ピエゾ素子２０５は、４つのピエゾ素子２０５－１～２０５－４によって構成される。ピエゾ素子２０５－１～２０５－４はそれぞれ、マイクロレンズアレイ２０２の四隅であって、マイクロレンズアレイ２０２の後ろ側（イメージセンサ２０３側）の面に固定されている。
＜ピエゾ素子＞
　図３は、ピエゾ素子２０５－１の拡大図である。ピエゾ素子２０５－２～２０５－４は、いずれもピエゾ素子２０５－１と同様の構成を有する。図３において、ピエゾ素子２０５－１は、変位方向がそれぞれ異なる３つのピエゾ素子を積層して構成される。すなわち、ピエゾ素子ＰＺ１は、Ｚ軸方向に変位する厚み縦振動タイプの素子である。ピエゾ素子ＰＺ２は、Ｙ軸方向に変位する厚みすべりタイプの素子である。ピエゾ素子ＰＺ３は、Ｘ軸方向に変位する厚みすべりタイプの素子である。なお、ピエゾ素子ＰＺ２とピエゾ素子ＰＺ３は、図３のようにＹ軸方向とＸ軸方向にそれぞれ変位するように配置するだけでなく、ＸＹ平面上の交差する任意の２軸方向にそれぞれ変位するように配置してもよい。
　また、３つのピエゾ素子ＰＺ１～ＰＺ３を積層する順番は、図３の通りでなくてもよく、順番を入れ替えてもよい。そしてまた、ピエゾ素子２０５－１～２０５－４で３つのピエゾ素子ＰＺ１～ＰＺ３を積層する順番が異なっていてもよい。さらにまた、各ピエゾ素子は、不図示の増幅機構を備えてもよい。増幅機構は、ヒンジ型、楕円シェル型、ハニカムリンク型などのいずれでもよい。また、例えば、Ｚ軸方向の並進移動をするピエゾ素子ＰＺ１を省略してもよい。この場合、Ｘ軸回りの回転移動、Ｙ軸回りの回転移動、Ｚ軸方向の並進移動はできなくなるが、図１におけるＺ軸方向、すなわち撮像部の厚みを減らすことができる。
　図２に戻り、４つのピエゾ素子２０５－１～２０５－４を、それぞれ同じ向き（Ｘ軸、Ｙ軸、またはＺ軸方向）に変位させる場合、イメージセンサ２０３に対してマイクロレンズアレイ２０２を各軸の方向へ並進移動させることができる。
　また、４つのピエゾ素子２０５－１～２０５－４のうち、図２の上側に位置するピエゾ素子２０５－１および２０５－４と、図２の下側に位置するピエゾ素子２０５－２および２０５－３との間でＺ軸方向の変位を逆向きにする場合、イメージセンサ２０３に対してマイクロレンズアレイ２０２をＸ軸の回りに回転移動させることができる。
　さらに、４つのピエゾ素子２０５－１～２０５－４のうち、図２の右側に位置するピエゾ素子２０５－３および２０５－４と、図２の左側に位置するピエゾ素子２０５－１および２０５－２との間でＺ軸方向の変位を逆向きにする場合、イメージセンサ２０３に対してマイクロレンズアレイ２０２をＹ軸の回りに回転移動させることができる。
　さらにまた、ピエゾ素子２０５－１をＹ軸プラス方向へ変位させ、ピエゾ素子２０５－４をＸ軸プラス方向へ変位させ、ピエゾ素子２０５－３をＹ軸マイナス方向へ変位させ、ピエゾ素子２０５－２をＸ軸マイナス方向へ変位させる場合、イメージセンサ２０３に対してマイクロレンズアレイ２０２を、Ｚ軸の回りに時計方向に回転させることができる。
　各ピエゾ素子２０５－１～２０５－４の変位の向きを上記と逆向きにする場合、イメージセンサ２０３に対してマイクロレンズアレイ２０２を、Ｚ軸の回りに反時計方向に回転させることができる。
＜マイクロレンズアレイとイメージセンサの相対的位置関係＞
　図４は、図１におけるマイクロレンズアレイ２０２とイメージセンサ２０３の一部を拡大した図である。図中の符号Ｇは、マイクロレンズアレイ２０２およびイメージセンサ２０３の間隔を示す。イメージセンサ２０３は、二次元に配列された複数の画素を有しており、各画素にて光の強度を検出する。図中の符号Ｐは、画素ピッチを示す。各マイクロレンズ２０２ａに対して、複数の画素からなる画素群ＰＸｓがそれぞれ割り当てられる。画素群ＰＸｓを構成する各画素は、マイクロレンズ２０２ａに対して所定の位置に配列される。これにより、各マイクロレンズ２０２ａを通過した光は、そのマイクロレンズ２０２ａの後ろに配列された画素群ＰＸｓによって複数に分割される。
　図４において、マイクロレンズアレイ２０２のイメージセンサ２０３側の面２０２ｄがＸＹ平面に対して湾曲している。面２０２を湾曲させた理由は、ピエゾ素子２０５－１～２０５－４（図２）を駆動することによってマイクロレンズアレイ２０２をＸ軸回り、Ｙ軸回りに回転させた場合でも、マイクロレンズアレイ２０２とイメージセンサ２０３との間に所定の空隙を確保するためである。
　なお、図４の湾曲面は、わかりやすくするために誇張したものである。
　各マイクロレンズ２０２ａの境界部分には、光を遮光する隔壁２０４が設けられている。隔壁２０４は、例えば弾性部材によって構成されており、隔壁２０４の一方の端がマイクロレンズアレイ２０２の面２０２ｄと接続される。また、隔壁２０４の他方の端がイメージセンサ２０３と接続される。隔壁２０４を設ける理由は、マイクロレンズ２０２ａを通過した光が、そのマイクロレンズ２０２ａの後ろ（図４において下方）に配列された画素群ＰＸｓでのみ受光され、隣のマイクロレンズ２０２ａの後ろ（図４において下方）に配列された画素群ＰＸｓへ進入しないようにするためである。
　図５は、図４におけるマイクロレンズアレイ２０２をＹ軸プラス方向へ並進移動させた例を説明する図である。マイクロレンズアレイ２０２の移動方向および移動量は、制御部２０８によるＶＲ演算結果に基づいて決定される。これにより、イメージセンサ２０３の各画素では、ＬＦカメラ１００の振れの後においてもＬＦカメラ１００の振れがなかった場合と同様の光が受光され得る。
　マイクロレンズアレイ２０２とイメージセンサ２０３との位置関係が変更された場合でも、隔壁２０４が変形することで、マイクロレンズ２０２ａを通過した光が、そのマイクロレンズ２０２ａの後ろ（図５において下方）に配列された画素群ＰＸｓでのみ受光され、隣のマイクロレンズ２０２ａの後ろ（図５において下方）に配列された画素群ＰＸｓへ進入することが防止される。また、隔壁２０４が変形しなかったとしても、隔壁２０４がマイクロレンズアレイ２０２の面２０２ｄと接続している部分、および、隔壁２０４がイメージセンサ２０３と接続している部分が変形することにより、マイクロレンズ２０２ａを通過した光が、その隣のマイクロレンズ２０２ａの後ろ（図５において下方）に配列された画素群ＰＸｓへ進入することが防止される。
＜ＶＲ動作＞
　制御部２０８がＶＲ動作時に実行する処理の流れについて、図６のフローチャートを参照して説明する。制御部２０８は、ＬＦカメラ１００に備わる不図示のＶＲスイッチがオン設定された場合に、図６による処理を起動させる。図６による処理を行うためのプログラムは、例えば制御部２０８内の不揮発性メモリに格納されている。
　図６のステップＳ１０において、制御部２０８は、ＬＦカメラ１００の現在の姿勢を初期位置としてステップＳ２０へ進む。ステップＳ２０において、制御部２０８は、振れ検出部２０７から検出信号を入力してステップＳ３０へ進む。
　ステップＳ３０において、制御部２０８は、振れ検出部２０７からの検出信号に基づいて、前回算出した姿勢（図６の処理を起動して１回目の場合は、前回算出した姿勢の代わりに初期位置を用いる）と現在の姿勢との姿勢差を算出してステップＳ４０へ進む。
　ステップＳ４０において、制御部２０８は、姿勢差に基づき、ＬＦカメラ１００の揺動に起因するブレの影響（イメージセンサ２０３上における像の揺れ）を抑えるためのマイクロレンズアレイ２０２の駆動方向および駆動量を算出してステップＳ５０へ進む。
　ステップＳ５０において、制御部２０８はピエゾ素子駆動回路２０６へ指示を送り、４つのピエゾ素子２０５－１～２０５－４をそれぞれ、ステップＳ４０において算出した駆動方向へ、算出した駆動量だけ駆動させる。
　例えば、イメージセンサ２０３（図１）に対してマイクロレンズアレイ２０２をＹ軸プラス方向へ並進移動させる場合、ピエゾ素子２０５（図２の２０５－１～２０５－４）を構成するピエゾ素子ＰＺ２（図３）を、それぞれＹ軸プラス方向へ変位させる。これにより、マイクロレンズアレイ２０２がイメージセンサ２０３に対してＹ軸プラス方向へ移動する。
　ステップＳ６０において、制御部２０８は、ＶＲ動作を終了するか否かを判定する。制御部２０８は、不図示のＶＲスイッチがオフ設定された場合にステップＳ６０を肯定判定し、図６による処理を終了する。制御部２０８は、不図示のＶＲスイッチがオフ設定されない場合にはステップＳ６０を否定判定し、ステップＳ２０へ戻る。ステップＳ２０へ戻った場合、制御部２０８は上述した処理を繰り返す。
＜ＬＦカメラの光学系＞
　図７は、ＬＦカメラ１００の光学系を模式的に示す図である。撮像レンズ２０１は、被写体からの光をマイクロレンズアレイ２０２へ導く。各マイクロレンズ２０２ａには、被写体の異なる部位からの光が入射される。マイクロレンズアレイ２０２へ入射された光は、マイクロレンズアレイ２０２を構成するマイクロレンズ２０２ａによって複数に分割される。そして、各マイクロレンズ２０２ａを通過した光はそれぞれ、対応するマイクロレンズ２０２ａの後ろ（図７において右方）の所定位置に配列されたイメージセンサ２０３の画素群ＰＸｓに入射される。
　ＬＦカメラ１００では、各マイクロレンズ２０２ａを通過した光が、そのマイクロレンズ２０２ａの後ろに配列された画素群ＰＸｓによって複数に分割される。すなわち、画素群ＰＸｓを構成する各画素は、被写体の１つの部位からの光であって撮像レンズ２０１の異なる領域を通過した光をそれぞれ受光する。
　以上の構成により、被写体の異なる部位ごとに、被写体光が撮像レンズ２０１を通過した領域を示す光量分布である小画像が、マイクロレンズ２０２ａの数だけ得られる。本実施形態では、このような小画像の集まりをＬＦ画像と呼ぶ。
　上記実施形態のマイクロレンズアレイ２０２の厚みは、例えば１５０μｍである。マイクロレンズ２０２ａの外径は、例えば５０μｍである。１つのマイクロレンズ２０２ａの後ろ（図７において右方）に配列される画素群ＰＸｓの画素数は、例えば数百である。画素群ＰＸｓの画素ピッチＰは、例えば２μｍである。ピエゾ素子２０５－１～２０５－４による１方向の最大変位は、例えば６μｍである。マイクロレンズアレイ２０２とイメージセンサ２０３との空隙は、例えば１０μｍである。
　上述したＬＦカメラ１００では、各マイクロレンズ２０２ａの後ろ（図７において右方）に配列された複数の画素の位置によって、各画素への光の入射方向が定まる。つまり、マイクロレンズ２０２ａと、その後ろ（図７において右方）のイメージセンサ２０３の各画素との位置関係が設計情報として既知であることから、マイクロレンズ２０２ａを介して各画素に入射される光線の入射方向（方向情報）が求まる。このため、イメージセンサ２０３の各画素の画素信号は、所定の入射方向からの光の強度（光線情報）を表すことになる。
　本実施形態では、画素に入射される所定の方向からの光を光線と呼ぶことにする。
＜再構築処理における有効範囲＞
　一般に、ＬＦ画像は、そのデータを用いて画像の再構築処理が施される。再構築処理は、ＬＦ画像が有する上記光線情報と上記方向情報とに基づいた演算（光線を並べ替える演算）を行うことによって、任意のピント位置や視点での画像を生成する処理をいう。このような再構築処理は公知であるので、再構築処理についての詳細な説明は省略する。
　なお、再構築処理は、画像処理部２１０によってＬＦカメラ１００内で行ってもよいし、記録媒体２０９に記録されたＬＦ画像のデータをパーソナルコンピュータなどの外部機器へ送信し、外部機器に行わせてもよい。
　再構築処理において、ＬＦカメラ１００で取得されたＬＦ画像のデータにＶＲ動作中であったことを示すメタデータが付加されていた場合、再構築処理に用いる光線を制限する。すなわち、メタデータが付加されていた場合、マイクロレンズ２０２ａの後ろに配列された画素群ＰＸｓで受光された光線情報の一部の情報を再構築処理に使用しない。図８は、マイクロレンズアレイ２０２の後ろに配列された画素群ＰＸｓを例示する図である。画像処理部２１０は、通常、各マイクロレンズ２０２ａに対応する画素群ＰＸｓの各画素信号（光線情報）を使用して再構築処理を行う。画素群ＰＸｓは、範囲２０３ｂ（網かけ部分）に存在している画素である。これに対し、ＬＦ画像のデータにメタデータが付加されていた場合、画像処理部２１０は、図９に示すように、図８の範囲２０３ｂよりも直径を縮めた範囲２０３ｃ（網かけ部分）の各画素信号（光線情報）を使用して再構築処理を行う。なお、範囲２０３ｃは、例えば範囲２０３ｂの直径を約１０％縮めたものである。
　画素群ＰＸｓにおいて、再構築処理に用いる範囲を制限する理由は以下の通りである。マイクロレンズアレイ２０２とイメージセンサ２０３との位置関係が変更された場合、範囲２０３ｃ（網かけ部分）以外の範囲の画素の中には、光が到達しない画素が生じる。すなわち、範囲２０３ｃ（網かけ部分）以外の範囲の画素の画素信号（光線情報）は信頼性が低い。そこで、画素群ＰＸｓの中心から離れている画素（範囲２０３ｃ（網かけ部分）以外の範囲の画素）の画素信号（光線情報）を再構築処理から除外することで、マイクロレンズアレイ２０２とイメージセンサ２０３との位置関係が変更された場合における不適切な再構築処理を避けることができる。
＜撮像部の製造方法＞
　図１０を参照してＬＦカメラ１００に搭載される撮像部の組立手順について説明する。図１０(a)に示す第１工程では、例えば作業者（ロボットでもよい）が、イメージセンサ２０３を準備する。作業者は、準備したイメージセンサ２０３の撮像面を図１０(a)における上側にして、ベース部材である基部１５０へイメージセンサ２０３を実装する。
　なお、隔壁２０４（図４）の図示を省略しているが、イメージセンサ２０３において画素群ＰＸｓごとの所定位置に、隔壁２０４がそれぞれ設けられている。
　図１０(b)に示す第２工程では、例えば作業者が、マイクロレンズアレイ２０２と、ピエゾ素子２０５（２０５－１～２０５－４）とを準備する。作業者は、ピエゾ素子２０５（２０５－１～２０５－４）の一端をそれぞれ、マイクロレンズアレイ２０２の四隅（図２参照）であって、マイクロレンズアレイ２０２のイメージセンサ２０３側となる面（図１０(b)において下面）に接着する。
　図１０(c)に示す第３工程では、例えば作業者が、基部１５０に実装されているイメージセンサ２０３の上から、メージセンサ２０３の画素群ＰＸｓにマイクロレンズ２０２ａの位置を合わせて、ピエゾ素子２０５（２０５－１～２０５－４）が固着されているマイクロレンズアレイ２０２を実装する。作業者は、ピエゾ素子２０５（２０５－１～２０５－４）の他端をそれぞれ、基部１５０に接着する。これにより、撮像部が完成する。
　なお、上述した撮像部の組立手順は、適宜順番を入れ替えてもよい。例えば、基部１５０に対し、イメージセンサ２０３、ピエゾ素子２０５（２０５－１～２０５－４）、隔壁２０４をそれぞれ実装した上で、最後にマイクロレンズアレイ２０２を上から装着しても構わない。
　上述した実施の形態によれば、次の作用効果が得られる。
（１）ＬＦカメラ１００の撮像部は、複数のマイクロレンズ２０２ａが二次元上に配置されるマイクロレンズアレイ２０２と、マイクロレンズアレイ２０２を通過した光を光電変換するイメージセンサ２０３と、ＬＦカメラ１００の振れを示す信号に基づき、イメージセンサ２０３とマイクロレンズアレイ２０２との位置関係を変化させるピエゾ素子２０５－１～２０５－４とを備える。これにより、例えば撮像レンズ２０１とイメージセンサ２０３との位置関係を変化させる場合に比べて、小さな構成によってＶＲ動作を実現し得る。
（２）ピエゾ素子２０５－１～２０５－４は、マイクロレンズアレイ２０２のイメージセンサ２０３側の面２０２ｄに設けられ、イメージセンサ２０３に対するマイクロレンズアレイ２０２の位置を変化させる。マイクロレンズアレイ２０２のみを移動させればよいので、ボイスコイルモーター等に比べて小さなピエゾ素子２０５－１～２０５－４で移動させることができる。
（３）ピエゾ素子２０５－１～２０５－４は、マイクロレンズアレイ２０２の四隅において、マイクロレンズアレイ２０２のイメージセンサ２０３側の面２０２ｄに設けたので、マイクロレンズアレイ２０２の側部に設ける場合と比べて、図２においてＸ軸方向およびＹ軸方向のサイズを小さく抑えることができる。
（４）ピエゾ素子２０５－１～２０５－４は、マイクロレンズアレイ２０２に対して、少なくとも複数のマイクロレンズ２０２ａが配置される二次元上の交差する２軸（Ｘ軸およびＹ軸）方向への並進移動と、２軸に直交するＺ軸の周りの回転移動とをさせる。これにより、手ブレによる影響の抑制に好適なＶＲ動作を実現し得る。
　例えば、Ｚ軸方向の並進移動をするピエゾ素子ＰＺ１（図３）を省略する場合、図１におけるＺ軸方向、すなわち撮像部の厚みを減らすことができる。
（５）圧電素子であるピエゾ素子２０５－１～２０５－４でマイクロレンズアレイ２０２を移動させるので、例えば、ボイスコイルモーターを使用する場合に必要とされる停止機構が不要であり、シンプルな構成にすることができる。
（６）変位増幅機能を有するピエゾ素子２０５－１～２０５－４を用いる場合、マイクロレンズアレイ２０２の移動量を増加させることができる。ＶＲ動作に好適な移動量は、例えば、２Ｐ～３Ｐ（２画素ピッチから３画素ピッチ）程度である。
（７）ＬＦカメラ１００のイメージセンサ２０３は、受光した光を光電変換する多数の画素を有し、ＬＦカメラ１００のマイクロレンズアレイ２０２は、１つのマイクロレンズ２０２ａを通過した光を複数の画素が受光するように配置される。マイクロレンズアレイ２０２を移動させるＶＲ動作によって、ＬＦ画像の撮像時における手ブレの影響を適切に抑制し得る。
（８）マイクロレンズアレイ２０２とイメージセンサ２０３との間に設けられ、１つのマイクロレンズ２０２ａを通過した光を受光する複数の画素（画素群ＰＸｓ）へ、他のマイクロレンズ２０２ａを通過した光が進入するのを防ぐ隔壁２０４を備える。隔壁２０４は、イメージセンサ２０３とマイクロレンズアレイ２０２との位置関係が変化した場合にも他のマイクロレンズ２０２ａを通過した光の進入を防ぐので、ＬＦ画像の劣化を防ぐことができる。
（９）隔壁２０４は、マイクロレンズアレイ２０２側の一端がマイクロレンズアレイ２０２に接続され、イメージセンサ２０３側の端がイメージセンサ２０３に接続されるので、イメージセンサ２０３とマイクロレンズアレイ２０２との位置関係が変化した場合にも、確実に、他のマイクロレンズ２０２ａを通過した光が進入するのを防ぐことができる。
（１０）隔壁２０２を弾性部材によって形成したので、変化したイメージセンサ２０３とマイクロレンズアレイ２０２との位置関係に応じて変形し、確実に、他のマイクロレンズ２０２ａを通過した光が進入するのを防ぐことができる。
（１１）ＬＦカメラ１００は、複数の画素からの信号に対して所定の信号処理を施して画像を再構築する信号処理に用いる信号数を制限するか否かを示すメタデータを生成する制御部２０８を備える。これにより、ＬＦ画像に対して再構築処理を行う外部機器がメタデータをチェックすることにより、不適切な再構築処理を避けることが可能になる。
（１２）制御部２０８は、イメージセンサ２０３とマイクロレンズアレイ２０２との位置関係が変化する状態でイメージセンサ２０３が光電変換を行う場合に、上記メタデータを生成する。これにより、例えば外部機器が、ＶＲ動作中に取得されたＬＦ画像に対する再構築処理を、非ＶＲ動作中に取得されたＬＦ画像に対する再構築処理と異ならせるなど、マイクロレンズアレイ２０２とイメージセンサ２０３との位置関係が変化した場合における対処が可能となる。
（１３）制御部２０８は、ＶＲ動作中に取得されたＬＦ画像に対する再構築処理に利用する画素信号を制限するためのメタデータを生成する。これにより、外部機器において、信頼性の低い画素信号を用いた不適切な再構築処理を避けることができる。
　実施の形態として図１のライト・フィールドカメラを用いて説明したが、全ての構成要素が本発明の必須の構成要素であるとは限らない。例えば、本発明は、マイクロレンズアレイ２０２と、マイクロレンズアレイ２０２を通過した光を光電変換するイメージセンサ２０３と、イメージセンサ２０３とマイクロレンズアレイ２０２との位置関係を変化させる駆動部とから構成することができる。その場合であっても、ブレを抑制することができる。また、例えば、本発明は、１つのマイクロレンズを通過した光を複数の画素が受光するように配置されるマイクロレンズアレイ２０２と、マイクロレンズアレイ２０２を通過した光を光電変換するイメージセンサ２０３と、イメージセンサ２０３とマイクロレンズアレイ２０２との位置関係を変化させる駆動部のみから構成することができる。その場合であっても、ＬＦ画像の撮像時におけるブレを抑制することができる。また、例えば、本発明は、１つのマイクロレンズを通過した光を複数の画素が受光するように配置されるマイクロレンズアレイ２０２と、マイクロレンズアレイ２０２を通過した光を光電変換するイメージセンサ２０３と、マイクロレンズアレイ２０２とイメージセンサ２０３との間に設けられ、１つのマイクロレンズを通過した光を受光する複数の画素へ、他のマイクロレンズを通過した光が進入するのを防ぐ隔壁と、イメージセンサ２０３とマイクロレンズアレイ２０２との位置関係を変化させる駆動部のみから構成することができる。その場合であっても、他のマイクロレンズを通過した光が進入するのを防ぐことができる。
　また、次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
　上記実施形態（図４、図５）においては、隔壁２０４の一方の端をマイクロレンズアレイ２０２の面２０２ｄと接続し、隔壁２０４の他方の端をイメージセンサ２０３の面と接続する例を説明した。この代わりに、図１１(a)に例示するように、隔壁２０４の一端のみをマイクロレンズアレイ２０２の面２０２ｄと接続し、隔壁２０４の他端をイメージセンサ２０３から離間させておいてもよい。反対に、隔壁２０４の一端のみをイメージセンサ２０３と接続し、隔壁２０４の他端をマイクロレンズアレイ２０２から離間させておいてもよい。
　また、図１１(b)に例示するように、隔壁２０４の両端をマイクロレンズアレイ２０２の面２０２ｄおよびイメージセンサ２０３の面とそれぞれ接続するとともに、隔壁２０４の一部を弾性部材によって構成しても良い。例えば、隔壁２０４のうちイメージセンサ２０３（またはマイクロレンズアレイ２０２）と接続する接点部２０４ｂのみを弾性部材によって構成し、隔壁２０４の接点部以外の部分２０４ａを非弾性部材によって構成する。
　さらに、弾性変形によって伸縮する弾性部材に代えて、例えば蛇腹のような伸縮機構を備える伸縮部材を用いて隔壁の一部または全部を構成してもよい。
（変形例２）
＜隔壁の位置＞
　上記実施形態（図４、図５）においては、隔壁２０４をマイクロレンズアレイ２０２とイメージセンサ２０３との間に設ける例を説明したが、隔壁をマイクロレンズアレイ２０２の前（図４において上方の撮像レンズ２０１側）に設けてもよいし、隔壁をマイクロレンズアレイ２０２内に埋め込んだ構成としてもよい。
（変形例３）
＜ピエゾ素子の取り付け位置＞
　上記実施形態（図２）においては、ピエゾ素子２０５（２０５－１～２０５－４）をマイクロレンズアレイ２０２の後ろ面の四隅（図２）にそれぞれ設ける例を説明した。この代わりに、図１２(a)に例示するように、ピエゾ素子２０５（２０５－１～２０５－４）をマイクロレンズアレイ２０２の後ろ面の各辺に、それぞれ設ける構成としてもよい。このとき、各辺の中央部、各辺の端から３分の１の箇所など、任意の位置に構成することができる。
　また、図１２(b)に例示するように、ピエゾ素子２０５（２０５－１～２０５－４）を、マイクロレンズアレイ２０２の側部において（側部の四隅または側部の各辺において）それぞれ設ける構成としてもよい。
　さらにまた、図１２(c)に例示するように、ピエゾ素子２０５の一部（例えば２０５－１、２０５－２）をマイクロレンズアレイ２０２の側部に設け、残りのピエゾ素子２０５（例えば２０５－３、２０５－４）をマイクロレンズアレイ２０２の後ろ面に設ける構成にしてもよい。
　このように、ピエゾ素子２０５（２０５－１～２０５－４）は、マイクロレンズアレイ２０２の側部または後ろの面において、マイクロレンズアレイ２０２の四隅または四辺において取り付け位置を適宜変更してよい。
　変形例３によれば、ピエゾ素子２０５（２０５－１～２０５－４）を、マイクロレンズアレイ２０２の四辺において、マイクロレンズアレイ２０２のイメージセンサ２０３側またはマイクロレンズアレイ２０２の側部に設けるので、図１０(c)のような撮像部を収容するスペースに応じて適切な位置へ、ピエゾ素子２０５（２０５－１～２０５－４）を配置することができる。
（変形例４）
＜薄型のマルチレンズカメラ＞
　以上の説明では、図１に例示したように、被写体光が撮像レンズ２０１を介して撮像部へ導かれるＬＦカメラを説明した。ＬＦカメラは、これに限定されず、撮像レンズ２０１を省略して、マイクロレンズアレイ２０２と、イメージセンサ２０３と、ピエゾ素子２０５とからなるＬＦカメラとすることができる。撮像レンズ２０１を省略する場合、カードのような薄型のＬＦカメラが得られる。
　図１３は、薄型のＬＦカメラ３００の外観の一例を示す図である。ＬＦカメラ３００は、例えば中央部３０１と周辺部３０２とから構成されている。中央部３０１には、マイクロレンズアレイ２０２と、イメージセンサ２０３と、ピエゾ素子２０５とを含む撮像部（図１４参照）が配置される。一方、周辺部３０２には、破線で記載するように 、例えば電池３０２ａ、制御回路３０２ｂ、振れ検出部３０２ｃ、通信部３０２ｄなどが配置される。電池３０２ａとしては、 一例として、充電可能な二次電池や、十分な電荷蓄積容量を備えたコンデンサなどが使用される。
　振れ検出部３０２ｃとしては、図１にて既述した振れ検出部２０７と同様の機能を持ち、薄いものが使用される。制御回路３０２ｂとしては、図１にて既述したピエゾ駆動回路２０６および制御部２０８と同様の機能を持ち、薄いものが使用される。通信部３０２ｄは、イメージセンサで撮像した画像信号を、無線通信により外部受信機（例えば、画像の記録を行う外部記録媒体や、画像の表示機能や画像信号のメモリ機能を備えたスマートフォン等の電子機器、等）に対して送信する機能を有する。
　なお制御回路３０２ｂに、図１にて既述した画像処理部２１０の機能を設け、画像処理した信号を外部受信機に送信するように構成しても良い。なお、周辺部３０２に配置される電池３０２ａは必須ではない。例えば、公知の電磁誘導技術を用いることにより、電源を持たなくてもＬＦカメラ３００が動作できるように構成してもよい。
　図１４は、図１３のＬＦカメラ３００の中央部３０１をＹ軸に沿って切断した場合の断面図の一例を示す。図１４において、ベース部材である基部１５０ へイメージセンサ２０３が固定される。また、ピエゾ素子２０５の一端が基部１５０へ固定され、ピエゾ素子２０５の他端がマイクロレンズアレイ２０２と固定され、マイクロレンズアレイ２０２を支持する。
　ＬＦカメラ３００において、図１４に記述したマイクロレンズアレイ２０２と、イメージセンサ２０３と、ピエゾ素子２０５とを含む撮像部の動作は、上述したＬＦカメラ１００の動作と同様である。
　薄型のマルチレンズカメラに係る上記変形例４の実施形態によれば、次の作用効果が得られる。
（１）ＬＦカメラ３００は、薄型のために被装着物（例えばヘルメット等）に固定しても邪魔にならない。
（２）ＬＦカメラ３００は、薄型のために曲げることができ、曲面を有する被装着物（例えば電柱等）に接着することができる。
（３）ＬＦカメラ３００は、薄型のために各種カードのように財布等に収納することができる。
（４）ＬＦカメラ３００は、薄型のために被装着物（例えば車やヘリコプタのボディ等）に固定した場合に、空気抵抗を受けない。
（５）ＬＦカメラ３００、または、ＬＦカメラ３００の中央部３０１（撮像部）を物体に組込む場合に、物体のデザインを変更することなく組込むことができる。
（６）ＬＦカメラ３００、または、ＬＦカメラ３００の中央部３０１（撮像部）を物体に組込む場合に、物体が肉薄の場合であっても組込むことができる。
　図１５から図１７を参照して、ＶＲ動作中に画素群ＰＸｓに入射する光について説明する。
　図１５（ａ）から図１５（ｃ）を参照して、隔壁２０４の一方の端がマイクロレンズアレイ２０２の面２０２ｄと接続され、隔壁２０４の他方の端がイメージセンサ２０３の被写体側の面２０３ａから離間している場合について説明する。図１５（ａ）は、ＶＲ動作を開始する前のマイクロレンズアレイ２０２と隔壁２０４とイメージセンサ２０３との位置関係を模式的に示す図である。図１５（ｂ）は、ＶＲ動作によってマイクロレンズアレイ２０２がイメージセンサ２０３に対して矢印４０１で示すように図１５における右側に移動したときのマイクロレンズアレイ２０２と隔壁２０４とイメージセンサ２０３との位置関係を模式的に示す図である。図１５（ｃ）は、ＶＲ動作によってマイクロレンズアレイ２０２がイメージセンサ２０３に対して矢印４０２で示すように図１５における左側に移動したときのマイクロレンズアレイ２０２と隔壁２０４とイメージセンサ２０３との位置関係を模式的に示す図である。
　図１５（ａ）に示すように、ＶＲ動作を開始する前は、マイクロレンズ２０２ａを通過した光は、対応する画素群ＰＸｓに入射する。しかし、図１５（ｂ）、図１５（ｃ）に示すように、ＶＲ動作によってマイクロレンズアレイ２０２とイメージセンサ２０３との位置関係が変更されると、隔壁２０４がマイクロレンズアレイ２０２とともに移動するので、隔壁２０４の他方の端とイメージセンサ２０３との位置関係が変更される。そのため、画素群ＰＸｓの複数の画素のうち、周辺側に位置する画素２０３ｄや画素２０３ｅに入射する光が隔壁２０４によって妨げられるおそれがある。
　したがって、隔壁２０４の一方の端がマイクロレンズアレイ２０２の面２０２ｄと接続され、隔壁２０４の他方の端がイメージセンサ２０３の被写体側の面２０３ａから離間している場合には、上述したメタデータを生成するように制御部２０８が構成されることが望ましい。
　図１６（ａ）から図１６（ｃ）を参照して、隔壁２０４の一方の端がマイクロレンズアレイ２０２の面２０２ｄと接続され、隔壁２０４の他方の端がイメージセンサ２０３の被写体側の面２０３ａと接続されている場合について説明する。図１６（ａ）は、ＶＲ動作を開始する前のマイクロレンズアレイ２０２と隔壁２０４とイメージセンサ２０３との位置関係を模式的に示す図である。図１６（ｂ）は、ＶＲ動作によってマイクロレンズアレイ２０２がイメージセンサ２０３に対して矢印４０１で示すように図１６における右側に移動したときのマイクロレンズアレイ２０２と隔壁２０４とイメージセンサ２０３との位置関係を模式的に示す図である。図１６（ｃ）は、ＶＲ動作によってマイクロレンズアレイ２０２がイメージセンサ２０３に対して矢印４０２で示すように図１６における左側に移動したときのマイクロレンズアレイ２０２と隔壁２０４とイメージセンサ２０３との位置関係を模式的に示す図である。
　図１６（ａ）に示すように、ＶＲ動作を開始する前は、マイクロレンズ２０２ａを通過した光は、対応する画素群ＰＸｓに入射する。また、図１６（ｂ）、図１６（ｃ）に示すように、ＶＲ動作によってマイクロレンズアレイ２０２とイメージセンサ２０３との位置関係が変更されると、隔壁２０４の一方の端がマイクロレンズアレイ２０２とともに移動する。しかし、隔壁２０４の他方の端がイメージセンサ２０３の被写体側の面２０３ａと接続されているので、ＶＲ動作によってマイクロレンズアレイ２０２とイメージセンサ２０３との位置関係が変更されても、隔壁２０４の他方の端とイメージセンサ２０３との位置関係は変わらない。そのため、画素群ＰＸｓの複数の画素のうち、周辺側に位置する画素に入射する光が隔壁２０４によって妨げられるおそれは低い。
　したがって、隔壁２０４の一方の端がマイクロレンズアレイ２０２の面２０２ｄと接続され、隔壁２０４の他方の端がイメージセンサ２０３の被写体側の面２０３ａと接続されている場合には、制御部２０８は、上述したメタデータを生成しなくてもよい。
　図１７（ａ）から図１７（ｃ）を参照して、隔壁２０４の一方の端がマイクロレンズアレイ２０２の面２０２ｄから離間し、隔壁２０４の他方の端がイメージセンサ２０３の被写体側の面２０３ａと接続されている場合について説明する。図１７（ａ）は、ＶＲ動作を開始する前のマイクロレンズアレイ２０２と隔壁２０４とイメージセンサ２０３との位置関係を模式的に示す図である。図１７（ｂ）は、ＶＲ動作によってマイクロレンズアレイ２０２がイメージセンサ２０３に対して矢印４０１で示すように図１７における右側に移動したときのマイクロレンズアレイ２０２と隔壁２０４とイメージセンサ２０３との位置関係を模式的に示す図である。図１７（ｃ）は、ＶＲ動作によってマイクロレンズアレイ２０２がイメージセンサ２０３に対して矢印４０２で示すように図１７における左側に移動したときのマイクロレンズアレイ２０２と隔壁２０４とイメージセンサ２０３との位置関係を模式的に示す図である。
　図１７（ａ）に示すように、ＶＲ動作を開始する前は、マイクロレンズ２０２ａを通過した光は、対応する画素群ＰＸｓに入射する。また、図１７（ｂ）、図１７（ｃ）に示すように、ＶＲ動作によってマイクロレンズアレイ２０２とイメージセンサ２０３との位置関係が変更されても、隔壁２０４の一方の端がマイクロレンズアレイ２０２の面２０２ｄから離間し、隔壁２０４の他方の端がイメージセンサ２０３の被写体側の面２０３ａと接続されているので、隔壁２０４とイメージセンサ２０３との位置関係は変わらない。そのため、画素群ＰＸｓの複数の画素のうち、周辺側に位置する画素に入射する光が隔壁２０４によって妨げられるおそれはない。
　したがって、隔壁２０４の一方の端がマイクロレンズアレイ２０２の面２０２ｄから離間し、隔壁２０４の他方の端がイメージセンサ２０３の被写体側の面２０３ａと接続されている場合には、制御部２０８は、上述したメタデータを生成しなくてもよい。
　上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１５年第６８８７５号（２０１５年３月３０日出願）
１００、３００…ＬＦカメラ
１５０…基部
２０１…撮像レンズ
２０２…マイクロレンズアレイ
２０２ａ…マイクロレンズ
２０３…イメージセンサ
２０４…隔壁
２０５（２０５－１～２０５－４、ＰＺ１～ＰＺ３）…ピエゾ素子
２０６…ピエゾ素子駆動回路
２０７…振れ検出部
２０８…制御部
２０９…記録媒体
２１０…画像処理部
ＰＸｓ…画素群
 

Claims (20)

  1. 　複数のマイクロレンズが二次元上に配置されるマイクロレンズアレイと、
    　複数の画素を含む画素群を複数有し、前記マイクロレンズアレイの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
    　前記画素群で受光する像のブレを防止するために、前記撮像センサと前記マイクロレンズアレイとの位置関係を変化させる駆動部と、
    　を備える撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記駆動部は、前記撮像装置のブレを示す信号に基づき、前記撮像センサと前記マイクロレンズアレイとの位置関係を変化させる撮像装置。
  3. 　請求項１または２に記載の撮像装置において、
    　前記駆動部は、前記マイクロレンズアレイの前記撮像センサに対向する部分と前記マイクロレンズアレイの側部との少なくとも一方に設けられ、前記撮像センサに対する前記マイクロレンズアレイの位置を変化させる、
    　撮像装置。
  4. 　請求項３に記載の撮像装置において、
    　前記駆動部は、前記マイクロレンズアレイの四隅において、前記マイクロレンズアレイの前記撮像センサに対向する部分または前記マイクロレンズアレイの側部に設けられる、
    　撮像装置。
  5. 　請求項３に記載の撮像装置において、
    　前記駆動部は、前記マイクロレンズアレイの四辺において、前記マイクロレンズアレイの前記撮像センサに対向する部分または前記マイクロレンズアレイの側部に設けられる、
    　撮像装置。
  6. 　請求項１から５のいずれか一項に記載の撮像装置において、
    　前記駆動部は、前記マイクロレンズアレイに対して、少なくとも前記複数のマイクロレンズが配置される二次元上の交差する２軸方向への並進移動と、前記２軸に直交する軸の周りの回転移動とをさせる、
    　撮像装置。
  7. 　請求項１から６のいずれか一項に記載の撮像装置において、
    　前記駆動部は圧電素子を含む、
    　撮像装置。
  8. 　請求項７に記載の撮像装置において、
    　前記圧電素子は、変位増幅機能を有する、
    　撮像装置。
  9. 　請求項１から８のいずれか一項に記載の撮像装置において、
    　前記マイクロレンズアレイと前記撮像センサとの間に設けられ、１つのマイクロレンズを通過した光を受光する前記画素群へ、他のマイクロレンズを通過した光が進入することを妨げる隔壁を備える、
    　撮像装置。
  10. 　請求項９に記載の撮像装置において、
    　前記隔壁は、少なくとも前記隔壁の前記マイクロレンズアレイに対向する部分が前記マイクロレンズアレイに接続されるか、前記隔壁の前記撮像センサに対向する部分が前記撮像センサに接続される、
    　撮像装置。
  11. 　請求項９に記載の撮像装置において、
    　前記隔壁は、前記隔壁と前記マイクロレンズアレイ、または前記隔壁と前記撮像センサが離間するように配置される、
    　撮像装置。
  12. 　請求項９に記載の撮像装置において、
    　前記隔壁は、前記隔壁の前記マイクロレンズアレイに対向する部分が前記マイクロレンズアレイに接続され、前記隔壁の前記撮像センサに対向する部分が前記撮像センサに接続される、
    　撮像装置。
  13. 　請求項１２に記載の撮像装置において、
    　前記隔壁は、少なくとも一部が弾性部材によって形成される、
    　撮像装置。
  14. 　請求項１から１３のいずれか一項に記載の撮像装置において、
    　前記撮像センサと前記マイクロレンズアレイとの位置関係が変化するとき、前記画素群からの信号に対する制限を示す情報を生成する情報生成部を備える、
    　撮像装置。
  15. 　請求項１４に記載の撮像装置において、
    　前記情報生成部は、前記撮像センサと前記マイクロレンズアレイとの位置関係が変化する状態で前記撮像センサが光電変換を行う場合に、信号処理に用いる信号数を制限することを示す付加情報を生成する、
    　撮像装置。
  16. 　請求項１５に記載の撮像装置において、
    　前記情報生成部は、１つのマイクロレンズを通過した光を受光する前記画素群のうち、端部の画素からの信号を除外することによって前記信号数を制限することを示す付加情報を生成する、
    　撮像装置。
  17. 　請求項１から１６のいずれか一項に記載の撮像装置を備えるマルチレンズカメラ。
  18. 　複数のマイクロレンズが二次元上に配置されるマイクロレンズアレイを準備することと、
    　複数の画素を含む画素群を複数有し、前記マイクロレンズアレイの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサを準備することと、
    　前記画素群で受光する像のブレを防止するために、前記撮像センサと前記マイクロレンズアレイとの位置関係を変化させる駆動部を準備することと、
    　前記マイクロレンズアレイと、前記撮像センサと、前記駆動部とを組み立てることと、
    　を有する撮像装置の製造方法。
  19. 　複数のマイクロレンズが二次元上に配置されるマイクロレンズアレイと、
    　複数の画素を含む画素群を複数有し、前記マイクロレンズアレイの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
    　前記マイクロレンズアレイと前記撮像センサとの間に設けられ、一つのマイクロレンズを通過した光を受光する前記画素群へ他のマイクロレンズを通過した光が進入することを妨げる隔壁と、を備え、
    　前記隔壁は、前記撮像センサと前記マイクロレンズアレイとの位置関係が変化しても、前記一つのマイクロレンズを通過した光を受光する前記画素群へ他のマイクロレンズを通過した光が進入することを妨げるよう構成される撮像装置。
  20. 　複数のマイクロレンズが二次元上に配置されるマイクロレンズアレイと、
    　複数の画素を含む画素群を複数有し、前記マイクロレンズアレイの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
    　前記マイクロレンズアレイと前記撮像センサとの間に設けられ、一つのマイクロレンズを通過した光を受光する前記画素群へ他のマイクロレンズを通過した光が進入することを妨げる隔壁と、
    　前記撮像センサと前記マイクロレンズアレイとの位置関係が変化するとき、前記画素群からの信号に対する制限を示す情報を生成する情報生成部と、
    　を備える撮像装置。
PCT/JP2016/060138 2015-03-30 2016-03-29 撮像装置、マルチレンズカメラおよび撮像装置の製造方法 WO2016158957A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680020241.XA CN107407852A (zh) 2015-03-30 2016-03-29 拍摄装置、多透镜相机及拍摄装置的制造方法
US15/562,687 US20180095275A1 (en) 2015-03-30 2016-03-29 Image-capturing device, multi-lens camera, and method for manufacturing image-capturing device
JP2017510028A JPWO2016158957A1 (ja) 2015-03-30 2016-03-29 撮像装置、マルチレンズカメラおよび撮像装置の製造方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015068875 2015-03-30
JP2015-068875 2015-03-30

Publications (1)

Publication Number Publication Date
WO2016158957A1 true WO2016158957A1 (ja) 2016-10-06

Family

ID=57007181

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/060138 WO2016158957A1 (ja) 2015-03-30 2016-03-29 撮像装置、マルチレンズカメラおよび撮像装置の製造方法

Country Status (4)

Country Link
US (1) US20180095275A1 (ja)
JP (1) JPWO2016158957A1 (ja)
CN (1) CN107407852A (ja)
WO (1) WO2016158957A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488148B (zh) * 2016-11-01 2019-09-17 首都师范大学 一种超分辨率图像传感器及其构造方法
CN109031668B (zh) * 2018-09-18 2020-12-01 京东方科技集团股份有限公司 一种虚拟现实装置及其焦距智能调节方法
CN109781261B (zh) * 2018-12-31 2021-03-02 苏州大学 紧凑型折反式无热化成像光谱仪
CN110505384B (zh) * 2019-08-29 2021-05-14 Oppo广东移动通信有限公司 成像系统、终端和图像获取方法
CN112630932B (zh) * 2019-10-09 2023-05-26 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹成像装置
CN112995452B (zh) * 2019-12-17 2022-11-11 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹影像处理装置
WO2021223223A1 (zh) * 2020-05-08 2021-11-11 南昌欧菲光电技术有限公司 防抖组件、摄像模组及电子设备
CN113946002A (zh) * 2020-07-17 2022-01-18 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹成像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095435A (ja) * 2009-10-29 2011-05-12 Sony Corp 光学部材駆動装置、光学部材鏡筒、および撮像装置
JP2011182237A (ja) * 2010-03-02 2011-09-15 Osaka Univ 複眼撮像装置及び該装置における画像処理方法
WO2013069292A1 (ja) * 2011-11-10 2013-05-16 パナソニック株式会社 画ブレ補正装置
WO2015005056A1 (ja) * 2013-07-11 2015-01-15 コニカミノルタ株式会社 撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4057937B2 (ja) * 2003-03-25 2008-03-05 富士フイルム株式会社 露光装置
CN100534140C (zh) * 2003-10-22 2009-08-26 松下电器产业株式会社 成像传感器的制造方法
US7355793B2 (en) * 2004-05-19 2008-04-08 The Regents Of The University Of California Optical system applicable to improving the dynamic range of Shack-Hartmann sensors
US20060055811A1 (en) * 2004-09-14 2006-03-16 Frtiz Bernard S Imaging system having modules with adaptive optical elements
WO2006101064A1 (ja) * 2005-03-24 2006-09-28 Matsushita Electric Industrial Co., Ltd. 撮像装置及びそれに用いられるレンズアレイ
JP4147273B2 (ja) * 2006-01-20 2008-09-10 松下電器産業株式会社 複眼方式のカメラモジュール及びその製造方法
JP2007295140A (ja) * 2006-04-24 2007-11-08 Matsushita Electric Ind Co Ltd 撮像装置
JP4264569B2 (ja) * 2007-01-09 2009-05-20 ソニー株式会社 撮像装置
CN101548154B (zh) * 2007-07-23 2012-05-02 松下电器产业株式会社 具有测距功能的复眼式摄像装置
CN101251706A (zh) * 2008-03-24 2008-08-27 香港应用科技研究院有限公司 一种光学模组、照相机及移动终端设备
US8212912B2 (en) * 2008-04-10 2012-07-03 Panasonic Corporation Imaging device, imaging system, and imaging method
JP5105482B2 (ja) * 2008-09-01 2012-12-26 船井電機株式会社 光学的条件設計方法及び複眼撮像装置
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
JP5218611B2 (ja) * 2011-07-19 2013-06-26 株式会社ニコン 画像合成方法及び撮像装置
ES2442178B2 (es) * 2011-10-20 2014-07-30 Asociacion Industrial De Optica, Color E Imagen - Aido Cámara de fondo de ojo multi-perspectiva.
EP2858342A4 (en) * 2012-05-28 2016-04-06 Nikon Corp IMAGING DEVICE
US9083873B1 (en) * 2013-03-28 2015-07-14 Google Inc. Devices and methods for providing multi-aperture lens functionality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095435A (ja) * 2009-10-29 2011-05-12 Sony Corp 光学部材駆動装置、光学部材鏡筒、および撮像装置
JP2011182237A (ja) * 2010-03-02 2011-09-15 Osaka Univ 複眼撮像装置及び該装置における画像処理方法
WO2013069292A1 (ja) * 2011-11-10 2013-05-16 パナソニック株式会社 画ブレ補正装置
WO2015005056A1 (ja) * 2013-07-11 2015-01-15 コニカミノルタ株式会社 撮像装置

Also Published As

Publication number Publication date
US20180095275A1 (en) 2018-04-05
CN107407852A (zh) 2017-11-28
JPWO2016158957A1 (ja) 2018-02-01

Similar Documents

Publication Publication Date Title
WO2016158957A1 (ja) 撮像装置、マルチレンズカメラおよび撮像装置の製造方法
JP6207963B2 (ja) 屈曲撮像光学系
TWI556054B (zh) Anti-resonance method of optical unit with vibration correction function, and optical unit with vibration correction function
CN112805612B (zh) 致动器组件及其控制方法
CN110235041B (zh) 相机模块和电子装置
JP5581813B2 (ja) レンズ駆動装置
JP2008172347A (ja) 撮像装置
CN101842728A (zh) 镜头镜筒以及透镜支撑构造
JP5909877B2 (ja) 撮像装置
JP2006235020A (ja) レンズ鏡筒
JP2009271354A5 (ja)
US20230350152A1 (en) Imaging lens system, image capturing unit and electronic device
CN104834151B (zh) 抖动修正装置、透镜单元以及摄像装置
JP2019113637A (ja) カメラモジュール
JP5044209B2 (ja) レンズ駆動装置
US20140333725A1 (en) 3-dimensional camera module and method for auto focusing the same
JP5843523B2 (ja) レンズ鏡筒、及び撮像装置
JP2009282375A (ja) レンズ駆動装置及びカメラモジュール並びに携帯端末
JP5173961B2 (ja) 光学機器
EP3690543B1 (en) Driving device, image blur correction device, and image pickup apparatus including image blur correction device
JP2007058156A (ja) カメラ
JP2011033981A5 (ja)
JP4774859B2 (ja) 沈胴ズーム式レンズ鏡筒
JP2006309005A (ja) 光学機器
JP2008076612A (ja) ブレ補正装置及び光学機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16772838

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017510028

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15562687

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16772838

Country of ref document: EP

Kind code of ref document: A1