WO2012043212A1 - 撮像デバイス - Google Patents

撮像デバイス Download PDF

Info

Publication number
WO2012043212A1
WO2012043212A1 PCT/JP2011/070797 JP2011070797W WO2012043212A1 WO 2012043212 A1 WO2012043212 A1 WO 2012043212A1 JP 2011070797 W JP2011070797 W JP 2011070797W WO 2012043212 A1 WO2012043212 A1 WO 2012043212A1
Authority
WO
WIPO (PCT)
Prior art keywords
liquid
image
imaging
light receiving
light
Prior art date
Application number
PCT/JP2011/070797
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2012536329A priority Critical patent/JP5480393B2/ja
Priority to CN201180047714.2A priority patent/CN103141082B/zh
Priority to EP11828772.1A priority patent/EP2624541B1/en
Publication of WO2012043212A1 publication Critical patent/WO2012043212A1/ja
Priority to US13/851,650 priority patent/US8605198B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • the present invention relates to an imaging device.
  • Patent Document 1 discloses a parallax in which image information that has passed through different positions in an image imaging unit that forms an image of the outside world is selectively captured and converted into an image data sequence, and the converted image data sequence is recorded. An image input device is described. According to the technique of Patent Document 1, a plurality of images from different viewpoints can be acquired.
  • Patent Document 2 an incident light beam is deflected in two directions by a deflecting unit, two images of the light beam are detected by an image sensor, and a subject image by an imaging lens is calculated based on an image shift amount determined by the detected image position. Describes a digital camera that calculates the focus adjustment state of the lens and moves the imaging lens to the in-focus position. According to the technique of Patent Document 2, it is possible to quickly perform focus adjustment by one-time image detection.
  • Patent Document 1 a pupil is spatially divided by a microlens and a light receiving cell with a light beam incident on a normal imaging lens, and there is only one focal point. Therefore, in order to acquire images with different focal lengths, a focus adjustment mechanism is required. Similarly, Patent Document 2 also requires a focus adjustment mechanism.
  • the focus adjustment mechanism is incorporated in the imaging lens in order to capture images with different focal lengths, there is a problem that the drive device becomes large.
  • Patent Document 3 discloses that one or two lens surfaces in the imaging lens system have different curvatures in the inner region and the outer region coaxial with the optical axis, An imaging optical system satisfying 0.3 ⁇ f 2 / f 1 ⁇ 0.9 is described, where f 1 ⁇ is the focal length of the entire system due to curvature and f 2 ⁇ is the focal length of the entire system due to the curvature of the inner region.
  • Patent Document 4 describes a technique for switching the focus of a multifocal lens having two lens regions having different focal lengths using a fluid prism.
  • an imaging device for an imaging apparatus that images a subject through an imaging lens, each corresponding to a light receiving unit having a plurality of light receiving elements and a plurality of light receiving elements And a plurality of light receiving elements by controlling the shape of the plurality of microlenses and a microlens section having a plurality of microlenses that respectively receive the subject light that has passed through the imaging lens.
  • a control unit that controls the pupil region in the exit pupil of the imaging lens, and an image signal generation unit that generates an image signal of the image of the subject from the imaging signals of the plurality of light receiving elements.
  • Each of the plurality of microlenses is a liquid microlens formed at the interface between the first liquid and the second liquid having different refractive indexes, and the control unit controls the shape of the plurality of microlenses by controlling the shape of the interface. The shape may be controlled.
  • the control unit controls the shape of the microlens from a shape having the first refractive power to a shape having a second refractive power larger than the first refractive power, so that a plurality of light receiving elements should receive a pupil region. May be limited in size.
  • the first pupil region in the exit pupil is provided when corresponding to the plurality of first light receiving elements among the plurality of light receiving elements and the plurality of microlenses are controlled to have a second refractive power. You may further provide the deflection
  • the deflecting unit is provided corresponding to each of the plurality of second light receiving elements among the plurality of light receiving elements, and when the plurality of microlenses are controlled to a shape having the second refractive power, You may further have several 2nd deflection
  • Each of the plurality of first deflection optical elements and the plurality of second deflection optical elements is a liquid prism element in which a prism interface is formed at the interface between the third liquid and the fourth liquid having different refractive indexes
  • the control unit includes: A first imaging mode for controlling the shape of the plurality of microlenses to a shape having a first refractive power and controlling the prism interface perpendicular to the optical axis of the imaging lens, and the shapes of the plurality of microlenses May be switched to the second imaging mode in which imaging is performed in a state where the prism interface is inclined with respect to the optical axis of the imaging lens.
  • the control unit controls the imaging mode to the second imaging mode when imaging images from different viewpoints
  • the image signal generation unit is configured to capture imaging signals of the plurality of first light receiving elements and imaging signals of the plurality of second light receiving elements. Thus, image signals of images from different viewpoints may be generated.
  • the imaging lens is a lens having a different focal length for each region, and subject light that has passed through the region having the first focal length of the imaging lens passes through the first pupil region, and the second of the imaging lens.
  • the subject light that has passed through the region having the focal length passes through the second pupil region, and the control unit controls the imaging mode to the second imaging mode when imaging the subject at a different focal length, and the image signal generation unit
  • the image signals of the first focal length image and the second focal length image may be generated from the imaging signals of the plurality of first light receiving elements and the imaging signals of the plurality of second light receiving elements.
  • the microlens unit includes a lens housing that holds the first liquid and the second liquid therein, and a first liquid area that is filled with the first liquid and a second liquid area that is filled with the second liquid inside the lens housing.
  • a plurality of through-holes corresponding to the plurality of light receiving elements, and the plurality of microlenses are formed by the first liquid and the first liquid in each of the plurality of through-holes.
  • the control unit may control the shape of the microlens by controlling the internal pressure of the first liquid region.
  • the deflecting unit includes a prism housing that holds the third liquid and the fourth liquid, a third liquid region that is filled with the third liquid along the optical axis, and a fourth liquid that is filled with the fourth liquid.
  • a partition plate that is divided into a liquid region, and the partition plate has a plurality of through holes corresponding to positions where the plurality of liquid prism elements are formed. Controlling the inclination of the prism interface with respect to the optical axis by controlling the position of the prism interface at the one side and the position of the prism interface at the second side facing the first side by the internal pressure of the third liquid region You can do it.
  • FIG. 1 is a diagram schematically illustrating an example of a block configuration of an imaging apparatus 10.
  • FIG. It is a figure which shows typically an example of the optical apparatus 115 in another imaging mode. It is a figure which shows typically an example of the optical apparatus 115 in another another imaging mode.
  • 3 is a diagram schematically illustrating an example of the configuration of a deflection unit 140 and a microlens unit 150.
  • FIG. It is a figure which shows the schematic cross section which cut
  • FIG. 3 is a diagram schematically illustrating an example of a block configuration of an imaging apparatus 80.
  • 3 is a diagram schematically illustrating an example of a configuration of a deflecting unit 140 in the imaging device 80.
  • FIG. It is a figure which shows typically the imaging relationship of the light-receiving part 160 and an object. It is a figure which shows an example of a production
  • FIG. 1 schematically illustrates an example of a block configuration of the imaging apparatus 10.
  • the imaging apparatus 10 provides an apparatus that can use various optical characteristics of a photographing lens.
  • the imaging device 10 includes a lens system 100, an optical device 115, a light receiving unit 160, an image signal generation unit 170, a control unit 180, and an image recording unit 190.
  • the imaging device 10 may be an imaging device such as a mobile phone with a camera function or a digital camera.
  • a functional block including the lens system 100, the optical device 115, the light receiving unit 160, the image signal generation unit 170, and the control unit 180 may be provided as an imaging device for the imaging device 10.
  • the imaging device may be an imaging module incorporated in the imaging device.
  • the lens system 100 is a single imaging lens system that forms an image of light from a subject.
  • the lens system 100 includes one or more lenses 110.
  • the subject light that has passed through the lens system 100 passes through the optical device 115 and is received by the light receiving unit 160.
  • the optical device 115 includes a deflection unit 140 and a microlens unit 150.
  • the deflecting unit 140 includes a plurality of prism elements 142a to 142d as examples of deflecting optical elements.
  • the microlens unit 150 includes a plurality of microlenses 152a to 152d.
  • the light receiving unit 160 includes a plurality of light receiving elements 162a to 162d. In this figure, for ease of explanation, four light receiving elements 162a to 162d, four microlenses 152a to d, and four prism elements 142a to 142d are shown. It does not indicate that you do not have it. Needless to say, each optical element has an arbitrary number for imaging a subject.
  • the plurality of microlenses 152a to 152d may be collectively referred to as the microlens 152 or the plurality of microlenses 152.
  • the plurality of light receiving elements 162a to 162d may be collectively referred to as the light receiving element 162 or the plurality of light receiving elements 162.
  • other optical elements may be collectively referred to as optical elements by omitting the subscripts.
  • the plurality of light receiving elements 162 may form a MOS type image pickup element.
  • the plurality of light receiving elements 162 may form a solid-state imaging element such as a CCD type imaging element in addition to a MOS type imaging element.
  • the microlens 152 is provided corresponding to each of the plurality of light receiving elements 162.
  • the plurality of microlenses 152 cause the corresponding light receiving elements 162 to receive the subject light that has passed through the lens system 100.
  • the plurality of microlenses 152 re-image the subject light imaged by the lens system 100 and cause the corresponding light receiving elements 162 to receive the light.
  • the illustrated microlenses 152a to 152d are provided corresponding to the light receiving elements 162a to 162d, respectively.
  • the micro lens 152a re-images the subject light imaged by the lens system 100 and causes the light receiving element 162a to receive the light.
  • the microlenses 152b to 152d re-image the subject light imaged by the lens system 100 and cause the light receiving elements 162b to 162d to receive the light.
  • the micro lens 152 can adjust the shape of the optical surface that functions as a lens.
  • the micro lens 152 can change the shape of the optical surface from a shape having a first refractive power to a shape having a second refractive power larger than the first refractive power.
  • the shape having the second refractive power is schematically shown by a solid line
  • the shape having the first refractive power is schematically shown by a broken line.
  • the microlens 152 When the microlens 152 is controlled to have the second refractive power, the microlens 152 restricts light that can be received by each light receiving element 162 to light that has passed through a partial region of the exit pupil 120. To do. For example, when the microlens 152 is controlled to have the second refractive power, the microlens 152 receives light that has passed through a region having an area of 1 ⁇ 4 or less of the exit pupil 120 by each light receiving element 162. You may let me. When the micro lens 152 is controlled to have the first refractive power, the micro lens 152 passes through a wider area of the exit pupil 120 than when the micro lens 152 is controlled to have the second refractive power. The received light can be received by each light receiving element 162.
  • the microlens 152 when the microlens 152 is controlled to have a first refractive power, the microlens 152 receives light that has passed through a region having an area larger than 1 ⁇ 4 of the exit pupil 120 by each light receiving element 162. Can be made.
  • the control unit 180 controls the size of the exit pupil 120 through which the light flux to each of the light receiving elements 162 passes by controlling the shape of the microlens 152. Thereby, it is possible to obtain an image corresponding to various optical characteristics of the micro lens 152 without being limited to focus adjustment.
  • the prism element 142 is provided corresponding to the plurality of light receiving elements 162.
  • the prism element 142, the micro lens 152, and the light receiving element 162 are provided in a one-to-one correspondence with each other.
  • the prism element 142a is provided corresponding to the microlens 152a and the light receiving element 162a.
  • a set of optical elements corresponding to each other among the prism element 142, the micro lens 152, and the light receiving element 162 is distinguished by subscripts a to d.
  • the prism element 142 can adjust the shape of the optical surface that functions as a prism.
  • the prism element 142 can change the angle of at least one optical surface in the optical axis direction of the lens system 100.
  • the angle of the optical surface is sometimes called the prism angle.
  • a state in which both optical surfaces of the prism element 142 have a shape perpendicular to the optical axis, that is, a state having no prism effect is schematically shown by a solid line.
  • a state in which one optical surface of the prism element 142 has a shape inclined from a surface perpendicular to the optical axis is schematically shown by a broken line.
  • the prism element 142 When the prism element 142 is controlled to have a shape that does not have a prism effect, the prism element 142 causes the light receiving element 162 to receive light that has passed through the pupil region centered on the optical axis of the exit pupil 120. As described above, the size of the pupil region is controlled by the refractive power of the microlens 152. By controlling the prism angle of the prism element 142, the prism element 142 can control the position of the pupil region on the exit pupil 120. That is, when the prism element 142 is controlled to have a prism effect, the prism element 142 can cause the light receiving element 162 to receive a region centered on a position corresponding to the prism angle on the exit pupil 120. .
  • the prism element 142 can control the direction of the light beam received by the light receiving element 162.
  • the control unit 180 can control the position of the exit pupil 120 through which the light beam to the light receiving element 162 passes by controlling the inclination of the optical surface of the prism element 142.
  • the prism element 142 has no prism effect and the micro lens 152 is controlled to have the second refractive power.
  • the mode for imaging in this state is referred to as a high resolution imaging mode.
  • the prism element 142 does not have a prism effect
  • the pupil region that can be received by the light receiving element 162 is a region around the optical axis on the exit pupil 120.
  • the microlens 152 has the second refractive power, the light received by the microlens 152 is limited to the light passing through a relatively narrow pupil region. Therefore, the light beam incident on the light receiving element 162 is narrowed down to pass through the relatively narrow central pupil region 123 including the optical axis.
  • the optical device 115 can use the low aberration portion of the lens system 100, a signal in a high spatial frequency region from the subject can be transmitted to the light receiving unit 160 at a high level.
  • the MTF characteristics of the imaging system can be improved. For this reason, an image with high resolving power can be provided.
  • the depth of field can be expanded.
  • the light receiving element 162 outputs an imaging signal having an intensity corresponding to the amount of received light to the image signal generating unit 170.
  • the image signal generation unit 170 generates an image signal indicating an image of light that has passed near the optical axis from the imaging signal supplied from the light receiving element 162.
  • the image recording unit 190 acquires the image signal generated by the image signal generation unit 170 and records it as image data.
  • the image recording unit 190 may record the image data in a nonvolatile memory.
  • the non-volatile memory may be included in the image recording unit 190. Further, the nonvolatile memory may be an external memory that is detachably provided to the imaging device 10.
  • the image recording unit 190 may output image data to the outside of the imaging device 10.
  • An image indicated by the image signal generated by the image signal generation unit 170 and an image indicating the image data recorded by the image recording unit 190 may be simply referred to as an image.
  • the central pupil is shown.
  • Region 123 is shown in white. Areas other than the central pupil area 123 are indicated by hatching.
  • the partial area of the exit pupil 120 is also white for the purpose of easily showing that the light receiving element 162 receives light that has passed through the specific partial area of the exit pupil 120. In some cases, it is indicated by a blank and other areas are indicated by diagonal lines. This does not indicate that the subject light does not pass through the hatched area of the exit pupil 120.
  • FIG. 2 schematically shows an example of the optical device 115 in another imaging mode.
  • This example is an example of a mode in which subject light is used for imaging at a high utilization rate.
  • the optical device 115 of this example is different in optical characteristics from the optical device 115 illustrated in FIG. 1 in that the micro lens 152 has a first refractive power smaller than the second refractive power.
  • the microlens 152 can cause the light receiving element 162 to receive light that has passed through a relatively wide range of the exit pupil 120, for example, substantially the entire surface of the exit pupil 120. In order to show that the light flux to the light receiving element 162 is not substantially limited, the entire surface of the exit pupil 120 is shown in white in this figure. Note that, when the micro lens 152 has the first refractive power, the subject light that travels toward the vicinity of the periphery of the photoelectric conversion unit included in the light receiving element 162 is condensed on the photoelectric conversion unit. For this reason, compared with the case where the micro lens 152 does not have a lens effect, the object light incident on the light receiving unit 160 can be efficiently used for imaging.
  • the optical device 115 can be used for imaging without limiting the amount of light from the subject. For this reason, compared with the signal component by imaging light, a noise component can be made relatively low. In particular, in an image area that is out of focus with respect to the subject, the image signal component changes smoothly, so that noise becomes conspicuous. However, according to the main imaging mode, a larger amount of light can be transmitted to the light receiving element 162 with respect to the image area that is out of focus. Thus, in the main imaging mode, the SN ratio can be increased, and a high-quality image with little noise can be obtained. This imaging mode is called a low noise imaging mode.
  • control unit 180 controls the pupil region in the exit pupil of the lens system 100 that the plurality of light receiving elements 162 should receive by controlling the shapes of the plurality of microlenses 152. Specifically, the control unit 180 controls the shape of the microlens 152 from a shape having the first refractive power to a shape having a second refractive power that is larger than the first refractive power.
  • the size of the pupil region that the element 162 should receive can be limited.
  • FIG. 3 schematically shows an example of the optical device 115 in still another imaging mode.
  • This example is an example of a multi-viewpoint imaging mode that is an imaging mode for capturing a multi-viewpoint image.
  • the optical device 115 of this example is different in optical characteristics from the optical device 115 illustrated in FIG. 2 in that the prism element 142 has an optical surface inclined with respect to the vertical plane of the optical axis.
  • the prism element 142a has a prism angle that causes the light receiving element 162a to receive the subject light 130a that has passed through the left pupil region 124 of the exit pupil 120 of the lens system 100 via the microlens 152a.
  • the prism element 142c has a prism angle that causes the light receiving element 162c to receive the subject light 130c that has passed through the left pupil region 124 of the exit pupil 120 of the lens system 100 via the microlens 152c.
  • the prism element 142 b has a prism angle that causes the light receiving element 162 b to receive the subject light 130 b that has passed through the right pupil region 122 in the exit pupil 120 of the lens system 100 via the microlens 152.
  • the prism element 142d has a prism angle that causes the light receiving element 162d to receive the subject light 130d that has passed through the right pupil region 122 of the exit pupil 120 of the lens system 100 via the microlens 152d.
  • the image signal generation unit 170 generates an image signal of the left viewpoint image from the imaging signals of some of the light receiving elements 162 that receive light that has passed through the left pupil region 124, such as the light receiving elements 162a and 162c.
  • the image signal generation unit 170 generates an image signal of the right viewpoint image from imaging signals of some light receiving elements 162 that receive light that has passed through the right pupil region 122, such as the light receiving elements 162b and 162d.
  • the left pupil region 124 and the right pupil region 122 are examples of the first pupil region and the second pupil region, respectively.
  • the first pupil region and the second pupil region are not limited to the illustrated right pupil region 122 and left pupil region 124.
  • the first pupil region and the second pupil region may be separate regions in the exit pupil 120.
  • the second pupil region may include the position of the optical axis as long as it is a region different from the first pupil region, and does not include the position of the optical axis. It's okay.
  • the deflecting unit 140 converts the subject light 130 that has passed through the first pupil region in the exit pupil 120 to the corresponding microlens 152.
  • a plurality of first deflecting optical elements that respectively receive light from corresponding first light receiving elements among the plurality of light receiving elements 162.
  • the deflecting unit 140 converts the subject light 130 that has passed through the second pupil region in the exit pupil 120 to the corresponding micro lens.
  • a plurality of second deflecting optical elements that receive light respectively from the corresponding second light receiving elements.
  • the shape of the prism element 142 corresponding to the second light receiving element is illustrated in FIG.
  • it may have a shape that does not have a prism effect.
  • it is possible to employ a deflecting unit 140 having a configuration that does not include the prism element 142 corresponding to the second light receiving element.
  • the control unit 180 controls the imaging mode to the multi-viewpoint imaging mode illustrated in this figure when capturing images of different viewpoints.
  • the image signal generation unit 170 generates image signals of images of different viewpoints from the imaging signals of the plurality of first light receiving elements and the imaging signals of the plurality of second light receiving elements.
  • the size of the pupil that can be received by the plurality of light receiving elements 162 is limited by the refractive power of the microlens 152. Since the prism elements 142 can control the positions of the pupil regions that can be received by the light receiving elements 162, the pupil regions can be separated properly. Therefore, according to the optical device 115, the left viewpoint image and the right viewpoint image can be obtained in one shot using the single lens system 100. Therefore, the multi-viewpoint shooting function can be implemented in a compact manner.
  • FIG. 4 schematically shows an example of the configuration of the deflection unit 140 and the microlens unit 150.
  • This example is an example of a configuration for realizing the three imaging modes described with reference to FIGS.
  • the plurality of prism elements 142 included in the deflecting unit 140 are liquid prism elements formed at liquid interfaces having different refractive indexes.
  • the prism angle of the prism element 142 is determined by the angle of the interface.
  • the deflection unit 140 includes a housing 200 that holds the first liquid and the second liquid, a partition plate 242, and a drive unit 290.
  • the partition plate 242 divides the interior of the housing 200 into a first liquid region 210 filled with the first liquid and a second liquid region 220 filled with the second liquid along the optical axis of the lens system 100.
  • the first liquid and the second liquid have a refractive index different from each other and do not mix with each other in a contact state like water and oil.
  • Examples of the combination of the first liquid and the second liquid include PDMS (Poly-Dimethyl-Siloxane) and pure water.
  • PDMS Poly-Dimethyl-Siloxane
  • pure water pure water.
  • the refractive index of the first liquid is larger than the refractive index of the second liquid.
  • the density of each of the first liquid and the second liquid is substantially equal.
  • a plurality of through holes 250a to 250d are formed corresponding to positions where the plurality of prism elements 142a to 142d are formed.
  • the prism elements 142a to 142d are formed at positions where the through holes 250a to 250d are formed, respectively.
  • the shape of the through-hole 250 viewed from the object-side surface or the image-side surface of the housing 200 may be a square, a rectangle, a trapezoid, a circle, an ellipse, or the like, and may be various other shapes.
  • a light-transmitting portion made of a light-transmitting material such as glass is formed.
  • the light transmitting part is formed at a position corresponding to the through hole 250, the micro lens 152, and the light receiving element 162, and the subject light is formed on the light transmitting part, the through hole 250, and the image side surface formed on the object side surface. Then, the light passes through the transparent portion and enters the corresponding microlens 152.
  • the object side surface and the entire image side surface of the housing 200 may be formed of a transparent material such as glass.
  • the partition plate 242 includes partition portions 240-1 to 240-5.
  • the through hole 250 is formed in a space between the opposing partitioning portions 240.
  • the partition part 240 does not contact the first liquid and the second liquid.
  • the first liquid and the second liquid come into contact with each other in the through hole 250 to form an interface that becomes the prism element 142.
  • the through-hole 250a has a side part 252a and a side part 254a.
  • the side surface portion 252a and the side surface portion 254a are side surface portions that face the partition portion 240-1 and the partition portion 240-2, respectively.
  • the side surface portion 252a has a first thickness along the optical axis direction of the lens system 100
  • the side surface portion 254a has a second thickness along the optical axis direction of the lens system 100. That is, the through hole 250a is formed so as to be surrounded by side surfaces including the side surface portion 252a and the side surface portion 254a of the partition plate 242 having different thicknesses.
  • the through hole 250a has a quadrangular opening
  • the through hole 250a is surrounded and formed by the side surface portion 252a, the side surface portion 254a, and the two side surface portions that couple the side surface portion 252a and the second side surface portion 254a. Is done.
  • the second thickness is larger than the second thickness.
  • the through-hole 250b has a side part 252b and a side part 254b.
  • the side surface portion 252b and the side surface portion 254b are side surface portions that face the partition portion 240-2 and the partition portion 240-3, respectively.
  • the side surface portion 252b has a second thickness along the optical axis direction of the lens system 100
  • the side surface portion 254b has a first thickness along the optical axis direction of the lens system 100.
  • the through hole 250b has a first thickness side surface portion 252b and a second thickness side surface portion 254b in this order in the direction in which the plurality of through holes 250 are arranged. Since other points are the same as those of the through hole 250a, description thereof is omitted.
  • the through-hole 250c has a side part 252c and a side part 254c.
  • the side surface portion 252c and the side surface portion 254c are side surface portions that face the partition portion 240-3 and the partition portion 240-4, respectively.
  • the shape of the through hole 250c is the same as that of the through hole 250a, the side surface portion 252c has a first thickness along the optical axis direction of the lens system 100, and the side surface portion 254c has a second thickness along the optical axis direction. With thickness.
  • the through hole 250d has a side surface portion 252d and a side surface portion 254d.
  • the side surface portion 252d and the side surface portion 254d are side surface portions that face the partition portion 240-4 and the partition portion 240-5, respectively.
  • the shape of the through hole 250d is the same as that of the through hole 250b, the side surface portion 252d has a second thickness along the optical axis direction of the lens system 100, and the side surface portion 254d has a first thickness along the optical axis direction. With thickness. That is, in the partition plate 242, the through holes having the shape of the through holes 250a and the through holes having the shape of the through holes 250b are alternately and repeatedly formed in a line.
  • a planar interface is formed so that the pressure difference of the liquid and the surface tension are balanced according to the pressure.
  • an interface indicated by a broken line in this figure is formed like a prism element 282.
  • the interface is supported by the end portion on the liquid region 210 side of the side surface portion 252a and the end portion on the liquid region 210 side of the second side surface portion 254a.
  • the partition plate 242 has a planar end surface on the first liquid side, and the end surface is parallel to the image side of the housing 200, the interface indicated by the broken line has substantially no prism effect. For this reason, the light receiving element 162 can receive light that has passed through a region of the exit pupil 120 centered on the optical axis.
  • the control unit 180 may control the pressure in the liquid region 210 so that the interface is maintained in the shape of the broken line in the drawing.
  • the position of the interface is the second liquid side.
  • an interface is supported on the end portion on the second liquid region 220 side of the side surface portion 252a and the end portion 262-1 on the liquid region 210 side of the partition plate 242a.
  • the inclination of the interface is an inclination corresponding to the thickness of the side surface portion that forms each through hole 250.
  • the control unit 180 can control the inclination of the interface with respect to the optical axis by controlling the internal pressure of the liquid region 210 that holds the first liquid.
  • the light receiving element 162a and the light receiving element 162c corresponding to the through hole 250a and the through hole 250c receive light that has passed through the left pupil region 124 by the action of the micro lens 152 and the prism element.
  • the light receiving element 162b and the light receiving element 162d corresponding to the through hole 250b and the through hole 250d receive light that has passed through the right pupil region 122.
  • the image signal generation unit 170 can generate a right viewpoint image and a left viewpoint image by selecting every other light receiving element and generating an image signal.
  • the control unit 180 controls the pressure of the first liquid by controlling the pressure in the liquid region 230 communicating with the first liquid region 210.
  • the housing 200 has an elastic surface 280 that contacts the first liquid in the liquid region 230.
  • the deflecting unit 140 includes a driving unit 290 that displaces the elastic surface 280 to control the volume of the liquid region 230.
  • the driving unit 290 can include a piezoelectric element.
  • the piezoelectric element may be a piezo element.
  • the control unit 180 controls the voltage applied to the piezoelectric element to change the shape of the piezoelectric element, thereby displacing the distal end that contacts the elastic surface 280 in the expansion / contraction direction 298.
  • the tip of the driving unit 290 decreases in the direction in which the volume of the liquid region 230 decreases. Displace the part. As a result, the internal pressure of the first liquid increases and the interface moves in the direction of the object side.
  • the controller 180 displaces the tip of the drive unit 290 in the direction in which the volume of the liquid region 230 increases. As a result, the internal pressure of the first liquid decreases, and the interface moves in the direction of the image side.
  • control unit 180 determines the position of the interface at the first side surface portion of the through hole 250 and the position of the interface at the second side surface portion facing the first side surface portion by the internal pressure of the liquid region 210.
  • the inclination of the prism element can be controlled by controlling the inclination of the interface with respect to the optical axis.
  • the configuration of the microlens unit 150 in this example will be described.
  • the plurality of microlenses 152 included in the microlens unit 150 are liquid microlenses formed at liquid interfaces having different refractive indexes.
  • the refractive power of the microlens 152 is determined by the shape of the interface.
  • the microlens unit 150 includes a housing 400 that holds the first liquid and the second liquid, a partition plate 442, and a drive unit 490.
  • the object side surface of the housing 400 and the image side surface of the housing 200 may be integrally formed.
  • the partition plate 442 divides the interior of the housing 400 into a first liquid region 310 filled with the first liquid and a second liquid region 320 filled with the second liquid along the optical axis of the lens system 100.
  • the same combination of liquids may be used for the interface of the prism element 142 and the interface of the microlens 152 as in this example, but it goes without saying that different combinations of liquids can be used for the prism element 142 and the microlens 152. Absent.
  • a light transmitting portion made of a light transmitting material such as glass is formed on the object side surface and the image side surface of the housing 400.
  • the partition plate 442 has a plurality of through holes corresponding to positions where the plurality of light receiving elements 162 are formed.
  • the plurality of microlenses 152 are formed by the interface between the first liquid and the second liquid in each of the plurality of through holes. Note that the interface of the microlens 152 is formed in the same process as the interface of the prism element 142. Therefore, the configuration of the microlens unit 150 will be described focusing on the differences from the deflection unit 140.
  • Partition plate 442 includes partition portions 440-1 to 440-5.
  • the first liquid and the second liquid come into contact with each other on the liquid region 320 side with respect to the partition plate 442 to form an interface that becomes the microlens 152.
  • the partition plate 442 may have the same thickness in the optical axis direction.
  • the partition plate 442 has a plane parallel to a plane perpendicular to the optical axis at least on the liquid region 320 side.
  • the shape of the microlens 152 is controlled by controlling the internal pressure of the liquid region 310.
  • a reference pressure the pressure in the case where a planar interface is formed between both end portions of the through hole on the liquid region 320 side is referred to as a reference pressure
  • the pressure of the first liquid filled in the liquid region 310 is maintained at or above the reference pressure.
  • an interface as shown by a broken line in this figure is formed. That is, an arch-shaped interface having a vertex on the object side is formed in the vicinity of the center of the through hole while the position of the interface is supported at both ends of the through hole on the liquid region 320 side.
  • each of the plurality of microlenses 152 has a first refractive power.
  • each of the plurality of micro lenses 152 has a second refractive power.
  • control unit 180 may control the pressure of the liquid region 310 so that the interface is in a state where the shape of the broken line in FIG. Further, when imaging in the imaging mode described with reference to FIGS. 1 and 3, the control unit 180 may control the pressure in the liquid region 310 so that the interface is maintained in the shape of the solid line in FIG.
  • the control unit 180 controls the pressure of the first liquid in the housing 400 by controlling the pressure in the liquid region 330 that communicates with the liquid region 310. Similar to the housing 200, the housing 400 has an elastic surface in contact with the first liquid in the liquid region 330.
  • the microlens unit 150 includes a driving unit 490 that displaces the elastic surface to control the volume of the liquid region 330.
  • the driver 490 can have the same functions and operations as the driver 290.
  • the control unit 180 controls the internal pressure of the liquid region 310 by displacing the elastic surface formed in the housing 400 to the drive unit 490, similarly to the control for the drive unit 290. 180 can reduce the volume of the liquid region 330 to the drive unit 490, thereby controlling the shape of the interface from the broken line shape to the solid line shape.
  • control unit 180 can control the shapes of the plurality of microlenses 152 by controlling the shape of the interface. Specifically, the control unit 180 can control the shapes of the plurality of microlenses 152 by controlling the internal pressure of the liquid region 310.
  • the configuration of the light receiving unit 160 in this example will be described.
  • the light receiving unit 160 includes a plurality of color filters 260, a light shielding unit 262, and a plurality of light receiving elements 162.
  • the plurality of color filters 260 are provided corresponding to the plurality of light receiving elements 162.
  • the color filter 260 selectively transmits light in a predetermined wavelength region out of subject light that has passed through the corresponding prism element 142 and microlens 152 and causes the corresponding light receiving elements 162 to receive the light.
  • the light shielding part 262 has openings that define light receiving openings of the plurality of light receiving elements 162 at positions corresponding to the plurality of light receiving elements 162 in order to prevent interference with adjacent pixels.
  • the plurality of light receiving elements 162 respectively receive light that has passed through corresponding openings, and generate voltage signals that form an imaging signal by photoelectric conversion.
  • the control unit 180 controls the shape of the plurality of microlenses 152 to the shape having the first refractive power and the interface of the prism element 142 of the lens system 100.
  • the light receiving unit 160 is exposed under control perpendicular to the optical axis.
  • the control unit 180 controls the interface of the prism element 142 perpendicular to the optical axis of the lens system 100, and the second refraction of the shape of the plurality of microlenses 152
  • the light receiving unit 160 is exposed by controlling to a shape having a force.
  • control unit 180 controls the shape of the plurality of microlenses 152 to a shape having the second refractive power and tilts the prism interface with respect to the optical axis of the lens system 100. In this state, the light receiving unit 160 is exposed.
  • the control unit 180 can switch between at least two of the three imaging modes and perform imaging.
  • FIG. 5 shows a schematic cross section in which the deflecting unit 140 is cut along a plane perpendicular to the optical axis.
  • This figure illustrates the AA cross section of FIG.
  • the subject light travels toward the paper surface, and the position of the light receiving element 162 is schematically shown by a broken line for reference.
  • the partition plate 242 has through holes 250 formed in a matrix.
  • the light receiving element 162 is also provided at a position corresponding to the through hole 250. That is, the through holes 250 and the plurality of light receiving elements 162 are arranged in a matrix.
  • the through holes 250 and the light receiving elements 162 are provided at substantially equal intervals in the row direction 350 and the column direction 360.
  • the partition part 240-1, the partition part 240-2, the partition part 240-3, and the partition part 240-4 are members extending in the column direction 360. These rows are partitioned by a member extending in the row direction 350. Thereby, in addition to the through holes 250a to 250d, a plurality of columns of through holes arranged in the row direction 350 are formed. For example, a row of through holes arranged in the row direction 350 is formed in a row starting from the through hole 250a, a row starting from the through hole 250e, and a row starting from the through hole 250f.
  • the partition portion 240-1 has a side surface portion having a first thickness along the optical axis direction of the lens system 100 at the side portion.
  • the partitioning portion 240-2 has side portions having a second thickness on both sides along the optical axis direction of the lens system 100.
  • the partition portion 240-3 has side portions having a first thickness on both sides along the optical axis direction of the lens system 100.
  • the partition portion 240-4 has side portions having a second thickness on both sides along the optical axis direction of the lens system 100. That is, on the partition plate 242, the partition portions 240 having side portions having different thicknesses are alternately positioned in the row direction 350. Accordingly, the plurality of prism elements having the first prism angle and the plurality of prism elements having the second prism angle are alternately arranged in the plurality of rows.
  • the first partition portion having the first thickness side surface portions on both sides along the optical axis direction of the lens system 100, and the second thickness side surface portions on the both side portions along the optical axis direction.
  • a through hole 250 is formed by the second partitioning portion. Specifically, the through hole 250 is formed by a side surface portion of the first partition portion and a side surface portion of the second partition portion adjacent to the first partition portion.
  • the through holes 250a to 250d communicate with each other through the liquid region 210.
  • the liquid region 210 may be partitioned into a plurality of regions, but may not be partitioned.
  • a driving unit is provided corresponding to each of the partitioned liquid regions 210, and each driving unit controls the pressure of the first liquid in the corresponding liquid region 210.
  • a drive unit 290, a drive unit 291 and a drive unit 292 are provided for each row.
  • a plurality of drive units may be provided. That is, the internal pressure of the first liquid region 210 may be controlled by a plurality of driving units.
  • the partition plate 442 of the microlens unit 150 also has through holes formed in a matrix like the partition plate 242.
  • the liquid region 310 of the microlens unit 150 may be partitioned into a plurality of regions, and a driving unit may be provided corresponding to each of the partitioned plurality of liquid regions 310. Even when the liquid region 310 is not partitioned into a plurality of regions and all the through holes communicate with each other in the liquid region 310, a plurality of drive units can be provided.
  • the liquid region 310 of the microlens unit 150 may be partitioned into a plurality of blocks for each row or each column.
  • the liquid region 310 may be partitioned into a plurality of blocks including a plurality of rows and / or a plurality of columns. Then, the control unit 180 may control the refractive power of the micro lens 152 so as to have a different refractive power for each of the plurality of blocks. For example, the control unit 180 controls the refractive power of the microlens 152 to be smaller in one or more blocks through which light from a subject that is not in focus passes than one or more blocks through which light from the subject that is in focus passes. It's okay. As a result, it is possible to generate an image in which noise is not noticeable in a background region that is not focused while having high resolution in the focused subject region.
  • FIG. 6 shows an example of an image generated by the imaging apparatus 10.
  • the imaging device 10 generates the right viewpoint image 410 and the left viewpoint image 420 by imaging in the multi-viewpoint imaging mode illustrated in FIG.
  • the right viewpoint image 410 includes a long-distance subject image 414 which is an image of a long-distance subject located far from the imaging apparatus 10 and a short-distance subject image 412 which is an image of a short-distance subject located closer to the subject. It is.
  • the left viewpoint image 420 includes a long-distance subject image 424 that is an image of a long-distance subject and a short-distance subject image 422 that is an image of a short-distance subject.
  • the long-distance subject image 414 is an image of a long-distance subject formed by the light receiving element 162 that receives light that has passed through the right pupil region 122, and the long-distance subject image 424 receives light that has passed through the left pupil region 124.
  • 3 is an image of a long-distance subject formed by the light receiving element 162.
  • FIG. within the image region, the long-distance subject image 414 is formed at a position shifted to the left from the position where the long-distance subject image 424 is formed.
  • the short-distance subject image 412 is also formed at a position shifted to the left side of the long-distance subject image 424, but is formed at a position shifted more greatly from the position of the short-distance subject image 422.
  • the high-resolution imaging mode is set.
  • the image is a light beam that has passed through the central pupil region 123, an image with the center as the viewpoint can be obtained. Therefore, when the long-distance subject and the long-distance subject are located in the center of the left and right with respect to the imaging device 10 in the real space, the short-distance subject image 432 and the long-distance subject image 434 that are the images are It is formed at the center in the left-right direction.
  • the low noise imaging mode When the refractive power of the microlens 152 is reduced to give the first refractive power from the state of the multi-viewpoint imaging mode, the low noise imaging mode is set. Similarly to the high-resolution imaging mode, the low-noise imaging mode also provides a central viewpoint image 450 with the center as the viewpoint. A short-distance subject image 452 and a long-distance subject image 454 in which noise does not stand out can be generated in the central viewpoint image 450.
  • control unit 180 can control the optical device 115 to change the imaging mode and take an image.
  • the prism element 142 and the microlens 152 formed at the liquid interface can be changed in shape very rapidly by controlling the pressure. For this reason, it is possible to perform imaging by switching the imaging mode at an extremely high speed.
  • the image recording unit 190 may record the right viewpoint image 410 and the left viewpoint image 420 obtained as multi-viewpoint images as stereoscopic images.
  • the image recording unit 190 may record the stereoscopic image by the parallax barrier method by combining the right viewpoint image 410 and the left viewpoint image 420.
  • the image recording unit 190 uses a short-distance subject image included in at least one of the central viewpoint image 430 and the central viewpoint image 450 to form a short-distance subject formed in at least one of the right viewpoint image 410 and the left viewpoint image 420.
  • the image may be recorded with high image quality.
  • the image recording unit 190 uses a long-distance subject image included in at least one of the central viewpoint image 430 and the central viewpoint image 450 to form a long-distance subject formed in at least one of the right viewpoint image 410 and the left viewpoint image 420.
  • the image may be recorded with high image quality.
  • the image recording unit 190 uses the specific subject image included in at least one of the central viewpoint image 430 and the central viewpoint image 450 to use the specific subject included in at least one of the right viewpoint image 410 and the left viewpoint image 420.
  • the image may be recorded with high image quality.
  • the control unit 180 can enter the high-resolution imaging mode or the low-noise imaging mode even when performing multi-view imaging in a dark environment, multi-view imaging of a subject that is out of focus, or imaging a subject including a high spatial frequency component.
  • the subject image formed in the central viewpoint image 450 or the central viewpoint image 430 obtained by switching is combined with the right viewpoint image 410 and the left viewpoint image 420 to form the right viewpoint image 410 and the left viewpoint image 420.
  • the recorded subject image can be recorded with high image quality. For this reason, according to the imaging device 10, a high-quality multi-viewpoint image can be provided.
  • FIG. 7 schematically shows another example of the configuration of the deflecting unit 140.
  • the right viewpoint image and the left viewpoint image can be captured in the first state in which the first liquid is filled in the through hole 250, and the second state in which the second liquid is filled in the through hole 250. Then, a central viewpoint image can be taken.
  • the deflecting unit 140-1 illustrated in this figure is different from the deflecting unit 140 illustrated in FIG. 4 in that the left viewpoint image is captured in the first state.
  • the shape of the through hole 250 formed in the partition plate 242 is different from that of the deflecting unit 140 illustrated in FIG. For this reason, the difference will be mainly described here.
  • the through holes 250a to 250d are formed by side portions having different thicknesses that the partition portion 540 has. Specifically, the through hole 250a is formed by a first thickness side surface portion 552a included in the partition portion 540-1 and a second thickness side surface portion 554a included in the partition portion 540-2. Similarly, the through holes 250b to 250d are formed of the first thickness side surface portion and the second thickness side surface portion respectively included in the partition portions 540-2 to 540-5.
  • the side surfaces on the first liquid side of the partition portions 540-1 to 540-5 are located on substantially the same plane as the partition portions 240-1 to 240-5 illustrated in FIG. That is, the partition plate 242 has a planar end surface on the first liquid side.
  • the prism element 142 having the same prism angle is formed in the through hole 250.
  • This prism angle is the same as the prism angle formed in the through holes 250a and c in the example of FIG. Accordingly, in a state where the through-hole 250 is filled with the first liquid, the light that can be received by the light receiving element 162 is limited to the light that has passed through the left pupil region 124. In this state, the left viewpoint image can be captured by the light receiving element 162 included in the light receiving unit 160. For this reason, it is possible to effectively use the light receiving element 162 included in the light receiving unit 160 and provide a left viewpoint image with high resolving power captured at the same timing.
  • the center viewpoint image can be captured by the light receiving element 162 included in the light receiving unit 160.
  • a mode for capturing a central viewpoint image with high resolution and a mode for capturing a central viewpoint image with low noise are selected. You can choose.
  • FIG. 8 schematically illustrates an example of a block configuration of the imaging device 80.
  • the imaging device 80 can provide an imaging device having an effectively deep depth of field.
  • the imaging device 80 includes a lens system 100, an optical device 115, and a light receiving unit 160.
  • the imaging device 80 also has functional blocks that function and operate in the same manner as the image signal generation unit 170, the control unit 180, and the image recording unit 190 described above, but the functional blocks themselves are not illustrated and other functions are performed. The coupling relationship between the blocks is illustrated.
  • the imaging device 80 is different from the imaging device 10 described above particularly in the imaging characteristics of the lens system 100 and the internal configuration of the optical device 115. Differences in functions or operations with respect to the imaging apparatus 10 will be described.
  • the lens system 100 is a lens having a different focal length for each region.
  • the lens system 100 may include a lens system 100a that is a progressive power lens.
  • the objective-side optical surface of the lens 110a gives different focal lengths for each region.
  • the lens system 100 only needs to have optical paths that provide different focal lengths in the entire lens system, and the difference in focal length may not be provided by a specific optical surface of a specific lens.
  • the imaging device 80 has a depth expansion imaging mode that is an imaging mode that effectively provides a deep depth of field.
  • the shapes of the prism element 142 and the microlens 152 in the case of imaging in the depth expansion imaging mode are illustrated by the solid lines in this drawing.
  • 180 controls the micro lens 152 to have a shape having the second refractive power. Further, the control unit 180 causes the prism element 142 to have a prism angle at which the light that has passed through two or more pupil regions in the exit pupil 120 of the lens system 100 is received by the separate light receiving elements 162.
  • the prism element 142a has a prism angle that causes the light receiving element 162a to receive the subject light 130a that has passed through the pupil region 822a.
  • the prism element 142b has a prism angle that causes the light receiving element 162b to receive the subject light 130b that has passed through the pupil region 822b.
  • the prism element 142c has a prism angle that causes the light receiving element 162c to receive the subject light 130c that has passed through the pupil region 822c.
  • Subject light 130a passing through the pupil region 822b and entering the light receiving element 162a, subject light 130b passing through the pupil region 822b and entering the light receiving element 162b, and subject light 130c passing through the pupil region 822c and entering the light receiving element 162c are The lens 110a passes through different optical surfaces. For this reason, the light receiving unit 160 can image the same subject with light that has passed through regions of the lens system 100 having different focal lengths.
  • the subject light 130 that has passed through the region having the first focal length of the lens system 100 passes through the pupil region 822a. Then, the subject light 130 that has passed through the region having the second focal length of the lens system 100 passes through the pupil region 822b, and the subject light 130 that has passed through the region having the third focal length of the lens system 100 is pupil region 822c. Pass through.
  • the image signal generation unit 170 generates an image signal of an image corresponding to the first focal length from imaging signals of a part of the light receiving elements 162 that receive light that has passed through the pupil region 822a, such as the light receiving element 162a. In addition, the image signal generation unit 170 generates an image signal of an image corresponding to the second focal length from imaging signals of a part of the light receiving elements 162 that receive light that has passed through the pupil region 822b, such as the light receiving element 162b. . In addition, the image signal generation unit 170 generates an image signal of an image corresponding to the third focal length from imaging signals of a part of the light receiving elements 162 that receive light that has passed through the pupil region 822b, such as the light receiving element 162c. .
  • the image signal generation unit 170 generates one image by combining the generated images with different focal lengths.
  • the image recording unit 190 records the image generated by the image signal generation unit 170. According to the imaging device 80, it is possible to provide a clear image of a subject located within the depth of field of the lens element corresponding to any of the pupil regions 822a to 822c. For this reason, the imaging device 80 can have a deep depth of field effectively.
  • the control unit 180 controls the shape of the plurality of microlenses 152 to the shape having the second refractive power and captures the prism interface of the deflecting unit 140 in the lens system when the subject is imaged at different focal lengths. It is controlled to be inclined with respect to 100 optical axes. Then, the image signal generation unit 170 generates image signals of the first focal length image and the second focal length image from the imaging signals of the plurality of first light receiving elements and the imaging signals of the plurality of second light receiving elements. To do.
  • the imaging device 80 has an imaging mode corresponding to the high resolution imaging mode described with reference to FIGS. 1 to 7 in addition to the depth expansion imaging mode.
  • the prism angle of the prism element 142 in the imaging mode is illustrated by the broken line in this drawing.
  • the optical device 115 may be controlled in the same manner as in the high-resolution imaging mode described with reference to FIGS.
  • FIG. 9 schematically illustrates an example of the configuration of the deflection unit 140 in the imaging device 80.
  • This example is an example of a configuration for realizing the two imaging modes described with reference to FIG.
  • the plurality of prism elements 142 included in the deflecting unit 140 are liquid prism elements formed at the interface between the first liquid and the second liquid.
  • Components having the same configuration as the components described in FIG. 4 are denoted by the same reference numerals as those in FIG. 4, and description thereof is omitted except for differences.
  • the prism interface can be switched between the first state in which the right viewpoint image and the left viewpoint image can be captured and the second state in which the center viewpoint image can be captured. That is, according to the configuration of the deflecting unit 140 illustrated in FIG. 4, two viewpoint images can be simultaneously captured in the first state.
  • the deflecting unit 140 of the present example is different from the deflecting unit 140 illustrated in FIG. 4 in that it has a configuration capable of simultaneously capturing images of three viewpoints in the first state.
  • the surface shape of the partition plate 242 on the second liquid side is different from the partition plate 242 illustrated in FIG.
  • it demonstrates centering on the difference with the partition plate 242 illustrated in FIG.
  • the partition unit 940-1 and the partition unit 940-2 correspond to the partition unit 240-1 and the partition unit 240-2 of the partition plate 242 illustrated in FIG. That is, side surface portion 942a of partition portion 940-1 has a first thickness, and side surface portion 944a of partition portion 940-2 has a second thickness.
  • the through hole 250a in this figure is a through hole having the same shape as the through hole 250a illustrated in FIG.
  • the through hole 250b is formed by the side surface portion 942b having the second thickness and the side surface portion 944b having the third thickness.
  • the third thickness is assumed to be larger than the first thickness and smaller than the second thickness.
  • Side part 942b and side part 944b are provided by partition part 940-2 and partition part 940-3, respectively.
  • the through hole 250c is formed by the side surface portion 942c having the third thickness and the side surface portion 944c having the fourth thickness.
  • the fourth thickness is assumed to be smaller than the first thickness.
  • the side surface portion 942c and the side surface portion 944c are provided by the partition portion 940-3 and the partition portion 940-4, respectively.
  • the difference between the second thickness and the third thickness is different from the difference between the third thickness and the fourth thickness.
  • the prism angle formed by the partition part 240b and the partition part 240c can be varied.
  • the through hole 250d has the same shape as the through hole 250a.
  • the through hole 250d is formed by a side surface portion 942d having a first thickness and a side surface portion 944d having a second thickness.
  • the side surface portion 942d and the side surface portion 944d are provided by a partition portion 940-4 and a partition portion 940-5, respectively.
  • the partition portion 940-4 has a side surface portion 942c having a second thickness on one side and a side surface portion 944d having a first thickness on the other side.
  • an interface illustrated by a solid line such as the prism element 981 is formed.
  • the prism elements formed in the through hole 250a, the through hole 250b, and the through hole 250c have different prism angles.
  • the prism element 142 formed in the through hole 250a has a prism angle that allows the light receiving element 162a to receive the light that has passed through the pupil region 822a.
  • the prism element 142 formed in the through hole 250b has a prism angle that allows the light receiving element 162b to receive the light that has passed through the pupil region 822b.
  • the prism element 142 formed in the through hole 250c has a prism angle that allows the light receiving element 162c to receive the light that has passed through the pupil region 822a. Therefore, the light received by the corresponding light receiving elements 162a to 162c can be limited to light passing through different pupil regions of the exit pupil 120.
  • FIG. 10 schematically shows an imaging relationship between the light receiving unit 160 and the object.
  • P1, P2, and P3 be the positions of the near-distance subject, medium-distance subject, and far-distance subject, respectively.
  • the light from P3 passes through the third optical surface that provides the long focal length of the lens 110a and the pupil region 822a, and forms an image on the image plane 1000 that is the position of the light receiving unit 160.
  • the light from P2 passes through the second optical surface and the pupil region 822b that provide the medium focal length of the lens 110a, and forms an image on the image plane 1000.
  • the light from P1 passes through the first optical surface that provides the short focal length of the lens 110a and the pupil region 822c and forms an image on the image plane 1000.
  • the imaging device 80 includes the depth of field of the lens system 100 with respect to the light beam passing through the pupil region 822a, the depth of field of the lens system 100 with respect to the light beam passing through the pupil region 822b, and the pupil region 822c.
  • An in-focus image can be generated for a subject located within at least one of the depth of field of the lens system 100 with respect to the passing light beam.
  • the front end of the depth of field of the lens system 100 for the light beam passing through the pupil region 822b is present on the imaging device 80 side from the rear end of the depth of field of the lens system 100 for the light beam passing through the pupil region 822c.
  • the imaging device 80 can generate a focused image for a subject existing from the front end of the depth of field for P1 to the rear end of the depth of field for P3. Therefore, according to the lens system 100 and the optical device 115, the effective depth of field can be expanded.
  • FIG. 11 schematically shows an example of a process for generating a composite image 1150 with an expanded depth of field.
  • the short focus image 1110, the medium focus image 1120, and the long focus image 1130 are examples of images with different focal lengths generated by the image signal generation unit 170, and are a first optical surface with a short focal length and a second optical with a medium focal length, respectively.
  • An image is obtained by light passing through the surface and the third optical surface having a long focal length.
  • the short focus image 1110 includes a short-distance subject image 1112 that is an image of a short-distance subject existing at a short-distance position P1 from the imaging device 80, and an intermediate-distance subject image that exists at a middle-distance position P2 from the imaging device 80.
  • a medium-distance subject image 1114 and a long-distance subject image 1116 that is an image of a long-distance subject existing at a position P3 far away from the imaging device 80 are included.
  • the first optical surface with a short focal length can image subject light from the short distance position P1 on the light receiving unit 160. Therefore, the short-distance subject image 1112 is the clearest image among the short-distance subject image 1112, the medium-distance subject image 1114, and the long-distance subject image 1116.
  • the medium focus image 1120 includes a short-distance subject image 1122 that is an image of a short-distance subject, a medium-distance subject image 1124 that is an image of a medium-distance subject, and a long-distance subject image 1126 that is an image of a long-distance subject.
  • the second optical surface with the intermediate focal length can image the subject light from the intermediate distance position P2 on the light receiving unit 160. Therefore, among the short-distance subject image 1122, the medium-distance subject image 1124, and the long-distance subject image 1126, the middle-distance subject image 1124 is the clearest image.
  • the long-focus image 1130 includes a short-distance subject image 1132 that is an image of a short-distance subject, a medium-distance subject image 1134 that is an image of a medium-distance subject, and a long-distance subject image 1136 that is an image of a long-distance subject. .
  • the third optical surface with a far focal distance can form an image of subject light from the far distance position P3 on the light receiving unit 160. Therefore, the long-distance subject image 1136 is the clearest image among the short-distance subject image 1132, the medium-distance subject image 1134, and the long-distance subject image 1136. In this figure, the sharpness of the subject image is represented by the fineness of the line.
  • the image signal generation unit 170 generates a composite image 1150 using the short-distance subject image 1112, the medium-distance subject image 1124, and the long-distance subject image 1136. As a result, it is possible to generate a composite image 1150 including a clear short-distance subject image 1152, a medium-distance subject image 1154, and a long-distance subject image 1156, respectively.
  • the short focus image 1110, the medium focus image 1120, and the long focus image 1130 the long focus image 1130 by the third optical surface having the longest focal length is the image with the highest magnification.
  • the image signal generator 170 synthesizes the subject images with magnification correction according to the focal length of each optical surface.
  • the image signal generation unit 170 may correct the magnification of the short-distance subject image 1112 and the medium-distance subject image 1124 in accordance with the magnification of the long-focus image 1130 and synthesize it with the long-focus image 1130.
  • the image signal generation unit 170 generates a composite image 1150 in which subject images corresponding to the positions of the short-distance subject image 1112, the medium-distance subject image 1124, and the far-distance subject image 1136, which are most focused, are located. It's okay. Thereby, the image signal generation unit 170 can generate the composite image 1150 in which the influence of the viewpoint shift and the focus shift is reduced.
  • FIG. 12 schematically illustrates another example of the configuration of the deflecting unit 140.
  • the deflecting unit 140 illustrated in FIG. 9 can capture images with light beams that pass through three different pupil regions of the exit pupil 120 in the first state, and pass through one pupil region of the exit pupil 120 in the second state. Images can be taken with a light beam.
  • the deflecting unit 140 of this example has three states as the liquid interface state, and has a configuration capable of imaging with light beams that pass through three different pupil regions in each state.
  • the surface shape of the partition plate 242 on the first liquid side and the second liquid side and the configuration of the side wall portion that forms the through hole 250 are different from the partition plate 242 illustrated in FIG. 9.
  • the difference will be mainly described.
  • the through hole 250a of this example is formed by the first thickness side surface portion 642a of the partition portion 640-1 and the fourth thickness side surface portion 644a of the partition portion 640-2.
  • the fourth thickness is thicker than the second thickness.
  • the interface connecting the end points on the second liquid side of both side surfaces has the same prism angle as the interface formed on the second liquid side of the through hole 250a illustrated in FIG. Therefore, the prism element formed at the interface restricts the light received by the light receiving element 162a to the light that has passed through the pupil region 822a.
  • the interface connecting the end points on the first liquid side of both side surfaces in the through hole 250a of this example has a prism angle inclined from the plane perpendicular to the optical axis.
  • the prism element 142a having the prism angle restricts light received by the light receiving element 162a to light that passes through the pupil region between the optical axis center and the pupil region 822c in the exit pupil 120.
  • the through hole 250b in this example is formed by the fourth thickness side surface portion 642b included in the partition portion 640-2 and the fourth thickness side surface portion 644b included in the partition portion 640-3.
  • the partition unit 640-2 and the partition unit 640-3 are located at the same position in the optical axis direction. For this reason, an interface perpendicular to the optical axis is formed at both the end point on the second liquid side and the end point on the first liquid side. Therefore, the interface formed in the through hole 250b restricts the light received by the light receiving unit 160b to the light passing through the region near the optical axis of the exit pupil 120.
  • the through hole 250c in this example is formed by the fourth thickness side surface portion 642c included in the partition portion 640-3 and the first thickness side surface portion 644b included in the partition portion 640-4.
  • the interface connecting the end points on the second liquid side of both side surfaces is assumed to have the same prism angle as the interface formed on the second liquid side of the through hole 250c illustrated in FIG. Therefore, the prism element formed at the interface restricts the light received by the light receiving element 162c to the light that has passed through the pupil region 822c.
  • the interface connecting the end points on the first liquid side of both side surfaces in the through hole 250c of this example has a prism angle inclined from the plane perpendicular to the optical axis.
  • the prism element 142c having the prism angle restricts the light received by the light receiving element 162c to light passing through the pupil region between the optical axis center and the pupil region 822a in the exit pupil 120.
  • the through hole 250d is formed by a first thickness side surface 642d included in the partition portion 640-3 and a fourth thickness side surface portion 644d included in the partition portion 640-5.
  • the partition portion 640-5 is the same member as the partition portion 640-2. For this reason, the prism elements formed in the through hole 250d are the same as the prism elements formed in the through hole 250a.
  • a prism element indicated by a one-dot chain line in the figure is formed like the prism element 680-2.
  • the prism element indicated by the alternate long and short dash line has a smaller inclination than the prism angle indicated by the solid line such as the prism element 680-1 and has a larger inclination than the prism angle indicated by the broken line such as the prism element 680-3. have.
  • a configuration for stably holding the prism element indicated by the one-dot chain line in the drawing will be described with reference to FIG.
  • the liquid interface can be controlled to three states as shown by the solid line, the alternate long and short dash line, and the broken line in the figure. For this reason, it is possible to capture images with different combinations of prism angles.
  • the depth of field obtained in the three interface states will be described with reference to FIG.
  • FIG. 13 shows a modification of the partition plate 242.
  • a modification of the partition plate 242 will be described with reference to the portion B of FIG. 12 of the partition plate 242 illustrated in FIG.
  • a protrusion 700 and a protrusion 701 are formed on the side surface 642a toward the inside of the through hole 250a.
  • a protrusion 702, a protrusion 703, and a protrusion 704 are formed on the side surface 644a toward the inside of the through hole 250a.
  • Each of the protrusions has such a thickness that the liquid interface is trapped.
  • the protrusion 703 is located closer to the liquid region 220 than the protrusion 700 in the optical axis direction.
  • an interface is formed between the tip of the projection 700 at the end on the liquid region 220 side and the tip of the projection 702 at the end on the liquid region 220 side to form the prism element 680-1.
  • an interface is formed between the tip of the projection 701 at the end on the liquid region 210 side and the tip of the projection 704 at the end on the liquid region 210 side to form the prism element 680-3.
  • an interface is formed between the tip of the projection 700 at the end on the liquid region 220 side and the tip of the projection 703 of the side surface 644a to form the prism element 680-2.
  • the side surface portion 642a and the side surface portion 644a have the protrusions, the liquid interface is easily trapped at the tip of the protrusion. Therefore, the prism angle can be controlled stably.
  • the protrusion B formed in the through hole 250a is described by taking up the B portion of FIG. Projections may be formed to trap the interface at the intended positions in all the through holes 250 of the partition plate 242, and any of the through holes 250 of the partition plate 242 described with reference to FIGS. Needless to say, the protrusion may be formed to trap the interface at the intended position.
  • FIG. 14 schematically shows an example of object positions that can be imaged in the three states of the prism element 142.
  • the focal length with respect to the light beam that can be received by the light receiving element 162 is determined by the interfaces formed in the through hole 250a, the through hole 250b, and the through hole 250c, and thus the object position that can form an image on the light receiving unit 160 is determined. Therefore, in this drawing, the object positions that can be imaged are indicated by using the subscripts of the through holes 250.
  • the imaging device 80 uses the three states of the prism element 142 described in relation to FIGS. 12 and 13 as imaging modes having different depths of field. Specifically, it is used as a large depth mode, a medium depth mode, and a narrow depth mode. As described in relation to FIG. 12, according to the interface formed in the through hole 250b, in any state, a subject image is formed by the light flux that has passed through the pupil region centered on the optical axis. Therefore, at the interface formed in the through hole 250b, the object position that can be imaged is constant in any mode.
  • the large depth mode corresponds to the state in which the interface indicated by the solid line in FIG. 12 is formed.
  • the interface formed in the through hole 250a and the through hole 250c has a prism angle with a relatively large inclination. Therefore, according to the prism element formed in the through hole 250 a, subject light from a relatively far object position a is imaged on the light receiving unit 160. In addition, according to the prism element formed in the through hole 250 c, subject light from a relatively close object position c is imaged on the light receiving unit 160.
  • the medium depth mode corresponds to a state in which the interface indicated by the alternate long and short dash line in FIG. 12 is formed.
  • the interface formed in the through hole 250a and the through hole 250c forms a prism having a smaller inclination than in the large depth mode. Therefore, the object position a is closer to the imaging device 80 than the object position a in the large depth mode. Further, the object position c is a position farther than the object position c in the large depth mode.
  • the narrow depth mode corresponds to the state where the interface indicated by the dotted line in FIG. 12 is formed.
  • the interface formed in the through hole 250a and the through hole 250c forms a prism having a smaller inclination than the medium depth mode while the inclination direction is reversed. Therefore, the object position c is closer to the imaging device 80 than the object position a in the medium depth mode. Further, the object position a is a position farther than the object position c in the large depth mode.
  • the imaging device 80 captures images in the large depth mode, and obtains a clear subject image by performing the composition processing illustrated in FIG. Can do.
  • the imaging device 80 can obtain a clear subject image by imaging in the narrow depth mode and performing the synthesis processing illustrated in FIG.
  • the imaging device 80 can obtain a clear subject image by imaging in the medium depth mode and performing the synthesis processing illustrated in FIG. 11.
  • the imaging device 80 can select one of the imaging modes based on the distance to the subject that needs to be resolved.
  • the imaging device 80 may select any imaging mode based on an instruction from the user of the imaging device 80, or may select any imaging mode based on distance measurement information of the subject.
  • the imaging device 80 may switch a plurality of modes among the large depth mode, the medium depth mode, and the narrow depth mode and perform imaging a plurality of times.
  • the imaging device 80 switches the mode as illustrated in FIG.
  • the most focused subject image may be selected from a plurality of images obtained by imaging and synthesized. Thereby, it is possible to provide a subject image focused by fine distance resolution.
  • FIG. 15 is a diagram schematically showing another example of the lens system.
  • This example is another example of the lens system 100 described with reference to FIGS.
  • the lens 110a included in the lens system 100 is a progressive power lens.
  • the lens 1310a included in the lens system 1300 of the present example has different focal lengths depending on the distance from the optical axis, but it is assumed that optical surfaces that are equidistant from the optical axis give equal focal lengths. It can be said that the lens system 1300 is distributed concentrically in terms of refractive power.
  • the lens system 1300 of this example has a short focal length at the center of the optical axis, and has a long focal length that is far from the optical axis.
  • the subject light received by the light receiving element 162 passes through any one of the pupil areas 1322a to 1322c located at different distances from the optical axis in the exit pupil 1320 of the lens system 1300. It is limited to what you did.
  • the prism angles of the prism elements 142a to 142c included in the deflecting unit 140 are controlled to angles at which the corresponding light receiving elements 162 receive the light from the partial pupil regions 1322a to 1322c, respectively.
  • the configuration and specific control content of the deflecting unit 140 for controlling the prism angle of the prism element 142 are the same as the configuration and control content described with reference to FIGS. .
  • the depth of field can be effectively expanded as described with reference to FIGS. 1 to 15, the lens system in which the focal length changes continuously has been described.
  • a lens system in which the focal length changes discontinuously can be used as the lens system of the imaging device 80.
  • the microlens 152 included in the microlens unit 150 only needs to be able to limit the size of the pupil to such an extent that the difference in focal length can be ignored. Therefore, the control unit 180 may control the refractive power of the microlens 152 so as to limit the width of the pupil so that the difference in focal length can be ignored.
  • the control unit 180 may control the refractive power of the microlens 152 according to the prism angle of the corresponding prism element 142 in order to limit the pupil size to different widths for each focal length.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Focusing (AREA)
  • Lenses (AREA)

Abstract

　結像レンズを通じて被写体を撮像する撮像装置用の撮像デバイスであって、受光素子を複数有する受光部と、複数の前記受光素子にそれぞれ対応して設けられ、前記結像レンズを通過した被写体光を、対応する前記受光素子にそれぞれ受光させる複数のマイクロレンズを有するマイクロレンズ部と、前記複数のマイクロレンズの形状を制御することにより、前記複数の受光素子がそれぞれ受光すべき、前記結像レンズの射出瞳における瞳領域を制御する制御部と、前記複数の受光素子の撮像信号から、前記被写体の画像の画像信号を生成する画像信号生成部とを備える撮像デバイス。

Description

撮像デバイス
　本発明は、撮像デバイスに関する。
　撮像素子の近傍に設けられた光学素子に関して、例えば下記特許文献１および２に記載の技術が知られている。
　特許文献１には、外界の映像を結像する画像結像手段における異なる位置を通過した画像情報を選択的に撮像して画像データ列に変換し、変換された前記画像データ列を記録する視差画像入力装置が記載されている。特許文献１の技術によれば、異なる視点からの複数の画像を獲得することができる。
　また、特許文献２には、偏向手段によって入射光束を２方向に偏向し、その光束による２つの像を撮像素子において検出し、検出した像位置によって求められる像ずれ量により、撮像レンズによる被写体像の焦点調節状態を演算し、撮像レンズを合焦位置に移動するデジタルカメラが記載されている。特許文献２の技術によれば、１回の像検出によって素早く焦点調節を行うことができる。
　しかしながら、特許文献１の技術では、通常の結像レンズに入射した光束をマイクロレンズと受光セルによって瞳の空間分割をしており、焦点はただ一つである。したがって、焦点距離が異なる画像を取得するためには、焦点調節機構が必要となる。また、特許文献２においても同様に、焦点調節機構が必要となる。
　焦点距離が異なる画像を撮影するために、焦点調節機構を撮像レンズに組み込むと、駆動装置が大型化してしまうという問題点がある。
　このような課題に対し、特許文献３には、結像レンズ系中のレンズ面の１面または２面が、光軸と同軸の内側領域と外側領域とで異なる曲率を有し、外側領域の曲率による全系の焦点距離をｆ1 、内側領域の曲率による全系の焦点距離をｆ2 としたとき、０．３≦ｆ2 ／ｆ1 ≦０．９を満たす撮像光学系が記載されている。
　また、特許文献４には、焦点距離が異なる２つのレンズ領域を有する多焦点レンズの焦点を、流体プリズムを用いて切り替える技術が記載されている。
　特許文献３、４の技術によれば、焦点調節機構を用いることなく、焦点距離の異なる画像を撮像することができる。
特許第３７５３２０１号明細書 特開２００５－１６４９８３号公報 特開２００３－２７０５２６号公報 特開２００７－１９３０２０号公報
　焦点調節等に限らず、撮影レンズが持つ多様な光学特性を最大限に利用することが必要である。
　上記課題を解決するために、本発明の一態様においては、結像レンズを通じて被写体を撮像する撮像装置用の撮像デバイスであって、受光素子を複数有する受光部と、複数の受光素子にそれぞれ対応して設けられ、結像レンズを通過した被写体光を、対応する受光素子にそれぞれ受光させる複数のマイクロレンズを有するマイクロレンズ部と、複数のマイクロレンズの形状を制御することにより、複数の受光素子がそれぞれ受光すべき、結像レンズの射出瞳における瞳領域を制御する制御部と、複数の受光素子の撮像信号から、被写体の画像の画像信号を生成する画像信号生成部とを備える。
　複数のマイクロレンズはそれぞれ、屈折率が互いに異なる第１液体と第２液体との界面で形成される液体マイクロレンズであり、制御部は、界面の形状を制御することにより、複数のマイクロレンズの形状を制御してよい。
　制御部は、マイクロレンズの形状を、第１の屈折力を持つ形状から第１の屈折力より大きい第２の屈折力を持つ形状に制御することにより、複数の受光素子が受光すべき瞳領域の大きさを制限してよい。
　複数の受光素子のうちの複数の第１受光素子にそれぞれ対応して設けられ、複数のマイクロレンズが第２の屈折力を持つ形状に制御されている場合に、射出瞳における第１瞳領域を通過した被写体光を、対応するマイクロレンズを介して対応する第１受光素子にそれぞれ受光させる複数の第１偏向光学要素を有する偏向部をさらに備えてよい。
　偏向部は、複数の受光素子のうちの複数の第２受光素子にそれぞれ対応して設けられ、複数のマイクロレンズが第２の屈折力を持つ形状に制御されている場合に、射出瞳における第２瞳領域を通過した被写体光を、対応するマイクロレンズを介して対応する第２受光素子にそれぞれ受光させる複数の第２偏向光学要素をさらに有してよい。
　複数の第１偏向光学要素および複数の第２偏向光学要素はそれぞれ、屈折率が互いに異なる第３液体と第４液体との界面でプリズム界面が形成される液体プリズム要素であり、制御部は、複数のマイクロレンズの形状を第１の屈折力を持つ形状に制御するとともにプリズム界面を結像レンズの光軸に対して垂直に制御して撮像する第１撮像モードと、複数のマイクロレンズの形状を第２の屈折力を持つ形状に制御するとともにプリズム界面を結像レンズの光軸に対して傾斜させた状態で撮像する第２撮像モードとに切り替えてよい。
　制御部は、異なる視点の画像を撮像する場合に、撮像モードを第２撮像モードに制御し、画像信号生成部は、複数の第１受光素子の撮像信号および複数の第２受光素子の撮像信号から、異なる視点の画像の画像信号を生成してよい。
　結像レンズは、領域毎に異なる焦点距離を持つレンズであり、結像レンズの第１の焦点距離を持つ領域を通過した被写体光は第１瞳領域を通過し、結像レンズの第２の焦点距離を持つ領域を通過した被写体光は第２瞳領域を通過し、制御部は、異なる焦点距離で被写体を撮像する場合に、撮像モードを第２撮像モードに制御し、画像信号生成部は、複数の第１受光素子の撮像信号および複数の第２受光素子の撮像信号から、第１の焦点距離の画像および第２の焦点距離の画像の画像信号を生成してよい。
　マイクロレンズ部は、第１液体および第２液体を内部に保持するレンズハウジングと、レンズハウジングの内部を、第１液体が充填される第１液体領域と第２液体が充填される第２液体領域とに分割する仕切板とを有し、仕切板には、複数の受光素子に対応して複数の貫通孔が形成され、複数のマイクロレンズは、複数の貫通孔のそれぞれにおける第１液体と第２液体との界面によって形成され、制御部は、第１液体領域の内圧を制御することにより、マイクロレンズの形状を制御してよい。
　偏向部は、第３液体および第４液体を保持するプリズムハウジングと、プリズムハウジングの内部を、光軸に沿って第３液体が充填される第３液体領域と第４液体が充填される第４液体領域とに分割する仕切板とを有し、仕切板には、複数の液体プリズム要素が形成される位置に対応して複数の貫通孔が形成され、制御部は、複数の貫通孔の第１側面部でのプリズム界面の位置と第１側面部に対向する第２側面部でのプリズム界面の位置とを第３液体領域の内圧で制御することにより、光軸に対するプリズム界面の傾きを制御してよい。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
　本発明によると、焦点調節等に限らず、マイクロレンズが持つ多様な光学特性に応じた画像を得ることができる。
撮像装置１０のブロック構成の一例を模式的に示す図である。 他の撮像モードにおける光学装置１１５の一例を模式的に示す図である。 更なる他の撮像モードにおける光学装置１１５の一例を模式的に示す図である。 偏向部１４０およびマイクロレンズ部１５０の構成の一例を模式的に示す図である。 光軸に垂直な面で偏向部１４０を切断した模式断面を示す図である。 撮像装置１０が生成する画像の一例を示す図である。 偏向部１４０の構成の他の一例を模式的に示す図である。 撮像装置８０のブロック構成の一例を模式的に示す図である。 撮像装置８０における偏向部１４０の構成の一例を模式的に示す図である。 受光部１６０と物体との結像関係を模式的に示す図である。 合成画像１１５０の生成処理の一例を模式的に示す図である。 偏向部１４０の構成の他の一例を模式的に示す図である。 仕切板２４２の変形例を示す図である。 結像され得る物体位置の一例を模式的に示す図である。 レンズ系の他の一例を模式的に示す図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、撮像装置１０のブロック構成の一例を模式的に示す。本実施形態に係る撮像装置１０は、撮影レンズが持つ多様な光学特性を利用することができる装置を提供する。撮像装置１０は、レンズ系１００、光学装置１１５、受光部１６０、画像信号生成部１７０、制御部１８０および画像記録部１９０を備える。撮像装置１０は、カメラ機能付きの携帯電話、デジタルカメラなどの撮像機器であってよい。なお、レンズ系１００、光学装置１１５、受光部１６０、画像信号生成部１７０および制御部１８０を備える機能ブロックが撮像装置１０用の撮像デバイスとして提供されてよい。撮像デバイスは、撮像機器に組み込まれる撮像モジュールであってよい。
　レンズ系１００は、被写体からの光を結像する単一の結像レンズ系である。レンズ系１００は、１以上のレンズ１１０を備える。レンズ系１００を通過した被写体光は、光学装置１１５を通過して、受光部１６０によって受光される。
　光学装置１１５は、偏向部１４０およびマイクロレンズ部１５０を有する。偏向部１４０は、偏向光学要素の一例としての複数のプリズム要素１４２ａ～ｄを含む。マイクロレンズ部１５０は、複数のマイクロレンズ１５２ａ～ｄを含む。受光部１６０は、複数の受光素子１６２ａ～ｄを有する。本図では、説明を分かり易くするために、４の受光素子１６２ａ～ｄ、４のマイクロレンズ１５２ａ～ｄ、４のプリズム要素１４２ａ～ｄを図示しているが、これらの光学要素をそれぞれ４しか有さないことを示しているわけではない。被写体を撮像すべく任意の数を各光学要素が有することはいうまでもない。複数のマイクロレンズ１５２ａ～ｄを、マイクロレンズ１５２または複数のマイクロレンズ１５２と総称する場合がある。また、複数の受光素子１６２ａ～ｄを、受光素子１６２または複数の受光素子１６２と総称する場合がある。他の光学要素も同様に、符号の添え字を省略することで光学要素を総称する場合がある。
　複数の受光素子１６２は、ＭＯＳ型撮像素子を形成してよい。複数の受光素子１６２は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子を形成してよい。
　マイクロレンズ１５２は、複数の受光素子１６２にそれぞれ対応して設けられる。複数のマイクロレンズ１５２は、レンズ系１００を通過した被写体光を、対応する受光素子１６２にそれぞれ受光させる。具体的には、複数のマイクロレンズ１５２は、レンズ系１００により結像された被写体光をそれぞれ再結像して、対応する受光素子１６２にそれぞれ受光させる。例示したマイクロレンズ１５２ａ～ｄは、それぞれ受光素子１６２ａ～ｄに対応して設けられる。マイクロレンズ１５２ａは、レンズ系１００により結像された被写体光を再結像して、受光素子１６２ａに受光させる。同様に、マイクロレンズ１５２ｂ～ｄは、レンズ系１００により結像された被写体光をそれぞれ再結像して、それぞれ受光素子１６２ｂ～ｄに受光させる。
　マイクロレンズ１５２は、レンズとして機能する光学面の形状を調整することができる。例えば、マイクロレンズ１５２は、当該光学面の形状を、第１の屈折力を持つ形状から第１の屈折力より大きい第２の屈折力を持つ形状に可変することができる。本図では、第２の屈折力を持つ形状を実線で模式的に示しており、第１の屈折力を持つ形状を破線で模式的に示した。
　マイクロレンズ１５２が第２の屈折力を有する状態に制御されている場合、マイクロレンズ１５２は、各受光素子１６２が受光することができる光を、射出瞳１２０の一部領域を通過した光に制限する。例えば、マイクロレンズ１５２が第２の屈折力を有する状態に制御されている場合、マイクロレンズ１５２は、射出瞳１２０の１／４以下の面積の領域を通過した光を、各受光素子１６２に受光させてよい。マイクロレンズ１５２が第１の屈折力を有する状態に制御されている場合、マイクロレンズ１５２は、第２の屈折力を有する状態に制御されている場合よりも、射出瞳１２０のより広い領域を通過した光を各受光素子１６２に受光させることができる。例えば、マイクロレンズ１５２が第１の屈折力を有する状態に制御されている場合、マイクロレンズ１５２は、射出瞳１２０の１／４より大きい面積の領域を通過した光を、各受光素子１６２に受光させることができる。制御部１８０は、マイクロレンズ１５２の形状を制御することで、受光素子１６２のそれぞれへの光束が通過する射出瞳１２０の大きさを制御する。これにより、焦点調節等に限らず、マイクロレンズ１５２が持つ多様な光学特性に応じた画像を得ることができる。
　プリズム要素１４２は、複数の受光素子１６２に対応して設けられる。プリズム要素１４２、マイクロレンズ１５２、および、受光素子１６２は、互いに一対一に対応して設けられる。例えば、プリズム要素１４２ａは、マイクロレンズ１５２ａおよび受光素子１６２ａに対応して設けられる。プリズム要素１４２、マイクロレンズ１５２および受光素子１６２のうちの互いに対応する光学要素の組は、符号の添え字ａ～ｄで区別される。
　プリズム要素１４２は、プリズムとして機能する光学面の形状を調整することができる。例えば、プリズム要素１４２は、レンズ系１００の光軸方向の少なくとも一方の光学面の角度を可変することができる。光学面の角度をプリズム角と呼ぶ場合がある。本図では、プリズム要素１４２の両光学面が光軸に対して垂直な形状を有している状態、すなわちプリズム効果を有さない状態を実線で模式的に示した。プリズム要素１４２の一方の光学面が光軸に垂直な面から傾斜した形状を有している状態を、破線で模式的に示した。
　プリズム要素１４２がプリズム効果を有さない形状に制御されている場合、プリズム要素１４２は、射出瞳１２０における光軸を中心とする瞳領域を通過した光を、受光素子１６２に受光させる。上述したように、当該瞳領域の大きさはマイクロレンズ１５２の屈折力によって制御される。プリズム要素１４２のプリズム角が制御されることによって、プリズム要素１４２は、射出瞳１２０上の当該瞳領域の位置を制御することができる。すなわち、プリズム要素１４２がプリズム効果を有する状態に制御されている場合、プリズム要素１４２は、射出瞳１２０上におけるプリズム角に応じた位置を中心とする領域を、受光素子１６２に受光させることができる。このように、プリズム要素１４２は、受光素子１６２に受光させる光束の向きを制御することができる。制御部１８０は、プリズム要素１４２の光学面の傾きを制御することで、受光素子１６２への光束が通過する射出瞳１２０の位置を制御することができる。
　本図では、実線で示されるように、プリズム要素１４２がプリズム効果を有さず、マイクロレンズ１５２が第２の屈折力を持つ状態に制御されている状態を説明する。この状態で撮像するモードを、高解像力撮像モードと呼ぶ。上述したように、プリズム要素１４２はプリズム効果を有さないので、受光素子１６２が受光できる瞳領域は、射出瞳１２０上における光軸を中心する領域となる。一方、マイクロレンズ１５２は第２の屈折力を持つので、マイクロレンズ１５２が受光する光は比較的に狭い瞳領域を通過したものに制限される。したがって、受光素子１６２に入射する光束は、光軸を含む比較的に狭い中央瞳領域１２３を通過するものに絞られることとなる。
　本撮像モードによれば、光学装置１１５はレンズ系１００の低収差部分を用いることができるので、被写体からの高空間周波数領域の信号を受光部１６０に高く伝達することできる。また、撮像系のＭＴＦ特性を向上することができる。このため、解像力の高い画像を提供することができる。また、結像レンズ１１０の瞳を絞り込んで撮像した状態と同等の効果が得られるので、被写界深度を拡大することができる。
　受光素子１６２は、受光量に応じた強度の撮像信号を、画像信号生成部１７０に出力する。画像信号生成部１７０は、受光素子１６２から供給された撮像信号から、光軸近傍を通過した光による画像を示す画像信号を生成する。画像記録部１９０は、画像信号生成部１７０が生成した画像信号を取得して、画像データとして記録する。画像記録部１９０は、不揮発性メモリに当該画像データを記録してよい。当該不揮発性メモリは、画像記録部１９０が有してよい。また、当該不揮発性メモリは、撮像装置１０に対して着脱可能に設けられた外部メモリであってよい。画像記録部１９０は、撮像装置１０の外部に画像データを出力してもよい。画像信号生成部１７０が生成した画像信号によって示される画像、および、画像記録部１９０が記録する画像データが示される画像を、単に画像と呼ぶ場合がある。
　なお、本図では、マイクロレンズ１５２およびプリズム要素１４２の作用により、受光素子１６２が射出瞳１２０のうちの中央瞳領域１２３を通過した光を受光することを分かり易く示すことを目的として、中央瞳領域１２３を白ヌキで示した。そして、中央瞳領域１２３以外の領域を斜線で示した。また、以後の図においても、受光素子１６２が射出瞳１２０のうちの特定の部分領域を通過した光を受光することを分かり易く示すことを目的として、射出瞳１２０のうちの当該部分領域を白ヌキで示して、それ以外の領域を斜線で示す場合がある。このことは、射出瞳１２０の斜線の領域を被写体光が通過しないことを示すものではない。
　図２は、他の撮像モードにおける光学装置１１５の一例を模式的に示す。本例は、被写体光を高い利用率で撮像に利用するモードの一例である。本例の光学装置１１５は、マイクロレンズ１５２が第２の屈折力より小さい第１の屈折力を有する点で、図１に例示した光学装置１１５と光学特性が異なる。
　マイクロレンズ１５２は、第１の屈折力を持つ状態では、射出瞳１２０の比較的に広い範囲、例えば射出瞳１２０の実質的に全面を通過した光を受光素子１６２に受光させることができる。受光素子１６２への光束を実質的に制限しないことを示すべく、本図では、射出瞳１２０の全面を白ヌキで示した。なお、マイクロレンズ１５２は、第１の屈折力を有する場合に、受光素子１６２が持つ光電変換部の周辺近傍領域に向かう被写体光を、光電変換部へと集光させる。このため、マイクロレンズ１５２がレンズ効果を有さない場合と比較して、受光部１６０へと入射した被写体光を効率的に撮像に利用することができる。
　本撮像モードによれば、光学装置１１５は被写体からの光量を制限せずに撮像に利用することができる。このため、撮像光による信号成分と比較してノイズ成分が相対的に低くすることができる。特に、被写体に対してピントズレした画像領域では、画像信号成分が滑らかに変化するのでノイズが目立ちやすくなってしまう。しかしながら本撮像モードによれば、ピントズレした画像領域に対して、より多くの光量を受光素子１６２に伝達できる。このように、本撮像モードでは、ＳＮ比を高めることができ、ノイズの少ない高画質な画像を得ることができる。本撮像モードを、低ノイズ撮像モードと呼ぶ。
　このように、制御部１８０は、複数のマイクロレンズ１５２の形状を制御することにより、複数の受光素子１６２がそれぞれ受光すべき、レンズ系１００の射出瞳における瞳領域を制御する。具体的には、制御部１８０は、マイクロレンズ１５２の形状を、第１の屈折力を持つ形状から第１の屈折力より大きい第２の屈折力を持つ形状に制御することにより、複数の受光素子１６２が受光すべき瞳領域の大きさを制限することができる。
　図３は、更なる他の撮像モードにおける光学装置１１５の一例を模式的に示す。本例は、多視点画像を撮像する撮像モードである多視点撮像モードの一例である。本例の光学装置１１５は、プリズム要素１４２が光軸の垂直面に対して傾斜した光学面を有する点で、図２に例示した光学装置１１５と光学特性が異なる。
　プリズム要素１４２ａは、レンズ系１００の射出瞳１２０における左側瞳領域１２４を通過した被写体光１３０ａを、マイクロレンズ１５２ａを介して受光素子１６２ａに受光させるプリズム角を持つ。また、プリズム要素１４２ｃは、レンズ系１００の射出瞳１２０における左側瞳領域１２４を通過した被写体光１３０ｃを、マイクロレンズ１５２ｃを介して受光素子１６２ｃに受光させるプリズム角を持つ。一方、プリズム要素１４２ｂは、レンズ系１００の射出瞳１２０における右側瞳領域１２２を通過した被写体光１３０ｂを、マイクロレンズ１５２を介して受光素子１６２ｂに受光させるプリズム角を持つ。また、プリズム要素１４２ｄは、レンズ系１００の射出瞳１２０における右側瞳領域１２２を通過した被写体光１３０ｄを、マイクロレンズ１５２ｄを介して受光素子１６２ｄに受光させるプリズム角を持つ。
　このため、受光素子１６２ａ、ｃが受光できる光は、左側瞳領域１２４を通過したものに制限され、受光素子１６２ｂ、ｄが受光できる光は、右側瞳領域１２２を通過したものに制限される。したがって、画像信号生成部１７０は、受光素子１６２ａ、ｃなど、左側瞳領域１２４を通過した光を受光する一部の受光素子１６２の撮像信号から、左視点画像の画像信号を生成する。また、画像信号生成部１７０は、受光素子１６２ｂ、ｄなど、右側瞳領域１２２を通過した光を受光する一部の受光素子１６２の撮像信号から、右視点画像の画像信号を生成する。
　なお、左側瞳領域１２４および右側瞳領域１２２は、それぞれ第１瞳領域および第２瞳領域の一例とする。第１瞳領域および第２瞳領域は、図示した右側瞳領域１２２および左側瞳領域１２４に限られない。第１瞳領域および第２瞳領域は、射出瞳１２０における互いに別個の領域であればよい。第１瞳領域が光軸の位置を含まない領域である場合、第２瞳領域は、第１瞳領域と異なる領域であれば、光軸の位置を含んでもよく、光軸の位置を含まなくてともよい。
　すなわち、偏向部１４０は、複数のマイクロレンズ１５２が第２の屈折力を持つ形状に制御されている場合に、射出瞳１２０における第１瞳領域を通過した被写体光１３０を、対応するマイクロレンズ１５２を介して複数の受光素子１６２のうちの対応する第１受光素子にそれぞれ受光させる複数の第１の偏向光学要素を有する。また、偏向部１４０は、複数のマイクロレンズ１５２が第２の屈折力を持つ形状に制御されている場合に、射出瞳１２０における第２瞳領域を通過した被写体光１３０を、対応するマイクロレンズを介して対応する第２受光素子にそれぞれ受光させる複数の第２偏向光学要素を有する。
　なお、例えば中央瞳領域１２３のように光軸近傍の瞳領域を通過した光を第２受光素子に受光させる場合、当該第２受光素子に対応するプリズム要素１４２の形状は、図２に例示したようにプリズム効果を持たない形状を有してよい。また、第２受光素子に対応するプリズム要素１４２を有しない構成の偏向部１４０を採用することもできる。
　制御部１８０は、異なる視点の画像を撮像する場合に、撮像モードを、本図で例示した多視点撮像モードに制御する。画像信号生成部１７０は、複数の第１受光素子の撮像信号および複数の第２受光素子の撮像信号から、異なる視点の画像の画像信号を生成する。
　本撮像モードによれば、マイクロレンズ１５２の屈折力によって、複数の受光素子１６２が受光できる瞳の大きさが制限される。そして、プリズム要素１４２によって、受光素子１６２がそれぞれ受光できる瞳領域の位置を制御することができるので、瞳領域をきちんと分離することができる。このため、光学装置１１５によれば、単一のレンズ系１００を用いて、左視点画像および右視点画像をワンショットで得ることができる。したがって、多視点撮影機能をコンパクトに実装することができる。
　図４は、偏向部１４０およびマイクロレンズ部１５０の構成の一例を模式的に示す。本例は、図１から３に関連して説明した三つの撮像モードを実現するための構成の一例である。本例において、偏向部１４０が有する複数のプリズム要素１４２は、屈折率が互いに異なる液体の界面で形成される液体プリズム要素である。プリズム要素１４２のプリズム角は、界面の角度で定まる。
　偏向部１４０は、第１液体および第２液体を保持するハウジング２００、仕切板２４２、駆動部２９０を有する。仕切板２４２は、ハウジング２００の内部を、レンズ系１００の光軸に沿って第１液体が充填される第１液体領域２１０と第２液体が充填される第２液体領域２２０とに分割する。第１液体と第２液体は、屈折率が互いに異なり、かつ、水と油のように接触状態において互いに混合しない性質を持つ。第１液体および第２液体の組み合わせとして、ＰＤＭＳ（Ｐｏｌｙ－Ｄｉｍｅｔｈｙｌ－Ｓｉｌｏｘａｎｅ）および純水を例示することができる。ここでは第２液体の屈折率よりも第１液体の屈折率の方が大きいとする。また、第１液体および第２液体のそれぞれの密度は実質的に等しいことが好ましい。
　仕切板２４２には、複数のプリズム要素１４２ａ～ｄが形成される位置に対応して複数の貫通孔２５０ａ～ｄが形成される。プリズム要素１４２ａ～ｄは、それぞれ貫通孔２５０ａ～ｄが形成された位置に形成される。ハウジング２００の物体側の面または像側の面から見た貫通孔２５０の形状は、正方形、長方形、台形、円または楕円等であってよく、その他の種々の形状であってよい。
　ハウジング２００の物体側の面および像側の面には、ガラスなどの透光性の材料で形成された透光部が形成される。透光部は、貫通孔２５０、マイクロレンズ１５２および受光素子１６２に対応する位置に形成され、被写体光は物体側の面に形成された透光部、貫通孔２５０、像側の面に形成された透光部を通過して、対応するマイクロレンズ１５２に入射する。なお、ハウジング２００の物体側の面および像側の全面が、ガラスなどの透明な材料から形成されてもよい。
　仕切板２４２は、仕切部２４０－１～５を含む。貫通孔２５０は、対向する仕切部２４０の間の空間で形成される。仕切部２４０は第１液体と第２液体とを接触させない。第１液体および第２液体は、貫通孔２５０内で互いに接触して、プリズム要素１４２となる界面を形成する。
　貫通孔２５０ａは、側面部２５２ａおよび側面部２５４ａを持つ。側面部２５２ａおよび側面部２５４ａは、それぞれ仕切部２４０－１および仕切部２４０－２の対向する側面部である。側面部２５２ａは、レンズ系１００の光軸方向に沿って第１の厚さを持ち、側面部２５４ａは、レンズ系１００の光軸方向に沿って第２の厚さを持つ。つまり、貫通孔２５０ａは、厚さの異なる仕切板２４２の側面部２５２ａおよび側面部２５４ａを含む側面に包囲されて形成される。例えば、貫通孔２５０ａが四角形の開口を持つ場合、貫通孔２５０ａは、側面部２５２ａと、側面部２５４ａと、側面部２５２ａおよび第２側面部２５４ａを結合する２の側面部とにより包囲されて形成される。ここでは第２の厚さが第２の厚さより大きいとする。
　貫通孔２５０ｂは、側面部２５２ｂおよび側面部２５４ｂを持つ。側面部２５２ｂおよび側面部２５４ｂは、それぞれ仕切部２４０－２および仕切部２４０－３の対向する側面部である。側面部２５２ｂは、レンズ系１００の光軸方向に沿って第２の厚さを持ち、側面部２５４ｂは、レンズ系１００の光軸方向に沿って第１の厚さを持つ。貫通孔２５０ａとは異なり、貫通孔２５０ｂは、複数の貫通孔２５０が並ぶ方向に、第１の厚さの側面部２５２ｂ、第２の厚さの側面部２５４ｂを順に有する。その他の点は、貫通孔２５０ａと同様であるので説明を省略する。
　貫通孔２５０ｃは、側面部２５２ｃおよび側面部２５４ｃを持つ。側面部２５２ｃおよび側面部２５４ｃは、それぞれ仕切部２４０－３および仕切部２４０－４の対向する側面部である。貫通孔２５０ｃの形状は、貫通孔２５０ａと同様であり、側面部２５２ｃはレンズ系１００の光軸方向に沿って第１の厚さを持ち、側面部２５４ｃは光軸方向に沿って第２の厚さを持つ。貫通孔２５０ｄは、側面部２５２ｄおよび側面部２５４ｄを持つ。側面部２５２ｄおよび側面部２５４ｄは、それぞれ仕切部２４０－４および仕切部２４０－５の対向する側面部である。貫通孔２５０ｄの形状は、貫通孔２５０ｂと同様であり、側面部２５２ｄはレンズ系１００の光軸方向に沿って第２の厚さを持ち、側面部２５４ｄは光軸方向に沿って第１の厚さを持つ。すなわち、仕切板２４２には、貫通孔２５０ａの形状の貫通孔と貫通孔２５０ｂの形状の貫通孔とが、交互に繰り返して一列に形成される。
　第１液体領域２１０に充填された第１液体の圧力を特定の圧力にすると、当該圧力に応じて、液体の圧力差と表面張力とが釣り合うように平面状の界面が形成される。各貫通孔２５０内において第２液体が充填された状態で釣り合った状態となるよう第１液体の圧力を第１圧力にすると、プリズム要素２８２のように本図の破線で示す界面が形成される。例えば、貫通孔２５０ａにおいて、側面部２５２ａの液体領域２１０側の端部と第２側面部２５４ａの液体領域２１０側の端部で界面が担持される。
　仕切板２４２は第１液体側において平面状の端面を持ち、当該端面はハウジング２００の像側と平行であるので、破線で示す界面は、プリズム効果を実質的に有さない。このため、受光素子１６２は、射出瞳１２０のうちの光軸を中心とする領域を通過した光を受光することができる。図１および図２で説明した撮像モードで撮像する場合、制御部１８０は、界面が本図の破線の形状に維持された状態になるよう、液体領域２１０の圧力を制御すればよい。
　一方、各貫通孔２５０内において第１液体が充填された状態で釣り合った状態となるよう、第１液体の圧力を第１圧力より高めて第２圧力にすると、界面の位置は第２液体側に移動して、プリズム要素２８１のように本図の実線で示す界面が形成される。例えば、貫通孔２５０ａにおいて、側面部２５２ａの第２液体領域２２０側の端部および仕切板２４２ａの液体領域２１０側の端部２６２－１に界面が担持される。この界面の傾きは、各貫通孔２５０を形成する側面部の厚さに応じた傾きになる。貫通孔２５０ａにおける界面の傾きおよび貫通孔２５０ｂにおける界面の傾きをそれぞれ第１の傾きおよび第２の傾きと呼べば、第１の傾きのプリズム角および第２の傾きのプリズム角が交互に繰り返されるプリズム列が形成される。このように、制御部１８０は、第１液体を保持する液体領域２１０の内圧を制御することにより、光軸に対する界面の傾きを制御することができる。
　本プリズム列が形成されている場合、貫通孔２５０ａおよび貫通孔２５０ｃに対応する受光素子１６２ａおよび受光素子１６２ｃは、マイクロレンズ１５２およびプリズム要素の作用により、左側瞳領域１２４を通過した光を受光する。一方、貫通孔２５０ｂおよび貫通孔２５０ｄに対応する受光素子１６２ｂおよび受光素子１６２ｄは、右側瞳領域１２２を通過した光を受光する。このため、画像信号生成部１７０は、受光素子を一つおきに選択して画像信号を生成することで、右視点画像および左視点画像を生成することができる。
　制御部１８０は、第１液体領域２１０に連通する液体領域２３０内の圧力を制御することにより、第１液体の圧力を制御する。具体的には、ハウジング２００は、液体領域２３０内の第１液体に接する弾性面２８０を持つ。また、偏向部１４０は、液体領域２３０の体積を制御すべく弾性面２８０を変位させる駆動部２９０を有する。駆動部２９０としては、圧電素子を有することができる。圧電素子はピエゾ素子であってよい。制御部１８０は、圧電素子に印加する電圧を制御して圧電素子の形状を変化させ、それにより弾性面２８０に当接する先端部を伸縮方向２９８に変位させる。
　制御部１８０は、第１液体と第２液体の界面を貫通孔２５０の側面部に沿って物体側の方向に移動させる場合には、液体領域２３０の体積が低下する方向に駆動部２９０の先端部を変位させる。これにより、第１液体の内圧が高まり、界面は物体側の方向に移動する。制御部１８０は、貫通孔２５０の側面部に沿って像側方向に界面を移動させる場合には、液体領域２３０の体積が増加する方向に駆動部２９０の先端部を変位させる。これにより、第１液体の内圧が低下して、界面は像側の方向に移動する。
　このように、制御部１８０は、貫通孔２５０の第１側面部での界面の位置と、当該第１側面部に対向する第２側面部での界面の位置とを、液体領域２１０の内圧で制御することにより、光軸に対する界面の傾きを制御することで、プリズム要素の傾きを制御することができる。
　本例におけるマイクロレンズ部１５０の構成を説明する。本例において、マイクロレンズ部１５０が有する複数のマイクロレンズ１５２は、屈折率が互いに異なる液体の界面で形成される液体マイクロレンズである。マイクロレンズ１５２の屈折力は、界面の形状で定まる。
　マイクロレンズ部１５０は、第１液体および第２液体を保持するハウジング４００、仕切板４４２、駆動部４９０を有する。ハウジング４００の物体側の面およびハウジング２００の像側の面は一体的に形成されてよい。仕切板４４２は、ハウジング４００の内部を、レンズ系１００の光軸に沿って第１液体が充填される第１液体領域３１０と第２液体が充填される第２液体領域３２０とに分割する。本例のようにプリズム要素１４２の界面およびマイクロレンズ１５２の界面を同一の液体の組み合わせを用いてよいが、プリズム要素１４２とマイクロレンズ１５２とで異なる組み合わせの液体を用いることができることはいうまでもない。
　ハウジング２００と同様、ハウジング４００の物体側の面および像側の面には、ガラスなどの透光性の材料で形成された透光部が形成される。また、仕切板２４２と同様、仕切板４４２には、複数の受光素子１６２が形成される位置に対応して複数の貫通孔が形成される。複数のマイクロレンズ１５２は、複数の貫通孔のそれぞれにおける第１液体と第２液体との界面によって形成される。なお、マイクロレンズ１５２の界面は、プリズム要素１４２の界面と同様の過程で形成される。このため、偏向部１４０との間の相違点を中心に、マイクロレンズ部１５０の構成を説明する。
　仕切板４４２は、仕切部４４０－１～５を含む。第１液体および第２液体は、仕切板４４２よりも液体領域３２０側で接触して、マイクロレンズ１５２となる界面を形成する。仕切板２４２とは異なり仕切板４４２は光軸方向に同一の厚さを有してよい。仕切板４４２は、少なくとも液体領域３２０側に、光軸に垂直面に平行な面を有する。
　プリズム要素１４２と同様、マイクロレンズ１５２の形状は、液体領域３１０の内圧を制御することにより制御される。貫通孔の液体領域３２０側の両端部間で平面状の界面が形成される場合の圧力を基準圧力と呼ぶと、液体領域３１０に充填された第１液体の圧力は、基準圧力以上に維持される。第１液体の圧力を基準圧力より大きくすると、本図の破線で示すような界面が形成される。つまり、貫通孔の液体領域３２０側の両端部で界面の位置が担持されたまま、貫通孔の中心付近で物体側に頂点をもつアーチ状の界面が形成される。本図の破線の状態では、複数のマイクロレンズ１５２は、それぞれ第１の屈折力を持つ。
　圧力をさらに高くすると、本図の本図の実線で示す界面が形成される。つまり、貫通孔の液体領域３２０側の両端部で界面の位置が担持されたまま、貫通孔のより物体側に頂点をもつアーチ状の界面が形成される。本図の実線の状態では、複数のマイクロレンズ１５２は、それぞれ第２の屈折力を持つ。
　図２で説明した撮像モードで撮像する場合、制御部１８０は、界面が本図の破線の形状維持された状態になるよう、液体領域３１０の圧力を制御すればよい。また、図１および図３で説明した撮像モードで撮像する場合、制御部１８０は、界面が本図の実線の形状に維持された状態になるよう、液体領域３１０の圧力を制御すればよい。
　制御部１８０は、液体領域３１０に連通する液体領域３３０内の圧力を制御することにより、ハウジング４００内の第１液体の圧力を制御する。ハウジング４００は、ハウジング２００と同様、液体領域３３０内の第１液体に接する弾性面を持つ。また、マイクロレンズ部１５０は、液体領域３３０の体積を制御すべく当該弾性面を変位させる駆動部４９０を有する。駆動部４９０は、駆動部２９０と同様の機能および動作を有することができる。制御部１８０は、駆動部２９０に対する制御と同様、ハウジング４００に形成された弾性面を駆動部４９０に変位させることによって、液体領域３１０の内圧を制御する。１８０は、駆動部４９０に液体領域３３０の体積を低下させることで、界面の形状を本図の破線の形状から実線の形状に制御することができる。
　このように、制御部１８０は、界面の形状を制御することにより、複数のマイクロレンズ１５２の形状を制御することができる。具体的には、制御部１８０は、液体領域３１０の内圧を制御することにより、複数のマイクロレンズ１５２の形状を制御することができる。
　本例における受光部１６０の構成を説明する。受光部１６０は、複数のカラーフィルタ２６０、遮光部２６２、および、複数の受光素子１６２を有する。複数のカラーフィルタ２６０は、複数の受光素子１６２に対応して設けられる。カラーフィルタ２６０は、対応するプリズム要素１４２およびマイクロレンズ１５２を通過した被写体光のうち、予め定められた波長域の光を選択的に透過して対応する受光素子１６２にそれぞれ受光させる。
　遮光部２６２は、隣接画素との間の干渉を防ぐべく、複数の受光素子１６２のそれぞれの受光開口を画定する開口部が、複数の受光素子１６２のそれぞれに対応する位置に形成されている。複数の受光素子１６２は、対応する開口部を通過した光をそれぞれ受光して、光電変換により撮像信号を形成する電圧信号をそれぞれ生成する。
　ここで、図２に例示した撮像モードで撮像する場合、制御部１８０は、複数のマイクロレンズ１５２の形状を第１の屈折力を持つ形状に制御するとともにプリズム要素１４２の界面をレンズ系１００の光軸に対して垂直に制御して受光部１６０を露光する。図１に例示した撮像モードで撮像する場合、制御部１８０は、プリズム要素１４２の界面をレンズ系１００の光軸に対して垂直に制御するとともに、複数のマイクロレンズ１５２の形状を第２の屈折力を持つ形状に制御して受光部１６０を露光する。図３に例示した撮像モードで撮像する場合、制御部１８０は、複数のマイクロレンズ１５２の形状を第２の屈折力を持つ形状に制御するとともにプリズム界面をレンズ系１００の光軸に対して傾斜させた状態で受光部１６０を露光する。制御部１８０は、この三の撮像モードのうちの少なくとも二の撮像モードの間で切り替えて撮像させることができる。
　図５は、光軸に垂直な面で偏向部１４０を切断した模式断面を示す。本図は、図４のＡＡ断面を例示する。被写体光は紙面に向かって進行するとし、参照のために受光素子１６２の位置を破線で模式的に示した。図示されるように、仕切板２４２には貫通孔２５０がマトリクス状に形成される。受光素子１６２も貫通孔２５０に対応する位置に設けられる。すなわち、貫通孔２５０および複数の受光素子１６２はマトリクス状に配置される。貫通孔２５０および受光素子１６２は、行方向３５０および列方向３６０に略等間隔で設けられる。
　具体的には、仕切部２４０－１、仕切部２４０－２、仕切部２４０－３および仕切部２４０－４は、列方向３６０に延伸する部材である。これらの行の間は、行方向３５０に延伸する部材で仕切られる。これにより、貫通孔２５０ａ～ｄの他に、行方向３５０に並ぶ貫通孔の列が、複数形成される。例えば、貫通孔２５０ａを先頭とする行、貫通孔２５０ｅを先頭とする行、貫通孔２５０ｆを先頭とする行に、行方向３５０に並ぶ貫通孔の列が形成される。
　図４に関連して説明したように、仕切部２４０－１は、レンズ系１００の光軸方向に沿って第１の厚さの側面部を側部に持つ。また、仕切部２４０－２は、レンズ系１００の光軸方向に沿って第２の厚さの側面部を両側部に持つ。仕切部２４０－３は、レンズ系１００の光軸方向に沿って第１の厚さの側面部を両側部に持つ。仕切部２４０－４は、レンズ系１００の光軸方向に沿って第２の厚さの側面部を両側部に持つ。つまり、仕切板２４２には、異なる厚さの側面部を持つ仕切部２４０が行方向３５０に交互に位置している。これにより、第１のプリズム角を持つ複数のプリズム要素と第２のプリズム角を持つ複数のプリズム要素とが、複数の行に交互に配置される。
　このように、レンズ系１００の光軸方向に沿って第１の厚さの側面部を両側部に持つ第１仕切部と、光軸方向に沿って第２の厚さの側面部を両側部に持つ第２仕切部とによって、貫通孔２５０が形成される。具体的には、貫通孔２５０は、第１仕切部の側面部と、第１仕切部に隣り合う第２仕切部の側面部とによりそれぞれ形成される。
　また、貫通孔２５０ａ～ｄは、液体領域２１０を介して連通している。液体領域２１０は複数の領域に区画されていてもよいが、区画されていなくてもよい。液体領域２１０が区画されている場合、区画された複数の液体領域２１０に対応してそれぞれ駆動部が設けられ、各駆動部は対応する液体領域２１０内の第１液体の圧力を制御する。本図の例では、行毎に駆動部２９０、駆動部２９１、駆動部２９２が設けられる。これにより、１の駆動部で第１液体領域の内圧を制御する場合と比較して、速やかにプリズム要素を制御することができる。なお、液体領域２１０が複数の領域に区画されておらず全貫通孔が液体領域２１０で連通している場合でも、駆動部を複数設けてもよい。すなわち、第１液体領域２１０の内圧を、複数の駆動部で制御してもよい。
　なお、マイクロレンズ部１５０の仕切板４４２も、仕切板２４２と同様、貫通孔がマトリクス状に形成される。また、マイクロレンズ部１５０の液体領域３１０も、液体領域２１０と同様、複数の領域に区画され、区画された複数の液体領域３１０に対応してそれぞれ駆動部が設けられてよい。また、液体領域３１０が複数の領域に区画されておらず全貫通孔が液体領域３１０で連通している場合でも、駆動部を複数設けることができる。なお、マイクロレンズ部１５０の液体領域３１０は、行毎または列毎に複数のブロックに区画されてよい。また、液体領域３１０は、複数の行および／または複数の列を含む複数のブロックに区画されてもよい。そして、制御部１８０は、マイクロレンズ１５２の屈折力を複数のブロック毎に異なる屈折力を持つよう制御してよい。例えば、制御部１８０は、合焦する被写体からの光が通過する１以上のブロックよりも、合焦しない被写体からの光が通過する１以上のブロックにおいて、マイクロレンズ１５２の屈折力を小さく制御してよい。これにより、合焦した被写体領域では高解像力を有しつつ、合焦していない背景領域ではノイズが目立たない画像を生成することができる。
　図６は、撮像装置１０が生成する画像の一例を示す。撮像装置１０は、図３に例示した多視点撮像モードで撮像することにより、右視点画像４１０および左視点画像４２０を生成する。右視点画像４１０には、撮像装置１０の遠方に位置する遠距離被写体の像である遠距離被写体像４１４と、当該被写体より近くに位置する近距離被写体の像である近距離被写体像４１２が含まれる。左視点画像４２０には、遠距離被写体の像である遠距離被写体像４２４と、近距離被写体の像である近距離被写体像４２２が含まれる。
　遠距離被写体像４１４は、右側瞳領域１２２を通過した光を受光する受光素子１６２で形成される遠距離被写体の像であり、遠距離被写体像４２４は左側瞳領域１２４を通過した光を受光する受光素子１６２で形成される遠距離被写体の像である。画像領域内において、遠距離被写体像４１４は、遠距離被写体像４２４が形成される位置よりも左側にシフトした位置に形成される。
　遠距離被写体像４１４と同様に、近距離被写体像４１２も、遠距離被写体像４２４よりも左側にシフトした位置に形成されるが、近距離被写体像４２２の位置からより大きくシフトした位置に形成される。このため、右視点画像４１０および左視点画像４２０をそれぞれ観察者の右目および左目に提示すると、観察者には、レンズ系１００によって合焦される被写体よりも撮像装置１０の近くに位置する被写体が、ぐっと手前に存在するように見える。このため、撮像装置１０によれば、多視点撮像モードによって距離感のある立体視画像を提供することができる。
　多視点撮像モードの状態からプリズム要素１４２のプリズム角を０にすると、高解像力撮像モードになる。高解像力撮像モードでは、中央瞳領域１２３を通過した光束による画像であるから、いわば中央を視点とする画像が得られる。このため、遠距離被写体および距離被写体が実空間において撮像装置１０に対して左右の中央に位置する場合、それらの像である近距離被写体像４３２および遠距離被写体像４３４は、中央視点画像４３０において左右方向の中央に形成される。
　多視点撮像モードの状態からマイクロレンズ１５２の屈折力を小さくして第１の屈折力を持たせると、低ノイズ撮像モードになる。低ノイズ撮像モードも、高解像力撮像モードと同様、いわば中央を視点とする中央視点画像４５０が得られる。中央視点画像４５０には、ノイズが目立つことのない近距離被写体像４５２および遠距離被写体像４５４を生成することができる。
　このように、制御部１８０は、光学装置１１５を制御することで、撮像モードを切り替えて撮像することができる。液体界面で形成されるプリズム要素１４２およびマイクロレンズ１５２は、圧力を制御することで極めて高速に形状を変えることができる。このため、撮像モードを極めて高速に切り替えて撮像することができる。
　なお、画像記録部１９０は、多視点画像で得られた右視点画像４１０および左視点画像４２０を立体視用画像として記録してよい。例えば、画像記録部１９０は、右視点画像４１０および左視点画像４２０を組み合わせてパララックスバリア方式による立体視用画像として記録してよい。
　なお、画像記録部１９０は、中央視点画像４３０および中央視点画像４５０の少なくとも一方に含まれる近距離被写体像を用いて、右視点画像４１０および左視点画像４２０の少なくとも一方に形成された近距離被写体像を高画質化して記録してよい。また、画像記録部１９０は、中央視点画像４３０および中央視点画像４５０の少なくとも一方に含まれる遠距離被写体像を用いて、右視点画像４１０および左視点画像４２０の少なくとも一方に形成された遠距離被写体像を高画質化して記録してよい。このように、画像記録部１９０は、中央視点画像４３０および中央視点画像４５０の少なくとも一方に含まれる特定被写体の像を用いて、右視点画像４１０および左視点画像４２０の少なくとも一方に含まれる特定被写体の像を高画質化して記録してよい。暗い環境下で多視点撮像したり、ピントズレが生じる被写体を多視点撮像したり、高い空間周波数成分を含む被写体を撮像したりする場合でも、制御部１８０が高解像力撮像モードまたは低ノイズ撮像モードに切り替えて撮像し、得られた中央視点画像４５０または中央視点画像４３０に形成された被写体像を右視点画像４１０および左視点画像４２０に合成することで、右視点画像４１０および左視点画像４２０に形成された被写体像を高画質化して記録することができる。このため、撮像装置１０によれば、高画質な多視点画像を提供することができる。
　図７は、偏向部１４０の構成の他の一例を模式的に示す。図４に例示した偏向部１４０では、貫通孔２５０に第１液体が充填された第１状態では右視点画像および左視点画像を撮像でき、貫通孔２５０に第２液体が充填された第２状態では中央視点画像を撮像することができる。本図に例示する偏向部１４０－１は、第１状態で左視点画像を撮像する構成を持つ点が、図４に例示した偏向部１４０とは異なる。具体的には、仕切板２４２に形成される貫通孔２５０の形状が、図４に例示した偏向部１４０とは異なる。このため、ここではその相違点を中心に説明する。
　貫通孔２５０ａ～ｄは、仕切部５４０が有する異なる厚さの側面部によって形成される。具体的には、貫通孔２５０ａは、仕切部５４０－１が有する第１の厚さの側面部５５２ａと、仕切部５４０－２が有する第２の厚さの側面部５５４ａとにより形成される。貫通孔２５０ｂ～ｄも同様に、仕切部５４０－２～５がそれぞれ有する第１の厚さの側面部と第２の厚さの側面部とにより形成される。
　また、仕切部５４０－１～５が有する第１液体側の側面は、図２に例示した仕切部２４０－１～５と同様、略同一平面上に位置する。すなわち、仕切板２４２は、第１液体側において平面状の端面を持つ。
　貫通孔２５０に第１液体が充填された状態で第１液体と第２液体とが釣り合うよう第１液体の圧力を制御すると、プリズム要素５８１のような実線で図示される界面が形成される。すなわち、貫通孔２５０には、同一のプリズム角を持つプリズム要素１４２が形成される。このプリズム角は、図４の例で貫通孔２５０ａおよびｃに形成されるプリズム角と同じである。したがって、貫通孔２５０に第１液体が充填された状態では、受光素子１６２が受光できる光は、左側瞳領域１２４を通過したものに制限される。この状態では、受光部１６０が有する受光素子１６２によって、左視点画像を撮像することができる。このため、受光部１６０が有する受光素子１６２を有効に使用して、同一タイミングで撮像した解像力の高い左視点画像を提供することができる。
　貫通孔２５０に第２液体が充填された状態で釣り合っている場合、プリズム要素５８２のように、図４の破線で例示した界面と同様の界面が形成される。このため、受光部１６０が有する受光素子１６２によって、中央視点画像を撮像することができる。中央視点画像を撮像する場合、上述したようにマイクロレンズ１５２の屈折力の大小を制御することで、高解像力の中央視点画像を撮像するモードと、低ノイズな中央視点画像を撮像するモードとを選択することができる。
　図８は、撮像装置８０のブロック構成の一例を模式的に示す。撮像装置８０は、実効的に深い被写界深度を持つ撮像装置を提供することができる。撮像装置８０は、レンズ系１００、光学装置１１５および受光部１６０を備える。なお、撮像装置８０は、上述した画像信号生成部１７０、制御部１８０および画像記録部１９０と同様に機能および動作する機能ブロックも有するが、当該機能ブロック自体の図示は省略して、他の機能ブロックとの間の結合関係を図示した。
　撮像装置８０は、特にレンズ系１００の結像特性および光学装置１１５の内部構成が、上述した撮像装置１０とは異なる。撮像装置１０に対する機能または動作の相違点について説明する。レンズ系１００は、領域毎に異なる焦点距離を持つレンズである。例えば、レンズ系１００は、累進屈折力レンズであるレンズ系１００ａを有してよい。本図では、焦点距離の違いを分かり易く例示するため、レンズ１１０ａの対物側の光学面が、領域毎に異なる焦点距離を与えるとした。レンズ系１００は、レンズ系全体で異なる焦点距離を与える光路が存在すればよく、焦点距離の違いが特定のレンズの特定の光学面によって提供されなくてよい。
　撮像装置８０は、実効的に深い被写界深度を提供する撮像モードである深度拡大撮像モードを有する。深度拡大撮像モードで撮像する場合におけるプリズム要素１４２およびマイクロレンズ１５２の形状を、本図の実線で例示した。深度拡大撮像モードでは、１８０は、マイクロレンズ１５２を第２の屈折力を持つ形状に制御する。また、制御部１８０は、プリズム要素１４２に、レンズ系１００の射出瞳１２０における２以上の瞳領域を通過した光をそれぞれ別個の受光素子１６２で受光させるプリズム角を持たせる。
　具体的には、プリズム要素１４２ａは、瞳領域８２２ａを通過した被写体光１３０ａを受光素子１６２ａに受光させるプリズム角を持つ。プリズム要素１４２ｂは、瞳領域８２２ｂを通過した被写体光１３０ｂを受光素子１６２ｂに受光させるプリズム角を持つ。プリズム要素１４２ｃは、瞳領域８２２ｃを通過した被写体光１３０ｃを受光素子１６２ｃに受光させるプリズム角を持つ。瞳領域８２２ｂを通過し受光素子１６２ａに入射する被写体光１３０ａ、瞳領域８２２ｂを通過し受光素子１６２ｂに入射する被写体光１３０ｂ、および、瞳領域８２２ｃを通過し受光素子１６２ｃに入射する被写体光１３０ｃは、レンズ１１０ａの互いに異なる光学面を通過する。このため、受光部１６０は、レンズ系１００のうちの焦点距離の異なる領域を通過した光で同一被写体をそれぞれ撮像することができる。
　ここで、レンズ系１００の第１の焦点距離を持つ領域を通過した被写体光１３０が瞳領域８２２ａを通過するとする。そして、レンズ系１００の第２の焦点距離を持つ領域を通過した被写体光１３０は瞳領域８２２ｂを通過し、レンズ系１００の第３の焦点距離を持つ領域を通過した被写体光１３０は瞳領域８２２ｃを通過するとする。
　画像信号生成部１７０は、受光素子１６２ａなど、瞳領域８２２ａを通過した光を受光する一部の受光素子１６２の撮像信号から、第１の焦点距離に対応する画像の画像信号を生成する。また、画像信号生成部１７０は、受光素子１６２ｂなど、瞳領域８２２ｂを通過した光を受光する一部の受光素子１６２の撮像信号から、第２の焦点距離に対応する画像の画像信号を生成する。また、画像信号生成部１７０は、受光素子１６２ｃなど、瞳領域８２２ｂを通過した光を受光する一部の受光素子１６２の撮像信号から、第３の焦点距離に対応する画像の画像信号を生成する。
　画像信号生成部１７０は、生成した異なる焦点距離の画像を組み合わせて１つの画像を生成する。画像記録部１９０は、画像信号生成部１７０が生成した画像を記録する。撮像装置８０によると、瞳領域８２２ａ～ｃのいずれかに対応するレンズ要素の被写界深度内に位置する被写体については、その鮮明な像を提供することができる。このため、撮像装置８０は実効的に深い被写界深度を持つことができる。
　本例の深度拡大撮像モードでは、三つの瞳領域のうちの特定の瞳領域を受光素子１６２に選択的に受光させるとした。射出瞳１２０の分割数は三に限らず、二以上であればいくつであってもよい。このように、制御部１８０は、異なる焦点距離で被写体を撮像する場合に、複数のマイクロレンズ１５２の形状を第２の屈折力を持つ形状に制御するとともに、偏向部１４０のプリズム界面をレンズ系１００の光軸に対して傾斜させた状態に制御する。そして、画像信号生成部１７０は、複数の第１受光素子の撮像信号および複数の第２受光素子の撮像信号から、第１の焦点距離の画像および第２の焦点距離の画像の画像信号を生成する。
　なお、撮像装置８０は、深度拡大撮像モードの他、図１から７にかけて述べた高解像力撮像モードに対応する撮像モードを有する。当該撮像モードにおけるプリズム要素１４２のプリズム角を、本図の破線で例示した。当該撮像モードでは、図１から７にかけて述べた高解像力撮像モードと同様に光学装置１１５を制御すればよいので、ここでは説明を省略する。
　図９は、撮像装置８０における偏向部１４０の構成の一例を模式的に示す。本例は、図１に関連して説明した二つの撮像モードを実現するための構成の一例である。図４等で説明したように、本例において、偏向部１４０が有する複数のプリズム要素１４２は、第１液体と第２液体との界面で形成される液体プリズム要素である。図４で説明した構成要素と同等の構成を有する構成物には図４と同じ符号を付し、相違点を除いて説明を省略する。
　図４に例示した偏向部１４０では、右視点画像および左視点画像を撮像できる第１状態と、中心視点画像を撮像できる第２状態とにプリズム界面を切り替えて撮像することができる。すなわち、図４に例示した偏向部１４０の構成によると、第１状態で２視点の画像を同時に撮像することができる。本例の偏向部１４０は、第１状態で３視点の画像を同時に撮像できる構成を持つ点が図４に例示した偏向部１４０とは異なる。特に、仕切板２４２の第２液体側の面形状が、図４に例示した仕切板２４２とは異なる。ここでは、図４に例示した仕切板２４２との差異を中心に説明する。
　仕切部９４０－１および仕切部９４０－２は、図４に例示した仕切板２４２の仕切部２４０－１および仕切部２４０－２に対応する。すなわち、仕切部９４０－１の側面部９４２ａは、第１の厚さを有し、仕切部９４０－２の側面部９４４ａは第２の厚さを有する。本図の貫通孔２５０ａは、図４に例示した貫通孔２５０ａと同じ形状の貫通孔とする。
　本例の仕切板２４２では、貫通孔２５０ｂは、第２の厚さを有する側面部９４２ｂと、第３の厚さを有する側面部９４４ｂとにより形成される。第３の厚さは、第１の厚さより大きく第２の厚さより小さいとする。側面部９４２ｂおよび側面部９４４ｂは、それぞれ仕切部９４０－２および仕切部９４０－３によって提供される。
　本例の仕切板２４２では、貫通孔２５０ｃは、第３の厚さを有する側面部９４２ｃと、第４の厚さを有する側面部９４４ｃとにより形成される。第４の厚さは、第１の厚さより小さいとする。側面部９４２ｃおよび側面部９４４ｃは、それぞれ仕切部９４０－３および仕切部９４０－４によって提供される。ここで、第２の厚さと第３の厚さとの差は、第３の厚さと第４の厚さとの差とは異なるとする。これにより、仕切部２４０ｂと仕切部２４０ｃとで形成されるプリズム角を異ならせることができる。
　貫通孔２５０ｄは、貫通孔２５０ａと同様の形状を持つ。貫通孔２５０ｄは、第１の厚さを有する側面部９４２ｄと、第２の厚さを有する側面部９４４ｄとにより形成される。側面部９４２ｄおよび側面部９４４ｄは、それぞれ仕切部９４０－４および仕切部９４０－５によって提供される。仕切部９４０－４は、一方の側に第２の厚さの側面部９４２ｃを持ち、他方の側に第１の厚さの側面部９４４ｄを持つ。
　第１状態では、プリズム要素９８１のような実線で図示される界面が形成される。貫通孔２５０ａ、貫通孔２５０ｂ、貫通孔２５０ｃに形成されるプリズム要素は、それぞれ互いに異なるプリズム角を持つ。具体的には、貫通孔２５０ａに形成されるプリズム要素１４２は、瞳領域８２２ａを通過した光を受光素子１６２ａに受光させるプリズム角を持つ。貫通孔２５０ｂに形成されるプリズム要素１４２は、瞳領域８２２ｂを通過した光を受光素子１６２ｂに受光させるプリズム角を持つ。また、貫通孔２５０ｃに形成されるプリズム要素１４２は、瞳領域８２２ａを通過した光を受光素子１６２ｃに受光させるプリズム角を持つ。したがって、対応する受光素子１６２ａ～ｃが受光する光を、射出瞳１２０の互いに異なる瞳領域を通過するものに制限することができる。
　第２状態では、プリズム要素９８２のような、光軸に垂直な破線で図示される界面が形成される。したがって、撮像装置８０は、当該界面で形成されるプリズム要素１４２によって高解像力撮像モードで撮像することができる。
　図１０は、受光部１６０と物体との結像関係を模式的に示す。Ｐ１、Ｐ２およびＰ３は、それぞれ近距離被写体、中距離被写体および遠距離被写体の位置とする。Ｐ３からの光は、レンズ１１０ａの長焦点距離を提供する第３光学面および瞳領域８２２ａを通過して、受光部１６０の位置である像面１０００に結像する。Ｐ２からの光は、レンズ１１０ａの中焦点距離を提供する第２光学面および瞳領域８２２ｂを通過して、像面１０００に結像する。Ｐ１からの光は、レンズ１１０ａの短焦点距離を提供する第１光学面および瞳領域８２２ｃを通過して、像面１０００に結像する。
　このため、撮像装置８０は、瞳領域８２２ａを通過する光束に対するレンズ系１００の被写界深度内、瞳領域８２２ｂを通過する光束に対するレンズ系１００の被写界深度内、および、瞳領域８２２ｃを通過する光束に対するレンズ系１００の被写界深度内の少なくともいずれかの中に位置する被写体につき、合焦した像を生成することができる。瞳領域８２２ｂを通過する光束に対するレンズ系１００の被写界深度の前端が、瞳領域８２２ｃを通過する光束に対するレンズ系１００の被写界深度の後端より撮像装置８０側に存在し、瞳領域８２２ａを通過する光束に対するレンズ系１００の被写界深度の前端が、瞳領域８２２ｂを通過する光束に対するレンズ系１００の被写界深度の後端より撮像装置８０側に存在する場合、撮像装置８０は、Ｐ１に対する被写界深度の前端からＰ３に対する被写界深度の後端までに存在する被写体につき、合焦した像を生成することができる。このため、レンズ系１００および光学装置１１５によれば、実効的な被写界深度を拡大することができる。
　図１１は、被写界深度が拡大された合成画像１１５０を生成する処理の一例を模式的に示す。短焦点画像１１１０、中焦点画像１１２０、長焦点画像１１３０は、画像信号生成部１７０が生成した異なる焦点距離の画像一例であり、それぞれ短焦点距離の第１光学面、中焦点距離の第２光学面および長焦点距離の第３光学面を通過した光による画像とする。
　短焦点画像１１１０には、撮像装置８０から近距離の位置Ｐ１に存在する近距離被写体の像である近距離被写体像１１１２、撮像装置８０から中距離の位置Ｐ２に存在する中距離被写体の像である中距離被写体像１１１４、および、撮像装置８０から遠距離の位置Ｐ３に存在する遠距離被写体の像である遠距離被写体像１１１６が含まれる。短焦点距離の第１光学面は、近距離の位置Ｐ１からの被写体光を受光部１６０に結像することができる。このため、近距離被写体像１１１２、中距離被写体像１１１４および遠距離被写体像１１１６のうち、近距離被写体像１１１２が最も鮮明な像となる。
　中焦点画像１１２０には、近距離被写体の像である近距離被写体像１１２２、中距離被写体の像である中距離被写体像１１２４、および、遠距離被写体の像である遠距離被写体像１１２６が含まれる。中焦点距離の第２光学面は、中距離の位置Ｐ２からの被写体光を受光部１６０に結像することができる。このため、近距離被写体像１１２２、中距離被写体像１１２４および遠距離被写体像１１２６のうち、中距離被写体像１１２４が最も鮮明な像となる。
　長焦点画像１１３０には、近距離被写体の像である近距離被写体像１１３２、中距離被写体の像である中距離被写体像１１３４、および、遠距離被写体の像である遠距離被写体像１１３６が含まれる。遠焦点距離の第３光学面は、遠距離の位置Ｐ３からの被写体光を受光部１６０に結像することができる。このため、近距離被写体像１１３２、中距離被写体像１１３４および遠距離被写体像１１３６のうち、遠距離被写体像１１３６が最も鮮明な像となる。なお、本図では、被写体像の鮮明さを線の細さで表した。
　画像信号生成部１７０は、近距離被写体像１１１２、中距離被写体像１１２４および遠距離被写体像１１３６を用いて合成画像１１５０を生成する。これにより、それぞれ鮮明な近距離被写体像１１５２、中距離被写体像１１５４および遠距離被写体像１１５６を含む合成画像１１５０を生成することができる。なお、短焦点画像１１１０、中焦点画像１１２０および長焦点画像１１３０のうち、最も長い焦点距離の第３光学面による長焦点画像１１３０が、最も倍率が高い画像となる。画像信号生成部１７０は、各光学面の焦点距離に応じて各被写体像を倍率補正して合成する。画像信号生成部１７０は、近距離被写体像１１１２および中距離被写体像１１２４を、長焦点画像１１３０の倍率に合わせて倍率補正して長焦点画像１１３０に合成してよい。
　なお、図６に関連して説明したように異なる瞳面を通過した光による像は、その合焦状態および被写体距離に応じてシフトした位置に形成される。説明を分かり易くするため、短焦点画像１１１０、中焦点画像１１２０および長焦点画像１１３０では、当該シフトを強調せずに各被写体像を示した。画像信号生成部１７０は、それぞれ最も合焦した近距離被写体像１１１２の位置、中距離被写体像１１２４の位置、遠距離被写体像１１３６の位置にそれぞれ対応する被写体像が位置する合成画像１１５０を生成してよい。これにより、画像信号生成部１７０は、視点ズレおよび合焦ズレの影響を低減した合成画像１１５０を生成することができる。
　図１２は、偏向部１４０の構成の他の一例を模式的に示す。図９に例示した偏向部１４０は、第１状態で射出瞳１２０の異なる３つの瞳領域を通過する光束でそれぞれ撮像することができ、第２状態では射出瞳１２０の１つの瞳領域を通過する光束で撮像することができる。本例の偏向部１４０は、液体界面の状態として三の状態を有し、それぞれの状態で異なる３つの瞳領域を通過する光束でそれぞれ撮像することができる構成を有する。特に、第１液体側および第２液体側における仕切板２４２の面形状および貫通孔２５０を形成する側壁部の構成が、図９に例示した仕切板２４２とは異なる。ここでは、その差異を中心に説明する。
　本例の貫通孔２５０ａは、仕切部６４０－１が有する第１の厚さの側面部６４２ａと、仕切部６４０－２が有する第４の厚さの側面部６４４ａとによって形成される。第４の厚さは、第２の厚さよりも厚い。また、本例の貫通孔２５０ａにおいて、両側面部の第２液体側の端点を結ぶ界面は、図９に例示した貫通孔２５０ａの第２液体側で形成される界面と同じプリズム角を持つ。したがって、当該界面で形成されるプリズム要素は、受光素子１６２ａが受光する光を瞳領域８２２ａを通過したものに制限する。そして、本図の破線で示されるように、本例の貫通孔２５０ａにおいて両側面部の第１液体側の端点を結ぶ界面は、光軸に垂直面から傾斜したプリズム角を持つ。当該プリズム角を持つプリズム要素１４２ａは、受光素子１６２ａが受光する光を、射出瞳１２０において光軸中心と瞳領域８２２ｃと間の瞳領域を通過したものに制限する。
　本例の貫通孔２５０ｂは、仕切部６４０－２が有する第４の厚さの側面部６４２ｂと、仕切部６４０－３が有する第４の厚さの側面部６４４ｂとによって形成される。仕切部６４０－２と仕切部６４０－３とは、光軸方向に同位置に位置する。このため、第２液体側の端点および第１液体側の端点の双方で、光軸に垂直な界面が形成される。したがって、貫通孔２５０ｂに形成される界面は、受光部１６０ｂが受光する光を、射出瞳１２０の光軸近傍領域を通過したものに制限する。
　本例の貫通孔２５０ｃは、仕切部６４０－３が有する第４の厚さの側面部６４２ｃと、仕切部６４０－４が有する第１の厚さの側面部６４４ｂとによって形成される。本例の貫通孔２５０ｃにおいて、両側面部の第２液体側の端点を結ぶ界面は、図９に例示した貫通孔２５０ｃの第２液体側で形成される界面と同じプリズム角を持つとする。したがって、当該界面で形成されるプリズム要素は、受光素子１６２ｃが受光する光を瞳領域８２２ｃを通過したものに制限する。そして、本図の破線で示されるように、本例の貫通孔２５０ｃにおいて両側面部の第１液体側の端点を結ぶ界面は、光軸に垂直面から傾斜したプリズム角を持つ。当該プリズム角を持つプリズム要素１４２ｃは、受光素子１６２ｃが受光する光を、射出瞳１２０において光軸中心と瞳領域８２２ａと間の瞳領域を通過したものに制限する。
　貫通孔２５０ｄは、仕切部６４０－３が有する第１の厚さの側面部６４２ｄと、仕切部６４０－５が有する第４の厚さの側面部６４４ｄとによって形成される。仕切部６４０－５は、仕切部６４０－２と同様の部材とする。このため、貫通孔２５０ｄに形成されるプリズム要素は、貫通孔２５０ａに形成されるプリズム要素と同様となる。
　また、本例の仕切板２４２によれば、プリズム要素６８０－２のように本図の一点鎖線で示したプリズム要素が形成される。一点鎖線で示したプリズム要素は、プリズム要素６８０－１のような実線で示したプリズム角よりも傾斜が小さく、プリズム要素６８０－３のような破線で示したプリズム角よりも傾斜が大きいプリズム角を持つ。本図の一点鎖線で示したプリズム要素を安定して保持する構成については、図１３に関連して説明する。
　本例の偏向部１４０によれば、本図の実線、一点鎖線および破線で示したように、液体界面は三の状態に制御することができる。このため、異なる組み合わせのプリズム角で撮像することができる。三の界面状態で得られる被写界深度の深さについては、図１４に関連して説明する。
　図１３は、仕切板２４２の変形例を示す。図１２に例示した仕切板２４２の、特に図１２のＢ部を取り上げて、仕切板２４２の変形例を説明する。
　側面部６４２ａには、貫通孔２５０ａの内側に向かう突起部７００および突起部７０１が形成される。側面部６４４ａには、貫通孔２５０ａの内側に向かう突起部７０２、突起部７０３および突起部７０４が形成される。いずれの突起部も、液体界面がトラップされる程度の厚みを有する。突起部７０３は、光軸方向において、突起部７００よりも液体領域２２０側に位置する。
　第１状態では、液体領域２２０側の端部の突起部７００の先端と、液体領域２２０側の端部の突起部７０２の先端との間に界面が形成されて、プリズム要素６８０－１となる。第２状態では、液体領域２１０側の端部の突起部７０１の先端と、液体領域２１０側の端部の突起部７０４の先端との間に界面が形成されて、プリズム要素６８０－３となる。第３状態では、液体領域２２０側の端部の突起部７００の先端と、側面部６４４ａの突起部７０３の先端との間に界面が形成されて、プリズム要素６８０－２となる。
　本例によると、側面部６４２ａおよび側面部６４４ａが突起部を有しているので、液体界面が当該突起部の先端にトラップされやすくなる。そのため、プリズム角の制御を安定して行うことができる。
　本例では、図１２のＢ部を取り上げて、貫通孔２５０ａに形成される突起部を説明した。仕切板２４２が有する全ての貫通孔２５０に意図した位置に界面をトラップさせるべく突起部を形成してよく、図１から図１１にかけて説明した仕切板２４２のいずれの例の貫通孔２５０にも、意図した位置に界面をトラップさせるべく突起部を形成してよいことはいうまでもない。
　図１４は、プリズム要素１４２の三の状態でそれぞれ結像され得る物体位置の一例を模式的に示す。貫通孔２５０ａ、貫通孔２５０ｂおよび貫通孔２５０ｃに形成された界面によって、受光素子１６２が受光できる光束に対する焦点距離が定まり、したがって受光部１６０に結像し得る物体位置が定まる。そこで、本図では、結像し得る物体位置を、貫通孔２５０の符号の添え字を用いて示す。
　撮像装置８０は、図１２および図１３に関連して述べたプリズム要素１４２の三の状態を、被写界深度の異なる撮像モードとして使用する。具体的には、大深度モード、中深度モードおよび狭深度モードとして使用する。図１２に関連して述べたように、貫通孔２５０ｂに形成される界面によれば、いずれの状態においても、光軸を中心とする瞳領域を通過した光束によって被写体像が形成される。したがって、貫通孔２５０ｂに形成される界面では、結像し得る物体位置はいずれのモードにおいても一定である。
　大深度モードは、図１２の実線で示した界面が形成された状態に対応する。貫通孔２５０ａおよび貫通孔２５０ｃに形成される界面は、比較的に傾斜が大きいプリズム角を持つ。したがって、貫通孔２５０ａに形成されたプリズム要素によれば、比較的に遠い物体位置ａからの被写体光が、受光部１６０に結像される。また、貫通孔２５０ｃに形成されたプリズム要素によれば、比較的に近い物体位置ｃからの被写体光が、受光部１６０に結像される。
　中深度モードは、図１２の一点鎖線で示した界面が形成された状態に対応する。貫通孔２５０ａおよび貫通孔２５０ｃに形成される界面は、大深度モードよりも傾斜が小さいプリズムを形成する。したがって、物体位置ａは、大深度モードでの物体位置ａよりも撮像装置８０に近い位置となる。また、物体位置ｃは、大深度モードでの物体位置ｃよりも遠い位置となる。
　狭深度モードは、図１２の点線で示した界面が形成された状態に対応する。貫通孔２５０ａおよび貫通孔２５０ｃに形成される界面は、傾斜の向きが反転しつつも中深度モードよりもさらに傾斜が小さいプリズムを形成する。したがって、物体位置ｃは、中深度モードでの物体位置ａよりも撮像装置８０に近い位置となる。また、物体位置ａは、大深度モードでの物体位置ｃよりも遠い位置となる。
　このため、比較的に広い距離範囲にわたって被写体が存在している場合、撮像装置８０は、大深度モードで撮像して、図１１に例示した合成処理をすることによって、鮮明な被写体像を得ることができる。一方、狭い距離範囲に被写体が集中して存在している場合、撮像装置８０は、狭深度モードで撮像し図１１に例示した合成処理をすることによって、鮮明な被写体像を得ることができる。また、ある程度の距離範囲にわたって被写体が存在している場合、撮像装置８０は、中深度モードで撮像し図１１に例示した合成処理をすることによって、鮮明な被写体像を得ることができる。このように、撮像装置８０は、解像する必要がある被写体までの距離に基づいて、いずれかの撮像モードを選択することができる。撮像装置８０は、撮像装置８０のユーザからの指示に基づいていずれかの撮像モードを選択してよく、被写体の測距情報に基づきいずれかの撮像モードを選択してもよい。
　また、撮像装置８０は、大深度モード、中深度モードおよび狭深度モードのうちの複数のモードを切り替えて複数回撮像してよい、撮像装置８０は、図１１に例示したように、モードを切り替えて撮像して得られた複数の画像の中から最も合焦した被写体像を選択して合成してよい。これにより、細やかな距離分解で合焦した被写体像を提供することができる。
　図１５は、レンズ系の他の一例を模式的に示す図である。本例は、図８から１４に関連して説明したレンズ系１００の他の一例である。レンズ系１００が有するレンズ１１０ａは、一例として累進屈折力レンズとした。本例のレンズ系１３００が有するレンズ１３１０ａは、光軸からの距離に応じて焦点距離が異なるが、光軸から等距離の光学面は等しい焦点距離を与えるとする。レンズ系１３００は、屈折力がいわば同心円状に分布しているといえる。本例のレンズ系１３００は、光軸中心で短焦点距離であり、光軸からはなれるほど長焦点距離を持つとする。
　本例のレンズ系１３００では、受光素子１６２が受光する被写体光は、レンズ系１３００の射出瞳１３２０のうち、光軸から異なる距離に位置する部分瞳領域１３２２ａ～ｃのいずれかの瞳領域を通過したものに制限される。具体的には、偏向部１４０が有するプリズム要素１４２ａ～ｃのプリズム角は、それぞれ部分瞳領域１３２２ａ～ｃからの光を対応する受光素子１６２にそれぞれ受光させる角度に制御される。プリズム要素１４２のプリズム角を制御するための偏向部１４０の構成および具体的な制御内容については、図８から図１４に関連して説明した構成および制御内容と同様であるので、説明を省略する。
　本例のレンズ系１３００によっても、図１から図１４に関連して説明したように実効的に被写界深度を拡大することができる。また、図１から図１５において、焦点距離が連続的に変化するレンズ系を取り上げて説明したが、焦点距離が不連続に変化するレンズ系を、撮像装置８０のレンズ系として採用することもできる。また、マイクロレンズ部１５０が有するマイクロレンズ１５２は、焦点距離の差が無視できる程度に瞳の広さを制限できればよい。したがって、制御部１８０は、焦点距離の差が無視できる程度に瞳の広さを制限するべく、マイクロレンズ１５２の屈折力を制御してよい。制御部１８０は、焦点距離毎に瞳の広さを異なる広さに制限すべく、マイクロレンズ１５２の屈折力を対応するプリズム要素１４２が有するプリズム角に応じて制御してよい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０、８０…撮像装置、１００、１３００…レンズ系、１１０、１３１０…レンズ、１１５…光学装置、１２０、１３２０…射出瞳、１２２…右側瞳領域、１２３…中央瞳領域、１２４…左側瞳領域、１３０…被写体光、１４０…偏向部、１４２…プリズム要素、１５０…マイクロレンズ部、１５２…マイクロレンズ、１６０…受光部、１６２…受光素子、１７０…画像信号生成部、１８０…制御部、１９０…画像記録部、２００、４００…ハウジング、２１０、２２０、２３０、３１０、３２０、３３０…液体領域、２４０、４４０、５４０、６４０、９４０…仕切部、２４２、４４２…仕切板、２５０…貫通孔、２５２、２５４、５５２、５５４、６４２、６４４、９４２、９４４…側面部、２６０…カラーフィルタ、２６２…遮光部、２８１、２８２、５８１、５８２、９８１、９８２、６８０…プリズム要素、２９０、２９１、２９２、４９０…駆動部、２９８…伸縮方向、２８０…弾性面、３５０…行方向、３６０…列方向、４１０…右視点画像、４１２、４２２、４３２、４５２…近距離被写体像、４１４、４２４、４３４、４５４…遠距離被写体像、４２０…左視点画像、４３０、４５０…中央視点画像、７００、７０１、７０２、７０３、７０４…突起部、８２２…瞳領域、１０００…像面、１１１０…短焦点画像、１１２０…中焦点画像、１１３０…長焦点画像、１１１２、１１２２、１１３２、１１５２…近距離被写体像、１１１４、１１２４、１１３４、１１５４…中距離被写体像、１１１６、１１２６、１１３６、１１５６…遠距離被写体像、１１５０…合成画像、１３２２…部分瞳領域

Claims (10)

  1. 　結像レンズを通じて被写体を撮像する撮像装置用の撮像デバイスであって、
    　受光素子を複数有する受光部と、
    　複数の前記受光素子にそれぞれ対応して設けられ、前記結像レンズを通過した被写体光を、対応する前記受光素子にそれぞれ受光させる複数のマイクロレンズを有するマイクロレンズ部と、
    　前記複数のマイクロレンズの形状を制御することにより、前記複数の受光素子がそれぞれ受光すべき、前記結像レンズの射出瞳における瞳領域を制御する制御部と、
    　前記複数の受光素子の撮像信号から、前記被写体の画像の画像信号を生成する画像信号生成部と
    を備える撮像デバイス。
  2. 　前記複数のマイクロレンズはそれぞれ、屈折率が互いに異なる第１液体と第２液体との界面で形成される液体マイクロレンズであり、
    　前記制御部は、前記界面の形状を制御することにより、前記複数のマイクロレンズの形状を制御する請求項１に記載の撮像デバイス。
  3. 　前記制御部は、前記マイクロレンズの形状を、第１の屈折力を持つ形状から前記第１の屈折力より大きい第２の屈折力を持つ形状に制御することにより、前記複数の受光素子が受光すべき前記瞳領域の大きさを制限する
    請求項１または２に記載の撮像デバイス。
  4. 　前記複数の受光素子のうちの複数の第１受光素子にそれぞれ対応して設けられ、前記複数のマイクロレンズが前記第２の屈折力を持つ形状に制御されている場合に、前記射出瞳における第１瞳領域を通過した被写体光を、対応する前記マイクロレンズを介して対応する第１受光素子にそれぞれ受光させる複数の第１偏向光学要素を有する偏向部
    をさらに備える請求項３に記載の撮像デバイス。
  5. 　前記偏向部は、
    　前記複数の受光素子のうちの複数の第２受光素子にそれぞれ対応して設けられ、前記複数のマイクロレンズが前記第２の屈折力を持つ形状に制御されている場合に、前記射出瞳における第２瞳領域を通過した被写体光を、対応するマイクロレンズを介して対応する第２受光素子にそれぞれ受光させる複数の第２偏向光学要素
    をさらに有する請求項４に記載の撮像デバイス。
  6. 　前記複数の第１偏向光学要素および前記複数の第２偏向光学要素はそれぞれ、屈折率が互いに異なる第３液体と第４液体との界面でプリズム界面が形成される液体プリズム要素であり、
    　前記制御部は、前記複数のマイクロレンズの形状を前記第１の屈折力を持つ形状に制御するとともに前記プリズム界面を前記結像レンズの光軸に対して垂直に制御して撮像する第１撮像モードと、前記複数のマイクロレンズの形状を前記第２の屈折力を持つ形状に制御するとともに前記プリズム界面を前記結像レンズの光軸に対して傾斜させた状態で撮像する第２撮像モードとに切り替える
    請求項５に記載の撮像デバイス。
  7. 　前記制御部は、異なる視点の画像を撮像する場合に、撮像モードを前記第２撮像モードに制御し、
    　前記画像信号生成部は、前記複数の第１受光素子の撮像信号および前記複数の第２受光素子の撮像信号から、前記異なる視点の画像の画像信号を生成する
    請求項６に記載の撮像デバイス。
  8. 　前記結像レンズは、領域毎に異なる焦点距離を持つレンズであり、前記結像レンズの第１の焦点距離を持つ領域を通過した被写体光は前記第１瞳領域を通過し、前記結像レンズの第２の焦点距離を持つ領域を通過した被写体光は前記第２瞳領域を通過し、
    　前記制御部は、異なる焦点距離で被写体を撮像する場合に、撮像モードを前記第２撮像モードに制御し、
    　前記画像信号生成部は、前記複数の第１受光素子の撮像信号および前記複数の第２受光素子の撮像信号から、第１の焦点距離の画像および第２の焦点距離の画像の画像信号を生成する
    請求項６に記載の撮像デバイス。
  9. 　前記マイクロレンズ部は、
    　前記第１液体および前記第２液体を内部に保持するレンズハウジングと、
    　前記レンズハウジングの内部を、前記第１液体が充填される第１液体領域と前記第２液体が充填される第２液体領域とに分割する仕切板と
    を有し、
    　前記仕切板には、前記複数の受光素子に対応して複数の貫通孔が形成され、
    　前記複数のマイクロレンズは、前記複数の貫通孔のそれぞれにおける前記第１液体と前記第２液体との界面によって形成され、
    　前記制御部は、前記第１液体領域の内圧を制御することにより、前記マイクロレンズの形状を制御する
    請求項２に記載の撮像デバイス。
  10. 　前記偏向部は、
    　前記第３液体および前記第４液体を保持するプリズムハウジングと、
    　前記プリズムハウジングの内部を、前記光軸に沿って前記第３液体が充填される第３液体領域と前記第４液体が充填される第４液体領域とに分割する仕切板と
    を有し、
    　前記仕切板には、複数の前記液体プリズム要素が形成される位置に対応して複数の貫通孔が形成され、
    　前記制御部は、前記複数の貫通孔の第１側面部での前記プリズム界面の位置と前記第１側面部に対向する第２側面部での前記プリズム界面の位置とを前記第３液体領域の内圧で制御することにより、前記光軸に対する前記プリズム界面の傾きを制御する
    請求項６から８のいずれかに記載の撮像デバイス。
PCT/JP2011/070797 2010-10-01 2011-09-13 撮像デバイス WO2012043212A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012536329A JP5480393B2 (ja) 2010-10-01 2011-09-13 撮像デバイス
CN201180047714.2A CN103141082B (zh) 2010-10-01 2011-09-13 成像装置
EP11828772.1A EP2624541B1 (en) 2010-10-01 2011-09-13 Imaging device
US13/851,650 US8605198B2 (en) 2010-10-01 2013-03-27 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010224252 2010-10-01
JP2010-224252 2010-10-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/851,650 Continuation US8605198B2 (en) 2010-10-01 2013-03-27 Imaging device

Publications (1)

Publication Number Publication Date
WO2012043212A1 true WO2012043212A1 (ja) 2012-04-05

Family

ID=45892683

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/070797 WO2012043212A1 (ja) 2010-10-01 2011-09-13 撮像デバイス

Country Status (5)

Country Link
US (1) US8605198B2 (ja)
EP (1) EP2624541B1 (ja)
JP (1) JP5480393B2 (ja)
CN (1) CN103141082B (ja)
WO (1) WO2012043212A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138386A (ja) * 2010-12-24 2012-07-19 Nikon Corp 撮像素子モジュール、撮像装置およびマイクロレンズモジュール
JP2016118697A (ja) * 2014-12-22 2016-06-30 オリンパス株式会社 撮影装置
US10122950B2 (en) 2014-11-20 2018-11-06 Fujifilm Corporation Imaging device, imaging method, and image processing program
US10142569B2 (en) 2014-11-20 2018-11-27 Fujifilm Corporation Imaging device, imaging method, and image processing program
JP2023081266A (ja) * 2021-11-30 2023-06-09 采▲ぎょく▼科技股▲ふん▼有限公司 イメージセンサおよび画像検出方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2750374B1 (en) * 2011-08-24 2018-03-28 FUJIFILM Corporation Imaging device
JP6351105B2 (ja) * 2014-09-29 2018-07-04 オリンパス株式会社 画像処理装置、撮像装置および画像処理方法
EP3054313B1 (en) * 2015-02-06 2018-01-31 Conti Temic microelectronic GmbH Transmitter lens for a lidar based sensor
KR102477092B1 (ko) * 2015-10-15 2022-12-13 삼성전자주식회사 이미지 획득 장치 및 방법
US11119353B2 (en) 2017-06-01 2021-09-14 E-Vision Smart Optics, Inc. Switchable micro-lens array for augmented reality and mixed reality
JP2019033971A (ja) * 2017-08-18 2019-03-07 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000356751A (ja) * 1999-06-16 2000-12-26 Canon Inc 光スイッチ
JP2003270526A (ja) 2002-03-19 2003-09-25 Olympus Optical Co Ltd 撮像光学系
JP2005164983A (ja) 2003-12-03 2005-06-23 Nikon Corp デジタルカメラ
JP3753201B2 (ja) 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
JP2006203011A (ja) * 2005-01-21 2006-08-03 Pentax Corp 固体撮像素子
JP2007086143A (ja) * 2005-09-20 2007-04-05 Sony Corp 可変焦点レンズおよび可変焦点ミラー
JP2007193020A (ja) 2006-01-18 2007-08-02 Toyota Motor Corp 流体プリズム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449081B1 (en) 1999-06-16 2002-09-10 Canon Kabushiki Kaisha Optical element and optical device having it
WO2004102246A1 (ja) * 2003-05-15 2004-11-25 Konica Minolta Opto, Inc. 光学系及び撮像装置
US20040240052A1 (en) * 2003-06-02 2004-12-02 Pentax Corporation Multiple-focal imaging device, and a mobile device having the multiple-focal-length imaging device
US7359124B1 (en) * 2004-04-30 2008-04-15 Louisiana Tech University Research Foundation As A Division Of The Louisiana Tech University Foundation Wide-angle variable focal length lens system
JP4897680B2 (ja) * 2004-07-20 2012-03-14 エージェンシー フォー サイエンス， テクノロジー アンド リサーチ 可変焦点マイクロレンズ
US7382544B2 (en) * 2006-02-10 2008-06-03 Honeywell International Inc. Devices and related methods for light distribution
JP5040493B2 (ja) * 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3753201B2 (ja) 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
JP2000356751A (ja) * 1999-06-16 2000-12-26 Canon Inc 光スイッチ
JP2003270526A (ja) 2002-03-19 2003-09-25 Olympus Optical Co Ltd 撮像光学系
JP2005164983A (ja) 2003-12-03 2005-06-23 Nikon Corp デジタルカメラ
JP2006203011A (ja) * 2005-01-21 2006-08-03 Pentax Corp 固体撮像素子
JP2007086143A (ja) * 2005-09-20 2007-04-05 Sony Corp 可変焦点レンズおよび可変焦点ミラー
JP2007193020A (ja) 2006-01-18 2007-08-02 Toyota Motor Corp 流体プリズム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2624541A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138386A (ja) * 2010-12-24 2012-07-19 Nikon Corp 撮像素子モジュール、撮像装置およびマイクロレンズモジュール
US10122950B2 (en) 2014-11-20 2018-11-06 Fujifilm Corporation Imaging device, imaging method, and image processing program
US10142569B2 (en) 2014-11-20 2018-11-27 Fujifilm Corporation Imaging device, imaging method, and image processing program
JP2016118697A (ja) * 2014-12-22 2016-06-30 オリンパス株式会社 撮影装置
JP2023081266A (ja) * 2021-11-30 2023-06-09 采▲ぎょく▼科技股▲ふん▼有限公司 イメージセンサおよび画像検出方法
JP7458439B2 (ja) 2021-11-30 2024-03-29 采▲ぎょく▼科技股▲ふん▼有限公司 イメージセンサおよび画像検出方法

Also Published As

Publication number Publication date
EP2624541A4 (en) 2014-08-20
US20130208175A1 (en) 2013-08-15
EP2624541A1 (en) 2013-08-07
CN103141082A (zh) 2013-06-05
JP5480393B2 (ja) 2014-04-23
CN103141082B (zh) 2017-03-08
US8605198B2 (en) 2013-12-10
JPWO2012043212A1 (ja) 2014-02-06
EP2624541B1 (en) 2016-11-30

Similar Documents

Publication Publication Date Title
JP5480393B2 (ja) 撮像デバイス
JP5466766B2 (ja) 撮像装置
US9113066B2 (en) Imaging device and method with transporting microlens array
JP5634946B2 (ja) 撮像装置
US8823838B2 (en) Image pickup system with auto focus mode
JP5910739B2 (ja) 撮像装置
US20050243439A1 (en) Thin imaging apparatus, a thin camera, and an imaging method
US20110273599A1 (en) Image-capturing device and imaging apparatus
JP2008116616A (ja) 焦点検出装置および撮像装置
JP5756721B2 (ja) 撮像装置
US9706190B2 (en) Image processing apparatus and image processing program
US10852457B2 (en) Imaging device
JP2013175812A (ja) 撮像素子および撮像装置
JP5650055B2 (ja) 撮像装置
CN114303360B (zh) Tof相机
JP2009500680A (ja) ３次元画像認識器
KR20140140495A (ko) 능동형 배열 렌즈를 이용한 공간정보 획득장치 및 방법
WO2024051214A1 (zh) 一种三维图像采集装置、相关设备以及方法
JP2009025454A (ja) 光学機器
JP2012208209A (ja) 立体映像撮像装置
JP2013090265A (ja) 画像処理装置および画像処理プログラム
JP2013162362A (ja) 撮像装置および撮像プログラム
JP2013020051A (ja) 視差画像取得装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180047714.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11828772

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012536329

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2011828772

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011828772

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE