WO2014073172A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2014073172A1
WO2014073172A1 PCT/JP2013/006242 JP2013006242W WO2014073172A1 WO 2014073172 A1 WO2014073172 A1 WO 2014073172A1 JP 2013006242 W JP2013006242 W JP 2013006242W WO 2014073172 A1 WO2014073172 A1 WO 2014073172A1
Authority
WO
WIPO (PCT)
Prior art keywords
light receiving
image
light
microlens
imaging
Prior art date
Application number
PCT/JP2013/006242
Other languages
English (en)
French (fr)
Inventor
村山　和章
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2014073172A1 publication Critical patent/WO2014073172A1/ja
Priority to US14/534,742 priority Critical patent/US9190436B2/en
Priority to US14/918,973 priority patent/US9305957B2/en
Priority to US15/058,856 priority patent/US9419037B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes

Definitions

  • the present invention relates to an imaging device that divides a pupil of an optical system and acquires image information including parallax information.
  • a pupil of light imaged on the microlens by the imaging lens An imaging device that obtains parallax information by dividing and receiving light by a different light receiving unit for each divided pupil is known. For example, according to Cited Documents 1 and 2, by arranging light receiving elements symmetrically on the left and right along the center line extending in the vertical direction of each cylindrical lens, below the two-dimensionally arranged micro cylindrical lenses. The light receiving unit detects the signal of the right-view pixel (right pixel) and the signal of the left-view pixel (left pixel).
  • an object of the present invention made by paying attention to these points is an imaging device capable of capturing a parallax image for generating a three-dimensional image and obtaining a more natural image when creating a two-dimensional image. Is to provide.
  • An invention of an imaging device that achieves the above object is as follows.
  • a microlens array having a plurality of microlenses regularly arranged two-dimensionally;
  • An imaging lens for imaging light from a subject on the microlens array;
  • a plurality of light receiving units arranged for each of the micro lenses, wherein at least two of the plurality of light receiving units corresponding to the micro lenses receive light from the subject imaged on the micro lens.
  • the light receiving unit that photoelectrically converts light from the subject that has passed through a partial area of the pupil of the imaging lens that is photoelectrically converted and has passed through the corresponding microlens,
  • the pupil of the imaging lens and the light receiving surface of the light receiving unit are arranged so as to deviate from a conjugate relationship.
  • the focal length of the microlens is f L
  • the pitch of the microlens is p
  • the width of the dead zone located between the light receiving elements corresponding to the same microlens is S
  • the imaging of the light receiving surface of the light receiving element when the amount of deviation from the conjugate position of the pupil of the lens and Z d, Is preferably satisfied.
  • two light receiving portions are arranged in the horizontal direction of the image of the subject corresponding to each microlens.
  • the micro lens may be a cylindrical lens.
  • the plurality of light receiving units corresponding to each of the microlenses are arranged in two in the horizontal direction of the subject image, and two in the vertical direction of the subject image. Each of which is arranged one by one.
  • the light receiving units are arranged in two rows in the horizontal direction and the vertical direction of the image of the subject corresponding to each microlens.
  • a parallax image in the horizontal direction and the vertical direction is generated based on pixel signals obtained from the plurality of light receiving elements arranged in the horizontal direction and the vertical direction, respectively, and a stereoscopic image is generated from the parallax image. Also good.
  • the pupil of the imaging lens and the light receiving surface of the light receiving unit are arranged so as to deviate from the conjugate relationship, a parallax image can be captured to generate a three-dimensional image, and a two-dimensional image is generated. In some cases, a more natural image can be obtained.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the imaging apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating a configuration of a main part of the image sensor.
  • FIG. 3 is a horizontal sectional view of the image sensor.
  • FIG. 4 is a diagram illustrating the arrangement of the imaging lens, the microlens, and the light receiving unit.
  • FIG. 5 is a diagram illustrating the arrangement of the imaging lens, the microlens, and the light receiving unit.
  • FIG. 6A is a diagram illustrating the relationship between the incident angle to the light receiving unit and the signal light intensity in the case of the first embodiment.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the imaging apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating a configuration of a main part of the image sensor.
  • FIG. 3 is a horizontal sectional view of the image sensor.
  • FIG. 4 is a diagram illustrating the arrangement of the imaging lens, the microlens, and the
  • FIG. 6B is a diagram illustrating the relationship between the incident angle to the light receiving unit and the signal light intensity when the pupil plane of the imaging lens and the light receiving surface of the light receiving unit are in a conjugate relationship.
  • FIG. 7 is a diagram for explaining each parameter of the image sensor.
  • FIG. 8 is a diagram illustrating the light intensity at the optical axis when crosstalk occurs.
  • FIG. 9 is a plan view for explaining the configuration of the image sensor according to the second embodiment.
  • FIG. 10 is a perspective view illustrating the configuration of the image sensor according to the second embodiment.
  • FIG. 11 is a diagram illustrating a configuration of an image sensor according to the third embodiment.
  • FIG. 12 is a diagram illustrating the configuration of the image sensor according to the fourth embodiment.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus according to the present embodiment.
  • the imaging device 1 captures a parallax image for displaying a stereoscopic captured image based on the subject light 100 from the subject.
  • the imaging device 1 includes an imaging lens 11, an imaging element 10, an image processing unit 12, a control unit 14, a storage unit 16, and a display unit 18.
  • the image sensor 10, the image processing unit 12, the control unit 14, the storage unit 16, and the display unit 18 are connected to a bus 19 and configured to be able to transmit and receive various signals to and from each other.
  • the imaging element 10 When the subject light 100 is incident through the imaging lens 11, the imaging element 10 captures a left-side-viewed captured image and a right-side-viewed captured image having parallax based on the subject light 100, and configures each captured image. A pixel signal is output.
  • Each captured image is composed of pixels arranged two-dimensionally. The number of pixels constituting one frame of the captured image is, for example, 640 ⁇ 480 pixels to 4000 ⁇ 3000 pixels, but is not limited to this range.
  • the image sensor 10 is a CMOS (Complementary Metal Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) having light receiving elements arranged corresponding to each pixel, and generates and outputs pixel signals by the light receiving elements.
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the pixel signal is generated and output for each frame, for example.
  • the pixel signal is a signal that indicates a gradation value of, for example, R (Red), G (Green), and B (Blue) for each pixel.
  • the pixel signal is a digital signal obtained by A / D converting the output signal from the light receiving element, for example.
  • the image processing unit 12 performs predetermined image processing such as color and luminance correction, distortion correction, and compression / decompression of data on captured image data including pixel signals for one frame. For example, the image processing unit 12 performs image processing on captured image data for each frame.
  • the image processing unit 12 is a processor such as a DSP (Digital Signal Processor) or an ASIC (Application Specific Specific Integrated Circuit).
  • the storage unit 16 is a frame memory that stores captured image data before and / or after image processing.
  • the storage unit 16 is, for example, an SRAM (Static Random Access Memory) or a DRAM (Dynamic RAM).
  • the storage unit 16 may include a data reading / writing device for various storage media including a hard disk and a portable flash memory.
  • the display unit 18 displays a stereoscopic image based on the captured image data of the left visual field and the right visual field.
  • the display unit 18 includes, for example, an LCD (Liquid Crystal Display) including a polarizing filter corresponding to the parallax between the left and right eyes and a control circuit thereof.
  • the display unit 18 displays left and right captured image data having parallax, and displays a stereoscopic captured image that allows the user to perceive a stereoscopic effect.
  • the control unit 14 sends control signals to the image sensor 10, the image processing unit 12, the storage unit 16, and the display unit 18, and controls the operation of the imaging device 1 in an integrated manner.
  • the control unit 14 is a microcomputer, for example.
  • FIG. 2 is a diagram for explaining a configuration of a main part of the image sensor 10.
  • the image sensor 10 has a microlens array 2 composed of spherical microlenses 20 arranged two-dimensionally.
  • the microlens 20 is disposed corresponding to one pixel of each image in the right field and the left field when capturing a parallax image.
  • the X-axis direction corresponds to the left-right direction of the captured image
  • the Y-axis direction corresponds to the vertical direction of the captured image
  • the Z-axis direction corresponds to the optical axis direction.
  • the image sensor 10 has two light receiving unit pairs 22 arranged for each microlens 20.
  • the light receiving portions 22L and 22R of the light receiving portion pair 22 are, for example, photodiodes included in a CMOS or a CCD.
  • Each of the light receiving units 22L and 22R generates and outputs a signal of a pixel (left pixel) that forms a captured image of the left visual field, and a signal of a pixel (right pixel) that configures the captured image of the right visual field.
  • the right light receiving element 22R for generating and outputting.
  • the light receiving portions 22L and 22R are disposed adjacent to each other in the X-axis direction, that is, in the left-right direction.
  • Each of the light receiving units 22L and 22R corresponds to each pixel of a captured image pair for displaying a stereoscopic captured image.
  • FIG. 3 is a cross-sectional view of the image sensor taken along the XZ plane (horizontal cross section).
  • each microlens 20 is formed as an on-chip lens disposed in front of a pair of left and right light receiving portions 22L and 22R.
  • the light receiving units 22L and 22R are driven and A wiring layer 23 for controlling or transmitting a signal is provided.
  • the wiring layer 23 is made of a metal such as copper or aluminum, for example, and reflects or scatters light but does not transmit but functions as a light shielding layer.
  • FIG. 4 is a diagram for explaining the arrangement of the imaging lens, the microlens of the imaging device, and the light receiving unit.
  • the imaging lens 11 is configured by one lens or a combination of a plurality of lenses, and has a diaphragm 32.
  • the optical axis 30 of the imaging lens 11 is arranged in parallel with the optical axis of each microlens 20.
  • the light receiving elements 22L and 22R are disposed in the vicinity of the rear focal point where the light receiving surface 34 is shifted from the rear focal point of the microlens 20 by a predetermined distance.
  • Many of recent imaging lenses for digital cameras are designed so that the position of the exit pupil is near infinity. Therefore, the image of the exit pupil of the imaging lens is formed on the pupil conjugate surface 36 near the light receiving surface 34 of the light receiving portions 22L and 22R through the microlens 20.
  • FIG. 4 the light receiving surfaces 34 of the light receiving portions 22L and 22R are located on the object side relative to the image-side pupil conjugate surface 36 located conjugate with the pupil of the imaging lens 11.
  • FIG. 5 is a diagram for explaining another arrangement of the imaging lens, the microlens of the imaging element, and the light receiving unit.
  • the light receiving surfaces 34 of the light receiving portions 22L and 22R are located on the image side with respect to the image-side pupil conjugate surface 36 located at a conjugate position with the pupil of the imaging lens 11.
  • the subject light 100 is condensed by the diaphragm 32, collected on the microlens array 20, and arranged between the microlens 20 and the light receiving units 22 ⁇ / b> L and 22 ⁇ / b> R. Detected by the light receiving portions 22L and 22R via the R, G and B color filters (not shown). R, G, or B light is incident on the light receiving portions 22L and 22R, and a subject image is formed.
  • the light (left light flux) that has mainly passed through the left region of the pupil is incident on the left light receiving unit 22L, and generates a left pixel signal that forms a captured image of the left visual field.
  • light (right light beam) that has mainly passed through the right region of the pupil is incident on the light receiving unit 22R, and generates a right pixel signal that forms a captured image of the right field of view.
  • the pupil of the imaging lens 11 and the light receiving surfaces 34 of the light receiving portions 22L and 22R are out of the conjugate relationship, the object light 100 incident on the left light receiving portion 22L and the right eye light receiving portion 22R is not included. Crosstalk occurs between them.
  • FIG. 6A and 6B are diagrams showing the relationship between the incident angle of the subject light to the image sensor and the signal light intensity of the left pixel signal and the right pixel signal.
  • FIG. 6A is a diagram of FIG. 6B in the case of this embodiment. Shows a case where the pupil plane of the imaging lens and the light receiving surface of the light receiving element are in a conjugate relationship.
  • the light receiving elements 22L and 22R have a certain degree of strength. Light is detected.
  • the pupil plane of the imaging lens 11 and the light receiving surfaces 34 of the light receiving portions 22L and 22R are in a conjugate relationship, the left light receiving portion 22L and the right light receiving portion 22R are separated as shown in FIG. 6B. Although it is made, there is an angle range in which the left light receiving unit 22L and the right light receiving unit 22R almost do not detect light when the angle is around 0 degrees.
  • the pupil of the imaging lens 11 and the light receiving surfaces 34 of the light receiving portions 22L and 22R deviate from the conjugate relationship as shown in FIG. 6A, signals with different fields of view are obtained for the left pixel and the right pixel, and acquisition of three-dimensional image information.
  • a two-dimensional image is generated by adding the left pixel signal and the right pixel signal corresponding to each microlens 20, a natural image in which no double line appears can be generated.
  • the focal length f L of the microlens 20 is It is represented by
  • a part of the right beam in addition to most of the left beam enters the left light receiving unit 22L, and a part of the left beam in addition to most of the right beam enters the right light receiving unit 22R.
  • the amount of light beams on the opposite side incident on the light receiving portions 22L and 22R is preferably 2% to 10% of the light amount of each light beam. That is, assuming that the pitch of the microlenses 20 is p, the blur width sb on the light receiving surface 34 of the light receiving portions 22L and 22R is: 0.02p ⁇ sb ⁇ 0.1p (2) It is desirable that
  • the blur width sb on the light receiving surface 34 is: 0.02p + S ⁇ sb ⁇ 0.1p + S (3) Is desirable.
  • Equation (3) The conditions for satisfying Equation (3) are examined below.
  • the width of one blur of the light receiving portions 22L and 22R is set to h.
  • sb 2h (4) It becomes.
  • equation (3) 0.02p + S ⁇ 2h ⁇ 0.1p + S (5) It becomes.
  • FIG. 8 is a diagram for explaining the light intensity at the optical axis when crosstalk occurs.
  • the broken lines in FIG. 8 indicate the intensity of light received by the right light receiving unit 22R and the left light receiving unit 22L with respect to the incident angle of the subject light 100 when the shift amount is substantially 0 (that is, the right pixel signal and the left pixel signal). ing.
  • the light intensity is shown as a ratio relative to the maximum value of the light intensity of the light beam as 100%. When the amount of deviation is 0, both the right beam and the left beam have values close to 0 near the incident angle of 0 degree.
  • the solid line in FIG. 8 shows a case where the light receiving surface 34 is shifted from the focus of the microlens 20.
  • the crosstalk portion in which the left light beam is received by the right light receiving element 22L is indicated by shading.
  • the light intensity at an incident angle of 0 degree is about 20 to 30%. Therefore, when the signals of the right light receiving unit 22R and the left light receiving unit 22L are added to generate a two-dimensional image, the signal due to light incident from an incident angle of 0 degrees is also 40 to 60 compared with signals from other incident angles. % Intensity signal is obtained.
  • the amount of light incident on the left and right light receiving portions 22L and 22R by the light beams on the left and right sides is 2% or more.
  • the depth accuracy is determined by the amount of parallax, the pixel pitch, and the like.
  • the amount of parallax when acquiring three-dimensional image information (depth information) by the pupil division method is defined by pupil diameter / 2. If the amount of crosstalk is 10%, the pupil diameter is reduced by 20%, and the depth resolution is reduced by 20%.
  • the pupil diameter is 10 mm.
  • the calculated parallax amount is 5 mm.
  • the pitch of the image sensor 10 is 5 ⁇ m
  • the depth resolution is 620 mm at a position where the distance from the optical system to the object (object distance) is 5 m.
  • the crosstalk to the light receiving unit 22L or 22R on one side is 10% under the same conditions
  • the pupil diameter is reduced by 20%, so that the parallax amount is 4 mm and the depth resolution is 745 mm. Since it is not preferable that the resolution is reduced by 20% or more, it is preferable that the amount of light incident on the left and right light receiving elements 22L and 22R is 10% or less.
  • the parallax for generating a three-dimensional image In addition to obtaining an image, when creating a two-dimensional image, detection signals from the left-eye and right-eye light receiving elements 22L and 22R are added to obtain a more natural image.
  • FIG. 9 is a plan view illustrating the configuration of the image sensor according to the second embodiment
  • FIG. 10 is a perspective view illustrating the configuration of the image sensor according to the second embodiment.
  • the left and right light receiving portions 22L and 22R are alternately arranged.
  • a wiring layer 23 is provided between the light receiving portions 22L and 22R.
  • a cylindrical lens 41 having an axis in the Y-axis direction is arranged above the light-receiving unit (in the Z-axis direction), and the left and right light-receiving units 22L and 22R have the same cylindrical lens. 41 is disposed below.
  • a plurality of light receiving unit pairs 22 each including a set of left and right light receiving units 22L and 22R are arranged.
  • the cylindrical lens 41 has a condensing function only in the X-axis direction, and the light receiving surfaces 34 of the light receiving elements 22L and 22R and the pupil of the imaging lens 11 are arranged out of a conjugate relationship. Since other configurations are the same as those of the first embodiment, the same or corresponding components are denoted by the same reference numerals and description thereof is omitted.
  • the left luminous flux passing through the left side of the pupil of the imaging lens 11 and the right luminous flux passing through the right side of the subject light 100 are transmitted through the cylindrical lens 41, respectively. It can be detected by being incident on different left light receiving part 22L and right light receiving part 22R. Further, since the light receiving surfaces 34 of the light receiving portions 22L and 22R are arranged so as to be shifted from a position conjugate with the pupil of the imaging lens 11, the left light beam and the right light beam are partially partially in the right light receiving element 22R and the left light receiving portion, respectively. Incident on 22L.
  • the pixel signals of the left pixel and the right pixel including the parallax information for generating the three-dimensional image are obtained, and by adding the pixel signals of the left pixel and the right pixel, a natural line with no double line appears.
  • a two-dimensional image can be generated.
  • FIG. 11 is a diagram illustrating a configuration of an image sensor according to the third embodiment.
  • two light receiving elements are arranged for one microlens 20.
  • the left light receiving unit 51L and the right light receiving unit 51R are arranged in the horizontal direction in which the subject image is formed, and the upper light receiving unit 51U and the lower light receiving unit 51D are arranged in the vertical direction.
  • the light receiving surfaces 34 of these light receiving elements 51L, 51R, 51U, 51D are arranged at positions deviating from the conjugate relationship with the pupil of the imaging lens 11. Since other configurations are the same as those of the first embodiment, the same or corresponding components are denoted by the same reference numerals and description thereof is omitted.
  • the present embodiment it is possible to pick up a parallax image for generating a three-dimensional image using the light receiving units 51L and 51R arranged in the horizontal direction, as in the first embodiment, and 2
  • pixel signals from the left and right light receiving portions 51L and 51R are added to obtain a more natural image.
  • depth information can be obtained from the parallax information in the vertical direction based on signals from the light receiving units 51U and 51D arranged in the vertical direction.
  • the signals of the light receiving units 51U and 51D arranged in the vertical direction can be added together with the signal obtained by adding the light receiving units 51L and 51R arranged in the horizontal direction to create a two-dimensional image.
  • FIG. 12 is a diagram illustrating the configuration of the image sensor 10 according to the third embodiment.
  • a total of four light receiving portions 61DL, 61DR, 61UL, and 61UR are arranged in two rows in the horizontal direction and the vertical direction with respect to one microlens 20.
  • each of the light receiving units 61DL, 61DR, 61UL, 61UR is divided into a lower left side, a lower right side, an upper left side, and an upper right side in the order when the pupil of the imaging lens 11 is divided into four by a horizontal straight line and a vertical straight line. It corresponds to the pupil.
  • the light receiving surfaces 34 of these light receiving portions 61DL, 61DR, 61UL, 61UR are arranged at positions deviating from the conjugate relationship with the pupil of the imaging lens 11. Since other configurations are the same as those of the first embodiment, the same or corresponding components are denoted by the same reference numerals and description thereof is omitted.
  • a stereoscopic image is generated based on pixel signals output from the left and right pixel pairs of the image sensor 10, that is, the light receiving units 61DL and 61DR and / or 61UL and 61UR. It is possible to generate a pixel signal of a two-dimensional image by adding the signals of the light receiving units 61DL, 61DR, 61UL, and 61UR corresponding to one microlens 20, and a two-dimensional image can be generated. As a result, the same effect as in the first embodiment can be obtained.
  • vertical parallax information can also be obtained based on pixel signals output from the upper and lower pixel pairs of the image sensor 10, that is, the light receiving portions 61DL and 61UL and / or 61UR and 61UR. Accordingly, it is possible to obtain vertical and horizontal parallax information while using the same image sensor.
  • the present invention is not limited to the above embodiment, and many variations or modifications are possible.
  • the number of light receiving units for one microlens is not limited to two or four.
  • the direction of the arrangement of the light receiving elements is not limited to the left and right and the top and bottom. For example, you may have the light receiving element pair arranged in the diagonal direction.
  • the display unit does not necessarily have to be integrated with the imaging device, and may be provided as separate hardware for displaying a three-dimensional image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　撮像装置は、二次元状に規則的に配列した複数のマイクロレンズ２０を有するマイクロレンズアレイ２と、被写体からの光をマイクロレンズアレイ２に結像させる撮像レンズと、マイクロレンズ２０ごとにそれぞれ複数ずつ配置された受光素子２２Ｌ、２２Ｒとを備える。各マイクロレンズ２０に対応する複数の受光部２２Ｌ、２２Ｒは、マイクロレンズに結像された被写体からの光を受光し光電変換する。撮像レンズの瞳と受光部２２Ｌ、２２Ｒの受光面とは、共役関係から外れるように配置される。これにより、３次元画像を撮像するために一つのマイクロレンズに対して複数の受光部を有し、２次元画像を作成する場合にはより自然な画像が得られる撮像装置を提供する。

Description

撮像装置 関連出願の相互参照
　本出願は、２０１２年１１月８日に出願された日本国特許出願２０１２－２４６６５１号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本発明は、光学系の瞳を分割し視差情報を含む画像情報を取得する撮像装置に関するものである。
　二次元状に規則的に配列された複数のマイクロレンズ、および、マイクロレンズごとにそれぞれ複数設けられた受光部を有する撮像素子を用いて、撮像レンズによりマイクロレンズに結像される光の瞳を分割し、分割された瞳ごとに異なる受光部により受光するようにすることにより、視差情報を得る撮像装置が知られている。例えば、引用文献１および２によれば、２次元的に配列されたマイクロシリンドリカルレンズの下部に、各シリンドリカルレンズの鉛直方向に延びる中心線に沿って左右に対称的に受光素子を配置することによって、それぞれの受光部で右側視野の画素（右画素）の信号と左側視野の画素（左画素）の信号とを検出している。
特表２０１１－５１５０４５号公報 特表２００３－５２３６４６号公報
　このような撮像装置の出力信号から右側視野の画像および左側視野の画像（視差画像）を生成し、専用のモニターで立体画像として表示することができる。また、右側視野の画素信号と左側視野の画素信号とを加算することにより２次元画像として表示することも可能になる。このように、一つのマイクロレンズに複数の受光部を組み合わせた撮像素子と撮像レンズとを有する撮像装置では、撮像レンズの瞳と受光部の受光面とは共役関係に位置付けられる。そうすることによって、右側視野の画像と左側視野の画像とが、受光素子の受光面上でより明確に分離されるからである。
　しかし、右側画素と左側画素との間には、通常光が検出されない不感帯が存在する。このため、マイクロレンズの光軸方向（０度方向）を中心に光が検出されない領域が存在する。受光部の受光面と撮像レンズの瞳面とは共役であるから、このことは、撮像レンズの瞳位置に、光軸付近で鉛直方向に延びる光を遮光する領域があるのと等価である。
　したがって、撮像レンズに光軸方向に近い角度で入射する背景からの光は、受光素子により検出されない。このため、右側視野の画素信号と左側視野の画素信号とを加算して、２次元画像を生成する場合、画像の一部の光量が低下し、情報が欠落するため背景などのボケがきれいなボケにならず、二重線が発生するという問題点がある。
　したがって、これらの点に着目してなされた本発明の目的は、３次元画像を生成するための視差画像を撮像できるとともに、２次元画像を作成する場合にはより自然な画像が得られる撮像装置を提供することにある。 
　上記目的を達成する撮像装置の発明は、
　二次元状に規則的に配列した複数のマイクロレンズを有するマイクロレンズアレイと、
　被写体からの光を前記マイクロレンズアレイに結像させる撮像レンズと、
　前記マイクロレンズごとにそれぞれ複数ずつ配置された受光部であって、各マイクロレンズに対応する複数の前記受光部の少なくとも２つは、前記マイクロレンズに結像された前記被写体からの光を受光し光電変換するそれぞれ前記撮像レンズの瞳の一部の領域を透過し且つ対応する前記マイクロレンズを透過した前記被写体からの光を光電変換する前記受光部と
を備え、
　前記撮像レンズの前記瞳と前記受光部の受光面とは、共役関係から外れるように配置されることを特徴とするものである。
　前記マイクロレンズの焦点距離をｆＬ、前記マイクロレンズのピッチをｐ、同一の前記マイクロレンズに対応する前記受光素子の間に位置する不感帯の幅をＳ、前記受光素子の前記受光面の前記撮像レンズの前記瞳の共役位置からのずれ量をＺｄとするとき、
Figure JPOXMLDOC01-appb-I000001
が成り立つことが好ましい。
　一実施の形態において、それぞれの前記マイクロレンズに対応して、前記受光部が前記被写体の像の水平方向に２つずつ配置される。
　他の実施の形態において、前記マイクロレンズは、シリンドリカルレンズとしても良い。
　さらに他の実施形態において、それぞれの前記マイクロレンズに対応する複数の前記受光部は、前記被写体の像の水平方向に２つずつ配置されているものと、前記被写体の像の垂直方向に２つずつ配置されているものとを含むように構成される。
　さらに他の実施形態において、それぞれの前記マイクロレンズに対応して、前記受光部が前記被写体の像の水平方向および垂直方向に各２列ずつ配置される。
　さらに、それぞれ水平方向および垂直方向に配置された複数の前記受光素子から得られる画素信号に基づいて、水平方向および垂直方向の視差画像を生成し、該視差画像から立体画像を生成するようにしても良い。
　本発明によれば、撮像レンズの瞳と受光部の受光面とは、共役関係から外れるように配置したので、３次元画像を生成するために視差画像を撮像できるとともに、２次元画像を生成する場合にはより自然な画像が得られる。
図１は、第１実施の形態に係る撮像装置の概略構成を示すブロック図である。 図２は、撮像素子の要部の構成を説明する図である。 図３は、撮像素子の水平方向の断面図である。 図４は、撮像レンズ、マイクロレンズおよび受光部の配置を説明する図である。 図５は、撮像レンズ、マイクロレンズおよび受光部の配置を説明する図である。 図６Ａは、第一実施の形態の場合の、受光部への入射角度と信号光強度との関係を示す図である。 図６Ｂは、撮像レンズの瞳面と受光部の受光面とが共役関係にある場合の受光部への入射角度と信号光強度との関係を示す図である。 図７は、撮像素子の各パラメータを説明する図である。 図８は、クロストークが発生する場合の光軸における光強度を説明する図である。 図９は、第２実施の形態に係る撮像素子の構成を説明する平面図である。 図１０は、第２実施の形態に係る撮像素子の構成を説明する斜視図である。 図１１は、第３実施の形態に係る撮像素子の構成を説明する図である。 図１２は、第４実施の形態に係る撮像素子の構成を説明する図である。
　以下、本発明の実施の形態について、図面を参照して説明する。
（第１実施の形態）
　図１は、本実施形態における撮像装置の概略構成を示すブロック図である。この撮像装置１は、被写体からの被写体光１００に基づき、立体撮像画像を表示するための視差画像を撮像する。撮像装置１は、撮像レンズ１１、撮像素子１０、画像処理部１２、制御部１４、記憶部１６、及び表示部１８を有する。撮像素子１０、画像処理部１２、制御部１４、記憶部１６、及び表示部１８は、バス１９に接続され、各種信号を互いに送受信可能に構成される。
　撮像素子１０は、被写体光１００が撮像レンズ１１を介して入射されると、被写体光１００に基づき視差を有する左側視野の撮像画像と右側視野の撮像画像とを撮像し、各撮像画像を構成する画素信号を出力する。各撮像画像は、２次元状に配列された画素からなる。１フレームの撮像画像を構成する画素数は、たとえば、６４０×４８０画素～４０００×３０００画素であるが、この範囲に限られなくてもよい。撮像素子１０は、各画素に対応して配設置された受光素子を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）であり、受光素子により画素信号を生成して出力する。画素信号は、たとえば、１フレームごとに生成して出力される。画素信号は、画素ごとのたとえばＲ（Red）、Ｇ（Green）、Ｂ（Blue）の色の階調値を示す信号である。また、画素信号は、受光素子からの出力信号がたとえばＡ／Ｄ変換されたデジタル信号である。
　画像処理部１２は、１フレーム分の画素信号を含む撮像画像データに対し、色や輝度補正、歪み補正等の所定の画像処理や、データの圧縮・伸張を行う。画像処理部１２は、たとえば、１フレームごとの撮像画像データに対し画像処理を行う。画像処理部１２は、たとえばＤＳＰ（Digital Signal Processor）やＡＳＩＣ（Application Specific Integrated Circuit）等のプロセッサである。
　記憶部１６は、画像処理前及び／または画像処理後の撮像画像データを記憶するフレームメモリである。記憶部１６は、たとえば、ＳＲＡＭ（Static Random　Access Memory）やＤＲＡＭ（Dynamic RAM）である。または、記憶部１６は、ハードディスクや可搬型フラッシュメモリを含む各種記憶メディアへのデータ読込み・書込み装置を含んでもよい。
　表示部１８は、左側視野および右側視野の撮像画像データに基づき立体撮像画像を表示する。表示部１８は、たとえば左右の眼の視差に対応する偏光フィルタを備えたＬＣＤ（Liquid Crystal Display）とその制御回路を有する。表示部１８は、視差を有する左右の撮像画像データを表示して、ユーザが立体感を知覚できるような立体撮像画像を表示する。
　制御部１４は、撮像素子１０、画像処理部１２、記憶部１６、及び表示部１８に制御信号を送り、撮像装置１の動作を統合的に制御する。制御部１４は、たとえばマイクロコンピュータである。
　図２は、撮像素子１０の要部の構成を説明するための図である。
　図２に示すように、撮像素子１０は、二次元状に配列された球面状のマイクロレンズ２０からなるマイクロレンズアレイ２を有する。マイクロレンズ２０は、視差画像を撮像する際の右側視野および左側視野のそれぞれの画像の一画素に対応して配設される。ここでは、Ｘ軸方向が撮像画像の左右方向に、Ｙ軸方向が撮像画像の上下方向に対応する。また、Ｚ軸方向が光軸方向に対応する。
　また、撮像素子１０は、マイクロレンズ２０ごとに配置された２つの受光部対２２を有する。受光部対２２の受光部２２Ｌ、２２Ｒは、たとえば、ＣＭＯＳやＣＣＤに含まれるフォトダイオードである。各受光部２２Ｌ、２２Ｒは、左側視野の撮像画像を構成する画素（左画素）の信号を生成して出力する左側受光素子２２Ｌと、右側視野の撮像画像を構成する画素（右画素）の信号を生成して出力する右側受光素子２２Ｒとからなる。受光部２２Ｌ、２２Ｒは、Ｘ軸方向に、すなわち左右方向に隣接して配置される。各受光部２２Ｌ、２２Ｒは立体撮像画像を表示するための撮像画像対それぞれの画素に対応する。
　図３は撮像素子のＸＺ平面（水平断面）による断面図である。図３に示すように、各マイクロレンズ２０は、一組の左右の受光部２２Ｌおよび２２Ｒの前面に配置されたオンチップレンズとして形成されている。また、一つのマイクロレンズ２０に対応する一組の受光部２２Ｌ、２２Ｒと他のマイクロレンズ２０に対応する一組の受光部２２Ｌ、２２Ｒとの間には、各受光部２２Ｌ、２２Ｒを駆動および制御し、または信号を伝達するための配線層２３が設けられている。配線層２３は、例えば銅やアルミニウムなどの金属製で、光を反射または散乱するが透過はせず遮光層として機能する。さらに、一つのマイクロレンズ２０に対応する２つの受光部２２Ｌおよび２２Ｒの間には、幅Ｓの不感帯がある。
　図４は、撮像レンズ並びに撮像素子のマイクロレンズおよび受光部の配置を説明する図である。撮像レンズ１１は一つのレンズにより、または、複数のレンズを組み合わせて構成され、絞り３２を有する。撮像レンズ１１の光軸３０は、各マイクロレンズ２０の光軸と平行に配置される。受光素子２２Ｌおよび２２Ｒは、受光面３４がマイクロレンズ２０の後側焦点から所定の距離ずれた後側焦点近傍に配置される。近年のデジタルカメラ向けの撮像レンズの多くは、射出瞳の位置が無限遠付近となるように設計されている。したがって、撮像レンズの射出瞳の像はマイクロレンズ２０を通して受光部２２Ｌ、２２Ｒの受光面３４の近傍の瞳共役面３６に結像する。
　図４では、受光部２２Ｌ、２２Ｒの受光面３４は、撮像レンズ１１の瞳と共役に位置する像側の瞳共役面３６よりも物体側に位置する。また、図５は、撮像レンズ並びに撮像素子のマイクロレンズおよび受光部の他の配置を説明する図である。受光部２２Ｌ、２２Ｒの受光面３４は、撮像レンズ１１の瞳と共役位置に位置する像側の瞳共役面３６よりも像側に位置する。
　図４および図５に示した何れの配置の場合も、被写体光１００は、絞り３２により絞られ、マイクロレンズアレイ２０上に集光され、マイクロレンズ２０と受光部２２Ｌ、２２Ｒとの間に配置されたＲ、Ｇ、Ｂのカラーフィルタ（図示せず）を介して、受光部２２Ｌ、２２Ｒによって検出される。受光部２２Ｌ、２２Ｒ上には、Ｒ、Ｇ、Ｂいずれかの色の光が入射されて被写体像が結像される。
　左側受光部２２Ｌには、主に瞳の左側領域を透過した光（左側光束）が入射し、左側視野の撮像画像を構成する左画素信号を生成する。また、受光部２２Ｒには、主に瞳の右側領域を透過した光（右側光束）が入射し、右側視野の撮像画像を構成する右画素信号を生成する。しかし、撮像レンズ１１の瞳と受光部２２Ｌ，２２Ｒの受光面３４とは共役関係から外れているため、左眼用の受光部２２Ｌと右眼用の受光部２２Ｒとに入射する被写体光１００の間にクロストークが発生する。
　図６Ａ、図６Ｂは、撮像素子への被写体光の入射角度と左画素信号および右画素信号の信号光強度との関係を示す図であり、図６Ａは、本実施の形態の場合、図６Ｂは撮像レンズの瞳面と受光素子の受光面とを共役関係にした場合を示す。本実施の形態では、図６Ａに示すように、左側受光部２２Ｌと右側受光部２２Ｒとの間のクロストークによって、入射角度が０度であっても、受光素子２２Ｌ、２２Ｒにある程度の強度の光が検出される。これに対して、撮像レンズ１１の瞳面と受光部２２Ｌ、２２Ｒの受光面３４とが共役関係にある場合は、図６Ｂに示すように、左側受光部２２Ｌと右側受光部２２Ｒとの分離がなされているものの、角度が０度付近で左側受光部２２Ｌおよび右側受光部２２Ｒのいずれも、ほぼ光を検出しない角度範囲が存在する。図６Ａのように撮像レンズ１１の瞳と受光部２２Ｌ、２２Ｒの受光面３４とが共役関係から外れた場合、左画素と右画素とで異なる視野の信号が得られ、３次元画像情報の取得に適用でき、各マイクロレンズ２０に対応した左画素信号および右画素信号をそれぞれ加算して２次元画像を生成する場合、二重線が現れない自然な画像を生成することができる。
　次に、左側受光部２２Ｌおよび右側受光部２２Ｒを用い、３次元画像生成のための視差画像が得られるとともに、これらの出力信号を加算して自然な２次元画像が生成できるための条件について、図７を参照して説明する。
　まず、マイクロレンズ２０の曲率半径をｒ、マイクロレンズ２０から受光部２２Ｌ、２２Ｒの受光面３４までの媒質の平均屈折率をｎａｖとすると、マイクロレンズ２０の焦点距離ｆＬは、
Figure JPOXMLDOC01-appb-M000001
 で表される。
　左側受光部２２Ｌには左側光束の大部分に加え右側光束の一部が入射し、右側受光部２２Ｒには右側光束の大部分に加え左側光束の一部が入射する。それぞれの受光部２２Ｌ，２２Ｒに入射する反対側の光束の光量は、それぞれの光束の光量の２％から１０％までが望ましい。つまり、マイクロレンズ２０のピッチをｐとすると、受光部２２Ｌ、２２Ｒの受光面３４上でのボケの幅ｓｂは、
　　　０．０２ｐ＜ｓｂ＜０．１ｐ　　　　　　　　　　　（２）
であることが望ましい。
　また、左右の受光部２２Ｌ，２２Ｒの間に不感帯がある場合、その幅をＳとすると、受光面３４上でのボケの幅ｓｂは、
　　　０．０２ｐ＋Ｓ＜ｓｂ＜０．１ｐ＋Ｓ　　　　　　　（３）
が望ましい。
　式（３）が充足される条件を以下に検討する。
　まず、図７に示すように受光部２２Ｌ、２２Ｒの一方のボケの幅をｈとする。このとき、
　　　ｓｂ＝２ｈ　　　　　　　　　　　　　　　　　　　（４）
となる。
　式（４）に式（３）を代入すると、
　　　０．０２ｐ＋Ｓ＜２ｈ＜０．１ｐ＋Ｓ　　　　　　　（５）
となる。
　ここで、前述のように、マイクロレンズ２０の焦点受光面３４とのずれ量をｚｄとする。ｈとずれ量ｚｄの関係は、図７から、
Figure JPOXMLDOC01-appb-M000002
 となる。これを変形すると、
Figure JPOXMLDOC01-appb-M000003
 となる。
　さらに、式（５）に式（７）を代入して、変形すると、
Figure JPOXMLDOC01-appb-M000004
 が得られる。
　図４に示した後ろ側の焦点ずれと、図５に示した前側の焦点ずれとでは、対称的であるため、絶対値を付して　
Figure JPOXMLDOC01-appb-I000002
となる。これが望ましい条件である。
　ここで、受光素子２２Ｌ、２２Ｒに入射する反対側の光束の光量が、それぞれの光束の光量の２％から１０％までが望ましいことの根拠を説明する。
　図８は、クロストークが発生する場合の光軸における光強度を説明する図である。図８の破線は、ずれ量がほぼ０の場合の被写体光１００の入射角度に対する右側受光部２２Ｒおよび左側受光部２２Ｌで受光される光の強度（すなわち、右画素信号および左画素信号）を示している。光強度は、光束の光強度の最大値を１００％としてこれに対する比率で示している。ずれ量が０の場合、右側光束および左側光束はともに入射角度０度付近で０に近い値となる。
　一方、図８の実線は、受光面３４をマイクロレンズ２０の焦点からずらした場合を示している。この場合、左側光束が右側受光素子２２Ｌによって受光されるクロストークの部分を網掛けで示している。本願発明者らによるシミュレーションの結果、クロストークの量が片側の光束の全体の光量の２％であっても、入射角度０度における光強度は、２０～３０％程度にもなる。したがって、２次元画像を生成するため、右側受光部２２Ｒと左側受光部２２Ｌとの信号を加算した場合、入射角度０度から入射した光による信号も他の入射角度からの信号と比べ４０～６０％の強度の信号が得られる。このため、この程度の強度の信号が得られるのであれば、入射角度０度付近の信号を得ることができないことによる、二重線の発生などを抑制し自然な画像を得ることができる。よって、左右一方の側の光束が他方の受光部２２Ｌ、２２Ｒに入射する光の量は２％以上であることが好ましい。
　一方、３次元画像の奥行き精度の面では、クロストークは少ない方が好ましい。奥行き精度は、視差量、画素ピッチなどで決定される。そして、瞳分割方式で３次元画像情報（奥行き情報）を取得する場合の視差量は、瞳径／２により定義される。仮にクロストークの量が１０％とすると、瞳径は２０％減少するので奥行き分解能は２０％減少する。
　例えば、焦点距離を３５ｍｍ、Ｆ値を３．５とするとき、瞳径は１０ｍｍである。また、クロストークや光量ロスが無い場合、計算上の視差量は５ｍｍである。撮像素子１０のピッチを５μｍとすると、光学系から物体までの距離（物体距離）が５ｍの位置で奥行き分解能は６２０ｍｍとなる。これに対して、同じ条件で片側の受光部２２Ｌまたは２２Ｒへのクロストークが１０％ある場合、瞳径が２０％減少するので、視差量は４ｍｍとなり、奥行き分解能は７４５ｍｍとなる。分解能が２割以上減少することは好ましくないので、左右一方の側の光束が他方の受光素子２２Ｌ、２２Ｒに入射する光の量は１０％以下であることが好ましい。
（実施例）
　マイクロレンズ２０のピッチを１０μｍ、焦点距離を１２．５μｍ、不感帯の幅を０．２μｍ、ずれ量を１μｍとする場合、
Figure JPOXMLDOC01-appb-M000005
 となり、式（９）の条件が満たされ、適切な奥行き分解能で３次元画像生成のための視差画像が検出できるとともに、左側および右側受光部２２Ｌ，２２Ｒからの信号を加算して、自然な２次元画像が得られる。
　以上説明したように、本実施の形態によれば、撮像レンズ１１の瞳と受光部２２Ｌ、２２Ｒの受光面３４とを共役関係から外れるように配置したので、３次元画像を生成するための視差画像が得られるとともに、２次元画像を作成する場合には左眼用および右眼用の受光素子２２Ｌ、２２Ｒからの検出信号を加算してより自然な画像が得られる。
　さらに、式（９）に示す条件を満たすことにより、奥行き分解能を確保した３次元画像が生成できると共に、２次元画像を表示する際には入射角度０度近傍の信号を含む二重線の現れないより自然な画像が得られる。
（第２実施の形態）
　図９は、第２実施の形態に係る撮像素子の構成を説明する平面図であり、図１０は、第２実施の形態に係る撮像素子の構成を説明する斜視図である。本実施の形態では、第１実施の形態と同様に、左側および右側受光部２２Ｌ、２２Ｒが交互に並んで配列されている。各受光部２２Ｌ，２２Ｒの間には配線層２３が設けられている。さらに、受光部の上方（Ｚ軸方向）にはＹ軸方向に軸を有するシリンドリカルレンズ４１がＸ軸方向に並べられて配置され、各左側および右側受光部２２Ｌ、２２Ｒの組は同一のシリンドリカルレンズ４１の下方に配置されている。また、一つのシリンドリカルレンズ４１の下方には、左側および右側受光部２２Ｌ、２２Ｒの組から成る複数の受光部対２２が配置されている。シリンドリカルレンズ４１は、Ｘ軸方向にのみ集光作用を有し、受光素子２２Ｌ、２２Ｒの受光面３４と撮像レンズ１１の瞳とは共役関係から外れて配置される。その他の構成は、第１実施の形態と同様であるので、同一または対応する構成要素には同一参照符号を付して説明を省略する。
　本実施の形態によれば、第１実施の形態と同様に、被写体光１００の、撮像レンズ１１の瞳の左側を通る左側光束と右側を通る右側光束とを、シリンドリカルレンズ４１を透過させ、それぞれ異なる左側受光部２２Ｌおよび右側受光部２２Ｒに入射させて検出することができる。さらに、受光部２２Ｌ、２２Ｒの受光面３４は、撮像レンズ１１の瞳と共役な位置からずらして配置されているので、左側光束と右側光束とがそれぞれ部分的に右側受光素子２２Ｒおよび左側受光部２２Ｌに入射する。これによって、３次元画像を生成するための視差情報を含む左画素および右画素の画素信号が得られるとともに、左画素と右画素の画素信号を加算することにより、二重線の現れない自然な２次元画像を生成することができる。
（第３実施の形態）
　図１１は、第３実施の形態に係る撮像素子の構成を説明する図である。本実施の形態では、１つのマイクロレンズ２０に対して、各２つの受光素子が配置されている。受光部としては、被写体像の結像される水平方向に左側受光部５１Ｌおよび右側受光部５１Ｒが配置されるものと、垂直方向に上側受光部５１Ｕおよび下側受光部５１Ｄが配置されるものの２種類がある。これら受光素子５１Ｌ、５１Ｒ、５１Ｕ、５１Ｄの受光面３４は、撮像レンズ１１の瞳と共役関係から外れた位置に配置される。その他の構成は、第１実施の形態と同様であるので、同一または対応する構成要素には同一参照符号を付して説明を省略する。
　本実施の形態によれば、水平方向に配置された受光部５１Ｌ、５１Ｒを用いて、第１実施の形態と同様に３次元画像を生成するための視差画像を撮像することができるとともに、２次元画像を作成する場合には左右の受光部５１Ｌ、５１Ｒからの画素信号を加算してより自然な画像が得られる。さらに、垂直方向に配置された受光部５１Ｕおよび５１Ｄからの信号に基づいて、垂直方向の視差情報から奥行き情報を得ることもできる。また、垂直方向に配置された受光部５１Ｕおよび５１Ｄの信号を加算して、水平方向に配置された受光部５１Ｌおよび５１Ｒを加算した信号とともに、２次元画像の作成に用いることができる。
（第４実施の形態）
図１２は、第３実施の形態に係る撮像素子１０の構成を説明する図である。本実施の形態では、１つのマイクロレンズ２０に対して、水平方向および垂直方向に各２列の合計４つの受光部６１ＤＬ、６１ＤＲ、６１ＵＬ，６１ＵＲが配置されている。ここで、各受光部６１ＤＬ、６１ＤＲ、６１ＵＬ，６１ＵＲは、撮像レンズ１１の瞳を水平な直線および鉛直な直線で４分割した場合の順に左下側、右下側、左上側、右上側の分割された瞳に対応するものである。これら受光部６１ＤＬ、６１ＤＲ、６１ＵＬ、６１ＵＲの受光面３４は、撮像レンズ１１の瞳と共役関係から外れた位置に配置される。その他の構成は、第１実施の形態と同様であるので、同一または対応する構成要素には同一参照符号を付して説明を省略する。
　本実施の形態によれば、撮像素子１０の左右の画素対、すなわち受光部６１ＤＬと６１ＤＲおよび／または６１ＵＬと６１ＵＲから出力される画素信号に基づいて、第１実施の形態と同様に立体画像を生成でき、１つのマイクロレンズ２０に対応する受光部６１ＤＬ、６１ＤＲ、６１ＵＬおよび６１ＵＲの信号を加算することによって２次元画像の画素信号とし、２次元画像を生成することができる。これによって、第１実施の形態と同様の効果が得られる。さらに、撮像素子１０の上下の画素対、すなわち受光部６１ＤＬと６１ＵＬおよび／または６１ＵＲと６１ＵＲから出力される画素信号に基づいて、垂直方向の視差情報も得ることができる。したがって、同じ撮像素子を用いながら、上下および左右の視差情報を得ることができる。
　なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、１つのマイクロレンズに対する受光部の数は、２個または４個に限られない。また、受光素子の配列の方向も左右および上下に限られない。例えば、斜め方向に配列された受光素子対を有していても良い。また、表示部は必ずしも撮像装置と一体である必要は無く、３次元画像を表示するために別体のハードウェアとして設けられていても良い。
　１　　撮像装置
　２　　マイクロレンズアレイ
　１０　　撮像部
　１１　　撮像レンズ
　１２　　画像処理部
　１４　　制御部
　１６　　記憶部
　１８　　表示部
　１９　　バス
　２０　　マイクロレンズ
　２２　　受光素子対
　２２Ｌ、２２Ｒ　　受光部
　２３　　配線層
　３０　　光軸
　３２　　絞り
　３４　　受光面
　３６　　瞳共役面
　４１　　シリンドリカルレンズ
　５１Ｌ，５１Ｒ，５１Ｕ，５１Ｄ　　受光部
　６１ＤＬ，６１ＤＲ，６１ＵＬ，６１ＵＲ　　受光部
　１００　　被写体光

Claims (8)

  1. 　二次元状に規則的に配列した複数のマイクロレンズを有するマイクロレンズアレイと、
    　被写体からの光を前記マイクロレンズアレイに結像させる撮像レンズと、
    　前記マイクロレンズごとにそれぞれ複数ずつ配置された受光部であって、各マイクロレンズに対応する複数の前記受光部の少なくとも２つは、前記マイクロレンズに結像された前記被写体からの光を受光し光電変換する前記受光部と
    を備え、
    　前記撮像レンズの瞳と前記受光部の受光面とは、共役関係から外れるように配置されることを特徴とする請求項１に記載の撮像装置。
  2. 　前記マイクロレンズの焦点距離をｆＬ、前記マイクロレンズのピッチをｐ、同一の前記マイクロレンズに対応する前記受光部の間に位置する不感帯の幅をＳ、前記受光部の前記受光面と前記撮像レンズの瞳の共役位置とのずれ量をＺｄとするとき、
    Figure JPOXMLDOC01-appb-I000003
    が成り立つことを特徴とする請求項１に記載の撮像装置。
  3. 　それぞれの前記マイクロレンズに対応して、前記受光部が前記被写体の像の水平方向に２つずつ配置されていることを特徴とする請求項１または２に記載の撮像装置。
  4. 　前記マイクロレンズは、シリンドリカルレンズであることを特徴とする請求項１～３のいずれか一項に記載の撮像装置。
  5. 　それぞれの前記マイクロレンズに対応する複数の前記受光部は、前記被写体の像の水平方向に２つずつ配置されているものと、前記被写体の像の垂直方向に２つずつ配置されているものとを含むことを特徴とする請求項１または２に記載の撮像装置。
  6. 　それぞれの前記マイクロレンズに対応して、前記受光部が前記被写体の像の水平方向および垂直方向に各２列ずつ配置されていることを特徴とする請求項１または２に記載の撮像装置。
  7. 　それぞれ水平方向および垂直方向に配置された複数の前記受光部から得られる画素信号に基づいて、水平方向および垂直方向の視差画像を生成し、該視差画像から立体画像を生成する請求項５または６の何れか一項に記載の撮像装置。
  8. 　前記複数の受光部から得られる画素信号に基づき互いに視差をもつ複数の視差画像と、前記複数の受光部から得られる画素信号の対応するものを加算した２次元画像の、少なくとも一方を生成する請求項１に記載の撮像装置。
PCT/JP2013/006242 2012-11-08 2013-10-22 撮像装置 WO2014073172A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/534,742 US9190436B2 (en) 2012-11-08 2014-11-06 Imaging apparatus
US14/918,973 US9305957B2 (en) 2012-11-08 2015-10-21 Imaging apparatus
US15/058,856 US9419037B2 (en) 2012-11-08 2016-03-02 Imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012246651A JP5584270B2 (ja) 2012-11-08 2012-11-08 撮像装置
JP2012-246651 2012-11-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/534,742 Continuation US9190436B2 (en) 2012-11-08 2014-11-06 Imaging apparatus

Publications (1)

Publication Number Publication Date
WO2014073172A1 true WO2014073172A1 (ja) 2014-05-15

Family

ID=50684298

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/006242 WO2014073172A1 (ja) 2012-11-08 2013-10-22 撮像装置

Country Status (3)

Country Link
US (3) US9190436B2 (ja)
JP (1) JP5584270B2 (ja)
WO (1) WO2014073172A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148864B2 (en) 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
US9978154B2 (en) * 2015-07-02 2018-05-22 Pixart Imaging Inc. Distance measurement device base on phase difference and distance measurement method thereof
US11469265B2 (en) 2015-07-29 2022-10-11 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US11089286B2 (en) 2015-07-29 2021-08-10 Samsung Electronics Co., Ltd. Image sensor
US10790325B2 (en) 2015-07-29 2020-09-29 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US10403668B2 (en) 2015-07-29 2019-09-03 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015215A (ja) * 2006-07-06 2008-01-24 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2010102230A (ja) * 2008-10-27 2010-05-06 Nikon Corp カメラレンズアダプタ及びカメラシステム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396873B1 (en) 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
US7812299B2 (en) * 2005-07-22 2010-10-12 Nikon Corporation Image sensor having two-dimensionally arrayed pixels, focus detecting device using the sensor, and imaging system including the sensor
US20090219432A1 (en) 2008-02-29 2009-09-03 Palum Russell J Sensor with multi-perspective image capture
EP2146248B1 (en) * 2008-07-16 2012-08-29 Carl Zeiss SMT GmbH Illumination system of a microlithographic projection exposure apparatus
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
JP5513326B2 (ja) * 2010-09-07 2014-06-04 キヤノン株式会社 撮像素子及び撮像装置
JP5864990B2 (ja) * 2011-10-03 2016-02-17 キヤノン株式会社 固体撮像装置およびカメラ
JP5743837B2 (ja) * 2011-10-07 2015-07-01 キヤノン株式会社 光電変換装置、撮像装置および撮像システム
JP5818697B2 (ja) * 2012-01-13 2015-11-18 キヤノン株式会社 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015215A (ja) * 2006-07-06 2008-01-24 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2010102230A (ja) * 2008-10-27 2010-05-06 Nikon Corp カメラレンズアダプタ及びカメラシステム

Also Published As

Publication number Publication date
JP2014096683A (ja) 2014-05-22
JP5584270B2 (ja) 2014-09-03
US20160181300A1 (en) 2016-06-23
US20150061066A1 (en) 2015-03-05
US9419037B2 (en) 2016-08-16
US20160043124A1 (en) 2016-02-11
US9305957B2 (en) 2016-04-05
US9190436B2 (en) 2015-11-17

Similar Documents

Publication Publication Date Title
US9798155B2 (en) Image processing apparatus, image processing method, and program for generating a three dimensional image to be stereoscopically viewed
US9851483B2 (en) Stereoscopic imaging method and system that divides a pixel matrix into subgroups
US9036004B2 (en) Three-dimensional image capture device
JP5538553B2 (ja) 固体撮像素子及び撮像装置
EP2579568B1 (en) Imaging device and imaging method
US9419037B2 (en) Imaging apparatus
US20120112037A1 (en) Three-dimensional imaging device
US20120105598A1 (en) Three-dimensional imaging device
JP6288088B2 (ja) 撮像装置
WO2012169301A1 (ja) 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
JP5810196B2 (ja) 撮像装置
JP5634614B2 (ja) 撮像素子及び撮像装置
WO2014064867A1 (ja) 撮像素子及び撮像装置
WO2012153504A1 (ja) 撮像装置および撮像装置の制御プログラム
JP6234024B2 (ja) 撮像素子、及び撮像装置
JP6086681B2 (ja) 撮像素子、及び撮像装置
WO2012117619A1 (ja) 立体画像撮像装置
JP2013239787A (ja) 撮像素子及びこれを用いた撮像装置
Koyama et al. A 3D vision 2.1 Mpixel image sensor for single-lens camera systems
JP5452800B2 (ja) 立体像撮影装置
JP5853510B2 (ja) 撮像装置
JP6331279B2 (ja) 撮像装置、撮像方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13853915

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13853915

Country of ref document: EP

Kind code of ref document: A1