WO2011081187A1 - 撮像素子、および、撮像装置 - Google Patents

撮像素子、および、撮像装置 Download PDF

Info

Publication number
WO2011081187A1
WO2011081187A1 PCT/JP2010/073731 JP2010073731W WO2011081187A1 WO 2011081187 A1 WO2011081187 A1 WO 2011081187A1 JP 2010073731 W JP2010073731 W JP 2010073731W WO 2011081187 A1 WO2011081187 A1 WO 2011081187A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
photoelectric conversion
imaging device
microlenses
elements
Prior art date
Application number
PCT/JP2010/073731
Other languages
English (en)
French (fr)
Inventor
直之 大西
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2011547718A priority Critical patent/JP5970816B2/ja
Publication of WO2011081187A1 publication Critical patent/WO2011081187A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H01L31/0232—Optical elements or arrangements associated with the device
    • H01L31/02327—Optical elements or arrangements associated with the device the optical elements being integrated or being directly associated to the device, e.g. back reflectors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array

Definitions

  • the present invention relates to an imaging element and an imaging apparatus.
  • This application claims priority based on Japanese Patent Application No. 2009-298364 filed in Japan on December 28, 2009, the contents of which are incorporated herein by reference.
  • Image composition that synthesizes an image focused on an arbitrary image plane of the photographic lens by using the received light signal obtained by receiving the light flux from the photographic lens with multiple light receiving elements via each microlens of the microlens array
  • An imaging apparatus including the apparatus is known (for example, see Patent Document 1).
  • the imaging apparatus when the received light signals obtained by a plurality of light receiving elements are thinned and used, it is correct if the positions of the light receiving elements that output the signals to be used do not correspond between the microlenses. The image cannot be synthesized.
  • the aspect according to the present invention has been made in view of such circumstances, and the purpose thereof is to obtain a correct image even when a light reception signal obtained by receiving light with a plurality of light receiving elements via a microlens is thinned out and used. It is an object of the present invention to provide an imaging device and an imaging apparatus that can synthesize the above.
  • An imaging device corresponds to a photoelectric conversion element group including a photoelectric conversion element array in which a plurality of photoelectric conversion elements are continuously arranged and a part of the photoelectric conversion elements in the photoelectric conversion element array. And a plurality of microlenses arranged along the arrangement direction of the photoelectric conversion element group at a pitch according to the number of the photoelectric conversion elements included in the photoelectric conversion element group. The received light corresponding to the photoelectric conversion element selected from the plurality of photoelectric conversion elements at a predetermined interval among the plurality of light reception signals obtained by receiving the light beam that has passed through the microlens by the photoelectric conversion element. An output unit for outputting a signal.
  • An imaging apparatus includes the imaging element according to the above aspect and an optical system that forms a target image on the imaging element.
  • a correct image can be synthesized even when light reception signals obtained by receiving light with a plurality of light receiving elements via a microlens are thinned out and used.
  • FIG. 1 is a cross-sectional view illustrating a configuration of a digital single-lens reflex camera (hereinafter referred to as a camera) including a focus detection device 100 according to an embodiment of the present invention.
  • a camera digital single-lens reflex camera
  • FIG. 1 illustrates a configuration of a digital single-lens reflex camera (hereinafter referred to as a camera) including a focus detection device 100 according to an embodiment of the present invention.
  • a lens barrel 20 is attached to the camera body 1, and the lens barrel 20 can be replaced with various photographing lenses.
  • an interchangeable lens camera will be described as an example.
  • the present invention is not limited to the interchangeable lens camera and can be applied to a fixed lens camera.
  • the lens barrel 20 includes a zooming lens 21, a focusing lens 22, an aperture 24, a lens and an aperture driving actuator 25, a lens memory 26, and the like.
  • the zooming lens 21 and the focusing lens 22 are represented by a single photographing lens 23.
  • the zooming lens 21 is a lens that is driven in the optical axis direction by an actuator 25 to change the focal length of the photographing lens 23.
  • the focusing lens 22 is a lens that is driven in the optical axis direction by an actuator 25 to adjust the focus of the photographing lens 23.
  • the diaphragm 24 is driven by an actuator 25 to change the diaphragm opening diameter.
  • the lens memory 26 stores information about the lens barrel 20 and the photographing lens 23 such as the open F value and focal length of the photographing lens 23.
  • the camera body 1 includes an image pickup device 2 for image pickup, a shutter 3, an image pickup device unit 50 (image pickup device), an image composition unit 62, a display control unit 63, a focus detection calculation unit 64, a lens drive amount calculation unit 65, a control circuit 7, A drive circuit 8, a quick return mirror 9, a sub mirror 10, a focusing screen 11, a transmissive liquid crystal display 12, a pentaprism 13, a photometric lens 14, a photometric sensor 15, an eyepiece 16, an operation member 17, and a display unit 18 are provided. ing.
  • the imaging element unit 50 includes, for example, a microlens array 4, a photoelectric conversion element array 5, and an output unit 61.
  • the imaging element 2 for imaging is composed of a CCD, a CMOS, or the like, and converts the subject image formed by the photographing lens (imaging lens) 23 in the lens barrel 20 into an electrical signal and outputs it.
  • the shutter 3 is opened only when the release button (not shown) is fully pressed (during shutter release), based on the exposure calculation result, or for the shutter time manually set by the photographer, and exposes the image sensor 2 for imaging.
  • the image sensor unit 50 and the focus detection calculation unit 64 constitute the focus detection device 100 and detect a defocus amount indicating the focus state of the photographing lens 23.
  • the lens drive amount calculation unit 65 calculates the drive amount of the focus lens (focusing lens) based on the defocus amount detected by the focus detection calculation unit 64 of the focus detection apparatus 100.
  • the control circuit 7 is composed of peripheral components such as a microcomputer and a memory, and performs sequence control such as photometry, focus detection, photographing, and calculation control such as exposure calculation. Further, the control circuit 7 drives the actuator 25 via the drive circuit 8 based on the lens drive amount calculated by the lens drive amount calculation unit 65 to drive the focusing lens 22 in focus.
  • the drive circuit 8 drives and controls the lens and the aperture driving actuator 25 provided in the lens barrel 20.
  • the photometric sensor 15 divides the photographing screen into a plurality of areas and outputs a photometric signal corresponding to the luminance of each area.
  • an operation member 17 that is operated by the photographer is disposed on the camera body 1.
  • the operation member 17 includes a release half-press switch that is turned on when the release button is operated (half-pressed), a release full-press switch that is turned on when the release button is operated (second press).
  • a release half-push switch is pressed, a signal indicating the start of AF (autofocusing) is input to the control circuit 7.
  • a signal indicating the start of imaging is input to the control circuit 7.
  • the quick return mirror 9 and the sub mirror 10 are positioned in the photographing optical path as shown in FIG. At this time, a part of the light from the subject that has passed through the photographing lens 23 is reflected by the quick return mirror 9 and guided to the focusing screen (screen) 11, and an object image is formed on the focusing screen 11.
  • the transmissive liquid crystal display 12 superimposes and displays information indicating the focus detection position on the subject image on the focusing screen 11 and displays information related to shooting such as the shutter speed, aperture value, and number of shots outside the subject image. .
  • the subject image on the focusing screen 11 can be observed by the photographer via the pentaprism 13 and the eyepiece 16 and is guided to the photometric sensor 15 via the pentaprism 13 and the photometric lens 14.
  • the control circuit 7 performs an exposure calculation based on a photometric signal for each photometric area output from the photometric sensor 15, and calculates a shutter speed and an aperture value corresponding to the luminance of the subject.
  • the shutter speed and aperture value set by the photographer operating the operation member 17 are used.
  • the focus detection calculation unit 64 of the focus detection apparatus 100 described above detects a defocus amount indicating the focus state of the taking lens 23 based on another part of the light from the subject.
  • the image sensor unit 50 thins out pixel signals based on another part of the light from the subject with a predetermined thinning pattern and outputs the thinned pixel signals to the image composition unit 62.
  • the image composition unit 62 composes an image based on the pixel signal output from the image sensor unit 50.
  • the display control unit 63 continuously displays the images combined by the image combining unit 62 on the display unit 18. Thus, live view (current subject image) can be displayed.
  • the focus detection calculation unit 64 of the focus detection apparatus 100 described above indicates the focus state of the photographic lens 23 based on the pixel signal that is thinned out in a predetermined thinning pattern and output from the image sensor unit 50.
  • the defocus amount may be detected.
  • the quick return mirror 9 and the sub mirror 10 are retracted (mirror-up) from the shooting optical path, and the light flux from the subject that has passed through the shooting lens 23 with the shutter 3 opened is guided to the imaging device 2 for imaging. A subject image formed on the imaging surface of the image sensor 2 is captured.
  • a plurality of photoelectric conversion elements are continuously arranged.
  • a plurality of photoelectric conversion elements one row of photoelectric conversion elements
  • a plurality of photoelectric conversion elements are arranged two-dimensionally in the row direction and the column direction.
  • the photoelectric conversion element array 5 includes an axis that is perpendicular to the paper surface of FIG. 1 and an axis that is lateral to the paper surface of FIG. 1 (transverses the paper surface horizontally).
  • the plurality of photoelectric conversion elements are two-dimensionally arranged in the row direction (for example, the horizontal direction with respect to the paper surface) and the column direction (for example, the axis perpendicular to the paper surface). Are arranged in a shape.
  • the microlens array 4 has a plurality of microlenses arranged in association with a photoelectric conversion element group including a part of continuous photoelectric conversion elements of the photoelectric conversion element array 5. Furthermore, as will be described later, in the microlens array 4, a plurality of microlenses are arranged along the arrangement direction of the photoelectric conversion element group at a pitch corresponding to the number of photoelectric conversion elements included in the photoelectric conversion element group. .
  • FIG. 2 is a plan view when the microlens array 4 and the photoelectric conversion element array 5 are viewed from the top to the bottom on the paper surface of FIG.
  • a region corresponding to one microlens provided in the microlens array 4 on the pixel surface of the photoelectric conversion element array 5 will be described with a circle.
  • a pixel in a region corresponding to the microlens is shown and described.
  • a case where 5 ⁇ 5 pixels of the photoelectric conversion element array 5 correspond to one microlens will be described.
  • the plurality of photoelectric conversion elements includes a plurality of photoelectric conversion element groups (element groups) respectively corresponding to the plurality of microlenses.
  • the plurality of microlenses have row numbers m1, m2, m3, m4, m5... In the row direction and column numbers n1, n2, n3, n4, n5. ⁇
  • a photoelectric conversion element group is set corresponding to each microlens.
  • 25 pixels are sequentially assigned row numbers o1, o2, o3, o4, and o5 in the row direction and column numbers p1, p2, p3, p4, and p5 in the column direction.
  • Conversion elements are arranged in a grid pattern.
  • the substantial arrangement number (first predetermined number) of the photoelectric conversion elements in the row direction is 5
  • the substantial arrangement number (first predetermined number) of the photoelectric conversion elements in the column direction is 5. 5.
  • FIG. 2 only the pixels (photoelectric conversion elements) corresponding to the microlens among the pixels included in the photoelectric conversion element array 5 are shown. However, there may be a pixel (photoelectric conversion element) between the pixel corresponding to the microlens (see FIGS. 5, 6A, and 6B described later).
  • the photoelectric conversion element array 5 includes, for example, a plurality of photoelectric conversion elements arranged one-dimensionally in the row direction and continuously arranged in the column direction, so that the pixels are two-dimensionally formed. Is arranged.
  • the output unit 61 applies a photoelectric conversion element selected from a plurality of photoelectric conversion elements at regular intervals among a plurality of light reception signals obtained by receiving a light beam through the microlens with a photoelectric conversion element included in the photoelectric conversion element array 5. Output the corresponding received light signal. That is, the output unit 61 reads out and outputs the photoelectric conversion elements included in the photoelectric conversion element array 5 by thinning them out with a predetermined thinning pattern. In other words, the output unit 61 outputs a signal (selected signal) of the photoelectric conversion element selected based on the pattern indicating the arrangement of the selection element and the non-selection element.
  • the microlens array 4 and the photoelectric conversion element array 5 can also be used as a phase difference type focus detection sensor.
  • FIG. 3 is a first example of a thinning pattern, which is an example in which one line is thinned, and is a pattern for reading out odd-numbered rows of pixels of photoelectric conversion elements corresponding to microlenses.
  • pixels (selected elements) to be read are shown in gray (dot pattern), and pixels (non-selected elements) that are not read out are shown in white (blank pattern).
  • One line thinning is a pattern in which pixels are thinned out for each row. In the pixels (photoelectric conversion elements) in each photoelectric conversion element group, the selection elements and the non-selection elements are alternately repeated one by one along the row direction.
  • the ideal condition for the thinning pattern is that the central portion of the pixel corresponding to the microlens is not thinned, and the thinning pattern has the same configuration in a plurality of pixels corresponding to each microlens. It is that.
  • the condition that the center portion of the pixel corresponding to the microlens is not thinned is that, for example, when compositing an image, the pixel corresponding to the center of the microlens is a reference for synthesis, and the center of the microlens This is because it is necessary to read out the pixels corresponding to.
  • the thinning patterns have the same configuration in a plurality of pixels corresponding to each microlens. For example, when synthesizing an image, pixel thinning is performed for each of the plurality of pixels corresponding to each microlens. This is because if the patterns are different, the calculation for image synthesis becomes complicated.
  • the center pixel row is not thinned out, and the thinning pattern is the same among a plurality of pixels corresponding to all the microlenses. .
  • the thinning pattern in FIG. 3 is one of appropriate thinning methods (satisfying the above conditions).
  • FIG. 4 is a second example of the thinning pattern.
  • the second example of FIG. 4 is the same as the first example of the thinning pattern in FIG.
  • the second example of FIG. 4 is different from the first example of the thinning pattern in FIG. 3 in that the pattern is a pattern for reading even-numbered rows of pixels of the photoelectric conversion element corresponding to the microlens.
  • the center pixel row is thinned out, and for example, a pixel corresponding to the center of the microlens serving as a reference when combining images is thinned out. Since the thinning pattern in FIG. 4 does not satisfy the above condition, it is one of inappropriate thinning patterns.
  • the output unit 61 may read by thinning out by the thinning pattern as in the case of FIG.
  • the case of FIG. 3 is not necessarily appropriate.
  • the case of FIG. 4 may be appropriate.
  • FIG. 3 or FIG. 4 when the positional relationship between the microlens array 4 and the photoelectric conversion element array 5 is shifted upward or downward by one pixel, the case of FIG. 4 is appropriate.
  • the output unit 61 receives a light reception signal corresponding to the photoelectric conversion element selected from the plurality of photoelectric conversion elements at the first interval (pattern) and a second interval (pattern) different from the first interval (pattern). And selectively receiving a light reception signal corresponding to the photoelectric conversion element selected in (1).
  • the output unit 61 receives a light reception signal from the photoelectric conversion element array 5 with a thinning pattern selected from a first thinning pattern as shown in FIG. 3 and a second thinning pattern as shown in FIG. Read out the data.
  • the row of the image sensor is identified by a row Y (Y is a natural number other than 0). Further, a case where the line thinning pattern is a pattern of one line thinning will be described.
  • the output unit 61 selects an appropriate thinning pattern from these two thinning patterns. Thereby, a thinning pattern can be selected appropriately. Therefore, the output unit 61 can always read out the received light signal from the photoelectric conversion element array 5 appropriately as shown in FIG.
  • Another pattern other than one line thinning which is patterned with a somewhat short cycle, provides an optimum thinning pattern at the time of image synthesis as described above by providing the thinned first pixel for one cycle of the pattern. Can be made.
  • the output unit 61 is selected from the first thinning pattern as shown in FIG. 3 and the second thinning pattern as shown in FIG.
  • the received light signal is read out from the photoelectric conversion element array 5 by the thinning pattern.
  • FIG. 5, FIG. 6A, and FIG. 6B differ in the number of pixels (the number of intermediate pixels, the second predetermined number) between the pixels corresponding to this microlens.
  • the intermediate pixel number L1 is 4 rows
  • the intermediate pixel number L2 is 3 rows.
  • the pixel thinning pattern included in the upper microlens A1 and the pixel thinning pattern included in the lower microlens A2 Is different.
  • the pixel thinning pattern included in the upper microlens A1 is a pattern for reading even rows
  • the pixel thinning pattern included in the lower microlens A2 is a pattern for reading odd rows.
  • the upper microlens A1 and the lower microlens A2 are, for example, the same microlens in FIG. 2 and the microlens in which the row is the upper of the two microlenses in which the row is continuous. And the lower microlens (the row number is larger).
  • the upper microlens A1 is a microlens whose column number is n1 and whose row number is m1 in FIG.
  • the lower microlens A2 is a microlens whose column number is n1 and whose row number is m2 in FIG.
  • L (L1) p ⁇ 2m (p: pixel pitch)
  • M natural number other than 0).
  • L ⁇ p ⁇ (2m ⁇ 1) there is a deviation in the configuration of pixels included in all adjacent microlenses.
  • the pitch of the microlenses is determined according to the interval between the selected photoelectric conversion elements and the number of photoelectric conversion elements included in the photoelectric conversion element group.
  • a case of thinning out one line as a thinning pattern (a case where a selection element and a non-selection element are alternately repeated one by one along a predetermined direction) has been described.
  • other thinning patterns can be employed.
  • two or three selection elements and non-selection elements may be alternately repeated along a predetermined direction.
  • a pattern in which one selection element and two non-selection elements are continuous can be alternately repeated along a predetermined direction.
  • a pattern in which two selection elements and one non-selection element are continuous can be alternately repeated along a predetermined direction.
  • the positional relationship (pitch relationship) between the microlens and the pixel is determined according to the thinning pattern so that the configuration of the pixels included in each microlens is the same. Good.
  • the pitch of the micro lenses is the number of photoelectric conversion elements (second predetermined number) positioned between the plurality of photoelectric conversion element groups corresponding to the plurality of micro lenses adjacent to each other in the micro lens array 4.
  • the sum of the total number of photoelectric conversion elements in a predetermined direction is determined to be an integral multiple of the interval (selection interval) of the photoelectric conversion elements selected by the output unit 61.
  • the central pixel row is not thinned out, and a thinning pattern can be formed in a plurality of pixels corresponding to both microlenses. Therefore, it can thin out appropriately.
  • a sense amplifier is provided corresponding to each row of pixels arranged in a grid included in the photoelectric conversion element array 5, and pixel information is obtained from the pixel via the sense amplifier. May be read.
  • the sense amplifiers are not provided in a one-to-one manner in all the rows, but may be shared by a plurality of rows. For example, one sense amplifier may be shared by two rows that are continuous in the column direction. This is to reduce the number of sense amplifiers.
  • an example of the operation of the imaging apparatus 1 according to the present embodiment will be described with reference to FIG.
  • an example of the operation when the image information is thinned out and read out from the image pickup device unit 50, combined, and displayed as a through image on the display unit 18 will be described. That is, an example of the operation of the imaging device 1 when displaying a through image (live view display) will be described.
  • step S ⁇ b> 901 the output unit 61 reads out the pixel signal from the image sensor of the photoelectric conversion element array 61 and outputs the read pixel signal to the focus detection device 64 and the image composition unit (image processing unit) 62.
  • This thinning pattern for thinning and reading satisfies the two conditions described above.
  • lens information of the photographing lens 23 provided in the lens barrel 20 is input from the lens barrel 20 to the control circuit 7.
  • This lens information is information used for image composition such as the current position of the focus lens, the focal length, and the open F value.
  • the current position of the focus lens is detected by an encoder (not shown) provided in the lens barrel 20. Then, the control circuit 7 reads the detected current position of the focus lens from this encoder. Further, the control circuit 7 reads information such as the focal length and the open F value from the lens memory 26 provided in the lens barrel 20.
  • the synthesis information is input to the control circuit 7.
  • the composite information is information indicating a setting for which aperture to display the initial image.
  • the composite information is set when the user operates the operation member 17.
  • the user inputs composite information indicating that the minimum aperture is set to the control circuit 7 via the operation member 17.
  • a through image can be displayed as a composite image with the minimum aperture.
  • the set composite information is controlled via the operation member 17. Input to the circuit 7.
  • step S ⁇ b> 904 the image composition unit 62 generates an image focused on the image plane at the current lens position based on the lens information and composition information input to the control circuit 7.
  • the pixel signal output from 61 is image-synthesized.
  • step S 905 the display control unit 63 displays the image (composite screen) synthesized by the image synthesis unit 62 on the display unit 18.
  • the display control unit 63 changes the composite image displayed on the display unit 18 to a composite screen synthesized by the image synthesis unit 62.
  • step S906 the control circuit 7 determines whether the user has selected an area position.
  • the operation member 17 includes a touch panel and the user operates the touch panel. Then, the user selects an area position by selecting a predetermined position on the touch panel. The control circuit 7 determines whether or not the user has selected an area position by determining whether or not the user has selected a predetermined position using the operation member 17 that is a touch panel.
  • step S906 If it is not determined in step S906 that the user has selected an area position, the control circuit 7 repeats the processing from step S901. On the other hand, if it is determined in step S906 that the user has selected an area position, the control circuit 7 advances the process to step S907.
  • steps S907 to S909 processing similar to that in steps S901 to S906 described above is executed.
  • the focus detection calculation unit 64 calculates the image plane position of the selected subject based on the pixel signal output from the output unit 61.
  • the focus position is detected using the principle of pupil-dividing phase difference AF.
  • the contrast value of the area range selected from the compositable range is calculated, and if a peak is detected, the position (selected area range) is set as the image plane position of the selected subject.
  • step S911 the control circuit 7 determines whether or not the image plane position calculated in step S910 is within a synthesis range that can be synthesized from the current lens position.
  • control circuit 7 can synthesize by comparing the defocus amount with a synthesizable range determined from the current lens position. It is determined whether or not it is within a proper synthesis range.
  • step S912 If it is determined in step S911 that it is not within the compositible synthesis range, in step S912, the control circuit 7 drives the actuator 25 via the drive circuit 8 so as to be within the compositible range, The focusing lens 22 is driven to focus. That is, when the selected subject is not in the composition range, the control circuit 7 drives the focusing lens 22 within the composition range of the selected subject.
  • the control circuit 7 may directly drive the focusing lens 22 up to the focal plane instead of within the synthesis range.
  • the control circuit 7 detects the peak position of the contrast and drives the focusing lens 22 to the detected peak position.
  • steps S913 to S915 the same processing as in steps S901 to S906 described above is executed.
  • step S916 the image composition unit 62 performs image composition that is determined to be in focus at the image plane position of the main subject based on the pixel signal output from the output unit 61.
  • step S917 the display control unit 63 displays the image (synthesized screen) synthesized by the image synthesizing unit 62 on the display unit 18, as in step S905. Thereafter, for example, the processing from step S901 is repeated.
  • step S911 when it is determined in step S911 described above that the image is within the compositing range that can be combined, an image in focus on the main subject can be combined even if the combining process is performed at the current lens position. . Therefore, the control circuit 7 performs image composition without driving the focusing lens 22.
  • step S911 determines whether it is within the compositing range that can be combined. If it is determined in step S911 described above that it is not within the compositing range that can be combined, the control circuit 7 drives the focusing lens 22 by the processing of step S911, and then performs image combining.
  • the imaging apparatus can appropriately synthesize an image whether it is within the synthesizable synthesis range or not.
  • the processing time is generally dependent on the processing speed of the arithmetic unit such as the image synthesis unit 62. It takes a long time. Then, when it is necessary to synthesize an image in real time, such as when displaying a moving image such as a live view, there is a possibility that the image cannot be properly synthesized due to the processing speed of the arithmetic unit such as the image synthesizer 62. is there.
  • the positional relationship is important.
  • the pitch of the microlenses and the thinning pattern are appropriately configured. This is because the information of the light passing through the microlens array and entering the light receiving element is appropriately thinned and output.
  • pixel signals can be read out appropriately from the pixels of the image sensor provided in the photoelectric conversion element array 5.
  • the data amount of the pixel signal can be reduced. Therefore, even when the processing speed of the arithmetic unit such as the image synthesis unit 62 is not high, the image amount can be appropriately synthesized by the image synthesis unit 62 because the data amount is reduced. Note that in the case of image composition in still image shooting, the output unit 61 does not have to thin out pixels.
  • the present embodiment it is possible to appropriately thin out and output information on light that has passed through the microlens array and entered the light receiving element. Therefore, a correct image can be synthesized even when light reception signals obtained by receiving light with a plurality of light receiving elements via a microlens are thinned out. Further, according to the present embodiment, it is possible to prevent the pixel located at the center of the microlens from being thinned out. In addition, even if the thinning pattern is the same, it is possible to make the thinning pattern of pixels included in each microlens the same by changing the target pixel column, and the calculation at the time of combining is simplified. Also, by thinning out, the processing time is shortened, and real-time image composition is facilitated during moving image shooting.
  • the imaging element includes a microlens array including a plurality of microlenses, a photoelectric conversion element array including a plurality of photoelectric conversion elements, and a plurality of selected elements among the plurality of photoelectric conversion elements.
  • An output unit that outputs a plurality of selected signals, wherein the plurality of photoelectric conversion elements are a plurality of element groups respectively corresponding to the plurality of microlenses, and the photoelectric conversion in each one direction
  • the plurality of element groups including a substantially predetermined number of elements arranged in a first predetermined number, and the plurality of microlenses have an arrangement pitch determined based on at least the first predetermined number in the direction.
  • the arrangement pitch of the plurality of microlenses can be determined based on at least the first predetermined number and a selection interval that is an interval between the plurality of selected elements.
  • the arrangement pitch of the plurality of microlenses is a second predetermined number that is the number of the photoelectric conversion elements positioned between the plurality of element groups in the direction, and the first predetermined number.
  • the sum with the number can be determined to be an integral multiple of the selection interval.
  • the plurality of selected elements can be selected based on the positional relationship between the microlens array and the photoelectric conversion element array.
  • the imaging element is selected under a first condition among a microlens array including a plurality of microlenses, a photoelectric conversion element array including a plurality of photoelectric conversion elements, and the plurality of photoelectric conversion elements.
  • an output unit that selectively outputs one of a first plurality of signals from the plurality of elements and a second plurality of signals from the plurality of elements selected under the second condition.
  • the selective output in the output unit can be based on a positional relationship between the microlens array and the photoelectric conversion element array.
  • the plurality of photoelectric conversion elements are a plurality of element groups respectively corresponding to the plurality of microlenses, and a substantial number of the photoelectric conversion elements in each one direction is first.
  • a plurality of element groups that are a predetermined number, and each of the first condition and the second condition is a pattern indicating an array of selected elements and non-selected elements along the direction in each of the plurality of element groups; , And a pattern start position of the pattern.
  • the pattern of the second condition is the same as that of the first condition, and the pattern start position of the second condition can be different from that of the first condition.
  • the pattern of the second condition is the same as that of the first condition, and the pattern start position of the second condition is shifted by one pixel in the direction from that of the first condition. You can do that.
  • SYMBOLS 4 Microlens array, 5 ... Photoelectric conversion element array, 61 ... Output part, 62 ... Image composition part, 63 ... Display control part, 64 ... Focus detection calculating part, 65 ... Lens drive amount calculating part, 7 ... Control circuit, DESCRIPTION OF SYMBOLS 8 ... Drive circuit, 18 ... Display part, 100 ... Focus detection apparatus, 50 ... Image pick-up element part

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　撮像素子が、複数の光電変換素子を連続的に配列した光電変換素子アレイと、光電変換素子アレイの一部の連続した光電変換素子からなる光電変換素子群に対応付けて配置される複数のマイクロレンズを有するとともに、光電変換素子群に含まれる光電変換素子の数に応じたピッチで複数のマイクロレンズを光電変換素子群の配列方向に沿って配列したマイクロレンズアレイと、マイクロレンズを介した光束を光電変換素子で受光して得られる複数の受光信号のうち、複数の光電変換素子から所定間隔で選択した光電変換素子に対応する受光信号を出力する出力部とを備える。

Description

撮像素子、および、撮像装置
　本発明は、撮像素子、および、撮像装置に関する。
　本願は、２００９年１２月２８日に、日本に出願された特願２００９－２９８３６４号に基づき優先権を主張し、その内容をここに援用する。
　撮影レンズからの光束をマイクロレンズアレイの各マイクロレンズを介して複数の受光素子で受光して得られる受光信号を用いて、撮影レンズの任意の像面に焦点のあった画像を合成する画像合成装置を備える撮像装置が知られている（例えば、特許文献１参照）。
特開２００７－４４７１号公報
　ところで、上述のような撮像装置において、複数の受光素子で得られる受光信号を間引いて用いる場合には、用いる信号を出力する受光素子の位置が各マイクロレンズ間で対応したものでなければ、正しい画像を合成することができない。
　本発明に係る態様は、このような事情に鑑みてなされたもので、その目的は、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる撮像素子、および、撮像装置を提供することにある。
　本発明に係る一態様における撮像素子は、複数の光電変換素子を連続的に配列した光電変換素子アレイと、前記光電変換素子アレイの一部の連続した光電変換素子からなる光電変換素子群に対応付けて配置される複数のマイクロレンズを有するとともに、前記光電変換素子群に含まれる前記光電変換素子の数に応じたピッチで前記複数のマイクロレンズを前記光電変換素子群の配列方向に沿って配列したマイクロレンズアレイと、前記マイクロレンズを介した光束を前記光電変換素子で受光して得られる複数の受光信号のうち、前記複数の光電変換素子から所定間隔で選択した光電変換素子に対応する受光信号を出力する出力部とを備える。
　本発明に係る一態様における撮像装置は、上記態様による撮像素子と、前記撮像素子に対して対象の像を結像する光学系とを備える。
　本発明に係る態様によれば、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる。
撮像装置の構成を示すブロック図である。 図１のマイクロレンズアレイと光電変換素子アレイとの関係を示す説明図である。 図２の光電変換素子アレイから第１の間引きパターンで受光信号を読み出す場合を示す説明図である。 図２の光電変換素子アレイから第２の間引きパターンで受光信号を読み出す場合を示す説明図である。 図２の光電変換素子アレイにおいて第１のピッチの場合を説明する説明図である。 図２の光電変換素子アレイにおいて第２のピッチの場合を説明する説明図である。 図２の光電変換素子アレイにおいて第２のピッチの場合を説明する説明図である。 撮像装置の動作の一例を示すフローチャートである。
　図１は、本発明に係る一実施形態における、焦点検出装置１００を備えたデジタル一眼レフカメラ（以下、カメラという）の構成を示す断面図である。なお、本発明の焦点検出装置１００、撮像装置に関わる機器、装置以外のカメラの一般的な機器および装置については図示と説明を省略する。本実施形態のカメラはカメラボディ１にレンズ鏡筒２０が装着され、レンズ鏡筒２０は各種の撮影レンズに交換可能である。なお、本実施形態ではレンズ交換式カメラを例に上げて説明するが、本発明はレンズ交換式カメラに限定されず、レンズ固定式カメラに対しても適用できる。
　レンズ鏡筒２０は、ズーミングレンズ２１、フォーカシングレンズ２２、絞り２４、レンズおよび絞り駆動用アクチュエーター２５、レンズメモリ２６などを備えている。なお、図１ではズーミングレンズ２１とフォーカシングレンズ２２を一つの撮影レンズ２３で代表して表す。ズーミングレンズ２１はアクチュエーター２５により光軸方向に駆動され、撮影レンズ２３の焦点距離を変えるレンズである。
　また、フォーカシングレンズ２２はアクチュエーター２５により光軸方向に駆動され、撮影レンズ２３の焦点調節を行うレンズである。絞り２４はアクチュエーター２５に駆動されて絞り開口径を変化させる。レンズメモリ２６には、撮影レンズ２３の開放Ｆ値、焦点距離などのレンズ鏡筒２０および撮影レンズ２３に関する情報が記憶されている。
　カメラボディ１は、撮像用撮像素子２、シャッター３、撮像素子部５０（撮像素子）、画像合成部６２、表示制御部６３、焦点検出演算部６４、レンズ駆動量演算部６５、制御回路７、駆動回路８、クイックリターンミラー９、サブミラー１０、焦点板１１、透過型液晶表示器１２、ペンタプリズム１３、測光レンズ１４、測光センサ１５、接眼レンズ１６、操作部材１７、および、表示部１８を備えている。
　この撮像素子部５０は、たとえば、マイクロレンズアレイ４と、光電変換素子アレイ５と、出力部６１とを備えている。
　撮像用撮像素子２はＣＣＤやＣＭＯＳなどから構成され、レンズ鏡筒２０内の撮影レンズ（撮像レンズ）２３により結像した被写体像を電気信号に変換して出力する。シャッター３は、レリーズボタン（不図示）の全押し時（シャッターレリーズ時）に露出演算結果によって、または撮影者が手動で設定したシャッター秒時だけ開放され、撮像用撮像素子２を露光する。
　撮像素子部５０と焦点検出演算部６４とは、焦点検出装置１００を構成し、撮影レンズ２３の焦点状態を示すデフォーカス量を検出する。
　レンズ駆動量演算部６５は、焦点検出装置１００の焦点検出演算部６４が検出したデフォーカス量に基づいて、フォーカスレンズ（フォーカシングレンズ）の駆動量を算出する。
　制御回路７はマイクロコンピューターとメモリなどの周辺部品から構成され、測光、焦点検出、撮影などのシーケンス制御や、露出演算などの演算制御を行う。また、制御回路７は、レンズ駆動量演算部６５が算出したレンズ駆動量に基づいて、駆動回路８を介してアクチュエーター２５を駆動して、フォーカシングレンズ２２を合焦駆動する。
　駆動回路８は、レンズ鏡筒２０内に設けられるレンズおよび絞り駆動用アクチュエーター２５を駆動制御する。測光センサ１５は、撮影画面を複数の領域に分割して各領域ごとの輝度に応じた測光信号を出力する。
　また、カメラボディ１には、撮影者が操作する操作部材１７が配置される。操作部材１７には、レリーズボタンの第１ストロークの操作（半押し）時にオンするレリーズ半押しスイッチ、レリーズボタンの第２ストロークの操作（全押し）時にオンするレリーズ全押しスイッチなどが含まれる。レリーズ半押しスイッチが押されると、ＡＦ（オートフォーカシング）の開始を示す信号が制御回路７に入力される。レリーズ全押しスイッチが押されると、撮像の開始を示す信号が制御回路７に入力される。
　撮像用撮像素子２を露光しない状態では、クイックリターンミラー９とサブミラー１０が図１に示すように撮影光路中に位置する。このとき、撮影レンズ２３を透過した被写体からの光の一部は、クイックリターンミラー９に反射されて焦点板（スクリーン）１１へ導かれ、焦点板１１上に被写体像を結像する。透過型液晶表示器１２は、焦点板１１上の被写体像に焦点検出位置を示す情報を重畳して表示するとともに、被写体像外にシャッター速度、絞り値、撮影枚数などの撮影に関する情報を表示する。
　焦点板１１上の被写体像は、ペンタプリズム１３と接眼レンズ１６を介して撮影者により観測可能とされるとともに、ペンタプリズム１３と測光レンズ１４を介して測光センサ１５へ導かれる。制御回路７は、測光センサ１５から出力される測光領域ごとの測光信号に基づいて露出演算を行い、被写体の輝度に応じたシャッター速度と絞り値を算出する。なお、手動露出撮影モード設定時には、撮影者が操作部材１７を操作して設定したシャッター速度と絞り値を用いる。
　一方、撮影レンズ２３を通過した被写体からの光の他の一部は、クイックリターンミラー９を透過してサブミラー１０により反射され、焦点検出装置１００を構成する撮像素子部５０へ導かれる。上述した焦点検出装置１００の焦点検出演算部６４は、この被写体からの光の他の一部に基づいて、撮影レンズ２３の焦点状態を示すデフォーカス量を検出する。
　また、撮像素子部５０は、被写体からの光の他の一部に基づいた画素信号を、予め定められている間引きパターンで間引いて、画像合成部６２に出力する。画像合成部６２は、撮像素子部５０から出力された画素信号に基づいて、画像を合成する。表示制御部６３は、画像合成部６２により合成された画像を、表示部１８に連続的に表示する。これにより、ライブビュー（現時点での被写体の像）表示が可能となる。
　なお、上述した焦点検出装置１００の焦点検出演算部６４は、予め定められている間引きパターンで間引かれて撮像素子部５０から出力される画素信号に基づいて、撮影レンズ２３の焦点状態を示すデフォーカス量を検出してもよい。
　撮影時は、クイックリターンミラー９とサブミラー１０が撮影光路から退避（ミラーアップ）され、シャッター３が開放されて撮影レンズ２３を透過した被写体からの光束が撮像用撮像素子２へ導かれ、撮像用撮像素子２の撮像面に結像された被写体像が撮像される。
　次に、撮像素子部５０の詳細について説明する。ここでは、図２から図４を用いて、撮像素子部５０の構成のうち、マイクロレンズアレイ４と光電変換素子アレイ５との構成の一例について説明する。また出力部６１が、光電変換素子アレイ５から画素信号を間引いて読み出す方法について説明する。
　光電変換素子アレイ５は、複数の光電変換素子が連続的に配列されている。たとえば、光電変換素子アレイ５は、行方向に連続的に配列されている複数の光電変換素子（１行の光電変換素子）が、列方向に連続的に複数配列されている。すなわち、光電変換素子アレイ５は、複数の光電変換素子が、行方向と列方向とに二次元状に配列されている。
　光電変換素子アレイ５は、たとえば図１の場合、図１の紙面に対して垂直となる軸と、図１の紙面に対して横になる（紙面上を水平に横断する）軸とで構成される平面において、上述したように、複数の光電変換素子が、行方向（例えば、上記紙面に対して横になる）と列方向（例えば、上記紙面に対して垂直となる軸）とに二次元状に配列されている。
　マイクロレンズアレイ４は、光電変換素子アレイ５の一部の連続した光電変換素子からなる光電変換素子群に対応付けて配置される複数のマイクロレンズを有する。さらに、このマイクロレンズアレイ４は、後述するように、光電変換素子群に含まれる光電変換素子の数に応じたピッチで複数のマイクロレンズを光電変換素子群の配列方向に沿って配列されている。
　図２は、マイクロレンズアレイ４と光電変換素子アレイ５とを、図１の紙面において上から下の方向に見た場合の平面図である。この図２において、光電変換素子アレイ５の画素の面において、マイクロレンズアレイ４が備える１つのマイクロレンズに対応する領域を円で示して説明する。また、光電変換素子アレイ５の格子状に配列されている画素において、このマイクロレンズに対応する領域内の画素を示して説明する。また、ここでは、１つのマイクロレンズに対して光電変換素子アレイ５の５×５画素が対応する場合について説明する。光電変換素子アレイ５において、複数の光電変換素子は、複数のマイクロレンズにそれぞれ対応する複数の光電変換素子群（素子群）を含む。
　図２の場合、複数のマイクロレンズは、行方向に順に行番号ｍ１、ｍ２、ｍ３、ｍ４、ｍ５・・・とし、かつ、列方向に順に列番号ｎ１、ｎ２、ｎ３、ｎ４、ｎ５・・・として格子状に配置されている。そして、それぞれのマイクロレンズに対応して光電変換素子群が設定されている。各々の光電変換素子群において、行方向に順に行番号ｏ１、ｏ２、ｏ３、ｏ４、ｏ５とし、かつ、列方向に順に列番号ｐ１、ｐ２、ｐ３、ｐ４、ｐ５として、２５個の画素（光電変換素子）が格子状に配置されている。各々の光電変換素子群において、行方向における光電変換素子の実質的な配列数（第１所定数）が５であり、列方向における光電変換素子の実質的な配列数（第１所定数）が５である。
　なお、図２においては、光電変換素子アレイ５が備える画素のうち、マイクロレンズに対応する画素（光電変換素子）のみを示している。しかし、マイクロレンズに対応する画素と画素との間にも画素（光電変換素子）があってもよい（後述する図５、図６Ａおよび図６Ｂを参照）。
　この図２に示すように、光電変換素子アレイ５は、たとえば、行方向に一次元状に配置されている複数の光電変換素子が、列方向に連続的に配列されて、画素が二次元状に配置されている。
　出力部６１は、マイクロレンズを介した光束を光電変換素子アレイ５が備える光電変換素子で受光して得られる複数の受光信号のうち、複数の光電変換素子から一定間隔で選択した光電変換素子に対応する受光信号を出力する。すなわち、出力部６１は、光電変換素子アレイ５が備える光電変換素子を、予め定められている間引きパターンで間引いて読み出して出力する。換言すると、出力部６１は、選択素子及び非選択素子の配列を示すパターンに基づいて選択される光電変換素子の信号（選択された信号）を出力する。
　なお、このマイクロレンズアレイ４と光電変換素子アレイ５とは、位相差方式の焦点検出センサとしても用いることが可能である。
　図３は、間引きパターンの第１例であり、１ライン間引きした場合の例であり、マイクロレンズに対応する光電変換素子の画素の奇数行目を読み出すパターンである。この図３では、読み出す画素（選択素子）を灰色（ドットパターン）で示し、読み出さない画素（非選択素子）を白色（空白パターン）で示している。なお、１ライン間引きとは、１行ごとに画素を間引くパターンのことである。各光電変換素子群における画素（光電変換素子）において、行方向に沿って、選択素子と非選択素子とが１つずつ交互に繰り返される。
　ここで、間引きパターンの理想的な条件は、マイクロレンズに対応する画素の中央部が間引かれていないこと、および、各マイクロレンズに対応する複数の画素において、間引きパターンがすべて同じ構成になっていることである。
　このマイクロレンズに対応する画素の中央部が間引かれていないことが条件となるのは、例えば画像合成する際には、マイクロレンズの中心に対応する画素が合成の基準となり、マイクロレンズの中心に対応する画素を読み出すことが必要であるためである。
　また、各マイクロレンズに対応する複数の画素において間引きパターンがすべて同じ構成になっていることが条件となるのは、例えば画像合成する際、各マイクロレンズに対応する複数の画素毎に画素の間引きパターンが異なってしまうと、画像合成の為の演算が複雑になってしまうためである。
　従って、図３のようであれば、中央の画素列が間引かれておらず、かつ、全てのマイクロレンズに対応する複数の画素において間引きパターンが同じであるので、理想的な間引きパターンである。図３の間引きパターンは、適切な（上記条件を満たす）間引き方の１つである。
　また、図４は、間引きパターンの第２例である。この図４の第２例において、１ライン間引きした場合の例である点は図３の間引きパターンの第１例と同様である。しかし、この図４の第２例においては、マイクロレンズに対応する光電変換素子の画素の偶数行目を読み出すパターンである点が、図３の間引きパターンの第１例とは異なる。
　この場合、中央の画素列が間引かれており、例えば画像合成する際に基準となるマイクロレンズ中心に相当する画素が間引かれている。図４の間引きパターンは、上記条件を満たしていないため、不適切な間引き方の１つとなる。
　このように、同じマイクロレンズアレイ４と光電変換素子アレイ５との組み合わせであるにも関わらず、図３の場合と図４の場合とのように間引き方が適切であるか否かという違いが生じる。この違いは、図３の場合と図４の場合とでは、１ライン間引きという間引きパターンは同様であっても、その読み出し開始位置が異なる。
　上述した図３と図４との場合は、出力部６１は、図３の場合のような間引きパターンで間引いて読み出せばいい。しかし、必ずしも図３の場合が適切とは限らない。マイクロレンズアレイ４と光電変換素子アレイ５との位置関係によっては、図４の場合が適切な場合がありうる。たとえば、図３または図４において、マイクロレンズアレイ４と光電変換素子アレイ５との位置関係が、１画素分だけ上方向または下方向にシフトした場合には、図４の場合が適切となる。
　そこで、出力部６１は、複数の光電変換素子から第１の間隔（パターン）で選択した光電変換素子に対応する受光信号と、第１の間隔（パターン）とは異なる第２の間隔（パターン）で選択した光電変換素子に対応する受光信号とを選択的に出力する。たとえば、出力部６１は、図３に示したような第１の間引きパターンと、図４に示したような第２の間引きパターンとから選択された間引きパターンで、光電変換素子アレイ５から受光信号を間引いて読み出す。
　このことを、一般化して説明する。ここでは、撮像素子の横列を行Ｙ（Ｙは０でない自然数）で識別して説明する。また、ライン間引きのパターンを、１ライン間引きというパターンの場合について説明する。
　この場合、出力部６１は、ライン間引きのパターンは同じとして、間引く行を行Ｙ＝２，４，・・・・２ｎにする場合と、間引く行を行Ｙ＝１，３，５，・・・２ｎ－１にする場合とを選択する。このｎは０でない自然数である。
　そして、マイクロレンズアレイ４と光電変換素子アレイ５との位置関係に基づいて、出力部６１は、この２つの間引きパターンから適切な間引きパターンを選択する。これにより、適切に間引きパターンを選択することができる。そのため、出力部６１は、常に図３のように、光電変換素子アレイ５から受光信号を適切に間引いて読み出すことができる。
　なお、１ライン間引き以外の別のパターンでも、ある程度短い周期でパターン化されているものは、間引く先頭画素をパターンの１周期分設けてやることで、上記のように画像合成時に最適な間引きパターンにすることが出来る。
　なお、上記に図３と図４とを用いて説明したような問題は、製造工程において、マイクロレンズアレイ４と光電変換素子アレイ５との位置関係を精密に調整することで回避することも可能である。
　これに対して本実施形態においては、上述したように、出力部６１が、図３に示したような第１の間引きパターンと、図４に示したような第２の間引きパターンとから選択された間引きパターンで、光電変換素子アレイ５から受光信号を間引いて読み出す。これにより、製造工程において、マイクロレンズアレイ４と光電変換素子アレイ５との位置関係を精密に調整しなくても、光電変換素子アレイ５から受光信号を適切に間引いて読み出すことが出来る。
　ところで、図３のような理想的な間引きパターンにするもう１つの課題として、マイクロレンズアレイ４のピッチ（配列ピッチ、配列間隔、配置パターン）と光電変換素子アレイ５のピッチとの関係がある。次に、このピッチについて、図５と図６Ａおよび図６Ｂとを用いて説明する。ここでは、マイクロレンズに対応する画素と画素（マイクロレンズに対応する光電変換素子群と、別の隣り合うマイクロレンズに対応する光電変換素子群）との間の画素も示して説明する。
　この図５と図６Ａおよび図６Ｂとでは、このマイクロレンズに対応する画素と画素との間の画素の数（中間画素数、第２所定数）が異なる。図５の場合には中間画素数Ｌ１が４行であるのに対して、図６Ａおよび図６Ｂの場合には中間画素数Ｌ２が３行である。
　図５のようなマイクロレンズアレイ４と光電変換素子アレイ５との位置関係の場合、上側のマイクロレンズＡ１に含まれる画素の間引きパターンと、下側のマイクロレンズＡ２に含まれる画素の間引きパターンとが異なる。
　すなわち、上側のマイクロレンズＡ１に含まれる画素の間引きパターンが偶数行を読み出すパターンであるのに対して、下側のマイクロレンズＡ２に含まれる画素の間引きパターンが奇数行を読み出すパターンである。
　ここで、上側のマイクロレンズＡ１と下側のマイクロレンズＡ２とは、たとえば図２において、同じ列であり、かつ、行が連続している２つのマイクロレンズのうち、行が上側となるマイクロレンズと下側となる（行番号がより大きい）マイクロレンズのことである。
　たとえば、上側のマイクロレンズＡ１は、図２において、列番号がｎ１であり、かつ、行番号がｍ１であるマイクロレンズのことである。また、下側のマイクロレンズＡ２は、図２において、列番号がｎ１であり、かつ、行番号がｍ２であるマイクロレンズのことである。
　この図５の場合、上述した条件のうち、各マイクロレンズに対応する複数の画素において間引きパターンがすべて同じ構成になっているという条件が満たされていない。また、上側のマイクロレンズＡ１においては、上述した条件のうち、マイクロレンズに対応する画素の中央部が間引かれていないという条件も満たされていない。よって、不適切な間引き方である。
　これに対して、マイクロレンズのピッチが図６Ａおよび図６Ｂに示すような場合、上側のマイクロレンズＡ１と下側のマイクロレンズＡ２とにおいて、中央の画素列が間引かれておらず、かつ、両方のマイクロレンズに対応する複数の画素において間引きパターンが同じである。よって、図６Ａおよび図６Ｂの場合は、図３および図４の場合と同様に、適切な間引き方である。
　次に、この図５と図６Ａおよび図６Ｂとの間引き方の違いについて説明する。
　図５の間引きの例では、隣り合うマイクロレンズ（Ａ１、Ａ２）間で画像合成に使用しない画素の列（上述した中間画素数）Ｌが、L(L1) = p×2m(p：画素ピッチ、m：０でない自然数)となっている。この場合は、適切な間引き方ではない。そのため、理想的な間引きパターンでの画像合成が難しいことになる。実際には、中途半端な位置関係となる場合もあり得るのでL≠p×(2m-1)である場合は、全て隣り合うマイクロレンズに含まれる画素の構成にズレが生じる。
　なお、画像合成を行う際、例えば撮像素子の左上端の画素と右下端の画素を積算するケースは低く、基準となるマイクロレンズに対して近接しているマイクロレンズに含まれる画素が積算対象となるケースが多いので、p×2mに対しある程度の範囲までは大きな影響とはなりにくい可能性もある。
　これに対して、マイクロレンズのピッチが図６Ａおよび図６Ｂに示すような場合、隣り合うマイクロレンズ（Ａ１、Ａ２）間で画像合成に使用しない画素の列がL(L2) = p×(2m-1) (p：画素ピッチ、m：０でない自然数)となっている。この場合は、適切な間引き方である。
　このように、マイクロレンズのピッチは、選択された光電変換素子の間隔と光電変換素子群に含まれる光電変換素子の数とに応じて決める。
　なお、本実施形態では、間引きパターンとして１ライン間引きの場合（所定の方向に沿って、選択素子と非選択素子とが１つずつ交互に繰り返される場合）について説明しているが、他の実施形態において、他の間引きパターンを採用できる。例えば、他の実施形態において、所定の方向に沿って、選択素子と非選択素子とが２又は３ずつ交互に繰り返すようにできる。あるいは、所定の方向に沿って、１つの選択素子と２つの非選択素子とが連続するパターンが交互に繰り返すようにできる。あるいは、所定の方向に沿って、２つの選択素子と１つの非選択素子とが連続するパターンが交互に繰り返すようにできる。他の実施形態においても、例えば、各マイクロレンズ内に含まれる画素の構成が同じになるように、間引きパターンに応じて、マイクロレンズと画素との位置関係（ピッチの関係）を決めてやればよい。
　間引きパターンが任意の場合、マイクロレンズのピッチは、マイクロレンズアレイ４のうち互いに隣接する複数のマイクロレンズに対応する複数の光電変換素子群の間に位置する光電変換素子の数（第２所定数、所定の方向における複数の素子群の各間に実質的に位置する光電変換素子の数）と、光電変換素子群に含まれる光電変換素子の数（第１所定数、各光電変換素子群の所定の方向における光電変換素子の実質的な配列数）との和が、出力部６１によって選択された光電変換素子の間隔（選択間隔）の整数倍となるように決定される。
　このようになっていれば、１ライン間引きの場合と同様に、中央の画素列が間引かれておらず、かつ、両方のマイクロレンズに対応する複数の画素において間引きパターンとすることができる。よって、適切に間引くことができる。
　なお、出力部６１の回路構成として、光電変換素子アレイ５が備える格子状に配置されている画素の各行に対応してセンスアンプを設けておき、このセンスアンプを介して、画素から画素情報を読み出すことがある。このセンスアンプは、全ての行に１対１に設けられているのではなく、複数の行で共有されている場合がある。たとえば、列方向に連続している２つの行で、１つのセンスアンプが共有されている場合がある。これは、センスアンプの個数を減ずるためである。
　このような場合、図３および図４を用いて説明したように、間引きパターンとして１ライン間引きとすることは好適である。これは、それぞれのセンスアンプにおいて、共有対象である２つの行のうち、いずれか一方のみを読み出すことでよく、間引いて読み出す場合の制御が簡易であるからである。
　次に、図７を用いて、本実施形態による撮像装置１の動作の一例について説明する。ここでは、撮像素子部５０から画像情報を間引いて読み出し、画像合成してスルー画として表示部１８に表示する場合の動作の一例について説明する。すなわち、スルー画表示（ライブビュー表示）する場合の撮像装置１の動作の一例について説明する。
　まず、ステップＳ９０１において、出力部６１は、光電変換素子アレイ６１の撮像素子から画素信号を間引いて読み出し、読み出した画素信号を焦点検出装置６４および画像合成部（画像処理部）６２に出力する。この間引いて読み出す場合の間引きパターンは、上記説明した２つの条件を満たしている。
　次にステップＳ９０２において、制御回路７には、レンズ鏡筒２０が備える撮影レンズ２３のレンズ情報を、レンズ鏡筒２０から入力される。このレンズ情報とは、フォーカスレンズの現在位置、焦点距離、開放Ｆ値などの画像合成に用いられる情報である。
　たとえば、フォーカスレンズの現在位置は、レンズ鏡筒２０が備えるエンコーダ（不図示）により検出される。そして、制御回路７は、検出されたフォーカスレンズの現在位置を、このエンコーダから読み出す。また、制御回路７は、焦点距離および開放Ｆ値などの情報を、レンズ鏡筒２０が備えるレンズメモリ２６から読み出す。
　次にステップＳ９０３において、制御回路７には、合成情報が入力される。この合成情報とは、どのような絞りで初期画像を表示させるかの設定を示す情報である。たとえば、ユーザが操作部材１７を操作することにより、この合成情報を設定する。ユーザは、たとえば、動画像をパンフォーカス像で表示したい場合は、最小絞りに設定することを示す合成情報を、制御回路７に操作部材１７を介して入力する。これにより、最小絞りでの合成画像でスルー画表示可能である。（この合成情報に基づき、スルー画表示の際に、最小絞りでの合成画像を表示する制御を行なうことができる。）このように、設定された合成情報が、操作部材１７を介して、制御回路７に入力される。
　次にステップＳ９０４において、画像合成部６２は、制御回路７に入力されたレンズ情報および合成情報に基づいて、現在のレンズ位置の像面にピントが合焦した画像を生成できるように、出力部６１から出力された画素信号を画像合成する。
　次にステップＳ９０５において、表示制御部６３は、画像合成部６２により合成された画像（合成画面）を、表示部１８に表示する。既に表示部１８に合成画像が表示されている場合には、表示制御部６３は、表示部１８に表示されている合成画像を、画像合成部６２により合成された合成画面に変更する。
　次にステップＳ９０６において、制御回路７は、ユーザがエリア位置の選択をしたか否かを判定する。たとえば、操作部材１７がタッチパネルなどを備えており、このタッチパネルをユーザは操作する。そして、ユーザは、タッチパネル上の所定の位置を選択することにより、エリア位置を選択する。制御回路７は、タッチパネルである操作部材１７により、ユーザが所定の位置を選択したか否かを判定することにより、ユーザがエリア位置の選択をしたか否かを判定する。
　このステップＳ９０６において、ユーザがエリア位置の選択をしたと判定されない場合には、制御回路７は、ステップＳ９０１からの処理を繰り返す。一方、このステップＳ９０６において、ユーザがエリア位置の選択をしたと判定された場合には、制御回路７は、処理をステップＳ９０７に進める。
　次にステップＳ９０７からステップＳ９０９において、上述したステップＳ９０１からステップＳ９０６と同様の処理が実行される。
　次にステップＳ９１０において、焦点検出演算部６４は、出力部６１から出力された画素信号に基づいて、選択被写体の像面位置を算出する。この算出方法としては、たとえば、瞳分割式の位相差ＡＦの原理を用いて、焦点位置を検出する。または、合成可能範囲から選択したエリア範囲のコントラスト値を算出し、ピークが検出されればその位置（選択したエリア範囲）を選択被写体の像面位置とする。
　次にステップＳ９１１において、制御回路７は、ステップＳ９１０で算出した像面位置が、現在のレンズ位置から合成可能な合成範囲内にあるか否かを判定する。
　例えば、ステップＳ９１０で瞳分割式の位相差ＡＦの原理を用いた場合には、制御回路７は、デフォーカス量と、現在のレンズ位置から決められる合成可能範囲とを比較することにより、合成可能な合成範囲内にあるか否かを判定する。
　このステップＳ９１１において、合成可能な合成範囲内にないと判定された場合、ステップＳ９１２において、制御回路７は、合成可能範囲内となるように、駆動回路８を介してアクチュエーター２５を駆動して、フォーカシングレンズ２２を合焦駆動する。すなわち、選択被写体が合成範囲にない場合には、制御回路７は、選択被写体の合成可能範囲内へフォーカシングレンズ２２を駆動させる。
　たとえば、瞳分割式の位相差ＡＦの場合、デフォーカス量が算出されているため、制御回路７は、合成範囲内ではなく焦点面まで、フォーカシングレンズ２２を直接駆動してもよい。また、コントラストを算出する場合は、制御回路７は、コントラストのピーク位置を検出し、この検出したピーク位置へフォーカシングレンズ２２を駆動する。
　上述したステップＳ９１１またはステップ９１２に続いて、次にステップＳ９１３からステップＳ９１５において、上述したステップＳ９０１からステップＳ９０６と同様の処理が実行される。
　次にステップＳ９１６において、画像合成部６２は、出力部６１から出力された画素信号に基づいて、主要被写体の像面位置でピントが合ったとされる画像合成を行う。
　次にステップＳ９１７において、表示制御部６３は、ステップＳ９０５の場合と同様に、画像合成部６２により合成された画像（合成画面）を表示部１８に表示する。その後、たとえば、ステップＳ９０１からの処理が繰り返される。
　このように、上述したステップＳ９１１において、合成可能な合成範囲内にあると判定された場合は、現在のレンズ位置で合成処理を行っても、主要被写体にピントの合った画像を合成可能である。そのため、制御回路７は、フォーカシングレンズ２２を駆動させずに画像合成を行う。
　一方、上述したステップＳ９１１において、合成可能な合成範囲内にないと判定された場合は、制御回路７は、ステップＳ９１１の処理によりフォーカシングレンズ２２を駆動した後、画像合成を行う。
　これにより、合成可能な合成範囲内にある場合であっても、ない場合であっても、撮像装置は、適切に画像を合成することができる。
　なお、この図７の説明においては、画像合成部６２により合成された画像（合成画面）を表示部１８に表示する場合について説明したが、この合成画像は、記録媒体に静止画または動画として記録されてもよい。
　ところで、光電変換素子アレイ５が備える撮像素子の画素を全画素読出しながら、この読み出した画像を合成する場合、画像合成部６２などの演算装置の処理速度にもよるが、一般的に処理時間は長くかかる。そして、ライブビューなどの動画を表示する場合のように、リアルタイムで画像合成する必要がある場合には、画像合成部６２などの演算装置の処理速度の関係から、適切に合成できなくなる可能性がある。
　本実施形態のようにマイクロレンズアレイ４を用いない通常のカメラに用いられる撮像素子においては、演算を高速にするための撮像素子の間引きモードは各種あるが、同じパターンで、異なる列を間引くようなモードはないのが常である。
　このような通常のカメラとは異なり、本実施形態のようにマイクロレンズアレイ４を用いる撮像装置においては、上述したように光電変換素子アレイ５が備える画素とマイクロレンズアレイ４が備えるマイクロレンズとの位置関係が重要である。また、画素を間引く場合、マイクロレンズのピッチと間引きパターンを適切に構成する。これは、マイクロレンズアレイを通過し受光素子に入射した光の情報を適切に間引いて出力するためである。
　また、図７を用いて説明したようにリアルタイムで画像合成を行う場合には、間引く処理が特に必要となってくる。本実施形態によれば、光電変換素子アレイ５が備える撮像素子の画素から、適切に間引いて画素信号を読み出すことができる。これにより、画素信号のデータ量を減じることができる。よって、画像合成部６２などの演算装置の処理速度が高くない場合であっても、データ量が減じられているために、画像合成部６２は画素信号を適切に合成できる。なお、静止画撮影での画像合成の場合は、出力部６１は、画素を間引かなくてもよい。
　以上説明したように、本実施形態によれば、マイクロレンズアレイを通過し受光素子に入射した光の情報を、適切に間引いて出力することができる。そのため、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる。
　また、本実施形態によれば、マイクロレンズの中心に位置する画素を間引かないようにすることが可能になる。また、同じ間引きパターンでも、対象となる画素列を異ならせることで、各マイクロレンズに含まれる画素の間引きパターンを同じにすることが可能になり、かつ、合成する際の演算が簡単になる。また、間引くことで、処理時間が短縮され、動画撮影時にリアルタイムでの画像合成が行いやすくなる。
　一実施形態において、撮像素子は、複数のマイクロレンズを含むマイクロレンズアレイと、複数の光電変換素子を含む光電変換素子アレイと、前記複数の光電変換素子のうちの選択された複数の素子からの、選択された複数の信号を出力する出力部と、を備え、前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の１つの方向における前記光電変換素子の実質的な配列数が第１所定数である前記複数の素子群を含み、前記複数のマイクロレンズは、前記方向において、少なくとも前記第１所定数に基づいて定められた配列ピッチを有する。
　この実施形態において、前記複数のマイクロレンズの前記配列ピッチは、少なくとも、前記第１所定数と、前記選択された複数の素子の間隔である選択間隔とに基づいて定めることができる。
　また、この実施形態において、前記複数のマイクロレンズの前記配列ピッチは、前記方向における前記複数の素子群の各間に位置する前記光電変換素子の数である第２所定数と、前記第１所定数との和が、前記選択間隔の整数倍となるように定めることができる。
　また、この実施形態において、前記選択された複数の素子は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づいて選択できる。
　一実施形態において、撮像素子は、複数のマイクロレンズを含むマイクロレンズアレイと、複数の光電変換素子を含む光電変換素子アレイと、前記複数の光電変換素子のうちの、第１条件で選択された複数の素子からの第１の複数の信号と、第２条件で選択された複数の素子からの第２の複数の信号とのいずれかを選択的に出力する出力部と、を備える。
　この実施形態において、前記出力部における前記選択的な出力は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づくことができる。
　また、この実施形態において、前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の１つの方向における前記光電変換素子の実質的な配列数が第１所定数である前記複数の素子群を含み、前記第１条件及び前記第２条件はそれぞれ、各々の前記複数の素子群における、前記方向に沿った選択素子及び非選択素子の配列を示すパターンと、前記パターンのパターン開始位置とを含む、ことができる。
　また、この実施形態において、前記第２条件の前記パターンが、前記第１条件のそれと同じであり、前記第２条件の前記パターン開始位置が、前記第１条件のそれと異なるようにできる。
　また、この実施形態において、前記第２条件の前記パターンが、前記第１条件のそれと同じであり、前記第２条件の前記パターン開始位置が、前記第１条件のそれから前記方向に１画素分シフトするようにできる。
　以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
　４…マイクロレンズアレイ、５…光電変換素子アレイ、６１…出力部、６２…画像合成部、６３…表示制御部、６４…焦点検出演算部、６５…レンズ駆動量演算部、７…制御回路、８…駆動回路、１８…表示部、１００…焦点検出装置、５０…撮像素子部

Claims (20)

  1. 　複数のマイクロレンズを含むマイクロレンズアレイと、
    　複数の光電変換素子を含む光電変換素子アレイと、
    　前記複数の光電変換素子のうちの選択された複数の素子からの、選択された複数の信号を出力する出力部と、を備え、
    　前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の１つの方向における前記光電変換素子の実質的な配列数が第１所定数である前記複数の素子群を含み、
    　前記複数のマイクロレンズは、前記方向において、少なくとも前記第１所定数に基づいて定められた配列ピッチを有する、撮像素子。
  2. 　請求項１に記載の撮像素子において、
    　前記複数のマイクロレンズの前記配列ピッチは、少なくとも、前記第１所定数と、前記選択された複数の素子の間隔である選択間隔とに基づいて定められる、撮像素子。
  3. 　請求項２に記載の撮像素子において、
    　前記複数のマイクロレンズの前記配列ピッチは、前記方向における前記複数の素子群の各間に位置する前記光電変換素子の数である第２所定数と、前記第１所定数との和が、前記選択間隔の整数倍となるように定められる、撮像素子。
  4. 　請求項１から３のいずれか一項に記載の撮像素子において、
    　前記選択された複数の素子は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づいて選択される、撮像素子。
  5. 　請求項１から４のいずれか一項に記載の撮像素子と、
    　前記撮像素子に対して対象の像を結像する光学系と、を備えた撮像装置。
  6. 　請求項５に記載の撮像装置において、
    　前記出力部から出力された信号のうち、前記光学系の特定の像面の位置に対応して選択された信号に基づいて画像を合成する画像合成部をさらに備えることを特徴とする撮像装置。
  7. 　請求項６に記載の撮像装置において、
    　前記出力部から繰り返し出力される信号に基づいて前記画像合成部によって合成された画像を動画として表示する表示部をさらに備えたことを特徴とする撮像装置。
  8. 　請求項７に記載の撮像装置において、
    　前記画像合成部によって前記光学系の第１の像面に対応する第１の動画を前記表示部に表示するとともに、前記第１の像面とは異なる第２の像面に対応する第２の動画を、前記第１の動画に代えて表示する制御部とを備えることを特徴とする撮像装置。
  9. 　複数のマイクロレンズを含むマイクロレンズアレイと、
    　複数の光電変換素子を含む光電変換素子アレイと、
    　前記複数の光電変換素子のうちの、第１条件で選択された複数の素子からの第１の複数の信号と、第２条件で選択された複数の素子からの第２の複数の信号とのいずれかを選択的に出力する出力部と、
    　を備えた撮像素子。
  10. 　請求項９に記載の撮像素子において、
    　前記出力部における前記選択的な出力は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づく、撮像素子。
  11. 　請求網９又は１０に記載の撮像素子において、
    　前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の１つの方向における前記光電変換素子の実質的な配列数が第１所定数である前記複数の素子群を含み、
    　前記第１条件及び前記第２条件はそれぞれ、各々の前記複数の素子群における、前記方向に沿った選択素子及び非選択素子の配列を示すパターンと、前記パターンのパターン開始位置とを含む、撮像素子。
  12. 　請求項９から１１のいずれか一項に記載の撮像素子において、
    　前記第２条件の前記パターンが、前記第１条件のそれと同じであり、
    　前記第２条件の前記パターン開始位置が、前記第１条件のそれと異なる、撮像素子。
  13. 　請求項９から１２のいずれか一項に記載の撮像素子において、
    　前記第２条件の前記パターンが、前記第１条件のそれと同じであり、
    　前記第２条件の前記パターン開始位置が、前記第１条件のそれから前記方向に１画素分シフトしている、撮像素子。
  14. 　請求項９から１３のいずれか一項に記載の撮像素子において、
    　前記複数のマイクロレンズは、前記方向において、少なくとも前記第１所定数に基づいて定められた配列ピッチを有する、撮像素子。
  15. 　請求項９から１４のいずれか一項に記載の撮像素子において、
    　前記複数のマイクロレンズの前記配列ピッチは、少なくとも、前記第１所定数と、前記選択された複数の素子の間隔である選択間隔とに基づいて定められる、撮像素子。
  16. 　請求項９から１５のいずれか一項に記載の撮像素子において、
    　前記複数のマイクロレンズの前記配列ピッチは、前記複数の素子群の各間に位置する前記光電変換素子の数である第２所定数と、前記第１所定数との和が、前記選択間隔の整数倍となるように定められる、撮像素子。
  17. 　請求項１から１６のいずれか一項に記載の撮像素子と、
    　前記撮像素子に対して対象の像を結像する光学系と、を備えた撮像装置。
  18. 　請求項１７に記載の撮像装置において、
    　前記出力部から出力された信号のうち、前記光学系の特定の像面の位置に対応して選択された信号に基づいて画像を合成する画像合成部をさらに備えることを特徴とする撮像装置。
  19. 　請求項１８に記載の撮像装置において、
    　前記出力部から繰り返し出力される信号に基づいて前記画像合成部によって合成された画像を動画として表示する表示部をさらに備えたことを特徴とする撮像装置。
  20. 　請求項１９に記載の撮像装置において、
    　前記画像合成部によって前記光学系の第１の像面に対応する第１の動画を前記表示部に表示するとともに、前記第１の像面とは異なる第２の像面に対応する第２の動画を、前記第１の動画に代えて表示する制御部とを備えることを特徴とする撮像装置。
PCT/JP2010/073731 2009-12-28 2010-12-28 撮像素子、および、撮像装置 WO2011081187A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011547718A JP5970816B2 (ja) 2009-12-28 2010-12-28 画像処理装置、撮像素子、および、撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009298364 2009-12-28
JP2009-298364 2009-12-28

Publications (1)

Publication Number Publication Date
WO2011081187A1 true WO2011081187A1 (ja) 2011-07-07

Family

ID=44226589

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/073731 WO2011081187A1 (ja) 2009-12-28 2010-12-28 撮像素子、および、撮像装置

Country Status (2)

Country Link
JP (1) JP5970816B2 (ja)
WO (1) WO2011081187A1 (ja)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013172219A (ja) * 2012-02-20 2013-09-02 Canon Inc 撮像装置
WO2013105672A3 (en) * 2012-01-13 2013-10-31 Canon Kabushiki Kaisha Image pickup apparatus, control method therefor and image pickup system
JP2013254114A (ja) * 2012-06-07 2013-12-19 Canon Inc 撮像装置、制御方法、及びプログラム
JP2014081519A (ja) * 2012-10-17 2014-05-08 Nippon Hoso Kyokai <Nhk> 撮影装置および表示装置
JP2014209722A (ja) * 2013-03-25 2014-11-06 キヤノン株式会社 撮像装置及びその制御方法
JP2015520992A (ja) * 2012-05-09 2015-07-23 ライトロ, インコーポレイテッドLytro, Inc. ライトフィールドの取り込み及び操作を改善するための光学系の最適化
WO2018155019A1 (en) * 2017-02-22 2018-08-30 Omron Corporation Optical sensor, learning apparatus, and image processing system
US10205896B2 (en) 2015-07-24 2019-02-12 Google Llc Automatic lens flare detection and correction for light-field images
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10552947B2 (en) 2012-06-26 2020-02-04 Google Llc Depth-based image blurring
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004471A (ja) * 2005-06-23 2007-01-11 Nikon Corp 画像合成方法及び撮像装置
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
JP2009130580A (ja) * 2007-11-22 2009-06-11 Nikon Corp 撮像素子および撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5515396B2 (ja) * 2009-05-08 2014-06-11 ソニー株式会社 撮像装置
JP5490514B2 (ja) * 2009-12-22 2014-05-14 三星電子株式会社 撮像装置及び撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004471A (ja) * 2005-06-23 2007-01-11 Nikon Corp 画像合成方法及び撮像装置
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
JP2009130580A (ja) * 2007-11-22 2009-06-11 Nikon Corp 撮像素子および撮像装置

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
WO2013105672A3 (en) * 2012-01-13 2013-10-31 Canon Kabushiki Kaisha Image pickup apparatus, control method therefor and image pickup system
GB2513280B (en) * 2012-01-13 2019-02-13 Canon Kk Image pickup apparatus, control method therefor and image pickup system
GB2513280A (en) * 2012-01-13 2014-10-22 Canon Kk Image pickup apparatus, control method therefor and image pickup system
US9392193B2 (en) 2012-01-13 2016-07-12 Canon Kabushiki Kaisha Image pickup apparatus, control method therefor and image pickup system
JP2013172219A (ja) * 2012-02-20 2013-09-02 Canon Inc 撮像装置
JP2015520992A (ja) * 2012-05-09 2015-07-23 ライトロ, インコーポレイテッドLytro, Inc. ライトフィールドの取り込み及び操作を改善するための光学系の最適化
US9866810B2 (en) 2012-05-09 2018-01-09 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
JP2013254114A (ja) * 2012-06-07 2013-12-19 Canon Inc 撮像装置、制御方法、及びプログラム
US10552947B2 (en) 2012-06-26 2020-02-04 Google Llc Depth-based image blurring
JP2014081519A (ja) * 2012-10-17 2014-05-08 Nippon Hoso Kyokai <Nhk> 撮影装置および表示装置
JP2014209722A (ja) * 2013-03-25 2014-11-06 キヤノン株式会社 撮像装置及びその制御方法
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10205896B2 (en) 2015-07-24 2019-02-12 Google Llc Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
WO2018155019A1 (en) * 2017-02-22 2018-08-30 Omron Corporation Optical sensor, learning apparatus, and image processing system
US11563903B2 (en) 2017-02-22 2023-01-24 Omron Corporation Optical sensor, learning apparatus, and image processing system for selection and setting light-receving elements
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface

Also Published As

Publication number Publication date
JPWO2011081187A1 (ja) 2013-05-13
JP5970816B2 (ja) 2016-08-17

Similar Documents

Publication Publication Date Title
JP5970816B2 (ja) 画像処理装置、撮像素子、および、撮像装置
JP5388544B2 (ja) 撮像装置およびそのフォーカス制御方法
JP5043626B2 (ja) 撮像装置
JP5034556B2 (ja) 焦点検出装置および撮像装置
EP2181349B1 (en) Image sensing apparatus
JP5662667B2 (ja) 撮像装置
CN102318335B (zh) 摄像设备
JP4952060B2 (ja) 撮像装置
CN102687499B (zh) 摄像设备
JP5003132B2 (ja) 撮像素子および撮像装置
WO2011004686A1 (en) Focus detection apparatus
WO2012132306A1 (en) Lens driving control apparatus and lens apparatus
JP4995002B2 (ja) 撮像装置、合焦装置、撮像方法および合焦方法
JP6465704B2 (ja) 撮像装置及びその制御方法
JP5169541B2 (ja) 撮像装置
JP2008310072A (ja) デジタルカメラ
JP2013113857A (ja) 撮像装置及びその制御方法
JP6561437B2 (ja) 焦点調節装置および撮像装置
JP2014123050A (ja) 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置
JP2012083584A (ja) 撮像装置
JP5240591B2 (ja) 撮像装置、合焦装置、撮像方法および合焦方法
JP5157525B2 (ja) 撮像装置
JP6234094B2 (ja) 焦点検出装置および撮像装置
JP2019074634A (ja) 撮像装置
JP6890766B2 (ja) 検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10841042

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011547718

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10841042

Country of ref document: EP

Kind code of ref document: A1