WO2015198875A1 - イメージセンサ、演算方法、および電子装置 - Google Patents

イメージセンサ、演算方法、および電子装置 Download PDF

Info

Publication number
WO2015198875A1
WO2015198875A1 PCT/JP2015/066829 JP2015066829W WO2015198875A1 WO 2015198875 A1 WO2015198875 A1 WO 2015198875A1 JP 2015066829 W JP2015066829 W JP 2015066829W WO 2015198875 A1 WO2015198875 A1 WO 2015198875A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
light
shielding
shielded
region
Prior art date
Application number
PCT/JP2015/066829
Other languages
English (en)
French (fr)
Inventor
乾一 佐野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/318,751 priority Critical patent/US10212332B2/en
Publication of WO2015198875A1 publication Critical patent/WO2015198875A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present disclosure relates to an image sensor, a calculation method, and an electronic device, and more particularly, to an image sensor, a calculation method, and an electronic device that are suitable for use when an image plane phase difference AF (Auto-Focus) function is implemented.
  • image plane phase difference AF Auto-Focus
  • image plane phase difference AF is known as a method of autofocus.
  • the solid-state imaging device that realizes the image plane phase difference AF, in addition to normal pixels for obtaining pixel signals, light-shielding pixels for dividing the incident light into pupils are arranged at predetermined positions. More specifically, a plurality of pairs of right-side light-shielding pixels where the right side of the light-receiving surface is shielded and left-side light-shielding pixels where the left side of the light-receiving surface is shielded are arranged in a straight line. Then, the focal position of the lens is adjusted based on the phase difference obtained from the light shielding pixels (see, for example, Patent Document 1).
  • the present disclosure has been made in view of such a situation, and is intended to increase the degree of freedom of arrangement of light-shielding pixels and to detect a phase difference with high accuracy.
  • An image sensor includes a pixel portion in which a light-shielded pixel is arranged between normal pixels arranged vertically and horizontally, and a texture around the light-shielded pixel as a pixel of interest existing in the region of interest.
  • the generation unit can further detect a phase difference between the light-shielded pixel existing in the region of interest and the surrounding normal pixels based on the generated correlation histogram.
  • the setting unit generates a normal pixel column located in the light-shielding direction of the light-shielding pixel with the light-shielding pixel as a target pixel as a center, determines a texture of the normal pixel column, and sets a weighting coefficient based on the texture can do.
  • the setting unit can generate, by interpolation, a normal pixel row having the same color as the light-shielding pixel and positioned in the light-shielding direction of the light-shielding pixel with the light-shielding pixel as the target pixel as a center.
  • the setting unit can remove noise of the generated normal pixel row, determine a texture of the normal pixel row after the noise removal, and set a weighting coefficient based on the texture.
  • the setting unit can perform at least one of dynamic range determination, monotonic increase / decrease determination, or saturation determination as texture determination.
  • the image sensor according to the first aspect of the present disclosure may further include a selection unit that selects the region of interest.
  • the selection unit can select the attention area based on the section selected by the user from among the screens divided into a plurality of sections.
  • the selection unit can extract an area having the same depth on the section selected by the user as the attention area.
  • the calculation unit can correct the luminance value of the light-shielding pixel as the pixel of interest and calculate a correlation value between the corrected luminance value and the luminance value of the normal pixel around the light-shielding pixel.
  • the generation unit can calculate the reliability of the detected phase difference based on the generated correlation histogram.
  • one of the first light-shielding pixel in which the first region of the light-receiving surface is shielded and the second left-side light-shielding pixel in which the second region different from the first region of the light receiving surface is shielded It can be arranged sparsely in the light-shielding direction and regularly and evenly arranged on the entire screen.
  • one of the first light-shielding pixel in which the first region of the light-receiving surface is shielded and the second left-side light-shielding pixel in which the second region different from the first region of the light receiving surface is shielded It can be arranged randomly on the entire screen.
  • both the first light-shielding pixel in which the first region of the light-receiving surface is shielded and the second left-side light-shielding pixel in which the second region different from the first region of the light receiving surface is shielded It can be arranged randomly on the entire screen.
  • one of the first light-shielding pixel in which the first region of the light-receiving surface is shielded and the second left-side light-shielding pixel in which the second region different from the first region of the light receiving surface is shielded It can be arranged linearly in the light shielding direction.
  • both the first light-shielding pixel in which the first region of the light-receiving surface is shielded and the second left-side light-shielding pixel in which the second region different from the first region of the light receiving surface is shielded A pair may be arranged in a straight line in the light shielding direction.
  • one of the first light-shielding pixel in which the first region of the light-receiving surface is shielded and the second left-side light-shielding pixel in which the second region different from the first region of the light receiving surface is shielded It can be arranged in multiple rows.
  • both the first light-shielding pixel in which the first region of the light-receiving surface is shielded and the second left-side light-shielding pixel in which the second region different from the first region of the light receiving surface is shielded It can be arranged in a plurality of rows in pairs.
  • the calculation method includes a position between the light-shielded pixel and the surrounding normal pixels in an image sensor including a pixel unit in which light-shielded pixels are arranged between normal pixels arranged vertically and horizontally.
  • An electronic device is an electronic device in which an image sensor is mounted, and the image sensor includes a pixel unit in which light-shielding pixels are arranged between normal pixels arranged vertically and horizontally;
  • a setting unit configured to determine a texture around the light-shielded pixel as a target pixel existing in the region and set a weighting coefficient based on the texture; a pixel value of the light-shielded pixel as the target pixel;
  • a calculation unit for calculating a correlation value with a pixel value of the surrounding normal pixel; and multiplying the correlation value calculated with respect to the light-shielded pixel by the weighting coefficient to identify the light-shielded pixel present in the region of interest.
  • a generating unit that generates a correlation histogram by accumulating only.
  • a texture around a light-shielding pixel as a pixel of interest existing in the region of interest is determined, a weighting coefficient is set based on the texture, and the light-shielding as the pixel of interest
  • a correlation value between a pixel value of the pixel and a pixel value of the normal pixel around the light-shielded pixel is calculated, the correlation value calculated for the light-shielded pixel is multiplied by the weighting coefficient, and the region of interest is The correlation histogram is generated by integrating the light-shielding pixels that are present.
  • the first and second aspects of the present disclosure it is possible to increase the degree of freedom of arrangement of the light-shielding pixels and detect the phase difference with high accuracy.
  • FIG. 26 is a block diagram illustrating a configuration example of an imaging apparatus to which the present disclosure is applied. It is a figure which shows the 1st example of arrangement
  • FIG. 1 illustrates a configuration example of an imaging apparatus to which the present disclosure is applied.
  • the imaging apparatus 10 has an image plane phase difference AF function, and includes an optical lens unit 11, a lens driving unit 12, an image sensor 13, an image data generation unit 14, and a recording unit 15.
  • the optical lens unit 11 includes an optical lens group, a diaphragm, and the like, and focuses a subject image on the pixel unit 21 of the image sensor 13.
  • the optical lens unit 11 moves the focus based on a focus control signal from the lens driving unit 12.
  • the lens driving unit 12 generates a focus control signal based on the phase difference signal supplied from the image sensor 13 and outputs the focus control signal to the optical lens unit 11.
  • the image sensor 13 includes a pixel unit 21 and a phase difference signal generation unit 22.
  • the pixel unit 21 includes light shielding pixels arranged between a large number of normal pixels arranged vertically and horizontally, and generates raw data of each pixel according to the optical image of the subject collected by the optical lens unit 11. The data is output to the image data generation unit 14 and the phase difference signal generation unit 22.
  • FIG. 2 shows a first arrangement example of the light shielding pixels in the pixel unit 21.
  • the right-side light-shielding pixel 41 in which the right side of the light-receiving surface is shielded is in the light-shielding direction (the direction in which the light-shielded portions of the light-receiving surface are connected. (Direction) is sparse, and is regularly and evenly arranged on the entire screen. According to the first arrangement example, it is possible to detect a phase difference robustly in various imaging scenes while suppressing deterioration in image quality. Other arrangement examples of the light shielding pixels in the pixel unit 21 will be described later.
  • the phase difference signal generation unit 22 detects the phase difference signal using the raw data of each pixel from the pixel unit 21 as an input, and outputs the detected phase difference signal to the lens driving unit 12.
  • the image data generation unit 14 performs predetermined signal processing on the raw data of each pixel from the pixel unit 21 to generate image data and output it to the recording unit 15.
  • the recording unit 15 records the image data on a predetermined recording medium or outputs the image data to the outside.
  • FIG. 3 shows a detailed configuration example of the phase difference signal generation unit 22.
  • the phase difference signal generation unit 22 includes a region selection unit 31, a texture determination unit 32, a correlation calculation unit 33, and a phase difference calculation unit 34.
  • the region selection unit 31 extracts a region for detecting a phase difference (a region in which a subject to be focused is captured) on the screen represented by the raw data of each pixel from the pixel unit 21.
  • FIG. 4 is a diagram for explaining a process of extracting a region for detecting a phase difference.
  • a detection section 51 designated by the user is selected from an image divided into a plurality of rectangular sections, and then, as shown in FIG. B, the selected detection section 51 is selected.
  • the region 52 that may have the same depth (distance from the imaging device 10) is extracted.
  • the partition for dividing the screen includes at least one light-shielded pixel. There are no restrictions on its size or shape. In other words, the section specified by the user can be divided into more various shapes.
  • a method for extracting an area that may have the same depth will be described.
  • a method using color information and edge information is adopted as an example of a method for easily extracting a region having the same depth.
  • a region having the same depth may be referred to as a region having the same depth.
  • a face recognition technique or the like may be adopted, and areas individually identified by the technique may be handled as areas having the same depth.
  • the texture determination unit 32 generates a normal pixel row corresponding to each light-shielded pixel existing in the region 52 extracted by the region selection unit 31.
  • FIG. 5 is a diagram for explaining generation of a normal pixel row for a light-shielded pixel.
  • a normal pixel row for the light-shielding pixel 41 in the center of the figure attention is paid to a pixel row 42 having a predetermined length (9 pixels in the figure) in the light-shielding direction around the light-shielding pixel 41.
  • a pixel row 42 of interest for the normal pixel of a color (B in the figure) that is different from the color (G in the figure) at the position of the light-shielded pixel 41, Interpolation is performed using normal pixels of the same color as the position (G in the figure).
  • the light-shielding pixel 41 is also interpolated using normal pixels of the same color (G in the figure) as the position of the light-shielding pixel 41 in the vicinity thereof. As a result, a normal pixel row of a color at the position of the light shielding pixel 41 (G in the figure) having a predetermined length in the light shielding direction with the light shielding pixel 41 as the center is generated.
  • the texture determination unit 32 removes noise by performing LPF (Low Pass Filter) processing or the like on the generated normal pixel row, performs texture determination of the normal pixel row from which the noise has been removed, and determines the determination result. Set the weighting factor accordingly.
  • LPF Low Pass Filter
  • texture determination includes dynamic range determination, monotonic increase / decrease determination, saturation determination, and the like.
  • the dynamic range determination it is determined whether or not the difference (dynamic range) between the maximum pixel value and the minimum pixel value in the normal pixel row is larger than a predetermined threshold value.
  • the monotonic increase / decrease determination the differential value of the pixel value between adjacent pixels in the normal pixel row is calculated, and the differential value is always greater than a predetermined threshold value indicating monotonic increase, or the differential value indicates monotone decrease. It is determined whether or not it is smaller than a predetermined threshold value.
  • the saturation determination it is determined whether the pixel value in the normal pixel row is larger than a predetermined upper limit threshold or smaller than a predetermined lower limit threshold.
  • phase difference appears in the normal pixel column, and the phase difference can be detected with high accuracy without erroneous detection (for a corresponding normal pixel column).
  • a large value is set for the weighting coefficient when detecting the phase difference.
  • texture determination at least one of the above-described dynamic range determination, monotonic increase / decrease determination, or saturation determination may be performed, and a weighting coefficient may be set based on the result.
  • the correlation calculation unit 33 performs sensitivity correction for each light-shielded pixel existing in the region extracted by the region selection unit 31, and performs the sensitivity correction of the light-shielded pixel 41 and its neighboring normal pixels (interpolation of the above-described normal pixel row).
  • a correlation value (may be a difference value) of a pixel value (luminance value) with the previous pixel column) is calculated.
  • a difference value may be calculated instead of the correlation value.
  • the sensitivity correction of the light shielding pixels may be omitted.
  • the sensitivity correction for light-shielded pixels will be described. Since the light-shielded pixel has a smaller amount of light received by the amount of light being shielded and has a smaller brightness value than a normal pixel that is not shielded in the vicinity, sensitivity correction is performed by multiplying the brightness value by a gain according to the light-shielding rate.
  • the method of referring to the light blocking rate of each light blocking pixel refers to a method using a correction table calculated in advance, or a light blocking rate calculated based on the pixel value of a light blocking pixel in a nearby flat part without using a correction table. A method is conceivable.
  • the pixel values (luminance values) of normal pixels and light-shielding pixels in the vicinity when a plain object is imaged are applied in advance to the following equation (1), and the light-shielding rate of the light-shielding pixels is used.
  • Shading rate of shading pixels pixel value of shading pixels / pixel value of neighboring normal pixels (1)
  • Pixel value of shading pixel after sensitivity correction luminance value before correction / shading ratio (2)
  • a light-shielded pixel that exists in a flat portion around the light-shielded pixel of interest is searched for, and the light-shielding rate corresponding to the searched light-shielded pixel is calculated by Equation (1), and the obtained light-shielded pixel is obtained.
  • the rate is regarded as the light blocking rate of the target light blocking pixel, and the pixel value after sensitivity correction is calculated using Equation (2).
  • the correlation calculation between the shading pixel and the normal pixel will be described.
  • the difference value between the light-shielded pixel and the normal pixel (SAD value (Sum ⁇ of Absolute Difference) or SSD value) is obtained as the correlation value between the light-shielded pixel and the normal pixel as shown on the left side of FIG. (Sum of Squared Difference) etc.
  • the inner product value (NCC value (Normalized Cross-Correlation) etc.) of the light-shielded pixel and the normal pixel is calculated as the correlation value between the light-shielded pixel and the normal pixel.
  • the phase difference calculation unit 34 multiplies the correlation value calculated for each light-shielded pixel existing in the region extracted by the region selection unit 31 by the weighting coefficient set by the texture determination unit 32, and accumulates them. A correlation histogram as shown on the right side of FIG. 8 is generated, and a phase difference is detected based on the correlation histogram.
  • the phase difference detection based on the correlation histogram will be described.
  • the position of the point where the correlation value is maximum (the degree of difference is minimum) in the correlation degree histogram as shown in FIG. 8 is searched in pixel units.
  • the point where the correlation value is maximized for each sub-pixel is specified by sub-pixel estimation with more subdivided pixels.
  • a difference value between the identified point in units of sub-pixels and the position of the light-shielded pixel is detected as a phase difference between the light-shielded pixel and the normal pixel.
  • phase difference calculation unit 34 determines the reliability of the detected phase difference based on the shape and value of the correlation histogram, the accumulated number of light-shielding pixels, and the like.
  • the phase difference output from the phase difference calculation unit 34 is a phase difference between the light-shielded pixel and the normal pixel. If the left-side light-shielded pixel is present in the image unit 21 in addition to the right-side light-shielded pixel 41, the left-hand side A phase difference between the light-shielded pixel and the normal pixel can also be obtained. Then, by adding the phase difference between the right light-shielding pixel 41 and the normal pixel and the phase difference between the normal pixel and the left light-shielding pixel, the phase difference between the right light-shielding pixel 41 and the left light-shielding pixel is obtained. Can do.
  • FIG. 9 is a flowchart for explaining a phase difference detection process between the light-shielded pixel and the normal pixel by the phase difference signal generation unit 22.
  • step S ⁇ b> 1 the phase difference signal generation unit 22 acquires the raw data of each pixel from the pixel unit 21.
  • step S ⁇ b> 2 the area selection unit 31 selects a detection section 51 for detecting a phase difference on the screen represented by the raw data of each pixel from the pixel section 21 in accordance with an operation from the user. To extract a region 52 having the same depth.
  • step S3 the texture determination unit 32 designates each light-shielded pixel existing in the region 52 extracted by the region selection unit 31 as a target pixel one by one.
  • step S4 the texture determination unit 32 generates a normal pixel row in the light shielding direction centered on the target pixel, and removes noise in the normal pixel row by LPF processing or the like.
  • step S5 the texture determination unit 32 performs texture determination of the normal pixel row from which noise is removed, and sets a weighting coefficient according to the determination result.
  • step S6 the correlation calculation unit 33 corrects the luminance of the target pixel, and in step S7, calculates a correlation value between the target pixel whose luminance has been corrected and a normal pixel in the vicinity thereof.
  • step S ⁇ b> 8 the texture determination unit 32 confirms whether or not there remains any non-designated pixel of interest among the light-shielding pixels present in the region 52 extracted by the region selection unit 31. If there remains an undesignated pixel of interest, the process returns to step S3 and the subsequent steps are repeated. If there is no pixel that has not been designated as the pixel of interest, the weighting coefficients and correlation values for all the light-shielding pixels existing in the region 52 extracted by the region selection unit 31 have been calculated. The process proceeds to step S9.
  • step S ⁇ b> 9 the phase difference calculation unit 34 multiplies the correlation value calculated for each light-shielded pixel existing in the region extracted by the region selection unit 31 by the weighting coefficient set by the texture determination unit 32 and accumulates the correlation value. As a result, a correlation histogram is generated.
  • step S10 the phase difference calculation unit 34 detects the phase difference in units of subpixels based on the generated correlation histogram, and in step S11, the shape, value, integrated number of light-shielded pixels, and the like of the correlation histogram are detected. The reliability of the detected phase difference is determined based on this.
  • phase difference detected as described above is supplied to the lens driving unit 12 as a phase difference signal.
  • phase difference detection process between the light-shielded pixel and the normal pixel by the phase difference signal generation unit 22 is finished.
  • the arrangement of the light shielding pixels in the pixel unit 21 is preferably the first arrangement example shown in FIG. 2, but may be another arrangement.
  • FIG. 10 shows another arrangement example (second arrangement example) of light-shielding pixels in the pixel unit 21.
  • second arrangement example right-side light-shielding pixels 71 whose right side of the light-receiving surface is shielded and left-side light-shielding pixels 72 whose left side of the light-receiving surface is shielded are randomly arranged on the entire screen.
  • FIG. 11 shows still another arrangement example (third arrangement example) of the light-shielding pixels in the pixel unit 21.
  • the third arrangement example only the right-side light-shielded pixels 71 whose right-hand side of the light-receiving surface is shielded are randomly arranged on the entire screen.
  • the phase difference can be detected without any problem even in the third arrangement example.
  • FIG. 12 shows still another arrangement example (fourth arrangement example) of the light-shielding pixels in the pixel unit 21.
  • the right light-shielding pixels 71 whose right side of the light receiving surface is shielded are arranged continuously in a straight line in the light shielding direction (in this case, the right side is shielded so that it is horizontal).
  • the phase difference can be detected without any problem.
  • FIG. 13 shows still another arrangement example (fifth arrangement example) of the light-shielding pixels in the pixel unit 21.
  • the lower light-shielding pixels 81 where the lower side of the light receiving surface is shielded are continuously arranged in a straight line in the light shielding direction (in this case, the lower side is shielded from light so as to be vertical).
  • the light-shielding pixels it is not necessary that the light-shielding pixels exist in pairs, so that even in the fifth arrangement example, the phase difference can be detected without any problem.
  • FIG. 14 shows still another arrangement example (sixth arrangement example) of the light-shielding pixels in the pixel unit 21.
  • the lower left side light-shielding pixels 91 whose lower left side of the light receiving surface are shielded are continuously arranged in a straight line in the light shielding direction (in this case, the lower left side is shielded so that the diagonal direction is upward to the right).
  • the light-shielding pixels it is not necessary that the light-shielding pixels exist in pairs, so that the phase difference can be detected without any problem even in the sixth arrangement example.
  • FIG. 15 shows still another arrangement example (seventh arrangement example) of the light-shielding pixels in the pixel unit 21.
  • the right light-shielding pixels 71 in which the right side of the light receiving surface is shielded are regularly arranged in a plurality of columns.
  • the phase difference can be detected without any problem even in the seventh arrangement example.
  • FIG. 16A shows another arrangement example (eighth arrangement example) of the light-shielding pixels in the pixel unit 21.
  • FIG. In the eighth arrangement example the right light-shielding pixel 71 in which the right side of the light-receiving surface is shielded and the left light-shielding pixel 72 in which the left side of the light-receiving surface is shielded are closely arranged in pairs in a straight line in the light shielding direction. ing.
  • the target light-shielding pixel and the normal pixel located in the light-shielding direction are used, the normal pixels are insufficient in this state, and the phase difference can be detected. Therefore, as shown in FIG. B, the pixel value of the pixel located in the light shielding direction of the light shielding pixel 41 as the target pixel is estimated using the pixel values of the upper and lower normal pixels, and used for detecting the phase difference. To do.
  • FIG. 17A shows another arrangement example (a ninth arrangement example) of the light-shielding pixels in the pixel unit 21.
  • the lower light-shielding pixels 81 where the lower side of the light-receiving surface is shielded and the upper light-shielding pixels 82 where the upper side of the light-receiving surface is shielded are closely arranged in pairs in a straight line in the light-shielding direction.
  • the target light-shielding pixel and the normal pixel located in the light-shielding direction are used, the normal pixels are insufficient in this state, and the phase difference can be detected. Therefore, as shown in FIG.
  • the pixel value of the pixel located in the light-shielding direction of the light-shielding pixel 41 as the target pixel is estimated using the pixel values of the respective normal pixels on the left and right sides, and used for phase difference detection. To do.
  • FIG. 18A shows another arrangement example (tenth arrangement example) of the light-shielding pixels in the pixel unit 21.
  • FIG. In the tenth arrangement example the lower left side light-shielding pixel 91 in which the lower left side of the light receiving surface is shielded and the upper right side light shielding pixel 92 in which the upper right side of the light receiving surface is shielded are paired in a straight line in the light shielding direction. has been placed.
  • the target light-shielding pixel and the normal pixel located in the light-shielding direction are used, the normal pixels are insufficient in this state, and the phase difference can be detected. Therefore, as shown in FIG. B, the pixel value of the pixel located in the light shielding direction of the light shielding pixel 41 as the target pixel is estimated using the pixel values of the respective upper left and lower right normal pixels, and the phase difference is calculated. Used for detection.
  • FIG. 19A shows another arrangement example (an eleventh arrangement example) of the light-shielding pixels in the pixel unit 21.
  • a right-side light-shielding pixel 71 in which the right side of the light-receiving surface is shielded and a left-side light-shielding pixel 72 in which the left side of the light-receiving surface is shielded are arranged in a plurality of columns.
  • the pixel values of the pixels located in the light-shielding direction adjacent to the light-shielding pixel 41 as the target pixel are set to the upper and lower normal pixels. Is used to detect the phase difference.
  • the image sensor 13 according to the present embodiment can be applied to either the front side irradiation type or the back side irradiation type.
  • the image sensor 13 according to the present embodiment can be applied to either a 3-transistor type or a 4-transistor type.
  • the image sensor 13 is a CMOS image sensor configured to share FD or the like with a plurality of pixels, for example, like the 4-pixel shared CMOS image sensor 110 shown in FIG. It can be applied to.
  • the image sensor 13 includes, for example, a substrate 151 on which a sensor circuit 152 (corresponding to the pixel unit 21) is formed and a logic circuit 154 (phase difference signal generation) as shown in FIG.
  • the present invention can be applied to the stacked CMOS image sensor 150 in which the substrate 153 on which the portion 22 or the like is formed is stacked.
  • image sensor 13 according to the present embodiment can be applied not only to an imaging apparatus but also to all types of electronic apparatuses having an imaging function.
  • this indication can also take the following structures.
  • a setting unit that determines a texture around the light-shielding pixel as a pixel of interest existing in the region of interest, and sets a weighting coefficient based on the texture;
  • a calculation unit that calculates a correlation value between a pixel value of the light-shielding pixel as the target pixel and a pixel value of the normal pixel around the light-shielding pixel;
  • An image sensor comprising: a generation unit that generates a correlation histogram by multiplying the correlation value calculated for the light-shielded pixel by the weighting coefficient and adding up the amount corresponding to the light-shielded pixel existing in the region of interest.
  • the setting unit generates a normal pixel column located in the light-shielding direction of the light-shielding pixel with the light-shielding pixel as a target pixel as a center, determines a texture of the normal pixel column, and sets a weighting coefficient based on the texture
  • the calculation unit corrects the luminance value of the light-shielded pixel as the pixel of interest, and calculates a correlation value between the corrected luminance value and the luminance value of the normal pixel around the light-shielded pixel (1) To (8).
  • both the first light-shielding pixel in which the first region of the light-receiving surface is shielded and the second left-side light-shielding pixel in which the second region different from the first region of the light receiving surface is shielded The image sensor according to any one of (1) to (10), wherein the image sensor is arranged in a straight line in a light shielding direction as a pair.
  • both the first light-shielding pixel in which the first region of the light-receiving surface is shielded and the second left-side light-shielding pixel in which the second region different from the first region of the light receiving surface is shielded The image sensor according to any one of (1) to (10), wherein the image sensors are arranged in pairs in a plurality of rows.
  • a correlation histogram is generated by multiplying the correlation value calculated for the light-shielded pixel by the weighting coefficient and adding up the amount of the light-shielded pixel present in the region of interest.
  • the image sensor is A pixel portion in which light-shielding pixels are arranged between normal pixels arranged vertically and horizontally;
  • a setting unit that determines a texture around the light-shielding pixel as a pixel of interest existing in the region of interest, and sets a weighting coefficient based on the texture;
  • a calculation unit that calculates a correlation value between a pixel value of the light-shielding pixel as the target pixel and a pixel value of the normal pixel around the light-shielding pixel;
  • An electronic apparatus comprising: a generation unit that generates a correlation histogram by multiplying the correlation value calculated for the light-shielded pixel by the weighting coefficient and adding up the amount corresponding to the light-shielded pixel present in the region of interest.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　本開示は、遮光画素の配置の自由度を上げ、かつ、位相差を高精度で検出することができるようにするイメージセンサ、演算方法、および電子装置に関する。　本開示の一側面であるイメージセンサは、縦横に配置された通常画素の間に遮光画素が配置されている画素部と、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部（テクスチャ判定部３２）と、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部（相関演算部３３）と、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部（位相差算出部３４）とを備える。本開示は、像面位相差AFを備える撮像装置に適用できる。

Description

イメージセンサ、演算方法、および電子装置
　本開示は、イメージセンサ、演算方法、および電子装置に関し、特に、像面位相差AF(Auto Focus)機能を実装する場合に用いて好適なイメージセンサ、演算方法、および電子装置に関する。
　従来、オートフォーカスの一方式として像面位相差AFが知られている。像面位相差AFを実現する固体撮像素子には、画素信号を得るための通常画素に加えて、入射光を瞳分割するための遮光画素が所定の位置に配置されている。より具体的には、受光面の右側が遮光されている右側遮光画素と、受光面の左側が遮光されている左側遮光画素との対が複数直線状に配置されている。そして、遮光画素から得られる位相差に基づいてレンズの焦点位置が調整される（例えば、特許文献１参照）。
特開２０１１－３３９７５号公報
　上述したように、右側遮光画素と左側遮光画素の対を配置する場合、画質劣化の低減と高精度な位相差検出を両立するためには、遮光画素の配置と位相差の検出領域の大きな制約があった。
　本開示はこのような状況に鑑みてなされたものであり、遮光画素の配置の自由度を上げ、かつ、位相差を高精度で検出できるようにするものである。
　本開示の第１の側面であるイメージセンサは、縦横に配置された通常画素の間に遮光画素が配置されている画素部と、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える。
　前記生成部は、さらに、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出することができる。
　前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する通常画素列を生成し、前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定することができる。
　前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する、前記遮光画素と同色の通常画素列を補間により生成することができる。
　前記設定部は、生成した前記通常画素列のノイズを除去し、ノイズ除去後の前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定することができる。
　前記設定部は、テクスチャ判定としては、ダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行うことができる。
　本開示の第１の側面であるイメージセンサは、前記注目領域を選択する選択部をさらに備えることができる。
　前記選択部は、複数の区画に区分けられた画面のうち、ユーザによって選択された前記区画に基づいて前記注目領域を選択することができる。
　前記選択部は、ユーザによって選択された前記区画上の同一の奥行きを有する領域を前記注目領域として抽出することができる。
　前記演算部は、前記注目画素としての前記遮光画素の輝度値を補正し、補正後の輝度値と、前記遮光画素の周囲の前記通常画素の輝度値との相関値を演算することができる。
　前記生成部は、生成した前記相関度ヒストグラムに基づいて、検出した前記位相差の信頼度を算出することができる。
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向には疎に、かつ、画面全体に規則的に均等に配置されているようにすることができる。
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、画面全体にランダムに配置されているようにすることができる。
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、画面全体にランダムに配置されているようにすることができる。
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向に直線状に配置されているようにすることができる。
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって遮光方向に直線状に配置されているようにすることができる。
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、複数の列に配置されているようにすることができる。
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって複数の列に配置されているようにすることができる。
　本開示の第１の側面である演算方法は、縦横に配置された通常画素の間に遮光画素が配置されている画素部を備えるイメージセンサにおける前記遮光画素とその周囲の前記通常画素との位相差の演算方法において、前記イメージセンサによる、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定ステップと、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算ステップと、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成し、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する検出ステップと含む。
　本開示の第２の側面である電子装置は、イメージセンサが搭載された電子装置において、前記イメージセンサが、縦横に配置された通常画素の間に遮光画素が配置されている画素部と、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える。
　本開示の第１および第２の側面においては、注目領域に存在する注目画素としての遮光画素の周囲のテクスチャが判定され、前記テクスチャに基づいて重み付け係数が設定され、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値が演算され、前記遮光画素に対して演算された前記相関値に前記重み付け係数が乗算され、前記注目領域に存在する前記遮光画素の分だけ積算されることにより相関度ヒストグラムが生成される。
　本開示の第１および第２の側面によれば、遮光画素の配置の自由度を上げ、かつ、位相差を高精度で検出することができる。
本開示を適用した撮像装置の構成例を示すブロック図である。 画素部における遮光画素の第１の配置例を示す図である。 位相差信号生成部の詳細な構成例を示すブロック図である。 位相差を検出する領域を抽出する過程を説明するための図である。 遮光画素に対する通常画素列の生成を説明するための図である。 テクスチャ判定に基づく重み付け係数の設定を説明するための図である。 テクスチャ判定に基づく重み付け係数の設定を説明するための図である。 相関度ヒストグラムを生成する過程を説明するための図である。 位相差検出処理を説明するフローチャートである。 画素部における遮光画素の第２の配置例を示す図である。 画素部における遮光画素の第３の配置例を示す図である。 画素部における遮光画素の第４の配置例を示す図である。 画素部における遮光画素の第５の配置例を示す図である。 画素部における遮光画素の第６の配置例を示す図である。 画素部における遮光画素の第７の配置例を示す図である。 画素部における遮光画素の第８の配置例を示す図である。 画素部における遮光画素の第９の配置例を示す図である。 画素部における遮光画素の第１０の配置例を示す図である。 画素部における遮光画素の第１１の配置例を示す図である。 ４画素共有型CMOSイメージセンサの構成例を示す回路図である。 積層型CMOSイメージセンサの構成例を示すブロック図である。
　以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
　＜本開示を適用した撮像装置の構成例＞
　図１は、本開示を適用した撮像装置の構成例を示している。この撮像装置１０は、像面位相差AF機能を有するものであり、光学レンズ部１１、レンズ駆動部１２、イメージセンサ１３、画像データ生成部１４、および記録部１５から構成される。
　光学レンズ部１１は、光学レンズ群、絞りなどから構成され、被写体像をイメージセンサ１３の画素部２１に集光させる。また、光学レンズ部１１は、レンズ駆動部１２からのフォーカス制御信号に基づいてフォーカスを移動させる。レンズ駆動部１２は、イメージセンサ１３から供給される位相差信号に基づき、フォーカス制御信号を生成して光学レンズ部１１に出力する。
　イメージセンサ１３は、画素部２１と位相差信号生成部２２を有する。画素部２１は、縦横に配置された多数の通常画素の間に遮光画素が配置されており、光学レンズ部１１により集光された被写体の光学像に応じた各画素のRawデータを生成して画像データ生成部１４および位相差信号生成部２２に出力する。
　図２は、画素部２１における遮光画素の第１の配置例を示している。第１の配置例では、受光面の右側が遮光されている右側遮光画素４１が、遮光方向（受光面の遮光されている部分を連ねた方向。いまの場合、右側が遮光されているので水平方向）には疎となるように、かつ、画面全体に規則的で均等に配置されている。第１の配置例によれば、画質の劣化を抑えつつ様々な撮像シーンでロバストに位相差を検出することができる。なお、画素部２１における遮光画素の他の配置例については後述する。
　図１に戻る。位相差信号生成部２２は、画素部２１からの各画素のRawデータを入力として位相差信号を検出し、検出した位相差信号をレンズ駆動部１２に出力する。
　画像データ生成部１４は、画素部２１からの各画素のRawデータに所定の信号処理を行うことにより、画像データを生成して記録部１５に出力する。記録部１５は、画像データを所定の記録メディアに記録したり、外部に出力したりする。
　＜位相差信号生成部２２の詳細な構成例＞
　図３は、位相差信号生成部２２の詳細な構成例を示している。位相差信号生成部２２は、領域選択部３１、テクスチャ判定部３２、相関演算部３３、および位相差算出部３４を有する。
　領域選択部３１は、画素部２１からの各画素のRawデータが表わす画面上で、位相差を検出する領域（焦点を合わせる被写体が写っている領域)を抽出する。
　図４は、位相差を検出する領域を抽出する過程を説明するための図である。同図Ａに示されるように、複数の矩形区画に区分されている画像上から、ユーザが指定する検出区画５１を選択し、次に、同図Ｂに示されるように、選択した検出区画５１の中で同一の奥行き（撮像装置１０からの距離）を有する可能性がある領域５２を抽出する。
　なお、本実施の形態では、遮光画素を対として利用しなくてもよく、１個の遮光画素のみで利用できるので、画面を区分ける区画については、少なくとも１個の遮光画素を含んでいれば、そのサイズや形状に制約がない。換言すれば、ユーザに指定させる区画を、より細かく、より様々な形状に区分することができる。
　同一の奥行きを有する可能性がある領域を抽出する方法について説明する。本実施の形態では、簡易的に同一の奥行きを有する可能性がある領域の抽出する方法の一例として、色情報およびエッジ情報を用いる方法を採用する。以下、同一の奥行きを有する可能性がある領域を、同一の奥行きを有する領域とも称する。
　まず、同一の奥行きの領域は色が似ていること（すなわち、RGB値の割合が近い）、異なる奥行きの領域の境界にはエッジがあること（すなわち、輝度値の微分値が大きい）を仮定する。そして、選択された検出区画５１の中でエッジ検出を行い、検出されたエッジにより囲まれている領域を特定する。さらに各領域内部の色が似ているか否かを判定する。ここで、領域内部の色が似ていると判定した場合、その領域を同一の奥行きを有する領域として抽出する。
　さらに他の方法として顔認識技術などを採用し、該技術により個別に識別された領域も同一の奥行きを有する領域として扱うようにしてもよい。
　図３に戻る。テクスチャ判定部３２は、領域選択部３１で抽出された領域５２内に存在する各遮光画素に対応する通常画素列を生成する。
　図５は、遮光画素に対する通常画素列の生成を説明するための図である。同図中央の遮光画素４１に対する通常画素列を生成する場合、該遮光画素４１を中心とする遮光方向の所定の長さ（同図の場合、９画素）の画素列４２に着目する。次に、着目した画素列４２のうち、遮光画素４１の位置の色（同図の場合、Ｇ）と異なる色（同図の場合、Ｂ）の通常画素については、その近傍の遮光画素４１の位置と同じ色（同図の場合、Ｇ）の通常画素を用いて補間する。また、遮光画素４１についても、その近傍の遮光画素４１の位置と同じ色（同図の場合、Ｇ）の通常画素を用いて補間する。これにより、遮光画素４１を中心とする遮光方向の所定の長さの、遮光画素４１の位置の色（同図の場合、Ｇ）の通常画素列が生成される。
　また、テクスチャ判定部３２は、生成した通常画素列に対してLPF(Low Pass Filter)処理などを行うことでノイズを除去し、ノイズを除去した通常画素列のテクスチャ判定を行い、その判定結果に応じて重み付け係数を設定する。
　テクスチャ判定としては、具体的には、ダイナミックレンジ判定、単調増加／減少判定、飽和判定などを行う。
　ダイナミックレンジ判定では、通常画素列における最大画素値と最小画素値の差（ダイナミックレンジ）が所定の閾値よりも大きいか否かを判定する。単調増加／減少判定では、通常画素列における隣接した画素間での画素値の微分値を算出し、常に微分値が単調増加を表す所定の閾値よりも大きいか、または微分値が単調減少を表し所定の閾値よりも小さいかが成立しているか否かを判定する。飽和判定では、通常画素列における画素値が所定の上限の閾値よりも大きいか、または所定の下限の閾値よりも小さいかを判定する。
　これら３種類の判定結果により、通常画素列に明瞭な位相差が発現しており、その位相差を誤検出なく高い精度で検出できると考えられる遮光画素（に対応する通常画素列）に対して、位相差検出時の重み付け係数に大きな値を設定する。
　具体的には、例えば図６に示されるように、画素値のダイナミックレンジが広く、画素値の変化が単調である場合には、位相差を誤検出なく高精度に検出できると考えられるので、重み付け係数として大きな値を設定する。また、反対に、例えば図７に示されるように、画素値のダイナミックレンジが狭く、画素値の変化が単調ではない場合には、位相差を誤検出し易いと考えられるので、重み付け係数として小さな値を設定する。
　なお、テクスチャ判定としては、上述したダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行い、その結果に基づいて重み付け係数を設定するようにしてもよい。
　相関演算部３３は、領域選択部３１で抽出された領域内に存在する遮光画素毎に、感度補正を行い、感度補正後の遮光画素４１とその近傍の通常画素（上述した通常画素列の補間前の画素列）との画素値（輝度値）の相関値（相違値でもよい）を演算する。
　なお、相関値の代わりに相違値を演算するようにしてもよい。また、遮光画素の感度補正を省略してもよい。
　遮光画素の感度補正について説明する。遮光画素は遮光されている分だけ受光量が少なく、近傍の遮光されていない通常画素に比較して輝度値が小さいので、遮光率に応じて輝度値をゲイン倍する感度補正を行う。各遮光画素の遮光率の参照方法は、事前に算出した補正テーブルを利用する方法、または補正テーブルを利用せずに近傍の平坦部の遮光画素の画素値に基づいて算出した遮光率を参照する方法が考えられる。
　補正テーブルを利用する方法では、予め、無地の被写体を撮像した時の近傍の通常画素と遮光画素の画素値（輝度値）を次式（１）に適用して用いて、遮光画素の遮光率（＝遮光画素の画素値／近傍の通常画素の画素値）を計算して補正テーブルを作成、保持しておく。
　遮光画素の遮光率＝遮光画素の画素値／近傍の通常画素の画素値
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　そして、感度補正時には、補正テーブルから遮光画素の遮光率を取得し、次式（２）を利用して感度補正後の画素値を算出する。
　感度補正後の遮光画素の画素値＝補正前の輝度値／遮光率
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　補正テーブルを利用しない方法では、注目している遮光画素の周辺の平坦部に存在する遮光画素を探索し、探索した遮光画素に対応する遮光率を式（１）により計算し、得られた遮光率を注目遮光画素の遮光率とみなし、式（２）を利用して感度補正後の画素値を算出する。
　遮光画素と通常画素の相関演算について説明する。遮光画素の輝度補正を行った場合、遮光画素と通常画素の相関値として、図８の左側に示すように、遮光画素と通常画素の差分値（SAD値(Sum of Absolute Difference)、またはSSD値(Sum of Squared Difference)等）を算出する。
　遮光画素の輝度補正を省略した場合、遮光画素と通常画素の相関値として、遮光画素と通常画素の内積値（NCC値（Normalized Cross-Correlation:正規化相互相関）等）を算出する。
　図３に戻る。位相差算出部３４は、領域選択部３１で抽出された領域内に存在する遮光画素毎に演算された相関値に、テクスチャ判定部３２で設定された重み付け係数を乗算して積算することにより、図８右側に示されるような相関度ヒストグラムを生成し、相関度ヒストグラムに基づいて位相差を検出する。
　相関度ヒストグラムに基づく位相差検出について説明する。まず、図８に示されるような相関度ヒストグラムにおいて相関値が最大である（相違度が最小である）点の位置をピクセル単位で探索する。さらに、ピクセルをより細分化したサブピクセル推定によりサブピクセル単位で相関値が最大になっている点を特定する。この特定したサブピクセル単位の点と遮光画素位置との差分値を遮光画素と通常画素の位相差として検出する。
　さらに、位相差算出部３４は、相関度ヒストグラムの形状、値、積算された遮光画素数などに基づいて検出した位相差の信頼度を判定する。
　なお、位相差算出部３４から出力される位相差は、遮光画素と通常画素の間の位相差であるが、画像部２１に右側遮光画素４１の他に左側遮光画素が存在すれば、該左側遮光画素と通常画素との位相差も得ることができる。そして、右側遮光画素４１と通常画素の間の位相差と、該通常画素と左側遮光画素の間の位相差を加算すれば、右側遮光画素４１と左側遮光画素との間の位相差を得ることができる。
　＜位相差検出処理について＞
　次に、図９は、位相差信号生成部２２による、遮光画素と通常画素の間の位相差検出処理を説明するフローチャートである。
　ステップＳ１において、位相差信号生成部２２は、画素部２１から各画素のRawデータを取得する。ステップＳ２において、領域選択部３１は、ユーザからの操作に従い、画素部２１からの各画素のRawデータが表わす画面上で、位相差を検出す検出区画５１を選択し、さらに検出区画５１の中で同一の奥行を有する領域５２を抽出する。
　ステップＳ３において、テクスチャ判定部３２は、領域選択部３１で抽出された領域５２内に存在する各遮光画素を１画素ずつ注目画素に指定する。ステップＳ４において、テクスチャ判定部３２は、注目画素を中心とする遮光方向の通常画素列を生成し、LPF処理などにより通常画素列のノイズを除去する。
　ステップＳ５において、テクスチャ判定部３２は、ノイズを除去した通常画素列のテクスチャ判定を行い、その判定結果に応じて重み付け係数を設定する。ステップＳ６において、相関演算部３３は、注目画素の輝度補正を行い、ステップＳ７において、輝度補正した注目画素とその近傍の通常画素との相関値を演算する。
　ステップＳ８において、テクスチャ判定部３２は、領域選択部３１で抽出された領域５２内に存在する各遮光画素のうち、注目画素に指定していないものが残っているか否かを確認する。注目画素に指定していないものが残っている場合、処理はステップＳ３に戻されて、それ以降が繰り返される。注目画素に指定していないものが残っていない場合、領域選択部３１で抽出された領域５２内に存在する全ての遮光画素に対する重み付け係数と、相関値が演算されたことになるので、処理はステップＳ９に進められる。
　ステップＳ９において、位相差算出部３４は、領域選択部３１で抽出された領域内に存在する遮光画素毎に演算された相関値に、テクスチャ判定部３２で設定された重み付け係数を乗算して積算することにより相関度ヒストグラムを生成する。ステップＳ１０において、位相差算出部３４は、生成した相関度ヒストグラムに基づいて、サブピクセル単位で位相差を検出し、ステップＳ１１において、相関度ヒストグラムの形状、値、積算された遮光画素数などに基づいて検出した位相差の信頼度を判定する。
　以上のようにして検出された位相差は、位相差信号として、レンズ駆動部１２に供給される。
　以上で、位相差信号生成部２２による、遮光画素と通常画素の間の位相差検出処理の説明を終了する。
　＜画素部２１における遮光画素の他の配置例＞
　上述したように、画素部２１における遮光画素の配置は、図２に示された第１の配置例が好適であるが、他の配置であってもよい。
　図１０は、画素部２１における遮光画素の他の配置例（第２の配置例）を示している。第２の配置例では、受光面の右側が遮光されている右側遮光画素７１と、受光面の左側が遮光されている左側遮光画素７２とが画面全体にランダムに配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第２の配置例であっても問題なく位相差を検出することができる。
　図１１は、画素部２１における遮光画素のさらに他の配置例（第３の配置例）を示している。第３の配置例では、受光面の右側が遮光されている右側遮光画素７１だけが画面全体にランダムに配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第３の配置例であっても問題なく位相差を検出することができる。
　図１２は、画素部２１における遮光画素のさらに他の配置例（第４の配置例）を示している。第４の配置例では、受光面の右側が遮光されている右側遮光画素７１が遮光方向（いまの場合、右側が遮光されているので水平方向）に直線状に連続して配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第４の配置例であっても問題なく位相差を検出することができる。
　図１３は、画素部２１における遮光画素のさらに他の配置例（第５の配置例）を示している。第５の配置例では、受光面の下側が遮光されている下側遮光画素８１が遮光方向（いまの場合、下側が遮光されているので垂直方向）に直線状に連続して配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第５の配置例であっても問題なく位相差を検出することができる。
　図１４は、画素部２１における遮光画素のさらに他の配置例（第６の配置例）を示している。第６の配置例では、受光面の左下側が遮光されている左下側遮光画素９１が遮光方向（いまの場合、左下側が遮光されているので右上がりの斜め方向）に直線状に連続して配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第６の配置例であっても問題なく位相差を検出することができる。
　図１５は、画素部２１における遮光画素のさらに他の配置例（第７の配置例）を示している。第７の配置例では、受光面の右側が遮光されている右側遮光画素７１が複数の列に規則的に配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第７の配置例であっても問題なく位相差を検出することができる。
　図１６のＡは、画素部２１における遮光画素の他の配置例（第８の配置例）を示している。第８の配置例では、受光面の右側が遮光されている右側遮光画素７１と、受光面の左側が遮光されている左側遮光画素７２が遮光方向の直線状に対となって密に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、このままでは通常画素が足りず、位相差を検出することができる。そこで、同図Ｂに示すように、注目画素としての遮光画素４１の遮光方向に位置する画素の画素値を、それぞれの上下の通常画素の画素値を用いて推定し、位相差の検出に利用する。
　図１７のＡは、画素部２１における遮光画素の他の配置例（第９の配置例）を示している。第９の配置例では、受光面の下側が遮光されている下側遮光画素８１と、受光面の上側が遮光されている上側遮光画素８２が遮光方向の直線状に対となって密に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、このままでは通常画素が足りず、位相差を検出することができる。そこで、同図Ｂに示すように、注目画素としての遮光画素４１の遮光方向に位置する画素の画素値を、それぞれの左右の通常画素の画素値を用いて推定し、位相差の検出に利用する。
　図１８のＡは、画素部２１における遮光画素の他の配置例（第１０の配置例）を示している。第１０の配置例では、受光面の左下側が遮光されている左下側遮光画素９１と、受光面の右上側が遮光されている右上側遮光画素９２が遮光方向の直線状に対となって密に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、このままでは通常画素が足りず、位相差を検出することができる。そこで、同図Ｂに示すように、注目画素としての遮光画素４１の遮光方向に位置する画素の画素値を、それぞれの左上と右下の通常画素の画素値を用いて推定し、位相差の検出に利用する。
　図１９のＡは、画素部２１における遮光画素の他の配置例（第１１の配置例）を示している。第１１の配置例では、受光面の右側が遮光されている右側遮光画素７１と、受光面の左側が遮光されている左側遮光画素７２が対となって複数の列に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、注目画素としての遮光画素４１と隣り合う遮光方向に位置する画素の画素値を、その上下の通常画素の画素値を用いて推定し、位相差の検出に利用する。
　＜本実施の形態であるイメージセンサ１３の適用例＞
　本実施の形態であるイメージセンサ１３は、表面照射型または裏面照射型のどちらに対しても適用できる。
　また、本実施の形態であるイメージセンサ１３は、３トランジスタ型または４トランジスタ型のどちらに対しても適用できる。
　さらに、本実施の形態であるイメージセンサ１３は、例えば、図２０に示される４画素共有型CMOSイメージセンサ１１０のように、複数の画素でFDなどを共有するように構成されたCMOSイメージセンサに対して適用できる。
　またさらに、本実施の形態であるイメージセンサ１３は、例えば、図２１に示されような、センサ回路１５２（画素部２１に相当）が形成された基板１５１と、論理回路１５４（位相差信号生成部２２などに相当）が形成された基板１５３が積層されている積層型CMOSイメージセンサ１５０に対して適用できる。
　なお、本実施の形態であるイメージセンサ１３は、撮像装置だけでなく、撮像機能を有するあらゆる種類の電子装置に適用できる。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本開示は以下のような構成も取ることができる。
（１）
　縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
　注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
　前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
　前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部と
　を備えるイメージセンサ。
（２）
　前記生成部は、さらに、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する
　前記（１）に記載のイメージセンサ。
（３）
　前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する通常画素列を生成し、前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
　前記（１）または（２）に記載のイメージセンサ。
（４）
　前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する、前記遮光画素と同色の通常画素列を補間により生成する
　前記（３）に記載のイメージセンサ。
（５）
　前記設定部は、生成した前記通常画素列のノイズを除去し、ノイズ除去後の前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
　前記（３）または（４）に記載のイメージセンサ。
（６）
　前記設定部は、テクスチャ判定としては、ダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行う
　前記（１）から（５）のいずれかに記載のイメージセンサ。
（７）
　前記注目領域を選択する選択部を
　さらに備える前記（１）から（６）のいずれかに記載のイメージセンサ。
（８）
　前記選択部は、複数の区画に区分けられた画面のうち、ユーザによって選択された前記区画に基づいて前記注目領域を選択する
　前記（７）に記載のイメージセンサ。
（９）
　前記選択部は、ユーザによって選択された前記区画上の同一の奥行きを有する領域を前記注目領域として抽出する
　前記（８）に記載のイメージセンサ。
（１０）
　前記演算部は、前記注目画素としての前記遮光画素の輝度値を補正し、補正後の輝度値と、前記遮光画素の周囲の前記通常画素の輝度値との相関値を演算する
　前記（１）から（８）のいずれかに記載のイメージセンサ。
（１１）
　前記生成部は、生成した前記相関度ヒストグラムに基づいて、検出した前記位相差の信頼度を算出する
　前記（１）から（９）のいずれかに記載のイメージセンサ。
（１２）
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向には疎に、かつ、画面全体に規則的に均等に配置されている
　前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１３）
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、画面全体にランダムに配置されている
　前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１４）
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、画面全体にランダムに配置されている
　前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１５）
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向に直線状に配置されている
　前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１６）
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって遮光方向に直線状に配置されている
　前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１７）
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、複数の列に配置されている
　前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１８）
　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって複数の列に配置されている
　前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１９）
　縦横に配置された通常画素の間に遮光画素が配置されている画素部を備えるイメージセンサにおける前記遮光画素とその周囲の前記通常画素との位相差の演算方法において、
　前記イメージセンサによる、
　　注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定ステップと、
　　前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算ステップと、
　　前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成し、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する検出ステップと
　含む演算方法。
（２０）
　イメージセンサが搭載された電子装置において、
　前記イメージセンサは、
　　縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
　　注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
　　前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
　　前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える
　電子装置。
　１０　撮像装置，　１１　光学レンズ部，　１２　レンズ駆動部，　１３　イメージセンサ，　１４　画像データ生成部，　１５　記録部，　２１　画素部，　２２　位相差信号生成部，　３１　領域選択部，　３２　テクスチャ判定部，　３３　相関演算部，　３４　位相差算出部，　４１　遮光画素

Claims (20)

  1. 　縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
    　注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
    　前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
    　前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部と
    　を備えるイメージセンサ。
  2. 　前記生成部は、さらに、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する
    　請求項１に記載のイメージセンサ。
  3. 　前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する通常画素列を生成し、前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
    　請求項２に記載のイメージセンサ。
  4. 　前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する、前記遮光画素と同色の通常画素列を補間により生成する
    　請求項３に記載のイメージセンサ。
  5. 　前記設定部は、生成した前記通常画素列のノイズを除去し、ノイズ除去後の前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
    　請求項３に記載のイメージセンサ。
  6. 　前記設定部は、テクスチャ判定としては、ダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行う
    　請求項３に記載のイメージセンサ。
  7. 　前記注目領域を選択する選択部を
    　さらに備える請求項２に記載のイメージセンサ。
  8. 　前記選択部は、複数の区画に区分けられた画面のうち、ユーザによって選択された前記区画に基づいて前記注目領域を選択する
    　請求項７に記載のイメージセンサ。
  9. 　前記選択部は、ユーザによって選択された前記区画上の同一の奥行きを有する領域を前記注目領域として抽出する
    　請求項８に記載のイメージセンサ。
  10. 　前記演算部は、前記注目画素としての前記遮光画素の輝度値を補正し、補正後の輝度値と、前記遮光画素の周囲の前記通常画素の輝度値との相関値を演算する
    　請求項２に記載のイメージセンサ。
  11. 　前記生成部は、生成した前記相関度ヒストグラムに基づいて、検出した前記位相差の信頼度を算出する
    　請求項２に記載のイメージセンサ。
  12. 　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向には疎に、かつ、画面全体に規則的に均等に配置されている
    　請求項２に記載のイメージセンサ。
  13. 　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、画面全体にランダムに配置されている
    　請求項２に記載のイメージセンサ。
  14. 　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、画面全体にランダムに配置されている
    　請求項２に記載のイメージセンサ。
  15. 　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向に直線状に配置されている
    　請求項２に記載のイメージセンサ。
  16. 　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって遮光方向に直線状に配置されている
    　請求項２に記載のイメージセンサ。
  17. 　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、複数の列に配置されている
    　請求項２に記載のイメージセンサ。
  18. 　前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって複数の列に配置されている
    　請求項２に記載のイメージセンサ。
  19. 　縦横に配置された通常画素の間に遮光画素が配置されている画素部を備えるイメージセンサにおける前記遮光画素とその周囲の前記通常画素との位相差の演算方法において、
    　前記イメージセンサによる、
    　　注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定ステップと、
    　　前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算ステップと、
    　　前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成し、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する検出ステップと
    　含む演算方法。
  20. 　イメージセンサが搭載された電子装置において、
    　前記イメージセンサは、
    　　縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
    　　注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
    　　前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
    　　前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える
    　電子装置。
PCT/JP2015/066829 2014-06-24 2015-06-11 イメージセンサ、演算方法、および電子装置 WO2015198875A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/318,751 US10212332B2 (en) 2014-06-24 2015-06-11 Image sensor, calculation method, and electronic device for autofocus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-128834 2014-06-24
JP2014128834A JP2016009043A (ja) 2014-06-24 2014-06-24 イメージセンサ、演算方法、および電子装置

Publications (1)

Publication Number Publication Date
WO2015198875A1 true WO2015198875A1 (ja) 2015-12-30

Family

ID=54937966

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/066829 WO2015198875A1 (ja) 2014-06-24 2015-06-11 イメージセンサ、演算方法、および電子装置

Country Status (3)

Country Link
US (1) US10212332B2 (ja)
JP (1) JP2016009043A (ja)
WO (1) WO2015198875A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147857A (zh) * 2017-05-17 2017-09-08 上海集成电路研发中心有限公司 一种高灵敏度的相位检测像素单元及其驱动方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6633746B2 (ja) * 2016-05-17 2020-01-22 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
TWI604221B (zh) * 2016-05-27 2017-11-01 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置
US10033949B2 (en) 2016-06-16 2018-07-24 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
JP6808420B2 (ja) 2016-09-27 2021-01-06 キヤノン株式会社 撮像素子および撮像装置
WO2018168551A1 (ja) * 2017-03-16 2018-09-20 富士フイルム株式会社 撮像素子及び撮像装置
KR102375989B1 (ko) * 2017-08-10 2022-03-18 삼성전자주식회사 화소 사이의 신호 차이를 보상하는 이미지 센서
US20190253607A1 (en) * 2018-02-15 2019-08-15 Qualcomm Incorporated Object tracking autofocus
US10812708B2 (en) * 2019-02-22 2020-10-20 Semiconductor Components Industries, Llc Imaging systems with weathering detection pixels
CN112004026B (zh) * 2020-09-01 2021-06-29 北京小米移动软件有限公司 相位对焦装置、方法、拍摄方法、装置、终端设备及介质
KR20220036630A (ko) 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155929A (ja) * 2005-12-01 2007-06-21 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2009141390A (ja) * 2007-12-03 2009-06-25 Nikon Corp 撮像素子および撮像装置
JP2009217252A (ja) * 2008-02-13 2009-09-24 Canon Inc 撮像装置及び焦点制御方法
JP2009244854A (ja) * 2008-03-11 2009-10-22 Canon Inc 撮像装置
JP2012173334A (ja) * 2011-02-17 2012-09-10 Nikon Corp デフォーカス量検出装置および電子カメラ

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007716B2 (ja) * 1999-04-20 2007-11-14 オリンパス株式会社 撮像装置
WO2007088759A1 (ja) * 2006-02-01 2007-08-09 National University Corporation The University Of Electro-Communications 変位検出方法、及び、変位検出装置、変位検出プログラム、並びに、特徴点マッチング処理方法、特徴点マッチングプログラム
JP5264131B2 (ja) * 2007-09-14 2013-08-14 キヤノン株式会社 撮像装置
JP5012495B2 (ja) * 2007-12-26 2012-08-29 株式会社ニコン 撮像素子、焦点検出装置、焦点調節装置および撮像装置
JP5179223B2 (ja) * 2008-02-26 2013-04-10 オリンパス株式会社 撮像装置及び撮像プログラム
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5361535B2 (ja) * 2009-05-25 2013-12-04 キヤノン株式会社 撮像装置
JP5381472B2 (ja) 2009-08-05 2014-01-08 株式会社ニコン 撮像装置
US8804121B2 (en) * 2010-04-23 2014-08-12 Hamamatsu Photonics K.K. Cell observation device and cell observation method
CN102870028B (zh) * 2010-04-28 2015-11-25 富士胶片株式会社 成像装置
JP5655543B2 (ja) * 2010-12-20 2015-01-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム。
WO2012133427A1 (ja) * 2011-03-30 2012-10-04 富士フイルム株式会社 撮像装置及びそのオートフォーカス制御方法
EP2720455B1 (en) * 2011-06-09 2016-06-22 FUJIFILM Corporation Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
JP5547349B2 (ja) * 2011-09-22 2014-07-09 富士フイルム株式会社 デジタルカメラ
CN103874952B (zh) * 2011-09-29 2015-09-30 富士胶片株式会社 固体摄像元件、摄像装置及对焦控制方法
CN104041009B (zh) * 2011-12-28 2016-02-03 富士胶片株式会社 摄像元件及摄像装置
JP5966636B2 (ja) * 2012-06-06 2016-08-10 株式会社ニコン 撮像素子および撮像装置
JP5942697B2 (ja) * 2012-08-21 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
JP2014179939A (ja) * 2013-03-15 2014-09-25 Sony Corp 信号処理装置および信号処理方法
JP2014183206A (ja) * 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
US9503698B2 (en) * 2013-08-01 2016-11-22 Harvest Imaging bvba Image sensor with shading detection
US9196044B2 (en) * 2014-02-26 2015-11-24 Raytheon Company False alarm rejection for boat detection candidates

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155929A (ja) * 2005-12-01 2007-06-21 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2009141390A (ja) * 2007-12-03 2009-06-25 Nikon Corp 撮像素子および撮像装置
JP2009217252A (ja) * 2008-02-13 2009-09-24 Canon Inc 撮像装置及び焦点制御方法
JP2009244854A (ja) * 2008-03-11 2009-10-22 Canon Inc 撮像装置
JP2012173334A (ja) * 2011-02-17 2012-09-10 Nikon Corp デフォーカス量検出装置および電子カメラ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147857A (zh) * 2017-05-17 2017-09-08 上海集成电路研发中心有限公司 一种高灵敏度的相位检测像素单元及其驱动方法
CN107147857B (zh) * 2017-05-17 2020-03-20 上海集成电路研发中心有限公司 一种高灵敏度的相位检测像素单元及其驱动方法

Also Published As

Publication number Publication date
US20170118398A1 (en) 2017-04-27
JP2016009043A (ja) 2016-01-18
US10212332B2 (en) 2019-02-19

Similar Documents

Publication Publication Date Title
WO2015198875A1 (ja) イメージセンサ、演算方法、および電子装置
EP3354009B1 (en) Phase detection autofocus arithmetic
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5904281B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5387856B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US9383548B2 (en) Image sensor for depth estimation
US9299151B2 (en) Depth calculation device, imaging apparatus, and depth calculation method
JP5398346B2 (ja) 撮像装置及び信号処理装置
US10021282B2 (en) Multi-aperture camera system using disparity
JP2018535442A (ja) 位相検出オートフォーカスのノイズ低減
CN104427251B (zh) 焦点检测设备、其控制方法、以及摄像设备
JP6131546B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
US20160254300A1 (en) Sensor for dual-aperture camera
JP2018107654A (ja) 画像処理装置および画像処理方法、プログラム、記憶媒体
CN104521231A (zh) 图像处理装置、摄像装置及图像处理装置的控制程序
Chan et al. Enhancement of phase detection for autofocus
US9503661B2 (en) Imaging apparatus and image processing method
JP2015142364A (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2015177244A (ja) 画像処理装置及び画像処理方法
JP2017108377A (ja) 画像処理装置および画像処理方法、撮像装置、プログラム、記憶媒体
JP2015211343A5 (ja)
JP5673764B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP4972902B2 (ja) 撮像装置および撮像方法
JP2009017583A (ja) 画像処理装置
JP2017212642A (ja) 画像処理装置、撮像装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15811338

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15318751

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15811338

Country of ref document: EP

Kind code of ref document: A1