WO2012133427A1 - 撮像装置及びそのオートフォーカス制御方法 - Google Patents

撮像装置及びそのオートフォーカス制御方法 Download PDF

Info

Publication number
WO2012133427A1
WO2012133427A1 PCT/JP2012/057963 JP2012057963W WO2012133427A1 WO 2012133427 A1 WO2012133427 A1 WO 2012133427A1 JP 2012057963 W JP2012057963 W JP 2012057963W WO 2012133427 A1 WO2012133427 A1 WO 2012133427A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase difference
imaging apparatus
reliability
dust
autofocus control
Prior art date
Application number
PCT/JP2012/057963
Other languages
English (en)
French (fr)
Inventor
宗之 大島
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2013507621A priority Critical patent/JP5396566B2/ja
Priority to CN201280016981.8A priority patent/CN103460105B/zh
Publication of WO2012133427A1 publication Critical patent/WO2012133427A1/ja
Priority to US14/040,243 priority patent/US8885090B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Definitions

  • the present invention relates to an imaging apparatus such as a digital camera equipped with a solid-state imaging device having focus detection pixels (also referred to as phase difference detection pixels) and an autofocus control method thereof, and in particular, is output from the phase difference detection pixels.
  • the present invention relates to an imaging apparatus that obtains a focal length to a subject from phase difference information and an autofocus control method thereof.
  • an optical low-pass filter is disposed in front of the light-receiving surface of the solid-state image sensor (the photosensitive pixel region that is the light-receiving surface of the solid-state image sensor). ) Dust 101 may get on 100.
  • Some camera models can remove dust by vibrating an optical low-pass filter, but it is difficult to remove dust with high adhesiveness. In this case, in the subject image captured by the solid-state imaging device, a partial region where dust is placed appears as a sensitivity reduction region.
  • Patent Document 1 discloses a technique for specifying a region where dust 101 exists and performing focus detection using a captured image signal of a region excluding a region where dust exists.
  • Patent Document 2 discloses a focus amount in a block in which a plurality of focus detection areas on the surface of the AF sensor provided separately from the solid-state imaging device are divided into a plurality of blocks, respectively, and dust is determined to be present by the dust presence / absence determining unit.
  • a technique for disabling the output of the detection means is disclosed. In such a case, if the main subject appears in the dust area, the main subject cannot be focused.
  • phase difference detection pixel can be configured by, for example, dividing two adjacent pixels into pupils.
  • the light shielding film opening is made smaller in area than other normal pixels, and the light shielding film openings of two adjacent pixels (pair pixels) are decentered in opposite directions. Is done.
  • phase difference detection pixel Even in a solid-state imaging device having such a phase difference detection pixel, if dust gets on the light-receiving surface of the solid-state imaging device, accurate phase difference information cannot be obtained, and the accuracy of autofocus (AF) decreases. . In particular, if the main subject image comes to the dust area, it is impossible to capture an image in which the main subject is in focus.
  • An object of the present invention is to provide an imaging device capable of capturing an image focused on a main subject even if a dust image comes on a light receiving surface of a solid-state imaging device having phase difference detection pixels and overlaps the main subject image. And providing an autofocus control method thereof.
  • a dust presence / absence determination unit that determines whether or not there is a dust image, and when the dust image is included in the AF area, the detection signal of the first phase difference detection pixel that overlaps the dust image and the first
  • a focus shift amount calculation unit that calculates a shift amount between the detection signals of the two phase difference detection pixels, a shift amount reliability determination unit that determines the reliability of the shift amount, and a high reliability of the shift amount
  • a control unit that performs autofocus control by the phase difference AF method using the shift amount, and performs autofocus control other than the phase difference AF method using the shift amount when the reliability is low.
  • An autofocus control method for an imaging apparatus including a solid-state imaging device in which a plurality of sets of adjacent first phase difference detection pixels and second phase difference detection pixels that are divided into pupils are provided on a light receiving surface. It is determined whether or not there is a dust image in the image captured in the AF area of the light receiving surface, and when the dust image is included in the AF area, the first phase difference detection that overlaps the dust image. The amount of deviation between the detection signal of the pixel and the detection signal of the second phase difference detection pixel is obtained, the reliability of the amount of deviation is determined, and if the amount of deviation is high, the amount of deviation is determined.
  • An autofocus control method for an imaging apparatus that performs autofocus control using the phase difference AF method used, and performs autofocus control other than the phase difference AF method using the shift amount when the reliability is low.
  • the present invention it is possible to capture an image focused on the main subject even if the dust image comes to a position overlapping the main subject image on the light receiving surface of the solid-state imaging device having the phase difference detection pixels.
  • FIG. 3 is a schematic view of a surface of a solid-state imaging device instead of FIG. 2.
  • FIG. 4 is a schematic view of a surface of a solid-state image sensor that replaces FIGS. 2 and 3. It is an explanatory view of the principle of detecting phase difference information by a phase difference detection pixel. It is a figure which shows the state which the dust adhered to the phase difference detection pixel effective area
  • FIG. 7A is an enlarged view showing a state where the dust shown in FIG. 6 is attached
  • FIG. 7B is an enlarged view showing a dust image.
  • FIG. 9 is a flowchart showing a detailed processing procedure of step S8 of the reliability determination processing for the focus shift amount di obtained in the dust region shown in FIG.
  • FIG. 9 is a flowchart showing a detailed processing procedure of step S11 of the focus shift amount dj calculation processing of FIG. 8;
  • FIG. 9 is a flowchart illustrating a detailed processing procedure of step S12 of the reliability determination processing for the focus shift amount dj obtained in the dust-free region in FIG.
  • contrast AF control step S14 of FIG. It is a figure which shows area division when performing contrast AF control step S14 of FIG. It is a figure which shows the state in which the dust got on the light-receiving surface of a solid-state image sensor.
  • FIG. 1 is a functional block configuration diagram of an imaging apparatus (digital camera) according to an embodiment of the present invention.
  • the imaging apparatus 10 includes a solid-state imaging device 11 such as a CCD type or a CMOS type, an optical low-pass filter (OLPF) 12 disposed in front of the solid-state imaging device 11, and a lens disposed in front of the optical low-pass filter 12.
  • OLPF optical low-pass filter
  • a unit 13 In addition, although the infrared cut filter is juxtaposed to the optical low-pass filter 12, this illustration is omitted.
  • the lens unit 13 is replaceable with another lens unit (not shown) by detachably engaging the lens mount 14 in the lens unit and the lens mount 15 on the camera body side.
  • a photographic lens 17 having a zoom lens and a focus lens, a diaphragm 18 disposed on the back of the photographic lens 17, magnification control and a focus position of the photographic lens 17 are instructed by a system controller 21 described later.
  • the microcomputer 19 is controlled according to the above.
  • the image pickup apparatus 10 further processes an analog picked-up image signal output from the solid-state image pickup device 11 (correlated double sampling processing, gain control processing, analog-digital conversion processing, etc.), and the analog signal. And a signal processing LSI 20 that takes in the output signal of the processing unit 16 and performs various image processing and the like.
  • the signal processing LSI 20 includes a system controller (microcomputer) 21 that comprehensively controls the entire imaging apparatus 10, a camera signal processing unit 22 that performs various types of image processing and the like on the captured image signal, and image processing.
  • a compression / decompression processing unit 23 that compresses or expands image data, performs pixel number conversion processing, and the like, and processes through image data output from the solid-state imaging device 11 to perform AF (automatic focus) processing, AE (automatic exposure)
  • An AF / AE / AWB processing unit 24 that performs processing, AWB (automatic white balance) processing, etc., calculates a focus shift amount, which will be described later, and performs exposure determination.
  • the signal processing LSI 20 further includes a memory controller 25 connected to the SDRAM 41 used as a main memory, a display unit 42 provided on the back of the camera, a display system processing unit 26 connected to the video amplifier 43, and an audio IC 44.
  • the above-described components (system controller 21 to interface unit 29) of the signal processing LSI 20 are connected to each other by a bus 30.
  • a microphone 47 and a speaker 48 are connected to the audio IC 44, and an AF interface 49 is connected to the video amplifier 43 and the audio IC 44.
  • the system controller 21 communicates with the microcomputer 19 in the lens unit 13, performs focus control and aperture control, and acquires lens information. Further, the system controller 21 performs fine vibration control of the optical low-pass filter 12 via a driver (DR) 51 to perform dust removal control, and sends a drive pulse to the solid-state image sensor 11 via a timing generator (TG) 52. Supply. In addition, light emission control of the flash 53 provided at a required position on the front side of the camera is performed.
  • the imaging device 10 is provided with a power supply circuit 54, and supplies power to the above-described components.
  • FIG. 2 is a diagram showing an example of a pixel array and a color filter array of the solid-state imaging device 11 shown in FIG.
  • the solid-state imaging device 11 in the illustrated example has a so-called honeycomb pixel arrangement in which even-numbered pixel rows are shifted by 1/2 pixel pitch with respect to odd-numbered pixel rows. If only the pixels in the odd-numbered rows are viewed, a square lattice is arranged thereon, and the color filter rgb is arranged in a Bayer array, and only the pixels in the even-numbered rows are arranged in a square lattice, and further, the color filters RGB are arranged in the Bayer array.
  • the light-shielding film openings 2a and 2b of adjacent pixels in which one pixel is stacked in four pixels and green (G, g) color filters are stacked are formed as light-shielding film openings of other normal pixels (not shown).
  • the pupil division is performed by providing smaller and eccentric in opposite directions.
  • a pixel having such a light shielding film opening 2 a constitutes a first phase difference detection pixel (focus detection pixel) 2
  • a pixel having a light shielding film opening 2 b constitutes a pair of second phase difference detection pixels 2. It is composed.
  • the pupil division is performed by decentering the light shielding film openings of the adjacent two pixels.
  • the pupil may be divided by mounting one elliptical microlens common to the adjacent two pixels.
  • FIG. 3 is a schematic view of the surface of a solid-state imaging device according to another embodiment.
  • the pixel array and the color filter array are the same as those in the embodiment of FIG. 2, but in this embodiment, all the pixels are the phase difference detection pixels 2, and the light shielding film openings 2a and 2b are eccentric to the two adjacent pixels that form a pair. Is different.
  • the phase difference detection pixel detects only the phase difference information, and the captured image signal at the phase difference detection pixel position is obtained by interpolating the captured image signals of the surrounding normal color pixels.
  • all pixels detect phase difference information, and a subject captured image is generated using detection signals of all pixels as captured image signals.
  • FIG. 4 is a schematic diagram of the surface of a solid-state imaging device according to still another embodiment.
  • the pixel arrangement in the embodiment of FIGS. 2 and 3 is a so-called honeycomb pixel arrangement, but in this embodiment, it is a square lattice arrangement.
  • all the pixels are used as phase difference detection pixels, and light shielding film openings 2a and 2b are provided that are eccentric to two pixels of the same color adjacent in the horizontal direction as a pair.
  • the phase difference detection pixels may be provided at discrete positions (and / or periodic positions) as in the embodiment of FIG.
  • the phase detection pixels are provided in all pixels or discrete pixels in the entire area of the light-receiving surface (photosensitive pixel area) of the solid-state imaging device. It is good also as a structure which provides a phase difference detection pixel. This is because the phase difference information is information necessary for performing the AF process, and the main subject has a high probability of entering the area of the central portion.
  • FIG. 5 is a diagram for explaining the detection principle of the phase difference information detected by the phase difference detection pixel. While shifting the focal position of the photographic lens, the output signal f (x) of the first phase difference detection pixel having the light shielding film opening 2a and the output signal g (x) of the second phase difference detection pixel having the light shielding film opening 2b. ) Is plotted as shown in FIG.
  • x represents a position in the horizontal direction (lateral direction). The higher the values of f (x) and g (x), the more focused.
  • f (x) and g (x) have peaks in focus when they are shifted by the phase difference amount d. This phase difference amount d corresponds to the amount of focus shift and is a function of the distance to the subject.
  • the focus shift amount is converted into AF parameters such as the number of driving pulses of the Focals lens (the conversion table is stored in the storage area of the imaging device), and AF control is performed. Can do.
  • This phase difference AF control can perform high-speed processing as compared with the contrast AF method, so that the possibility of missing a photo opportunity is reduced.
  • the above-described f (x) and g (x) are obtained by averaging the detection signals of a plurality of phase difference detection pixels arranged in the vertical direction (vertical direction) of the solid-state imaging device. Is preferably calculated. If this vertical addition number cannot be secured, there is a high possibility that AF accuracy cannot be expected.
  • FIG. 6 is a view showing a state where dust adheres to the light-receiving surface of the solid-state imaging device (optical low-pass filter surface).
  • a state is shown in which dust 101 adheres within the central portion of the light receiving surface (photosensitive pixel region) 11a of the solid-state imaging device 11.
  • the phase difference detection pixel 2 described with reference to FIGS. 2 to 5 is provided, which is a phase difference pixel effective area 11b.
  • an image of a subject for example, a person
  • an image of a main subject portion for example, a face
  • the photographer should have an intention to capture an image in which the main subject portion (in this example, a human face) is in focus.
  • phase difference detection pixel 2 when dust 101 is placed on the phase difference detection pixel 2 in a required portion (the AF area to be focused) in the phase difference pixel effective area 11b, as shown in FIG.
  • the sensitivity of the phase difference detection pixel 2 (indicated by hatching) in the dust-laden area where the dust is placed is slightly darker than the sensitivity of the phase difference detection pixel in the dust-free area by the amount of light transmitted through the dust 101 is reduced. It becomes an image.
  • phase difference AF control is performed in an area with dust, there is a risk that the AF accuracy will be reduced.
  • phase difference AF control is performed in a dust-free area, a so-called out-of-focus image that does not focus on the main subject may be captured.
  • the phase difference amount di (FIG. 5) in the dusty region is obtained, the reliability of the phase difference amount is judged, and when the reliability is high, the phase difference amount is obtained in the dusty region.
  • the phase difference AF control is performed with the phase difference amount di.
  • phase difference amount di in the dusty region When the reliability of the phase difference amount di in the dusty region is low, the phase difference amount dj in the dustless region is obtained, and the reliability of the phase difference amount dj is determined. When the reliability is high, there is no dust. Phase difference AF control is performed with the phase difference amount dj obtained in the region. When the reliability of the phase difference amount dj in the dust-free region is low, contrast AF control is performed.
  • FIG. 8 is a flowchart showing an AF control processing procedure according to the embodiment of the present invention, which is executed by the subordinate components connected by the system controller 21 of FIG.
  • step S1 information on the mounted lens unit 13 is acquired, and information on the solid-state imaging element 11 is acquired. This is because the exit pupil position of the photographing lens 17, the diagonal length of the image sensor, the pixel pitch, and the like are used when calculating the phase difference amount. If the lens unit 13 is not replaceable but fixed, these pieces of information are fixed values.
  • step S2 the driver 51 is instructed to perform dust removal control that gives fine vibrations to the optical low-pass filter 12.
  • step S3 the presence / absence of dust remaining on the surface of the optical low-pass filter 12 is detected. That is, since the incident light that has passed through the optical low-pass filter 12 is projected onto the light receiving surface of the solid-state image sensor 11, a dust image is captured by the solid-state image sensor 11, and the presence or absence of this dust image is detected. .
  • the detection of the presence or absence of dust is detected by analyzing the image when the imaging device 10 is activated and the solid-state imaging device 11 outputs captured image data (through image data) in a moving image state. It can. For example, at this time, through image data with a slow shutter speed and a large exposure amount can be output, and detection can be made based on whether or not there is a region where the sensitivity is lower than the surroundings. At this time, the presence or absence of the dust image may be detected more accurately by displaying a message such as “Please point the lens at the white wall or paper” or “Please capture the sky”. .
  • the presence or absence of dust can be detected with high accuracy by analyzing images taken in a normal shooting operation for each shooting and accumulating the number as many as tens or hundreds.
  • the detected dust position may be stored in a memory or the like, and the following control may be performed using this.
  • step S4 it is determined whether dust is present in the AF area, and if dust is present, the process proceeds to step S5.
  • step S5 a phase difference detection pixel (focus detection pixel) is excluded from the dust boundary.
  • the phase difference detection pixel of the present embodiment has two pixels adjacent in the horizontal direction as a pair pixel. For example, as shown in FIG. There is a pair of pixels (one surrounded by a rectangular frame 61 in the figure), one overlapping the dust area and the other outside the dust area.
  • phase difference information As described in FIG. 5, in order to obtain the phase difference information by obtaining the difference between the detection signal of the first phase difference detection pixel and the detection signal of the second phase difference detection pixel constituting the paired pixel, If only one of the paired pixels is covered with dust, the difference is more influenced by the presence or absence of dust than the phase difference information, and phase difference information with high accuracy cannot be acquired. For this reason, it is necessary to exclude the pair pixels (phase difference detection pixels) surrounded by the rectangular frame 61 in FIG. 9 at the dust boundary.
  • FIG. 10 is a flowchart showing a detailed procedure of the phase difference detection pixel exclusion process (step S5 in FIG. 8) at the dust boundary.
  • a phase difference detection pixel located at the boundary between a dust area and a dust-free area is extracted (step S51).
  • step S52 it is determined whether or not two adjacent phase difference detection pixels to be paired pixels are present in the same region (both in the dust-containing region or both in the dust-free region).
  • step S52 the pair of phase difference detection pixels that do not exist in the same region proceeds to the next step S53, is excluded, is excluded from the addition averaging process described in FIG. 5, and proceeds to step S54. If the result of determination in step S52 is that there is a pair of phase difference detection pixels in the same region, processing proceeds to step S54.
  • step S54 it is determined whether or not the determination process of step S52 has been performed for all the phase difference detection pixels extracted in step S51. If the determination result is negative (No), the process returns to step S52, and the determination result is If the determination is affirmative (Yes), the processing in FIG. 10 is terminated, and the process proceeds to step S6 in FIG.
  • step S6 of FIG. 8 the sampling points of f (x) and g (x) (positions of the light shielding film openings 2a and 2b) described in FIG. 5 in the dust-existing area (hatched area in FIG. 7B) in the AF area.
  • the signal amounts fi (x) and gi (x) are obtained, and the calculation process of the defocus amount di in the dust area is performed in the next step S7.
  • step S8 the process proceeds to step S8, and the reliability of the defocus amount di obtained in the dust area is determined as described later. If this reliability is high, the process proceeds to step S9, where phase difference AF control is executed based on the defocus amount di, and this process ends.
  • step S4 If it is determined that there is no dust as a result of the determination in step S4, the process proceeds to step S10. Moreover, also when reliability is low as a result of determination of step S8, it progresses to step S10.
  • step S10 the sampling points fj (x) and gj (x) are obtained in the dust-free area in the AF area (the white area in FIG. 7B) in the same manner as in step S6.
  • a calculation process of the defocus amount dj in the absence area is performed.
  • step S12 the reliability of the focus shift amount dj obtained in the dust-free area is determined as described later. If the reliability is high, the process proceeds to step S13, and the phase difference AF control is executed with the focus shift amount dj. Then, this process ends.
  • step S12 determines whether the reliability is low. If the result of determination in step S12 is that the reliability is low, the process proceeds to step S14, where contrast AF control is executed as described later, and this process is terminated.
  • FIG. 11 is a flowchart showing the detailed processing procedure of step S6 of FIG. First, in step S61, the detection signals of the first and second phase difference detection pixels constituting the plurality of paired pixels in the same column of the pixel group included in the dusty region are added in the vertical direction, and the average value is calculated. To do.
  • next step S62 whether or not the total addition averaging number of the first (or second) phase difference detection pixels that are vertically added and averaged in the n-th column of the paired pixel columns is less than a predetermined threshold value A in the dust region. Determine whether. In the case of A or more, it is considered that the number of added pixels is sufficient and AF accuracy can be obtained, and the processing of FIG.
  • step S62 As a result of the determination in step S62, when the total addition average number is less than A, there is a high probability that the number of pixel additions is small and AF accuracy cannot be obtained. Therefore, the process of the next step S63 is performed, and the process of FIG. finish.
  • step S63 the vertical addition average value of the detection signals of the first phase difference detection pixels of the (n + 1) th column (or the (n-1) th column) adjacent to the nth column of the paired pixel column is added, and the second phase difference detection pixel is added.
  • the average addition value of the detected signals is added. Thereby, the signal amount at the position indicated by the black dots of f (x) and g (x) shown in FIG. 5 is obtained.
  • FIG. 12 is a flowchart showing the detailed processing procedure of step S10 of FIG.
  • the processing contents of steps S101, S102, and S103 are the same as the processing contents of steps S61, S62, and S63 of FIG. 11, respectively.
  • FIG. 11 shows the processing in the dust area, whereas FIG. There is only a difference in processing in the area. For this reason, the overlapping description is omitted.
  • FIG. 13 is a flowchart showing the detailed processing procedure of step S7 of FIG. First, in step S71, it is determined whether or not the number of pixels subjected to vertical addition averaging is greater than a predetermined threshold E in the nth column of the paired pixel columns in the dust region.
  • step S71 if the number of added pixels ⁇ E, the n-th column is excluded from the focus shift calculation target in step S73, and the process proceeds to step S72.
  • step S72 it is determined whether or not the determination in step S71 has been made for all columns in the dust region. If there is an undetermined column, the process returns to step S71. If all the columns have been determined, the process proceeds to step S74, and f (x) and g (x) shown in FIG. 5 are calculated. In the next step S75, the peak position of f (x) and g The phase difference amount di with respect to the peak position of (x) is calculated as the defocus amount di of the dust area, and the process proceeds to step S8 in FIG.
  • FIG. 14 is a flowchart showing a detailed processing procedure of step S8 (FIG. 8) for determining reliability.
  • step S81 it is determined whether or not the number of paired pixel rows that are subject to calculation of the amount of defocus is greater than a predetermined threshold number F.
  • a predetermined threshold number F it is determined whether or not the number of paired pixel rows that are subject to calculation of the amount of defocus is greater than a predetermined threshold number F.
  • step S81 if the number of pair pixel columns to be calculated is equal to or greater than F, the process proceeds to step S82, and the signal amount of the first phase difference detection pixel and the second phase difference in the nth column of the paired pixel columns. The absolute value of the difference from the signal amount of the detection pixel is calculated.
  • step S83 it is determined whether or not the minimum absolute value of the difference is less than a predetermined threshold G. If the absolute value of the difference is the minimum value ⁇ G, that is, if the difference is too large, the difference is not caused by the parallax (phase difference amount) but is caused by other factors. It is determined that the reliability is low, and the process proceeds to step S10.
  • step S84 the amount of focus shift di calculated in the dust area is converted into the distance to the subject, and whether or not the subject is farther than a predetermined threshold B (for example, the shortest shooting distance MOD), that is, the subject distance> B. Determine whether or not.
  • a predetermined threshold B for example, the shortest shooting distance MOD
  • step S10 If the result of this determination is negative, that is, if the distance to the subject ⁇ B, it is difficult to think that the distance is shorter than the shortest shooting distance, so it is determined that the reliability of the defocus amount di is low, and the process proceeds to step S10.
  • step S84 the process proceeds to the next step S85, where the area or position occupied by dust is determined, and it is determined whether or not there is a high possibility that the main object exists in the dust area. To do. That is, it is determined whether or not the area of the dust area is larger than the predetermined threshold C, or is the distance from the center of the imaging surface (light receiving surface) to the center of the dust area smaller than the predetermined threshold D, that is, is close to it? Determine whether or not.
  • step S10 If the result of this determination is negative, it is determined that the reliability of the focus shift amount di is low, and the process proceeds to step S10. If the result of determination is affirmative, it is determined that the reliability of the focus shift amount di is high, and step S9 is performed. Then, the phase difference AF control using the focus shift amount di is executed.
  • FIG. 15 is a flowchart showing the detailed processing procedure of step S11 of FIG.
  • the processing contents of steps S111, S112, S113, S114, and S115 are the same as the processing contents of steps S71, S72, S73, S74, and S75 described with reference to FIG. 13. The difference is that FIG. It is only a point that is processing.
  • step S115 the focus shift amount dj is calculated, and the process proceeds to step S12.
  • FIG. 16 is a flowchart showing a detailed processing procedure of step S12 in FIG. 8, and shows a processing procedure for determining the reliability of the focus shift amount dj in the dust-free region calculated in step S11.
  • This flowchart includes three steps S121, S122, and S123. In these three steps, the same processing as steps S81, S82, and S83 in FIG. 14 is performed. That is, when the number of focus shift amount calculation target columns is larger than F in step S121, the process proceeds to step S122, and when it is small, the reliability is low and the process proceeds to step S14.
  • step S122 the absolute value of the difference is obtained in the same manner as in step S82.
  • step S123 when the absolute value of the difference is smaller than G, it is determined that the reliability of the focus shift amount dj is high, and the process proceeds to step S13.
  • the minimum value of G ⁇ G it is determined that the reliability of the focus shift amount dj is low and the process proceeds to step S14.
  • step S14 contrast AF control is performed.
  • the captured image is divided into a plurality of regions, and the contrast value is evaluated in each region.
  • an area including dust is defined as an area with dust.
  • the area with dust is excluded from the target of contrast AF, and the contrast value obtained in the area with dust is determined based on the same criteria (for example, NG when the subject distance is MODE). Judge reliability.
  • contrast AF may be separately performed only in the dust area and compared with the contrast value in other areas.
  • the area is designated so that the maximum area can be obtained by a rectangle in the area with dust.
  • paired pixels 63, 64, 65, and 66 at four corners having a rectangular maximum area are determined. Two of the paired pixels are selected so as to be included in the dust area. This is to mix the detection signals of the first phase difference detection pixel and the second phase difference detection pixel in order to compensate for the lack of sensitivity.
  • the size of the paired pixels 63, 64, 65, 66 is used as a reference. That is, when the distance (rectangular horizontal dimension) between the pair pixel 63 and the pair pixel 64 is a, and the distance (rectangular vertical dimension) between the pair pixel 64 and the pair pixel 65 is b, the rectangle of the horizontal a vertical b.
  • An area is a unit area. Then, as shown in FIG. 18, the photosensitive pixel area is divided into a large number of unit areas. A region including even a part of the dust 101 is a dusted region 102. A unit area that protrudes from the surrounding unit area to the invalid pixel area outside the photosensitive pixel area is invalid.
  • contrast AF control it is possible to perform high-precision contrast AF control by dividing into a plurality of regions and performing contrast AF.
  • this contrast AF first, the contrast value of the dusty area is obtained, and contrast AF control is performed, so that the subject image focused on the main subject is captured even when the main subject image overlaps the dusty area. It becomes possible.
  • contrast AF may be performed in the dust-free area excluding the dust area, or contrast AF may be performed in the dust-free area from the beginning. Further, when a plurality of dusts exist in the imaging region, the size of the unit region may be determined by the smallest dust size among them.
  • solid-state imaging in which a plurality of sets of adjacent first phase difference detection pixels and second phase difference detection pixels that are divided into pupils are provided on the light receiving surface.
  • An imaging apparatus equipped with an element and an autofocus control method thereof wherein it is determined whether or not there is a dust image in an image captured in the AF area of the light receiving surface, and the dust image is in the AF area. If included, a deviation amount between the detection signal of the first phase difference detection pixel and the detection signal of the second phase difference detection pixel that overlaps the dust image is obtained, and the reliability of the deviation amount is determined.
  • autofocus control is performed by a phase difference AF method using the deviation amount, and when the reliability is low, other than the phase difference AF method using the deviation amount.
  • the imaging apparatus and the autofocus control method according to the embodiment obtain a deviation amount of a dustless area that does not overlap the dust image in the AF area, and the deviation of the dustless area is obtained.
  • the reliability is high, autofocus control is performed by the phase difference AF method using the deviation amount of the dust-free area, and when the reliability is low, the contrast AF method is used for autofocus control. Perform focus control.
  • the contrast AF method of the imaging apparatus and the autofocus control method thereof according to the embodiment is performed in each of the area where the dust image exists and the area where the dust image does not exist in the light receiving surface.
  • the imaging apparatus and the autofocus control method thereof include a set of the first phase difference detection pixel and the second phase difference detection pixel at a boundary portion of a region overlapping the dust image in the AF area.
  • a set of the phase difference detection pixels included in a region where one of them does not overlap with the dust image is excluded from the calculation target of the deviation amount.
  • the detection signals of the first and second phase difference detection pixels used when calculating the shift amount are arranged in a direction perpendicular to the light receiving surface.
  • a signal obtained by averaging the detection signals of a pixel row composed of a plurality of the phase difference detection pixels is used.
  • the signal of the pixel column and the signal of the pixel column adjacent to the pixel column are obtained when the averaged number of pixels is less than the first predetermined threshold. Is used as a detection signal for calculating the amount of deviation.
  • the shift amount is obtained by excluding the signal of the pixel column.
  • the imaging apparatus and the autofocus control method thereof determines that the reliability is low when the number of pixel columns used when calculating the shift amount is less than a third predetermined value.
  • the signal obtained from the detection signal of the first phase difference detection pixel and the second phase difference detection pixel used when calculating the deviation amount.
  • the absolute value of the difference from the signal obtained from the detection signal is used as the reliability evaluation value.
  • the imaging apparatus and the autofocus control method thereof determines that the reliability is higher as the evaluation value is lower, and the reliability is low when the minimum value of the absolute value is greater than a fourth predetermined threshold. judge.
  • the imaging apparatus and the autofocus control method thereof converts the amount of deviation into a distance to the subject, and determines that the reliability is low when the distance to the subject is smaller than a fifth predetermined threshold.
  • the area of the dust image is larger than a sixth predetermined threshold value, or the distance between the center of the dust image and the center of the light receiving surface is larger than a seventh predetermined threshold value. If it is small, it is determined that the reliability is low.
  • an image focused on the main subject can be taken even if the dust image comes on the light receiving surface of the solid-state image sensor and overlaps the main subject image.
  • the imaging apparatus can capture an image focused on the main subject image in the AF area even when dust is placed on the AF area, and thus can be applied to an imaging apparatus such as a digital camera or a camera-equipped mobile phone. Then it is useful.
  • Phase difference detection pixel 2a Phase difference detection pixel 2a Light shielding film opening 2b of first phase difference detection pixel Light shielding film opening 10 of second phase difference detection pixel 10 Imaging device 11 Solid-state imaging device 11a Photosensitive pixel region (light receiving region) 11b Phase difference detection pixel effective area 20 Signal processing LSI 21 System controller 101 Dust

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

　焦点検出画素（位相差検出画素）を受光面に搭載した固体撮像素子を持つ撮像装置において、受光面上にダストが乗ったとき、ダスト有り領域における位相差量を位相差検出画素の検出信号から求め、この位相差量の信頼性を判断し、その信頼性が高い場合にはダスト有り領域で求めた位相差量で位相差ＡＦ制御を行う。

Description

撮像装置及びそのオートフォーカス制御方法
　本発明は、焦点検出用画素（位相差検出画素ともいう。）を持つ固体撮像素子を搭載したデジタルカメラ等の撮像装置及びそのオートフォーカス制御方法に係り、特に、位相差検出画素から出力される位相差情報により被写体までの焦点距離を求める撮像装置及びそのオートフォーカス制御方法に関する。
　カメラシステムにおいて、例えば図１９に示す様に、固体撮像素子の受光面（固体撮像素子の受光面である感光画素領域の前面には光学ローパスフィルタが配置されるため、実際には光学ローパスフィルタ上）１００上にダスト１０１が乗ってしまうことがある。カメラの機種によっては、光学ローパスフィルタを振動させてダストを除去できるものもあるが、粘着性の高いダストの場合はなかなか取れない。この場合、固体撮像素子で撮像された被写体画像の中に、ダストが乗った部分的領域が感度低下領域として現れる。
　特許文献１には、ダスト１０１の存在する領域を特定し、ダストの存在する領域を除いた領域の撮像画像信号を用いて焦点検出を行う技術が開示されている。また、特許文献２には、固体撮像素子とは別に設けたＡＦセンサ表面の複数の焦点検出領域を各々複数のブロックに分割し、ダスト有無判定手段によりダスト有りと判定されたブロックでのフォーカス量検出手段の出力を無効にする技術が開示されている。この様な場合、ダスト有り領域に主要被写体が映っていると、その主要被写体に焦点を合わせることができない。
　近年、固体撮像素子の受光面上に位相差検出画素を埋め込んだものが普及し始めている。位相差検出画素は、例えば２つの隣接画素を瞳分割して構成することができる。例えば、下記の特許文献３に記載されている様に、遮光膜開口を他の通常画素より小面積にし、かつ２つの隣接画素（ペア画素）の各遮光膜開口を反対方向に偏心させて構成される。
　この様な位相差検出画素を持つ固体撮像素子においても、固体撮像素子受光面上にダストが乗ってしまうと、正確な位相差情報がとれず、オートフォーカス（ＡＦ）の精度が低下してしまう。特に、主要被写体画像がダスト有り領域に来てしまうと、主要被写体にピントのあった画像を撮像することができない。
日本国特開２０１０―１４９８１号公報 日本国特開２００９―２７１４２８号公報 日本国特開２００９―１０５３５８号公報
　本発明の目的は、位相差検出画素を持つ固体撮像素子の受光面上かつ主要被写体画像に重なる位置にダスト画像が来てしまっても主要被写体に合焦した画像を撮像することができる撮像装置及びそのオートフォーカス制御方法を提供することにある。
　瞳分割された隣接する第１の位相差検出画素及び第２の位相差検出画素の組が受光面に複数組設けられた固体撮像素子と、上記受光面のＡＦエリア内で撮像される画像中にダスト画像があるか否かを判定するダスト有無判定部と、上記ＡＦエリア内に上記ダスト画像が含まれる場合にはこのダスト画像に重なる上記第１の位相差検出画素の検出信号と上記第２の位相差検出画素の検出信号との間のズレ量を求める焦点ズレ量演算部と、上記ズレ量の信頼性を判定するズレ量信頼性判定部と、上記ズレ量の信頼性が高い場合にはこのズレ量を用いた位相差ＡＦ方式でオートフォーカス制御を行い、上記信頼性が低い場合には上記ズレ量を用いた上記位相差ＡＦ方式以外のオートフォーカス制御を行う制御部とを備える撮像装置。
　瞳分割された隣接する第１の位相差検出画素及び第２の位相差検出画素の組が受光面に複数組設けられた固体撮像素子を搭載した撮像装置のオートフォーカス制御方法であって、上記受光面のＡＦエリア内で撮像される画像中にダスト画像があるか否かを判定し、上記ＡＦエリア内に上記ダスト画像が含まれる場合にはこのダスト画像に重なる上記第１の位相差検出画素の検出信号と上記第２の位相差検出画素の検出信号との間のズレ量を求め、上記ズレ量の信頼性を判定し、上記ズレ量の信頼性が高い場合にはこのズレ量を用いた位相差ＡＦ方式でオートフォーカス制御を行い、上記信頼性が低い場合には上記ズレ量を用いた上記位相差ＡＦ方式以外のオートフォーカス制御を行う撮像装置のオートフォーカス制御方法。
　本発明によれば、位相差検出画素を持つ固体撮像素子の受光面上かつ主要被写体画像に重なる位置にダスト画像が来てしまっても主要被写体に合焦した画像を撮像することができる。
本発明の一実施形態に係る撮像装置の機能ブロック図である。 図１に示す固体撮像素子の表面模式図である。 図２に代わる固体撮像素子の表面模式である。 図２，図３に代わる固体撮像素子の表面模式図である。 位相差検出画素による位相差情報の検出原理説明図である。 ダストが位相差検出画素有効領域に付着した状態を示す図である。 図７Ａは、図６に示すダストの付着した状態を示す拡大図であり、図７Ｂは、ダスト画像を示す拡大図である。 本発明の一実施形態に係るオートフォーカス制御方法の処理手順の全体を示すフローチャートである。 図４に示す固体撮像素子にダストが乗ったときのダスト境界部の状態を示す図である。 図８に示す位相差検出画素除外処理のステップＳ５の詳細処理手順を示すフローチャートである。 図８のダスト有り領域における位相差検出画素の検出信号を求めるステップＳ６の詳細処理手順を示すフローチャートである。 図８のダスト無し領域における位相差検出画素の検出信号を求めるステップＳ１０の詳細処理手順を示すフローチャートである。 図８の焦点ズレ量ｄｉ算出処理のステップＳ７の詳細処理手順を示すフローチャートである。 図８のダスト有り領域で求めた焦点ズレ量ｄｉの信頼性判定処理のステップＳ８の詳細処理手順を示すフローチャートである。 図８の焦点ズレ量ｄｊ算出処理のステップＳ１１の詳細処理手順を示すフローチャートである。 図８のダスト無し領域で求めた焦点ズレ量ｄｊの信頼性判定処理のステップＳ１２の詳細処理手順を示すフローチャートである。 図８のコントラストＡＦ制御ステップＳ１４の説明図である。 図８のコントラストＡＦ制御ステップＳ１４を行うときの領域分割を示す図である。 固体撮像素子の受光面にダストが乗った状態を示す図である。
　以下、本発明の一実施形態について、図面を参照して説明する。
　図１は、本発明の一実施形態に係る撮像装置（デジタルカメラ）の機能ブロック構成図である。撮像装置１０は、ＣＣＤ型やＣＭＯＳ型等の固体撮像素子１１と、固体撮像素子１１の前面に配置された光学的ローパスフィルタ（ＯＬＰＦ）１２と、光学的ローパスフィルタ１２の前段に配置されるレンズユニット１３とを備える。なお、光学的ローパスフィルタ１２には、赤外線カットフィルタが並置されるが、この図示は省略している。
　レンズユニット１３は、レンズユニット内のレンズマウント１４と、カメラ本体側のレンズマウント１５とを着脱自在に係合することで、他の図示しないレンズユニットと交換可能になっている。
　レンズユニット１３内には、ズームレンズやフォーカスレンズを持つ撮影レンズ１７と、撮影レンズ１７の背部に配置された絞り１８と、撮影レンズ１７の倍率制御やフォーカス位置を、後述するシステムコントローラ２１の指示に従って制御するマイコン１９とを備える。
　撮像装置１０は、更に、固体撮像素子１１から出力されるアナログの撮像画像信号を処理（相関二重サンプリング処理，利得制御処理，アナログデジタル変換処理等）するアナログ信号処理部１６と、このアナログ信号処理部１６の出力信号を取り込んで各種画像処理等を行う信号処理ＬＳＩ２０とを備える。
　信号処理ＬＳＩ２０は、この撮像装置１０の全体を統括的に制御するシステムコントローラ（マイコン）２１と、取り込んだ撮像画像信号に対して各種画像処理等を行うカメラ信号処理部２２と、画像処理された画像データを圧縮したり伸張したり画素数変換処理等を行う圧縮伸張処理部２３と、固体撮像素子１１から出力されるスルー画像データを処理してＡＦ（自動焦点）処理，ＡＥ（自動露出）処理，ＡＷＢ（自動ホワイトバランス）処理等を行い、後述する焦点ズレ量の演算を行うと共に露出の判定を行うＡＦ／ＡＥ／ＡＷＢ処理部２４とを備える。
　信号処理ＬＳＩ２０は、更に、メインメモリとして使用するＳＤＲＡＭ４１に接続されるメモリコントローラ２５と、カメラ背面などに設けられた表示部４２やビデオアンプ４３に接続される表示系処理部２６と、オーディオＩＣ４４に接続されるオーディオ処理部２７と、ダスト検出・除去演算部２８と、撮像画像データを記録するメモリカード４５に接続されるメモリインタフェースやＵＳＢ端子４６に接続されるＵＳＢインタフェースを持つインタフェース部２９とを備える。
　信号処理ＬＳＩ２０の上記の各構成部（システムコントローラ２１～インタフェース部２９）は、バス３０によって相互に接続されている。オーディオＩＣ４４にはマイク４７やスピーカ４８が接続され、ビデオアンプ４３とオーディオＩＣ４４にはＡＦインタフェース４９が接続される。
　システムコントローラ２１は、レンズユニット１３内のマイコン１９と通信を行い、フォーカス制御や絞り制御を行うと共にレンズ情報を取得する。また、システムコントローラ２１は、ドライバ（ＤＲ）５１を介し光学的ローパスフィルタ１２の微細振動制御を行ってダスト除去制御を行うと共に、タイミングジェネレータ（ＴＧ）５２を介して固体撮像素子１１に駆動パルスを供給する。また、カメラ前面所要箇所に設けたフラッシュ５３の発光制御を行う。撮像装置１０には電源回路５４が設けられており、上述した各構成部に電源供給を行う。
　図２は、図１に示す固体撮像素子１１の画素配列，カラーフィルタ配列の一例を示す図である。斜め４５度に傾けた正方形枠が各々画素（光電変換素子：フォトダイオード）を示し、その上に記載したＲ（＝ｒ），Ｇ（＝ｇ），Ｂ（＝ｂ）は、カラーフィルタの色を示している。
　図示する例の固体撮像素子１１は、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして配置された、所謂ハニカム画素配列となっている。奇数行の画素だけみると正方格子配列され、その上に、カラーフィルタｒｇｂがベイヤ配列され、偶数行の画素だけみても正方格子配列され、その上に、カラーフィルタＲＧＢがベイヤ配列されている。
　そして、水平方向，垂直方向共に、４画素に１画素、緑色（Ｇ，ｇ）のカラーフィルタが積層された隣接画素の遮光膜開口２ａ，２ｂを他の通常画素の遮光膜開口（図示省略）より小さく、かつ互いに反対方向に偏心して設け、瞳分割を行っている。この様な遮光膜開口２ａを持つ画素が、第１の位相差検出画素（焦点検出画素）２を構成し、遮光膜開口２ｂを持つ画素が、ペアとなる第２の位相差検出画素２を構成している。なお、この例では、隣接二画素の遮光膜開口を偏心させることで瞳分割したが、隣接二画素に共通の１つの楕円状のマイクロレンズを搭載して瞳分割することでも良い。
　図３は、別実施形態に係る固体撮像素子の表面模式図である。画素配列，カラーフィルタ配列は図２の実施形態と同じであるが、本実施形態では、全画素を位相差検出画素２とし、ペアとなる隣接二画素の夫々に偏心した遮光膜開口２ａ，２ｂを設けている点が異なる。
　図２の実施形態では、位相差検出画素は位相差情報だけを検出し、位相差検出画素位置の撮像画像信号は、周りの通常の同色画素の撮像画像信号を補間演算して求めるが、本実施形態では、全画素が位相差情報を検出すると共に、全画素の検出信号を撮像画像信号として被写体撮像画像を生成する。
　図４は、更に別実施形態に係る固体撮像素子の表面模式図である。図２，図３の実施形態における画素配列は所謂ハニカム画素配列であったが、本実施形態では、正方格子配列となっている。そして、全画素を位相差検出画素とし、ペアとなる水平方向に隣接する同色二画素に夫々偏心した遮光膜開口２ａ，２ｂを設けている。勿論、画素配列が正方格子配列の場合でも、位相差検出画素を図２の実施形態と同様に離散的位置（及び／又は周期的位置）に設けることでも良い。
　なお、図２～図４の実施形態では、固体撮像素子受光面（感光画素領域）の全領域の全画素又は離散的画素に位相検出画素を設けたが、受光面の中央部分の領域にだけ位相差検出画素を設ける構成としても良い。位相差情報は、ＡＦ処理を行う場合に必要な情報であり、主要被写体は中央部分の領域内に入る蓋然性が高いためである。
　図５は、位相差検出画素により検出する位相差情報の検出原理を説明する図である。撮影レンズの焦点位置をずらしながら、遮光膜開口２ａを持つ第１の位相差検出画素の出力信号ｆ（ｘ）と、遮光膜開口２ｂを持つ第２の位相差検出画素の出力信号ｇ（ｘ）をプロットしていくと、図５のようになる。ここで、ｘは、水平方向（横方向）の位置を表す。f（ｘ），ｇ（ｘ）の値が高いほど、ピントがあっていることになる。図５の場合、ｆ（ｘ），ｇ（ｘ）は、位相差量ｄだけずれたところでピントの山がきている。この位相差量ｄが焦点ズレ量に相当し、被写体までの距離の関数となる。
　焦点ズレ量は、
　Ｓ（ｄ）=∫｜ｆ（ｘ＋ｄ）－ｇ（ｘ）｜ｄｘを定義した場合、Ｓ（ｄ）が最小となるｄを求めればよい。
　焦点ズレ量を算出した後、焦点ズレ量をフォカースレンズの駆動パルス数等のＡＦ用パラメータに変換し（変換用のテーブルは撮像装置の記憶領域に格納されている）、ＡＦ制御を行うことができる。
　この位相差ＡＦ制御は、コントラストＡＦ方式に比べて高速処理が可能なため、シャッタチャンスを逃す虞が小さくなる。しかし、ＡＦ精度を高精度にするには、固体撮像素子の垂直方向（縦方向）に並ぶ複数個の位相差検出画素の検出信号を加算平均して上記のｆ（ｘ），ｇ（ｘ）を算出するのが好ましい。この垂直加算数を確保できない場合には、ＡＦ精度が期待できない可能性が高い。
　図６は、ダストが固体撮像素子受光面（光学的ローパスフィルタ表面）に付着した状態を示す図である。固体撮像素子１１の受光面（感光画素領域）１１ａの中央部分の領域内でダスト１０１が付着した様子を示している。中央部分の領域は、図２～図５で説明した位相差検出画素２が設けられ、位相差画素有効領域１１ｂとなっている。
　撮像装置１０で被写体（例えば、人物）の画像を撮像するとき、このダスト１０１が付着した領域に主要被写体部分（例えば、顔）の画像が入るとする。撮影者は、当然に、主要被写体部分（この例では人の顔）にピントの合った画像を撮像したい意図があるはずである。
　しかし、図７Ａに示す様に、位相差画素有効領域１１ｂ内の所要部分（合焦させるＡＦエリア）の位相差検出画素２の上にダスト１０１が乗ると、図７Ｂに示す様に、ダスト１０１が乗ったダスト有り領域内の位相差検出画素２（ハッチングで示す）の感度は、ダスト１０１の透過光量が少なくなる分だけ、ダスト無し領域内の位相差検出画素の感度より低下し、若干暗い画像となってしまう。
　このため、ダスト有り領域で位相差ＡＦ制御を行うと、ＡＦ精度が低下してしまう虞がある。しかし、ダスト無し領域で位相差ＡＦ制御を行うと、主要被写体に合焦しない所謂ピンボケ画像が撮像されてしまう虞がある。
　そこで、以下に述べる実施形態では、ダスト有り領域における位相差量ｄｉ（図５）を求め、この位相差量の信頼性を判断し、その信頼性が高い場合にはダスト有り領域で求めた位相差量ｄｉで位相差ＡＦ制御を行う。
　ダスト有り領域における位相差量ｄｉの信頼性が低い場合には、ダスト無し領域の位相差量ｄｊを求め、この位相差量ｄｊの信頼性を判断し、この信頼性が高い場合にはダスト無し領域で求めた位相差量ｄｊで位相差ＡＦ制御を行う。ダスト無し領域における位相差量ｄｊの信頼性が低い場合には、コントラストＡＦ制御を行う。
　図８は、本発明の実施形態に係るＡＦ制御処理手順を示すフローチャートであり、図１のシステムコントローラ２１がバス３０で接続された配下の各構成部を用いて実行する。先ず、ステップＳ１で、装着しているレンズユニット１３の情報を取得すると共に、固体撮像素子１１の情報を取得する。位相差量を算出する場合、撮影レンズ１７の射出瞳位置や撮像素子対角長，画素ピッチなどを用いるためである。レンズユニット１３が交換式でなく、固定であれば、これらの情報は固定値となる。
　次のステップＳ２ではドライバ５１に指示を出し、光学的ローパスフィルタ１２に微細震動を与えるダスト除去制御を行う。そしてステップＳ３で、光学的ローパスフィルタ１２の表面に残ったダストの有無を検出する。即ち、光学的ローパスフィルタ１２を透過した入射光は固体撮像素子１１の受光面に投射されるため、ダストの画像が固体撮像素子１１で撮像されることになり、このダスト画像の有無を検出する。
　ダストの有無の検出すなわちダスト画像の有無の検出は、撮像装置１０が起動して固体撮像素子１１が動画状態の撮像画像データ（スルー画像データ）を出力したとき、この画像を解析することで検出できる。例えばこのとき、シャッタ速度を遅くし露光量を大きくしたスルー画像データを出力させ、周囲より感度が低下している領域があるか否かで検出できる。このとき、ユーザに対して「白い壁や紙にレンズを向けて下さい。」とか「空を写して下さい。」というメッセージを表示することで、より精度良くダスト画像の有無を検出しても良い。
　あるいは、通常の撮影動作で撮影される画像を撮影毎に解析し、その数が数十枚，数百枚と累積していくと精度良くダストの有無が検出可能となる。検出したダストの位置をメモリ等に保存しておき、これを用いて以下の制御を行う様にしても良い。
　次のステップＳ４では、ＡＦエリア内にダストが有るか否か判定し、ダスト有りの場合にはステップＳ５に進む。ステップＳ５では、ダスト境界部の位相差検出画素（焦点検出画素）の除外処理を行う。本実施形態の位相差検出画素は、図２～図５で説明したように、水平方向に隣接する２画素をペア画素としており、例えば図９に示す様に、ダスト境界部では、ペア画素の一方がダスト領域に重なり、他方がダスト領域外となっているペア画素（図中、矩形枠６１で囲っている。）が存在する。
　図５で説明した様に、ペア画素を構成する第１の位相差検出画素の検出信号と第２の位相差検出画素の検出信号との差分を求めることで、位相差情報を取得するため、ペア画素の一方だけがダストで覆われていると、その差分は位相差情報よりもダストの有無に影響されてしまい、精度の高い位相差情報を取得することができない。このため、ダスト境界部の図９の矩形枠６１で囲ったペア画素（位相差検出画素）を除外する必要がある。
　図１０は、ダスト境界部の位相差検出画素除外処理（図８のステップＳ５）の詳細手順を示すフローチャートである。先ず、ダスト有り領域とダスト無し領域の境界に位置する位相差検出画素を抽出する（ステップＳ５１）。次のステップＳ５２では、ペア画素となる２つの隣接する位相差検出画素が同じ領域内（両方共にダスト有り領域内、又は、両方共にダスト無し領域内）に存在するか否かを判定する。
　ステップＳ５２の判定の結果、同じ領域内に存在しないペアの位相差検出画素は次のステップＳ５３に進んで除外し、図５で説明した加算平均処理の対象から外し、ステップＳ５４に進む。ステップＳ５２の判定の結果、ペアとなる位相差検出画素が同じ領域内に存在する場合にはステップＳ５４に進む。
　ステップＳ５４では、ステップＳ５１で抽出された位相差検出画素の全てでステップＳ５２の判定処理を行ったか否かを判定し、判定結果が否定（Ｎｏ）の場合にはステップＳ５２に戻り、判定結果が肯定（Ｙｅｓ）の場合には、この図１０の処理を終了し、図８のステップＳ６に進む。
　図８のステップＳ６では、ＡＦエリア内のダスト有り領域（図７Ｂのハッチング領域）で図５で説明したｆ（ｘ），ｇ（ｘ）のサンプリング点（遮光膜開口２ａ，２ｂの位置）の信号量ｆｉ（ｘ），ｇｉ（ｘ）を求め、次のステップＳ７でダスト有り領域における焦点ズレ量ｄｉの算出処理を行う。
　図５に示した様に、位相差検出画素２の検出信号からは、下段のｆ（ｘ），ｇ（ｘ）のグラフ上の離散的な黒点位置（サンプリング点）の信号しか検出できない。ペア画素による信号検出位置（遮光膜開口２ａ位置と遮光膜開口２ｂ位置）には若干の位置ズレはあるが、これは同一水平位置ｘとみなすことができる。この離散的な検出位置から、連続的なｆ（ｘ），ｇ（ｘ）のグラフを求め、両者間の例えばピーク位置の位置ズレを焦点ズレ量ｄｉとして算出する。
　ダスト有り領域における焦点ズレ量ｄｉが算出された後は、ステップＳ８に進み、ダスト有り領域で求めた焦点ズレ量ｄｉの信頼性を後述する様に判定する。この信頼性が高い場合にはステップＳ９に進み、焦点ズレ量ｄｉに基づいて位相差ＡＦ制御を実行し、この処理を終了する。
　ステップＳ４の判定の結果、ダスト無しと判定された場合には、ステップＳ１０に進む。また、ステップＳ８の判定の結果、信頼性が低い場合にもステップＳ１０に進む。
　ステップＳ１０では、ＡＦエリア内のダスト無し領域（図７Ｂの白抜き領域）で、ステップＳ６と同様にして、サンプリング点のｆｊ（ｘ），ｇｊ（ｘ）を求め、次のステップＳ１１で、ダスト無し領域における焦点ズレ量ｄｊの算出処理を行う。
　次のステップＳ１２では、ダスト無し領域で求めた焦点ズレ量ｄｊの信頼性を後述するように判定し、信頼性が高い場合にはステップＳ１３に進み、焦点ズレ量ｄｊで位相差ＡＦ制御を実行し、この処理を終了する。
　ステップＳ１２の判定の結果、信頼性が低い場合には、ステップＳ１４に進み、後述するようにしてコントラストＡＦ制御を実行し、この処理を終了する。
　図１１は、図８のステップＳ６の詳細処理手順を示すフローチャートである。先ず、ステップＳ６１で、ダスト有り領域に含まれる画素群の同一列の複数のペア画素を構成する第１及び第２の位相差検出画素の検出信号を垂直方向に加算し、その平均値を算出する。
　次のステップＳ６２では、ダスト有り領域で、ペア画素列の第ｎ列において垂直加算平均された第１（又は第２）位相差検出画素の総加算平均化数が所定閾値Ａ未満であるか否かを判定する。Ａ以上の場合には、画素加算数が充分に有りＡＦ精度がとれると考え、この図８の処理を終了する。
　ステップＳ６２の判定の結果、総加算平均化数がＡ未満とされた場合、画素加算数が少なくＡＦ精度をとれない蓋然性が高いため、次のステップＳ６３の処理を行い、この図８の処理を終了する。
　ステップＳ６３では、ペア画素列の第ｎ列と隣接する第ｎ＋１列（又は第ｎ－１列）の第１位相差検出画素の検出信号の垂直加算平均値を加算し、第２位相差検出画素の検出信号の垂直加算平均値を加算する。これにより、図５に示すｆ（ｘ），ｇ（ｘ）の黒点で示す位置の信号量が求まる。
　この様に、本実施形態では、画素加算数が少ない場合には、垂直加算平均値の確からしさが低いと考えられるため、水平方向の解像度は犠牲にして水平方向の画素加算を行い、ＡＦ精度の向上を図る。
　図１２は、図８のステップＳ１０の詳細処理手順を示すフローチャートである。このステップＳ１０１，Ｓ１０２，Ｓ１０３の処理内容は、夫々図１１のステップＳ６１，Ｓ６２，Ｓ６３の処理内容と同じであり、図１１がダスト有り領域での処理であるのに対し、図１２はダスト無し領域での処理の違いしかない。このため、重複する説明は省略する。
　図１３は、図８のステップＳ７の詳細処理手順を示すフローチャートである。先ず、ステップＳ７１で、ダスト有り領域におけるペア画素列の第ｎ列において、垂直加算平均した画素数が所定閾値Ｅより大であるか否かを判定する。
　この判定の結果、加算画素数≧Ｅの場合には次のステップＳ７２に進む。ステップＳ７１の判定の結果、加算画素数＜Ｅの場合にはステップＳ７３で第ｎ列を焦点ズレ演算対象から除外してステップＳ７２に進む。
　ステップＳ７２では、ダスト有り領域の全列でステップＳ７１の判定を行ったか否かを判定し、まだ未判定の列がある場合にはステップＳ７１に戻る。全列の判定が済んだ場合には、次にステップＳ７４に進み、図５にしめすｆ（ｘ），ｇ（ｘ）を算出し、次のステップＳ７５で、ｆ（ｘ）のピーク位置とｇ（ｘ）のピーク位置との位相差量ｄｉを、ダスト有り領域の焦点ズレ量ｄｉとして算出し、図８のステップＳ８に進む。
　図１４は、信頼性の判定を行うステップＳ８（図８）の詳細処理手順を示すフローチャートである。先ず、ステップＳ８１で、焦点ズレ量の演算対象とするペア画素列の本数が所定閾値本数Ｆより大であるか否かを判定する。演算対象ペア画素列本数＜Ｆの場合には、精度がとれる本数ではないため、信頼性が低いと判断して図８のステップＳ１０に進む。
　ステップＳ８１の判定の結果、演算対象ペア画素列本数≧Ｆの場合には、次にステップＳ８２に進み、ペア画素列の第ｎ列において、第１位相差検出画素の信号量と第２位相差検出画素の信号量との差分の絶対値を算出する。
　そして次のステップＳ８３で、上記差分の絶対値の最小値が所定閾値Ｇ未満であるか否かを判定する。差分の絶対値の最小値≧Ｇの場合、すなわち、差分が大きすぎる場合には、この差分が視差（位相差量）によるものではなく他の要因に起因すると考えられるため、焦点ズレ量ｄｉの信頼性は低いと判断し、ステップＳ１０に進む。
　ステップＳ８３の判定の結果、差分の絶対値＜Ｇの場合には、次にステップＳ８４に進む。このステップＳ８４では、ダスト有り領域で算出された焦点ズレ量ｄｉを被写体までの距離に換算し、所定閾値Ｂ（例えば最短撮影距離ＭＯＤ）より遠方か否か、即ち、被写体距離＞Ｂであるか否かを判定する。
　この判定の結果が否定、すなわち被写体までの距離≦Ｂの場合、最短撮影距離より近いということは考え難いため、焦点ズレ量ｄｉの信頼性は低いと判断してステップＳ１０に進む。
　ステップＳ８４の判定の結果、被写体距離＞Ｂの場合、次のステップＳ８５に進み、ダストの占める面積若しくは位置の判定を行い、主要被写体がダスト有り領域に存在する可能性が高いか否かを判定する。即ち、ダスト有り領域の面積が所定閾値Ｃより大面積であるか否かを判定し、あるいは、撮像面（受光面）中心からダスト有り領域の中心までの距離が所定閾値Ｄより小つまり近いか否かを判定する。
　この判定の結果が否定の場合には、焦点ズレ量ｄｉの信頼性が低いと判断してステップＳ１０に進み、肯定の場合には、焦点ズレ量ｄｉの信頼性が高いと判断し、ステップＳ９に進み、焦点ズレ量ｄｉを用いた位相差ＡＦ制御を実行する。
　図１５は、図８のステップＳ１１の詳細処理手順を示すフローチャートである。このステップＳ１１１，Ｓ１１２，Ｓ１１３，Ｓ１１４，Ｓ１１５の処理内容は、図１３で説明したステップＳ７１，Ｓ７２，Ｓ７３，Ｓ７４，Ｓ７５の処理内容と同じであり、異なるのは、図１５がダスト無し領域の処理である点だけである。ステップＳ１１５では、焦点ズレ量ｄｊが算出され、ステップＳ１２に進む。
　図１６は、図８のステップＳ１２の詳細処理手順を示すフローチャートであり、ステップＳ１１で算出されたダスト無し領域における焦点ズレ量ｄｊの信頼性を判定する処理手順を示している。このフローチャートでは、ステップＳ１２１，Ｓ１２２，Ｓ１２３の３つのステップを備える。これら３つのステップでは、夫々図１４のステップＳ８１，Ｓ８２，Ｓ８３と同じ処理を行う。即ち、ステップＳ１２１で焦点ズレ量演算対象列の本数がＦより大のときステップＳ１２２に進み、小のとき信頼性が低いとしてステップＳ１４に進む。
　ステップＳ１２２では、ステップＳ８２と同様に差分の絶対値を求め、ステップＳ１２３で、差分の絶対値の最小値＜Ｇのとき焦点ズレ量ｄｊの信頼性が高いとしてステップＳ１３に進み、差分の絶対値の最小値≧Ｇのときは焦点ズレ量ｄｊの信頼性が低いとしてステップＳ１４に進む。
　ステップＳ１４では、コントラストＡＦ制御を行う。このコントラストＡＦ制御を行う場合、例えば撮影画像を複数領域に分割し、各領域でコントラスト値を評価する。このとき、ダストが含まれる領域をダスト有り領域とする。ダスト有り領域は、コントラストＡＦの対象から外したり、焦点ズレ量演算時と同等の判定基準（例えば、被写体距離がＭＯＤＥかの場合はＮＧとする等）をもって、ダスト有り領域で求めたコントラスト値の信頼性を判定する。
　また、ダスト有り領域のみで、別途、コントラストＡＦを行い、他の領域のコントラスト値と比較しても良い。この場合は、ダスト有り領域において、矩形にて最大の面積がとれるように領域を指定する。例えば、図１７に示す様に、矩形の最大面積をとる四隅のペア画素６３，６４，６５，６６を決める。ペア画素の２画素は共にダスト有り領域に含まれる様に選択する。これは、感度不足等を補うために、第１位相差検出画素と第２位相差検出画素の各検出信号を画素混合するためである。
　撮像領域を複数領域に分割する場合、上記のペア画素６３，６４，６５，６６の大きさを基準とする。つまり、ペア画素６３とペア画素６４との距離（矩形の横寸法）をａ、ペア画素６４とペア画素６５との距離（矩形の縦寸法）をｂとしたとき、この横ａ縦ｂの矩形領域を単位領域とする。そして、図１８に示す様に、感光画素領域を多数の単位領域で分割する。ダスト１０１の一部でも含まれる領域はダスト有り領域１０２とする。周囲の単位領域で感光画素領域の外側の無効画素領域にはみ出す単位領域は無効とする。
　以上の様にして複数領域に分割し、コントラストＡＦを行うことで、精度の高いコントラストＡＦ制御を行うことが可能となる。このコントラストＡＦを行う場合、先に、ダスト有り領域のコントラスト値を求め、コントラストＡＦ制御を行うことで、ダスト有り領域に主要被写体画像が重なった場合でも主要被写体に合焦した被写体画像を撮像することが可能となる。
　ダスト有り領域のコントラスト値の信頼性が低いとき、ダスト有り領域を除いたダスト無し領域でコントラストＡＦを行う様にしても良く、最初からダスト無し領域でコントラストＡＦを行う様にしても良い。また、撮像領域に複数のダストが存在した場合、その内の最小のダストの大きさで上記の単位領域の大きさを決めれば良い。
　以上述べた実施形態によれば、位相差検出画素を用いた位相差ＡＦ方式をコントラストＡＦ方式よりも優先して実施し、かつ、位相差ＡＦ方式を実施する場合でも、ＡＦエリアにダストが重なったとしてもダスト有り領域での位相差ＡＦ方式を優先するため、主要被写体に合焦した画像を撮像することが可能となる。また、位相差ＡＦ方式でＡＦ精度がとれない場合に初めてコントラストＡＦ方式を実施するため、どのような場面でもピント合わせを行うことが可能となる。
　以上述べた実施形態の撮像装置及びそのオートフォーカス制御方法は、瞳分割された隣接する第１の位相差検出画素及び第２の位相差検出画素の組が受光面に複数組設けられた固体撮像素子を搭載した撮像装置及びそのオートフォーカス制御方法であって、上記受光面のＡＦエリア内で撮像される画像中にダスト画像があるか否かを判定し、上記ＡＦエリア内に上記ダスト画像が含まれる場合にはこのダスト画像に重なる上記第１の位相差検出画素の検出信号と上記第２の位相差検出画素の検出信号との間のズレ量を求め、上記ズレ量の信頼性を判定し、上記ズレ量の信頼性が高い場合にはこのズレ量を用いた位相差ＡＦ方式でオートフォーカス制御を行い、上記信頼性が低い場合には上記ズレ量を用いた上記位相差ＡＦ方式以外のオートフォーカス制御を行う。
　また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記信頼性が低い場合には、上記ＡＦエリア内の上記ダスト画像と重ならないダスト無し領域のズレ量を求め、このダスト無し領域のズレ量の信頼性を判定し、この信頼性が高い場合にはこのダスト無し領域のズレ量を用いて位相差ＡＦ方式でオートフォーカス制御を行い、この信頼性が低い場合にはコントラストＡＦ方式でオートフォーカス制御を行う。
　また、実施形態の撮像装置及びそのオートフォーカス制御方法の上記コントラストＡＦ方式は、上記受光面のうち、上記ダスト画像が存在する領域と上記ダスト画像が存在しない領域の各々で行う。
　また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ＡＦエリア内の上記ダスト画像に重なる領域の境界部にある上記第１の位相差検出画素及び上記第２の位相差検出画素の組のうち一方がこのダスト画像に重ならない領域に含まれる上記位相差検出画素の組を、請求項１３記載の上記ズレ量の演算対象外とする。
　また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を算出するときに使用する上記第１，第２の位相差検出画素の上記検出信号として、上記受光面に垂直方向に並ぶ複数の上記位相差検出画素で構成される画素列の検出信号を加算平均した信号を用いる。
　また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記加算平均した画素数が第１所定閾値未満の場合には、上記画素列の上記信号とこの画素列に隣接する画素列の上記信号とを加算平均した信号を上記ズレ量を算出する検出信号として使用する。
　また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記加算平均するときに加算した数が第２所定閾値未満の場合には上記画素列の上記信号を除外して上記ズレ量を求める。
　また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を算出するときに使用した上記画素列の本数が第３所定値未満の場合には上記信頼性が低いと判定する。
　また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を算出するときに使用した上記第１の位相差検出画素の検出信号から求めた上記信号と上記第２の位相差検出画素の検出信号から求めた上記信号との差分の絶対値を上記信頼性の評価値とする。
　また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記評価値が低いほど上記信頼性が高いと判定し、上記絶対値の最小値が第４所定閾値より大きいとき上記信頼性が低いと判定する。
　また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を被写体までの距離に換算し、この被写体までの距離が第５所定閾値より小さいとき上記信頼性が低いと判定する。
　また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ダスト画像の面積が第６所定閾値より大きく、又は、上記ダスト画像の中心と上記受光面の中心との距離が第７所定閾値より小さい場合には上記信頼性が低いと判定する。
　以上述べた実施形態によれば、固体撮像素子の受光面上かつ主要被写体画像に重なる位置にダスト画像が来てしまっても主要被写体に合焦した画像を撮像することができる。
　本発明に係る撮像装置は、ＡＦエリアにダストが乗った場合でもＡＦエリア内の主要被写体画像に合焦した画像を撮像することができるため、デジタルカメラやカメラ付携帯電話機等の撮像装置に適用すると有用である。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１１年０３月３０日出願の日本特許出願（特願２０１１－０７６３４４）に基づくものであり、その内容はここに参照として取り込まれる。
２　位相差検出画素
２ａ　第１の位相差検出画素の遮光膜開口
２ｂ　第２の位相差検出画素の遮光膜開口
１０　撮像装置
１１　固体撮像素子
１１ａ　感光画素領域（受光領域）
１１ｂ　位相差検出画素有効領域
２０　信号処理ＬＳＩ
２１　システムコントローラ
１０１　ダスト

Claims (24)

  1. 　瞳分割された隣接する第１の位相差検出画素及び第２の位相差検出画素の組が受光面に複数組設けられた固体撮像素子と、
    　前記受光面のＡＦエリア内で撮像される画像中にダスト画像があるか否かを判定するダスト有無判定部と、
    　前記ＡＦエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第１の位相差検出画素の検出信号と前記第２の位相差検出画素の検出信号との間のズレ量を求める焦点ズレ量演算部と、
    　前記ズレ量の信頼性を判定するズレ量信頼性判定部と、
    　前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差ＡＦ方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差ＡＦ方式以外のオートフォーカス制御を行う制御部とを備える撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記信頼性が低い場合には、前記ＡＦエリア内の前記ダスト画像と重ならないダスト無し領域のズレ量を前記焦点ズレ量演算部で求め、該ダスト無し領域のズレ量の信頼性を判定し、該信頼性が高い場合には該ダスト無し領域のズレ量を用いて位相差ＡＦ方式でオートフォーカス制御を行い、該信頼性が低い場合にはコントラストＡＦ方式でオートフォーカス制御を行う撮像装置。
  3. 　請求項２に記載の撮像装置であって、
    　前記コントラストＡＦ方式は、前記受光面のうち、前記ダスト画像が存在する領域と前記ダスト画像が存在しない領域の各々で行う撮像装置。
  4. 　請求項１から請求項３のいずれか１項に記載の撮像装置であって、
    　前記ＡＦエリア内の前記ダスト画像に重なる領域の境界部にある前記第１の位相差検出画素及び前記第２の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を、請求項１記載の前記ズレ量の演算対象外とする撮像装置。
  5. 　請求項１から請求項４のいずれか１項に記載の撮像装置であって、
    　前記ズレ量を算出するときに使用する前記第１，第２の位相差検出画素の前記検出信号として、前記受光面に垂直方向に並ぶ複数の前記位相差検出画素で構成される画素列の検出信号を加算平均した信号を用いる撮像装置。
  6. 　請求項５に記載の撮像装置であって、
    　前記加算平均した画素数が第１所定閾値未満の場合には、前記画素列の前記信号と該画素列に隣接する画素列の前記信号とを加算平均した信号を前記ズレ量を算出する検出信号として使用する撮像装置。
  7. 　請求項５又は請求項６に記載の撮像装置であって、
    　前記加算平均するときに加算した数が第２所定閾値未満の場合には前記画素列の前記信号を除外して前記ズレ量を求める撮像装置。
  8. 　請求項５から請求項７のいずれか１項に記載の撮像装置であって、
    　前記ズレ量を算出するときに使用した前記画素列の本数が第３所定値未満の場合には前記信頼性が低いと判定する撮像装置。
  9. 　請求項５から請求項８のいずれか１項に記載の撮像装置であって、
    　前記ズレ量を算出するときに使用した前記第１の位相差検出画素の検出信号から求めた前記信号と前記第２の位相差検出画素の検出信号から求めた前記信号との差分の絶対値を前記信頼性の評価値とする撮像装置。
  10. 　請求項９に記載の撮像装置であって、
    　前記評価値が低いほど前記信頼性が高いと判定し、前記絶対値の最小値が第４所定閾値より大きいとき前記信頼性が低いと判定する撮像装置。
  11. 　請求項１から請求項１０のいずれか１項に記載の撮像装置であって、
    　請求項１に記載のズレ量を被写体までの距離に換算し、該被写体までの距離が第５所定閾値より小さいとき請求項１に記載の信頼性が低いと判定する撮像装置。
  12. 　請求項１から請求項１１のいずれか１項に記載の撮像装置であって、
    　前記ダスト画像の面積が第６所定閾値より大きく、又は、前記ダスト画像の中心と前記受光面の中心との距離が第７所定閾値より小さい場合には請求項１に記載の信頼性が低いと判定する撮像装置。
  13. 　瞳分割された隣接する第１の位相差検出画素及び第２の位相差検出画素の組が受光面に複数組設けられた固体撮像素子を搭載した撮像装置のオートフォーカス制御方法であって、
    　前記受光面のＡＦエリア内で撮像される画像中にダスト画像があるか否かを判定し、
    　前記ＡＦエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第１の位相差検出画素の検出信号と前記第２の位相差検出画素の検出信号との間のズレ量を求め、
    　前記ズレ量の信頼性を判定し、
    　前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差ＡＦ方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差ＡＦ方式以外のオートフォーカス制御を行う撮像装置のオートフォーカス制御方法。
  14. 　請求項１３に記載の撮像装置のオートフォーカス制御方法であって、
    　前記信頼性が低い場合には、前記ＡＦエリア内の前記ダスト画像と重ならないダスト無し領域のズレ量を求め、該ダスト無し領域のズレ量の信頼性を判定し、該信頼性が高い場合には該ダスト無し領域のズレ量を用いて位相差ＡＦ方式でオートフォーカス制御を行い、該信頼性が低い場合にはコントラストＡＦ方式でオートフォーカス制御を行う撮像装置のオートフォーカス制御方法。
  15. 　請求項１４に記載の撮像装置のオートフォーカス制御方法であって、
    　前記コントラストＡＦ方式は、前記受光面のうち、前記ダスト画像が存在する領域と前記ダスト画像が存在しない領域の各々で行う撮像装置のオートフォーカス制御方法。
  16. 　請求項１３から請求項１５のいずれか１項に記載の撮像装置のオートフォーカス制御方法であって、
    　前記ＡＦエリア内の前記ダスト画像に重なる領域の境界部にある前記第１の位相差検出画素及び前記第２の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を、請求項１３記載の前記ズレ量の演算対象外とする撮像装置のオートフォーカス制御方法。
  17. 　請求項１３から請求項１６のいずれか１項に記載の撮像装置のオートフォーカス制御方法であって、
    　前記ズレ量を算出するときに使用する前記第１，第２の位相差検出画素の前記検出信号として、前記受光面に垂直方向に並ぶ複数の前記位相差検出画素で構成される画素列の検出信号を加算平均した信号を用いる撮像装置のオートフォーカス制御方法。
  18. 　請求項１７に記載の撮像装置のオートフォーカス制御方法であって、
    　前記加算平均した画素数が第１所定閾値未満の場合には、前記画素列の前記信号と該画素列に隣接する画素列の前記信号とを加算平均した信号を前記ズレ量を算出する検出信号として使用する撮像装置のオートフォーカス制御方法。
  19. 　請求項１７又は請求項１８に記載の撮像装置のオートフォーカス制御方法であって、
    　前記加算平均するときに加算した数が第２所定閾値未満の場合には前記画素列の前記信号を除外して前記ズレ量を求める撮像装置のオートフォーカス制御方法。
  20. 　請求項１７から請求項１９のいずれか１項に記載の撮像装置のオートフォーカス制御方法であって、
    　前記ズレ量を算出するときに使用した前記画素列の本数が第３所定値未満の場合には前記信頼性が低いと判定する撮像装置のオートフォーカス制御方法。
  21. 　請求項１７から請求項２０のいずれか１項に記載の撮像装置のオートフォーカス制御方法であって、
    　前記ズレ量を算出するときに使用した前記第１の位相差検出画素の検出信号から求めた前記信号と前記第２の位相差検出画素の検出信号から求めた前記信号との差分の絶対値を前記信頼性の評価値とする撮像装置のオートフォーカス制御方法。
  22. 　請求項２１に記載の撮像装置のオートフォーカス制御方法であって、
    　前記評価値が低いほど前記信頼性が高いと判定し、前記絶対値の最小値が第４所定閾値より大きいとき前記信頼性が低いと判定する撮像装置のオートフォーカス制御方法。
  23. 　請求項１３から請求項２２のいずれか１項に記載の撮像装置のオートフォーカス制御方法であって、
    　請求項１３に記載のズレ量を被写体までの距離に換算し、該被写体までの距離が第５所定閾値より小さいとき請求項１３に記載の信頼性が低いと判定する撮像装置のオートフォーカス制御方法。
  24. 　請求項１３から請求項２３のいずれか１項に記載の撮像装置のオートフォーカス制御方法であって、
    　前記ダスト画像の面積が第６所定閾値より大きく、又は、前記ダスト画像の中心と前記受光面の中心との距離が第７所定閾値より小さい場合には請求項１に記載の信頼性が低いと判定する撮像装置のオートフォーカス制御方法。
PCT/JP2012/057963 2011-03-30 2012-03-27 撮像装置及びそのオートフォーカス制御方法 WO2012133427A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013507621A JP5396566B2 (ja) 2011-03-30 2012-03-27 撮像装置及びそのオートフォーカス制御方法
CN201280016981.8A CN103460105B (zh) 2011-03-30 2012-03-27 成像装置及其自动对焦控制方法
US14/040,243 US8885090B2 (en) 2011-03-30 2013-09-27 Imaging apparatus and autofocus control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-076344 2011-03-30
JP2011076344 2011-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/040,243 Continuation US8885090B2 (en) 2011-03-30 2013-09-27 Imaging apparatus and autofocus control method thereof

Publications (1)

Publication Number Publication Date
WO2012133427A1 true WO2012133427A1 (ja) 2012-10-04

Family

ID=46931142

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057963 WO2012133427A1 (ja) 2011-03-30 2012-03-27 撮像装置及びそのオートフォーカス制御方法

Country Status (4)

Country Link
US (1) US8885090B2 (ja)
JP (1) JP5396566B2 (ja)
CN (1) CN103460105B (ja)
WO (1) WO2012133427A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215606A (ja) * 2013-04-30 2014-11-17 キヤノン株式会社 撮像装置及びその制御方法
JP2015007743A (ja) * 2013-05-31 2015-01-15 株式会社ニコン 撮像素子および撮像装置
CN104797967B (zh) * 2012-11-22 2017-05-24 富士胶片株式会社 摄像装置及对焦控制方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451152B2 (en) * 2013-03-14 2016-09-20 Apple Inc. Image sensor with in-pixel depth sensing
KR101479637B1 (ko) * 2014-03-12 2015-01-07 삼성전기주식회사 카메라 모듈
JP6506506B2 (ja) * 2014-04-02 2019-04-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム
US9338345B2 (en) * 2014-06-13 2016-05-10 Intel Corporation Reliability measurements for phase based autofocus
CN105227947B (zh) * 2014-06-20 2018-10-26 南京中兴软件有限责任公司 污垢检测方法及装置
JP2016009043A (ja) * 2014-06-24 2016-01-18 ソニー株式会社 イメージセンサ、演算方法、および電子装置
KR102242472B1 (ko) * 2014-12-18 2021-04-20 엘지이노텍 주식회사 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
TWI583996B (zh) * 2016-05-27 2017-05-21 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置
JP6800628B2 (ja) * 2016-06-22 2020-12-16 キヤノン株式会社 追跡装置、追跡方法、及びプログラム
CN106027905B (zh) * 2016-06-29 2019-05-21 努比亚技术有限公司 一种用于天空对焦的方法和移动终端
CN106161952B (zh) * 2016-08-08 2019-06-11 Oppo广东移动通信有限公司 一种对焦方法、装置及移动终端
US10070042B2 (en) 2016-12-19 2018-09-04 Intel Corporation Method and system of self-calibration for phase detection autofocus
WO2019031000A1 (ja) * 2017-08-09 2019-02-14 ソニー株式会社 信号処理装置、撮像装置、信号処理方法及びプログラム
US11496728B2 (en) * 2020-12-15 2022-11-08 Waymo Llc Aperture health monitoring mode

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310043A (ja) * 2006-05-17 2007-11-29 Nikon Corp 相関演算方法、相関演算装置、焦点検出装置および撮像装置
JP2008129174A (ja) * 2006-11-17 2008-06-05 Sony Corp 撮像装置
JP2009105358A (ja) * 2007-10-01 2009-05-14 Nikon Corp 固体撮像素子及びこれを用いた電子カメラ
JP2009271428A (ja) * 2008-05-09 2009-11-19 Olympus Imaging Corp 焦点検出装置
JP2010014981A (ja) * 2008-07-03 2010-01-21 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2010078856A (ja) * 2008-09-25 2010-04-08 Canon Inc 撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7586588B2 (en) * 2006-05-17 2009-09-08 Nikon Corporation Correlation operation method, correlation operation device, focus detection device and imaging device
JP5264131B2 (ja) 2007-09-14 2013-08-14 キヤノン株式会社 撮像装置
JP5276371B2 (ja) 2008-07-09 2013-08-28 キヤノン株式会社 撮像装置
JP5274307B2 (ja) 2009-03-02 2013-08-28 キヤノン株式会社 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310043A (ja) * 2006-05-17 2007-11-29 Nikon Corp 相関演算方法、相関演算装置、焦点検出装置および撮像装置
JP2008129174A (ja) * 2006-11-17 2008-06-05 Sony Corp 撮像装置
JP2009105358A (ja) * 2007-10-01 2009-05-14 Nikon Corp 固体撮像素子及びこれを用いた電子カメラ
JP2009271428A (ja) * 2008-05-09 2009-11-19 Olympus Imaging Corp 焦点検出装置
JP2010014981A (ja) * 2008-07-03 2010-01-21 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2010078856A (ja) * 2008-09-25 2010-04-08 Canon Inc 撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104797967B (zh) * 2012-11-22 2017-05-24 富士胶片株式会社 摄像装置及对焦控制方法
JP2014215606A (ja) * 2013-04-30 2014-11-17 キヤノン株式会社 撮像装置及びその制御方法
JP2015007743A (ja) * 2013-05-31 2015-01-15 株式会社ニコン 撮像素子および撮像装置
JP2019091090A (ja) * 2013-05-31 2019-06-13 株式会社ニコン 検出装置、撮像素子および撮像装置

Also Published As

Publication number Publication date
JP5396566B2 (ja) 2014-01-22
CN103460105A (zh) 2013-12-18
CN103460105B (zh) 2016-06-15
US20140028896A1 (en) 2014-01-30
US8885090B2 (en) 2014-11-11
JPWO2012133427A1 (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
JP5396566B2 (ja) 撮像装置及びそのオートフォーカス制御方法
US9742984B2 (en) Image capturing apparatus and method of controlling the same
US8525917B2 (en) Image sensing apparatus with plural focus detection pixel groups
JP5595014B2 (ja) 撮像装置
JP5455397B2 (ja) 光学機器
US20120268613A1 (en) Image capturing apparatus and control method thereof
US10397502B2 (en) Method and apparatus for imaging an object
US9344617B2 (en) Image capture apparatus and method of controlling that performs focus detection
JP2009128892A (ja) 撮像素子および撮像装置
US9001260B2 (en) Imaging apparatus and imaging method
JP2012113171A (ja) 撮像装置およびその制御方法
US10681278B2 (en) Image capturing apparatus, control method of controlling the same, and storage medium for determining reliability of focus based on vignetting resulting from blur
US8644698B2 (en) Focusing-state detection apparatus, imaging apparatus, and its control method
JP2005092085A (ja) 焦点検出及び調節方法並びに焦点検出及び調節装置
US10516827B2 (en) Imaging apparatus, control method, and non-transitory storage medium
JP2014165778A (ja) 固体撮像素子、撮像装置及び焦点検出装置
JP2016018033A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP2014142497A (ja) 撮像装置及びその制御方法
JP2015154153A (ja) 撮像装置を備えたカメラ
JP2014165785A (ja) 撮像装置およびその制御方法、カメラシステム、プログラム、記憶媒体
JP2009253623A (ja) 固体撮像素子及び撮影装置
JP2009159238A (ja) 自動焦点調節装置および撮像装置
JP6254780B2 (ja) 焦点検出装置及び方法、及び撮像装置
JP2024004307A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2009124369A (ja) 固体撮像装置及びそれを用いた撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12763623

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013507621

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12763623

Country of ref document: EP

Kind code of ref document: A1