WO2015046147A1 - 撮像装置及び画像処理方法 - Google Patents

撮像装置及び画像処理方法 Download PDF

Info

Publication number
WO2015046147A1
WO2015046147A1 PCT/JP2014/075089 JP2014075089W WO2015046147A1 WO 2015046147 A1 WO2015046147 A1 WO 2015046147A1 JP 2014075089 W JP2014075089 W JP 2014075089W WO 2015046147 A1 WO2015046147 A1 WO 2015046147A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
focus detection
imaging
output
pixels
Prior art date
Application number
PCT/JP2014/075089
Other languages
English (en)
French (fr)
Inventor
淳郎 岡澤
輝彬 山崎
武史 福冨
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201480052931.4A priority Critical patent/CN105580354B/zh
Priority to EP14849257.2A priority patent/EP3051799A4/en
Publication of WO2015046147A1 publication Critical patent/WO2015046147A1/ja
Priority to US15/081,409 priority patent/US9503661B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an image pickup apparatus and an image processing method for processing a pixel output of an image pickup element that detects a focus state using a part of pixels as a phase difference type focus detection element.
  • Japanese Patent No. 3592147 proposes an imaging apparatus that detects a focus state by using a part of pixels of an imaging element as a focus detection element.
  • Japanese Patent No. 3592147 discloses an imaging device in which a part of pixels of an imaging element is set as a focus detection pixel, and a subject light flux that has passed through different pupil regions symmetric with respect to the optical axis center of the photographing lens has a plurality of focal points.
  • the focus state of the photographing lens is detected by forming an image on the detection pixel and detecting the phase difference between the light beams of the subject.
  • the focus detection pixel for example, a part of the region is shielded from light so that one of the subject luminous fluxes passing through different pupil regions of the photographing lens can be received. For this reason, the focus detection pixel is a defective pixel that cannot be used as an image as it is. Therefore, the imaging apparatus disclosed in Japanese Patent Application Laid-Open No. 2010-062640 is used for recording and display by adjusting the gain of the focus detection pixel and interpolating with surrounding pixels. It is possible.
  • the pixel output correction method disclosed in Japanese Patent Application Laid-Open No. 2010-062640 determines whether or not the pixel output is a high frequency component by looking at the standard deviation of the pixel output of the pixels around the focus detection pixel, and performs interpolation according to the determination result. In this case, the application ratio of the pixel output of the interpolation pixel and the pixel output of the focus detection pixel is changed. Therefore, in the method disclosed in Japanese Patent Application Laid-Open No. 2010-062640, there is a possibility that the application ratio cannot be calculated correctly for a subject in which a high-frequency repetitive pattern close to the pixel array of the image sensor is generated. In this case, pixel output reflecting the structure of the subject cannot be obtained in the focus detection pixels, and image quality is significantly deteriorated.
  • the present invention has been made in view of the above circumstances, and in an imaging apparatus that processes a pixel output from an imaging element having a focus detection pixel, an imaging apparatus capable of further suppressing deterioration in image quality due to the focus detection pixel, and An object is to provide an image processing method.
  • an imaging device includes an imaging device having an imaging pixel and a focus detection pixel, and a plurality of imaging pixels and focus detection pixels located around the focus detection pixel. Based on the pixel output of the image sensor, the high-frequency pattern detection unit for detecting the degree to which the subject image pattern received by the image sensor is high frequency, and the pixel output of the imaging pixel located around the focus detection pixel is used for interpolation calculation.
  • an interpolation processing unit that obtains an interpolation output corresponding to the pixel output of the focus detection pixel, weights and mixes the obtained interpolation output and the pixel output of the focus detection pixel And an application determining unit that determines a mixing ratio at the time of weighted mixing in the interpolation processing unit.
  • an image processing method for processing a pixel output of an image pickup device having an image pickup pixel and a focus detection pixel. Based on the pixel outputs of a plurality of imaging pixels and focus detection pixels ⁇ located in the periphery, the degree to which the subject image pattern received by the imaging element is high frequency is detected, and the interpolation output is based on the high frequency level.
  • FIG. 1 is a block diagram illustrating a configuration of a digital camera as an example of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a pixel array of the image sensor.
  • FIG. 3 is a diagram illustrating a detailed configuration of the image processing unit.
  • FIG. 4 is a diagram illustrating a configuration of the interpolation determination processing unit.
  • FIG. 5A is a first diagram for explaining the phase shift.
  • FIG. 5B is a second diagram for explaining the phase shift.
  • FIG. 6 is a flowchart showing the moving image recording process.
  • FIG. 7A is a first diagram for describing high-frequency detection processing.
  • FIG. 7B is a second diagram for describing the high-frequency detection processing.
  • FIG. 1 is a block diagram illustrating a configuration of a digital camera (hereinafter simply referred to as a camera) as an example of an imaging apparatus according to an embodiment of the present invention.
  • a solid line with an arrow indicates a data flow
  • a broken line with an arrow indicates a control signal flow.
  • the camera 1 shown in FIG. 1 includes a photographic lens 11, an aperture 13, a mechanical shutter 15, a drive unit 17, an operation unit 19, an image sensor 21, an imaging control circuit 23, an A-AMP 25, and analog-digital conversion.
  • Unit (ADC) 27 CPU 29, image processing unit 31, focus detection circuit 33, video encoder 35, display unit 37, bus 39, DRAM (Dynamic Random Access Memory) 41, ROM (Read Only Memory) 43 and a recording medium 45.
  • the photographing lens 11 is a photographing optical system for forming an image from the subject 100 on the image sensor 21.
  • the taking lens 11 has a focus lens for adjusting the in-focus position, and may be configured as a zoom lens.
  • the diaphragm 13 is disposed on the optical axis of the photographic lens 11 and has a variable aperture. The diaphragm 13 limits the amount of light flux from the subject 100 that has passed through the photographing lens 11.
  • the mechanical shutter 15 is configured to be openable and closable. The mechanical shutter 15 adjusts the incident time of the subject light flux from the subject 100 to the image sensor 21 (exposure time of the image sensor 21). As the mechanical shutter 15, a known focal plane shutter, lens shutter, or the like can be employed.
  • the driving unit 17 controls driving of the photographing lens 11, the diaphragm 13, and the mechanical shutter 15 based on a control signal from the CPU 29.
  • the operation unit 19 includes various operation buttons such as a power button, a release button, a moving image button, a reproduction button, and a menu button, and various operation members such as a touch panel.
  • the operation unit 19 detects operation states of various operation members and outputs a signal indicating the detection result to the CPU 29.
  • the shooting mode of the camera 1 can be selected by the operation unit 19 of the present embodiment. That is, the user can select the shooting mode of the camera 1 from either the still image shooting mode or the moving image shooting mode by operating the operation unit 19.
  • the still image shooting mode is a shooting mode for shooting a still image
  • the moving image shooting mode is a shooting mode for shooting a moving image.
  • the image sensor 21 is disposed on the optical axis of the photographing lens 11, behind the mechanical shutter 15, and at a position where the subject light beam is imaged by the photographing lens 11.
  • the image sensor 21 is configured by two-dimensionally arranging photodiodes that constitute pixels.
  • the imaging device 21 in the present embodiment includes an imaging pixel for acquiring an image for recording and display and a focus detection pixel for performing focus detection.
  • the photodiode that constitutes the image sensor 21 generates a charge corresponding to the amount of received light.
  • the electric charge generated in the photodiode is accumulated in a capacitor connected to each photodiode.
  • the electric charge accumulated in this capacitor is read out as an image signal.
  • the image sensor 21 in the present embodiment has a plurality of different charge readout methods.
  • the charge accumulated in the image sensor 21 is read according to a control signal from the image capture control circuit 23.
  • a Bayer array color filter is disposed on the front surface of the photodiode constituting the pixel.
  • the Bayer array has a line in which R pixels and G (Gr) pixels are alternately arranged in the horizontal direction, and a line in which G (Gb) pixels and B pixels are alternately arranged.
  • the imaging control circuit 23 sets the drive mode of the image sensor 21 according to the control signal from the CPU 29, and controls the reading of the image signal from the image sensor 21 according to the readout method corresponding to the set drive mode. For example, in a drive mode in which real-time performance is required for reading pixel data from the image sensor 21 during live view display or moving image recording, a plurality of pixels of the same color are used so that pixel data can be read at high speed. These pixel data are mixed and read, or pixel data of a specific pixel is read out. On the other hand, in a drive mode that requires image quality rather than real-time characteristics, for example, when recording a still image, resolution is maintained by reading pixel data of all pixels without performing mixed readout or thinning readout.
  • the A-AMP 25 amplifies the image signal read from the image sensor 21 according to the control of the imaging control circuit 23.
  • the ADC 27 that functions as an imaging unit together with the imaging device 21, the imaging control circuit 23, and the A-AMP 25 converts the image signal output from the A-AMP 25 into a digital image signal (pixel data).
  • pixel data a collection of a plurality of pixel data is referred to as imaging data in this specification.
  • the CPU 29 performs overall control of the camera 1 in accordance with a program stored in the ROM 43.
  • the image processing unit 31 performs various types of image processing on the captured data to generate image data. For example, when recording a still image, the image processing unit 31 performs still image recording image processing to generate still image data. Similarly, when recording a moving image, the image processing unit 31 performs moving image recording image processing to generate moving image data. Furthermore, the image processing unit 31 performs display image processing during live view display to generate display image data. The configuration of the image processing unit 31 will be described in detail later.
  • the focus detection circuit 33 acquires pixel data from the focus detection pixels, and calculates a defocus direction and a defocus amount with respect to the in-focus position of the photographic lens 11 using a known phase difference method based on the acquired pixel data. .
  • the video encoder 35 converts the display image data generated by the image processing unit 31 into video data, inputs the video data to the display unit 37, and causes the display unit 37 to display an image.
  • the display unit 37 is a display unit such as a liquid crystal display or an organic EL display, and is disposed on the back of the camera 1, for example.
  • the display unit 37 displays an image according to the operation of the video encoder 35.
  • the display unit 37 is used for live view display, display of recorded images, and the like.
  • the bus 39 is connected to the ADC 27, the CPU 29, the image processing unit 31, the focus detection circuit 33, the DRAM 41, the ROM 43, and the recording medium 45, and functions as a transfer path for transferring various data generated in these blocks.
  • the DRAM 41 is an electrically rewritable memory, and temporarily stores various data such as the above-described imaging data (pixel data), recording image data, display image data, and processing data in the CPU 29.
  • SDRAM Serial Dynamic Random Access Memory
  • the ROM 43 is a non-volatile memory such as a mask ROM or a flash memory.
  • the ROM 43 stores various data such as a program used by the CPU 29 and adjustment values of the camera 1.
  • the recording medium 45 is configured to be built in or loaded in the camera 1 and records recording image data as an image file of a predetermined format.
  • FIG. 2 is a diagram illustrating an example of a pixel array of the image sensor 21. Further, on the right side of FIG. 2, a part of the pixels is shown in an enlarged manner.
  • FIG. 2 shows an example of the Bayer arrangement, but the arrangement of the color filters is not limited to the Bayer arrangement, and various arrangements can be applied.
  • the Bayer array image sensor 21 includes a pixel row in which R pixels and G (Gr) pixels are alternately arranged in the horizontal direction, and a pixel row in which G (Gb) pixels and B pixels are alternately arranged. And have.
  • a set of four pixels that is, a Gr pixel, an R pixel, a Gb pixel, and a B pixel shown in the enlarged view on the right side, is repeatedly arranged in the horizontal and vertical directions.
  • focus detection pixels 21b are arranged at positions of some imaging pixels 21a.
  • the focus detection pixel is, for example, a pixel in which one of the left and right regions is shielded by a light shielding film.
  • a row of focus detection pixels hereinafter referred to as right aperture focus detection pixels
  • a row of focus detection pixels hereinafter referred to as left aperture focus detection pixels
  • a row of focus detection pixels hereinafter referred to as left aperture focus detection pixels
  • the phase difference can be detected by the pair of the focus detection pixels in the A row and the focus detection pixels in the B row in FIG.
  • the phase difference can also be detected by a pair of focus detection pixels in the C row and focus detection pixels in the D row.
  • the light-shielding region in the focus detection pixel is the left or right region. In this case, it is possible to detect the horizontal phase difference. On the other hand, it is also possible to detect a vertical phase difference or a phase difference in an oblique direction by setting a light shielding region as an upper or lower region or an oblique region. Further, as long as it has a certain area, the light shielding area may not be 1/2 of the pixel region. Furthermore, although the focus detection pixels are arranged in the G pixels in FIG. 2, they may be arranged in any of the R pixels and the B pixels other than the G pixels. The example of FIG. 2 shows an example in which pupil division is performed by shielding a partial area of the focus detection pixel.
  • the focus detection pixel is a pair of subjects that have passed through different pupil areas of the photographing lens 11. It is only necessary to selectively receive one of the light beams. For this reason, instead of a configuration in which a partial region is shielded, pupil division may be performed using, for example, a pupil division microlens.
  • FIG. 2 shows an example in which focus detection pixels are arranged in a cycle of four pixels along the horizontal direction. The period in which the focus detection pixels are arranged is not limited to a specific period.
  • FIG. 3 is a diagram showing a detailed configuration of the image processing unit 31.
  • the image processing unit 31 includes a white balance (WB) correction processing unit 311, a gain amount estimation unit 312, a gain correction unit 313, an interpolation determination processing unit 314, an interpolation processing unit 315, A synchronization processing unit 316, a luminance characteristic conversion unit 317, an edge enhancement processing unit 318, a noise reduction (NR) processing unit 319, and a color reproduction processing unit 320 are included.
  • WB white balance
  • the WB correction processing unit 311 performs white balance correction processing for correcting the color balance of the image by amplifying each color component of the image data with a predetermined gain amount.
  • the gain amount estimation unit 312 estimates a gain amount for correcting the pixel output of the focus detection pixel in the gain correction unit 313. This gain amount is estimated according to the light amount reduction amount of the focus detection pixel with respect to the imaging pixel. The light amount reduction amount of the focus detection pixel is calculated based on the ratio between the pixel output of the focus detection pixel and the pixel output of the imaging pixel in the vicinity of the focus detection pixel. The gain correction unit 313 corrects the pixel output of the focus detection pixel according to the gain amount estimated by the gain amount estimation unit 312.
  • the interpolation determination processing unit 314 determines the application ratio of the pixel output of the focus detection pixel whose gain has been corrected by the gain correction unit 313.
  • the application ratio is, for example, a weighting coefficient when performing weighted addition between the pixel output of the focus detection pixel subjected to gain correction and the pixel output of the imaging pixels around the focus detection pixel.
  • the peripheral imaging pixels are, for example, four imaging pixels of the same color (the same component in the case of the Bayer array) around the focus detection pixel. Of course, the number of surrounding imaging pixels is not limited to four.
  • the application ratio is determined according to, for example, variation (standard deviation) in pixel output of imaging pixels around the phase difference detection pixel.
  • the interpolation processing unit 315 performs an interpolation process in which the pixel output of the focus detection pixel gain-corrected by the gain correction unit 313 and the pixel output of the surrounding imaging pixels are weighted and added according to the application ratio determined by the interpolation determination processing unit 314. Do.
  • the synchronization processing unit 316 includes a plurality of pieces of imaging data in which one pixel corresponds to one color component, such as imaging data output via the imaging element 21 corresponding to a Bayer array. Is converted into image data corresponding to the color component.
  • the luminance characteristic conversion unit 317 converts the luminance characteristic (gamma characteristic) of the image data so as to be suitable for display and recording.
  • the edge enhancement processing unit 318 multiplies the edge signal extracted from the image data using a bandpass filter or the like by an edge enhancement coefficient, and adds the result to the original image data to thereby obtain an edge (contour) component in the image data. To emphasize.
  • the NR processing unit 319 removes noise components in the image data using a coring process or the like.
  • the color reproduction processing unit 320 performs various processes for making color reproduction of image data appropriate. As this process, for example, there is a color matrix calculation process.
  • the color matrix calculation process is a process of multiplying image data by a color matrix coefficient corresponding to, for example, a white balance mode.
  • the color reproduction processing unit 320 corrects saturation and hue.
  • FIG. 4 is a diagram illustrating a configuration of the interpolation determination processing unit 314.
  • the interpolation determination processing unit 314 includes a high frequency pattern detection unit 3141 and an application determination unit 3142.
  • the high frequency pattern detection unit 3141 detects the degree to which the subject image pattern in the imaging data has a high frequency.
  • the gain application determination unit 3142 calculates the application ratio of the pixel output of the focus detection pixel whose gain has been corrected by the gain correction unit 313 based on the degree to which the subject image pattern detected by the high frequency pattern detection unit 3141 has a high frequency. Details of the detection method of the degree of high frequency of the subject image pattern and the calculation method of the application ratio will be described later.
  • FIG. 5A shows an imaging state of an image in the imaging pixel 21a.
  • FIG. 5B shows an image formation state of the image in the focus detection pixel 21b.
  • the pair that is emitted from the subject and passes through different pupil regions that are symmetric with respect to the optical axis center of the taking lens 11. Is formed at the same position on the image sensor 21.
  • the peak position of the subject image formed on the imaging pixel 21a matches the peak position of the subject image formed on the focus detection pixel 21b.
  • both paired subject light fluxes that have passed through different pupil regions are incident. Therefore, there is no reduction in the amount of light for the imaging pixel 21a.
  • the focus detection pixel 21b only one of the paired subject light beams is incident on the image sensor 21, as shown in FIG. 5B. Therefore, the light amount of the focus detection pixel 21b is reduced.
  • a pair of subject luminous fluxes emitted from the subject and passing through different pupil regions of the photographing lens 11 form images at different positions on the image sensor 21. That is, there is a phase difference between subject images formed by these paired subject light fluxes.
  • the defocus amount and the defocus direction of the photographing lens 11 are detected.
  • both the subject luminous fluxes that have passed through different pupil regions are incident on the imaging pixel 21a. Therefore, the imaging pixel 21a is blurred by the subject light flux incident at different positions although the light amount does not decrease.
  • phase shift a phenomenon that the peak position is shifted.
  • the image processing unit 31 corrects the influence of such moire.
  • FIG. 6 is a flowchart showing a moving image recording process by the imaging apparatus.
  • the process of the flowchart shown in FIG. 6 is executed by the CPU 29 based on a program stored in the ROM 43.
  • the process shown in FIG. 6 can also be applied to a still image recording process and a live view display process.
  • the CPU 29 causes the imaging device 21 to perform imaging (exposure) (step 101).
  • An image signal obtained by imaging is read out from the image sensor 21 in accordance with a readout method corresponding to a preset drive mode.
  • the read image signal is amplified by the A-AMP 25, digitized by the ADC 27, and temporarily stored in the DRAM 41 as imaging data.
  • the CPU 29 performs focus detection processing (step S102).
  • the CPU 29 causes the focus detection circuit 33 to execute focus detection processing.
  • the focus detection circuit 33 reads out pixel data corresponding to the focus detection pixel from the imaging data temporarily stored in the DRAM 41, and uses this pixel data for a known phase difference method. To calculate the defocus direction and the defocus amount of the photographing lens 11.
  • the CPU 29 controls the drive unit 17 based on the defocus direction and the defocus amount of the photographing lens 11 detected by the focus detection circuit 33 to focus the photographing lens 11.
  • the CPU 29 causes the image processing unit 31 to execute image processing.
  • the WB correction processing unit 311 of the image processing unit 31 performs white balance correction processing on the pixel data (step S103).
  • the gain amount estimation unit 312 performs gain estimation processing (step S104).
  • the gain amount is estimated from, for example, the ratio or difference between the pixel output of the focus detection pixel and the pixel output of the same color imaging pixels around the focus detection pixel.
  • the pixel output ratio Dif_p is calculated according to the following (Equation 1).
  • Gr1 in (Expression 1) indicates the pixel output of the imaging pixel
  • Gr2 in (Expression 1) indicates the pixel output of the focus detection pixel
  • the imaging pixel Gr1 is a pixel output of imaging pixels of the same color arranged in a direction orthogonal to the detection direction of the phase difference by the focus detection pixel.
  • the image pickup pixel Gr1 is, for example, two pixels of the focus detection pixel Gr2 upward or downward.
  • the amount of pixel shift is not limited to two pixels.
  • the gain correction process is a correction for multiplying the pixel output of each focus detection pixel by the value obtained by (Equation 1). By this correction, the light amount decrease in the pixel output of each focus detection pixel is corrected.
  • the high frequency pattern detection unit 3141 of the interpolation determination processing unit 314 performs high frequency pattern detection processing for detecting the degree to which the subject image pattern in the imaging data is high frequency (step S106).
  • high-frequency pattern detection process an example of the high-frequency pattern detection process will be described.
  • the “subject image pattern has a high degree of high frequency” state refers to a state in which a repetitive pattern due to moire or the like is generated in the subject image.
  • the high frequency pattern detection unit 3141 as shown in FIG. 7A, is the same in the horizontal direction that is the detection direction of the phase difference with respect to the focus detection pixel Gr (AF) to be subjected to the interpolation processing.
  • An arithmetic average value of the pixel outputs of the focus detection pixels straddling the vertical direction of the focus detection pixel Gr (AF) that is the target of the interpolation processing, that is, the pixel of the two focus detection pixels Gr (AF) at the position is calculated.
  • the high frequency pattern detection unit 3141 is shifted by two pixels along the horizontal direction (right direction and left direction) that is the detection direction of the phase difference with respect to the focus detection pixel Gr (AF) to be subjected to interpolation processing.
  • the arithmetic average value of the pixel outputs of the two focus detection pixels Gr (AF) straddling the vertical direction of another focus detection pixel Gr (AF) at the same position is calculated.
  • the high frequency pattern detection unit 3141 integrates the three arithmetic average values obtained by the above calculation.
  • Each arithmetic average value represents an average change amount of the pixel output of the focus detection pixel viewed in a direction perpendicular to the detection direction of the phase difference.
  • the result of integrating these arithmetic average values represents the pattern of the subject image formed on the focus detection pixel.
  • the high frequency pattern detection unit 3141 performs imaging across the vertical direction of the imaging pixel Gb around the focus detection pixel Gr (AF) to be subjected to the interpolation processing (slightly lower right in the drawing). An arithmetic average value of the pixel output of the pixel Gb is calculated. Further, the high frequency pattern detection unit 3141 is arranged in the vertical direction of the imaging pixel Gb at a position shifted by two pixels along the horizontal direction (right direction and left direction) with respect to the imaging pixel Gb whose arithmetic mean value has been calculated previously. An arithmetic average value of pixel outputs of the two imaging pixels Gb straddling is calculated.
  • the high frequency pattern detection unit 3141 integrates the three arithmetic average values obtained by the above calculation.
  • Each arithmetic mean value represents an average change amount of the pixel output of the imaging pixel viewed in a direction perpendicular to the phase difference detection direction.
  • the result of integrating these arithmetic average values represents the pattern of the subject image formed on the imaging pixel.
  • the high frequency pattern detection unit 3141 uses the absolute difference between the integrated value calculated for the focus detection pixel Gr (AF) and the integrated value calculated for the imaging pixel Gb as an evaluation value indicating that the subject image pattern has a high frequency. calculate.
  • the evaluation value increases as the difference between the pixel output change in the focus detection pixel Gr (AF) and the pixel output change in the imaging pixel Gb increases. Therefore, the evaluation value indicates that the higher the value, the higher the frequency of the subject image pattern, that is, the higher the possibility that the subject image is a repetitive pattern. In the case of a repetitive pattern, there is a large difference between the pixel output change of the focus detection pixel and the pixel output change of the surrounding imaging pixels.
  • the focus detection pixel is corrected using the peripheral pixels, the focus is changed.
  • a large error occurs in the pixel output of the detection pixel due to the influence of surrounding pixels. Therefore, in the present embodiment, when the subject image has a high degree of high frequency, the proportion of interpolation processing using surrounding pixels is reduced.
  • the application determination unit 3142 of the interpolation determination processing unit 314 performs gain application determination processing for determining the application ratio of the pixel output of the focus detection pixel whose gain has been corrected by the gain correction unit 313 (step). S107).
  • the application determination unit 3142 first calculates a provisional application ratio according to the variation (standard deviation) of the pixel output of the imaging pixels around the phase difference detection pixel. Then, the application determination unit 3142 determines that the application ratio of the pixel output of the focus detection pixel whose gain is corrected increases as the evaluation value increases, that is, as the degree of high frequency of the subject image pattern increases. Determine the application rate. For example, the magnitude of the application ratio of the pixel output of the focus detection pixel whose gain is linearly corrected with respect to the magnitude of the evaluation value is changed.
  • the interpolation processing unit 315 After the gain application determination process, the interpolation processing unit 315 performs the pixel output of the focus detection pixel gain-corrected by the gain correction unit 313 according to the application ratio determined by the interpolation determination processing unit 314 and the pixel output of the surrounding imaging pixels. Interpolation processing for performing weighted addition is performed (step S108).
  • the image processing unit 31 executes image processing after the interpolation processing (step S109).
  • the CPU 29 records the image data temporarily stored in the DRAM 41 as a result of the image processing on the recording medium 45 (step S110).
  • the CPU 29 determines whether or not to stop moving image recording (step S111).
  • the CPU 29 determines the operation state of the release button of the operation unit 19. That is, when the release button is pressed again, the CPU 29 determines to stop moving image recording.
  • step S111 When it is determined in step S111 that the moving image recording is not stopped, the CPU 29 returns the process to step S101 and continues the moving image recording. On the other hand, when it is determined in step S112 that the moving image recording is to be stopped, the CPU 29 ends the process of FIG.
  • the subject image pattern around the focus detection pixel is determined to some extent as a high-frequency pattern, and if the subject image pattern is a high-frequency pattern as high as a certain degree, imaging around the focus detection pixel is performed.
  • the application ratio of the pixel output of the focus detection pixel whose gain is corrected as compared with the interpolation output from the pixel is increased. As a result, it is possible to reduce image quality degradation caused by applying interpolation processing when the subject image is a repetitive pattern.
  • the arithmetic average value of the pixel outputs of the focus detection pixels two pixels above and two pixels below the focus detection pixels to be subjected to the interpolation processing is calculated.
  • the pixel shift amount from the focus detection pixel to be interpolated is not limited to two pixels.
  • the average value of the pixel outputs of the focus detection pixels above and below the four pixels may be calculated.
  • the focus detection pixel for obtaining the arithmetic mean value may be a focus detection pixel straddling another focus detection pixel shifted in the horizontal direction from the focus detection pixel to be interpolated.
  • the arithmetic mean value is calculated for the imaging pixel adjacent to the horizontal direction one pixel with respect to the focus detection pixel to be interpolated.
  • the amount of horizontal pixel shift is not limited to one pixel. Further, as a result of pixel shifting in the horizontal direction, the color of the imaging pixel for which the arithmetic average value is obtained may be different from the focus detection pixel, or the imaging pixel for which the arithmetic average value is obtained becomes the focus detection pixel. Also good.
  • the pixel shift amount may be adaptively changed according to various conditions such as the drive mode of the image sensor 21.
  • the drive mode of the image sensor 21 is a moving image recording drive mode or during live view display, it is possible to accurately determine to some extent the subject image pattern has a high frequency by reducing the pixel shift amount.
  • an arithmetic average value of pixel outputs of pixels arranged in the vertical direction is calculated.
  • the phase difference detection direction is the horizontal direction.
  • the subject image pattern is determined to some extent at a high frequency by calculating the arithmetic average value of the pixels arranged in the horizontal direction. That is, an arithmetic average value of pixels arranged in a direction perpendicular to the phase difference detection direction may be calculated.
  • an arithmetic average value of pixels arranged in a direction perpendicular to the detection direction of the phase difference is calculated. It may be an average value.
  • the evaluation value may be a difference square value instead of the difference absolute value. As described above, the evaluation value and the like are calculated by appropriately combining the four arithmetic operations.
  • Each process according to the above-described embodiment can be stored as a program that can be executed by the CPU 29.
  • memory cards ROM cards, RAM cards, etc.
  • magnetic disks floppy disks, hard disks, etc.
  • optical disks CD-ROM, DVD, etc.
  • storage media of external storage devices such as semiconductor memories, etc. are distributed. be able to.
  • the CPU 29 can execute the above-described processing by reading a program stored in the storage medium of the external storage device and controlling the operation by the read program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Focusing (AREA)

Abstract

　撮像装置(1)は、撮像素子(21)の焦点検出画素の周辺に位置する複数の撮像画素の画素出力に基づいて撮像素子２１が受光した被写体像パターンが高周波である度合いを検出する高周波パターン検出部(3141)を含む。補間処理部(315)は、焦点検出画素の周辺の撮像画素の画素出力を用いて算出された補間出力と焦点検出画素の画素出力とを重み付け混合する。適用判断部(3142)は、高周波パターン検出部(3141)の出力に基づいて補間処理部(315)における重み付け混合の際の混合割合を決定する。

Description

撮像装置及び画像処理方法
　本発明は、一部の画素を位相差方式の焦点検出素子として利用して焦点状態を検出する撮像素子の画素出力を処理する撮像装置及び画像処理方法に関する。
　撮像素子の一部の画素を焦点検出素子として利用して焦点状態を検出する撮像装置に関する提案が例えば日本国特許第３５９２１４７号公報においてなされている。日本国特許第３５９２１４７号公報の撮像装置は、撮像素子の一部の画素を焦点検出画素に設定し、撮影レンズの光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の焦点検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。
　ここで、焦点検出画素は、撮影レンズの異なる瞳領域を通過した被写体光束の一方を受光できるように例えば一部の領域が遮光されている。このため、焦点検出画素は、そのままでは画像として使用できない欠損画素となる。したがって、日本国特開２０１０－０６２６４０号公報において開示された撮像装置は、焦点検出画素の画素出力を、ゲイン調整したり、周辺の画素を用いて補間したりすることにより、記録や表示に利用可能としている。
　日本国特開２０１０－０６２６４０号公報による画素出力の補正手法は、焦点検出画素の周辺の画素の画素出力の標準偏差を見ることによって高周波成分か否かを判断し、この判断結果に応じて補間の際の補間画素の画素出力と焦点検出画素の画素出力との適用割合を変えるようにしている。したがって、日本国特開２０１０－０６２６４０号公報の手法では、撮像素子の画素配列と近い高周波の繰り返しパターンが発生している被写体については適用割合を正しく算出できない可能性が生じる。この場合、焦点検出画素において被写体の構造を反映した画素出力が得られなくなって著しい画質劣化が生じる。
　本発明は、前記の事情に鑑みてなされたもので、焦点検出画素を有する撮像素子からの画素出力を処理する撮像装置において、焦点検出画素による画質の低下をより抑えることが可能な撮像装置及び画像処理方法を提供することを目的とする。
　前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像画素及び焦点検出画素 を有する撮像素子と、前記焦点検出画素の周辺に位置する複数の撮像画素及び焦点検出画素の画素出力に基づいて、前記撮像素子が受光した被写体像パターンが高周波である度合いを検出する高周波パターン検出部と、前記焦点検出画素の周辺に位置する撮像画素の画素出力を用いて補間演算を行って前記焦点検出画素の画素出力に対応する補間出力を求め、該求めた補間出力と前記焦点検出画素の画素出力とを重み付け混合する補間処理部と、前記高周波パターン検出部の出力に基づいて前記補間処理部における重み付け混合の際の混合割合を決定する適用判断部とを具備する。
　前記の目的を達成するために、本発明の第２の態様の画像処理方法は、撮像画素及び焦点検出画素を有する撮像素子の画素出力を処理する画像処理方法であって、前記焦点検出画素の周辺に位置する複数の撮像画素および焦点検出画素 の画素出力に基づいて、前記撮像素子が受光した被写体像パターンが高周波である度合いを検出することと、前記高周波である度合いに基づいて補間出力と前記焦点検出画素の画素出力との重み付け混合の際の混合割合を決定することと、前記焦点検出画素の周辺に位置する撮像画素の画素出力を用いて補間演算を行って前記焦点検出画素の画素出力に対応する前記補間出力を求め、該求めた補間出力と前記焦点検出画素の画素出力とを重み付け混合することとを具備する。
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 図２は、撮像素子の画素配列の例を示した図である。 図３は、画像処理部の詳細な構成を示す図である。 図４は、補間判断処理部の構成を示す図である。 図５Ａは、位相ずれについて説明するための第１の図である。 図５Ｂは、位相ずれについて説明するための第２の図である。 図６は、動画記録処理を示すフローチャートである。 図７Ａは、高周波検出処理について説明するための第１の図である。 図７Ｂは、高周波検出処理について説明するための第２の図である。
　以下、図面を参照して本発明の実施形態を説明する。　
　図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ（以下、単にカメラと言う）の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。
　図１に示すカメラ１は、撮影レンズ１１と、絞り１３と、メカシャッタ１５と、駆動部１７と、操作部１９と、撮像素子２１と、撮像制御回路２３と、Ａ－ＡＭＰ２５と、アナログデジタル変換部（ＡＤＣ）２７と、ＣＰＵ２９と、画像処理部３１と、焦点検出回路３３と、ビデオエンコーダ３５と、表示部３７と、バス３９と、ＤＲＡＭ（Dynamic Random Access Memory）４１と、ＲＯＭ（Read Only Memory）４３と、記録媒体４５とを有する。
　撮影レンズ１１は、被写体１００からの像を撮像素子２１に形成するための撮影光学系である。撮影レンズ１１は、合焦位置を調節するためのフォーカスレンズを有しており、またズームレンズとして構成されていてもよい。絞り１３は、撮影レンズ１１の光軸上に配置され、その口径が可変に構成されている。絞り１３は、撮影レンズ１１を通過した被写体１００からの光束の量を制限する。メカシャッタ１５は、開閉自在に構成されている。メカシャッタ１５は、撮像素子２１への被写体１００からの被写体光束の入射時間（撮像素子２１の露光時間）を調節する。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部１７は、ＣＰＵ２９からの制御信号に基づいて、撮影レンズ１１、絞り１３及びメカシャッタ１５の駆動の制御を行う。
　操作部１９は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。この操作部１９は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２９に出力する。ここで、本実施形態の操作部１９により、カメラ１の撮影モードを選択することが可能である。すなわち、ユーザは、操作部１９を操作することにより、カメラ１の撮影モードを静止画撮影モードと動画撮影モードの何れかから選択することができる。静止画撮影モードは、静止画像を撮影するための撮影モードであり、動画撮影モードは、動画像を撮影するための撮影モードである。
　撮像素子２１は、撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ、撮影レンズ１１によって被写体光束が結像される位置に配置されている。撮像素子２１は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。ここで、本実施形態における撮像素子２１は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための焦点検出画素とを有する。
　撮像素子２１を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。本実施形態における撮像素子２１は、複数の異なる電荷の読み出し方式を有している。撮像素子２１に蓄積された電荷は、撮像制御回路２３からの制御信号に従って読み出される。
　また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。
　撮像制御回路２３は、ＣＰＵ２９からの制御信号に従って撮像素子２１の駆動モードを設定し、設定した駆動モードに応じた読み出し方式に従って撮像素子２１からの画像信号の読み出しを制御する。例えば、ライブビュー表示時や動画記録時といった撮像素子２１からの画素データの読み出しにリアルタイム性が求められるような駆動モードの場合には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出すか、特定の画素の画素データを間引いて読み出す。一方、例えば静止画像の記録時のようなリアルタイム性よりも画質が求められる駆動モードの場合には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。
　Ａ－ＡＭＰ２５は、撮像制御回路２３の制御に従って撮像素子２１から読み出された画像信号を増幅する。撮像素子２１、撮像制御回路２３、Ａ－ＡＭＰ２５とともに撮像部として機能するＡＤＣ２７は、Ａ－ＡＭＰ２５から出力された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。
　ＣＰＵ２９は、ＲＯＭ４３に記憶されているプログラムに従ってカメラ１の全体制御を行う。画像処理部３１は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部３１は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部３１は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部３１は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このような画像処理部３１の構成については後で詳しく説明する。
　焦点検出回路３３は、焦点検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いて撮影レンズ１１の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。
　ビデオエンコーダ３５は、画像処理部３１で生成された表示用画像データを映像データに変換し、この映像データを表示部３７に入力して表示部３７に画像を表示させる。
　表示部３７は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ１の背面に配置される。この表示部３７は、ビデオエンコーダ３５の動作に従って画像を表示する。表示部３７は、ライブビュー表示や記録済み画像の表示等に使用される。
　バス３９は、ＡＤＣ２７、ＣＰＵ２９、画像処理部３１、焦点検出回路３３、ＤＲＡＭ４１、ＲＯＭ４３、記録媒体４５に接続され、これらのブロックで発生した各種のデータを転送するための転送路として機能する。
　ＤＲＡＭ４１は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、ＣＰＵ２９における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられてもよい。ＲＯＭ４３は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ４３は、ＣＰＵ２９で使用されるプログラム、カメラ１の調整値等の各種データを記憶している。記録媒体４５は、カメラ１に内蔵されるか又は装填されるように構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。
　図２を用いて撮像素子２１の構成について説明する。図２は、撮像素子２１の画素配列の例を示した図である。また、図２の右側には、一部の画素を拡大して示している。図２は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。
　前述したように、ベイヤ配列の撮像素子２１は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置された画素行と、Ｇ（Ｇｂ）画素とＢ画素が交互に配置された画素行とを有している。言い換えれば、右側の拡大図で示すＧｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。
　本実施形態においては、一部の撮像画素２１ａの位置に焦点検出画素２１ｂを配置する。焦点検出画素は、例えば左右の何れかの領域を遮光膜によって遮光した画素である。図２の例では、左半面を遮光した焦点検出画素（以下、右開口焦点検出画素と言う）の行と、右半面を遮光した焦点検出画素（以下、左開口焦点検出画素と言う）の行とを垂直方向に沿って近接するように配置している。
　高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えることができる。したがって、図２に示すようにして焦点検出画素を配置することにより、図２のＡ行の焦点検出画素とＢ行の焦点検出画素の対で位相差を検出することができる。また、Ｃ行の焦点検出画素とＤ行の焦点検出画素の対でも位相差を検出することができる。
　ここで、図２の例では、焦点検出画素中の遮光する領域を、左右何れかの領域としている。この場合、水平位相差を検出することが可能である。これに対し、遮光する領域を上下何れかの領域としたり、斜め方向の領域としたりすることで、垂直位相差や斜め方向の位相差を検出することも可能である。また、ある程度の面積を有していれば遮光面積も画素領域の１/２でなくともよい。さらに、図２では焦点検出画素をＧ画素に配置しているが、Ｇ画素以外の、Ｒ画素、Ｂ画素の何れかに配置するようにしてもよい。また、図２の例は、焦点検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、焦点検出画素は、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できればよい。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割をするようにしてもよい。さらに、図２は、水平方向に沿って４画素周期で焦点検出画素を配置した例を示している。焦点検出画素を配置する周期は特定の周期に限定されるものではない。
　ここで、焦点検出画素の一部の領域は遮光されているので、光量の低下が発生する。この光量の低下は、焦点検出画素に形成された遮光膜の面積の他、遮光膜の位置、焦点検出画素に入射する光の角度、像高によっても異なるものである。このような光量の低下が画像処理部３１において補正される。
　図３は、画像処理部３１の詳細な構成を示す図である。図３では、画像処理部３１以外のブロックについては図示を省略している。図３に示すように、画像処理部３１は、ホワイトバランス（ＷＢ）補正処理部３１１と、ゲイン量推定部３１２と、ゲイン補正部３１３と、補間判断処理部３１４と、補間処理部３１５と、同時化処理部３１６と、輝度特性変換部３１７と、エッジ強調処理部３１８と、ノイズ低減（ＮＲ）処理部３１９と、色再現処理部３２０とを有している。
　ＷＢ補正処理部３１１は、撮像データの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正するホワイトバランス補正処理を行う。
　ゲイン量推定部３１２は、ゲイン補正部３１３において焦点検出画素の画素出力を補正するためのゲイン量を推定する。このゲイン量は、撮像画素に対する焦点検出画素の光量低下量に応じて推定される。焦点検出画素の光量低下量は、焦点検出画素の画素出力と焦点検出画素の近傍の撮像画素の画素出力との比率に基づいて算出される。ゲイン補正部３１３は、ゲイン量推定部３１２で推定されたゲイン量に従って焦点検出画素の画素出力を補正する。
　補間判断処理部３１４は、ゲイン補正部３１３でゲイン補正された焦点検出画素の画素出力の適用割合を判断する。適用割合とは、例えばゲイン補正がされた焦点検出画素の画素出力と焦点検出画素の周辺の撮像画素の画素出力との重み付け加算の際の重み付け係数である。ここで、周辺の撮像画素とは、例えば焦点検出画素の周辺の同色（ベイヤ配列の場合には同一成分）の４個の撮像画素のことである。勿論、周辺の撮像画素の画素数は、４画素に限られない。また、適用割合は、例えば位相差検出画素の周辺の撮像画素の画素出力のばらつき（標準偏差）に従って判断される。
　補間処理部３１５は、補間判断処理部３１４で判断された適用割合に従ってゲイン補正部３１３でゲイン補正された焦点検出画素の画素出力とその周辺の撮像画素の画素出力とを重み付け加算する補間処理を行う。
　同時化処理部３１６は、例えばベイヤ配列に対応して撮像素子２１を介して出力される撮像データ等の、１つの画素が１つの色成分に対応している撮像データを、１つの画素が複数の色成分に対応している画像データに変換する。輝度特性変換部３１７は、画像データの輝度特性（ガンマ特性）を、表示や記録に適するように変換する。エッジ強調処理部３１８は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する。ＮＲ処理部３１９は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。色再現処理部３２０は、画像データの色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。カラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部３２０は、彩度・色相の補正を行う。
　図４は、補間判断処理部３１４の構成を示す図である。補間判断処理部３１４は、高周波パターン検出部３１４１と、適用判断部３１４２とを有している。
　高周波パターン検出部３１４１は、撮像データにおける被写体像パターンが高周波である度合いを検出する。ゲイン適用判断部３１４２は、高周波パターン検出部３１４１で検出された被写体像パターンが高周波である度合いに基づいて、ゲイン補正部３１３でゲイン補正された焦点検出画素の画素出力の適用割合を算出する。被写体像パターンが高周波である度合いの検出手法及び適用割合の算出手法の詳細については後で説明する。
　次に、焦点検出画素を有する撮像素子において生じる位相差ずれについて図５Ａ及び図５Ｂを参照して説明する。ここで、図５Ａは、撮像画素２１ａにおける像の結像状態を示す。また、図５Ｂは、焦点検出画素２１ｂにおける像の結像状態を示す。
　説明を簡単にするために被写体が点光源であり、撮影レンズ１１が合焦状態であるとすると、被写体から出射され、撮影レンズ１１の光軸中心に対して対称な異なる瞳領域を通過した対をなす被写体光束は撮像素子２１上の同一の位置に結像される。このことは、撮像画素２１ａに形成される被写体像のピーク位置と焦点検出画素２１ｂに形成される被写体像のピーク位置とが一致することを意味している。ここで、撮像画素２１ａについては、図５Ａに示すように、異なる瞳領域を通過した対をなす被写体光束の両方が入射する。したがって、撮像画素２１ａについては、光量の低下がない。一方、焦点検出画素２１ｂについては、図５Ｂに示すように、対をなす被写体光束の一方のみが撮像素子２１に入射する。したがって、焦点検出画素２１ｂについては、光量の低下が生じる。
　一方、撮影レンズ１１が非合焦状態であるとき、被写体から出射され、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束は、撮像素子２１上の異なる位置に結像する。すなわち、これらの対をなす被写体光束によって形成される被写体像の間には位相差が生じる。この位相差を右開口焦点検出画素と左開口焦点検出画素とのそれぞれで検出される被写体像の相関関係から検出することにより、撮影レンズ１１のデフォーカス量及びデフォーカス方向が検出される。ここで、撮像画素２１ａについては、図５Ｂに示すように、異なる瞳領域を通過した被写体光束の両方が入射する。したがって、撮像画素２１ａについては、光量の低下は生じないものの異なる位置に入射する被写体光束によってぼけが生じる。一方、焦点検出画素２１ｂについては、図５Ｂに示すように、対をなす被写体光束の一方のみが撮像素子２１に入射する。この場合、撮像画素２１ａのようなぼけは生じないものの、ピーク位置が、撮影レンズ１１が合焦状態である場合のピーク位置からずれることになる。本実施形態においては、このようなピーク位置がずれる現象を位相ずれと言うことにする。動画撮影時やライブビュー表示時に位相ずれが発生すると、位相ずれの影響がモアレとして画像として現れる。このようなモアレの影響を画像処理部３１において補正する。
　以下、本実施形態の撮像装置の動作を説明する。図６は、撮像装置による動画記録処理を示すフローチャートである。図６に示すフローチャートの処理は、ＲＯＭ４３に記憶されているプログラムに基づいてＣＰＵ２９によって実行される。また、図６に示す処理は、静止画記録処理やライブビュー表示処理に対しても適用可能である。
　図６のフローチャートの処理が開始されると、ＣＰＵ２９は、撮像素子２１による撮像（露光）を実行させる（ステップ１０１）。撮像により得られた画像信号は、予め設定された駆動モードに応じた読み出し方式に従って撮像素子２１から読み出される。この読み出された画像信号は、Ａ－ＡＭＰ２５で増幅され、ＡＤＣ２７においてデジタル化された後、撮像データとしてＤＲＡＭ４１に一時記憶される。
　次に、ＣＰＵ２９は、焦点検出処理を行う（ステップＳ１０２）。ここでは、ＣＰＵ２９は、焦点検出回路３３に焦点検出処理を実行させる。焦点検出処理の実行指示を受けて、焦点検出回路３３は、ＤＲＡＭ４１に一時記憶された撮像データの中から、焦点検出画素に対応した画素データを読み出し、この画素データを用いて公知の位相差法によって撮影レンズ１１のデフォーカス方向及びデフォーカス量を算出する。次に、ＣＰＵ２９は、焦点検出回路３３により検出された撮影レンズ１１のデフォーカス方向及びデフォーカス量に基づいて駆動部１７を制御し、撮影レンズ１１を合焦させる。
　焦点検出処理の後、ＣＰＵ２９は、画像処理部３１による画像処理を実行させる。これを受けて画像処理部３１のＷＢ補正処理部３１１は、画素データに対してホワイトバランス補正処理を施す（ステップＳ１０３）。続いて、ゲイン量推定部３１２は、ゲイン推定処理を行う（ステップＳ１０４）。ゲイン量は、例えば焦点検出画素の画素出力とその焦点検出画素の周辺の同色の撮像画素の画素出力の比又は差から推定される。例えば、画素出力の比Dif_pは、以下の（式１）に従って算出される。　
　　　Dif_p=Gr1/Gr2　　　　　　　　　　　　　　　　　　　　　　　（式１）
（式１）のＧｒ１が撮像画素の画素出力を示し、（式１）のＧｒ２が焦点検出画素の画素出力を示している。ここで、撮像画素Ｇｒ１は、焦点検出画素による位相差の検出方向と直交する方向に配列された同色の撮像画素の画素出力である。例えば、ベイヤ配列の撮像素子の場合であって焦点検出画素が図２と同様にＧｒ画素に配置されているとすると、撮像画素Ｇｒ１は、例えば焦点検出画素Ｇｒ２の２画素だけ上方向又は下方向にずれた位置のＧｒ画素である。勿論、画素ずらしの量は２画素に限られない。
　ゲイン推定処理の後、ゲイン補正部３１３は、ゲイン補正処理を行う（ステップＳ１０５）。ゲイン補正処理は、（式１）で得られた値を、各焦点検出画素の画素出力に乗じる補正である。この補正により、各焦点検出画素の画素出力における光量低下が補正される。
　ゲイン補正処理の後、補間判断処理部３１４の高周波パターン検出部３１４１は、撮像データにおける被写体像パターンが高周波である度合いを検出する高周波パターン検出処理を行う（ステップＳ１０６）。以下、高周波パターン検出処理の例を説明する。
　図７Ａ及び図７Ｂは、高周波パターン検出処理の例を説明するための図である。本実施形態における「被写体像パターンが高周波である度合いが高い」状態とは、被写体像にモアレ等に起因する繰り返しパターンが発生している状態のことを言う。このような状態を判断するため、高周波パターン検出部３１４１は、図７Ａに示すように、補間処理の対象となる焦点検出画素Ｇｒ（ＡＦ）に対して位相差の検出方向である水平方向の同位置の２つの焦点検出画素Ｇｒ（ＡＦ）の画素、すなわち補間処理の対象となる焦点検出画素Ｇｒ（ＡＦ）の垂直方向に跨る焦点検出画素の画素出力の相加平均値を算出する。続いて、高周波パターン検出部３１４１は、補間処理の対象となる焦点検出画素Ｇｒ（ＡＦ）に対して位相差の検出方向である水平方向（右方向及び左方向）に沿って２画素ずらした位置にある別の焦点検出画素Ｇｒ（ＡＦ）の垂直方向に跨る２つの焦点検出画素Ｇｒ（ＡＦ）の画素出力の相加平均値を算出する。さらに、高周波パターン検出部３１４１は、前述の計算によって得られた３つの相加平均値を積算する。各相加平均値は、位相差の検出方向に対して垂直な方向で見た焦点検出画素の画素出力の平均の変化量を表す。そして、これらの相加平均値の積算した結果は、焦点検出画素に結像した被写体像のパターンを表す。
　続いて、高周波パターン検出部３１４１は、図７Ｂに示すように、補間処理の対象となる焦点検出画素Ｇｒ（ＡＦ）の周辺の（図では右斜め下の）撮像画素Ｇｂの垂直方向に跨る撮像画素Ｇｂの画素出力の相加平均値を算出する。さらに、高周波パターン検出部３１４１は、先に相加平均値を算出した撮像画素Ｇｂに対して水平方向（右方向及び左方向）に沿って２画素ずらした位置にある撮像画素Ｇｂの垂直方向に跨る２つの撮像画素Ｇｂの画素出力の相加平均値を算出する。その後、高周波パターン検出部３１４１は、前述の計算によって得られた３つの相加平均値を積算する。各相加平均値は、位相差の検出方向に対して垂直な方向で見た撮像画素の画素出力の平均の変化量を表す。そして、これらの相加平均値の積算した結果は、撮像画素に結像した被写体像のパターンを表す。
　続いて、高周波パターン検出部３１４１は、焦点検出画素Ｇｒ（ＡＦ）について算出した積算値と撮像画素Ｇｂについて算出した積算値との差分絶対値を、被写体像パターンが高周波である程度を示す評価値として算出する。この評価値は、焦点検出画素Ｇｒ（ＡＦ）における画素出力変化と撮像画素Ｇｂにおける画素出力変化との間の差が大きいほど値が大きくなる。したがって、評価値は、値が大きいほどに被写体像パターンが高周波である、すなわち被写体像が繰り返しパターンである可能性が高いことを示す。繰り返しパターンの場合、焦点検出画素の画素出力変化とその周辺の撮像画素の画素出力変化との間に大きな差異があるので、周辺画素を用いて焦点検出画素の画素出力を補正してしまうと焦点検出画素の画素出力が周囲画素の影響を受けて大きな誤差が生じることになる。このため、本実施形態では、被写体像が高周波である度合いが高い場合には周辺画素を用いた補間処理の割合を減らすようにする。
　高周波パターン検出処理の後、補間判断処理部３１４の適用判断部３１４２は、ゲイン補正部３１３でゲイン補正された焦点検出画素の画素出力の適用割合を判断するためのゲイン適用判断処理を行う（ステップＳ１０７）。このゲイン適用判断処理に際し、適用判断部３１４２は、まず、位相差検出画素の周辺の撮像画素の画素出力のばらつき（標準偏差）に従って仮の適用割合を算出する。そして、適用判断部３１４２は、評価値が高いほどに、すなわち被写体像パターンが高周波である度合いが高いほどにゲイン補正された焦点検出画素の画素出力の適用割合が高くなるように、最終的な適用割合を決定する。例えば、評価値の大きさに対して線形にゲイン補正された焦点検出画素の画素出力の適用割合の大きさを変化させる。
　ゲイン適用判断処理の後、補間処理部３１５は、補間判断処理部３１４で判断された適用割合に従ってゲイン補正部３１３でゲイン補正された焦点検出画素の画素出力とその周辺の撮像画素の画素出力とを重み付け加算する補間処理を行う（ステップＳ１０８）。
　補間処理の後、画像処理部３１は、補間処理以後の画像処理を実行する（ステップＳ１０９）。画像処理の終了後、ＣＰＵ２９は、画像処理の結果としてＤＲＡＭ４１に一時記憶された画像データを記録媒体４５に記録する（ステップＳ１１０）。次に、ＣＰＵ２９は、動画記録を停止させるか否かを判定する（ステップＳ１１１）。ここでは、ＣＰＵ２９は、操作部１９のレリーズ釦の操作状態を判定する。すなわち、レリーズ釦が再び押された場合に、ＣＰＵ２９は、動画記録を停止させると判定する。
　ステップＳ１１１において、動画記録を停止させないと判定した場合に、ＣＰＵ２９は、処理をステップＳ１０１に戻し、動画記録を続行する。一方、ステップＳ１１２において、動画記録を停止させると判定した場合に、ＣＰＵ２９は、図６の処理を終了させる。
　以上説明したように本実施形態においては、焦点検出画素の周囲の被写体像パターンが高周波パターンである程度を判断し、被写体像パターンが高周波パターンである程度が高い場合には、焦点検出画素の周囲の撮像画素から補間出力に比してゲイン補正された焦点検出画素の画素出力の適用割合を高めるようにしている。これにより、被写体像が繰り返しパターンのときなどにおいて補間処理を適用してしまうことによる画質劣化を低減させることが可能である。
　ここで、本実施形態では、補間処理の対象となる焦点検出画素の２画素上及び２画素下の焦点検出画素の画素出力の相加平均値を算出している。しかしながら、補間処理の対象となる焦点検出画素からの画素ずらし量は２画素に限るものではない。例えば、ベイヤ配列の場合には４画素上及び４画素下の焦点検出画素の画素出力の平均値が算出されてもよい。ただし、焦点検出画素の垂直方向の画素ずらし量と撮像画素の垂直方向の画素ずらし量とは一致させることが望ましい。また、相加平均値を求める焦点検出画素が補間処理の対象となる焦点検出画素から水平方向にずらした別の焦点検出画素に跨る焦点検出画素であってもよい。
　また、本実施形態では、補間処理の対象となる焦点検出画素に対して水平方向１画素隣りの撮像画素に対し相加平均値を算出している。この水平方向の画素ずらし量も１画素に限るものではない。また、水平方向の画素ずらしの結果、相加平均値を求める撮像画素の色が焦点検出画素と異なってしまってもよいし、相加平均値を求める撮像画素が焦点検出画素になってしまってもよい。
　さらには、撮像素子２１の駆動モード等の諸条件に応じて画素ずらし量を適応的に変化させてもよい。例えば、撮像素子２１の駆動モードが動画記録用の駆動モードの時やライブビュー表示時には画素ずらし量を減らすことで、被写体像パターンが高周波である程度を精度よく判断可能である。
　また、本実施形態では、垂直方向に配列された画素同士の画素出力の相加平均値を算出するようにしている。これは、位相差の検出方向が水平方向であるためである。例えば、位相差の検出方向が垂直方向である場合には、水平方向に配列された画素同士の相加平均値を算出することによって、被写体像パターンが高周波である程度が判断される。すなわち、位相差の検出方向に対して垂直な方向に配列される画素同士の相加平均値が算出されればよい。
　さらに、本実施形態では、被写体像パターンが高周波である程度を判断するために、位相差の検出方向に対して垂直な方向に配列される画素同士の相加平均値を算出しているが、相乗平均値などであってもよい。また、評価値も差分絶対値でなく、差分二乗値であってもよい。このように、評価値等は四則演算を適宜組み合わせることによって算出される。
　上述した実施形態による各処理は、ＣＰＵ２９に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２９は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

Claims (12)

  1. 　撮像画素及び焦点検出画素 を有する撮像素子と、
    　前記焦点検出画素の周辺に位置する複数の撮像画素及び焦点検出画素の画素出力に基づいて、前記撮像素子が受光した被写体像パターンが高周波である度合いを検出する高周波パターン検出部と、
    　前記焦点検出画素の周辺に位置する撮像画素の画素出力を用いて補間演算を行って前記焦点検出画素の画素出力に対応する補間出力を求め、該求めた補間出力と前記焦点検出画素の画素出力とを重み付け混合する補間処理部と、
    　前記高周波パターン検出部の出力に基づいて前記補間処理部における重み付け混合の際の混合割合を決定する適用判断部と、
    　を具備する撮像装置。
  2. 　前記高周波パターン検出部は、前記焦点検出画素に対して水平若しくは垂直方向の同位置又は前記焦点検出画素の周辺に位置する別の焦点検出画素に対して水平若しくは垂直方向の同位置に配置されている第１の画素群の画素出力同士の四則演算の結果と、前記第１の画素群から水平若しくは垂直方向にずらした位置に配置されている第２の画素群の画素出力同士の四則演算の結果との差分又は比率を算出し、前記四則演算の結果の差分又は比率の大きさに応じて前記高周波である度合いを設定する請求項１に記載の撮像装置。
  3. 　前記高周波パターン検出部は、前記第１の画素群の画素出力同士の四則演算の結果を積分した値と前記第２の画素群の画素出力同士の四則演算の結果を積分した値との差分又は比率を算出し、前記積分した値の差分又は比率の大きさに応じて前記高周波である度合いを検出する請求項２に記載の撮像装置。
  4. 　前記高周波パターン検出部は、前記四則演算の方法、前記第１の画素群の位置、前記第１の画素群に対する前記第２の画素群のずらし量を、前記焦点検出画素の配置又は前記撮像装置の動作モードに依存して適応的に変化させる請求項２に記載の撮像装置。
  5. 　前記適用判断部は、高周波パターンの度合いが高い場合は、前記焦点検出画素の混合割合を高くする請求項１に記載の撮像装置。
  6. 　前記適用判断部は、高周波パターンの度合いが低い場合は、前記補間出力の混合割合を高くする請求項１に記載の撮像装置。 
  7. 　撮像画素及び焦点検出画素を有する撮像素子の画素出力を処理する画像処理方法であって、
    　前記焦点検出画素の周辺に位置する複数の撮像画素および焦点検出画素の画素出力に基づいて、前記撮像素子が受光した被写体像パターンが高周波である度合いを検出することと、
    　前記高周波である度合いに基づいて補間出力と前記焦点検出画素の画素出力との重み付け混合の際の混合割合を決定することと、
    　前記焦点検出画素の周辺に位置する撮像画素の画素出力を用いて補間演算を行って前記焦点検出画素の画素出力に対応する前記補間出力を求め、該求めた補間出力と前記焦点検出画素の画素出力とを重み付け混合することと、
    　を具備する画像処理方法。
  8. 　前記高周波である度合いを検出することは、前記焦点検出画素に対して水平若しくは垂直方向の同位置又は前記焦点検出画素の周辺に位置する別の焦点検出画素に対して水平若しくは垂直方向の同位置に配置されている第１の画素群の画素出力同士の四則演算の結果と、前記第１の画素群から水平若しくは垂直方向にずらした位置に配置されている第２の画素群の画素出力同士の四則演算の結果との差分又は比率を算出し、前記四則演算の結果の差分又は比率の大きさに応じて前記高周波である度合いを検出することを含む請求項７に記載の画像処理方法。
  9. 　前記高周波である度合を検出することは、前記第１の画素群の画素出力同士の四則演算の結果を積分した値と前記第２の画素群の画素出力同士の四則演算の結果を積分した値との差分又は比率を算出し、前記積分した値の差分又は比率の大きさに応じて前記高周波である度合いを検出することを含む請求項８に記載の画像処理方法。
  10. 　前記高周波である度合を検出することは、前記四則演算の方法、前記第１の画素群の位置、前記第１の画素群に対する前記第２の画素群のずらし量を、前記焦点検出画素の配置又は撮像装置の動作モードに依存して適応的に変化させることを含む請求項８に記載の画像処理方法。
  11. 　前記重み付け混合することは、高周波パターンの度合いが高い場合は、前記焦点検出画素の混合割合を高くすることを含む請求項７に記載の画像処理方法。
  12. 　前記重み付け混合することは、高周波パターンの度合いが低い場合は、前記補間出力の混合割合を高くすることを含む請求項７に記載の画像処理方法。 
PCT/JP2014/075089 2013-09-27 2014-09-22 撮像装置及び画像処理方法 WO2015046147A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480052931.4A CN105580354B (zh) 2013-09-27 2014-09-22 摄像装置和图像处理方法
EP14849257.2A EP3051799A4 (en) 2013-09-27 2014-09-22 Imaging device and image processing method
US15/081,409 US9503661B2 (en) 2013-09-27 2016-03-25 Imaging apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013202540A JP5775918B2 (ja) 2013-09-27 2013-09-27 撮像装置、画像処理方法及び画像処理プログラム
JP2013-202540 2013-09-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/081,409 Continuation US9503661B2 (en) 2013-09-27 2016-03-25 Imaging apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2015046147A1 true WO2015046147A1 (ja) 2015-04-02

Family

ID=52743283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/075089 WO2015046147A1 (ja) 2013-09-27 2014-09-22 撮像装置及び画像処理方法

Country Status (5)

Country Link
US (1) US9503661B2 (ja)
EP (1) EP3051799A4 (ja)
JP (1) JP5775918B2 (ja)
CN (1) CN105580354B (ja)
WO (1) WO2015046147A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102346622B1 (ko) * 2014-08-04 2022-01-04 엘지이노텍 주식회사 이미지 센서 및 이를 포함하는 촬상 장치
JP6584059B2 (ja) * 2014-09-26 2019-10-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2018003501A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 固体撮像装置、電子機器、レンズ制御方法および車両
CN110463193B (zh) 2017-03-30 2021-09-03 富士胶片株式会社 摄像装置及图像处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP2010062640A (ja) 2008-09-01 2010-03-18 Canon Inc 撮像装置、撮像装置の制御方法及びプログラム
JP2010091848A (ja) * 2008-10-09 2010-04-22 Nikon Corp 焦点検出装置および撮像装置
JP2010181485A (ja) * 2009-02-03 2010-08-19 Nikon Corp 撮像装置および撮像素子
JP2010271670A (ja) * 2009-05-25 2010-12-02 Canon Inc 撮像装置
JP2011081271A (ja) * 2009-10-08 2011-04-21 Canon Inc 撮像装置
JP2011124704A (ja) * 2009-12-09 2011-06-23 Canon Inc 画像処理装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020135683A1 (en) * 1999-12-20 2002-09-26 Hideo Tamama Digital still camera system and method
JP4310317B2 (ja) * 2006-02-06 2009-08-05 キヤノン株式会社 可視成分割合算出方法、およびそれを用いた光学機器
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
JP4823167B2 (ja) * 2007-08-10 2011-11-24 キヤノン株式会社 撮像装置
US8203645B2 (en) * 2007-08-10 2012-06-19 Canon Kabushiki Kaisha Image-pickup apparatus and control method thereof with image generation based on a detected spatial frequency
KR101544914B1 (ko) * 2009-02-12 2015-08-17 삼성전자주식회사 보간 픽셀을 생성하는 방법
JP5476810B2 (ja) * 2009-06-23 2014-04-23 株式会社ニコン 撮像装置
JP5045801B2 (ja) * 2009-09-09 2012-10-10 株式会社ニコン 焦点検出装置、撮影レンズユニット、撮像装置およびカメラシステム
JP5212396B2 (ja) * 2010-02-10 2013-06-19 株式会社ニコン 焦点検出装置
US8702372B2 (en) * 2010-05-03 2014-04-22 Bha Altair, Llc System and method for adjusting compressor inlet fluid temperature
JP5642433B2 (ja) * 2010-06-15 2014-12-17 富士フイルム株式会社 撮像装置及び画像処理方法
JP5473977B2 (ja) * 2011-04-14 2014-04-16 キヤノン株式会社 撮像装置およびカメラシステム
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
US20130002936A1 (en) * 2011-06-30 2013-01-03 Nikon Corporation Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
EP3182187B1 (en) * 2011-09-30 2020-12-23 FUJIFILM Corporation Image capturing apparatus and method for calculating sensitivity ratio of phase difference pixel
CN103842877B (zh) * 2011-09-30 2016-01-27 富士胶片株式会社 成像装置和合焦参数值计算方法
JP5888940B2 (ja) * 2011-11-11 2016-03-22 オリンパス株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP6239820B2 (ja) * 2011-12-19 2017-11-29 キヤノン株式会社 撮像装置及びその制御方法
CN104285173B (zh) * 2012-05-07 2018-05-25 株式会社尼康 焦点检测装置
WO2013190899A1 (ja) * 2012-06-19 2013-12-27 富士フイルム株式会社 撮像装置及び自動焦点調節方法
DE112013005594T5 (de) * 2012-11-22 2015-10-22 Fujifilm Corporation Abbildungsvorrichtung, Unschärfebetrag-Berechnungsverfahren und Objektivvorrichtung
WO2014091854A1 (ja) * 2012-12-11 2014-06-19 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP2014179939A (ja) * 2013-03-15 2014-09-25 Sony Corp 信号処理装置および信号処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP2010062640A (ja) 2008-09-01 2010-03-18 Canon Inc 撮像装置、撮像装置の制御方法及びプログラム
JP2010091848A (ja) * 2008-10-09 2010-04-22 Nikon Corp 焦点検出装置および撮像装置
JP2010181485A (ja) * 2009-02-03 2010-08-19 Nikon Corp 撮像装置および撮像素子
JP2010271670A (ja) * 2009-05-25 2010-12-02 Canon Inc 撮像装置
JP2011081271A (ja) * 2009-10-08 2011-04-21 Canon Inc 撮像装置
JP2011124704A (ja) * 2009-12-09 2011-06-23 Canon Inc 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3051799A4

Also Published As

Publication number Publication date
US20160212364A1 (en) 2016-07-21
EP3051799A4 (en) 2017-05-03
EP3051799A1 (en) 2016-08-03
CN105580354B (zh) 2018-10-30
CN105580354A (zh) 2016-05-11
JP5775918B2 (ja) 2015-09-09
JP2015070432A (ja) 2015-04-13
US9503661B2 (en) 2016-11-22

Similar Documents

Publication Publication Date Title
JP5529928B2 (ja) 撮像装置及び撮像装置の制御方法
US9843735B2 (en) Image processing apparatus, imaging apparatus comprising the same, and image processing method
JP6099536B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9167133B2 (en) Image capturing apparatus and image processing method
US9088710B2 (en) Image processing apparatus, and method, and recording medium recording image processing program for processing output pixels utilized as phase difference detecting elements
JP5826901B2 (ja) 撮像装置及び光軸位置算出方法
US9503661B2 (en) Imaging apparatus and image processing method
JP5701942B2 (ja) 撮像装置、カメラシステム及び画像処理方法
JP6270400B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9749520B2 (en) Imaging device and image processing method
JP5792349B2 (ja) 撮像装置及び撮像装置の制御方法
JP6741549B2 (ja) 撮像装置及びその制御方法
US20170155882A1 (en) Image processing apparatus, image processing method, imaging apparatus, and recording medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480052931.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14849257

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014849257

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014849257

Country of ref document: EP