WO2015190156A1 - 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2015190156A1
WO2015190156A1 PCT/JP2015/059162 JP2015059162W WO2015190156A1 WO 2015190156 A1 WO2015190156 A1 WO 2015190156A1 JP 2015059162 W JP2015059162 W JP 2015059162W WO 2015190156 A1 WO2015190156 A1 WO 2015190156A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
exposure time
image processing
functional
Prior art date
Application number
PCT/JP2015/059162
Other languages
English (en)
French (fr)
Inventor
淳郎 岡澤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201580003043.8A priority Critical patent/CN105830431A/zh
Publication of WO2015190156A1 publication Critical patent/WO2015190156A1/ja
Priority to US15/186,082 priority patent/US9843735B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus including the image processing apparatus, an image processing method, and an image processing program.
  • Japanese Patent Application Laid-Open No. 2000-156823 discloses a technique related to an image sensor in which a part of the light receiving surface of the pixel is shielded so that a part of the pixels has a distance measuring function by a pupil phase difference method. It is disclosed. Information acquired by such a phase difference pixel having a distance measuring function is used, for example, in an autofocus process for driving the optical system to a focus position.
  • Japanese Patent Application Laid-Open No. 2011-124704 discloses a technique for performing gain correction calculation on phase difference pixel information and using the information acquired by the phase difference pixel for creating an image for display or recording. It is disclosed.
  • phase difference pixel In the phase difference pixel, it is desirable that appropriate exposure control is performed for distance measurement. For this reason, in a situation where it is difficult to obtain phase difference information such as in a dark place, a method has been proposed in which the exposure time is made longer than normal pixels for obtaining an image signal only for phase difference pixels.
  • the exposure time of the phase difference pixel and the normal pixel is different, the image blur amount is different between the image acquired with the phase difference pixel and the image acquired with the normal pixel due to the difference in exposure time when moving body photography is performed. Differences can occur.
  • a difference in image blur amount is generated in an image. Image degradation due to reflection may occur.
  • the present invention relates to an image processing apparatus that performs image processing for reducing image deterioration for an image obtained using an image sensor to which at least two different exposure times are applied according to pixels, an imaging apparatus including the image processing apparatus, An object is to provide an image processing method and an image processing program.
  • an image processing apparatus is obtained using an imaging device that includes a plurality of pixels and to which at least two different exposure times are applied depending on the position of the pixels.
  • An image processing apparatus that performs image processing on the obtained image data, wherein a blur amount estimating unit that estimates an image blur amount existing in the image data, and correcting the image data based on the image blur amount A correction unit to be applied.
  • an imaging apparatus includes the imaging element and the image processing apparatus.
  • an image processing method includes: an imaging device including a plurality of pixels, wherein at least two different exposure times are applied according to the positions of the pixels.
  • an image processing program includes an imaging device including a plurality of pixels, to which at least two different exposure times are applied according to the pixels.
  • An image processing program for causing a computer to perform image processing on image data obtained by using the image data, the step of estimating an image blur amount existing in the image data, and the image data based on the image blur amount And a step of performing correction on the computer.
  • an image processing apparatus that performs image processing for reducing image degradation with respect to an image obtained by using an imaging device to which at least two different exposure times are applied according to pixels, and imaging provided with the same
  • An apparatus, an image processing method, and an image processing program can be provided.
  • FIG. 1 is a block diagram illustrating an outline of a configuration example of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an outline of a configuration example of an image sensor according to an embodiment.
  • FIG. 3A is a diagram for explaining the principle of focus detection by the phase difference method using the image sensor according to the embodiment.
  • FIG. 3B is a diagram for explaining the principle of focus detection by the phase difference method using the image sensor according to the embodiment.
  • FIG. 4A is a timing chart for explaining an independent electronic shutter performed at the time of live view display according to an embodiment.
  • FIG. 4B is a timing chart for explaining an independent electronic shutter performed at the time of live view display according to an embodiment.
  • FIG. 4C is a timing chart for explaining an electronic shutter performed at the time of live view display according to a comparative example.
  • FIG. 5 is a block diagram illustrating an outline of a configuration example of an image processing unit according to an embodiment.
  • FIG. 6 is a flowchart illustrating an example of a moving image recording process according to an embodiment.
  • FIG. 7 is a flowchart illustrating an example of a pixel correction process according to an embodiment.
  • FIG. 8A is a diagram illustrating an example of a relationship between a moving amount of a moving object and a first usage rate according to an embodiment.
  • FIG. 8B is a diagram illustrating an example of a relationship between an exposure time difference and a second usage rate according to an embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of a digital camera 1 as an example of an imaging apparatus according to an embodiment of the present invention.
  • a solid line with an arrow indicates a data flow
  • a broken line with an arrow indicates a control signal flow.
  • a digital camera 1 shown in FIG. 1 includes a photographing lens 11, a diaphragm 13, a mechanical shutter 15, a drive unit 17, an operation unit 19, an image pickup device 21, an image pickup control circuit 23, an A-AMP 25, an analog digital. Converter (ADC) 27, CPU (Central Processing Unit) 29, image processing unit 31, exposure control circuit 33 that functions as an exposure control unit, video encoder 35, display unit 37, bus 39, and DRAM (Dynamic Random Access Memory) 41, ROM (Read Only Memory) 43, recording medium 45, gyro sensor 47, and acceleration sensor 49.
  • ADC Analog Digital Converter
  • the taking lens 11 is an optical system composed of a single lens or a plurality of lenses for forming an image of the subject 100 on the image sensor 21.
  • the taking lens 11 may be a single focus lens or a zoom lens.
  • the diaphragm 13 is disposed on the optical axis of the photographic lens 11 and is configured such that its aperture can be changed.
  • the diaphragm 13 limits the amount of light flux from the subject 100 that has passed through the photographing lens 11.
  • the mechanical shutter 15 is disposed behind the diaphragm 13 and is configured to be freely opened and closed. The mechanical shutter 15 adjusts the incident time of the subject luminous flux coming from the subject 100 to the image sensor 21 by adjusting the opening time. That is, the mechanical shutter 15 adjusts the exposure time of the image sensor 21.
  • the mechanical shutter 15 a known focal plane shutter, lens shutter, or the like can be employed. Based on a control signal from the CPU 29, the driving unit 17 performs focus adjustment of the photographing lens 11, aperture diameter control of the diaphragm 13, and opening / closing control of the mechanical shutter 15.
  • the operation unit 19 includes various operation buttons such as a power button, a release button, a playback button, and a menu button, and various operation members such as a touch panel.
  • the input to the operation unit 19 can be recognized by processing by the CPU 29.
  • the imaging element 21 is disposed on the optical axis of the photographing lens 11, behind the mechanical shutter 15, and at a position where the subject light beam is imaged by the photographing lens 11.
  • the image sensor 21 is configured by two-dimensionally arranging photodiodes that constitute pixels.
  • the photodiode that constitutes the image sensor 21 generates a charge corresponding to the amount of received light.
  • the electric charge generated in the photodiode is accumulated in a capacitor connected to each photodiode.
  • the electric charge accumulated in this capacitor is read out as an image signal.
  • the image sensor 21 in the present embodiment has a plurality of different charge readout methods.
  • the charge accumulated in the image sensor 21 is read according to a control signal from the image capture control circuit 23.
  • a Bayer array color filter is arranged on the front surface of the photodiode constituting the pixel.
  • the Bayer array has lines in which R pixels and G (Gr) pixels are alternately arranged in the horizontal direction, and lines in which G (Gb) pixels and B pixels are alternately arranged.
  • phase difference detection pixels are partially arranged.
  • the imaging element 21 is provided with a phase difference detection pixel in addition to an imaging pixel for acquiring an image for recording or display.
  • the phase difference detection pixel unlike other pixels, a part of the region is shielded from light. This phase difference detection pixel functions as a focus detection pixel used for focus detection.
  • FIG. 2 is a schematic diagram illustrating a pixel array of the image sensor 21.
  • R indicates an R pixel provided with a red color filter
  • G indicates a G pixel provided with a green color filter
  • B indicates a blue color filter.
  • the provided B pixel is shown.
  • a black area indicates a light-shielded area.
  • FIG. 2 shows an example of the Bayer arrangement, but the arrangement of the color filters is not limited to the Bayer arrangement, and various arrangements can be used.
  • the Bayer array image sensor 21 includes a line in which R pixels and G (Gr) pixels are alternately arranged in the horizontal direction and a line in which G (Gb) pixels and B pixels are alternately arranged.
  • the Bayer array image sensor 21 has a set of four pixels, Gr pixels, R pixels, Gb pixels, and B pixels, repeatedly arranged in the horizontal and vertical directions.
  • a phase difference detection pixel 21b provided with a light shielding film is arranged so as to be mixed with a normal pixel 21a provided with a red filter, a green filter, or a blue filter.
  • the phase difference detection pixel is, for example, a pixel in which one of the left and right regions is shielded by a light shielding film.
  • phase difference detection pixels As shown in FIG. 2, the phase difference can be detected by a pair of the adjacent right opening phase difference detection pixel and left opening phase difference detection pixel.
  • the light shielding region in the phase difference detection pixel is either the left or right region.
  • a horizontal phase difference can be detected.
  • a vertical phase difference or an oblique phase difference can be detected by making the light shielding region an upper or lower region or an oblique region. Further, as long as it has a certain area, the light shielding area may not be 1 ⁇ 2 of the pixel region.
  • the phase difference detection pixel is disposed in the G pixel, but may be disposed in any of the R pixel and the B pixel other than the G pixel.
  • FIG. 2 shows an example in which pupil division is performed by shielding a partial region of the phase difference detection pixel, but the phase difference detection pixel is a pair of pixels that have passed through different pupil regions of the photographing lens 11. It is only necessary to selectively receive one of the subject luminous fluxes. For this reason, the pupil division may be performed by, for example, a pupil division microlens without using a configuration in which a partial region is shielded from light.
  • FIG. 3A shows an imaging state in the normal pixel 21a.
  • FIG. 3B shows an imaging state in the phase difference detection pixel 21b.
  • a pair of subject luminous fluxes emitted from the subject and passing through different pupil regions symmetric with respect to the center of the optical axis of the photographing lens 11 when the photographing lens 11 is in focus are: An image is formed at the same position on the image sensor 21.
  • a pair of subject luminous fluxes emitted from the subject and passing through different pupil regions of the photographing lens 11 form images at different positions on the image sensor 21.
  • phase difference detection pixel 21b a part of the region is shielded from light, so that the light amount is reduced. This reduction in the amount of light varies depending on the area of the light shielding film formed on the phase difference detection pixel 21b, the position of the light shielding film, the angle of light incident on the phase difference detection pixel 21b, and the image height.
  • the imaging control circuit 23 sets the readout method of the imaging device 21 according to the control signal from the CPU 29, and controls the readout of the image signal from the imaging device 21 according to the set readout method.
  • the method for reading pixel data from the image sensor 21 is set according to the operating state of the digital camera 1. For example, when real-time performance is required for reading pixel data from the image sensor 21 (for example, during live view display or moving image recording), pixel data from a plurality of pixels of the same color is used so that the pixel data can be read at high speed. Are read out, or pixel data of a specific pixel is thinned out and read out. On the other hand, when image quality is required rather than real-time characteristics (for example, when recording a still image), resolution is maintained by reading pixel data of all pixels without performing mixed readout or thinning readout.
  • the A-AMP 25 adjusts the analog gain of the image signal output from the image sensor 21.
  • the ADC 27 is an analog-digital converter, and converts the image signal whose analog gain has been adjusted by the A-AMP 25 into a digital image signal (pixel data).
  • pixel data a collection of a plurality of pixel data is referred to as imaging data in this specification.
  • the CPU 29 performs overall control of the digital camera 1 according to a program stored in the ROM 43 described later. Further, the CPU 29 calculates the movement amount of the digital camera 1 based on the outputs of the gyro sensor 47 and the acceleration sensor 49 and stores the calculation result in the DRAM 41.
  • the image processing unit 31 is configured by, for example, an ASIC (Application Specific Integrated Circuit).
  • the image processing unit 31 performs various types of image processing on the captured data to generate image data. For example, when recording a still image, the image processing unit 31 performs still image recording image processing to generate still image data. Similarly, when recording a moving image, the image processing unit 31 performs moving image recording image processing to generate moving image data. Furthermore, the image processing unit 31 performs display image processing during live view display to generate display image data. Further, the image processing unit 31 reads out the image data and the movement amount of the digital camera 1 from the DRAM 41, performs image processing, and writes the data after the image processing back to the DRAM 41 as recording image data.
  • ASIC Application Specific Integrated Circuit
  • the exposure control circuit 33 is composed of, for example, an ASIC.
  • the exposure control circuit 33 calculates an exposure value based on the imaging data, and adjusts the shutter speed, the aperture value, and the sensitivity based on the calculated exposure value.
  • the normal pixel and the phase difference pixel according to the present embodiment are controlled at different shutter speeds by the electronic shutter.
  • the phase difference pixel has a smaller opening area than the normal pixel, if you try to create an image using the data obtained with the same exposure time for the phase difference pixel and the normal pixel, the amount of light at the phase difference pixel portion It becomes insufficient. Therefore, when obtaining the same exposure amount between the phase difference pixel and the normal pixel, the exposure time of the phase difference pixel is adjusted to be longer than the exposure time of the normal pixel.
  • Such a mechanism for controlling the phase difference pixel and the normal pixel at different shutter speeds is referred to as an independent electronic shutter.
  • the exposure control circuit 33 also sets the shutter speed for the independent electronic shutter.
  • a phase difference pixel in which a part of the pixel is covered for phase difference detection is provided.
  • the independent electronic shutter is not limited to being used in an imaging device having such a phase difference pixel, but can be used in various applications. For example, in order to expand the dynamic range, some pixels and other pixels can be adjusted to have different exposure times. Acquisition of image data with a high dynamic range can be realized based on imaging data with different exposure times for each pixel. Thus, according to the independent electronic shutter, various functions can be realized.
  • a pixel to which an exposure time different from that of another pixel is applied in order to realize a predetermined function is referred to as a functional pixel, and other normal pixels are referred to as non-functional pixels.
  • the technology according to the present embodiment is not limited to the technology related to phase difference detection, and can be used for various technologies in which functional pixels and non-functional pixels exist.
  • FIG. 4A shows a timing chart of the operation at low luminance
  • FIG. 4B shows a timing chart of the operation at high luminance.
  • the functional pixel and the non-functional pixel are controlled independently.
  • the upper part shows the operation of a non-functional pixel such as a normal pixel
  • the lower part shows the operation of a functional pixel such as a phase difference pixel.
  • VD in the first stage of each of the non-functional pixel timing chart and the functional pixel timing chart represents a control counter. In this embodiment, the case of 30 frames / second is shown, and the control counter generates a pulse every 33 ms.
  • the second stage of each of the non-functional pixel timing chart and the functional pixel timing chart indicates the timing of exposure performed by the image sensor 21.
  • the third stage of each of the non-functional pixel timing chart and the functional pixel timing chart indicates the exposure data readout timing.
  • the end of exposure of non-functional pixels is adjusted to coincide with the timing when the control counter changes.
  • the end of exposure of the functional pixel is adjusted so as to coincide with the end of exposure of the non-functional pixel. Therefore, the timing of the start of exposure of non-functional pixels and the start of exposure of functional pixels are different.
  • the exposure time of the functional pixel is adjusted to be longer than the exposure time of the non-functional pixel so that focus detection is possible in a dark place.
  • Non-functional pixel readout and functional pixel readout are performed after the control counter changes.
  • the end of exposure of the non-functional pixel and the exposure pixel are both adjusted to coincide with the timing at which the control counter changes. Further, the reading of the non-functional pixel and the reading of the functional pixel are performed after the control counter is changed.
  • the exposure time of the functional pixel is adjusted to be shorter than the exposure time of the non-functional pixel so that, for example, focus detection is possible even with backlight.
  • FIG. 4C shows a timing chart in the case of sequentially switching between exposure of non-functional pixels and exposure of functional pixels.
  • the mode is switched simultaneously with the readout, the functional pixel is subsequently exposed, and then the mode is switched simultaneously with the readout.
  • image acquisition becomes discontinuous, and a smooth moving image cannot be obtained.
  • the independent electronic shutter according to the present embodiment the luminance robustness of the function of the functional pixel is significantly increased while obtaining a smooth image.
  • the exposure control circuit 33 acquires pixel data from the DRAM 41, and calculates the electronic shutter speed between the functional pixel and the non-functional pixel.
  • the exposure control circuit 33 stores the calculated electronic shutter speed of the functional pixel and the non-functional pixel in the DRAM 41. Based on the electronic shutter speed, the CPU 29 causes the imaging control circuit 23 to perform imaging at different shutter speeds.
  • the video encoder 35 reads the display image data generated by the image processing unit 31 and temporarily stored in the DRAM 41, and outputs the read display image data to the display unit 37.
  • the display unit 37 is a display unit such as a liquid crystal display or an organic EL display, and is disposed on the back surface of the digital camera 1, for example.
  • the display unit 37 displays an image according to the display image data input from the video encoder 35.
  • the display unit 37 is used for live view display, display of recorded images, and the like.
  • the bus 39 is connected to the ADC 27, CPU 29, image processing unit 31, exposure control circuit 33, video encoder 35, DRAM 41, ROM 43, recording medium 45, gyro sensor 47, and acceleration sensor 49. Various data generated by these units are transferred via the bus 39.
  • the DRAM 41 is an electrically rewritable memory, and temporarily stores various data such as the above-described imaging data (pixel data), recording image data, display image data, movement data of the digital camera 1, and processing data in the CPU 29. To remember. For temporary storage, SDRAM (Synchronous Dynamic Random Access Memory) may be used.
  • the ROM 43 functioning as an example of a storage unit is a non-volatile memory such as a mask ROM or a flash memory.
  • the ROM 43 stores various data such as a program used by the CPU 29 and adjustment values of the digital camera 1.
  • the recording medium 45 is configured to be built in or freely loadable in the digital camera 1 and records recording image data as an image file of a predetermined format.
  • the gyro sensor 47 is a sensor for detecting an angular velocity accompanying a change in posture of the digital camera 1.
  • the gyro sensor 47 stores data representing the detected angular velocity in the DRAM 41.
  • the acceleration sensor 49 is a sensor for detecting acceleration accompanying a change in posture of the digital camera 1.
  • the acceleration sensor 49 stores data representing the detected acceleration in the DRAM 41. As described above, these data are processed by the CPU 29.
  • the digital camera 1 and the subject when the digital camera 1 and the subject are stationary, there is no problem with the image even by shooting using the independent electronic shutter.
  • the exposure time differs between the functional pixel and the non-functional pixel, a difference in image blur occurs only in the functional pixel portion, resulting in an unnatural image.
  • information on the functional pixels in a situation where local image blur occurs, information on the functional pixels is interpolated with information on peripheral non-functional pixels.
  • information on functional pixels is used as image information.
  • the image processing unit 31 performs an operation for preventing such image blur difference.
  • FIG. 5 is a diagram showing a detailed configuration of the image processing unit 31.
  • the image processing unit 31 includes a white balance (WB) correction processing unit 102, a blur amount estimation unit 104, an exposure time difference calculation unit 106, a correction method determination unit 108, a gain correction / peripheral interpolation unit 122, and a synchronization process.
  • the image processing unit 31 also includes a compression / decompression processing unit and the like.
  • the WB correction processing unit 102 corrects the color balance of the image by amplifying each color component of the imaging data by a predetermined gain amount.
  • the blur amount estimation unit 104 acquires the image movement amount of the digital camera 1 calculated from the angular velocity and acceleration calculated based on the information acquired by the gyro sensor 47 and the acceleration sensor 49. Also, the blur amount estimation unit 104 acquires a motion vector for each region in the image calculated from a calculation such as a known block matching. Based on the movement amount of the digital camera 1 and the motion vector for each region in the image, the blur amount estimation unit 104 calculates an image blur amount that is an amount of image movement for each region.
  • the exposure time difference calculation unit 106 calculates an exposure time difference that is a difference between shutter speeds of the functional pixel and the non-functional pixel in the control for driving the functional pixel and the non-functional pixel under an appropriate exposure condition according to each application.
  • the correction method determination unit 108 includes a method determination unit 112 and a mixing ratio calculation unit 114. Based on the blur amount for each region calculated by the blur amount estimation unit 104 and the exposure time difference between the functional pixel and the non-functional pixel calculated by the exposure time difference calculation unit 106, the technique determination unit 112 uses the peripheral pixel value as a function pixel. Judge whether to correct. When the technique determination unit 112 determines that the functional pixel is corrected using the peripheral pixel value, the mixture ratio calculation unit 114 is used when performing weighted mixing of the pixel value of the functional pixel itself and the pixel value of the peripheral pixel. The weight to be determined is determined based on the blur amount calculated by the blur amount estimation unit 104 and the exposure time difference calculated by the exposure time difference calculation unit 106.
  • the gain correction / peripheral interpolation unit 122 functions as a correction unit that corrects an image.
  • the gain correction / peripheral interpolation unit 122 performs mixing by weighting the pixel value of the functional pixel itself and the pixel value of the peripheral pixel based on the weighting calculated by the mixture ratio calculation unit 114.
  • the synchronization processing unit 124 includes, for example, a plurality of pieces of imaging data in which one pixel corresponds to one color component, such as imaging data output via the imaging element 21 corresponding to a Bayer array. Is converted into image data corresponding to the color component.
  • the luminance characteristic conversion unit 126 converts the luminance characteristic of the image data generated by the synchronization processing unit 124 so as to be suitable for display and recording.
  • the edge enhancement processing unit 128 multiplies the edge signal extracted from the image data by using a bandpass filter or the like by an edge enhancement coefficient, and adds the result to the original image data to thereby obtain an edge (contour) component in the image data.
  • the NR processing unit 130 removes noise components in the image data using a coring process or the like.
  • the color reproduction processing unit 132 performs various processes for making the color reproduction of the image appropriate. As this process, for example, there is a color matrix calculation process. This color matrix calculation process is a process of multiplying image data by a color matrix coefficient corresponding to, for example, a white balance mode. In addition, the color reproduction processing unit 132 corrects saturation and hue.
  • the operation of the digital camera 1 according to this embodiment will be described.
  • An example of moving image recording processing by the digital camera 1 according to the present embodiment will be described with reference to a flowchart shown in FIG.
  • the moving image recording is started, for example, when the release button is pressed during the moving image shooting mode.
  • the moving image recording process is described here, the same process can be performed in the still image recording operation.
  • the process described with reference to FIG. 6 is executed by the CPU 29 or the ASIC according to a program stored in the ROM 43. Programs related to these processes can be recorded on various recording media such as an optical disk, a magnetic disk, and a semiconductor memory.
  • the CPU 29 starts capturing the image data.
  • the CPU 29 inputs setting data corresponding to the current operation mode to the imaging control circuit 23.
  • the exposure control circuit 33 inputs the exposure time related to the independent electronic shutter determined based on the imaging data acquired in the previous frame to the imaging control circuit 23.
  • the imaging control circuit 23 controls reading of pixel data from the imaging element 21 according to these setting data.
  • an image signal in a state where pixel mixture or pixel thinning is performed is read from the imaging element 21 in accordance with the readout method set in the imaging control circuit 23.
  • the image signal read from the image sensor 21 is digitized by the ADC 27 and then temporarily stored in the DRAM 41 as image data.
  • the exposure control circuit 33 determines the exposure condition for the next frame from the imaging data.
  • the exposure control circuit 33 calculates an appropriate shutter speed for each of the functional pixel and the non-functional pixel.
  • the shutter speed of the functional pixel and the shutter speed of the non-functional pixel may be different.
  • the exposure control circuit 33 sets the shutter speed of each of the functional pixel and the non-functional pixel independently.
  • the set shutter speed is temporarily stored in the DRAM 41. This shutter speed is read by the imaging control circuit 23.
  • the imaging control circuit 23 drives the imaging element 21 at the determined shutter speed.
  • the CPU 29 acquires the output of the gyro sensor 47 and the output of the acceleration sensor 49.
  • the CPU 29 calculates the angular velocity related to the digital camera 1 based on the output of the gyro sensor 47, and calculates the acceleration related to the digital camera 1 based on the output of the acceleration sensor 49. That is, the CPU 29 calculates the movement amount of the digital camera 1.
  • a value calculated based on the output of the gyro sensor 47 is defined as a first movement amount mov_sum_o.
  • a value calculated based on the output of the acceleration sensor 49 is set as a second movement amount mov_sum_i.
  • the image processing unit 31 calculates the movement amount mov_sum_v of the subject included in the captured image for each image region. For calculating the amount of movement of the subject, for example, a known motion vector calculation method such as correlation calculation by block matching can be used.
  • the image processing unit 31 performs pixel correction processing according to the present embodiment.
  • This pixel correction process is a process for correcting image deterioration due to a difference between the shutter speed of a non-functional pixel and the shutter speed of a functional pixel. This pixel interpolation process will be described in detail later.
  • the image processing unit 31 performs image processing for recording the imaging data corrected by the pixel correction processing.
  • the image processing unit 31 records the image data subjected to the image processing on a recording medium.
  • the CPU 29 determines whether or not an instruction to stop moving image recording has been input.
  • An instruction to stop moving image recording is input, for example, by pressing a release button during a moving image recording operation.
  • the process returns to step S101.
  • an instruction to stop moving image recording is input, the moving image recording process ends.
  • step S ⁇ b> 201 the blur amount estimation unit 104 acquires from the DRAM 41 the first movement amount mov_sum_o of the digital camera 1 calculated in step S ⁇ b> 104 based on the output of the gyro sensor 47. Further, the shake amount estimation unit 104 acquires the second movement amount mov_sum_i of the digital camera 1 calculated based on the output of the acceleration sensor 49 from the DRAM 41.
  • step S202 the shake amount estimation unit 104 determines whether or not the first movement amount mov_sum_o is larger than the second movement amount mov_sum_i.
  • step S203 the blur amount estimation unit 104 determines the third movement amount mov_sum_f of the digital camera 1 to be finally determined as the first movement amount mov_sum_o. Thereafter, the process proceeds to step S205.
  • step S202 When it is determined in step S202 that the first movement amount mov_sum_o is not greater than the second movement amount mov_sum_i, the process proceeds to step S204.
  • step S204 the blur amount estimation unit 104 determines the third movement amount mov_sum_f of the digital camera 1 to be finally determined as the second movement amount mov_sum_i. Thereafter, the process proceeds to step S205.
  • the third movement amount mov_sum_f is larger between the movement amount of the digital camera 1 acquired by the gyro sensor 47 and the movement amount of the digital camera 1 acquired by the acceleration sensor 49. Is set.
  • step S205 The processing from step S205 to step S216 is a loop processing that is sequentially performed for all functional pixels.
  • the blur amount estimation unit 104 acquires, from the DRAM 41, the subject movement amount mov_sum_v calculated by the motion vector calculation process using block matching in step S104.
  • step S206 the blur amount estimation unit 104 determines whether or not the third movement amount mov_sum_f is larger than the movement amount mov_sum_v of the subject. When it is determined that the third movement amount mov_sum_f is larger than the movement amount mov_sum_v of the subject, the process proceeds to step S207. In step S207, the shake amount estimation unit 104 determines the finally calculated movement amount mov of the correction target region as the third movement amount mov_sum_f. Thereafter, the process proceeds to step S209.
  • step S206 When it is determined in step S206 that the third movement amount mov_sum_f is not larger than the movement amount mov_sum_v of the subject, the process proceeds to step S208.
  • step S208 the blur amount estimation unit 104 determines the finally calculated movement amount mov of the correction target region as the movement amount mov_sum_v of the subject. Thereafter, the process proceeds to step S209.
  • the movement amount mov of the correction target region is set to the larger one of the third movement amount mov_sum_f and the subject movement amount mov_sum_v.
  • the movement amount mov of the correction target region is a value representing the amount of blur that can be included in the target region in consideration of the blur due to the motion of the digital camera 1 and the blur due to the motion of the subject for each target region. .
  • step S209 the exposure time difference calculation unit 106 acquires the exposure time tv_normal of the non-functional pixels and the exposure time tv_functional of the functional pixels from the DRAM 41.
  • step S210 the exposure time difference calculation unit 106 calculates an exposure time difference tv_dif that is an absolute value of a difference between the exposure time tv_normal of the non-functional pixel and the exposure time tv_functional of the functional pixel.
  • step S211 the technique determination unit 112 determines whether or not the exposure time difference tv_dif is larger than the first threshold value. When it is determined that the exposure time difference tv_dif is not greater than the first threshold, the process proceeds to step S216. On the other hand, when it is determined that the exposure time difference tv_dif is larger than the first threshold, the process proceeds to step S212.
  • step S212 the technique determination unit 112 determines whether or not the movement amount mov of the correction target region is larger than the second threshold value. When it is determined that the movement amount mov of the correction target region is not larger than the second threshold value, the process proceeds to step S216. On the other hand, when it is determined that the movement amount mov of the correction target region is larger than the second threshold value, the process proceeds to step S213.
  • step S213 the mixture ratio calculation unit 114 determines a coefficient k representing the use ratio of the functional pixel based on the movement amount mov of the correction target region and the exposure time difference tv_dif.
  • a coefficient k representing the use ratio of the functional pixel based on the movement amount mov of the correction target region and the exposure time difference tv_dif.
  • FIG. 8A shows the relationship between the movement amount mov of the correction target region and the first usage rate k1, which is the usage rate of the functional pixel determined based on the movement amount mov.
  • the first usage ratio k1 is set to 0.5.
  • the first usage ratio k1 decreases as the movement amount mov of the correction target area increases.
  • FIG. 8B shows the relationship between the exposure time difference tv_dif and the second usage rate k2, which is the usage rate of the functional pixel determined based on the exposure time difference tv_dif.
  • the second usage ratio k2 is set to 0.5.
  • the second usage rate k2 decreases as the exposure time difference tv_dif increases.
  • the use ratio k of the functional pixel is set to 1.
  • the first The utilization ratio k1 is set to 0.5.
  • the exposure time difference tv_dif is small, it is considered that the influence on the image is sufficiently small. Therefore, as shown in FIG. 8B, when the exposure time difference tv_dif is small, the second usage ratio k2 is Set to 0.5.
  • FIGS. 8A and 8B are, of course, an example. These relationships may be other relationships. For example, these relationships may not have a linear relationship but may have a non-linear relationship.
  • the movement amount of the correction target area and the exposure time difference do not have the same weighting, and either one may be emphasized. That is, for example, a combination in which the first usage rate is 0.7 when the movement amount of the correction target area is 0 and the second usage rate is 0.3 when the exposure time difference is 0 may be used.
  • step S ⁇ b> 214 the mixture ratio calculation unit 114 determines the correction pixel value I based on the following equation using the function pixel utilization ratio k.
  • g_pix is the output value of the functional pixel to be corrected or the output value of the functional pixel to be corrected after gain adjustment.
  • c_pix is an average value of pixel values in the vicinity of the correction target pixel. That is, when the coordinate of the target functional pixel is [0] [0] and the pixel value of the coordinate is pix [0] [0], c_pix is given by the following equation, for example.
  • c_pix (pix [ ⁇ 1] [0] + pix [0] [ ⁇ 1] + Pix [+1] [0] + pix [0] [+ 1]) / 4
  • the coordinates [ ⁇ 1] [0] represent the coordinates of the pixel adjacent to the left of the pixel with the coordinates [0] [0]
  • the coordinates [0] [ ⁇ 1] represent the coordinates of the pixel with the coordinates [0] [0].
  • the coordinates of the lower adjacent pixel are represented
  • the coordinates [+1] [0] represent the coordinates of the pixel immediately adjacent to the pixel of the coordinates [0] [0]
  • the coordinates [0] [+ 1] represent the coordinates [0] [0].
  • ] Represents the coordinates of the pixel adjacent above.
  • step S215 the mixture ratio calculation unit 114 replaces the value of the correction target pixel with the correction pixel value I.
  • step S216 the mixture ratio calculation unit 114 performs no correction or only performs gain adjustment.
  • the exposure time difference tv_dif is sufficiently small, it is not necessary to perform correction, so the process of step S216 is performed. Further, when the movement amount mov of the correction target area, that is, the shake is sufficiently small, it is not necessary to perform correction, and therefore the process of step S216 is performed.
  • step S205 to step S216 is repeatedly performed for all functional pixels.
  • the output of the functional pixel itself is used after gain adjustment. Image degradation is prevented.
  • the digital camera 1 or the subject is moving or when there is a difference in exposure time between the functional pixel and the non-functional pixel, the image quality deterioration due to the difference in blur amount that may occur between the functional pixel and the non-functional pixel is corrected. The Therefore, according to the digital camera 1 according to the present embodiment, image quality degradation that can be caused by different exposure times between functional pixels and non-functional pixels is reduced, and correction with high robustness is also realized with respect to the influence on the pattern. Can be done.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

　画像処理装置（１）は、複数の画素を含み、前記画素の位置に応じて少なくとも２種類の異なる露光時間が適用される撮像素子を用いて得られた画像データに対して画像処理を施す画像処理装置である。画像処理装置（１）は、ブレ量推定部（１０４）と、補正部（１２２）とを備える。ブレ量推定部（１０４）は、画像データに存在する像ブレ量を推定する。補正部（１２２）は、前記像ブレ量に基づいて、前記画像データに対して補正を施す。

Description

画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
　本発明は、画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラムに関する。
　光学系により結像された光学像を電気信号に変換する撮像素子において、一部の画素が焦点検出のための信号を出力するように構成された撮像素子が知られている。例えば日本国特開２０００－１５６８２３号公報には、一部の画素に瞳位相差方式による測距機能を持たせるため、当該画素の受光面の一部が遮光されている撮像素子に係る技術が開示されている。このような測距機能を有する位相差画素によって取得された情報は、例えば光学系を合焦位置に駆動させるオートフォーカス処理に用いられる。また、日本国特開２０１１－１２４７０４号公報には、位相差画素の情報に対してゲイン補正演算を行い、位相差画素によって取得した情報を表示用や記録用の画像作成のために用いる技術が開示されている。
　位相差画素では、測距のために適切な露出制御が行われることが望ましい。このため、暗所など位相差情報が取得しにくい状況では、位相差画素についてのみ、画像信号を取得するための通常画素よりも露光時間を長くする手法が提案されている。しかしながら、位相差画素と通常画素の露光時間が異なると、動体撮影などが行われた際に、露光時間の違いから位相差画素で取得した像と通常画素で取得した像とで像ブレ量に違いが生じ得る。日本国特開２０１１－１２４７０４号公報に開示されている技術のように、位相差画素で取得した情報が表示用や記録用の画像に用いられると、像ブレ量の違いが生成される画像に反映されることによる画像劣化が生じ得る。
　本発明は、画素に応じて少なくとも２種類の異なる露光時間が適用される撮像素子を用いて得られた画像について、画像劣化を低減させる画像処理を施す画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　前記目的を果たすため、本発明の一態様によれば、画像処理装置は、複数の画素を含み、前記画素の位置に応じて少なくとも２種類の異なる露光時間が適用される撮像素子を用いて得られた画像データに画像処理を施す画像処理装置であって、前記画像データに存在する像ブレ量を推定するブレ量推定部と、前記像ブレ量に基づいて、前記画像データに対して補正を施す補正部とを備える。
　前記目的を果たすため、本発明の一態様によれば、撮像装置は、前記撮像素子と、前記画像処理装置とを備える。
　前記目的を果たすため、本発明の一態様によれば、画像処理方法は、複数の画素を含む撮像素子であって前記画素の位置に応じて少なくとも２種類の異なる露光時間が適用される前記撮像素子を用いて得られた画像データに対する画像処理方法であって、前記画像データに存在するブレ量を推定する工程と、前記像ブレ量に基づいて、前記画像データに対して補正を施す工程とを含む。
　前記目的を果たすため、本発明の一態様によれば、画像処理プログラムは、複数の画素を含む撮像素子であって前記画素に応じて少なくとも２種類の異なる露光時間が適用される前記撮像素子を用いて得られた画像データに対する画像処理をコンピュータに実行させるための画像処理プログラムであって、前記画像データに存在する像ブレ量を推定する工程と、前記像ブレ量に基づいて、前記画像データに対して補正を施す工程とをコンピュータに実行させる。
　本発明によれば、画素に応じて少なくとも２種類の異なる露光時間が適用される撮像素子を用いて得られた画像について、画像劣化を低減させる画像処理を施す画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラムを提供できる。
図１は、本発明の一実施形態に係る撮像装置の構成例の概略を示すブロック図である。 図２は、一実施形態に係る撮像素子の構成例の概略を示す図である。 図３Ａは、一実施形態に係る撮像素子を用いた位相差法による焦点検出の原理について説明するための図である。 図３Ｂは、一実施形態に係る撮像素子を用いた位相差法による焦点検出の原理について説明するための図である。 図４Ａは、一実施形態に係るライブビュー表示時に行われる独立電子シャッタについて説明するためのタイミングチャートである。 図４Ｂは、一実施形態に係るライブビュー表示時に行われる独立電子シャッタについて説明するためのタイミングチャートである。 図４Ｃは、比較例に係るライブビュー表示時に行われる電子シャッタについて説明するためのタイミングチャートである。 図５は、一実施形態に係る画像処理部の構成例の概略を示すブロック図である。 図６は、一実施形態に係る動画記録処理の一例を示すフローチャートである。 図７は、一実施形態に係る画素補正処理の一例を示すフローチャートである。 図８Ａは、一実施形態に係る動体の移動量と第１の利用割合との関係の一例を示す図である。 図８Ｂは、一実施形態に係る露光時間差と第２の利用割合との関係の一例を示す図である。
　本発明の一実施形態について図面を参照して説明する。図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ１の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。
　図１に示すデジタルカメラ１は、撮影レンズ１１と、絞り１３と、メカシャッタ１５と、駆動部１７と、操作部１９と、撮像素子２１と、撮像制御回路２３と、Ａ－ＡＭＰ２５と、アナログデジタル変換器（ＡＤＣ）２７と、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２９と、画像処理部３１と、露光制御部として機能する露出制御回路３３と、ビデオエンコーダ３５と、表示部３７と、バス３９と、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）４３と、記録媒体４５と、ジャイロセンサ４７と、加速度センサ４９とを有する。
　撮影レンズ１１は、被写体１００の像を撮像素子２１に形成するための単一又は複数のレンズから構成された光学系である。撮影レンズ１１は、単焦点レンズでもズームレンズでもよい。絞り１３は、撮影レンズ１１の光軸上に配置され、その口径が変化し得るように構成されている。絞り１３は、撮影レンズ１１を通過した被写体１００からの光束の量を制限する。メカシャッタ１５は、絞り１３の後方に配置され、開閉自在に構成されている。メカシャッタ１５は、その開放時間が調節されることにより、被写体１００から到来する被写体光束の撮像素子２１への入射時間を調節する。すなわち、メカシャッタ１５は、撮像素子２１の露光時間を調整する。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部１７は、ＣＰＵ２９からの制御信号に基づいて、撮影レンズ１１の焦点調節、絞り１３の開口径制御、及びメカシャッタ１５の開閉制御を行う。
　操作部１９は、電源ボタン、レリーズボタン、再生ボタン、メニューボタンといった各種の操作ボタン及びタッチパネル等の各種の操作部材を含む。この操作部１９への入力は、ＣＰＵ２９による処理によって認識され得る。
　撮像素子２１は、撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ撮影レンズ１１によって被写体光束が結像される位置に配置されている。撮像素子２１は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。撮像素子２１を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。ここで、本実施形態における撮像素子２１は、複数の異なる電荷の読み出し方式を有している。撮像素子２１に蓄積された電荷は、撮像制御回路２３からの制御信号に従って読み出される。
　画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有している。
　また、本実施形態における撮像素子２１では、一部に位相差検出画素が配置されている。すなわち、撮像素子２１には、記録や表示のための画像を取得するための撮像画素の他に、位相差検出画素が設けられている。位相差検出画素では、他の画素と異なり、一部の領域が遮光されている。この位相差検出画素は、焦点検出に用いられる焦点検出画素として機能する。
　図２を用いて、撮像素子２１の構成について説明する。図２は、撮像素子２１の画素配列を示した模式図である。図２において、「Ｒ」は、赤色のカラーフィルタが設けられたＲ画素を示し、「Ｇ」は、緑色のカラーフィルタが設けられたＧ画素を示し、「Ｂ」は、青色のカラーフィルタが設けられたＢ画素を示す。また、黒色に塗りつぶされた領域は、遮光されている領域を示す。図２は、ベイヤ配列の例を示しているが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が用いられ得る。
　前述したように、ベイヤ配列の撮像素子２１は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有している。言い換えれば、ベイヤ配列の撮像素子２１は、Ｇｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。
　本実施形態においては、赤色フィルタ、緑色フィルタ又は青色フィルタが設けられた通常画素２１ａに混じって、遮光膜が設けられた位相差検出画素２１ｂが配置されている。位相差検出画素は、例えば左右の何れかの領域が遮光膜によって遮光された画素である。図２の例では、左半面を遮光した位相差検出画素（以下、右開口位相差検出画素と言う）が設けられている行と、右半面を遮光した位相差検出画素（以下、左開口位相差検出画素と言う）が設けられている行とが交互に配置されている。
　高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えられる。したがって、図２に示すように位相差検出画素が配置されることにより、近接する右開口位相差検出画素と左開口位相差検出画素との対で位相差が検出され得る。
　ここで、図２の例では、位相差検出画素中の遮光する領域は、左右何れかの領域とされている。この場合、水平位相差が検出され得る。これに対し、遮光する領域が上下何れかの領域とされたり、斜め方向の領域とされたりすることで、垂直位相差や斜め方向の位相差が検出され得る。また、ある程度の面積を有していれば遮光面積も画素領域の１／２でなくともよい。さらに、図２に示した例では位相差検出画素がＧ画素に配置されているが、Ｇ画素以外の、Ｒ画素、Ｂ画素の何れかに配置されてもよい。
　また、図２の例は、位相差検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、位相差検出画素は、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できればよい。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割がされてもよい。
　図２に示したような撮像素子を用いた位相差法による焦点検出の原理について図３Ａ及び図３Ｂを参照して説明する。ここで、図３Ａは、通常画素２１ａにおける結像状態を示す。図３Ｂは、位相差検出画素２１ｂにおける結像状態を示す。
　被写体が点光源であるとすると、撮影レンズ１１が合焦状態であるとき、被写体から出射され、撮影レンズ１１の光軸中心に対して対称な異なる瞳領域を通過した対をなす被写体光束は、撮像素子２１上の同一の位置に結像する。
　一方、撮影レンズ１１が非合焦状態であるとき、被写体から出射され、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束は、撮像素子２１上の異なる位置に結像する。言い換えれば、これらの対をなす被写体光束によって形成される像の間には位相差が生じる。この位相差が右開口位相差検出画素と左開口位相差検出画素とでそれぞれ検出される像の相関関係から検出されることにより、撮影レンズ１１のデフォーカス量及びデフォーカス方向が検出され得る。
　なお、位相差検出画素２１ｂでは、一部の領域が遮光されているので、光量の低下が発生する。この光量の低下は、位相差検出画素２１ｂに形成された遮光膜の面積の他、遮光膜の位置、位相差検出画素２１ｂに入射する光の角度、像高によっても異なるものである。
　撮像制御回路２３は、ＣＰＵ２９からの制御信号に従って、撮像素子２１の読み出し方式を設定し、設定した読み出し方式に従って撮像素子２１からの画像信号の読み出しを制御する。撮像素子２１からの画素データの読み出し方式は、デジタルカメラ１の動作状態に応じて設定されるものである。例えば、撮像素子２１からの画素データの読み出しにリアルタイム性が求められる場合（例えばライブビュー表示時や動画記録時）には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出したり、特定の画素の画素データを間引いて読み出したりする。一方、リアルタイム性よりも画質が求められる場合（例えば静止画像の記録時）には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。
　Ａ－ＡＭＰ２５は、撮像素子２１から出力された画像信号のアナログゲイン調整を行う。ＡＤＣ２７は、アナログデジタル変換器であり、Ａ－ＡＭＰ２５によってアナログゲイン調整された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。
　ＣＰＵ２９は、後述するＲＯＭ４３に記憶されているプログラムに従って、デジタルカメラ１の全体制御を行う。また、ＣＰＵ２９は、ジャイロセンサ４７や加速度センサ４９の出力に基づいて、デジタルカメラ１の移動量を算出し、算出結果をＤＲＡＭ４１に保存する。
　画像処理部３１は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）によって構成される。画像処理部３１は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部３１は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部３１は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部３１は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。また、画像処理部３１は、ＤＲＡＭ４１から画像データとデジタルカメラ１の移動量を読み出して、画像処理を行い、画像処理後のデータを記録用画像データとしてＤＲＡＭ４１に書き戻す。
　露出制御回路３３は、例えばＡＳＩＣによって構成される。露出制御回路３３は、例えば撮像データに基づいて、露出値を算出し、算出した露出値に基づいて、シャッタスピードや絞り値や感度を調整する。
　本実施形態に係る通常画素と位相差画素とは、電子シャッタにより、異なるシャッタ速で制御されている。すなわち、位相差画素は通常画素と比べて開口面積が小さいため、位相差画素と通常画素とで同じ露光時間で得られたデータを用いて画像を作成しようとすると、位相差画素の部分で光量不足となる。そこで、位相差画素と通常画素とで同等の露光量を得る際には、位相差画素の露光時間は通常画素の露光時間よりも長くなるように調整される。このような、位相差画素と通常画素とを異なるシャッタ速で制御する機構を独立電子シャッタと称することにする。露出制御回路３３は、独立電子シャッタに係るシャッタ速の設定も行う。
　本実施形態では、位相差検出のために画素の一部が覆われている位相差画素が設けられる例が示されている。独立電子シャッタは、このような位相差画素を有する撮像素子で用いられるに限らず、種々の用途で用いられ得る。例えば、ダイナミックレンジを拡大するために、一部の画素とその他の画素とで露光時間が異なるように調整され得る。画素毎に露光時間が異なる撮像データに基づいて、ハイダイナミックレンジな画像データの取得が実現され得る。このように、独立電子シャッタによれば、種々の機能が実現され得る。以降の説明では、所定の機能を実現するために他の画素と異なる露光時間が適用される画素を機能画素と称し、それ以外の通常画素を非機能画素と称することにする。本実施形態に係る技術は、位相差検出に係る技術に限らず、機能画素と非機能画素とが存在する種々の技術に用いられ得る。
　本実施形態でライブビュー表示時に行われる独立電子シャッタについて図４Ａ及び図４Ｂに示すタイミングチャートを参照して説明する。図４Ａは低輝度時の動作のタイミングチャートを示し、図４Ｂは高輝度時の動作のタイミングチャートを示す。本実施形態では、機能画素と非機能画素とは、それぞれ独立に制御される。図４Ａ及び図４Ｂにおいて、それぞれ上段は通常画素等の非機能画素の動作を示し、下段は例えば位相差画素のような機能画素の動作を示す。
　図４Ａに示す低輝度時の動作について説明する。非機能画素のタイミングチャートと機能画素のタイミングチャートのそれぞれ１段目の「ＶＤ」と示したのは制御カウンタを表す。本実施形態では、３０フレーム／秒の場合を表し、制御カウンタは３３ｍｓ毎にパルスが発生する。非機能画素のタイミングチャートと機能画素のタイミングチャートのそれぞれ２段目は、撮像素子２１で行われる露光のタイミングを示す。非機能画素のタイミングチャートと機能画素のタイミングチャートのそれぞれ３段目は、露光データの読み出しのタイミングを示す。
　非機能画素の露光の終了は、制御カウンタが変化するタイミングに一致するように調整される。機能画素の露光の終了は、非機能画素の露光の終了と同時になるように調整される。したがって、非機能画素の露光の開始と機能画素の露光の開始とのタイミングは異なることになる。低輝度時は、暗所で焦点検出が可能なように、機能画素の露光時間は非機能画素の露光時間よりも長くなるように調整されている。非機能画素の読み出しと機能画素の読み出しとは、それぞれ制御カウンタが変化した後に行われる。
　図４Ｂに示す高輝度時も低輝度時の場合と同様に、非機能画素及び露光画素の露光の終了はともに制御カウンタが変化するタイミングと一致するように調整されている。また、非機能画素の読み出しと機能画素の読み出しとは、それぞれ制御カウンタが変化した後に行われる。高輝度時は、例えば逆光でも焦点検出が可能なように、機能画素の露光時間は非機能画素の露光時間よりも短くなるように調整されている。
　比較例として、非機能画素の露光と機能画素の露光とを順次に切り替える場合のタイミングチャートを図４Ｃに示す。図４Ｃに示すように、比較例の場合は、非機能画素用の露光の後、その読み出しと同時にモード切替を行い、続いて機能画素用の露光を行い、その後に読み出しと同時にモード切替を行う。この比較例のような動作では、画像取得が不連続となり、滑らかな動画が得られない。これに対して本実施形態に係る独立電子シャッタによれば、滑らかな画像を得ながら機能画素の機能の輝度ロバスト性が大幅に高くなる。
　露出制御回路３３は、ＤＲＡＭ４１から画素データを取得し、機能画素と非機能画素との電子シャッタ速を算出する。露出制御回路３３は、算出した機能画素と非機能画素との電子シャッタ速をＤＲＡＭ４１に保存する。ＣＰＵ２９は、この電子シャッタ速に基づいて、撮像制御回路２３に異なるシャッタ速による撮像を行わせる。
　ビデオエンコーダ３５は、画像処理部３１によって生成されＤＲＡＭ４１に一時記憶された表示用画像データを読み出し、読み出した表示用画像データを表示部３７に出力する。
　表示部３７は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばデジタルカメラ１の背面等に配置される。この表示部３７は、ビデオエンコーダ３５から入力されてきた表示用画像データに従って画像を表示する。表示部３７は、ライブビュー表示や記録済み画像の表示等に使用される。
　バス３９は、ＡＤＣ２７、ＣＰＵ２９、画像処理部３１、露出制御回路３３、ビデオエンコーダ３５、ＤＲＡＭ４１、ＲＯＭ４３、記録媒体４５、ジャイロセンサ４７、及び加速度センサ４９に接続されている。これら各部で発生した各種のデータは、バス３９を介して転送される。
　ＤＲＡＭ４１は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、デジタルカメラ１の移動量データ、ＣＰＵ２９における処理データといった各種データを一時的に記憶する。なお、一時記憶用としては、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ　Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）が用いられてもよい。
　記憶部の一例として機能するＲＯＭ４３は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ４３は、ＣＰＵ２９で使用するプログラム、デジタルカメラ１の調整値等の各種データを記憶している。
　記録媒体４５は、デジタルカメラ１に内蔵又は装填自在に構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。
　ジャイロセンサ４７は、デジタルカメラ１の姿勢変化に伴う角速度を検出するためのセンサである。ジャイロセンサ４７は、検出した角速度を表すデータをＤＲＡＭ４１に保存する。加速度センサ４９は、デジタルカメラ１の姿勢変化に伴う加速度を検出するためのセンサである。加速度センサ４９は、検出した加速度を表すデータをＤＲＡＭ４１に保存する。前述のとおり、これらのデータは、ＣＰＵ２９で処理される。
　本実施形態では、デジタルカメラ１及び被写体が静止しているときは、独立電子シャッタを用いた撮影によっても画像に支障はない。しかしながら、例えば被写体が移動しているとき、機能画素と非機能画素とで露光時間が異なると、機能画素の部分のみで像ブレに差異が発生し、不自然な画像となる。本実施形態では、この局所的な像ブレの差異を防ぐため、局所的な像ブレが発生する状況では、機能画素の情報が周辺の非機能画素の情報で補間される。一方、局所的な像ブレが発生しない状況では、機能画素の情報が画像情報として用いられる。このような像ブレの差異を防ぐための動作を画像処理部３１が行う。
　図５は、画像処理部３１の詳細な構成を示す図である。図５では、画像処理部３１以外のブロックについては図示を省略している。画像処理部３１は、ホワイトバランス（ＷＢ）補正処理部１０２と、ブレ量推定部１０４と、露光時間差算出部１０６と、補正方法判断部１０８と、ゲイン補正／周辺補間部１２２と、同時化処理部１２４と、輝度特性変換部１２６と、エッジ強調処理部１２８と、ノイズ低減（ＮＲ）処理部１３０と、色再現処理部１３２とを有している。この他、図示を省略しているが、画像処理部３１は、圧縮伸張処理部等も有している。
　ＷＢ補正処理部１０２は、撮像データの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正する。
　ブレ量推定部１０４は、ジャイロセンサ４７及び加速度センサ４９が取得した情報に基づいて算出された角速度及び加速度から算出されたデジタルカメラ１の像移動量を取得する。また、ブレ量推定部１０４は、公知のブロックマッチング等の演算から算出される画像内の領域毎の動きベクトルを取得する。ブレ量推定部１０４は、デジタルカメラ１の移動量と画像内の領域毎の動きベクトルとに基づいて、領域毎の像移動する量である像ブレ量を算出する。
　露光時間差算出部１０６は、機能画素と非機能画素をそれぞれの用途に応じて適切な露光条件で駆動させる制御において、機能画素と非機能画素のシャッタ速度の差分である露光時間差を算出する。
　補正方法判断部１０８は、手法判断部１１２と、混合割合算出部１１４とを有する。手法判断部１１２は、ブレ量推定部１０４が算出した領域毎のブレ量と露光時間差算出部１０６が算出した機能画素と非機能画素の露光時間差に基づいて、機能画素を周辺画素値を用いて補正するか否か判断する。手法判断部１１２が機能画素を周辺画素値を用いて補正すると判断した場合、混合割合算出部１１４は、機能画素自身の画素値と周辺画素の画素値とを重みづけした混合を行う際に用いられる重みづけを、ブレ量推定部１０４が算出したブレ量と露光時間差算出部１０６が算出した露光時間差とに基づいて決定する。
　ゲイン補正／周辺補間部１２２は、画像に対して補正を施す補正部として機能する。ゲイン補正／周辺補間部１２２は、混合割合算出部１１４が算出した重みづけに基づいて、機能画素自身の画素値と周辺画素の画素値とを重みづけした混合を行う。
　同時化処理部１２４は、例えばベイヤ配列に対応して撮像素子２１を介して出力される撮像データ等の、１つの画素が１つの色成分に対応している撮像データを、１つの画素が複数の色成分に対応している画像データに変換する。
　輝度特性変換部１２６は、同時化処理部１２４で生成された画像データの輝度特性を、表示や記録に適するように変換する。エッジ強調処理部１２８は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する。ＮＲ処理部１３０は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。
　色再現処理部１３２は、画像の色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。このカラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部１３２は、彩度・色相の補正を行う。
　本実施形態に係るデジタルカメラ１の動作を説明する。本実施形態に係るデジタルカメラ１による動画記録の処理の一例を図６に示すフローチャートを参照して説明する。動画記録は、例えば動画撮影モード中にレリーズボタンが押圧されたときに開始する。また、ここでは、動画記録の処理について説明するが、静止画記録の動作においても同様の処理が行われ得る。なお、図６を参照して説明する処理はＲＯＭ４３に記憶されているプログラムに従ってＣＰＵ２９が実行したり、ＡＳＩＣが実行したりする。これら処理に係るプログラムは、光ディスクや磁気ディスクや半導体メモリ等、各種記録媒体にも記録され得る。
　Ｓ１０１において、ＣＰＵ２９は、撮像データの取り込みを開始する。ここでは、ＣＰＵ２９は、撮像制御回路２３に現在の動作モードに応じた設定データを入力する。また、露出制御回路３３は、前フレームで取得した撮像データに基づいて決定された独立電子シャッタに係る露出時間を撮像制御回路２３に入力する。撮像制御回路２３は、これらの設定データに従って撮像素子２１からの画素データの読み出しを制御する。撮像制御回路２３に読み出し方式が設定されると、撮像制御回路２３に設定された読み出し方式に従って、撮像素子２１から画素混合又は画素間引きされた状態の画像信号が読み出される。撮像素子２１から読み出された画像信号は、ＡＤＣ２７においてデジタル化された後、撮像データとしてＤＲＡＭ４１に一時記憶される。
　Ｓ１０２において、露出制御回路３３は、撮像データから次フレームに係る露光条件を決定する。ここで、露出制御回路３３は、機能画素と非機能画素とのそれぞれについて、適切なシャッタ速を算出する。ここで、機能画素のシャッタ速と非機能画素のシャッタ速は、異なっていてよい。
　Ｓ１０３において、露出制御回路３３は、機能画素と非機能画素のそれぞれのシャッタ速を独立に設定する。設定されたシャッタ速は、ＤＲＡＭ４１に一時記憶される。このシャッタ速は、撮像制御回路２３によって読み出される。撮像制御回路２３は、撮像素子２１を決定したシャッタ速で駆動することになる。
　Ｓ１０４において、ＣＰＵ２９は、ジャイロセンサ４７の出力と加速度センサ４９の出力とを取得する。ＣＰＵ２９は、ジャイロセンサ４７の出力に基づいて、デジタルカメラ１に係る角速度を算出し、加速度センサ４９の出力に基づいてデジタルカメラ１に係る加速度を算出する。すなわち、ＣＰＵ２９は、デジタルカメラ１の移動量を算出する。ここで、ジャイロセンサ４７の出力に基づいて算出される値を第１の移動量ｍｏｖ＿ｓｕｍ＿ｏとする。また、加速度センサ４９の出力に基づいて算出される値を第２の移動量ｍｏｖ＿ｓｕｍ＿ｉとする。
　また、画像処理部３１は、撮像した画像に含まれる被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖを画像領域ごとに算出する。被写体の移動量の算出には、例えばブロックマッチングによる相関演算など、既知の動きベクトル算出方法が用いられ得る。
　Ｓ１０５において、画像処理部３１は、本実施形態に係る画素補正処理を行う。この画素補正処理は、非機能画素のシャッタ速と機能画素のシャッタ速との差異による画像の劣化を補正する処理である。この画素補間処理については、後に詳述する。
　Ｓ１０６において、画像処理部３１は、画素補正処理で補正された撮像データを記録用に画像処理する。Ｓ１０７において、画像処理部３１は、画像処理を施した画像データを記録媒体に記録する。
　Ｓ１０８において、ＣＰＵ２９は、動画記録停止の指示が入力されたか否かを判定する。動画記録停止の指示は、例えば、動画記録動作中にレリーズボタンが押圧されることで入力される。動画記録停止の指示が入力されていないとき、処理はステップＳ１０１に戻る。一方、動画記録停止の指示が入力されたとき、本動画記録処理は終了する。
　次に画素補正処理について、図７に示すフローチャートを参照して説明する。ステップＳ２０１において、ブレ量推定部１０４は、ＤＲＡＭ４１から、ジャイロセンサ４７の出力に基づいてステップＳ１０４で算出されたデジタルカメラ１の第１の移動量ｍｏｖ＿ｓｕｍ＿ｏを取得する。また、ブレ量推定部１０４は、ＤＲＡＭ４１から、加速度センサ４９の出力に基づいて算出されたデジタルカメラ１の第２の移動量ｍｏｖ＿ｓｕｍ＿ｉを取得する。
　ステップＳ２０２において、ブレ量推定部１０４は、第１の移動量ｍｏｖ＿ｓｕｍ＿ｏは、第２の移動量ｍｏｖ＿ｓｕｍ＿ｉよりも大きいか否かを判定する。第１の移動量ｍｏｖ＿ｓｕｍ＿ｏが第２の移動量ｍｏｖ＿ｓｕｍ＿ｉよりも大きいとき、処理はステップＳ２０３に進む。ステップＳ２０３において、ブレ量推定部１０４は、最終的に決定されるデジタルカメラ１の第３の移動量ｍｏｖ＿ｓｕｍ＿ｆを第１の移動量ｍｏｖ＿ｓｕｍ＿ｏに決定する。その後、処理はステップＳ２０５に進む。
　ステップＳ２０２の判定において、第１の移動量ｍｏｖ＿ｓｕｍ＿ｏが第２の移動量ｍｏｖ＿ｓｕｍ＿ｉよりも大きくないと判定されたとき、処理はステップＳ２０４に進む。ステップＳ２０４において、ブレ量推定部１０４は、最終的に決定されるデジタルカメラ１の第３の移動量ｍｏｖ＿ｓｕｍ＿ｆを第２の移動量ｍｏｖ＿ｓｕｍ＿ｉに決定する。その後、処理はステップＳ２０５に進む。
　ステップＳ２０１乃至ステップＳ２０４の処理により、第３の移動量ｍｏｖ＿ｓｕｍ＿ｆは、ジャイロセンサ４７で取得されたデジタルカメラ１の移動量と加速度センサ４９で取得されたデジタルカメラ１の移動量とのうち大きい方に設定される。
　ステップＳ２０５乃至ステップＳ２１６の処理は、全機能画素について順に行われるループ処理である。ステップＳ２０５において、ブレ量推定部１０４は、ＤＲＡＭ４１から、ステップＳ１０４のブロックマッチングを用いた動きベクトル算出処理で算出された被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖを取得する。
　ステップＳ２０６において、ブレ量推定部１０４は、第３の移動量ｍｏｖ＿ｓｕｍ＿ｆは、被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖよりも大きいか否かを判定する。第３の移動量ｍｏｖ＿ｓｕｍ＿ｆが被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖよりも大きいと判定されたとき、処理はステップＳ２０７に進む。ステップＳ２０７において、ブレ量推定部１０４は、最終的に算出された補正対象領域の移動量ｍｏｖを第３の移動量ｍｏｖ＿ｓｕｍ＿ｆに決定する。その後、処理はステップＳ２０９に進む。
　ステップＳ２０６の判定において、第３の移動量ｍｏｖ＿ｓｕｍ＿ｆが被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖよりも大きくないと判定されたとき、処理はステップＳ２０８に進む。ステップＳ２０８において、ブレ量推定部１０４は、最終的に算出された補正対象領域の移動量ｍｏｖを被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖに決定する。その後、処理はステップＳ２０９に進む。
　ステップＳ２０５乃至ステップＳ２０８の処理により、補正対象領域の移動量ｍｏｖは、第３の移動量ｍｏｖ＿ｓｕｍ＿ｆと被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖとのうち大きい方に設定される。このように、補正対象領域の移動量ｍｏｖは、対象領域ごとに、デジタルカメラ１の動きによるブレと被写体の動きによるブレとが考慮された、対象領域に含まれ得るブレ量を表す値となる。
　ステップＳ２０９において、露光時間差算出部１０６は、ＤＲＡＭ４１から非機能画素の露光時間ｔｖ＿ｎｏｒｍａｌと機能画素の露光時間ｔｖ＿ｆｕｎｃｔｉｏｎａｌとを取得する。ステップＳ２１０において、露光時間差算出部１０６は、非機能画素の露光時間ｔｖ＿ｎｏｒｍａｌと機能画素の露光時間ｔｖ＿ｆｕｎｃｔｉｏｎａｌとの差の絶対値である露出時間差ｔｖ＿ｄｉｆを算出する。
　ステップＳ２１１において、手法判断部１１２は、露出時間差ｔｖ＿ｄｉｆが第１の閾値より大きいか否かを判定する。露出時間差ｔｖ＿ｄｉｆが第１の閾値より大きくないと判定されたとき、処理はステップＳ２１６に進む。一方、露出時間差ｔｖ＿ｄｉｆが第１の閾値より大きいと判定されたとき、処理はステップＳ２１２に進む。
　ステップＳ２１２において、手法判断部１１２は、補正対象領域の移動量ｍｏｖが第２の閾値より大きいか否かを判定する。補正対象領域の移動量ｍｏｖが第２の閾値より大きくないと判定されたとき、処理はステップＳ２１６に進む。一方、補正対象領域の移動量ｍｏｖが第２の閾値より大きいと判定されたとき、処理はステップＳ２１３に進む。
　ステップＳ２１３において、混合割合算出部１１４は、補正対象領域の移動量ｍｏｖと露出時間差ｔｖ＿ｄｉｆとに基づいて、機能画素の利用割合を表す係数ｋを決定する。係数ｋの決定方法の一例について説明する。
　図８Ａは、補正対象領域の移動量ｍｏｖと移動量ｍｏｖに基づいて決定される機能画素の利用割合である第１の利用割合ｋ１との関係を示す。この図に示すように、補正対象領域の移動量ｍｏｖが所定の値よりも小さいとき、第１の利用割合ｋ１は、０．５に設定される。補正対象領域の移動量ｍｏｖが大きくなる程、第１の利用割合ｋ１は減少する。図８Ｂは、露出時間差ｔｖ＿ｄｉｆと露出時間差ｔｖ＿ｄｉｆに基づいて決定される機能画素の利用割合である第２の利用割合ｋ２との関係を示す。この図に示すように、露出時間差ｔｖ＿ｄｉｆが所定の値よりも小さいとき、第２の利用割合ｋ２は、０．５に設定される。露出時間差ｔｖ＿ｄｉｆが大きくなる程、第２の利用割合ｋ２は減少する。機能画素の利用割合ｋは、ｋ＝ｋ１＋ｋ２によって決定される。
　補正対象領域の移動量ｍｏｖと露出時間差ｔｖ＿ｄｉｆとが十分に小さいとき、機能画素の利用割合ｋは１に設定される。補正対象領域の移動量ｍｏｖがわずかであるとき、画像に与える影響は十分に小さいことが考えられるので、図８Ａに示すように、補正対象領域の移動量ｍｏｖがわずかであるときは、第１の利用割合ｋ１は０．５に設定される。同様に、露出時間差ｔｖ＿ｄｉｆがわずかであるとき、画像に与える影響は十分に小さいことが考えられるので、図８Ｂに示すように、露出時間差ｔｖ＿ｄｉｆがわずかであるときは、第２の利用割合ｋ２は０．５に設定される。
　ここで、図８Ａ及び図８Ｂに示した関係はもちろん一例である。これらの関係は他の関係でもよい。例えばこれらの関係が線形的な関係を有しておらず、非線形な関係を有していてもよい。補正対象領域の移動量と露光時間差とは同程度の重みづけをもっておらず、どちらか一方が重視されていてもよい。すなわち、例えば補正対象領域の移動量が０のときの第１の利用割合が０．７であり、露光時間差が０のときの第２の利用割合が０．３といったような組み合わせでもよい。
　図７に戻って説明を続ける。ステップＳ２１４において、混合割合算出部１１４は、機能画素の利用割合ｋを用いて、次の式に基づいて、補正画素値Ｉを決定する。
　　Ｉ＝（１－ｋ）×ｃ＿ｐｉｘ＋ｋ×ｇ＿ｐｉｘ
ここで、ｇ＿ｐｉｘは、補正対象である機能画素の出力値又はゲイン調整された補正対象である機能画素の出力値である。また、ｃ＿ｐｉｘは、補正対象画素近傍の画素値の加算平均値である。すなわち、対象となっている機能画素の座標を［０］［０］とし、その座標の画素値をｐｉｘ［０］［０］としたときに、ｃ＿ｐｉｘは例えば次の式で与えられる。
　　ｃ＿ｐｉｘ＝（ｐｉｘ［－１］［０］＋ｐｉｘ［０］［－１］
　　　　　　　　　　　＋ｐｉｘ［＋１］［０］＋ｐｉｘ［０］［＋１］）／４
ここで、座標［－１］［０］は座標［０］［０］の画素の左隣の画素の座標を表し、座標［０］［－１］は座標［０］［０］の画素の下隣の画素の座標を表し、座標［＋１］［０］は座標［０］［０］の画素の右隣の画素の座標を表し、座標［０］［＋１］は座標［０］［０］の画素の上隣の画素の座標を表す。
　ステップＳ２１５において、混合割合算出部１１４は、補正対象画素の値を補正画素値Ｉに置換する。
　ステップＳ２１６において、混合割合算出部１１４は、補正を行わない、又はゲインの調整のみを行う。露出時間差ｔｖ＿ｄｉｆが十分に小さいとき、補正を行う必要がないので、ステップＳ２１６の処理が行われる。また、補正対象領域の移動量ｍｏｖ、すなわちブレが十分に小さいとき、補正を行う必要がないので、ステップＳ２１６の処理が行われる。
　以上、ステップＳ２０５乃至ステップＳ２１６の処理が、全ての機能画素を対象として繰り返し行われる。
　以上の動作によれば、デジタルカメラ１や被写体に動きがないときや、機能画素と非機能画素とで露出時間に差がないときには、機能画素の出力自身がゲイン調整されて用いられることで解像劣化が防止される。また、デジタルカメラ１や被写体に動きがあるときや、機能画素と非機能画素とで露光時間に差があるときには、機能画素と非機能画素とで生じ得るブレ量の差による画質劣化が補正される。したがって、本実施形態に係るデジタルカメラ１によれば、機能画素と非機能画素とで露光時間が異なることによって生じ得る画質の劣化が低減されて絵柄への影響についてもロバスト性が高い補正が実現され得る。
　以上の説明では、機能画素と非機能画素とで２種類の異なる露光時間が用いられる場合を例に挙げて説明したが、画素毎に２種類以上の異なる露光時間が用いられる場合に、本実施形態に係る画像劣化を補正する画像処理は効果を奏する。

Claims (16)

  1. 　複数の画素を含み、前記画素の位置に応じて少なくとも２種類の異なる露光時間が適用される撮像素子を用いて得られた画像データに対して画像処理を施す画像処理装置であって、
    　前記画像データに存在する像ブレ量を推定するブレ量推定部と、
    　前記像ブレ量に基づいて、前記画像データに対して補正を施す補正部と
    　を備える画像処理装置。
  2. 　前記画像データを取得した前記撮像素子は、互いに露光時間が異なる第１の画素と第２の画素とを含み、
    　前記第１の画素の露光時間と前記第２の画素の露光時間との差である露光時間差を算出する露光時間差算出部をさらに備え、
    　前記補正部は、前記露光時間差に基づいて、前記画像データに対して前記補正を施す、
    　請求項１に記載の画像処理装置。
  3. 　前記露光時間差と前記像ブレ量とに基づいて、対象となる前記第１の画素が検出した光量を用いる第１の割合と、前記対象となる前記第１の画素の周辺に位置する前記第２の画素が検出した光量を用いる第２の割合とを決定する混合割合算出部をさらに備え、
    　前記補正部は、前記第１の割合と前記第２の割合とに基づいて前記画像データに対して前記補正を施す、
    　請求項２に記載の画像処理装置。
  4. 　混合割合算出部は、前記露光時間差が大きい程、前記第２の割合を高くする、請求項３に記載の画像処理装置。
  5. 　混合割合算出部は、前記像ブレ量が大きい程、前記第２の割合を高くする、請求項３又は４に記載の画像処理装置。
  6. 　前記画像データを取得した前記撮像素子は、互いに露光時間が異なる第１の画素と第２の画素とを含み、
    　前記ブレ量推定部が算出する前記像ブレ量と、前記第１の画素の露光時間及び前記第２の画素の露光時間とに基づいて、前記補正の内容を決定する補正方法判断部をさらに備え、
    　前記補正部は、前記補正の内容に基づいて、前記画像データに対して前記補正を施す、
    　請求項１に記載の画像処理装置。
  7. 　前記第１の画素の露光時間と前記第２の画素の露光時間との差である露光時間差を算出する露光時間差算出部をさらに備え、
    　前記補正方法判断部は、前記露光時間差があり、かつ、前記像ブレ量があると判断したときに、補正を行うと決定し、
    　前記補正部は、前記補正方法判断部が前記補正を行うと決定したときに、対象となる前記第１の画素が検出した光量と、前記対象となる前記第１の画素の周辺に位置する前記第２の画素が検出した光量とを用いて前記対象となる前記第１の画素が検出した光量について補正を行う、
    　請求項６に記載の画像処理装置。
  8. 　前記ブレ量推定部は、前記画像データの全体に均一に生じている像ブレと、前記画像データの一部に局所的に生じている像ブレとに基づいて、前記像ブレ量を推定する、請求項１に記載の画像処理装置。
  9. 　前記撮像素子と、
    　請求項１乃至８のうち何れか１項に記載の画像処理装置と
    　を備える撮像装置。
  10. 　前記撮像素子の複数の画素のうちの一部は、特定の機能が付与された機能画素であり、前記機能画素以外の画素は前記機能が付与されていない非機能画素であり、
    　前記機能画素と前記非機能画素とでは、前記露光時間が異なる、
    　請求項９の撮像装置。
  11. 　前記機能画素は、焦点検出画素である請求項１０に記載の撮像装置。
  12. 　前記機能画素と前記非機能画素とで異なる露光制御を行う露光制御部をさらに備える請求項１０又は１１に記載の撮像装置。
  13. 　露光制御部は、被写体の輝度に応じて、前記機能画素の露光時間と前記非機能画素の露光時間とを異ならせる請求項１２に記載の撮像装置。
  14. 　前記露光制御部は、前記被写体が低輝度であれば前記非機能画素の前記露光時間よりも前記機能画素の前記露光時間を長くし、前記被写体が高輝度であれば、前記非機能画素の前記露光時間よりも前記機能画素の前記露光時間を短くする、請求項１３に記載の撮像装置。
  15. 　複数の画素を含む撮像素子であって前記画素に応じて少なくとも２種類の異なる露光時間が適用される前記撮像素子を用いて得られた画像データに対する画像処理方法であって、
    　前記画像データに存在する像ブレ量を推定する工程と、
    　前記像ブレ量に基づいて、前記画像データに対して補正を施す工程と
    　を含む画像処理方法。
  16. 　複数の画素を含む撮像素子であって前記画素に応じて少なくとも２種類の異なる露光時間が適用される前記撮像素子を用いて得られた画像データに対する画像処理をコンピュータに実行させるための画像処理プログラムであって、
    　前記画像データに存在する像ブレ量を推定する工程と、
    　前記像ブレ量に基づいて、前記画像データに対して補正を施す工程と
    　をコンピュータに実行させるための画像処理プログラム。
PCT/JP2015/059162 2014-06-11 2015-03-25 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム WO2015190156A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201580003043.8A CN105830431A (zh) 2014-06-11 2015-03-25 图像处理装置、具有该图像处理装置的摄像装置、图像处理方法和图像处理程序
US15/186,082 US9843735B2 (en) 2014-06-11 2016-06-17 Image processing apparatus, imaging apparatus comprising the same, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-120912 2014-06-11
JP2014120912A JP6460653B2 (ja) 2014-06-11 2014-06-11 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/186,082 Continuation US9843735B2 (en) 2014-06-11 2016-06-17 Image processing apparatus, imaging apparatus comprising the same, and image processing method

Publications (1)

Publication Number Publication Date
WO2015190156A1 true WO2015190156A1 (ja) 2015-12-17

Family

ID=54833265

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/059162 WO2015190156A1 (ja) 2014-06-11 2015-03-25 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US9843735B2 (ja)
JP (1) JP6460653B2 (ja)
CN (1) CN105830431A (ja)
WO (1) WO2015190156A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3185537A1 (en) * 2015-12-24 2017-06-28 Samsung Electronics Co., Ltd Imaging device, electronic device, and method for obtaining image by the same

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712702B1 (en) * 2013-03-15 2017-07-18 ArcaSearch Corporation Apparatus and method for imaging physical documents
KR102346622B1 (ko) * 2014-08-04 2022-01-04 엘지이노텍 주식회사 이미지 센서 및 이를 포함하는 촬상 장치
JP2016208438A (ja) * 2015-04-28 2016-12-08 ソニー株式会社 画像処理装置及び画像処理方法
CN112714252B (zh) 2015-09-30 2023-04-07 株式会社尼康 摄像装置
JP2018033100A (ja) * 2016-08-26 2018-03-01 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
WO2018051699A1 (ja) 2016-09-16 2018-03-22 富士フイルム株式会社 撮像装置、撮像方法、撮像プログラム
CN108476286B (zh) * 2016-10-17 2020-09-08 华为技术有限公司 一种图像输出方法以及电子设备
JP6960745B2 (ja) * 2017-02-16 2021-11-05 キヤノン株式会社 焦点検出装置及びその制御方法、プログラム、記憶媒体
CN110677557B (zh) * 2019-10-28 2022-04-22 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
KR20220084578A (ko) * 2020-12-14 2022-06-21 에스케이하이닉스 주식회사 이미지 센싱 장치
US11496728B2 (en) 2020-12-15 2022-11-08 Waymo Llc Aperture health monitoring mode
JP2022188690A (ja) * 2021-06-09 2022-12-21 オリンパス株式会社 撮像装置、画像処理装置、画像処理方法、記憶媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227838A (ja) * 2007-03-12 2008-09-25 Fujifilm Corp デジタルカメラ
JP2009044636A (ja) * 2007-08-10 2009-02-26 Canon Inc 撮像装置
JP2009206925A (ja) * 2008-02-28 2009-09-10 Fujifilm Corp 撮像装置及び画像信号処理方法
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP2008228282A (ja) * 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
CN101809994B (zh) * 2007-08-10 2012-11-14 佳能株式会社 摄像设备及其控制方法
JP5424679B2 (ja) * 2009-03-18 2014-02-26 キヤノン株式会社 撮像装置及び信号処理装置
JP5563283B2 (ja) 2009-12-09 2014-07-30 キヤノン株式会社 画像処理装置
JP5767485B2 (ja) * 2011-02-07 2015-08-19 キヤノン株式会社 画像処理装置及び制御方法
WO2012127772A1 (ja) * 2011-03-24 2012-09-27 パナソニック株式会社 固体撮像素子および当該素子を備える撮像装置
JP2012235332A (ja) * 2011-05-02 2012-11-29 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP5634420B2 (ja) * 2012-02-24 2014-12-03 株式会社東芝 画像処理装置及び固体撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227838A (ja) * 2007-03-12 2008-09-25 Fujifilm Corp デジタルカメラ
JP2009044636A (ja) * 2007-08-10 2009-02-26 Canon Inc 撮像装置
JP2009206925A (ja) * 2008-02-28 2009-09-10 Fujifilm Corp 撮像装置及び画像信号処理方法
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3185537A1 (en) * 2015-12-24 2017-06-28 Samsung Electronics Co., Ltd Imaging device, electronic device, and method for obtaining image by the same
CN107018298A (zh) * 2015-12-24 2017-08-04 三星电子株式会社 成像设备、电子设备以及用于通过其获得图像的方法
US10397463B2 (en) 2015-12-24 2019-08-27 Samsung Electronics Co., Ltd Imaging device electronic device, and method for obtaining image by the same

Also Published As

Publication number Publication date
JP2016001807A (ja) 2016-01-07
CN105830431A (zh) 2016-08-03
US20160301847A1 (en) 2016-10-13
US9843735B2 (en) 2017-12-12
JP6460653B2 (ja) 2019-01-30

Similar Documents

Publication Publication Date Title
JP6460653B2 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
US9160934B2 (en) Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same
JP5529928B2 (ja) 撮像装置及び撮像装置の制御方法
JP6124720B2 (ja) 撮像装置、画像処理方法及び画像処理プログラム
US9088710B2 (en) Image processing apparatus, and method, and recording medium recording image processing program for processing output pixels utilized as phase difference detecting elements
JP5826901B2 (ja) 撮像装置及び光軸位置算出方法
JP2015070433A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2009296434A (ja) 画像撮像装置
JP5701942B2 (ja) 撮像装置、カメラシステム及び画像処理方法
US9503661B2 (en) Imaging apparatus and image processing method
JP6270400B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6364259B2 (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP4871664B2 (ja) 撮像装置及び撮像装置の制御方法
JP5792349B2 (ja) 撮像装置及び撮像装置の制御方法
JP4143395B2 (ja) 撮像装置及びオートフォーカス方法及びプログラム及び記憶媒体
WO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP2020048135A (ja) 撮像装置及びその制御方法
JP2005347901A (ja) 撮像装置および撮像方法
JP2017092717A (ja) 撮像素子および撮像装置
JP2016140057A (ja) 撮像装置
JP2013135391A (ja) 画像処理装置、デジタルカメラおよび画像処理プログラム
JP2013083772A (ja) カメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15806882

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15806882

Country of ref document: EP

Kind code of ref document: A1