WO2011136026A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2011136026A1
WO2011136026A1 PCT/JP2011/059190 JP2011059190W WO2011136026A1 WO 2011136026 A1 WO2011136026 A1 WO 2011136026A1 JP 2011059190 W JP2011059190 W JP 2011059190W WO 2011136026 A1 WO2011136026 A1 WO 2011136026A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
relative position
solid
state
phase difference
Prior art date
Application number
PCT/JP2011/059190
Other languages
English (en)
French (fr)
Inventor
一志 児玉
三沢　岳志
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201180021848.7A priority Critical patent/CN102870402B/zh
Priority to JP2012512763A priority patent/JP5572700B2/ja
Publication of WO2011136026A1 publication Critical patent/WO2011136026A1/ja
Priority to US13/662,639 priority patent/US9001260B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Definitions

  • the present invention relates to an imaging apparatus and an imaging method.
  • a solid-state imaging device mounted on an imaging device such as a digital camera or a digital video camera has a plurality of photoelectric conversion elements (pixels) arranged in a two-dimensional shape, and a part of them (equal color filters are mounted). There are some pixels in which two adjacent pixels) are used as phase difference pixels (pixels for detecting a phase difference) and the phase difference pixels are used for distance measurement (see, for example, Patent Document 1). *
  • the light shielding film openings of the two adjacent phase difference pixels are each provided eccentrically in different directions with respect to the optical center by the microlens provided in each.
  • the area of the light shielding film opening is smaller than that of the other pixels.
  • the phase difference pixel is insufficient and insufficient for using the output signal as a captured image signal. Therefore, the output signal of the phase difference pixel is corrected by performing an interpolation operation using the output signals of normal pixels around the phase difference pixel, as in the case of the defective pixel.
  • Patent Documents 2 and 3 disclose methods for correcting defective pixels.
  • these correction methods after performing the main imaging with the solid-state imaging device, the position of the solid-state imaging device is changed to perform the imaging for correction, and the defective pixel of the image obtained by the main imaging is obtained by the correction imaging. It is used to correct.
  • these correction methods cannot solve the problem that the above-mentioned correction marks are conspicuous.
  • the present invention has been made in view of the above circumstances, and an imaging apparatus capable of making a correction mark generated by correcting an output signal of a phase difference pixel inconspicuous even when the phase difference pixel has an edge, and
  • An object is to provide an imaging method.
  • An imaging device of the present invention is an imaging device including a solid-state imaging device having pixels arranged in a two-dimensional shape including at least one pair of phase difference pixels, the imaging optical system, the imaging optical system, and the solid A position changing unit that changes the relative position of the imaging optical system in a direction perpendicular to the optical axis of the imaging optical system, and a temporary imaging control unit that performs a plurality of temporary imagings by changing the relative position using the solid-state imaging device.
  • a relative position determination unit that determines one of the relative positions when performing each of the plurality of provisional imagings as a relative position at the time of actual imaging, based on an output signal obtained from a pixel in The relative position determination unit
  • the imaging method of the present invention is an imaging method using a solid-state imaging device having two-dimensionally arranged pixels including at least one pair of phase difference pixels, and includes the imaging optical system and the solid-state imaging device.
  • a position changing step for changing a relative position in a direction perpendicular to the optical axis of the imaging optical system;
  • a provisional imaging control step for performing a plurality of temporary imaging by changing the relative position by the solid-state imaging device; and the plurality of times.
  • the pixel image is obtained from pixels in an area corresponding to a part or all of the pairs included in the solid-state image sensor and including the pair.
  • an imaging apparatus and an imaging method capable of making a correction mark generated by correcting an output signal of a phase difference pixel inconspicuous even when the phase difference pixel has an edge.
  • FIG. 1 is a schematic plan view showing a schematic configuration of a solid-state image sensor in the digital camera shown in FIG.
  • FIG. 1 is a diagram showing a schematic configuration of an imaging apparatus for explaining an embodiment of the present invention.
  • the imaging device include an imaging device such as a digital camera and a digital video camera, an imaging module mounted on an electronic endoscope, a camera-equipped mobile phone, and the like.
  • a digital camera will be described as an example.
  • the imaging system of the illustrated digital camera includes a photographing optical system 1 including a focus lens, a zoom lens, and the like, a solid-state imaging device 5, a diaphragm 2 provided between them, and a drive mechanism 3.
  • the solid-state imaging element 5 has a plurality of photoelectric conversion elements (pixels) arranged two-dimensionally in plan view, and a part of them is a phase difference pixel. .
  • the drive mechanism 3 is a mechanism for moving the solid-state imaging device 5 in a direction perpendicular to the optical axis of the photographing optical system 1.
  • the drive mechanism 3 moves the solid-state imaging device 5 according to the control of the position control unit 4.
  • the drive mechanism 3 and the position control unit 4 function as a relative position changing unit that changes the relative position between the photographing optical system 1 and the solid-state imaging device 5.
  • the system control unit 11 that performs overall control of the entire electric control system of the digital camera controls the lens driving unit 8 to move the focus lens to the in-focus position, thereby adjusting the focal length and zooming. In addition, the system control unit 11 adjusts the exposure amount by controlling the opening amount of the aperture 2 via the aperture driving unit 9.
  • system control unit 11 drives the solid-state imaging device 5 via the imaging device driving unit 10 and outputs a subject image captured through the imaging optical system 1 as a captured image signal.
  • An instruction signal from the user is input to the system control unit 11 through the operation unit 14.
  • system control unit 11 controls the position control unit 4 to change the position of the solid-state imaging device 5.
  • the electric control system of the digital camera further includes an analog signal processing unit 6 that performs analog signal processing such as correlated double sampling processing connected to the output of the solid-state imaging device 5, and an image output from the analog signal processing unit 6.
  • An A / D conversion circuit 7 that converts an image signal into a digital signal is provided, and these are controlled by the system control unit 11.
  • the electric control system of the digital camera includes a main memory 16, a memory control unit 15 connected to the main memory 16, and an output of a phase difference pixel included in a captured image signal output from the A / D conversion circuit 7.
  • a phase difference pixel correction unit 18 that corrects the signal by interpolation using the output signals of the surrounding pixels, and an interpolation calculation and a gamma correction calculation on the captured image signal corrected by the phase difference pixel correction unit 18;
  • a digital signal processing unit 17 that generates captured image data by performing RGB / YC conversion processing and the like, and a main imaging position determination unit that determines the relative positions of the imaging optical system 1 and the solid-state imaging device 5 that provide the best image quality of the captured image data 19, an external memory control unit 20 to which a removable recording medium 21 is connected, and a display control unit 22 to which a liquid crystal display unit 23 mounted on the back of the camera or the like is connected.
  • the memory control unit 15, digital signal processing unit 17, phase difference pixel correction unit 18, main imaging position determination unit 19, external memory control unit 20, and display control unit 22 are connected to each other by a control bus 24 and a data bus 25. It is controlled by a command from the system control unit 11.
  • FIG. 2 is a schematic plan view showing a schematic configuration of the solid-state imaging device in the digital camera shown in FIG.
  • pixels 2 includes a large number of photoelectric conversion elements (pixels) arranged two-dimensionally in a row direction X and a column direction Y orthogonal thereto.
  • the large number of pixels includes at least one pair of two phase difference pixels 52 that are adjacent in the oblique direction.
  • the pixels other than the pair are normal pixels 51.
  • a plurality of pairs of phase difference pixels 52 are arranged at predetermined intervals in an area where a large number of pixels are arranged.
  • the system control unit 11 When the shutter button included in the operation unit 14 is half-pressed and an AE / AF instruction is issued, the system control unit 11 performs AE / AF control, the focus lens position of the photographing optical system 1, and the aperture of the diaphragm 2. Adjust the amount.
  • the AF control refers to a process of controlling the focusing range of the photographing optical system 1 based on the output signal from the phase difference pixel 52 among the captured image signals output from the solid-state image sensor 5.
  • the system control unit 11 controls the position control unit 4 to move the solid-state imaging device 5 to a predetermined position, and sets the relative position of the solid-state imaging device 5 and the photographing optical system 1 to the first relative position.
  • the driving unit 10 is controlled to cause the solid-state imaging device 5 to perform the first temporary imaging.
  • a captured image signal (hereinafter, referred to as a first temporary captured image signal) output from the solid-state imaging device 5 by the first temporary imaging is temporarily stored in the main memory 16.
  • FIG. 3 is a diagram showing a subject imaged on the solid-state image sensor 5 when the first provisional imaging is performed by the solid-state image sensor 5.
  • the edge E included in the subject covers a part of the phase difference pixels 52 during the first provisional imaging.
  • the system control unit 11 controls the position control unit 4 to change the position of the solid-state imaging device 5 and sets the relative position of the solid-state imaging device 5 and the photographing optical system 1 to the second relative position.
  • the drive unit 10 is controlled to cause the solid-state imaging device 5 to perform the second provisional imaging.
  • a captured image signal (hereinafter, referred to as a second temporary captured image signal) output from the solid-state imaging device 5 by the second temporary imaging is temporarily stored in the main memory 16.
  • FIG. 4 is a diagram showing a subject imaged on the solid-state image sensor 5 when the second temporary image is taken by the solid-state image sensor 5.
  • the edge E included in the subject does not reach any phase difference pixel 52.
  • the main imaging position determination unit 19 starts the main imaging position determination process.
  • the imaging position determination unit 19 first outputs output signals of pixels in a plurality of first areas set in advance in an area where a plurality of pixels of the solid-state imaging device 5 are arranged from the first provisional captured image signal.
  • the standard deviation of the output signals of the pixels in the first area is calculated for each of the plurality of first areas.
  • the first area is set so as to correspond to a pair of phase difference pixels 52 included in the solid-state imaging device 5, and is set to include one phase difference pixel 52 pair and pixels 51 around the pair. ing.
  • the solid-state imaging device 5 includes a first area 53 including a pair of phase difference pixels 52 and three pixels 51 surrounding the phase difference pixel 52 for the total number of pairs of phase difference pixels 52 ( In the example of FIG. 3, 8) are set.
  • the main imaging position determination unit 19 When a plurality of first areas are set as shown in FIG. 3, the main imaging position determination unit 19 outputs all the pixels in the eight first areas 53 from the first temporary captured image signal. The signal is extracted, and the standard deviation (hereinafter referred to as standard deviation A) of the output signals of the five pixels in the first area 53 is calculated for each of the eight first areas 53. As a result, eight standard deviations A corresponding to the eight first areas 53 are calculated.
  • the main imaging position determination unit 19 outputs, from the second temporary captured image signal, output signals of pixels in a plurality of second areas set in advance in a region where the plurality of pixels of the solid-state imaging device 5 are arranged. And the standard deviation of the output signals of the pixels in the second area is calculated for each of the plurality of second areas.
  • the second area corresponding to the first area includes a pair of phase difference pixels 52 included in the first area, and has the same size (including the same number of pixels) as the first area. It is an area.
  • the second area 54 is set in the solid-state imaging device 5 just like the first area 53.
  • the main imaging position determination unit 19 When a plurality of second areas are set as shown in FIG. 4, the main imaging position determination unit 19 outputs all pixels in the eight second areas 54 from the second temporary captured image signal. The signal is extracted, and the standard deviation (hereinafter referred to as standard deviation B) of the output signals of the five pixels in the second area 54 is calculated for each of the eight second areas 54. As a result, eight standard deviations B corresponding to the eight second areas 54 are calculated.
  • the first area 53 and the corresponding second area 54 include the same pair of phase difference pixels 52. For this reason, the standard deviation A and the standard deviation B described above are calculated corresponding to each pair of all the phase difference pixels 52 included in the solid-state imaging device 5.
  • the imaging position determining unit 19 compares the standard deviation A obtained for the first area with the standard deviation B obtained for the second area corresponding to the first area. As a result of the comparison, it is assumed that the absolute value of the difference between the standard deviation A and the standard deviation B is less than the threshold value. In this case, as a result of moving the solid-state imaging device 5 and performing imaging, there is almost no variation in pixel output between the first area and the second area corresponding thereto. That is, a pair of phase difference pixels 52 that are included in common in the first area and the second area are covered by a subject other than the edge E at both the first relative position and the second relative position. Can be determined.
  • the imaging position determination unit 19 is included in the first area and the second area corresponding to the first area. It is determined that the edge E is not applied to the pair of phase difference pixels 52 at both the first relative position and the second relative position.
  • the imaging position determination unit 19 becomes a calculation source of the larger one of the standard deviation A and the standard deviation B.
  • the edge E is applied to at least one of the pair of phase difference pixels 52, and the smaller of the standard deviation A and the standard deviation B is smaller. It is determined that the edge E is not applied to at least one of the pair of phase difference pixels 52 at the relative position when the provisional captured image signal that is the calculation source is obtained.
  • the imaging position determination unit 19 compares the standard deviation A calculated for the first area with the standard deviation B calculated for the second area corresponding to the first area (in other words, the solid state (Comparison of standard deviation A and standard deviation B obtained corresponding to all pairs of phase difference pixels 52 included in the image sensor 5), for each pair of phase difference pixels 52, the first relative position and the second Determination processing for determining whether or not the edge E is applied to at least one phase difference pixel of the pair at each of the relative positions is performed.
  • the edge E is not applied to the pair of phase difference pixels 52 in either the first relative position or the second relative position.
  • One of the three determination results is obtained: the edge E is applied to at least one of the pair of phase difference pixels 52 at the relative position of FIG. 5, and the edge E is applied to at least one of the pair of the phase difference pixels 52 at the second relative position. It is done.
  • the main imaging position determination unit 19 determines the relative position where the number of pairs of the phase difference pixels 52 to which the edge E is applied is the smallest among the first relative position and the second relative position. It is determined as a relative position at the time of imaging.
  • the edge E is applied to at least one of the pair of phase difference pixels 52 at the first relative position.
  • the second relative position is determined that there are three pairs of phase difference pixels 52 with edges at the first relative position, and that there are no pairs of phase difference pixels 52 with edges at the second relative position. it can.
  • the relative position where the number of pairs of the phase difference pixels 52 with the edge E is the smallest is the second relative position, and this second relative position is determined as the relative position at the time of actual imaging.
  • the system control unit 11 moves the solid-state imaging device 5 so as to be in the determined relative position and sets the imaging standby state.
  • the system control unit 11 causes the solid-state imaging device 5 to perform the main imaging.
  • the captured image signal output from the solid-state image sensor 5 by the main imaging is stored in the main memory 16. Thereafter, the phase difference pixel correction unit 18 corrects the output signal of the phase difference pixel 52 included in the captured image signal by interpolation using the output signals of the pixels 51 around the phase difference pixel 52.
  • the digital signal processing unit 17 After completion of the correction by the phase difference pixel correction unit 18, the digital signal processing unit 17 performs digital signal processing on the corrected captured image signal to generate captured image data.
  • the captured image data is recorded on the recording medium 21.
  • the digital camera shown in FIG. 1 performs the provisional imaging twice before the main imaging, and corresponds to the pair of phase difference pixels 52 from the captured image signal obtained by these temporary imaging. Two standard deviations A and B are calculated. Then, by comparing the standard deviations A and B, the number of pairs of phase difference pixels 52 that are edged at the first relative position and the pairs of phase difference pixels 52 that are edged at the second relative position. A determination process for determining the number of Subsequently, the relative position between the imaging optical system 1 and the solid-state image sensor 5 that minimizes the number of pairs of phase difference pixels 52 that are edged is determined based on the result of the determination process, and the main imaging is performed based on the determined relative position. To do. With such a configuration, the main imaging can be performed in a state where the number of phase difference pixels 52 with edges is minimized, and even when correction is performed by the phase difference pixel correction unit 18, the correction traces are not easily noticeable. can do.
  • the first relative position when the last provisional imaging is performed. It is preferable to determine the second relative position as the relative position at the time of actual imaging.
  • provisional imaging is performed only twice, but provisional imaging may be performed three or more times. For example, when provisional imaging is performed three times, standard deviation A, standard deviation B, and another standard deviation (C) are calculated corresponding to the pair of phase difference pixels 52.
  • the number of pairs of phase difference pixels 52 that are edged at the first relative position and the phase difference that is edged at the second relative position are detected.
  • the number of pairs of pixels 52 is determined.
  • the standard deviation A and the standard deviation C the number of pairs of phase difference pixels 52 with edges at the first relative position and the third relative position (relative position at the time of the third provisional imaging) are obtained. )
  • the relative position where the number of pairs of the phase difference pixels 52 with the edge is minimized is selected from the first relative position, the second relative position, and the third relative position.
  • the relative position at the time of actual imaging may be determined. Also in this case, when the number of pairs of phase difference pixels 52 to which the edge E is applied is the same at the first relative position, the second relative position, and the third relative position, the final provisional imaging is performed. It is preferable to determine the third relative position, which is the relative position at the time of shooting, as the relative position at the time of actual imaging.
  • provisional imaging may be determined in advance, but provisional imaging may be further performed when the relative position at the time of actual imaging cannot be determined as a result of the provisional imaging twice.
  • the number of pairs of phase difference pixels 52 with edges at the first relative position is the same as or slightly different from the number of pairs of phase difference pixels 52 with edges at the second relative position. If the difference is less than the threshold, it is difficult to determine which relative position has a small number of pairs of phase difference pixels 52 with edges. Therefore, in this case, the third provisional imaging may be performed, and the number of pairs of phase difference pixels 52 with edges at the three relative positions may be compared to determine the relative position during the main imaging. . That is, the provisional imaging may be repeated until a certain large difference (difference equal to or greater than the threshold value) is generated in the difference in the number of pairs of phase difference pixels 52 with edges at the relative positions at the time of provisional imaging.
  • the second relative position described above is, for example, a position in which the solid-state imaging device 5 is shifted in the horizontal direction by approximately 1 ⁇ 2 of the horizontal arrangement pitch of the phase difference pixels 52 from the first relative position, From the first relative position, the solid-state imaging device 5 is shifted in the vertical direction by approximately 1 ⁇ 2 of the vertical arrangement pitch of the phase difference pixels 52, or from the first relative position in the vertical direction of the phase difference pixels 52.
  • the solid-state imaging device 5 may be shifted to a position shifted in the vertical direction and in the horizontal direction by about 1/2 of the arrangement pitch and about 1/2 of the horizontal arrangement pitch. Since the edge E often exists in the horizontal direction, it is preferable to prioritize the vertical direction as the direction in which the solid-state imaging device 5 is moved.
  • the solid-state imaging device 5 is shifted from the first relative position to at least one of the horizontal and the vertical by 1/2 of the arrangement pitch of the phase difference pixels 52.
  • the solid-state imaging device 5 may be shifted from the relative position by at least one of horizontal and vertical by 1/3 of the arrangement pitch of the phase difference pixels 52.
  • FIG. 5 is a diagram showing a schematic configuration of a digital camera of a first modification of the digital camera shown in FIG.
  • the digital camera shown in FIG. 5 has the same configuration as that shown in FIG. 1 except that a face detection unit 26 is added.
  • the face detection unit 26 performs face detection processing on the captured image signal output from the solid-state image sensor 5.
  • the main imaging position determination unit 19 of the digital camera shown in FIG. 5 detects the face area by the face detection unit 26 from the captured image signal output from the solid-state imaging device 5 immediately before the first provisional imaging is performed.
  • the pair of phase difference pixels 52 outside the range corresponding to the face area of the solid-state imaging device 5 (the range in which the face area is imaged) is excluded from the determination processing targets.
  • the determination process is performed only for the pair of phase difference pixels 52 in the range, and the relative position at the time of actual imaging is determined.
  • the imaging position determination unit 19 determines all positions. A determination process is performed for the pair of phase difference pixels 52, and a relative position at the time of actual imaging is determined based on a result of the determination process.
  • a case is considered in which a face area 55 is detected by the face detection unit 26 from a captured image signal 56 output from the solid-state imaging device 5 immediately before the first provisional imaging is performed. Since each output signal constituting the captured image signal 56 corresponds to a plurality of pixels of the solid-state image sensor 5, the range of the solid-state image sensor 5 corresponding to the face area 55 is also determined.
  • the main imaging position determination unit 19 performs the determination process only for the pair of phase difference pixels 52 in the range on the solid-state imaging device 5 corresponding to the face area 55. Then, based on the result of the determination process, the main imaging position determination unit 19 determines a relative position at the time of main imaging.
  • the edges are often included mainly in the face, and the face is often the main subject, so image quality degradation due to correction marks is conspicuous. For this reason, when the subject includes a face, the main imaging position determination unit 19 performs a determination process for each pair of the phase difference pixels 52 around the face and performs relative processing at the time of main imaging. To decide. As a result, it is possible to effectively prevent image quality deterioration due to correction marks while greatly reducing the amount of calculation.
  • the system control unit 11 performs the temporary imaging, Control is performed not to perform determination processing and relative position determination processing during main imaging based on the result of the determination processing, and the main imaging position determination unit 19 performs a predetermined relative position (for example, the relative position set during the last main imaging, Relative position set at random) may be determined as the relative position at the time of actual imaging.
  • a predetermined relative position for example, the relative position set during the last main imaging, Relative position set at random
  • the predetermined relative position is determined as the relative position at the time of the main imaging, so that the time until the main imaging can be performed can be shortened.
  • the configuration of the digital camera of the second modification is the same as that shown in FIG.
  • the main imaging position determination unit 19 selects a pair of phase difference pixels 52 to be subjected to determination processing as a subject within the focusing range (focus area) of the imaging optical system 1 at the time of the first temporary imaging. Is within the range where the image is formed.
  • the main imaging position determination unit 19 of the digital camera of the second modification is a solid on which a subject within the focusing range forms an image based on information on the focusing range of the photographing optical system 1 at the time of the first temporary imaging.
  • the pair of the phase difference pixels 52 outside the range on the image sensor 5 is excluded from the determination target. Then, the main imaging position determination unit 19 performs the determination process only for the pair of phase difference pixels 52 in the range, and determines the relative position at the time of main imaging based on the result of the determination process.
  • the configuration of the digital camera of the third modification is the same as that shown in FIG.
  • the main imaging position determination unit 19 limits the pair of phase difference pixels 52 to be subjected to the determination process to those within the range of the solid-state imaging device 5 designated by the user.
  • the main imaging position determination unit 19 of the digital camera of the third modification example is a solid on which a subject in the range forms an image based on information on the range specified via the operation unit 14 before the first temporary imaging.
  • the pair of the phase difference pixels 52 outside the range on the image sensor 5 is excluded from the determination target. Then, the main imaging position determination unit 19 performs the determination process only for the pair of phase difference pixels 52 in the range, and determines the relative position during the main imaging based on the result of the determination process.
  • the correction mark is easily noticeable if it is in the center of the captured image data. For this reason, only a pair of phase difference pixels 52 in the center of the solid-state imaging device 5 is a target to be subjected to the determination process. Thereby, it is possible to effectively improve the image quality while reducing the amount of calculation required for determining the relative position at the time of actual imaging.
  • the relative position between the photographing optical system 1 and the solid-state image sensor 5 is changed by changing the position of the solid-state image sensor 5.
  • the relative position may be changed by changing the position of the photographing optical system 1.
  • the relative position may be changed by changing the positions of both the photographing optical system 1 and the solid-state imaging device 5.
  • the last provisional imaging is performed. It is preferable to determine the third relative position, which is the relative position when performed, as the relative position at the time of actual imaging.
  • the disclosed imaging device is an imaging device including a solid-state imaging device having pixels arranged in a two-dimensional shape including at least one pair of phase difference pixels, the imaging optical system, the imaging optical system, and the solid A position changing unit that changes the relative position of the imaging optical system in a direction perpendicular to the optical axis of the imaging optical system, and a temporary imaging control unit that performs a plurality of temporary imagings by changing the relative position using the solid-state imaging device.
  • a relative position determination unit that determines one of the relative positions when performing each of the plurality of provisional imagings as a relative position at the time of actual imaging, based on an output signal obtained from a pixel in Determination of relative position Is at in the determined the relative position which and a main imaging control unit implementing the present captured by the solid-state imaging device.
  • the relative position determination unit calculates the standard deviation of the output signal obtained from the pixels in the area for each of the plurality of captured image signals, and based on the comparison of the standard deviation, A determination process for determining whether or not an edge is applied to at least one of the phase difference pixels of each pair in the area for each relative position when each of the multiple times of temporary imaging is performed, and the determination process Based on the result, the relative position at the time of the main imaging is determined.
  • the relative position determination unit based on the result of the determination process performed for each pair, from the relative position when each of the plurality of temporary imaging is performed, The relative position where the number of the pair of phase difference pixels with the edge is the smallest is determined as the relative position at the time of the main imaging.
  • the relative position determination unit targets all the pairs in a range corresponding to a subject to perform the determination process.
  • the disclosed imaging apparatus further includes a face detection unit that detects a face area from a captured image signal output from the solid-state image sensor, and the relative position determination unit is configured to detect all the face areas when the face area is detected.
  • the face detection unit detects a face area from a captured image signal output from the solid-state image sensor
  • the relative position determination unit is configured to detect all the face areas when the face area is detected.
  • the disclosed imaging apparatus further includes a face detection unit that detects a face area from a captured image signal output from the solid-state imaging device, and the temporary imaging control unit is configured to detect the face area when the face area is detected.
  • the provisional imaging is stopped, and the relative position determination unit, when the face area is detected, of all the pairs,
  • the determination process is performed. If the face area is not detected, the determination process is omitted.
  • the predetermined relative position is determined as the relative position during the main imaging.
  • the disclosed imaging apparatus further includes a focusing range control unit that controls a focusing range of the imaging optical system based on a signal obtained from the phase difference pixel, and the relative position determination unit includes all the pairs.
  • the object in the range on the solid-state imaging device where the subject within the focusing range forms an image is to be subjected to the determination process.
  • the relative position determination unit performs all of the pairs in the range on the solid-state imaging device designated by an external operation as the execution target of the determination process.
  • the relative position determination unit uses a part of all the pairs at the center of the solid-state imaging device as an execution target of the determination process.
  • the change amount of the relative position is gradually reduced.
  • the temporary imaging control unit changes the relative position by shifting the position of the solid-state imaging device with respect to the imaging optical system in at least one of a vertical direction and a horizontal direction orthogonal thereto. It is.
  • the temporary imaging control unit changes the relative position by shifting the position of the solid-state imaging device with respect to the imaging optical system in the vertical direction.
  • the disclosed imaging method is an imaging method using a solid-state imaging device having two-dimensionally arranged pixels including at least one pair of phase difference pixels, and includes the imaging optical system and the solid-state imaging device.
  • a position changing step for changing a relative position in a direction perpendicular to the optical axis of the imaging optical system;
  • a provisional imaging control step for performing a plurality of temporary imaging by changing the relative position by the solid-state imaging device; and the plurality of times.
  • the pixel image is obtained from pixels in an area corresponding to a part or all of the pairs included in the solid-state image sensor and including the pair.
  • a standard deviation of an output signal obtained from the pixels in the area is calculated for each of the plurality of captured image signals, and based on a comparison of the standard deviation, A determination process is performed to determine whether or not at least one of the pair of phase difference pixels in the area has an edge for each relative position when each of the multiple times of provisional imaging is performed, and the determination The relative position at the time of the main imaging is determined based on the processing result.
  • the relative position determination step based on the result of the determination process performed for each pair, from among the relative positions when each of the plurality of temporary imaging is performed, The relative position where the number of the pair of phase difference pixels with the edge is the smallest is determined as the relative position at the time of the main imaging.
  • the pair in the range corresponding to the subject among all the pairs is set as the execution target of the determination process.
  • the disclosed imaging method further includes a face detection step of detecting a face area from a picked-up image signal output from the solid-state image sensor.
  • a face detection step of detecting a face area from a picked-up image signal output from the solid-state image sensor.
  • the disclosed imaging method further includes a face detection step of detecting a face area from a captured image signal output from the solid-state imaging device, and when the facial area is detected in the temporary imaging control step, When temporary imaging is performed and the face area is not detected, the temporary imaging is stopped, and in the relative position determination step, when the face area is detected, of all the pairs, If the face area detected in the face detection step is within the range on the solid-state imaging device where an image is formed, the determination process is performed. If the face area is not detected, the determination process is omitted. Thus, the predetermined relative position is determined as the relative position during the main imaging.
  • the disclosed imaging method further includes a focusing range control step for controlling a focusing range of the imaging optical system based on a signal obtained from the phase difference pixel, and in the relative position determination step, all of the pairs Among them, the object in the range on the solid-state imaging device where the subject within the focusing range forms an image is to be subjected to the determination process.
  • the one in the range on the solid-state imaging device designated by an external operation is the execution target of the determination process.
  • a part of all the pairs at the center of the solid-state imaging device is the target of the determination process.
  • the temporary imaging control step when the temporary imaging is performed three times or more, the change amount of the relative position is gradually reduced.
  • the relative position is changed by shifting a position of the solid-state imaging device with respect to the imaging optical system to at least one of a vertical direction and a horizontal direction orthogonal thereto. It is.
  • the relative position is changed by shifting the position of the solid-state imaging device with respect to the imaging optical system in the vertical direction.
  • an imaging apparatus and an imaging method capable of making the correction trace inconspicuous when the output signal of the phase difference pixel is corrected even when the phase difference pixel has an edge.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　位相差画素にエッジがかかっていた場合でも、位相差画素の出力信号を補正した場合の補正痕を目立たなくする。　位相差を検出するための位相差画素５２のペアを有する固体撮像素子５を備える撮像装置であって、撮影光学系１と固体撮像素子５との相対位置を変更させる位置制御部４と、固体撮像素子５により、相対位置を変えて２回の仮撮像を実施する制御部１１と、２回の仮撮像で得られる複数の撮像画像信号の各々のうち、固体撮像素子５に含まれる全ての位相差画素５２のペアに対応しかつ当該ペアを含むエリア５３，５４内の画素から得られた出力信号に基づいて、２回の仮撮像の各々を実施したときの相対位置のうちの１つを本撮像時の相対位置として決定する本撮像位置決定部１９とを備え、制御部１１は、本撮像位置決定部１９で決定された相対位置にて固体撮像素子５により本撮像を実施する。

Description

撮像装置及び撮像方法
　本発明は、撮像装置及び撮像方法に関する。
　デジタルカメラ、デジタルビデオカメラ等の撮像装置に搭載される固体撮像素子には、二次元状に配列された複数の光電変換素子（画素）を有し、そのうちの一部（同色カラーフィルタを搭載した隣接する２つの画素）を位相差画素（位相差を検出するための画素）とし、この位相差画素を測距のために使用しているものがある（例えば特許文献１参照）。　
　隣接する２つの位相差画素の各々の遮光膜開口は、各々に設けられるマイクロレンズによる光学中心に対し異なる方向に偏心して設けられている。
　また、位相差画素は、感度を小さくしないと位相差の検出が困難になるため、遮光膜開口の面積が、その他の画素よりも小さくなっている。　
　このように、位相差画素は、遮光膜開口の面積が小さくなっているため、その出力信号を撮像画像信号として使用するには感度不足で不十分である。したがって、位相差画素の出力信号は、欠陥画素と同様に、その位相差画素の周りの通常の画素の出力信号を用いて補間演算することで補正している。
　しかし、人の顔や目等のエッジ部が位相差画素にかかっていると、位相差画素の出力信号を補間演算した際の補正痕が目立つという問題がある。
　下記特許文献２，３は、欠陥画素の補正方法を開示している。これらの補正方法は、固体撮像素子によって本撮像を行った後、固体撮像素子の位置を変えて補正用撮像を実施し、本撮像で得た画像の欠陥画素を補正用撮像で得た画像を用いて補正するものである。しかし、これらの補正方法は、上述した補正痕が目立つという問題を解決できるものではない。
日本国特開２０００－１５６８２３号公報 日本国特開２００８－２１１４５４号公報 日本国特開２００８－２４５２３６号公報
　本発明は、上記事情に鑑みてなされたものであり、位相差画素にエッジがかかっていた場合でも、位相差画素の出力信号を補正ことによって生じる補正痕を目立たなくすることのできる撮像装置及び撮像方法を提供することを目的とする。
　本発明の撮像装置は、位相差画素のペアを少なくとも１つ含む二次元状に配置された画素を有する固体撮像素子を備える撮像装置であって、撮影光学系と、前記撮影光学系と前記固体撮像素子との前記撮影光学系の光軸に垂直な方向の相対位置を変更させる位置変更部と、前記固体撮像素子により、前記相対位置を変えて複数回の仮撮像を実施する仮撮像制御部と、前記複数回の仮撮像で前記固体撮像素子から出力される複数の撮像画像信号の各々のうち、前記固体撮像素子に含まれる一部又は全部の前記ペアに対応しかつ当該ペアを含むエリア内の画素から得られた出力信号に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置のうちの１つを本撮像時の相対位置として決定する相対位置決定部と、前記相対位置決定部で決定された前記相対位置にて前記固体撮像素子により本撮像を実施する本撮像制御部とを備えるものである。
　本発明の撮像方法は、位相差画素のペアを少なくとも１つ含む二次元状に配置された画素を有する固体撮像素子を用いた撮像方法であって、撮影光学系と前記固体撮像素子との前記撮影光学系の光軸に垂直な方向の相対位置を変更させる位置変更ステップと、前記固体撮像素子により、前記相対位置を変えて複数回の仮撮像を実施する仮撮像制御ステップと、前記複数回の仮撮像で前記固体撮像素子から出力される複数の撮像画像信号の各々のうち、前記固体撮像素子に含まれる一部又は全部の前記ペアに対応しかつ当該ペアを含むエリア内の画素から得られた出力信号に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置のうちの１つを本撮像時の相対位置として決定する相対位置決定ステップと、前記相対位置決定ステップで決定した前記相対位置にて前記固体撮像素子により本撮像を実施する本撮像制御ステップとを備えるものである。
　本発明によれば、位相差画素にエッジがかかっていた場合でも、位相差画素の出力信号を補正したことによって生じる補正痕を目立たなくすることのできる撮像装置及び撮像方法を提供することができる。
本発明の一実施形態を説明するための撮像装置の概略構成を示す図 図１に示したデジタルカメラにおける固体撮像素子の概略構成を示す平面模式図 固体撮像素子５により第一の仮撮像を行ったときの固体撮像素子５に結像した被写体を示した図 固体撮像素子５により第二の仮撮像を行ったときの固体撮像素子５に結像した被写体を示した図 図１に示したデジタルカメラの第一の変形例のデジタルカメラの概略構成を示す図 図５に示したデジタルカメラの動作の説明する図
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。
　図示するデジタルカメラの撮像系は、フォーカスレンズ、ズームレンズ等を含む撮影光学系１と、固体撮像素子５と、この両者の間に設けられた絞り２と、駆動機構３とを備える。
　固体撮像素子５は、詳細は後述するが、平面視において二次元状に配置された複数の光電変換素子（画素）を有し、そのうちの一部を、位相差画素にした構成となっている。
　駆動機構３は、固体撮像素子５を撮影光学系１の光軸に対して垂直な方向に移動させるための機構である。駆動機構３は、位置制御部４の制御にしたがって固体撮像素子５を移動させる。駆動機構３と位置制御部４は、撮影光学系１と固体撮像素子５との相対位置を変更する相対位置変更部として機能する。
　デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、レンズ駆動部８を制御してフォーカスレンズを合焦位置に移動させて焦点距離を調整したりズーム調整を行ったりする。また、システム制御部１１は、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。
　また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影光学系１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。
　また、システム制御部１１は、位置制御部４を制御して、固体撮像素子５の位置を変更する。
　デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力された撮像画像信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。
　更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力された撮像画像信号に含まれる位相差画素の出力信号を、その周囲の画素の出力信号を用いて補間演算して補正する位相差画素補正部１８と、位相差画素補正部１８で補正後の撮像画像信号に対し、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って撮像画像データを生成するデジタル信号処理部１７と、撮像画像データの画質が最もよくなる撮影光学系１と固体撮像素子５の相対位置を決定する本撮像位置決定部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。
　メモリ制御部１５、デジタル信号処理部１７、位相差画素補正部１８、本撮像位置決定部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
　図２は、図１に示したデジタルカメラにおける固体撮像素子の概略構成を示す平面模式図である。
　図２に示した固体撮像素子５は、行方向Ｘとこれに直交する列方向Ｙに二次元状に配列された多数の光電変換素子（画素）を備える。
　この多数の画素は、斜め方向で隣接する２つ１組の位相差画素５２のペアを少なくとも１つ含む。多数の画素のうち、このペア以外の画素が通常の画素５１となっている。
　図２の例では、位相差画素５２のペアが、多数の画素が配置される領域に所定間隔で複数配置されている。
　次に、図１に示すデジタルカメラの撮像時の動作を説明する。
　操作部１４に含まれるシャッタボタンの半押しがなされて、ＡＥ・ＡＦ指示がなされると、システム制御部１１は、ＡＥ・ＡＦ制御を行い、撮影光学系１のフォーカスレンズ位置、絞り２の絞り量等を調整する。なお、ＡＦ制御は、固体撮像素子５から出力される撮像画像信号のうち、位相差画素５２からの出力信号に基づいて撮影光学系１の合焦範囲を制御する処理のこという。
　次に、システム制御部１１は、位置制御部４を制御して固体撮像素子５を所定位置に移動させて、固体撮像素子５と撮影光学系１の相対位置を第一の相対位置にセットする。そして、この状態で、駆動部１０を制御して固体撮像素子５により第一の仮撮像を実施させる。第一の仮撮像によって固体撮像素子５から出力される撮像画像信号（以下、第一の仮撮像画像信号という）はメインメモリ１６に一時記憶される。
　図３は、固体撮像素子５により第一の仮撮像を行ったときの固体撮像素子５に結像した被写体を示した図である。図３の例では、第一の仮撮像時に、被写体に含まれるエッジＥが一部の位相差画素５２にかかっている。
　次に、システム制御部１１は、位置制御部４を制御して固体撮像素子５の位置を変更し、固体撮像素子５と撮影光学系１の相対位置を第二の相対位置にセットする。そして、この状態で、駆動部１０を制御して固体撮像素子５により第二の仮撮像を実施させる。第二の仮撮像によって固体撮像素子５から出力される撮像画像信号（以下、第二の仮撮像画像信号という）はメインメモリ１６に一時記憶される。
　図４は、固体撮像素子５により第二の仮撮像を行ったときの固体撮像素子５に結像した被写体を示した図である。図４の例では、第二の仮撮像時に、固体撮像素子５が列方向Ｙに移動した結果、被写体に含まれるエッジＥがどの位相差画素５２にもかかっていない。
　第二の仮撮像が終了すると、本撮像位置決定部１９が本撮像位置決定処理を開始する。
　本撮像位置決定部１９は、まず、第一の仮撮像画像信号から、固体撮像素子５の複数の画素が配置される領域において予め設定された複数の第一のエリアにある画素の出力信号を抽出し、その複数の第一のエリア毎に、その第一のエリア内の画素の出力信号の標準偏差を算出する。
　第一のエリアは、固体撮像素子５に含まれる位相差画素５２のペアに対応して設定され、位相差画素５２のペアを１つと、そのペアの周囲の画素５１とを含むように設定されている。
　例えば、図３に示すように、固体撮像素子５には、位相差画素５２のペアとその周囲の３つの画素５１とを含む第一のエリア５３が、位相差画素５２のペアの総数分（図３の例では８つ）設定されている。
　図３に示したように複数の第一のエリアが設定されている場合、本撮像位置決定部１９は、第一の仮撮像画像信号から８つの第一のエリア５３にある全ての画素の出力信号を抽出し、８つの第一のエリア５３毎に、その第一のエリア５３内にある５つの画素の出力信号の標準偏差（以下、標準偏差Ａとする）を算出する。これにより、８つの第一のエリア５３に対応した８つの標準偏差Ａが算出される。
　次に、本撮像位置決定部１９は、第二の仮撮像画像信号から、固体撮像素子５の複数の画素が配置される領域において予め設定された複数の第二のエリアにある画素の出力信号を抽出し、その複数の第二のエリア毎に、その第二のエリア内の画素の出力信号の標準偏差を算出する。
　この第二のエリアは、各第一のエリアに対応して１つ設定される。第一のエリアに対応する第二のエリアは、当該第一のエリアに含まれる位相差画素５２のペアを含み、かつ、当該第一のエリアと同じ大きさ（同じ数の画素を含む）のエリアとなっている。
　例えば、固体撮像素子５には、図４に示すように、第一のエリア５３と全く同じように、第二のエリア５４が設定されている。
　図４に示したように複数の第二のエリアが設定されている場合、本撮像位置決定部１９は、第二の仮撮像画像信号から８つの第二のエリア５４にある全ての画素の出力信号を抽出し、８つの第二のエリア５４毎に、その第二のエリア５４内にある５つの画素の出力信号の標準偏差（以下、標準偏差Ｂとする）を算出する。これにより、８つの第二のエリア５４に対応した８つの標準偏差Ｂが算出される。
　第一のエリア５３とこれに対応する第二のエリア５４には、同じ位相差画素５２のペアが含まれる。このため、上述した標準偏差Ａ及び標準偏差Ｂは、固体撮像素子５に含まれる全ての位相差画素５２のペアの各々に対応して算出される。
　次に、本撮像位置決定部１９は、第一のエリアについて求めた標準偏差Ａと、当該第一のエリアに対応する第二のエリアについて求めた標準偏差Ｂとを比較する。比較の結果、標準偏差Ａと標準偏差Ｂの差の絶対値が閾値未満であったとする。の場合は、固体撮像素子５を移動させて撮像を行った結果、第一のエリアとこれに対応する第二のエリアの画素出力のバラツキがほとんど変化しないことを意味する。つまり、第一のエリアと第二のエリアに共通に含まれる位相差画素５２のペアには第一の相対位置と第二の相対位置のいずれにおいてもエッジＥ以外の被写体がかかっているものと判定することができる。このため、標準偏差Ａと標準偏差Ｂの差の絶対値が閾値未満であった場合、本撮像位置決定部１９は、第一のエリアとこれに対応する第二のエリアに共通に含まれる位相差画素５２のペアには、第一の相対位置と第二の相対位置のいずれにおいてもエッジＥがかかっていないと判定する。
　一方、比較の結果、標準偏差Ａと標準偏差Ｂの差の絶対値が閾値以上であった場合、この場合は、固体撮像素子５を移動させて撮像を行った結果、第一のエリアとこれに対応する第二のエリアの画素出力のバラツキが大きく変化したことを意味する。つまり、第一のエリアとこれに対応する第二のエリアに共通に含まれる位相差画素５２のペアの一方又は両方には、第一の相対位置と第二の相対位置のいずれかにおいてエッジＥがかかっているものと判定することができる。
　あるエリア内の位相差画素５２のペアの一方又は両方に第一の相対位置においてエッジＥがかかっていた場合には、そのペアに対応する標準偏差Ａと標準偏差Ｂの関係は標準偏差Ａ＞標準偏差Ｂとなる。逆に第二の相対位置においてエッジＥがかかっていた場合には、標準偏差Ａ＜標準偏差Ｂとなる。このため、標準偏差Ａと標準偏差Ｂの差の絶対値が閾値以上であった場合、本撮像位置決定部１９は、標準偏差Ａと標準偏差Ｂのうちの値の大きい方の算出元となった仮撮像画像信号を得たときの相対位置においては、位相差画素５２のペアの少なくとも一方にエッジＥがかかっていると判定し、標準偏差Ａと標準偏差Ｂのうちの値の小さい方の算出元となった仮撮像画像信号を得たときの相対位置においては、位相差画素５２のペアの少なくとも一方にエッジＥがかかっていないと判定する。
　このように、本撮像位置決定部１９は、第一のエリアについて求めた標準偏差Ａと、当該第一のエリアに対応する第二のエリアについて求めた標準偏差Ｂとの比較（言い換えると、固体撮像素子５に含まれる全ての位相差画素５２のペアに対応して求めた標準偏差Ａ及び標準偏差Ｂの比較）により、位相差画素５２の各ペアについて、第一の相対位置と第二の相対位置のそれぞれでペアの少なくとも一方の位相差画素にエッジＥがかかっているか否かを判定する判定処理を実施する。
　この判定処理により、固体撮像素子５に含まれる位相差画素５２のペア毎に、第一の相対位置と第二の相対位置のいずれにおいても位相差画素５２のペアにエッジＥがかからない、第一の相対位置において位相差画素５２のペアの少なくとも一方にエッジＥがかかる、第二の相対位置において位相差画素５２のペアの少なくとも一方にエッジＥがかかる、の３つの判定結果のいずれかが得られる。
　本撮像位置決定部１９は、この判定結果に基づいて、第一の相対位置と第二の相対位置のうち、エッジＥがかかる位相差画素５２のペアの数が最も少なくなる相対位置を、本撮像時の相対位置として決定する。
　図３、４の例で言えば、上段４つのうちの左３つの位相差画素５２のペアについては、第一の相対位置において位相差画素５２のペアの少なくとも一方にエッジＥがかかると判定される。そして、その他５つの位相差画素５２のペアについては、第一の相対位置及び第二の相対位置のいずれにおいても位相差画素５２のペアにエッジＥがかからないと判定される。つまり、第一の相対位置では、エッジのかかる位相差画素５２のペアが３つ存在し、第二の相対位置では、エッジのかかる位相差画素５２のペアが１つも存在しないと判定することができる。このため、エッジＥがかかる位相差画素５２のペアの数が最も少なくなる相対位置は第二の相対位置となり、この第二の相対位置が本撮像時の相対位置として決定される。
　システム制御部１１は、本撮像位置決定部１９で本撮像時の相対位置が決定されると、決定された相対位置となるように固体撮像素子５を移動させて撮影待機状態とする。そして、操作部１４に含まれるシャッタボタンが全押しされて撮像指示がなされると、システム制御部１１は、固体撮像素子５により本撮像を実施させる。
　本撮像によって固体撮像素子５から出力された撮像画像信号はメインメモリ１６に記憶される。その後、位相差画素補正部１８が、当該撮像画像信号に含まれる位相差画素５２の出力信号を、当該位相差画素５２の周囲の画素５１の出力信号を用いて補間して補正する。
　位相差画素補正部１８による補正の終了後、デジタル信号処理部１７が、補正後の撮像画像信号にデジタル信号処理を施して撮像画像データを生成する。そして、この撮像画像データが記録媒体２１に記録される。
　以上のように、図１に示したデジタルカメラは、本撮像の前に、２回の仮撮像を実施し、これらの仮撮像で得られる撮像画像信号から、位相差画素５２のペアに対応した２つの標準偏差Ａ，Ｂを算出する。そして、この標準偏差Ａ，Ｂの比較により、第一の相対位置のときにエッジのかかる位相差画素５２のペアの数と、第二の相対位置のときにエッジのかかる位相差画素５２のペアの数とを判定する判定処理を実施する。続いて、この判定処理の結果により、エッジがかかる位相差画素５２のペアの数が最も少なくなる撮影光学系１と固体撮像素子５の相対位置を決め、決定された相対位置により本撮像を実施する。このような構成により、エッジがかかる位相差画素５２の数を最も少なくした状態で本撮像を実施することができ、位相差画素補正部１８で補正を行った場合でも、その補正痕を目立ちにくくすることができる。
　なお、第一の相対位置と第二の相対位置で、エッジＥがかかる位相差画素５２のペアの数が同数になった場合には、最後の仮撮像を行ったときの相対位置である第二の相対位置を、本撮像時の相対位置として決定することが好ましい。このようにすることで、固体撮像素子５を移動させることなく本撮像を実施することができるため、消費電力の削減、高速処理が可能となる。
　また、以上の説明では、仮撮像を２回しか行っていないが、仮撮像は３回以上行ってもよい。例えば仮撮像を３回行った場合には、位相差画素５２のペアに対応して標準偏差Ａと標準偏差Ｂともう１つの標準偏差（Ｃとする）が算出される。
　この場合には、標準偏差Ａと標準偏差Ｂの比較により、第一の相対位置のときにエッジのかかる位相差画素５２のペアの数と、第二の相対位置のときにエッジのかかる位相差画素５２のペアの数とを判定する。また、標準偏差Ａと標準偏差Ｃの比較により、第一の相対位置のときにエッジのかかる位相差画素５２のペアの数と、第三の相対位置（３回目の仮撮像のときの相対位置）のときにエッジのかかる位相差画素５２のペアの数とを判定する。そして、これらの判定の結果、エッジがかかる位相差画素５２のペアの数が最も少なくなる相対位置を、第一の相対位置、第二の相対位置、及び第三の相対位置の中から選択して、本撮像時の相対位置として決めればよい。この場合も、第一の相対位置と第二の相対位置と第三の相対位置で、エッジＥがかかる位相差画素５２のペアの数が同数になった場合には、最後の仮撮像を行ったときの相対位置である第三の相対位置を、本撮像時の相対位置として決定することが好ましい。
　なお、仮撮像の回数は、予め決めておいてもよいが、２回の仮撮像の結果、本撮像時の相対位置を決められなかったときに、更に仮撮像を実施してもよい。
　例えば、第一の相対位置のときにエッジのかかる位相差画素５２のペアの数と、第二の相対位置のときにエッジのかかる位相差画素５２のペアの数とが同じか若しくは僅かな差（閾値未満の差）である場合には、どちらの相対位置がエッジのかかる位相差画素５２のペアの数が少ないのかを判定しにくい。このため、この場合には、３回目の仮撮像を実施し、３つの相対位置におけるエッジのかかる位相差画素５２のペアの数の比較を行って、本撮像時の相対位置を決定すればよい。つまり、仮撮像時における相対位置でのエッジのかかる位相差画素５２のペアの数の差にある程度の大きな差（閾値以上の差）が生じるまで、仮撮像を繰り返し行えばよい。
　また、上述してきた第二の相対位置は、例えば、第一の相対位置から、位相差画素５２の水平方向配列ピッチの略１／２だけ固体撮像素子５を水平方向にずらした位置にしたり、第一の相対位置から、位相差画素５２の垂直方向配列ピッチの略１／２だけ固体撮像素子５を垂直方向にずらした位置にしたり、第一の相対位置から、位相差画素５２の垂直方向配列ピッチの略１／２及び水平方向配列ピッチの略１／２ずつ固体撮像素子５を垂直方向及び水平方向にずらした位置にしたりすればよい。エッジＥは水平方向に存在していることが多いため、固体撮像素子５を移動させる方向としては垂直方向を優先させることが好ましい。
　また、３回以上の仮撮像を行う場合、３回目以降の仮撮像においては、固体撮像素子５の移動量を徐々に減らしていくことが好ましい。例えば、２回目の仮撮像では、第一の相対位置から固体撮像素子５を位相差画素５２の配列ピッチの１／２だけ水平及び垂直の少なくとも一方にずらし、３回目の仮撮像では、第二の相対位置から固体撮像素子５を位相差画素５２の配列ピッチの１／３だけ水平及び垂直の少なくとも一方にずらせばよい。
　次に、図１に示したデジタルカメラの変形例を説明する。
　（第一の変形例）
　図５は、図１に示したデジタルカメラの第一の変形例のデジタルカメラの概略構成を示す図である。図５に示したデジタルカメラは、顔検出部２６を追加した点を除いては、図１に示した構成と同じである。
　顔検出部２６は、固体撮像素子５から出力される撮像画像信号に顔検出処理を施す。
　図５に示したデジタルカメラの本撮像位置決定部１９は、第一の仮撮像が実施される直前に固体撮像素子５から出力される撮像画像信号から顔検出部２６によって顔エリアが検出された場合には、固体撮像素子５の当該顔エリアに対応する範囲（当該顔エリアが結像する範囲）の外にある位相差画素５２のペアを、判定処理の対象から除外する。そして、当該範囲にある位相差画素５２のペアについてのみ、判定処理を行って、本撮像時の相対位置を決定する。一方、第一の仮撮像が実施される直前に固体撮像素子５から出力される撮像画像信号から顔検出部２６によって顔エリアが検出されなかった場合、本撮像位置決定部１９は、全ての位相差画素５２のペアについて判定処理を行い、この判定処理の結果に基づいて、本撮像時の相対位置を決定する。
　例えば、図６に示すように、第一の仮撮像が実施される直前に固体撮像素子５から出力される撮像画像信号５６から顔検出部２６によって顔エリア５５が検出された場合を考える。撮像画像信号５６を構成する各出力信号と固体撮像素子５の複数の画素とは対応するため、顔エリア５５に対応する固体撮像素子５の範囲も決まる。本撮像位置決定部１９は、この顔エリア５５に対応する固体撮像素子５上の範囲にある位相差画素５２のペアについてのみ、判定処理を行う。そして、この判定処理の結果に基づいて、本撮像位置決定部１９は、本撮像時の相対位置を決定する。
　エッジは主に顔に含まれていることが多く、また、顔は主要被写体になることが多いため、補正痕による画質劣化が目立ちやすい。このため、被写体に顔を含むときには、本撮像位置決定部１９は、その顔の周辺にある位相差画素５２のペアに限定して、そのペア毎に判定処理を行って本撮像時の相対位置を決定する。これにより、演算量を大幅に削減しながらも、補正痕による画質劣化を効果的に防ぐことができる。
　なお、第一の仮撮像が実施される直前に固体撮像素子５から出力される撮像画像信号から顔検出部２６によって顔エリアが検出されなかった場合には、システム制御部１１が、仮撮像、判定処理、判定処理の結果に基づく本撮像時の相対位置の決定処理を行わないよう制御し、本撮像位置決定部１９が、所定の相対位置（例えば、前回の本撮像時に設定した相対位置、ランダムに設定した相対位置）を本撮像時の相対位置として決定してもよい。前述したように、補正痕は、被写体に顔が含まれるときに特に目立つ。このため、顔が含まれない被写体のときには、所定の相対位置を本撮像時の相対位置として決定することで、本撮像が可能になるまでの時間を短縮することができる。
　（第二の変形例）
　第二の変形例のデジタルカメラの構成は図１に示したものと同じである。このデジタルカメラでは、本撮像位置決定部１９が、判定処理の実施対象とする位相差画素５２のペアを、第一の仮撮像時における撮影光学系１の合焦範囲（フォーカスエリア）内の被写体が結像する範囲にあるものに限定している。
　第二の変形例のデジタルカメラの本撮像位置決定部１９は、第一の仮撮像時の撮影光学系１の合焦範囲の情報に基づいて、当該合焦範囲内の被写体が結像する固体撮像素子５上の範囲の外にある位相差画素５２のペアについては、判定処理の実施対象からは除外する。そして、本撮像位置決定部１９は、当該範囲にある位相差画素５２のペアについてのみ、判定処理を行い、この判定処理の結果に基づいて本撮像時の相対位置を決定する。
　合焦範囲内の被写体は、補正痕による画質劣化が目につきやすい。このため、上記のような構成にすることで、画質劣化を十分に防ぎながら、本撮像時の相対位置の決定に要する演算量を減らすことができる。
　（第三の変形例）
　第三の変形例のデジタルカメラの構成は図１に示したものと同じである。このデジタルカメラでは、本撮像位置決定部１９が、判定処理を実施する対象とする位相差画素５２のペアを、ユーザから指定された固体撮像素子５の範囲にあるものに限定している。
　第三の変形例のデジタルカメラの本撮像位置決定部１９は、第一の仮撮像前に操作部１４を介して指定された範囲の情報に基づいて、当該範囲内の被写体が結像する固体撮像素子５上の範囲の外にある位相差画素５２のペアについては、判定処理の実施対象からは除外する。そして、本撮像位置決定部１９は、当該範囲にある位相差画素５２のペアについてのみ、判定処理を実施し、この判定処理の結果に基づいて本撮像時の相対位置を決定する。
　このような構成により、ユーザが気になる範囲の画質劣化を防ぐことができる。また、このような効果を、本撮像時の相対位置の決定に要する演算量を減らしながら得ることができる。
　（第四の変形例）
　第四の変形例のデジタルカメラの構成は図１に示したものと同じである。このデジタルカメラでは、本撮像位置決定部１９が、判定処理を実施する対象とする位相差画素５２のペアを、固体撮像素子５の中央にある一部のものに限定している。
　補正痕は撮像画像データの中央にあると目立ちやすい。このため、固体撮像素子５の中央にある一部の位相差画素５２のペアのみを判定処理を実施する対象とする。これにより、本撮像時の相対位置の決定に要する演算量を減らしながら、画質を効果的に向上させることができる。
　以上の説明では、固体撮像素子５の位置を変更することで撮影光学系１と固体撮像素子５の相対位置を変更するものとした。しかし、撮影光学系１の位置を変更することで当該相対位置を変更してもよい。又は、撮影光学系１と固体撮像素子５の両方の位置を変更することで当該相対位置を変更してもよい。
　また、以上の説明では、位相差画素５２のペアが複数あることを前提にしたが、位相差画素５２のペアが１つだけ存在する構成であっても、補正痕を目立たなくすることが可能である。この場合は、１つの位相差画素５２のペアについて標準偏差Ａ，Ｂを算出し、これらの比較に基づいて判定処理を行う。そして、この判定処理の結果により、エッジがかかる位相差画素５２のペアの数が最も少なくなる撮影光学系１と固体撮像素子５の相対位置を決め、この相対位置により本撮像を実施すればよい。この場合も、第一の相対位置と第二の相対位置で、エッジＥがかかる位相差画素５２のペアの数が同数（０個又は１個）になった場合には、最後の仮撮像を行ったときの相対位置である第三の相対位置を、本撮像時の相対位置として決定することが好ましい。
　以上説明してきたように、本明細書には以下の事項が開示されている。
　開示された撮像装置は、位相差画素のペアを少なくとも１つ含む二次元状に配置された画素を有する固体撮像素子を備える撮像装置であって、撮影光学系と、前記撮影光学系と前記固体撮像素子との前記撮影光学系の光軸に垂直な方向の相対位置を変更させる位置変更部と、前記固体撮像素子により、前記相対位置を変えて複数回の仮撮像を実施する仮撮像制御部と、前記複数回の仮撮像で前記固体撮像素子から出力される複数の撮像画像信号の各々のうち、前記固体撮像素子に含まれる一部又は全部の前記ペアに対応しかつ当該ペアを含むエリア内の画素から得られた出力信号に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置のうちの１つを本撮像時の相対位置として決定する相対位置決定部と、前記相対位置決定部で決定された前記相対位置にて前記固体撮像素子により本撮像を実施する本撮像制御部とを備えるものである。
　開示された撮像装置は、前記相対位置決定部が、前記エリア内の画素から得られた出力信号の標準偏差を前記複数の撮像画像信号毎に算出し、当該標準偏差の比較に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置毎に当該エリア内の各ペアの位相差画素の少なくとも一方にエッジがかかっているか否かを判定する判定処理を実施し、前記判定処理の結果に基づいて、前記本撮像時の相対位置を決定するものである。
　開示された撮像装置は、前記相対位置決定部は、前記各ペア毎に行った前記判定処理の結果に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置の中から、エッジがかかる前記１対の位相差画素の数が最も少なくなる前記相対位置を前記本撮像時の相対位置として決定するものである。
　開示された撮像装置は、前記相対位置決定部が、全ての前記ペアのうち、被写体に応じた範囲にあるものを前記判定処理の実施対象とするものである。
　開示された撮像装置は、前記固体撮像素子から出力される撮像画像信号から顔エリアを検出する顔検出部を更に備え、前記相対位置決定部は、前記顔エリアが検出された場合には、全ての前記ペアのうち、前記顔検出部で検出された顔エリアが結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とし、前記顔エリアが検出されなかった場合には、全ての前記ペアを前記判定処理の実施対象とするものである。
　開示された撮像装置は、前記固体撮像素子から出力される撮像画像信号から顔エリアを検出する顔検出部を更に備え、前記仮撮像制御部は、前記顔エリアが検出された場合には、前記仮撮像を実施し、前記顔エリアが検出されなかった場合には、前記仮撮像を中止し、前記相対位置決定部は、前記顔エリアが検出された場合には、全ての前記ペアのうち、前記顔検出部で検出された顔エリアが結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とし、前記顔エリアが検出されなかった場合には、前記判定処理を省略して、所定の前記相対位置を前記本撮像時の相対位置として決定するものである。
　開示された撮像装置は、前記位相差画素から得られる信号に基づいて前記撮影光学系の合焦範囲を制御する合焦範囲制御部を更に備え、前記相対位置決定部は、全ての前記ペアのうち、前記合焦範囲内の被写体が結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とするものである。
　開示された撮像装置は、前記相対位置決定部が、全ての前記ペアのうち、外部操作によって指定された前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とするものである。
　開示された撮像装置は、前記相対位置決定部が、全ての前記ペアのうち、前記固体撮像素子の中央にある一部のペアを前記判定処理の実施対象とするものである。
　開示された撮像装置は、前記仮撮像制御部が、３回以上の前記仮撮像を行う場合、前記相対位置の変更量を徐々に小さくしていくものである。
　開示された撮像装置は、前記仮撮像制御部が、前記撮影光学系に対する前記固体撮像素子の位置を垂直方向とこれに直交する水平方向の少なくとも一方にずらすことで、前記相対位置を変更するものである。
　開示された撮像装置は、前記仮撮像制御部が、前記撮影光学系に対する前記固体撮像素子の位置を垂直方向にずらすことで、前記相対位置を変更するものである。
　開示された撮像方法は、位相差画素のペアを少なくとも１つ含む二次元状に配置された画素を有する固体撮像素子を用いた撮像方法であって、撮影光学系と前記固体撮像素子との前記撮影光学系の光軸に垂直な方向の相対位置を変更させる位置変更ステップと、前記固体撮像素子により、前記相対位置を変えて複数回の仮撮像を実施する仮撮像制御ステップと、前記複数回の仮撮像で前記固体撮像素子から出力される複数の撮像画像信号の各々のうち、前記固体撮像素子に含まれる一部又は全部の前記ペアに対応しかつ当該ペアを含むエリア内の画素から得られた出力信号に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置のうちの１つを本撮像時の相対位置として決定する相対位置決定ステップと、前記相対位置決定ステップで決定した前記相対位置にて前記固体撮像素子により本撮像を実施する本撮像制御ステップとを備えるものである。
　開示された撮像方法は、前記相対位置決定ステップでは、前記エリア内の画素から得られた出力信号の標準偏差を前記複数の撮像画像信号毎に算出し、当該標準偏差の比較に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置毎に当該エリア内の前記各ペアの位相差画素の少なくとも一方にエッジがかかっているか否かを判定する判定処理を実施し、前記判定処理の結果に基づいて、前記本撮像時の相対位置を決定するものである。
　開示された撮像方法は、前記相対位置決定ステップでは、前記各ペア毎に行った前記判定処理の結果に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置の中から、エッジがかかる前記１対の位相差画素の数が最も少なくなる前記相対位置を前記本撮像時の相対位置として決定するものである。
　開示された撮像方法は、前記相対位置決定ステップでは、全ての前記ペアのうち、被写体に応じた範囲にあるものを前記判定処理の実施対象とするものである。
　開示された撮像方法は、前記固体撮像素子から出力される撮像画像信号から顔エリアを検出する顔検出ステップを更に備え、前記相対位置決定ステップでは、前記顔エリアが検出された場合には、全ての前記ペアのうち、前記顔検出部で検出された顔エリアが結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とし、前記顔エリアが検出されなかった場合には、全ての前記ペアを前記判定処理の実施対象とするものである。
　開示された撮像方法は、前記固体撮像素子から出力される撮像画像信号から顔エリアを検出する顔検出ステップを更に備え、前記仮撮像制御ステップでは、前記顔エリアが検出された場合には、前記仮撮像を実施し、前記顔エリアが検出されなかった場合には、前記仮撮像を中止し、前記相対位置決定ステップでは、前記顔エリアが検出された場合には、全ての前記ペアのうち、前記顔検出ステップで検出された顔エリアが結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とし、前記顔エリアが検出されなかった場合には、前記判定処理を省略して、所定の前記相対位置を前記本撮像時の相対位置として決定するものである。
　開示された撮像方法は、前記位相差画素から得られる信号に基づいて前記撮影光学系の合焦範囲を制御する合焦範囲制御ステップを更に備え、前記相対位置決定ステップでは、全ての前記ペアのうち、前記合焦範囲内の被写体が結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とするものである。
　開示された撮像方法は、前記相対位置決定ステップでは、全ての前記ペアのうち、外部操作によって指定された前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とするものである。
　開示された撮像方法は、前記相対位置決定ステップでは、全ての前記ペアのうち、前記固体撮像素子の中央にある一部のペアを前記判定処理の実施対象とするものである。
　開示された撮像方法は、前記仮撮像制御ステップでは、３回以上の前記仮撮像を行う場合、前記相対位置の変更量を徐々に小さくしていくものである。
　開示された撮像方法は、前記仮撮像制御ステップでは、前記撮影光学系に対する前記固体撮像素子の位置を垂直方向とこれに直交する水平方向の少なくとも一方にずらすことで、前記相対位置を変更するものである。
　開示された撮像方法は、前記仮撮像制御ステップでは、前記撮影光学系に対する前記固体撮像素子の位置を垂直方向にずらすことで、前記相対位置を変更するものである。
　本発明によれば、位相差画素にエッジがかかっていた場合でも、位相差画素の出力信号を補正した場合の補正痕を目立たなくすることのできる撮像装置及び撮像方法を提供することができる。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１０年４月３０日出願の日本出願（特願２０１０－１０５９１７）に基づくものであり、その内容はここに参照として取り込まれる。
１　撮影光学系
５　固体撮像素子
４　位置制御部
１１　システム制御部
１９　本撮像位置決定部
５１　画素
５２　位相差画素
５３，５４　エリア

Claims (24)

  1. 　位相差画素のペアを少なくとも１つ含む二次元状に配置された画素を有する固体撮像素子を備える撮像装置であって、
    　撮影光学系と、
    　前記撮影光学系と前記固体撮像素子との前記撮影光学系の光軸に垂直な方向の相対位置を変更させる位置変更部と、
    　前記固体撮像素子により、前記相対位置を変えて複数回の仮撮像を実施する仮撮像制御部と、
    　前記複数回の仮撮像で前記固体撮像素子から出力される複数の撮像画像信号の各々のうち、前記固体撮像素子に含まれる一部又は全部の前記ペアに対応しかつ当該ペアを含むエリア内の画素から得られた出力信号に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置のうちの１つを本撮像時の相対位置として決定する相対位置決定部と、
    　前記相対位置決定部で決定された前記相対位置にて前記固体撮像素子により本撮像を実施する本撮像制御部とを備える撮像装置。
  2. 　請求項１記載の撮像装置であって、
    　前記相対位置決定部が、前記エリア内の画素から得られた出力信号の標準偏差を前記複数の撮像画像信号毎に算出し、当該標準偏差の比較に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置毎に当該エリア内の各ペアの位相差画素の少なくとも一方にエッジがかかっているか否かを判定する判定処理を実施し、前記判定処理の結果に基づいて、前記本撮像時の相対位置を決定する撮像装置。
  3. 　請求項２記載の撮像装置であって、
    　前記相対位置決定部は、前記各ペア毎に行った前記判定処理の結果に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置の中から、エッジがかかる前記１対の位相差画素の数が最も少なくなる前記相対位置を前記本撮像時の相対位置として決定する撮像装置。
  4. 　請求項２又は３記載の撮像装置であって、
    　前記相対位置決定部が、全ての前記ペアのうち、被写体に応じた範囲にあるものを前記判定処理の実施対象とする撮像装置。
  5. 　請求項４記載の撮像装置であって、
    　前記固体撮像素子から出力される撮像画像信号から顔エリアを検出する顔検出部を更に備え、
    　前記相対位置決定部は、前記顔エリアが検出された場合には、全ての前記ペアのうち、前記顔検出部で検出された顔エリアが結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とし、前記顔エリアが検出されなかった場合には、全ての前記ペアを前記判定処理の実施対象とする撮像装置。
  6. 　請求項４記載の撮像装置であって、
    　前記固体撮像素子から出力される撮像画像信号から顔エリアを検出する顔検出部を更に備え、
    　前記仮撮像制御部は、前記顔エリアが検出された場合には、前記仮撮像を実施し、前記顔エリアが検出されなかった場合には、前記仮撮像を中止し、
    　前記相対位置決定部は、前記顔エリアが検出された場合には、全ての前記ペアのうち、前記顔検出部で検出された顔エリアが結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とし、前記顔エリアが検出されなかった場合には、前記判定処理を省略して、所定の前記相対位置を前記本撮像時の相対位置として決定する撮像装置。
  7. 　請求項４記載の撮像装置であって、
    　前記位相差画素から得られる信号に基づいて前記撮影光学系の合焦範囲を制御する合焦範囲制御部を更に備え、
    　前記相対位置決定部は、全ての前記ペアのうち、前記合焦範囲内の被写体が結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とする撮像装置。
  8. 　請求項２又は３記載の撮像装置であって、
    　前記相対位置決定部が、全ての前記ペアのうち、外部操作によって指定された前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とする撮像装置。
  9. 　請求項２又は３記載の撮像装置であって、
    　前記相対位置決定部が、全ての前記ペアのうち、前記固体撮像素子の中央にある一部のペアを前記判定処理の実施対象とする撮像装置。
  10. 　請求項１～９のいずれか１項記載の撮像装置であって、
    　前記仮撮像制御部が、３回以上の前記仮撮像を行う場合、前記相対位置の変更量を徐々に小さくしていく撮像装置。
  11. 　請求項１～１０のいずれか１項記載の撮像装置であって、
    　前記仮撮像制御部が、前記撮影光学系に対する前記固体撮像素子の位置を垂直方向とこれに直交する水平方向の少なくとも一方にずらすことで、前記相対位置を変更する撮像装置。
  12. 　請求項１１記載の撮像装置であって、
    　前記仮撮像制御部が、前記撮影光学系に対する前記固体撮像素子の位置を垂直方向にずらすことで、前記相対位置を変更する撮像装置。
  13. 　位相差画素のペアを少なくとも１つ含む二次元状に配置された画素を有する固体撮像素子を用いた撮像方法であって、
    　撮影光学系と前記固体撮像素子との前記撮影光学系の光軸に垂直な方向の相対位置を変更させる位置変更ステップと、
    　前記固体撮像素子により、前記相対位置を変えて複数回の仮撮像を実施する仮撮像制御ステップと、
    　前記複数回の仮撮像で前記固体撮像素子から出力される複数の撮像画像信号の各々のうち、前記固体撮像素子に含まれる一部又は全部の前記ペアに対応しかつ当該ペアを含むエリア内の画素から得られた出力信号に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置のうちの１つを本撮像時の相対位置として決定する相対位置決定ステップと、
    　前記相対位置決定ステップで決定した前記相対位置にて前記固体撮像素子により本撮像を実施する本撮像制御ステップとを備える撮像方法。
  14. 　請求項１３記載の撮像方法であって、
    　前記相対位置決定ステップでは、前記エリア内の画素から得られた出力信号の標準偏差を前記複数の撮像画像信号毎に算出し、当該標準偏差の比較に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置毎に当該エリア内の前記各ペアの位相差画素の少なくとも一方にエッジがかかっているか否かを判定する判定処理を実施し、前記判定処理の結果に基づいて、前記本撮像時の相対位置を決定する撮像方法。
  15. 　請求項１４記載の撮像方法であって、
    　前記相対位置決定ステップでは、前記各ペア毎に行った前記判定処理の結果に基づいて、前記複数回の仮撮像の各々を実施したときの前記相対位置の中から、エッジがかかる前記１対の位相差画素の数が最も少なくなる前記相対位置を前記本撮像時の相対位置として決定する撮像方法。
  16. 　請求項１４又は１５記載の撮像方法であって、
    　前記相対位置決定ステップでは、全ての前記ペアのうち、被写体に応じた範囲にあるものを前記判定処理の実施対象とする撮像方法。
  17. 　請求項１６記載の撮像方法であって、
    　前記固体撮像素子から出力される撮像画像信号から顔エリアを検出する顔検出ステップを更に備え、
    　前記相対位置決定ステップでは、前記顔エリアが検出された場合には、全ての前記ペアのうち、前記顔検出部で検出された顔エリアが結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とし、前記顔エリアが検出されなかった場合には、全ての前記ペアを前記判定処理の実施対象とする撮像方法。
  18. 　請求項１６記載の撮像方法であって、
    　前記固体撮像素子から出力される撮像画像信号から顔エリアを検出する顔検出ステップを更に備え、
    　前記仮撮像制御ステップでは、前記顔エリアが検出された場合には、前記仮撮像を実施し、前記顔エリアが検出されなかった場合には、前記仮撮像を中止し、
    　前記相対位置決定ステップでは、前記顔エリアが検出された場合には、全ての前記ペアのうち、前記顔検出部で検出された顔エリアが結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とし、前記顔エリアが検出されなかった場合には、前記判定処理を省略して、所定の前記相対位置を前記本撮像時の相対位置として決定する撮像方法。
  19. 　請求項１６記載の撮像方法であって、
    　前記位相差画素から得られる信号に基づいて前記撮影光学系の合焦範囲を制御する合焦範囲制御ステップを更に備え、
    　前記相対位置決定ステップでは、全ての前記ペアのうち、前記合焦範囲内の被写体が結像する前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とする撮像方法。
  20. 　請求項１４又は１５記載の撮像方法であって、
    　前記相対位置決定ステップでは、全ての前記ペアのうち、外部操作によって指定された前記固体撮像素子上の範囲にあるものを前記判定処理の実施対象とする撮像方法。
  21. 　請求項１４又は１５記載の撮像方法であって、
    　前記相対位置決定ステップでは、全ての前記ペアのうち、前記固体撮像素子の中央にある一部のペアを前記判定処理の実施対象とする撮像方法。
  22. 　請求項１３～２１のいずれか１項記載の撮像方法であって、
    　前記仮撮像制御ステップでは、３回以上の前記仮撮像を行う場合、前記相対位置の変更量を徐々に小さくしていく撮像方法。
  23. 　請求項１３～２２のいずれか１項記載の撮像方法であって、
    　前記仮撮像制御ステップでは、前記撮影光学系に対する前記固体撮像素子の位置を垂直方向とこれに直交する水平方向の少なくとも一方にずらすことで、前記相対位置を変更する撮像方法。
  24. 　請求項２３記載の撮像方法であって、
    　前記仮撮像制御ステップでは、前記撮影光学系に対する前記固体撮像素子の位置を垂直方向にずらすことで、前記相対位置を変更する撮像方法。
PCT/JP2011/059190 2010-04-30 2011-04-13 撮像装置及び撮像方法 WO2011136026A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180021848.7A CN102870402B (zh) 2010-04-30 2011-04-13 成像设备和成像方法
JP2012512763A JP5572700B2 (ja) 2010-04-30 2011-04-13 撮像装置及び撮像方法
US13/662,639 US9001260B2 (en) 2010-04-30 2012-10-29 Imaging apparatus and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-105917 2010-04-30
JP2010105917 2010-04-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/662,639 Continuation US9001260B2 (en) 2010-04-30 2012-10-29 Imaging apparatus and imaging method

Publications (1)

Publication Number Publication Date
WO2011136026A1 true WO2011136026A1 (ja) 2011-11-03

Family

ID=44861337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/059190 WO2011136026A1 (ja) 2010-04-30 2011-04-13 撮像装置及び撮像方法

Country Status (4)

Country Link
US (1) US9001260B2 (ja)
JP (1) JP5572700B2 (ja)
CN (1) CN102870402B (ja)
WO (1) WO2011136026A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103852954A (zh) * 2012-12-03 2014-06-11 北京大学 一种实现相位对焦的方法
CN103852955A (zh) * 2012-12-03 2014-06-11 北京大学 一种实现相位对焦的装置
CN111800572A (zh) * 2019-04-08 2020-10-20 雪力光纤有限公司 用于处理数据流的装置和方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5966636B2 (ja) 2012-06-06 2016-08-10 株式会社ニコン 撮像素子および撮像装置
DE112013006817B4 (de) * 2013-03-13 2022-07-14 Fujifilm Corporation Bildaufnahmevorrichtung, Signalverarbeitungsverfahren und Signalverarbeitungsprogramm
JP2014179939A (ja) * 2013-03-15 2014-09-25 Sony Corp 信号処理装置および信号処理方法
US10078207B2 (en) * 2015-03-18 2018-09-18 Endochoice, Inc. Systems and methods for image magnification using relative movement between an image sensor and a lens assembly
CN106912199B (zh) * 2015-10-20 2018-07-10 奥林巴斯株式会社 摄像装置、图像取得方法以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156823A (ja) * 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体
JP2008211454A (ja) * 2007-02-26 2008-09-11 Sony Corp 撮像装置および欠陥画素補正方法
JP2010062640A (ja) * 2008-09-01 2010-03-18 Canon Inc 撮像装置、撮像装置の制御方法及びプログラム
JP2011075677A (ja) * 2009-09-29 2011-04-14 Fujifilm Corp 撮像装置及び撮像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6570613B1 (en) * 1999-02-26 2003-05-27 Paul Howell Resolution-enhancement method for digital imaging
JP3917104B2 (ja) * 2003-04-25 2007-05-23 コニカミノルタフォトイメージング株式会社 撮像装置
US7420592B2 (en) * 2004-06-17 2008-09-02 The Boeing Company Image shifting apparatus for enhanced image resolution
KR101119969B1 (ko) * 2004-11-09 2012-02-22 삼성전자주식회사 디지털 카메라에서 고정 패턴 노이즈 제거 장치 및 방법
JP4616096B2 (ja) 2005-07-12 2011-01-19 オリンパス株式会社 動画撮像装置および撮像プログラム
JP2008245236A (ja) 2007-02-27 2008-10-09 Sony Corp 撮像装置および欠陥画素補正方法
JP5029274B2 (ja) 2007-10-10 2012-09-19 株式会社ニコン 撮像装置
JP2009284343A (ja) 2008-05-23 2009-12-03 Sony Corp 撮像装置、欠陥補正装置、欠陥補正方法及びプログラム
JP5366619B2 (ja) * 2008-08-12 2013-12-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156823A (ja) * 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体
JP2008211454A (ja) * 2007-02-26 2008-09-11 Sony Corp 撮像装置および欠陥画素補正方法
JP2010062640A (ja) * 2008-09-01 2010-03-18 Canon Inc 撮像装置、撮像装置の制御方法及びプログラム
JP2011075677A (ja) * 2009-09-29 2011-04-14 Fujifilm Corp 撮像装置及び撮像方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103852954A (zh) * 2012-12-03 2014-06-11 北京大学 一种实现相位对焦的方法
CN103852955A (zh) * 2012-12-03 2014-06-11 北京大学 一种实现相位对焦的装置
CN103852955B (zh) * 2012-12-03 2017-12-19 北京大学 一种实现相位对焦的装置
CN111800572A (zh) * 2019-04-08 2020-10-20 雪力光纤有限公司 用于处理数据流的装置和方法

Also Published As

Publication number Publication date
US9001260B2 (en) 2015-04-07
JP5572700B2 (ja) 2014-08-13
US20130050523A1 (en) 2013-02-28
CN102870402B (zh) 2016-08-03
CN102870402A (zh) 2013-01-09
JPWO2011136026A1 (ja) 2013-07-18

Similar Documents

Publication Publication Date Title
JP5572700B2 (ja) 撮像装置及び撮像方法
US8203645B2 (en) Image-pickup apparatus and control method thereof with image generation based on a detected spatial frequency
US20120268613A1 (en) Image capturing apparatus and control method thereof
JP2009217252A (ja) 撮像装置及び焦点制御方法
JP2014206564A (ja) 撮像装置及びその制御方法
JP5539585B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP6415140B2 (ja) 撮像装置及びその制御方法
JP4823168B2 (ja) 撮像装置
JP5769773B2 (ja) カメラシステム及び焦点検出画素の補正方法
US20120162499A1 (en) Focus detection device and image capturing apparatus provided with the same
KR100819811B1 (ko) 촬상 장치 및 촬상 방법
JP5378283B2 (ja) 撮像装置およびその制御方法
JPWO2017154366A1 (ja) ローパスフィルタ制御装置、およびローパスフィルタ制御方法、ならびに撮像装置
JP4823169B2 (ja) 撮像装置
US20200092489A1 (en) Optical apparatus, control method, and non-transitory computer-readable storage medium
JP2007049266A (ja) 画像撮像装置
US20150168739A1 (en) Image stabilizer, camera system, and imaging method
US9967452B2 (en) Imaging apparatus and imaging method for controlling auto-focus
WO2016167142A1 (ja) 撮像装置およびその制御方法
JP5207893B2 (ja) 撮像装置及びその制御方法
JP6547742B2 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP2014003417A (ja) 撮像装置
JP2015022028A (ja) 撮像装置
US10567662B2 (en) Imaging device and control method therefor using shift direction calculation
JP5369787B2 (ja) 撮像装置、レンズ駆動制御方法、及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180021848.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11774810

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012512763

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11774810

Country of ref document: EP

Kind code of ref document: A1