WO2013031238A1 - 合焦評価装置、撮像装置およびプログラム - Google Patents

合焦評価装置、撮像装置およびプログラム Download PDF

Info

Publication number
WO2013031238A1
WO2013031238A1 PCT/JP2012/005539 JP2012005539W WO2013031238A1 WO 2013031238 A1 WO2013031238 A1 WO 2013031238A1 JP 2012005539 W JP2012005539 W JP 2012005539W WO 2013031238 A1 WO2013031238 A1 WO 2013031238A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus
block
evaluation
focus evaluation
edge
Prior art date
Application number
PCT/JP2012/005539
Other languages
English (en)
French (fr)
Inventor
篤史 河合
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201280042875.7A priority Critical patent/CN103765276B/zh
Publication of WO2013031238A1 publication Critical patent/WO2013031238A1/ja
Priority to US14/186,575 priority patent/US9392159B2/en
Priority to US15/183,091 priority patent/US9648227B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to a focus evaluation device, an imaging device, and a program.
  • the focus evaluation apparatus includes an acquisition unit, a region setting unit, an edge detection unit, a block selection unit, a focus determination unit, and a focus evaluation unit.
  • the acquisition unit acquires a color image of a subject image formed by an optical system having axial chromatic aberration.
  • the area setting unit sets a focus evaluation area including a plurality of blocks in a color image.
  • the edge detection unit detects an edge for each color component from each block.
  • a block selection part selects the evaluation object block applied to focusing evaluation among several blocks.
  • the focus determination unit obtains a focus determination value for each evaluation target block using a difference in blur width of edges between two color components having axial chromatic aberration.
  • the focus evaluation unit integrates the focus determination values in the respective evaluation target blocks and evaluates the focus state of the subject image in the focus evaluation area.
  • Flow chart showing an example of AF operation of the electronic camera in the first embodiment The figure which shows the example of a setting of a focus evaluation area
  • FIG. 1 is a diagram illustrating a configuration example of an electronic camera according to the first embodiment which is an example of a focus evaluation apparatus and an imaging apparatus.
  • the electronic camera 11 includes a photographing optical system 12, an imaging unit 13, a camera microcomputer 14, a first memory 15, a second memory 16, a recording I / F 17, a display unit 18, and an operation unit 19. ing.
  • the imaging unit 13, the first memory 15, the second memory 16, the recording I / F 17, the display unit 18, and the operation unit 19 are each connected to the camera microcomputer 14.
  • the photographing optical system 12 is composed of a plurality of lenses including a focusing lens for AF (Auto Focus / automatic focus adjustment) and a zoom lens.
  • AF Auto Focus / automatic focus adjustment
  • zoom lens a lens that is zoomed in
  • the photographing optical system 12 is represented by a single lens for simplicity. Note that the photographing optical system 12 may be replaceable with respect to the main body of the electronic camera 11.
  • the imaging unit 13 is a module that captures (captures) a subject image formed by the imaging optical system 12.
  • the imaging unit 13 includes an imaging device that performs photoelectric conversion, an analog front-end circuit that performs analog signal processing, and a digital front-end circuit that performs A / D conversion and digital signal processing. Then, the imaging unit 13 outputs an image signal obtained by imaging to the camera microcomputer 14.
  • red (R), green (G), and blue (B) color filters are arranged in accordance with a publicly known Bayer array in each pixel of the image sensor of the imaging unit 13. Therefore, each pixel of the image sensor outputs an image signal corresponding to each color by color separation with a color filter. Thereby, the imaging part 13 can acquire a color image at the time of imaging.
  • the imaging unit 13 captures a still image for recording accompanied by recording on a nonvolatile recording medium in accordance with a user's shooting instruction. Further, the imaging unit 13 captures images for observation (through images) at predetermined intervals even during standby for capturing still images.
  • the camera microcomputer 14 is a processor that comprehensively controls the operation of the electronic camera 11. For example, in the shooting mode, the imaging unit 13 is caused to shoot a recording still image in response to a user's shooting instruction.
  • the camera microcomputer 14 performs image processing such as color interpolation, white balance correction, gradation conversion, color conversion, and contour enhancement on the image data acquired from the imaging unit 13.
  • the camera microcomputer 14 functions as an area setting unit 21, an edge detection unit 22, a block selection unit 23, a focus determination unit 24, and a focus evaluation unit 25 by executing the program (region setting unit 21, edge detection unit 22).
  • the operations of the block selection unit 23, the focus determination unit 24, and the focus evaluation unit 25 will be described later).
  • the first memory 15 is a memory for temporarily storing image data, and is composed of, for example, an SDRAM which is a volatile storage medium.
  • the second memory 16 is a memory for storing programs executed by the camera microcomputer 14 and various data, and is configured by a nonvolatile memory such as a flash memory, for example.
  • the recording I / F 17 has a connector for connecting the nonvolatile storage medium 26.
  • the recording I / F 17 writes / reads image data to / from the storage medium 26 connected to the connector.
  • the storage medium 26 is, for example, a hard disk or a memory card incorporating a semiconductor memory. In FIG. 1, a memory card is illustrated as an example of the storage medium 26.
  • the display unit 18 is a display device (such as a liquid crystal monitor or an organic EL monitor) that displays various images. For example, the display unit 18 displays a moving image of a through image (viewfinder display) and a playback display of a still image under the control of the camera microcomputer 14.
  • a display device such as a liquid crystal monitor or an organic EL monitor
  • the operation unit 19 includes a plurality of switches (for example, a power button, a release button, a zoom button, a cross key, an enter button, a play button, a delete button, etc.) that accept various user operations.
  • switches for example, a power button, a release button, a zoom button, a cross key, an enter button, a play button, a delete button, etc.
  • the camera microcomputer 14 when input of a through image from the imaging unit 13 is started, the camera microcomputer 14 performs AF processing and continuously performs focus adjustment while the through image is displayed. Thereby, the electronic camera 11 always performs AF control during the display of the through image.
  • the focus position on the optical axis of each color component varies depending on the difference in axial chromatic aberration of each RGB color component. Focusing on the fact that the magnitude relationship of the blur width w is reversed for each color component in the edge region before and after the in-focus position on the optical axis, based on the difference ( ⁇ w) in the edge blur width w between the two colors. It can be seen that the current in-focus state can be determined. If it is determined in which direction of the optical axis the current AF lens position is shifted from the in-focus position, the electronic camera 11 can execute AF control.
  • the blur width of each color component described above has a range of several pixels to several tens of pixels, whereas the difference in blur width between two colors is as follows. It is only about 1/10 to 1/100. That is, since the difference in the blur width is small with respect to the measurement error of the blur width that can be performed only in pixel units, it is difficult to accurately obtain the blur width difference ⁇ w from the direct blur width measurement result. For this reason, the electronic camera of the present embodiment determines the in-focus state by the following method.
  • FIG. 2 is a flowchart showing an example of AF operation of the electronic camera in the first embodiment.
  • the processing in FIG. 2 is started by the camera microcomputer 14 in response to activation of the shooting mode.
  • ⁇ w RG calculated from the color difference RG is a positive value on the front pin side and a negative value on the rear pin side. If the positive / negative relationship is reversed between the front pin and the rear pin, ⁇ w GR calculated from the color difference GR may be used. It goes without saying that the same method can be used to determine between R and B or between G and B.
  • Step # 101 The camera microcomputer 14 drives the imaging unit 13 to start capturing a through image. Thereafter, the through images are sequentially generated at predetermined intervals.
  • the camera microcomputer 14 in the shooting mode displays a through image on the display unit 18 as a moving image. Therefore, the user can perform framing for determining the shooting composition with reference to the through image on the display unit 18.
  • Step # 102 The camera microcomputer 14 acquires a color image (through image) to be processed from the imaging unit 13. Then, the camera microcomputer 14 performs preprocessing such as smoothing processing for noise reduction and resolution correction for correcting edge direction dependency on the color image to be processed. Note that the camera microcomputer 14 may partially perform the pre-processing of # 102 of the color image to be processed only on the focus evaluation area described later.
  • the RGB pixel values at the coordinates (x, y) of the color image are expressed as R (x, y), G (x, y), and B (x, y), respectively.
  • Step # 103 The region setting unit 21 sets a region for performing focus evaluation (focus evaluation region) on a part of the color image to be processed.
  • the focus evaluation area is divided into a grid pattern by rectangular blocks.
  • the image size of each block is the number of pixels of BLOCK_SIZE ⁇ BLOCK_SIZE (for example, 8 ⁇ 8 pixels).
  • FIG. 3 shows an example of setting the focus evaluation area.
  • Step # 104 The edge detection unit 22 detects an edge (an image gradient component) for each pixel color component for each block. Then, the edge detection unit 22 classifies each block according to type according to the gradient amount of the pixel in the block.
  • the vertical gradient (dyG (x, y)) can be obtained by Expression (2).
  • the average value of R and G pixels in the block (R Block (u, v), G Block (u, v)) and the horizontal gradient sum (dxR Block (u, v), dxG Block (u, v, v)) and the vertical gradient sum (dyR Block (u, v), dyG Block (u, v)) can be obtained by Equation (3).
  • the edge detection unit 22 in # 104 may classify each block in the focus evaluation area by type by executing the following processes (A1) to (A5) for each block.
  • the edge detection unit 22 extracts a set (HGP R ⁇ G ) of pixels having a horizontal two-color same-direction gradient equal to or greater than the threshold value TH_GRADPIXEL in the block of interest using Expression (5). Then, the edge extraction unit obtains HGP R-G number of elements of the (nHGradPixel R-G (u, v)) in equation (6).
  • the value of TH_GRADPIXEL is set to be larger than the amplitude of noise that can be included in an image in order to prevent erroneous detection of noise.
  • the edge detection unit 22 extracts a set (VGP R ⁇ G ) of pixels having a two-color same-direction gradient in the vertical direction equal to or greater than the threshold value TH_GRADPIXEL in the block of interest by Expression (7). Then, the edge extraction unit obtains VGP R-G number of elements of (nVGradPixel R-G (u, v)) in equation (8).
  • the edge detection unit 22 extracts a set (FP R ⁇ G ) of pixels having no gradient equal to or greater than the threshold value TH_FLATPICEL in the block of interest using Expression (9). Then, the edge extraction unit calculates FP R-G number of elements of the (nFlatPixel R-G (u, v)) in equation (10). Note that in this specification, the value of TH_FLATPIXEL is appropriately set within a range in which the contrast can be regarded as almost flat even if there is an amplitude of the pixel value.
  • the edge detection unit 22 determines the block type of the target block (u, v) according to the following conditions (i) to (iv).
  • the edge detection unit 22 sets the target block (u, v) as “horizontal edge block HEBL RG ”.
  • RATIO_EDGEBLOCK indicates a coefficient that defines the content ratio of pixels having a gradient with respect to all the pixels in the block.
  • the ratio of nHGRadPixel RG (u, v) to all pixels in the block is equal to or greater than RATIO_EDGEBLOCK, and nVGRadPixel RG (u, v) for all pixels in the block. Is less than RATIO_EDGEBLOCK, the block type is determined as “horizontal edge block HEBL RG ”.
  • the edge detection unit 22 sets the target block (u, v) as “vertical edge block VEBL RG ”.
  • the ratio of nHGRadPixel RG (u, v) to all pixels in the block is less than RATIO_EDGEBLOCK, and nVGRadPixel RG (u, v) for all pixels in the block. Is equal to or higher than RATIO_EDGEBLOCK, the block type is determined as “vertical edge block VEBL RG ”.
  • the edge detection unit 22 sets the target block (u, v) as “flat block FBL R-G ”.
  • RATIO_FLATBLOCK indicates a coefficient that defines the content ratio of pixels having no gradient with respect to all the pixels in the block.
  • the ratio of nFlatPixel R-G for all pixels in the block (u, v) is at least RATIO_FLATBLOCK, block type is "flat block FBL RG ".
  • the edge detection unit 22 excludes the block from the subsequent processing targets.
  • the edge detection unit 22 changes the target block and executes the processes (A1) to (A4) described above. Then, the edge detection unit 22 repeats the above operation until the block types of all blocks are determined.
  • FIG. 4 shows an example of determining the block type in the scene corresponding to FIG.
  • “H” indicates a horizontal edge block
  • “V” indicates a vertical edge block
  • “F” indicates a flat block.
  • Step # 105 The block selection unit 23 selects an evaluation target block to be applied to the focus evaluation among the edge blocks (horizontal edge block and vertical edge block) selected in # 104. At this time, the block selection unit 23 groups a plurality of evaluation target blocks when edges are continuous in the same direction between adjacent evaluation target blocks.
  • the evaluation target block may be referred to as a continuous edge block.
  • the block selection unit 23 selects one edge block that satisfies all of the following (Condition 1) to (Condition 5) and continues from the horizontal direction (u1, v) to (u2, v) among the horizontal edge blocks. Let it be an evaluation object block (continuous edge block).
  • the block selection unit 23 selects an edge block whose edge gradient is inclined in the same direction for two color components having axial chromatic aberration as an evaluation target block. For example, as shown in FIG. 5, when the gradient of the edge is inclined in the opposite direction between two color components, it is difficult to detect a difference in blur width due to axial chromatic aberration. Specifically, in the case of (condition 1) in the horizontal direction edge block, the following equation (14) may be satisfied.
  • the block selection unit 23 selects a block to be evaluated by excluding blocks in which the edge portion includes an uneven structure (thin line / mountain / valley structure). For example, in the case of a mountain-like structure as shown in FIG. 6A or a valley-like structure as shown in FIG. 6B, color correction described later cannot be performed correctly.
  • the block selection unit 23 selects a block in which at least one of the blocks adjacent to the edge gradient direction (horizontal direction) is a flat block. This is because, when the above condition is satisfied, color correction described later becomes possible.
  • the block selection unit 23 selects, as an evaluation target block, a block in which the difference in contrast generated at the edge is equal to or greater than the threshold TH_CONTRAST for both two color components. This is because when the contrast difference is small, it is relatively difficult to detect the edge blur width due to the longitudinal chromatic aberration.
  • the block selection unit 23 selects, as an evaluation target block, a block whose edge length (continuous edge block length) is less than the threshold TH_LENGTH.
  • the length of the edge is inversely proportional to the height of the edge sharpness. For this reason, it is possible to improve the determination accuracy by excluding edges that are excessively blurred or edges that are not sharp.
  • (Condition 1) to (condition 5) are both applicable to the case of selecting a set VEBS R-G in the vertical direction of the continuous edge block.
  • Set VEBS R-G is a condition to be satisfied in the vertical direction of the continuous edge blocks can be expressed by Equation (21).
  • the continuous edge block in this case is continuous in the vertical direction from (u, v1) to (u, v2).
  • the two blocks (u, v1-1) and (u, v2 + 1) positioned in the vertical direction of the continuous edge block are both flat blocks.
  • FIG. 9 shows an example of selecting the evaluation target block in the scene corresponding to FIG.
  • the edge block selected as the evaluation target block is indicated by a bold line.
  • a horizontal edge block (H) sandwiched in the horizontal direction by two flat blocks (F) and a vertical edge block (V) sandwiched in the vertical direction by two flat blocks (F) are evaluated. It is a block.
  • Step # 106 The focus determination unit 24 performs color correction on each continuous edge block (evaluation target block) obtained in # 105.
  • the focus determination unit 24 uses the average pixel values of two flat blocks adjacent to the continuous edge block in the gradient direction of the edge, and uses FL R , FL G and the following expressions (23) and (24): FH R, determine the FH G.
  • FL indicates a flat block on the low contrast side
  • FH indicates a flat block on the high contrast side.
  • FIG. 7 is a diagram showing an outline of color correction in # 106.
  • an R component edge R (x) indicated by a solid line and a G component edge G (x) indicated by a broken line in FIG. 7A are shown on both sides of the edge region as shown in FIG. 7B.
  • Color correction is performed so that the contrast difference is the same.
  • Step # 107 The focus determination unit 24 obtains an edge blur width difference ⁇ w between two colors having axial chromatic aberration in each continuous edge block (evaluation target block) subjected to color correction in # 106.
  • the focus determination unit 24 may obtain ⁇ w by the following method.
  • the set E R can be classified R (x, y) is a set EL R of Emean R pixel values smaller than, R (x, y) is the a set EH R of Emean R larger pixel value .
  • the set E G is, G (x, y) can be classified and set EL G of Emean G pixel values smaller than, G (x, y) is on the set EH G of Emean G larger pixel value ( Formula (30)).
  • EL R, and union EL R-G of EL G, EH R, the union EH R-G of EH G can be defined respectively by the equation (31).
  • Focus determination unit 24 sets EL R-G, for a pixel of EH R-G, respectively obtained color difference sum ⁇ AL R-G, the ⁇ AL R-G in the formula (32). Then, the focus determination unit 24 obtains the index value I RG using equation (33).
  • Step # 108 The focus determination unit 24 performs focus determination for each evaluation target block using the difference ⁇ w in the edge blur width between the two colors.
  • ⁇ w RG calculated from the color difference RG has a positive value on the front pin side and a negative value on the rear pin side. Therefore, the focus determination at # 108 is performed as follows, for example.
  • ⁇ wAF RG is a reference value indicating the blur width at the time of focusing.
  • the value of ⁇ wAF R-G are characteristics of axial chromatic aberration of the optical system, an object color, the edge of the cross-sectional shape, interpolation method of a color image, it is appropriately adjusted in consideration of the camera AF unit.
  • TH_FOCUS1, TH_FOCUS2 are parameters indicating allowable blur values on the rear pin side and the front pin side, respectively.
  • FIG. 8 is a diagram showing an outline of the above-described focus determination. For example, consider an R component edge R (x) and a G component edge G (x) after normalization by color correction.
  • Step # 109 The camera microcomputer 14 determines whether or not to further perform focus determination with different parameters.
  • the camera microcomputer 14 performs focus determination for the other color components (eg, BG, RB) by the same processing as # 104 to # 108.
  • the camera microcomputer 14 may change the block size and execute the focus determination by the same processing as # 104 to # 108.
  • the camera microcomputer 14 shifts the process to # 108.
  • Step # 110 The focus evaluation unit 25 evaluates the focus state of the subject image in the focus evaluation area by integrating the focus determination results in the respective evaluation target blocks.
  • the in-focus evaluation unit 25 calculates the color difference (RG, BG, etc.), gradient direction (vertical, horizontal, etc.), and all judgment results (N Result ) for each block size setting for each evaluation target block.
  • a serial number is given by the subscript i (that is, the maximum value of i is the total number of determination results). The following values are substituted into the i-th determination result A i for comprehensive determination.
  • the determination result A i is an example of a focus determination value, and indicates the determination result of the focus in the evaluation target block.
  • the focus evaluation unit 25 in # 110 weights and adds at least one of the focus determination result by a combination of different color components and the focus determination result at a different block size, thereby focusing the subject image in the focus evaluation area.
  • the focus state may be evaluated.
  • examples of (B1) to (B7) will be described as examples of weighted addition. Note that the weighted addition described below may be performed in an appropriate combination.
  • the focus evaluation unit 25 may multiply the result of the focus determination between the color components in which the longitudinal chromatic aberration becomes large by a large weighting factor.
  • the focus evaluation unit 25 may increase the value of the weighting factor in proportion to the size of the block size.
  • the focus evaluation unit 25 may increase the value of the weighting factor in the evaluation target block as the contrast difference at the edge increases.
  • (B4) The smaller the blur width of the edge included in the block is, the closer the edge is to the in-focus state, and the reliability of the focus determination is relatively high. Also, if the contour of the subject has a smooth gradation, the blur width of the edge looks large and the reliability of focus determination is relatively low. Therefore, the focus evaluation unit 25 may increase the value of the weight coefficient in the evaluation target block as the apparent blur width of the edge is smaller.
  • the focus evaluation unit 25 may determine the value of the weight coefficient in the evaluation target block according to the zoom position of the photographing optical system when the color image is acquired.
  • a coefficient table indicating the correspondence between the zoom position of the photographing optical system 12 and the weighting coefficient is prepared in advance, and the focus evaluation unit 25 reads the weighting coefficient from the coefficient table in accordance with the zoom position of the photographing optical system 12. Just decide. Needless to say, when the electronic camera is an interchangeable lens camera, the coefficient table is prepared for each interchangeable lens.
  • the focus evaluation unit 25 may increase the value of the weight coefficient in the evaluation target block when the color difference between the two color components is lower than the threshold value in the flat block adjacent in the edge gradient direction.
  • the reliability of focus determination is relatively low.
  • the focus evaluation unit 25 decreases the value of the weight coefficient in the evaluation target block as the subject motion vector in the evaluation target block increases. May be.
  • the weight coefficient ⁇ i may be set to “1”.
  • the focus evaluation unit 25 uses the total number A OnFocus of the evaluation target blocks that have been determined to be in focus and the weighted sum A TotalResult of the determination results to obtain the overall determination result of the evaluation target block using Expression (34). Find it.
  • TH_N_ONFOCUS is a threshold value indicating the in-focus state
  • TH_REARFOCUS, TH_FRONTFOCUS are threshold values indicating the rear pin state and the front pin state, respectively.
  • the focus evaluation unit 25 determines the focus state in the entire focus evaluation region using the determination result of the evaluation target block.
  • the focus evaluation unit 25 may use the evaluation result of the evaluation target block having the largest number in the focus evaluation of the focus evaluation area.
  • FIG. 10 is a diagram showing an example of focusing evaluation of the focusing evaluation area in the scene corresponding to FIG.
  • “front”, “back”, and “focus” are written in the evaluation target blocks determined to be the front pin, the rear pin, and the in-focus state, respectively.
  • the determination result of the evaluation target block (continuous edge block) in the focus evaluation area is 1: 1: 3 at the rear pin: focus: front pin, and the entire focus evaluation area is the front. It is determined to be a pin.
  • Step # 111 The camera microcomputer 14 moves the AF lens in the direction in which ⁇ w approaches 0 based on the determination result in the entire focus evaluation area acquired in # 110. Above, description of the process of FIG. 2 is complete
  • the electronic camera 11 classifies the block type based on the gradient amount of the pixels in the block in the focus evaluation area of the color image (# 104), and selects the evaluation target block to be applied to the focus evaluation. Selected (# 105). Then, the electronic camera 11 performs focus determination for each evaluation unit block using the edge blur width difference ( ⁇ w) in the evaluation unit block (# 107, # 108), and integrates the focus results to focus. The focus state of the evaluation area is determined (# 110).
  • a plurality of evaluation target blocks are grouped (# 104).
  • the evaluation target block having a small area and the evaluation target block having a large area can be simultaneously extracted from the focus evaluation region by one process, the calculation efficiency is improved.
  • the edge detection unit 22 may perform block type classification in consideration of the presence or absence of a mountain / valley structure on a scale equal to or smaller than the block size.
  • the edge detection unit 22 applies Formula (35) instead of Formula (11) in the determination of (i) of # 104. That's fine.
  • the edge detection unit 22 may apply Expression (36) instead of Expression (12).
  • the determination accuracy can be improved.
  • the focus evaluation unit 25 may appropriately change the order of determination.
  • the focus evaluation unit 25 performs focus determination after performing a weighted average of the blur width difference ⁇ w calculated for each evaluation target block. Then, the focus evaluation unit 25 sets the weight ⁇ i of the determination result with ⁇ w i as the difference in blur width calculated for the M evaluation target blocks in the focus evaluation area.
  • [Delta] w i representing the difference blur width is focus determination value.
  • the focus evaluation unit 25 may use the result of focus determination based on the comparison between the average ⁇ w mean of the difference in blur width and the threshold value as the determination result of the focus evaluation area.
  • FIG. 11 is a diagram illustrating a configuration example of the focus evaluation apparatus according to the second embodiment.
  • the focus evaluation device of the second embodiment is a personal computer in which an image evaluation program is installed.
  • the focus evaluation device reads a color image taken by an electronic camera, and performs the focus evaluation of the image in a post-processing step by an image evaluation program.
  • the 11 includes a data reading unit 32, a storage device 33, a CPU 34, a memory 35, an input / output I / F 36, and a bus 37.
  • the data reading unit 32, the storage device 33, the CPU 34, the memory 35, and the input / output I / F 36 are connected to each other via a bus 37.
  • an input device 38 keyboard, pointing device, etc.
  • a monitor 39 are connected to the computer 31 via an input / output I / F 36.
  • the input / output I / F 36 accepts various inputs from the input device 38 and outputs display data to the monitor 39.
  • the data reading unit 32 is used when reading image data or a program from the outside.
  • the data reading unit 32 communicates with a reading device (such as an optical disk, a magnetic disk, or a magneto-optical disk reading device) that acquires data from a removable storage medium, or an external device in accordance with a known communication standard.
  • a communication device to perform USB interface, LAN module, wireless LAN module, etc.
  • the data reading unit 32 in the second embodiment functions as an acquisition unit that acquires a color image.
  • the storage device 33 is constituted by a storage medium such as a hard disk or a nonvolatile semiconductor memory.
  • the storage device 33 stores an image processing program.
  • the storage device 33 can also store image data read from the data reading unit 32.
  • the CPU 34 is a processor that comprehensively controls each unit of the computer 31.
  • the CPU 34 operates as the area setting unit 21, the edge detection unit 22, the block selection unit 23, the focus determination unit 24, and the focus evaluation unit 25 of the first embodiment by executing the image evaluation program.
  • the memory 35 temporarily stores various calculation results in the image processing program.
  • the memory 35 is, for example, a volatile SDRAM.
  • FIG. 12 is a flowchart showing an operation example of the focus evaluation apparatus of the second embodiment.
  • the processes of # 201 to # 209 in FIG. 12 correspond to the processes of # 102 to # 110 in FIG.
  • the CPU 34 acquires a color image photographed by the electronic camera from the data reading unit 32.
  • the CPU 34 performs image quality determination based on the focus evaluation, and displays the result on the monitor 39. Note that the CPU 34 may automatically select a good image from a plurality of color images according to the result of the quality determination of the image. Also in the second embodiment, substantially the same effect as that of the first embodiment can be obtained.
  • the example of weighting for the focus determination value in the above embodiment is not limited to the above examples (B1) to (B7).
  • the focus evaluation unit 25 uses the edge
  • the value of the weighting coefficient in the evaluation target block in which the uneven structure is included in the portion may be reduced.
  • each function of the image processing apparatus is realized by software by a program has been described.
  • each function of the area setting unit 21, the edge detection unit 22, the block selection unit 23, the focus determination unit 24, and the focus evaluation unit 25 may be realized by hardware using an ASIC.
  • DESCRIPTION OF SYMBOLS 11 Electronic camera, 12 ... Imaging optical system, 13 ... Imaging part, 14 ... Camera microcomputer, 15 ... 1st memory, 16 ... 2nd memory, 17 ... Recording I / F, 18 ... Display part, 19 ... Operation part, DESCRIPTION OF SYMBOLS 21 ... Area
  • storage device 34 ... CPU, 35 ... memory, 36 ... input / output I / F, 37 ... bus, 38 ... input device, 39 ... monitor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Focusing (AREA)

Abstract

　合焦評価装置の領域設定部は、複数のブロックを含む合焦評価領域をカラー画像に設定する。エッジ検出部は、各々のブロックから、色成分ごとのエッジをそれぞれ検出する。ブロック選出部は、複数のブロックのうち、合焦評価に適用する評価対象ブロックを選出する。ピント判定部は、軸上色収差がある２つの色成分でのエッジのボケ幅の差を用いて、評価対象ブロックごとにピント判定値を求める。合焦評価部は、各々の評価対象ブロックでのピント判定値を統合して、合焦評価領域での被写体像の合焦状態を評価する。

Description

合焦評価装置、撮像装置およびプログラム
　本発明は、合焦評価装置、撮像装置およびプログラムに関する。
　従来から、光の色収差を利用してレンズの焦点位置ズレを検出し、検出結果に基づいて焦点調整を行って各色光のぼけを修正するオートフォーカス装置が知られている（一例として、特開平６－１３８３６２号公報参照）。
　しかしながら、従来のオートフォーカス装置では、レンズの位置が合焦位置に対して光軸方向のどちらの方向にずれているかを検出することができず、合焦状態の判定精度が低かった。
　本発明の一態様である合焦評価装置は、取得部と、領域設定部と、エッジ検出部と、ブロック選出部と、ピント判定部と、合焦評価部とを備える。取得部は、軸上色収差をもつ光学系によって形成された被写体像のカラー画像を取得する。領域設定部は、複数のブロックを含む合焦評価領域をカラー画像に設定する。エッジ検出部は、各々のブロックから、色成分ごとのエッジをそれぞれ検出する。ブロック選出部は、複数のブロックのうち、合焦評価に適用する評価対象ブロックを選出する。ピント判定部は、軸上色収差がある２つの色成分でのエッジのボケ幅の差を用いて、評価対象ブロックごとにピント判定値を求める。合焦評価部は、各々の評価対象ブロックでのピント判定値を統合して、合焦評価領域での被写体像の合焦状態を評価する。
第１実施形態の電子カメラの構成例を示す図 第１実施形態での電子カメラのＡＦ動作の例を示す流れ図 合焦評価領域の設定例を示す図 図３に対応するシーンでのブロックタイプの決定例を示す図 ２つの色成分でエッジの勾配が逆方向に傾斜している場合を示す図 （ａ）山状の構造の例を示す図、（ｂ）谷状の構造の例を示す図 （ａ）色補正前の状態を示す図、（ｂ）色補正後の状態を示す図 （ａ）～（ｃ）ピント判定の概要を示す図 図４に対応するシーンでの評価対象ブロックの選出例を示す図 図９に対応するシーンでの合焦評価領域の合焦評価の例を示す図 第２実施形態の合焦評価装置の構成例を示す図 第２実施形態の合焦評価装置の動作例を示す流れ図
　＜第１実施形態の説明＞
　図１は、合焦評価装置および撮像装置の一例である第１実施形態の電子カメラの構成例を示す図である。
　電子カメラ１１は、撮影光学系１２と、撮像部１３と、カメラマイコン１４と、第１メモリ１５と、第２メモリ１６と、記録Ｉ／Ｆ１７と、表示部１８と、操作部１９とを備えている。撮像部１３、第１メモリ１５、第２メモリ１６、記録Ｉ／Ｆ１７、表示部１８、操作部１９は、それぞれカメラマイコン１４と接続されている。
　撮影光学系１２は、ＡＦ（ＡｕｔｏＦｏｃｕｓ／自動焦点調整）のためのフォーカシングレンズや、ズームレンズを含む複数のレンズで構成される。図１では、簡単のため撮影光学系１２を１枚のレンズで表す。なお、撮影光学系１２は、電子カメラ１１の本体に対して交換可能であってもよい。
　撮像部１３は、撮影光学系１２によって結像された被写体像を撮像（撮影）するモジュールである。例えば、撮像部１３は、光電変換を行う撮像素子と、アナログ信号処理を行うアナログフロントエンド回路と、Ａ／Ｄ変換およびデジタル信号処理を行うデジタルフロントエンド回路とを含んでいる。そして、撮像部１３は、撮像によって得られた画像信号をカメラマイコン１４に出力する。
　ここで、撮像部１３の撮像素子の各画素には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子の各画素は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像部１３は、撮像時にカラーの画像を取得できる。
　また、電子カメラ１１の撮影モードにおいて、撮像部１３は、ユーザの撮影指示に応じて、不揮発性の記録媒体への記録を伴う記録用の静止画像を撮影する。また、撮像部１３は、静止画像の撮影待機時にも所定間隔ごとに観測用の画像（スルー画像）を撮影する。
　カメラマイコン１４は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、撮影モードにおいて、ユーザの撮影指示に応じて、撮像部１３に記録用の静止画像を撮影させる。また、カメラマイコン１４は、撮像部１３から取得した画像のデータに対して、色補間、ホワイトバランス補正、階調変換、色変換、輪郭強調などの画像処理を施す。
　さらに、カメラマイコン１４は、プログラムの実行により、領域設定部２１、エッジ検出部２２、ブロック選出部２３、ピント判定部２４、合焦評価部２５として機能する（領域設定部２１、エッジ検出部２２、ブロック選出部２３、ピント判定部２４、合焦評価部２５の動作については後述する）。
　第１メモリ１５は、画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭで構成される。また、第２メモリ１６は、カメラマイコン１４の実行するプログラムや、各種データを記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリで構成される。
　記録Ｉ／Ｆ１７は、不揮発性の記憶媒体２６を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体２６に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２６は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１では記憶媒体２６の一例としてメモリカードを図示する。
　表示部１８は、各種画像を表示する表示装置（液晶モニタや有機ＥＬモニタなど）である。例えば、表示部１８は、カメラマイコン１４の制御により、スルー画像の動画表示（ビューファインダ表示）や、静止画像の再生表示を行う。
　操作部１９は、ユーザの各種操作を受け付ける複数のスイッチ（例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなど）を含んでいる。
　以下、第１実施形態での電子カメラのＡＦ動作の例を説明する。
　本実施形態において、カメラマイコン１４は、撮像部１３からスルー画像の入力が開始されると、ＡＦ処理を実行して、スルー画像の表示中に継続して焦点調節を行う。これにより、電子カメラ１１は、スルー画像の表示中に常時ＡＦ制御を行う。
　撮像部１３から取得されるフレームがＲＧＢ表色系で表されるカラー画像である場合、ＲＧＢ各色成分での軸上色収差の違いにより各色成分の光軸上の合焦位置は異なる。光軸上の合焦位置の前後において、エッジ領域の各色成分でボケ幅ｗの大小関係が逆転するという点に着目すると、２色間でのエッジのボケ幅ｗの差（Δｗ）に基づいて現在の合焦状態を判定できることが分かる。そして、現在のＡＦレンズの位置が合焦位置から光軸方向のどちらの方向にずれているかを判定すれば、電子カメラ１１がＡＦ制御を実行できる。
　ここで、一般的な電子カメラの光学系や撮像素子の場合、上述した各色成分のボケ幅は数画素から数十画素単位の広がりを持つのに対して、２色間のボケ幅の差はその１０分の１から１００分の１程度しかない。つまり、画素単位でしか行えないボケ幅の測定誤差に対して上記のボケ幅の差は小さいため、直接ボケ幅の測定結果からボケ幅の差Δｗを精度良く求めることは困難である。このため、本実施形態の電子カメラは、以下の手法により、合焦状態の判定を行う。
　図２は、第１実施形態での電子カメラのＡＦ動作の例を示す流れ図である。図２の処理は、撮影モードの起動に応じてカメラマイコン１４によって開始される。
　ここで、図２の説明では、Ｒ、Ｇ間で軸上色収差があることを前提として、色差Ｒ－Ｇでのボケ幅の差ΔｗＲ－Ｇを求める例を中心に説明する。色差Ｒ－Ｇから算出したΔｗＲ－Ｇは、前ピン側で正の値となり、後ピン側で負の値となるものとする。なお、前ピンと後ピンで正負の関係が逆になる場合には、色差Ｇ－Ｒから算出したΔｗＧ－Ｒを用いればよい。なお、Ｒ、Ｂ間や、Ｇ、Ｂ間においても同様の方法で判定を行うことができることはいうまでもない。
　ステップ＃１０１：カメラマイコン１４は、撮像部１３を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。
　また、撮影モードでのカメラマイコン１４は、スルー画像を表示部１８に動画表示させる。したがって、ユーザは、表示部１８のスルー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。
　ステップ＃１０２：カメラマイコン１４は、処理対象のカラー画像（スルー画像）を撮像部１３から取得する。そして、カメラマイコン１４は、処理対象のカラー画像に対して、ノイズ低減のための平滑化処理や、エッジの方向依存性を補正するための解像度補正などの前処理を実行する。なお、カメラマイコン１４は、処理対象のカラー画像のうち、＃１０２の前処理を後述の合焦評価領域にのみ部分的に施してもよい。
　なお、本明細書では、カラー画像の座標（ｘ，ｙ）でのＲＧＢ画素値をＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）とそれぞれ表記する。
　ステップ＃１０３：領域設定部２１は、処理対象のカラー画像の一部に合焦評価を行う領域（合焦評価領域）を設定する。上記の合焦評価領域は、矩形状のブロックによって格子状に領域分割される。一例として、各々のブロックの画像サイズは、ＢＬＯＣＫ＿ＳＩＺＥ×ＢＬＯＣＫ＿ＳＩＺＥの画素数（例えば８×８画素）である。なお、図３に、合焦評価領域の設定例を示す。
　ステップ＃１０４：エッジ検出部２２は、各ブロックについて画素の色成分ごとのエッジ（画像の勾配成分）をそれぞれ検出する。そして、エッジ検出部２２は、ブロック内での画素の勾配量に応じて、各ブロックをタイプ別に分類する。
　ここで、ブロックの座標を（ｕ，ｖ）としたとき、注目するブロック（ｕ，ｖ）に含まれる画素の集合ＢＬは式（１）で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　また、各画素のＲ成分の水平方向勾配（ｄｘＲ（ｘ，ｙ））および垂直方向勾配（ｄｙＲ（ｘ，ｙ））と、各画素のＧ成分の水平方向勾配（ｄｘＧ（ｘ，ｙ））および垂直方向勾配（ｄｙＧ（ｘ，ｙ））とは、式（２）で求めることができる。
Figure JPOXMLDOC01-appb-M000002
　また、ブロック内のＲ、Ｇ画素の平均値（ＲＢｌｏｃｋ（ｕ，ｖ）、ＧＢｌｏｃｋ（ｕ，ｖ））と、その水平方向勾配和（ｄｘＲＢｌｏｃｋ（ｕ，ｖ）、ｄｘＧＢｌｏｃｋ（ｕ，ｖ））および垂直方向勾配和（ｄｙＲＢｌｏｃｋ（ｕ，ｖ）、ｄｙＧＢｌｏｃｋ（ｕ，ｖ））とは、式（３）で求めることができる。
Figure JPOXMLDOC01-appb-M000003
　また、軸上色収差によりピントの前後を判定するためには、対比する２色の間でエッジの勾配が同じ方向に傾斜している必要がある（図８参照）。この条件は、各ブロックの勾配和について、水平方向、垂直方向それぞれで式（４）の関係が成り立つときに満足する。
Figure JPOXMLDOC01-appb-M000004
　一例として、＃１０４でのエッジ検出部２２は、各ブロックについて以下の（Ａ１）～（Ａ５）の処理をそれぞれ実行することで、合焦評価領域内の各ブロックをタイプ別に分類すればよい。
　（Ａ１）エッジ検出部２２は、注目するブロックにおいて、閾値ＴＨ＿ＧＲＡＤＰＩＸＥＬ以上の水平方向の２色同方向勾配がある画素の集合（ＨＧＰＲ－Ｇ）を、式（５）により抽出する。そして、エッジ抽出部は、ＨＧＰＲ－Ｇの要素数（ｎＨＧｒａｄＰｉｘｅｌＲ－Ｇ（ｕ，ｖ））を式（６）で求める。なお、本明細書において、ＴＨ＿ＧＲＡＤＰＩＸＥＬの値は、ノイズの誤検出を防止するために、画像に含まれうるノイズの振幅より大きくなるように設定される。
Figure JPOXMLDOC01-appb-M000005
　（Ａ２）エッジ検出部２２は、注目するブロックにおいて、閾値ＴＨ＿ＧＲＡＤＰＩＸＥＬ以上の垂直方向の２色同方向勾配がある画素の集合（ＶＧＰＲ－Ｇ）を、式（７）により抽出する。そして、エッジ抽出部は、ＶＧＰＲ－Ｇの要素数（ｎＶＧｒａｄＰｉｘｅｌＲ－Ｇ（ｕ，ｖ））を式（８）で求める。
Figure JPOXMLDOC01-appb-M000006
　（Ａ３）エッジ検出部２２は、注目するブロックにおいて、閾値ＴＨ＿ＦＬＡＴＰＩＸＥＬ以上の勾配がない画素の集合（ＦＰＲ－Ｇ）を、式（９）により抽出する。そして、エッジ抽出部は、ＦＰＲ－Ｇの要素数（ｎＦｌａｔＰｉｘｅｌＲ－Ｇ（ｕ，ｖ））を式（１０）で求める。なお、本明細書において、ＴＨ＿ＦＬＡＴＰＩＸＥＬの値は、画素値の振幅があってもコントラストがほぼ平坦とみなせる範囲で適宜設定される。
Figure JPOXMLDOC01-appb-M000007
　（Ａ４）エッジ検出部２２は、以下の（ｉ）～（ｉｖ）の条件により、注目するブロック（ｕ，ｖ）のブロックタイプを決定する。
　（ｉ）注目するブロック（ｕ，ｖ）が式（１１）を満たす場合、エッジ検出部２２は、注目するブロック（ｕ，ｖ）を「水平エッジブロックＨＥＢＬＲ－Ｇ」とする。なお、本明細書において、「ＮＰｉｘｅｌ」は、注目するブロックの全画素数を示す（ＮＰｉｘｅｌ＝ＢＬＯＣＫ＿ＳＩＺＥ２）。また、「ＲＡＴＩＯ＿ＥＤＧＥＢＬＯＣＫ」は、ブロック内の全画素に対して勾配のある画素の含有率を規定する係数を示す。
Figure JPOXMLDOC01-appb-M000008
　すなわち、注目するブロック（ｕ，ｖ）において、ブロック内の全画素に対するｎＨＧｒａｄＰｉｘｅｌＲ－Ｇ（ｕ，ｖ）の比率がＲＡＴＩＯ＿ＥＤＧＥＢＬＯＣＫ以上であり、ブロック内の全画素に対するｎＶＧｒａｄＰｉｘｅｌＲ－Ｇ（ｕ，ｖ）の比率がＲＡＴＩＯ＿ＥＤＧＥＢＬＯＣＫ未満であるとき、ブロックタイプが「水平エッジブロックＨＥＢＬＲ－Ｇ」に決定される。
　（ｉｉ）注目するブロック（ｕ，ｖ）が式（１２）を満たす場合、エッジ検出部２２は、注目するブロック（ｕ，ｖ）を「垂直エッジブロックＶＥＢＬＲ－Ｇ」とする。
Figure JPOXMLDOC01-appb-M000009
　すなわち、注目するブロック（ｕ，ｖ）において、ブロック内の全画素に対するｎＨＧｒａｄＰｉｘｅｌＲ－Ｇ（ｕ，ｖ）の比率がＲＡＴＩＯ＿ＥＤＧＥＢＬＯＣＫ未満であり、ブロック内の全画素に対するｎＶＧｒａｄＰｉｘｅｌＲ－Ｇ（ｕ，ｖ）の比率がＲＡＴＩＯ＿ＥＤＧＥＢＬＯＣＫ以上であるとき、ブロックタイプが「垂直エッジブロックＶＥＢＬＲ－Ｇ」に決定される。
　（ｉｉｉ）注目するブロック（ｕ，ｖ）が式（１３）を満たす場合、エッジ検出部２２は、注目するブロック（ｕ，ｖ）を「フラットブロックＦＢＬＲ－Ｇ」とする。なお、「ＲＡＴＩＯ＿ＦＬＡＴＢＬＯＣＫ」は、ブロック内の全画素に対して勾配のない画素の含有率を規定する係数を示す。
Figure JPOXMLDOC01-appb-M000010
　すなわち、注目するブロックがＨＥＢＬＲ－ＧおよびＶＥＢＬＲ－Ｇに属さず、ブロック内の全画素に対するｎＦｌａｔＰｉｘｅｌＲ－Ｇ（ｕ，ｖ）の比率がＲＡＴＩＯ＿ＦＬＡＴＢＬＯＣＫ以上であるとき、ブロックタイプが「フラットブロックＦＢＬＲ－Ｇ」に決定される。
　（ｉｖ）注目するブロック（ｕ，ｖ）が上記の（ｉ）から（ｉｉｉ）のいずれにも該当しない場合、エッジ検出部２２はそのブロックを以後の処理対象から除外する。
　（Ａ５）エッジ検出部２２は、注目するブロックを変更して上記の（Ａ１）～（Ａ４）の処理を実行する。そして、エッジ検出部２２は、全ブロックのブロックタイプを決定するまで上記の動作を繰り返す。
　図４は、図３に対応するシーンでのブロックタイプの決定例を示す。なお、図面において、「Ｈ」は水平エッジブロックを示し、「Ｖ」は垂直エッジブロックを示し、「Ｆ」はフラットブロックを示す。
　ステップ＃１０５：ブロック選出部２３は、＃１０４で選別されたエッジブロック（水平エッジブロック、垂直エッジブロック）のうち、合焦評価に適用する評価対象ブロックを選出する。このとき、ブロック選出部２３は、隣接する評価対象ブロックの間でエッジが同じ方向に連続するときに、複数の評価対象ブロックをグループ化する。以下、評価対象ブロックを連続エッジブロックと称することもある。
　一例として、水平方向エッジブロックから評価対象ブロックを選出する場合を説明する。ブロック選出部２３は、水平方向エッジブロックのうちで、以下の（条件１）から（条件５）をすべて満たし、水平方向（ｕ１，ｖ）から（ｕ２，ｖ）まで連続するエッジブロックを１つの評価対象ブロック（連続エッジブロック）とする。
　（条件１）ブロック選出部２３は、軸上色収差がある２つの色成分について、エッジの勾配が同じ方向に傾斜しているエッジブロックを評価対象ブロックとして選出する。例えば、図５に示すように、２つの色成分でエッジの勾配が逆方向に傾斜している場合には、軸上色収差によるボケ幅の差を検出することが困難となるからである。具体的には、水平方向エッジブロックでの（条件１）の場合、以下の式（１４）を満たせばよい。
Figure JPOXMLDOC01-appb-M000011
　（条件２）ブロック選出部２３は、エッジの部分に凹凸の構造（細線・山・谷状の構造）が含まれるブロックを除外して評価対象ブロックを選出する。例えば、図６（ａ）のような山状の構造や、図６（ｂ）のような谷状の構造の場合、後述の色補正を正しく行うことができないためである。
　上記のような構造を含む場合には、勾配絶対値の和と勾配和の絶対値とが一致しない。そのため、水平方向エッジブロックでの（条件２）の場合、以下の式（１５）、（１６）を満たせばよい。
Figure JPOXMLDOC01-appb-M000012
　（条件３）ブロック選出部２３は、水平方向エッジブロックのうち、エッジの勾配方向（水平方向）に隣接するブロックの少なくとも一方がフラットブロックであるものを評価対象ブロックとして選出する。上記条件を満たす場合には、後述の色補正が可能となるからである。
　例えば、水平方向エッジブロックの場合、連続エッジブロックの水平方向に隣接する２つのブロック（ｕ１－１，ｖ）、（ｕ２＋１，ｖ）がそれぞれフラットブロックであればよい。そのため、水平方向エッジブロックでの（条件３）の場合、以下の式（１７）を満たせばよい。
Figure JPOXMLDOC01-appb-M000013
　（条件４）ブロック選出部２３は、エッジで生じるコントラストの差が２つの色成分ともに閾値ＴＨ＿ＣＯＮＴＲＡＳＴ以上となるブロックを評価対象ブロックとして選出する。コントラスト差が小さい場合には、軸上色収差によるエッジのボケ幅の検出が比較的困難となるためである。
　例えば、水平方向エッジブロックでの（条件４）の場合、以下の式（１８）を満たせばよい。
Figure JPOXMLDOC01-appb-M000014
　（条件５）ブロック選出部２３は、エッジの長さ（連続エッジブロックの長さ）が閾値ＴＨ＿ＬＥＮＧＴＨ未満となるブロックを評価対象ブロックとして選出する。一般にエッジの長さは、エッジの尖鋭度の高さと反比例する関係にある。そのため、大ボケしすぎたエッジや、シャープでないエッジを除外することで判定精度を向上させることが可能となる。
　例えば、水平方向エッジブロックでの（条件５）の場合、以下の式（１９）を満たせばよい。
Figure JPOXMLDOC01-appb-M000015
　上記の（条件１）～（条件５）をまとめると、水平方向の連続エッジブロックの集合ＨＥＢＳＲ－Ｇが満たすべき条件は、式（２０）で表現できる。この場合の連続エッジブロックは、（ｕ１，ｖ）から（ｕ２，ｖ）まで水平方向に連続する。また、連続エッジブロックの水平方向に位置する２つのブロック（ｕ１－１，ｖ）、（ｕ２＋１，ｖ）はいずれもフラットブロックである。
Figure JPOXMLDOC01-appb-M000016
　また、上記の（条件１）～（条件５）は、いずれも垂直方向の連続エッジブロックの集合ＶＥＢＳＲ－Ｇを選出する場合にも応用できる。垂直方向の連続エッジブロックの集合ＶＥＢＳＲ－Ｇが満たすべき条件は、式（２１）で表現できる。この場合の連続エッジブロックは、（ｕ，ｖ１）から（ｕ，ｖ２）まで垂直方向に連続する。また、連続エッジブロックの垂直方向に位置する２つのブロック（ｕ，ｖ１－１）、（ｕ，ｖ２＋１）はいずれもフラットブロックである。
Figure JPOXMLDOC01-appb-M000017
　また、＃１０５で定義された連続エッジブロックについて、連続エッジブロック内の画素（ｘ，ｙ）の集合をＰとする。このとき、Ｐは式（２２）で表される。
Figure JPOXMLDOC01-appb-M000018
　なお、図４に対応するシーンでの評価対象ブロックの選出例を図９に示す。図９の例では、評価対象ブロックとして選出されたエッジブロックを太線で示す。図９において、２つのフラットブロック（Ｆ）で水平方向に挟まれた水平エッジブロック（Ｈ）と、２つのフラットブロック（Ｆ）で垂直方向に挟まれた垂直エッジブロック（Ｖ）とが評価対象ブロックとなっている。
　ステップ＃１０６：ピント判定部２４は、＃１０５で得た各々の連続エッジブロック（評価対象ブロック）に対してそれぞれ色補正を行う。
　一例として、ピント判定部２４は、連続エッジブロック対してエッジの勾配方向に隣接する２つのフラットブロックの平均画素値を用いて、以下の式（２３）、（２４）でＦＬＲ，ＦＬＧおよびＦＨＲ，ＦＨＧを求める。ここで、「ＦＬ」は低コントラスト側のフラットブロックを示し、「ＦＨ」は高コントラスト側のフラットブロックを示す。
Figure JPOXMLDOC01-appb-M000019
　次に、ピント判定部２４は、ＣＯＮＴ＿Ｌ，ＣＯＮＴ＿Ｈの間でＦＬＲ，ＦＬＧおよびＦＨＲ，ＦＨＧがともに灰色となるように一次係数（ａＲ０，ａＲ１，ａＧ０，ａＧ１）を式（２５）で決定する。
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
　図７は、＃１０６での色補正の概要を示す図である。例えば、図７（ａ）にて実線で示すＲ成分のエッジＲ（ｘ）および破線で示すＧ成分のエッジＧ（ｘ）は、図７（ｂ）に示すように、エッジ領域の両側でのコントラスト差が同じになるように色補正が行われる。
　ステップ＃１０７：ピント判定部２４は、＃１０６で色補正された各々の連続エッジブロック（評価対象ブロック）において、軸上色収差がある２色間でのエッジのボケ幅の差Δｗをそれぞれ求める。一例として、ピント判定部２４は、以下の手法でΔｗを求めればよい。
Figure JPOXMLDOC01-appb-M000022
　ここで、上記の集合ＥＲは、Ｒ（ｘ，ｙ）がＥｍｅａｎＲより小さい画素値の集合ＥＬＲと、Ｒ（ｘ，ｙ）がＥｍｅａｎＲより大きい画素値の集合ＥＨＲとに分類できる。また、上記の集合ＥＧは、Ｇ（ｘ，ｙ）がＥｍｅａｎＧより小さい画素値の集合ＥＬＧと、Ｇ（ｘ，ｙ）がＥｍｅａｎＧより大きい画素値の集合ＥＨＧとに分類できる（式（３０））。
Figure JPOXMLDOC01-appb-M000023
　また、ＥＬＲ，ＥＬＧの和集合ＥＬＲ－Ｇと、ＥＨＲ，ＥＨＧの和集合ＥＨＲ－Ｇとは、式（３１）でそれぞれ定義できる。
Figure JPOXMLDOC01-appb-M000024
　ピント判定部２４は、集合ＥＬＲ－Ｇ，ＥＨＲ－Ｇの画素について、色差和ΔＡＬＲ－Ｇ，ΔＡＬＲ－Ｇを式（３２）でそれぞれ求める。そして、ピント判定部２４は、式（３３）で指標値ＩＲ－Ｇを求める。
Figure JPOXMLDOC01-appb-M000025
　上記の指標値ＩＲ－Ｇは、連続エッジブロック内における２色間でのエッジのボケ幅の差ΔｗＲ－Ｇと、画素単位のエッジ数Ｎｗに対して、ＩＲ－Ｇ＝ΔｗＲ－Ｇ×Ｎｗの関係が成り立つ。そのため、ピント判定部２４は、Ｎｗを概算してΔｗＲ－Ｇを求めることができる。
　ステップ＃１０８：ピント判定部２４は、２色間でのエッジのボケ幅の差Δｗを用いて、評価対象ブロックごとにピント判定を行う。
　本実施形態では、色差Ｒ－Ｇから算出したΔｗＲ－Ｇが前ピン側で正の値、後ピン側で負の値となる。そのため、＃１０８でのピント判定は、例えば以下のように行われる。
Figure JPOXMLDOC01-appb-M000026
　ここで、「ΔｗＡＦＲ－Ｇ」は合焦時のボケ幅を示す基準値である。ΔｗＡＦＲ－Ｇの値は、光学系の軸上色収差の特性、被写体の色、エッジの断面形状、カラー画像の補間方法、カメラのＡＦ手段などを考慮して適宜調整される。また、「ＴＨ＿ＦＯＣＵＳ１，ＴＨ＿ＦＯＣＵＳ２」は、それぞれ後ピン側、前ピン側でのボケ許容値を示すパラメータである。
　図８は、上記のピント判定の概要を示す図である。例えば、色補正による正規化後のＲ成分のエッジＲ（ｘ）とＧ成分のエッジＧ（ｘ）とを考える。
　後ピンの場合にはＲがＧよりもぼけるため、図８（ａ）に示すように、Ｒ成分のエッジ長さｗＲとＧ成分のエッジ長さｗＧとの間にはｗＲ＞ｗＧの関係が成り立つ。このため、Δｗ（＝ｗＲ－ｗＧ）が閾値ＴＨ＿ＦＯＣＵＳ１よりも大きい場合、ピント判定部２４は後ピンと判定する。
　一方、前ピンの場合にはＧがＲよりもぼけるため、図８（ｃ）に示すように、Ｒ成分のエッジ長さｗＲとＧ成分のエッジ長さｗＧとの間にはｗＲ＜ｗＧの関係が成り立つ。このため、Δｗ（＝ｗＲ－ｗＧ）が閾値ＴＨ＿ＦＯＣＵＳ２よりも小さい場合、ピント判定部２４は前ピンと判定する。
　なお、合焦時には、図８（ｂ）に示すように、Ｒ成分のエッジ長さｗＲとＧ成分のエッジ長さｗＧとの間には原則としてｗＲ＝ｗＧの関係が成り立つ。このため、ピント判定部２４は、Δｗ（＝ｗＲ－ｗＧ）が閾値ＴＨ＿ＦＯＣＵＳ２以上かつ閾値ＴＨ＿ＦＯＣＵＳ１以下である場合、ピント判定部２４は合焦状態であるため前ピンか後ピンかは不明であると判定する。
　ステップ＃１０９：カメラマイコン１４は、異なるパラメータでピント判定をさらに行うか否かを判定する。
　上記要件を満たす場合（ＹＥＳ側）、カメラマイコン１４は、他の色成分（例えばＢ－Ｇ、Ｒ―Ｂ）について、＃１０４～＃１０８と同様の処理でピント判定を実行する。あるいは、カメラマイコン１４は、ブロックサイズを変更して＃１０４～＃１０８と同様の処理でピント判定を実行してもよい。
　一方、上記要件を満たさない場合（ＮＯ側）、カメラマイコン１４は＃１０８に処理を移行させる。
　ステップ＃１１０：合焦評価部２５は、各々の評価対象ブロックでのピント判定結果を統合して、合焦評価領域での被写体像の合焦状態を評価する。
　合焦評価部２５は、各々の評価対象ブロックについて、色差（Ｒ－Ｇ、Ｂ－Ｇなど）、勾配方向（垂直・水平など）、ブロックサイズの設定毎の全判定結果（ＮＲｅｓｕｌｔ個）に添字ｉで通し番号を与える（つまりｉの最大値は、判定結果の総数となる）。総合判定のためｉ番目の判定結果Ａｉには、以下の値を代入する。
Figure JPOXMLDOC01-appb-M000027
　なお、上記の判定結果Ａｉはピント判定値の一例であって、評価対象ブロックでのピントの判定結果を示すものである。
　また、＃１１０での合焦評価部２５は、異なる色成分の組み合わせによるピント判定結果および異なるブロックサイズでのピント判定結果の少なくとも一方を重み付け加算して、合焦評価領域での被写体像の合焦状態を評価してもよい。以下、重み付け加算の例として（Ｂ１）～（Ｂ７）の例を説明する。なお、以下に示す重み付け加算は、適宜組み合わせて行ってもよい。
　（Ｂ１）：例えば、合焦評価部２５は、軸上色収差が大きくなる色成分間でのピント判定の結果に大きな重み係数を乗算してもよい。
　（Ｂ２）：ブロックサイズ（すなわち個々のブロックの面積）が大きくなるほどピント判定の信頼性は相対的に高くなる。したがって、合焦評価部２５は、ブロックサイズの大きさに比例して重み係数の値を大きくしてもよい。
　（Ｂ３）：ブロックに含まれるエッジのコントラストの差が大きいほど、ピント判定の信頼性は相対的に高くなる。したがって、合焦評価部２５は、エッジでのコントラストの差が大きいほど、評価対象ブロックでの重み係数の値を大きくしてもよい。
　（Ｂ４）：ブロックに含まれるエッジのボケ幅が小さいほど、エッジが合焦に近い状態となっており、ピント判定の信頼性は相対的に高くなる。また、被写体輪郭が滑らかなグラデーションを持つと、エッジのボケ幅は大きく見えてピント判定の信頼性は相対的に低くなる。したがって、合焦評価部２５は、エッジの見かけのボケ幅が小さいほど、評価対象ブロックでの重み係数の値を大きくしてもよい。
　（Ｂ５）：撮影光学系１２のズーム位置に応じて、軸上色収差の振る舞いはそれぞれ変化する。したがって、合焦評価部２５は、カラー画像を取得したときの撮影光学系のズーム位置に応じて、評価対象ブロックでの重み係数の値を決定してもよい。この場合、撮影光学系１２のズーム位置と重み係数との対応関係を示す係数テーブルを予め準備し、撮影光学系１２のズーム位置に応じて合焦評価部２５が係数テーブルから重み係数を読み出して決定すればよい。なお、電子カメラがレンズ交換式のカメラである場合、上記の係数テーブルは、個々の交換レンズでそれぞれ準備されることはいうまでもない。
　（Ｂ６）：エッジのボケ幅の差を求めるときに、エッジが勾配方向の両側に隣接するフラットブロックの少なくとも片方が無彩色に近い部分から抽出されたものであれば、ピント判定の信頼性は相対的に高くなる。したがって、合焦評価部２５は、エッジの勾配方向に隣接するフラットブロックで２つの色成分の色差が閾値より低いときに、評価対象ブロックでの重み係数の値を大きくしてもよい。
　（Ｂ７）：動きのある被写体については、ピント判定の信頼性は相対的に低くなる。例えば、スルー画像を用いて被写体の動きベクトルを算出している場合、合焦評価部２５は、評価対象ブロックでの被写体の動きベクトルが大きいほど、評価対象ブロックでの重み係数の値を小さくしてもよい。
　なお、全てのピント判定の結果を均等に扱う場合には、重み係数ωｉを「１」にすればよい。
　そして、合焦評価部２５は、合焦判定となった評価対象ブロックの総数ＡＯｎＦｏｃｕｓおよび判定結果の加重和ＡＴｏｔａｌＲｅｓｕｌｔとを用いて、評価対象ブロックの総合的な判定結果を式（３４）で求めればよい。なお、「ＴＨ＿Ｎ＿ＯＮＦＯＣＵＳ」は、合焦状態を示す閾値であり、「ＴＨ＿ＲＥＡＲＦＯＣＵＳ、ＴＨ＿ＦＲＯＮＴＦＯＣＵＳ」は、それぞれ後ピン状態、前ピン状態を示す閾値である。
Figure JPOXMLDOC01-appb-M000028
　その後、合焦評価部２５は、上記の評価対象ブロックの判定結果を用いて、合焦評価領域全体での合焦状態を判定する。一例として、合焦評価部２５は、評価対象ブロックの判定結果のうち最も数が多いものを合焦評価領域の合焦評価で採用すればよい。
　図１０は、図９に対応するシーンでの合焦評価領域の合焦評価の例を示す図である。図１０において、前ピン、後ピン、合焦と判定された評価対象ブロックには、それぞれ「前」、「後」、「合」を表記する。図１０の例では、合焦評価領域内の評価対象ブロック（連続エッジブロック）の判定結果が後ピン：合焦：前ピンで１：１：３となっており、合焦評価領域全体は前ピンと判定されている。
　ステップ＃１１１：カメラマイコン１４は、＃１１０で取得した合焦評価領域全体での判定結果に基づいて、Δｗを０に近づける方向にＡＦレンズを移動させる。以上で、図２の処理の説明を終了する。
　以下、第１実施形態での作用効果を説明する。
　第１実施形態の電子カメラ１１は、カラー画像の合焦評価領域のうち、ブロック内の画素の勾配量に基づいてブロックタイプを分類し（＃１０４）、合焦評価に適用する評価対象ブロックを選出する（＃１０５）。そして、電子カメラ１１は、評価単位ブロックでのエッジのボケ幅の差（Δｗ）を用いて評価単位ブロックごとにピント判定を行い（＃１０７、＃１０８）、このピント結果を統合して合焦評価領域の合焦状態を判定する（＃１１０）。
　これにより、個々の評価対象ブロック単位でのピント判定を積み上げて合焦評価領域全体での合焦評価を行えるので、様々な色・コントラストのエッジが含まれるカラー画像の合焦状態を評価する場合にもより精度の高い合焦評価が可能となる。
　また、第１実施形態での電子カメラ１１では、隣接する評価対象ブロックの間でエッジが同じ方向に連続するときに、複数の評価対象ブロックをグループ化する（＃１０４）。これにより、小面積の評価対象ブロックと、大面積の評価対象ブロックとを１度の処理で同時に合焦評価領域から抽出できるので、演算の効率が向上する。
　＜変形例１＞
　上記の実施形態の＃１０４において、エッジ検出部２２は、ブロックサイズ以下のスケールでの山・谷状構造の有無を考慮してブロックタイプの分類を行ってもよい。変形例１の場合、＃１０５の（条件２）と同様の考え方に基づいて、＃１０４の（ｉ）の判定では、エッジ検出部２２は式（１１）の代わりに式（３５）を適用すればよい。同様に、＃１０４の（ｉｉ）の判定では、エッジ検出部２２は式（１２）の代わりに式（３６）を適用すればよい。
Figure JPOXMLDOC01-appb-M000029
　かかる変形例１によれば、ブロックサイズ以下の画像構造の存在によってピント判定に悪影響を及ぼす領域を予め排除できるので、判定精度を向上させることができる。
　＜変形例２＞
　上記実施形態の＃１１０において、合焦評価部２５は、判定の順序を適宜変更してもよい。
　一例として、合焦評価部２５は、評価対象ブロック単位で算出したボケ幅の差Δｗを加重平均した後に、ピント判定を行なう。そして、合焦評価部２５は、合焦評価領域内のＭ個の評価対象ブロックについて算出されたボケ幅の差をΔｗｉとして、判定結果の重みαｉを設定する。変形例２の場合、ボケ幅の差を示すΔｗｉがピント判定値となる。
　また、判定結果の重みは連続エッジブロックの長さや隣接フラットブロック間のコントラスト差などにより与えても良いし、＃１１０で説明した上記の（Ｂ１）～（Ｂ７）のいずれかを適用してもよい。なお、判定結果を全て均等に扱う場合はαｉ＝１とすればよい。
　また、合焦評価領域内でのボケ幅の差の平均（Δｗｍｅａｎ）は、式（３７）で求めることができる。
Figure JPOXMLDOC01-appb-M000030
　そして、合焦評価部２５は、ボケ幅の差の平均Δｗｍｅａｎと閾値との比較によるピント判定の結果を、合焦評価領域の判定結果としてもよい。
　＜第２実施形態の説明＞
　図１１は、第２実施形態の合焦評価装置の構成例を示す図である。第２実施形態の合焦評価装置は、画像評価プログラムがインストールされたパーソナルコンピュータである。第２実施形態の例では、電子カメラで撮影されたカラー画像を合焦評価装置が読みこんで、画像評価プログラムによる後処理工程で画像の合焦評価を行う。
　図１１に示すコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。
　データ読込部３２は、画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部３２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。なお、第２実施形態でのデータ読込部３２はカラー画像を取得する取得部として機能する。
　記憶装置３３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置３３には、画像処理プログラムが記録される。なお、記憶装置３３には、データ読込部３２から読み込んだ画像のデータなどを記憶しておくこともできる。
　ＣＰＵ３４は、コンピュータ３１の各部を統括的に制御するプロセッサである。このＣＰＵ３４は、画像評価プログラムの実行によって、第１実施形態の領域設定部２１、エッジ検出部２２、ブロック選出部２３、ピント判定部２４、合焦評価部２５として動作する。
　メモリ３５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭである。
　また、図１２は、第２実施形態の合焦評価装置の動作例を示す流れ図である。図１２の＃２０１～＃２０９の処理は、図２の＃１０２～＃１１０の処理に対応するので重複説明を省略する。なお、＃２０１において、ＣＰＵ３４はデータ読込部３２から電子カメラで撮影されたカラー画像を取得するものとする。そして、＃２１０において、ＣＰＵ３４は、合焦評価に基づいて画像の良否判定を実行し、その結果をモニタ３９に表示する。なお、ＣＰＵ３４は、上記の画像の良否判定の結果に応じて、複数のカラー画像のうちから良好な画像を自動的に選別してもよい。かかる第２実施形態においても、上記の第１実施形態とほぼ同様の効果を得ることができる。
　＜実施形態の補足事項＞
　（補足１）上記実施形態では、エッジの勾配方向に隣接するブロックの両方がフラットブロックであるエッジブロックのみを評価対象ブロックとして扱っている。しかし、＃１０５でも記載しているように、エッジの勾配方向に隣接するブロックの一方がフラットブロックであれば、そのエッジブロックを評価対象ブロックとしてもよい。
　（補足２）上記実施形態でのピント判定値に対する重み付けの例は、上記の（Ｂ１）～（Ｂ７）の例に限定されるものではない。例えば、上記実施形態の＃１０５において、（条件２）を適用しない場合（すなわち、エッジの部分に凹凸の構造が含まれるブロックが評価対象ブロックから除外されない場合）、合焦評価部２５は、エッジの部分に凹凸の構造が含まれる評価対象ブロックでの重み係数の値を小さくしてもよい。
　（補足３）上記実施形態では、画像処理装置の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明では、ＡＳＩＣを用いて領域設定部２１、エッジ検出部２２、ブロック選出部２３、ピント判定部２４、合焦評価部２５の各機能をハードウエア的に実現してもかまわない。
　（補足４）上記の第２実施形態では、電子カメラで撮影された画像を読み込む合焦評価装置の一例としてパーソナルコンピュータの場合を説明したが、例えば第２実施形態の合焦評価装置は、フォトビューアー、プリンタなどの他の電子機器であってもよい。
　以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
１１…電子カメラ、１２…撮影光学系、１３…撮像部、１４…カメラマイコン、１５…第１メモリ、１６…第２メモリ、１７…記録Ｉ／Ｆ、１８…表示部、１９…操作部、２１…領域設定部、２２…エッジ検出部、２３…ブロック選出部、２４…ピント判定部、２５…合焦評価部、２６…記憶媒体、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ

Claims (15)

  1. 　軸上色収差をもつ光学系によって形成された被写体像のカラー画像を取得する取得部と、
    　複数のブロックを含む合焦評価領域を前記カラー画像に設定する領域設定部と、
    　各々のブロックから、色成分ごとのエッジをそれぞれ検出するエッジ検出部と、
    　複数の前記ブロックのうち、合焦評価に適用する評価対象ブロックを選出するブロック選出部と、
    　軸上色収差がある２つの色成分での前記エッジのボケ幅の差を用いて、前記評価対象ブロックごとにピント判定値を求めるピント判定部と、
    　各々の前記評価対象ブロックでのピント判定値を統合して、前記合焦評価領域での前記被写体像の合焦状態を評価する合焦評価部と、
    を備える合焦評価装置。
  2. 　請求項１に記載の合焦評価装置において、
    　前記ブロック選出部は、被写体像のエッジに対応する第１ブロックと、被写体像の平坦部に対応する第２ブロックとを選別し、前記第１ブロックのうち、エッジの勾配方向に隣接するブロックの少なくとも一方が前記第２ブロックであるものを前記評価対象ブロックとして選出する合焦評価装置。
  3. 　請求項１または請求項２に記載の合焦評価装置において、
    　前記ブロック選出部は、隣接する前記評価対象ブロックの間でエッジが同じ方向に連続するときに、複数の前記評価対象ブロックをグループ化する合焦評価装置。
  4. 　請求項１から請求項３のいずれか１項に記載の合焦評価装置において、
    　前記ブロック選出部は、軸上色収差がある２つの色成分について、エッジの勾配が同じ方向に傾斜しているブロックを前記評価対象ブロックとして選出する合焦評価装置。
  5. 　請求項１から請求項４のいずれか１項に記載の合焦評価装置において、
    　前記ブロック選出部は、エッジの部分に凹凸の構造が含まれるブロックを除外して前記評価対象ブロックを選出する合焦評価装置。
  6. 　請求項１から請求項５のいずれか１項に記載の合焦評価装置において、
    　前記ブロック選出部は、エッジで生じるコントラストの差が閾値以上となるブロックを前記評価対象ブロックとして選出する合焦評価装置。
  7. 　請求項１から請求項６のいずれか１項に記載の合焦評価装置において、
    　前記ブロック選出部は、エッジの長さが閾値未満となるブロックを前記評価対象ブロックとして選出する合焦評価装置。
  8. 　請求項１から請求項７のいずれか１項に記載の合焦評価装置において、
    　前記合焦評価部は、異なる色成分の組み合わせによるピント判定値および異なるブロックサイズでのピント判定値の少なくとも一方を重み付け加算して、前記合焦評価領域での前記被写体像の合焦状態を評価する合焦評価装置。
  9. 　請求項８に記載の合焦評価装置において、
    　前記合焦評価部は、エッジでのコントラストの差が大きいほど、前記評価対象ブロックでの重み付けの値を大きくする合焦評価装置。
  10. 　請求項８に記載の合焦評価装置において、
    　前記合焦評価部は、エッジのボケ幅が小さいほど、前記評価対象ブロックでの重み付けの値を大きくする合焦評価装置。
  11. 　請求項８に記載の合焦評価装置において、
    　前記合焦評価部は、前記カラー画像を取得したときの撮影光学系のズーム位置に応じて前記評価対象ブロックでの重み付けの値を決定する合焦評価装置。
  12. 　請求項８に記載の合焦評価装置において、
    　前記合焦評価部は、前記エッジの勾配方向に隣接するブロックの少なくとも一方においてボケ幅の差を求める２つの色成分の色差が閾値より低いときに、前記評価対象ブロックでの重み付けの値を大きくする合焦評価装置。
  13. 　請求項８に記載の合焦評価装置において、
    　前記合焦評価部は、前記評価対象ブロックでの被写体の動きベクトルが大きいほど、前記評価対象ブロックでの重み付けの値を小さくする合焦評価装置。
  14. 　軸上色収差をもつ光学系によって形成された被写体像を撮像する撮像部と、
    　請求項１から請求項１３のいずれか１項に記載の合焦評価装置と、
    を備える撮像装置。
  15. 　軸上色収差をもつ光学系によって形成された被写体像のカラー画像を取得する処理と、
    　複数のブロックを含む合焦評価領域を前記カラー画像に設定する処理と、
    　各々のブロックから、色成分ごとのエッジをそれぞれ検出する処理と、
    　複数の前記ブロックのうち、合焦評価に適用する評価対象ブロックを選出する処理と、
    　軸上色収差がある２つの色成分での前記エッジのボケ幅の差を用いて、前記評価対象ブロックごとにピント判定値を求める処理と、
    　各々の前記評価対象ブロックでのピント判定値を統合して、前記合焦評価領域での前記被写体像の合焦状態を評価する処理と、
    をコンピュータに実行させるプログラム。
PCT/JP2012/005539 2011-09-02 2012-08-31 合焦評価装置、撮像装置およびプログラム WO2013031238A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280042875.7A CN103765276B (zh) 2011-09-02 2012-08-31 对焦评价装置、摄像装置及程序
US14/186,575 US9392159B2 (en) 2011-09-02 2014-02-21 Focus estimating device, imaging device, and storage medium storing image processing program
US15/183,091 US9648227B2 (en) 2011-09-02 2016-06-15 Focus estimating device, imaging device, and storage medium storing image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-191555 2011-09-02
JP2011191555 2011-09-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/186,575 Continuation US9392159B2 (en) 2011-09-02 2014-02-21 Focus estimating device, imaging device, and storage medium storing image processing program

Publications (1)

Publication Number Publication Date
WO2013031238A1 true WO2013031238A1 (ja) 2013-03-07

Family

ID=47755765

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005539 WO2013031238A1 (ja) 2011-09-02 2012-08-31 合焦評価装置、撮像装置およびプログラム

Country Status (4)

Country Link
US (2) US9392159B2 (ja)
JP (1) JP6074954B2 (ja)
CN (1) CN103765276B (ja)
WO (1) WO2013031238A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765276B (zh) 2011-09-02 2017-01-18 株式会社尼康 对焦评价装置、摄像装置及程序
JP6565326B2 (ja) * 2014-08-11 2019-08-28 セイコーエプソン株式会社 撮像表示装置及びその制御方法
JP6467823B2 (ja) * 2014-08-29 2019-02-13 株式会社ニコン 撮像装置
JP6467824B2 (ja) * 2014-08-29 2019-02-13 株式会社ニコン 撮像装置
CN105527778A (zh) * 2016-01-16 2016-04-27 上海大学 电动可调焦液体镜头的自动对焦方法
US9762790B2 (en) * 2016-02-09 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Image pickup apparatus using edge detection and distance for focus assist
US9838594B2 (en) * 2016-03-02 2017-12-05 Qualcomm Incorporated Irregular-region based automatic image correction
JP6672085B2 (ja) * 2016-06-17 2020-03-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020088646A (ja) * 2018-11-27 2020-06-04 凸版印刷株式会社 三次元形状モデル生成支援装置、三次元形状モデル生成支援方法、及びプログラム
JP7262997B2 (ja) * 2018-12-27 2023-04-24 キヤノン株式会社 制御装置、撮像装置、および、プログラム
CN110166692B (zh) * 2019-05-31 2024-02-02 济南中维世纪科技有限公司 一种提高摄像机自动聚焦准确率和速度的方法及装置
CN115661153A (zh) * 2022-12-27 2023-01-31 四川中科友成科技有限公司 一种适用于光电吊舱的镜头自动调焦控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03204277A (ja) * 1990-01-05 1991-09-05 Canon Inc 合焦検出方法
JPH06153054A (ja) * 1992-11-13 1994-05-31 Canon Inc 自動焦点調節装置
JP2010286752A (ja) * 2009-06-15 2010-12-24 Olympus Imaging Corp 撮影装置および撮影方法
JP2011154194A (ja) * 2010-01-27 2011-08-11 Nikon Corp 撮像装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01246516A (ja) 1988-03-29 1989-10-02 Sony Corp 焦点位置検出装置
US5212516A (en) 1989-03-28 1993-05-18 Canon Kabushiki Kaisha Automatic focus adjusting device
JPH03136012A (ja) 1989-10-23 1991-06-10 Olympus Optical Co Ltd 合焦検出装置
US5192998A (en) 1990-01-05 1993-03-09 Canon Kabushiki Kaisha In-focus detecting device
JP2899040B2 (ja) 1990-02-27 1999-06-02 キヤノン株式会社 焦点制御装置
JPH06138362A (ja) 1991-02-06 1994-05-20 Sony Corp オートフォーカス装置
US5742892A (en) 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
JP3503372B2 (ja) 1996-11-26 2004-03-02 ミノルタ株式会社 画素補間装置及びその画素補間方法
JP4497567B2 (ja) * 1998-09-14 2010-07-07 キヤノン株式会社 焦点検出装置、測距装置及び光学機器
JP2000165892A (ja) 1998-11-30 2000-06-16 Matsushita Electric Ind Co Ltd 画素補間方法および画像処理装置
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
US20020135683A1 (en) 1999-12-20 2002-09-26 Hideo Tamama Digital still camera system and method
JP2002214513A (ja) 2001-01-16 2002-07-31 Minolta Co Ltd 光学系制御装置、光学系制御方法および記録媒体
JP2003015026A (ja) 2001-07-02 2003-01-15 Konica Corp 画像処理方法及び画像処理装置
JP4658401B2 (ja) 2001-07-27 2011-03-23 オリンパス株式会社 撮像装置
JP3555607B2 (ja) 2001-11-29 2004-08-18 ミノルタ株式会社 オートフォーカス装置
CN1184502C (zh) * 2002-06-13 2005-01-12 北京中星微电子有限公司 自动对焦技术
JP2004085936A (ja) 2002-08-27 2004-03-18 Olympus Corp カメラ
JP2004157456A (ja) 2002-11-08 2004-06-03 Olympus Corp カメラ及びカメラの測距方法
JP2004219461A (ja) * 2003-01-09 2004-08-05 Minolta Co Ltd 撮像装置およびオートフォーカス装置
US20040165090A1 (en) 2003-02-13 2004-08-26 Alex Ning Auto-focus (AF) lens and process
JP2005156597A (ja) * 2003-11-20 2005-06-16 Canon Inc 自動焦点調節装置及び方法及びプログラム及び記憶媒体
EP1746846B1 (en) 2004-04-12 2019-03-20 Nikon Corporation Image processing device having color shift-correcting function, image processing program, and electronic camera
US20060078217A1 (en) 2004-05-20 2006-04-13 Seiko Epson Corporation Out-of-focus detection method and imaging device control method
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
JP4588000B2 (ja) * 2006-09-04 2010-11-24 三星デジタルイメージング株式会社 撮像装置および撮像方法
EP1986421A3 (en) * 2007-04-04 2008-12-03 Nikon Corporation Digital camera
JP5141129B2 (ja) 2007-08-07 2013-02-13 富士通株式会社 レシート形式制御方法、レシート形式制御プログラム、レシート形式制御装置、およびレシート形式制御システム
JP4246244B2 (ja) 2007-09-14 2009-04-02 オリンパス株式会社 撮像装置
JP5144202B2 (ja) * 2007-10-05 2013-02-13 オリンパス株式会社 画像処理装置およびプログラム
JP2009103800A (ja) 2007-10-22 2009-05-14 Sony Corp オートフォーカス装置および方法、並びにプログラム
US8264591B2 (en) 2007-10-22 2012-09-11 Candela Microsystems (S) Pte. Ltd. Method and system for generating focus signal
JP2009199232A (ja) 2008-02-20 2009-09-03 Seiko Epson Corp 画像処理装置
WO2010061352A2 (en) 2008-11-26 2010-06-03 Hiok Nam Tay Auto-focus image system
US8290301B2 (en) * 2009-02-06 2012-10-16 Raytheon Company Optimized imaging system for collection of high resolution imagery
US8743269B2 (en) 2009-06-15 2014-06-03 Olympus Imaging Corp. Photographing device, photographing method, and playback method
JP5771914B2 (ja) 2009-07-17 2015-09-02 株式会社ニコン 焦点調節装置、およびカメラ
JP5515698B2 (ja) * 2009-12-04 2014-06-11 パナソニック株式会社 冷凍サイクル装置
JP2011130169A (ja) * 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置
US8958009B2 (en) 2010-01-12 2015-02-17 Nikon Corporation Image-capturing device
JP5223912B2 (ja) * 2010-06-17 2013-06-26 株式会社ニコン 撮像装置、および焦点判定プログラム
CN103765276B (zh) 2011-09-02 2017-01-18 株式会社尼康 对焦评价装置、摄像装置及程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03204277A (ja) * 1990-01-05 1991-09-05 Canon Inc 合焦検出方法
JPH06153054A (ja) * 1992-11-13 1994-05-31 Canon Inc 自動焦点調節装置
JP2010286752A (ja) * 2009-06-15 2010-12-24 Olympus Imaging Corp 撮影装置および撮影方法
JP2011154194A (ja) * 2010-01-27 2011-08-11 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
US9392159B2 (en) 2016-07-12
CN103765276B (zh) 2017-01-18
CN103765276A (zh) 2014-04-30
US20160301856A1 (en) 2016-10-13
US20140232927A1 (en) 2014-08-21
US9648227B2 (en) 2017-05-09
JP2013065005A (ja) 2013-04-11
JP6074954B2 (ja) 2017-02-08

Similar Documents

Publication Publication Date Title
JP6074954B2 (ja) 合焦評価装置、撮像装置およびプログラム
US8958009B2 (en) Image-capturing device
EP3327667B1 (en) Image processing device, image capturing apparatus, and image processing method for obatining depth information
US8184196B2 (en) System and method to generate depth data using edge detection
US8243158B2 (en) Image processing device, imaging device, and medium storing image processing program for interpolating at an af pixel position
US8026932B2 (en) Image processing apparatus, image processing method, image processing program, and image pickup apparatus
KR20120081018A (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
CN103888667B (zh) 摄像设备及其控制方法
US8830359B2 (en) Image processing apparatus, imaging apparatus, and computer readable medium
JP5862071B2 (ja) 画像処理装置、撮像装置およびプログラム
JP5949559B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5163733B2 (ja) 撮像装置、および焦点判定プログラム
JP6467823B2 (ja) 撮像装置
JP6467824B2 (ja) 撮像装置
JP2011147076A (ja) 画像処理装置、撮像装置およびプログラム
US20230196517A1 (en) Information processing apparatus, control method of information processing apparatus, and non-transitory computer readable medium
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP6318661B2 (ja) 被写体検出装置、撮像装置及び画像処理プログラム
JP2016096389A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP6326840B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6405638B2 (ja) 被写体検出装置、撮像装置及びプログラム
JP2018141991A (ja) 被写体検出装置
KR101436835B1 (ko) 디지털 영상 처리기에서 광 역광 보정을 수행하기 위한데이터 결정 장치 및 방법
JP2018007188A (ja) Ｍｔｆ特性を用いたモアレの低減装置
JP2017116606A (ja) 焦点調節装置、撮像装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12826926

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12826926

Country of ref document: EP

Kind code of ref document: A1