WO2013100095A1 - 撮像装置、撮像装置の制御方法、及び制御プログラム - Google Patents

撮像装置、撮像装置の制御方法、及び制御プログラム Download PDF

Info

Publication number
WO2013100095A1
WO2013100095A1 PCT/JP2012/083975 JP2012083975W WO2013100095A1 WO 2013100095 A1 WO2013100095 A1 WO 2013100095A1 JP 2012083975 W JP2012083975 W JP 2012083975W WO 2013100095 A1 WO2013100095 A1 WO 2013100095A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
line
color
array
pixels
Prior art date
Application number
PCT/JP2012/083975
Other languages
English (en)
French (fr)
Inventor
田中　誠二
林　健吉
智行 河合
秀和 倉橋
河村　典子
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201280064855.XA priority Critical patent/CN104011575B/zh
Priority to EP12861956.6A priority patent/EP2799922A4/en
Publication of WO2013100095A1 publication Critical patent/WO2013100095A1/ja
Priority to US14/315,447 priority patent/US9113027B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Definitions

  • the present invention relates to an image pickup apparatus, an image pickup apparatus control method, and a control program, and more particularly to an image pickup apparatus including a color image pickup device, an image pickup apparatus control method, and a control program.
  • a primary color Bayer array (see, for example, Patent Documents 1 to 3), which is a color array widely used in color image sensors, is sensitive to the human eye and has the most contributing green (G) pixels to obtain a luminance signal. Red (R) and blue (B) are arranged in a line-sequential manner in a checkered pattern.
  • JP 2002-135793 A Japanese Patent No. 3960965 JP 2004-266369 A
  • a color image sensor employing a conventional Bayer array when thinning out readout in the vertical direction to generate image data for moving images, for example, an image for one line for every 2n (n is a natural number) in the vertical direction.
  • data is read (vertical direction 1 / 2n thinning, even thinning)
  • line image data including only two colors of G and R or G and B is read, and color reproduction cannot be performed.
  • thinning-out reading vertical direction 1 / (2n + 1) thinning, odd thinning
  • image data for one line is read every (2n + 1) lines is common.
  • contrast AF autofocus
  • a so-called contrast AF method for focusing on the basis of the contrast of an image is known.
  • an AF evaluation value is calculated based on the G pixel that contributes most to obtain a luminance signal and is focused. For this reason, increasing the accuracy of the AF evaluation value leads to increasing the accuracy of focusing.
  • the luminance value is low and a highly accurate evaluation value cannot be obtained, and the AF accuracy may deteriorate, and it is required to increase the accuracy of the AF evaluation value.
  • contrast AF is performed based on a thinned-out low-resolution image used for a through image (live image) in order to increase processing speed.
  • the present invention has been made to solve the above-described problems, and an object thereof is to provide an imaging apparatus, an imaging apparatus control method, and a control program capable of accurately calculating an AF evaluation value.
  • an imaging apparatus includes an imaging element including a plurality of photoelectric conversion elements arranged in a first direction and a second direction intersecting the first direction, A color filter provided on a plurality of pixels composed of photoelectric conversion elements, the first filter corresponding to the first color contributing most to obtain a luminance signal, and two or more colors other than the first color
  • a color filter in which a plurality of identical arrangement lines and a plurality of basic arrangement patterns each including at least one arrangement line in which the arrangement of the first filter in the second direction is different from the same arrangement line are arranged repeatedly; From Line image data generating means for reading out pixel signals of a plurality of pixels at a set cycle, and generating line image data of the same array line in the basic array pattern among the plurality of pixels from the read pixel signals; Pixel addition means for adding pixels of at least the first color pixels among line image data of the same array line; and calculation means for calculating an evaluation value of contrast AF based on the line image data obtained by pixel addition. It is characterized by that.
  • line image data of the same array line where the positions of the first filter in the second direction are the same is generated, and at least the first color of the generated line image data of the same array line is generated.
  • An evaluation value of contrast AF is calculated by pixel addition. Thereby, a highly accurate AF evaluation value can be obtained.
  • the line image data generating means may generate line image data of the same array line of the set having the largest number of first filters when there are a plurality of sets of the same array lines in the basic array pattern. .
  • the line image data of the same array line of the set having the largest number of first filters is generated, and at least the pixels of the first color among the generated line image data of the same array line are pixels.
  • the evaluation value of contrast AF is calculated by addition. Thereby, an AF evaluation value with higher accuracy can be obtained.
  • the line image data generating means generates line image data of all the same array lines when there are a plurality of identical array lines in the basic array pattern, and the pixel addition means The pixels of the first color of the line image data of the same array line may be added together.
  • the driving means may generate line image data of the same array line at a position closest to the first direction.
  • the line image data generation means reads line pixel data of the same array line in the basic array pattern among the plurality of pixels as a set cycle for reading the pixel signals of the plurality of pixels from the image sensor. You may make it do.
  • the first filter has 1 in each line of the first direction, the second direction, and the third direction intersecting the first direction and the second direction.
  • One or more second filters corresponding to each color of the second color may be arranged in each line in the first direction and the second direction in the basic array pattern. .
  • the first filter corresponding to the first color that contributes most to obtain the luminance signal is arranged in each line in the first direction to the third direction in the color filter. Therefore, it is possible to improve the reproduction accuracy of the synchronization process in the high frequency region.
  • one second filter corresponding to each of the second or more second colors other than the first color is included in each line in the first direction and the second direction in the basic array pattern. Since they are arranged as described above, the generation of color moire (false color) can be reduced and high resolution can be achieved.
  • the color filter may include a square array corresponding to 2 ⁇ 2 pixels formed of the first filter.
  • the luminance correlation direction is in the minimum direction. It can be determined by the pixel interval.
  • the first color may be a green (G) color and the second color may be a red (R) color and blue (B).
  • the color filter has an R filter, a G filter, and a B filter corresponding to red (R), green (G), and blue (B) colors, and the color filter corresponds to 3 ⁇ 3 pixels.
  • the array may be alternately arranged in the first direction and the second direction.
  • 2 ⁇ 2 G pixels are located at four corners of 5 ⁇ 5 pixels. Will exist.
  • the pixel values of these 2 ⁇ 2 G pixels can be used to determine the four correlation directions.
  • the color filter has an R filter, a G filter, and a B filter corresponding to red (R), green (G), and blue (B) colors, and the color filter corresponds to 3 ⁇ 3 pixels.
  • a pixel when a 5 ⁇ 5 pixel (local area of a mosaic image) is extracted around the first array or the second array, a pixel (R pixel or B pixel) at the center of 5 ⁇ 5 pixels is extracted.
  • R pixel or B pixel There are G pixels adjacent to each other in the horizontal and vertical directions. The pixel values of these G pixels (8 pixels in total) can be used to determine the correlation direction in the four directions.
  • the color filter may be configured to be point symmetric with respect to the center of the basic array pattern.
  • An imaging device of the present invention includes an imaging element including a plurality of photoelectric conversion elements arranged in a predetermined first direction and a second direction intersecting the first direction, and a plurality of photoelectric conversion elements.
  • a color filter provided on a pixel which corresponds to a first filter corresponding to the first color that contributes most to obtain a luminance signal and a second color that is two or more colors other than the first color.
  • a plurality of first identical lines which are array lines along the second direction including at least one second filter in the second direction, wherein the positions of the first filters in the second direction are the same.
  • a color filter in which a basic array pattern including at least a plurality of second identical array lines in which the array of the first filters in the second direction is different from the first identical array line is repeatedly disposed; From the image sensor, multiple Line image data generating means for reading out pixel signals in a prime period, and generating line image data of the same array line of the set having the largest number of first filters among array lines from the read pixel signal; Calculating means for calculating an evaluation value of contrast AF based on the line image data generated by the line image data generating means.
  • the contrast AF evaluation value is calculated based on the line image data of the same array line of the set having the largest number of first filters. Therefore, the contrast AF evaluation value is accurately obtained without pixel addition. Can be calculated.
  • An image pickup apparatus control method includes an image pickup element including a plurality of photoelectric conversion elements arranged in a first direction and a second direction intersecting the first direction, and a plurality of photoelectric conversion elements.
  • a color filter provided on a plurality of pixels, the first filter corresponding to the first color that contributes most to obtain a luminance signal, and a second color of two or more colors other than the first color Are arranged lines along the second direction including at least one second filter corresponding to each of the second filters in the second direction, and a plurality of the same positions in the second direction of the first filter are the same.
  • An imaging device comprising: a color filter in which a basic array pattern including a plurality of array lines and a plurality of at least one array line in which the first filter array in the second direction is different from the same array line is repeatedly disposed
  • pixel signals in a plurality of pixels are read out from the image sensor at a set cycle, and line image data of the same array line in the basic array pattern among the plurality of pixels is generated from the read pixel signals, and generated.
  • line image data of the same array line at least pixels of the first color are added together, and an evaluation value of contrast AF is calculated based on the line image data obtained by pixel addition.
  • the control program of the present invention includes an imaging element including a plurality of photoelectric conversion elements arranged in a predetermined first direction and a second direction intersecting the first direction, and a plurality of photoelectric conversion elements.
  • a color filter provided on a pixel which corresponds to a first filter corresponding to the first color that contributes most to obtain a luminance signal and a second color that is two or more colors other than the first color.
  • a plurality of identical arrangement lines along the second direction including at least one second filter in the second direction, wherein the first filters have the same position in the second direction; And a color filter in which a basic array pattern including a plurality of at least one array line in which the first filter array in the second direction is different from the same array line is repeatedly arranged.
  • a process including:
  • a control program includes a plurality of photoelectric conversion elements arranged in a first direction and a second direction intersecting the first direction, and a plurality of pixels including the plurality of photoelectric conversion elements.
  • a color filter provided above, the first filter corresponding to the first color that contributes most to obtain the luminance signal, and the second color corresponding to two or more second colors other than the first color.
  • FIG. 1 is a schematic block diagram of an imaging apparatus according to a first embodiment. It is a block diagram of the color filter which concerns on 1st Embodiment. It is a figure which shows the basic sequence pattern contained in the color filter which concerns on 1st Embodiment. 6 shows a color filter obtained by dividing a 6 ⁇ 6 pixel basic array pattern included in the color filter according to the first embodiment into an A array and a B array of 3 ⁇ 3 pixels and repeatedly arranging them in the horizontal and vertical directions. FIG. It is a figure which shows the characteristic arrangement
  • FIG. It is a flowchart which shows the process performed by a control part. It is a block diagram of the color filter which concerns on 2nd Embodiment. It is a figure which shows the basic sequence pattern contained in the color filter which concerns on 2nd Embodiment. The color filter which divides
  • FIG. It is a figure which shows the characteristic arrangement
  • FIG. 1 shows a schematic block diagram of the imaging apparatus 10 according to the present embodiment.
  • the imaging device 10 includes an optical system 12, an imaging element 14, an imaging processing unit 16, an image processing unit 20, a driving unit 22, and a control unit 24.
  • the optical system 12 includes, for example, a lens group including a plurality of optical lenses, an aperture adjustment mechanism, a zoom mechanism, an automatic focus adjustment mechanism, and the like.
  • the image sensor 14 includes an image sensor including a plurality of photoelectric conversion elements arranged in a horizontal direction and a vertical direction, for example, a color filter disposed on an image sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor). This is a so-called single-plate type imaging device having the above-described configuration.
  • a CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • FIG. 2 shows a part of the color filter according to this embodiment.
  • any one of the color filters of the three primary colors of red (R), green (G), and blue (B) is disposed on each pixel.
  • the color filter of the first embodiment has the following features (1) to (6).
  • the color filter array has three primary colors of red (R), green (G), and blue (B) in the vertical and horizontal directions (N ⁇ M) pixels (N, M: an integer of 3 or more) in advance.
  • N, M an integer of 3 or more
  • the basic array pattern P is repeatedly arranged in the vertical direction (first direction) and the horizontal direction (second direction). That is, in this color filter, R, G, and B color filters (R filter, G filter, and B filter) are arranged with a predetermined periodicity.
  • the R filter, the G filter, and the B filter are arranged with a predetermined periodicity in this way, the R, G, and B signals read from the color imaging device are synchronized (also referred to as demosaic processing; the same applies hereinafter).
  • processing can be performed according to a repeating pattern.
  • the G filter corresponding to the color (G color in this embodiment) that contributes most to obtain the luminance signal is the first direction of the color filter array. 2 in the horizontal direction and the third direction intersecting the first direction and the second direction in the color filter plane, that is, in each line in the oblique (NE, NW) direction (third direction). Is arranged.
  • NE means an oblique upper right direction
  • NW means an oblique lower right direction.
  • the diagonally upper right and diagonally lower right directions are directions of 45 ° with respect to the horizontal direction, respectively, but if an array of rectangular pixels, it is the direction of the diagonal of the rectangle,
  • the angle can vary depending on the length of the long and short sides.
  • the G filter corresponding to the luminance system pixel is arranged in each line in the vertical direction, the horizontal direction, and the oblique (NE, NW) direction of the color filter array, it can be simultaneously used in the high frequency region regardless of the high frequency direction. The reproducibility of the conversion process can be improved.
  • the color filter array shown in FIG. 2 has an R filter and a B filter corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color in the basic array pattern P.
  • One or more color filters are arranged in each of the vertical and horizontal lines of the color filter array.
  • an optical low-pass filter for suppressing the generation of false colors can be prevented from being arranged in the optical path from the incident surface of the optical system to the imaging surface, or the occurrence of false colors can be prevented even when the optical low-pass filter is applied. Therefore, it is possible to apply a low-frequency component for cutting high-frequency components, and not to impair the resolution.
  • FIG. 3 shows a state in which the basic array pattern P shown in FIG. 2 is divided into 4 ⁇ 3 ⁇ 3 pixels.
  • the basic array pattern P includes a 3 ⁇ 3 pixel A array surrounded by a solid frame and a 3 ⁇ 3 pixel B array surrounded by a broken frame alternately in the horizontal and vertical directions. It can also be understood that the array is arranged.
  • G filters which are luminance system pixels, are arranged at the four corners and the center, and are arranged on both diagonal lines.
  • the R filter is arranged in the horizontal direction with the central G filter interposed therebetween, and the B filter is arranged in the vertical direction.
  • the B filter is arranged in the horizontal direction with the central G filter interposed therebetween.
  • the R filters are arranged in the vertical direction. That is, in the A array and the B array, the positional relationship between the R filter and the B filter is reversed, but the other arrangements are the same.
  • the G filters at the four corners of the A array and the B array are square arrays corresponding to 2 ⁇ 2 pixels by alternately arranging the A array and the B array in the horizontal and vertical directions as shown in FIG. G filter.
  • the color filter array (basic array pattern P) shown in FIG. 2 includes a square array corresponding to 2 ⁇ 2 pixels composed of G filters.
  • the absolute difference values in the vertical direction of the pixel values of these G pixels Is (
  • the absolute difference in the horizontal direction is (
  • the absolute difference in the upper right diagonal direction is
  • the absolute value of the difference in the upper left diagonal direction is
  • the basic array pattern P constituting the color filter array shown in FIG. 2 is point-symmetric with respect to the center of the basic array pattern (the centers of the four G filters). Further, as shown in FIG. 3, the A array and the B array in the basic array pattern are also point-symmetric with respect to the central G filter, and are vertically and horizontally symmetric (line symmetric).
  • the basic array pattern P constituting the color filter array shown in FIG. 2 includes a plurality of the same array lines along the horizontal direction where the positions of the G filters in the horizontal direction are the same.
  • the first line, the third line, the fourth line, and the sixth line in the vertical direction have the same G filter position in the horizontal direction.
  • the second and fifth lines have the same G filter position in the horizontal direction. Therefore, when the contrast AF method is adopted as the AF method and the AF evaluation value is calculated based on the pixel value of the G pixel, the line image data of the same arrangement in which the position of the G filter in the horizontal direction is the same is read, G pixels having the same position in the horizontal direction are added together. Thereby, the precision of AF evaluation value can be raised.
  • the imaging processing unit 16 performs predetermined processing such as amplification processing, correlated double sampling processing, and A / D conversion processing on the imaging signal output from the imaging device 14 and outputs the processed image data to the image processing unit 20 as image data. To do.
  • the image processing unit 20 performs so-called synchronization processing on the image data output from the imaging processing unit 16. That is, for all pixels, image data of colors other than the corresponding color is interpolated from the pixel data of surrounding pixels to generate R, G, B image data of all pixels. Then, so-called YC conversion processing is performed on the generated R, G, B image data to generate luminance data Y and color difference data Cr, Cb. Then, a resizing process for resizing these signals to a size corresponding to the shooting mode is performed.
  • the driving unit 22 performs reading driving of the imaging signal from the imaging device 14 in accordance with an instruction from the control unit 24.
  • the control unit 24 controls the drive unit 22 and the image processing unit 20 according to the shooting mode and the like. Although details will be described later, the control unit 24 instructs the driving unit 22 to read out the imaging signal by a reading method according to the shooting mode, or instructs the image processing unit 20 to select an image according to the shooting mode. Or instructing it to perform processing.
  • control unit 24 instructs the drive unit 22 to read out the image pickup signal using a thinning method according to the instructed shooting mode. To do.
  • the shooting mode includes a still image mode for shooting a still image, and an HD movie that generates a relatively high resolution HD (high definition) movie data by thinning the captured image and records it on a recording medium such as a memory card (not shown).
  • There are video modes such as the through video mode (live view mode) that outputs a relatively low resolution through video (live view image) to a display unit (not shown) by thinning out the mode and the captured image. It is not limited to.
  • the processing shown in FIG. 7 is executed, for example, when the user attempts to focus on the subject by pressing the shutter button (or shutter switch) halfway during still image shooting.
  • the line image data in this case is a set of pixel data of pixels arranged in the horizontal direction.
  • step 100 the drive unit 22 is instructed to read out image data by a thinning method according to the shooting mode.
  • the drive unit 22 is instructed to read line image data of the same array line along the horizontal direction where the position of the G filter in the horizontal direction is the same in the basic array pattern P from the image sensor 14 (this book In the embodiment, the drive unit 22 and the control unit 24 correspond to line image data generation means).
  • the line image data of the first line, the third line, the fourth line, and the sixth line in the basic array pattern P have the same position in the horizontal direction of the G filter.
  • the line image data of the second line and the fifth line also have the same position in the horizontal direction of the G filter.
  • the first set of line image data of the first line, the third line, the fourth line, and the sixth line is compared with the second set of line image data of the second line and the fifth line.
  • the number of G pixels in the horizontal direction in the basic array pattern P is large. Therefore, in the present embodiment, the drive unit 22 is instructed to read line image data of the first set of four lines having a large number of G pixels.
  • step 102 a pixel addition process is performed in which the G pixels of the line image data having the same arrangement in the horizontal direction of the read G filter are added together, and AF is performed based on the image data after the pixel addition process.
  • the image processing unit 20 is instructed to execute a process for calculating an evaluation value (in the present embodiment, the image processing unit 20 and the control unit 24 correspond to a pixel addition unit and a calculation unit).
  • the G pixels of the line image data of the same arrangement line having the larger number of G pixels are added together. It is possible to calculate a high AF evaluation value.
  • the control unit 24 and the image processing unit 20 can be configured by a computer including a CPU, ROM, RAM, nonvolatile ROM, and the like.
  • the processing program for the above processing can be stored in advance in a nonvolatile ROM, for example, and can be read and executed by the CPU.
  • the color filter includes a plurality of lines having the same arrangement in which the positions of the G pixels in the horizontal direction are the same in the basic arrangement pattern P, and the same color pixels of the read line image data of the same arrangement Since pixel addition processing for adding pixels to each other is executed, it is possible to calculate an AF evaluation value with high accuracy.
  • the positions in the horizontal direction of the line image data of all the same array lines. May be added to the same G pixels, but may be added to some of the same array lines.
  • the G pixels of the line image data of the same arrangement line with the larger number of G pixels are added together.
  • the G pixels of the line image data of the same arrangement line of the second line and the fifth line with the smaller number of G pixels may be pixel-added (second line). Good.
  • the G pixels of the line image data of the same array line may be pixel-added for every group. That is, the first line of line image data in which the G pixels of the first set of line image data having the larger number of G pixels are added together, and the second set of line image data having a smaller number of G pixels.
  • the AF evaluation value may be calculated based on image data obtained by alternately arranging the line image data of the second line obtained by adding the G pixels to each other in the vertical direction.
  • the above processing may be executed not only when shooting a still image but also when shooting a moving image.
  • FIG. 8 shows a color filter according to this embodiment.
  • the color filter according to the present embodiment includes a basic array pattern P (pattern indicated by a thick frame) composed of a square array pattern corresponding to 6 ⁇ 6 pixels, and the basic array pattern P is horizontal. It is repeatedly arranged in the direction and the vertical direction. That is, in this color filter array, R, G, and B color filters (R filter, G filter, and B filter) are arrayed with a predetermined periodicity.
  • the G filter is arranged in each line in the vertical direction and the horizontal direction of the color filter array.
  • one or more R filters and B filters are arranged in each of the vertical and horizontal lines of the color filter array in the basic array pattern P.
  • FIG. 9 shows a state in which the basic array pattern P shown in FIG. 8 is divided into 4 ⁇ 3 ⁇ 3 pixels.
  • the basic array pattern P includes a 3 ⁇ 3 pixel A array surrounded by a solid frame and a 3 ⁇ 3 pixel B array surrounded by a broken frame alternately in the horizontal and vertical directions. It can also be understood that the array is arranged.
  • an R filter is arranged at the center, B filters are arranged at the four corners, and G filters are arranged at the top, bottom, left and right with the center R filter interposed therebetween.
  • a B filter is disposed at the center, R filters are disposed at the four corners, and G filters are disposed vertically and horizontally with the center B filter interposed therebetween.
  • the color filter of the first embodiment can also be regarded as the A array and the B array being alternately arranged in the horizontal and vertical directions.
  • the eight G pixels are arranged in a cross shape as shown in FIG. 10B. If these G pixels are G1, G2, G3, G4 from left to right and G5, G6, G7, G8 from top to bottom, the pixels G1G2, G2G3 are adjacent in the horizontal direction, and the pixels G5G6, G7G8 is adjacent in the vertical direction, pixel G6G3 and pixel G2G7 are adjacent in the upper left diagonal direction, and pixel G6G2 and pixel G3G7 are adjacent in the upper right diagonal direction.
  • the direction in which the change in luminance is the smallest (the correlation direction with the high correlation) among the horizontal, vertical, and diagonal (NE, NW) directions. ) Can be determined by the minimum pixel interval.
  • correlation direction there is a correlation (correlation direction) in the direction of taking the smallest difference absolute value among these four correlation absolute values. Note that the determined correlation direction can be used when performing a synchronization process or the like.
  • the basic array pattern P constituting the color filter shown in FIG. 8 is point-symmetric with respect to the center of the basic array pattern P.
  • the A array and the B array in the basic array pattern are point-symmetric with respect to the center R filter or G filter, respectively, and are symmetrical (line symmetric) vertically and horizontally. ing.
  • the basic array pattern P constituting the color filter array shown in FIG. 8 includes a plurality of the same array lines along the horizontal direction where the positions of the G filters in the horizontal direction are the same.
  • the first, third, fourth, and sixth lines in the vertical direction all have the same G filter position in the horizontal direction.
  • the second and fifth lines have the same G filter position in the horizontal direction.
  • the color filter according to the present embodiment has the same features as the features (1) and (3) to (6) of the color filter according to the first embodiment.
  • the first set of the line image data of the first line, the third line, the fourth line, and the sixth line is the first line image data of the second line and the fifth line.
  • the control unit 24 instructs the drive unit 22 to read the line image data of the second set of two lines having a large number of G pixels in Step 100 of FIG.
  • step 102 of FIG. 7 the control unit 24 executes pixel addition processing for adding the G pixels of the line image data having the same arrangement in the horizontal direction of the read G filter and adding the pixels. Based on the processed image data, the image processing unit 20 is instructed to execute a process of calculating an AF evaluation value.
  • the G pixels of the line image data of the same arrangement line having the larger number of G pixels are added together. It is possible to calculate a high AF evaluation value.
  • the G pixels of the line image data of the first line, the third line, the fourth line, and the sixth line with the smaller number of G pixels are added (second line). You may do it.
  • the G pixels of the line image data of the same array line may be pixel-added for every group. That is, the first line of line image data in which the G pixels of the second set of line image data having the larger number of G pixels are added to each other, and the first set of line image data having a smaller number of G pixels.
  • the AF evaluation value may be calculated based on image data obtained by alternately arranging the line image data of the second line obtained by adding the G pixels to each other in the vertical direction.
  • color filter array is not limited to those described in the above embodiments, and the present invention can also be applied to an image pickup apparatus having an image pickup element having the following color filter array.
  • a basic filter pattern P is a 3 ⁇ 3 pixel color filter array.
  • This color filter array is a repetition of a basic array pattern in which G filters are arranged at the center and four corners of 3 ⁇ 3 pixels, and the same number of R or B is arranged in the remaining five pixels.
  • a basic filter pattern P is a 4 ⁇ 4 pixel color filter array.
  • G is arranged on two diagonal lines of 4 ⁇ 4 pixels, and R and B pixels are in the horizontal and vertical lines of 4 ⁇ 4 pixels in the remaining pixel positions.
  • One or more basic arrangement patterns which are arranged so that one or more elements are arranged and set so that the number of G is larger than the number of R and B, are repeated.
  • the basic array pattern P is 5 ⁇ 5 pixels as shown in FIG.
  • the basic array pattern P is 5 ⁇ 5 pixels as shown in FIG.
  • G is arranged on two diagonal lines of 5 ⁇ 5 pixels, and R and B pixels are in the horizontal and vertical lines of 5 ⁇ 5 pixels in the remaining pixel positions.
  • One or more basic arrangement patterns which are arranged so that one or more elements are arranged and set so that the number of G is larger than the number of R and B, are repeated.
  • the basic array pattern P is 6 ⁇ 6 pixels as shown in FIG.
  • the first sub-array in which G is arranged in a rectangular shape on the outer periphery of R or B and the second sub-array in which G is arranged in the center are respectively two in the horizontal direction and the vertical direction.
  • a basic arrangement pattern arranged so as to be alternately adjacent to each other is repeated.
  • one or more R and B are also arranged in each line in the oblique (NE, NW) direction (third direction) of the color filter arrangement.
  • the basic array pattern P is 7 ⁇ 7 pixels as shown in FIG.
  • FIG. 17 there are a color filter array, a color filter array having a basic array pattern P of 8 ⁇ 8 pixels, and the like.
  • N and M are preferably 10 or less in consideration of ease of image processing such as synchronization processing and thinning processing during moving image shooting.
  • the color imaging device having the RGB color filters of the three primary colors has been described.
  • the present invention is not limited to this, and the RGB primary colors + other colors (for example, emerald (E)).
  • the present invention can also be applied to four color filters, for example, a color filter as shown in FIG.
  • the present invention can also be applied to color filters having white or transparent (W) filters as other colors.
  • W filter may be arranged instead of the emerald in FIG. In this case, a combination of W and G, or W is the first color that contributes most to the luminance signal.
  • the present invention can also be applied to a color image pickup device having four color complementary color filters in which G is added to C (cyan), M (magenta), and Y (yellow) which are complementary colors of the primary colors RGB.
  • the same group of the same number of G filters among the same array lines in which the positions of the G pixels in the horizontal direction are the same in the basic array pattern P without pixel addition The line image data of the array lines may be read, and the contrast AF evaluation value may be calculated based on the read line image data. Thereby, the evaluation value of contrast AF can be calculated with high accuracy without pixel addition.
  • each line when the line image data is read out by 1/3 decimation in the vertical direction is the number of G filters in the same array line where the positions of the G filters in the horizontal direction are the same. Is the same sequence line of the set with the largest number. Therefore, the contrast AF evaluation value may be calculated based on the line image data without adding pixels to the line image data of the same array line.
  • lines of the same array in which the positions of the G pixels in the horizontal direction are the same in the basic array pattern P are read from the image sensor 14 and the same color pixels of the read line image data of the same array are read out.
  • the pixel addition process for adding the pixels is performed.
  • the pixel signals of the pixels for all the lines are read, and the lines of the same array line in which the positions of the G pixels in the horizontal direction in the basic array pattern P are the same.
  • the image data may be selectively used (without using or storing the line image data of other lines), and these may be pixel-added.
  • pixel signals of pixels for all lines are read out and temporarily stored in a memory such as a RAM, and line image data of the same array line in which the positions of the G pixels in the horizontal direction in the basic array pattern P are the same are selectively selected.
  • the pixels may be added (in this case, the imaging processing unit 16 or the image processing unit 20 corresponds to the line image data generating unit).
  • Imaging device 12 Optical system 14 Imaging element 16 Imaging processing part 20 Image processing part 22 Drive part 24 Control part P Basic arrangement pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　精度良くＡＦ評価値を算出する。　撮像装置（１０）は、第１、第２の方向に配列された複数の光電変換素子を含む撮像素子（１４）と、第１、第２のフィルタを第２の方向に含む第２の方向に沿った配列ラインであって、第１のフィルタの第２の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタの配列が異なる配列ラインとを複数含む基本配列パターンが繰り返されたカラーフィルタと、撮像素子（１４）から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、基本配列パターン内における同一配列ラインのライン画像データを各々生成し、生成したライン画像データのうち第１の色の画素同士を画素加算し、画素加算したライン画像データに基づいて画像データを生成し、生成した画像データに基づいて、コントラストＡＦの評価値を算出する画像処理部（２０）と、を備える。

Description

撮像装置、撮像装置の制御方法、及び制御プログラム
　本発明は、撮像装置、撮像装置の制御方法、及び制御プログラムに係り、特に、カラー撮像素子を備えた撮像装置、撮像装置の制御方法、及び制御プログラムに関する。
　カラー撮像素子で広く用いられている色配列である原色系ベイヤー配列（例えば特許文献１～３参照）は、人間の目に敏感で、輝度信号を得るために最も寄与する緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置している。
特開２００２－１３５７９３号公報 特許第３９６０９６５号公報 特開２００４－２６６３６９号公報
　従来のベイヤー配列を採用したカラー撮像素子では、例えば動画用の画像データを生成するために、垂直方向に間引き読み出しする場合、例えば垂直方向に２ｎ（ｎは自然数）ライン毎に１ライン分の画像データを読み出した場合（垂直方向１／２ｎ間引き、偶数間引き）、ＧとＲ又はＧとＢの２色しか含まないライン画像データが読み出されることになり色再現できない。このため、（２ｎ＋１）ライン毎に１ライン分の画像データを読み出す間引き読出し（垂直方向１／（２ｎ＋１）間引き、奇数間引き）が一般的である。また、それ以外の間引き読出しを行う場合においても、色再現を得るために、ＧとＲを含む水平ラインとＧとＢを含む水平ラインを交互に読み出す必要があり、読出し方が非常に制限される。
　ところで、ＡＦ（オートフォーカス）方式として、画像のコントラストに基づいてピントを合わせる所謂コントラストＡＦ方式が知られている。このコントラストＡＦ方式では、輝度信号を得るために最も寄与するＧ画素に基づいてＡＦ評価値を算出してピント合わせをする。このため、ＡＦ評価値の精度を高くすることが、ピント合わせの精度を高くすることにつながる。特に、低照度の撮影条件下では輝度値が低く精度の高い評価値が得られずＡＦの精度が悪くなる場合があり、ＡＦ評価値の精度を高くすることが求められる。一般的にコントラストＡＦは、処理高速化のためにスルー画（ライビュー画像）に用いられる間引かれた低解像度の画像に基づいて行われる。
　しかしながら、従来のベイヤー配列では、間引かれた低解像度画像を生成する際に、前述のようにＧとＲを含む水平ラインとＧとＢを含む水平ラインを交互に読出す必要があり、読出し方が制限されるため、低照度の撮影条件下で精度のよいＡＦ評価値を得ることが困難である、という問題があった。
　本発明は上記問題点を解決するためになされたものであり、精度良くＡＦ評価値を算出することができる撮像装置、撮像装置の制御方法、及び制御プログラムを提供することを目的とする。
　上記課題を解決するため、本発明の撮像装置は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとを第２の方向に少なくとも一つずつ含む第２の方向に沿った配列ラインであって、第１のフィルタの第２の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するライン画像データ生成手段と、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算する画素加算手段と、画素加算したライン画像データに基づいて、コントラストＡＦの評価値を算出する算出手段と、を備えたことを特徴とする。
　この発明によれば、第１のフィルタの第２の方向における位置が同一となる同一配列ラインのライン画像データを各々生成し、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算してコントラストＡＦの評価値を算出する。これにより、精度の高いＡＦ評価値を得ることができる。
　なお、ライン画像データ生成手段は、基本配列パターン内において同一配列ラインが複数組存在する場合、第１のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成するようにしてもよい。
　この発明によれば、第１のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成して、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算してコントラストＡＦの評価値を算出する。これにより、より精度の高いＡＦ評価値を得ることができる。
　また、ライン画像データ生成手段は、基本配列パターン内において同一配列ラインが複数組存在する場合、全ての組の同一配列ラインのライン画像データを各々生成し、画素加算手段は、全ての組毎に、同一配列ラインのライン画像データの第１の色の画素同士を画素加算するようにしてもよい。
　この発明によれば、同一配列ラインが複数組存在する場合には、全ての組の同一配列ラインのライン画像データを各々生成し、全ての組毎に、同一配列ラインのライン画像データの第１の色の画素同士を画素加算する。これにより、より精度の高いＡＦ評価値を得ることができる。
　また、駆動手段は、第１の方向に最も近い位置の同一配列ラインのライン画像データを各々生成するようにしてもよい。
　この発明によれば、第１の方向に最も近い位置の同一配列ラインのライン画像データを各々生成して画素加算するので、精度の良いＡＦ評価値が得られる。
　また、ライン画像データ生成手段は、撮像素子から複数の画素における画素信号を読み出す設定された周期として、複数の画素のうち基本配列パターン内における同一配列ラインの画素信号を読み出してライン画像データを生成するようにしてもよい。
　また、第１のフィルタは、カラーフィルタ面内において、第１の方向と、第２の方向と、第１の方向及び第２の方向と交差する第３の方向と、の各ライン内に１つ以上配置され、第２の色の各色に対応する第２のフィルタは、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に１つ以上配置された構成としてもよい。
　この発明によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ内において、第１の方向～第３の方向の各ライン内に配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができる。また、第１の色以外の２色以上の第２の色の各色に対応する第２のフィルタについては、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を低減して高解像度化を図ることができる。
　また、カラーフィルタは、第１のフィルタからなる２×２画素に対応する正方配列を含むようにしてもよい。
　この発明によれば、２×２画素に対応する正方配列の４画素の各画素間の画素値の差分値に基づいて輝度の相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。
　また、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）である構成としてもよい。
　また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３ ×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成してもよい。
　この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。
　また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成してもよい。
　この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。
　また、カラーフィルタは、基本配列パターンの中心に対して点対称である構成としてもよい。
　この発明によれば、後段の処理回路の回路規模を小さくすることが可能になる。
　本発明の撮像装置は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとを第２の方向に少なくとも一つずつ含む第２の方向に沿った配列ラインであって、第１のフィルタの第２の方向における位置が同一となる複数の第１の同一配列ラインと、第１の同一配列ラインとは第２の方向における第１のフィルタの配列が異なる複数の第２の同一配列ラインとを少なくとも含む基本配列パターンが、繰り返し配置されたカラーフィルタと、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、配列ラインのうち第１のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成するライン画像データ生成手段と、ライン画像データ生成手段により生成したライン画像データに基づいて、コントラストＡＦの評価値を算出する算出手段と、を備えたことを特徴とする。
　この発明によれば、第１のフィルタの数が最も多い組の同一配列ラインのライン画像データに基づいてコントラストＡＦの評価値を算出するので、画素加算せずに、精度良くコントラストＡＦの評価値を算出することができる。
　本発明の撮像装置の制御方法は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとを第２の方向に少なくとも一つずつ含む第２の方向に沿った配列ラインであって、第１のフィルタの第２の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置の制御方法であって、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成し、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算し、画素加算したライン画像データに基づいて、コントラストＡＦの評価値を算出することを特徴とする。
　本発明の制御プログラムは、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとを第２の方向に少なくとも一つずつ含む第２の方向に沿った配列ラインであって、第１のフィルタの第２の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置を制御するコンピュータに、撮像素子から、複数の画素における画素信号を設定された周期で読出すステップと、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するステップと、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算するステップと、画素加算したライン画像データに基づいて、コントラストＡＦの評価値を算出するステップと、を含む処理を実行させることを特徴とする。
　本発明の制御プログラムは、コンピュータに、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとを第２の方向に少なくとも一つずつ含む第２の方向に沿った配列ラインであって、第１のフィルタの第２の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像素子から、複数の画素における画素信号を設定された周期で読み出された画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するステップと、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算するステップと、画素加算したライン画像データに基づいて、コントラストＡＦの評価値を算出するステップと、を含む処理を実行させることを特徴とする。
　本発明によれば、精度良くＡＦ評価値を算出することができる、という効果を有する。
第１実施形態に係る撮像装置の概略ブロック図である。 第１実施形態に係るカラーフィルタの構成図である。 第１実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第１実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第１実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 第１実施形態に係る画素加算処理について説明するための図である。 制御部で実行される処理を示すフローチャートである。 第２実施形態に係るカラーフィルタの構成図である。 第２実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第２実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第２実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 第２実施形態に係る画素加算処理について説明するための図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 Ｇ画素の多いラインを読み出してＡＦ評価値を算出する場合について説明するための図である。 Ｇ画素の多いラインを読み出してＡＦ評価値を算出する場合について説明するための図である。 カラーフィルタの変形例を示す図である。
　以下、図面を参照して本発明の実施形態について説明する。
（第１実施形態）
　図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。
　光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。
　撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。
　図２には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。
＜カラーフィルタ配列の特徴＞
　第１実施形態のカラーフィルタは、下記の特徴(1)～(6)を有している。
〔特徴(1)〕
　カラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のフィルタが、垂直方向及び水平方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、緑（Ｇ）のフィルタと、赤（Ｒ）及び青（Ｂ）の少なくとも一方の色のフィルタと、が垂直方向及び水平方向に各々配置された基本配列パターンが、繰り返し配置されたものとなっている。
　本実施形態に係る図２に示すカラーフィルタは、一例として６×６画素（Ｎ＝Ｍ＝６）に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが垂直方向（第１の方向）及び水平方向（第２の方向）に繰り返し配置されている。即ち、このカラーフィルタは、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化処理（デモザイク処理ともいう。以下同じ）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
〔特徴(2)〕
　図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の第１の方向である垂直方向、第２の方向である水平方向、及びカラーフィルタ面内において、第１の方向及び第２の方向と交差する第３の方向、すなわち斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に配置されている。なお、ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり、長辺・短辺の長さに応じてその角度は変わりうる。
　輝度系画素に対応するＧフィルタが、カラーフィルタ配列の垂直方向、水平方向、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
〔特徴(3)〕
　図２に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。
　Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。
　これにより、偽色の発生を抑制するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルターを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
　〔特徴(4)〕
　図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
　図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　また、Ａ配列とＢ配列の４隅のＧフィルタは、図４に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。
　すなわち、図２に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。
　いま、図５に示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図５に示す配置になっている。
　図５に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１－Ｇ３｜＋｜Ｇ２－Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１－Ｇ２｜＋｜Ｇ３－Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２－Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１－Ｇ４｜となる。
　これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。
　いま、図４又は図５に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。判別された相関方向は、同時化処理等を行う際に利用することができる。
　〔特徴(5)〕
　図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図３に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。
　このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
　〔特徴(6)〕
　図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、Ｇフィルタの水平方向における位置が同一となる、水平方向に沿った同一配列ラインを複数含んでいる。例えば、図６に示すように、垂直方向に１ライン目、３ライン目、４ライン目、６ライン目は、何れも水平方向におけるＧフィルタの位置が同一となっている。また、２ライン目と５ライン目も、水平方向におけるＧフィルタの位置が同一となっている。従って、ＡＦ方式としてコントラストＡＦ方式を採用し、Ｇ画素の画素値に基づいてＡＦ評価値を算出する際には、水平方向におけるＧフィルタの位置が同一の同一配列のライン画像データを読み出して、水平方向における位置が同一のＧ画素同士を画素加算する。これにより、ＡＦ評価値の精度を高めることができる。
　撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画像データとして画像処理部２０に出力する。
　画像処理部２０は、撮像処理部１６から出力された画像データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画像データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画像データを生成する。そして、生成したＲ，Ｇ，Ｂの画像データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。
　駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。
　制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。
　撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。
　撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画（ライブビュー画像）を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがあるが、撮影モードの種類はこれらに限られるものではない。
　次に、本実施形態の作用として、制御部２４で実行される処理について、図７に示すフローチャートを参照して説明する。
　なお、図７に示す処理は、例えばユーザーが静止画撮影時にシャッターボタン（またはシャッタースイッチ）を半押しすることにより被写体にピントを合わせようとした場合に実行される。また、以下では、垂直方向において予め定めた位置のライン画像データを読み出す場合、すなわち、垂直方向における予め定めた位置のライン以外のラインを間引いて（除いて）読み出す場合について説明する。また、この場合のライン画像データとは、水平方向に沿って並ぶ画素の画素データの集合である。
　まず、ステップ１００では、撮影モードに応じた間引き方法で画像データを読み出すように駆動部２２に指示する。
　本実施形態では、撮像素子１４から基本配列パターンＰ内においてＧフィルタの水平方向における位置が同一の水平方向に沿った同一配列ラインのライン画像データを各々読み出すように駆動部２２に指示する（本実施形態では、駆動部２２及び制御部２４が、ライン画像データ生成手段に対応する）。
　図６に示すカラーフィルタの場合、基本配列パターンＰ内において１ライン目、３ライン目、４ライン目、及び６ライン目のライン画像データは、Ｇフィルタの水平方向における位置が同一である。また、２ライン目と５ライン目のライン画像データも、Ｇフィルタの水平方向における位置が同一である。ここで、１ライン目、３ライン目、４ライン目、及び６ライン目のライン画像データの第１の組は、２ライン目と５ライン目のライン画像データの第２の組と比較すると、基本配列パターンＰ内における水平方向のＧ画素の数が多い。従って、本実施形態では、Ｇ画素の数が多い第１の組の４個のラインのライン画像データを読み出すように駆動部２２に指示する。
　ステップ１０２では、読み出されたＧフィルタの水平方向における位置が同一配列のライン画像データのＧ画素同士を画素加算する画素加算処理を実行すると共に、画素加算処理後の画像データに基づいて、ＡＦ評価値を算出する処理を実行するよう画像処理部２０に指示する（本実施形態では、画像処理部２０及び制御部２４が、画素加算手段及び算出手段に対応する）。
　これにより、図６に示すように、基本配列パターンＰ毎に、１ライン目、３ライン目、４ライン目、及び６ライン目のライン画像データの水平方向における位置が同一のＧ画素同士が画素加算されたライン画像データが生成される（第１ライン）。そして、基本配列パターンＰ毎に画素加算されたライン画像データに基づく画像データがＡＦ評価値算出用の画像データとなり、この画像データに基づいて、コントラストＡＦ用のＡＦ評価値が算出される。
　このように、Ｇ画素の位置が同一配列のラインの組が複数組存在する場合には、Ｇ画素の数が多い方の同一配列ラインのライン画像データのＧ画素同士を画素加算するので、精度の高いＡＦ評価値を算出することが可能となる。
　なお、制御部２４及び画像処理部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。
　このように、本実施形態では、カラーフィルタが基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列のラインを複数含み、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行するので、精度の高いＡＦ評価値を算出することが可能となる。
　なお、上記のように、基本配列パターンＰ内にＧ画素の水平方向における位置が同一となる同一配列ラインが３ライン以上存在する場合に、全ての同一配列ラインのライン画像データの水平方向における位置が同一のＧ画素同士を画素加算するようにしてもよいが、一部の同一配列ラインについて画素加算するようにしてもよい。この場合、少なくとも垂直方向に最も近い位置の同一配列ラインのライン画像データを各々読み出して、水平方向における位置が同一のＧ画素同士を画素加算することが好ましい。これにより、良好な画質の画像が得られる。
　また、上記では、Ｇ画素の位置が同一配列のラインの組が複数組存在する場合に、Ｇ画素の数が多い方の同一配列ラインのライン画像データのＧ画素同士を画素加算するようにしたが、例えば図６に示すように、Ｇ画素の数が少ない方の２ライン目と５ライン目の同一配列ラインのライン画像データのＧ画素同士を画素加算する（第２ライン）ようにしてもよい。
　また、全ての組毎に、同一配列ラインのライン画像データのＧ画素の画素同士を画素加算するようにしてもよい。すなわち、Ｇ画素の数が多い方の第１の組のライン画像データのＧ画素同士を画素加算した第１ラインのライン画像データと、Ｇ画素の数が少ない第２の組のライン画像データのＧ画素同士を画素加算した第２ラインのライン画像データと、を垂直方向に交互に配置した画像データに基づいてＡＦ評価値を算出するようにしてもよい。
　また、本実施形態では、水平方向における位置が同一のＧ画素同士の画素値を単純に加算する場合について説明したが、これに限らず、重み付け加算するようにしてもよい。
　また、静止画の撮影時に限らず、動画の撮影時に上記の処理を実行するようにしてもよい。
（第２実施形態）
　次に、本発明の第２実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。
　図８には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　また、図８に示すカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されている。
　また、図８に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。
　図９は、図８に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
　図９に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　Ａ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　図１０Ａに示すように、第１実施形態のカラーフィルタは、上記Ａ配列とＢ配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。
　いま、図１０Ａに示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図１０Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７、Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ２Ｇ３が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。
　従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。
　即ち、水平方向の差分絶対値の和は｜Ｇ１－Ｇ２｜＋｜Ｇ３－Ｇ４｜、水平方向の差分絶対値の和は｜Ｇ５－Ｇ６｜＋｜Ｇ７－Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６－Ｇ２｜＋｜Ｇ３－Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６－Ｇ３｜＋｜Ｇ２Ｇ７｜となる。
　これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化処理等を行う際に利用することができる。
　また、図８に示すカラーフィルタを構成する基本配列パターンＰは、その基本配列パターンＰの中心に対して点対称になっている。
　図９に示したように、基本配列パターン内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。
　また、図８に示すカラーフィルタ配列を構成する基本配列パターンＰは、Ｇフィルタの水平方向における位置が同一となる、水平方向に沿った同一配列ラインを複数含んでいる。例えば、図１１に示すように、垂直方向に１ライン目、３ライン目、４ライン目、６ライン目は、何れも水平方向におけるＧフィルタの位置が同一となっている。また、２ライン目と５ライン目も、水平方向におけるＧフィルタの位置が同一となっている。
　このように本実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(3)～(6)と同じ特徴を有している。
　ここで、図１１に示すように、１ライン目、３ライン目、４ライン目、及び６ライン目のライン画像データの第１の組は、２ライン目と５ライン目のライン画像データの第２の組と比較すると、基本配列パターンＰ内における水平方向のＧ画素の数が少ない。従って、本実施形態では、制御部２４は、図７のステップ１００において、Ｇ画素の数が多い第２の組の２個のラインのライン画像データを読み出すように駆動部２２に指示する。
　そして、図７のステップ１０２では、制御部２４は、読み出されたＧフィルタの水平方向における位置が同一配列のライン画像データのＧ画素同士を画素加算する画素加算処理を実行すると共に、画素加算処理後の画像データに基づいて、ＡＦ評価値を算出する処理を実行するよう画像処理部２０に指示する。
　これにより、図１１に示すように、基本配列パターンＰ毎に、２ライン目と５ライン目のライン画像データの水平方向における位置が同一のＧ画素同士が画素加算されたライン画像データが生成される（第１ライン）。そして、基本配列パターンＰ毎に画素加算されたライン画像データに基づく画像データがＡＦ評価値算出用の画像データとなり、この画像データに基づいて、コントラストＡＦ用のＡＦ評価値が算出される。
　このように、Ｇ画素の位置が同一配列のラインの組が複数組存在する場合には、Ｇ画素の数が多い方の同一配列ラインのライン画像データのＧ画素同士を画素加算するので、精度の高いＡＦ評価値を算出することが可能となる。
　なお、図１１に示すように、Ｇ画素の数が少ない方の１ライン目、３ライン目、４ライン目、及び６ライン目のライン画像データのＧ画素同士を画素加算する（第２ライン）ようにしてもよい。
　また、全ての組毎に、同一配列ラインのライン画像データのＧ画素の画素同士を画素加算するようにしてもよい。すなわち、Ｇ画素の数が多い方の第２の組のライン画像データのＧ画素同士を画素加算した第１ラインのライン画像データと、Ｇ画素の数が少ない第１の組のライン画像データのＧ画素同士を画素加算した第２ラインのライン画像データと、を垂直方向に交互に配置した画像データに基づいてＡＦ評価値を算出するようにしてもよい。
　また、カラーフィルタ配列は、上記各実施形態で説明したものに限られるものではなく、以下のようなカラーフィルタ配列の撮像素子を有する撮像装置にも、本発明は適用できる。
　例えば、上記特徴(1)、(2)、(4)、(5)、(6)を有するカラーフィルタ配列として、図１２に示すように、基本配列パターンＰが３×３画素のカラーフィルタ配列がある。このカラーフィルタ配列は、３×３画素のうち中心と４隅にＧフィルタが配置され、残りの５画素にＲまたはＢが同数配置された基本配列パターンが繰り返されたものである。
　また、上記特徴(1)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図１３に示すように、基本配列パターンＰが４×４画素のカラーフィルタ配列がある。このカラーフィルタ配列は、４×４画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が４×４画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。
　また、上記特徴(1)、(2)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図１４に示すように基本配列パターンＰが５×５画素のカラーフィルタ配列がある。このカラーフィルタ配列は、５×５画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が５×５画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。
　また、上記特徴(1)、(2)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図１５に示すように基本配列パターンＰが６×６画素のカラーフィルタ配列がある。このカラーフィルタ配列は、ＧがＲまたはＢの外周に矩形状に配置された第１サブ配列と、Ｇが中央部に配置された第２サブ配列とがそれぞれ２つずつ水平方向、垂直方向に交互に互いに隣接するように配置された基本配列パターンが繰り返されたものである。この配列においては、特徴(3)において、Ｒ及びＢもカラーフィルター配列の斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に１つ以上配置される特徴も有する。
　また、上記特徴(1)、(2)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図１６に示すように基本配列パターンＰが７×７画素のカラーフィルタ配列、図１７に示すように基本配列パターンＰが８×８画素のカラーフィルタ配列等がある。
　これらのカラーフィルタは、特徴(6)を有しているので、水平方向におけるＧ画素の位置が同一配列のライン画像データを読み出してＧ画素同士を画素加算することにより、精度の高いＡＦ評価値を算出することができる。
　なお、同時化処理や動画撮影時の間引き処理等の画像処理の容易さを考慮すると、Ｎ、Ｍは１０以下であることが好ましい。
　また、上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタ、例えば図２０に示すようなカラーフィルタにも適用できる。また、他の色として白色または透明（Ｗ）フィルタを有するカラーフィルタにも本発明を適用できる。例えば図２０のエメラルドに代えてＷフィルタを配置しても良い。この場合、ＷとＧの組み合わせ、又はＷが輝度信号に最も寄与する第１の色となる。
　また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。
　また、上記各実施形態では、垂直方向に予め定めた周期で、水平方向に沿ったライン画像データを読み出す場合について説明したが、水平方向に予め定めた周期で、垂直方向に沿ったライン画像データを読み出す場合にも本発明を適用可能である。
　また、本実施形態では、基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列のラインを読み出し、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行する場合について説明したが、画素加算せずに、基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列ラインのうち、Ｇフィルタの数が最も多い組の同一配列ラインのライン画像データを読み出して、読み出したライン画像データに基づいて、コントラストＡＦの評価値を算出するようにしてもよい。これにより、画素加算せずに、精度良くコントラストＡＦの評価値を算出することができる。
　例えば、図１８に示すように、垂直方向に１／３間引きでライン画像データを読み出した場合の各ラインは、水平方向におけるＧフィルタの位置が同一となる同一配列ラインのうち、Ｇフィルタの数が最も多い組の同一配列ラインとなる。従って、これらの同一配列ラインのライン画像データを画素加算せずに、これらのライン画像データに基づいてコントラストＡＦの評価値を算出するようにしてもよい。
　また、図１９に示すように、Ｇフィルタの数が最も多い組の同一配列ラインのライン画像データを全て読み出して、これらのライン画像データを画素加算せずに、これらのライン画像データに基づいてコントラストＡＦの評価値を算出するようにしてもよい。
　また、本実施形態では、撮像素子１４から、基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列のラインを読み出し、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行する場合について説明したが、全ライン分の画素の画素信号を読み出して、基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列ラインのライン画像データを選択的に使って（その他のラインのライン画像データを使わず又は記憶せず）、これらを画素加算するようにしても良い。また、全ライン分の画素の画素信号を読み出してＲＡＭ等のメモリに一時記憶し、基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列ラインのライン画像データを選択的に使って画素加算するようにしても良い（この形態の場合、撮像処理部１６又は画像処理部２０がライン画像データ生成手段に対応する）。
　また、本実施形態では、撮像素子１４から基本配列パターンＰ内における同一配列ラインのライン画像データを各々読み出してライン画像データを生成し、これらを画素加算する場合について説明したが、画素加算は撮像素子１４内で行うようにしても良い。特に、撮像素子１４において読み出した直後に画素加算（画素混合）を行うことで動画の処理時間をより短縮することが可能である（この形態の場合、撮像素子１４及び駆動部２２がライン画像データ生成手段及び画素加算手段に対応する）。
　更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ 撮像処理部
２０ 画像処理部
２２ 駆動部
２４ 制御部
Ｐ 基本配列パターン

Claims (15)

  1. 　予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    　前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを前記第２の方向に少なくとも一つずつ含む前記第２の方向に沿った配列ラインであって、前記第１のフィルタの前記第２の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
    　前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するライン画像データ生成手段と、
    　生成した前記同一配列ラインのライン画像データのうち少なくとも前記第１の色の画素同士を画素加算する画素加算手段と、
    　画素加算した前記ライン画像データに基づいて、コントラストＡＦの評価値を算出する算出手段と、
    　を備えた撮像装置。
  2. 　前記ライン画像データ生成手段は、前記基本配列パターン内において前記同一配列ラインが複数組存在する場合、前記第１のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成する
    　請求項１記載の撮像装置。
  3. 　前記ライン画像データ生成手段は、前記基本配列パターン内において前記同一配列ラインが複数組存在する場合、全ての組の同一配列ラインのライン画像データを各々生成し、
    　前記画素加算手段は、前記全ての組毎に、前記同一配列ラインのライン画像データの前記第１の色の画素同士を画素加算する
    　請求項１又は請求項２記載の撮像装置。
  4. 　前記ライン画像データ生成手段は、前記第１の方向に最も近い位置の同一配列ラインのライン画像データを各々生成する
    　請求項１～請求項３の何れか１項に記載の撮像装置。
  5. 　前記ライン画像データ生成手段は、前記撮像素子から前記複数の画素における画素信号を読み出す前記設定された周期として、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインの前記画素信号を読み出して前記ライン画像データを生成する
    　請求項１～請求項４の何れか１項に記載の撮像装置。
  6. 　前記第１のフィルタは、前記カラーフィルタ面内において、前記第１の方向と、前記第２の方向と、前記第１の方向及び前記第２の方向と交差する第３の方向と、の各ライン内に１つ以上配置され、
    　前記第２の色の各色に対応する前記第２のフィルタは、前記基本配列パターン内において、前記第１の方向及び前記第２の方向の各ライン内に１つ以上配置された
    　請求項１～請求項５の何れか１項に記載の撮像装置。
  7. 　前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む
    　請求項１～請求項６の何れか１項に記載の撮像装置。
  8. 　前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である
    　請求項１～請求項７の何れか１項に記載の撮像装置。
  9. 　前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
    　前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３ ×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
    　請求項８記載の撮像装置。
  10. 　前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
    　前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
    　請求項８記載の撮像装置。
  11. 　前記カラーフィルタは、前記基本配列パターンの中心に対して点対称である
    　請求項１～１０の何れか１項に記載の撮像装置。
  12. 　予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    　前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを前記第２の方向に少なくとも一つずつ含む前記第２の方向に沿った配列ラインであって、前記第１のフィルタの前記第２の方向における位置が同一となる複数の第１の同一配列ラインと、前記第１の同一配列ラインとは前記第２の方向における前記第１のフィルタの配列が異なる複数の第２の同一配列ラインとを少なくとも含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
    　前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記配列ラインのうち前記第１のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成するライン画像データ生成手段と、
    　前記ライン画像データ生成手段により生成したライン画像データに基づいて、コントラストＡＦの評価値を算出する算出手段と、
    　を備えた撮像装置。
  13. 　予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    　前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを前記第２の方向に少なくとも一つずつ含む前記第２の方向に沿った配列ラインであって、前記第１のフィルタの前記第２の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
    　を備えた撮像装置の制御方法であって、
    　前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、
    　前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成し、
    　生成した前記同一配列ラインのライン画像データのうち少なくとも前記第１の色の画素同士を画素加算し、
    　画素加算した前記ライン画像データに基づいて、コントラストＡＦの評価値を算出する
    　を備えた撮像装置の制御方法。
  14. 　予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    　前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを前記第２の方向に少なくとも一つずつ含む前記第２の方向に沿った配列ラインであって、前記第１のフィルタの前記第２の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
    　を備えた撮像装置を制御するコンピュータに、
    　前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出すステップと、
    　前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するステップと、
    　生成した前記同一配列ラインのライン画像データのうち少なくとも前記第１の色の画素同士を画素加算するステップと、
    　画素加算した前記ライン画像データに基づいて、コントラストＡＦの評価値を算出するステップと、
    　を含む処理を実行させるための制御プログラム。
  15. 　コンピュータに、
    　予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを前記第２の方向に少なくとも一つずつ含む前記第２の方向に沿った配列ラインであって、前記第１のフィルタの前記第２の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像素子から、前記複数の画素における画素信号を設定された周期で読み出された画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するステップと、
    　生成した前記同一配列ラインのライン画像データのうち少なくとも前記第１の色の画素同士を画素加算するステップと、
    　画素加算した前記ライン画像データに基づいて、コントラストＡＦの評価値を算出するステップと、
    　を含む処理を実行させるための制御プログラム。
PCT/JP2012/083975 2011-12-27 2012-12-27 撮像装置、撮像装置の制御方法、及び制御プログラム WO2013100095A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280064855.XA CN104011575B (zh) 2011-12-27 2012-12-27 摄像装置及摄像装置的控制方法
EP12861956.6A EP2799922A4 (en) 2011-12-27 2012-12-27 IMAGE FORMING DEVICE, CONTROL METHOD FOR IMAGE FORMING DEVICE, AND CONTROL PROGRAM
US14/315,447 US9113027B2 (en) 2011-12-27 2014-06-26 Imaging device, method for controlling imaging device, and storage medium storing a control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-286691 2011-12-27
JP2011286691 2011-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/315,447 Continuation US9113027B2 (en) 2011-12-27 2014-06-26 Imaging device, method for controlling imaging device, and storage medium storing a control program

Publications (1)

Publication Number Publication Date
WO2013100095A1 true WO2013100095A1 (ja) 2013-07-04

Family

ID=48697574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/083975 WO2013100095A1 (ja) 2011-12-27 2012-12-27 撮像装置、撮像装置の制御方法、及び制御プログラム

Country Status (5)

Country Link
US (1) US9113027B2 (ja)
EP (1) EP2799922A4 (ja)
JP (1) JP5624227B2 (ja)
CN (1) CN104011575B (ja)
WO (1) WO2013100095A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008635A1 (ja) * 2013-07-17 2015-01-22 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135793A (ja) 2000-10-20 2002-05-10 Victor Co Of Japan Ltd カラー撮像装置
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP2005107252A (ja) * 2003-09-30 2005-04-21 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2006324760A (ja) * 2005-05-17 2006-11-30 Fujifilm Holdings Corp 撮像装置
JP3960965B2 (ja) 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
JP2007274599A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 撮像装置
JP2008015494A (ja) * 2006-06-05 2008-01-24 Pentax Corp 焦点検出方法および焦点検出装置
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成
WO2012114558A1 (ja) * 2011-02-21 2012-08-30 富士フイルム株式会社 カラー撮像素子

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
US7847829B2 (en) 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP4819318B2 (ja) * 2004-03-29 2011-11-24 富士フイルム株式会社 カメラの自動焦点調節方法及び装置
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
US7773874B2 (en) * 2006-06-05 2010-08-10 Hoya Corporation Focus detection method and focus detection device
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
TWI336588B (en) * 2007-06-14 2011-01-21 Novatek Microelectronics Corp A focusing method, suitable for an image capturing apparatus using in an environment of low brightness and image capturing apparatus using the same
JP4979507B2 (ja) * 2007-07-05 2012-07-18 株式会社リコー 撮像装置及び撮像方法
JP4582152B2 (ja) * 2008-01-25 2010-11-17 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US20090189232A1 (en) * 2008-01-28 2009-07-30 Micron Technology, Inc. Methods and apparatuses providing color filter patterns arranged to reduce the effect of crosstalk in image signals
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135793A (ja) 2000-10-20 2002-05-10 Victor Co Of Japan Ltd カラー撮像装置
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP2005107252A (ja) * 2003-09-30 2005-04-21 Matsushita Electric Ind Co Ltd 固体撮像装置
JP3960965B2 (ja) 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
JP2006324760A (ja) * 2005-05-17 2006-11-30 Fujifilm Holdings Corp 撮像装置
JP2007274599A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 撮像装置
JP2008015494A (ja) * 2006-06-05 2008-01-24 Pentax Corp 焦点検出方法および焦点検出装置
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成
WO2012114558A1 (ja) * 2011-02-21 2012-08-30 富士フイルム株式会社 カラー撮像素子

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2799922A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008635A1 (ja) * 2013-07-17 2015-01-22 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器

Also Published As

Publication number Publication date
US20140307136A1 (en) 2014-10-16
EP2799922A4 (en) 2015-08-05
CN104011575A (zh) 2014-08-27
CN104011575B (zh) 2016-08-31
JPWO2013100095A1 (ja) 2015-05-11
JP5624227B2 (ja) 2014-11-12
EP2799922A1 (en) 2014-11-05
US9113027B2 (en) 2015-08-18

Similar Documents

Publication Publication Date Title
JP5490313B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP5547338B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5474258B2 (ja) 撮像装置及び撮像プログラム
JP5490312B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP5539585B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
WO2013099637A1 (ja) カラー撮像素子及び撮像装置
JP5524406B2 (ja) 撮像装置及び撮像プログラム
JP5456206B2 (ja) 撮像装置、撮像装置の制御プログラム、及び撮像装置の制御方法
JP5607266B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
WO2013100093A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
WO2012127700A1 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5624226B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5624227B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5607267B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12861956

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013551841

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012861956

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012861956

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE