WO2013100095A1 - 撮像装置、撮像装置の制御方法、及び制御プログラム - Google Patents

撮像装置、撮像装置の制御方法、及び制御プログラム Download PDF

Info

Publication number
WO2013100095A1
WO2013100095A1 PCT/JP2012/083975 JP2012083975W WO2013100095A1 WO 2013100095 A1 WO2013100095 A1 WO 2013100095A1 JP 2012083975 W JP2012083975 W JP 2012083975W WO 2013100095 A1 WO2013100095 A1 WO 2013100095A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
line
color
array
pixels
Prior art date
Application number
PCT/JP2012/083975
Other languages
English (en)
French (fr)
Inventor
田中 誠二
林 健吉
智行 河合
秀和 倉橋
河村 典子
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP12861956.6A priority Critical patent/EP2799922A4/en
Priority to CN201280064855.XA priority patent/CN104011575B/zh
Publication of WO2013100095A1 publication Critical patent/WO2013100095A1/ja
Priority to US14/315,447 priority patent/US9113027B2/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Definitions

  • the present invention relates to an image pickup apparatus, an image pickup apparatus control method, and a control program, and more particularly to an image pickup apparatus including a color image pickup device, an image pickup apparatus control method, and a control program.
  • a primary color Bayer array (see, for example, Patent Documents 1 to 3), which is a color array widely used in color image sensors, is sensitive to the human eye and has the most contributing green (G) pixels to obtain a luminance signal. Red (R) and blue (B) are arranged in a line-sequential manner in a checkered pattern.
  • JP 2002-135793 A Japanese Patent No. 3960965 JP 2004-266369 A
  • a color image sensor employing a conventional Bayer array when thinning out readout in the vertical direction to generate image data for moving images, for example, an image for one line for every 2n (n is a natural number) in the vertical direction.
  • data is read (vertical direction 1 / 2n thinning, even thinning)
  • line image data including only two colors of G and R or G and B is read, and color reproduction cannot be performed.
  • thinning-out reading vertical direction 1 / (2n + 1) thinning, odd thinning
  • image data for one line is read every (2n + 1) lines is common.
  • contrast AF autofocus
  • a so-called contrast AF method for focusing on the basis of the contrast of an image is known.
  • an AF evaluation value is calculated based on the G pixel that contributes most to obtain a luminance signal and is focused. For this reason, increasing the accuracy of the AF evaluation value leads to increasing the accuracy of focusing.
  • the luminance value is low and a highly accurate evaluation value cannot be obtained, and the AF accuracy may deteriorate, and it is required to increase the accuracy of the AF evaluation value.
  • contrast AF is performed based on a thinned-out low-resolution image used for a through image (live image) in order to increase processing speed.
  • the present invention has been made to solve the above-described problems, and an object thereof is to provide an imaging apparatus, an imaging apparatus control method, and a control program capable of accurately calculating an AF evaluation value.
  • an imaging apparatus includes an imaging element including a plurality of photoelectric conversion elements arranged in a first direction and a second direction intersecting the first direction, A color filter provided on a plurality of pixels composed of photoelectric conversion elements, the first filter corresponding to the first color contributing most to obtain a luminance signal, and two or more colors other than the first color
  • a color filter in which a plurality of identical arrangement lines and a plurality of basic arrangement patterns each including at least one arrangement line in which the arrangement of the first filter in the second direction is different from the same arrangement line are arranged repeatedly; From Line image data generating means for reading out pixel signals of a plurality of pixels at a set cycle, and generating line image data of the same array line in the basic array pattern among the plurality of pixels from the read pixel signals; Pixel addition means for adding pixels of at least the first color pixels among line image data of the same array line; and calculation means for calculating an evaluation value of contrast AF based on the line image data obtained by pixel addition. It is characterized by that.
  • line image data of the same array line where the positions of the first filter in the second direction are the same is generated, and at least the first color of the generated line image data of the same array line is generated.
  • An evaluation value of contrast AF is calculated by pixel addition. Thereby, a highly accurate AF evaluation value can be obtained.
  • the line image data generating means may generate line image data of the same array line of the set having the largest number of first filters when there are a plurality of sets of the same array lines in the basic array pattern. .
  • the line image data of the same array line of the set having the largest number of first filters is generated, and at least the pixels of the first color among the generated line image data of the same array line are pixels.
  • the evaluation value of contrast AF is calculated by addition. Thereby, an AF evaluation value with higher accuracy can be obtained.
  • the line image data generating means generates line image data of all the same array lines when there are a plurality of identical array lines in the basic array pattern, and the pixel addition means The pixels of the first color of the line image data of the same array line may be added together.
  • the driving means may generate line image data of the same array line at a position closest to the first direction.
  • the line image data generation means reads line pixel data of the same array line in the basic array pattern among the plurality of pixels as a set cycle for reading the pixel signals of the plurality of pixels from the image sensor. You may make it do.
  • the first filter has 1 in each line of the first direction, the second direction, and the third direction intersecting the first direction and the second direction.
  • One or more second filters corresponding to each color of the second color may be arranged in each line in the first direction and the second direction in the basic array pattern. .
  • the first filter corresponding to the first color that contributes most to obtain the luminance signal is arranged in each line in the first direction to the third direction in the color filter. Therefore, it is possible to improve the reproduction accuracy of the synchronization process in the high frequency region.
  • one second filter corresponding to each of the second or more second colors other than the first color is included in each line in the first direction and the second direction in the basic array pattern. Since they are arranged as described above, the generation of color moire (false color) can be reduced and high resolution can be achieved.
  • the color filter may include a square array corresponding to 2 ⁇ 2 pixels formed of the first filter.
  • the luminance correlation direction is in the minimum direction. It can be determined by the pixel interval.
  • the first color may be a green (G) color and the second color may be a red (R) color and blue (B).
  • the color filter has an R filter, a G filter, and a B filter corresponding to red (R), green (G), and blue (B) colors, and the color filter corresponds to 3 ⁇ 3 pixels.
  • the array may be alternately arranged in the first direction and the second direction.
  • 2 ⁇ 2 G pixels are located at four corners of 5 ⁇ 5 pixels. Will exist.
  • the pixel values of these 2 ⁇ 2 G pixels can be used to determine the four correlation directions.
  • the color filter has an R filter, a G filter, and a B filter corresponding to red (R), green (G), and blue (B) colors, and the color filter corresponds to 3 ⁇ 3 pixels.
  • a pixel when a 5 ⁇ 5 pixel (local area of a mosaic image) is extracted around the first array or the second array, a pixel (R pixel or B pixel) at the center of 5 ⁇ 5 pixels is extracted.
  • R pixel or B pixel There are G pixels adjacent to each other in the horizontal and vertical directions. The pixel values of these G pixels (8 pixels in total) can be used to determine the correlation direction in the four directions.
  • the color filter may be configured to be point symmetric with respect to the center of the basic array pattern.
  • An imaging device of the present invention includes an imaging element including a plurality of photoelectric conversion elements arranged in a predetermined first direction and a second direction intersecting the first direction, and a plurality of photoelectric conversion elements.
  • a color filter provided on a pixel which corresponds to a first filter corresponding to the first color that contributes most to obtain a luminance signal and a second color that is two or more colors other than the first color.
  • a plurality of first identical lines which are array lines along the second direction including at least one second filter in the second direction, wherein the positions of the first filters in the second direction are the same.
  • a color filter in which a basic array pattern including at least a plurality of second identical array lines in which the array of the first filters in the second direction is different from the first identical array line is repeatedly disposed; From the image sensor, multiple Line image data generating means for reading out pixel signals in a prime period, and generating line image data of the same array line of the set having the largest number of first filters among array lines from the read pixel signal; Calculating means for calculating an evaluation value of contrast AF based on the line image data generated by the line image data generating means.
  • the contrast AF evaluation value is calculated based on the line image data of the same array line of the set having the largest number of first filters. Therefore, the contrast AF evaluation value is accurately obtained without pixel addition. Can be calculated.
  • An image pickup apparatus control method includes an image pickup element including a plurality of photoelectric conversion elements arranged in a first direction and a second direction intersecting the first direction, and a plurality of photoelectric conversion elements.
  • a color filter provided on a plurality of pixels, the first filter corresponding to the first color that contributes most to obtain a luminance signal, and a second color of two or more colors other than the first color Are arranged lines along the second direction including at least one second filter corresponding to each of the second filters in the second direction, and a plurality of the same positions in the second direction of the first filter are the same.
  • An imaging device comprising: a color filter in which a basic array pattern including a plurality of array lines and a plurality of at least one array line in which the first filter array in the second direction is different from the same array line is repeatedly disposed
  • pixel signals in a plurality of pixels are read out from the image sensor at a set cycle, and line image data of the same array line in the basic array pattern among the plurality of pixels is generated from the read pixel signals, and generated.
  • line image data of the same array line at least pixels of the first color are added together, and an evaluation value of contrast AF is calculated based on the line image data obtained by pixel addition.
  • the control program of the present invention includes an imaging element including a plurality of photoelectric conversion elements arranged in a predetermined first direction and a second direction intersecting the first direction, and a plurality of photoelectric conversion elements.
  • a color filter provided on a pixel which corresponds to a first filter corresponding to the first color that contributes most to obtain a luminance signal and a second color that is two or more colors other than the first color.
  • a plurality of identical arrangement lines along the second direction including at least one second filter in the second direction, wherein the first filters have the same position in the second direction; And a color filter in which a basic array pattern including a plurality of at least one array line in which the first filter array in the second direction is different from the same array line is repeatedly arranged.
  • a process including:
  • a control program includes a plurality of photoelectric conversion elements arranged in a first direction and a second direction intersecting the first direction, and a plurality of pixels including the plurality of photoelectric conversion elements.
  • a color filter provided above, the first filter corresponding to the first color that contributes most to obtain the luminance signal, and the second color corresponding to two or more second colors other than the first color.
  • FIG. 1 is a schematic block diagram of an imaging apparatus according to a first embodiment. It is a block diagram of the color filter which concerns on 1st Embodiment. It is a figure which shows the basic sequence pattern contained in the color filter which concerns on 1st Embodiment. 6 shows a color filter obtained by dividing a 6 ⁇ 6 pixel basic array pattern included in the color filter according to the first embodiment into an A array and a B array of 3 ⁇ 3 pixels and repeatedly arranging them in the horizontal and vertical directions. FIG. It is a figure which shows the characteristic arrangement
  • FIG. It is a flowchart which shows the process performed by a control part. It is a block diagram of the color filter which concerns on 2nd Embodiment. It is a figure which shows the basic sequence pattern contained in the color filter which concerns on 2nd Embodiment. The color filter which divides
  • FIG. It is a figure which shows the characteristic arrangement
  • FIG. 1 shows a schematic block diagram of the imaging apparatus 10 according to the present embodiment.
  • the imaging device 10 includes an optical system 12, an imaging element 14, an imaging processing unit 16, an image processing unit 20, a driving unit 22, and a control unit 24.
  • the optical system 12 includes, for example, a lens group including a plurality of optical lenses, an aperture adjustment mechanism, a zoom mechanism, an automatic focus adjustment mechanism, and the like.
  • the image sensor 14 includes an image sensor including a plurality of photoelectric conversion elements arranged in a horizontal direction and a vertical direction, for example, a color filter disposed on an image sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor). This is a so-called single-plate type imaging device having the above-described configuration.
  • a CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • FIG. 2 shows a part of the color filter according to this embodiment.
  • any one of the color filters of the three primary colors of red (R), green (G), and blue (B) is disposed on each pixel.
  • the color filter of the first embodiment has the following features (1) to (6).
  • the color filter array has three primary colors of red (R), green (G), and blue (B) in the vertical and horizontal directions (N ⁇ M) pixels (N, M: an integer of 3 or more) in advance.
  • N, M an integer of 3 or more
  • the basic array pattern P is repeatedly arranged in the vertical direction (first direction) and the horizontal direction (second direction). That is, in this color filter, R, G, and B color filters (R filter, G filter, and B filter) are arranged with a predetermined periodicity.
  • the R filter, the G filter, and the B filter are arranged with a predetermined periodicity in this way, the R, G, and B signals read from the color imaging device are synchronized (also referred to as demosaic processing; the same applies hereinafter).
  • processing can be performed according to a repeating pattern.
  • the G filter corresponding to the color (G color in this embodiment) that contributes most to obtain the luminance signal is the first direction of the color filter array. 2 in the horizontal direction and the third direction intersecting the first direction and the second direction in the color filter plane, that is, in each line in the oblique (NE, NW) direction (third direction). Is arranged.
  • NE means an oblique upper right direction
  • NW means an oblique lower right direction.
  • the diagonally upper right and diagonally lower right directions are directions of 45 ° with respect to the horizontal direction, respectively, but if an array of rectangular pixels, it is the direction of the diagonal of the rectangle,
  • the angle can vary depending on the length of the long and short sides.
  • the G filter corresponding to the luminance system pixel is arranged in each line in the vertical direction, the horizontal direction, and the oblique (NE, NW) direction of the color filter array, it can be simultaneously used in the high frequency region regardless of the high frequency direction. The reproducibility of the conversion process can be improved.
  • the color filter array shown in FIG. 2 has an R filter and a B filter corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color in the basic array pattern P.
  • One or more color filters are arranged in each of the vertical and horizontal lines of the color filter array.
  • an optical low-pass filter for suppressing the generation of false colors can be prevented from being arranged in the optical path from the incident surface of the optical system to the imaging surface, or the occurrence of false colors can be prevented even when the optical low-pass filter is applied. Therefore, it is possible to apply a low-frequency component for cutting high-frequency components, and not to impair the resolution.
  • FIG. 3 shows a state in which the basic array pattern P shown in FIG. 2 is divided into 4 ⁇ 3 ⁇ 3 pixels.
  • the basic array pattern P includes a 3 ⁇ 3 pixel A array surrounded by a solid frame and a 3 ⁇ 3 pixel B array surrounded by a broken frame alternately in the horizontal and vertical directions. It can also be understood that the array is arranged.
  • G filters which are luminance system pixels, are arranged at the four corners and the center, and are arranged on both diagonal lines.
  • the R filter is arranged in the horizontal direction with the central G filter interposed therebetween, and the B filter is arranged in the vertical direction.
  • the B filter is arranged in the horizontal direction with the central G filter interposed therebetween.
  • the R filters are arranged in the vertical direction. That is, in the A array and the B array, the positional relationship between the R filter and the B filter is reversed, but the other arrangements are the same.
  • the G filters at the four corners of the A array and the B array are square arrays corresponding to 2 ⁇ 2 pixels by alternately arranging the A array and the B array in the horizontal and vertical directions as shown in FIG. G filter.
  • the color filter array (basic array pattern P) shown in FIG. 2 includes a square array corresponding to 2 ⁇ 2 pixels composed of G filters.
  • the absolute difference values in the vertical direction of the pixel values of these G pixels Is (
  • the absolute difference in the horizontal direction is (
  • the absolute difference in the upper right diagonal direction is
  • the absolute value of the difference in the upper left diagonal direction is
  • the basic array pattern P constituting the color filter array shown in FIG. 2 is point-symmetric with respect to the center of the basic array pattern (the centers of the four G filters). Further, as shown in FIG. 3, the A array and the B array in the basic array pattern are also point-symmetric with respect to the central G filter, and are vertically and horizontally symmetric (line symmetric).
  • the basic array pattern P constituting the color filter array shown in FIG. 2 includes a plurality of the same array lines along the horizontal direction where the positions of the G filters in the horizontal direction are the same.
  • the first line, the third line, the fourth line, and the sixth line in the vertical direction have the same G filter position in the horizontal direction.
  • the second and fifth lines have the same G filter position in the horizontal direction. Therefore, when the contrast AF method is adopted as the AF method and the AF evaluation value is calculated based on the pixel value of the G pixel, the line image data of the same arrangement in which the position of the G filter in the horizontal direction is the same is read, G pixels having the same position in the horizontal direction are added together. Thereby, the precision of AF evaluation value can be raised.
  • the imaging processing unit 16 performs predetermined processing such as amplification processing, correlated double sampling processing, and A / D conversion processing on the imaging signal output from the imaging device 14 and outputs the processed image data to the image processing unit 20 as image data. To do.
  • the image processing unit 20 performs so-called synchronization processing on the image data output from the imaging processing unit 16. That is, for all pixels, image data of colors other than the corresponding color is interpolated from the pixel data of surrounding pixels to generate R, G, B image data of all pixels. Then, so-called YC conversion processing is performed on the generated R, G, B image data to generate luminance data Y and color difference data Cr, Cb. Then, a resizing process for resizing these signals to a size corresponding to the shooting mode is performed.
  • the driving unit 22 performs reading driving of the imaging signal from the imaging device 14 in accordance with an instruction from the control unit 24.
  • the control unit 24 controls the drive unit 22 and the image processing unit 20 according to the shooting mode and the like. Although details will be described later, the control unit 24 instructs the driving unit 22 to read out the imaging signal by a reading method according to the shooting mode, or instructs the image processing unit 20 to select an image according to the shooting mode. Or instructing it to perform processing.
  • control unit 24 instructs the drive unit 22 to read out the image pickup signal using a thinning method according to the instructed shooting mode. To do.
  • the shooting mode includes a still image mode for shooting a still image, and an HD movie that generates a relatively high resolution HD (high definition) movie data by thinning the captured image and records it on a recording medium such as a memory card (not shown).
  • There are video modes such as the through video mode (live view mode) that outputs a relatively low resolution through video (live view image) to a display unit (not shown) by thinning out the mode and the captured image. It is not limited to.
  • the processing shown in FIG. 7 is executed, for example, when the user attempts to focus on the subject by pressing the shutter button (or shutter switch) halfway during still image shooting.
  • the line image data in this case is a set of pixel data of pixels arranged in the horizontal direction.
  • step 100 the drive unit 22 is instructed to read out image data by a thinning method according to the shooting mode.
  • the drive unit 22 is instructed to read line image data of the same array line along the horizontal direction where the position of the G filter in the horizontal direction is the same in the basic array pattern P from the image sensor 14 (this book In the embodiment, the drive unit 22 and the control unit 24 correspond to line image data generation means).
  • the line image data of the first line, the third line, the fourth line, and the sixth line in the basic array pattern P have the same position in the horizontal direction of the G filter.
  • the line image data of the second line and the fifth line also have the same position in the horizontal direction of the G filter.
  • the first set of line image data of the first line, the third line, the fourth line, and the sixth line is compared with the second set of line image data of the second line and the fifth line.
  • the number of G pixels in the horizontal direction in the basic array pattern P is large. Therefore, in the present embodiment, the drive unit 22 is instructed to read line image data of the first set of four lines having a large number of G pixels.
  • step 102 a pixel addition process is performed in which the G pixels of the line image data having the same arrangement in the horizontal direction of the read G filter are added together, and AF is performed based on the image data after the pixel addition process.
  • the image processing unit 20 is instructed to execute a process for calculating an evaluation value (in the present embodiment, the image processing unit 20 and the control unit 24 correspond to a pixel addition unit and a calculation unit).
  • the G pixels of the line image data of the same arrangement line having the larger number of G pixels are added together. It is possible to calculate a high AF evaluation value.
  • the control unit 24 and the image processing unit 20 can be configured by a computer including a CPU, ROM, RAM, nonvolatile ROM, and the like.
  • the processing program for the above processing can be stored in advance in a nonvolatile ROM, for example, and can be read and executed by the CPU.
  • the color filter includes a plurality of lines having the same arrangement in which the positions of the G pixels in the horizontal direction are the same in the basic arrangement pattern P, and the same color pixels of the read line image data of the same arrangement Since pixel addition processing for adding pixels to each other is executed, it is possible to calculate an AF evaluation value with high accuracy.
  • the positions in the horizontal direction of the line image data of all the same array lines. May be added to the same G pixels, but may be added to some of the same array lines.
  • the G pixels of the line image data of the same arrangement line with the larger number of G pixels are added together.
  • the G pixels of the line image data of the same arrangement line of the second line and the fifth line with the smaller number of G pixels may be pixel-added (second line). Good.
  • the G pixels of the line image data of the same array line may be pixel-added for every group. That is, the first line of line image data in which the G pixels of the first set of line image data having the larger number of G pixels are added together, and the second set of line image data having a smaller number of G pixels.
  • the AF evaluation value may be calculated based on image data obtained by alternately arranging the line image data of the second line obtained by adding the G pixels to each other in the vertical direction.
  • the above processing may be executed not only when shooting a still image but also when shooting a moving image.
  • FIG. 8 shows a color filter according to this embodiment.
  • the color filter according to the present embodiment includes a basic array pattern P (pattern indicated by a thick frame) composed of a square array pattern corresponding to 6 ⁇ 6 pixels, and the basic array pattern P is horizontal. It is repeatedly arranged in the direction and the vertical direction. That is, in this color filter array, R, G, and B color filters (R filter, G filter, and B filter) are arrayed with a predetermined periodicity.
  • the G filter is arranged in each line in the vertical direction and the horizontal direction of the color filter array.
  • one or more R filters and B filters are arranged in each of the vertical and horizontal lines of the color filter array in the basic array pattern P.
  • FIG. 9 shows a state in which the basic array pattern P shown in FIG. 8 is divided into 4 ⁇ 3 ⁇ 3 pixels.
  • the basic array pattern P includes a 3 ⁇ 3 pixel A array surrounded by a solid frame and a 3 ⁇ 3 pixel B array surrounded by a broken frame alternately in the horizontal and vertical directions. It can also be understood that the array is arranged.
  • an R filter is arranged at the center, B filters are arranged at the four corners, and G filters are arranged at the top, bottom, left and right with the center R filter interposed therebetween.
  • a B filter is disposed at the center, R filters are disposed at the four corners, and G filters are disposed vertically and horizontally with the center B filter interposed therebetween.
  • the color filter of the first embodiment can also be regarded as the A array and the B array being alternately arranged in the horizontal and vertical directions.
  • the eight G pixels are arranged in a cross shape as shown in FIG. 10B. If these G pixels are G1, G2, G3, G4 from left to right and G5, G6, G7, G8 from top to bottom, the pixels G1G2, G2G3 are adjacent in the horizontal direction, and the pixels G5G6, G7G8 is adjacent in the vertical direction, pixel G6G3 and pixel G2G7 are adjacent in the upper left diagonal direction, and pixel G6G2 and pixel G3G7 are adjacent in the upper right diagonal direction.
  • the direction in which the change in luminance is the smallest (the correlation direction with the high correlation) among the horizontal, vertical, and diagonal (NE, NW) directions. ) Can be determined by the minimum pixel interval.
  • correlation direction there is a correlation (correlation direction) in the direction of taking the smallest difference absolute value among these four correlation absolute values. Note that the determined correlation direction can be used when performing a synchronization process or the like.
  • the basic array pattern P constituting the color filter shown in FIG. 8 is point-symmetric with respect to the center of the basic array pattern P.
  • the A array and the B array in the basic array pattern are point-symmetric with respect to the center R filter or G filter, respectively, and are symmetrical (line symmetric) vertically and horizontally. ing.
  • the basic array pattern P constituting the color filter array shown in FIG. 8 includes a plurality of the same array lines along the horizontal direction where the positions of the G filters in the horizontal direction are the same.
  • the first, third, fourth, and sixth lines in the vertical direction all have the same G filter position in the horizontal direction.
  • the second and fifth lines have the same G filter position in the horizontal direction.
  • the color filter according to the present embodiment has the same features as the features (1) and (3) to (6) of the color filter according to the first embodiment.
  • the first set of the line image data of the first line, the third line, the fourth line, and the sixth line is the first line image data of the second line and the fifth line.
  • the control unit 24 instructs the drive unit 22 to read the line image data of the second set of two lines having a large number of G pixels in Step 100 of FIG.
  • step 102 of FIG. 7 the control unit 24 executes pixel addition processing for adding the G pixels of the line image data having the same arrangement in the horizontal direction of the read G filter and adding the pixels. Based on the processed image data, the image processing unit 20 is instructed to execute a process of calculating an AF evaluation value.
  • the G pixels of the line image data of the same arrangement line having the larger number of G pixels are added together. It is possible to calculate a high AF evaluation value.
  • the G pixels of the line image data of the first line, the third line, the fourth line, and the sixth line with the smaller number of G pixels are added (second line). You may do it.
  • the G pixels of the line image data of the same array line may be pixel-added for every group. That is, the first line of line image data in which the G pixels of the second set of line image data having the larger number of G pixels are added to each other, and the first set of line image data having a smaller number of G pixels.
  • the AF evaluation value may be calculated based on image data obtained by alternately arranging the line image data of the second line obtained by adding the G pixels to each other in the vertical direction.
  • color filter array is not limited to those described in the above embodiments, and the present invention can also be applied to an image pickup apparatus having an image pickup element having the following color filter array.
  • a basic filter pattern P is a 3 ⁇ 3 pixel color filter array.
  • This color filter array is a repetition of a basic array pattern in which G filters are arranged at the center and four corners of 3 ⁇ 3 pixels, and the same number of R or B is arranged in the remaining five pixels.
  • a basic filter pattern P is a 4 ⁇ 4 pixel color filter array.
  • G is arranged on two diagonal lines of 4 ⁇ 4 pixels, and R and B pixels are in the horizontal and vertical lines of 4 ⁇ 4 pixels in the remaining pixel positions.
  • One or more basic arrangement patterns which are arranged so that one or more elements are arranged and set so that the number of G is larger than the number of R and B, are repeated.
  • the basic array pattern P is 5 ⁇ 5 pixels as shown in FIG.
  • the basic array pattern P is 5 ⁇ 5 pixels as shown in FIG.
  • G is arranged on two diagonal lines of 5 ⁇ 5 pixels, and R and B pixels are in the horizontal and vertical lines of 5 ⁇ 5 pixels in the remaining pixel positions.
  • One or more basic arrangement patterns which are arranged so that one or more elements are arranged and set so that the number of G is larger than the number of R and B, are repeated.
  • the basic array pattern P is 6 ⁇ 6 pixels as shown in FIG.
  • the first sub-array in which G is arranged in a rectangular shape on the outer periphery of R or B and the second sub-array in which G is arranged in the center are respectively two in the horizontal direction and the vertical direction.
  • a basic arrangement pattern arranged so as to be alternately adjacent to each other is repeated.
  • one or more R and B are also arranged in each line in the oblique (NE, NW) direction (third direction) of the color filter arrangement.
  • the basic array pattern P is 7 ⁇ 7 pixels as shown in FIG.
  • FIG. 17 there are a color filter array, a color filter array having a basic array pattern P of 8 ⁇ 8 pixels, and the like.
  • N and M are preferably 10 or less in consideration of ease of image processing such as synchronization processing and thinning processing during moving image shooting.
  • the color imaging device having the RGB color filters of the three primary colors has been described.
  • the present invention is not limited to this, and the RGB primary colors + other colors (for example, emerald (E)).
  • the present invention can also be applied to four color filters, for example, a color filter as shown in FIG.
  • the present invention can also be applied to color filters having white or transparent (W) filters as other colors.
  • W filter may be arranged instead of the emerald in FIG. In this case, a combination of W and G, or W is the first color that contributes most to the luminance signal.
  • the present invention can also be applied to a color image pickup device having four color complementary color filters in which G is added to C (cyan), M (magenta), and Y (yellow) which are complementary colors of the primary colors RGB.
  • the same group of the same number of G filters among the same array lines in which the positions of the G pixels in the horizontal direction are the same in the basic array pattern P without pixel addition The line image data of the array lines may be read, and the contrast AF evaluation value may be calculated based on the read line image data. Thereby, the evaluation value of contrast AF can be calculated with high accuracy without pixel addition.
  • each line when the line image data is read out by 1/3 decimation in the vertical direction is the number of G filters in the same array line where the positions of the G filters in the horizontal direction are the same. Is the same sequence line of the set with the largest number. Therefore, the contrast AF evaluation value may be calculated based on the line image data without adding pixels to the line image data of the same array line.
  • lines of the same array in which the positions of the G pixels in the horizontal direction are the same in the basic array pattern P are read from the image sensor 14 and the same color pixels of the read line image data of the same array are read out.
  • the pixel addition process for adding the pixels is performed.
  • the pixel signals of the pixels for all the lines are read, and the lines of the same array line in which the positions of the G pixels in the horizontal direction in the basic array pattern P are the same.
  • the image data may be selectively used (without using or storing the line image data of other lines), and these may be pixel-added.
  • pixel signals of pixels for all lines are read out and temporarily stored in a memory such as a RAM, and line image data of the same array line in which the positions of the G pixels in the horizontal direction in the basic array pattern P are the same are selectively selected.
  • the pixels may be added (in this case, the imaging processing unit 16 or the image processing unit 20 corresponds to the line image data generating unit).
  • Imaging device 12 Optical system 14 Imaging element 16 Imaging processing part 20 Image processing part 22 Drive part 24 Control part P Basic arrangement pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

 精度良くAF評価値を算出する。 撮像装置(10)は、第1、第2の方向に配列された複数の光電変換素子を含む撮像素子(14)と、第1、第2のフィルタを第2の方向に含む第2の方向に沿った配列ラインであって、第1のフィルタの第2の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第2の方向における第1のフィルタの配列が異なる配列ラインとを複数含む基本配列パターンが繰り返されたカラーフィルタと、撮像素子(14)から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、基本配列パターン内における同一配列ラインのライン画像データを各々生成し、生成したライン画像データのうち第1の色の画素同士を画素加算し、画素加算したライン画像データに基づいて画像データを生成し、生成した画像データに基づいて、コントラストAFの評価値を算出する画像処理部(20)と、を備える。

Description

撮像装置、撮像装置の制御方法、及び制御プログラム
 本発明は、撮像装置、撮像装置の制御方法、及び制御プログラムに係り、特に、カラー撮像素子を備えた撮像装置、撮像装置の制御方法、及び制御プログラムに関する。
 カラー撮像素子で広く用いられている色配列である原色系ベイヤー配列(例えば特許文献1~3参照)は、人間の目に敏感で、輝度信号を得るために最も寄与する緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置している。
特開2002-135793号公報 特許第3960965号公報 特開2004-266369号公報
 従来のベイヤー配列を採用したカラー撮像素子では、例えば動画用の画像データを生成するために、垂直方向に間引き読み出しする場合、例えば垂直方向に2n(nは自然数)ライン毎に1ライン分の画像データを読み出した場合(垂直方向1/2n間引き、偶数間引き)、GとR又はGとBの2色しか含まないライン画像データが読み出されることになり色再現できない。このため、(2n+1)ライン毎に1ライン分の画像データを読み出す間引き読出し(垂直方向1/(2n+1)間引き、奇数間引き)が一般的である。また、それ以外の間引き読出しを行う場合においても、色再現を得るために、GとRを含む水平ラインとGとBを含む水平ラインを交互に読み出す必要があり、読出し方が非常に制限される。
 ところで、AF(オートフォーカス)方式として、画像のコントラストに基づいてピントを合わせる所謂コントラストAF方式が知られている。このコントラストAF方式では、輝度信号を得るために最も寄与するG画素に基づいてAF評価値を算出してピント合わせをする。このため、AF評価値の精度を高くすることが、ピント合わせの精度を高くすることにつながる。特に、低照度の撮影条件下では輝度値が低く精度の高い評価値が得られずAFの精度が悪くなる場合があり、AF評価値の精度を高くすることが求められる。一般的にコントラストAFは、処理高速化のためにスルー画(ライビュー画像)に用いられる間引かれた低解像度の画像に基づいて行われる。
 しかしながら、従来のベイヤー配列では、間引かれた低解像度画像を生成する際に、前述のようにGとRを含む水平ラインとGとBを含む水平ラインを交互に読出す必要があり、読出し方が制限されるため、低照度の撮影条件下で精度のよいAF評価値を得ることが困難である、という問題があった。
 本発明は上記問題点を解決するためになされたものであり、精度良くAF評価値を算出することができる撮像装置、撮像装置の制御方法、及び制御プログラムを提供することを目的とする。
 上記課題を解決するため、本発明の撮像装置は、予め定めた第1の方向及び第1の方向と交差する第2の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと第1の色以外の2色以上の第2の色に対応する第2のフィルタとを第2の方向に少なくとも一つずつ含む第2の方向に沿った配列ラインであって、第1のフィルタの第2の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第2の方向における第1のフィルタの配列が異なる少なくとも1つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するライン画像データ生成手段と、生成した同一配列ラインのライン画像データのうち少なくとも第1の色の画素同士を画素加算する画素加算手段と、画素加算したライン画像データに基づいて、コントラストAFの評価値を算出する算出手段と、を備えたことを特徴とする。
 この発明によれば、第1のフィルタの第2の方向における位置が同一となる同一配列ラインのライン画像データを各々生成し、生成した同一配列ラインのライン画像データのうち少なくとも第1の色の画素同士を画素加算してコントラストAFの評価値を算出する。これにより、精度の高いAF評価値を得ることができる。
 なお、ライン画像データ生成手段は、基本配列パターン内において同一配列ラインが複数組存在する場合、第1のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成するようにしてもよい。
 この発明によれば、第1のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成して、生成した同一配列ラインのライン画像データのうち少なくとも第1の色の画素同士を画素加算してコントラストAFの評価値を算出する。これにより、より精度の高いAF評価値を得ることができる。
 また、ライン画像データ生成手段は、基本配列パターン内において同一配列ラインが複数組存在する場合、全ての組の同一配列ラインのライン画像データを各々生成し、画素加算手段は、全ての組毎に、同一配列ラインのライン画像データの第1の色の画素同士を画素加算するようにしてもよい。
 この発明によれば、同一配列ラインが複数組存在する場合には、全ての組の同一配列ラインのライン画像データを各々生成し、全ての組毎に、同一配列ラインのライン画像データの第1の色の画素同士を画素加算する。これにより、より精度の高いAF評価値を得ることができる。
 また、駆動手段は、第1の方向に最も近い位置の同一配列ラインのライン画像データを各々生成するようにしてもよい。
 この発明によれば、第1の方向に最も近い位置の同一配列ラインのライン画像データを各々生成して画素加算するので、精度の良いAF評価値が得られる。
 また、ライン画像データ生成手段は、撮像素子から複数の画素における画素信号を読み出す設定された周期として、複数の画素のうち基本配列パターン内における同一配列ラインの画素信号を読み出してライン画像データを生成するようにしてもよい。
 また、第1のフィルタは、カラーフィルタ面内において、第1の方向と、第2の方向と、第1の方向及び第2の方向と交差する第3の方向と、の各ライン内に1つ以上配置され、第2の色の各色に対応する第2のフィルタは、基本配列パターン内において、第1の方向及び第2の方向の各ライン内に1つ以上配置された構成としてもよい。
 この発明によれば、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタを、カラーフィルタ内において、第1の方向~第3の方向の各ライン内に配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができる。また、第1の色以外の2色以上の第2の色の各色に対応する第2のフィルタについては、基本配列パターン内において、第1の方向及び第2の方向の各ライン内に1つ以上配置するようにしたため、色モワレ(偽色)の発生を低減して高解像度化を図ることができる。
 また、カラーフィルタは、第1のフィルタからなる2×2画素に対応する正方配列を含むようにしてもよい。
 この発明によれば、2×2画素に対応する正方配列の4画素の各画素間の画素値の差分値に基づいて輝度の相関方向が4方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。
 また、第1の色は、緑(G)色であり、第2の色は、赤(R)色及び青(B)である構成としてもよい。
 また、カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、かつ、カラーフィルタは、3×3画素に対応する第1の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置され、左右にRフィルタが配列された第1の配列と、3 ×3画素に対応する第2の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置され、左右にBフィルタが配列された第2の配列とが、交互に第1の方向及び第2の方向に配列されて構成してもよい。
 この発明によれば、第1の配列又は第2の配列を中心に5×5画素(モザイク画像の局所領域)を抽出した場合、5×5画素の4隅に2×2画素のG画素が存在することになる。これらの2×2画素のG画素の画素値は、4方向の相関方向の判別に使用することができる。
 また、カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、かつ、カラーフィルタは、3×3画素に対応する第1の配列であって、中心にRフィルタが配置され、4隅にBフィルタが配置され、中心のRフィルタを挟んで上下左右にGフィルタが配置された第1の配列と、3×3画素に対応する第2の配列であって、中心にBフィルタが配置され、4隅にRフィルタが配置され、中心のBフィルタを挟んで上下左右にGフィルタが配置された第2の配列とが、交互に第1の方向及び第2の方向に配列されて構成してもよい。
 この発明によれば、第1の配列又は第2の配列を中心に5×5画素(モザイク画像の局所領域)を抽出した場合、5×5画素の中心の画素(R画素又はB画素)を挟んで、水平及び垂直方向にそれぞれ隣接するG画素が存在することになる。これらのG画素(合計8画素)の画素値は、4方向の相関方向の判別に使用することができる。
 また、カラーフィルタは、基本配列パターンの中心に対して点対称である構成としてもよい。
 この発明によれば、後段の処理回路の回路規模を小さくすることが可能になる。
 本発明の撮像装置は、予め定めた第1の方向及び第1の方向と交差する第2の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと第1の色以外の2色以上の第2の色に対応する第2のフィルタとを第2の方向に少なくとも一つずつ含む第2の方向に沿った配列ラインであって、第1のフィルタの第2の方向における位置が同一となる複数の第1の同一配列ラインと、第1の同一配列ラインとは第2の方向における第1のフィルタの配列が異なる複数の第2の同一配列ラインとを少なくとも含む基本配列パターンが、繰り返し配置されたカラーフィルタと、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、配列ラインのうち第1のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成するライン画像データ生成手段と、ライン画像データ生成手段により生成したライン画像データに基づいて、コントラストAFの評価値を算出する算出手段と、を備えたことを特徴とする。
 この発明によれば、第1のフィルタの数が最も多い組の同一配列ラインのライン画像データに基づいてコントラストAFの評価値を算出するので、画素加算せずに、精度良くコントラストAFの評価値を算出することができる。
 本発明の撮像装置の制御方法は、予め定めた第1の方向及び第1の方向と交差する第2の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと第1の色以外の2色以上の第2の色に対応する第2のフィルタとを第2の方向に少なくとも一つずつ含む第2の方向に沿った配列ラインであって、第1のフィルタの第2の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第2の方向における第1のフィルタの配列が異なる少なくとも1つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置の制御方法であって、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成し、生成した同一配列ラインのライン画像データのうち少なくとも第1の色の画素同士を画素加算し、画素加算したライン画像データに基づいて、コントラストAFの評価値を算出することを特徴とする。
 本発明の制御プログラムは、予め定めた第1の方向及び第1の方向と交差する第2の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと第1の色以外の2色以上の第2の色に対応する第2のフィルタとを第2の方向に少なくとも一つずつ含む第2の方向に沿った配列ラインであって、第1のフィルタの第2の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第2の方向における第1のフィルタの配列が異なる少なくとも1つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置を制御するコンピュータに、撮像素子から、複数の画素における画素信号を設定された周期で読出すステップと、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するステップと、生成した同一配列ラインのライン画像データのうち少なくとも第1の色の画素同士を画素加算するステップと、画素加算したライン画像データに基づいて、コントラストAFの評価値を算出するステップと、を含む処理を実行させることを特徴とする。
 本発明の制御プログラムは、コンピュータに、予め定めた第1の方向及び第1の方向と交差する第2の方向に配列された複数の光電変換素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと第1の色以外の2色以上の第2の色に対応する第2のフィルタとを第2の方向に少なくとも一つずつ含む第2の方向に沿った配列ラインであって、第1のフィルタの第2の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第2の方向における第1のフィルタの配列が異なる少なくとも1つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像素子から、複数の画素における画素信号を設定された周期で読み出された画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するステップと、生成した同一配列ラインのライン画像データのうち少なくとも第1の色の画素同士を画素加算するステップと、画素加算したライン画像データに基づいて、コントラストAFの評価値を算出するステップと、を含む処理を実行させることを特徴とする。
 本発明によれば、精度良くAF評価値を算出することができる、という効果を有する。
第1実施形態に係る撮像装置の概略ブロック図である。 第1実施形態に係るカラーフィルタの構成図である。 第1実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第1実施形態に係るカラーフィルタに含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第1実施形態に係るカラーフィルタによるG画素の特徴的な配置を示す図である。 第1実施形態に係る画素加算処理について説明するための図である。 制御部で実行される処理を示すフローチャートである。 第2実施形態に係るカラーフィルタの構成図である。 第2実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第2実施形態に係るカラーフィルタに含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第2実施形態に係るカラーフィルタによるG画素の特徴的な配置を示す図である。 第2実施形態に係る画素加算処理について説明するための図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 G画素の多いラインを読み出してAF評価値を算出する場合について説明するための図である。 G画素の多いラインを読み出してAF評価値を算出する場合について説明するための図である。 カラーフィルタの変形例を示す図である。
 以下、図面を参照して本発明の実施形態について説明する。
(第1実施形態)
 図1には、本実施形態に係る撮像装置10の概略ブロック図を示した。撮像装置10は、光学系12、撮像素子14、撮像処理部16、画像処理部20、駆動部22、及び制御部24を含んで構成されている。
 光学系12は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。
 撮像素子14は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。
 図2には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤(R)、緑(G)、青(B)の3原色のカラーフィルタのうちのいずれかが配置される。
<カラーフィルタ配列の特徴>
 第1実施形態のカラーフィルタは、下記の特徴(1)~(6)を有している。
〔特徴(1)〕
 カラーフィルタ配列は、赤(R)、緑(G)、青(B)の3原色のフィルタが、垂直方向及び水平方向に(N×M)画素(N,M:3以上の整数)の予め定めたパターンで、かつ、緑(G)のフィルタと、赤(R)及び青(B)の少なくとも一方の色のフィルタと、が垂直方向及び水平方向に各々配置された基本配列パターンが、繰り返し配置されたものとなっている。
 本実施形態に係る図2に示すカラーフィルタは、一例として6×6画素(N=M=6)に対応する正方配列パターンからなる基本配列パターンP(太枠で示したパターン)を含み、この基本配列パターンPが垂直方向(第1の方向)及び水平方向(第2の方向)に繰り返し配置されている。即ち、このカラーフィルタは、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
 このようにRフィルタ、Gフィルタ、Bフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるR、G、B信号の同時化処理(デモザイク処理ともいう。以下同じ)等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
〔特徴(2)〕
 図2に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の第1の方向である垂直方向、第2の方向である水平方向、及びカラーフィルタ面内において、第1の方向及び第2の方向と交差する第3の方向、すなわち斜め(NE,NW)方向(第3の方向)の各ライン内に配置されている。なお、NEは斜め右上方向を意味し、NWは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ45°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり、長辺・短辺の長さに応じてその角度は変わりうる。
 輝度系画素に対応するGフィルタが、カラーフィルタ配列の垂直方向、水平方向、及び斜め(NE,NW)方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
〔特徴(3)〕
 図2に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に1つ以上配置されている。
 Rフィルタ、Bフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されるため、色モワレ(偽色)の発生を低減することができる。
 これにより、偽色の発生を抑制するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルターを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
 〔特徴(4)〕
 図3は、図2に示した基本配列パターンPを、3×3画素に4分割した状態に関して示している。
 図3に示すように基本配列パターンPは、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
 A配列及びB配列は、それぞれ輝度系画素であるGフィルタが4隅と中央に配置され、両対角線上に配置されている。また、A配列は、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列され、一方、B配列は、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
 また、A配列とB配列の4隅のGフィルタは、図4に示すようにA配列とB配列とが水平、垂直方向に交互に配置されることにより、2×2画素に対応する正方配列のGフィルタとなる。
 すなわち、図2に示すカラーフィルタ配列(基本配列パターンP)は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。
 いま、図5に示すように、撮像素子14から出力されるモザイク画像を、A配列を中心にして5×5画素の局所領域を抽出した場合、この局所領域内の4隅の2×2画素のG画素は、図5に示す配置になっている。
 図5に示すように、2×2画素のG画素の画素値を、左上から右下の順にG1、G2、G3、G4とした場合、これらのG画素の画素値の垂直方向の差分絶対値は(|G1-G3|+|G2-G4|)/2、水平方向の差分絶対値は(|G1-G2|+|G3-G4|)/2、右上斜め方向の差分絶対値は|G2-G3|、左上斜め方向の差分絶対値は|G1-G4|となる。
 これらの4つの相関絶対値のうち最小となる差分絶対値をとる方向に相関(相関方向)があると判別することができる。
 いま、図4又は図5に示すように中央に3×3画素のA配列が位置するように、モザイク画像から5×5画素の局所領域を抽出した場合、4隅に2×2画素のG画素が配置されることになる。したがって、上記局所領域内のA配列の3×3画素を同時化処理の対象画素とした場合、4隅の各方向別の相関絶対値の総和(又は平均値)を求め、各方向別の相関絶対値の総和(又は平均値)のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。判別された相関方向は、同時化処理等を行う際に利用することができる。
 〔特徴(5)〕
 図2に示すカラーフィルタ配列を構成する基本配列パターンPは、その基本配列パターンの中心(4つのGフィルタの中心)に対して点対称になっている。また、図3に示すように、基本配列パターン内のA配列及びB配列も、それぞれ中心のGフィルタに対して点対称になっており、かつ上下左右が対称(線対称)になっている。
 このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
 〔特徴(6)〕
 図2に示すカラーフィルタ配列を構成する基本配列パターンPは、Gフィルタの水平方向における位置が同一となる、水平方向に沿った同一配列ラインを複数含んでいる。例えば、図6に示すように、垂直方向に1ライン目、3ライン目、4ライン目、6ライン目は、何れも水平方向におけるGフィルタの位置が同一となっている。また、2ライン目と5ライン目も、水平方向におけるGフィルタの位置が同一となっている。従って、AF方式としてコントラストAF方式を採用し、G画素の画素値に基づいてAF評価値を算出する際には、水平方向におけるGフィルタの位置が同一の同一配列のライン画像データを読み出して、水平方向における位置が同一のG画素同士を画素加算する。これにより、AF評価値の精度を高めることができる。
 撮像処理部16は、撮像素子14から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、A/D変換処理等の予め定めた処理を施し、画像データとして画像処理部20に出力する。
 画像処理部20は、撮像処理部16から出力された画像データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画像データを周囲の画素の画素データから補間して、全画素のR,G,Bの画像データを生成する。そして、生成したR,G,Bの画像データに対して所謂YC変換処理を施し、輝度データY、色差データCr、Cbを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。
 駆動部22は、制御部24からの指示に応じて撮像素子14からの撮像信号の読み出し駆動等を行う。
 制御部24は、撮影モード等に応じて駆動部22及び画像処理部20等を統括制御する。詳細は後述するが、制御部24は、駆動部22に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部20に対して、撮影モードに応じた画像処理を行うよう指示したりする。
 撮影モードによっては、撮像素子14からの撮像信号を間引いて読み出す必要があるため、制御部24は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部22に指示する。
 撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のHD(高精細)動画データを生成して図示しないメモリーカード等の記録媒体に記録するHD動画モード、撮影した画像を間引いて比較的低解像度のスルー動画(ライブビュー画像)を図示しない表示部に出力するスルー動画モード(ライブビューモード)等の動画モードがあるが、撮影モードの種類はこれらに限られるものではない。
 次に、本実施形態の作用として、制御部24で実行される処理について、図7に示すフローチャートを参照して説明する。
 なお、図7に示す処理は、例えばユーザーが静止画撮影時にシャッターボタン(またはシャッタースイッチ)を半押しすることにより被写体にピントを合わせようとした場合に実行される。また、以下では、垂直方向において予め定めた位置のライン画像データを読み出す場合、すなわち、垂直方向における予め定めた位置のライン以外のラインを間引いて(除いて)読み出す場合について説明する。また、この場合のライン画像データとは、水平方向に沿って並ぶ画素の画素データの集合である。
 まず、ステップ100では、撮影モードに応じた間引き方法で画像データを読み出すように駆動部22に指示する。
 本実施形態では、撮像素子14から基本配列パターンP内においてGフィルタの水平方向における位置が同一の水平方向に沿った同一配列ラインのライン画像データを各々読み出すように駆動部22に指示する(本実施形態では、駆動部22及び制御部24が、ライン画像データ生成手段に対応する)。
 図6に示すカラーフィルタの場合、基本配列パターンP内において1ライン目、3ライン目、4ライン目、及び6ライン目のライン画像データは、Gフィルタの水平方向における位置が同一である。また、2ライン目と5ライン目のライン画像データも、Gフィルタの水平方向における位置が同一である。ここで、1ライン目、3ライン目、4ライン目、及び6ライン目のライン画像データの第1の組は、2ライン目と5ライン目のライン画像データの第2の組と比較すると、基本配列パターンP内における水平方向のG画素の数が多い。従って、本実施形態では、G画素の数が多い第1の組の4個のラインのライン画像データを読み出すように駆動部22に指示する。
 ステップ102では、読み出されたGフィルタの水平方向における位置が同一配列のライン画像データのG画素同士を画素加算する画素加算処理を実行すると共に、画素加算処理後の画像データに基づいて、AF評価値を算出する処理を実行するよう画像処理部20に指示する(本実施形態では、画像処理部20及び制御部24が、画素加算手段及び算出手段に対応する)。
 これにより、図6に示すように、基本配列パターンP毎に、1ライン目、3ライン目、4ライン目、及び6ライン目のライン画像データの水平方向における位置が同一のG画素同士が画素加算されたライン画像データが生成される(第1ライン)。そして、基本配列パターンP毎に画素加算されたライン画像データに基づく画像データがAF評価値算出用の画像データとなり、この画像データに基づいて、コントラストAF用のAF評価値が算出される。
 このように、G画素の位置が同一配列のラインの組が複数組存在する場合には、G画素の数が多い方の同一配列ラインのライン画像データのG画素同士を画素加算するので、精度の高いAF評価値を算出することが可能となる。
 なお、制御部24及び画像処理部20は、CPU、ROM、RAM、不揮発性ROM等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ROMに記憶しておき、これをCPUが読み込んで実行することができる。
 このように、本実施形態では、カラーフィルタが基本配列パターンP内においてG画素の水平方向における位置が同一となる同一配列のラインを複数含み、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行するので、精度の高いAF評価値を算出することが可能となる。
 なお、上記のように、基本配列パターンP内にG画素の水平方向における位置が同一となる同一配列ラインが3ライン以上存在する場合に、全ての同一配列ラインのライン画像データの水平方向における位置が同一のG画素同士を画素加算するようにしてもよいが、一部の同一配列ラインについて画素加算するようにしてもよい。この場合、少なくとも垂直方向に最も近い位置の同一配列ラインのライン画像データを各々読み出して、水平方向における位置が同一のG画素同士を画素加算することが好ましい。これにより、良好な画質の画像が得られる。
 また、上記では、G画素の位置が同一配列のラインの組が複数組存在する場合に、G画素の数が多い方の同一配列ラインのライン画像データのG画素同士を画素加算するようにしたが、例えば図6に示すように、G画素の数が少ない方の2ライン目と5ライン目の同一配列ラインのライン画像データのG画素同士を画素加算する(第2ライン)ようにしてもよい。
 また、全ての組毎に、同一配列ラインのライン画像データのG画素の画素同士を画素加算するようにしてもよい。すなわち、G画素の数が多い方の第1の組のライン画像データのG画素同士を画素加算した第1ラインのライン画像データと、G画素の数が少ない第2の組のライン画像データのG画素同士を画素加算した第2ラインのライン画像データと、を垂直方向に交互に配置した画像データに基づいてAF評価値を算出するようにしてもよい。
 また、本実施形態では、水平方向における位置が同一のG画素同士の画素値を単純に加算する場合について説明したが、これに限らず、重み付け加算するようにしてもよい。
 また、静止画の撮影時に限らず、動画の撮影時に上記の処理を実行するようにしてもよい。
(第2実施形態)
 次に、本発明の第2実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。
 図8には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、6×6画素に対応する正方配列パターンからなる基本配列パターンP(太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
 また、図8に示すカラーフィルタ配列は、Gフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されている。
 また、図8に示すカラーフィルタ配列は、Rフィルタ、Bフィルタが、基本配列パターンP内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に1つ以上配置されている。
 図9は、図8に示した基本配列パターンPを、3×3画素に4分割した状態に関して示している。
 図9に示すように基本配列パターンPは、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
 A配列は、中心にRフィルタが配置され、4隅にBフィルタが配置され、中心のRフィルタを挟んで上下左右にGフィルタが配置されている。一方、B配列は、中心にBフィルタが配置され、4隅にRフィルタが配置され、中心のBフィルタを挟んで上下左右にGフィルタが配置されている。これらのA配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
 図10Aに示すように、第1実施形態のカラーフィルタは、上記A配列とB配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。
 いま、図10Aに示すように、撮像素子14から出力されるモザイク画像を、A配列を中心にして5×5画素の局所領域(太枠で示した領域)を抽出した場合、この局所領域内の8個のG画素は、図10Bに示すように十字形状に配置される。これらのG画素を左から右の順にG1、G2、G3、G4とし、上から下の順にG5、G6、G7、G8とすると、画素G1G2、画素G2G3が水平方向に隣接し、画素G5G6、画素G7G8が垂直方向に隣接し、画素G6G3、画素G2G7が左上斜め方向に隣接し、画素G6G2、画素G3G7が右上斜め方向に隣接している。
 従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め(NE,NW)方向の各方向のうち、輝度の変化が最も小さい方向(相関の高い相関方向)を、最小画素間隔で判別することができる。
 即ち、水平方向の差分絶対値の和は|G1-G2|+|G3-G4|、水平方向の差分絶対値の和は|G5-G6|+|G7-G8|、右上斜め方向の差分絶対値の和は|G6-G2|+|G3-G7|、左上斜め方向の差分絶対値の和は|G6-G3|+|G2G7|となる。
 これらの4つの相関絶対値のうち最小となる差分絶対値をとる方向に相関(相関方向)があると判別することができる。尚、判別された相関方向は、同時化処理等を行う際に利用することができる。
 また、図8に示すカラーフィルタを構成する基本配列パターンPは、その基本配列パターンPの中心に対して点対称になっている。
 図9に示したように、基本配列パターン内のA配列及びB配列は、それぞれ中心のRフィルタ、又はGフィルタに対して点対称になっており、かつ上下左右が対称(線対称)になっている。
 また、図8に示すカラーフィルタ配列を構成する基本配列パターンPは、Gフィルタの水平方向における位置が同一となる、水平方向に沿った同一配列ラインを複数含んでいる。例えば、図11に示すように、垂直方向に1ライン目、3ライン目、4ライン目、6ライン目は、何れも水平方向におけるGフィルタの位置が同一となっている。また、2ライン目と5ライン目も、水平方向におけるGフィルタの位置が同一となっている。
 このように本実施形態に係るカラーフィルタは、第1実施形態に係るカラーフィルタの特徴(1)、(3)~(6)と同じ特徴を有している。
 ここで、図11に示すように、1ライン目、3ライン目、4ライン目、及び6ライン目のライン画像データの第1の組は、2ライン目と5ライン目のライン画像データの第2の組と比較すると、基本配列パターンP内における水平方向のG画素の数が少ない。従って、本実施形態では、制御部24は、図7のステップ100において、G画素の数が多い第2の組の2個のラインのライン画像データを読み出すように駆動部22に指示する。
 そして、図7のステップ102では、制御部24は、読み出されたGフィルタの水平方向における位置が同一配列のライン画像データのG画素同士を画素加算する画素加算処理を実行すると共に、画素加算処理後の画像データに基づいて、AF評価値を算出する処理を実行するよう画像処理部20に指示する。
 これにより、図11に示すように、基本配列パターンP毎に、2ライン目と5ライン目のライン画像データの水平方向における位置が同一のG画素同士が画素加算されたライン画像データが生成される(第1ライン)。そして、基本配列パターンP毎に画素加算されたライン画像データに基づく画像データがAF評価値算出用の画像データとなり、この画像データに基づいて、コントラストAF用のAF評価値が算出される。
 このように、G画素の位置が同一配列のラインの組が複数組存在する場合には、G画素の数が多い方の同一配列ラインのライン画像データのG画素同士を画素加算するので、精度の高いAF評価値を算出することが可能となる。
 なお、図11に示すように、G画素の数が少ない方の1ライン目、3ライン目、4ライン目、及び6ライン目のライン画像データのG画素同士を画素加算する(第2ライン)ようにしてもよい。
 また、全ての組毎に、同一配列ラインのライン画像データのG画素の画素同士を画素加算するようにしてもよい。すなわち、G画素の数が多い方の第2の組のライン画像データのG画素同士を画素加算した第1ラインのライン画像データと、G画素の数が少ない第1の組のライン画像データのG画素同士を画素加算した第2ラインのライン画像データと、を垂直方向に交互に配置した画像データに基づいてAF評価値を算出するようにしてもよい。
 また、カラーフィルタ配列は、上記各実施形態で説明したものに限られるものではなく、以下のようなカラーフィルタ配列の撮像素子を有する撮像装置にも、本発明は適用できる。
 例えば、上記特徴(1)、(2)、(4)、(5)、(6)を有するカラーフィルタ配列として、図12に示すように、基本配列パターンPが3×3画素のカラーフィルタ配列がある。このカラーフィルタ配列は、3×3画素のうち中心と4隅にGフィルタが配置され、残りの5画素にRまたはBが同数配置された基本配列パターンが繰り返されたものである。
 また、上記特徴(1)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図13に示すように、基本配列パターンPが4×4画素のカラーフィルタ配列がある。このカラーフィルタ配列は、4×4画素のなかの2つの対角線上にGが配置され、残りの画素位置にR、B画素が4×4画素のなかの水平、及び垂直方向の各ライン内に1つ以上配置されるように配置され、Gの数がR,Bの数より多くなるように設定された基本配列パターンが繰り返されたものである。
 また、上記特徴(1)、(2)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図14に示すように基本配列パターンPが5×5画素のカラーフィルタ配列がある。このカラーフィルタ配列は、5×5画素のなかの2つの対角線上にGが配置され、残りの画素位置にR、B画素が5×5画素のなかの水平、及び垂直方向の各ライン内に1つ以上配置されるように配置され、Gの数がR,Bの数より多くなるように設定された基本配列パターンが繰り返されたものである。
 また、上記特徴(1)、(2)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図15に示すように基本配列パターンPが6×6画素のカラーフィルタ配列がある。このカラーフィルタ配列は、GがRまたはBの外周に矩形状に配置された第1サブ配列と、Gが中央部に配置された第2サブ配列とがそれぞれ2つずつ水平方向、垂直方向に交互に互いに隣接するように配置された基本配列パターンが繰り返されたものである。この配列においては、特徴(3)において、R及びBもカラーフィルター配列の斜め(NE,NW)方向(第3の方向)の各ライン内に1つ以上配置される特徴も有する。
 また、上記特徴(1)、(2)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図16に示すように基本配列パターンPが7×7画素のカラーフィルタ配列、図17に示すように基本配列パターンPが8×8画素のカラーフィルタ配列等がある。
 これらのカラーフィルタは、特徴(6)を有しているので、水平方向におけるG画素の位置が同一配列のライン画像データを読み出してG画素同士を画素加算することにより、精度の高いAF評価値を算出することができる。
 なお、同時化処理や動画撮影時の間引き処理等の画像処理の容易さを考慮すると、N、Mは10以下であることが好ましい。
 また、上記実施形態では、RGBの3原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、RGBの3原色+他の色(例えば、エメラルド(E))の4色のカラーフィルタ、例えば図20に示すようなカラーフィルタにも適用できる。また、他の色として白色または透明(W)フィルタを有するカラーフィルタにも本発明を適用できる。例えば図20のエメラルドに代えてWフィルタを配置しても良い。この場合、WとGの組み合わせ、又はWが輝度信号に最も寄与する第1の色となる。
 また、本発明は、原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。
 また、上記各実施形態では、垂直方向に予め定めた周期で、水平方向に沿ったライン画像データを読み出す場合について説明したが、水平方向に予め定めた周期で、垂直方向に沿ったライン画像データを読み出す場合にも本発明を適用可能である。
 また、本実施形態では、基本配列パターンP内においてG画素の水平方向における位置が同一となる同一配列のラインを読み出し、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行する場合について説明したが、画素加算せずに、基本配列パターンP内においてG画素の水平方向における位置が同一となる同一配列ラインのうち、Gフィルタの数が最も多い組の同一配列ラインのライン画像データを読み出して、読み出したライン画像データに基づいて、コントラストAFの評価値を算出するようにしてもよい。これにより、画素加算せずに、精度良くコントラストAFの評価値を算出することができる。
 例えば、図18に示すように、垂直方向に1/3間引きでライン画像データを読み出した場合の各ラインは、水平方向におけるGフィルタの位置が同一となる同一配列ラインのうち、Gフィルタの数が最も多い組の同一配列ラインとなる。従って、これらの同一配列ラインのライン画像データを画素加算せずに、これらのライン画像データに基づいてコントラストAFの評価値を算出するようにしてもよい。
 また、図19に示すように、Gフィルタの数が最も多い組の同一配列ラインのライン画像データを全て読み出して、これらのライン画像データを画素加算せずに、これらのライン画像データに基づいてコントラストAFの評価値を算出するようにしてもよい。
 また、本実施形態では、撮像素子14から、基本配列パターンP内においてG画素の水平方向における位置が同一となる同一配列のラインを読み出し、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行する場合について説明したが、全ライン分の画素の画素信号を読み出して、基本配列パターンP内においてG画素の水平方向における位置が同一となる同一配列ラインのライン画像データを選択的に使って(その他のラインのライン画像データを使わず又は記憶せず)、これらを画素加算するようにしても良い。また、全ライン分の画素の画素信号を読み出してRAM等のメモリに一時記憶し、基本配列パターンP内においてG画素の水平方向における位置が同一となる同一配列ラインのライン画像データを選択的に使って画素加算するようにしても良い(この形態の場合、撮像処理部16又は画像処理部20がライン画像データ生成手段に対応する)。
 また、本実施形態では、撮像素子14から基本配列パターンP内における同一配列ラインのライン画像データを各々読み出してライン画像データを生成し、これらを画素加算する場合について説明したが、画素加算は撮像素子14内で行うようにしても良い。特に、撮像素子14において読み出した直後に画素加算(画素混合)を行うことで動画の処理時間をより短縮することが可能である(この形態の場合、撮像素子14及び駆動部22がライン画像データ生成手段及び画素加算手段に対応する)。
 更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10 撮像装置
12 光学系
14 撮像素子
16 撮像処理部
20 画像処理部
22 駆動部
24 制御部
P 基本配列パターン

Claims (15)

  1.  予め定めた第1の方向及び前記第1の方向と交差する第2の方向に配列された複数の光電変換素子を含む撮像素子と、
     前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを前記第2の方向に少なくとも一つずつ含む前記第2の方向に沿った配列ラインであって、前記第1のフィルタの前記第2の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第2の方向における前記第1のフィルタの配列が異なる少なくとも1つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
     前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するライン画像データ生成手段と、
     生成した前記同一配列ラインのライン画像データのうち少なくとも前記第1の色の画素同士を画素加算する画素加算手段と、
     画素加算した前記ライン画像データに基づいて、コントラストAFの評価値を算出する算出手段と、
     を備えた撮像装置。
  2.  前記ライン画像データ生成手段は、前記基本配列パターン内において前記同一配列ラインが複数組存在する場合、前記第1のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成する
     請求項1記載の撮像装置。
  3.  前記ライン画像データ生成手段は、前記基本配列パターン内において前記同一配列ラインが複数組存在する場合、全ての組の同一配列ラインのライン画像データを各々生成し、
     前記画素加算手段は、前記全ての組毎に、前記同一配列ラインのライン画像データの前記第1の色の画素同士を画素加算する
     請求項1又は請求項2記載の撮像装置。
  4.  前記ライン画像データ生成手段は、前記第1の方向に最も近い位置の同一配列ラインのライン画像データを各々生成する
     請求項1~請求項3の何れか1項に記載の撮像装置。
  5.  前記ライン画像データ生成手段は、前記撮像素子から前記複数の画素における画素信号を読み出す前記設定された周期として、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインの前記画素信号を読み出して前記ライン画像データを生成する
     請求項1~請求項4の何れか1項に記載の撮像装置。
  6.  前記第1のフィルタは、前記カラーフィルタ面内において、前記第1の方向と、前記第2の方向と、前記第1の方向及び前記第2の方向と交差する第3の方向と、の各ライン内に1つ以上配置され、
     前記第2の色の各色に対応する前記第2のフィルタは、前記基本配列パターン内において、前記第1の方向及び前記第2の方向の各ライン内に1つ以上配置された
     請求項1~請求項5の何れか1項に記載の撮像装置。
  7.  前記カラーフィルタは、前記第1のフィルタからなる2×2画素に対応する正方配列を含む
     請求項1~請求項6の何れか1項に記載の撮像装置。
  8.  前記第1の色は、緑(G)色であり、前記第2の色は、赤(R)色及び青(B)である
     請求項1~請求項7の何れか1項に記載の撮像装置。
  9.  前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、かつ、
     前記カラーフィルタは、3×3画素に対応する第1の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置され、左右にRフィルタが配列された第1の配列と、3 ×3画素に対応する第2の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置され、左右にBフィルタが配列された第2の配列とが、交互に前記第1の方向及び前記第2の方向に配列されて構成されている
     請求項8記載の撮像装置。
  10.  前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、かつ、
     前記カラーフィルタは、3×3画素に対応する第1の配列であって、中心にRフィルタが配置され、4隅にBフィルタが配置され、中心のRフィルタを挟んで上下左右にGフィルタが配置された第1の配列と、3×3画素に対応する第2の配列であって、中心にBフィルタが配置され、4隅にRフィルタが配置され、中心のBフィルタを挟んで上下左右にGフィルタが配置された第2の配列とが、交互に前記第1の方向及び前記第2の方向に配列されて構成されている
     請求項8記載の撮像装置。
  11.  前記カラーフィルタは、前記基本配列パターンの中心に対して点対称である
     請求項1~10の何れか1項に記載の撮像装置。
  12.  予め定めた第1の方向及び前記第1の方向と交差する第2の方向に配列された複数の光電変換素子を含む撮像素子と、
     前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを前記第2の方向に少なくとも一つずつ含む前記第2の方向に沿った配列ラインであって、前記第1のフィルタの前記第2の方向における位置が同一となる複数の第1の同一配列ラインと、前記第1の同一配列ラインとは前記第2の方向における前記第1のフィルタの配列が異なる複数の第2の同一配列ラインとを少なくとも含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
     前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記配列ラインのうち前記第1のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成するライン画像データ生成手段と、
     前記ライン画像データ生成手段により生成したライン画像データに基づいて、コントラストAFの評価値を算出する算出手段と、
     を備えた撮像装置。
  13.  予め定めた第1の方向及び前記第1の方向と交差する第2の方向に配列された複数の光電変換素子を含む撮像素子と、
     前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを前記第2の方向に少なくとも一つずつ含む前記第2の方向に沿った配列ラインであって、前記第1のフィルタの前記第2の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第2の方向における前記第1のフィルタの配列が異なる少なくとも1つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
     を備えた撮像装置の制御方法であって、
     前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、
     前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成し、
     生成した前記同一配列ラインのライン画像データのうち少なくとも前記第1の色の画素同士を画素加算し、
     画素加算した前記ライン画像データに基づいて、コントラストAFの評価値を算出する
     を備えた撮像装置の制御方法。
  14.  予め定めた第1の方向及び前記第1の方向と交差する第2の方向に配列された複数の光電変換素子を含む撮像素子と、
     前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを前記第2の方向に少なくとも一つずつ含む前記第2の方向に沿った配列ラインであって、前記第1のフィルタの前記第2の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第2の方向における前記第1のフィルタの配列が異なる少なくとも1つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
     を備えた撮像装置を制御するコンピュータに、
     前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出すステップと、
     前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するステップと、
     生成した前記同一配列ラインのライン画像データのうち少なくとも前記第1の色の画素同士を画素加算するステップと、
     画素加算した前記ライン画像データに基づいて、コントラストAFの評価値を算出するステップと、
     を含む処理を実行させるための制御プログラム。
  15.  コンピュータに、
     予め定めた第1の方向及び前記第1の方向と交差する第2の方向に配列された複数の光電変換素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを前記第2の方向に少なくとも一つずつ含む前記第2の方向に沿った配列ラインであって、前記第1のフィルタの前記第2の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第2の方向における前記第1のフィルタの配列が異なる少なくとも1つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像素子から、前記複数の画素における画素信号を設定された周期で読み出された画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するステップと、
     生成した前記同一配列ラインのライン画像データのうち少なくとも前記第1の色の画素同士を画素加算するステップと、
     画素加算した前記ライン画像データに基づいて、コントラストAFの評価値を算出するステップと、
     を含む処理を実行させるための制御プログラム。
PCT/JP2012/083975 2011-12-27 2012-12-27 撮像装置、撮像装置の制御方法、及び制御プログラム WO2013100095A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12861956.6A EP2799922A4 (en) 2011-12-27 2012-12-27 IMAGE FORMING DEVICE, CONTROL METHOD FOR IMAGE FORMING DEVICE, AND CONTROL PROGRAM
CN201280064855.XA CN104011575B (zh) 2011-12-27 2012-12-27 摄像装置及摄像装置的控制方法
US14/315,447 US9113027B2 (en) 2011-12-27 2014-06-26 Imaging device, method for controlling imaging device, and storage medium storing a control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011286691 2011-12-27
JP2011-286691 2011-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/315,447 Continuation US9113027B2 (en) 2011-12-27 2014-06-26 Imaging device, method for controlling imaging device, and storage medium storing a control program

Publications (1)

Publication Number Publication Date
WO2013100095A1 true WO2013100095A1 (ja) 2013-07-04

Family

ID=48697574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/083975 WO2013100095A1 (ja) 2011-12-27 2012-12-27 撮像装置、撮像装置の制御方法、及び制御プログラム

Country Status (5)

Country Link
US (1) US9113027B2 (ja)
EP (1) EP2799922A4 (ja)
JP (1) JP5624227B2 (ja)
CN (1) CN104011575B (ja)
WO (1) WO2013100095A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008635A1 (ja) * 2013-07-17 2015-01-22 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135793A (ja) 2000-10-20 2002-05-10 Victor Co Of Japan Ltd カラー撮像装置
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP2005107252A (ja) * 2003-09-30 2005-04-21 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2006324760A (ja) * 2005-05-17 2006-11-30 Fujifilm Holdings Corp 撮像装置
JP3960965B2 (ja) 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
JP2007274599A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 撮像装置
JP2008015494A (ja) * 2006-06-05 2008-01-24 Pentax Corp 焦点検出方法および焦点検出装置
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成
WO2012114558A1 (ja) * 2011-02-21 2012-08-30 富士フイルム株式会社 カラー撮像素子

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
EP1357760B1 (en) 2001-01-09 2011-11-09 Sony Corporation Image processing device and method
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP4819318B2 (ja) * 2004-03-29 2011-11-24 富士フイルム株式会社 カメラの自動焦点調節方法及び装置
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
US7773874B2 (en) * 2006-06-05 2010-08-10 Hoya Corporation Focus detection method and focus detection device
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
TWI336588B (en) * 2007-06-14 2011-01-21 Novatek Microelectronics Corp A focusing method, suitable for an image capturing apparatus using in an environment of low brightness and image capturing apparatus using the same
JP4979507B2 (ja) * 2007-07-05 2012-07-18 株式会社リコー 撮像装置及び撮像方法
JP4582152B2 (ja) * 2008-01-25 2010-11-17 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US20090189232A1 (en) * 2008-01-28 2009-07-30 Micron Technology, Inc. Methods and apparatuses providing color filter patterns arranged to reduce the effect of crosstalk in image signals
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135793A (ja) 2000-10-20 2002-05-10 Victor Co Of Japan Ltd カラー撮像装置
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP2005107252A (ja) * 2003-09-30 2005-04-21 Matsushita Electric Ind Co Ltd 固体撮像装置
JP3960965B2 (ja) 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
JP2006324760A (ja) * 2005-05-17 2006-11-30 Fujifilm Holdings Corp 撮像装置
JP2007274599A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 撮像装置
JP2008015494A (ja) * 2006-06-05 2008-01-24 Pentax Corp 焦点検出方法および焦点検出装置
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成
WO2012114558A1 (ja) * 2011-02-21 2012-08-30 富士フイルム株式会社 カラー撮像素子

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2799922A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008635A1 (ja) * 2013-07-17 2015-01-22 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器

Also Published As

Publication number Publication date
EP2799922A4 (en) 2015-08-05
US20140307136A1 (en) 2014-10-16
CN104011575A (zh) 2014-08-27
JP5624227B2 (ja) 2014-11-12
CN104011575B (zh) 2016-08-31
JPWO2013100095A1 (ja) 2015-05-11
US9113027B2 (en) 2015-08-18
EP2799922A1 (en) 2014-11-05

Similar Documents

Publication Publication Date Title
JP5490313B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP5547338B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5474258B2 (ja) 撮像装置及び撮像プログラム
JP5490312B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP5539585B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
WO2013099637A1 (ja) カラー撮像素子及び撮像装置
JP5524406B2 (ja) 撮像装置及び撮像プログラム
JP5456206B2 (ja) 撮像装置、撮像装置の制御プログラム、及び撮像装置の制御方法
JP5607266B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
WO2013100093A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
WO2012127700A1 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5624226B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5624227B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5607267B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12861956

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013551841

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012861956

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012861956

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE