WO2013001869A1 - 撮像装置及び撮像プログラム - Google Patents

撮像装置及び撮像プログラム Download PDF

Info

Publication number
WO2013001869A1
WO2013001869A1 PCT/JP2012/057385 JP2012057385W WO2013001869A1 WO 2013001869 A1 WO2013001869 A1 WO 2013001869A1 JP 2012057385 W JP2012057385 W JP 2012057385W WO 2013001869 A1 WO2013001869 A1 WO 2013001869A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
line
pattern
color filter
color
Prior art date
Application number
PCT/JP2012/057385
Other languages
English (en)
French (fr)
Inventor
林　健吉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2013522492A priority Critical patent/JP5456206B2/ja
Priority to CN201280031720.3A priority patent/CN103621070B/zh
Priority to EP12804973.1A priority patent/EP2728885B1/en
Publication of WO2013001869A1 publication Critical patent/WO2013001869A1/ja
Priority to US14/140,169 priority patent/US8970748B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Definitions

  • the present invention relates to an imaging apparatus and an imaging program, and more particularly to an imaging apparatus and an imaging program provided with a color filter.
  • the image signal picked up by the image sensor is usually subjected to processing for improving and correcting image quality degradation caused by the characteristics of the image sensor (see, for example, Patent Document 1 and Patent Document 2).
  • the type of color definition is defined by the size of the basic arrangement pattern.
  • the basic array pattern is a conventional Bayer array, there may be a maximum of four types of correction values for 2 ⁇ 2 pixels.
  • the present invention has been made to solve the above problems, and provides an imaging apparatus and an imaging program capable of reducing the load of correction processing even when a color filter having a large basic array pattern size is used. With the goal.
  • an imaging device of the present invention is provided on an imaging element including a plurality of photoelectric conversion elements arranged in a horizontal direction and a vertical direction, and a plurality of pixels including the plurality of photoelectric conversion elements.
  • a color filter in which a plurality of filters each corresponding to a plurality of different colors are arranged in a predetermined pattern in the horizontal direction and the vertical direction, a basic arrangement pattern is repeatedly arranged, and the image sensor Dividing means for dividing the output image data into line image data for each line along a predetermined direction, and on the pattern line when the basic array pattern is divided into pattern lines along the predetermined direction
  • Storage means for storing line correction data consisting of a plurality of correction data corresponding to each filter for each pattern line, and the dividing means Correction means for reading line correction data corresponding to the divided line image data from the storage means, and correcting the line image data for each pattern line by the read line correction data.
  • line correction data is prepared for each pattern line along a predetermined direction of the basic array pattern, and the image data is divided into line image data and corrected for each line image data. Even when a color filter with a large basic array pattern size, that is, a color filter with many color definitions, is used, the load of the correction process can be reduced as compared with the case of correcting each basic array pattern.
  • the predetermined direction can be any one of the horizontal direction, the vertical direction, and the oblique direction, for example.
  • the image capturing device When the image capturing mode is the moving image mode, the image capturing device includes a thinning unit that reads line image data by thinning with a predetermined thinning pattern from the image sensor, and the correction unit corresponds to the line image data read by the thinning unit.
  • the corrected line correction data may be read from the storage unit, and the line image data may be corrected using the read line correction data.
  • the shooting mode is the moving image mode
  • only the line correction data corresponding to the read line image data needs to be read, and the correction processing in the moving image mode is performed. Can reduce the load.
  • the color filter includes a first filter corresponding to the first color that contributes most to obtain a luminance signal and a second filter corresponding to two or more second colors other than the first color.
  • the basic arrangement pattern in which filters are arranged is repeatedly arranged in the horizontal and vertical directions, and the second filter corresponding to each of the first filter and the second color is in the basic arrangement pattern, respectively.
  • One or more of the color filters are arranged in each line in the horizontal and vertical directions, and the first filter is a portion adjacent to two or more in the horizontal, vertical, and diagonal directions in the basic array pattern. It can be set as the structure arrange
  • the first filter corresponding to the first color that contributes most to obtain the luminance signal has horizontal, vertical, and diagonal (NE, NW) directions in the basic array pattern.
  • the correlation direction of the luminance is any of the four directions based on the difference value of the pixel values of the first color pixels adjacent in each direction. Can be determined by the minimum pixel interval.
  • the pixel value of the minimum pixel interval is used as described above.
  • the basic array pattern may be a square array pattern corresponding to N ⁇ N (N: integer of 4 or more) pixels.
  • the color filter may include a square array corresponding to 2 ⁇ 2 pixels formed of the first filter.
  • the luminance correlation direction is based on the difference value of the pixel values between the four pixels in the square array corresponding to 2 ⁇ 2 pixels. The determination can be made with the minimum pixel interval.
  • the first color may be a green (G) color
  • the second color may be a red (R) color and blue (B).
  • the color filter includes an R filter, a G filter, and a B filter corresponding to red (R), green (G), and blue (B) colors, and the color filter has 3 ⁇ 3 pixels.
  • a corresponding first array in which an R filter is disposed at the center, B filters are disposed at four corners, and G filters are disposed vertically and horizontally with the center R filter interposed therebetween;
  • a second array corresponding to ⁇ 3 pixels in which a B filter is arranged at the center, R filters are arranged at four corners, and G filters are arranged at the top, bottom, left, and right with the center B filter interposed therebetween
  • the arrangement may be alternately arranged in the horizontal and vertical directions.
  • the center pixel (R pixel or B pixel) of the 5 ⁇ 5 pixel is extracted.
  • the color filter includes an R filter, a G filter, and a B filter corresponding to red (R), green (G), and blue (B) colors, and the color filter has 3 ⁇ 3 pixels.
  • a corresponding first array in which G filters are arranged at the center and four corners, B filters are arranged above and below the center G filter, and R filters are arranged on the left and right;
  • a second array corresponding to 3 ⁇ 3 pixels, in which G filters are arranged at the center and four corners, R filters are arranged above and below the center G filter, and B filters are arranged on the left and right.
  • the two arrays can be alternately arranged in the horizontal direction and the vertical direction.
  • 2 G when 5 ⁇ 5 pixels (local area of the mosaic image) are extracted with the first array or the second array as a center, 2 G ⁇ 2 pixels G at the four corners of the 5 ⁇ 5 pixels. There will be pixels. The pixel values of these 2 ⁇ 2 G pixels can be used to determine the correlation direction in the four directions.
  • the color filter may be configured such that the first filter is continuously arranged in the horizontal and vertical directions with either one of the second filters interposed therebetween.
  • the luminance correlation direction is in the minimum pixel interval.
  • the color filter may be configured to be point symmetric with respect to the center of the basic array pattern.
  • An imaging program of the present invention is an imaging device including a plurality of photoelectric conversion elements arranged in a horizontal direction and a vertical direction, and a color filter provided on a plurality of pixels including the plurality of photoelectric conversion elements, and is different
  • a basic array pattern in which a plurality of filters each corresponding to a plurality of colors are arranged in a predetermined pattern in the horizontal direction and the vertical direction is a color filter in which a plurality of filters are repeatedly arranged, and the basic array pattern is along a predetermined direction.
  • a computer for controlling the imaging apparatus comprising: storage means for storing, for each pattern line, line correction data composed of a plurality of correction data corresponding to each filter on the pattern line when the pattern line is divided.
  • the image data output from the element is divided into line image data for each line along the predetermined direction.
  • correction means for reading line correction data corresponding to the line image data divided by the dividing means from the storage means, and correcting the line image data for each pattern line by the read line correction data. It is made to function.
  • FIG. 1 is a schematic block diagram of an imaging apparatus according to a first embodiment. It is a block diagram of the color filter which concerns on 1st Embodiment. It is a figure which shows the basic sequence pattern contained in the color filter which concerns on 1st Embodiment. 6 shows a color filter obtained by dividing a 6 ⁇ 6 pixel basic array pattern included in the color filter according to the first embodiment into an A array and a B array of 3 ⁇ 3 pixels and repeatedly arranging them in the horizontal and vertical directions. FIG. It is a figure which shows the characteristic arrangement
  • FIG. 1 shows a schematic block diagram of the imaging apparatus 10 according to the present embodiment.
  • the imaging apparatus 10 includes an optical system 12, an imaging element 14, a data control unit 16, an image memory 18, a division control unit 20, an imaging correction processing unit 22, and a correction table storage unit 24.
  • the optical system 12 includes, for example, a lens group including a plurality of optical lenses, an aperture adjustment mechanism, a zoom mechanism, an automatic focus adjustment mechanism, and the like.
  • the image sensor 14 includes an image sensor including a plurality of photoelectric conversion elements arranged in a horizontal direction and a vertical direction, for example, a color filter disposed on an image sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor). This is a so-called single-plate type imaging device having the above-described configuration.
  • a CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • FIG. 2 shows a part of the color filter according to this embodiment.
  • any one of the color filters of the three primary colors of red (R), green (G), and blue (B) is disposed on each pixel.
  • the color filter of the first embodiment has the following features (1), (2), (3), and (4).
  • the color filter shown in FIG. 2 includes a basic array pattern P (pattern indicated by a thick frame) composed of square array patterns corresponding to 6 ⁇ 6 pixels, and the basic array pattern P is repeatedly arranged in the horizontal and vertical directions. Yes. That is, in this color filter, R, G, and B color filters (R filter, G filter, and B filter) are arranged with a predetermined periodicity.
  • the synchronization (interpolation) processing also referred to as demosaic processing
  • demosaic processing also referred to as demosaic processing
  • the color filter arrangement of the reduced image after the thinning-out process can be the same as the color filter arrangement before the thinning-out process, Processing circuitry can be used.
  • the basic arrangement pattern P that constitutes the color filter shown in FIG. 2 includes a G filter corresponding to the most effective color haze (in this embodiment, G color haze) for obtaining a luminance signal, and other colors other than the G color.
  • G filter corresponding to the most effective color haze in this embodiment, G color haze
  • one or more R filters and B filters corresponding to (R, B) are arranged in each horizontal and vertical line in the basic array pattern.
  • the G filter corresponding to the luminance system pixel is arranged in the basic array pattern P so as to include two or more adjacent portions in each of the horizontal, vertical, and oblique (NE, NW) directions.
  • FIG. 3 shows a state in which the basic array pattern P shown in FIG. 2 is divided into 4 ⁇ 3 ⁇ 3 pixels.
  • the basic array pattern P includes a 3 ⁇ 3 pixel A array surrounded by a solid frame and a 3 ⁇ 3 pixel B array surrounded by a broken frame alternately in the horizontal and vertical directions. It can also be understood that the array is arranged.
  • an R filter is arranged at the center, B filters are arranged at the four corners, and G filters are arranged at the top, bottom, left and right with the center R filter interposed therebetween.
  • a B filter is disposed at the center, R filters are disposed at the four corners, and G filters are disposed vertically and horizontally with the center B filter interposed therebetween.
  • the color filter of the first embodiment can also be regarded as the A array and the B array being alternately arranged in the horizontal and vertical directions.
  • FIG. 4A when a 5 ⁇ 5 pixel local area (area indicated by a thick frame) is extracted from the mosaic image output from the image sensor 14 around the A array,
  • the eight G pixels are arranged in a cross shape as shown in FIG. 4B. If these G pixels are G1, G2, G3, G4 from left to right and G5, G6, G7, G8 from top to bottom, the pixels G1G2, G2G3 are adjacent in the horizontal direction, and the pixels G5G6, G7G8 is adjacent in the vertical direction, pixel G6G3 and pixel G2G7 are adjacent in the upper left diagonal direction, and pixel G6G2 and pixel G3G7 are adjacent in the upper right diagonal direction.
  • the direction in which the change in luminance is the smallest (the correlation direction with the high correlation) among the horizontal, vertical, and diagonal (NE, NW) directions. ) Can be determined by the minimum pixel interval.
  • correlation direction there is a correlation (correlation direction) in the direction of taking the smallest difference absolute value among these four correlation absolute values.
  • the determined correlation direction can be used when performing a synchronization (interpolation) process or the like.
  • the G pixel values G22 ′ and G24 ′ at the pixel positions B22 and B24 use the G23 pixel value, and the G pixel values G42 ′ and G44 at the B42 and B44 pixel positions.
  • the G pixel value G33 'at the R33 pixel position uses the average value of the G32 and G34 pixel values.
  • the R pixel value R22 ′ at the B22 pixel position uses the R21 pixel value
  • the R and B pixel values R23 ′ and B23 ′ at the G23 pixel position are The average value of the pixel values of R21 and R25 and the average value of the pixel values of B22 and B24 are used, respectively.
  • the R pixel values R22 ′ and R24 ′ at the pixel positions of B22 and B24 are the pixel values of R21 and R25, respectively. use.
  • the pixel values R32 ′ and B32 ′ of R and B at the pixel position of G32 use the pixel values of R33 and B30, respectively, and the pixel value B33 ′ of B at the pixel position of R33 is the average of the pixel values of B30 and B36
  • the R and B pixel values R34 ′ and B34 ′ at the pixel position of G34 use the pixel values of R33 and B36, respectively.
  • the R pixel value R42 ′ at the pixel position B42 uses the R41 pixel value
  • the R43 pixel values R43 ′ and B43 ′ at the G43 pixel position are average values of the R41 and R45 pixel values, respectively.
  • the average value of the pixel values of B42 and B44 is used, and the pixel value R44 ′ of R at the pixel position of B44 uses the pixel value of R45.
  • RGB pixel values are interpolated by exchanging R and B and performing the same processing.
  • RGB pixel values are interpolated by repeating the above processing every 3 ⁇ 3 pixels.
  • interpolation is performed from pixels where there are pixels of the color to be interpolated in the interpolation direction.
  • the R pixel value R22 ′ at the B22 pixel position uses the R23 pixel value
  • the R32 pixel value R32 ′ at the G32 pixel position uses the R21 pixel value
  • the B42 pixel position As the G pixel value G42 ′, the average value of the G31 and G53 pixel values is used.
  • R23 ', B33', R43 ', G24', R34 ', R44' similarly use the pixel values of the interpolated color pixels existing in the correlation direction.
  • interpolation is performed using the color difference between G13 and the interpolated pixel value B13', and G31 and the interpolated pixel value B31 '. Specifically, the value is calculated by the following formula.
  • RGB pixel values are interpolated by repeating the above processing every 3 ⁇ 3 pixels.
  • the RGB pixel values can be obtained by interpolating in the same manner as in the case where the vertical direction is determined or the case where the upper left direction is determined.
  • the basic array pattern P constituting the color filter shown in FIG. 2 is point-symmetric with respect to the center of the basic array pattern P.
  • the A array and the B array in the basic array pattern are point-symmetric with respect to the center R filter or G filter, respectively, and are symmetrical (line symmetric) vertically and horizontally. ing.
  • the basic array pattern is a dot pattern.
  • the symmetrical basic array pattern P is referred to as a basic array pattern for convenience.
  • color filters of other embodiments to be described later there are a plurality of basic array patterns for each color filter.
  • a typical one is called a basic array pattern of the color filter.
  • the data control unit 16 temporarily stores the image data output from the image sensor 14 in the image memory 18, and the image data stored in the image memory 18 along the horizontal direction according to an instruction from the division control unit 20.
  • the image data is divided into line image data divided for each line, and the divided line image data is sequentially output to the imaging correction processing unit 22.
  • the correction table storage unit 24 stores in advance, for each pattern line, pattern line correction data including a plurality of correction data corresponding to each filter on the pattern line when the basic array pattern P is divided into pattern lines along the horizontal direction. is doing.
  • the correction table storage unit 24 stores each of the first pattern line to the sixth pattern line.
  • a correction table made up of first to sixth line correction data corresponding to is stored. Since the color filter has a configuration in which the basic array pattern P is repeatedly arranged, the correction table storage unit 24 need only store the correction table for 6 ⁇ 6 pixels.
  • the correction table is correction data for correcting image quality deterioration caused by the arrangement of color filters.
  • the fourth line correction data is read and corrected. If the line image data is line image data of (n + 4) lines, the fourth line correction data is read and corrected. If the line image data is line image data of (n + 5) lines, The fifth line correction data is read and corrected. If the line image data is (n + 6) line image data, the sixth line correction data is read and corrected.
  • step 100 the data control unit 16 reads out image data from the image sensor 14 and sequentially stores it in the image memory 18.
  • step 102 the data control unit 16 divides the image data stored in the image memory 18 into line image data for each line along the horizontal direction in accordance with an instruction from the division control unit 20, and the divided line image data. Are sequentially output to the imaging correction processing unit 22.
  • step 104 the imaging correction processing unit 22 reads line correction data for each line from the correction table storage unit 24 in accordance with an instruction from the division control unit 20.
  • step 106 the imaging correction processing unit 22 corrects the line image data output from the data control unit 16 for each pattern line of the basic array pattern based on the line correction data read from the correction table storage unit 24. That is, as shown in FIG. 8, the line image data of the (n + 1) to (n + 6) lines are sequentially corrected based on each of the first line correction data to the sixth line correction data. Such a process is repeated until it is executed for all line image data of the image data.
  • the corrected line image data is output to a subsequent stage such as a synchronization circuit (not shown).
  • a synchronization circuit executes synchronization (interpolation) processing based on the determined correlation direction.
  • line correction data is prepared for each pattern line along the horizontal direction of the basic array pattern, and the image data is divided into line image data and corrected for each line image data. Even when a color filter having a large size, that is, a color filter with many color definitions, is used, the load of correction processing can be reduced as compared with the case where correction is performed for each basic array pattern.
  • line correction data is prepared for each pattern line along the horizontal direction of the basic array pattern, and the image data is divided into line image data along the horizontal direction and corrected for each line image data.
  • the present invention is not limited to this.
  • line correction data is prepared for each pattern line along the vertical direction of the basic array pattern, and the image data is divided into line image data along the vertical direction. Thus, correction may be performed for each line image data.
  • the imaging device 10 can be configured to include a computer including a CPU, ROM, RAM, nonvolatile ROM, and the like.
  • the processing program for the above processing can be stored in advance in a nonvolatile ROM, for example, and can be read and executed by the CPU.
  • FIG. 9 shows the imaging device 30 according to the present embodiment.
  • the imaging device 30 is different from the imaging device 10 shown in FIG. 1 in that it includes a moving image control unit 26 and a drive unit 28. Since other configurations are the same as those of the imaging apparatus 10, detailed description thereof is omitted.
  • the moving image control unit 26 instructs the drive unit 28 to thin out and read out the captured image and corrects based on the line correction data corresponding to the thinned-out line image data.
  • the division control unit 20 is instructed.
  • the drive unit 28 controls the image sensor 14 so that the image data is output by the thinning method instructed by the moving image control unit 26.
  • a shooting mode a still image mode for shooting a still image
  • a relatively high resolution HD (high definition) moving image data is generated by thinning the captured image, and recorded on a recording medium such as a memory card (not shown).
  • moving image modes such as an HD moving image mode and a through moving image mode (live view mode) that thins out captured images and outputs a relatively low resolution through moving image to a display unit (not shown).
  • step 100 image data is read by a thinning method corresponding to the shooting mode. That is, the moving image control unit 26 instructs the image sensor 14 to output image data to the drive unit 28 by a thinning method according to the shooting mode. Thereby, the data control unit 16 reads out the line image data thinned out in accordance with the photographing mode and sequentially stores it in the image memory 18.
  • step 102 the data control unit 16 divides the image data stored in the image memory 18 into line image data for each line along the horizontal direction in accordance with an instruction from the division control unit 20, and the divided line image data. Are sequentially output to the imaging correction processing unit 22.
  • step 104 the imaging correction processing unit 22 reads the line correction data read out from the correction table storage unit 24 in accordance with an instruction from the division control unit 20.
  • the thinned-out lines are (n + 1) lines and (n + 4) lines
  • the first line correction data and the fourth line correction data corresponding to these lines are read from the correction table storage unit 24. .
  • step 106 the imaging correction processing unit 22 corrects the line image data output from the data control unit 16 based on the line correction data read from the correction table storage unit 24. That is, as shown in FIG. 10, the line image data of the (n + 1) th line and the (n + 4) line are sequentially corrected based on the first line correction data and the fourth line correction data. Such a process is repeated until it is executed for all the line image data read out.
  • the image data when the image data is thinned and read out as in the case where the shooting mode is the moving image mode, only the line correction data corresponding to the read line image data needs to be read.
  • the load of the correction process in can be reduced.
  • FIG. 11 shows a color filter according to this embodiment.
  • the color filter according to the present embodiment includes a basic array pattern P (pattern indicated by a thick frame) composed of a square array pattern corresponding to 6 ⁇ 6 pixels, and the basic array pattern P is horizontal. It is repeatedly arranged in the direction and the vertical direction. That is, in this color filter array, R, G, and B color filters (R filter, G filter, and B filter) are arrayed with a predetermined periodicity.
  • the basic arrangement pattern P that constitutes this color filter arrangement is the same as in the first embodiment, in which the filters of all the colors R, G, and B are arranged in the horizontal and vertical lines in the basic arrangement pattern. One or more are arranged.
  • the G filter corresponding to the luminance system pixel is arranged in the color filter array P so as to include two or more adjacent portions in each of the horizontal, vertical, and oblique (NE, NW) directions.
  • FIG. 12 shows a state in which the basic array pattern P shown in FIG. 11 is divided into 4 ⁇ 3 ⁇ 3 pixels.
  • the basic array pattern P includes a 3 ⁇ 3 pixel A array surrounded by a solid line frame and a 3 ⁇ 3 pixel B array surrounded by a broken line frame alternately in the horizontal and vertical directions. It can also be understood that the array is arranged.
  • G filters which are luminance system pixels, are arranged at the four corners and the center, and are arranged on both diagonal lines.
  • the R filter is arranged in the horizontal direction with the central G filter interposed therebetween, and the B filter is arranged in the vertical direction.
  • the B filter is arranged in the horizontal direction with the central G filter interposed therebetween.
  • the R filters are arranged in the vertical direction. That is, in the A array and the B array, the positional relationship between the R filter and the B filter is reversed, but the other arrangements are the same.
  • the G filters at the four corners of the A array and the B array are square arrays corresponding to 2 ⁇ 2 pixels by alternately arranging the A array and the B array in the horizontal and vertical directions as shown in FIG. G filter.
  • the color filter array (basic array pattern P) shown in FIG. 11 includes a square array corresponding to 2 ⁇ 2 pixels composed of G filters.
  • the absolute difference values in the vertical direction of the pixel values of these G pixels Is (
  • the absolute difference in the horizontal direction is (
  • the absolute difference in the upper right diagonal direction is
  • the absolute value of the difference in the upper left diagonal direction is
  • the basic array pattern P constituting the color filter array shown in FIG. 11 is point-symmetric with respect to the center of the basic array pattern (the centers of the four G filters). Further, as shown in FIG. 12, the A array and the B array in the basic array pattern are also point-symmetric with respect to the central G filter, and are vertically (symmetric) line-symmetric.
  • the color filter according to the third embodiment has the same characteristics as the characteristics (1), (2), (3), and (4) of the color filter according to the first embodiment.
  • the G filter is arranged in each line in the diagonal (NE, NW) direction of the color filter array, and the reproduction accuracy of the synchronization processing in the high frequency region is further improved.
  • the color filter according to the first embodiment has a feature that can be applied.
  • FIG. 15 shows a color filter according to this embodiment.
  • the color filter according to the present embodiment includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 4 ⁇ 4 pixels. It is repeatedly arranged in the vertical direction. That is, in this color filter array, R, G, and B color filters (R filter, G filter, and B filter) are arrayed with a predetermined periodicity.
  • one or more filters of all the colors R, G, and B are arranged in each horizontal and vertical line in the basic array pattern.
  • the G filter corresponding to the luminance system pixel is arranged so that two or more adjacent portions are included in each of the horizontal, vertical, and oblique (NE, NW) directions in the basic array pattern. Based on the pixel values of the G pixels corresponding to these adjacent G filters, the luminance correlation in each of the horizontal, vertical, and oblique (NE, NW) directions can be determined with the minimum pixel interval.
  • the basic array pattern constituting the color filter array is point-symmetric with respect to the center of the basic array pattern.
  • the color filter according to the fourth embodiment has the same characteristics as the characteristics (1), (2), (3) and (4) of the color filter according to the first embodiment.
  • FIG. 16 shows a color filter according to this embodiment.
  • the color filter according to the present embodiment includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 5 ⁇ 5 pixels. It is repeatedly arranged in the vertical direction. That is, in this color filter array, R, G, and B color filters (R filter, G filter, and B filter) are arrayed with a predetermined periodicity.
  • one or more filters of all the colors R, G, and B are arranged in each horizontal and vertical line in the basic array pattern.
  • the G filter corresponding to the luminance system pixel is arranged so that two or more adjacent portions are included in each of the horizontal, vertical, and oblique (NE, NW) directions in the basic array pattern. Based on the pixel values of the G pixels corresponding to these adjacent G filters, the luminance correlation in each of the horizontal, vertical, and oblique (NE, NW) directions can be determined with the minimum pixel interval.
  • the color filter according to the fifth embodiment has the same characteristics as the characteristics (1), (2), and (3) of the color filter according to the first embodiment.
  • FIG. 17 shows a color filter according to this embodiment.
  • the color filter according to the present embodiment includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 7 ⁇ 7 pixels. It is repeatedly arranged in the vertical direction. That is, in this color filter array, R, G, and B filters (R filter, G filter, and B filter) are arrayed with a predetermined periodicity.
  • filters of all colors R, G, and B are arranged in each line in the horizontal direction and the vertical direction in the basic array pattern.
  • the G filter corresponding to the luminance system pixel is arranged so that two or more adjacent portions are included in each of the horizontal, vertical, and diagonal directions (NE, NW) in the basic array pattern. That is, there are four groups of G pixels including 2 ⁇ 2 pixels adjacent vertically and horizontally in the basic array pattern. Based on the pixel values of the G pixels corresponding to these adjacent G filters, the luminance correlation in each of the horizontal, vertical, and oblique (NE, NW) directions can be determined with the minimum pixel interval.
  • the basic array pattern constituting the color filter array is point-symmetric with respect to the center of the basic array pattern.
  • the color filter according to the sixth embodiment has the same characteristics as the characteristics (1), (2), (3) and (4) of the color filter according to the first embodiment.
  • FIG. 18 shows a color filter according to this embodiment.
  • the color filter according to the present embodiment includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 8 ⁇ 8 pixels. It is repeatedly arranged in the vertical direction. That is, in this color filter array, R, G, and B filters (R filter, G filter, and B filter) are arrayed with a predetermined periodicity.
  • filters of all colors of R, G, and B are arranged in the horizontal and vertical lines in the basic array pattern.
  • the G filter corresponding to the luminance system pixel is arranged so that two or more adjacent portions are included in each of the horizontal, vertical, and diagonal directions (NE, NW) in the basic array pattern. That is, there are four groups of G pixels including 2 ⁇ 2 pixels adjacent vertically and horizontally in the basic array pattern. Based on the pixel values of the G pixels corresponding to these adjacent G filters, the luminance correlation in each of the horizontal, vertical, and oblique (NE, NW) directions can be determined with the minimum pixel interval.
  • the basic array pattern constituting the color filter array is point-symmetric with respect to the center of the basic array pattern.
  • the color filter according to the seventh embodiment has the same characteristics as the characteristics (1), (2), (3) and (4) of the color filter according to the first embodiment.
  • the color imaging device having the RGB color filters of the three primary colors has been described.
  • the present invention is not limited to this, and the RGB primary colors + other colors (for example, emerald (E)).
  • the present invention can also be applied to four color filters, for example, a color filter as shown in FIG.
  • the first embodiment The line correction data is prepared for each pattern line along the horizontal direction of the basic array pattern, and the image data is divided into line image data and corrected for each line image data. Even when a color filter having a large size (N is 4 or more), that is, a color filter having many color definitions, the load of correction processing can be reduced as compared with the case where correction is performed for each basic array pattern. For example, line correction data is prepared for each pattern line along the vertical direction of the basic array pattern, and the image data is divided into line image data along the vertical direction for each line image data. You may make it correct
  • the basic array pattern is not limited to a color filter array having a square array of N ⁇ N (N is a natural number of 4 or more), and the basic array pattern is N ⁇ M (N and M are each a natural number of 3 or more). Even if it is the thing of the arrangement
  • the present invention can also be applied to a color image pickup device having four color complementary color filters in which G is added to C (cyan), M (magenta), and Y (yellow) which are complementary colors of the primary colors RGB.
  • Imaging device 12 Optical system 14 Imaging device 16 Data control part 18 Image memory 20 Division

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　基本配列パターンのサイズが大きいカラーフィルタを用いた場合でも補正処理の負荷を減少させる。　撮像装置は、撮像素子から出力された画像データを、予め定めた方向に沿ったライン毎のライン画像データに分割し、カラーフィルタを構成する基本配列パターンを予め定めた方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るライン補正データのうち、分割されたライン画像データに対応するライン補正データを読み出して、読み出したライン補正データによりライン画像データを基本配列パターンのパターンライン毎に補正する。

Description

撮像装置及び撮像プログラム
　本発明は、撮像装置及び撮像プログラムに係り、特に、カラーフィルタを備えた撮像装置及び撮像プログラムに関する。
　撮像素子によって撮像された撮像信号に対しては、撮像素子の特性等に起因する画質劣化を改善、補正する処理が行われるのが通常である（例えば特許文献１及び特許文献２参照）。
　例えば、異なる色の複数のフィルタが予め定めたパターンで配置されたカラーフィルタを備えた撮像装置で撮像された撮像信号を補正する場合、撮像素子から得られた各画素の色定義ごとにパラメータ（補正データ）を設定して補正する処理が必要となる。
　カラーフィルタは予め定められた基本配列パターンが繰り返し配置されて構成されるため、色定義の種類は、基本配列パターンのサイズで規定される。例えば基本配列パターンが従来のベイヤー配列の場合、２×２画素分の最大４種類の補正値があればよい。
特開２００８－２８８６４９号公報 特開２００９－１７７４１８号公報
　しかしながら、例えば輝度の相関方向を判別して適正に補正するために、ベイヤー配列よりも大きい配列のカラーフィルタを用いた場合、必要な補正データが増加するため、補正処理の処理負荷が増大する、という問題があった。
　本発明は上記問題点を解決するためになされたものであり、基本配列パターンのサイズが大きいカラーフィルタを用いた場合でも補正処理の負荷を減少させることができる撮像装置及び撮像プログラムを提供することを目的とする。
　上記課題を解決するため、本発明の撮像装置は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、異なる複数の色に各々対応した複数のフィルタが前記水平方向及び垂直方向に予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、前記撮像素子から出力された画像データを、予め定めた方向に沿ったライン毎のライン画像データに分割する分割手段と、前記基本配列パターンを前記予め定めた方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るライン補正データをパターンライン毎に記憶した記憶手段と、前記分割手段により分割されたライン画像データに対応するライン補正データを前記記憶手段から読み出して、読み出したライン補正データにより前記ライン画像データを前記パターンライン毎に補正する補正手段と、を備えたことを特徴とする。
　この発明によれば、基本配列パターンの予め定めた方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データをライン画像データに分割してライン画像データ毎に補正をするので、基本配列パターンのサイズが大きいカラーフィルタ、すなわち色定義が多いカラーフィルタを用いた場合でも、基本配列パターン毎に補正する場合と比較して、補正処理の負荷を減少させることができる。なお、予め定めた方向は、例えば水平方向、垂直方向、及び斜め方向の何れかとすることができる。
　なお、撮像モードが動画モードの場合、前記撮像素子から予め定めた間引きパターンで間引いてライン画像データを読み出す間引き手段を備え、前記補正手段は、前記間引き手段により読み出されたライン画像データに対応したライン補正データを前記記憶手段から読み出し、読み出したライン補正データにより前記ライン画像データを補正するようにしてもよい。
　この発明によれば、撮影モードが動画モードの場合のように画像データが間引き読み出しされる場合、読み出されたライン画像データに対応したライン補正データのみを読み出せば良く、動画モードにおける補正処理の負荷を軽減することができる。
　また、前記カラーフィルタは、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色にそれぞれ対応する第２のフィルタとが配列された前記基本配列パターンが水平及び垂直方向に繰り返して配置され、前記第１のフィルタ及び前記第２の色のそれぞれに対応する第２のフィルタは、それぞれ前記基本配列パターン内に前記カラーフィルタの水平及び垂直方向の各ライン内に１つ以上配置され、前記第１のフィルタは、更に前記基本配列パターン内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置された構成とすることができる。
　この発明によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、前記基本配列パターン内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されるため、各方向に隣接する第１の色の画素の画素値の差分値に基づいて輝度の相関方向が前記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。これにより、カラー撮像素子から出力されるモザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして最小画素間隔の画素値により判別した輝度の相関方向に応じて、相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。
　また、前記基本配列パターンは、Ｎ×Ｎ（Ｎ：４以上の整数）画素に対応する正方配列パターンである構成とすることができる。
　また、前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む構成とすることができる。
　この発明によれば、２×２画素に対応する正方配列の４画素の各画素間の画素値の差分値に基づいて輝度の相関方向が前記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。
　また、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である構成とすることができる。
　また、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平及び垂直方向に配列された構成とすることができる。
　この発明によれば、前記第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。
　また、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列された構成とすることができる。
　この発明によれば、前記第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の４隅に２ ×２画素のＧ画素が存在することになる。これらの２ ×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。
　また、前記カラーフィルタは、前記第２のフィルタのいずれか１色のフィルタを挟んで水平及び垂直方向にそれぞれ前記第１のフィルタが連続配置されている構成とすることができる。
　この発明によれば、これらの連続する第１のフィルタに対応する画素の画素値の差分値に基づいて輝度の相関方向が前記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。
　また、前記カラーフィルタは、前記基本配列パターンの中心に対して点対称である構成とすることができる。
　この発明によれば、後段の処理回路の回路規模を小さくすることが可能になる。
　本発明の撮像プログラムは、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、異なる複数の色に各々対応した複数のフィルタが前記水平方向及び垂直方向に予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、前記基本配列パターンを予め定めた方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るライン補正データをパターンライン毎に記憶した記憶手段と、を備えた撮像装置を制御するコンピュータを、前記撮像素子から出力された画像データを、前記予め定めた方向に沿ったライン毎のライン画像データに分割する分割手段、及び、前記分割手段により分割されたライン画像データに対応するライン補正データを前記記憶手段から読み出して、読み出したライン補正データにより前記ライン画像データを前記パターンライン毎に補正する補正手段、として機能させることを特徴とする。
　本発明によれば、基本配列パターンのサイズが大きいカラーフィルタを用いた場合でも補正処理の負荷が増大するのを防ぐことができる、という効果を有する。
第１実施形態に係る撮像装置の概略ブロック図である。 第１実施形態に係るカラーフィルタの構成図である。 第１実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第１実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 図４ＡのカラーフィルタによるＧ画素の特徴的な配置を示す図である。 縦方向に相関方向があると判別された場合の同時化処理時の画素補間方法を説明するために用いた図である。 左斜め上方向に相関方向があると判別された場合の同時化処理時の画素補間方法を説明するために用いた図である。 撮像装置で実行される処理を示すフローチャートである。 第１実施形態に係る撮像装置によりライン画像データ毎にライン補正データを用いて補正する場合について説明するための図である。 第２実施形態に係る撮像装置の概略ブロック図である。 第２実施形態に係る撮像装置によりライン画像データ毎にライン補正データを用いて補正する場合について説明するための図である。 第３実施形態に係るカラーフィルタの構成図である。 第３実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第３実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第３実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 第４実施形態に係るカラーフィルタの構成図である。 第５実施形態に係るカラーフィルタの構成図である。 第６実施形態に係るカラーフィルタの構成図である。 第７実施形態に係るカラーフィルタの構成図である。 第７実施形態に係るカラーフィルタの構成図である。
　以下、図面を参照して本発明の実施形態について説明する。
（第１実施形態）
　図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、データ制御部１６、画像メモリ１８、分割制御部２０、撮像補正処理部２２、及び補正テーブル記憶部２４を含んで構成されている。
　光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。
　撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。
　図２には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。
＜カラーフィルタ配列の特徴＞
　第１実施形態のカラーフィルタは、下記の特徴(1)、(2)、(3)、及び(4)を有している。
〔特徴(1)〕
　図２に示すカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタは、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理（デモザイク処理とも言う。）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
　また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理さした縮小画像のカラーフィルタの配列は、間引き処理前のカラーフィルタの配列と同じにすることができ、共通の処理回路を使用することができる。
〔特徴(2)〕
　図２に示すカラーフィルタを構成する基本配列パターンＰは、輝度信号を得るために最も寄与する色 (この実施形態では、Ｇの色 )に対応するＧフィルタと、Ｇの色以外の他の色（この実施形態では、Ｒ，Ｂ）に対応するＲフィルタ、Ｂフィルタとが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。
　Ｒ、Ｇ、Ｂフィルタが、それぞれ基本配列パターンＰ内の水平及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。
〔特徴(3)〕
　輝度系画素に対応するＧフィルタは、基本配列パターンＰ内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。
　図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
　図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　Ａ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　図４Ａに示すように、第１実施形態のカラーフィルタは、上記Ａ配列とＢ配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。
　いま、図４Ａに示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図４Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７、Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ２Ｇ３が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。
　従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。
　即ち、水平方向の差分絶対値の和は｜Ｇ１－Ｇ２｜＋｜Ｇ３－Ｇ４｜、水平方向の差分絶対値の和は｜Ｇ５－Ｇ６｜＋｜Ｇ７－Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６－Ｇ２｜＋｜Ｇ３－Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６－Ｇ３｜＋｜Ｇ２Ｇ７｜となる。
　これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化（補間）処理等を行う際に利用することができる。
＜相関方向を使用した補間方法＞
　次に、上記のようにして方向判別された相関方向を利用した補間方法について説明する。
　図５に示すように縦方向に相関方向があると判別され、図５に示す太枠内の３×３画素（Ａ配列）の各画素の画素位置における他の色の画素値を補間して求める場合、相関方向の近傍に存在する同じ色の画素の画素値を使用する。
　Ｇの画素値を補間する場合、Ｂ２２，Ｂ２４の画素位置におけるＧの画素値Ｇ２２’，Ｇ２４’は、Ｇ２３の画素値を使用し、Ｂ４２，Ｂ４４の画素位置におけるＧの画素値Ｇ４２’，Ｇ４４’は、Ｇ４３の画素値を使用する。一方、Ｒ３３の画素位置におけるＧの画素値Ｇ３３’は、Ｇ３２とＧ３４の画素値の平均値を使用する。
　Ｒ、Ｂの画素値を補間する場合、Ｂ２２の画素位置におけるＲの画素値Ｒ２２’は、Ｒ２１の画素値を使用し、Ｇ２３の画素位置におけるＲ，Ｂの画素値Ｒ２３’，Ｂ２３’は、それぞれＲ２１とＲ２５の画素値の平均値、Ｂ２２とＢ２４の画素値の平均値を使用し、Ｂ２２，Ｂ２４の画素位置におけるＲの画素値Ｒ２２’，Ｒ２４’は、それぞれＲ２１，Ｒ２５の画素値を使用する。
　Ｇ３２の画素位置におけるＲ，Ｂの画素値Ｒ３２’，Ｂ３２’は、それぞれＲ３３，Ｂ３０の画素値を使用し、Ｒ３３の画素位置におけるＢの画素値Ｂ３３’は、Ｂ３０とＢ３６の画素値の平均値を使用し、Ｇ３４の画素位置におけるＲ，Ｂの画素値Ｒ３４’，Ｂ３４’は、それぞれＲ３３，Ｂ３６の画素値を使用する。
　Ｂ４２の画素位置におけるＲの画素値Ｒ４２’は、Ｒ４１の画素値を使用し、Ｇ４３お画素位置におけるＲ，Ｂの画素値Ｒ４３’，Ｂ４３’は、それぞれＲ４１とＲ４５の画素値の平均値、Ｂ４２とＢ４４の画素値の平均値を使用し、Ｂ４４の画素位置におけるＲの画素値Ｒ４４’は、Ｒ４５の画素値を使用する。
　Ｂ配列の場合はＲ、Ｂを入れ替えて同様の処理を行うことでＲＧＢの画素値の補間を行う。
　以上の処理を３×３画素毎に繰り返すことでＲＧＢの画素値が補間される。
　一方、図６に示すように左斜め上方向に相関方向があると判別され、図６に示す太枠内の３×３画素（Ａ配列）の各画素の画素位置における他の色の画素値を補間して求める場合、相関方向の近傍に補間する色の画素が存在する場合には、その画素値を使用し、相関方向に補間する色の画素が存在しない場合には、近傍に存在する補間済みの画素のＲＧＢの画素値の差又は比（色差又は色比）の関係を利用して補間する。
　まず、補間方向に補間する色の画素が存在する画素から補間を行う。図６では、Ｂ２２の画素位置におけるＲの画素値Ｒ２２’は、Ｒ２３の画素値を使用し、Ｇ３２の画素位置におけるＲの画素値Ｒ３２’は、Ｒ２１の画素値を使用し、Ｂ４２の画素位置におけるＧの画素値Ｇ４２’は、Ｇ３１とＧ５３の画素値の平均値を使用する。以降、Ｒ２３’、Ｂ３３’、Ｒ４３’、Ｇ２４’、Ｒ３４’、Ｒ４４’も同じように相関方向に存在する補間する色の画素の画素値を使用する。
　次に、相関方向に補間する色の画素が存在しない画素の補間の処理方法を説明する。
　図６のＢ２２の画素位置におけるＧの画素値Ｇ２２’を補間して求める場合、Ｇ１３と補間した画素値Ｂ１３’、及びＧ３１と補間した画素値Ｂ３１’の色差を用いて補間を行う。具体的には下式の計算により値を算出する。
［数１］
Ｇ２２’＝Ｂ２２＋（Ｇ１３＋Ｇ３１）／２－（Ｂ１３’＋Ｂ３１’）／２
　同様に、Ｇ３２の画素位置におけるＢの画素値Ｂ３２’、Ｂ４２の画素位置におけるＲの画素値Ｒ４２’の補間方法は、下式のようになる。
［数２］
Ｂ３２’＝Ｇ３２＋Ｂ３１’－Ｇ３１
Ｒ４２’＝Ｂ４２＋Ｒ３３－Ｂ３３’
　同様の処理を行ってＢ３２’、Ｇ３３’、Ｂ４３’、Ｒ２４’、Ｂ３４’、Ｇ４４’の補間を行う。
　以上の処理を３×３画素毎に繰り返すことでＲＧＢの画素値が補間される。
　尚、Ａ配列、Ｂ配列におけるＲＧＢのカラーフィルタの対称性により、相関方向が横方向と判別された場合、又は右斜め上方向に相関方向があると判別された場合であっても、上述したように縦方向と判別された場合、又は左斜め上方向と判別された場合と同様にしてＲＧＢの画素値を補間して求めることができる。
　また、上記［数１］式、［数２］式では、色差を用いて補間を行っているが、色比を用いて補間を行うようにしてもよい。
〔特徴（４）〕
　図２に示すカラーフィルタを構成する基本配列パターンＰは、その基本配列パターンＰの中心に対して点対称になっている。
　図３に示したように、基本配列パターン内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。
　このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
　尚、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図２に示すカラーフィルタを構成することができる基本配列パターンは複数存在するが、第１実施形態では、基本配列パターンが点対称になっている基本配列パターンＰを、便宜上、基本配列パターンという。
　尚、後述する他の実施形態のカラーフィルタにおいても、各カラーフィルタに対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタの基本配列パターンという。
　データ制御部１６は、撮像素子１４から出力された画像データを画像メモリ１８に一時記憶させると共に、分割制御部２０からの指示に従って、画像メモリ１８に記憶された画像データを、水平方向に沿ったライン毎の分割したライン画像データに分割し、分割したライン画像データを撮像補正処理部２２に順次出力する。
　補正テーブル記憶部２４は、基本配列パターンＰを水平方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るパターンライン補正データをパターンライン毎に予め記憶している。
　図３に示すように、本実施形態に係るカラーフィルタの基本配列パターンＰは、６×６画素に対応しているので、補正テーブル記憶部２４は、第１パターンライン～第６パターンラインの各々に対応した第１ライン補正データ～第６ライン補正データから成る補正テーブルを記憶している。カラーフィルタは基本配列パターンＰが繰り返し配置された構成であるので、補正テーブル記憶部２４は、この６×６画素分の補正テーブルを記憶するだけでよい。なお、補正テーブルは、カラーフィルタの配列に起因する画質の劣化を補正するための補正データである。
　撮像補正処理部２２は、分割制御部２０からの指示に従って、補正テーブル記憶部２４からライン毎のライン補正データを読み出して、データ制御部１６から出力されたライン画像データを基本配列パターンのパターンライン毎に補正する。すなわち、撮像補正処理部２２は、ライン画像データが（ｎ＋１）ライン（ｎ＝０，１，２，・・・）のライン画像データの場合は、補正テーブル記憶部２４から第１ライン補正データを読み出して補正する。同様に、ライン画像データが（ｎ＋２）ラインのライン画像データの場合は、第２ライン補正データを読み出して補正し、ライン画像データが（ｎ＋３）ラインのライン画像データの場合は、第３ライン補正データを読み出して補正し、ライン画像データが（ｎ＋４）ラインのライン画像データの場合は、第４ライン補正データを読み出して補正し、ライン画像データが（ｎ＋５）ラインのライン画像データの場合は、第５ライン補正データを読み出して補正し、ライン画像データが（ｎ＋６）ラインのライン画像データの場合は、第６ライン補正データを読み出して補正する。
　次に、本実施形態の作用として、撮像装置１０で実行される処理について、図７に示すフローチャートを参照して説明する。
　まず、ステップ１００では、データ制御部１６が、撮像素子１４から画像データを読み出して画像メモリ１８に順次記憶する。
　ステップ１０２では、データ制御部１６が、分割制御部２０からの指示に従って、画像メモリ１８に記憶された画像データを、水平方向に沿ったライン毎のライン画像データに分割し、分割したライン画像データを撮像補正処理部２２に順次出力する。
　ステップ１０４では、撮像補正処理部２２が、分割制御部２０からの指示に従って、補正テーブル記憶部２４からライン毎のライン補正データを読み出す。
　ステップ１０６では、撮像補正処理部２２が、補正テーブル記憶部２４から読み出したライン補正データに基づいて、データ制御部１６から出力されたライン画像データを基本配列パターンのパターンライン毎に補正する。すなわち、図８に示すように、第１ライン補正データ～第６ライン補正データの各々に基づいて、（ｎ＋１）～（ｎ＋６）ライン目のライン画像データが順次補正される。このような処理が、画像データの全てのライン画像データに対して実行されるまで繰り返される。
　補正されたライン画像データは、後段の例えば図示しない同時化回路等へ出力される。同時化回路では、前述したように、判別された相関方向に基づいて同時化（補間）処理が実行される。
　このように、基本配列パターンの水平方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データをライン画像データに分割してライン画像データ毎に補正をするので、基本配列パターンのサイズが大きいカラーフィルタ、すなわち色定義が多いカラーフィルタを用いた場合でも、基本配列パターン毎に補正する場合と比較して、補正処理の負荷を減少させることができる。なお、本実施形態では、基本配列パターンの水平方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データを水平方向に沿ってライン画像データに分割してライン画像データ毎に補正をする場合について説明したが、これに限らず、例えば、基本配列パターンの垂直方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データを垂直方向に沿ってライン画像データに分割してライン画像データ毎に補正をするようにしてもよい。
　また、撮像装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータを含んだ構成とすることができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。
（第２実施形態）
　次に、本発明の第２実施形態について説明する。本実施形態では、動画モードで撮像した画像を動画処理する場合について説明する。なお、第１実施形態と同一部分には同一符号を伏し、その詳細な説明は省略する。
　図９には、本実施形態に係る撮像装置３０を示した。同図に示すように、撮像装置３０は、動画制御部２６及び駆動部２８を備えた点が図１に示した撮像装置１０と異なる。その他の構成は撮像装置１０と同一なので、詳細な説明は省略する。
　動画制御部２６は、撮影モードが動画モードの場合に、撮像した画像を間引いて読み出すように駆動部２８に指示すると共に、間引き読み出しされたライン画像データに対応したライン補正データに基づいて補正するよう分割制御部２０に指示する。
　駆動部２８では、動画制御部２６で指示された間引き方法により画像データが出力されるように撮像素子１４を制御する。
　なお、撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがある。
　次に、本実施形態の作用として、撮像装置３０で実行される処理について説明する。
　撮影モードが動画モードの場合に撮像装置３０で実行される処理は、図７に示す処理と略同様であるが、ステップ１００では、撮影モードに応じた間引き方法で画像データが読み出される。すなわち、動画制御部２６が駆動部２８に対して撮影モードに応じた間引き方法で画像データが出力されるように撮像素子１４に指示する。これにより、データ制御部１６は、撮影モードに応じて間引かれたライン画像データを読み出して画像メモリ１８に順次記憶する。
　ステップ１０２では、データ制御部１６が、分割制御部２０からの指示に従って、画像メモリ１８に記憶された画像データを、水平方向に沿ったライン毎のライン画像データに分割し、分割したライン画像データを撮像補正処理部２２に順次出力する。
　ステップ１０４では、撮像補正処理部２２が、分割制御部２０からの指示に従って、補正テーブル記憶部２４から間引き読み出しされたライン補正データを読み出す。
　例えば図１０に示すように、間引き読み出しされるラインが（ｎ＋１）ライン、（ｎ＋４）ラインの場合は、これらに対応する第１ライン補正データ及び第４ライン補正データを補正テーブル記憶部２４から読み出す。
　ステップ１０６では、撮像補正処理部２２が、補正テーブル記憶部２４から読み出したライン補正データに基づいて、データ制御部１６から出力されたライン画像データを補正する。すなわち、図１０に示すように、第１ライン補正データ及び第４ライン補正データの各々に基づいて、（ｎ＋１）ライン目及び（ｎ＋４）ライン目のライン画像データが順次補正される。このような処理が、間引き読み出しされたライン画像データの全てに対して実行されるまで繰り返される。
　このように、本実施形態では、撮影モードが動画モードの場合のように画像データが間引き読み出しされる場合、読み出されたライン画像データに対応したライン補正データのみを読み出せば良く、動画モードにおける補正処理の負荷を軽減することができる。
（第３実施形態）
　次に、本発明の第３実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。
　図１１には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　また、このカラーフィルタ配列を構成する基本配列パターンＰは、第１実施形態と同様に、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。
　また、輝度系画素に対応するＧフィルタは、カラーフィルタ配列Ｐ内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。
　図１２は、図１１に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
　図１２に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　また、Ａ配列とＢ配列の４隅のＧフィルタは、図１３に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。
　即ち、図１１に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。
　いま、図１３に示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図１４に示す配置になっている。
　図１４に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１－Ｇ３｜＋｜Ｇ２－Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１－Ｇ２｜＋｜Ｇ３－Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２－Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１－Ｇ４｜となる。
　これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。
　いま、図１３又は図１４に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。
　また、図１１に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図１２に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。
　このように第３実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(2)、(3)、及び(4)と同じ特徴を有している。
　更に、第３実施形態に係るカラーフィルタは、Ｇフィルタが、カラーフィルタ配列の斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されており、高周波領域での同時化処理の再現精度をより向上させることができるという、第１実施形態に係るカラーフィルタにない特徴を有している。
（第４実施形態）
　次に、本発明の第４実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。
　図１５には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、４×４画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　また、図１５に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。
　更に、輝度系画素に対応するＧフィルタは、基本配列パターン内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。これらの隣接するＧフィルタに対応するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
　また、カラーフィルタ配列を構成する基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。
　この第４実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。
（第５実施形態）
　次に、本発明の第５実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。
　図１６には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、５×５画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　また、図１６に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。
更に、輝度系画素に対応するＧフィルタは、基本配列パターン内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。これらの隣接するＧフィルタに対応するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
　この第５実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(2)及び(3)と同じ特徴を有している。
（第６実施形態）
　次に、本発明の第６実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。
　図１７には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、７×７画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラー　フィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　また、図１７に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
　更に、輝度系画素に対応するＧフィルタは、基本配列パターン内において、水平、垂直、及び斜め方向（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。即ち、基本配列パターン内で上下左右に隣接する２×２画素を含むＧ画素のかたまりが４組存在する。これらの隣接するＧフィルタに対応するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
　また、カラーフィルタ配列を構成する基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。
　この第６実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。
（第７実施形態）
　次に、本発明の第７実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。
　図１８には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、８×８画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）　が所定の周期性をもって配列されている。
　また、図１８に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
　更に、輝度系画素に対応するＧフィルタは、基本配列パターン内において、水平、垂直、及び斜め方向（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。即ち、基本配列パターン内で上下左右に隣接する２×２画素を含むＧ画素のかたまりが４組存在する。これらの隣接するＧフィルタに対応するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
　また、カラーフィルタ配列を構成する基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。
　この第７実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。
　なお、上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタ、例えば図１９に示すようなカラーフィルタにも適用できる。
　以上第３実施形態から第７実施形態の変形例で示される基本配列パターンがＮ×Ｎ（Ｎは４以上の自然数）の正方配列カラーフィルタ配列の撮像素子を有する撮像装置において、第１実施形態のように基本配列パターンの水平方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データをライン画像データに分割してライン画像データ毎に補正をすることで、基本配列パターンのサイズが大きい（Ｎが４以上）カラーフィルタ、すなわち色定義が多いカラーフィルタを用いた場合でも、基本配列パターン毎に補正する場合と比較して、補正処理の負荷を減少させることができる。なお、これに限らず、例えば、基本配列パターンの垂直方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データを垂直方向に沿ってライン画像データに分割してライン画像データ毎に補正をするようにしてもよい。
　同様に第２実施形態のように、撮影モードが動画モードの場合のように画像データが間引き読み出しされる場合は、読み出されたライン画像データに対応したライン補正データのみを読み出すようにすることで、動画モードにおける補正処理の負荷を軽減することができる。
　また本発明は、基本配列パターンはＮ×Ｎ（Ｎは４以上の自然数）の正方配列となるカラーフィルタ配列に限られず、基本配列パターンがＮ×Ｍ（Ｎ，Ｍはそれぞれ３以上の自然数）の配列のものであっても適用できる。ただし、同時化処理、動画撮影時の間引き処理等の画像処理の容易さを考えると、Ｎ及びＭは１０以下であることが望ましい。
　また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。
　更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ データ制御部
１８ 画像メモリ
２０ 分割制御部
２２ 撮像補正処理部
２４ 補正テーブル記憶部
２４ 補正テーブル記憶部
２６ 動画制御部
２８ 駆動部
３０ 撮像装置

Claims (11)

  1. 　水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
    　前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、異なる複数の色に各々対応した複数のフィルタが前記水平方向及び垂直方向に予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
    　前記撮像素子から出力された画像データを、予め定めた方向に沿ったライン毎のライン画像データに分割する分割手段と、
    　前記基本配列パターンを前記予め定めた方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るライン補正データをパターンライン毎に記憶した記憶手段と、
    　前記分割手段により分割されたライン画像データに対応するライン補正データを前記記憶手段から読み出して、読み出したライン補正データにより前記ライン画像データを前記パターンライン毎に補正する補正手段と、
    　を備えた撮像装置。
  2. 　撮像モードが動画モードの場合、前記撮像素子から予め定めた間引きパターンで間引いてライン画像データを読み出す間引き手段を備え、前記補正手段は、前記間引き手段により読み出されたライン画像データに対応したライン補正データを前記記憶手段から読み出し、読み出したライン補正データにより前記ライン画像データを補正する
    　請求項１記載の撮像装置。
  3. 　前記カラーフィルタは、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色にそれぞれ対応する第２のフィルタとが配列された前記基本配列パターンが水平及び垂直方向に繰り返して配置され、
    　前記第１のフィルタ及び前記第２の色のそれぞれに対応する第２のフィルタは、それぞれ前記基本配列パターン内に前記カラーフィルタの水平及び垂直方向の各ライン内に１つ以上配置され、
    　前記第１のフィルタは、更に前記基本配列パターン内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置された
    　請求項１又は請求項２記載の撮像装置。
  4. 　前記基本配列パターンは、Ｎ×Ｎ（Ｎ：４以上の整数）画素に対応する正方配列パターンである
    　請求項３記載の撮像装置。
  5. 　前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む
    　請求項３又は請求項４記載の撮像装置。
  6. 　前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である
    　請求項３～５の何れか１項に記載の撮像装置。
  7. 　前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
    　前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平及び垂直方向に配列されて構成されている
    　請求項６記載の撮像装置。
  8. 　前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
    　前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３ ×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている
    　請求項６記載の撮像装置。
  9. 　前記カラーフィルタは、前記第２のフィルタのいずれか１色のフィルタを挟んで水平及び垂直方向にそれぞれ前記第１のフィルタが連続配置されている
    　請求項３～８の何れか１項に記載の撮像装置。
  10. 　前記カラーフィルタは、前記基本配列パターンの中心に対して点対称である
    　請求項３～９の何れか１項に記載の撮像装置。
  11. 　水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
    　前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、異なる複数の色に各々対応した複数のフィルタが前記水平方向及び垂直方向に予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
    　前記基本配列パターンを予め定めた方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るライン補正データをパターンライン毎に記憶した記憶手段と、
    　を備えた撮像装置を制御するコンピュータを、
    　前記撮像素子から出力された画像データを、前記予め定めた方向に沿ったライン毎のライン画像データに分割する分割手段、及び、
    　前記分割手段により分割されたライン画像データに対応するライン補正データを前記記憶手段から読み出して、読み出したライン補正データにより前記ライン画像データを前記パターンライン毎に補正する補正手段、
    　として機能させるための撮像プログラム。
PCT/JP2012/057385 2011-06-30 2012-03-22 撮像装置及び撮像プログラム WO2013001869A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013522492A JP5456206B2 (ja) 2011-06-30 2012-03-22 撮像装置、撮像装置の制御プログラム、及び撮像装置の制御方法
CN201280031720.3A CN103621070B (zh) 2011-06-30 2012-03-22 摄像装置及摄像装置的控制方法
EP12804973.1A EP2728885B1 (en) 2011-06-30 2012-03-22 Imaging device and imaging program
US14/140,169 US8970748B2 (en) 2011-06-30 2013-12-24 Imaging device, storage medium storing a control program for imaging device, and control method for imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011146446 2011-06-30
JP2011-146446 2011-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/140,169 Continuation US8970748B2 (en) 2011-06-30 2013-12-24 Imaging device, storage medium storing a control program for imaging device, and control method for imaging device

Publications (1)

Publication Number Publication Date
WO2013001869A1 true WO2013001869A1 (ja) 2013-01-03

Family

ID=47423780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057385 WO2013001869A1 (ja) 2011-06-30 2012-03-22 撮像装置及び撮像プログラム

Country Status (5)

Country Link
US (1) US8970748B2 (ja)
EP (1) EP2728885B1 (ja)
JP (1) JP5456206B2 (ja)
CN (1) CN103621070B (ja)
WO (1) WO2013001869A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015149622A (ja) * 2014-02-06 2015-08-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104412579B (zh) * 2012-07-06 2016-08-24 富士胶片株式会社 彩色摄像元件以及摄像装置
WO2016079831A1 (ja) * 2014-11-19 2016-05-26 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置
US10151862B2 (en) 2016-04-27 2018-12-11 Visera Technologies Company Limited Color filter array having low density of blue color
KR102357513B1 (ko) * 2017-03-21 2022-02-04 에스케이하이닉스 주식회사 이미지 센서

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180059A (ja) * 2002-11-28 2004-06-24 Mega Chips Corp 画素補間装置及び画素補間方法並びにデジタルカメラ
JP2005051393A (ja) * 2003-07-31 2005-02-24 Minolta Co Ltd 撮像装置
JP2005341561A (ja) * 2005-05-06 2005-12-08 Megachips Lsi Solutions Inc 画像処理回路
JP2008288649A (ja) 2007-05-15 2008-11-27 Sony Corp 撮像装置および撮像データ補正方法
JP2009177418A (ja) 2008-01-23 2009-08-06 Olympus Corp 画像処理装置、画像信号補正方法、補正マトリクス算出方法及び撮像装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
DE19616440A1 (de) * 1996-04-25 1997-10-30 Eastman Kodak Co Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
US7123299B1 (en) * 1999-04-15 2006-10-17 Olympus Optical Co., Ltd. Color image pickup device and color image pickup apparatus including a randomized color coding array
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP2002142149A (ja) * 2000-11-06 2002-05-17 Mega Chips Corp 画像処理回路
EP2768223B8 (en) 2001-01-09 2016-11-09 Sony Semiconductor Solutions Corporation Image pick up device
JP3897247B2 (ja) * 2002-05-16 2007-03-22 富士フイルム株式会社 光学歪みの補正方法及び補正装置
US7388610B2 (en) * 2002-08-16 2008-06-17 Zoran Corporation Techniques of modifying image field data by extrapolation
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
US7554590B2 (en) * 2003-02-26 2009-06-30 Digital Imaging Systems Gmbh Simultaneous readout of CMOS APS imagers
US7692703B2 (en) * 2003-04-28 2010-04-06 Olympus Corporation Image pick-up apparatus
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP2007028339A (ja) * 2005-07-19 2007-02-01 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) * 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
US20090027527A1 (en) * 2007-07-23 2009-01-29 Visera Technologies Company Limited Color filter arrays and image sensors using the same
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
CN102884796B (zh) * 2011-02-21 2014-07-09 富士胶片株式会社 彩色成像元件

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180059A (ja) * 2002-11-28 2004-06-24 Mega Chips Corp 画素補間装置及び画素補間方法並びにデジタルカメラ
JP2005051393A (ja) * 2003-07-31 2005-02-24 Minolta Co Ltd 撮像装置
JP2005341561A (ja) * 2005-05-06 2005-12-08 Megachips Lsi Solutions Inc 画像処理回路
JP2008288649A (ja) 2007-05-15 2008-11-27 Sony Corp 撮像装置および撮像データ補正方法
JP2009177418A (ja) 2008-01-23 2009-08-06 Olympus Corp 画像処理装置、画像信号補正方法、補正マトリクス算出方法及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2728885A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015149622A (ja) * 2014-02-06 2015-08-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
EP2728885B1 (en) 2016-08-03
EP2728885A1 (en) 2014-05-07
JP5456206B2 (ja) 2014-03-26
EP2728885A4 (en) 2015-02-25
CN103621070B (zh) 2015-05-20
US20140111673A1 (en) 2014-04-24
US8970748B2 (en) 2015-03-03
JPWO2013001869A1 (ja) 2015-02-23
CN103621070A (zh) 2014-03-05

Similar Documents

Publication Publication Date Title
JP5613843B2 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
JP5095040B1 (ja) カラー撮像素子
US20140022614A1 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
US8736743B2 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
JP5608820B2 (ja) 撮像装置及び合焦制御方法
US20140022446A1 (en) Color imaging element, imaging device, and storage medium storing an imaging program
JP5456206B2 (ja) 撮像装置、撮像装置の制御プログラム、及び撮像装置の制御方法
JP5425343B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP5607266B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
WO2013100093A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
US9485482B2 (en) Imaging device, method for controlling imaging device, and storage medium storing a control program for color mixing correction
JP5411390B2 (ja) カラー撮像素子
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5607267B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5624227B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12804973

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2013522492

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2012804973

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012804973

Country of ref document: EP