WO2012124182A1 - 撮像装置及び撮像プログラム - Google Patents

撮像装置及び撮像プログラム Download PDF

Info

Publication number
WO2012124182A1
WO2012124182A1 PCT/JP2011/067545 JP2011067545W WO2012124182A1 WO 2012124182 A1 WO2012124182 A1 WO 2012124182A1 JP 2011067545 W JP2011067545 W JP 2011067545W WO 2012124182 A1 WO2012124182 A1 WO 2012124182A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
color
pattern
array
pixels
Prior art date
Application number
PCT/JP2011/067545
Other languages
English (en)
French (fr)
Inventor
林　健吉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201180069192.6A priority Critical patent/CN103430552B/zh
Priority to EP11860961.9A priority patent/EP2685726A4/en
Priority to JP2013504502A priority patent/JP5524406B2/ja
Publication of WO2012124182A1 publication Critical patent/WO2012124182A1/ja
Priority to US14/021,719 priority patent/US8723993B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an imaging apparatus and an imaging program, and more particularly to an imaging apparatus and an imaging program using a single-plate color imaging element.
  • the output image of the single-plate color imaging device is a RAW image (mosaic image)
  • a multi-channel image is obtained by a process of interpolating missing color pixels from surrounding pixels (synchronization process).
  • the reproduction characteristics of the high-frequency image signal may be a problem.
  • color image sensors tend to cause aliasing in captured images, so it is important to widen the reproduction band and improve resolution while suppressing the occurrence of moiré (false colors). It becomes.
  • Patent Document 1 discloses an imaging apparatus that performs thinning output with less generation of moire or the like.
  • Patent Document 2 discloses an imaging device that suppresses generation of moiré and a decrease in color S / N ratio and improves resolution even when sensitized by pixel mixing.
  • the primary color-based Bayer array (see, for example, Patent Document 3), which is the most widely used color array in a single-plate color image sensor, is sensitive to human eyes and is the most contributory green (G ) Since the pixels are arranged in a checkered pattern and red (R) and blue (B) are arranged in line sequence, the G signal is generated in an oblique direction, and the R and B signals are generated when generating a horizontal and vertical high-frequency signal. The reproduction accuracy is a problem.
  • image processing such as synchronization processing needs to perform image processing according to the new color filter arrangement, but changing the image processing according to the new color filter arrangement is very complicated. There is a problem that the design man-hours become enormous.
  • the present invention has been made to solve the above problems, and even when an image sensor having a color filter of an array other than the Bayer array is used, the image processing unit corresponding to the Bayer array can be used without being changed.
  • An object of the present invention is to provide an imaging apparatus and an imaging program that can perform imaging.
  • an image pickup apparatus includes an image pickup element including a plurality of photoelectric conversion elements arranged in a horizontal direction and a vertical direction, and a plurality of pixels including the plurality of photoelectric conversion elements.
  • a second filter corresponding to a second color different from the first color, and a third different from the first color and the second color, on two pixels on the other diagonal line A first filter arranged on 3 ⁇ 3 pixels including a part of a Bayer arrangement pattern in which a third filter corresponding to a color is arranged, the first arrangement pattern, and the first filter
  • the arrangement of the second filters is the same
  • driving means for driving the image sensor so as to read out only the pixel data of the pixels having the same pattern as the Bayer array pattern at the position, For each pixel, it comprises generation means for generating pixel data of each color of each pixel by interpolating pixel data of a color other than the corresponding color from pixel data of surrounding pixels.
  • the image sensor is driven so as to read out only the pixel data of the pixels having the same pattern as the Bayer array pattern from a part of the color filter including the same pattern as the Bayer array pattern. Even when an image sensor having a color filter of an array other than the Bayer array is used, the image processing unit corresponding to the Bayer array can be used without being changed.
  • the first filter is disposed on four corners and a center pixel of a 3 ⁇ 3 pixel square array, and the second filter is the square filter.
  • a first array pattern disposed on a central line in the horizontal direction of the array, and the third filter disposed on a central line in the vertical direction of the square array; the first array pattern; and
  • a basic array of 6 ⁇ 6 pixels in which the second filter pattern in which the first filter is the same and the second filter and the third filter are interchanged is point-symmetrically arranged
  • a color filter in which patterns are repeatedly arranged may be used.
  • the third filter is arranged on pixels at four corners of a 3 ⁇ 3 pixel square array, and the second filter is arranged in the square array.
  • the arrangement pattern of the first filter is the same as the arrangement of the first filter, and the second arrangement pattern in which the arrangement of the second filter and the arrangement of the third filter are interchanged is arranged in a point-symmetric manner 6 ⁇
  • a color filter in which a basic arrangement pattern of 6 pixels is repeatedly arranged may be used.
  • the first color is a green (G) color
  • the second color is one of a red (R) color and a blue (B) color
  • the third color may be the other color of red (R) and blue (B).
  • An imaging program according to a fifth aspect of the present invention is an imaging program for causing a computer to function as a driving unit that constitutes the imaging apparatus according to any one of the first to fourth aspects.
  • the image processing unit corresponding to the Bayer array can be used without being changed.
  • FIG. 11A It is a figure for demonstrating the concept of the basic arrangement pattern contained in a color filter. It is a figure which shows the modification of a color filter. 6 shows a color filter obtained by dividing a 6 ⁇ 6 pixel basic array pattern included in a color filter according to a fourth embodiment into a 3 ⁇ 3 pixel A array and a B array, and repeatedly arranging them in the horizontal and vertical directions. FIG. It is a figure which shows the characteristic arrangement
  • FIG. 1 shows a schematic block diagram of the imaging apparatus 10 according to the present embodiment.
  • the imaging device 10 includes an optical system 12, an imaging element 14, an imaging processing unit 16, an image processing unit 20, a driving unit 22, and a control unit 24.
  • the optical system 12 includes, for example, a lens group including a plurality of optical lenses, an aperture adjustment mechanism, a zoom mechanism, an automatic focus adjustment mechanism, and the like.
  • the image sensor 14 includes an image sensor including a plurality of photoelectric conversion elements arranged in a horizontal direction and a vertical direction, for example, a color filter disposed on an image sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor). This is a so-called single-plate type imaging device having the above-described configuration.
  • a CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • FIG. 2 shows a part of the color filter 30 according to this embodiment.
  • the number of pixels is (4896 ⁇ 3264) pixels as an example and the aspect ratio is 3: 2, but the number of pixels and the aspect ratio are not limited thereto.
  • the color filter 30 includes a 3 ⁇ 3 pixel square array in which a first filter G (hereinafter referred to as a G filter) corresponding to G (green) that contributes most to obtain a luminance signal.
  • a second filter R hereinafter referred to as an R filter
  • R corresponding to R (red) is disposed on the center line in the horizontal direction of the square array, and B (blue).
  • the first basic arrangement pattern A, and the filter G are arranged in the center line in the vertical direction of the square arrangement.
  • a color filter in which a 6 ⁇ 6 pixel basic array pattern C in which the arrangement is the same and the second arrangement pattern B in which the arrangement of the filter R and the arrangement of the filter B are exchanged is point-symmetrically arranged is repeatedly arranged is there.
  • the color filter 30 has the following features (1), (2), (3), (4), and (5).
  • the color filter 30 shown in FIG. 2 includes a basic array pattern C composed of square array patterns corresponding to 6 ⁇ 6 pixels, and the basic array pattern C is repeatedly arranged in the horizontal direction and the vertical direction. That is, in this color filter array, R, G, and B color filters (R filter, G filter, and B filter) are arrayed with a predetermined periodicity.
  • the R filter, the G filter, and the B filter are arranged with a predetermined periodicity in this way, when performing the synchronization (interpolation) processing of the R, G, and B signals read from the color image sensor, the pattern repeatedly Can be processed according to
  • the color filter array of the reduced image after the thinning process can be the same as the color filter array before the thinning process, and a common processing circuit is provided. Can be used.
  • the G filter corresponding to the color (G color in this embodiment) that contributes most to obtain the luminance signal corresponds to the horizontal, vertical, and diagonal lines of the color filter array. Is placed inside.
  • G filters corresponding to luminance pixels are arranged in horizontal, vertical, and diagonal lines of the color filter array, improving the reproducibility of synchronization processing in the high frequency range regardless of the direction of high frequency. Can be made.
  • the color filter 30 shown in FIG. 2 has an R filter and a B filter corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color, And arranged in each vertical line.
  • the R filter and B filter are arranged in the horizontal and vertical lines of the color filter array, the occurrence of color moire (false color) can be suppressed. Thereby, it is possible to prevent an optical low-pass filter for suppressing the occurrence of false colors from being arranged in the optical path from the incident surface of the optical system to the imaging surface. Even when an optical low-pass filter is applied, it is possible to apply a filter having a weak function of cutting a high-frequency component for preventing the occurrence of false colors, so that the resolution is not impaired.
  • the basic array pattern C includes a 3 ⁇ 3 pixel first array pattern A surrounded by a broken line frame, and a 3 ⁇ 3 pixel second array pattern B surrounded by a dashed line frame.
  • the arrangement is arranged alternately in the horizontal and vertical directions.
  • G filters which are luminance pixels, are arranged at the four corners and the center, and are arranged on both diagonal lines.
  • the B filter is arranged in the horizontal direction and the R filter is arranged in the vertical direction across the center G filter, while the second arrangement pattern B is arranged in the center G filter.
  • the R filters are arranged in the horizontal direction, and the B filters are arranged in the vertical direction. That is, in the first arrangement pattern A and the second arrangement pattern B, the positional relationship between the R filter and the B filter is reversed, but the other arrangements are the same.
  • the G filters at the four corners of the first array pattern A and the second array pattern B have the first array pattern A and the second array pattern B alternately in the horizontal and vertical directions as shown in FIG. Are arranged in a square array corresponding to 2 ⁇ 2 pixels.
  • the color filter 30 shown in FIG. 2 includes a square array corresponding to 2 ⁇ 2 pixels made of a G filter.
  • this color filter array it is possible to determine a direction having a high correlation among the horizontal direction, the vertical direction, and the diagonal direction by using the information of the G pixel having the minimum pixel interval.
  • This direction discrimination result can be used for a process of interpolating from surrounding pixels (synchronization process).
  • the basic arrangement pattern C of the color filter 30 shown in FIG. 2 is point-symmetric with respect to the center of the basic arrangement pattern C (the centers of the four G filters). Further, as shown in FIG. 2, the first array pattern A and the second array pattern B in the basic array pattern C are also point-symmetric with respect to the central G filter.
  • the color filter array of the first and third lines of the first to sixth lines in the horizontal direction is GRGGBG, and the color filter array of the second line Is BGBGR, the color filter array of the fourth and sixth lines is GBGGRG, and the color filter array of the fifth line is RGRBGB.
  • the basic array pattern C in which the basic array pattern is point-symmetric is referred to as a basic array pattern for convenience.
  • FIG. 10 is a view showing a modification of the color filter according to the present embodiment.
  • the color filter 30A shown in the figure includes a basic array pattern C composed of a square array pattern corresponding to 4 ⁇ 4 pixels, and the basic array pattern C is repeatedly arranged in the horizontal direction and the vertical direction.
  • the G filter is arranged in each horizontal, vertical, and diagonal line of the color filter array, and the R filter and the B filter are color filters. It is arranged in each horizontal and vertical line of the filter array.
  • the basic array pattern C is point-symmetric with respect to the center of the basic array pattern C.
  • the color filter 30A does not include a square array corresponding to 2 ⁇ 2 pixels made of a G filter, but has a G filter adjacent in the horizontal direction, and has an oblique direction (upper right oblique, upper left oblique). Has adjacent G filters.
  • the pixel values of G pixels corresponding to these G filters can be used when determining the correlation in the vertical direction.
  • the color filter 30A has the same characteristics as the characteristics (1), (2), (3), and (5) of the color filter 30 shown in FIG.
  • FIG. 3 shows a part of the color filter 40 in the Bayer array.
  • the color filter shown in the same figure also has (4896 ⁇ 3264) pixels as an example, and the aspect ratio is 3: 2.
  • the Bayer array color filter 40 has G filters arranged on two pixels on one diagonal line of a square array of 2 ⁇ 2 pixels, and R on two pixels on the other diagonal line. The filter and the B filter are arranged.
  • the imaging processing unit 16 performs predetermined processing such as amplification processing, correlated double sampling processing, A / D conversion processing, and the like on the imaging signal output from the imaging device 14 and supplies the pixel conversion processing unit 18 as pixel data. Output.
  • the image processing unit 20 performs so-called synchronization processing on the pixel data output from the imaging processing unit 16. That is, for all pixels, pixel data of colors other than the corresponding color is interpolated from the pixel data of surrounding pixels to generate R, G, and B pixel data of all pixels. Then, so-called YC conversion processing is performed on the generated R, G, and B pixel data to generate luminance data Y and color difference data Cr and Cb. Then, a resizing process for resizing these signals to a size corresponding to the shooting mode is performed. Note that the image processing unit 20 performs processing corresponding to the pixel data of the Bayer array pattern.
  • the driving unit 22 performs reading driving of the imaging signal from the imaging device 14 in accordance with an instruction from the control unit 24.
  • the control unit 24 controls the drive unit 22 and the image processing unit 20 according to the shooting mode and the like. Although details will be described later, the control unit 24 instructs the driving unit 22 to read out the imaging signal by a reading method according to the shooting mode, or instructs the image processing unit 20 to select an image according to the shooting mode. Or instructing it to perform processing.
  • control unit 24 instructs the drive unit 22 to read out the image pickup signal using a thinning method according to the instructed shooting mode. To do.
  • an HD moving image mode in which a captured image is thinned to generate relatively high resolution HD (high definition) moving image data and recorded on a recording medium such as a memory card (not shown), and shooting is performed.
  • a through moving image mode is set in which images are thinned out and a relatively low resolution through moving image is output to a display unit (not shown).
  • processing shown in FIG. 4 is executed when an instruction is given to execute shooting according to the shooting mode.
  • step 100 the drive unit 22 is instructed to read out pixel data by a thinning method corresponding to the shooting mode.
  • step 102 the image processing unit 20 is instructed to execute Bayer processing (synchronization processing and YC conversion processing) and resizing processing according to the shooting mode.
  • Bayer processing synchronization processing and YC conversion processing
  • the control unit 24 can be configured by a computer including a CPU, ROM, RAM, nonvolatile ROM, and the like.
  • the processing program for the above processing can be stored in advance in a nonvolatile ROM, for example, and can be read and executed by the CPU.
  • the first array pattern A and the second array pattern B partially include a Bayer array pattern.
  • G pixels are arranged on a diagonal line, and the others are R pixels and B pixels. Therefore, when any 2 ⁇ 2 pixels are extracted from the first array pattern A, FIG. This is the same as the 2 ⁇ 2 pixel Bayer array pattern shown in FIG. The same applies to the second arrangement pattern B.
  • the image sensor 14 when thinning-out reading is performed, the image sensor 14 is driven so as to read only pixel data of pixels having the same pattern as the Bayer array pattern of the color filter 30.
  • FIG. 5 schematically shows the flow of processing when shooting in the HD video mode.
  • 6 ⁇ 2 pixel data in the upper left frame 50 is output from the image sensor 14.
  • pixel data having the number of pixels (1632 ⁇ 1088) is output from the image sensor 14. Since 2 ⁇ 2 pixels in the frame 50 are in a Bayer array, the pixel data output from the image sensor 14 is naturally in a Bayer array as shown in the upper right of FIG.
  • the color filter 30 different from the Bayer array pattern is used, only the pixels having the same pattern as the Bayer array pattern are read out. Therefore, it is necessary to convert the pixel data output from the image sensor 14 into the Bayer array pattern.
  • the apparatus configuration can be simplified. Further, the image processing unit 20 corresponding to the subsequent Bayer array can be used without being changed for the color filter 30.
  • the image processing unit 20 executes Bayer processing (synchronization processing and YC conversion processing) as shown in the lower left of the figure, and then executes resizing processing as shown in the lower right of the figure.
  • the image is resized to (1920 ⁇ 1080). Then, the resized image is output.
  • This embodiment is different from the first embodiment in the shooting mode, and the others are the same as in the first embodiment.
  • the image processing unit 20 executes the Bayer process similarly to the lower left of FIG. 5, and then executes the resizing process.
  • it since it is a through moving image mode, it is resized to a size smaller than that of the HD moving image mode, for example, a size of (640 ⁇ 480). Then, the resized image is output.
  • This embodiment is different from the first embodiment in the shooting mode and the thinning method, and the others are the same as in the first embodiment.
  • FIG. 6 schematically shows the flow of processing when shooting in the through video mode.
  • the image processing unit 20 executes Bayer processing (synchronization processing and YC conversion processing) as in the first embodiment, and then executes resizing processing as in the first embodiment.
  • it since it is a through moving image mode, it is resized to a size smaller than the HD moving image mode, for example, a size of (640 ⁇ 480). Then, the resized image is output.
  • FIG. 7 shows a color filter 60 according to a modification.
  • the number of pixels is (4896 ⁇ 3264) pixels as an example and the aspect ratio is 3: 2, but the number of pixels and the aspect ratio are not limited thereto.
  • the B filter is arranged on the four corner pixels of the square array of 3 ⁇ 3 pixels
  • the R filter is arranged on the center pixel of the square array
  • the G filter is The first arrangement pattern A arranged on the center line in the vertical direction and the center line in the horizontal direction of the square arrangement, the arrangement of the first arrangement pattern A and the G filter are the same, and the arrangement of the R filter
  • This is a color filter in which a basic array pattern C of 6 ⁇ 6 pixels in which the second array pattern B in which the arrangement of the B filter is exchanged and the second array pattern B is arranged point-symmetrically is repeatedly arranged.
  • the color filter 60 has the feature (1) described in the first embodiment and the following features (6), (7), and (8).
  • the basic arrangement pattern C constituting the color filter 60 shown in FIG. 7 includes a G filter corresponding to a color (G color in this embodiment) that contributes most to obtain a luminance signal, and other than the G color.
  • G filter corresponding to a color (G color in this embodiment) that contributes most to obtain a luminance signal
  • R filters and B filters corresponding to colors R and B in this embodiment are arranged in each horizontal and vertical line in the basic array pattern C.
  • the R, G, and B filters are respectively arranged in the horizontal and vertical lines in the basic array pattern C, the occurrence of color moire (false color) can be suppressed. Thereby, it is possible to prevent an optical low-pass filter for suppressing the occurrence of false colors from being arranged in the optical path from the incident surface of the optical system to the imaging surface. Even when an optical low-pass filter is applied, it is possible to apply a filter having a weak function of cutting a high-frequency component for preventing the occurrence of false colors, so that the resolution is not impaired.
  • the G filter corresponding to the luminance system pixels is arranged in the basic array pattern C so as to include two or more adjacent portions in each of the horizontal, vertical, and diagonal directions.
  • the basic array pattern C includes a 3 ⁇ 3 pixel first array pattern A surrounded by a broken line frame, and a 3 ⁇ 3 pixel second array pattern B surrounded by a dashed line frame.
  • the arrangement is arranged alternately in the horizontal and vertical directions.
  • an R filter is disposed at the center, B filters are disposed at four corners, and G filters are disposed vertically and horizontally with the center R filter interposed therebetween.
  • a B filter is disposed at the center, R filters are disposed at four corners, and G filters are disposed vertically and horizontally with the center B filter interposed therebetween.
  • the first array pattern A (A array) and the second array pattern B (B array) are alternately arranged in the horizontal and vertical directions. It can also be regarded as being arranged.
  • FIG. 11A when a 5 ⁇ 5 pixel local area (area indicated by a thick frame) is extracted from the mosaic image output from the image sensor, the local area is centered on the A array.
  • the eight G pixels are arranged in a cross shape as shown in FIG. 11B.
  • G pixels are G1, G2, G3, G4 in order from left to right and G5, G6, G7G8 in order from top to bottom
  • the pixels G1G2 and G2G3 are adjacent in the horizontal direction
  • the pixels G5G6 and G7G8 are Adjacent in the vertical direction
  • the pixel G6G3 and the pixel G2G7 are adjacent in the upper left diagonal direction
  • the pixel G6G2 and the pixel G3G7 are adjacent in the upper right diagonal direction.
  • the direction in which the luminance change is smallest is determined as the minimum pixel. Can be determined by the interval.
  • correlation direction there is a correlation (correlation direction) in the direction of taking the smallest difference absolute value among these four correlation absolute values.
  • the determined correlation direction can be used when performing a synchronization (interpolation) process or the like.
  • the basic array pattern C constituting the color filter 60 shown in FIG. 7 is point-symmetric with respect to the center of the basic array pattern C.
  • the A array and the B array in the basic array pattern C are point-symmetric with respect to the center R filter or G filter, respectively, and are vertically and horizontally symmetric (line symmetric). It has become.
  • the symmetric basic array pattern C is referred to as a basic array pattern for convenience.
  • the color filter 60 includes a first array pattern A and a second array pattern B partially including a Bayer array pattern. For example, when an arbitrary 2 ⁇ 2 pixel is extracted from the first array pattern A, it becomes the same as the 2 ⁇ 2 pixel Bayer array pattern shown in FIG. The same applies to the second arrangement pattern B.
  • Bayer array pixel data can be obtained by driving the image sensor 14 so as to read out only pixel data of pixels having the same pattern as the Bayer array pattern.
  • the thinning-out method can be executed in the same manner as in the first to third embodiments.
  • the color filter array of the three primary colors of RGB has been described, but the type of color filter is not limited to this.
  • Imaging device 12 Optical system 14 Imaging element 16 Imaging processing part 20 Image processing part 22 Drive part 24 Control part 30 Color filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合でも、ベイヤー配列対応の画像処理部を変更することなく用いることができる撮像装置及び撮像プログラムを提供する。　撮像装置（１０）は、一部にベイヤー配列パターンを含む６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタ（３０）と、予め定めた位置のベイヤー配列パターンと同一のパターンとなる画素の画素データのみを読み出すように撮像素子（１４）を駆動する駆動部（２２）と、を備える。

Description

撮像装置及び撮像プログラム
　本発明は、撮像装置及び撮像プログラムに係り、特に、単板式のカラー撮像素子を用いた撮像装置及び撮像プログラムに関する。
　単板カラー撮像素子の出力画像は、ＲＡＷ画像（モザイク画像）であるため、欠落している色の画素を、周囲の画素から補間する処理（同時化処理）により多チャネル画像を得ている。この場合、高周波の画像信号の再現特性が問題となる場合がある。カラー撮像素子は、白黒の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、モアレ（偽色）の発生を抑圧しつつ再現帯域を広げて高解像化することが重要となる。
　特許文献１には、モアレなどの発生の少ない間引き出力を行なわせる撮像装置が開示されている。
　また、特許文献２には、画素混合によって増感したときでも、モアレの発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図る撮像装置が開示されている。
　ところで、単板カラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列（例えば特許文献３参照）は、人間の目に敏感で、輝度信号を得るために最も寄与する緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、Ｇ信号は斜め方向で、Ｒ、Ｂ信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
　そこで、このような問題が発生しないように各色のフィルタを配列したベイヤー配列以外の配列のカラーフィルタを用いることが考えられる（例えば特許文献４参照）。
特開２００８－７８７９４号公報 特開２００９－２４６４６５号公報 特開２００７－１２４２９５号公報 特開平１１－２８５０１２号公報
　この場合、例えば同時化処理等の画像処理は、新たなカラーフィルタの配列に応じた画像処理を行う必要があるが、新たなカラーフィルタの配列に応じて画像処理を変更するのは非常に煩雑であり、設計工数が膨大になる、という問題があった。
　本発明は上記問題点を解決するためになされたものであり、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合でも、ベイヤー配列対応の画像処理部を変更することなく用いることができる撮像装置及び撮像プログラムを提供することを目的とする。
　上記課題を解決するため、請求項１記載の発明の撮像装置は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、２×２画素の正方配列の一方の対角線上の２つの画素上に、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが配置され、他方の対角線上の２つの画素上に、前記第１の色と異なる第２の色に対応した第２のフィルタと、前記第１の色及び前記第２の色と異なる第３の色に対応した第３のフィルタと、が配置されたベイヤー配列パターンを一部に含む３×３画素上に配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、前記撮像素子から、予め定めた位置の前記ベイヤー配列パターンと同一のパターンとなる画素の画素データのみを読み出すように前記撮像素子を駆動する駆動手段と、前記撮像素子から出力された前記ベイヤー配列パターンの画素データに基づいて、各画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間することにより、各画素の各色の画素データを生成する生成手段と、を備えたことを特徴とする。
　この発明によれば、一部にベイヤー配列パターンと同一パターンを含むカラーフィルタを備え、撮像素子からベイヤー配列パターンと同一のパターンとなる画素の画素データのみを読み出すように撮像素子を駆動するので、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合でも、ベイヤー配列対応の画像処理部を変更することなく用いることができる。
　なお、請求項２に記載したように、前記カラーフィルタは、前記第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタとしてもよい。
　また、請求項３に記載したように、前記カラーフィルタは、前記第３のフィルタが、３×３画素の正方配列の四隅の画素上に配置され、前記第２のフィルタが、前記正方配列の前記中央の画素上に配置され、前記第１のフィルタが、前記正方配列の前記垂直方向における中央のライン及び前記水平方向における中央のライン上に配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタとしてもよい。
　また、請求項４に記載したように、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である構成としてもよい。
　請求項５記載の発明の撮像プログラムは、コンピュータを、請求項１～請求項４の何れか１項に記載の撮像装置を構成する駆動手段として機能させるための撮像プログラムである。
　本発明によれば、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合でも、ベイヤー配列対応の画像処理部を変更することなく用いることができる、という効果を有する。
撮像装置の概略ブロック図である。 本発明に係るカラーフィルタの構成図である。 ベイヤー配列パターンのカラーフィルタの構成図である。 制御部で実行される処理のフローチャートである。 第１実施形態に係る間引き処理の流れを説明するための図である。 第３実施形態に係る間引き処理の流れを説明するための図である。 カラーフィルタの変形例を示す図である。 カラーフィルタに含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法を説明するための図である。 カラーフィルタに含まれる基本配列パターンの概念を説明するための図である。 カラーフィルタの変形例を示す図である。 第４実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 図１１ＡのカラーフィルタによるＧ画素の特徴的な配置を示す図である。
　以下、図面を参照して本発明の実施形態について説明する。
（第１実施形態）
　図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。
　光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。
　撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。
　図２には、本実施形態に係るカラーフィルタ３０の一部を示した。なお、画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２であるが、画素数及びアスペクト比はこれに限られるものではない。同図に示すように、カラーフィルタ３０は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ（以下、Ｇフィルタと称する）が、３×３画素の正方配列の四隅及び中央の画素上に配置され、Ｒ（赤）に対応する第２のフィルタＲ（以下、Ｒフィルタと称する）が、正方配列の水平方向における中央のラインに配置され、Ｂ（青）に対応する第３のフィルタＲ（以下、Ｂフィルタと称する）が、正方配列の垂直方向における中央のラインに配置された第１の配列パターンＡと、第１の基本配列パターンＡとフィルタＧの配置が同一で且つフィルタＲの配置とフィルタＢの配置とを入れ替えた第２の配列パターンＢと、が点対称で配置された６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタである。
　すなわち、カラーフィルタ３０は、下記の特徴(1)、(2)、(3)、(4)、及び(5)を有している。
　〔特徴(1)〕
　図２に示すカラーフィルタ３０は、６×６画素に対応する正方配列パターンからなる基本配列パターンＣを含み、この基本配列パターンＣが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターにしたがって処理を行うことができる。
　また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
　〔特徴(2)〕
　図２に示すカラーフィルタ３０は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されている。
　輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
　〔特徴(3)〕
　図２に示すカラーフィルタ３０は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
　図２に示すように基本配列パターンＣは、破線の枠で囲んだ３×３画素の第１の配列パターンＡと、一点鎖線の枠で囲んだ３×３画素の第２の配列パターンＢとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　第１の配列パターンＡ及び第２の配列パターンＢは、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、第１の配列パターンＡは、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列され、一方、第２の配列パターンＢは、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。即ち、第１の配列パターンＡと第２の配列パターンＢとは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　また、第１の配列パターンＡと第２の配列パターンＢの４隅のＧフィルタは、図８に示すように第１の配列パターンＡと第２の配列パターンＢとが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。
　〔特徴(4)〕
　図２に示すカラーフィルタ３０は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。
　図８に示すように、Ｇフィルタからなる２×２画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
　即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。
　〔特徴(5)〕
　図２に示すカラーフィルタ３０の基本配列パターンＣは、その基本配列パターンＣの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図２に示したように、基本配列パターンＣ内の第１の配列パターンＡ及び第２の配列パターンＢも、それぞれ中心のＧフィルタに対して点対称になっている。
　このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。
　図９に示すように基本配列パターンＣにおいて、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＲＧＧＢＧであり、第２のラインのカラーフィルタ配列は、ＢＧＢＲＧＲであり、第４及び第６のラインのカラーフィルタ配列は、ＧＢＧＧＲＧであり、第５のラインのカラーフィルタ配列は、ＲＧＲＢＧＢとなっている。
　いま、図９において、基本配列パターンＣを水平方向、及び垂直方向にそれぞれ１画素ずつシフトした基本配列パターンをＣ’、それぞれ２画素ずつシフトした基本配列パターンをＣ”とすると、これらの基本配列パターンＣ’、Ｃ”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
　即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図９に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。本実施形態では、基本配列パターンが点対称になっている基本配列パターンＣを、便宜上、基本配列パターンという。
　図１０は本実施形態に係るカラーフィルタの変形例を示す図である。同図に示すカラーフィルタ３０Ａは、４×４画素に対応する正方配列パターンからなる基本配列パターンＣを含み、この基本配列パターンＣが水平方向及び垂直方向に繰り返し配置されている。
　このカラーフィルタ３０Ａは、図２に示したカラーフィルタ３０と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　また、基本配列パターンＣは、その基本配列パターンＣの中心に対して点対称になっている。
　一方、このカラーフィルタ３０Ａは、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいないが、水平方向に隣接するＧフィルタを有し、また、斜め方向（右上斜め、左上斜め）に隣接するＧフィルタを有する。
　垂直方向には、Ｒフィルタ又はＢフィルタを挟んでＧフィルタが存在するため、これらのＧフィルタに対応するＧ画素の画素値を垂直方向の相関を判断する場合に使用することができる。
　上記のようにカラーフィルタ３０Ａは、図２に示すカラーフィルタ３０の特徴(1)、(2)、(3)、及び(5)と同じ特徴を有している。
　これに対し、図３には、ベイヤー配列のカラーフィルタ４０の一部を示した。なお、同図に示したカラーフィルタも画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２である。同図に示すように、ベイヤー配列のカラーフィルタ４０は、２×２画素の正方配列の一方の対角線上の２つの画素上にＧフィルタが配置され、他方の対角線上の２つの画素上にＲフィルタ及びＢフィルタが配置された構成である。
　撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画素データとして画素変換処理部１８に出力する。
　画像処理部２０は、撮像処理部１６から出力された画素データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画素データを生成する。そして、生成したＲ，Ｇ，Ｂの画素データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。なお、画像処理部２０は、ベイヤー配列パターンの画素データに対応した処理を行う。
　駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。
　制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。
　撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。
　本実施形態では、撮影モードの一例として、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画を図示しない表示部に出力するスルー動画モードが設定された場合の処理を例に説明する。
　次に、本実施形態の作用として、制御部２４で実行される処理について、図４に示すフローチャートを参照して説明する。
　なお、図４に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。
　まず、ステップ１００では、撮影モードに応じた間引き方法で画素データを読み出すように駆動部２２に指示する。
　ステップ１０２では、撮影モードに応じたベイヤー処理（同時化処理及びＹＣ変換処理）及びリサイズ処理を実行するよう画像処理部２０に指示する。
　なお、制御部２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。
　以下、間引き読み出しの具体例について説明する。
　図２に示すように、第１の配列パターンＡ、第２の配列パターンＢは、一部にベイヤー配列パターンを含んでいる。例えば第１の配列パターンＡは、対角線上にＧ画素が配置され、その他がＲ画素及びＢ画素となっているため、第１の配列パターンＡから任意の２×２画素を抜き出すと、図３に示す２×２画素のベイヤー配列パターンと同一となる。これは第２の配列パターンＢについても同様である。
　従って、本実施形態では、間引き読み出しする際に、カラーフィルタ３０のベイヤー配列パターンと同一となるパターンの画素の画素データのみを読み出すように撮像素子１４を駆動する。
　図５には、ＨＤ動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図５左上に示すように、制御部２４は、駆動部２２に対して垂直方向及び水平方向ともに（６ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋２）番目（ｎ＝０、１、２、・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、同図左上の枠５０内の２×２画素の画素データのみが出力される。これにより、画素数が（１６３２×１０８８）の画素データが撮像素子１４から出力される。この枠５０内の２×２画素はベイヤー配列となっているので、撮像素子１４から出力された画素データは、同図右上に示すように当然ベイヤー配列となる。
　このように、ベイヤー配列パターンと異なるカラーフィルタ３０を用いた場合でも、ベイヤー配列パターンと同一のパターンの画素のみを読み出すので、撮像素子１４から出力された画素データをベイヤー配列パターンに変換する必要がなく、装置構成を簡略化することができる。また、後段のベイヤー配列に対応した画像処理部２０をカラーフィルタ３０用に変更することなく用いることができる。
　画像処理部２０では、同図左下に示すようにベイヤー処理（同時化処理及びＹＣ変換処理）実行し、その後同図右下に示すようにリサイズ処理を実行する。図５右下では、一例として（１９２０×１０８０）のサイズにリサイズしている。そして、リサイズした画像を出力する。
（第２実施形態）
　次に、本発明の第２実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。
　本実施形態が第１実施形態と異なるのは撮影モードであり、その他は第１実施形態と同様である。
　本実施形態では、間引き方は第１実施形態と同様であり、図５左上と同様に、制御部２４は、駆動部２２に対して垂直方向及び水平方向ともに（６ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋２）番目（ｎ＝０、１、２、・・・）のラインが交差する位置の画素の画素データを読み出すように指示する。これにより、同図右上に示すようにベイヤー配列の画素データが撮像素子１４から出力される。
　画像処理部２０では、図５左下と同様にベイヤー処理を実行し、その後リサイズ処理を実行する。本実施形態では、スルー動画モードなので、ＨＤ動画モードよりも小さいサイズ、一例として（６４０×４８０）のサイズにリサイズする。そして、リサイズした画像を出力する。
（第３実施形態）
　次に、本発明の第３実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。
　本実施形態が第１実施形態と異なるのは撮影モード及び間引き方法であり、その他は第１実施形態と同様である。
　図６には、スルー動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図６左に示すように、制御部２４は、駆動部２２に対して垂直方向に（１２ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（１２ｎ＋２）番目（ｎ＝０、１、２、・・・）のラインと、水平方向に（６ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋２）番目（ｎ＝０、１、２、・・・）のラインと、が交差する位置の画素の画素データを読み出すように指示する。これにより、撮像素子１４からは、同図左の枠５０内の２×２画素の画素データのみが出力される。これにより、画素数が（１６３２×５４４）の画素データが撮像素子１４から出力される。この枠５０内の２×２画素はベイヤー配列となっているので、撮像素子１４から出力された画素データは、同図右に示すように当然ベイヤー配列となる。
　画像処理部２０では、図６では図示は省略したが、第１実施形態と同様にベイヤー処理（同時化処理及びＹＣ変換処理）実行し、その後第１実施形態と同様にリサイズ処理を実行する。ただし、本実施形態では、スルー動画モードなので、ＨＤ動画モードよりも小さいサイズ、一例として（６４０×４８０）のサイズにリサイズする。そして、リサイズした画像を出力する。
（第４実施形態）
　次に、本発明の第４実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。
　本実施形態では、カラーフィルタの変形例について説明する。図７には、変形例に係るカラーフィルタ６０を示した。なお、画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２であるが、画素数及びアスペクト比はこれに限られるものではない。
　図７に示すように、カラーフィルタ６０は、Ｂフィルタが、３×３画素の正方配列の四隅の画素上に配置され、Ｒフィルタが、正方配列の中央の画素上に配置され、Ｇフィルタが、正方配列の垂直方向における中央のライン及び水平方向における中央のライン上に配置された第１の配列パターンＡと、第１の配列パターンＡとＧフィルタの配置が同一で且つＲフィルタの配置とＢフィルタの配置とを入れ替えた第２の配列パターンＢと、が点対称で配置された６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタである。
　すなわち、カラーフィルタ６０は、第１実施形態で説明した特徴(1)、下記の特徴(6)、(7)、及び(8)を有している。
　〔特徴(6)〕
　図７に示すカラーフィルタ６０を構成する基本配列パターンＣは、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタと、Ｇの色以外の他の色（この実施形態では、Ｒ，Ｂ）に対応するＲフィルタ、Ｂフィルタとが、基本配列パターンＣ内の水平及び垂直方向の各ライン内に１つ以上配置されている。
　Ｒ、Ｇ、Ｂフィルタが、それぞれ基本配列パターンＣ内の水平及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
　〔特徴(7)〕
　輝度系画素に対応するＧフィルタは、基本配列パターンＣ内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置されている。
　図７に示すように基本配列パターンＣは、破線の枠で囲んだ３×３画素の第１の配列パターンＡと、一点鎖線の枠で囲んだ３×３画素の第２の配列パターンＢとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　第１の配列パターンＡは、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、第２の配列パターンＢは、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらの第１の配列パターンＡと第２の配列パターンＢとは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　また、図１１Ａに示すように、本実施形態に係るカラーフィルタは、上記第１の配列パターンＡ（Ａ配列）と第２の配列パターンＢ（Ｂ配列）とが、水平及び垂直方向に交互に配置されていると捉えることもできる。
　いま、図１１Ａに示すように、撮像素子から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図１１Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ２Ｇ３が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。
　従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。
　即ち、水平方向の差分絶対値の和は｜Ｇ１－Ｇ２｜＋｜Ｇ３－Ｇ４｜、水平方向の差分絶対値の和は｜Ｇ５－Ｇ６｜＋｜Ｇ７－Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６－Ｇ２｜＋｜Ｇ３－Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６－Ｇ３｜＋｜Ｇ２－Ｇ７｜となる。
　これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化（補間）処理等を行う際に利用することができる。
　〔特徴(8)〕
　図７に示すカラーフィルタ６０を構成する基本配列パターンＣは、その基本配列パターンＣの中心に対して点対称になっている。
　図７に示したように、基本配列パターンＣ内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。
　このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。
　尚、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図７に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在するが、本実施形態では、基本配列パターンが点対称になっている基本配列パターンＣを、便宜上、基本配列パターンという。
　図７に示すように、カラーフィルタ６０は、第１の配列パターンＡ、第２の配列パターンＢは、一部にベイヤー配列パターンを含んでいる。例えば第１の配列パターンＡから任意の２×２画素を抜き出すと、図３に示す２×２画素のベイヤー配列パターンと同一となる。これは第２の配列パターンＢについても同様である。
　従って、カラーフィルタ６０を用いた場合も、ベイヤー配列パターンと同一となるパターンの画素の画素データのみを読み出すように撮像素子１４を駆動することにより、ベイヤー配列の画素データが得られる。間引き方等は、第１～第３実施形態と同様に実行することができる。
　なお、上記各実施形態では、ＲＧＢの３原色のカラーフィルタのカラーフィルタ配列について説明したが、カラーフィルタの種類は、これに限定されるものではない。
１０　撮像装置
１２　光学系
１４　撮像素子
１６　撮像処理部
２０　画像処理部
２２　駆動部
２４　制御部
３０　カラーフィルタ

Claims (5)

  1. 　水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
    　前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、２×２画素の正方配列の一方の対角線上の２つの画素上に、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが配置され、他方の対角線上の２つの画素上に、前記第１の色と異なる第２の色に対応した第２のフィルタと、前記第１の色及び前記第２の色と異なる第３の色に対応した第３のフィルタと、が配置されたベイヤー配列パターンを一部に含む３×３画素上に配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、
    　前記撮像素子から、予め定めた位置の前記ベイヤー配列パターンと同一のパターンとなる画素の画素データのみを読み出すように前記撮像素子を駆動する駆動手段と、
    　前記撮像素子から出力された前記ベイヤー配列パターンの画素データに基づいて、各画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間することにより、各画素の各色の画素データを生成する生成手段と、
    　を備えた撮像装置。
  2. 　前記カラーフィルタは、前記第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタである
    　請求項１記載の撮像装置。
  3. 　前記カラーフィルタは、前記第３のフィルタが、３×３画素の正方配列の四隅の画素上に配置され、前記第２のフィルタが、前記正方配列の前記中央の画素上に配置され、前記第１のフィルタが、前記正方配列の前記垂直方向における中央のライン及び前記水平方向における中央のライン上に配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタである
    　請求項１記載の撮像装置。
  4. 　前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である
    　請求項１～３の何れか１項に記載の撮像装置。
  5. 　コンピュータを、請求項１～請求項４の何れか１項に記載の撮像装置を構成する制御手段として機能させるための撮像プログラム。
PCT/JP2011/067545 2011-03-11 2011-07-29 撮像装置及び撮像プログラム WO2012124182A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180069192.6A CN103430552B (zh) 2011-03-11 2011-07-29 摄像装置
EP11860961.9A EP2685726A4 (en) 2011-03-11 2011-07-29 IMAGING DEVICE AND IMAGING PROGRAM
JP2013504502A JP5524406B2 (ja) 2011-03-11 2011-07-29 撮像装置及び撮像プログラム
US14/021,719 US8723993B2 (en) 2011-03-11 2013-09-09 Imaging device and storage medium storing an imaging program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011054632 2011-03-11
JP2011-054632 2011-03-11
JP2011163307 2011-07-26
JP2011-163307 2011-07-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/021,719 Continuation US8723993B2 (en) 2011-03-11 2013-09-09 Imaging device and storage medium storing an imaging program

Publications (1)

Publication Number Publication Date
WO2012124182A1 true WO2012124182A1 (ja) 2012-09-20

Family

ID=46830284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/067545 WO2012124182A1 (ja) 2011-03-11 2011-07-29 撮像装置及び撮像プログラム

Country Status (5)

Country Link
US (1) US8723993B2 (ja)
EP (1) EP2685726A4 (ja)
JP (1) JP5524406B2 (ja)
CN (1) CN103430552B (ja)
WO (1) WO2012124182A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2685725B1 (en) * 2011-03-11 2016-12-07 FUJIFILM Corporation Imaging device and imaging program
CN106454054B (zh) * 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106507019B (zh) 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置
EP3522106A1 (en) * 2018-01-31 2019-08-07 InterDigital CE Patent Holdings A filter array enabling easy demosaicing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JPH11285012A (ja) 1998-01-20 1999-10-15 Hewlett Packard Co <Hp> デジタル・カメラ用画像センサ
JP2007124295A (ja) 2005-10-28 2007-05-17 Pentax Corp 撮像手段駆動装置、撮像手段駆動方法、および信号処理装置
JP2008078794A (ja) 2006-09-19 2008-04-03 Pentax Corp 撮像素子駆動装置
JP2009246465A (ja) 2008-03-28 2009-10-22 Panasonic Corp 撮像装置、撮像モジュール、及び撮像システム
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3268891B2 (ja) * 1992-08-14 2002-03-25 オリンパス光学工業株式会社 内視鏡撮像装置
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
WO2002056604A1 (fr) 2001-01-09 2002-07-18 Sony Corporation Dispositif de traitement d'images
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP4450187B2 (ja) * 2004-06-08 2010-04-14 パナソニック株式会社 固体撮像装置
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
JP4465002B2 (ja) * 2007-11-16 2010-05-19 オリンパス株式会社 ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP4683121B2 (ja) * 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
EP2685725B1 (en) * 2011-03-11 2016-12-07 FUJIFILM Corporation Imaging device and imaging program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JPH11285012A (ja) 1998-01-20 1999-10-15 Hewlett Packard Co <Hp> デジタル・カメラ用画像センサ
JP2007124295A (ja) 2005-10-28 2007-05-17 Pentax Corp 撮像手段駆動装置、撮像手段駆動方法、および信号処理装置
JP2008078794A (ja) 2006-09-19 2008-04-03 Pentax Corp 撮像素子駆動装置
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成
JP2009246465A (ja) 2008-03-28 2009-10-22 Panasonic Corp 撮像装置、撮像モジュール、及び撮像システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2685726A4

Also Published As

Publication number Publication date
US8723993B2 (en) 2014-05-13
EP2685726A4 (en) 2014-09-03
CN103430552B (zh) 2015-04-08
JP5524406B2 (ja) 2014-06-18
US20140009649A1 (en) 2014-01-09
EP2685726A1 (en) 2014-01-15
CN103430552A (zh) 2013-12-04
JPWO2012124182A1 (ja) 2014-07-17

Similar Documents

Publication Publication Date Title
JP5474258B2 (ja) 撮像装置及び撮像プログラム
EP2690874A1 (en) Color image sensor, imaging device, and control program for imaging device
US8723991B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
US8736743B2 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
US8723992B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
EP2690872A1 (en) Color image capturing element, image capturing device, and image capturing program
JP5524406B2 (ja) 撮像装置及び撮像プログラム
JP5607266B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
EP2696585A1 (en) Color image capturing element, image capturing device, and image capturing program
US9485482B2 (en) Imaging device, method for controlling imaging device, and storage medium storing a control program for color mixing correction
JP5411390B2 (ja) カラー撮像素子
JP5624227B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5607267B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11860961

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013504502

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2011860961

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011860961

Country of ref document: EP