WO2012153532A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2012153532A1
WO2012153532A1 PCT/JP2012/003068 JP2012003068W WO2012153532A1 WO 2012153532 A1 WO2012153532 A1 WO 2012153532A1 JP 2012003068 W JP2012003068 W JP 2012003068W WO 2012153532 A1 WO2012153532 A1 WO 2012153532A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
color filter
pixels
color
color filters
Prior art date
Application number
PCT/JP2012/003068
Other languages
English (en)
French (fr)
Inventor
正行 田中
雄介 紋野
正敏 奥富
直 菊地
小宮　康宏
Original Assignee
国立大学法人東京工業大学
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京工業大学, オリンパス株式会社 filed Critical 国立大学法人東京工業大学
Priority to JP2013513940A priority Critical patent/JP5943393B2/ja
Publication of WO2012153532A1 publication Critical patent/WO2012153532A1/ja
Priority to US14/064,612 priority patent/US9250121B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0488—Optical or mechanical part supplementary adjustable parts with spectral filtering
    • G01J1/0492—Optical or mechanical part supplementary adjustable parts with spectral filtering using at least two different filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Definitions

  • the present invention relates to an imaging apparatus that makes it possible to acquire gradient information (differential information) used for various image processing with high accuracy while improving color reproducibility.
  • an image capturing apparatus in which three color filters of RGB are provided in an image sensor is known. It is known to acquire gradient information of an image for use in various information detection from the captured image and various processing on the image.
  • the conventional imaging device since the number of bands of the color filter is small, the sample density of the image signal component corresponding to each band is relatively high, and the gradient information based on the interpolated image generated by color interpolation is sufficiently accurate. .
  • Patent Document 1 a multiband color filter array (CFA) is used.
  • CFA color filter array
  • the sample density of a single band decreases. If the sample density of a single band is low, it is difficult to acquire gradient information in a common direction, and the processing becomes complicated, for example, gradients such as missing high-frequency component information due to conversion to match the direction of the gradient information. It has been a problem to reduce the accuracy of information. The reduction in the accuracy of the gradient information also affects subsequent processing, and may cause, for example, generation of false colors.
  • an image pickup apparatus includes: It has five or more types of color filters having different spectral sensitivity characteristics, and at least two of the five or more types of color filters are used as the target color filters, and the first color filter is arranged on both sides along the first direction from the target color filter.
  • the two color filters arranged at the interval of 1 are of the same type, and the types of the two color filters arranged at the second interval on both sides along the second direction different from the first direction are the same type
  • a color filter array in which five or more types of color filters are two-dimensionally arranged so that An image sensor having a plurality of pixels that are covered by any kind of the color filter in the color filter array and generate a pixel signal according to the amount of received light;
  • the pixels covered by the color filter of the type arranged on the color filter array as the target color filter are sequentially designated as the target pixel one by one, and arranged at the first interval on both sides along the first direction from the target pixel.
  • the first differential information is calculated based on the pixel signal generated by the two pixels to be generated, and the pixel signal generated by the two pixels arranged at the second interval on both sides along the second direction from the target pixel And a differential information acquisition unit that calculates second differential information based on the above.
  • gradient information is obtained using color filters arranged on both sides of a reference color filter (pixel) while achieving multiband color filters.
  • pixel a reference color filter
  • FIG. 1 is a block diagram showing a schematic configuration of a digital camera having an image sensor provided with a color filter array according to an embodiment of the present invention. It is an arrangement
  • FIG. 5 is a pixel arrangement diagram for explaining a configuration of a first pixel block. It is an array diagram of the color filter of the first pixel block by regarding the type of color filter of the center pixel of the first pixel block as the type of color filter of the first pixel block. It is a pixel arrangement
  • FIG. 16 is a pixel arrangement diagram for explaining a configuration of a first pixel block in the color filter arrangement of FIG. 15.
  • FIG. 16 is a pixel arrangement diagram for explaining a configuration of a second pixel block in the color filter arrangement of FIG. 15.
  • sequence diagram which shows the structure of the color filter array of the 12th modification which has a 7-band color filter. It is an array figure which shows the structure of the color filter array of the 13th modification which has a 7-band color filter. It is a spectral sensitivity characteristic of the color filter in the color filter array of the 14th modification which is 8 bands. It is an array figure which shows the structure of the color filter array of the 14th modification which has an 8-band color filter. It is the spectral sensitivity characteristic of the color filter in the color filter array of the 15th modification which is 8 bands. It is an arrangement
  • sequence diagram which shows the structure of the color filter array of the 15th modification which has an 8-band color filter.
  • FIG. 1 is a block diagram showing a schematic configuration of a digital camera provided with an image sensor having a color filter array according to an embodiment of the present invention.
  • the digital camera 10 includes a photographing optical system 11, an image sensor 20, a sensor driving unit 12, a system bus 13, an image signal processing unit 30, a buffer memory 14, a system controller 15, an image display unit 16, an image recording unit 17, and an operation unit. 18 or the like.
  • the photographing optical system 11 is vertically arranged so that the optical axis passes through the center of the light receiving unit 21 of the image sensor 20 and is coupled to the image sensor 20.
  • the photographing optical system 11 includes a plurality of lenses (not shown), and forms an optical image of a subject on the light receiving unit 21.
  • the photographing optical system 11 may be fixed to the digital camera 10 or may be a removable exchangeable type.
  • the image sensor 20 is, for example, a CMOS area sensor, and includes a light receiving unit 21, a vertical scanning circuit 22, a horizontal readout circuit 23, and an A / D converter 24. As described above, an optical image of the subject is formed on the light receiving unit 21 by the photographing optical system 11.
  • a plurality of pixels are arranged in a matrix.
  • an OB (optical black) region 21b and an effective photographing region 21e are defined.
  • the OB pixel arranged in the OB region 21b has a light receiving surface shielded, and outputs a dark current serving as a black reference as an OB pixel signal.
  • the effective photographing area 21e is covered with CFA (not shown in FIG. 1), and each pixel is covered with one of the 5-band color filters.
  • the CFA 21a includes five bands of G (green) color filter, Cy (cyan) color filter, Or (orange) color filter, B (blue) color filter, and R (red) color filter.
  • a filter is provided. Therefore, in each pixel, a pixel signal corresponding to the amount of light received in the transmission band of the corresponding color filter is generated.
  • the G, Cy, Or, B, and R color filters have different spectral sensitivity characteristics.
  • the difference in spectral sensitivity characteristic means that the peak wavelength value or the center value of the full width at half maximum is different.
  • 4 ⁇ 4 color filter repeating units 21u are repeatedly arranged in the row direction and the column direction. As shown in FIG. 2, in the color filter repeating unit 21u, there are 8 G color filters, 2 Cy color filters, 2 Or color filters, 2 B color filters, and 2 R colors. A filter is placed.
  • any one of the Cy color filter, the Or color filter, the B color filter, and the R color filter and the G color filter are arranged in a checkered pattern. That is, the G color filter is repeatedly arranged every other pixel in all rows and columns. For example, with the upper left in FIG. 2 as a reference, the G color filter is arranged in the second and fourth columns in the first and third rows. In the second and fourth rows, G color filters are arranged in the first and third columns.
  • rows and columns in which the G color filter, the B color filter, and the Cy color filter are arranged are repeatedly arranged every other pixel in the column direction and the row direction.
  • a B color filter is arranged in the first row, first column and the third row, third column
  • a Cy color filter is arranged in the first row, third column, and the third row, first column.
  • rows and columns in which the G color filter, R color filter, and Or color filter are arranged are repeatedly arranged every other pixel in the row direction and the column direction.
  • the R color filter is arranged at the second row, the fourth column, and the fourth row, the second column, and the Or color filter is arranged at the second row, the second column, and the third row, the third column.
  • the ratio of the G color filter is the largest, accounting for 50% of the total.
  • the bands of the color filters corresponding to the pixels adjacent in the oblique direction are equal.
  • any G color filter all the color filters adjacent to the diagonal are G color filters. Accordingly, the G color filters are arranged on the upper right and lower left sides of any G color filter, and are color filters of the same band. Further, G color filters are arranged on the lower right and upper left sides, which are color filters of the same band.
  • any Cy color filter is sandwiched between the R color filter and the Or color filter along the oblique direction. More specifically, an Or color filter is disposed on the upper right and lower left sides of an arbitrary Cy color filter, and the color filters have the same band. Further, R color filters are arranged on the lower right and upper left sides, and are color filters of the same band.
  • the color filters adjacent in the oblique direction are the color filters of the same band.
  • a pixel signal corresponding to the amount of light received in the transmitted band is generated.
  • the vertical scanning circuit 22 selects a row of pixels from which pixel signals are output, and the horizontal readout circuit 23 selects a pixel column from which pixel signals are output (see FIG. 1).
  • the vertical scanning circuit 22 and the horizontal reading circuit 23 are driven by the sensor driving unit 12.
  • the digital camera 10 is provided with a normal readout mode and first to third thinning readout modes. In each mode, the vertical scanning circuit 22 and the horizontal reading circuit 23 are controlled so that a pixel signal is output pixel by pixel from all the pixels to be read.
  • the output pixel signal is converted into a digital signal by the A / D converter 24.
  • RAW data of one frame of the pixel signals of all the pixels arranged in the light receiving unit 21 is determined as the original image signal.
  • the image sensor 20 When a high resolution is required, such as when shooting a still image, the image sensor 20 is driven in the normal readout mode, and pixel signals are generated from all pixels. In addition, when high dynamic resolution is required, such as when detecting information for dimming and focusing operations during shooting standby, or when shooting moving images, the image sensor in the first to third thinning readout modes 20 is driven.
  • the color signal component of the pixel signal output from the first pixel block pb1 is regarded as the type of the color filter of the first pixel block pb1
  • the arrangement is the same as the arrangement of color filters in the CFA 21a. Accordingly, the original image signal output in the first decimation readout mode can be subjected to the same image processing as the original image signal output in the normal readout mode in the image signal processing unit 30.
  • the color signal component of the pixel signal output from the second pixel block pb2 is regarded as the type of the color filter of the second pixel block pb2, as shown in FIG. 7, the color filter component of the second pixel block pb2
  • the arrangement is the same as the arrangement of color filters in the CFA 21a. Therefore, the original image signal output in the second decimation readout mode can be subjected to the same image processing as the original image signal output in the normal readout mode in the image signal processing unit 30.
  • the color signal component of the pixel signal output from the third pixel block pb3 is regarded as the type of the color filter of the third pixel block pb3
  • the color filter component of the third pixel block pb3 is shown in FIG.
  • the arrangement is the same as the arrangement of color filters in the CFA 21a. Therefore, the original image signal output in the third decimation readout mode can be subjected to the same image processing as the original image signal output in the normal readout mode in the image signal processing unit 30.
  • the first to third decimation readout modes are selected according to the required readout speed or resolution.
  • the image sensor 20, the buffer memory 14, the image signal processing unit 30, the system controller 15, the image display unit 16, the image recording unit 17, the operation unit 18, and the sensor driving unit 12 are electrically connected via the system bus 13. (See FIG. 1). These parts connected to the system bus 13 can transmit and receive various signals and data to and from each other via the system bus 13.
  • the original image signal output from the image sensor 20 is transmitted to the buffer memory 14 and stored.
  • the buffer memory 14 is an SDRAM or the like, has a relatively high access speed, and is used as a work area for the image signal processing unit 30.
  • the buffer memory 14 is also used as a work area when the system controller 15 executes a program for controlling each part of the digital camera 10.
  • the image signal processing unit 30 performs a demosaicing process, which will be described in detail later, on the original image signal to generate an interpolated image signal. Further, the image signal processing unit 30 performs predetermined image processing on the interpolated image signal. The interpolated image signal is converted into an RGB image signal as necessary.
  • the interpolated image signal and the RGB image signal subjected to the predetermined image processing are transmitted to the image display unit 16.
  • the image display unit 16 includes a multi-primary color monitor (not shown in FIG. 1) and an RGB monitor (not shown in FIG. 1).
  • the multi-primary color monitor and the RGB monitor are provided with a color liquid crystal display element (not shown) and a backlight device (not shown), and images corresponding to the interpolation image signal and the RGB image signal are displayed.
  • the image display unit 16 is provided on the back and side surfaces of the digital camera 10.
  • the image display unit 16 may be an EVF (electronic viewfinder) configured by a relatively small display element (not shown) and a magnifying optical system (not shown).
  • EVF electronic viewfinder
  • the image display unit 16 may have both forms, and may be configured to be switchable according to the usage situation.
  • the image display unit 16 may be an organic EL display element or the like.
  • the interpolated image signal and RGB image signal output from the image signal processing unit 30 are also transmitted to and stored in the image recording unit 17.
  • the image recording unit 17 is a flash memory that can be connected via a built-in type or a connector (not shown).
  • Each part of the digital camera 10 is controlled by the system controller 15.
  • a control signal for controlling each part is input from the system controller 15 to each part via the system bus 13.
  • the image signal processing unit 30 and the system controller 15 may be configured as software executed on an arbitrary suitable processor such as a CPU (Central Processing Unit), or may be configured by a dedicated processor specialized for each process. You can also
  • the system controller 15 is connected to an input unit 18 having input mechanisms such as a power button (not shown), a release button (not shown), and a dial (not shown). Various input operations of the digital camera 10 by the user are detected by the input unit 18. The system controller 15 controls each part of the digital camera 10 according to the operation input detected by the input unit 18.
  • the image signal processing unit 30 includes an OB subtraction processing unit 31, a multiband (MB) demosaic processing unit 40 (image processing system), an NR processing unit 32, an MB-RGB conversion unit 33, a color conversion processing unit 34, and a color gamma correction.
  • the processing unit 35 is configured.
  • the original image signal output from the buffer memory 14 is transmitted to the OB subtraction processing unit 31.
  • the OB subtraction processing unit 31 adjusts the black level of each pixel signal by subtracting each pixel signal from the OB pixel signal generated for the OB pixel.
  • the pixel signal output from the OB subtraction processing unit 31 is transmitted to the MB demosaic processing unit 40.
  • the pixel signal constituting the original image signal has only one color signal component in five bands. That is, as shown in FIG. 11, the original image signal includes a G original image signal component (see (a)), a Cy original image signal component (see (b)), an Or original image signal component (see (c)), B original image signal components (see (d)) and R original image signal components (see (e)).
  • all color signal components are interpolated by demosaic processing in the MB demosaic processing unit 40. That is, all the pixel signals are interpolated so as to have five color signal components.
  • the original image signal subjected to demosaic processing is transmitted to the NR processing unit 32 as an interpolated image signal (see FIG. 10).
  • noise reduction processing such as coring processing and median filter processing is executed, and noise is removed from the interpolated image signal.
  • the interpolated image signal from which noise has been removed is temporarily stored in the buffer memory 14.
  • the interpolated image signal stored in the buffer memory 14 is subjected to compression processing as necessary, and generated according to a predetermined format.
  • the interpolated image file is stored in the image recording unit 17.
  • color reproduction information that is referred to later when an image is reproduced is added as tag information.
  • the color reproduction information is referred to for processing for estimating the spectral transmittance of the photographing optical system 11, the spectral sensitivity of the image sensor 20, the spectral radiance of the light irradiated to the subject during photographing, and the spectral reflectance of the subject.
  • Subject-specific statistical information for estimating the spectral transmittance of the photographing optical system 11, the spectral sensitivity of the image sensor 20, the spectral radiance of the light irradiated to the subject during photographing, and the spectral reflectance of the subject.
  • the operation mode of the digital camera 10 is set to an image reproduction mode for reproducing a multiband image
  • the interpolated image signal from which noise has been removed by the NR processing unit 32 is transmitted to the color conversion processing unit 34.
  • the color conversion processing unit 34 acquires in advance information (monitor profile information) regarding the monitor profile and the like of the multi-primary color monitor 16mb. Further, the color conversion processing unit 34 obtains information (observation illumination spectral distribution information) related to the spectral radiance of illumination light around the digital camera 10 from an optical sensor (not shown) provided in the vicinity of the multi-primary color monitor 16mb. To do. The color conversion processing unit 34 performs color conversion processing on the interpolated image signal using the monitor profile information and the observation illumination spectral distribution information. The interpolated image signal subjected to the color conversion processing is transmitted to the multi-primary color monitor 16mb.
  • the subject is displayed on the multi-primary color monitor 16mb in a hue that is illuminated by the illumination light around the digital camera 10. Therefore, the user can observe an image with improved reproducibility.
  • the digital camera 10 can store and display RGB image signals having only conventional RGB as color signal components.
  • the digital camera 10 is set to the recording mode for recording the RGB image signal, the interpolated image signal from which noise is removed is transmitted to the MB-RGB conversion processing unit 33.
  • the MB-RGB conversion processing unit 33 performs RGB conversion processing on the interpolated image signal.
  • the interpolated image signal composed of the 5-band color signal components is converted into an RGB image signal composed of the 3-band RGB color signal components.
  • the RGB image signal is temporarily stored in the buffer memory 14, subjected to compression processing as necessary, and stored in the image recording unit 17 as an RGB image file generated according to a predetermined format.
  • the RGB image signal is transmitted to the color / gamma correction processing unit 35.
  • the color / gamma correction processing unit 35 acquires a monitor profile of the RGB monitor 16 rgb in advance.
  • the color / gamma correction processing unit 35 performs color correction processing and gamma correction processing on the RGB image signal using the acquired monitor profile.
  • the RGB image signal subjected to these correction processes is transmitted to the RGB monitor 16rgb, and an image corresponding to the RGB image signal is displayed.
  • FIG. 12 is a conceptual diagram for explaining the demosaic process executed by the MB demosaic processor 40.
  • each pixel signal has only one color signal component of 5 bands.
  • the original image signal OIS is divided into a G original image signal component gOIS, a Cy original image signal component cyOIS, an Or original image signal component orOIS, a B original image signal component bOIS, and an R original image signal component rOIS.
  • an adaptive kernel function is calculated for all pixels using all pixel signals of the original image signal OIS (see “aK” in FIG. 12).
  • a missing pixel signal in the G original image signal component gOIS is interpolated by an adaptive Gaussian interpolation method using the adaptive kernel function and the G original image signal component gOIS, and a reference image signal RIS (primary reference image) is generated. (See “aGU” in FIG. 12).
  • a missing pixel signal in the G original image signal component gOIS is interpolated by an adaptive joint bilateral interpolation method (see “aJBU” in FIG. 12) using the adaptive kernel function, the reference image signal RIS, and the G original image signal component gOIS. Then, the G interpolation image signal component gIIS is generated.
  • the Cy interpolation image signal component cyIIS is generated by performing the same processing using the Cy original image signal component cyOIS instead of the G original image signal component gOIS. Similarly, an Or interpolation image signal component orIIS, a B interpolation image signal component bIIS, and an R interpolation image signal component rIIS are generated.
  • An interpolated image signal IIS is generated by generating pixel signals having all color signal components for all pixels.
  • the MB demosaic processing unit 40 includes a distribution unit 41, a differential value calculation unit 42, an adaptive kernel calculation unit 43, a reference image creation unit 44, and an interpolation image creation unit 45.
  • the original image signal received by the MB demosaic processing unit 40 is input to the distribution unit 41.
  • color signal components are distributed to the differential value calculation unit 42, the reference image creation unit 44, and the interpolation image creation unit 45 as necessary.
  • the differential value calculation unit 42 calculates a differential value (differential information) in two directions for each pixel. In order to calculate the differential value, all the pixels are sequentially designated as the target pixel. A difference between pixel signals of pixels adjacent to the upper right and lower left of the designated target pixel and a difference between pixel signals of pixels adjacent to the lower right and upper left are calculated as differential values.
  • the above-described differential value indicates a gradient in both oblique directions in a local image centered on the target pixel.
  • the differential values calculated for all the pixels are transmitted to the adaptive kernel calculation unit 43.
  • the differential values calculated for all pixels are not limited to the adaptive kernel calculation unit 43, but also the NR processing unit 32, MB-RGB conversion processing unit 33, color conversion processing unit 34, and color / gamma correction processing unit. 35 is also transmitted. The differential value is used for processing in each part.
  • the adaptive kernel calculation unit 43 calculates an adaptive kernel function for each pixel based on the differential value. For the calculation of the adaptive kernel function, all pixels are sequentially designated as the target pixel. Also, pixels arranged in 7 rows and 7 columns around the pixel of interest centered on the pixel of interest are designated as the surrounding pixels. When the designation of the pixel of interest and surrounding pixels is finished, an inverse matrix of the covariance matrix Cx for the pixel of interest is calculated.
  • the inverse matrix is calculated by substituting the differential values of the pixel of interest and surrounding pixels into equation (1).
  • N x is a pixel position set of surrounding pixels
  • is the number of pixels in the pixel position set.
  • Z u (x j ) is a differential value of the surrounding pixel x j in the u direction
  • Z v (x j ) is a differential value of the surrounding pixel x j in the v direction.
  • the u direction is a direction from the lower right to the upper left
  • the v direction is a direction from the lower left to the upper right.
  • a parameter ⁇ x representing the magnitude of the kernel function for the target pixel is calculated next.
  • eigenvalues ⁇ 1 and ⁇ 2 of the covariance matrix C x are calculated.
  • the product of the eigenvalues ⁇ 1 ⁇ ⁇ 2 is compared with the threshold value S. If the eigenvalue product ⁇ 1 ⁇ ⁇ 2 is greater than or equal to the threshold S, the parameter ⁇ x is calculated as 1.
  • the fourth root of (S / ( ⁇ 1 ⁇ ⁇ 2 )) is calculated as the parameter ⁇ x .
  • the adaptive kernel function k x (x j ⁇ x) is calculated by the equation (2).
  • x j is the coordinates of the surrounding pixels
  • x is the coordinates of the pixel of interest
  • R is a 45 ° rotation matrix
  • h is a predetermined design parameter, and is set to 1, for example.
  • the adaptive kernel function k x (x j ⁇ x) calculated for all pixels is transmitted to the reference image creation unit 44 and the interpolation image creation unit 45.
  • the G color signal component (first color signal component) having the largest number of elements in the original image signal is transmitted from the distribution unit 41.
  • the reference image creation unit 44 performs interpolation of the G color signal component that exists only for half of the entire pixels by an adaptive Gaussian interpolation method, and generates a reference image signal.
  • a pixel to be interpolated in the G original image signal component that is, a pixel having no G color signal component in the original image signal is sequentially designated as the target pixel.
  • a pixel in 7 rows and 7 columns around the pixel of interest centered on the pixel of interest is designated as the surrounding pixel.
  • the pixel signal of the target pixel is calculated by the equation (3) based on the G signal component of the surrounding pixels and the adaptive kernel function.
  • ⁇ x is calculated by equation (4).
  • M xi is a binary mask, which is 1 when surrounding pixels have a G color signal component, and 0 when surrounding pixels do not have a G color signal component.
  • S xi is a G color signal component of surrounding pixels.
  • the reference image signal composed of the G color signal component interpolated for all the pixels designated as the target pixel and the G original image signal component is transmitted to the interpolated image creating unit 45.
  • the adaptive kernel function k x (x i -x) and the reference image signal are transmitted from the adaptive kernel calculation unit 43 and the reference image generation unit 44 to the interpolation image generation unit 45.
  • the interpolation image creation unit 45 receives the G original image signal component, the Cy original image signal component, the Or original image signal component, the B original image signal component, and the R original image signal component from the distribution unit 41. Sent in order.
  • the interpolated image creation unit 45 interpolates ungenerated color signal components for all pixels by an adaptive joint bilateral interpolation method. For example, the G color signal component of other pixels is interpolated using the G color signal component that exists only for half of all the pixels.
  • the Cy color signal component, the Or color signal component, the B color signal component, and the R color signal component that exist only for each 1/8 pixel
  • the Cy color signal component and Or color of other pixels are used.
  • the signal component, the B color signal component, and the R color signal component are interpolated.
  • an interpolated image signal composed of all pixel signals having all color signal components is generated. Note that although the G color signal component is interpolated in the creation of the reference image, interpolation using the reference image is performed separately.
  • a pixel to be interpolated with the G color signal component that is, a pixel having no G color signal component in the original image signal is sequentially designated as the target pixel.
  • a pixel in 7 rows and 7 columns around the pixel of interest centered on the pixel of interest is designated as the surrounding pixel.
  • the color signal component of the target pixel is calculated by the equation (5) based on the G color signal component of the surrounding pixels, the adaptive kernel function, and the reference image signal.
  • I xi is the pixel value of surrounding pixels in the reference image
  • I x is the pixel value of the pixel of interest in the reference image
  • r (I xi -I x ) is a weight according to the difference in pixel value between the target pixel and the surrounding pixels.
  • G interpolation image signal component is generated by interpolation of the G color signal component with respect to the target pixel. Thereafter, similarly, the Cy color signal component, the Or color signal component, the B color signal component, and the R color signal component are also interpolated in the same manner as the G color signal component, and the Cy interpolation image signal component, the Or interpolation image signal component, B An interpolated image signal component and an R interpolated image signal component are generated. In this way, an interpolated image signal is generated by interpolation of all color signal components.
  • a common two-direction differential value for all pixels that is, gradient information, is acquired before performing color interpolation while having a color filter of 5 bands or more. Is possible.
  • a 5-band color filter arrangement is defined.
  • the color filter arrangement is such that the color filters of 2 pixels sandwiching an arbitrary pixel are the same, the same as in this embodiment. The effect is obtained.
  • the same effect as that of the present embodiment can be obtained even with the CFA 2100a in which G, Cy, Or, B, and R color filters are arranged.
  • the CFA 2100a a pixel having a high correlation is always included in a pixel used for calculation of a differential value regardless of which pixel is the target pixel. That is, the R color filter is always arranged in the oblique direction of the Or color filter.
  • a highly accurate differential value can be calculated by always including a highly correlated color when calculating the differential value.
  • the color filter bands of the pixels on the upper right and the lower left are the same in all the pixels.
  • the CFA 2101a can perform thinning-out reading as in the present embodiment. For example, as shown in FIG. 16, it is possible to read out a pixel signal for each first pixel block pb1 configured by pixels px arranged in 3 rows and 3 columns.
  • the type of color filter of the first pixel block pb1 is regarded as the type of color filter of the first pixel block pb1
  • the type of color filter of the first pixel block pb1 is regarded as the type of color filter of the first pixel block pb1. Is the same as the arrangement of the CFA 21a.
  • each second pixel block pb2 constituted by pixels px arranged in 5 rows and 5 columns.
  • the color filter type of the pixel px at the center of the second pixel block pb2 is regarded as the type of color filter of the second pixel block pb2
  • the arrangement of the color filters of the second pixel block pb2 Is the same as the sequence of CFA21a.
  • the two pixels used for calculating the differential value of the target pixel are adjacent to the target pixel, but may not be adjacent if they are equidistant from the target pixel.
  • the differential value may be calculated by calculating a difference between a pixel two pixels on the right and two pixels above the target pixel and a pixel two pixels on the left and two pixels below.
  • the types of color filters that can acquire differential values in the same direction for all pixels from pixels adjacent to the target pixel are limited to 5 to 8 types.
  • the types of color filters for obtaining differential values from pixels of equal spacing from the target pixel are not limited to 5 to 8 types, and can be configured using 9 or more types of color filters.
  • the same effect as that of the present embodiment can be obtained. That is, in CFA 2102a and 2103a, regardless of which pixel px is the target pixel, the types of color filters of the pixel two pixels to the right and two pixels above the target pixel and the pixel two pixels to the left and two pixels below Will be the same. Also, the types of color filters of the pixel two pixels to the left of the target pixel and two pixels above and the pixel two pixels to the right and two pixels below are the same.
  • the pixels used for differential value calculation in both the u direction and the v direction are configured to have an interval of one pixel from the target pixel, but the intervals may be different in the u direction and the v direction.
  • the differential value can be calculated by dividing by the length corresponding to the interval.
  • the differential value is calculated with respect to the u direction and the v direction of the target pixel.
  • the direction of the calculated differential value is not limited to the u direction and the v direction.
  • a color filter array that can calculate differential values in two different directions, and if a pixel signal is read and a differential value is calculated in accordance with the color filter array, the same effect as in this embodiment can be obtained.
  • the type of the two-pixel color filter that is separated from the target pixel by two pixels on both sides along the row direction is the same regardless of which pixel is the target pixel.
  • the type of the color filter of two pixels separated by two pixels on both sides along the same line is the same. Therefore, in the original image signal output from the CFA 21a, a differential value is calculated based on a pixel signal of two pixels separated in the row direction from the target pixel, and a pixel signal of two pixels separated in the column direction by two pixels. If it is the structure which calculates a differential value based on, the effect similar to this embodiment is acquired.
  • the direction for acquiring the differential value is not limited to two directions.
  • a color filter array capable of calculating a differential value in at least two common directions in any pixel. If a pixel signal is read in accordance with the array and a differential value is calculated, the same effect as in this embodiment is obtained. can get.
  • the type of the two-pixel color filter that is separated from the target pixel by two pixels on both sides along the row direction is the same regardless of which pixel is the target pixel.
  • the type of the two-pixel color filter separated by two pixels on both sides along the same line is the same, and the type of the two-pixel color filter separated by two pixels on both sides along the u direction from the target pixel is the same.
  • the type of the color filter of 2 pixels separated from the pixel by 2 pixels on both sides along the v direction is the same. Therefore, if the differential value is calculated based on the pixel signal of two pixels separated by two pixels in each of the four directions, the same effect as in the present embodiment can be obtained. By increasing the direction in which the differential value is acquired, more accurate gradient information can be acquired.
  • the interval between pixels for calculating the differential value may be different for each pixel.
  • the types of the two-pixel color filters obtained by separating two pixels from the target pixel on both sides along the row direction and the column direction are the same.
  • the types of the two-pixel color filters that are separated from the target pixel by one pixel on both sides along the row direction and the column direction are the same. Therefore, in the original image signal output from the CFA 21a, an effect similar to that of the present embodiment can be obtained as long as the differential value, which is a different pixel interval depending on the type of pixel, is calculated.
  • the same effects as those of the first embodiment can be obtained for an image pickup device having a honeycomb structure as shown in FIG.
  • the type of the color filter of two pixels separated on both sides along the 60 ° direction from the row direction is the same, and 30 ° from the column direction.
  • the type of the color filter of two pixels separated by two pixels on both sides along the direction is the same.
  • the same effect as that of the first embodiment can be obtained even for an image sensor having a configuration in which pixels arranged in a matrix are inclined by 45 °.
  • the types of color filters of two pixels separated from the target pixel on both sides along the row direction and the column direction are the same.
  • a 5-band color filter is provided in the CFA 21a.
  • a 6-band or more color filter may be provided.
  • the differential value can be calculated in the u direction and the v direction in any pixel px by the CFA 2106a in which the 6-band color filters C1 to C6 are arranged. Further, according to the CFA 2106a, as in the present embodiment, only the pixel signal of the single pixel px arranged at the center of the second pixel block constituted by the pixels px arranged in 5 rows and 5 columns is output. It is also possible to calculate a differential value for each pixel block.
  • the differential value can be calculated using the separated pixels px.
  • the same effect as in the present embodiment can be obtained.
  • the CFA 2109a as in the present embodiment, only the pixel signal of a single pixel arranged at the center of the second pixel block configured by the pixels px arranged in 5 rows and 5 columns is output to be a pixel. It is also possible to calculate a differential value for each block.
  • the differential value can be calculated using pixels separated by an interval of pixels.
  • the CFA 2113a shown in FIG. 34 using the C1 to C8 color filters having high sensitivity shown in FIG. 33 can calculate the differential values in the u direction and the v direction in any pixel px.
  • the first, second, and third pixel blocks configured by the pixels px arranged in 3 rows, 3 columns, 5 rows, 5 columns, and 7 rows, 7 columns, respectively. It is also possible to calculate the differential value for each pixel block by outputting only the pixel signal of the single pixel px arranged at the center.
  • the pixels px separated by two pixels in the u direction and the v direction in any pixel px can be calculated by using this.
  • the differential value can be calculated using px.
  • the CFA 2115a only the pixel signal of the single pixel px arranged at the center of the second pixel block constituted by the pixels px arranged in 5 rows and 5 columns is output as in the present embodiment. It is also possible to calculate a differential value for each pixel block.
  • a differential value can be calculated using pixels px separated by an interval of minutes.
  • a color filter repetition unit is configured by pixels arranged in 8 rows and 8 columns.
  • the CFAs 2116a and 2117a only the pixel signal of the single pixel px arranged at the center of the first pixel block constituted by the pixels px arranged in 3 rows and 3 columns is output as in the present embodiment.
  • the differential value is calculated using all pixel signals in the normal readout mode, but the pixel for calculating the differential value may not be all pixels.
  • differential values may be calculated only for the C1, C2, C4, C6, and C7 color filters.
  • the types of color filters of the two pixels that are separated from the target pixel by two pixels on both sides in the u direction, the v direction, the row direction, and the column direction are the same.
  • the value can be calculated.
  • a pixel having the above-described type of color filter (C1, C2, C4, C6, C7) is set as the target pixel, two pixels separated from the target pixel by one pixel on both sides in the u direction and the v direction, respectively.
  • the types of the color filters are the same, and the differential value can be calculated.
  • the differential value may be calculated using only the pixel signal of the pixel having the maximum sample density, such as the C4 color filter in the CFA 2110a.
  • the accuracy is higher than the differential value calculated from all pixels.
  • the optimum method for calculating the differential value differs depending on the CFA.
  • the differential values in the u direction and the v direction can be calculated from the pixels adjacent to the target pixel, regardless of which pixel is the target pixel.
  • the differential value can be calculated from two pixels separated from the target pixel by two pixels along the row direction and the column direction regardless of which pixel is the target pixel.
  • the differential value may be calculated by a plurality of methods. For such a CFA, an optimum differential value calculation method can be selected from the viewpoint of signal processing and processing speed after using the calculated differential value.
  • the differential value calculated from the pixel adjacent to the target pixel is more accurate than the differential value calculated from the pixel separated by two pixels from the target pixel. Furthermore, the configuration in which the differential value is calculated at all pixel positions is preferable to the case where there is a pixel that does not calculate the differential value.
  • the thinning-out reading is possible in order to increase the frame rate.
  • pixels may be added and read out.
  • the two pixels px arranged at the upper right and lower left from the center of the first pixel block pb1 have the same type of color filter. Therefore, the pixel signals of the two pixels px are added and output as the pixel signal of the first pixel block pb1. If the color signal component of the output pixel signal is the band of the color filter of the first pixel block pb1, the arrangement of the color filters of the first pixel block pb1 is the same as the arrangement of the color filters in the CFA 21a.
  • the five pixels arranged at the center and the four corners of the second pixel block pb2 have the same type of color filter. Therefore, the pixel signals of the five pixels are added and output as the pixel signal of the second pixel block pb2. If the color signal component of the output pixel signal is the band of the color filter of the second pixel block pb2, the arrangement of the color filters of the second pixel block pb2 is the same as the arrangement of the color filters in the CFA 21a.
  • the thinning readout mode is configured to perform thinning readout using pixels arranged in 3 rows, 3 columns, 5 rows, 5 columns, or 7 rows and 7 columns as pixel blocks.
  • the arrangement of the color filters in the CFA 21a is the same as the arrangement of the color filters in the pixel block.
  • a pixel signal is output from the pixel at the center of the pixel block.
  • the pixel signal may be output from a pixel at any position in the pixel block.
  • the calculated differential value is transmitted to the adaptive kernel calculation unit 43, the NR processing unit 32, the MB-RGB conversion processing unit 33, the color conversion processing unit 34, and the color / gamma correction processing unit 35.
  • it may be configured to transmit to at least one of them, and may be used for any processing based on the differential value.
  • it can be used for edge enhancement processing, local contrast calculation processing, feature amount extraction processing, and the like.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

　撮像装置１０はカラーフィルタアレイと撮像素子２０と微分情報取得部とを有する。カラーフィルタアレイは分光感度特性が異なる５種類以上のカラーフィルタを２次元状に配置している。注目カラーフィルタから第１の方向に沿った両側に配置される２つのカラーフィルタは同じ種類である。注目カラーフィルタから第２の方向に沿った両側に配置される２つのカラーフィルタは同じ種類である。撮像素子２０はカラーフィルタに覆われ画素信号を生成する画素を有する。微分情報取得部は注目カラーフィルタとして配置されたカラーフィルタに覆われた画素を順次注目画素に指定する。微分情報取得部は注目画素から第１の方向に沿った両側に配置された２つの画素が生成する画素信号に基づいて第１の微分情報を算出する。微分情報取得部は注目画素から第２の方向に沿った両側に配置された２つの画素が生成する画素信号に基づいて第２の微分情報を算出する。

Description

撮像装置 関連出願の相互参照
　本出願は、２０１１年５月１１日に出願された日本国特許出願２０１１－１０６７４０号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本発明は、色再現性を向上させながら、様々な画像処理に使用される勾配情報（微分情報）を高い精度で取得可能にさせる撮像装置に関する。
　フルカラー画像を撮像するために、ＲＧＢの３色のカラーフィルタを撮像素子に設けた撮像装置が知られている。撮像した画像から様々な情報の検出や、画像に対する様々な処理に用いるために、画像の勾配情報を取得することが知られている。従来の撮像装置では、カラーフィルタのバンド数が少ないため、各バンドに対応した画像信号成分のサンプル密度は比較的高く、色補間により生成した補間画像に基づく勾配情報は十分に高い精度であった。
　ところで、被写体の忠実な色再現を目的として、マルチバンド画像撮影が注目されている。マルチバンド画像撮影のために、複数のカメラを用いた撮影、または複数回の撮影を行うことが考えられる。しかし、このようなマルチバンド画像撮影には専用の撮影システムが必要であった。そこで、４バンド以上のカラーフィルタを配置した単板のマルチバンド撮像素子を用いることにより、１台の撮像装置で１枚の撮影によりマルチバンド画像撮影を実行することが提案されている（特許文献１参照）。
特開２００３－８７８０６号公報
　特許文献１においては、マルチバンド化したカラーフィルタアレイ（ＣＦＡ）が用いられている。しかし、バンド数の増加に伴い、単一のバンドのサンプル密度が低くなる。単一のバンドのサンプル密度が低くなると、共通の方向の勾配情報の取得が困難となり、処理の煩雑化及び、例えば、勾配情報の方向を合わせるための変換による高周波成分の情報欠落のように勾配情報の精度の低減化を生じることが問題であった。勾配情報の精度の低減化は後の処理にも影響を及ぼし、例えば、偽色の発生などの原因となり得る。
　したがって、上記のような問題点に鑑みてなされた本発明では、マルチバンド化を図りながら、基準となるカラーフィルタ（画素）の両側に配置されるカラーフィルタを使用して勾配情報を取得するとき、基準のカラーフィルタとして少なくとも２種類のカラーフィルタを指定して、共通する少なくとも２つの方向の勾配情報を取得可能な撮像装置の提供を目的とする。
　上述した諸課題を解決すべく、本発明による撮像装置は、
　分光感度特性が異なる５種類以上のカラーフィルタを有し、５種類以上のカラーフィルタの中で少なくとも２種類のカラーフィルタを注目カラーフィルタとして、注目カラーフィルタから第１の方向に沿った両側に第１の間隔で配置される２つのカラーフィルタは同じ種類であり、且つ第１の方向と異なる第２の方向に沿った両側に第２の間隔で配置される２つのカラーフィルタの種類は同じ種類となるように５種類以上のカラーフィルタを２次元状に配置したカラーフィルタアレイと、
　カラーフィルタアレイにおけるいずれかの種類の前記カラーフィルタによって覆われ、受光量に応じた画素信号を生成する複数の画素を有する撮像素子と、
　注目カラーフィルタとしてカラーフィルタアレイ上に配置された種類のカラーフィルタに覆われた画素を１画素ずつ順次注目画素に指定し、注目画素から第１の方向に沿った両側に第１の間隔で配置される２つの画素が生成する画素信号に基づいて第１の微分情報を算出し、注目画素から第２の方向に沿った両側に第２の間隔で配置される２つの画素が生成する画素信号に基づいて第２の微分情報を算出する微分情報取得部とを備える
　ことを特徴とするものである。
　上記のように構成された本発明に係る撮像装置によれば、カラーフィルタのマルチバンド化を図りながら、基準となるカラーフィルタ（画素）の両側に配置されるカラーフィルタを使用して勾配情報を取得するとき、基準となるカラーフィルタとして少なくとも２種類のカラーフィルタを指定して、共通する少なくとも２つの方向において高精度の勾配情報を取得可能である。
本発明の一実施形態に係るカラーフィルタアレイが設けられた撮像素子を有するデジタルカメラの概略構成を示すブロック図である。 ＣＦＡにおけるカラーフィルタの配置を示す配列図である。 図２のカラーフィルタの分光感度特性である。 第１の画素ブロックの構成を説明するための画素の配列図である。 第１の画素ブロックの中心の画素のカラーフィルタの種類を第１の画素ブロックのカラーフィルタの種類とみなすことによる第１の画素ブロックのカラーフィルタの配列図である。 第２の画素ブロックの構成を説明するための画素の配列図である。 第２の画素ブロックの中心の画素のカラーフィルタの種類を第１の画素ブロックのカラーフィルタの種類とみなすことによる第２の画素ブロックのカラーフィルタの配列図である。 第３の画素ブロックの構成を説明するための画素の配列図である。 第３の画素ブロックの中心の画素のカラーフィルタの種類を第３の画素ブロックのカラーフィルタの種類とみなすことによる第３の画素ブロックのカラーフィルタの配列図である。 画像信号処理部の構成を概略的に示すブロック図である。 Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒ原画像信号成分の構造を説明するための概念図である。 ＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。 ＭＢデモザイク処理部の構成を概略的に示すブロック図である。 ５バンドのカラーフィルタを有する第１の変形例のカラーフィルタアレイを示す配列図である。 ５バンドのカラーフィルタを有する第２の変形例のカラーフィルタアレイの構成を示す配列図である。 図１５のカラーフィルタ配列において第１の画素ブロックの構成を説明するための画素の配列図である。 図１５のカラーフィルタ配列において第２の画素ブロックの構成を説明するための画素の配列図である。 ５バンドのカラーフィルタを有する第３の変形例のカラーフィルタアレイの構成を示す配列図である。 ５バンドのカラーフィルタを有する第４の変形例のカラーフィルタアレイの構成を示す配列図である。 ５バンドのカラーフィルタを有する第５の変形例のカラーフィルタアレイの構成を示す配列図である。 ５バンドのカラーフィルタを有する第６の変形例のカラーフィルタアレイの構成を示す配列図である。 ６バンドのカラーフィルタを有する第７の変形例のカラーフィルタアレイの構成を示す配列図である。 ６バンドのカラーフィルタを有する第８の変形例のカラーフィルタアレイの構成を示す配列図である。 ６バンドのカラーフィルタを有する第９の変形例のカラーフィルタアレイの構成を示す配列図である。 ７バンドである第１０の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ７バンドのカラーフィルタを有する第１０の変形例のカラーフィルタアレイの構成を示す配列図である。 ７バンドである第１１の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ７バンドである第１２の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ７バンドである第１３の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ７バンドのカラーフィルタを有する第１１の変形例のカラーフィルタアレイの構成を示す配列図である。 ７バンドのカラーフィルタを有する第１２の変形例のカラーフィルタアレイの構成を示す配列図である。 ７バンドのカラーフィルタを有する第１３の変形例のカラーフィルタアレイの構成を示す配列図である。 ８バンドである第１４の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ８バンドのカラーフィルタを有する第１４の変形例のカラーフィルタアレイの構成を示す配列図である。 ８バンドである第１５の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ８バンドのカラーフィルタを有する第１５の変形例のカラーフィルタアレイの構成を示す配列図である。 ９バンドである第１６の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ９バンドのカラーフィルタを有する第１６の変形例のカラーフィルタアレイの構成を示す配列図である。 １０バンドである第１７の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 １０バンドである第１８の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 １０バンドのカラーフィルタを有する第１７の変形例のカラーフィルタアレイの構成を示す配列図である。 １０バンドのカラーフィルタを有する第１８の変形例のカラーフィルタアレイの構成を示す配列図である。
　以下、本発明を適用した実施形態について、図面を参照して説明する。図１は、本発明の一実施形態に係るカラーフィルタアレイを有する撮像素子が設けられたデジタルカメラの概略構成を示すブロック図である。
　デジタルカメラ１０は、撮影光学系１１、撮像素子２０、センサ駆動部１２、システムバス１３、画像信号処理部３０、バッファメモリ１４、システムコントローラ１５、画像表示部１６、画像記録部１７、及び操作部１８などによって構成される。
　撮影光学系１１は、光軸が撮像素子２０の受光部２１の中心を通るように垂直に配置され、撮像素子２０に結合される。撮影光学系１１は複数のレンズ（図示せず）によって構成され、被写体の光学像を受光部２１に結像させる。なお、撮影光学系１１は、デジタルカメラ１０に固定されていてもよいし、着脱可能な交換式であってもよい。
　撮像素子２０は、例えばＣＭＯＳエリアセンサであり、受光部２１、垂直走査回路２２、水平読出回路２３、及びＡ／Ｄコンバータ２４によって構成される。前述のように、撮影光学系１１により被写体の光学像が受光部２１に形成される。
　受光部２１には、マトリックス状に複数の画素（図示せず）が配置される。また、受光部２１上において、ＯＢ（オプティカルブラック）領域２１ｂと有効撮影領域２１ｅとが定められる。ＯＢ領域２１ｂに配置されるＯＢ画素は受光面が遮光されており、黒色の基準となる暗電流をＯＢ画素信号として出力する。また、有効撮影領域２１ｅはＣＦＡ（図１において図示せず）によって覆われており、各画素は５バンドのカラーフィルタのいずれかによって覆われる。
　図２に示すように、ＣＦＡ２１ａにはＧ（グリーン）カラーフィルタ、Ｃｙ（シアン）カラーフィルタ、Ｏｒ（オレンジ）カラーフィルタ、Ｂ（ブルー）カラーフィルタ、及びＲ（レッド）カラーフィルタの５バンドのカラーフィルタが設けられる。したがって、各画素では、対応するカラーフィルタの透過バンドの光の受光量に応じた画素信号が生成される。なお、図３に示すように、Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒカラーフィルタは、異なる分光感度特性を有する。なお、本実施形態において分光感度特性が異なるとは、ピーク波長の値、または半値幅の中心値が異なることを意味する。
　ＣＦＡ２１ａでは、４行４列のカラーフィルタ繰返し単位２１ｕが行方向及び列方向に繰返し配置される。図２に示すように、カラーフィルタ繰返し単位２１ｕ内には、８個のＧカラーフィルタ、２個のＣｙカラーフィルタ、２個のＯｒカラーフィルタ、２個のＢカラーフィルタ、及び２個のＲカラーフィルタが配置される。
　ＣＦＡ２１ａでは、Ｃｙカラーフィルタ、Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタのいずれかと、Ｇカラーフィルタとが市松模様状に配置される。すなわち、Ｇカラーフィルタは全行全列において、１画素おきに繰返し配置される。例えば、図２における左上を基準として、１、３行目には２、４列目にＧカラーフィルタが配置される。また、２、４行目には、１、３列目にＧカラーフィルタが配置される。
　また、Ｇカラーフィルタ、Ｂカラーフィルタ、及びＣｙカラーフィルタが並ぶ行及び列が、列方向及び行方向に１画素おきに繰返し配置される。例えば、図２において、１行１列目及び３行３列目にＢカラーフィルタが配置され、１行３列目及び３行１列目にＣｙカラーフィルタが配置される。
　また、Ｇカラーフィルタ、Ｒカラーフィルタ、及びＯｒカラーフィルタが並ぶ行及び列が、行方向及び列方向に１画素おきに繰返し配置される。例えば、図２において、２行４列目及び４行２列目にＲカラーフィルタが配置され、２行２列目及び３行３列目にＯｒカラーフィルタが配置される。
　上述のようなカラーフィルタ繰返し単位では、Ｇカラーフィルタの割合が最大であり全体の５０％を占めている。また、任意の位置の画素において、斜め方向に隣接する画素に対応するカラーフィルタのバンドは等しい。
　例えば、図２に示すように、いずれのＧカラーフィルタにおいても、斜方に隣接するカラーフィルタはすべてＧカラーフィルタである。したがって、任意のＧカラーフィルタの右斜め上及び左斜め下にはＧカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＧカラーフィタが配置され、互いに同じバンドのカラーフィルタである。
　また、いずれのＣｙカラーフィルタにおいても、斜方に沿ってＲカラーフィルタまたはＯｒカラーフィルタによって挟まれる。詳細に説明すると、任意のＣｙカラーフィルタの右斜め上及び左斜め下にはＯｒカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＲカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。
　Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタにおいても、同様であって、斜め方向に隣接するカラーフィルタ同士は同じバンドのカラーフィルタとなる。
　上述のようなＣＦＡ２１ａが設けられた画素において、透過したバンドの光の受光量に応じた画素信号が生成される。垂直走査回路２２により画素信号を出力させる画素の行が選択され、水平読出回路２３により画素信号を出力させる画素の列が選択される（図１参照）。
　垂直走査回路２２及び水平読出回路２３はセンサ駆動部１２に駆動される。デジタルカメラ１０には、通常読出しモードと、第１～第３の間引き読出しモードが設けられる。それぞれのモードにおいて、読出す全画素から１画素ずつ画素信号が出力されるように、垂直走査回路２２及び水平読出回路２３は制御される。出力された画素信号はＡ／Ｄコンバータ２４によりデジタル信号に変換される。受光部２１に配置されるすべての画素の画素信号が１フレームのＲＡＷデータが原画像信号に定められる。
　なお、静止画を撮影するとき等のように高い解像度が求められる場合に、通常読出しモードで撮像素子２０は駆動され、全画素から画素信号が生成される。また、撮影待機中における調光及び合焦動作のための情報の検出時や、動画像の撮影時等のように高い動解像度が求められる場合に第１～第３の間引き読出しモードで撮像素子２０は駆動される。
　第１の間引き読出しモードでは、図４に示すように、３行３列に並ぶ画素ｐｘによって構成される第１の画素ブロックｐｂ１毎に、第１の画素ブロックｐｂ１の中心の画素ｐｘのみから画素信号が出力される。
　なお、第１の画素ブロックｐｂ１が出力する画素信号の色信号成分を第１の画素ブロックｐｂ１のカラーフィルタの種類とみなすと、図５に示すように、第１の画素ブロックｐｂ１のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。したがって、第１の間引き読出しモードで出力させた原画像信号は、画像信号処理部３０において通常読出しモードで出力させた原画像信号と同じ画像処理を施すことが可能である。
　第２の間引き読出しモードでは、図６に示すように、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックｐｂ２毎に、第２の画素ブロックｐｂ２の中心の画素ｐｘのみから画素信号が出力される。
　なお、第２の画素ブロックｐｂ２が出力する画素信号の色信号成分を第２の画素ブロックｐｂ２のカラーフィルタの種類とみなすと、図７に示すように、第２の画素ブロックｐｂ２のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。したがって、第２の間引き読出しモードで出力させた原画像信号は、画像信号処理部３０において通常読出しモードで出力させた原画像信号と同じ画像処理を施すことが可能である。
　第３の間引き読出しモードでは、図８に示すように、７行７列に並ぶ画素ｐｘによって構成される第３の画素ブロックｐｂ３毎に、第３の画素ブロックｐｂ３の中心の画素ｐｘのみから画素信号が出力される。
　なお、第３の画素ブロックｐｂ３が出力する画素信号の色信号成分を第３の画素ブロックｐｂ３のカラーフィルタの種類とみなすと、図９に示すように、第３の画素ブロックｐｂ３のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。したがって、第３の間引き読出しモードで出力させた原画像信号は、画像信号処理部３０において通常読出しモードで出力させた原画像信号と同じ画像処理を施すことが可能である。
　なお、画素ブロックが大きくなるほど、すなわち画素ブロックに含まれる画素の数が多くなると、読出し速度は速くなる一方で解像度は低下する。それゆえ、要求される読出し速度または解像度に応じて第１～第３の間引き読出しモードは選択される。
　撮像素子２０、バッファメモリ１４、画像信号処理部３０、システムコントローラ１５、画像表示部１６、画像記録部１７、操作部１８、及びセンサ駆動部１２は、システムバス１３を介して電気的に接続される（図１参照）。システムバス１３に接続されるこれらの部位は、システムバス１３を介して互いに様々な信号やデータを送受信することが可能である。
　撮像素子２０から出力される原画像信号はバッファメモリ１４に送信され、格納される。バッファメモリ１４はＳＤＲＡＭ等であって、比較的高速なアクセス速度を有し、画像信号処理部３０のワークエリアとして用いられる。また、バッファメモリ１４は、システムコントローラ１５がデジタルカメラ１０の各部位を制御するためのプログラムを実行する際のワークエリアとしても用いられる。
　画像信号処理部３０は、後に詳細に説明するデモザイキング処理を原画像信号に施し、補間画像信号を生成する。さらに、画像信号処理部３０は、補間画像信号に対して所定の画像処理を施す。なお、補間画像信号は必要に応じて、ＲＧＢ画像信号に変換される。
　所定の画像処理の施された補間画像信号およびＲＧＢ画像信号は、画像表示部１６に送信される。画像表示部１６は多原色モニタ（図１において図示せず）及びＲＧＢモニタ（図１において図示せず）を有している。多原色モニタ及びＲＧＢモニタはカラー液晶表示素子（図示せず）やバックライト装置（図示せず）を備え、補間画像信号及びＲＧＢ画像信号に相当する画像が表示される。
　なお、画像表示部１６は、デジタルカメラ１０の背面や側面に設けられる。また、画像表示部１６は、比較的小型の表示素子（図示せず）と拡大光学系（図示せず）とで構成されるＥＶＦ（電子ビューファインダ）であってもよい。さらには両方の形態を有し、使用状況に応じて切替え可能に構成されてもよい。また、画像表示部１６は、有機ＥＬ表示素子等であってもよい。
　画像信号処理部３０から出力される補間画像信号及びＲＧＢ画像信号は、画像記録部１７にも送信され、格納される。なお、画像記録部１７は、内蔵式或いはコネクタ（図示せず）を介して接続可能なフラッシュメモリである。
　デジタルカメラ１０の各部位は、システムコントローラ１５によって制御される。各部位を制御するための制御信号がシステムコントローラ１５からシステムバス１３を介して各部位に入力される。
　なお、画像信号処理部３０及びシステムコントローラ１５は、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成したり、処理ごとに特化した専用のプロセッサによって構成したりすることもできる。
　システムコントローラ１５は、パワーボタン（図示せず）、レリーズボタン（図示せず）、及びダイヤル（図示せず）などの入力機構を有する入力部１８に接続される。使用者によるデジタルカメラ１０の様々な操作入力が入力部１８に検知される。入力部１８に検知される操作入力に応じて、システムコントローラ１５はデジタルカメラ１０の各部位を制御する。
　次に、画像信号処理部３０の構成について図１０を用いて説明する。画像信号処理部３０は、ＯＢ減算処理部３１、マルチバンド（ＭＢ）デモザイク処理部４０（画像処理システム）、ＮＲ処理部３２、ＭＢ－ＲＧＢ変換部３３、色変換処理部３４、及び色ガンマ補正処理部３５によって構成される。
　バッファメモリ１４から出力される原画像信号は、ＯＢ減算処理部３１に送信される。ＯＢ減算処理部３１では、ＯＢ画素に生成されたＯＢ画素信号によって各画素信号を減じることによって各画素信号の黒レベルの調整を行う。
　ＯＢ減算処理部３１から出力される画素信号はＭＢデモザイク処理部４０に送信される。前述のように、原画像信号を構成する画素信号は５バンドの中のいずれか一つの色信号成分のみを有する。すなわち、原画像信号は、図１１に示すように、Ｇ原画像信号成分（（ａ）参照）、Ｃｙ原画像信号成分（（ｂ）参照）、Ｏｒ原画像信号成分（（ｃ）参照）、Ｂ原画像信号成分（（ｄ）参照）、Ｒ原画像信号成分（（ｅ）参照）によって構成される。後述するようにＭＢデモザイク処理部４０におけるデモザイク処理により、全色信号成分が補間される。すなわち、全画素信号は５つの色信号成分を有するように、補間される。
　デモザイク処理の施された原画像信号は、補間画像信号としてＮＲ処理部３２に送信される（図１０参照）。ＮＲ処理部３２においてコアリング処理やメディアンフィルタ処理等のノイズ低減化処理が実行され、補間画像信号からノイズが除去される。ノイズの除去された補間画像信号は、一時的にバッファメモリ１４に格納される。
　デジタルカメラ１０が補間画像信号を記録する記録モードに設定されている場合には、バッファメモリ１４に格納された補間画像信号に、必要に応じて圧縮処理が施され、所定のフォーマットに応じて生成された補間画像ファイルとして画像記録部１７に格納される。
　なお、補間画像ファイル中には、後に画像を再生するときに参照される色再現情報がタグ情報として付加される。なお、色再現情報としては、撮影光学系１１の分光透過率、撮像素子２０の分光感度、撮影時に被写体に照射した光の分光放射輝度、被写体の分光反射率を推定する処理のために参照される被写体固有の統計情報などが含まれる。
　デジタルカメラ１０の動作モードがマルチバンドの画像を再生する画像再生モードに設定されている場合、ＮＲ処理部３２によりノイズの除去された補間画像信号は色変換処理部３４に送信される。
　色変換処理部３４は、多原色モニタ１６ｍｂのモニタプロファイル等に関する情報（モニタプロファイル情報）を予め取得する。また、色変換処理部３４は、デジタルカメラ１０の周囲の照明光の分光放射輝度に関する情報（観察照明分光分布情報）を多原色モニタ１６ｍｂの近傍に設けられた光センサ（図示せず）から取得する。色変換処理部３４は、モニタプロファイル情報及び観察照明分光分布情報を用いて補間画像信号に色変換処理を施す。色変換処理の施された補間画像信号は、多原色モニタ１６ｍｂに送信される。
　上述の色変換処理により、被写体がデジタルカメラ１０の周囲の照明光で照射されているような色合いで、多原色モニタ１６ｍｂに表示される。それゆえ、使用者は再現性を向上させた画像を観察可能である。
　デジタルカメラ１０では、従来のＲＧＢのみを色信号成分として有するＲＧＢ画像信号を格納及び表示可能である。デジタルカメラ１０がＲＧＢ画像信号を記録する記録モードに設定されている場合には、ノイズの除去された補間画像信号がＭＢ－ＲＧＢ変換処理部３３に送信される。
　ＭＢ－ＲＧＢ変換処理部３３では、補間画像信号に対してＲＧＢ変換処理が施される。５バンドの色信号成分によって構成される補間画像信号が、ＲＧＢの３バンドの色信号成分によって構成されるＲＧＢ画像信号に変換される。ＲＧＢ画像信号は、一時的にバッファメモリ１４に格納され、必要に応じて圧縮処理が施され、所定のフォーマットに応じて生成されたＲＧＢ画像ファイルとして画像記録部１７に格納される。
　デジタルカメラ１０がＲＧＢの３バンドの画像を再生する画像再生モードに設定されている場合には、ＲＧＢ画像信号は色・ガンマ補正処理部３５に送信される。色・ガンマ補正処理部３５は、ＲＧＢモニタ１６ｒｇｂのモニタプロファイルを予め取得する。色・ガンマ補正処理部３５では、取得したモニタプロファイルを用いてＲＧＢ画像信号に対して色補正処理及びガンマ補正処理を施す。これらの補正処理が施されたＲＧＢ画像信号はＲＧＢモニタ１６ｒｇｂに送信され、ＲＧＢ画像信号に相当する画像が表示される。
　次に、デモザイク処理について図１２を用いて説明する。図１２は、ＭＢデモザイク処理部４０によって実行されるデモザイク処理を説明するための概念図である。
　前述のように、原画像信号ＯＩＳは各画素信号が５バンドのいずれかの色信号成分のみを有している。原画像信号ＯＩＳは、Ｇ原画像信号成分ｇＯＩＳ、Ｃｙ原画像信号成分ｃｙＯＩＳ、Ｏｒ原画像信号成分ｏｒＯＩＳ、Ｂ原画像信号成分ｂＯＩＳ、及びＲ原画像信号成分ｒＯＩＳに分割される。
　また、原画像信号ＯＩＳの全画素信号を用いて全画素に対して適応的カーネル関数が算出される（図１２における“ａＫ”参照）。適応的カーネル関数と、Ｇ原画像信号成分ｇＯＩＳとを用いて適応的ガウシアン補間法によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、参照画像信号ＲＩＳ（一次参照画像）が生成される（図１２における“ａＧＵ”参照）。
　適応的カーネル関数、参照画像信号ＲＩＳ、及びＧ原画像信号成分ｇＯＩＳを用いて適応的ジョイントバイラテラル補間法（図１２における“ａＪＢＵ”参照）によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、Ｇ補間画像信号成分ｇＩＩＳが生成される。
　Ｇ原画像信号成分ｇＯＩＳの代わりに、Ｃｙ原画像信号成分ｃｙＯＩＳを用いて同様の処理を施すことによりＣｙ補間画像信号成分ｃｙＩＩＳが生成される。同様にして、Ｏｒ補間画像信号成分ｏｒＩＩＳ、Ｂ補間画像信号成分ｂＩＩＳ、及びＲ補間画像信号成分ｒＩＩＳが生成される。全色信号成分を有する画素信号を全画素に対して生成することにより補間画像信号ＩＩＳが生成される。
　次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４０の構成及び機能を、図１３を用いて説明する。ＭＢデモザイク処理部４０は、分配部４１、微分値算出部４２、適応的カーネル算出部４３、参照画像作成部４４、及び補間画像作成部４５によって構成される。
　ＭＢデモザイク処理部４０に受信される原画像信号は、分配部４１に入力される。分配部４１では、微分値算出部４２、参照画像作成部４４、及び補間画像作成部４５に、必要に応じた色信号成分が分配される。
　微分値算出部４２には、原画像信号を構成する全画素信号が送信される。微分値算出部４２では、画素毎に２方向の微分値（微分情報）が算出される。微分値の算出のために、全画素が順番に注目画素に指定される。指定された注目画素の右斜め上及び左斜め下に隣接する画素の画素信号の差と、右斜め下及び左斜め上に隣接する画素の画素信号の差とが微分値として算出される。
　なお、前述のように、いずれの画素を注目画素とする場合でも、右斜め上及び左斜め下の画素では同じ色信号成分の画素信号が生成され、右斜め下及び左斜め上の画素では同じ色信号成分の画素信号が生成される。それゆえ、上述の微分値は、注目画素を中心とする局所的な画像における両斜め方向の勾配を示している。全画素に対して算出された微分値は、適応的カーネル算出部４３に送信される。
　なお、全画素に対して算出された微分値は、適応的カーネル算出部４３だけでなく、ＮＲ処理部３２、ＭＢ－ＲＧＢ変換処理部３３、色変換処理部３４、及び色・ガンマ補正処理部３５にも送信される。微分値は、それぞれの部位における処理に用いられる。
　適応的カーネル算出部４３では、微分値に基づいて、画素毎に適応的カーネル関数が算出される。適応的カーネル関数の算出のために、すべての画素が順番に注目画素に指定される。また、注目画素を中心とする注目画素の周囲の７行７列に配置される画素が周囲画素に指定される。注目画素及び周囲画素の指定を終えると、注目画素に対する共分散行列Ｃｘの逆行列が算出される。
　逆行列は、（１）式に注目画素及び周囲画素の微分値を代入することにより算出される。
Figure JPOXMLDOC01-appb-M000001
　なお、（１）式において、Ｎｘは周囲画素の画素位置集合であり、｜Ｎｘ｜は画素位置集合の画素数である。また、Ｚｕ（ｘｊ）は、周囲画素ｘｊのｕ方向の微分値であり、Ｚｖ（ｘｊ）は周囲画素ｘｊのｖ方向の微分値である。なお、図２に示すように、ｕ方向とは右斜め下から左斜め上に向かう方向であり、ｖ方向とは左斜め下から右斜め上に向かう方向である。
　注目画素の共分散行列が算出されると、次に注目画素に対するカーネル関数の大きさを表すパラメータμｘが算出される。パラメータμｘの算出のために、共分散行列Ｃｘの固有値λ１、λ２が算出される。固有値の積λ１×λ２が閾値Ｓと比較される。固有値の積λ１×λ２が閾値Ｓ以上である場合には、パラメータμｘは１と計算される。一方、固有値の積λ１×λ２が閾値Ｓより小さい場合には、（Ｓ／（λ１×λ２））の四乗根がパラメータμｘとして計算される。
　パラメータμｘの算出後、注目画素に対する適当的カーネル関数が算出される。適応的カーネル関数ｋｘ（ｘｊ－ｘ）は（２）式により算出される。
Figure JPOXMLDOC01-appb-M000002
　（２）式において、ｘｊは周囲画素の座標であり、ｘは注目画素の座標であり、Ｒは４５°の回転行列であり、ｈは所定の設計パラメータであり、例えば１に定められる。
　全画素に対して算出された適応的カーネル関数ｋｘ（ｘｊ－ｘ）は、参照画像作成部４４及び補間画像作成部４５に送信される。参照画像作成部４４では、原画像信号中に最も要素数の多いＧ色信号成分（第１の色信号成分）が分配部４１から送信される。参照画像作成部４４では、適応的ガウシアン補間法により全体の１／２の画素に対してのみ存在するＧ色信号成分の補間が行われ、参照画像信号が生成される。
　適応的ガウシアン補間法を用いたＧ原画像信号成分における欠落した画素信号の補間について説明する。Ｇ原画像信号成分において補間される画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。
　注目画素の画素信号は、周囲画素のＧ色信号成分及び適応的カーネル関数に基づいて（３）式により算出される。
Figure JPOXMLDOC01-appb-M000003
　なお、ωｘは（４）式により算出される。Ｍｘｉはバイナリマスクであり、周囲画素がＧ色信号成分を有するときに１であり、周囲画素がＧ色信号成分を有さないときには０である。Ｓｘｉは周囲画素のＧ色信号成分である。
Figure JPOXMLDOC01-appb-M000004
　注目画素に指定された全画素に対して補間されたＧ色信号成分と、Ｇ原画像信号成分とにより構成される参照画像信号は、補間画像作成部４５に送信される。補間画像作成部４５には、前述のように適応的カーネル関数ｋｘ（ｘｉ－ｘ）、及び参照画像信号が適応的カーネル算出部４３及び参照画像作成部４４から送信される。また、前述のように、補間画像作成部４５には、分配部４１からＧ原画像信号成分、Ｃｙ原画像信号成分、Ｏｒ原画像信号成分、Ｂ原画像信号成分、及びＲ原画像信号成分が順番に送信される。
　補間画像作成部４５では、適応的ジョイントバイラテラレル補間法により、生成されていない色信号成分が全画素に対して補間される。例えば、全体の１／２の画素に対してのみ存在するＧ色信号成分を用いて、他の画素のＧ色信号成分が補間される。
　同様に、それぞれ１／８の画素に対してのみ存在するＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分を用いて、他の画素のＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分が補間される。全色信号成分の補間により、全色信号成分を有する全画素信号によって構成される補間画像信号が生成される。なお、Ｇ色信号成分に関しては参照画像の作成において補間されているが、参照画像を用いた補間が別に行われる。
　適応的ジョイントバイラテラル補間法を用いた各色信号成分の補間について、Ｇ色信号成分を例にして説明する。Ｇ色信号成分の補間が行われるべき画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。
　注目画素の色信号成分は、周囲画素のＧ色信号成分、適応的カーネル関数、及び参照画像信号に基づいて（５）式により算出される。
Figure JPOXMLDOC01-appb-M000005
　なお、（５）式において、Ｉｘｉは参照画像における周囲画素の画素値、Ｉｘは参照画像における注目画素の画素値である。ｒ（Ｉｘｉ－Ｉｘ）は、注目画素と周囲画素との画素値の差分に応じた重み付けである。
　注目画素に対するＧ色信号成分の補間により、Ｇ補間画像信号成分が生成される。以後、同様にＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分もＧ色信号成分と同様に補間が行われ、Ｃｙ補間画像信号成分、Ｏｒ補間画像信号成分、Ｂ補間画像信号成分、及びＲ補間画像信号成分が生成される。このように全色信号成分の補間により補間画像信号が生成される。
　以上のような構成の第１の実施形態のＣＦＡによれば、５バンド以上のカラーフィルタを有しながら、色補間を行う前に全画素に対する共通の２方向の微分値、即ち勾配情報を取得することが可能である。
　一般的に自然画像では、高周波成分においてバンド間の相関が強いことが知られている。したがって、各バンドの画像は同じエッジ構造を有する。そこで、すべてのバンドの勾配情報は等しいと仮定される。それゆえ、何れの色信号成分の微分値であっても、後の画像処理などに用いるのに十分な精度が得られる。本実施形態のように微分値を取得する２色同士の相関が高い場合には、より高精度な情報を取得可能である。
　さらに、全画素で共通の方向の微分値を取得することにより、画素毎に異なる方向の微分値を取得する場合に比べて、処理の簡素化が可能である。また、勾配情報の方向を合わせるための変換による高周波成分の情報欠落を低減化した高精度の勾配情報を取得可能である。
　精度の高い勾配情報を用いれば、上述のように欠落する色信号成分の補間に用いることによって偽色の発生を低減化する補間が可能である。さらに、精度の高い勾配情報を用いることにより、精度の高いノイズ除去処理、マルチバンドからＲＧＢへの変換処理、色変換処理、及び色・ガンマ補正処理を実行することが可能である。
　本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
　例えば、上記の実施形態において、５バンドのカラーフィルタ配置が定められているが、任意の画素を挟む２画素のカラーフィルタが同じとなるようなカラーフィルタの配置であれば、本実施形態と同様の効果が得られる。
　例えば、図１４に示すようにＧ、Ｃｙ、Ｏｒ、Ｂ、Ｒカラーフィルタを配置したＣＦＡ２１００ａであっても、本実施形態と同様の効果が得られる。ＣＦＡ２１００ａでは、何れの画素を注目画素としても微分値の算出に用いる画素に必ず相関の高い色が含まれる。すなわち、Ｏｒカラーフィルタの斜方には必ずＲカラーフィルタが配置されている。微分値を算出する際に相関の高い色が必ず含まれることにより、高精度の微分値を算出可能である。
　また、図１５に示すように、Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒカラーフィルタを配置したＣＦＡ２１０１ａであっても、すべての画素において右斜め上と左斜め下の画素のカラーフィルタのバンドは同じであり、左斜め上と右斜め下の画素ｐｘのカラーフィルタのバンドも同じである。したがって、本実施形態のように、原画像信号から直接微分値を算出することが可能である。
　また、ＣＦＡ２１０１ａにおいても、本実施形態のように間引き読出しも可能である。例えば、図１６に示すように、３行３列に並ぶ画素ｐｘによって構成される第１の画素ブロックｐｂ１毎に画素信号を読出すことも可能である。本実施形態と同様に、第１の画素ブロックｐｂ１の中心の画素ｐｘのカラーフィルタの種類を第１の画素ブロックｐｂ１のカラーフィルタの種類とみなして、第１の画素ブロックｐｂ１のカラーフィルタの配列は、ＣＦＡ２１ａの配列と同じとなる。
　さらには、例えば、図１７に示すように、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックｐｂ２毎に画素信号を読出すことも可能である。本実施形態と同様に、第２の画素ブロックｐｂ２の中心の画素ｐｘのカラーフィルタの種類を第２の画素ブロックｐｂ２のカラーフィルタの種類とみなして、第２の画素ブロックｐｂ２のカラーフィルタの配列は、ＣＦＡ２１ａの配列と同じである。
　また、本実施形態においては、注目画素の微分値の算出に用いる２画素は注目画素に隣接する構成であるが、注目画素から等間隔であれば隣接しなくてもよい。例えば、注目画素から２画素分右で２画素分上の画素と、２画素分左で２画素分下の画素との差分を算出することにより微分値を算出してもよい。
　注目画素に隣接する画素から、全画素に対して共通の方向の微分値を取得可能なカラーフィルタの種類は５～８種類に限定される。一方で、注目画素から等間隔の画素から微分値を取得するカラーフィルタの種類は５～８種類に限定されず、９種類以上のカラーフィルタを用いて構成することも可能である。
　したがって、注目画素に隣接する２画素のカラーフィルタの種類が異なっていても、注目画素から等間隔だけ離れた２画素のカラーフィルタの種類が同じとなるようなカラーフィルタの配列であれば、本実施形態と同様の効果を得ることは可能である。
　例えば、図１８及び図１９に示すカラーフィルタアレイ２１０２ａ、２１０３ａを用いても、本実施形態と同様の効果を得ることが可能である。すなわち、ＣＦＡ２１０２ａ、２１０３ａにおいて、いずれの画素ｐｘを注目画素としても、注目画素から２画素分右で２画素分上の画素と、２画素分左で２画素分下の画素とのカラーフィルタの種類は同じになる。また、注目画素から２画素分左で２画素分上の画素と、２画素分右で２画素分下の画素とのカラーフィルタの種類は同じになる。
　また、本実施形態においては、ｕ方向及びｖ方向ともに微分値算出に用いる画素は注目画素から１画素分の間隔を有する構成であるが、ｕ方向とｖ方向とで間隔が異なっていてもよい。間隔に応じた長さで除すことにより微分値を算出可能である。
　また、本実施形態においては、注目画素のｕ方向及びｖ方向に対して微分値が算出される構成であるが、算出される微分値の方向はｕ方向及びｖ方向に限定されない。異なる２方向の微分値が算出可能なカラーフィルタ配列であって、その配列に応じて画素信号を読出し微分値を算出すれば本実施形態と同様の効果を得ることが可能である。
　例えば、本実施形態におけるＣＦＡ２１ａでは、何れの画素を注目画素としても、注目画素から行方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素から列方向に沿った両側に２画素分はなれた２画素のカラーフィルタの種類も同じである。したがって、ＣＦＡ２１ａから出力される原画像信号において、注目画素から行方向に２画素分離れた２画素の画素信号に基づいて微分値を算出し、列方向に２画素分離れた２画素の画素信号に基づいて微分値を算出する構成であれば、本実施形態と同様の効果が得られる。
　また、本実施形態においては、微分値を取得する方向は２方向であるが、微分値を取得する方向は２方向に限定されない。何れの画素においても少なくとも２つの共通の方向の微分値を算出可能なカラーフィルタ配列であって、その配列に応じて画素信号を読出し、微分値を算出すれば、本実施形態と同様の効果が得られる。
　例えば、本実施形態におけるＣＦＡ２１ａでは、何れの画素を注目画素としても、注目画素から行方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素から列方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素からｕ方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素からｖ方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類も同じである。したがって、４方向それぞれ２画素分離れた２画素の画素信号に基づいて微分値を算出する構成であれば、本実施形態と同様の効果が得られる。微分値を取得する方向を増加させることにより、より精度の高い勾配情報を取得可能である。
　また、画素毎に、微分値を算出する画素の間隔が異なっていてもよい。例えば、ＣＦＡ２１ａでは、Ｇカラーフィルタでは注目画素から行方向および列方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じである。さらに、Ｇカラーフィルタ以外の４種類のカラーフィルタでは注目画素から行方向および列方向に沿った両側に１画素分離れた２画素のカラーフィルタの種類は同じである。したがって、ＣＦＡ２１ａから出力される原画像信号において、画素の種類に応じて異なる画素間隔である微分値を算出する構成であれば、本実施形態と同様の効果が得られる。
　また、図２０に示すようなハニカム構造の撮像素子に対しても、第１の実施形態と同様の効果を得ることが可能である。図２０に示すＣＦＡ２１０４ａにおいては、何れの画素を注目画素としても、行方向から６０°方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、列方向から３０°方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類も同じである。
　また、図２１に示すように、行列状に配列された画素を４５°傾けた構成の撮像素子に対しても、第１の実施形態と同様の効果を得ることが可能である。図２１に示すＣＦＡ２１０５ａにおいては、何れの画素を注目画素としても、注目画素から行方向及び列方向に沿った両側に離れた２画素のカラーフィルタの種類は同じである。
　また、本実施形態では５バンドのカラーフィルタがＣＦＡ２１ａに設けられる構成であるが、６バンド以上のカラーフィルタが設けられてもよい。
　例えば、図２２に示すようにＣ１～Ｃ６カラーフィルタの６バンドのカラーフィルタが配置されたＣＦＡ２１０６ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に微分値を算出可能である。また、ＣＦＡ２１０６ａによれば、本実施形態と同様に、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。
　また、図２３、図２４に示すようにＣ１～Ｃ６カラーフィルタの６バンドのカラーフィルタが配置されたＣＦＡ２１０７ａ、２１０８ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。
　また、例えば、図２５に示す分光感度を有するＣ１～Ｃ７カラーフィルタを用いた、図２６に示すＣＦＡ２１０９ａであっても、本実施形態と同様の効果が得られる。また、ＣＦＡ２１０９ａによれば、本実施形態と同様に、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックの中心に配置された単一の画素の画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。
　また、図２７～図２９に示す分光感度を有するＣ１～Ｃ７カラーフィルタをそれぞれ用いた、図３０～３２に示すＣＦＡ２１１０ａ、２１１１ａ、２１１２ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素を用いて微分値を算出可能である。
　また、例えば、図３３に示す分高感度を有するＣ１～Ｃ８カラーフィルタを用いた、図３４に示すＣＦＡ２１１３ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に微分値を算出可能である。また、ＣＦＡ２１１３ａによれば、本実施形態と同様に、３行３列、５行５列、及び７行７列に並ぶ画素ｐｘによってそれぞれ構成される第１、第２、第３の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。
　また、図３５に示す分光感度を有するＣ１～Ｃ８カラーフィルタを用いた、図３６に示すＣＦＡ２１１４ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。
　また、例えば、図３７に示す分光感度を有するＣ１～Ｃ９カラーフィルタを用いた、図３８に示すＣＦＡ２１１５ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。また、ＣＦＡ２１１５ａによれば、本実施形態と同様に、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。
　また、例えば、図３９、４０に示す分光感度を有するＣ１～Ｃ１０カラーフィルタをそれぞれ用いた、図４１、４２に示すＣＦＡ２１１６ａ、２１１７ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。なお、ＣＦＡ２１１６ａ、２１１７ａは、８行８列に並ぶ画素によりカラーフィルタ繰返し単位が構成される。また、ＣＦＡ２１１６ａ、２１１７ａによれば、本実施形態と同様に、３行３列に並ぶ画素ｐｘによって構成される第１の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。
　また、本実施形態では、通常読出しモードにおいて、全画素信号を用いて微分値を算出する構成であるが、微分値を算出する画素は全画素でなくてもよい。
　例えば、図３０に示すＣＦＡ２１１０ａにおいては、Ｃ１、Ｃ２、Ｃ４、Ｃ６、Ｃ７カラーフィルタについてのみ微分値を算出してもよい。ＣＦＡ２１１０ａにおいては、いずれの画素を注目画素としても、ｕ方向、ｖ方向、行方向、および列方向にそれぞれ注目画素から両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、微分値を算出可能である。しかし、上述の種類のカラーフィルタ（Ｃ１、Ｃ２、Ｃ４、Ｃ６、Ｃ７）を有する画素を注目画素とする場合には、ｕ方向およびｖ方向にそれぞれ注目画素から両側に１画素分離れた２画素のカラーフィルタの種類が同じであり、微分値を算出可能である。
　また、ＣＦＡ２１１０ａにおけるＣ４カラーフィルタのようにサンプル密度が最大である画素の画素信号のみを用いて、微分値を算出してもよい。特に、本実施形態のように、ベイヤー配列のＧカラーフィルタと同様に、全体の５０％の割合で１種類のカラーフィルタが設けられる構成であれば、全画素から算出した微分値に比べて精度が低下するものの、当該１種類のカラーフィルタの画素信号のみから微分値を算出し、後の信号処理に利用可能である。
　微分値の最適な算出方法は、ＣＦＡによって異なっている。図２に示すＣＦＡ２１ａの場合には、いずれの画素を注目画素としても、注目画素に隣接する画素からｕ方向およびｖ方向の微分値を算出可能である。さらに、ＣＦＡ２１ａの場合には、いずれの画素を注目画素としても、注目画素から行方向および列方向に沿って２画素分離れた２画素から微分値を算出可能である。このように任意のＣＦＡにおいても、複数の方法により微分値を算出可能な場合がある。このようなＣＦＡに対しては、算出された微分値を用いた後の信号処理および処理速度などの観点から最適な微分値算出方法を選択可能である。ただし、注目画素から２画素分離れた画素から算出された微分値よりも、注目画素に隣接する画素から算出された微分値の方が高精度である。さらに、微分値を算出しない画素が存在するよりも全画素位置において微分値が算出される構成の方が好ましい。
　また、本実施形態では、フレームレートの高速化のために、間引き読出し可能な構成であるが、間引きによる偽像の発生を低下させるために、画素加算して読出してもよい。
　例えば、本実施形態における第１の間引き読出しモードにおいては、第１の画素ブロックｐｂ１（図３参照）の中心から右上と左下に配置される２画素ｐｘは同じ種類のカラーフィルタを有する。そこで、２画素ｐｘの画素信号を加算させて、第１の画素ブロックｐｂ１の画素信号として出力される。出力される画素信号の色信号成分を第１の画素ブロックｐｂ１のカラーフィルタのバンドとすると、第１の画素ブロックｐｂ１のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。
　また、本実施形態における第２の間引き読出しモードにおいては、第２の画素ブロックｐｂ２（図５参照）の中心と４隅とに配置される５画素は同じ種類のカラーフィルタを有する。そこで、５画素の画素信号を加算させて、第２の画素ブロックｐｂ２の画素信号として出力される。出力される画素信号の色信号成分を第２の画素ブロックｐｂ２のカラーフィルタのバンドとすると、第２の画素ブロックｐｂ２のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。
　また、本実施形態では、間引き読出しモードでは、３行３列、５行５列、または７行７列に並ぶ画素を画素ブロックとして、間引き読出しをする構成であるが、４行４列の画素によって構成されるカラーフィルタ繰り返し単位に対しては、（２ｋ＋３）行（２ｋ＋３）列の画素（ｋは０以上の整数）によって構成される画素ブロック中の所定の位置の単一の画素から画素信号を読出してもよい。このような構成の画素ブロックであれば、ＣＦＡ２１ａにおけるカラーフィルタの配列と画素ブロックのカラーフィルタの配列は同じになる。
　また、本実施形態では、間引き読出しをするときには、画素ブロックの中心の画素から画素信号を出力させる構成であるが、画素ブロック内の何れの位置の画素から画素信号を出力させてもよい。
　また、本実施形態では、算出した微分値を適応的カーネル算出部４３、ＮＲ処理部３２、ＭＢ－ＲＧＢ変換処理部３３、色変換処理部３４、及び色・ガンマ補正処理部３５に送信する構成であるが少なくともいずれか一つに送信する構成であってもよいし、微分値に基づいたいかなる処理に用いられてもよい。例えば、エッジ強調処理、局所のコントラスト算出処理、特徴量抽出処理等に用いることも可能である。
　１０　デジタルカメラ
　２０　撮像素子
　２１ａ、２１００ａ、２１０１ａ、２１０２ａ、２１０３ａ、２１０４ａ、２１０５ａ、２１０６ａ、２１０７ａ、２１０８ａ、２１０９ａ、２１１０ａ、２１１１ａ、２１１２ａ、２１１３ａ、２１１４ａ、２１１５ａ、２１１６ａ、２１１７ａ　カラーフィルタアレイ（ＣＦＡ）
　２１ｕ　カラーフィルタ繰返し単位
　３０　画像信号処理部
　４０　マルチバンドデモザイク（ＭＢ）処理部
　ｐｂ１～ｐｂ３　第１～第３の画素ブロック
　ｐｘ　画素

Claims (15)

  1. 　分光感度特性が異なる５種類以上のカラーフィルタを有し、前記５種類以上のカラーフィルタの中で少なくとも２種類のカラーフィルタを注目カラーフィルタとして、前記注目カラーフィルタから第１の方向に沿った両側に第１の間隔で配置される２つの前記カラーフィルタは同じ種類であり、且つ前記第１の方向と異なる第２の方向に沿った両側に第２の間隔で配置される２つの前記カラーフィルタの種類は同じ種類となるように前記５種類以上のカラーフィルタを２次元状に配置したカラーフィルタアレイと、
    　前記カラーフィルタアレイにおけるいずれかの種類の前記カラーフィルタによって覆われ、受光量に応じた画素信号を生成する複数の画素を有する撮像素子と、
    　前記注目カラーフィルタとして前記カラーフィルタアレイ上に配置された種類のカラーフィルタに覆われた画素を１画素ずつ順次注目画素に指定し、前記注目画素から前記第１の方向に沿った両側に前記第１の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第１の微分情報を算出し、前記注目画素から前記第２の方向に沿った両側に前記第２の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第２の微分情報を算出する微分情報取得部とを備える
    　ことを特徴とする撮像装置。
  2. 　請求項１に記載の撮像装置であって、前記第１の間隔および前記第２の間隔は等しいことを特徴とする撮像装置。
  3. 　請求項２に記載の撮像装置であって、前記カラーフィルタは５～８種類であり、前記第１の間隔および前記第２の間隔は１画素分の間隔であることを特徴とする撮像装置。
  4. 　請求項１から請求項３のいずれかに記載の撮像装置であって、
    　前記カラーフィルタはマトリックス状に配置され、
    　前記第１の方向及び前記第２の方向と行方向との間の角度は４５°となり、前記第１の方向及び前記第２の方向と列方向との間の角度は４５°となるように構成される
    　ことを特徴とする撮像装置。
  5. 　請求項１から請求項３のいずれかに記載の撮像装置であって、前記カラーフィルタはマトリックス状に配置され、前記第１の方向は行方向と一致し、前記第２の方向は列方向と一致することを特徴とする撮像装置。
  6. 　請求項１から請求項５のいずれかに記載の撮像装置であって、
    　前記注目カラーフィルタとして配置された前記少なくとも２種類のカラーフィルタの中で２種類のカラーフィルタが隣接しており、
    　互いに隣接する該２種類のカラーフィルタの一方に覆われた前記画素のみにおいて前記第１の間隔および前記第２の間隔が１画素分の間隔である
    　ことを特徴とする撮像装置。
  7. 　請求項１から請求項３のいずれかに記載の撮像装置であって、
    　前記カラーフィルタは、マトリックス状に配置され、
    　前記５種類以上のカラーフィルタの中の第１のカラーフィルタは、全行及び全列においてそれぞれ、行方向及び列方向に沿って１画素おきに配置される
    　ことを特徴とする撮像装置。
  8. 　請求項１から請求項３のいずれかに記載の撮像装置であって、前記カラーフィルタはマトリックス状に配置され、前記５種類以上のカラーフィルタの中の第１のカラーフィルタは市松状に配置されることを特徴とする撮像装置。
  9. 　請求項１から請求項８のいずれかに記載の撮像装置であって、前記５種類以上のカラーフィルタ中の特定の種類以外のカラーフィルタが同じ割合となるように配置されることを特徴とする撮像装置。
  10. 　請求項１から請求項９のいずれかに記載の撮像装置であって、前記注目カラーフィルタから前記第１の方向に沿って両側に前記第１の間隔で配置される同じ種類の２つのカラーフィルタの分光感度特性のピーク波長は、前記注目カラーフィルタから前記第２の方向に沿って両側に前記第２の間隔で配置される同じ種類の２つのカラーフィルタの分光感度特性のピーク波長に隣接することを特徴とする撮像装置。
  11. 　請求項１から請求項９のいずれかに記載の撮像装置であって、前記注目カラーフィルタから前記第１の方向に沿って両側に前記第１の間隔で配置される同じ種類の２つのカラーフィルタの分光感度特性のピーク波長は、注目カラーフィルタの分光感度特性のピーク波長に隣接することを特徴とする撮像装置。
  12. 　請求項１から請求項１１のいずれかに記載の撮像装置であって、前記微分情報取得部は、前記第１の間隔及び前記第２の間隔が１画素分の間隔である画素が生成する画素信号のみを用いて前記第１の微分情報及び前記第２の微分情報を算出することを特徴とする撮像装置。
  13. 　請求項１から請求項１２のいずれかに記載の撮像装置であって、
    　前記注目カラーフィルタから、前記第１の方向および前記第２の方向のなす角を当分割する第３の方向に沿った両側に第３の間隔で配置される２つの前記カラーフィルタは同じ種類のカラーフィルタであり、
    　前記注目カラーフィルタから、前記第３の方向に垂直な第４の方向に沿った両側に第４の間隔で配置される２つの前記カラーフィルタは同じ種類のカラーフィルタであり、
    　前記微分情報取得部は、前記注目画素から前記第３の方向に沿った両側に前記第３の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第３の微分情報を算出し、前記注目画素から前記第４の方向に沿った両側に前記第４の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第４の微分情報を算出する
    　ことを特徴とする撮像装置。
  14. 　請求項１から請求項１３のいずれかに記載の撮像装置であって、前記画像処理部は、少なくとも、複数の前記画素信号によって構成される画像信号にエッジ強調処理を施すエッジ強調部、前記画像信号における全体または局所のコントラストを算出するコントラスト処理部、前記画像信号に相当する画像の特徴量を抽出する特徴量抽出部、及び前記画素を覆う前記カラーフィルタと異なるすべての種類のカラーフィルタの色信号成分に相当する前記画素信号を補間する補間処理部の何れか一つを含むことを特徴とする撮像装置。
  15. 　請求項１から請求項１３のいずれかに記載の撮像装置であって、
    　すべての前記画素に前記画素信号を生成させ出力させる通常駆動と、前記通常駆動とは異なる間引き駆動を実行する撮像素子駆動部を備え、
    　前記撮像素子における複数の前記画素が配置される受光面を分割することにより、包含する前記画素の数が等しい複数の画素ブロックが形成され、
    　前記撮像素子駆動部は、前記間引き駆動において、前記画素ブロック内の所定の位置の単一の前記画素である間引き画素を覆う前記カラーフィルタを前記画素ブロックのカラーフィルタとみなした全画素ブロックのカラーフィルタの配列が前記カラーフィルタアレイにおける前記カラーフィルタと同じ配列になるように、前記間引き画素を前記撮像素子に出力させ、
    　前記微分情報取得部は、前記撮像素子が前記間引き駆動を実行する場合に、全前記画素ブロックを注目画素ブロックに指定し、前記注目画素ブロックから前記第１の方向に沿った両側に前記第１の間隔と前記第１の方向に沿った前記画素ブロックの画素数とを乗じた間隔で配置される２つの前記画素ブロックの前記間引き画素が生成する前記画素信号に基づいて第３の微分情報を算出し、前記注目画素ブロックから前記第２の方向に沿った両側に前記第２の間隔と前記第２の方向に沿った前記画素ブロックの画素数とを乗じた間隔で配置される２つの前記画素ブロックの前記間引き画素が生成する前記画素信号に基づいて第４の微分情報を算出する
    　ことを特徴とする撮像装置。
PCT/JP2012/003068 2011-05-11 2012-05-10 撮像装置 WO2012153532A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013513940A JP5943393B2 (ja) 2011-05-11 2012-05-10 撮像装置
US14/064,612 US9250121B2 (en) 2011-05-11 2013-10-28 Imaging apparatus with plural color filters and image processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011106740 2011-05-11
JP2011-106740 2011-05-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/064,612 Continuation US9250121B2 (en) 2011-05-11 2013-10-28 Imaging apparatus with plural color filters and image processing

Publications (1)

Publication Number Publication Date
WO2012153532A1 true WO2012153532A1 (ja) 2012-11-15

Family

ID=47139019

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2012/003069 WO2012153533A1 (ja) 2011-05-11 2012-05-10 カラーフィルタアレイ及び撮像素子
PCT/JP2012/003068 WO2012153532A1 (ja) 2011-05-11 2012-05-10 撮像装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003069 WO2012153533A1 (ja) 2011-05-11 2012-05-10 カラーフィルタアレイ及び撮像素子

Country Status (3)

Country Link
US (2) US9250121B2 (ja)
JP (2) JP5943393B2 (ja)
WO (2) WO2012153533A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085543A (ja) * 2014-10-23 2016-05-19 京セラドキュメントソリューションズ株式会社 画像処理装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6200664B2 (ja) * 2013-03-12 2017-09-20 株式会社Pfu 画像データ処理装置、画像データ処理方法及び画像データ処理プログラム
WO2015170515A1 (ja) * 2014-05-09 2015-11-12 オリンパス株式会社 固体撮像素子、内視鏡および内視鏡システム
JP7163079B2 (ja) * 2018-06-22 2022-10-31 株式会社エビデント 撮像システム、画像構築方法
JP7281895B2 (ja) * 2018-12-06 2023-05-26 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器
CN116325778A (zh) * 2020-09-25 2023-06-23 华为技术有限公司 使用像素重排获得的压缩图像传感器模块
FR3122930B1 (fr) * 2021-05-11 2023-05-26 Safran Electronics & Defense Filtre multi-spectral

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284010A (ja) * 2008-05-19 2009-12-03 Canon Inc 画像処理装置、撮像装置及び画像処理方法
JP2009290607A (ja) * 2008-05-29 2009-12-10 Hoya Corp 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087806A (ja) 2001-09-12 2003-03-20 Fuji Photo Film Co Ltd マルチバンドカメラ用フィルターとその形成方法並びにこの方法のプログラム及びこれを記録した記録媒体
JP4305848B2 (ja) * 2004-03-29 2009-07-29 シャープ株式会社 色フィルタアレイを用いた撮像装置
JP2007103401A (ja) * 2005-09-30 2007-04-19 Matsushita Electric Ind Co Ltd 撮像装置及び画像処理装置
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
JP2009100271A (ja) * 2007-10-17 2009-05-07 Olympus Corp 撮像素子および表示装置
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
EP2263373B1 (en) * 2008-03-28 2014-08-13 The Trustees of Columbia University in the City of New York Generalized assorted pixel camera systems and methods
US20110149126A1 (en) * 2009-12-22 2011-06-23 Olympus Corporation Multiband image pickup method and device
JP2011145448A (ja) * 2010-01-14 2011-07-28 Seiko Epson Corp カラーフィルターの製造方法、カラーフィルター、画像表示装置および電子機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284010A (ja) * 2008-05-19 2009-12-03 Canon Inc 画像処理装置、撮像装置及び画像処理方法
JP2009290607A (ja) * 2008-05-29 2009-12-10 Hoya Corp 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085543A (ja) * 2014-10-23 2016-05-19 京セラドキュメントソリューションズ株式会社 画像処理装置

Also Published As

Publication number Publication date
JP5943393B2 (ja) 2016-07-05
US9250121B2 (en) 2016-02-02
US20140118586A1 (en) 2014-05-01
JP6074813B2 (ja) 2017-02-08
WO2012153533A1 (ja) 2012-11-15
JPWO2012153532A1 (ja) 2014-07-31
US9188480B2 (en) 2015-11-17
US20140054448A1 (en) 2014-02-27
JPWO2012153533A1 (ja) 2014-07-31

Similar Documents

Publication Publication Date Title
JP5943393B2 (ja) 撮像装置
JP6096243B2 (ja) 画像データの処理方法およびシステム
JP5872407B2 (ja) カラー撮像装置及び画像処理方法
JP5687676B2 (ja) 撮像装置及び画像生成方法
JP5786149B2 (ja) 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法
US9025871B2 (en) Image processing apparatus and method of providing high sensitive color images
US9338364B2 (en) Imaging device and image generation method
JP2011010108A (ja) 撮像制御装置、撮像装置及び撮像制御方法
CN103444183B (zh) 彩色摄像元件及摄像装置
JP5709131B2 (ja) 画像処理システム
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
JP5546166B2 (ja) 撮像装置、信号処理方法、及びプログラム
WO2012124181A1 (ja) 撮像装置及び撮像プログラム
EP2442556A1 (en) Apparatus and method for capturing images with high dynamic range
US8237829B2 (en) Image processing device, image processing method, and imaging apparatus
JPWO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
JP5738904B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5948167B2 (ja) 撮像装置
JP2015035782A (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
Guttosch Investigation of Color Aliasing of High Spatial Frequencies and Edges for Bayer-Pattern Sensors and Foveon X3® Direct Image Sensors
JP5912586B2 (ja) 画像信号処理方法及び画像信号処理回路、並びに撮像装置
JP2010130321A (ja) 撮像装置
JP2008035090A (ja) 信号処理方法およびカメラ
JP2012227869A (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP2014175731A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12781626

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013513940

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12781626

Country of ref document: EP

Kind code of ref document: A1