WO2012153489A1 - 画像処理システム - Google Patents

画像処理システム Download PDF

Info

Publication number
WO2012153489A1
WO2012153489A1 PCT/JP2012/002909 JP2012002909W WO2012153489A1 WO 2012153489 A1 WO2012153489 A1 WO 2012153489A1 JP 2012002909 W JP2012002909 W JP 2012002909W WO 2012153489 A1 WO2012153489 A1 WO 2012153489A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
signal component
pixel
interpolated
Prior art date
Application number
PCT/JP2012/002909
Other languages
English (en)
French (fr)
Inventor
正行 田中
正敏 奥富
雄介 紋野
Original Assignee
国立大学法人東京工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京工業大学 filed Critical 国立大学法人東京工業大学
Priority to US14/117,018 priority Critical patent/US20140072214A1/en
Publication of WO2012153489A1 publication Critical patent/WO2012153489A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Definitions

  • the present invention relates to an image processing system that performs color interpolation of an original image signal generated by imaging such as an imaging device in which a multiband color filter is arranged.
  • a general digital camera uses a single-plate image sensor and a color filter array (CFA). Therefore, color reproducibility can be improved by making the color filter array (CFA) multiband.
  • CFA color filter array
  • an image processing system for performing demosaicing that suppresses the generation of false colors based on an original image signal generated by an image sensor having a multiband CFA.
  • an image processing system includes: From the original image signal composed of a plurality of pixel signals having any of the first to m-th (m is an integer of 3 or more) color signal components, all pixel signals constituting the original image signal are first to m-th.
  • the differential value is used when creating the reference image or the interpolated image, so that the interpolation based on the local part of the actually captured image is performed. . Therefore, it is possible to perform demosaicing while suppressing generation of false colors while achieving multiband CFA.
  • FIG. 1 is a block diagram showing a schematic configuration of a digital camera having an image processing system according to a first embodiment of the present invention.
  • FIG. 6 is a layout diagram illustrating a layout of color filters in the CFA. It is a block diagram which shows the structure of an image signal processing part roughly. It is a conceptual diagram for demonstrating the structure of G, Cy, Or, B, and R original image signal component. It is a conceptual diagram for demonstrating the demosaic process performed by the MB demosaic process part of 1st Embodiment. It is a block diagram which shows roughly the structure of the MB demosaic process part of 1st Embodiment.
  • FIG. 1 is a block diagram showing a schematic configuration of a digital camera having an image processing system according to the first embodiment of the present invention.
  • the digital camera 10 includes a photographing optical system 11, an image sensor 20, a sensor driving unit 12, a system bus 13, an image signal processing unit 30, a buffer memory 14, a system controller 15, an image display unit 16, an image recording unit 17, and an operation unit. 18 or the like.
  • the photographing optical system 11 is vertically arranged so that the optical axis passes through the center of the light receiving unit 21 of the image sensor 20 and is coupled to the image sensor 20.
  • the photographing optical system 11 includes a plurality of lenses (not shown), and forms an optical image of a subject on the light receiving unit 21.
  • the image sensor 20 is, for example, a CMOS area sensor, and includes a light receiving unit 21, a vertical scanning circuit 22, a horizontal readout circuit 23, and an A / D converter 24. As described above, an optical image of the subject is formed on the light receiving unit 21 by the photographing optical system 11.
  • a plurality of pixels are arranged in a matrix.
  • an OB (optical black) region 21b and an effective photographing region 21e are defined.
  • the light receiving surface of the OB pixel arranged in the OB region 21b is shielded from light, and outputs an OB pixel signal (dark current) serving as a black reference.
  • the effective photographing area 21e is covered with CFA (not shown in FIG. 1), and each pixel is covered with one of the 5-band color filters.
  • the CFA 21a includes five bands of G (green) color filter, Cy (cyan) color filter, Or (orange) color filter, B (blue) color filter, and R (red) color filter.
  • a filter is provided. Therefore, in each pixel, a pixel signal corresponding to the amount of light received in the transmission band of the corresponding color filter is generated.
  • 4 ⁇ 4 color filter repeating units 21u are repeatedly arranged in the row direction and the column direction. As shown in FIG. 2, in the color filter repeating unit 21u, there are 8 G color filters, 2 Cy color filters, 2 Or color filters, 2 B color filters, and 2 R colors. A filter is placed.
  • any one of the Cy color filter, the Or color filter, the B color filter, and the R color filter and the G color filter are arranged in a checkered pattern. That is, the G color filter is repeatedly arranged every other pixel in all rows and columns. For example, with the upper left in FIG. 2 as a reference, the G color filter is arranged in the second and fourth columns in the first and third rows. In the second and fourth rows, G color filters are arranged in the first and third columns.
  • rows and columns in which the G color filter, the B color filter, and the Cy color filter are arranged are repeatedly arranged every other pixel in the column direction and the row direction.
  • a B color filter is arranged in the first row, first column and the third row, third column
  • a Cy color filter is arranged in the first row, third column, and the third row, first column.
  • rows and columns in which the G color filter, R color filter, and Or color filter are arranged are repeatedly arranged every other pixel in the row direction and the column direction.
  • the R color filter is arranged at the second row and the fourth column and the fourth row and the second column
  • the Or color filter is arranged at the second row and the second column and the fourth row and the fourth column.
  • the ratio of the G color filter is the largest, accounting for 50% of the total.
  • the bands of the color filters corresponding to the pixels adjacent in the oblique direction are equal.
  • any G color filter all color filters adjacent to the diagonal are G color filters. Accordingly, the G color filters are arranged on the upper right and lower left sides of any G color filter, and are color filters of the same band. Further, G color filters are arranged on the lower right and upper left sides, which are color filters of the same band.
  • any Cy color filter is sandwiched between the R color filter and the Or color filter along the oblique direction. More specifically, an Or color filter is disposed on the upper right and lower left sides of an arbitrary Cy color filter, and the color filters have the same band. Further, R color filters are arranged on the lower right and upper left sides, and are color filters of the same band.
  • the color filters adjacent in the oblique direction are the color filters of the same band.
  • a pixel signal corresponding to the amount of light received in the transmitted band is generated.
  • the vertical scanning circuit 22 selects a row of pixels from which pixel signals are output, and the horizontal readout circuit 23 selects a pixel column from which pixel signals are output (see FIG. 1).
  • the vertical scanning circuit 22 and the horizontal readout circuit 23 are driven by the sensor driving unit 12 and controlled so that pixel signals are output pixel by pixel.
  • the output pixel signal is converted into a digital signal by the A / D converter 24.
  • the pixel signals of all the pixels arranged in the light receiving unit 21 are determined as one frame of the original image signal (raw image data).
  • the image sensor 20, the buffer memory 14, the image signal processing unit 30, the system controller 15, the image display unit 16, the image recording unit 17, the operation unit 18, and the sensor driving unit 12 are electrically connected via the system bus 13.
  • the These parts connected to the system bus 13 can transmit and receive various signals and data to and from each other via the system bus 13.
  • the original image signal output from the image sensor 20 is transmitted to the buffer memory 14 and stored.
  • the buffer memory 14 is an SDRAM or the like, has a relatively high access speed, and is used as a work area for the image signal processing unit 30.
  • the buffer memory 14 is also used as a work area when the system controller 15 executes a program for controlling each part of the digital camera 10.
  • the image signal processing unit 30 performs a demosaicing process, which will be described in detail later, on the original image signal to generate an interpolated image signal. Further, the image signal processing unit 30 performs predetermined image processing on the interpolated image signal. The interpolated image signal is converted into an RGB image signal as necessary.
  • the interpolated image signal and the RGB image signal subjected to the predetermined image processing are transmitted to the image display unit 16 and the image recording unit 17.
  • the image display unit 16 includes a multi-primary color monitor (not shown in FIG. 1) and an RGB monitor (not shown in FIG. 1). An image corresponding to the received interpolated image signal and RGB image signal is displayed on the multi-primary color monitor and the RGB monitor. Further, the interpolated image signal and the RGB image signal transmitted to the image recording unit 17 are stored there.
  • Each part of the digital camera 10 is controlled by the system controller 15.
  • a control signal for controlling each part is input from the system controller 15 to each part via the system bus 13.
  • the image signal processing unit 30 and the system controller 15 may be configured as software executed on an arbitrary suitable processor such as a CPU (Central Processing Unit), or may be configured by a dedicated processor specialized for each process. You can also
  • the system controller 15 is connected to an input unit 18 having input mechanisms such as a power button (not shown), a release button (not shown), and a dial (not shown). Various input operations of the digital camera 10 by the user are detected by the input unit 18. The system controller 15 controls each part of the digital camera 10 according to the operation input detected by the input unit 18.
  • the image signal processing unit 30 includes an OB subtraction processing unit 31, a multiband (MB) demosaic processing unit 40 (image processing system), an NR processing unit 32, an MB-RGB conversion unit 33, a color conversion processing unit 34, and a color gamma correction.
  • the processing unit 35 is configured.
  • the original image signal output from the buffer memory 14 is transmitted to the OB subtraction processing unit 31.
  • the OB subtraction processing unit 31 adjusts the black level of each pixel signal by subtracting each pixel signal from the OB pixel signal generated for the OB pixel.
  • the pixel signal output from the OB subtraction processing unit 31 is transmitted to the MB demosaic processing unit 40.
  • the pixel signal constituting the original image signal has only one color signal component in five bands. That is, as shown in FIG. 4, the original image signal includes a G original image signal component (see (a)), a Cy original image signal component (see (b)), an Or original image signal component (see (c)), B original image signal components (see (d)) and R original image signal components (see (e)).
  • all color signal components are interpolated by demosaic processing in the MB demosaic processing unit 40. That is, all pixel signals are complemented so as to have five color signal components.
  • the original image signal subjected to demosaic processing is transmitted to the NR processing unit 32 as an interpolated image signal.
  • noise is removed from the interpolated image signal.
  • the interpolated image signal from which noise has been removed is transmitted to and stored in the image recording unit 17. Further, the interpolated image signal from which noise has been removed is transmitted to the MB-RGB conversion processing unit 33 and the color conversion processing unit 34.
  • the MB-RGB conversion processing unit 33 performs RGB conversion processing on the interpolated image signal.
  • the interpolated image signal composed of the 5-band color signal components is converted into an RGB image signal composed of the 3-band RGB color signal components.
  • the RGB image signal is transmitted to the image recording unit 17 and stored.
  • the RGB image signal is transmitted to the color / gamma correction processing unit 35.
  • the color conversion processing unit 34 performs color conversion processing on the interpolated image signal.
  • the interpolated image signal subjected to the color conversion process is transmitted to the multi-primary color monitor 16mb, and an image corresponding to the interpolated image signal is displayed.
  • the color / gamma correction processing unit 35 performs color correction processing and gamma correction processing on the RGB image signal.
  • the RGB image signal subjected to these correction processes is transmitted to the RGB monitor 16rgb, and an image corresponding to the RGB image signal is displayed.
  • FIG. 5 is a conceptual diagram for explaining the demosaic process executed by the MB demosaic processor 40.
  • each pixel signal has only one color signal component of 5 bands.
  • the original image signal OIS is divided into a G original image signal component gOIS, a Cy original image signal component cyOIS, an Or original image signal component orOIS, a B original image signal component bOIS, and an R original image signal component rOIS.
  • an adaptive kernel function is calculated for all pixels using all pixel signals of the original image signal OIS (see aK).
  • a missing pixel signal in the G original image signal component gOIS is interpolated by an adaptive Gaussian interpolation method using the adaptive kernel function and the G original image signal component gOIS, and a reference image signal RIS (primary reference image) is generated. (See aGU).
  • the missing pixel signal in the G original image signal component gOIS is interpolated by adaptive joint bilateral interpolation, and the G interpolated image signal component gIIS is Generated.
  • the Cy interpolation image signal component cyIIS is generated by performing the same processing using the Cy original image signal component cyOIS instead of the G original image signal component gOIS. Similarly, an Or interpolation image signal component orIIS, a B interpolation image signal component bIIS, and an R interpolation image signal component rIIS are generated.
  • An interpolated image signal IIS is generated by generating pixel signals having all color signal components for all pixels.
  • the MB demosaic processing unit 40 includes a distribution unit 41 (reception unit), a differential value calculation unit 42, an adaptive kernel calculation unit 43, a reference image creation unit 44, and an interpolation image creation unit 45.
  • the original image signal received by the MB demosaic processing unit 40 is input to the distribution unit 41.
  • color signal components are distributed to the differential value calculation unit 42, the reference image creation unit 44, and the interpolation image creation unit 45 as necessary.
  • differential values in two directions are calculated for each pixel.
  • first and second differential values are calculated for each pixel.
  • all the pixels are sequentially designated as a target pixel (not shown).
  • a difference between pixel signals of pixels adjacent to the upper right and lower left of the designated target pixel and a difference between pixel signals of pixels adjacent to the lower right and upper left are calculated as differential values.
  • the above-described differential value indicates a gradient in both oblique directions in a local image centered on the target pixel.
  • the differential values calculated for all the pixels are transmitted to the adaptive kernel calculation unit 43.
  • the adaptive kernel calculation unit 43 calculates an adaptive kernel function for each pixel based on the differential value and the pixel signal. For the calculation of the adaptive kernel function, all pixels are sequentially designated as the target pixel. Also, pixels arranged in 7 rows and 7 columns around the pixel of interest centered on the pixel of interest are designated as the surrounding pixels. When the designation of the pixel of interest and surrounding pixels is finished, an inverse matrix of the covariance matrix Cx for the pixel of interest is calculated.
  • the inverse matrix is calculated by substituting the differential values of the pixel of interest and surrounding pixels into equation (1).
  • Nx is a pixel position set of surrounding pixels
  • is the number of pixels in the pixel position set.
  • Zu (xj) is a differential value in the u direction of the surrounding pixel xj
  • Zv (xj) is a differential value in the v direction of the surrounding pixel xj.
  • the u direction is a direction from the lower right to the upper left
  • the v direction is a direction from the lower left to the upper right.
  • a parameter ⁇ x representing the size of the kernel function for the pixel of interest is then calculated.
  • eigenvalues ⁇ 1 and ⁇ 2 of the covariance matrix Cx are calculated.
  • the product of the eigenvalues ⁇ 1 ⁇ ⁇ 2 is compared with the threshold value S. If the eigenvalue product ⁇ 1 ⁇ ⁇ 2 is greater than or equal to the threshold S, the parameter ⁇ x is calculated as 1.
  • the fourth root of (S / ( ⁇ 1 ⁇ ⁇ 2)) is calculated as the parameter ⁇ x.
  • an adaptive kernel function for the target pixel is calculated.
  • the adaptive kernel function kx (xj ⁇ x) is calculated by equation (2).
  • xj is the coordinates of the surrounding pixels
  • x is the coordinates of the pixel of interest
  • R is a 45 ° rotation matrix
  • h is a predetermined design parameter, and is set to 1, for example.
  • the adaptive kernel function kx (xj ⁇ x) calculated for all pixels is transmitted to the reference image creation unit 44 and the interpolation image creation unit 45.
  • the G color signal component (first color signal component) having the largest number of elements in the original image signal is transmitted from the distribution unit 41.
  • the reference image creation unit 44 performs interpolation of the G color signal component that exists only for half of the entire pixels by an adaptive Gaussian interpolation method, and generates a reference image signal.
  • a pixel to be interpolated in the G original image signal component that is, a pixel having no G color signal component in the original image signal is sequentially designated as the target pixel.
  • a pixel in 7 rows and 7 columns around the pixel of interest centered on the pixel of interest is designated as the surrounding pixel.
  • the pixel signal of the target pixel is calculated by the equation (3) based on the G signal component of the surrounding pixels and the adaptive kernel function.
  • ⁇ x is calculated by equation (4).
  • Mxi is a binary mask, which is 1 when surrounding pixels have a G color signal component, and 0 when surrounding pixels do not have a G color signal component.
  • Sxi is a G color signal component of surrounding pixels.
  • the reference image signal composed of the G color signal component and the G original image signal component interpolated for all the pixels designated as the target pixel is transmitted to the interpolated image creating unit 45.
  • the adaptive kernel function kx (xi-x) and the reference image signal are transmitted from the adaptive kernel calculation unit 43 and the reference image generation unit 44 to the interpolation image generation unit 45.
  • the interpolation image creation unit 45 receives the G original image signal component, the Cy original image signal component, the Or original image signal component, the B original image signal component, and the R original image signal component from the distribution unit 41. Sent in order.
  • the interpolated image creation unit 45 interpolates ungenerated color signal components for all pixels by an adaptive joint bilateral interpolation method. For example, the G color signal component of other pixels is interpolated using the G color signal component that exists only for half of all the pixels.
  • the Cy color signal component, the Or color signal component, the B color signal component, and the R color signal component that exist only for each 1/8 pixel
  • the Cy color signal component and Or color of other pixels are used.
  • the signal component, the B color signal component, and the R color signal component are interpolated.
  • an interpolated image signal composed of all pixel signals having all color signal components is generated. Note that although the G color signal component is interpolated in the creation of the reference image, interpolation using the reference image is performed separately.
  • a pixel to be interpolated with the G color signal component that is, a pixel having no G color signal component in the original image signal is sequentially designated as the target pixel.
  • a pixel in 7 rows and 7 columns around the pixel of interest centered on the pixel of interest is designated as the surrounding pixel.
  • the color signal component of the target pixel is calculated by the equation (5) based on the G color signal component of the surrounding pixels, the adaptive kernel function, and the reference image signal.
  • Ixi is the pixel value of surrounding pixels in the reference image
  • Ix is the pixel value of the pixel of interest in the reference image
  • r (Ixi ⁇ Ix) is a weight according to the difference in pixel value between the target pixel and the surrounding pixels.
  • G interpolation image signal component is generated by interpolation of the G color signal component with respect to the target pixel. Thereafter, similarly, the Cy color signal component, the Or color signal component, the B color signal component, and the R color signal component are also interpolated in the same manner as the G color signal component, and the Cy interpolation image signal component, the Or interpolation image signal component, B An interpolated image signal component and an R interpolated image signal component are generated. In this way, an interpolated image signal is generated by interpolation of all color signal components.
  • a differential value is calculated for each pixel, a reference image is created based on the differential value, that is, gradient information, and based on the reference image and gradient information.
  • An interpolation image is created.
  • an adaptive kernel function is used using gradient information in all pixels also in creating a reference image. Therefore, it is possible to reduce the occurrence of false images in the reference image. As described above, since the color interpolation is performed using the reference image in which the generation of the false image is suppressed and the adaptive kernel function, it is possible to significantly reduce the generation of the false image in each color signal component. .
  • the image processing system of the first embodiment it is possible to generate an interpolated image signal in which generation of false colors is suppressed from an original image signal composed of multiband color signal components.
  • the parameter ⁇ x is calculated based on the product of the eigenvalues of the covariance function, and is used for calculating the adaptive kernel function.
  • the parameter ⁇ x is a parameter representing the size of the kernel function, and is calculated based on the product of the eigenvalues as described above. Therefore, it is possible to appropriately set the size of the kernel function for each pixel of interest. Is possible.
  • the second embodiment differs from the first embodiment in the configuration of the demosaic processing and the MB demosaic processing unit.
  • the second embodiment will be described below with a focus on differences from the first embodiment.
  • symbol is attached
  • each part of the digital camera other than the MB demosaic processing unit is the same as those in the first embodiment.
  • FIG. 7 is a conceptual diagram for explaining demosaic processing executed by the MB demosaic processing unit according to the second embodiment.
  • the adaptive kernel function used in the adaptive joint bilateral interpolation method is different from that in the first embodiment.
  • an adaptive kernel function calculated using all pixel signals of the original image signal OIS is used.
  • an adaptive kernel function (sign code) calculated using the reference image signal RIS is used. A).
  • the MB demosaic processing unit 400 in the second embodiment includes a distribution unit 410, a differential value calculation unit 420, an adaptive kernel calculation unit 430, a reference image creation unit 440, and an interpolation image creation unit 450.
  • the differential value calculation unit 420, the adaptive kernel calculation unit 430, and the reference image creation unit 440 are different from those in the first embodiment.
  • the differential value calculation unit 420, the adaptive kernel calculation unit 430, and the reference image creation unit 440 function in the same manner as in the first embodiment, thereby creating a reference image signal.
  • the reference image signal is transmitted to the differential value calculation unit 420 and the adaptive kernel calculation unit 430.
  • the differential value calculation unit 420 calculates a differential value (third differential value) in two directions for each pixel using the G color signal component constituting the reference image signal.
  • the adaptive kernel calculation unit 430 also calculates an adaptive kernel function using a differential value calculated based on the reference image signal.
  • the adaptive kernel function calculated based on the reference image signal is transmitted to the interpolated image creation unit 450 instead of the adaptive kernel function calculated based on the original image signal.
  • the interpolated image creation unit 450 interpolates each color signal component using an adaptive kernel function calculated based on the reference image signal.
  • a differential value is calculated for each pixel, a reference image is created based on the differential value, that is, gradient information, and based on the reference image and gradient information.
  • Interpolated image signals can be created. Therefore, it is possible to generate an interpolated image signal in which generation of false colors is suppressed from an original image signal composed of multiband color signal components.
  • the third embodiment differs from the first embodiment in the configuration of the demosaic processing and the MB demosaic processing unit.
  • the third embodiment will be described below with a focus on differences from the first embodiment.
  • symbol is attached
  • each part of the digital camera other than the MB demosaic processing unit is the same as those in the first embodiment.
  • FIG. 9 is a conceptual diagram for explaining demosaic processing executed by the MB demosaic processing unit according to the third embodiment.
  • the third embodiment is different from the first embodiment in that a guided filter (see Guided Filter) is used instead of an adaptive joint bilateral interpolation method for interpolation of each color signal component. Note that an adaptive kernel function is not necessary for calculating the guided filter.
  • an adaptive kernel function is calculated (see aK), and a reference image signal RIS is generated using the G original image signal component gOIS.
  • a guided filter is applied based on the reference image signal RIS.
  • the G color signal component is interpolated by an interpolation method using a guided filter, and a G interpolation image signal component gIIS is generated.
  • the Cy interpolation image signal component cyIIS is created by performing the same processing using the Cy color signal component instead of the G color signal component.
  • an Or interpolation image signal component orIIS, a B interpolation image signal component bIIS, and an R interpolation image signal component rIIS are generated.
  • the interpolated image IIS is created by generating pixel signals having all color signal components for all pixels.
  • the MB mosaic processing unit 401 includes a distribution unit 411, a differential value calculation unit 421, an adaptive kernel calculation unit 431, a reference image creation unit 441, and an interpolation image creation unit 451.
  • the distribution unit 411, the differential value calculation unit 421, the adaptive kernel calculation unit 431, and the reference image creation unit 441 are the same as those in the first embodiment. Therefore, as in the first embodiment, the reference image signal is generated by the adaptive Gaussian interpolation method.
  • the interpolated image creation unit 451 performs interpolation of the G color signal component by applying a guided filter. Similarly, the Cy color signal component, the Or color signal component, the B color signal component, and the R color signal component are interpolated.
  • the guided filter will be described.
  • all the pixels are sequentially designated as the target pixel. Pixels of 5 rows and 5 columns around the pixel of interest centered on the pixel of interest are designated as the surrounding pixels.
  • the coefficients (axp, bxp) are calculated by the least square method so that the cost function E (axp, bxp) of the equation (6) is minimized for the target pixel xp.
  • ⁇ k is the number of signal component elements existing around the pixel of interest.
  • Mi is a binary mask and is 1 when the surrounding pixels have a signal component, and 0 when the surrounding pixels do not have a signal component.
  • axp and bxp are parameters to be calculated, and appropriate initial values are used at the start of the calculation.
  • Ii is the pixel value of the reference image corresponding to the surrounding pixels.
  • pi is the pixel value of the signal component.
  • ⁇ is a predetermined smoothing parameter.
  • the coefficients (axp, bxp) for all pixels are calculated.
  • a pixel that does not have the G color signal component in the original image signal is sequentially designated as the target pixel.
  • a pixel in 5 rows and 5 columns around the pixel of interest centered on the pixel of interest is designated as the surrounding pixel.
  • the color signal component qi of the target pixel xi is calculated by the equation (7).
  • G interpolation image signal component is generated by interpolation of the G color signal component with respect to the target pixel. Thereafter, similarly, the Cy color signal component, the Or color signal component, the B color signal component, and the R color signal component are also interpolated in the same manner as the G color signal component, and the Cy complementary image signal component, the Or interpolated image signal component, B An interpolated image signal component and an R interpolated image signal component are generated. In this way, an interpolated image signal is generated by interpolation of all color signal components.
  • a differential value is calculated for each pixel, a reference image is created based on the differential value, that is, gradient information, and an interpolated image signal is generated based on the reference image. Can be created. Therefore, it is possible to generate an interpolated image signal in which generation of false colors is suppressed from an original image signal composed of multiband color signal components.
  • the fourth embodiment differs from the first embodiment in the configuration of the demosaic processing and the MB demosaic processing unit.
  • the fourth embodiment will be described below with a focus on differences from the first embodiment.
  • symbol is attached
  • each part of the digital camera other than the MB demosaic processing unit is the same as those in the first embodiment.
  • FIG. 11 is a conceptual diagram for explaining demosaic processing executed by the MB demosaic processing unit according to the fourth embodiment.
  • the MB demosaic processing unit 402 includes a distribution unit 412, a differential value calculation unit 422, an adaptive kernel calculation unit 432, a reference image creation unit 442, and an interpolation image creation unit 452.
  • the distribution unit 412 the differential value calculation unit 422, the adaptive kernel calculation unit 432, and the reference image creation unit 452 are the same as those in the first embodiment. Therefore, as in the first embodiment, the reference image signal is generated by the adaptive Gaussian interpolation method.
  • the complementary image creation unit 452 performs interpolation of the G color signal component, Cy color signal component, Or color signal component, B color signal component, and R color signal component by joint bilateral interpolation. Is called.
  • joint bilateral interpolation instead of the adaptive kernel function in equation (4), the weighting that decreases according to the distance from the pixel of interest to the surrounding pixels is k (xi ⁇ x), and the color signal component of the pixel of interest is Calculated.
  • a differential value is calculated for each pixel, a reference image is created based on the differential value, that is, gradient information, and an interpolated image signal is generated based on the reference image. Therefore, it is possible to generate an interpolated image signal in which generation of false colors is suppressed from an original image signal composed of multiband color signal components.
  • the configuration is such that the color signal component is interpolated by the joint bilateral interpolation method without using the adaptive kernel function, the effect of suppressing the occurrence of false colors is reduced as compared with the first embodiment.
  • the adaptive kernel function is used to create the reference image itself, the occurrence of a false image of the reference image is reduced as described above. Therefore, it is possible to improve the effect of suppressing the occurrence of false colors as compared with the case where an interpolation image is generated by a conventionally known linear interpolation.
  • the fifth embodiment is different from the first embodiment in the configuration of the demosaic processing and the MB demosaic processing unit.
  • the fifth embodiment will be described below with a focus on differences from the first embodiment.
  • symbol is attached
  • each part of the digital camera other than the MB demosaic processing unit is the same as those in the first embodiment.
  • FIG. 13 is a conceptual diagram for explaining the demosaic processing performed by the MB demosaic processing unit according to the fifth embodiment.
  • a reference image is created by complementing a G signal component by a normal Gaussian interpolation method without using an adaptive kernel function (see GU).
  • the MB demosaic processing unit 403 includes a distribution unit 413, a differential value calculation unit 423, an adaptive kernel calculation unit 433, a reference image creation unit 443, and an interpolation image creation unit 453.
  • the configurations of the distribution unit 413, the differential value calculation unit 423, and the interpolated image creation unit 453 are the same as those in the first embodiment.
  • the adaptive kernel calculation unit 433 calculates an adaptive kernel function for all pixels, as in the first embodiment. However, unlike the first embodiment, the adaptive kernel function is not transmitted to the reference image creation unit 443 but is transmitted only to the interpolation image creation unit 453.
  • the reference image creation unit 443 interpolates the G color signal component by the Gaussian interpolation method with respect to the G original image signal component to generate a reference image signal.
  • the generated reference image signal is transmitted to the interpolated image creation unit 453.
  • the function of the interpolation image creation unit 453 is the same as that of the first embodiment, and interpolation of each color signal component is performed based on each color signal component of the adaptive kernel function, the reference image signal, and the original image signal. I do.
  • interpolating each color signal component pixel signals having all color signal components are generated for all pixels, so that an interpolated image signal is generated.
  • a differential value is calculated for each pixel, a reference image is created, and an interpolation image can be created based on the reference image and the differential value, that is, gradient information It is. Therefore, it is possible to generate an interpolated image signal in which generation of false colors is suppressed from an original image signal composed of multiband color signal components.
  • the reference image is generated by a normal Gaussian interpolation method without using an adaptive kernel function, the effect of reducing the occurrence of false colors is lower than that in the first embodiment.
  • an interpolation image is created using an adaptive kernel function, it is possible to reduce the occurrence of false colors compared to the case where an interpolation image is created by a conventionally known linear interpolation.
  • the sixth embodiment is different from the first embodiment in the configuration of the demosaic processing and the MB demosaic processing unit.
  • the sixth embodiment will be described below with a focus on differences from the first embodiment.
  • symbol is attached
  • each part of the digital camera other than the MB demosaic processing unit is the same as those in the first embodiment.
  • FIG. 15 is a conceptual diagram for explaining the demosaic processing performed by the MB demosaic processing unit according to the sixth embodiment.
  • a reference image is created by interpolating G signal components by a normal Gaussian interpolation method without using an adaptive kernel function (see GU). Further, the adaptive kernel function used in the adaptive joint bilateral interpolation method is different from that of the first embodiment. In the sixth embodiment, as in the second embodiment, an adaptive kernel function calculated using a reference image is used.
  • the MB demosaic processing unit 404 in the sixth embodiment includes a distribution unit 414, a differential value calculation unit 424, an adaptive kernel calculation unit 434, a reference image creation unit 444, and an interpolation image creation unit 454.
  • some of the functions of the distribution unit 414, the differential value calculation unit 424, the adaptive kernel calculation unit 434, the reference image creation unit 444, and the interpolation image creation unit 454 are different from the first embodiment.
  • the color signal component is not transmitted from the distribution unit 414 to the differential value calculation unit 424, and the color signal component is transmitted to the reference image creation unit 444 and the interpolation image creation unit 454.
  • the reference image creation unit 444 interpolates the G color signal component by the normal Gaussian interpolation method with respect to the G original image signal component without using the adaptive kernel function, and converts the reference image signal into the reference image signal. Generate.
  • the generated reference image signal is transmitted to the differential value calculation unit 424 and the interpolated image creation unit 454, as in the second embodiment.
  • the differential value calculation unit 424 calculates a differential value in two directions for each pixel using the G color signal component constituting the reference image signal.
  • the calculated differential value is transmitted to the adaptive kernel calculation unit 434.
  • the adaptive kernel calculation unit 434 calculates an adaptive kernel function using the differential value calculated based on the reference image signal.
  • the calculated adaptive kernel function is transmitted to the interpolated image creation unit 454.
  • the interpolated image creation unit 454 interpolates each color signal component using a reference image signal generated by a normal Gaussian interpolation method and an adaptive kernel function based on the reference image signal.
  • a reference image is created, a differential value based on the reference image is calculated, and an interpolated image signal is obtained based on the reference image and the differential value, that is, gradient information. Can be created. Therefore, it is possible to generate an interpolated image signal in which generation of false colors is suppressed from an original image signal composed of multiband color signal components.
  • the reference image is created by the Gaussian interpolation method without using the adaptive kernel function, the effect of reducing the occurrence of false colors is lower than that in the first embodiment. To do.
  • an interpolation image is created using an adaptive kernel function, it is possible to reduce the occurrence of false colors compared to the case where an interpolation image is created by a conventionally known linear interpolation.
  • all the color signal components themselves are interpolated in the interpolated image creation units 45, 450, 451, 452, 453, and 454.
  • the color signal component may be generated by performing interpolation using the color difference.
  • the G interpolation image signal component gIIS, the Cy interpolation image signal component cyIIS, and the Or interpolation image signal component orIIS are generated in the same manner as in the first embodiment.
  • the Cy color signal component in the same pixel as the pixel in which the B original image signal component bOIS exists is extracted.
  • the subtractor 46 subtracts the extracted Cy color signal component from the B original image signal component bOIS to generate a first color difference original image signal component d1OIS.
  • a second color difference original image signal component d2OIS is generated from the Or interpolation image signal component orIIS and the R original image signal component rOIS.
  • the first chrominance signal component that has not been generated is interpolated for all the pixels by adaptive joint bilateral interpolation. Is done.
  • a first color difference interpolation image signal component d1IIS is generated by interpolation of the first color difference signal component.
  • the second color difference interpolation image signal component d2IIS is generated by adaptive joint bilateral interpolation using the adaptive kernel function, the reference image signal RIS, and the second color difference original image signal component d2OIS.
  • the adder 47 adds the Cy interpolation image signal component cyIIS to the first color difference interpolation image signal component d1IIS, thereby generating the B interpolation image signal component bIIS.
  • the R interpolation image signal component rIIS is generated by adding the Or interpolation image signal component orIIS to the second color difference interpolation image signal component d2IIS.
  • the interpolation using the color difference is performed in the modification of the first embodiment, but the interpolation using the color difference is similarly performed in the second to sixth embodiments. Is possible.
  • the color difference between the Cy color signal component and the B color signal component and the color difference between the Or color signal component and the R color signal component are calculated and interpolated.
  • the calculation of the color difference is not limited to these combinations.
  • the color difference signal component based on the G interpolation image signal component and the Cy original image signal component may be interpolated.
  • the reference image signal is generated using the G original image signal component, but the generated interpolated image is generated after generating any color signal component of the interpolated image signal.
  • the signal may be used as a reference image signal for interpolation of other color signal components.
  • all color signal components themselves are interpolated using the reference image signal generated based on the G original image signal component.
  • the generated G interpolation image The signal component may be used as a reference image signal (secondary reference image) for interpolation of the Cy original image signal component, OR original image signal component, B original image signal component, and R original image signal component.
  • the interpolated image signal component generally has higher reproducibility of the color signal component than the reference image signal generated based on the G original image signal component. Therefore, the reproducibility of the interpolated image can be improved by using the interpolated image signal component as the reference image signal.
  • the CFA 21a has the largest G color filter ratio, but the other band color filter ratios may be the largest.
  • the weighting r (Ixi ⁇ Ix) corresponding to the difference between the pixel values of the target pixel and the surrounding pixels is set.
  • other weighting according to the similarity between the target pixel and the surrounding pixels may be used.
  • the joint bilateral interpolation method is configured so that the weighting of surrounding pixels increases when the optical information of the target pixel and the surrounding pixels is similar in the reference image, that is, when the difference in pixel values is close. . Therefore, instead of such weighting, as the similarity is larger as described above, it is possible to obtain the same effect as that of the above-described embodiment by weighting larger.
  • a geometric average of pixel value differences between a pixel of 3 rows and 3 columns centered on the pixel of interest and a pixel of 3 rows and 3 columns centered on the surrounding pixels is calculated as the difference between the pixel of interest and the surrounding pixels.
  • weighting may be performed according to a geometric average.
  • the ratio of the most G color filters is 50%, but is not limited to 50%. Since the adaptive Gaussian interpolation method is applied to the generation of the reference image signal, it is possible to generate a reference image signal with higher color component accuracy than the normal Gaussian interpolation method.
  • the color filter bands corresponding to two pixels obliquely adjacent to each pixel of the CFA 21a have the same configuration. However, such an arrangement is not necessary.
  • the present invention is not limited to the color filter arrangement as described above.
  • the CFA 21a is provided with a 5-band color filter.
  • the single differential value calculation unit 420 calculates the differential value based on the original image signal and the differential value based on the reference image signal. It may be calculated separately.
  • the differential value along the diagonal direction of the target pixel is calculated based on the reference image signal.
  • the differential value along the row direction and the column direction is calculated. May be. Since there is no missing pixel signal in the reference image signal, differential values along the row direction and the column direction can be calculated.
  • the differential value based on the reference image signal is calculated using a separate differential value calculation unit, the row direction and the column are used in the calculation of the differential value based on the reference image signal.
  • the structure which calculates the differential value along a direction may be sufficient.
  • the same value is used for both the adaptive Gaussian interpolation method and the adaptive joint bilateral upsampling as the predetermined design parameter h used for calculating the adaptive kernel function.
  • the structure from which a value different between both may be used may be sufficient.
  • the reference image signal and the interpolated image signal component corresponding to each color are generated by interpolating the missing pixel signal in the original image signal component corresponding to each color. Further, the pixel detected without missing in the original image signal component may be interpolated as the target pixel.
  • the image processing system is applied to the digital camera 10, but is applied to any device that processes a multiband image signal in which some color signal components are missing. I can do it.
  • the present invention can be applied to a video camera and an electronic endoscope, and can also be applied to an image processing apparatus that processes an image signal received via a recording medium or a connection cable.
  • Image signal processing unit 40 400, 401, 402, 403, 404 Multiband demosaic (MB) processing unit 41, 410, 411, 412, 413, 414 Distribution unit 42, 420, 421, 422, 423, 424 Differential value calculation unit 43, 430, 431, 432, 433, 434 Adaptive kernel calculation unit 44, 440, 441, 442, 443, 444 Reference image creation unit 45, 450, 451, 452, 453, 454 Interpolation Image creation unit 46 Subtractor 47 Adder IIS Interpolated image signal bIIS B Interpolated image signal component cyIIS Cy Interpolated image signal component d1OIS, d2OIS First and second color difference original image signal component gIIS G Interpolated image signal component orIIS Or Interpolated image signal Component rIIS R Interpolated image signal component R IS reference image signal OIS original image signal bOIS B original image signal component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　画像処理システム４０は受信部４１、微分値算出部４２、参照画像作成部４４、及び補間画像作成部４５を有する。受信部４１は第１～第ｍ（ｍは３以上の整数）の色信号成分のいずれかが不足している複数の画素信号によって構成される原画像信号を受信する。微分値算出部４２は画素信号それぞれに対応する画素を挟む２画素を用いて画素信号の微分値を算出する。参照画像作成部４４は原画像信号の中で画像信号内において要素数が最大である第１の色信号成分を用いて一次参照画像を作成する。補間画像作成部４５は一次参照画像を用いて全色信号成分を補間して補間画像を作成する。一次参照画像及び補間画像の少なくとも一方は、微分値を用いて作成される。これにより、マルチバンドカラーフィルタを用いながら偽色の発生を抑える。

Description

画像処理システム 関連出願の相互参照
　本出願は、２０１１年５月１１日に出願された日本国特許出願２０１１－１０６７１７号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本発明は、マルチバンドのカラーフィルタが配置された撮像素子などの撮像により生成された原画像信号の色補間を行う画像処理システムに関する。
　近年、被写体の忠実な色再現を目的として、マルチスペクトル画像撮影が注目されている。従来のマルチスペクトル画像撮影では、複数のカメラを用いた撮影、または複数回の撮影を行うために専用の撮影システムが必要とされていた。そのような専用の撮影システムを用いることなく、一般のデジタルカメラを用いたマルチスペクトル画像撮影が望まれていた。そこで、マルチスペクトル画像撮影を実行可能なイメージセンサが提案されている（特許文献１参照）。
特開２０１０－２１２９６９号公報
　一般のデジタルカメラでは、単板撮像素子とカラーフィルタアレイ（ＣＦＡ）が用いられている。そこで、カラーフィルタアレイ（ＣＦＡ）をマルチバンド化することにより色再現性を高めることが出来る。しかし、バンド数の増加に伴い、単一のバンドのサンプル密度が低くなるため、デモザイキング時に偽色が発生するなどの問題があった。
　従って、上記のような問題点に鑑みてなされた本発明では、マルチバンドのＣＦＡを有する撮像素子が生成する原画像信号に基づいて、偽色の発生を抑えるデモザイキングを実行する画像処理システムの提供を目的とする。
　上述した諸課題を解決すべく、本発明による画像処理システムは、
　第１～第ｍ（ｍは３以上の整数）の色信号成分のいずれかを有する複数の画素信号によって構成される原画像信号から、原画像信号を構成する全画素信号が第１～第ｍの色信号成分を有するように色信号成分の補間を行う画像処理システムであって、
　原画像信号を受信する受信部と、
　画素信号それぞれに対応する画素を挟む同色の２画素を用いて画素信号の微分値を算出する微分値算出部と、
　原画像信号の中の前記第１の色信号成分を用いて一次参照画像を作成する参照画像作成部と、
　一次参照画像を用いて、全色信号成分を補間して補間画像を作成する補間画像作成部とを備え、
　一次参照画像及び前記補間画像の少なくとも一方は、微分値を用いて作成される
　ことを特徴とするものである。
　上記のように構成された本発明に係る画像処理システムによれば、参照画像または補間画像の作成時に微分値を用いるので、実際に撮像された画像の局所的な部位に基づいた補間が行われる。それゆえ、ＣＦＡのマルチバンド化を図りながら、偽色の発生を抑えたデモザイクが可能である。
本発明の第１の実施形態に係る画像処理システムを有するデジタルカメラの概略構成を示すブロック図である。 ＣＦＡにおけるカラーフィルタの配置を示す配置図である。 画像信号処理部の構成を概略的に示すブロック図である。 Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒ原画像信号成分の構造を説明するための概念図である。 第１の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。 第１の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。 第２の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。 第２の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。 第３の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。 第３の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。 第４の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。 第４の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。 第５の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。 第５の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。 第６の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。 第６の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。 色差を介して色信号成分を補間するデモザイク処理を説明するための概念図である。
　以下、本発明を適用した画像処理システムの実施形態について、図面を参照して説明する。図１は、本発明の第１の実施形態に係る画像処理システムを有するデジタルカメラの概略構成を示すブロック図である。
　デジタルカメラ１０は、撮影光学系１１、撮像素子２０、センサ駆動部１２、システムバス１３、画像信号処理部３０、バッファメモリ１４、システムコントローラ１５、画像表示部１６、画像記録部１７、及び操作部１８などによって構成される。
　撮影光学系１１は、光軸が撮像素子２０の受光部２１の中心を通るように垂直に配置され、撮像素子２０に結合される。撮影光学系１１は複数のレンズ（図示せず）によって構成され、被写体の光学像を受光部２１に結像させる。
　撮像素子２０は、例えばＣＭＯＳエリアセンサであり、受光部２１、垂直走査回路２２、水平読出回路２３、及びＡ／Ｄコンバータ２４によって構成される。前述のように、撮影光学系１１により被写体の光学像が受光部２１に形成される。
　受光部２１には、マトリックス状に複数の画素（図示せず）が配置される。また、受光部２１上において、ＯＢ（オプティカルブラック）領域２１ｂと有効撮影領域２１ｅとが定められる。ＯＢ領域２１ｂに配置されるＯＢ画素は受光面が遮光されており、黒色の基準となるＯＢ画素信号（暗電流）を出力する。また、有効撮影領域２１ｅはＣＦＡ（図１において図示せず）によって覆われており、各画素は５バンドのカラーフィルタのいずれかによって覆われる。
　図２に示すように、ＣＦＡ２１ａにはＧ（グリーン）カラーフィルタ、Ｃｙ（シアン）カラーフィルタ、Ｏｒ（オレンジ）カラーフィルタ、Ｂ（ブルー）カラーフィルタ、及びＲ（レッド）カラーフィルタの５バンドのカラーフィルタが設けられる。したがって、各画素では、対応するカラーフィルタの透過バンドの光の受光量に応じた画素信号が生成される。
　ＣＦＡ２１ａでは、４行４列のカラーフィルタ繰返し単位２１ｕが行方向及び列方向に繰返し配置される。図２に示すように、カラーフィルタ繰返し単位２１ｕ内には、８個のＧカラーフィルタ、２個のＣｙカラーフィルタ、２個のＯｒカラーフィルタ、２個のＢカラーフィルタ、及び２個のＲカラーフィルタが配置される。
　ＣＦＡ２１ａでは、Ｃｙカラーフィルタ、Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタのいずれかと、Ｇカラーフィルタとが市松模様状に配置される。すなわち、Ｇカラーフィルタは全行全列において、１画素おきに繰返し配置される。例えば、図２における左上を基準として、１、３行目には２、４列目にＧカラーフィルタが配置される。また、２、４行目には、１、３列目にＧカラーフィルタが配置される。
　また、Ｇカラーフィルタ、Ｂカラーフィルタ、及びＣｙカラーフィルタが並ぶ行及び列が、列方向及び行方向に１画素おきに繰返し配置される。例えば、図２において、１行１列目及び３行３列目にＢカラーフィルタが配置され、１行３列目及び３行１列目にＣｙカラーフィルタが配置される。
　また、Ｇカラーフィルタ、Ｒカラーフィルタ、及びＯｒカラーフィルタが並ぶ行及び列が、行方向及び列方向に１画素おきに繰返し配置される。例えば、図２において、２行４列目及び４行２列目にＲカラーフィルタが配置され、２行２列目及び４行４列目にＯｒカラーフィルタが配置される。
　上述のようなカラーフィルタ繰返し単位２１ｕでは、Ｇカラーフィルタの割合が最大であり全体の５０％を占めている。また、任意の位置の画素において、斜め方向に隣接する画素に対応するカラーフィルタのバンドは等しい。
　例えば、いずれのＧカラーフィルタにおいても、斜方に隣接するカラーフィルタはすべてＧカラーフィルタである。したがって、任意のＧカラーフィルタの右斜め上及び左斜め下にはＧカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＧカラーフィタが配置され、互いに同じバンドのカラーフィルタである。
　また、いずれのＣｙカラーフィルタにおいても、斜方に沿ってＲカラーフィルタまたはＯｒカラーフィルタによって挟まれる。詳細に説明すると、任意のＣｙカラーフィルタの右斜め上及び左斜め下にはＯｒカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＲカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。
　Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタにおいても、同様であって、斜め方向に隣接するカラーフィルタ同士は同じバンドのカラーフィルタとなる。
　上述のようなＣＦＡ２１ａが設けられた撮像素子において、透過したバンドの光の受光量に応じた画素信号が生成される。垂直走査回路２２により画素信号を出力させる画素の行が選択され、水平読出回路２３により画素信号を出力させる画素の列が選択される（図１参照）。
　垂直走査回路２２及び水平読出回路２３はセンサ駆動部１２に駆動され、１画素ずつ画素信号が出力されるように制御される。出力された画素信号はＡ／Ｄコンバータ２４によりデジタル信号に変換される。受光部２１に配置されるすべての画素の画素信号が１フレームの原画像信号（Ｒａｗ画像データ）に定められる。
　撮像素子２０、バッファメモリ１４、画像信号処理部３０、システムコントローラ１５、画像表示部１６、画像記録部１７、操作部１８、及びセンサ駆動部１２は、システムバス１３を介して電気的に接続される。システムバス１３に接続されるこれらの部位は、システムバス１３を介して互いに様々な信号やデータを送受信することが可能である。
　撮像素子２０から出力される原画像信号はバッファメモリ１４に送信され、格納される。バッファメモリ１４はＳＤＲＡＭ等であって、比較的高速なアクセス速度を有し、画像信号処理部３０のワークエリアとして用いられる。また、バッファメモリ１４は、システムコントローラ１５がデジタルカメラ１０の各部位を制御するためのプログラムを実行する際のワークエリアとしても用いられる。
　画像信号処理部３０は、後に詳細に説明するデモザイキング処理を原画像信号に施し、補間画像信号を生成する。さらに、画像信号処理部３０は、補間画像信号に対して所定の画像処理を施す。なお、補間画像信号は必要に応じて、ＲＧＢ画像信号に変換される。
　所定の画像処理の施された補間画像信号およびＲＧＢ画像信号は、画像表示部１６及び画像記録部１７に送信される。画像表示部１６は多原色モニタ（図１において図示せず）及びＲＧＢモニタ（図１において図示せず）を有している。多原色モニタ及びＲＧＢモニタには、受信した補間画像信号及びＲＧＢ画像信号に相当する画像が表示される。また、画像記録部１７に送信された補間画像信号及びＲＧＢ画像信号は、そこで格納される。
　デジタルカメラ１０の各部位は、システムコントローラ１５によって制御される。各部位を制御するための制御信号がシステムコントローラ１５からシステムバス１３を介して各部位に入力される。
　なお、画像信号処理部３０及びシステムコントローラ１５は、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成したり、処理ごとに特化した専用のプロセッサによって構成したりすることもできる。
　システムコントローラ１５は、パワーボタン（図示せず）、レリーズボタン（図示せず）、及びダイヤル（図示せず）などの入力機構を有する入力部１８に接続される。使用者によるデジタルカメラ１０の様々な操作入力が入力部１８に検知される。入力部１８に検知される操作入力に応じて、システムコントローラ１５はデジタルカメラ１０の各部位を制御する。
　次に、画像信号処理部３０の構成について図３を用いて説明する。画像信号処理部３０は、ＯＢ減算処理部３１、マルチバンド（ＭＢ）デモザイク処理部４０（画像処理システム）、ＮＲ処理部３２、ＭＢ－ＲＧＢ変換部３３、色変換処理部３４、及び色ガンマ補正処理部３５によって構成される。
　バッファメモリ１４から出力される原画像信号は、ＯＢ減算処理部３１に送信される。ＯＢ減算処理部３１では、ＯＢ画素に生成されたＯＢ画素信号によって各画素信号を減じることによって各画素信号の黒レベルの調整を行う。
　ＯＢ減算処理部３１から出力される画素信号はＭＢデモザイク処理部４０に送信される。前述のように、原画像信号を構成する画素信号は５バンドの中のいずれか一つの色信号成分のみを有する。すなわち、原画像信号は、図４に示すように、Ｇ原画像信号成分（（ａ）参照）、Ｃｙ原画像信号成分（（ｂ）参照）、Ｏｒ原画像信号成分（（ｃ）参照）、Ｂ原画像信号成分（（ｄ）参照）、Ｒ原画像信号成分（（ｅ）参照）によって構成される。後述するようにＭＢデモザイク処理部４０におけるデモザイク処理により、全色信号成分が補間される。すなわち、全画素信号は５つの色信号成分を有するように、補完される。
　デモザイク処理の施された原画像信号は、補間画像信号としてＮＲ処理部３２に送信される。ＮＲ処理部３２において、補間画像信号からノイズが除去される。ノイズの除去された補間画像信号は画像記録部１７に送信され、格納される。また、ノイズの除去された補間画像信号はＭＢ－ＲＧＢ変換処理部３３及び色変換処理部３４に送信される。
　ＭＢ－ＲＧＢ変換処理部３３では、補間画像信号に対してＲＧＢ変換処理が施される。５バンドの色信号成分によって構成される補間画像信号が、ＲＧＢの３バンドの色信号成分によって構成されるＲＧＢ画像信号に変換される。ＲＧＢ画像信号は画像記録部１７に送信され、格納される。また、ＲＧＢ画像信号は、色・ガンマ補正処理部３５に送信される。
　色変換処理部３４では、補間画像信号に対して色変換処理が施される。色変換処理の施された補間画像信号は多原色モニタ１６ｍｂに送信され、補間画像信号に相当する画像が表示される。
　色・ガンマ補正処理部３５では、ＲＧＢ画像信号に対して色補正処理及びガンマ補正処理が施される。これらの補正処理が施されたＲＧＢ画像信号はＲＧＢモニタ１６ｒｇｂに送信され、ＲＧＢ画像信号に相当する画像が表示される。
　次に、デモザイク処理について図５を用いて説明する。図５は、ＭＢデモザイク処理部４０によって実行されるデモザイク処理を説明するための概念図である。
　前述のように、原画像信号ＯＩＳは各画素信号が５バンドのいずれかの色信号成分のみを有している。原画像信号ＯＩＳは、Ｇ原画像信号成分ｇＯＩＳ、Ｃｙ原画像信号成分ｃｙＯＩＳ、Ｏｒ原画像信号成分ｏｒＯＩＳ、Ｂ原画像信号成分ｂＯＩＳ、及びＲ原画像信号成分ｒＯＩＳに分割される。
　また、原画像信号ＯＩＳの全画素信号を用いて全画素に対して適応的カーネル関数が算出される（ａＫ参照）。適応的カーネル関数と、Ｇ原画像信号成分ｇＯＩＳとを用いて適応的ガウシアン補間法によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、参照画像信号ＲＩＳ（一次参照画像）が生成される（ａＧＵ参照）。
　適応的カーネル関数、参照画像信号ＲＩＳ、及びＧ原画像信号成分ｇＯＩＳを用いて適応的ジョイントバイラテラル補間法によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、Ｇ補間画像信号成分ｇＩＩＳが生成される。
　Ｇ原画像信号成分ｇＯＩＳの代わりに、Ｃｙ原画像信号成分ｃｙＯＩＳを用いて同様の処理を施すことによりＣｙ補間画像信号成分ｃｙＩＩＳが生成される。同様にして、Ｏｒ補間画像信号成分ｏｒＩＩＳ、Ｂ補間画像信号成分ｂＩＩＳ、及びＲ補間画像信号成分ｒＩＩＳが生成される。全色信号成分を有する画素信号を全画素に対して生成することにより補間画像信号ＩＩＳが生成される。
　次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４０の構成及び機能を、図６を用いて説明する。ＭＢデモザイク処理部４０は、分配部４１（受信部）、微分値算出部４２、適応的カーネル算出部４３、参照画像作成部４４、及び補間画像作成部４５によって構成される。
　ＭＢデモザイク処理部４０に受信される原画像信号は、分配部４１に入力される。分配部４１では、微分値算出部４２、参照画像作成部４４、及び補間画像作成部４５に、必要に応じた色信号成分が分配される。
　微分値算出部４２には、原画像信号を構成する全画素信号が送信される。微分値算出部４２では、画素毎に２方向の微分値（第１、第２の微分値）が算出される。微分値の算出のために、全画素が順番に注目画素（図示せず）に指定される。指定された注目画素の右斜め上及び左斜め下に隣接する画素の画素信号の差と、右斜め下及び左斜め上に隣接する画素の画素信号の差とが微分値として算出される。
　なお、前述のように、いずれの画素を注目画素とする場合でも、右斜め上及び左斜め下の画素では同じ色信号成分の画素信号が生成され、右斜め下及び左斜め上の画素では同じ色信号成分の画素信号が生成される。それゆえ、上述の微分値は、注目画素を中心とする局所的な画像における両斜め方向の勾配を示している。全画素に対して算出された微分値は、適応的カーネル算出部４３に送信される。
　適応的カーネル算出部４３では、微分値と画素信号とに基づいて、画素毎に適応的カーネル関数が算出される。適応的カーネル関数の算出のために、すべての画素が順番に注目画素に指定される。また、注目画素を中心とする注目画素の周囲の７行７列に配置される画素が周囲画素に指定される。注目画素及び周囲画素の指定を終えると、注目画素に対する共分散行列Ｃｘの逆行列が算出される。
　逆行列は、（１）式に注目画素及び周囲画素の微分値を代入することにより算出される。
Figure JPOXMLDOC01-appb-M000001
　なお、（１）式において、Ｎｘは周囲画素の画素位置集合であり、｜Ｎｘ｜は画素位置集合の画素数である。また、Ｚｕ（ｘｊ）は、周囲画素ｘｊのｕ方向の微分値であり、Ｚｖ（ｘｊ）は周囲画素ｘｊのｖ方向の微分値である。なお、図２に示すように、ｕ方向とは右斜め下から左斜め上に向かう方向であり、ｖ方向とは左斜め下から右斜め上に向かう方向である。
　注目画素の共分散行列が算出されると、次に注目画素に対するカーネル関数の大きさを表すパラメータμｘが算出される。パラメータμｘの算出のために、共分散行列Ｃｘの固有値λ１、λ２が算出される。固有値の積λ１×λ２が閾値Ｓと比較される。固有値の積λ１×λ２が閾値Ｓ以上である場合には、パラメータμｘは１と計算される。一方、固有値の積λ１×λ２が閾値Ｓより小さい場合には、（Ｓ／（λ１×λ２））の四乗根がパラメータμｘとして計算される。
　パラメータμｘの算出後、注目画素に対する適応的カーネル関数が算出される。適応的カーネル関数ｋｘ（ｘｊ－ｘ）は（２）式により算出される。
Figure JPOXMLDOC01-appb-M000002
　（２）式において、ｘｊは周囲画素の座標であり、ｘは注目画素の座標であり、Ｒは４５°の回転行列であり、ｈは所定の設計パラメータであり、例えば１に定められる。
　全画素に対して算出された適応的カーネル関数ｋｘ（ｘｊ－ｘ）は、参照画像作成部４４及び補間画像作成部４５に送信される。参照画像作成部４４では、原画像信号中に最も要素数の多いＧ色信号成分（第１の色信号成分）が分配部４１から送信される。参照画像作成部４４では、適応的ガウシアン補間法により全体の１／２の画素に対してのみ存在するＧ色信号成分の補間が行われ、参照画像信号が生成される。
　適応的ガウシアン補間法を用いたＧ原画像信号成分における欠落した画素信号の補間について説明する。Ｇ原画像信号成分において補間される画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。
　注目画素の画素信号は、周囲画素のＧ色信号成分及び適応的カーネル関数に基づいて（３）式により算出される。
Figure JPOXMLDOC01-appb-M000003
　なお、ωｘは（４）式により算出される。Ｍｘｉはバイナリマスクであり、周囲画素がＧ色信号成分を有するときに１であり、周囲画素がＧ色信号成分を有さないときには０である。Ｓｘｉは周囲画素のＧ色信号成分である。
Figure JPOXMLDOC01-appb-M000004
　注目画素に指定された全画素に対して補間されたＧ色信号成分と、Ｇ原画像信号成分とにより構成される参照画像信号は、補間画像作成部４５に送信される。補間画像作成部４５には、前述のように適応的カーネル関数ｋｘ（ｘｉ－ｘ）、及び参照画像信号が適応的カーネル算出部４３及び参照画像作成部４４から送信される。また、前述のように、補間画像作成部４５には、分配部４１からＧ原画像信号成分、Ｃｙ原画像信号成分、Ｏｒ原画像信号成分、Ｂ原画像信号成分、及びＲ原画像信号成分が順番に送信される。
　補間画像作成部４５では、適応的ジョイントバイラテラレル補間法により、生成されていない色信号成分が全画素に対して補間される。例えば、全体の１／２の画素に対してのみ存在するＧ色信号成分を用いて、他の画素のＧ色信号成分が補間される。
　同様に、それぞれ１／８の画素に対してのみ存在するＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分を用いて、他の画素のＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分が補間される。全色信号成分の補間により、全色信号成分を有する全画素信号によって構成される補間画像信号が生成される。なお、Ｇ色信号成分に関しては参照画像の作成において補間されているが、参照画像を用いた補間が別に行われる。
　適応的ジョイントバイラテラル補間法を用いた各色信号成分の補間について、Ｇ色信号成分を例にして説明する。Ｇ色信号成分の補間が行われるべき画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。
　注目画素の色信号成分は、周囲画素のＧ色信号成分、適応的カーネル関数、及び参照画像信号に基づいて（５）式により算出される。
Figure JPOXMLDOC01-appb-M000005
　なお、（５）式において、Ｉｘｉは参照画像における周囲画素の画素値、Ｉｘは参照画像における注目画素の画素値である。ｒ（Ｉｘｉ－Ｉｘ）は、注目画素と周囲画素との画素値の差分に応じた重み付けである。
　注目画素に対するＧ色信号成分の補間により、Ｇ補間画像信号成分が生成される。以後、同様にＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分もＧ色信号成分と同様に補間が行われ、Ｃｙ補間画像信号成分、Ｏｒ補間画像信号成分、Ｂ補間画像信号成分、及びＲ補間画像信号成分が生成される。このように全色信号成分の補間により補間画像信号が生成される。
　以上のような構成の第１の実施形態の画像処理システムによれば、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像と勾配情報とに基づいて補間画像が作成される。
　一般的に自然画像では、高周波成分においてバンド間の相関が強いことが知られている。従って、各バンドの画像は同じエッジ構造を有する。そこで、すべてのバンドの勾配情報は等しいと仮定される。このような仮定に基づいて、参照画像および補間画像の作成において、何れの色信号成分の微分値であっても、他の色信号成分の補間に用いるための適応的カーネル関数を算出可能である。
　第１の実施形態では、参照画像の作成においてもすべての画素において勾配情報を用いて適応的カーネル関数が用いられる。そのため、参照画像において、偽像の発生を低減化することが可能である。このように、偽像の発生が抑えられた参照画像と、適応的カーネル関数を用いて色補間を行うので、それぞれの色信号成分において偽像の発生を大幅に低減化させることが可能である。
　それゆえ、第１の実施形態の画像処理システムによれば、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
　また、第１の実施形態では、共分散関数の固有値の積に基づいてパラメータμｘが算出され、適応的カーネル関数の算出に用いられる。パラメータμｘは前述のように、カーネル関数の大きさを表すパラメータであり、上述のように固有値の積に基づいて算出されるので、注目画素毎にカーネル関数の大きさを適切に設定することが可能である。
　次に、本発明の第２の実施形態に係る画像処理システムについて説明する。第２の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
　第２の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
　第２の実施形態で実行されるデモザイク処理について図７を用いて説明する。図７は、第２の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
　第２の実施形態では、適応的ジョイントバイラテラル補間法に用いる適応的カーネル関数が第１の実施形態と異なっている。第１の実施形態では原画像信号ＯＩＳの全画素信号を用いて算出した適応的カーネル関数を用いているが、第２の実施形態では参照画像信号ＲＩＳを用いて算出した適応的カーネル関数（符号Ａ参照）を用いている。
　次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４００の構成及び機能を、図８を用いて説明する。第２の実施形態におけるＭＢデモザイク処理部４００は、分配部４１０、微分値算出部４２０、適応的カーネル算出部４３０、参照画像作成部４４０、及び補間画像作成部４５０によって構成される。
　第２の実施形態では、微分値算出部４２０、適応的カーネル算出部４３０、及び参照画像作成部４４０の機能の一部が第１の実施形態と異なる。微分値算出部４２０、適応的カーネル算出部４３０、及び参照画像作成部４４０が第１の実施形態と同様に機能することにより、参照画像信号が作成される。
　第１の実施形態と異なり、参照画像信号は微分値算出部４２０及び適応的カーネル算出部４３０に送信される。微分値算出部４２０では、参照画像信号を構成するＧ色信号成分を用いて画素毎の２方向の微分値（第３の微分値）を算出する。また、第２の実施形態と異なり、適応的カーネル算出部４３０は、参照画像信号に基づいて算出された微分値を用いた適応的カーネル関数も算出する。
　参照画像信号に基づいて算出された適応的カーネル関数が、原画像信号に基づいて算出された適応的カーネル関数の代わりに補間画像作成部４５０に送信される。補間画像作成部４５０では、参照画像信号に基づいて算出された適応的カーネル関数を用いて各色信号成分の補間を行う。
　以上のような構成の第２の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像と勾配情報とに基づいて補間画像信号が作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
　次に、本発明の第３の実施形態に係る画像処理システムについて説明する。第３の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第３の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
　第２の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
　第３の実施形態で実行されるデモザイク処理について図９を用いて説明する。図９は、第３の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
　第３の実施形態では、各色信号成分の補間に適応的ジョイントバイラテラル補間法でなくガイデッドフィルタ（Ｇｕｉｄｅｄ　Ｆｉｌｔｅｒ参照）を利用する点において、第１の実施形態と異なっている。なお、ガイデッドフィルタの算出には適応的カーネル関数が不要である。
　したがって、第１の実施形態と同様に、適応的カーネル関数が算出され（ａＫ参照）、Ｇ原画像信号成分ｇＯＩＳを用いて参照画像信号ＲＩＳが生成される。次に、参照画像信号ＲＩＳに基づいてガイデッドフィルタを適用する。
　ガイデッドフィルタを利用した補間法によりＧ色信号成分が補間され、Ｇ補間画像信号成分ｇＩＩＳが生成される。Ｇ色信号成分の代わりに、Ｃｙ色信号成分を用いて同様の処理を施すことによりＣｙ補間画像信号成分ｃｙＩＩＳが作成される。同様にして、Ｏｒ補間画像信号成分ｏｒＩＩＳ、Ｂ補間画像信号成分ｂＩＩＳ、及びＲ補間画像信号成分ｒＩＩＳが生成される。全色信号成分を有する画素信号を全画素に対して生成することにより補間画像ＩＩＳが作成される。
　次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４０１の構成及び機能を、図１０を用いて説明する。第１の実施形態と同様に、ＭＢモザイク処理部４０１は、分配部４１１、微分値算出部４２１、適応的カーネル算出部４３１、参照画像作成部４４１、および補間画像作成部４５１によって構成される。
　分配部４１１、微分値算出部４２１、適応的カーネル算出部４３１、および参照画像作成部４４１の機能は、第１の実施形態と同じである。したがって、第１の実施形態と同様に、適応的ガウシアン補間法により参照画像信号が生成される。
　第１の実施形態と異なり、補間画像作成部４５１では、ガイデッドフィルタを適用してＧ色信号成分の補間が行われる。同様に、Ｃｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分の補間が行われる。
　まず、ガイデッドフィルタについて説明する。ガイデッドフィルタは、すべての画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の５行５列の画素が周囲画素に指定される。
　注目画素ｘｐに対して、（６）式のコスト関数Ｅ（ａｘｐ、ｂｘｐ）が最小化するように最小二乗法により係数（ａｘｐ、ｂｘｐ）が算出される。
Figure JPOXMLDOC01-appb-M000006
　（６）式において、ωｋは注目画素周辺に存在する信号成分の要素数である。Ｍiはバイナリマスクであって、周囲画素が信号成分を有するときに１であり、周囲画素が信号成分を有さないときには０である。ａｘｐ、ｂｘｐは算出されるべきパラメータであり、計算開始時には適当な初期値が用いられる。Ｉｉは周囲画素に対応する参照画像の画素値である。ｐｉは信号成分の画素値である。εは所定の平滑化パラメータである。
　全画素に対する係数（ａｘｐ、ｂｘｐ）が算出される。Ｇ色信号成分の補間を行うために、原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。また、注目画素を中心とする注目画素の周囲の５行５列の画素が周囲画素に指定される。
　注目画素ｘｉの色信号成分ｑｉは、（７）式により算出される。
Figure JPOXMLDOC01-appb-M000007
　（７）式において、｜ω｜は注目画素および周囲画素の画素数、即ち５×５の配列において２５である。（ａｘｐ、ｂｘｐ）は、ガイデッドフィルタにおいて周囲画素に対して算出された係数である。
　注目画素に対するＧ色信号成分の補間により、Ｇ補間画像信号成分が生成される。以後、同様にＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分もＧ色信号成分と同様に補間が行われ、Ｃｙ補完画像信号成分、Ｏｒ補間画像信号成分、Ｂ補間画像信号成分、及びＲ補間画像信号成分が生成される。このように全色信号成分の補間により補間画像信号が生成される。
　以上のような構成の第３の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像に基づいて補間画像信号を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
　次に、本発明の第４の実施形態に係る画像処理システムについて説明する。第４の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第４の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
　第４の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
　第４の実施形態で実行されるデモザイク処理について図１１を用いて説明する。図１１は、第４の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
　第４の実施形態では、適応的ジョイントバイラテラル補間法の代わりに、適応的カーネル関数を使用しないジョイントバイラテラル補間法（ＪＢＵ参照）を用いて全色信号成分の補間を行う点において第１の実施形態と異なっている。
　次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１２を用いて説明する。第２の実施形態におけるＭＢデモザイク処理部４０２は、分配部４１２、微分値算出部４２２、適応的カーネル算出部４３２、参照画像作成部４４２、及び補間画像作成部４５２によって構成される。
　分配部４１２、微分値算出部４２２、適応的カーネル算出部４３２、および参照画像作成部４５２の機能は、第１の実施形態と同じである。したがって、第１の実施形態と同様に、適応的ガウシアン補間法により参照画像信号が生成される。
　第１の実施形態と異なり、補完画像作成部４５２では、ジョイントバイラテラル補間法によりＧ色信号成分、Ｃｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分の補間が行われる。ジョイントバイラテラル補間法では、（４）式において適応的カーネル関数の代わりに、注目画素から周囲画素までの距離に応じて小さくなる重み付けをｋ（ｘi－ｘ）として、注目画素の色信号成分が算出される。
　以上のような構成の第４の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像に基づいて補間画像信号を作成可能であるそれゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
　なお、適応的カーネル関数を用いずにジョイントバイラテラル補間法により色信号成分を補間する構成であるため、第１の実施形態に比べて偽色の発生の抑止効果が低下する。しかし、参照画像そのものの作成に適応的カーネル関数を用いているので、前述のように参照画像の偽像の発生が低減化されている。それゆえ、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生の抑止効果を向上させることが可能である。
　次に、本発明の第５の実施形態に係る画像処理システムについて説明する。第５の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第５の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
　第５の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
　第５の実施形態で実行されるデモザイク処理について図１３を用いて説明する。図１３は、第５の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理の処理を説明するための概念図である。
　第５の実施形態では、適応的カーネル関数を用いずに通常のガウシアン補間法によりＧ信号成分を補完して参照画像が作成される（ＧＵ参照）。
　次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１４を用いて説明する。第５の実施形態におけるＭＢデモザイク処理部４０３は、分配部４１３、微分値算出部４２３、適応的カーネル算出部４３３、参照画像作成部４４３、及び補間画像作成部４５３によって構成される。
　分配部４１３、微分値算出部４２３、および補間画像作成部４５３の構成は、第１の実施形態と同じである。適応的カーネル算出部４３３は、第１の実施形態と同様に、全画素に対する適応的カーネル関数を算出する。しかし、第１の実施形態と異なり、適応的カーネル関数は参照画像作成部４４３には送信されず、補間画像作成部４５３にのみ送信される。
　参照画像作成部４４３では、第１の実施形態と異なり、Ｇ原画像信号成分に対してガウシアン補間法によりＧ色信号成分を補間し、参照画像信号を生成する。生成した参照画像信号は補間画像作成部４５３に送信される。
　前述のように、補間画像作成部４５３の機能は第１の実施形態と同じであって、適応的カーネル関数、参照画像信号、および原画像信号の各色信号成分に基づいて、各色信号成分の補間を行う。各色信号成分の補間により、全色信号成分を有する画素信号が全画素に対して生成されるので、補間画像信号が生成される。
　以上のような構成の第５の実施形態の画像処理システムによっても、画素毎に微分値を算出し、参照画像を作成し、参照画像と微分値即ち勾配情報とに基づいて補間画像を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
　なお、適応的カーネル関数を用いずに通常のガウシアン補間法により参照画像を作成する構成であるため、第１の実施形態に比べて偽色発生の低減化効果は低下する。しかし、適応的カーネル関数を用いて補間画像を作成するため、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生を低下させることが可能である。
　次に、本発明の第６の実施形態に係る画像処理システムについて説明する。第６の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第６の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
　第６の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
　第６の実施形態で実行されるデモザイク処理について図１５を用いて説明する。図１５は、第６の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理の処理を説明するための概念図である。
　第６の実施形態では、適応的カーネル関数を用いずに通常のガウシアン補間法によりＧ信号成分を補間して参照画像が作成される（ＧＵ参照）。また、適応的ジョイントバイラテラル補間法に用いる適応的カーネル関数が第１の実施形態と異なっている。第６の実施形態では、第２の実施形態と同様に、参照画像を用いて算出した適応的カーネル関数を用いている。
　次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１６を用いて説明する。第６の実施形態におけるＭＢデモザイク処理部４０４は、分配部４１４、微分値算出部４２４、適応的カーネル算出部４３４、参照画像作成部４４４、及び補間画像作成部４５４によって構成される。
　第６の実施形態では、分配部４１４、微分値算出部４２４、適応的カーネル算出部４３４、参照画像作成部４４４、及び補間画像作成部４５４の機能の一部が第１の実施形態と異なる。
　第１の実施形態と異なり、分配部４１４から微分値算出部４２４には色信号成分が送信されず、参照画像作成部４４４及び補間画像作成部４５４に色信号成分が送信される。
　参照画像作成部４４４では、第５の実施形態のように、適応的カーネル関数を用いずにＧ原画像信号成分に対して通常のガウシアン補間法によりＧ色信号成分を補間し、参照画像信号を生成する。生成した参照画像信号は、第２の実施形態と同様に、微分値算出部４２４及び補間画像作成部４５４に送信される。
　第２の実施形態と同様に、微分値算出部４２４では、参照画像信号を構成するＧ色信号成分を用いて画素毎の２方向の微分値を算出する。算出された微分値が適応的カーネル算出部４３４に送信される。適応的カーネル算出部４３４では、参照画像信号に基づいて算出された微分値を用いて適応的カーネル関数を算出する。算出された適応的カーネル関数が補間画像作成部４５４に送信される。
　補間画像作成部４５４では、通常のガウシアン補間法により生成した参照画像信号及び参照画像信号による適応的カーネル関数を用いて各色信号成分の補間を行う。
　以上のような構成の第６の実施形態の画像処理システムによっても、参照画像を作成し、参照画像に基づく微分値を算出し、参照画像と微分値即ち勾配情報とに基づいて補間画像信号を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
　なお、第５の実施形態と同様に、適応的カーネル関数を用いずにガウシアン補間法により参照画像を作成する構成であるため、第１の実施形態に比べて偽色発生の低減化効果は低下する。しかし、適応的カーネル関数を用いて補間画像を作成するため、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生を低下させることが可能である。
　本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
　例えば、上記の第１～第６の実施形態において、全色信号成分そのものが補間画像作成部４５、４５０、４５１、４５２、４５３、４５４において補間される構成であるが、一部の色信号成分においては色差を用いて補間を行うことにより色信号成分を生成してもよい。
　例えば、第１の実施形態において色差を利用した補間画像信号の生成について説明する。図１７に示すように、Ｇ補間画像信号成分ｇＩＩＳ、Ｃｙ補間画像信号成分ｃｙＩＩＳ、及びＯｒ補間画像信号成分ｏｒＩＩＳは、第１の実施形態と同様に生成される。
　生成されたＣｙ補間画像信号成分ｃｙＩＩＳの中から、Ｂ原画像信号成分ｂＯＩＳが存在する画素と同じ画素におけるＣｙ色信号成分が抽出される。減算器４６により、Ｂ原画像信号成分ｂＯＩＳから、抽出されたＣｙ色信号成分が減算され、第１の色差原画像信号成分ｄ１ＯＩＳが生成される。同様に、Ｏｒ補間画像信号成分ｏｒＩＩＳ及びＲ原画像信号成分ｒＯＩＳから第２の色差原画像信号成分ｄ２ＯＩＳが生成される。
　適応的カーネル関数、参照画像信号ＲＩＳ、及び第１の色差原画像信号成分ｄ１ＯＩＳを用いて、適応的ジョイントバイラテラル補間法により、生成されていない第１の色差信号成分が全画素に対して補間される。第１の色差信号成分の補間により第１の色差補間画像信号成分ｄ１ＩＩＳが生成される。同様に、適用的カーネル関数、参照画像信号ＲＩＳ、及び第２の色差原画像信号成分ｄ２ＯＩＳを用いて適応的ジョイントバイラテラル補間法により、第２の色差補間画像信号成分ｄ２ＩＩＳが生成される。
　加算器４７により、第１の色差補間画像信号成分ｄ１ＩＩＳに、Ｃｙ補間画像信号成分ｃｙＩＩＳが加算されることにより、Ｂ補間画像信号成分ｂＩＩＳが生成される。同様に、第２の色差補間画像信号成分ｄ２ＩＩＳに、Ｏｒ補間画像信号成分ｏｒＩＩＳが加算されることにより、Ｒ補間画像信号成分ｒＩＩＳが生成される。
　このように、色差を用いて補間を行うことも可能である。色差を用いて補間を行うことにより、いずれかの色信号成分のノイズ成分が多い場合であっても、当該画素における極端な色再現性の悪化を抑止することが可能である。
　なお、上述の説明においては、第１の実施形態の変形例において色差を利用した補間が行われているが、第２～第６の実施形態においても、同様に色差を利用した補間を行うことは可能である。
　また、上述の説明においては、Ｃｙ色信号成分及びＢ色信号成分の色差と、Ｏｒ色信号成分及びＲ色信号成分の色差とが算出され、補間が行われている。色差の算出に用いる色差の互いのバンドが近くなるほど、色再現性を向上に有利である。ただし、色差の算出はこれらの組合わせに限定されない。例えば、Ｇ補間画像信号成分とＣｙ原画像信号成分とに基づく色差信号成分を補間する構成であってもよい。
　また、第１～第６の実施形態において、Ｇ原画像信号成分を用いて参照画像信号を生成する構成であるが、補間画像信号のいずれかの色信号成分を生成した後に、生成した補間画像信号を参照画像信号として他の色信号成分の補間に用いても良い。
　上記の第１～第６の実施形態において、Ｇ原画像信号成分に基づいて生成された参照画像信号を用いて全色信号成分そのものが補間される構成であるが、例えば、生成したＧ補間画像信号成分を参照画像信号（二次参照画像）として、Ｃｙ原画像信号成分、ＯＲ原画像信号成分、Ｂ原画像信号成分、及びＲ原画像信号成分の補間に用いてもよい。
　Ｇ原画像信号成分に基づいて生成される参照画像信号よりも、補間画像信号成分の方が一般的に、色信号成分の再現性は高い。それゆえ、補間画像信号成分を参照画像信号として用いることにより、補間画像の再現性を向上させることが可能である。
　また、第１～第６の実施形態において、ＣＦＡ２１ａではＧカラーフィルタの割合が最大であるが、他のバンドのカラーフィルタの割合が最大であってもよい。
　また、第１、第２、第４～第６の実施形態において、（適用的）ジョイントバイラテラル補間では、注目画素と周囲画素との画素値の差分に応じた重み付けｒ（Ｉｘｉ－Ｉｘ）を用いる構成であるが、注目画素と周囲画素との類似性に応じた他の重み付けを用いてもよい。
　（適用的）ジョイントバイラテラル補間法では、参照画像において注目画素と周囲画素との光学情報が似ている、即ち画素値の差が近い場合に、周囲画素の重み付けが大きくなるように構成される。したがって、このような重み付けの代わりに、上述のように類似性が大きいほど、大きな重み付けをすることにより上述の実施形態と同様の効果を得ることが可能である。
　例えば、参照画像信号において、注目画素を中心とする３行３列の画素と、周囲画素を中心とする３行３列の画素の画素値の差の相乗平均を、注目画素と周囲画素との類似性として、相乗平均に応じて重み付けを行ってもよい。
　また、第１～第４の実施形態において、最多のＧカラーフィルタの割合は５０％であるが、５０％に限定されない。参照画像信号の生成には適用的ガウシアン補間法が適用されるので、通常のガウシアン補間法に比べて色成分の精度が高い参照画像信号を生成可能である。
　また、第５、第６の実施形態において、ＣＦＡ２１ａの各画素に対して斜方に隣接する２画素に対応するカラーフィルタのバンドが等しい構成であるが、このような配置でなくてもよい。第５、第６の実施形態では、参照画像信号の生成に適用的カーネル関数を用いないので、上述のようなカラーフィルタ配置に限定されない。
　また、第１～第６の実施形態において、ＣＦＡ２１ａには５バンドのカラーフィルタが設けられる構成であるが、３バンド以上であればよい。
　また、第２の実施形態において、単一の微分値算出部４２０によって、原画像信号に基づく微分値及び参照画像信号に基づく微分値が算出される構成であるが、別々の微分値算出部によって別々に算出されてもよい。
　また、第６の実施形態において、参照画像信号に基づいて注目画素の斜め方向に沿った微分値が算出される構成であるが、行方向及び列方向に沿った微分値を算出する構成であってもよい。参照画像信号には、欠落した画素信号が無いので行方向及び列方向に沿った微分値が算出可能である。また、上述のように第２の実施形態において、別々の微分値算出部を用いて参照画像信号に基づく微分値を算出する場合には、参照画像信号に基づく微分値の算出において行方向及び列方向に沿った微分値を算出する構成であってもよい。
　また、第１、第２の実施形態において、適応的カーネル関数の算出に用いる所定の設計パラメータｈには、適応的ガウシアン補間法及び適応的ジョイントバイラテラルアップサンプリングの両者ともに同一の値が用いられる構成であるが、両者の間で異なる値が用いられる構成であってもよい。
　また、第１～第６の実施形態において、各色に対応する原画像信号成分において欠落した画素信号を補間することにより参照画像信号及び各色に対応する補間画像信号成分が生成される構成であるが、原画像信号成分において欠落せずに検出された画素も注目画素として補間を行ってもよい。
　また、第１～第６の実施形態において、画像処理システムはデジタルカメラ１０に適用される構成であるが、一部の色信号成分が欠落するマルチバンドの画像信号を処理するいかなる機器に適用することが出来る。例えば、ビデオカメラ及び電子内視鏡に適用することも可能であり、さらには、記録メディアや接続ケーブルを介して受信する画像信号の処理を行う画像処理装置に適用することも可能である。
　１０　デジタルカメラ
　２０　撮像素子
　２１ａ　カラーフィルタアレイ（ＣＦＡ）
　２１ｕ　カラーフィルタ繰返し単位
　３０　画像信号処理部
　４０、４００、４０１、４０２、４０３、４０４　マルチバンドデモザイク（ＭＢ）処理部
　４１、４１０、４１１、４１２、４１３、４１４　分配部
　４２、４２０、４２１、４２２、４２３、４２４　微分値算出部
　４３、４３０、４３１、４３２、４３３、４３４　適応的カーネル算出部
　４４、４４０、４４１、４４２、４４３、４４４　参照画像作成部
　４５、４５０、４５１、４５２、４５３、４５４　補間画像作成部
　４６　減算器
　４７　加算器
　ＩＩＳ　補間画像信号
　ｂＩＩＳ　Ｂ補間画像信号成分
　ｃｙＩＩＳ　Ｃｙ補間画像信号成分
　ｄ１ＯＩＳ、ｄ２ＯＩＳ　第１、第２の色差原画像信号成分
　ｇＩＩＳ　Ｇ補間画像信号成分
　ｏｒＩＩＳ　Ｏｒ補間画像信号成分
　ｒＩＩＳ　Ｒ補間画像信号成分
　ＲＩＳ　参照画像信号
　ＯＩＳ　原画像信号
　ｂＯＩＳ　Ｂ原画像信号成分
　ｃｙＯＩＳ　Ｃｙ原画像信号成分
　ｇＯＩＳ　Ｇ原画像信号成分
　ｏｒＯＩＳ　Ｏｒ原画像信号成分
　ｒＯＩＳ　Ｒ原画像信号成分
　ＲＩＳ　参照画像信号

Claims (14)

  1. 　第１～第ｍ（ｍは３以上の整数）の色信号成分のいずれかを有する複数の画素信号によって構成される原画像信号から、前記原画像信号を構成する全画素信号が第１～第ｍの色信号成分を有するように前記色信号成分の補間を行う画像処理システムであって、
    　前記原画像信号を受信する受信部と、
    　前記画素信号それぞれに対応する画素を挟む同色の２画素を用いて前記画素信号の微分値を算出する微分値算出部と、
    　前記原画像信号の中の前記第１の色信号成分を用いて一次参照画像を作成する参照画像作成部と、
    　前記一次参照画像を用いて、全色信号成分を補間して補間画像を作成する補間画像作成部とを備え、
    　前記一次参照画像及び前記補間画像の少なくとも一方は、微分値を用いて作成される
    　ことを特徴とする画像処理システム。
  2. 　請求項１に記載の画像処理システムであって、前記原画像信号を構成する複数の前記画素信号の中で前記第１の色信号成分の要素数が最大であり、前記補間画像のみが前記微分値を用いて作成され、前記参照画像作成部は前記第１の色信号成分を補間することにより前記第１の色信号成分のみを有する前記全画素信号によって構成される一次参照画像信号を作成することを特徴とする画像処理システム。
  3. 　請求項１に記載の画像処理システムであって、
    　前記微分値算出部は、前記原画像信号を用いて前記画素毎に第１の前記微分値を算出し、
    　前記参照画像作成部は、前記第１の微分値を用いて前記第１の色信号成分を補間することにより、前記第１の色信号成分のみを有する前記全画素信号によって構成される一次参照画像信号を作成する
    　ことを特徴とする画像処理システム。
  4. 　請求項３に記載の画像処理システムであって、前記参照画像作成部は、適応的ガウシアン補間法により、前記第１の微分値を用いて前記第１の色信号成分を補間することを特徴とする画像処理システム。
  5. 　請求項３または請求項４に記載の画像処理システムであって、前記一次参照画像のみが前記第１の微分値を用いて作成されることを特徴とする画像処理システム。
  6. 　請求項５に記載の画像処理システムであって、前記補間画像作成部はガイデッドフィルタにより、前記全色信号成分を補間することを特徴とする画像処理システム。
  7. 　請求項５に記載の画像処理システムであって、前記補間画像作成部はジョイントバイラテラル補間により、前記全色信号成分を補間することを特徴とする画像処理システム。
  8. 　請求項１、請求項２、及び請求項４のいずれかに記載の画像処理システムであって、
    　前記微分値算出部は、前記原画像信号を用いて前記画素毎に第２の前記微分値を算出し、
    　前記補間画像作成部は、前記一次参照画像と前記第２の微分値を用いて前記補間画像を作成する
    　ことを特徴とする画像処理システム。
  9. 　請求項３に記載の画像処理システムであって、前記補間画像作成部は前記一次参照画像と前記第１の微分値を用いて前記補間画像を作成することを特徴とする画像処理システム。
  10. 　請求項１～請求項４のいずれかに記載の画像処理システムであって、
    　前記微分値算出部は、前記一次参照画像を用いて前記画素毎に第３の前記微分値を算出し、
    　前記補間画像作成部は、前記一次参照画像と前記第３の微分値を用いて前記補間画像を作成する
    　ことを特徴とする画像処理システム。
  11. 　請求項８または請求項１０に記載の画像処理システムであって、前記補間画像作成部は、適応的ジョイントバイラテラル補間によって、前記全色信号成分を補間することを特徴とする画像処理システム。
  12. 　請求項１１に記載の画像処理システムであって、前記適応的ジョイントバイラテラル補間では、前記画素間の画素信号の信号強度の差に基づく重付け、或いは算出に用いる複数の前記画素の周囲の類似性に基づく重付けが用いられることを特徴とする画像処理システム。
  13. 　請求項１～請求項１２のいずれかに記載の画像処理システムであって、
    　前記補間画像作成部は、
    　前記一次参照画像を用いて前記第２の色信号成分の補間を行い、
    　前記第３の色信号成分を有する前記画素信号に対応する前記第２の色信号成分と、前記第３の色信号成分との色差を算出し、
    　前記一次参照画像を用いて前記色差を補間し、
    　補完された前記色差と補間された前記第２の色信号成分とに基づいて、前記全画素信号に対応する前記第３の色信号成分が作成する
    　ことを特徴とする画像処理システム。
  14. 　請求項１～請求項１２のいずれかに記載の画像処理システムであって、
    　前記補間画像作成部は、
    　前記一次参照画像を用いて前記第１～第ｍの色信号成分のいずれかの補間を行い、
    　補間された前記色信号成分によって構成される画像を二次参照画像とし、前記二次参照画像を用いて、補間の行われていない前記色信号成分の補間を行う
    　ことを特徴とする画像処理システム。
PCT/JP2012/002909 2011-05-11 2012-04-27 画像処理システム WO2012153489A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/117,018 US20140072214A1 (en) 2011-05-11 2012-04-27 Image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-106717 2011-05-11
JP2011106717A JP5709131B2 (ja) 2011-05-11 2011-05-11 画像処理システム

Publications (1)

Publication Number Publication Date
WO2012153489A1 true WO2012153489A1 (ja) 2012-11-15

Family

ID=47138978

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002909 WO2012153489A1 (ja) 2011-05-11 2012-04-27 画像処理システム

Country Status (3)

Country Link
US (1) US20140072214A1 (ja)
JP (1) JP5709131B2 (ja)
WO (1) WO2012153489A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178742A (ja) * 2013-03-13 2014-09-25 Samsung R&D Institute Japan Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP5771677B2 (ja) 2013-12-24 2015-09-02 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP6249234B2 (ja) * 2014-10-23 2017-12-20 京セラドキュメントソリューションズ株式会社 画像処理装置
CN106852190B (zh) * 2014-10-23 2019-03-19 国立大学法人东京工业大学 图像处理单元、拍摄装置及图像处理方法
WO2016084257A1 (ja) * 2014-11-28 2016-06-02 オリンパス株式会社 内視鏡装置
ES2799524T3 (es) 2015-06-24 2020-12-18 Dow Global Technologies Llc Procedimientos para preparar polímeros a base de etileno con resistencia en estado fundido mejorada
KR101700928B1 (ko) * 2015-11-06 2017-02-01 인천대학교 산학협력단 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치
EP4124031A4 (en) * 2020-03-16 2023-11-22 Sony Semiconductor Solutions Corporation IMAGING ELEMENT AND ELECTRONIC INSTRUMENT

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184386A (ja) * 1998-01-08 2000-06-30 Fuji Photo Film Co Ltd 固体撮像装置および信号処理方法
JP2007306447A (ja) * 2006-05-15 2007-11-22 Sony Corp 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP2009105977A (ja) * 2009-02-09 2009-05-14 Canon Inc 信号処理装置及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
KR101389562B1 (ko) * 2007-11-15 2014-04-25 삼성전자주식회사 이미지 처리 장치 및 방법
KR101027323B1 (ko) * 2010-01-20 2011-04-06 고려대학교 산학협력단 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184386A (ja) * 1998-01-08 2000-06-30 Fuji Photo Film Co Ltd 固体撮像装置および信号処理方法
JP2007306447A (ja) * 2006-05-15 2007-11-22 Sony Corp 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP2009105977A (ja) * 2009-02-09 2009-05-14 Canon Inc 信号処理装置及び方法

Also Published As

Publication number Publication date
US20140072214A1 (en) 2014-03-13
JP2012239038A (ja) 2012-12-06
JP5709131B2 (ja) 2015-04-30

Similar Documents

Publication Publication Date Title
JP5709131B2 (ja) 画像処理システム
JP5451782B2 (ja) 画像処理装置および画像処理方法
EP2312858B1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US9509978B2 (en) Image processing method, image processing apparatus, image-capturing apparatus, and image processing program
JP5519083B2 (ja) 画像処理装置、方法、プログラムおよび撮像装置
US9338364B2 (en) Imaging device and image generation method
TWI737979B (zh) 圖像去馬賽克裝置及方法
US8086032B2 (en) Image processing device, image processing method, and image pickup apparatus
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
JP5943393B2 (ja) 撮像装置
WO2017169039A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5718138B2 (ja) 画像信号処理装置及びプログラム
US8441543B2 (en) Image processing apparatus, image processing method, and computer program
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
US8223231B2 (en) Imaging apparatus and image processing program
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5761979B2 (ja) ノイズ除去システムおよび撮像装置
WO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP5912586B2 (ja) 画像信号処理方法及び画像信号処理回路、並びに撮像装置
JP2011151597A (ja) 画像処理装置および画像処理プログラム並びに電子カメラ
WO2015083499A1 (ja) 画像処理装置、該方法および該プログラム
JP5454820B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP4334484B2 (ja) 画素信号処理装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12781930

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14117018

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12781930

Country of ref document: EP

Kind code of ref document: A1