WO2013031367A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2013031367A1
WO2013031367A1 PCT/JP2012/066670 JP2012066670W WO2013031367A1 WO 2013031367 A1 WO2013031367 A1 WO 2013031367A1 JP 2012066670 W JP2012066670 W JP 2012066670W WO 2013031367 A1 WO2013031367 A1 WO 2013031367A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
gradient
image
pixel value
pixels
Prior art date
Application number
PCT/JP2012/066670
Other languages
English (en)
French (fr)
Inventor
真透 舘
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201280040908.4A priority Critical patent/CN103765876A/zh
Priority to US14/238,225 priority patent/US9179113B2/en
Priority to RU2014106537/07A priority patent/RU2014106537A/ru
Priority to EP12827404.0A priority patent/EP2753082A1/en
Priority to BR112014004125A priority patent/BR112014004125A2/pt
Publication of WO2013031367A1 publication Critical patent/WO2013031367A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program.
  • the present invention relates to an image processing apparatus, an image processing method, and a program that execute image re-mosaic processing.
  • An image sensor used in an image pickup apparatus such as a digital camera is provided with a color filter made of, for example, an RGB array, and has a configuration in which specific wavelength light is incident on each pixel.
  • a color filter having a Bayer array is often used.
  • the Bayer array captured image is a so-called mosaic image in which only each pixel value corresponding to one of RGB colors is set for each pixel of the image sensor.
  • the signal processing unit of the camera performs various signal processing such as pixel value interpolation on the mosaic image, performs demosaic processing for setting all pixel values of RGB for each pixel, and generates and outputs a color image. .
  • Signal processing in a general camera is often set to be executed on a Bayer array image. If the pixel array of the image sensor is different from the Bayer array, the pixel array of the image input from the image sensor is changed. Existing signal processing can be applied by converting to a Bayer array and inputting it to the camera signal processing unit.
  • Patent Document 2 Japanese Patent Laid-Open No. 11-29880
  • Patent Document 3 Japanese Patent Laid-Open No. 2000-69491.
  • Patent Documents 2 and 3 a plurality of pixels of the same color such as 2 ⁇ 2 R pixels, 2 ⁇ 2 G pixels, and 2 ⁇ 2 B pixels are arranged in an image sensor (image sensor). In this case, photographing is performed by setting constituent pixels of 2 ⁇ 2 pixels of the same color at different exposure times.
  • Patent Documents 2 and 3 describe a configuration in which a wide dynamic range image is obtained by combining pixel values of the same color with different exposure times taken by such an image sensor.
  • An object of the present invention is to provide an image processing apparatus, an image processing method, and a program.
  • the first aspect of the present disclosure is: An image signal correction unit that performs correction processing of the pixel signal of the input image;
  • the image signal correction unit As the input image, a mosaic image in which pixel blocks configured by a plurality of pixels of the same color are arranged is input, In the constituent pixels of the input image, a pixel value gradient in eight directions at a conversion target pixel position to be subjected to color conversion processing is detected, Based on the pixel value gradient in the eight directions, determine an interpolation pixel value calculation mode of the conversion target pixel, The image processing apparatus calculates an interpolated pixel value at the conversion target pixel position in accordance with the determined processing mode.
  • the image signal correction unit inputs a mosaic image in which pixel blocks configured by a plurality of pixels of the same color are input as the input image, and the input image In the re-mosaic processing, the image signal correction unit performs eight-direction in the conversion target pixel position to be a color conversion processing target in the constituent pixels of the input image. A pixel value gradient is detected, an interpolation pixel value calculation mode of the conversion target pixel is determined based on the pixel value gradient in the eight directions, and an interpolation pixel value of the conversion target pixel position is calculated according to the determined processing mode.
  • the image signal correction unit has a four-divided Bayer RGB array in which the input image has an array of 2 ⁇ 2 pixels for each color of the Bayer RGB array. An image is input, and re-mosaic processing for converting the input image into a Bayer array is executed.
  • the image signal correction unit selects a pixel in a direction with a small gradient as a reference pixel based on the pixel value gradient in the eight directions, and A process of calculating an interpolated pixel value of the conversion target pixel is executed by a blending process of pixel values.
  • the image signal correction unit sets the pixel values of the surrounding pixels of the conversion target pixel when the maximum value of the pixel value gradient in the eight directions is equal to or less than a predetermined threshold.
  • a process of calculating a smoothing signal based on the interpolation pixel value of the conversion target pixel is executed.
  • the image signal correction unit performs the gradient calculation in at least one direction in the calculation process of the pixel value gradient in the eight directions.
  • Low frequency component gradient information applying pixels of the same color included in the input image
  • High frequency component gradient information applying pixels of the same color included in the input image
  • Inter-color wave component gradient information applying different color pixels included in the input image
  • a pixel value gradient is calculated by weighted addition of the above three gradient information.
  • the image signal correction unit performs the gradient calculation in at least one direction in the calculation process of the pixel value gradient in the eight directions.
  • a pixel value gradient is calculated by weighted addition of the above three gradient information.
  • the image signal correction unit performs the gradient calculation in at least one direction in the calculation process of the pixel value gradient in the eight directions.
  • the pixel value gradient is calculated by weighted addition of the two gradient information.
  • the image signal correction unit may perform vertical and horizontal gradient calculation in the pixel value gradient calculation process in the eight directions.
  • Low frequency component gradient information applying pixels of the same color included in the input image
  • High frequency component gradient information applying pixels of the same color included in the input image
  • Inter-color wave component gradient information applying different color pixels included in the input image
  • the pixel value gradient is calculated by weighted addition of the above three gradient information,
  • Low frequency component gradient information applying pixels of the same color included in the input image
  • High frequency component gradient information applying pixels of the same color included in the input image
  • Medium frequency component gradient information applying pixels of the same color included in the input image
  • the pixel value gradient is calculated by weighted addition of the above three gradient information,
  • Low frequency component gradient information applying pixels of the same color included in the input image When calculating the slope in the upper right 45 degree direction and the lower right 45 degree direction, Low frequency component gradient information applying pixels of the same color included in the input image; High frequency component gradient information applying pixels of the same color included in the input image; and Medium frequency component gradient information applying
  • the image signal correction unit includes an interpolated pixel value in which a reference pixel position is changed according to a constituent pixel position of a pixel block constituted by the plurality of pixels of the same color. Execute the calculation process.
  • the second aspect of the present disclosure is: An image processing method executed in an image processing apparatus,
  • the image signal correction unit inputs a mosaic image in which pixel blocks composed of a plurality of pixels of the same color are arranged as an input image, A process of detecting a pixel value gradient in eight directions at a conversion target pixel position to be a color conversion process among the constituent pixels of the input image; A process of determining an interpolation pixel value calculation mode of the conversion target pixel based on the pixel value gradient in the eight directions;
  • the process of calculating the interpolated pixel value at the conversion target pixel position is executed according to the determined processing mode.
  • the third aspect of the present disclosure is: A program for executing image processing in an image processing apparatus; A mosaic image in which pixel blocks composed of a plurality of pixels of the same color are arranged as an input image is input to the image signal correction unit, In the re-mosaic processing, A process of detecting a pixel value gradient in eight directions at a conversion target pixel position to be a color conversion process among the constituent pixels of the input image; A process of determining an interpolation pixel value calculation mode of the conversion target pixel based on the pixel value gradient in the eight directions; A program for executing a process of calculating an interpolated pixel value at the conversion target pixel position in accordance with the determined processing mode.
  • the program of the present disclosure is a program that can be provided by, for example, a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
  • a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • an apparatus and a method for executing a re-mosaic process for converting to an image having a different pixel arrangement are realized. Specifically, a mosaic image in which pixel blocks composed of a plurality of pixels having the same color are input as an input image, and a re-mosaic process is performed to convert the pixel array of the input image into a different pixel array.
  • the pixel value gradient in the eight directions at the conversion target pixel position to be subjected to the color conversion process is detected from the constituent pixels of the input image, and the interpolation pixel value of the conversion target pixel is determined based on the pixel value gradient in the eight directions.
  • a calculation mode is determined, and an interpolation pixel value at the conversion target pixel position is calculated according to the determined processing mode. For example, an image having a four-divided Bayer RGB array in which each color of the Bayer RGB array is arranged in units of 2 ⁇ 2 pixels is converted into a Bayer array.
  • FIG. 1 shows the following three image sensor configuration examples. (1) Bayer array (2) Quadrant Bayer RGB array (3) RGBW array
  • the Bayer array is an array adopted in many cameras, and signal processing for a captured image having a color filter having the Bayer array is almost established.
  • the four-divided Bayer type RGB array and (3) the RGBW type array it is still considered that signal processing for an image photographed by an image sensor provided with these filters has been sufficiently studied. The current situation is that I can't say that.
  • (2) the four-divided Bayer type RGB array corresponds to an array in which one R, G, B pixel of the Bayer array shown in (1) is set as four pixels.
  • FIG. 2 illustrates a configuration example of the imaging apparatus 100 that is a configuration example of the image processing apparatus of the present disclosure.
  • the imaging apparatus 100 includes an optical lens 105, an imaging element (image sensor) 110, an image processing unit 120, a memory 130, and a control unit 140.
  • the imaging apparatus 100 illustrated in FIG. 2 is an example of the image processing apparatus of the present disclosure, and the image processing apparatus of the present disclosure includes an apparatus such as a PC.
  • the image processing apparatus such as a PC does not include the optical lens 105 and the image sensor 110 of the image capturing apparatus 100 illustrated in FIG. 2, but includes other components, and includes an acquisition data input unit or a storage unit of the image sensor 100. It becomes composition.
  • the imaging apparatus 100 illustrated in FIG. 2 will be described as a representative example of the image processing apparatus of the present disclosure.
  • 2 is a still camera, a video camera, or the like, for example.
  • An imaging element (image sensor) 110 of the imaging apparatus 100 shown in FIG. 2 has a configuration including a color filter composed of a four-divided Bayer RGB array described with reference to FIG. Red (R) that transmits wavelengths near red, Green (G) that transmits wavelengths in the vicinity of green, Blue (B) that transmits wavelengths near blue, It is an image sensor provided with a filter having these three types of spectral characteristics.
  • the four-divided Bayer RGB array corresponds to an array in which one pixel of the Bayer array shown in FIG. 1A is set as four pixels.
  • the image sensor 110 having the four-divided Bayer RGB array 181 receives RGB light in units of pixels via the optical lens 105, generates an electrical signal corresponding to the received light signal intensity by photoelectric conversion, and outputs it. To do. With this image sensor 110, a mosaic image composed of three types of RGB spectra is obtained.
  • An output signal of the image sensor (image sensor) 110 is input to the image signal correction unit 200 of the image processing unit 120.
  • the image signal correction unit 200 executes a process of converting an image having a four-divided Bayer RGB array 181 into a Bayer array 182 that is often used in a general camera. That is, a process of converting the captured image having the four-divided Bayer RGB array shown in FIG. 1 (2) into the Bayer array shown in FIG. 1 (1) is performed.
  • color array conversion processing is referred to as re-mosaic processing.
  • An image having the Bayer array 182 shown in FIG. 2 is generated as a result of the re-mosaic processing in the image signal correction unit 200, and this image is input to the RGB signal processing unit 250.
  • the RGB signal processing unit 250 executes processing similar to that of a signal processing unit in a camera having a color filter with an existing Bayer array, for example, WB (white balance) adjustment, demosaic processing for setting RGB pixel values for each pixel, and the like. Then, a color image 183 is generated and output.
  • the color image 183 is stored in the memory 130.
  • control unit 140 executes various processes in addition to image capturing in accordance with a user input from an input unit (not shown).
  • FIG. 3A is an entire signal processing sequence showing the entire processing executed in the image processing unit 120.
  • a captured image is input from the image sensor 110.
  • This captured image is an image having a four-divided Bayer RGB array 181.
  • a re-mosaic process is executed.
  • This is a process executed by the image signal correction unit 200 shown in FIG. 2, and is a process for converting a captured image having a four-divided Bayer type RGB array 181 into a Bayer array 182. The details of this process are shown in the flow shown in FIG. This process will be described later.
  • step S102 an image having the Bayer array 182 shown in FIG. 2 is generated as a result of the re-mosaic process.
  • Step S103 and subsequent steps are the processing of the RGB signal processing unit 250 shown in FIG. 2, and are signal processing executed in a general camera.
  • white balance (WB) adjustment processing is executed.
  • step S104 demosaic processing for setting each pixel value of RGB to each pixel is executed.
  • step S105 linear matrix (LMTX) processing for color mixture removal or the like is executed.
  • step S106 a color image 183 shown in FIG. 2 is generated and output as an output image.
  • the re-mosaic process in step S102 is executed according to the flow shown in FIG. This is a process of converting a four-divided Bayer RGB array image into a Heyer array image.
  • the details of the re-mosaic process will be described in detail with reference to FIG. First, the outline of the re-mosaic process will be described with reference to the flow shown in FIG.
  • step S151 The direction determination of the pixel value gradient of the four-divided Bayer RGB array image that is the input image is performed. This is a process corresponding to so-called edge direction determination.
  • step S152 G interpolation processing for estimating and setting the G pixel value at the RB position of the four-divided Bayer RGB array image is performed.
  • the pixel value gradient information calculated in step SZ151 is applied, and an interpolation process is performed using a pixel value in a direction with a smaller pixel value gradient as a reference pixel value.
  • step S153 the RB pixel value at the G signal position is estimated. This estimation process is performed based on an estimation that the G pixel value and the RB pixel value have a certain correlation within a predetermined local region, for example.
  • step S152 and S153 basic pixel value setting for converting a captured image having a four-divided Bayer RGB array 181 into a Bayer array 182 is performed. Further, in parallel with this processing, false color detection in step S154 and false color correction in step S155 are executed.
  • the signal input to the image sensor (image sensor) 110 includes a signal that exceeds the Nyquist frequency (1/2 of the sampling frequency) of the image sensor (image sensor) 110, aliasing based on the sampling theorem (return) ) And image quality deterioration, specifically, a cause of false color.
  • steps S154 to S155 such false color detection and false color correction are executed.
  • step S156 a Bayer array image reflecting the false color detection and false color correction results in steps S154 to S155 is generated and output.
  • FIG. 4 corresponds to the process of step S102 in the overall process flow of FIG. 3A, and is a flowchart showing the flow of FIG. 3B in more detail.
  • the flow shown in FIG. 4 is a flow for explaining the sequence of the re-mosaic process executed in the image signal correction unit 200 shown in FIG.
  • the image signal correction unit 200 illustrated in FIG. 2 sequentially inputs pixel values of the four-divided Bayer RGB array image from the image sensor 110, and executes processing according to the flow illustrated in FIG.
  • step S201 it is determined whether or not the input pixel value is a G pixel. If it is not a G pixel, that is, if it is an RB pixel, the process proceeds to step S202, and direction determination is performed.
  • This direction determination is a process for determining the gradient of the pixel value. It is executed as a process similar to the edge direction determination.
  • the gradient of the pixel value is Horizontal direction (H), Vertical direction (V), Upper right 45 degrees direction (A), Lower right 45 degrees direction (D), In addition to these four directions, Upper right 22.5 degree direction (A2), Upper right 67.5 degree direction (A3), Lower right 22.5 degree direction (D2), Lower right 67.5 degree direction (D3), A total of eight directions of these four directions are calculated.
  • the four-divided Bayer RGB array described above with reference to FIG. 1 (2) has a sparse sampling interval of the same color component as compared with the Bayer array shown in FIG. / 2 Nyquist frequency.
  • the direction determination of the present disclosure is performed in a number of eight directions as described above.
  • FIG. 7 shows an example of horizontal direction (H) gradient calculation processing corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG.
  • the horizontal (H) gradient is calculated based on the following data.
  • I (x, y) is a pixel value at the position of coordinates (x, y).
  • abs () indicates an absolute value.
  • the horizontal (H) gradient corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 7, that is, gradH (2, 2) is calculated according to the following equation.
  • a H , b H , and c H are weight coefficients defined in advance.
  • the signal level is reduced by a high-frequency component. Therefore, it is desirable that the magnitude relationship of the above weight coefficients is a H > b H.
  • the direction determination is wrong in the vicinity of 1 ⁇ 2 Nq, a strong false color is generated.
  • V vertical direction
  • I (x, y) is a pixel value at the position of coordinates (x, y).
  • abs () indicates an absolute value.
  • the vertical direction (V) gradient corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 8, that is, gradV (2, 2) is calculated according to the following equation.
  • a V , b V , and c V are weight coefficients defined in advance.
  • the signal level is reduced by a high frequency component. For this reason, it is desirable that the magnitude relationship between the weighting coefficients is a V > b V.
  • the direction determination is wrong in the vicinity of 1 ⁇ 2 Nq, a strong false color is generated.
  • FIG. 9 shows a 45 ° upper right direction (A) gradient calculation process example corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 9.
  • the upper right 45 degree direction (A) gradient is calculated based on the following data.
  • I (x, y) is a pixel value at the position of coordinates (x, y).
  • abs () indicates an absolute value.
  • the upper right 45 degree direction (A) gradient corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 9, that is, gradA (2, 2) is calculated according to the following equation.
  • a A , b A , and c A are weight coefficients defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high frequency component. For this reason, it is desirable that the magnitude relationship between the weighting coefficients in the above equation is a A , b A > c A.
  • FIG. 10 illustrates an example of a 45D lower right direction (D) gradient calculation process corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels illustrated in FIG. 10.
  • the lower right 45 degree direction (D) gradient is calculated based on the following data.
  • I (x, y) is a pixel value at the position of coordinates (x, y).
  • abs () indicates an absolute value.
  • the lower right 45 degree direction (D) gradient corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 10, that is, gradD (2, 2) is calculated according to the following equation.
  • a D , b D , and c D are weighting factors defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high frequency component. Therefore, it is desirable that the magnitude relationship between the weighting coefficients in the above equation is a D , b D > c D.
  • FIG. 11 illustrates an example of the upper right 22.5 degree direction (A2) gradient calculation process corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels illustrated in FIG. 11.
  • the upper right 22.5 degree direction (A2) gradient is calculated based on the following data.
  • the high-frequency component upper right 22.5 degree direction (A2) gradient: gradA2_high cannot be directly calculated from the pixel value of the output image from the image sensor as shown in FIG.
  • the pixel value at the correct pixel position is calculated as an interpolated pixel value of a plurality of output pixel values, and this interpolated pixel value is applied to calculate a high-frequency component upper right 22.5 degree direction (A2) gradient: gradA2_high.
  • I (x, y) is a pixel value at the position of coordinates (x, y).
  • abs () indicates an absolute value.
  • the upper right 22.5 degree direction (A2) gradient corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 11, that is, gradA2 (2, 2) is calculated according to the following equation.
  • a A2 and b A2 are weight coefficients defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high frequency component. For this reason, it is desirable that the magnitude relationship of the weighting coefficients in the above equation is a A2 > b A2 .
  • the example shown in FIG. 12 shows a lower right 22.5 degree direction (D2) gradient calculation processing example corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG.
  • the lower right 22.5 degree direction (D2) gradient is calculated based on the following data.
  • D2_high Since the high-frequency component lower right 22.5 degree direction (D2) gradient: gradD2_high cannot be directly calculated from the pixel value of the output image from the image sensor as shown in FIG. A pixel value at a specific pixel position is calculated as an interpolated pixel value of a plurality of output pixel values, and this interpolated pixel value is applied to calculate a high-frequency component lower right 22.5 degree direction (D2) gradient: gradD2_high.
  • I (x, y) is a pixel value at the position of coordinates (x, y).
  • abs () indicates an absolute value.
  • the lower right 22.5 degree direction (D) gradient corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 12, that is, gradD (2, 2) is calculated according to the following equation.
  • a D2 and b D2 are weight coefficients defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high frequency component. For this reason, it is desirable that the magnitude relationship between the weighting coefficients in the above equation is a D2 > b D2 .
  • FIG. 13 shows a 67.5 degree upper (6) direction (A3) gradient calculation processing example corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG.
  • the upper right 67.5 degree direction (A3) gradient is calculated based on the following data.
  • the high-frequency component upper right 67.5 degree direction (A3) gradient: gradA3_high cannot be directly calculated from the pixel value of the output image from the image sensor as shown in FIG.
  • a pixel value at a correct pixel position is calculated as an interpolated pixel value of a plurality of output pixel values, and this interpolated pixel value is applied to calculate a high-frequency component upper right 67.5 degree direction (A3) gradient: gradA3_high.
  • I (x, y) is a pixel value at the position of coordinates (x, y).
  • abs () indicates an absolute value.
  • the upper right 67.5 degree direction (A3) gradient corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 13, that is, gradA3 (2, 2) is calculated according to the following equation.
  • a A3 and b A3 are weight coefficients defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high frequency component. For this reason, it is desirable that the magnitude relationship between the weighting coefficients in the above equation is a A3 > b A3 .
  • FIG. 14 shows a lower right 67.5 degree direction (D3) gradient calculation processing example corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG.
  • the lower right 67.5 degree direction (D3) gradient is calculated based on the following data.
  • the high-frequency component lower right 67.5 degree direction (D3) gradient: gradD3_high cannot be directly calculated from the pixel value of the output image from the image sensor as shown in FIG.
  • a pixel value at a specific pixel position is calculated as an interpolated pixel value of a plurality of output pixel values, and the interpolated pixel value is applied to calculate a high-frequency component lower right 67.5 degree direction (D3) gradient: gradD3_high.
  • I (x, y) is a pixel value at the position of coordinates (x, y).
  • abs () indicates an absolute value.
  • the lower right 67.5 degree direction (D) gradient corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 14, that is, gradD (2, 2) is calculated according to the following equation.
  • a D3 and b D3 are weight coefficients defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high frequency component. Therefore, it is desirable that the magnitude relationship between the weighting coefficients in the above equation is a D3 > b D3 .
  • step S203 G interpolation processing is executed. This is G interpolation processing for estimating and setting the G pixel value at the RB position of the four-divided Bayer RGB array image.
  • the pixel value gradient information calculated in step S151 is applied, and an interpolation process is performed using a pixel value in a direction with a smaller pixel value gradient as a reference pixel value.
  • FIG. 15 shows an example of processing for calculating the interpolated pixel value of the G pixel with respect to the B pixel position of the pixel position (2, 2) of the 6 ⁇ 6 pixel quadrant Bayer RGB array image shown in FIG.
  • an interpolation pixel value is calculated using pixels in the respective directions as reference pixel values. That is, Interpolated pixel value with the pixel in the horizontal direction (H) as a reference pixel: itp_GH, Interpolated pixel value using a pixel in the vertical direction (V) as a reference pixel: itp_GV, Interpolated pixel value with the pixel in the upper right 45 degree direction (A) as the reference pixel: itp_GA, Interpolated pixel value with the pixel in the lower right 45 degree direction (D) as a reference pixel: itp_GD, Interpolated pixel value with the pixel in the upper right 22.5 degree direction (A2) as a reference pixel: itp_GA2, Interpolated pixel value: itp_GA3 with the pixel in the upper right 67.5 degree direction (A3) as the reference pixel Interpolated pixel value: itp_GD2, with the pixel in the lower right 22.5 degree direction (D2) as the reference pixel
  • interpolation pixel values for example, selection processing in a direction with a small gradient is performed, and blending processing of the calculated interpolation value according to the selection direction is performed to determine a final interpolation value.
  • the above eight interpolation pixel values are calculated according to the following equation.
  • FIG. 16 shows an example of processing for calculating the interpolated pixel value of the G pixel with respect to the B pixel position at the pixel position (3, 2) in the 6 ⁇ 6 pixel quadrant Bayer RGB array image shown in FIG.
  • an interpolation pixel value is calculated using pixels in the respective directions as reference pixel values. That is, Interpolated pixel value with the pixel in the horizontal direction (H) as a reference pixel: itp_GH, Interpolated pixel value using a pixel in the vertical direction (V) as a reference pixel: itp_GV, Interpolated pixel value with the pixel in the upper right 45 degree direction (A) as the reference pixel: itp_GA, Interpolated pixel value with the pixel in the lower right 45 degree direction (D) as a reference pixel: itp_GD, Interpolated pixel value with the pixel in the upper right 22.5 degree direction (A2) as a reference pixel: itp_GA2, Interpolated pixel value: itp_GA3 with the pixel in the upper right 67.5 degree direction (A3) as the reference pixel Interpolated pixel value: itp_GD2, with the pixel in the lower right 22.5 degree direction (D2) as the reference pixel
  • interpolation pixel values for example, selection processing in a direction with a small gradient is performed, and blending processing of the calculated interpolation value according to the selection direction is performed to determine a final interpolation value.
  • the above eight interpolation pixel values are calculated according to the following equation.
  • FIG. 17 shows an example of processing for calculating the interpolated pixel value of the G pixel with respect to the B pixel position of the pixel position (2, 3) of the 6 ⁇ 6 pixel quadrant Bayer RGB array image shown in FIG.
  • an interpolation pixel value is calculated using pixels in the respective directions as reference pixel values. That is, Interpolated pixel value with the pixel in the horizontal direction (H) as a reference pixel: itp_GH, Interpolated pixel value using a pixel in the vertical direction (V) as a reference pixel: itp_GV, Interpolated pixel value with the pixel in the upper right 45 degree direction (A) as the reference pixel: itp_GA, Interpolated pixel value with the pixel in the lower right 45 degree direction (D) as a reference pixel: itp_GD, Interpolated pixel value with the pixel in the upper right 22.5 degree direction (A2) as a reference pixel: itp_GA2, Interpolated pixel value: itp_GA3 with the pixel in the upper right 67.5 degree direction (A3) as the reference pixel Interpolated pixel value: itp_GD2, with the pixel in the lower right 22.5 degree direction (D2) as the reference pixel
  • interpolation pixel values for example, selection processing in a direction with a small gradient is performed, and blending processing of the calculated interpolation value according to the selection direction is performed to determine a final interpolation value.
  • FIG. 18 shows an example of processing for calculating the interpolated pixel value of the G pixel with respect to the B pixel position of the pixel position (3, 3) of the 6 ⁇ 6 pixel quadrant Bayer RGB array image shown in FIG.
  • an interpolation pixel value is calculated using pixels in the respective directions as reference pixel values. That is, Interpolated pixel value with the pixel in the horizontal direction (H) as a reference pixel: itp_GH, Interpolated pixel value using a pixel in the vertical direction (V) as a reference pixel: itp_GV, Interpolated pixel value with the pixel in the upper right 45 degree direction (A) as the reference pixel: itp_GA, Interpolated pixel value with the pixel in the lower right 45 degree direction (D) as a reference pixel: itp_GD, Interpolated pixel value with the pixel in the upper right 22.5 degree direction (A2) as a reference pixel: itp_GA2, Interpolated pixel value: itp_GA3 with the pixel in the upper right 67.5 degree direction (A3) as the reference pixel Interpolated pixel value: itp_GD2, with the pixel in the lower right 22.5 degree direction (D2) as the reference pixel
  • interpolation pixel values for example, selection processing in a direction with a small gradient is performed, and blending processing of the calculated interpolation value according to the selection direction is performed to determine a final interpolation value.
  • the interpolation pixel value of the G pixel at the pixel position of the R or B pixel in the four-divided Bayer type RGB array image is set for each of the eight directions in which the gradient detection is performed.
  • the pixel value in the direction is calculated as an interpolated pixel value using the reference pixel value.
  • interpolation pixel values for example, selection processing in a direction with a small gradient is performed, and blending processing of the calculated interpolation value according to the selection direction is performed to determine a final interpolation value.
  • the final interpolation pixel value is calculated by executing a blend process using the interpolation pixel value corresponding to the direction selected according to the algorithm. Specifically, for example, if the maximum value of gradHV, gradAD, gradA2A3D2D3 is less than or equal to the threshold value, the smoothed signal of the surrounding pixels is output as the interpolated pixel value.
  • step S203 when the G interpolation process, which is a G pixel value setting process for the RB pixel position, is completed, the process proceeds to step S204.
  • step S204 it is determined whether or not the G estimated pixel position has been estimated. That is, it is determined whether or not the pixel position that was originally an RB pixel is a pixel set with a G pixel value calculated by interpolation processing. If it is the G estimated pixel position, the process proceeds to the output selection process in step S213.
  • step S205 determines whether or not a false color is detected.
  • the false color detection process in step S205 will be described.
  • the 4-part Bayer RGB array image has a lower RB sampling rate than G. Therefore, aliasing is likely to occur in the low frequency range for RB.
  • G does not alias at half the Nyquist frequency, that is, 1/2 Nq, and has a high frequency component, while RB loses the high frequency component due to aliasing.
  • aliasing is detected by comparing the Laplacians of appropriate bands of the G signal and the RB signal.
  • G_lpl and RB_lpl are calculated with a gradient (or Laplacian (lpl)) that can detect 1/2 of the Nyquist frequency, that is, 1 / 2Nq, and the difference is used for detection.
  • step S205 If a false color is detected in step S205, false color correction is executed in step S206.
  • the existing processing can be applied to the false color correction processing situation.
  • a specific example of false color correction will be described.
  • the LMTX in the detection area is weakened in the ISP.
  • a process such as achromatic color can be applied by reverse WB.
  • step S207 executes the RB estimation process.
  • This process is a process for setting an RB at the RGB position in the four-divided Bayer RGB array that is necessary to convert the four-divided Bayer RGB array image into a Bayer array image.
  • this RB estimation process is an interpolation process based on an estimation that there is a correlation between the pixel value of the G pixel and the pixel value of the RB pixel in a local region, for example, a 7 ⁇ 7 pixel local region, That is, color correlation interpolation processing is executed.
  • step S211 it is determined whether or not the G estimated pixel position is the same as that in step S204, that is, the G pixel value is estimated. That is, it is determined whether or not the pixel position that was originally an RB pixel is a pixel set with a G pixel value calculated by interpolation processing. If it is the G estimated pixel position, the process proceeds to the output selection process in step S213. If the determination is No, the process proceeds to step S212.
  • step S212 RB estimation processing similar to that in step S207 is executed.
  • this RB estimation process for example, as shown in FIG. 19, an interpolation process based on an estimation that the pixel value of the G pixel and the pixel value of the RB pixel have a correlation in the local region, that is, a color correlation interpolation process is executed.
  • step S213 output pixel selection processing is performed. That is, Yes in step S204, Processing result of step S207, Yes in step S211, Processing result of step S212, From these results, a pixel value corresponding to the Bayer array is selected as an output pixel.
  • step S214 it is determined whether or not the processing for all the processing target pixels has been completed. When pixels that have not been processed remain, the processes in and after step S201 are performed on the unprocessed pixels. The process ends based on the determination that all pixel processing is complete.
  • the technology disclosed in this specification can take the following configurations. (1) having an image signal correction unit that executes a re-mosaic process for converting a pixel arrangement of an input image;
  • the image signal correction unit As the input image, a mosaic image in which pixel blocks configured by a plurality of pixels of the same color are arranged is input, In the constituent pixels of the input image, a pixel value gradient in eight directions at a conversion target pixel position to be subjected to color conversion processing is detected, Based on the pixel value gradient in the eight directions, determine an interpolation pixel value calculation mode of the conversion target pixel, An image processing apparatus that calculates an interpolated pixel value at the conversion target pixel position in accordance with the determined processing mode.
  • the image signal correcting unit inputs a mosaic image in which pixel blocks each including a plurality of pixels of the same color are arranged as the input image, and converts the pixel arrangement of the input image into a different pixel arrangement.
  • the image signal correction unit detects a pixel value gradient in eight directions at a conversion target pixel position to be a color conversion process among the constituent pixels of the input image.
  • the image processing device according to (1), wherein an interpolation pixel value calculation mode of the conversion target pixel is determined based on a pixel value gradient, and an interpolation pixel value of the conversion target pixel position is calculated according to the determined processing mode.
  • the image signal correcting unit inputs, as the input image, an image having a four-divided Bayer type RGB array in which each color of the Bayer type RGB array is arranged in units of 2 ⁇ 2 pixels, and the input image is Bayer array
  • the image processing apparatus according to (1) or (2), wherein the re-mosaic process for converting the image data to the image data is executed.
  • the image signal correction unit selects a pixel in a direction with a small gradient as a reference pixel based on the pixel value gradient in the eight directions, and blends the pixel values of the selected reference pixel to perform the conversion target pixel.
  • the image processing apparatus according to any one of (1) to (3), wherein a process for calculating an interpolation pixel value of the first is executed.
  • the image signal correction unit interpolates the smoothed signal based on the pixel values of the surrounding pixels of the conversion target pixel.
  • the image processing apparatus according to any one of (1) to (4), wherein a process for calculating a pixel value is executed.
  • the image signal correction unit may calculate the gradient in at least one direction.
  • the image signal correction unit includes: When calculating the gradient in at least one direction, A low-frequency component gradient applying pixels of the same color included in the input image; A high-frequency component gradient applying pixels of the same color included in the input image; A medium frequency component gradient applying pixels of the same color included in the input image; The image processing apparatus according to any one of (1) to (6), wherein a pixel value gradient is calculated by weighted addition of the three gradient information.
  • the image signal correction unit includes: At the time of calculating the gradient in at least one direction, a low-frequency component gradient to which pixels of the same color included in the input image are applied and a high-frequency component gradient to which pixels of the same color included in the input image are applied are calculated, The image processing apparatus according to any one of (1) to (7), wherein a pixel value gradient is calculated by weighted addition of the two gradient information.
  • the image signal correction unit includes: When calculating the vertical and horizontal gradients, Low frequency component gradient information applying pixels of the same color included in the input image; High frequency component gradient information applying pixels of the same color included in the input image; and Inter-color wave component gradient information applying different color pixels included in the input image; And the pixel value gradient is calculated by weighted addition of the above three gradient information, When calculating the slope in the upper right 45 degree direction and the lower right 45 degree direction, Low frequency component gradient information applying pixels of the same color included in the input image; High frequency component gradient information applying pixels of the same color included in the input image; and Medium frequency component gradient information applying pixels of the same color included in the input image; And the pixel value gradient is calculated by weighted addition of the above three gradient information, When calculating the gradient in the upper right 22.5 degree direction, the lower right 22.5 degree direction, the upper right 67.5 degree direction, and the lower right 67.5 degree direction, Low frequency component gradient information applying pixels of the same color included in the input image; High
  • the image signal correction unit The image processing device according to any one of (1) to (9), wherein an interpolation pixel value calculation process in which a reference pixel position is changed in accordance with a constituent pixel position of a pixel block constituted by the plurality of pixels of the same color is executed. .
  • a method of processing executed in the above-described apparatus and system, a program for executing the processing, and a recording medium recording the program are also included in the configuration of the present disclosure.
  • the series of processing described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • an apparatus and a method for executing a re-mosaic process for converting into an image having a different pixel arrangement are realized.
  • a mosaic image in which pixel blocks composed of a plurality of pixels having the same color are input as an input image, and a re-mosaic process is performed to convert the pixel array of the input image into a different pixel array.
  • the pixel value gradient in the eight directions at the conversion target pixel position to be subjected to the color conversion process is detected from the constituent pixels of the input image, and the interpolation pixel value of the conversion target pixel is determined based on the pixel value gradient in the eight directions.
  • a calculation mode is determined, and an interpolation pixel value at the conversion target pixel position is calculated according to the determined processing mode. For example, an image having a four-divided Bayer RGB array in which each color of the Bayer RGB array is arranged in units of 2 ⁇ 2 pixels is converted into a Bayer array.

Abstract

異なる画素配列の画像に変換するリモザイク処理を実行する装置、方法を提供する。入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行する。このリモザイク処理において、入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、８方向の画素値勾配に基づいて、変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。例えば、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像をベイヤ配列に変換する。

Description

画像処理装置、および画像処理方法、並びにプログラム
　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像のリモザイク処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
　デジタルカメラ等の撮像装置に利用される撮像素子には、例えばＲＧＢ配列からなるカラーフィルタが装着され、各画素に特定の波長光を入射する構成となっている。
　具体的には、例えばベイヤ（Ｂａｙｅｒ）配列を持つカラーフィルタが多く利用されている。
　ベイヤ配列の撮像画像は、撮像素子の各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像となる。カメラの信号処理部は、このモザイク画像に対して画素値補間などの様々な信号処理を施して各画素にＲＧＢの全画素値を設定するデモザイク処理等を行い、カラー画像を生成して出力する。
　このベイヤ配列に従ったカラーフィルタを備えた撮像画像に対する信号処理については、すでに多くの検討がなされ、ある程度、技術的に確立されていると言える。しかし、ベイヤ配列と異なる配列を持つ画像に対する信号処理については、まだ十分な検討がなされていないというのが現状である。
　一般的なカメラにおける信号処理は、ベイヤ配列画像に対して実行する設定としたものが多く、撮像素子の画素配列がベイヤ配列と異なる配列である場合、撮像素子からの入力する画像の画素配列をベイヤ配列に変換してカメラ信号処理部に入力することで、既存の信号処理を適用することが可能となる。
　このため、ベイヤ配列以外の画素配列の撮像画像については、カメラ信号処理部へ入力する前の前処理として撮像素子からの入力画像をベイヤ配列に変換する処理を実行することが好ましい。このような画素配列の変換処理は「リモザイク処理」と呼ばれる。しかし、撮像素子の画素配列には様々な配列があり、これら様々な画素配列に対する最適なリモザイク処理について十分に開示している従来技術はない。
　なお、ベイヤ配列と異なる配列を持つ構成については、例えば、特許文献２（特開平１１－２９８８０号公報）、特許文献３（特開２０００－６９４９１号公報）などに記載がある。
　これらの特許文献２，３は、撮像素子（イメージセンサ）に２×２画素のＲ画素、２×２画素のＧ画素、２×２画素のＢ画素等、同色の複数画素を配置する設定とし、同一色の２×２画素の構成画素を異なる露光時間に設定して撮影を実行するものである。特許文献２，３では、このようなイメージセンサで撮影された異なる露光時間の同色の画素値の合成を実行して、広ダイナミックレンジ画像を得る構成について説明している。
　しかし、これらの文献は、複数の異なる露光時間の画素値の合成に基づく広ダイナミックレンジ画像の生成について説明しているものであり、リモザイク処理についての明確な説明は記載していない。
特開２０１１－０５５０３８号公報 特開平１１－２９８８０号公報 特開２０００－６９４９１号公報
　本開示は、例えば上記問題点に鑑みてなされたものであり、ベイヤ（Ｂａｙｅｒ）配列と異なる配列を持つカラーフィルタを備えた撮像素子によって撮影された画像に対する画像処理、特に最適なリモザイク処理を実行する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
　本開示の第１の側面は、
　入力画像の画素信号の補正処理を実行する画像信号補正部を有し、
　前記画像信号補正部は、
　前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、
　前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
　前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
　決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する画像処理装置にある。
　さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行し、前記画像信号補正部は、前記リモザイク処理において、前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記入力画像として、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像を入力し、該入力画像をベイヤ配列に変換するリモザイク処理を実行する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配に基づいて、勾配の小さい方向の画素を参照画素として選択し、選択した参照画素の画素値のブレンド処理によって、前記変換対象画素の補間画素値を算出する処理を実行する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の最大値が既定閾値以下である場合、前記変換対象画素の周囲画素の画素値に基づく平滑化信号を前記変換対象画素の補間画素値として算出する処理を実行する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
　前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
　前記入力画像に含まれる同一色の画素を適用した中周波成分勾配と、
　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
　を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、垂直方向と水平方向の勾配算出に際して、
　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
　前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
　右上４５度方向と右下４５度方向の勾配算出に際して、
　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
　前記入力画像に含まれる同一色の画素を適用した中周波成分勾配情報と、
　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
　右上２２．５度方向と、右下２２．５度方向と、右上６７．５度方向と、右下６７．５度方向の勾配算出に際して、
　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
　を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記複数の同一色画素によって構成される画素ブロックの構成画素位置に応じて、参照画素位置を変更した補間画素値算出処理を実行する。
　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　画像信号補正部が、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
　前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
　前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
　決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行する画像処理方法のにある。
　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　画像信号補正部に、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
　前記リモザイク処理において、
　前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
　前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
　決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、異なる画素配列の画像に変換するリモザイク処理を実行する装置、方法が実現される。
　具体的には、入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行する。このリモザイク処理において、入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、８方向の画素値勾配に基づいて、変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。例えば、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像をベイヤ配列に変換する。
撮像素子の構成例について説明する図である。 画像処理装置の構成例について説明する図である。 本開示の画像処理装置の実行する処理について説明するフローチャートを示す図である。 本開示の画像処理装置の実行する処理について説明するフローチャートを示す図である。 本開示の画像処理装置の実行する方向判定処理について説明する図である。 本開示の画像処理装置の実行する方向判定処理について説明する図である。 本開示の画像処理装置の実行する方向判定処理について説明する図である。 本開示の画像処理装置の実行する方向判定処理について説明する図である。 本開示の画像処理装置の実行する方向判定処理について説明する図である。 本開示の画像処理装置の実行する方向判定処理について説明する図である。 本開示の画像処理装置の実行する方向判定処理について説明する図である。 本開示の画像処理装置の実行する方向判定処理について説明する図である。 本開示の画像処理装置の実行する方向判定処理について説明する図である。 本開示の画像処理装置の実行する方向判定処理について説明する図である。 本開示の画像処理装置の実行するＧ補間処理について説明する図である。 本開示の画像処理装置の実行するＧ補間処理について説明する図である。 本開示の画像処理装置の実行するＧ補間処理について説明する図である。 本開示の画像処理装置の実行するＧ補間処理について説明する図である。 本開示の画像処理装置の実行するＲＢ推定処理について説明する図である。
　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　　１．撮像素子の構成例について
　　２．画像処理装置の構成例について
　　３．画像処理の具体例について
　　４．リモザイク処理の詳細について
　　５．本開示の構成のまとめ
　　［１．撮像素子の構成例について］
　図１を参照して撮像素子の構成例について説明する。図１には、以下の３つの撮像素子構成例を示している。
　（１）ベイヤ（Ｂａｙｅｒ）配列
　（２）４分割ベイヤ型ＲＧＢ配列
　（３）ＲＧＢＷ型配列
　（１）ベイヤ（Ｂａｙｅｒ）配列は多くのカメラにおいて採用されている配列であり、このベイヤ配列を持つカラーフィルタを持つ撮像画像に対する信号処理はほぼ確立している。
　しかし、（２）４分割ベイヤ型ＲＧＢ配列や、（３）ＲＧＢＷ型配列については、まだ、これらのフィルタを備えた撮像素子によって撮影された画像に対する信号処理について十分な検討がなされているとは言えないというのが現状である。
　なお、（２）４分割ベイヤ型ＲＧＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
　以下、この（２）４分割ベイヤ型ＲＧＢ配列を持つカラーフィルタを備えた撮像素子によって撮影される画像に対する信号処理を実行する画像処理装置について説明する。
　　［２．画像処理装置の構成例について］
　図２に、本開示の画像処理装置の一構成例である撮像装置１００の構成例を示す。
　撮像装置１００は、図２に示すように、光学レンズ１０５、撮像素子（イメージセンサ）１１０、画像処理部１２０、メモリ１３０、制御部１４０を有する。
　なお、図２に示す撮像装置１００は本開示の画像処理装置の一例であり、本開示の画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図２に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１００の取得データの入力部、または記憶部を持つ構成となる。
　以下では、図２に示す撮像装置１００を本開示の画像処理装置の代表例として説明する。なお、図２に示す撮像装置１００は、例えばスチルカメラ、ビデオカメラなどである。
　図２に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列からなるカラーフィルタを備えた構成である。
　赤色近傍の波長を透過する赤（Ｒ）、
　緑色近傍の波長を透過する緑（Ｇ）、
　青色近傍の波長を透過する青（Ｂ）、
　これら３種類の分光特性を持つフィルタを備えた撮像素子である。
　先に説明したように、４分割ベイヤ型ＲＧＢ配列は、図１（１）に示すベイヤ配列の１つの画素を４つの画素として設定した配列に相当する。
　この４分割ベイヤ型ＲＧＢ配列１８１を持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢ３種類の分光から成るモザイク画像が得られる。
　撮像素子（イメージセンサ）１１０の出力信号は画像処理部１２０の画像信号補正部２００に入力される。
　画像信号補正部２００は、４分割ベイヤ型ＲＧＢ配列１８１を持つ画像を一般的なカメラに多く用いられるベイヤ配列１８２に変換する処理を実行する。
　すなわち、図１（２）に示す４分割ベイヤ型ＲＧＢ配列を持つ撮像画像を図１（１）に示すベイヤ配列に変換する処理を行う。
　以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。
　画像信号補正部２００におけるリモザイク処理の結果として図２に示すベイヤ配列１８２を持つ画像が生成され、この画像がＲＧＢ信号処理部２５０に入力される。ＲＧＢ信号処理部２５０は、既存のベイヤ配列のカラーフィルタを備えたカメラにおける信号処理部と同様の処理、例えばＷＢ（ホワイトバランス）調整、各画素にＲＧＢ各画素値を設定するデモザイク処理等を実行してカラー画像１８３を生成して出力する。カラー画像１８３はメモリ１３０に格納される。
　なお、光学レンズ１０５、撮像素子１１０、画像処理部１２０には制御部１４０からの制御信号が入力され、撮影処理制御、信号処理制御が実行される。制御部１４０は、例えばメモリ１３０に格納されたプログラムに従い、例えば図示しない入力部からのユーザ入力に応じて画像撮影他、各種の処理を実行する。
　　［３．画像処理の具体例について］
　次に、図２の画像処理部１２０において実行する処理について、図３以下を参照して説明する。
　図３（ａ）は、画像処理部１２０において実行する処理の全体を示す信号処理全体シーケンスである。
　まずステップＳ１０１において撮像素子１１０から撮像画像を入力する。
　この撮像画像は、４分割ベイヤ型ＲＧＢ配列１８１を持つ画像である。
　次に、ステップＳ１０２において、リモザイク処理を実行する。これは、図２に示す画像信号補正部２００の実行する処理であり、４分割ベイヤ型ＲＧＢ配列１８１を持つ撮像画像をベイヤ配列１８２に変換する処理である。
　この処理の詳細を示すのが、図３（ｂ）に示すフローである。この処理については後述する。
　ステップＳ１０２においてリモザイク処理が完了すると、リモザイク処理の結果として図２に示すベイヤ配列１８２を持つ画像が生成される。
　ステップＳ１０３以下は、図２に示すＲＧＢ信号処理部２５０の処理であり、一般的なカメラにおいて実行され信号処理である。
　ステップＳ１０３では、ホワイトバランス（ＷＢ）調整処理を実行する。
　ステップＳ１０４では、各画素にＲＧＢ各画素値を設定するデモザイク処理を実行する。
　ステップＳ１０５では、混色除去等のための線形マトリクス（ＬＭＴＸ）処理を実行する。
　最後に、ステップＳ１０６において、出力画像として図２に示すカラー画像１８３を生成して出力する。
　ステップＳ１０２のリモザイク処理は、図３（ｂ）に示すフローに従って実行する。これは、４分割ベイヤ型ＲＧＢ配列画像をヘイヤ配列画像に変換する処理である。
　なお、リモザイク処理の詳細については、さらに、図４以下を参照して詳細に説明する。
　まず、図３（ｂ）に示すフローを参照してリモザイク処理の概要を説明する。
　まず、ステップＳ１５１において、
　入力画像である４分割ベイヤ型ＲＧＢ配列画像の画素値勾配の方向判定を行う。これはいわゆるエッジ方向判定に相当する処理である。
　次に、ステップＳ１５２において、４分割ベイヤ型ＲＧＢ配列画像のＲＢ位置のＧ画素値を推定し設定するＧ補間処理を行う。この補間処理に際しては、ステップＳＺ１５１において算出した画素値勾配情報を適用し、画素値勾配の小さい方向の画素値を参照画素値とした補間処理を行う。
　さらに、ステップＳ１５３において、Ｇ信号位置のＲＢ画素値の推定を行う。この推定処理は、例えば、Ｇ画素値とＲＢ画素値が所定の局所領域内で一定の相関を有するとの推定に基づいて行う。
　これらのステップＳ１５２、Ｓ１５３の処理によって、４分割ベイヤ型ＲＧＢ配列１８１を持つ撮像画像をベイヤ配列１８２に変換する基本的な画素値設定が行われる。
　さらに、この処理に並列して、ステップＳ１５４における偽色検出と、ステップＳ１５５における偽色補正を実行する。
　撮像素子（イメージセンサ）１１０に入力される信号中に撮像素子（イメージセンサ）１１０のナイキスト周波数（サンプリング周波数の１／２の周波数）を超えた信号が含まれる場合、サンプリング定理に基づくエイリアシング（折り返し）が発生し、画質劣化、具体的には偽色の発生要因となる。
　ステップＳ１５４～Ｓ１５５ではこのような偽色検出と偽色補正を実行する。
　ステップＳ１５６では、ステップＳ１５４～Ｓ１５５における偽色検出と偽色補正の結果を反映したベイヤ配列画像を生成して出力する。
　　［４．リモザイク処理の詳細について］
　次に、図４に示すフローチャートおよび図５以下の処理例を参照してリモザイク処理の詳細について説明する。
　図４に示すフローチャートは、図３（ａ）の全体処理フローのステップＳ１０２の処理に対応し、図３（ｂ）のフローをさらに詳細に示したフローチャートである。
　図４に示すフローについて説明する。図４に示すフローは、図２に示す画像信号補正部２００において実行するリモザイク処理のシーケンスを説明するフローである。
　図２に示す画像信号補正部２００は、撮像素子１１０から、４分割ベイヤ型ＲＧＢ配列画像の各画素値を順次、入力して図４に示すフローに従った処理を実行する。
　まず、ステップＳ２０１において、入力画素値がＧ画素であるか否かを判定する。
　Ｇ画素でない場合、すなわちＲＢ画素である場合はステップＳ２０２に進み、方向判定を行う。
　この方向判定は、画素値の勾配（ｇｒａｄ）を判定する処理である。エッジ方向判定と同様の処理として実行される。
　ステップＳ２０２の方向判定処理について、図５以下を参照して説明する。
　画素値の勾配（ｇｒａｄ）は、図５に示すように、
　水平方向（Ｈ）、
　垂直方向（Ｖ）、
　右上４５度方向（Ａ）、
　右下４５度方向（Ｄ）、
　これらの４方向に加え、さらに、
　右上２２．５度方向（Ａ２）、
　右上６７．５度方向（Ａ３）、
　右下２２．５度方向（Ｄ２）、
　右下６７．５度方向（Ｄ３）、
　これら４方向の計８方向について算出する。
　先に図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列は、図１（１）に示すベイヤ配列に比較して、同色成分のサンプリング間隔が疎であるため、折り返しが、１／２ナイキスト周波数で発生してしまう。
　このような周波数の折り返しパターンを精度よく検出するため、本開示の方向判定は、上述のように、多数の８方向で判定を実行する。
　なお、本実施例では、これらの多数の方向の勾配検出を行う場合、例えば、各勾配方向から同一色画素のみを選択して算出する勾配情報に加え、図６に示すように、異色間の画素値比較による水平・垂直の勾配を検出し、これらの異色間の画素値比較による水平・垂直の勾配情報についても考慮した処理を行う。なお、このような異色の画素値による勾配検出を実行する場合、勾配検出に適用する各画素のホワイトバランス（ＷＢ）を揃えた後に実行することが好ましい。図７以下を参照して各方向の勾配検出処理の詳細について説明する。
　　（水平方向（Ｈ）勾配：ｇｒａｄＨ）
　図７に示す例は、図７に示す６×６画素の座標位置（２，２）に対応する水平方向（Ｈ）勾配算出処理例を示している。
　水平方向（Ｈ）勾配は、以下のデータに基づいて算出する。
　低周波成分水平方向（Ｈ）勾配：ｇｒａｄＨ＿ｌｏｗ
　高周波成分水平方向（Ｈ）勾配：ｇｒａｄＨ＿ｈｉｇｈ
　異色間成分水平方向（Ｈ）勾配：ｇｒａｄＨ＿ｃｏｌｏｒ
　なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
　ａｂｓ（）は絶対値を示す。
　図７に示す６×６画素の座標位置（２，２）に対応する水平方向（Ｈ）勾配、すなわち、ｇｒａｄＨ（２，２）は、以下の式に従って算出する。
Figure JPOXMLDOC01-appb-M000001
　なお、上記式において、ａＨ、ｂＨ、ｃＨは、予め規定した重み係数である。
　一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
　そのため、上記の重み係数の大小関係はａＨ＞ｂＨとすることが望ましい。
　また、１／２Ｎｑ近傍で方向判定を間違えると強い偽色を発生することになる。
　この領域での誤判定を充分に抑制するため、ｃＨ＞ａＨと設定することが望ましい。
　　（垂直方向（Ｖ）勾配：ｇｒａｄＶ）
　図８に示す例は、図８に示す６×６画素の座標位置（２，２）に対応する垂直方向（Ｖ）勾配算出処理例を示している。
　垂直方向（Ｖ）勾配は、以下のデータに基づいて算出する。
　低周波成分垂直方向（Ｖ）勾配：ｇｒａｄＶ＿ｌｏｗ
　高周波成分垂直方向（Ｖ）勾配：ｇｒａｄＶ＿ｈｉｇｈ
　異色間成分垂直方向（Ｖ）勾配：ｇｒａｄＶ＿ｃｏｌｏｒ
　なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
　ａｂｓ（）は絶対値を示す。
　図８に示す６×６画素の座標位置（２，２）に対応する垂直方向（Ｖ）勾配、すなわち、ｇｒａｄＶ（２，２）は、以下の式に従って算出する。
Figure JPOXMLDOC01-appb-M000002
　なお、上記式において、ａＶ、ｂＶ、ｃＶは、予め規定した重み係数である。
　前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
　そのため、重み係数の大小関係はａＶ＞ｂＶとすることが望ましい。
　また、１／２Ｎｑ近傍で方向判定を間違えると強い偽色を発生することになる。
　この領域での誤判定を充分に抑制するため、ｃＶ＞ａＶと設定することが望ましい。
　　（右上４５度方向（Ａ）勾配：ｇｒａｄＡ）
　図９に示す例は、図９に示す６×６画素の座標位置（２，２）に対応する右上４５度方向（Ａ）勾配算出処理例を示している。
　右上４５度方向（Ａ）勾配は、以下のデータに基づいて算出する。
　中周波成分右上４５度方向（Ａ）勾配：ｇｒａｄＡ＿ｍｉｄ
　低周波成分右上４５度方向（Ａ）勾配：ｇｒａｄＡ＿ｌｏｗ
　高周波成分右上４５度方向（Ａ）勾配：ｇｒａｄＡ＿ｈｉｇｈ
　なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
　ａｂｓ（）は絶対値を示す。
　図９に示す６×６画素の座標位置（２，２）に対応する右上４５度方向（Ａ）勾配、すなわち、ｇｒａｄＡ（２，２）は、以下の式に従って算出する。
Figure JPOXMLDOC01-appb-M000003
　なお、上記式において、ａＡ、ｂＡ、ｃＡは、予め規定した重み係数である。
　前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
　そのため、上記式における重み係数の大小関係はａＡ，ｂＡ＞ｃＡとすることが望ましい。
　　（右下４５度方向（Ｄ）勾配：ｇｒａｄＤ）
　図１０に示す例は、図１０に示す６×６画素の座標位置（２，２）に対応する右下４５度方向（Ｄ）勾配算出処理例を示している。
　右下４５度方向（Ｄ）勾配は、以下のデータに基づいて算出する。
　中周波成分右下４５度方向（Ｄ）勾配：ｇｒａｄＤ＿ｍｉｄ
　低周波成分右下４５度方向（Ｄ）勾配：ｇｒａｄＤ＿ｌｏｗ
　高周波成分右下４５度方向（Ｄ）勾配：ｇｒａｄＤ＿ｈｉｇｈ
　なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
　ａｂｓ（）は絶対値を示す。
　図１０に示す６×６画素の座標位置（２，２）に対応する右下４５度方向（Ｄ）勾配、すなわち、ｇｒａｄＤ（２，２）は、以下の式に従って算出する。
Figure JPOXMLDOC01-appb-M000004
　なお、上記式において、ａＤ、ｂＤ、ｃＤは、予め規定した重み係数である。
　前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
　そのため、上記式における重み係数の大小関係はａＤ，ｂＤ＞ｃＤとすることが望ましい。
　　（右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２）
　図１１に示す例は、図１１に示す６×６画素の座標位置（２，２）に対応する右上２２．５度方向（Ａ２）勾配算出処理例を示している。
　右上２２．５度方向（Ａ２）勾配は、以下のデータに基づいて算出する。
　中央成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｃｅｎｔｅｒ
　高周波成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｈｉｇｈ
　なお、高周波成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｈｉｇｈは、図１１に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｈｉｇｈを算出する。
　なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
　ａｂｓ（）は絶対値を示す。
　図１１に示す６×６画素の座標位置（２，２）に対応する右上２２．５度方向（Ａ２）勾配、すなわち、ｇｒａｄＡ２（２，２）は、以下の式に従って算出する。
Figure JPOXMLDOC01-appb-M000005
　なお、上記式において、ａＡ２、ｂＡ２は、予め規定した重み係数である。
　前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
　そのため、上記式における重み係数の大小関係はａＡ２＞ｂＡ２とすることが望ましい。
　　（右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２）
　図１２に示す例は、図１２に示す６×６画素の座標位置（２，２）に対応する右下２２．５度方向（Ｄ２）勾配算出処理例を示している。
　右下２２．５度方向（Ｄ２）勾配は、以下のデータに基づいて算出する。
　中央成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｃｅｎｔｅｒ
　両サイド成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｗｂ
　高周波成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｈｉｇｈ
　なお、高周波成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｈｉｇｈは、図１２に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｈｉｇｈを算出する。
　なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
　ａｂｓ（）は絶対値を示す。
　図１２に示す６×６画素の座標位置（２，２）に対応する右下２２．５度方向（Ｄ）勾配、すなわち、ｇｒａｄＤ（２，２）は、以下の式に従って算出する。
Figure JPOXMLDOC01-appb-M000006
　なお、上記式において、ａＤ２、ｂＤ２は、予め規定した重み係数である。
　前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
　そのため、上記式における重み係数の大小関係はａＤ２＞ｂＤ２とすることが望ましい。
　　（右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３）
　図１３に示す例は、図１３に示す６×６画素の座標位置（２，２）に対応する右上６７．５度方向（Ａ３）勾配算出処理例を示している。
　右上６７．５度方向（Ａ３）勾配は、以下のデータに基づいて算出する。
　中央成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｃｅｎｔｅｒ
　高周波成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｈｉｇｈ
　なお、高周波成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｈｉｇｈは、図１３に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｈｉｇｈを算出する。
　なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
　ａｂｓ（）は絶対値を示す。
　図１３に示す６×６画素の座標位置（２，２）に対応する右上６７．５度方向（Ａ３）勾配、すなわち、ｇｒａｄＡ３（２，２）は、以下の式に従って算出する。
Figure JPOXMLDOC01-appb-M000007
　なお、上記式において、ａＡ３、ｂＡ３は、予め規定した重み係数である。
　前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
　そのため、上記式における重み係数の大小関係はａＡ３＞ｂＡ３とすることが望ましい。
　　（右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３）
　図１４に示す例は、図１４に示す６×６画素の座標位置（２，２）に対応する右下６７．５度方向（Ｄ３）勾配算出処理例を示している。
　右下６７．５度方向（Ｄ３）勾配は、以下のデータに基づいて算出する。
　高周波成分右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３＿ｈｉｇｈ
　なお、高周波成分右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３＿ｈｉｇｈは、図１４に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３＿ｈｉｇｈを算出する。
　なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
　ａｂｓ（）は絶対値を示す。
　図１４に示す６×６画素の座標位置（２，２）に対応する右下６７．５度方向（Ｄ）勾配、すなわち、ｇｒａｄＤ（２，２）は、以下の式に従って算出する。
Figure JPOXMLDOC01-appb-M000008
　なお、上記式において、ａＤ３、ｂＤ３は、予め規定した重み係数である。
　前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
　そのため、上記式における重み係数の大小関係はａＤ３＞ｂＤ３とすることが望ましい。
　以上、図４のフローチャートのステップ２０２の方向判定処理について説明した。
　次にステップＳ２０３に進み、Ｇ補間処理を実行する。これは、４分割ベイヤ型ＲＧＢ配列画像のＲＢ位置のＧ画素値を推定し設定するＧ補間処理である。この補間処理に際しては、ステップＳ１５１において算出した画素値勾配情報を適用し、画素値勾配の小さい方向の画素値を参照画素値とした補間処理を行う。
　補間処理の具体例について、図１５以下を参照して説明する。
　　（２，２位相の場合の補間画素の算出処理例）
　図１５は、図１５に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（２，２）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
　まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
　水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
　垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
　右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
　右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
　右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
　右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
　右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
　右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
　まず、これら複数の補間値を算出する。
　さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
　上記８つの補間画素値の算出は以下の式に従って実行する。
Figure JPOXMLDOC01-appb-M000009
　　（３，２位相の場合の補間画素の算出処理例）
　図１６は、図１６に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（３，２）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
　まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
　水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
　垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
　右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
　右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
　右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
　右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
　右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
　右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
　まず、これら複数の補間値を算出する。
　さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
　上記８つの補間画素値の算出は以下の式に従って実行する。
Figure JPOXMLDOC01-appb-M000010
　　（２，３位相の場合の補間画素の算出処理例）
　図１７は、図１７に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（２，３）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
　まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
　水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
　垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
　右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
　右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
　右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
　右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
　右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
　右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
　まず、これら複数の補間値を算出する。
　さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
　　（３，３位相の場合の補間画素の算出処理例）
　図１８は、図１８に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（３，３）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
　まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
　水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
　垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
　右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
　右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
　右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
　右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
　右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
　右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
　まず、これら複数の補間値を算出する。
　さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
　　（算出した８方向の参照画素に基づく補間画素値からの最終補間画素値の選択）
　図１５～図１８を参照して説明したように、４分割ベイヤ型ＲＧＢ配列画像のＲまたはＢ画素の画素位置におけるＧ画素の補間画素値は、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値として算出する。
　さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
　直交する方向に判定を間違うとアーティファクトが大きくなるため、直交する方向同士で勾配（ｇｒａｄ）の小さい方向を選択するというアルゴリズムを適用する。
　例えば、上記アルゴリズムに従って選択した方向に対応する補間画素値を利用したブレンド処理を実行して最終的な補間画素値を算出する。
　具体的には、例えば、ｇｒａｄＨＶ，ｇｒａｄＡＤ，ｇｒａｄＡ２Ａ３Ｄ２Ｄ３の最大値が閾値以下であれば、周囲画素の平滑化信号を補間画素値として出力する。（平坦部のノイズ対策）
　ｇｒａｄＡ２Ａ３Ｄ２Ｄ３が最小値の時は、その方向から補間、それ以外の場合はｇｒａｄＨＶとｇｒａｄＡＤの値に応じて補間値をブレンドする。
　このような処理に従って最終的な補間画素値を算出する。
　図４のフローに戻り、４分割ベイヤ型ＲＧＢ配列画像をベイヤ配列画像に変換するリモザイク処理シーケンスについての説明を続ける。
　ステップＳ２０３におい、ＲＢ画素位置に対するＧ画素値の設定処理であるＧ補間処理が終了すると、ステップＳ２０４に進む。
　ステップＳ２０４では、Ｇ画素値の推定がなされたＧ推定画素位置であるか否かを判定する。すなわち元々ＲＢ画素であった画素位置を補間処理によって算出したＧ画素値を設定した画素であるか否かを判定する。Ｇ推定画素位置である場合は、ステップＳ２１３の出力選択処理に移行する。
　Ｇ推定画素位置でない場合は、ステップＳ２０５に進み、偽色の検出の有無を判定する。
　ステップＳ２０５の偽色検出処理について説明する。
　４分割ベイヤ型ＲＧＢ配列画像はベイヤ配列画像と同様、Ｇと比べてＲＢのサンプリングレートが低い。したがって、ＲＢについては、低周波域でエイリアシングが発生しやすい。
　例えば、Ｇは、ナイキスト周波数の１／２、すなわち１／２Ｎｑでは、エイリアシングがおこらず、高周波成分があるのに対し、ＲＢはエイリアシングにより高周波成分が失われている。このことを利用して、Ｇ信号とＲＢ信号の適切な帯域のラプラシアンを比較することで、エイリアシングを検出する。
　具体的には、例えばナイキスト周波数の１／２、すなわち１／２Ｎｑを検出できる勾配（ｏｒ　ラプラシアン（ｌｐｌ））でＧ＿ｌｐｌとＲＢ＿ｌｐｌを算出し、その差分を用いて検出する。
　ステップＳ２０５において偽色が検出された場合は、ステップＳ２０６において偽色補正を実行する。偽色補正処理事態は既存の処理を適用可能である。
　偽色補正の具体例について説明する。偽色補正は、例えば、ＩＳＰでは検出領域のＬＭＴＸを弱めにかける。あるいはＣＩＳ内処理では逆ＷＢで無彩色化などの処理が適用可能である。
　ステップＳ２０６における偽色補正の後、ステップＳ２０７に進み、ＲＢ推定処理を実行する。この処理は４分割ベイヤ型ＲＧＢ配列画像をベイヤ配列画像に変換するために必要となる４分割ベイヤ型ＲＧＢ配列中のＲＧＢ位置にＲＢを設定するための処理である。
　このＲＢ推定処理の具体例について、図１９を参照して説明する。
　このＲＢ推定処理は、図１９に示すように、局所領域、例えば７×７画素の局所領域においてはＧ画素の画素値とＲＢ画素の画素値に相関があるとの推定にも基づく補間処理、すなわち色相関補間処理を実行する。
　次に、図４のフローにおけるステップＳ２０１において、処理対象画素がＧ画素であると判定した場合の処理について説明する。
　この場合は、ステップＳ２１１に進む。
　ステップＳ２１１では、ステップＳ２０４と同様の処理、すなわち、Ｇ画素値の推定がなされたＧ推定画素位置であるか否かを判定する。すなわち元々ＲＢ画素であった画素位置を補間処理によって算出したＧ画素値を設定した画素であるか否かを判定する。Ｇ推定画素位置である場合は、ステップＳ２１３の出力選択処理に移行する。
　Ｎｏの判定の場合はステップＳ２１２に進む。
　ステップＳ２１２では、ステップＳ２０７と同様のＲＢ推定処理を実行する。
　このＲＢ推定処理は、例えば図１９に示すように、局所領域においてＧ画素の画素値とＲＢ画素の画素値に相関があるとの推定に基づく補間処理、すなわち色相関補間処理を実行する。
　ステップＳ２１３では、出力画素の選択処理を行う。すなわち、
　ステップＳ２０４のＹｅｓ、
　ステップＳ２０７の処理結果、
　ステップＳ２１１のＹｅｓ、
　ステップＳ２１２の処理結果、
　これらの結果から、ベイヤ配列に応じた画素値を選択して出力画素とする。
　ステップＳ２１４において、すべての処理対象画素の処理が完了したか否かを判定する。処理の完了していない画素が残存する場合は、未処理画素についてステップＳ２０１以下の処理を実行する。
　全画素処理完了との判定に基づいて処理を終了する。
　　［５．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　入力画像の画素配列を変換するリモザイク処理を実行する画像信号補正部を有し、
　前記画像信号補正部は、
　前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、
　前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
　前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
　決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する画像処理装置。
　（２）前記画像信号補正部は、前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行し、前記画像信号補正部は、前記リモザイク処理において、前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する前記（１）に記載の画像処理装置。
　（３）前記画像信号補正部は、前記入力画像として、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像を入力し、該入力画像をベイヤ配列に変換するリモザイク処理を実行する前記（１）または（２）に記載の画像処理装置。
　（４）前記画像信号補正部は、前記８方向の画素値勾配に基づいて、勾配の小さい方向の画素を参照画素として選択し、選択した参照画素の画素値のブレンド処理によって、前記変換対象画素の補間画素値を算出する処理を実行する前記（１）～（３）いずれかに記載の画像処理装置。
　（５）前記画像信号補正部は、前記８方向の画素値勾配の最大値が既定閾値以下である場合、前記変換対象画素の周囲画素の画素値に基づく平滑化信号を前記変換対象画素の補間画素値として算出する処理を実行する前記（１）～（４）いずれかに記載の画像処理装置。
　（６）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
　前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）～（５）いずれかに記載の画像処理装置。
　（７）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、
　少なくとも１以上の方向の勾配算出に際して、
　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
　前記入力画像に含まれる同一色の画素を適用した中周波成分勾配と、
　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）～（６）いずれかに記載の画像処理装置。
　（８）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、
　少なくとも１以上の方向の勾配算出に際して、前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、前記入力画像に含まれる同一色の画素を適用した高周波成分勾配とを算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）～（７）いずれかに記載の画像処理装置。
　（９）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、
　垂直方向と水平方向の勾配算出に際して、
　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
　前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
　右上４５度方向と右下４５度方向の勾配算出に際して、
　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
　前記入力画像に含まれる同一色の画素を適用した中周波成分勾配情報と、
　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
　右上２２．５度方向と、右下２２．５度方向と、右上６７．５度方向と、右下６７．５度方向の勾配算出に際して、
　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
　を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）～（８）いずれかに記載の画像処理装置。
　（１０）画像信号補正部は、
　前記複数の同一色画素によって構成される画素ブロックの構成画素位置に応じて、参照画素位置を変更した補間画素値算出処理を実行する前記（１）～（９）いずれかに記載の画像処理装置。
　さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、異なる画素配列の画像に変換するリモザイク処理を実行する装置、方法が実現される。
　具体的には、入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行する。このリモザイク処理において、入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、８方向の画素値勾配に基づいて、変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。例えば、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像をベイヤ配列に変換する。
　１００　撮像装置
　１０５　光学レンズ
　１１０　撮像素子（イメージセンサ）
　１２０　画像処理部
　１３０　メモリ
　１４０　制御部
　１８１　ＲＧＢ配列
　１８３　カラー画像
　２００　画像信号補正部

Claims (12)

  1. 　入力画像の画素信号の補正処理を実行する画像信号補正部を有し、
    　前記画像信号補正部は、
    　前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、
    　前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
    　前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
    　決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する画像処理装置。
  2. 　前記画像信号補正部は、
    　前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行し、
    　前記画像信号補正部は、前記リモザイク処理において、
    　前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
    　前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
    　決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する請求項１に記載の画像処理装置。
  3. 　前記画像信号補正部は、
    　前記入力画像として、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像を入力し、該入力画像をベイヤ配列に変換するリモザイク処理を実行する請求項２に記載の画像処理装置。
  4. 　前記画像信号補正部は、
    　前記８方向の画素値勾配に基づいて、勾配の小さい方向の画素を参照画素として選択し、選択した参照画素の画素値のブレンド処理によって、前記変換対象画素の補間画素値を算出する処理を実行する請求項１に記載の画像処理装置。
  5. 　前記画像信号補正部は、
    　前記８方向の画素値勾配の最大値が既定閾値以下である場合、前記変換対象画素の周囲画素の画素値に基づく平滑化信号を前記変換対象画素の補間画素値として算出する処理を実行する請求項１に記載の画像処理装置。
  6. 　前記画像信号補正部は、
    　前記８方向の画素値勾配の算出処理において、
    　少なくとも１以上の方向の勾配算出に際して、
    　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
    　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
    　前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
    　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
  7. 　前記画像信号補正部は、
    　前記８方向の画素値勾配の算出処理において、
    　少なくとも１以上の方向の勾配算出に際して、
    　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
    　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
    　前記入力画像に含まれる同一色の画素を適用した中周波成分勾配と、
    　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
  8. 　前記画像信号補正部は、
    　前記８方向の画素値勾配の算出処理において、
    　少なくとも１以上の方向の勾配算出に際して、
    　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
    　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
    　を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
  9. 　前記画像信号補正部は、
    　前記８方向の画素値勾配の算出処理において、
    　垂直方向と水平方向の勾配算出に際して、
    　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
    　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
    　前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
    　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
    　右上４５度方向と右下４５度方向の勾配算出に際して、
    　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
    　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
    　前記入力画像に含まれる同一色の画素を適用した中周波成分勾配情報と、
    　を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
    　右上２２．５度方向と、右下２２．５度方向と、右上６７．５度方向と、右下６７．５度方向の勾配算出に際して、
    　前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
    　前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
    　を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
  10. 　前記画像信号補正部は、
    　前記複数の同一色画素によって構成される画素ブロックの構成画素位置に応じて、参照画素位置を変更した補間画素値算出処理を実行する請求項１に記載の画像処理装置。
  11. 　画像処理装置において実行する画像処理方法であり、
    　画像信号補正部が、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
    　前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
    　前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
    　決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行する画像処理方法。
  12. 　画像処理装置において画像処理を実行させるプログラムであり、
    　画像信号補正部に、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
    　前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
    　前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
    　決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行させるプログラム。
PCT/JP2012/066670 2011-08-31 2012-06-29 画像処理装置、および画像処理方法、並びにプログラム WO2013031367A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201280040908.4A CN103765876A (zh) 2011-08-31 2012-06-29 图像处理设备以及图像处理方法和程序
US14/238,225 US9179113B2 (en) 2011-08-31 2012-06-29 Image processing device, and image processing method, and program
RU2014106537/07A RU2014106537A (ru) 2011-08-31 2012-06-29 Устройство обработки изображений, способ обработки изображений и программа
EP12827404.0A EP2753082A1 (en) 2011-08-31 2012-06-29 Image processing device, image processing method, and program
BR112014004125A BR112014004125A2 (pt) 2011-08-31 2012-06-29 dispositivo e método de processamento de imagem, e, programa

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-190052 2011-08-31
JP2011190052 2011-08-31
JP2011290332A JP2013066146A (ja) 2011-08-31 2011-12-29 画像処理装置、および画像処理方法、並びにプログラム
JP2011-290332 2011-12-29

Publications (1)

Publication Number Publication Date
WO2013031367A1 true WO2013031367A1 (ja) 2013-03-07

Family

ID=47755877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066670 WO2013031367A1 (ja) 2011-08-31 2012-06-29 画像処理装置、および画像処理方法、並びにプログラム

Country Status (7)

Country Link
US (1) US9179113B2 (ja)
EP (1) EP2753082A1 (ja)
JP (1) JP2013066146A (ja)
CN (1) CN103765876A (ja)
BR (1) BR112014004125A2 (ja)
RU (1) RU2014106537A (ja)
WO (1) WO2013031367A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847759B2 (en) 2018-09-07 2023-12-19 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and image processing program

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5999750B2 (ja) * 2011-08-25 2016-09-28 ソニー株式会社 撮像素子、撮像装置及び生体撮像装置
CA2861220C (en) 2012-01-24 2020-02-11 Sony Corporation Image processing apparatus and image processing method, and program
US9699429B2 (en) 2012-03-27 2017-07-04 Sony Corporation Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image
JP6080190B2 (ja) * 2014-09-15 2017-02-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ デモザイク化の方法
KR102195407B1 (ko) 2015-03-16 2020-12-29 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
US9990695B2 (en) * 2015-03-27 2018-06-05 Intel Corporation Edge sensing measure for raw image processing
US9681109B2 (en) * 2015-08-20 2017-06-13 Qualcomm Incorporated Systems and methods for configurable demodulation
WO2020139493A1 (en) * 2018-12-28 2020-07-02 Qualcomm Incorporated Systems and methods for converting non-bayer pattern color filter array image data
US9819913B2 (en) * 2015-08-26 2017-11-14 Stmicroelectronics International N.V. Image sensor device with macropixel processing and related devices and methods
JP6825617B2 (ja) * 2016-03-09 2021-02-03 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN106454054B (zh) * 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106713790B (zh) 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106504218B (zh) * 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454288B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
CN106791477B (zh) 2016-11-29 2019-07-19 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、成像装置及制造方法
CN106454289B (zh) 2016-11-29 2018-01-23 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106507019B (zh) * 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106412407B (zh) * 2016-11-29 2019-06-07 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106507069B (zh) 2016-11-29 2018-06-05 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106357967B (zh) 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN106507080B (zh) 2016-11-29 2018-07-17 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US11233957B2 (en) * 2017-04-25 2022-01-25 Sony Corporation Solid state image sensor and electronic equipment
CN115037888A (zh) * 2017-11-22 2022-09-09 索尼半导体解决方案公司 固态摄像元件和电子设备
KR102594038B1 (ko) 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
WO2020026323A1 (ja) * 2018-07-31 2020-02-06 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
US10687033B2 (en) 2018-09-24 2020-06-16 Google Llc Color imaging system
KR20200086429A (ko) 2019-01-09 2020-07-17 삼성전자주식회사 이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법
KR20210004229A (ko) * 2019-07-03 2021-01-13 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
CN110489794B (zh) * 2019-07-15 2022-08-05 武汉大学 一种面向简笔画的乐高类积木平面图纸的构建方法
CN112308771A (zh) * 2019-07-31 2021-02-02 维沃移动通信有限公司 一种图像处理方法、装置及电子设备
KR102213765B1 (ko) * 2019-08-09 2021-02-08 엘지이노텍 주식회사 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
CN110675404B (zh) * 2019-09-03 2023-03-21 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备
EP4035942A4 (en) * 2019-09-24 2022-11-30 Sony Semiconductor Solutions Corporation IMAGING DEVICE
KR102625261B1 (ko) * 2019-10-21 2024-01-12 삼성전자주식회사 이미지 장치
KR20210087809A (ko) 2020-01-03 2021-07-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
KR20210095461A (ko) 2020-01-23 2021-08-02 삼성전자주식회사 복수의 공유 픽셀들을 포함하는 이미지 장치 및 이의 동작 방법
KR20210104462A (ko) 2020-02-17 2021-08-25 삼성전자주식회사 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치
CN111355937B (zh) * 2020-03-11 2021-11-16 北京迈格威科技有限公司 图像处理方法、装置和电子设备
US11776088B2 (en) 2020-03-11 2023-10-03 Samsung Electronics Co., Ltd. Electronic device generating image data and converting the generated image data and operating method of the electronic device
KR20210151450A (ko) 2020-06-05 2021-12-14 에스케이하이닉스 주식회사 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법
CN111757006B (zh) 2020-07-08 2021-10-29 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN111741221B (zh) 2020-07-08 2021-04-09 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN111899178B (zh) 2020-08-18 2021-04-16 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
KR20220053067A (ko) 2020-10-21 2022-04-29 삼성전자주식회사 왜곡을 발생시키는 렌즈를 갖는 카메라 시스템에서 이미지 해상도를 개선하는 장치 및 그 동작 방법
US11375181B2 (en) 2020-11-10 2022-06-28 Samsung Electronics Co., Ltd. Camera module test apparatus, camera module test method and image generating device
KR20220079123A (ko) 2020-12-04 2022-06-13 삼성전자주식회사 이미지 장치 및 이미지 장치의 동작 방법
KR20220081532A (ko) * 2020-12-09 2022-06-16 에스케이하이닉스 주식회사 이미지 시그널 프로세서 및 이미지 처리 시스템
WO2022130888A1 (ja) * 2020-12-16 2022-06-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN114666469B (zh) * 2020-12-24 2023-11-14 富泰华工业（深圳）有限公司 图像处理装置、方法及具有该图像处理装置的镜头模组
CN112468789B (zh) * 2021-02-02 2021-04-23 湖北芯擎科技有限公司 Raw图像转换电路及raw图像转换方法
US20220385841A1 (en) * 2021-05-28 2022-12-01 Samsung Electronics Co., Ltd. Image sensor including image signal processor and operating method of the image sensor
KR20230046816A (ko) 2021-09-30 2023-04-06 에스케이하이닉스 주식회사 이미지 센싱 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1129880A (ja) 1997-07-09 1999-02-02 Yoshiaki Tatsumi ダミーウェハー
JP2000069491A (ja) 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
WO2005101854A1 (ja) * 2004-04-12 2005-10-27 Nikon Corporation 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
JP2010136225A (ja) * 2008-12-08 2010-06-17 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2011055038A (ja) 2009-08-31 2011-03-17 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6781626B1 (en) * 2000-01-13 2004-08-24 Biomorphic Vlsi, Inc. System and method of color interpolation
US7477781B1 (en) * 2002-10-10 2009-01-13 Dalsa Corporation Method and apparatus for adaptive pixel correction of multi-color matrix
JP4815807B2 (ja) 2004-05-31 2011-11-16 株式会社ニコン Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
JP2007140684A (ja) * 2005-11-15 2007-06-07 Toshiba Corp 画像処理装置、方法、プログラム
US7773127B2 (en) * 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
KR101389562B1 (ko) * 2007-11-15 2014-04-25 삼성전자주식회사 이미지 처리 장치 및 방법
TWI422020B (zh) 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5724185B2 (ja) * 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5658963B2 (ja) * 2010-09-29 2015-01-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1129880A (ja) 1997-07-09 1999-02-02 Yoshiaki Tatsumi ダミーウェハー
JP2000069491A (ja) 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
WO2005101854A1 (ja) * 2004-04-12 2005-10-27 Nikon Corporation 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
JP2010136225A (ja) * 2008-12-08 2010-06-17 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2011055038A (ja) 2009-08-31 2011-03-17 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847759B2 (en) 2018-09-07 2023-12-19 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and image processing program

Also Published As

Publication number Publication date
JP2013066146A (ja) 2013-04-11
US9179113B2 (en) 2015-11-03
BR112014004125A2 (pt) 2017-04-04
EP2753082A1 (en) 2014-07-09
RU2014106537A (ru) 2015-08-27
US20140253808A1 (en) 2014-09-11
CN103765876A (zh) 2014-04-30

Similar Documents

Publication Publication Date Title
WO2013031367A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4501855B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
KR101703354B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
TWI516132B (zh) An image processing apparatus, an image processing method, and a program
JP5529048B2 (ja) 補間システムおよび方法
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
JP4184802B2 (ja) 色不連続性均等化を使用して生データイメージを非対称にデモザイク処理するシステムおよび方法
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4946581B2 (ja) 画像処理装置
JP5904213B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
EP3416128B1 (en) Raw image processing system and method
JP2013219705A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2013066157A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2014017153A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP4894594B2 (ja) 画像処理装置
JP2011041210A (ja) 信号処理装置、撮像装置及び信号処理方法
JP5672941B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US7986361B2 (en) Color processing apparatus and method thereof for generating an interpolated image
JP2010178226A (ja) 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP5139350B2 (ja) 画像処理装置、画像処理方法、撮像装置
Jeong et al. Edge-Adaptive Demosaicking for Reducing Artifact along Line Edge
TWI252046B (en) Method and device applied in color digital image for pixel chrominance suppression

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12827404

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012827404

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14238225

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014106537

Country of ref document: RU

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014004125

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014004125

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140221