WO2016051911A1 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2016051911A1
WO2016051911A1 PCT/JP2015/069881 JP2015069881W WO2016051911A1 WO 2016051911 A1 WO2016051911 A1 WO 2016051911A1 JP 2015069881 W JP2015069881 W JP 2015069881W WO 2016051911 A1 WO2016051911 A1 WO 2016051911A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
unit
difference
target pixel
smoothing
Prior art date
Application number
PCT/JP2015/069881
Other languages
English (en)
French (fr)
Inventor
哲平 栗田
光永　知生
亨 西
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2016051911A1 publication Critical patent/WO2016051911A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • the present technology relates to an image processing device, an imaging device, an image processing method, and a program for causing a computer to execute the method. More particularly, the present invention relates to an image processing apparatus that removes noise, an imaging apparatus, an image processing method, and a program for causing a computer to execute the method.
  • an imaging device using a bilateral filter as a noise removal filter has been proposed (see, for example, Patent Document 1).
  • this bilateral filter the smaller the difference between the pixel value of interest and the pixel value of the pixel of interest and the peripheral pixels around the pixel of interest, the smaller the weighting factor is calculated, and the weighting factor is added to the pixel value.
  • the present technology has been created in view of such a situation, and its object is to improve the image quality of an image subjected to image processing for removing noise.
  • the present technology has been made to solve the above-mentioned problems, and the first aspect thereof is fixed from the target pixel as a target pixel in order for each of a plurality of input pixels arranged in a two-dimensional grid shape.
  • An image processing apparatus including a smoothing processing unit that performs processing within the predetermined range, an image processing method thereof, and a program for causing a computer to execute the method.
  • the difference acquiring unit obtains the difference, and generates a smaller coefficient from the difference as the surrounding pixel weight coefficient as the difference is larger;
  • a target pixel weighting factor generating unit that generates a coefficient from the peripheral pixel weighting factor as a target pixel weighting factor, and the smoothing processing unit generates the peripheral pixel weighting factor and the pair of input pixels according to the target pixel weighting factor Weighted addition with respect to the pixel of interest may be performed as the smoothing process. This brings about the effect that weighted addition is performed as smoothing processing on the pair of input pixels and the target pixel by the peripheral pixel weighting factor and the target pixel weighting factor.
  • the peripheral pixel weight coefficient generation unit decreases the larger the difference, and the larger the coefficient, the smaller the distance between the pixel of interest and one of the pair of input pixels. It may be generated as a weighting factor. As a result, the larger the difference, the smaller, and the smaller the distance between the pixel of interest and one of the pair of input pixels, the larger the coefficient is generated as the peripheral pixel weight coefficient.
  • a wide-area smoothing processing unit performing smoothing processing as wide-area smoothing processing within a range of a distance longer than the predetermined distance from the focused pixel as the focused pixel for each of the plurality of input pixels.
  • the difference acquiring unit further calculates differences between pixel values of the pair of input pixels after the wide-area smoothing process, and the smoothing processing unit determines the differences after the wide-area smoothing process.
  • the smoothing process may be performed within a predetermined range. This brings about the effect that the smoothing process is performed within the predetermined range after the wide range smoothing process.
  • the pixel value may include a luminance signal and a color difference signal.
  • the pixel value may include a plurality of color information. This brings about the effect that the smoothing process with a high degree of smoothing is performed as the difference between the pixel values including the plurality of pieces of color information is smaller.
  • a color information interpolation unit that interpolates missing color information among the plurality of color information in each of the plurality of input pixels having one of the plurality of color information as the pixel value.
  • the weighting factor generation unit may set the weighting factor generation unit as an attention pixel for each of the plurality of input pixels interpolated with the color information. This brings about the effect
  • an imaging unit configured to capture an image including a plurality of input pixels arranged in a two-dimensional grid and a plurality of input pixels are sequentially selected from the target pixel as a target pixel.
  • a difference acquiring unit for calculating a difference between pixel values of a pair of input pixels located at a point symmetrical position with respect to the target pixel within a predetermined range of distance; smoothing processing with a higher degree of smoothing as the difference is smaller
  • a smoothing processing unit that performs processing within the predetermined range.
  • the present technology it is possible to achieve an excellent effect that the image quality of an image subjected to image processing for removing noise can be improved.
  • the effect described here is not necessarily limited, and may be any effect described in the present disclosure.
  • FIG. 1 is a block diagram showing a configuration example of an imaging device 100 in the first embodiment.
  • the imaging apparatus is an apparatus for capturing an image, and includes an imaging lens 110, an imaging element 120, a control unit 130, a recording unit 140, and an image processing unit 200.
  • the imaging lens 110 is a lens that condenses light from a subject and guides the light to the imaging element 120.
  • the imaging element 120 converts light from the imaging lens 110 into an electrical signal in accordance with a control signal to generate image data. For example, each of an R (Red) pixel, a G (Green) pixel, a B (Blue) pixel, and a W (White) pixel is provided in the two-dimensional grid shape in the imaging element 120.
  • the imaging device 120 converts analog electric signals photoelectrically converted in each of the pixels into analog data (AD) to generate image data.
  • AD analog data
  • a charge coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor is used as the imaging device 120.
  • the imaging element 120 supplies the generated image data as input image data to the image processing unit 200 via the signal line 129.
  • the imaging device 120 is an example of an imaging unit described in the claims.
  • the R pixel, the G pixel, the B pixel, and the W pixel are arranged in the imaging element 120, only the R pixel, the G pixel, and the B pixel may be arranged without providing the W pixel.
  • the imaging device 120 is an example of an imaging unit described in the claims.
  • the image processing unit 200 performs predetermined image processing including smoothing processing on input image data.
  • the image processing unit 200 performs weighted addition within a range of a certain distance from the focused pixel (hereinafter referred to as “filter range”), focusing on the pixels in order according to the timing signal.
  • the image processing unit 200 supplies the image data after image processing as output image data to the recording unit 140 via the signal line 209.
  • the control unit 130 controls the entire imaging apparatus 100.
  • the control unit 130 generates a control signal in accordance with a user's operation or the like, and supplies the control signal to the imaging element 120 via the signal line 139.
  • the control signal includes, for example, a vertical synchronization signal.
  • the control unit 130 generates a timing signal indicating the timing of focusing on each of the pixels, and supplies the timing signal to the image processing unit 200 via the signal line 138.
  • the recording unit 140 records output image data.
  • the imaging apparatus 100 may further include a display unit, and display output image data on the display unit.
  • the imaging device 100 may further include an interface, and output image data may be output to an external device through the interface.
  • the imaging lens 110, the imaging element 120, the control unit 130, the image processing unit 200, and the recording unit 140 are provided in the same device, they may be provided in different devices.
  • the imaging device 120 or the like may be provided in the imaging device 100
  • the image processing unit 200 may be provided in the information processing device or the like.
  • FIG. 2 is a block diagram showing an example of the configuration of the imaging device 120 according to the first embodiment.
  • the imaging device 120 includes a row scanning circuit 121, a pixel array unit 122, a timing control circuit 124, an AD conversion unit 125, a column scanning circuit 126, a demosaicing processing unit 127, and a YUV conversion unit 128.
  • the pixel array unit 122 is provided with a plurality of pixels 123 in a two-dimensional grid shape.
  • the timing control circuit 124 controls the timing of row and column scanning.
  • a row is a pixel array unit 122 in which a plurality of pixels 123 are arranged in one direction, and is also called a line.
  • a plurality of pixels 123 are arranged in the pixel array unit 122 in the direction orthogonal to the row.
  • the timing control circuit 124 generates a horizontal synchronization signal HSYNC in synchronization with the vertical synchronization signal VSYNC from the control unit 130, and supplies the horizontal synchronization signal HSYNC to the row scanning circuit 121. Further, the timing control circuit 124 generates a column scanning signal instructing the timing of scanning a column in synchronization with the horizontal synchronization signal HSYNC, and supplies the column scanning signal 126 to the column scanning circuit 126.
  • the row scanning circuit 121 sequentially selects each of the rows (lines) in synchronization with the horizontal synchronization signal HSYNC.
  • the row scanning circuit 121 exposes the selected row over the set exposure period.
  • the pixel 123 converts light into an electrical signal and outputs it as a pixel signal.
  • the pixel 123 supplies the generated pixel signal to the AD converter 125.
  • Each pixel signal includes color information of any of R signal, G signal, B signal and W signal.
  • the AD converter 125 AD converts the pixel signal to generate pixel data.
  • the AD conversion unit 125 is provided for each column.
  • the AD converter 125 of the column selected by the column scanning circuit 126 supplies the generated pixel data to the demosaicing unit 127.
  • the column scanning circuit 126 selects each of the columns under the control of the timing control circuit 124.
  • the demosaicing unit 127 performs, for each pixel, a demosaicing process that interpolates a missing signal among the R signal, the G signal, and the B signal from surrounding pixels.
  • the demosaicing unit 127 supplies each of the pixel data after interpolation to the YUV conversion unit 128.
  • the YUV conversion unit 128 performs YUV conversion processing for converting the R signal, the G signal, and the B signal into the luminance signal Y and the color difference signals U and V for each pixel.
  • the YUV conversion process is performed, for example, by the following equation.
  • the YUV conversion unit 128 supplies image data including pixel data after YUV conversion to the image processing unit 200 as input image data.
  • AD conversion unit 125 the demosaicing unit 127, and the YUV conversion unit 128 are provided in the imaging device 120, at least a part of these may be provided outside the imaging device 120.
  • the image sensor 120 is configured to perform YUV conversion, but may be configured to supply the image data after the demosaicing process to the image processing unit 200 without performing YUV conversion.
  • FIG. 3 is a block diagram showing one configuration example of the image processing unit 200 in the first embodiment.
  • the image processing unit 200 includes a data buffer 210, a target pixel selection unit 220, a weighting factor calculation unit 230, and a weighting addition unit 260.
  • the data buffer 210 holds a plurality of pixel data.
  • the weighted addition unit 260 performs weighted addition within a 3 ⁇ 3 filter range centered on the target pixel, pixel data for at least three lines is held.
  • the filter range is not limited to the 3 ⁇ 3 range as long as it is a range of a certain distance from the pixel of interest, and may be, for example, the 5 ⁇ 5 range.
  • the pixel-of-interest selection unit 220 sequentially selects each of the pixels in the input image data in accordance with the timing signal.
  • the selected pixel is hereinafter referred to as a "target pixel”.
  • the target pixel selection unit 220 supplies the coordinates of the selected target pixel as the target coordinates (x, y) to the weight coefficient calculation unit 230 and the weighting addition unit 260 via the signal line 229.
  • the weighting factor calculation unit 230 calculates weighting factors for each of the pixels within the filter range of a certain distance from the target pixel. In the filter range, pixels other than the pixel of interest are hereinafter referred to as “peripheral pixels”.
  • the weighting factor calculation unit 230 reads out, from the data buffer 210, pixel values of a pair of peripheral pixels located in a point-symmetrical position with respect to the pixel of interest within the filter range, and obtains their difference. Then, the weighting factor calculation unit 230 calculates a weighting factor that is larger as the difference is smaller as a surrounding pixel weighting factor.
  • the weighting factor calculation unit 230 calculates the difference between the sum of peripheral pixel weighting factors and “1” as a target pixel weighting factor.
  • the weighting factor calculation unit 230 supplies each of the surrounding pixel weighting factor and the target pixel weighting factor to the weighting addition unit 260 via the signal line 239.
  • the weighting factor calculation unit 230 is an example of a difference acquisition unit described in the claims.
  • the weighting addition unit 260 performs weighting addition as smoothing processing.
  • the weighted addition unit 260 performs weighted addition on each pixel value of the peripheral pixel and the target pixel using the peripheral pixel weighting coefficient and the target pixel weighting coefficient.
  • the total number of pixels in the filter range is called the filter size or the number of taps.
  • the peripheral pixel weighting coefficient is set to a larger coefficient. For this reason, smoothing processing with a high degree of smoothing is performed, so that a difference is small.
  • the weighted addition unit 260 outputs the addition result of the weighted addition to the recording unit 140 as a pixel value of the coordinate of interest (x, y) in the output image data.
  • the weighting addition unit 260 is an example of the smoothing processing unit described in the claims.
  • the image processing unit 200 may further perform various types of image processing such as white balance processing and gamma correction processing in addition to smoothing processing (weighted addition).
  • FIG. 4 is a diagram showing an example of input image data in the first embodiment.
  • a plurality of pixel data each including a luminance signal Y and color difference signals U and V are arranged.
  • a pixel surrounded by a thick solid line is an example of a pixel of interest
  • a range surrounded by an alternate long and short dash line is an example of a filter range in which weighted addition is performed.
  • the image processing unit 200 performs weighted addition within a 3 ⁇ 3 filter range centering on the pixel of interest.
  • FIG. 5 is a block diagram showing one configuration example of the weight coefficient calculation unit 230 in the first embodiment.
  • the weight coefficient calculation unit 230 includes a surrounding pixel weight coefficient calculation unit 240 and a target pixel weight coefficient calculation unit 250.
  • the surrounding pixel weighting factor calculation unit 240 is for calculating surrounding pixel weighting factors.
  • the peripheral pixel weight coefficient calculation unit 240 reads out pixel data of each peripheral pixel from the data buffer 210. These pixel data include color difference signals U and V, respectively. Then, the peripheral pixel weight coefficient calculation unit 240 calculates the coefficient wght from the color difference signals of the pair of peripheral pixels located at point-symmetrical positions with respect to the pixel of interest using the following equation.
  • u is the color difference signal U of one of the pair of peripheral pixels
  • u ′ is the other color difference signal U of the pair of peripheral pixels
  • v is the color difference signal V of one of the pair of peripheral pixels
  • v ' is the color difference signal V of the other of the pair of peripheral pixels.
  • the coefficient increases as k increases, and the degree of smoothing increases.
  • the smaller the value of k the smaller the coefficient and the lower the degree of smoothing.
  • the variance of each pixel value of the peripheral pixels may be set to k.
  • peripheral pixel weight coefficients are calculated for each of pixel pairs located above, below, to the left, and from the left and right of the pixel of interest.
  • the peripheral pixel weighting coefficients of the upper and lower pixel pairs of the pixel of interest are referred to as “W1”
  • the peripheral pixel weighting coefficients of the left and right pixel pairs are hereinafter referred to as “W2”.
  • W3 the peripheral pixel weighting coefficients of one of them
  • W4 the other as "W4".
  • the peripheral pixel weighting factor calculation unit 240 supplies each of the peripheral pixel weighting factors to the target pixel weighting factor calculation unit 250 and the weighting addition unit 260.
  • the target pixel weighting factor calculation unit 250 calculates a target pixel weighting factor W0 from the peripheral pixel weighting factors.
  • the target pixel weight coefficient calculation unit 250 calculates the difference between the sum of peripheral pixel weight coefficients and “1” as the target pixel weight coefficient W0.
  • the same peripheral pixel weighting factor is applied to a pair of peripheral pixels located at point-symmetrical positions with respect to the pixel of interest. Therefore, when the peripheral pixel weight coefficients of W1, W2, W3 and W4 are obtained, the target pixel weight coefficient calculation unit 250 doubles each and adds them, and adds the difference between the added value and "1". You just need to ask.
  • the target pixel weighting factor calculation unit 250 supplies the obtained target pixel weighting factor W0 to the weighting addition section 260.
  • the weighting factor calculation part 230 is calculating weighting factors by calculation, if a weighting factor can be produced
  • FIG. 6 is a block diagram showing an example of the configuration of the peripheral pixel weight coefficient calculation unit 240 in the first embodiment.
  • the peripheral pixel weight coefficient calculation unit 240 includes left and right pair weight coefficient calculation units 241, upper and lower pair weight coefficient calculation units 242, diagonal pair weight coefficient calculation units 243 and 244, and multipliers 245, 246, 247, and 248. Prepare.
  • the left-right paired weight coefficient calculation unit 241 calculates the coefficient wght for the peripheral pixel pair on the left and right of the target pixel.
  • the left-right pair weighting factor calculation unit 241 reads out from the data buffer 210 the pixel value P (x ⁇ 1, y) on the left of the pixel of interest (x, y) and the pixel value P (x + 1, y) on the right.
  • These pixel values include color difference signals U and V, respectively. That is, pixel values of U (x ⁇ 1, y), U (x + 1, y), V (x ⁇ 1, y) and V (x + 1, y) are read out.
  • the left-right paired weight coefficient calculation unit 241 calculates the coefficient wght from these pixel values using Equation 1, and supplies the coefficient wght to the multiplier 245.
  • the upper and lower pair weight coefficient calculation unit 242 calculates the coefficient wght for the upper and lower peripheral pixel pairs of the target pixel.
  • the upper / lower pair weighting factor calculation unit 242 reads out from the data buffer 210 the pixel value P (x, y ⁇ 1) on the pixel of interest (x, y) and the lower pixel value P (x, y + 1).
  • the upper and lower pair weighting coefficient calculation unit 242 calculates the coefficient wght from these pixel values using Equation 1 and supplies the coefficient wght to the multiplier 246.
  • the diagonal pair weighting factor calculation unit 243 calculates the factor wght for the peripheral pixel pair at the upper right and lower left of the target pixel. From the data buffer 210, the diagonal pair weighting factor calculation unit 243 calculates the upper right pixel value P (x + 1, y-1) of the pixel of interest (x, y) and the lower left pixel value P (x-1, y + 1). read out. The diagonal pair weight coefficient calculation unit 243 calculates the coefficient wght from these pixel values using Equation 1, and supplies the coefficient wght to the multiplier 247.
  • the diagonal pair weighting factor calculation unit 244 calculates the factor wght for the peripheral pixel pair at the upper left and lower right of the pixel of interest.
  • the diagonal pair weighting factor calculation unit 244 uses the upper left pixel value P (x ⁇ 1, y ⁇ 1) of the pixel of interest (x, y) and the lower right pixel value P (x + 1, y + 1) as the data buffer 210. Read from The diagonal pair weight coefficient calculation unit 244 calculates the coefficient wght from these pixel values using Equation 1, and supplies the coefficient wght to the multiplier 248.
  • the multiplier 245 multiplies the coefficient wght by the coefficient “0.125” according to the distance.
  • the multiplier 245 multiplies wght from the left-right paired weighting factor calculation unit 241 by “0.125” and outputs the result as the surrounding pixel weighting factor W1.
  • the multiplier 246 multiplies the coefficient wght by the coefficient “0.125” according to the distance.
  • the multiplier 246 multiplies wght from the upper / lower pair weighting factor calculation unit 242 by “0.125” and outputs the result as the peripheral pixel weighting factor W2.
  • the multiplier 247 multiplies the coefficient wght by the coefficient “0.0625” according to the distance.
  • the multiplier 247 multiplies wght from the diagonal pair weighting factor calculation unit 243 by “0.0625” and outputs the result as the peripheral pixel weighting factor W3.
  • the multiplier 248 multiplies the coefficient wght by the coefficient “0.0625” according to the distance.
  • the multiplier 248 multiplies wght from the diagonal pair weighting factor calculation unit 244 by “0.0625” and outputs it as the peripheral pixel weighting factor W4.
  • the peripheral pixel weighting factor calculation unit 240 calculates the weighting factor for each peripheral pixel pair, the amount of calculation and the circuit size are reduced compared to a bilateral filter or the like that calculates the weighting factor for each peripheral pixel. can do.
  • the bilateral filter when eight peripheral pixels are required to calculate eight weighting factors, the peripheral pixel weighting factor calculating unit 240 needs to calculate only four of W1 to W4. .
  • FIG. 7 is a block diagram showing an example of the configuration of the pixel-of-interest weighting factor calculation unit 250 in the first embodiment.
  • the target pixel weight coefficient calculation unit 250 includes multipliers 251, 252, 253 and 254, an adder 255, and a subtractor 256.
  • the multiplier 251 is for multiplying the peripheral pixel weight coefficient W1 by “2”.
  • the multiplier 251 supplies the multiplication result to the adder 255.
  • the multiplier 252 is for multiplying the surrounding pixel weight coefficient W2 by “2”.
  • the multiplier 252 supplies the multiplication result to the adder 255.
  • the multiplier 253 is for multiplying the peripheral pixel weight coefficient W3 by “2”.
  • the multiplier 253 supplies the multiplication result to the adder 255.
  • the multiplier 254 is for multiplying the peripheral pixel weight coefficient W4 by “2”.
  • the multiplier 254 supplies the multiplication result to the adder 255.
  • the adder 255 adds all of the multiplication results of the multipliers 251 to 254.
  • the adder 255 supplies the addition result to the subtractor 256.
  • the subtractor 256 subtracts the addition result of the adder 255 from “1”.
  • the subtractor 256 outputs the subtraction result as the target pixel weighting coefficient W0.
  • FIG. 8 is a block diagram showing a configuration example of the weighting addition unit 260 in the first embodiment.
  • the weighted addition unit 260 includes a read unit 261, adders 262, 263, 264, 265 and 266, multipliers 267, 268, 269 and 270, and an addition unit 271.
  • the reading unit 261 reads out the color difference signals of the pixel of interest and the peripheral pixels.
  • the readout unit 261 supplies the color difference signals U (x ⁇ 1, y) and the color difference signals U (x ⁇ 1, y) of the peripheral pixel pair on the left and right of the pixel of interest to the adder 262,
  • the color difference signal V (x ⁇ 1, y) and the color difference signal V (x ⁇ 1, y) are supplied to the adder 262.
  • the reading unit 261 supplies the color difference signals U (x, y-1) and the color difference signals U (x, y + 1) of the peripheral pixel pairs above and below the pixel of interest to the adder 263, and
  • the color difference signal V (x, y-1) and the color difference signal V (x, y + 1) are supplied to the adder 263.
  • the reading unit 261 supplies the color difference signal U (x + 1, y ⁇ 1) and the color difference signal U (x ⁇ 1, y + 1) of the upper right and lower left peripheral pixel pairs of the target pixel to the adder 264.
  • the reading unit 261 supplies the color difference signal V (x + 1, y ⁇ 1) and the color difference signal V (x ⁇ 1, y + 1) to the adder 264.
  • the reading unit 261 supplies the color difference signal U (x ⁇ 1, y ⁇ 1) and the color difference signal U (x + 1, y + 1) of the upper left and lower right peripheral pixel pairs of the target pixel to the adder 265.
  • the reading unit 261 supplies the color difference signal V (x ⁇ 1, y ⁇ 1) and the color difference signal V (x + 1, y + 1) to the adder 265.
  • the reading unit 261 supplies the color difference signals U (x, y) and V (x, y) of the pixel of interest to the multiplier 266 in order.
  • the adder 262 adds the color difference signals of the left and right peripheral pixel pairs.
  • the adder 262 supplies the addition result to the multiplier 267.
  • the adder 263 adds the color difference signals of the upper and lower peripheral pixel pairs.
  • the adder 263 supplies the addition result to the multiplier 268.
  • the adder 264 adds the respective color difference signals of the upper right and lower left peripheral pixel pairs.
  • the adder 264 supplies the addition result to the multiplier 269.
  • the adder 265 adds the respective color difference signals of the upper left and lower right peripheral pixel pairs.
  • the adder 265 supplies the addition result to the multiplier 270.
  • the multiplier 267 multiplies the addition result of the adder 262 by the surrounding pixel weight coefficient W1.
  • the multiplier 267 supplies the multiplication result to the addition unit 271.
  • the multiplier 268 multiplies the addition result of the adder 263 by the surrounding pixel weight coefficient W2.
  • the multiplier 268 supplies the multiplication result to the addition unit 271.
  • the multiplier 269 multiplies the addition result of the adder 264 by the peripheral pixel weight coefficient W3.
  • the multiplier 269 supplies the multiplication result to the addition unit 271.
  • the multiplier 270 multiplies the addition result of the adder 265 by the peripheral pixel weight coefficient W4.
  • the multiplier 270 supplies the multiplication result to the addition unit 271.
  • the multiplier 266 multiplies the chrominance signal of the pixel of interest by the pixel weight coefficient of interest W0.
  • the multiplier 266 supplies the multiplication result to the addition unit 271.
  • the adder 271 adds the multiplication results of the multipliers 266, 267, 268, 269 and 270, respectively.
  • the addition unit 271 outputs the addition result as color difference signals U ′ and V ′ of coordinates (x, y) in the output image data.
  • the luminance signal Y (x, y) in the input image data is output as it is as the luminance signal Y (x, y) in the output image data.
  • FIG. 9 is a graph showing an example of an edge before and after smoothing in the first embodiment.
  • the vertical axis indicates pixel values, and the horizontal axis indicates coordinates.
  • black circles indicate the target pixel and white circles indicate peripheral pixels.
  • a in the same figure is a graph which shows an example of the edge before smoothing.
  • B in the same figure is a graph which shows an example of the edge after smoothing using Formula 1.
  • FIG. C in the same figure is a graph which shows an example of the edge after smoothing by a bilateral filter.
  • the peripheral pixel weighting factor according to Equation 1 is smaller than the weighting factor in the bilateral filter, and the degree of smoothing is low. Therefore, as exemplified in c in FIG. 9, the gradient of the edge is maintained even after the smoothing, and the occurrence of blurring and blurring of the edge can be suppressed.
  • FIG. 10 is a graph showing an example of noise before and after smoothing in the first embodiment.
  • the vertical axis indicates pixel values, and the horizontal axis indicates coordinates.
  • black circles indicate the target pixel and white circles indicate peripheral pixels.
  • a in the same figure is a graph which shows an example of the noise before smoothing.
  • B in the same figure is a graph which shows an example of the noise after smoothing.
  • the image processing unit 200 can remove noise while suppressing the occurrence of blurring and blurring of edges. Thereby, the image quality of the output image data can be improved.
  • the weighting factors for the pair of point-symmetrical pixels are the same, the weighting factors have symmetry, and the filter configured by the weighting and adding unit 260 has linear phase characteristics. This makes distortion less likely to occur at the edges.
  • FIG. 11 is a flowchart illustrating an example of the operation of the imaging device 100 according to the first embodiment. This operation is started, for example, when a predetermined operation for imaging (such as pressing a shutter button) is performed.
  • a predetermined operation for imaging such as pressing a shutter button
  • the imaging element 120 in the imaging device 100 generates image data (step S901), and performs demosaicing processing (step S902) and YUV conversion processing (step S903).
  • the image processing unit 200 in the imaging apparatus 100 selects a not-selected target pixel (step S 905), and uses a weighting factor based on the difference between the pixel values of the peripheral pixel pair at the point symmetrical position with respect to the target pixel. It calculates (step S906). Also, the image processing unit 200 performs weighted addition on each pixel value of the target pixel and the peripheral pixels (step S 907). The image processing unit 200 determines whether all the pixels have been selected (step S 908). When all the pixels have not been selected (step S908: No), the image processing unit 200 returns to step S905. On the other hand, when all the pixels have been selected (step S 908: Yes), the image processing unit 200 ends the imaging and image processing operations.
  • the image processing unit 200 performs smoothing as the difference between the pixel values of the pair of pixels located at the point-symmetrical position with respect to the pixel of interest increases.
  • the degree of smoothing is reduced when the edge passes the pixel of interest. Therefore, the occurrence of blurring and blurring can be suppressed at the edge, and the image quality of the image data can be improved.
  • the weighting factor calculation unit 230 and the weighting addition unit 260 perform weighted addition within a filter range of a certain distance from the pixel of interest to remove noise.
  • a low pass filter that performs weighted addition in a wider filter range than the weighted addition unit 260 may be further added.
  • noise in a wider frequency band can be removed to improve the image quality.
  • the image processing unit 200 according to the second embodiment is different from the first embodiment in that a low pass filter that performs weighted addition in a filter range wider than the weighted addition unit 260 is added.
  • FIG. 12 is a block diagram showing a configuration example of the image processing unit 200 in the second embodiment.
  • the image processing unit 200 according to the second embodiment is different from the first embodiment in that the image processing unit 200 further includes a low pass filter 280 and a data buffer 290.
  • the low pass filter 280 performs weighted addition in a wider filter range than the weighted addition unit 260. This wide range smoothing processing (weighted addition) removes noise in a wider frequency band than the weighted addition unit 260.
  • the low pass filter 280 reads the color difference signals U and V from the data buffer 210 and performs smoothing processing, and causes the data buffer 290 to hold the processed signals (U ′ and V ′) and the luminance signal Y.
  • the low pass filter 280 is an example of the wide range smoothing processing unit described in the claims.
  • the weight coefficient calculation unit 230 and the weighting addition unit 260 read pixel data from the data buffer 290.
  • FIG. 13 is a diagram showing an example of weighting factors set in the low pass filter 280 in the second embodiment. Pixels surrounded by thick solid lines in FIG. The numerical values described in the pixels indicate weighting factors.
  • the low pass filter 280 sequentially selects pixels in the input image data as the target pixel. For each pixel within the 5 ⁇ 5 filter range centered on the pixel of interest, a smaller weighting factor is set as the distance from the pixel of interest is longer.
  • the weighting factor of “4” is multiplied for the pixel of interest and the nine pixels above and below, left and right, upper left, upper right, lower left and lower right.
  • a weighting factor of “2” is multiplied for pixels having a distance of 2 or more and less than 2 ⁇ 2 1/2 from the pixel of interest.
  • a weighting factor of "1" is set for the remaining pixels.
  • the low pass filter 280 multiplies these coefficients by the corresponding pixel values (U and V), divides the sum of the multiplication results by “64”, and causes the data buffer 290 to hold the result.
  • the luminance signal Y is held in the data buffer 290 as it is without passing through the low pass filter 280.
  • FIG. 14 is a flowchart illustrating an example of the operation of the imaging device 100 according to the second embodiment.
  • the operation of the imaging apparatus 100 according to the second embodiment is different from that according to the first embodiment in that step S904 is further executed.
  • step S 903 After the YUV conversion process (step S 903), the image processing unit 200 removes noise by the low pass filter 280 (step S 904), and performs the process from step S 905.
  • the image processing unit 200 since the image processing unit 200 performs weighted addition in a range wider than the weighted addition unit 260 in the low pass filter 280, noise in a wider frequency band is removed. Thus, the image quality of the image data can be improved.
  • the demosaicing processing is performed in the imaging element 120, but the image processing unit 200 may perform this demosaicing processing.
  • the image processing unit 200 according to the third embodiment is different from the first embodiment in that demosaicing processing is further performed.
  • FIG. 15 is a block diagram showing one configuration example of the imaging device 120 in the third embodiment.
  • the imaging device 120 according to the third embodiment differs from the first embodiment in that the demosaicing unit 127 and the YUV conversion unit 128 are not provided.
  • the AD conversion unit 125 of the third embodiment supplies the image data before demosaicing to the image processing unit 200 as input image data.
  • FIG. 16 is a block diagram showing one configuration example of the image processing unit 200 in the third embodiment.
  • the image processing unit 200 according to the third embodiment is different from the first embodiment in that the image processing unit 200 further includes a demosaicing unit 300 and a data buffer 290.
  • the demosaicing unit 300 performs demosaicing on input image data.
  • the demosaicing unit 300 reads pixel data from the data buffer 210 and performs demosaicing, and causes the data buffer 290 to hold the processed image data.
  • the demosaicing unit 300 is an example of a color information interpolation unit described in the claims.
  • the weight coefficient calculation unit 230 and the weighting addition unit 260 read pixel data from the data buffer 290.
  • the weight coefficient calculation unit 230 of the third embodiment calculates the coefficient wght using the following equation instead of Equation 1.
  • r is an r signal of one of the pair of peripheral pixels
  • r ′ is the other r signal of the pair of peripheral pixels
  • g is one g signal of the pair of peripheral pixels
  • g ' is the other g signal of the pair of peripheral pixels
  • b is one b signal of the pair of peripheral pixels, and b 'is the other b signal of the pair of peripheral pixels.
  • the image processing unit 200 may further execute YUV conversion processing.
  • the image processing unit 200 is further provided with a YUV conversion processing unit that performs YUV conversion on the image data after the demosaicing processing.
  • FIG. 17 is a block diagram showing an example of configuration of the demosaicing unit 300 in the third embodiment.
  • the demosaicing unit 300 includes an R interpolation filter 301, a G interpolation filter 302, a B interpolation filter 303, and W interpolation filters 304, 305, and 306. Also, the demosaicing unit 300 includes subtractors 307, 308 and 309.
  • the R interpolation filter 301 selects a plurality of pixels in order as a target pixel, and interpolates the R signal in the target pixel. For example, the R interpolation filter 301 performs weighted addition with a coefficient according to the distance for each of the R signals within the 5 ⁇ 5 filter range centering on the target pixel. The R interpolation filter 301 supplies the addition result to the subtractor 307 as an R 'signal.
  • the G interpolation filter 302 interpolates the G signal at the target pixel. For example, the G interpolation filter 302 performs weighted addition with a coefficient according to the distance for each of the G signals within the 5 ⁇ 5 filter range centering on the target pixel. The G interpolation filter 302 supplies the addition result to the subtractor 308 as a G 'signal.
  • the B interpolation filter 303 interpolates the B signal in the target pixel. For example, the B interpolation filter 303 performs weighted addition with a coefficient according to the distance for each of the B signals within the 5 ⁇ 5 filter range centering on the target pixel. The B interpolation filter 303 supplies the addition result to the subtractor 309 as a B 'signal.
  • the W interpolation filter 304 interpolates the W signal for the target pixel from W pixels in the upper, lower, left, and right of the R pixel within a certain range from the target pixel. For example, the W interpolation filter 304 performs weighted addition with a coefficient according to the distance to each of average values of W signals in the upper, lower, left, and right of the R signal within the 5 ⁇ 5 filter range around the target pixel. The W interpolation filter 304 supplies the addition result to the subtractor 307 as a W 'signal.
  • the W interpolation filter 305 interpolates a W signal for a target pixel from W pixels in the upper, lower, left, and right of the G pixel within a certain range from the target pixel. For example, the W interpolation filter 305 performs weighted addition with a coefficient according to the distance to each of the average values of the W signals in the upper, lower, left, and right of the G signal within the 5 ⁇ 5 filter range with the target pixel as the center. The W interpolation filter 305 supplies the addition result to the subtractor 308 as a W 'signal.
  • the W interpolation filter 306 interpolates the W signal for the target pixel from W pixels in the upper, lower, left, and right of the B pixel within a certain range from the target pixel. For example, the W interpolation filter 306 performs weighted addition with a coefficient according to the distance on each of average values of W signals in the upper, lower, left, and right of the B signal within the 5 ⁇ 5 filter range with the target pixel as the center. The W interpolation filter 306 supplies the addition result to the subtractor 309 as a W 'signal.
  • the subtractor 307 subtracts the W ′ signal from the W interpolation filter 304 from the R ′ signal from the R interpolation filter 301.
  • the subtractor 307 outputs the subtraction result as an r signal.
  • the subtractor 308 subtracts the W ′ signal from the W interpolation filter 305 from the G ′ signal from the G interpolation filter 302.
  • the subtractor 308 outputs the subtraction result as a g signal.
  • the subtractor 309 subtracts the W ′ signal from the W interpolation filter 306 from the B ′ signal from the B interpolation filter 303.
  • the subtractor 309 outputs the subtraction result as the b signal.
  • FIG. 18 is a diagram showing an example of the input image data 530 in the third embodiment. As illustrated in the figure, in the input image data, a plurality of pixels having color information of any one of R signal, G signal, B signal and W signal as a pixel value are arranged in a two-dimensional grid.
  • the imaging device 120 may generate input image data in a Bayer array, and the image processing unit 200 may demosaic the input image data.
  • FIG. 19 is a diagram showing an example of weighting factors set in the R interpolation filter 301, the G interpolation filter 302, and the B interpolation filter 303 in the third embodiment.
  • “A” in FIG. 19 is a diagram showing an example of weighting factors set in the R interpolation filter 301.
  • the R interpolation filter 301 sequentially selects pixels in the input image data as target pixels. For R signals within a 5 ⁇ 5 range centered on the target pixel, a smaller weight coefficient is set as the distance from the target pixel is longer.
  • the weighting factor of “4” is multiplied for the target pixel and the R pixel at the upper, lower, left, upper left, upper right, upper left, lower left and lower right thereof.
  • a weighting factor of “2” is multiplied for an R pixel having a distance of 2 or more and less than 2 ⁇ 21 ⁇ 2 from the target pixel.
  • a weighting factor of "1" is set for the remaining R pixels.
  • the R interpolation filter 301 multiplies these coefficients by the corresponding R signal and divides it by a predetermined value so that the total value becomes “1” to generate an R ′ signal.
  • FIG. 19 is a diagram illustrating an example of weighting factors set in the G interpolation filter 302.
  • the weighting factor of “4” is multiplied for the target pixel and the G pixels at the upper, lower, left, upper left, upper right, upper left, lower left and lower right thereof.
  • a weighting factor of “2” is multiplied for G pixels having a distance of 2 or more and less than 2 ⁇ 21 ⁇ 2 from the target pixel.
  • a weighting factor of "1" is set for the remaining G pixels.
  • the G interpolation filter 302 multiplies these coefficients by the corresponding G signal and divides it by a predetermined value so that the total value becomes “1” to generate a G ′ signal.
  • C in FIG. 19 is a diagram showing an example of weight coefficients set to the B interpolation filter 303.
  • this B interpolation filter 303 for the B signal within the 5 ⁇ 5 range centered on the target pixel, a smaller weight coefficient is set as the distance from the target pixel is longer.
  • the weighting factor of “4” is multiplied for the target pixel and the B pixel at the upper, lower, left, upper left, upper right, upper left, lower left, and lower right thereof.
  • a weighting factor of “2” is multiplied for a B pixel having a distance of 2 or more and less than 2 ⁇ 2 1/2 from the target pixel.
  • a weighting factor of "1" is set for the remaining B pixels.
  • the B interpolation filter 303 multiplies these coefficients by the corresponding B signal, and divides by a predetermined value so that the total value becomes “1” to generate a B ′ signal.
  • FIG. 20 is a diagram showing an example of weighting factors set in the W interpolation filters 304, 305 and 306 in the third embodiment.
  • “A” in FIG. 20 is a diagram showing an example of weighting factors set in the W interpolation filter 304.
  • the W interpolation filter 304 for the W signals in the upper, lower, left, and right of the R pixel within the 5 ⁇ 5 range centering on the target pixel, a smaller weight coefficient is set as the distance from the target pixel to the R pixel increases.
  • the weighting factor of “4” is multiplied for the target pixel and the W pixels above and below, left and right, upper left, upper right, upper right, lower left and lower right of the R pixel.
  • the filter range is a 7 ⁇ 7 range.
  • a weighting factor of “2” is multiplied for the W pixels above, below, left, and right of an R pixel whose distance from the target pixel is 2 or more and less than 2 ⁇ 2 1/2 .
  • a weighting factor of “1” is set for the top, bottom, left, and right W pixels of the remaining R pixels.
  • the hatched part of a in the same figure shows R pixel.
  • the W interpolation filter 304 multiplies these coefficients by the average value of the corresponding W signal, and divides the result by a predetermined value so that the total value becomes “1” to generate a W ′ signal.
  • B in FIG. 20 is a diagram showing an example of weighting factors set in the W interpolation filter 305.
  • the W interpolation filter 305 for the W signals in the upper, lower, left, and right of the G pixel within the 5 ⁇ 5 range centering on the target pixel, a smaller weight coefficient is set as the distance from the target pixel to the G pixel becomes longer.
  • the weighting factor of “4” is multiplied for the target pixel and the W pixels above and below, left and right, upper left, upper right, upper right, lower left and lower right of the G pixel.
  • the weighting coefficient of “2” is multiplied.
  • a weighting factor of “1” is set for the top, bottom, left, and right W pixels of the remaining G pixels.
  • the hatched part of a in the same figure shows G pixel.
  • the W interpolation filter 305 multiplies these coefficients by the average value of the corresponding W signal, and divides by a predetermined value to generate a W 'signal so that the total value becomes "1".
  • C in FIG. 20 is a diagram showing an example of weighting factors set in the W interpolation filter 306.
  • the weighting factor of “4” is multiplied for the target pixel and the W pixels above and below, left and right, upper left, upper right, upper right, lower left and lower right of the B pixel.
  • the weighting factor of “2” is multiplied for W pixels at the top, bottom, left, and right of a B pixel whose distance from the target pixel is 2 or more and less than 2 ⁇ 21 ⁇ 2 .
  • a weighting factor of “1” is set for the top, bottom, left, and right W pixels of the remaining B pixels.
  • the hatched part of a in the same figure shows B pixel.
  • the W interpolation filter 306 multiplies these coefficients by the average value of the corresponding W signal, and divides by a predetermined value to generate a W 'signal so that the total value becomes "1".
  • FIG. 21 is a view showing an example of the image data 540 after the demosaicing processing in the third embodiment. As illustrated in the figure, as a result of demosaicing processing that lacks color information for each pixel is interpolated, image data 540 including an r signal, a g signal, and a b signal is generated for each pixel.
  • FIG. 22 is a block diagram showing a configuration example of the weighting addition unit 260 in the third embodiment.
  • the readout unit 261 of the third embodiment differs from that of the first embodiment in that the r signal, the g signal and the b signal of the pixel of interest and the peripheral pixels are read out instead of the color difference signals U and V.
  • FIG. 23 is a flowchart showing an example of the operation of the imaging device 100 according to the third embodiment.
  • the operation of the imaging device 100 according to the third embodiment is different from that according to the first embodiment in that the image processing unit 200 executes demosaicing (step S902) and does not execute YUV conversion (step S903).
  • the image processing unit 200 further performs the demosaicing process, so that the imaging element 120 does not need to perform the demosaicing process. Thereby, the circuit scale of the image sensor 120 can be reduced.
  • the image processing unit 200 outputs the image data after the demosaicing process and the smoothing process as it is. However, the high frequency component removed by the demosaicing process is extracted, and after the smoothing process, the high frequency component is extracted. High frequency components may be restored. This further improves the image quality of the image data.
  • the image processing unit 200 of the modification differs from that of the first embodiment in that high frequency components are restored.
  • FIG. 24 is a block diagram showing one configuration example of the image processing unit 200 in the modification of the third embodiment.
  • the image processing unit 200 of the modification is different from that of the third embodiment in that the W interpolation filter 310 and the high frequency component restoration unit 320 are further provided.
  • the W interpolation filter 310 is a filter that interpolates the missing W signal for each pixel using a filter with a smaller number of taps than the interpolation filter in the demosaicing unit 300. For example, when an interpolation filter with 7 ⁇ 7 taps is used in the demosaicing unit 300, a W interpolation filter 310 with 3 ⁇ 3 taps is provided.
  • the W interpolation filter 310 supplies the W signal after interpolation as a high frequency component to the high frequency component restoration unit 320.
  • the high frequency component restoration unit 320 restores high frequency components in the image data after the smoothing process.
  • the high frequency component restoration unit 320 combines the high frequency component from the W interpolation filter 310 with the image data from the weighting and addition unit 260 and outputs it as output image data. Thus, the high frequency component is restored.
  • the image quality of the image data can be further improved.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute the series of procedures or a recording medium storing the program. You may catch it.
  • this recording medium for example, a CD (Compact Disc), an MD (Mini Disc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc) or the like can be used.
  • the effect described here is not necessarily limited, and may be any effect described in the present disclosure.
  • the present technology can also be configured as follows. (1) For each of a plurality of input pixels arranged in a two-dimensional grid, one of a pair of input pixels located at a point symmetrical position with respect to the target pixel within a predetermined range of a certain distance from the target pixel as the target pixel. A difference acquisition unit which calculates differences between respective pixel values; An image processing apparatus comprising: a smoothing processing unit which performs smoothing processing with a high degree of smoothing within the predetermined range as the difference is smaller.
  • the difference acquisition unit A peripheral pixel weight coefficient generation unit which calculates the difference and generates a smaller coefficient from the difference as the peripheral pixel weight coefficient as the difference is larger; And a target pixel weight coefficient generation unit that generates the coefficient for the target pixel as the target pixel weight coefficient from the peripheral pixel weight coefficient,
  • the image processing apparatus according to (1), wherein the smoothing processing unit performs weighted addition on the pair of input pixels and the target pixel by the peripheral pixel weighting coefficient and the target pixel weighting coefficient as the smoothing processing.
  • the peripheral pixel weight coefficient generation unit generates a coefficient as the peripheral pixel weight coefficient, which is smaller as the difference is larger and as the distance between the target pixel and one of the pair of input pixels is shorter.
  • the image processing apparatus further includes a wide area smoothing processing unit that performs smoothing processing as wide area smoothing processing within the range of a distance longer than the predetermined distance from the focused pixel as the focused pixel for each of the plurality of input pixels.
  • the difference acquisition unit obtains differences between pixel values of the pair of input pixels after the wide-area smoothing process,
  • the smoothing processing unit performs the smoothing process within the predetermined range after the wide-area smoothing process.
  • the pixel value includes a luminance signal and a color difference signal.
  • the image processing apparatus according to any one of (1) to (4), wherein the pixel value includes a plurality of color information.
  • a color information interpolation unit is further provided, which interpolates missing color information among the plurality of color information in each of the plurality of input pixels having one of the plurality of color information as the pixel value,
  • the weight coefficient generation unit sequentially sets each of the plurality of input pixels for which the color information is interpolated as a target pixel.
  • an imaging unit configured to capture an image including a plurality of input pixels arranged in a two-dimensional grid; For each of the plurality of input pixels, a difference acquisition for obtaining a difference between respective pixel values of a pair of input pixels located at a point symmetrical position with respect to the target pixel within a predetermined range of a certain distance from the target pixel as the target pixel in order Department,
  • An image pickup apparatus comprising: a smoothing processing unit that performs smoothing processing with a high degree of smoothing within the predetermined range as the difference is smaller.
  • the difference acquiring unit is in the position of point symmetry with respect to the target pixel within a predetermined range of a certain distance from the target pixel as the target pixel in order for each of the plurality of input pixels arranged in a two-dimensional grid
  • a difference acquisition procedure for determining differences between respective pixel values of a pair of input pixels An image processing method comprising: a smoothing processing unit performing smoothing processing with a high degree of smoothing within the predetermined range as the difference decreases;
  • the difference acquiring unit is in the position of point symmetry with respect to the target pixel within a predetermined range of a certain distance from the target pixel as the target pixel in order for each of the plurality of input pixels arranged in a two-dimensional grid
  • a difference acquisition procedure for determining differences between respective pixel values of a pair of input pixels A program for causing a computer to execute a smoothing processing unit that performs smoothing processing with a high degree of smoothing within the predetermined range as the difference is smaller.
  • imaging device 110 imaging lens 120 imaging element 121 row scanning circuit 122 pixel array unit 123 pixel 124 timing control circuit 125 AD conversion unit 126 column scanning circuit 127 demosaicing unit 128 YUV conversion unit 130 control unit 140 recording unit 200 image processing unit 210 , 290 data buffer 220 target pixel selection unit 230 weighting coefficient calculation unit 240 peripheral pixel weighting coefficient calculation unit 241 left and right pair weighting coefficient calculation unit 242 upper and lower pair weighting coefficient calculation unit 243, 244 diagonal pair weighting coefficient calculation unit 245, 246, 247, 248, 251, 252, 253, 254, 266, 267, 268, 269, 270 multiplier 250 target pixel weighting factor calculation unit 255, 262, 263, 264, 265 adder 256, 307, 308, 309 subtractor 260 weight Only adding unit 261 reads unit 271 adding unit 280 lowpass filter 300 demosaic processing unit 301 R interpolation filter 302 G interpolation filter 303 B interpolation filters 304, 305, 306 W interpol

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　ノイズを除去する画像処理を行った画像の画質を向上させる。　画像処理装置は、差分取得部および平滑化処理部を具備する。差分取得部は、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として、その注目画素から一定距離の所定範囲内において注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める。また、平滑化処理部は、差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う。

Description

画像処理装置、撮像装置、画像処理方法およびプログラム
　本技術は、画像処理装置、撮像装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、ノイズを除去する画像処理装置、撮像装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。
　従来より、撮像装置などの画像処理装置においては、画像の画質を向上させるために、各種のノイズ除去フィルタが用いられている。例えば、ノイズ除去フィルタとしてバイラテラルフィルタを用いる撮像装置が提案されている（例えば、特許文献１参照。）。このバイラテラルフィルタでは、注目した注目画素と、その注目画素の周辺の周辺画素とのそれぞれの画素値の差分が大きいほど小さい重み係数が算出され、その重み係数により画素値が重み付け加算される。
特開２００６－１８０２６８号公報
　しかしながら、上述の従来技術では、エッジに滲みやボケが生じるおそれがある。例えば、注目画素を通過するエッジの濃度勾配が小さいと、周辺画素と注目画素との間の画素値の差分が、あまり大きくならず、その結果、周辺画素に対する重み係数が比較的高くなり、エッジに滲みやボケが生じてしまう。この滲みやボケの発生を抑制するには、周辺画素に対する重み係数が小さくなるようにフィルタの設定を変更すればよいが、そのような設定では、ノイズの除去率が低下するおそれがある。したがって、上述の従来技術では、ノイズの除去とボケの発生の抑制とを両立して、画質を向上させることが困難である。
　本技術はこのような状況に鑑みて生み出されたものであり、ノイズを除去する画像処理を行った画像の画質を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部とを具備する画像処理装置、および、その画像処理方法、ならびに、当該方法をコンピュータに実行させるためのプログラムである。これにより、注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分が小さいほど平滑化の度合いの高い平滑化処理が行われるという作用をもたらす。
　また、この第１の側面において、前記差分取得部は、前記差分を求めて当該差分が大きいほど小さい係数を周辺画素重み係数として前記差分から生成する周辺画素重み係数生成部と、前記注目画素に対する係数を注目画素重み係数として前記周辺画素重み係数から生成する注目画素重み係数生成部とを備え、前記平滑化処理部は、前記周辺画素重み係数および前記注目画素重み係数による前記一対の入力画素と前記注目画素とに対する重み付け加算を前記平滑化処理として行ってもよい。これにより、周辺画素重み係数および注目画素重み係数による一対の入力画素と注目画素とに対する重み付け加算が平滑化処理として行われるという作用をもたらす。
　また、この第１の側面において、前記周辺画素重み係数生成部は、前記差分が大きいほど小さく、前記注目画素と前記一対の入力画素のいずれかとの間の距離が短いほど大きい係数を前記周辺画素重み係数として生成してもよい。これにより、前記差分が大きいほど小さく、注目画素と一対の入力画素のいずれかとの間の距離が短いほど大きい係数が周辺画素重み係数として生成されるという作用をもたらす。
　また、この第１の側面において、前記複数の入力画素のそれぞれについて順に着目画素として当該着目画素から前記一定距離より長い距離の範囲内において平滑化処理を広範囲平滑化処理として行う広範囲平滑化処理部をさらに具備し、前記差分取得部は、前記広範囲平滑化処理の後の前記一対の入力画素のそれぞれの画素値の差分を求め、前記平滑化処理部は、前記広範囲平滑化処理の後の前記所定範囲内において前記平滑化処理を行ってもよい。これにより、広範囲平滑化処理の後の所定範囲内において平滑化処理が行われるという作用をもたらす。
　また、この第１の側面において、前記画素値は、輝度信号および色差信号を含んでもよい。これにより、輝度信号および色差信号を含む画素値の差分が小さいほど平滑化の度合いの高い平滑化処理が行われるという作用をもたらす。
　また、この第１の側面において、前記画素値は、複数の色情報を含んでもよい。これにより、複数の色情報を含む画素値の差分が小さいほど平滑化の度合いの高い平滑化処理が行われるという作用をもたらす。
　また、この第１の側面において、複数の色情報のうちの１つを前記画素値とする前記複数の入力画素のそれぞれにおいて前記複数の色情報のうち足りない色情報を補間する色情報補間部をさらに具備し、前記重み係数生成部は、前記色情報が補間された前記複数の入力画素のそれぞれについて順に注目画素としてもよい。これにより、複数の入力画素のそれぞれにおいて複数の色情報のうち足りない色情報が補間されるという作用をもたらす。
　また、本技術の第２の側面は、二次元格子状に配列された複数の入力画素を含む画像を撮像する撮像部と、前記複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部とを具備する撮像装置である。これにより、注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分が小さいほど平滑化の度合いの高い平滑化処理が行われるという作用をもたらす。
　本技術によれば、ノイズを除去する画像処理を行った画像の画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第１の実施の形態における撮像装置の一構成例を示すブロック図である。 第１の実施の形態における撮像素子の一構成例を示すブロック図である。 第１の実施の形態における画像処理部の一構成例を示すブロック図である。 第１の実施の形態における入力画像データの一例を示す図である。 第１の実施の形態における重み係数算出部の一構成例を示すブロック図である。 第１の実施の形態における周辺画素重み係数算出部の一構成例を示すブロック図である。 第１の実施の形態における注目画素重み係数算出部の一構成例を示すブロック図である。 第１の実施の形態における重み付け加算部の一構成例を示すブロック図である。 第１の実施の形態における平滑化前後のエッジの一例を示すグラフである。 第１の実施の形態における平滑化前後のノイズの一例を示すグラフである。 第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 第２の実施の形態における画像処理部の一構成例を示すブロック図である。 第２の実施の形態におけるローパスフィルタに設定される重み係数の一例を示す図である。 第２の実施の形態における撮像装置の動作の一例を示すフローチャートである。 第３の実施の形態における撮像素子の一構成例を示すブロック図である。 第３の実施の形態における画像処理部の一構成例を示すブロック図である。 第３の実施の形態におけるデモザイク処理部の一構成例を示すブロック図である。 第３の実施の形態における入力画像データの一例を示す図である。 第３の実施の形態におけるＲローパスフィルタ、ＧローパスフィルタおよびＢローパスフィルタに設定される重み係数の一例を示す図である。 第３の実施の形態におけるＲ周辺Ｗローパスフィルタ、Ｇ周辺ＷローパスフィルタおよびＢ周辺Ｗローパスフィルタに設定される重み係数の一例を示す図である。 第３の実施の形態におけるデモザイク処理後の画像データの一例を示す図である。 第３の実施の形態における重み付け加算部の一構成例を示すブロック図である。 第３の実施の形態における撮像装置の動作の一例を示すフローチャートである。 第３の実施の形態の変形例における画像処理部の一構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（一対の画素対の差分に応じた度合いで平滑化する例）
　２．第２の実施の形態（ローパスフィルタ通過後に一対の画素対の差分に応じた度合いで平滑化する例）
　３．第３の実施の形態（デモザイク処理後に一対の画素対の差分に応じた度合いで平滑化する）
　４．変形例
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置は、画像を撮像する装置であり、撮像レンズ１１０、撮像素子１２０、制御部１３０、記録部１４０および画像処理部２００を備える。
　撮像レンズ１１０は、被写体からの光を集光して撮像素子１２０に導くレンズである。
　撮像素子１２０は、制御信号に従って撮像レンズ１１０からの光を電気信号に変換して、画像データを生成するものである。この撮像素子１２０には、例えば、Ｒ（Red）画素、Ｇ(Green)画素、Ｂ(Blue)画素およびＷ（White）画素のそれぞれが二次元格子状に設けられる。撮像素子１２０は、これらの画素のそれぞれで光電変換したアナログの電気信号をＡＤ（Analog to Digital）変換して、画像データを生成する。撮像素子１２０としては、例えば、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーが用いられる。撮像素子１２０は、生成した画像データを入力画像データとして、信号線１２９を介して画像処理部２００に供給する。なお、撮像素子１２０は、特許請求の範囲に記載の撮像部の一例である。また、撮像素子１２０に、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素を配列しているが、Ｗ画素を設けず、Ｒ画素、Ｇ画素およびＢ画素のみを配列してもよい。また、撮像素子１２０は、特許請求の範囲に記載の撮像部の一例である。
　画像処理部２００は、入力画像データに対して、平滑化処理を含む所定の画像処理を行うものである。この平滑化処理において、画像処理部２００は、タイミング信号に従って、画素に順に注目して、注目した画素から一定距離の範囲（以下、「フィルタ範囲」と称する。）内において重み付け加算を行う。画像処理部２００は、画像処理後の画像データを出力画像データとして記録部１４０に信号線２０９を介して供給する。
　制御部１３０は、撮像装置１００全体を制御するものである。この制御部１３０は、ユーザの操作などに従って制御信号を生成し、撮像素子１２０に信号線１３９を介して供給する。この制御信号は、例えば、垂直同期信号を含む。また、制御部１３０は、画素のそれぞれに注目するタイミングを示すタイミング信号を生成し、信号線１３８を介して画像処理部２００に供給する。記録部１４０は、出力画像データを記録するものである。
　なお、撮像装置１００は、表示部をさらに備え、その表示部に出力画像データを表示してもよい。また、撮像装置１００は、インターフェースをさらに備え、そのインターフェースを介して、出力画像データを外部の装置に出力してもよい。
　また、撮像レンズ１１０、撮像素子１２０、制御部１３０、画像処理部２００、記録部１４０を同一の装置内に設ける構成としているが、これらを別々の装置に設ける構成としてもよい。例えば、撮像素子１２０などを撮像装置１００に設け、画像処理部２００を情報処理装置等に設ける構成としてもよい。
　［撮像素子の構成例］
　図２は、第１の実施の形態における撮像素子１２０の一構成例を示すブロック図である。この撮像素子１２０は、行走査回路１２１、画素アレイ部１２２、タイミング制御回路１２４、ＡＤ変換部１２５、列走査回路１２６、デモザイク処理部１２７およびＹＵＶ変換部１２８を備える。画素アレイ部１２２には、２次元格子状に複数の画素１２３が設けられる。
　タイミング制御回路１２４は、行および列の走査のタイミングを制御するものである。ここで、行は画素アレイ部１２２において、ある一方向に複数の画素１２３が配列されたものであり、ラインとも呼ばれる。また、列は画素アレイ部１２２において行と直交する方向に複数の画素１２３が配列されたものである。
　タイミング制御回路１２４は、制御部１３０からの垂直同期信号ＶＳＹＮＣに同期して、水平同期信号ＨＳＹＮＣを生成し、行走査回路１２１に供給する。また、タイミング制御回路１２４は、列を走査するタイミングを指示する列走査信号を水平同期信号ＨＳＹＮＣに同期して生成し、列走査回路１２６に供給する。
　行走査回路１２１は、水平同期信号ＨＳＹＮＣに同期して行（ライン）の各々を順に選択するものである。この行走査回路１２１は、設定された露光期間に亘って、選択した行を露光させる。
　画素１２３は、光を電気信号に変換して画素信号として出力するものである。画素１２３は、生成した画素信号をＡＤ変換部１２５に供給する。それぞれの画素信号は、Ｒ信号、Ｇ信号、Ｂ信号およびＷ信号のいずれかの色情報を含む。
　ＡＤ変換部１２５は、画素信号をＡＤ変換して画素データを生成するものである。ＡＤ変換部１２５は、列ごとに設けられる。列走査回路１２６により選択された列のＡＤ変換部１２５は、生成した画素データをデモザイク処理部１２７へ供給する。列走査回路１２６は、タイミング制御回路１２４の制御に従って、列の各々を選択するものである。
　デモザイク処理部１２７は、画素ごとに、Ｒ信号、Ｇ信号およびＢ信号のうち足りない信号を周囲の画素から補間するデモザイク処理を行うものである。デモザイク処理部１２７は、補間後の画素データのそれぞれをＹＵＶ変換部１２８に供給する。
　ＹＵＶ変換部１２８は、Ｒ信号、Ｇ信号およびＢ信号を、輝度信号Ｙと色差信号ＵおよびＶとに変換するＹＵＶ変換処理を画素毎に行うものである。ＹＵＶ変換処理は、例えば、次の式により行われる。ＹＵＶ変換部１２８は、ＹＵＶ変換後の画素データからなる画像データを入力画像データとして画像処理部２００へ供給する。
Figure JPOXMLDOC01-appb-M000001
　なお、ＡＤ変換部１２５、デモザイク処理部１２７およびＹＵＶ変換部１２８を全て撮像素子１２０に設ける構成としているが、これらの少なくとも一部を撮像素子１２０の外部に設けてもよい。
　また、撮像素子１２０は、ＹＵＶ変換を行う構成としているが、ＹＵＶ変換を行わずに、デモザイク処理後の画像データをそのまま画像処理部２００に供給する構成としてもよい。
　図３は、第１の実施の形態における画像処理部２００の一構成例を示すブロック図である。この画像処理部２００は、データバッファ２１０、注目画素選択部２２０、重み係数算出部２３０および重み付け加算部２６０を備える。
　データバッファ２１０は、複数の画素データを保持するものである。例えば、重み付け加算部２６０が注目画素を中心として３×３のフィルタ範囲内で重み付け加算を行う際には、少なくとも３ライン分の画素データが保持される。なお、フィルタ範囲は、注目画素から一定距離の範囲であれば、３×３の範囲に限定されず、例えば、５×５の範囲であってもよい。
　注目画素選択部２２０は、タイミング信号に従って、入力画像データ内の画素のそれぞれを順に選択するものである。選択された画素を以下、「注目画素」と称する。注目画素選択部２２０は、選択した注目画素の座標を注目座標（ｘ、ｙ）として重み係数算出部２３０および重み付け加算部２６０に信号線２２９を介して供給する。
　重み係数算出部２３０は、注目画素から一定距離のフィルタ範囲内の画素のそれぞれに対する重み係数を算出するものである。そのフィルタ範囲内において、注目画素以外の画素を以下、「周辺画素」と称する。重み係数算出部２３０は、フィルタ範囲内において、注目画素に対して点対称の位置にある一対の周辺画素のそれぞれの画素値をデータバッファ２１０から読み出して、それらの差分を求める。そして、重み係数算出部２３０は、その差分が小さいほど大きな重み係数を周辺画素重み係数として算出する。また、重み係数算出部２３０は、周辺画素重み係数の合計値と「１」との差分を注目画素重み係数として算出する。重み係数算出部２３０は、周辺画素重み係数および注目画素重み係数のそれぞれを重み付け加算部２６０に信号線２３９を介して供給する。なお、重み係数算出部２３０は、特許請求の範囲に記載の差分取得部の一例である。
　重み付け加算部２６０は、平滑化処理として重み付け加算を行うものである。この重み付け加算部２６０は、周辺画素重み係数および注目画素重み係数により、周辺画素および注目画素のそれぞれの画素値に対して重み付け加算を行う。フィルタ範囲内の画素数の合計は、フィルタサイズやタップ数と呼ばれる。周辺画素重み係数には、前述したように、一対の周辺画素の画素値の差分が小さいほど、大きな係数が設定される。このため、差分が小さいほど平滑化の度合いの高い平滑化処理が行われる。重み付け加算部２６０は、重み付け加算の加算結果を、出力画像データにおける注目座標（ｘ、ｙ）の画素値として記録部１４０に出力する。なお、重み付け加算部２６０は、特許請求の範囲に記載の平滑化処理部の一例である。
　なお、画像処理部２００は、平滑化処理（重み付け加算）の他、ホワイトバランス処理やガンマ補正処理などの各種の画像処理をさらに行ってもよい。
　図４は、第１の実施の形態における入力画像データの一例を示す図である。この入力画像データには、輝度信号Ｙと色差信号ＵおよびＶとをそれぞれが含む複数の画素データが配列される。同図において、太い実線で囲まれた画素は、注目画素の一例であり、一点鎖線で囲まれた範囲は、重み付け加算の行われるフィルタ範囲の一例である。同図に例示するように、画像処理部２００は、注目画素を中心として３×３のフィルタ範囲内において重み付け加算を行う。
　［重み係数算出部の構成例］
　図５は、第１の実施の形態における重み係数算出部２３０の一構成例を示すブロック図である。この重み係数算出部２３０は、周辺画素重み係数算出部２４０および注目画素重み係数算出部２５０を備える。
　周辺画素重み係数算出部２４０は、周辺画素重み係数を算出するものである。この周辺画素重み係数算出部２４０は、周辺画素のそれぞれの画素データをデータバッファ２１０から読み出す。これらの画素データは、それぞれ、色差信号ＵおよびＶを含む。そして、周辺画素重み係数算出部２４０は、注目画素に対して点対称の位置にある一対の周辺画素のそれぞれの色差信号から、次の式を使用して係数ｗｇｈｔを算出する。
Figure JPOXMLDOC01-appb-M000002
　上式において、ｕは、一対の周辺画素のうち一方の色差信号Ｕであり、ｕ’は、一対の周辺画素のうち他方の色差信号Ｕである。ｖは、一対の周辺画素のうち一方の色差信号Ｖであり、ｖ’は、一対の周辺画素のうち他方の色差信号Ｖである。例えば、一対の周辺画素の各色差信号がＵ（ｘ－１，ｙ）およびＵ（ｘ＋１，ｙ）である場合、ｕにＵ（ｘ－１，ｙ）が設定され、ｕ’にＵ（ｘ＋１，ｙ）が設定される。また、ｋは、係数ｗｇｈｔを算出する際に、画素値の類似度をどの程度厳しく判定するかを示す固定のパラメータである。ｋを大きくするほど係数が大きくなり、平滑化の度合いが高くなる。一方、ｋを小さくするほど係数が小さくなり、平滑化の度合いが低くなる。なお、固定値をｋに設定しているが、周辺画素のそれぞれの画素値の分散をｋに設定してもよい。
　そして、周辺画素重み係数算出部２４０は、式１により求めた係数ｗｇｈｔに対して、注目画素および周辺画素の距離が長いほど小さな所定の係数を乗算して、周辺画素重み係数を算出する。例えば、注目画素と、一対の周辺画素のいずれかとのユークリッド距離が「１」である場合には、「１／８（＝０．１２５）」の係数がｗｇｈｔに乗算される。また、ユークリッド距離が「２1/2」である場合には「１／１６（＝０．０６２５）」の係数がｗｇｈｔに乗算される。
　ここで、３×３のフィルタ範囲内において重み付け加算を行う際は、注目画素の上下、左右、斜めに位置する画素対のそれぞれについて周辺画素重み係数が算出される。注目画素の上下の画素対の周辺画素重み係数を以下、「Ｗ１」と称し、左右の画素対の周辺画素重み係数を以下、「Ｗ２」と称する。また、斜め方向にある画素対は２組あるが、その一方の周辺画素重み係数の一方を以下、「Ｗ３」、他方を「Ｗ４」と称する。周辺画素重み係数算出部２４０は、これらの周辺画素重み係数のそれぞれを注目画素重み係数算出部２５０および重み付け加算部２６０へ供給する。
　注目画素重み係数算出部２５０は、周辺画素重み係数から注目画素重み係数Ｗ０を算出するものである。この注目画素重み係数算出部２５０は、周辺画素重み係数の合計値と「１」との差分を注目画素重み係数Ｗ０として算出する。注目画素に対して点対称の位置にある一対の周辺画素には、いずれも同じ周辺画素重み係数が適用される。このため、Ｗ１、Ｗ２、Ｗ３およびＷ４の周辺画素重み係数が求められた場合、注目画素重み係数算出部２５０は、それぞれを２倍して加算し、その加算値と「１」との差分を求めればよい。注目画素重み係数算出部２５０は、求めた注目画素重み係数Ｗ０を重み付け加算部２６０へ供給する。
　なお、重み係数算出部２３０は、演算により重み係数を算出しているが、重み係数を生成することができるのであれば、この構成に限定されない。例えば、差分がとりうる値ごとに、式１などにより周辺画素重み係数および注目画素重み係数を予め算出してテーブルに保持しておき、重み係数算出部２３０が、そのテーブルから、差分に対応する重み係数を読み出す構成としてもよい。
　［周辺画素重み係数算出部の構成例］
　図６は、第１の実施の形態における周辺画素重み係数算出部２４０の一構成例を示すブロック図である。この周辺画素重み係数算出部２４０は、左右対重み係数算出部２４１と、上下対重み係数算出部２４２と、斜め対重み係数算出部２４３および２４４と、乗算器２４５、２４６、２４７および２４８とを備える。
　左右対重み係数算出部２４１は、注目画素の左右の周辺画素対に対する係数ｗｇｈｔを算出するものである。この左右対重み係数算出部２４１は、注目画素（ｘ、ｙ）の左の画素値Ｐ（ｘ－１、ｙ）と、右の画素値Ｐ（ｘ＋１、ｙ）とをデータバッファ２１０から読み出す。これらの画素値は、それぞれ、色差信号ＵおよびＶを含む。つまり、Ｕ（ｘ－１、ｙ）、Ｕ（ｘ＋１、ｙ）、Ｖ（ｘ－１、ｙ）およびＶ（ｘ＋１、ｙ）の画素値が読み出される。左右対重み係数算出部２４１は、式１を使用して、これらの画素値から係数ｗｇｈｔを算出し、乗算器２４５へ供給する。
　上下対重み係数算出部２４２は、注目画素の上下の周辺画素対に対する係数ｗｇｈｔを算出するものである。この上下対重み係数算出部２４２は、注目画素（ｘ、ｙ）の上の画素値Ｐ（ｘ、ｙ－１）と、下の画素値Ｐ（ｘ、ｙ＋１）とをデータバッファ２１０から読み出す。上下対重み係数算出部２４２は、式１を使用して、これらの画素値から係数ｗｇｈｔを算出し、乗算器２４６へ供給する。
　斜め対重み係数算出部２４３は、注目画素の右上および左下にある周辺画素対に対する係数ｗｇｈｔを算出するものである。この斜め対重み係数算出部２４３は、注目画素（ｘ、ｙ）の右上の画素値Ｐ（ｘ＋１、ｙ－１）と、左下の画素値Ｐ（ｘ－１、ｙ＋１）とをデータバッファ２１０から読み出す。斜め対重み係数算出部２４３は、式１を使用して、これらの画素値から係数ｗｇｈｔを算出し、乗算器２４７へ供給する。
　斜め対重み係数算出部２４４は、注目画素の左上および右下にある周辺画素対に対する係数ｗｇｈｔを算出するものである。この斜め対重み係数算出部２４４は、注目画素（ｘ、ｙ）の左上の画素値Ｐ（ｘ－１、ｙ－１）と、右下の画素値Ｐ（ｘ＋１、ｙ＋１）とをデータバッファ２１０から読み出す。斜め対重み係数算出部２４４は、式１を使用して、これらの画素値から係数ｗｇｈｔを算出し、乗算器２４８へ供給する。
　乗算器２４５は、係数ｗｇｈｔに対して、距離に応じた係数「０．１２５」を乗算するものである。この乗算器２４５は、左右対重み係数算出部２４１からのｗｇｈｔに対して「０．１２５」を乗算し、周辺画素重み係数Ｗ１として出力する。
　乗算器２４６は、係数ｗｇｈｔに対して、距離に応じた係数「０．１２５」を乗算するものである。この乗算器２４６は、上下対重み係数算出部２４２からのｗｇｈｔに対して「０．１２５」を乗算し、周辺画素重み係数Ｗ２として出力する。
　乗算器２４７は、係数ｗｇｈｔに対して、距離に応じた係数「０．０６２５」を乗算するものである。この乗算器２４７は、斜め対重み係数算出部２４３からのｗｇｈｔに対して「０．０６２５」を乗算し、周辺画素重み係数Ｗ３として出力する。
　乗算器２４８は、係数ｗｇｈｔに対して、距離に応じた係数「０．０６２５」を乗算するものである。この乗算器２４８は、斜め対重み係数算出部２４４からのｗｇｈｔに対して「０．０６２５」を乗算し、周辺画素重み係数Ｗ４として出力する。
　このように、周辺画素重み係数算出部２４０は、周辺画素対ごとに重み係数を算出するため、周辺画素ごとに重み係数を算出するバイラテラルフィルタなどと比較して、計算量や回路規模を削減することができる。例えば、バイラテラルフィルタでは、周辺画素が８個の場合、８つの重み係数を算出しなければならないのに対し、周辺画素重み係数算出部２４０では、Ｗ１乃至Ｗ４の４つしか算出する必要がない。
　［注目画素重み係数算出部の構成例］
　図７は、第１の実施の形態における注目画素重み係数算出部２５０の一構成例を示すブロック図である。この注目画素重み係数算出部２５０は、乗算器２５１、２５２、２５３および２５４と、加算器２５５と、減算器２５６とを備える。
　乗算器２５１は、周辺画素重み係数Ｗ１に「２」を乗算するものである。この乗算器２５１は、乗算結果を加算器２５５に供給する。乗算器２５２は、周辺画素重み係数Ｗ２に「２」を乗算するものである。この乗算器２５２は、乗算結果を加算器２５５に供給する。乗算器２５３は、周辺画素重み係数Ｗ３に「２」を乗算するものである。この乗算器２５３は、乗算結果を加算器２５５に供給する。乗算器２５４は、周辺画素重み係数Ｗ４に「２」を乗算するものである。この乗算器２５４は、乗算結果を加算器２５５に供給する。
　加算器２５５は、乗算器２５１乃至２５４の乗算結果の全てを加算するものである。この加算器２５５は、加算結果を減算器２５６へ供給する。
　減算器２５６は、「１」から、加算器２５５の加算結果を減算するものである。この減算器２５６は、減算結果を注目画素重み係数Ｗ０として出力する。
　このように、周辺画素重み係数の合計と「１」との差分を求めることにより、全ての重み係数の和が「１」となり、また、重み係数の和が「１」となるように除算を行う必要がなくなる。これにより、重み係数の和が「１」となるように除算を行うローパスフィルタなどと比較して、計算量や回路規模を削減することができる。
　［重み付け加算部の構成例］
　図８は、第１の実施の形態における重み付け加算部２６０の一構成例を示すブロック図である。この重み付け加算部２６０は、読出し部２６１と、加算器２６２、２６３、２６４、２６５および２６６と、乗算器２６７、２６８、２６９および２７０と、加算部２７１とを備える。
　読出し部２６１は、注目画素および周辺画素のそれぞれの色差信号を読み出すものである。この読出し部２６１は、注目画素の左右の周辺画素対のそれぞれの色差信号Ｕ（ｘ－１、ｙ）および色差信号Ｕ（ｘ－１、ｙ）を加算器２６２に供給し、次に、それらの色差信号Ｖ（ｘ－１、ｙ）および色差信号Ｖ（ｘ－１、ｙ）を加算器２６２に供給する。
　また、読出し部２６１は、注目画素の上下の周辺画素対のそれぞれの色差信号Ｕ（ｘ、ｙ－１）および色差信号Ｕ（ｘ、ｙ＋１）を加算器２６３に供給し、次に、それらの色差信号Ｖ（ｘ、ｙ－１）および色差信号Ｖ（ｘ、ｙ＋１）を加算器２６３に供給する。
　また、読出し部２６１は、注目画素の右上および左下の周辺画素対のそれぞれの色差信号Ｕ（ｘ＋１、ｙ－１）および色差信号Ｕ（ｘ－１、ｙ＋１）を加算器２６４に供給する。次いで読出し部２６１は、それらの色差信号Ｖ（ｘ＋１、ｙ－１）および色差信号Ｖ（ｘ－１、ｙ＋１）を加算器２６４に供給する。
　また、読出し部２６１は、注目画素の左上および右下の周辺画素対のそれぞれの色差信号Ｕ（ｘ－１、ｙ－１）および色差信号Ｕ（ｘ＋１、ｙ＋１）を加算器２６５に供給する。次いで読出し部２６１は、それらの色差信号Ｖ（ｘ－１、ｙ－１）および色差信号Ｖ（ｘ＋１、ｙ＋１）を加算器２６５に供給する。
　さらに読出し部２６１は、注目画素の色差信号Ｕ（ｘ、ｙ）およびＶ（ｘ、ｙ）を順に乗算器２６６に供給する。
　加算器２６２は、左右の周辺画素対のそれぞれの色差信号を加算するものである。この加算器２６２は、加算結果を乗算器２６７に供給する。加算器２６３は、上下の周辺画素対のそれぞれの色差信号を加算するものである。この加算器２６３は、加算結果を乗算器２６８に供給する。加算器２６４は、右上および左下の周辺画素対のそれぞれの色差信号を加算するものである。この加算器２６４は、加算結果を乗算器２６９に供給する。加算器２６５は、左上および右下の周辺画素対のそれぞれの色差信号を加算するものである。この加算器２６５は、加算結果を乗算器２７０に供給する。
　乗算器２６７は、加算器２６２の加算結果に周辺画素重み係数Ｗ１を乗算するものである。この乗算器２６７は、乗算結果を加算部２７１に供給する。乗算器２６８は、加算器２６３の加算結果に周辺画素重み係数Ｗ２を乗算するものである。この乗算器２６８は、乗算結果を加算部２７１に供給する。乗算器２６９は、加算器２６４の加算結果に周辺画素重み係数Ｗ３を乗算するものである。この乗算器２６９は、乗算結果を加算部２７１に供給する。乗算器２７０は、加算器２６５の加算結果に周辺画素重み係数Ｗ４を乗算するものである。この乗算器２７０は、乗算結果を加算部２７１に供給する。
　乗算器２６６は、注目画素の色差信号に注目画素重み係数Ｗ０を乗算するものである。この乗算器２６６は、乗算結果を加算部２７１に供給する。
　加算部２７１は、乗算器２６６、２６７、２６８、２６９および２７０のそれぞれの乗算結果を加算するものである。この加算部２７１は、加算結果を出力画像データ内の座標（ｘ、ｙ）の色差信号Ｕ’およびＶ’として出力する。一方、入力画像データ内の輝度信号Ｙ（ｘ、ｙ）は、そのまま出力画像データにおける輝度信号Ｙ（ｘ、ｙ）として出力される。
　図９は、第１の実施の形態における平滑化前後のエッジの一例を示すグラフである。同図において縦軸は、画素値を示し、横軸は座標を示す。また、黒丸は注目画素を示し、白丸は周辺画素を示す。同図におけるａは、平滑化前のエッジの一例を示すグラフである。同図におけるｂは、式１を用いた平滑化後のエッジの一例を示すグラフである。同図におけるｃは、バイラテラルフィルタによる平滑化後のエッジの一例を示すグラフである。
　図９におけるａに例示したように、エッジの濃度勾配が緩やかである場合には、注目画素の画素値Ｐ（ｘ、ｙ）と周辺画素の画素値Ｐ（ｘ－１、ｙ）およびＰ（ｘ＋１、ｙ）とのそれぞれの差分が比較的小さくなる。ここで、仮にバイラテラルフィルタを用いた場合、画素値Ｐ（ｘ、ｙ）と画素値Ｐ（ｘ－１、ｙ）およびＰ（ｘ＋１、ｙ）との差分から、その差分が小さいほど大きな重み係数が算出される。このため、バイラテラルフィルタでは、エッジの濃度勾配が緩やかであるほど周辺画素に対する重み係数が大きくなり、平滑化の度合いが大きくなる。したがって、同図におけるｃに例示するように勾配がさらに小さくなり、エッジにおいてボケや滲みが生じるおそれがある。
　これに対して、画像処理部２００では、式１により、周辺画素の画素値Ｐ（ｘ－１、ｙ）と画素値Ｐ（ｘ＋１、ｙ）との差分から、その差分が小さいほど大きな周辺画素重み係数が算出される。エッジが注目画素を通過する場合、周辺画素対のそれぞれの画素値の差分は、注目画素および周辺画素のそれぞれの画素値の差分よりも大きくなる。このため、式１による周辺画素重み係数は、バイラテラルフィルタにおける重み係数よりも小さくなり、平滑化の度合いが低くなる。したがって、図９におけるｃに例示したように、平滑化後においてもエッジの勾配が維持され、エッジのボケや滲みの発生を抑制することができる。
　図１０は、第１の実施の形態における平滑化前後のノイズの一例を示すグラフである。同図において縦軸は、画素値を示し、横軸は座標を示す。また、黒丸は注目画素を示し、白丸は周辺画素を示す。同図におけるａは、平滑化前のノイズの一例を示すグラフである。同図におけるｂは、平滑化後のノイズの一例を示すグラフである。
　図１０におけるａに例示するように、注目画素においてノイズが生じた際には、周辺画素対の画素値の差分が比較的小さくなり、周辺画素重み係数が大きくなる。したがって、平滑化の度合いが高くなって、同図におけるｂに例示するように、ノイズが除去される。
　図９および図１０に例示したように、画像処理部２００は、エッジの滲みやボケの発生を抑制しつつ、ノイズを除去することができる。これにより、出力画像データの画質を向上させることができる。また、点対称の一対の画素のそれぞれに対する重み係数を同一にしているため、重み係数が対称性を持ち、重み付け加算部２６０により構成されるフィルタは、直線位相特性を持つ。これにより、エッジに歪みが生じにくくなる。
　［撮像装置の動作例］
　図１１は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像のための所定の操作（シャッターボタンの押下など）が行われたときに開始される。
　撮像装置１００内の撮像素子１２０は、画像データを生成し（ステップＳ９０１）、デモザイク処理（ステップＳ９０２）およびＹＵＶ変換処理（ステップＳ９０３）を行う。
　そして、撮像装置１００内の画像処理部２００は、選択されていない注目画素を選択し（ステップＳ９０５）、注目画素に対して点対称の位置にある周辺画素対の画素値の差分から重み係数を算出する（ステップＳ９０６）。また、画像処理部２００は、注目画素および周辺画素のそれぞれの画素値に対して重み付け加算を行う（ステップＳ９０７）。画像処理部２００は、全画素を選択したか否かを判断する（ステップＳ９０８）。全画素を選択していない場合には（ステップＳ９０８：Ｎｏ）、画像処理部２００は、ステップＳ９０５に戻る。一方、全画素を選択した場合には（ステップＳ９０８：Ｙｅｓ）、画像処理部２００は、撮像および画像処理の動作を終了する。
　このように、本技術の第１の実施の形態によれば、画像処理部２００は、注目画素に対して点対称の位置にある一対の画素のそれぞれの画素値の差分が大きいほど平滑化の度合いを高くするため、注目画素をエッジが通過する際に平滑化の度合いが小さくなる。このため、エッジにおいて、滲みやボケの発生を抑制することができ、画像データの画質を向上させることができる。
　＜２．第２の実施の形態＞
　第１の実施の形態では、重み係数算出部２３０および重み付け加算部２６０により、注目画素から一定距離のフィルタ範囲内で重み付け加算を行い、ノイズを除去していた。しかし、重み付け加算部２６０より広いフィルタ範囲で重み付け加算を行うローパスフィルタをさらに追加してもよい。このローパスフィルタの追加により、より広い周波数帯域のノイズを除去して、画質を向上させることができる。第２の実施の形態の画像処理部２００は、重み付け加算部２６０より広いフィルタ範囲で重み付け加算を行うローパスフィルタを追加した点において第１の実施の形態と異なる。
　図１２は、第２の実施の形態における画像処理部２００の一構成例を示すブロック図である。第２の実施の形態の画像処理部２００は、ローパスフィルタ２８０およびデータバッファ２９０をさらに備える点において第１の実施の形態と異なる。
　ローパスフィルタ２８０は、重み付け加算部２６０より広いフィルタ範囲で重み付け加算を行うものである。この広範囲の平滑化処理（重み付け加算）により、重み付け加算部２６０より広い周波数帯域のノイズが除去される。ローパスフィルタ２８０は、データバッファ２１０から色差信号ＵおよびＶを読み出して平滑化処理を行い、処理後の信号（Ｕ’およびＶ’）と、輝度信号Ｙとをデータバッファ２９０に保持させる。なお、ローパスフィルタ２８０は、特許請求の範囲に記載の広範囲平滑化処理部の一例である。
　また、第２の実施の形態の重み係数算出部２３０および重み付け加算部２６０は、データバッファ２９０から画素データを読み出す。
　図１３は、第２の実施の形態におけるローパスフィルタ２８０に設定される重み係数の一例を示す図である。同図において太い実線で囲まれた画素は着目画素を示す。画素に記載された数値は、重み係数を示す。
　ローパスフィルタ２８０は、入力画像データ内の画素を順に着目画素として選択する。この着目画素を中心として５×５のフィルタ範囲内の各画素について、着目画素からの距離が長いほど小さい重み係数が設定される。着目画素と、その上下左右、左上、右上、左下および右下の９個の画素については、「４」の重み係数が乗算される。また、着目画素からの距離が２以上、２×２1/2未満の画素については、「２」の重み係数が乗算される。残りの画素については「１」の重み係数が設定される。ローパスフィルタ２８０は、これらの係数を対応する画素値（ＵおよびＶ）に乗算し、乗算結果の合計値を「６４」で除算してデータバッファ２９０に保持させる。なお、輝度信号Ｙは、ローパスフィルタ２８０を通過せずに、そのままデータバッファ２９０に保持される。
　図１４は、第２の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。第２の実施の形態の撮像装置１００の動作は、ステップＳ９０４をさらに実行する点において第１の実施の形態と異なる。
　ＹＵＶ変換処理（ステップＳ９０３）の後、画像処理部２００は、ローパスフィルタ２８０によりノイズを除去し（ステップＳ９０４）、ステップＳ９０５以降の処理を行う。
　このように、本技術の第２の実施の形態によれば、画像処理部２００は、ローパスフィルタ２８０において重み付け加算部２６０よりも広い範囲で重み付け加算を行うため、より広い周波数帯域のノイズを除去して画像データの画質を向上させることができる。
　＜３．第３の実施の形態＞
　第１の実施の形態では、デモザイク処理を撮像素子１２０において行っていたが、このデモザイク処理を画像処理部２００が行ってもよい。第３の実施の形態の画像処理部２００は、デモザイク処理をさらに行う点において第１の実施の形態と異なる。
　図１５は、第３の実施の形態における撮像素子１２０の一構成例を示すブロック図である。第３の実施の形態の撮像素子１２０は、デモザイク処理部１２７およびＹＵＶ変換部１２８を備えない点において第１の実施の形態と異なる。第３の実施の形態のＡＤ変換部１２５は、デモザイク前の画像データを入力画像データとして画像処理部２００に供給する。
　図１６は、第３の実施の形態における画像処理部２００の一構成例を示すブロック図である。第３の実施の形態の画像処理部２００は、デモザイク処理部３００およびデータバッファ２９０をさらに備える点において第１の実施の形態と異なる。
　デモザイク処理部３００は、入力画像データに対してデモザイク処理を行うものである。このデモザイク処理部３００は、データバッファ２１０から画素データを読み出してデモザイク処理を行い、処理後の画像データをデータバッファ２９０に保持させる。なお、デモザイク処理部３００は、特許請求の範囲に記載の色情報補間部の一例である。
　また、第３の実施の形態の重み係数算出部２３０および重み付け加算部２６０は、データバッファ２９０から画素データを読み出す。ただし、第３の実施の形態の重み係数算出部２３０は、式１の代わりに次の式を使用して係数ｗｇｈｔを算出する。
Figure JPOXMLDOC01-appb-M000003
　上式において、ｒは、一対の周辺画素のうち一方のｒ信号であり、ｒ’は、一対の周辺画素のうち他方のｒ信号である。ｇは、一対の周辺画素のうち一方のｇ信号であり、ｇ’は、一対の周辺画素のうち他方のｇ信号である。また、ｂは、一対の周辺画素のうち一方のｂ信号であり、ｂ’は、一対の周辺画素のうち他方のｂ信号である。
　なお、画像処理部２００は、ＹＵＶ変換処理をさらに実行してもよい。この場合には、デモザイク処理後の画像データに対してＹＵＶ変換を行うＹＵＶ変換処理部が画像処理部２００にさらに設けられる。
　図１７は、第３の実施の形態におけるデモザイク処理部３００の一構成例を示すブロック図である。このデモザイク処理部３００は、Ｒ補間フィルタ３０１と、Ｇ補間フィルタ３０２、Ｂ補間フィルタ３０３と、Ｗ補間フィルタ３０４、３０５および３０６とを備える。また、デモザイク処理部３００は、減算器３０７、３０８および３０９を備える。
　Ｒ補間フィルタ３０１は、複数の画素を順に対象画素として選択し、対象画素においてＲ信号を補間するものである。例えば、Ｒ補間フィルタ３０１は、対象画素を中心として５×５のフィルタ範囲内のＲ信号のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｒ補間フィルタ３０１は、加算結果をＲ’信号として減算器３０７に供給する。
　Ｇ補間フィルタ３０２は、対象画素においてＧ信号を補間するものである。例えば、Ｇ補間フィルタ３０２は、対象画素を中心として５×５のフィルタ範囲内のＧ信号のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｇ補間フィルタ３０２は、加算結果をＧ’信号として減算器３０８に供給する。
　Ｂ補間フィルタ３０３は、対象画素においてＢ信号を補間するものである。例えば、Ｂ補間フィルタ３０３は、対象画素を中心として５×５のフィルタ範囲内のＢ信号のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｂ補間フィルタ３０３は、加算結果をＢ’信号として減算器３０９に供給する。
　Ｗ補間フィルタ３０４は、対象画素から一定範囲内のＲ画素の上下左右のＷ画素から、対象画素についてＷ信号を補間するものである。例えば、Ｗ補間フィルタ３０４は、対象画素を中心として５×５のフィルタ範囲内のＲ信号の上下左右のＷ信号の平均値のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｗ補間フィルタ３０４は、加算結果をＷ’信号として減算器３０７に供給する。
　Ｗ補間フィルタ３０５は、対象画素から一定範囲内のＧ画素の上下左右のＷ画素から、対象画素についてＷ信号を補間するものである。例えば、Ｗ補間フィルタ３０５は、対象画素を中心として５×５のフィルタ範囲内のＧ信号の上下左右のＷ信号の平均値のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｗ補間フィルタ３０５は、加算結果をＷ’信号として減算器３０８に供給する。
　Ｗ補間フィルタ３０６は、対象画素から一定範囲内のＢ画素の上下左右のＷ画素から、対象画素についてＷ信号を補間するものである。例えば、Ｗ補間フィルタ３０６は、対象画素を中心として５×５のフィルタ範囲内のＢ信号の上下左右のＷ信号の平均値のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｗ補間フィルタ３０６は、加算結果をＷ’信号として減算器３０９に供給する。
　減算器３０７は、Ｒ補間フィルタ３０１からのＲ’信号から、Ｗ補間フィルタ３０４からのＷ’信号を減算するものである。減算器３０７は、減算結果をｒ信号として出力する。減算器３０８は、Ｇ補間フィルタ３０２からのＧ’信号から、Ｗ補間フィルタ３０５からのＷ’信号を減算するものである。減算器３０８は、減算結果をｇ信号として出力する。減算器３０９は、Ｂ補間フィルタ３０３からのＢ’信号から、Ｗ補間フィルタ３０６からのＷ’信号を減算するものである。減算器３０９は、減算結果をｂ信号として出力する。
　図１８は、第３の実施の形態における入力画像データ５３０の一例を示す図である。同図に例示するように、入力画像データにおいて、Ｒ信号、Ｇ信号、Ｂ信号およびＷ信号のいずれかの色情報を画素値とする複数の画素が二次元格子状に配列される。
　このように、Ｗ画素を含む画像データをデモザイクした場合、Ｗ画素を含まないベイヤ配列の画像データをデモザイクした場合と比較して明るさが向上するものの、色情報が少ないために色ノイズや滲みが多く発生してしまう傾向がある。式１による平滑化処理により、これらのノイズの発生を効果的に抑制することができる。なお、撮像素子１２０がベイヤ配列の入力画像データを生成し、画像処理部２００が、その入力画像データをデモザイクする構成としてもよい。
　図１９は、第３の実施の形態におけるＲ補間フィルタ３０１、Ｇ補間フィルタ３０２およびＢ補間フィルタ３０３に設定される重み係数の一例を示す図である。
　図１９におけるａは、Ｒ補間フィルタ３０１に設定される重み係数の一例を示す図である。このＲ補間フィルタ３０１は、入力画像データ内の画素を順に対象画素として選択する。この対象画素を中心として５×５の範囲内のＲ信号について、対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＲ画素については、「４」の重み係数が乗算される。また、対象画素からの距離が２以上、２×２1/2未満のＲ画素については、「２」の重み係数が乗算される。残りのＲ画素については「１」の重み係数が設定される。Ｒ補間フィルタ３０１は、これらの係数を対応するＲ信号に乗算し、合計値が「１」になるように、所定値で除算してＲ’信号を生成する。
　図１９におけるｂは、Ｇ補間フィルタ３０２に設定される重み係数の一例を示す図である。このＧ補間フィルタ３０２では、対象画素を中心として５×５の範囲内のＧ信号について、対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＧ画素については、「４」の重み係数が乗算される。また、対象画素からの距離が２以上、２×２1/2未満のＧ画素については、「２」の重み係数が乗算される。残りのＧ画素については「１」の重み係数が設定される。Ｇ補間フィルタ３０２は、これらの係数を対応するＧ信号に乗算し、合計値が「１」になるように、所定値で除算してＧ’信号を生成する。
　図１９におけるｃは、Ｂ補間フィルタ３０３に設定される重み係数の一例を示す図である。このＢ補間フィルタ３０３では、対象画素を中心として５×５の範囲内のＢ信号について、対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＢ画素については、「４」の重み係数が乗算される。また、対象画素からの距離が２以上、２×２1/2未満のＢ画素については、「２」の重み係数が乗算される。残りのＢ画素については「１」の重み係数が設定される。Ｂ補間フィルタ３０３は、これらの係数を対応するＢ信号に乗算し、合計値が「１」になるように、所定値で除算してＢ’信号を生成する。
　図２０は、第３の実施の形態におけるＷ補間フィルタ３０４、３０５および３０６に設定される重み係数の一例を示す図である。
　図２０におけるａは、Ｗ補間フィルタ３０４に設定される重み係数の一例を示す図である。このＷ補間フィルタ３０４では、対象画素を中心として５×５の範囲内のＲ画素の上下左右のＷ信号について、そのＲ画素の対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＲ画素の上下左右のＷ画素については、「４」の重み係数が乗算される。この場合、フィルタ範囲は、７×７の範囲である。また、対象画素からの距離が２以上、２×２1/2未満のＲ画素の上下左右のＷ画素については、「２」の重み係数が乗算される。残りのＲ画素の上下左右のＷ画素については「１」の重み係数が設定される。同図におけるａの斜線部分は、Ｒ画素を示す。Ｗ補間フィルタ３０４は、これらの係数を対応するＷ信号の平均値に乗算し、合計値が「１」になるように、所定値で除算してＷ’信号を生成する。
　図２０におけるｂは、Ｗ補間フィルタ３０５に設定される重み係数の一例を示す図である。このＷ補間フィルタ３０５では、対象画素を中心として５×５の範囲内のＧ画素の上下左右のＷ信号について、そのＧ画素の対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＧ画素の上下左右のＷ画素については、「４」の重み係数が乗算される。また、対象画素からの距離が２以上、２×２1/2未満のＧ画素の上下左右のＷ画素については、「２」の重み係数が乗算される。残りのＧ画素の上下左右のＷ画素については「１」の重み係数が設定される。同図におけるａの斜線部分は、Ｇ画素を示す。Ｗ補間フィルタ３０５は、これらの係数を対応するＷ信号の平均値に乗算し、合計値が「１」になるように、所定値で除算してＷ’信号を生成する。
　図２０におけるｃは、Ｗ補間フィルタ３０６に設定される重み係数の一例を示す図である。このＷ補間フィルタ３０６では、対象画素を中心として５×５の範囲内のＢ画素の上下左右のＷ信号について、そのＢ画素の対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＢ画素の上下左右のＷ画素については、「４」の重み係数が乗算される。また、対象画素からの距離が２以上、２×２1/2未満のＢ画素の上下左右のＷ画素については、「２」の重み係数が乗算される。残りのＢ画素の上下左右のＷ画素については「１」の重み係数が設定される。同図におけるａの斜線部分は、Ｂ画素を示す。Ｗ補間フィルタ３０６は、これらの係数を対応するＷ信号の平均値に乗算し、合計値が「１」になるように、所定値で除算してＷ’信号を生成する。
　図２１は、第３の実施の形態におけるデモザイク処理後の画像データ５４０の一例を示す図である。同図に例示するように、デモザイク処理により、画素ごとに足りない色情報が補間された結果、画素ごとに、ｒ信号、ｇ信号およびｂ信号を含む画像データ５４０が生成される。
　図２２は、第３の実施の形態における重み付け加算部２６０の一構成例を示すブロック図である。第３の実施の形態の読出し部２６１は、色差信号ＵおよびＶの代わりに、注目画素および周辺画素のそれぞれのｒ信号、ｇ信号およびｂ信号を読み出す点において第１の実施の形態と異なる。
　図２３は、第３の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。第３の実施の形態の撮像装置１００の動作は、画像処理部２００がデモザイク処理（ステップＳ９０２）を実行し、ＹＵＶ変換処理（ステップＳ９０３）を実行しない点において第１の実施の形態と異なる。
　このように、本技術の第３の実施の形態によれば、画像処理部２００は、デモザイク処理をさらに行うため、撮像素子１２０がデモザイク処理を行う必要がなくなる。これにより、撮像素子１２０の回路規模を削減することができる。
　［変形例］
　第３の実施の形態では、画像処理部２００は、デモザイク処理および平滑化処理後の画像データをそのまま出力しているが、デモザイク処理により除去された高周波成分を取り出して、平滑化処理後に、その高周波成分を復元してもよい。これにより、画像データの画質がさらに向上する。変形例の画像処理部２００は、高周波成分を復元する点において第１の実施の形態と異なる。
　図２４は、第３の実施の形態の変形例における画像処理部２００の一構成例を示すブロック図である。変形例の画像処理部２００は、Ｗ補間フィルタ３１０および高周波成分復元部３２０をさらに備える点において第３の実施の形態と異なる。
　Ｗ補間フィルタ３１０は、デモザイク処理部３００における補間フィルタよりもタップ数の小さいフィルタにより、画素ごとに足りないＷ信号を補間するフィルタである。例えば、デモザイク処理部３００において７×７のタップ数の補間フィルタを用いた場合、３×３のタップ数のＷ補間フィルタ３１０が設けられる。このＷ補間フィルタ３１０は、補間後のＷ信号を高周波成分として高周波成分復元部３２０に供給する。
　高周波成分復元部３２０は、平滑化処理後の画像データにおいて、高周波成分を復元するものである。この高周波成分復元部３２０は、重み付け加算部２６０からの画像データに、Ｗ補間フィルタ３１０からの高周波成分を合成して出力画像データとして出力する。これにより、高周波成分が復元される。
　このように、変形例によれば、デモザイク処理により取り除かれた高周波成分を、平滑化処理後に復元するため、画像データの画質をさらに向上させることができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、
　前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
を具備する画像処理装置。
（２）前記差分取得部は、
　前記差分を求めて当該差分が大きいほど小さい係数を周辺画素重み係数として前記差分から生成する周辺画素重み係数生成部と、
　前記注目画素に対する係数を注目画素重み係数として前記周辺画素重み係数から生成する注目画素重み係数生成部と
を備え、
　前記平滑化処理部は、前記周辺画素重み係数および前記注目画素重み係数による前記一対の入力画素と前記注目画素とに対する重み付け加算を前記平滑化処理として行う
前記（１）記載の画像処理装置。
（３）前記周辺画素重み係数生成部は、前記差分が大きいほど小さく、前記注目画素と前記一対の入力画素のいずれかとの間の距離が短いほど大きい係数を前記周辺画素重み係数として生成する
前記（２）記載の画像処理装置。
（４）前記複数の入力画素のそれぞれについて順に着目画素として当該着目画素から前記一定距離より長い距離の範囲内において平滑化処理を広範囲平滑化処理として行う広範囲平滑化処理部をさらに具備し、
　前記差分取得部は、前記広範囲平滑化処理の後の前記一対の入力画素のそれぞれの画素値の差分を求め、
　前記平滑化処理部は、前記広範囲平滑化処理の後の前記所定範囲内において前記平滑化処理を行う
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）前記画素値は、輝度信号および色差信号を含む
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記画素値は、複数の色情報を含む
前記（１）から（４）のいずれかに記載の画像処理装置。
（７）複数の色情報のうちの１つを前記画素値とする前記複数の入力画素のそれぞれにおいて前記複数の色情報のうち足りない色情報を補間する色情報補間部をさらに具備し、
　前記重み係数生成部は、前記色情報が補間された前記複数の入力画素のそれぞれについて順に注目画素とする
前記（１）から（４）のいずれかに記載の画像処理装置。
（８）二次元格子状に配列された複数の入力画素を含む画像を撮像する撮像部と、
　前記複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、
　前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
を具備する撮像装置。
（９）差分取得部が、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得手順と、
　平滑化処理部が、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
を具備する画像処理方法。
（１０）差分取得部が、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得手順と、
　平滑化処理部が、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
をコンピュータに実行させるためのプログラム。
　１００　撮像装置
　１１０　撮像レンズ
　１２０　撮像素子
　１２１　行走査回路
　１２２　画素アレイ部
　１２３　画素
　１２４　タイミング制御回路
　１２５　ＡＤ変換部
　１２６　列走査回路
　１２７　デモザイク処理部
　１２８　ＹＵＶ変換部
　１３０　制御部
　１４０　記録部
　２００　画像処理部
　２１０、２９０　データバッファ
　２２０　注目画素選択部
　２３０　重み係数算出部
　２４０　周辺画素重み係数算出部
　２４１　左右対重み係数算出部
　２４２　上下対重み係数算出部
　２４３、２４４　斜め対重み係数算出部
　２４５、２４６、２４７、２４８、２５１、２５２、２５３、２５４、２６６、２６７、２６８、２６９、２７０　乗算器
　２５０　注目画素重み係数算出部
　２５５、２６２、２６３、２６４、２６５　加算器
　２５６、３０７、３０８、３０９　減算器
　２６０　重み付け加算部
　２６１　読出し部
　２７１　加算部
　２８０　ローパスフィルタ
　３００　デモザイク処理部
　３０１　Ｒ補間フィルタ
　３０２　Ｇ補間フィルタ
　３０３　Ｂ補間フィルタ
　３０４、３０５、３０６　Ｗ補間フィルタ
　３１０　Ｗ補間フィルタ
　３２０　高周波成分復元部

Claims (10)

  1. 　二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、
    　前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
    を具備する画像処理装置。
  2. 　前記差分取得部は、
    　前記差分を求めて当該差分が大きいほど小さい係数を周辺画素重み係数として前記差分から生成する周辺画素重み係数生成部と、
    　前記注目画素に対する係数を注目画素重み係数として前記周辺画素重み係数から生成する注目画素重み係数生成部と
    を備え、
    　前記平滑化処理部は、前記周辺画素重み係数および前記注目画素重み係数による前記一対の入力画素と前記注目画素とに対する重み付け加算を前記平滑化処理として行う
    請求項１記載の画像処理装置。
  3. 　前記周辺画素重み係数生成部は、前記差分が大きいほど小さく、前記注目画素と前記一対の入力画素のいずれかとの間の距離が短いほど大きい係数を前記周辺画素重み係数として生成する
    請求項２記載の画像処理装置。
  4. 　前記複数の入力画素のそれぞれについて順に着目画素として当該着目画素から前記一定距離より長い距離の範囲内において平滑化処理を広範囲平滑化処理として行う広範囲平滑化処理部をさらに具備し、
    　前記差分取得部は、前記広範囲平滑化処理の後の前記一対の入力画素のそれぞれの画素値の差分を求め、
    　前記平滑化処理部は、前記広範囲平滑化処理の後の前記所定範囲内において前記平滑化処理を行う
    請求項１記載の画像処理装置。
  5. 　前記画素値は、輝度信号および色差信号を含む
    請求項１記載の画像処理装置。
  6. 　前記画素値は、複数の色情報を含む
    請求項１記載の画像処理装置。
  7. 　複数の色情報のうちの１つを前記画素値とする前記複数の入力画素のそれぞれにおいて前記複数の色情報のうち足りない色情報を補間する色情報補間部をさらに具備し、
    　前記重み係数生成部は、前記色情報が補間された前記複数の入力画素のそれぞれについて順に注目画素とする
    請求項１記載の画像処理装置。
  8. 　二次元格子状に配列された複数の入力画素を含む画像を撮像する撮像部と、
    　前記複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、
    　前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
    を具備する撮像装置。
  9. 　差分取得部が、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得手順と、
    　平滑化処理部が、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
    を具備する画像処理方法。
  10. 　差分取得部が、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得手順と、
    　平滑化処理部が、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
    をコンピュータに実行させるためのプログラム。
PCT/JP2015/069881 2014-10-02 2015-07-10 画像処理装置、撮像装置、画像処理方法およびプログラム WO2016051911A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014203556A JP2016071808A (ja) 2014-10-02 2014-10-02 画像処理装置、画像処理方法およびプログラム
JP2014-203556 2014-10-02

Publications (1)

Publication Number Publication Date
WO2016051911A1 true WO2016051911A1 (ja) 2016-04-07

Family

ID=55629963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/069881 WO2016051911A1 (ja) 2014-10-02 2015-07-10 画像処理装置、撮像装置、画像処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2016071808A (ja)
WO (1) WO2016051911A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862686A (zh) * 2021-02-19 2021-05-28 成都国科微电子有限公司 一种基于明暗线条的去马赛克方法、装置、设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024171932A1 (ja) * 2023-02-14 2024-08-22 日清紡マイクロデバイス株式会社 固体撮像装置、画像処理システム及び電子機器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262094A (ja) * 2001-02-27 2002-09-13 Konica Corp 画像処理方法及び画像処理装置
JP2005151163A (ja) * 2003-11-14 2005-06-09 Ricoh Co Ltd 画像処理方法及び画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262094A (ja) * 2001-02-27 2002-09-13 Konica Corp 画像処理方法及び画像処理装置
JP2005151163A (ja) * 2003-11-14 2005-06-09 Ricoh Co Ltd 画像処理方法及び画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862686A (zh) * 2021-02-19 2021-05-28 成都国科微电子有限公司 一种基于明暗线条的去马赛克方法、装置、设备及介质
CN112862686B (zh) * 2021-02-19 2023-10-27 杭州国科微电子有限公司 一种基于明暗线条的去马赛克方法、装置、设备及介质

Also Published As

Publication number Publication date
JP2016071808A (ja) 2016-05-09

Similar Documents

Publication Publication Date Title
JP4284628B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4914303B2 (ja) 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
JP5128207B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
WO2011010359A1 (ja) 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体
JP2004241991A (ja) 撮像装置、画像処理装置及び画像処理プログラム
JP2007259401A (ja) ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
KR20080106585A (ko) 컬러 비디오 신호 생성 방법 및 장치
JP2008311874A (ja) 画像処理装置、画像処理プログラム、画像処理方法
WO2014017153A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP2008258932A (ja) 画像処理装置
JP5291788B2 (ja) 撮像装置
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
WO2016051911A1 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2009044676A (ja) 画像処理装置、画像処理方法及びプログラム
JP5948167B2 (ja) 撮像装置
JP5919086B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP5274697B2 (ja) 画像処理装置及び画像処理方法
JP4962293B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5454820B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP4197821B2 (ja) 画像処理装置
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP2009017583A (ja) 画像処理装置
JP4334484B2 (ja) 画素信号処理装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15845965

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15845965

Country of ref document: EP

Kind code of ref document: A1