WO2005081542A1 - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
WO2005081542A1
WO2005081542A1 PCT/JP2004/001889 JP2004001889W WO2005081542A1 WO 2005081542 A1 WO2005081542 A1 WO 2005081542A1 JP 2004001889 W JP2004001889 W JP 2004001889W WO 2005081542 A1 WO2005081542 A1 WO 2005081542A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
pixel
image signal
image
color
Prior art date
Application number
PCT/JP2004/001889
Other languages
English (en)
French (fr)
Inventor
Masashi Tamura
Narihiro Matoba
Original Assignee
Mitsubishi Denki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Denki Kabushiki Kaisha filed Critical Mitsubishi Denki Kabushiki Kaisha
Priority to US10/553,424 priority Critical patent/US7970231B2/en
Priority to PCT/JP2004/001889 priority patent/WO2005081542A1/ja
Priority to JP2006519060A priority patent/JP4668185B2/ja
Priority to EP04712669.3A priority patent/EP1729523B1/en
Priority to CN200480027185XA priority patent/CN1857008B/zh
Publication of WO2005081542A1 publication Critical patent/WO2005081542A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Definitions

  • the present invention relates to an image processing method for removing noise included in an image signal captured by an image sensor.
  • a two-dimensional image such as a CCD or the like in which the R, G, and B component color filters, which are the three primary colors, are separately attached. It has three image sensors.
  • the image processing apparatus splits the optical image of the subject incident from the optical system in one shooting with a spectral prism or the like, and makes the optical image after the splitting incident on three two-dimensional imaging elements.
  • a multi-plate imaging method is used to obtain full-color image information for the screen.
  • each of the pixels arranged two-dimensionally has either a color filter for the R component, a color filter for the G component, or a color filter for the B component.
  • a single-chip imaging method is used in which color signals for the colors are obtained by calculation using the color signals of the peripheral pixels of the pixel concerned and pseudo full-color image information of each pixel is obtained.
  • Single-panel imaging method includes an image sensor compared to multiple-panel imaging method Since the number of optical components is small, it is possible to configure the device at a small size and at low cost, and it is widely used in consumer digital still cameras and digital video cameras.
  • the single-panel imaging method performs a color signal interpolation process from image information captured by a single-panel imaging element to which a primary color filter is attached to generate a non-imaging color signal. But you get a full color image
  • the R, G, and B signals of each pixel generated by the color interpolation processing are finally converted into luminance and color difference signals for screen display and image compression processing such as JPEG 'MPEG, and before image compression.
  • image compression processing such as JPEG 'MPEG
  • a filter process for performing processes such as noise reduction and contour enhancement is performed on an image composed of the luminance and color difference signals.
  • a luminance / chrominance separation circuit performs a conversion process to a luminance / chrominance signal
  • the luminance / chrominance separation circuit performs the above-described color interpolation processing and then performs conversion processing to a luminance / chrominance signal.
  • noise is reduced by performing a noise enhancement process called a contouring process or a coring on the luminance / chrominance signal converted by the luminance / chrominance separation circuit.
  • noise reduction processing is performed when performing color interpolation processing on an image captured by a single-chip image sensor. Since a predetermined mouth-to-mouth fill is performed after the luminance signals of all pixels are generated by performing the processing, it is not possible to prevent the diffusion of noise generated by performing the color interpolation processing.
  • an additional line buffer is used to construct a pixel window for noise reduction processing on the luminance signal after color interpolation processing. Required.
  • the noise level detected between adjacent pixels of different imaging colors differs particularly at color edges.
  • the continuity of the noise reduction processing in the screen is lost, and the sense of stability of the image quality is lost.
  • the noise level value of the processed adjacent same-color pixel is used recursively, but it is not effective in reducing the random noise generated independently of the adjacent pixel.
  • a region with a high noise level is determined as a significant edge as image information by the fuzzy function, and the noise reduction processing is not performed.However, noise generated in pixels adjacent to the edge can be reduced. The noise cannot be emphasized by the outline enhancement processing that is generally used in the later stage.
  • Patent Document 1 Patent No. 2 7 8 7 7 8 1
  • Patent Document 2 Japanese Patent Publication No. 2 0 0 1 — 1 7 7 7 6 7
  • Patent Document 3 Japanese Patent Application Laid-Open No. 2003-87798
  • Patent Document 4 Japanese Patent Application Laid-Open No. 2000-15053
  • the conventional image processing method is configured as described above, the noise that is superimposed on the image signal when the image sensor performs photoelectric conversion and the noise that is superimposed on the analog signal after photoelectric conversion (analog Noise generated by the signal processing circuit is diffused around the target pixel by color interpolation processing. Therefore, as the number of pixels of the image sensor increases and the light receiving area per element decreases, As the sensitivity declined, there was a problem that the relatively increased noise could not be reduced sufficiently.
  • noise can be reduced to some extent by applying coring for luminance noise and performing pass-and-pass processing for color noise, but the actual captured image is not spot noise, but rather the entire image. Random noise occurs over the surface. For this reason, the noise components diffused by the color interpolation process overlap each other, and the original image signal is buried in the noise. Therefore, it is difficult to remove the luminance noise and the color noise after being converted into the luminance / chrominance signal.
  • the present invention has been made to solve the above-described problems.
  • An image processing method capable of sufficiently reducing noise superimposed on a target pixel without diffusing the noise to peripheral pixels.
  • the aim is to get a way. Disclosure of the invention
  • An image processing method includes: an edge intensity value calculation step of calculating an edge intensity value near a target pixel from a feature value of a minute area calculated in a feature value calculation step; A step for calculating a mouth-pass fill value of the pixel of interest from the image signal value, and a step for calculating the edge intensity value calculated in the edge strength value calculation step and a method for calculating the fill value
  • the image signal value of the target pixel is corrected using the mouth-pass filter value calculated in the step.
  • FIG. 1 is a configuration diagram showing an image processing apparatus to which an image processing method according to Embodiment 1 of the present invention is applied.
  • FIG. 2 is a flowchart showing an image processing method according to Embodiment 1 of the present invention.
  • FIG. 3 is an explanatory diagram showing the arrangement of color filters in a single-plate image sensor.
  • FIG. 4 is an explanatory diagram showing linear interpolation of a G signal.
  • FIG. 5 is an explanatory diagram showing linear interpolation of the B signal.
  • FIG. 6 is an explanatory diagram showing linear interpolation of the R signal.
  • FIG. 7 is an explanatory diagram showing a pixel window and the like.
  • FIG. 8 is an explanatory diagram showing a feature value window.
  • FIG. 9 is an explanatory diagram showing weighting coefficients.
  • FIG. 10 is an explanatory diagram showing an edge intensity correction curve.
  • FIG. 11 is an explanatory diagram showing a feature value window.
  • FIG. 12 is an explanatory diagram showing a luminance signal, a color difference signal, and the like.
  • FIG. 13 is an explanatory diagram showing a luminance signal, a color difference signal, and the like.
  • FIG. 14 is a flowchart showing an image processing method according to Embodiment 3 of the present invention.
  • FIG. 15 is an explanatory diagram showing a G component distribution of peripheral pixels.
  • FIG. 16 is a configuration diagram showing an image processing apparatus to which the image processing method according to Embodiment 4 of the present invention is applied.
  • FIG. 17 is a flowchart showing an image processing method according to Embodiment 4 of the present invention.
  • FIG. 18 is an explanatory diagram showing a binarization distribution.
  • FIG. 19 is an explanatory diagram showing a noise reduction process and the like according to the fourth embodiment.
  • FIG. 1 is a configuration diagram showing an image processing apparatus to which an image processing method according to Embodiment 1 of the present invention is applied.
  • an image data input unit 1 is configured so that an image pickup color signal (image signal) obtained by an image pickup device in which one of the three primary colors is arranged for each of the pixels arranged in a second-order manner. Value).
  • the area cutout unit 2 cuts out a predetermined area centered on a target pixel on which noise reduction processing is performed from an imaging area of the image sensor, and extracts an imaging color signal of the predetermined area.
  • the feature value calculation unit 3 calculates a feature value of a minute area in the predetermined area from the imaging color signal of the predetermined area extracted by the area extraction unit 2.
  • the feature value calculation unit 3 uses the imaging color signals output from the R component color filter, the G component color filter, and the B component color filter corresponding to the minute area in the predetermined area, and Calculate the feature value of the region.
  • the edge intensity value calculation unit 4 calculates an edge intensity value in the vicinity of the pixel of interest from the feature value of the minute area calculated by the feature value calculation unit 3.
  • the edge intensity value correction unit 5 corrects the edge intensity value calculated by the edge intensity value calculation unit 4 according to an edge intensity correction curve.
  • the fill evening value calculation unit 6 calculates a one-pass fill evening value of the target pixel from the imaging color signals of peripheral pixels having the same color component as the target pixel.
  • the image signal value correction unit 7 uses the edge intensity value calculated by the edge intensity value calculation unit 4 and the edge intensity value corrected by the edge intensity value correction unit 5 to calculate the image signal value of the pixel of interest and the low-pass filter. By weighting and adding the values, the image signal value of the target pixel is corrected.
  • FIG. 2 is a flowchart showing an image processing method according to Embodiment 1 of the present invention.
  • the image processing apparatus uses a single-chip image sensor in which color filters of three primary colors of R, G, and B are arranged in a Bayer type as shown in FIG.
  • the R, G, and B signals in FIG. 3 are imaging color signals sampled at each pixel position of the photoelectric conversion element, where R is red (R signal), G is green (G signal), and B is Indicates blue (B signal).
  • a non-imaging color signal is generated by performing a color interpolation process using an imaging color signal, which is an imaging result of a single-chip imaging device to which a primary color filter is attached, to obtain a full color image.
  • an imaging color signal which is an imaging result of a single-chip imaging device to which a primary color filter is attached.
  • the procedure will be briefly described.
  • the image processing apparatus performs a noise reduction process described later and then performs a color interpolation process to obtain a full-color image.
  • an imaging color signal of the G signal exists only at the position shown in FIG. 4
  • the G signal level of the center screen where no G signal is present is calculated from the average value of the G signals of the four pixels at the top, bottom, left and right And interpolate to obtain G signals for all pixels.
  • the B signals of the upper and lower pixels From the B signal of the middle pixel from the B signal of the upper, lower, left and right pixels, and interpolate by generating the B 2 signal of the center pixel from the B signal of the upper, lower, left, and right pixels. Then, by generating and interpolating the b3 signal of the intermediate pixel from, the B signals for all pixels are obtained.
  • the R signal for all pixels is obtained in the same manner as the B signal.
  • R, G, and B signals can be obtained in all pixels.
  • the image data input unit 1 inputs an image signal value which is an imaging color signal of each pixel imaged by a single-chip imaging device.
  • the area cutout unit 2 executes noise reduction processing from the image pickup area of the image pickup element as shown in FIG. 7 (a).
  • a predetermined area hereinafter, referred to as a pixel window
  • 5 ⁇ 5 pixels centering on the pixel P (2, 2) is cut out, and an imaging color signal of a pixel in the pixel window is output.
  • Fig. 7 (b), (c) and (d) are explanatory diagrams showing the pixel arrangement in the pixel window actually cut out, and the pixel of interest is the G component, R component or B component. In some cases, these three cases exist.
  • the feature value calculation unit 3 calculates the feature value of the minute region in the pixel window.
  • the feature value calculation unit 3 calculates P (i, j), P (i, j) as a minute area including the R component, the G component, and the B component. (i + 1, j, P (i, j + 1) s P (i + 1, j + 1) (where 0 ⁇ i ⁇ 3, 0 ⁇ j ⁇ 3) Defines an area including 4 pixels Do Then, the feature value calculation unit 3 calculates a feature value D (i, j) by substituting the imaging color signal of the pixel constituting the minute region into the following equation (1) for each minute region ( Step ST 1).
  • D (i, j) (P (i, j) + P (i + 1, j) + P (i, j + l) + P (i + 1, j + 1)) / 4 (1) pixels
  • the pixels that make up the small area are P (0, 0), P (l, ⁇ ), P (0, 1), P (l, 1),
  • the feature value of the minute area is D (0, 0).
  • the pixels that make up the small area are P (2, 2), P (3, 2), P (2, 3), P (3, 3),
  • the feature value of the small area is D (2, 2).
  • the edge intensity value calculation unit 4 calculates an edge intensity value (hereinafter, referred to as an input edge intensity value E dl) near the pixel of interest from the feature value of each minute region. (Step ST 2) o
  • the edge strength value calculation unit 4 calculates a weighting coefficient as shown in FIG. 9 for the feature value in the feature value window of FIG. After multiplying by, the result of each multiplication is added as in the following equation (2) to calculate the input page strength value E d1 in the feature value window.
  • the edge intensity value correcting unit 5 calculates a predetermined edge intensity correction curve (see FIG. 10). ), And outputs the output edge intensity value K out as the corrected input edge intensity value E d1 (step ST3).
  • the edge intensity value correction unit 5 calculates the output edge intensity value K out by substituting the input edge intensity value Ed 1 into a function f representing the edge intensity correction curve as shown in the following equation (3). I do.
  • the edge intensity correction curve may be subdivided according to the input edge intensity value Ed1, and each section of the edge intensity correction curve may be linearly approximated. This makes it possible to replace the calculation for calculating the output edge intensity value K out from a higher-order expression of second order or higher with a linear expression, and the circuit scale when this image processing method is implemented by an electronic circuit. Can be reduced. Further, when the present image processing method is realized by a program, the effect of increasing the calculation speed can be obtained.
  • the output edge strength value K 0 ut corresponding to the input edge strength value E d 1 is stored in a memory such as a look-up table in advance, and the edge strength correction unit 5 corresponds to the input edge strength value E d 1.
  • the output edge intensity value K 0 Ut may be referred to.
  • the image signal value correction unit 7 calculates the low-pass filter sunset value Plpf of the pixel of interest by the fill intensity calculation unit 6 as shown in the following equation (5). Using the calculated input edge intensity value E d1 and the output edge intensity value K out calculated by the edge intensity value correction unit 5, an image signal which is an imaging color signal of the pixel of interest P (2, 2) is obtained. The image signal value of the target pixel P (2, 2) is corrected by weighting and adding the value and the low-pass fill evening value P1pf.
  • the feature value calculation unit 3 generates a feature value window D (i, j) as shown in FIG. 11 by calculating Expression (1).
  • the edge strength value calculator 4 calculates the input edge strength value E d1 in the feature value window by calculating equation (2).
  • the edge intensity value correction unit 5 calculates the output edge intensity value K out by calculating Expression (3).
  • the edge intensity correction curve of FIG. 10 is set, when the input edge intensity value Ed1 is "24", the output edge intensity value Kout becomes "6".
  • the fill evening value calculation unit 6 calculates the mouth-to-pass fill evening value Plpf of the pixel of interest by calculating Expression (4).
  • the image signal value corrector 7 corrects the image signal value of the target pixel P (2, 2) by calculating Expression (5).
  • the imaging result of the imaging device is as shown in FIG.
  • Y represents a luminance signal
  • Cb and Cr represent color difference signals.
  • the color difference signals are all positive by adding 128 to facilitate the subsequent calculations.
  • the luminance and chrominance signals are generated according to equation (6)
  • the luminance signal is as shown in Fig. 12 (e)
  • the chrominance signal is as shown in Fig. 12 (f) and (g).
  • the color interpolation processing is performed before the noise reduction processing as in the conventional example, that is, when the color interpolation processing is performed by inputting the imaging result of FIG. 3 As shown in (c), (d), and (e), the R, G, and B color components are generated by interpolation.
  • the edge intensity value calculation unit 4 that calculates the edge intensity value near the pixel of interest from the feature value of the minute area calculated by the feature value calculation unit 3,
  • An edge intensity correction unit 5 that corrects the edge intensity value calculated by the intensity value calculation unit 3 according to an edge intensity correction curve, and an image signal value of a peripheral pixel having the same color component as that of the eye pixel.
  • a low-pass fill value calculating unit 6 for calculating the low-pass fill value is provided, and the image signal value of the target pixel and the mouth-pass fill value are weighted and added using the edge intensity values before and after the correction to obtain the value of the target pixel. Since the image signal value is configured to be corrected, the noise superimposed on the target pixel is not diffused to the surrounding pixels, so that it is possible to sufficiently reduce the noise.
  • the method of calculating the feature value of the minute area by calculating equation (1) has been described.
  • a feature value calculation method including all of the R component, the G component, and the B component is appropriately selected. You may make it. That is, as long as the method of calculating the feature value is a method including all the color components, the method is not limited to equation (1). However, a certain effect can be obtained.
  • the periphery of the target pixel when the periphery of the target pixel includes a chromatic color edge, it is effective to maintain the continuity of the edge detection result with other adjacent color pixels and, consequently, the continuity of the noise removal effect.
  • a parameter corresponding to the edge intensity value other than the method described in Embodiment 1 above may be used or used together to increase the degree of freedom in noise detection. Detection accuracy can be improved.
  • the first derivative and the second derivative are calculated for each pixel of the same color component in the pixel window
  • the edge distribution can be estimated in color units and reflected, for example, by adding it to the edge strength value E d 1.
  • the target pixel is the R pixel positions
  • E d R is the input edge intensity value of the R color component
  • E d G is the input edge intensity value of the G color component
  • E d B is the input edge intensity value of the B color component
  • E dl is the equation (2) ) Is the input edge intensity value in the feature value window calculated from).
  • a 5 ⁇ 5 pixel window centered on the pixel of interest is shown as an example, but the present invention is not limited to this. That is, 7 ⁇ 7 pixels, 7 ⁇ 5 pixels, etc. can be set arbitrarily, and the shape of the feature value window and each calculation formula in FIG. 8 can be changed accordingly.
  • the calculation may be made only from the pixels located in the horizontal and vertical directions when viewed from the pixel of interest P (2, 2) in FIG. 7 (a).
  • the pixel values in the horizontal, vertical and oblique directions may be weighted and added.
  • the equation (5) is calculated to calculate the correction value P, (2, 2) of the image signal value of the target pixel, the component of the target pixel P (2, 2) does not become 0.
  • the pixel of interest P (2, 2) may be weighted and added to the mouth-to-pass fill evening value P 1 pf in advance. It can be varied in various ways depending on the purpose of performing the characteristic noise reduction processing of the imaging result.
  • the image of the pixel of interest P (2, 2) is calculated.
  • the weighting addition of the signal value and the low-pass fill value P 1 pf has been described, but this is not a limitation.
  • the low-pass filter that is weaker than the low-pass filter value P lpf is used instead of the pixel of interest P (2, 2) in the calculation of Equation (5).
  • the image signal value of the pixel close to the pixel of interest P (2, 2) subjected to the evening may be weighted and added to the mouth-pass fill evening value P 1 pf.
  • the color interpolation process is performed after the noise reduction process is performed.
  • the noise reduction process in the first embodiment forms a pixel window centering on a target pixel. Therefore, if it is realized by an electronic circuit, a line buffer for at least several lines is required.
  • FIG. 14 is a flow chart showing an image processing method according to Embodiment 3 of the present invention, and shows a method of performing noise reduction processing when performing color interpolation processing.
  • the linear interpolation method is the simplest method of color interpolation processing, but a general image processing device generally uses a complicated method with improved image quality. For example, a method of a color interpolation process disclosed in Japanese Patent Application Laid-Open No. 2003-134365 will be described.
  • an imaging result of an imaging device is based on a change amount in a minute area of a reference color (color signal) different from a color component to be generated by interpolation.
  • a color interpolation method is disclosed in which an offset amount is determined as an estimated change amount of a color to be generated by interpolation to faithfully reproduce the unevenness of the page and realize high-resolution color interpolation.
  • a configuration for performing the first to third stages of processing is disclosed.
  • a pixel whose imaging result of the imaging element is an R component (hereinafter referred to as an R pixel position) ), And the G component at the pixel that is the B component (hereinafter referred to as the B pixel position).
  • the R and B components are generated for the pixels whose G image is the G component (hereinafter referred to as the G pixel position).
  • a B component is generated at the pixel position and an R component is generated at the B pixel position.
  • the color interpolation processing unit acts as the region extraction unit 2 in FIG. 1 to obtain a 5 ⁇ 5 pixel centered on the pixel of interest. Cut out the pixel window.
  • the color interpolation processing unit When the target pixel is located at the R pixel position or the B pixel position (step ST11), the color interpolation processing unit performs the G component generation processing, which is the first stage of the color interpolation processing (step ST1). 2).
  • the color interpolation processing unit When the color interpolation processing unit performs the generation processing of the G component at the R pixel position or the B pixel position, the color interpolation processing unit performs the same processing as the noise reduction processing in the first embodiment (performs the image processing method in FIG. 2).
  • the noise reduction processing of the R color component or the B color component of the pixel is performed (step ST13).
  • the color interpolation processing unit performs the image signal processing of the target pixel in the same manner as the noise reduction process in the first embodiment (performs the image processing method of FIG. 2). Noise reduction processing is performed on the value (original image signal value of the image sensor) (step ST14).
  • step ST 14 noise reduction of the G component generated in step ST 12.
  • the processing differs from the noise reduction processing of the G component at the G pixel position only in the calculation formula of the low-pass fill evening value P lpf, that is, the G component generated in step ST 12 is replaced by P g (2, 2), the G component distribution of the surrounding pixels is As shown in the figure, for example, the following equation (8) is operated to calculate the mouth-to-pass fill evening value P 1 pf.
  • the color interpolation processing unit performs the noise reduction processing of the G component as described above. , B components are generated (step ST15).
  • the color interpolation processing unit performs, as a third step, generation of a B component at the R pixel position and generation of an R component at the B pixel position (step ST16).
  • the imaging result of the image sensor is sequentially scanned, and the color interpolation processing including the noise reduction processing as shown in FIG. 14 is performed over the entire screen. Therefore, it is possible to obtain an RGB full-color image in which noise is favorably reduced without spreading the noise. Further, by converting the output signal of the color interpolation processing into a luminance / chrominance signal as needed, a luminance / chrominance signal with effectively reduced noise can be obtained.
  • the color interpolation processing including the noise reduction processing is the color interpolation processing disclosed in Japanese Patent Application Laid-Open No. 2003-134345.
  • the noise reduction processing is included in the conventional linear interpolation method or the color interpolation processing using the shooting results of other multiple lines. Even if the processing is incorporated, the same effect can be obtained by sharing the line buffer.
  • it before performing color interpolation processing on the imaging result of the imaging element, it may be arranged in another image processing using a plurality of lines.
  • FIG. 16 is a configuration diagram showing an image processing apparatus to which the image processing method according to Embodiment 4 of the present invention is applied.
  • the binarization unit 11 calculates an average value of the feature values of the minute regions calculated by the feature value calculation unit 3, compares the average value with each feature value, and binarizes each feature value.
  • the contour line detection unit 12 performs pattern matching between the distribution of the feature values in the pixel window binarized by the binarization unit 11 and a predetermined binarization distribution. Detect a line segment.
  • the image signal value correction unit 13 uses the image signal values of a plurality of pixels including the pixel of interest in the same direction as the contour line segment. The image signal value of the target pixel is corrected.
  • the edge intensity value calculating unit 4 calculates the input edge intensity value E d 1, and the edge line segment is detected. In this case, since the input edge strength value E d 1 is not calculated, the corrected image signal value is output from the image signal value correction unit 7 only when the outline is not detected.
  • FIG. 17 is a flowchart showing an image processing method according to Embodiment 4 of the present invention. '
  • the feature value calculation unit 3 receives the imaging color signal of the pixel in the pixel window from the area extraction unit 2, the feature value calculation unit 3 The feature value D (i, j) of the small area in the window is calculated.
  • the binarization unit 11 calculates the value of the feature value D (i, j) as shown in the following equation (9). An average value D a V e is calculated (step ST 21).
  • Step ST22 The contour line detection unit 12 is used to determine the distribution of the feature values in the pixel window that has been binarized by the binarization unit 11 and a predetermined binarization distribution (see Fig. 18). Then, the contour line is detected by performing pattern matching (step ST23).
  • the contour line segment detection unit 12 performs pattern matching between the distribution of the binarized pixel values in the pixel window and a predetermined binarization distribution, and if they match, the contour is detected. A line segment exists, and it is determined that the pixel is a pixel on the edge of the straight line or a pixel adjacent to the edge. On the other hand, if they do not match, it is determined that there is no contour line (step ST24).
  • the edge intensity value calculation unit 4 the edge intensity value correction unit 5, the file value calculation unit 6, and the image
  • the signal value correction unit 7 executes a process to calculate a correction value of the image signal value.
  • the image signal value correction unit 13 uses the image signal values of a plurality of pixels including the pixel of interest in the same direction as the contour line segment. Then, the image signal value of the target pixel is corrected (step ST25).
  • FIG. 19 shows an example of a case in which a photographing result in which noise is generated adjacent to the contour line is processed.
  • (a) is a single-panel imaging method. The pixel window captured by the element is shown, and it is assumed that the pixel of interest P (2, 2) is at the G pixel position.
  • FIG. 19 (b) shows the pixel values actually photographed with the pixel arrangement of FIG. 19 (a), and the level “2 5 5" is distributed on the background of the signal level "0". And the level "3" and level “20" are distributed in the adjacent row. That is, in FIG. 19 (b), a straight line in the vertical direction is photographed, and noise of level “8” is generated in the central pixel for which the noise reduction processing is performed.
  • FIG. 19 (c) shows the pixel window of FIG. 19 (b) converted to a feature value D (i, j) using equation (1).
  • the preset binarization distribution is a distribution as shown in FIG. 18, pattern matching between the binarization result of FIG. 19 (d) and the binarization distribution of FIG. 18 is performed. Then, it is detected that the corresponding pixel is a pixel adjacent to an edge having directionality in the vertical direction.
  • the image signal value correction unit 13 is, for example, a line forming an edge as in the following equation. If the mouth-to-pass fill is applied in the vertical direction, the noise component in the contour line can be reduced satisfactorily.
  • FIG. 19 (e) shows the configuration of Japanese Patent Laid-Open No.
  • FIG. 19 (f) shows the G component distribution when the color interpolation method disclosed in Japanese Patent Application Publication No. 1344523 is implemented, and FIG. 19 (f) shows the noise adjacent to the page in the fourth embodiment.
  • the conventional edge detection means detects a strong edge holding image information and does not reduce it, but rather emphasizes it in the outline enhancement processing. This makes it possible to effectively reduce noise adjacent to the page.
  • Embodiment 5 the conventional edge detection means detects a strong edge holding image information and does not reduce it, but rather emphasizes it in the outline enhancement processing. This makes it possible to effectively reduce noise adjacent to the page. Embodiment 5.
  • the feature value used in the pattern matching using the value calculated by the equation (1) has been described.
  • the feature value is a value in which all the color components of R GB are mixed. If you have, chromatic Etsu The same effect can be obtained because the detection of the edge can be performed effectively.
  • the present invention is not limited to this, and any one of the pixel window and the feature value window may be used. Also, any size can be used.
  • the pattern matching is performed with a preset binarization pattern in order to detect a contour segment.
  • the present invention is not limited to this. That is, the contour line direction detection may be performed using a first-order differential filter output value or a second-order differential filter output value having directionality as the fill coefficient.
  • the output of the noise reduction processing result in the first embodiment or the noise reduction processing result adjacent to the edge is shown.
  • the result of the noise reduction processing in the first embodiment is described.
  • a weighted average of the noise reduction processing results adjacent to the edge may be performed, and a result in consideration of both processing results may be output.
  • the present invention is not limited to this. That is, it is also possible to use only the noise reduction processing adjacent to the edge alone.
  • the noise reduction processing adjacent to the page in the fourth embodiment may be arranged in the color interpolation processing in the third embodiment or in another image processing. At this time, they may be arranged so as to be used together with the noise reduction processing of the first embodiment, or may be arranged alone.
  • the photographing result of the single-chip image sensor is used has been described. Not five. That is, a luminance signal can be used as the feature value.
  • the luminance signal is a single-chip image sensor
  • noise diffusion by the color interpolation process cannot be suppressed.However, by suppressing the peak of the diffused noise, a certain noise reduction effect can be obtained. Is obtained.
  • the present invention can be applied to all image devices such as a facsimile device, a copying machine, a television receiver, and the like, which include an image reading device or an image transmission unit that generates noise.
  • the noise generated in the color edge can be effectively reduced by performing the noise reduction processing of the fourth embodiment on the color difference signal.
  • the color filter is a primary color system and the arrangement thereof is described as an example in FIG. 3, but the present invention is not limited to this. In this case, another arrangement or a complementary color filter may be used. Further, the same effect can be obtained even when the image pickup device has a honeycomb shape other than the square array, for example.
  • a consumer digital still camera / digital video camera or the like equipped with a two-dimensional image sensor such as a CCD uses the image sensor. It is suitable for removing noise contained in an image signal when an image is taken.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　特徴値算出部３により算出された微小領域の特徴値から注目画素近傍のエッジ強度値を算出するエッジ強度値算出部４と、エッジ強度値算出部３により算出されたエッジ強度値をエッジ強度補正曲線にしたがって補正するエッジ強度値補正部５と、その注目画素と同色成分の周辺画素の画像信号値から、その注目画素のローパスフィルタ値を算出するフィルタ値算出部６とを設け、補正前後のエッジ強度値を用いて、注目画素の画像信号値とローパスフィルタ値を重み付け加算することにより、その注目画素の画像信号値を補正する。

Description

画像処理方法 技術分野
この発明は、 撮像素子により撮像された画像信号に含まれているノィ ズを除去する画像処理方法に関するものである。 背景技術
一般的な画像処理装置においては、 色の 3原色である R成分の色フィ ル夕、 G成分の色フィル夕及び B成分の色フィル夕が別個に貼り付けら れている C C Dなどの 2次元撮像素子を 3枚搭載している。
そして、 画像処理装置は、 1回の撮影で光学系から入射される被写体 の光学像を分光プリズム等で分光し、 分光後の光学像を 3枚の 2次元撮 像素子に入射させて、 1画面分のフルカラー画像情報を得る多板式の撮 像方法を採用している。
これに対して、 2次元的に配列されている各画素に、 R成分の色フィ ル夕、 G成分の色フィル夕、 あるいは、 B成分の色フィル夕のいずれか が貼り付けられている 1枚の 2次元撮像素子を搭載している画像処理装 置がある。 - この画像処理装置の場合、 各画素からは 1色分の色信号 （R色、 G色 又は B色のうちの、 いずれか 1色の色信号） しか得られないので、 得ら れない 2色分の色信号を、 当該画素の周辺画素の色信号を用いて演算に より求め、 疑似的に各画素のフルカラー画像情報を得る単板式の撮影方 法を採用している。
単板式の撮影方法は、 多板式の撮像方法と比較して、 撮像素子を含む 光学部品点数が少なくて済むため、 小型かつ低価格に装置を構成するこ とが可能であり、 民生用のディジ夕ルスチルカメラやディジ夕ル 'ビデオ カメラなどで広く採用されている。
単板式の撮影方法は、 上述したように、 原色フィル夕が貼り付けられ た単板式の撮像素子により撮像された画像情報から色信号の補間処理を 実施して非撮像色信号を生成することにより、 フルカラー画像を得るが
、 その色補間処理によって生成された各画素の R , G , B信号は、 最終 的に画面表示や、 J P E G ' M P E Gなどの画像圧縮処理を施すために 輝度色差信号に変換され、 画像氐縮前の輝度色差信号からなる画像に対 してノィズ低減や輪郭強調などの処理を行うフィル夕処理が一般的に施 される。
下記の特許文献 1， 2に示されている従来の画像処理方法では、 撮像 装置が 3板式の撮像素子を用いている場合、 輝度色差分離回路が輝度色 差信号への変換処理を実施し、 撮像装置が単板式の撮像素子を用いてい る場合、 輝度色差分離回路が上述した色補間処理を実施してから輝度色 差信号への変換処理を実施する。
そして、 輝度色差分離回路により変換された輝度色差信号に対して輪 郭強調処理や、 コアリ ングと呼ばれるノィズ低減処理を実施することに より、 ノイズを低減するようにしている。
また、 下記の特許文献 3に示されている従来の画像処理方法では、 単 板式の撮像素子により撮像された画像に対して色補間処理を実施する際 にノィズ低減処理を実施するが、 色補間処理を実施することによって全 画素の輝度信号を生成した後に所定の口一パスフィル夕を施しているた め、 色補間処理を実施することによって発生するノイズの拡散を防止す ることができない。 また、 色補間処理後の輝度信号についてノイズ低減 処理用の画素ウィ ン ドゥを構成するために、 付加的なラインバッファが 必要となる。
さらに、 下記の特許文献 4に示されている従来の画像処理方法では、 単板式の撮像素子により撮像された画像に対して色補間処理を実施する 前にノィズ除去処理を行う技術が開示されており、 ノィズが色補間処理 によって拡散されることなく、 ノィズを低減することが可能である。
しかし、 所定領域に存在する注目画素と同色成分の画素のみを用いて ノィズレベル検出と補正値演算を行うため、 隣接する異なる撮像色の画 素間で検出されるノイズレベルが特に色エッジにおいて相違が生じ、 画 面内におけるノィズ低減処理の連続性が損なわれて画質の安定感が失わ れる。 また、 ノイズレベルの検出の際に、 処理済の隣接する同色画素に おけるノィズレベル値を再帰的に使用しているが、 隣接画素と無関係に 発生するランダムノイズの低減には効果が薄い。 さらに、 ファジー関数 によってノィズレベルが高い領域を画像情報として有意なエツジである と判定し、 ノイズ低減処理を行わないようにしているが、 エッジに隣接 する画素で発生しているノイズを低減することができず、 後段で一般的 に使用される輪郭強調処理によって、 そのノィズが強調されることにな る σ
[特許文献 1 ] 特許第 2 7 8 7 7 8 1号
[特許文献 2 ] 特閧 2 0 0 1 — 1 7 7 7 6 7号公報
[特許文献 3 ] 特開 2 0 0 3— 8 7 8 0 9号公報
[特許文献 4 ] 特開 2 0 0 3— 1 5 3 2 9 0号公報
従来の画像処理方法は以上のように構成されているので、 撮像素子が 光電変換を実施する際に画像信号に畳重されるノィズや、 光電変換後の アナログ信号に畳重されるノィズ （アナログ信号処理回路で発生するノ ィズ） は、 色補間処理によって注目画素の周辺に拡散する。 そのため、 撮像素子の画素数が増加し、 1素子当りの受光面積が小さくなるほど、 感度低下が進み、 相対的に増大するノィズを十分に低減することができ なくなる課題があつた。
即ち、 輝度ノイズについてはコアリ ングを施し、 色ノイズについては 口一パスフィル夕処理を実施することで、 ある程度、 ノイズを低減する ことができるが、 実際の撮影画像にはスポッ トノイズではなく、 画像全 面に渡ってランダムノイズが生じる。 そのため、 色補間処理で拡散され たノィズ成分同士が重なり合い、 本来の画像信号がノィズに埋没するの で、 輝度色差信号に変換された後では、 輝度ノイズや色ノイズの除去は 困難である。
この発明は上記のような課題を解決するためになされたもので、 注目 画素に重畳されているノィズが周辺画素に拡散されることなく、 そのノ ィズを十分に低減することができる画像処理方法を得ることを目的とす る。 発明の開示
この発明に係る画像処理方法は、 特徴値算出ステップにより算出され た微小領域の特徴値から注目画素近傍のエツジ強度値を算出するエツジ 強度値算出ステツプと、 その注目画素と同色成分の周辺画素の画像信号 値から、 その注目画素の口一パスフィル夕値を算出するフィル夕値算出 ステップとを設け、 そのエッジ強度値算出ステップによ り算出されたェ ヅジ強度値と、 そのフィル夕値算出ステヅプによ り算出された口一パス フィルタ値とを用いて、 その注目画素の画像信号値を補正するようにし たものである。
このことによって、 注目画素に重畳されているノイズが周辺画素に拡 散されることなく、 そのノイズを十分に低減することができる効果があ る。 図面の簡単な説明
第 1図はこの発明の実施の形態 1による画像処理方法を適用する画像 処理装置を示す構成図である。
第 2図はこの発明の実施の形態 1による画像処理方法を示すフローチ ャ一トである。
第 3図は単板式の撮像素子における色フィル夕の配置を示す説明図で め 。
第 4図は G信号の線形補間を示す説明図である。
第 5図は B信号の線形補間を示す説明図である。
第 6図は R信号の線形補間を示す説明図である。
第 7図は画素ウィ ン ドウなどを示す説明図である。
第 8図は特徴値ウイ ン ドウを示す説明図である。
第 9図は重み付け係数を示す説明図である。
第 1 0図はエツジ強度補正曲線を示す説明図である。
第 1 1図は特徴値ウイ ン ドウを示す説明図である。
第 1 2図は輝度信号や色差信号などを示す説明図である。
第 1 3図は輝度信号や色差信号などを示す説明図である。
第 1 4図はこの発明の実施の形態 3による画像処理方法を示すフロー チャートである。
第 1 5図は周辺画素の G成分分布を示す説明図である。
第 1 6図はこの発明の実施の形態 4による画像処理方法を適用する画 像処理装置を示す構成図である。
第 1 7図はこの発明の実施の形態 4による画像処理方法を示すフ口― チャートである。
第 1 8図は 2値化分布を示す説明図である。
第 1 9図は実施の形態 4のノィズ低減処理等を示す説明図である。 発明を実施するための最良の形態
以下、 この発明をより詳細に説明するために、 この発明を実施するた めの最良の形態について、 添付の図面に従って説明する。
実施の形態 1 .
第 1図はこの発明の実施の形態 1による画像処理方法を適用する画像 処理装置を示す構成図である。 図において、 画像デ一夕入力部 1は 2次 先的に配列されている各画素に、 3原色における何れかの色フィル夕が 配置されている撮像素子により撮像された撮像色信号 （画像信号値） を 入力する。 領域切出し部 2は撮像素子の撮像領域から、 ノイズの低減処 理を実施する注目画素を中心とする所定領域の切出しを行い、 その所定 領域の撮像色信号を抽出する。 特徴値算出部 3は領域切出し部 2によ り 抽出された所定領域の撮像色信号から、 所定領域内の微小領域の特徴値 を算出する。 即ち、 特徴値算出部 3は所定領域内の微小領域に対応する R成分の色フィル夕、 G成分の色フィル夕及び B成分の色フィル夕から 出力される撮像色信号を用いて、 その微小領域の特徴値を算出する。 エッジ強度値算出部 4は特徴値算出部 3により算出された微小領域の 特徴値から注目画素近傍のエツジ強度値を算出する。 ェッジ強度値補正 部 5はエツジ強度値算出部 4により算出されたエツジ強度値をエツジ強 度補正曲線にしたがって補正する。
フィル夕値算出部 6は注目画素と同色成分の周辺画素の撮像色信号か ら、 その注目画素の口一パスフィル夕値を算出する。
画像信号値補正部 7はエツジ強度値算出部 4により算出されたエッジ 強度値と、 ェッジ強度値補正部 5により補正されたエツジ強度値とを用 いて、 注目画素の画像信号値とローパスフィル夕値を重み付け加算する ことにより、 その注目画素の画像信号値を補正する。 第 2図はこの発明の実施の形態 1による画像処理方法を示すフローチ ャ一トである。
次に動作について説明する。
この実施の形態 1の画像処理装置は、 第 3図に示すような R， G， B の 3原色の色フィル夕が B a y e r型に配列された単板式の撮像素子を 用いるものとする。
第 3図における R信号、 G信号、 B信号は、 光電変換素子の各画素位 置でサンプリングされた撮像色信号であり、 Rは赤色 （R信号） 、 Gは 緑色 （ G信号） 、 Bは青色 （B信号） を示している。
最初に、 原色フィル夕が貼り付けられた単板式の撮像素子の撮像結果 である撮像色信号を用いて色補間処理を実施することにより、 非撮像色 信号を生成して、 フルカラ一画像を得る手順を簡単に説明する。 ただし 、 この実施の形態 1の画像処理装置は、 後述するノイズ低減処理を実施 してから、 色補間処理を実施して、 フルカラー画像を得るようにしてい る。
第 3図のように色フィル夕が配置されている撮像素子の撮像結果から 、 各画素が R G B全成分を有するフルカラー画像を生成する場合、 各画 素のフィル夕色 （撮像色） 以外の 2色の非撮像色信号を生成する必要が る。
例えば、 G信号だけに着目すると、 撮像素子の撮像結果には、 第 4図 に示す位置にのみ、 G信号 （第 4図では大文字で表記） の撮像色信号が 存在する。 従来の一般的な線形補間法では、 上下左右の 4画素の G信号 の平均値から G信号が存在しない中央の画 ¾の G信号レベル （第 4図で は小文字 " g " で表記） を算出して補間することにより、 全画素分の G 信号を得る。
また、 B信号に着目すると、 第 5図に示すように、 上下の画素の B信 号からその中間の画素の b 1信号を生成して内挿し、 また、 上下左右の 画素の B信号からその中央の画素の b 2信号を生成して内挿し、 さらに 、 左右の画素の B信号からその中間の画素の b 3信号を生成して内挿す ることにより、 全画素分の B信号を得る。
R信号においても、 第 6図に示すように、 B信号と同様の方法で、 全 画素分の R信号を得る。
これにより、 全画素において、 R , G , B信号を得ることができる。 次に、 この実施の形態 1の画像処理装置によるノィズ低減処理を具体 的に説明する。
まず、 画像データ入力部 1は、 単板式の撮像素子により撮像された各 画素の撮像色信号である画像信号値を入力する。
領域切出し部 2は、 画像デ一夕入力部 1が各画素の撮像色信号を入力 すると、 第 7図 （ a ) に示すように、 撮像素子の撮像領域から、 ノイズ の低減処理を実施する注目画素 P ( 2 , 2 ) を中心とする 5 x 5画素の 所定領域 （以下、 画素ウィ ン ドウと称する） の切出しを行い、 その画素 ウィ ン ドウ内の画素の撮像色信号を出力する。
ここで、 第 7図 （ b ) ( c ) ( d ) は、 実際に切出される画素ウィ ン ドウ内の画素配置を示す説明図であり、 注目画素が G成分、 R成分また は B成分の場合によって、 これら 3つのケースが存在する。
特徴値算出部 3は、 領域切出し部 2から画素ウイ ン ドウ内の画素の撮 像色信号を受けると、 その画素ウィ ンドウ内の微小領域の特徴値を算出 する。 ·
即ち、 特徴値算出部 3は、 注目画素 P ( 2 , 2 ) を中心とする画素ゥ イ ン ドウにおいて、 ： R成分、 G成分及び B成分を含む微小領域として P ( i , j ) 、 P ( i + 1 , jつ 、 P ( i， j + 1 ) s P ( i + 1 ， j + 1 ) (但し、 0≤ i≤ 3、 0≤ j ≤ 3 ) の 4画素を含む領域を定義する そして、 特徴値算出部 3は、 各微小領域毎に、 その微小領域を構成す る画素の撮像色信号を下記の式 （ 1 ) に代入して特徴値 D ( i , j ) を 算出する （ステップ S T 1 ) 。
D(i, j) = (P(i, j) + P(i + 1, j) + P(i, j + l)+ P(i + 1, j + 1))/ 4 ( 1 ) 画素ウィ ン ドウの全体について、 式 （ 1 ) を実行することにより、 第 8図に示すような 4 x 4の特徴値ウイ ン ドウが生成される。
例えば、 i = 0， j = 0であれば、 微小領域を構成する画素は P ( 0 , 0 ) 、 P ( l， ◦ ) 、 P ( 0 , 1 ) 、 P ( l , 1 ) になり、 その微小 領域の特徴値は D ( 0 , 0 ) となる。
また、 i = 2 , j = 2であれば、 微小領域を構成する画素は P ( 2 , 2 ) 、 P ( 3， 2 ) 、 P ( 2， 3 ) 、 P ( 3， 3 ) になり、 その微小領 域の特徴値は D ( 2 , 2 ) となる。
ェッジ強度値算出部 4は、 特徴値算出部 3が各微小領域の特徴値を算 出すると、 各微小領域の特徴値から注目画素近傍のエッジ強度値 （以下 、 入力ェ ヅジ強度値 E d lと称する） を算出する （ステップ S T 2 ) o 即ち、 エッジ強度値算出部 4は、 第 8図の特徴値ウィ ン ドウ内の特徴 値に対して、 例えば、 第 9図に示すような重み付け係数を乗じた後、 各 乗算結果を下記の式 （ 2 ) のように加算して、 特徴値ウイ ンドウにおけ る入力ェ ヅジ強度値 E d 1を算出する。
Edl = I 3x(D(l,l)+D(l,2)+D(2,l)+D(2,2))
一（D(0，0)+ D(l,0)+ D(2,0)+ D(3,0)+ D(0,1)+ D(3,l)
+D(0，2)+ D(3,2)+ D(0,3)+ D(l，3)+ D(2，3)+ D(3,3))|
( 2 ) ェッジ強度値補正部 5は、 ェッジ強度値算出部 4が入力エツジ強度値 E d lを算出すると、 予め設定されたエツジ強度補正曲線 （第 1 0図を 参照） にしたがって入力エッジ強度値 E d 1を補正し、 補正後の入力ェ ッジ強度値 E d 1 として出力ェヅジ強度値 K o u tを出力する （ステツ プ S T 3 ) 。
即ち、 エッジ強度値補正部 5は、 下記の式 （ 3 ) に示すように、 エツ ジ強度補正曲線を表す関数 f に入力エッジ強度値 E d 1を代入して出力 ェッジ強度値 K o u tを算出する。
Kout = f(Ed ) ( 3 ) なお、 ェッジ強度補正曲線を表す関数 f ( E d 1 ) は、 第 1 0図に示 すように、 入力エッジ強度値 E d 1が大きくなると、 その入力エッジ強 度値 E d 1に比例した出力エッジ強度値 K o u tを出力するが、 その入 力エツジ強度値 E d 1が小さいうちは、 小さな出力エツジ強度値 K o u tを出力するような関数になっている。 第 1 0図における点線は、 入出 力リニア （線形） の場合を示している。
ここでは、 第 1 0図に示すようなエッジ強度補正曲線が予め設定され ているものについて示したが、 これに限るものではない。 即ち、 入力ェ ッジ強度値 E d 1に応じてエツジ強度補正曲線を細分化し、 そのエツジ 強度補正曲線の各区間を直線近似するようにしてもよい。 これにより、 出力エツジ強度値 K o u tを算出する際の演算を 2次以上の高次式から 1次式で置き換えることが可能になり、 本画像処理方法を電子回路で実 現する場合の回路規模の低減が可能になる。 また、 本画像処理方法をプ 口グラムで実現する場合には演算の高速化を図ることができる効果が得 つれる。
また、 入力エッジ強度値 E d 1に対する出力エッジ強度値 K 0 u tを 予めルックアップ · テ一ブル等のメモリに格納して、 エッジ強度値補正 部 5が入力エッジ強度値 E d 1に対応する出力エツジ強度値 K 0 U tを 参照するようにしてもよい。 フィルタ値算出部 6は、 領域切出し部 2から画素ウイ ン ドウ内の画素 の撮像色信号を受けると、 以下の式 （4) に注目画素と同色成分の周辺 画素の撮像色信号を代入して演算することにより、 その注目画素のロー パスフィル夕値 P l p f を算出する （ステップ S T 4) 。
Plpf
=(P(0,0)+P(2,0)+P(4,0)+P(0,2)+P(4,2)+P(0,4)+P(2,4)+P(4,4))/8
(4) 画像信号値補正部 7は、 フィル夕値算出部 6が注目画素のローパスフ ィル夕値 P l p f を算出すると、 以下の式 （ 5 ) に示すように、 エッジ 強度値算出部 4により算出された入力エツジ強度値 E d 1と、 エッジ強 度値補正部 5により算出された出力エツジ強度値 K o u tとを用いて、 注目画素 P ( 2， 2 ) の撮像色信号である画像信号値とローパスフィル 夕値 P 1 p f を重み付け加算することにより、 その注目画素 P ( 2 , 2 ) の画像信号値を補正する。
P'(2,2)= {Kout χ P(2,2)+ (Edl- Kout )x Plpf }/Edl ( 5 ) これにより、 撮像素子の撮像結果に含まれているノイズが低減される が、 以下、 その効果を明確にするために具体的な数値を用いて説明する 。 ここでは、 第 1 3図 （a) の撮像素子により撮像された際に、 第 1 3 図 （b) に示すようなノイズが発生していることを想定して説明する。 ただし、 説明の便宜上、 撮像素子の撮像結果が 0〜 2 5 5の 2 5 6段階 の数値で表されるものとする。
この場合、 特徴値算出部 3は、 式 （ 1 ) を演算することにより、 第 1 1図に示すような特徴値ウィ ン ドウ D ( i， j ) を生成する。
エッジ強度値算出部 4は、 式 （ 2 ) を演算することにより、 特徴値ゥ ィ ン ドウにおける入力エッジ強度値 E d 1を算出'する。
E d 1 = 3 X ( 2 + 2 + 2 + 2 ) — 0 = 24 エッジ強度値補正部 5は、 式 （ 3 ) を演算することにより、 出力エツ ジ強度値 K o u tを算出する。 第 1 0図のエツジ強度補正曲線が設定さ れている場合、 入力エッジ強度値 E d 1が " 2 4 " であるとき、 出力ェ ヅジ強度値 K 0 u tは " 6 " になる。
K o u t = f ( 2 4 ) = 6
フィル夕値算出部 6は、 式 （ 4 ) を演算することにより、 注目画素の 口一パスフィル夕値 P l p f を算出する。
P 1 p f = ( 0 + 0 + 0 + 0 + 0 + 0 + 0 + 0 ) / 8 = 0
画像信号値補正部 7は、 式 （ 5 ) を演算することによ り、 その注目画 素 P ( 2 , 2 ) の画像信号値を補正する。
P， ( 2 , 2 ) = { 6 x 8 + ( 2 4 - 6 ) x 0 } / 2 4 = 2 以上より、 撮像素子の撮像結果に含まれるノイズ成分が " 8 " から " 2 " に減少していることが分かる。
このようにして、 ノイズ低減処理が実施された後、 上述した色補間処 理を実施すると、 撮像素子の撮像結果は第 1 2図のようになる。
即ち、 ノィズ低減処理が実施された第 1 2図 （ a ) の撮像結果を入力 して色補間処理を実施すると、 第 1 2図 （ b ) ( c ) ( d ) に示すよう に、 R色成分、 G色成分及び B色成分が補間生成される。
そして、 下記に示す一般的な変換式を用いて、 輝度色差信号を生成す ο
Y = 0.29900x7? + 0.58700xG + 0.11400x5 ( 6 )
Cb = -0.16S74xR一 0.33126xG + 0.50000 5+128
Cr = 0.50000 xR- 0.41869 xG- 0.08131x5 + 128
ここで、 Yは輝度信号、 C b及び C rは色差信号を示している。 ただ し、 色差信号については以降の計算を容易にするために 1 2 8を加算し て全て正の値にしている。 このように、 式 （ 6 ) にしたがって輝度色差信号を生成した場合、 輝 度信号は第 1 2図 （e) のようになり、 色差信号は第 1 2図 （ f ) ( g ) のようになる。 . 一方、 従来例のように、 ノイズ低減処理を実施する前に色補間処理を 実施した場合、 即ち、 第 1 3図 （b) の撮像結果を入力して色補間処理 を実施すると、 第 1 3図 （ c ) ( d ) (e) に示すように、 R色成分、 G色成分及び B色成分が補間生成される。
そして、 上記と同様に、 式 （ 6 ) の変換式を用いて、 輝度色差信号を 生成すると、 輝度信号は第 1 3図 （f ) のようになり、 色差信号は第 1 3図 （g) (h) のようになる。
第 1 2図と第 1 3図を比較すると、 この実施の形態 1の画像処理方法 では、 注目画素における輝度ノィズ及び色ノィズが有効 ί'こ低減している 他、 従来例のように、 注目画素の周辺に拡散していたノイズ成分が拡散 することもなく、 色補間処理や輝度色差変換処理が行われることが分か る。
以上で明らかなように、 この実施の形態 1によれば、 特徴値算出部 3 により算出された微小領域の特徴値から注目画素近傍のエツジ強度値を 算出するエッジ強度値算出部 4と、 エッジ強度値算出部 3により算出さ れたエツジ強度値をエツジ強度補正曲線にしたがって補正するエッジ強 度値補正部 5と、 その 目画素と同色成分の周辺画素の画像信号値から 、 その注目画素のローパスフィル夕値を算出するフィル夕値算出部 6と を設け、 補正前後のエッジ強度値を用いて、 注目画素の画像信号値と口 —パスフィル夕値を重み付け加算することにより、 その注目画素の画像 信号値を補正するように構成したので、 注目画素に重畳されているノィ ズが周辺画素に拡散されることなく、 そめノィズを十分に低減すること ができる効果を奏する。 ' 実施の形態 2 .
上記実施の形態 1では、 式 （ 1 ) を演算して微小領域の特徴値を算出 するものについて示したが、 同様に R成分、 G成分及び B成分の全てを 含む特徴値算出方法を適宜選択するようにしてもよい。 即ち、 特徴値の 算出方法として、 全ての色成分を含む方法であれば、 式 （ 1 ) の限りで なく、 例えば、 画素ウィ ン ドウ内における色成分毎のエッジ検出結果を 重み付け加算する方法などでも、 一定の効果が得られる。
特に注目画素周辺が有彩色のエツジを含む場合、 隣接する他の色画素 とのエツジ検出結果の連続性、 ひいてはノィズ除去効果の連続性を維持 するために有効である。
また、 上記実施の形態 1では、 撮像デ一夕のエッジ検出を行う際、 式 ( 1 ) から算出された特徴値に第 9図の重み付け係数を乗算し、 式 （ 2 ) のように各乗算結果を加算するものについて示したが、 この限りでは ない。
即ち、 検出したいノイズの空間周波数特性によっては、 上記実施の形 態 1で示した方法以外のエツジ強度値に相当するパラメ一夕を使用また は併用することで、 ノィズ検出の自由度を高めて検出精度を上げること が可能である。
例えば、 第 7図 （ a ) の注目画素ウィ ン ドウの全体を微小領域として 、 画素ウィ ンドウ内の同色成分の画素毎に 1次微分値や 2次微分値等を 算出して、 周辺画素におけるエッジ分布を色単位で推定し、 エッジ強度 値 E d 1 に加算するなど反映させることができる。 一例としては、 注目 画素が R画素位置の場合、 下式のようにエッジ強度値 E d 1 5 を算出す るものである。
EdR = |4 χ Ρ(2.2)- Ρ(2,θ)- Ρ(θ,2)- Ρ( ,2 ) -
Figure imgf000016_0001
( 7 ) EdG
Figure imgf000017_0001
P(3,2]
EdB = |p(l,l)- P(3,3) + |P(3,1)— P(l,3)|
Ed = (Edl + EdR + EdG +威) / 4
なお、 E d Rは R色成分の入力エッジ強度値、 E d Gは G色成分の入 力エッジ強度値、 E d Bは B色成分の入力エッジ強度値を示し、 E d l は式 （ 2 ) から算出された特徴値ウイン ドウ内の入力エツジ強度値であ る。
また、 上記実施の形態 1では、 式 （ 1 ) から算出された特徴値からェ ッジ検出を行う際、 第 9図の重み付け係数を乗算するものについて示し たが、 この限りではない。
即ち、 式 （ 1 ) から算出された特徴値の 1次微分値や 2次微分値等な ど、 ェッジ検出可能な他のフィル夕係数を用いても同様の効果が得られ る o
さらに、 上記実施の形態 1では、 第 7図 （ a ) のように注目画素を中 心とする 5 X 5の画素ウイ ン ドウを例に示したが、 この限りではない。 即ち、 7 X 7画素や 7 X 5画素など、 任意に設定することができ、 こ れに合わせて第 8図の特徴値ウイ ン ドウの形状や各算出式も変化させる ことができる。
また、 上記実施の形態 1では、 式 （ 4 ) を演算して注目画素における 口一パスフィル夕値 P l p f を求めるものについて示したが、 その限り ではない。
即ち、 第 7図 （ a ) における注目画素 P ( 2， 2 ) から見て、 水平及 び垂直方向にある画素のみから算出するようにしてもよい。 あるいは、 水平、 垂直及び斜め方向の画素値を重み付け加算するようにしてもよい 。 あるいは、 式 （ 5 ) を演算して、 注目画素の画像信号値の補正値 P， ( 2， 2 ) を算出する際に、 注目画素 P ( 2， 2 ) の成分が 0にならな いように、 予め口一パスフィル夕値 P 1 p f に注目画素 P ( 2 , 2 ) を 重み付け加算しておくようにしてもよい。 撮像結果の特性ゃノィズ低減 処理を行う目的によって多様に変化させることができる。
また、 上記実施の形態 1では、 式 （ 5 ) を演算して、 注目画素の画像 信号値の補正値 P， （ 2， 2 ) を算出する際に、 注目画素 P ( 2， 2 ) の画像信号値とローパスフィル夕値 P 1 p f を重み付け加算するものに ついて示したが、 この限りではない。
即ち、 画像処理装置の後段で輪郭強調処理を行うことを前提にして、 式 （ 5 ) の演算では、 注目画素 P ( 2 , 2 ) の代わりに、 ローパスフィ ル夕値 P l p f よりは弱いローパスフィル夕を施した注目画素 P ( 2 , 2 ) に近い画素の画像信号値を ffiいて、 口一パスフィル夕値 P 1 p f と の重み付け加算を行うようにしてもよい。
このように、 画面全体に渡りエッジを低減して、 ソフ トなイメージに した後、 輪郭強調処理でエツジのシャープネスを補償する構成にするこ ともできる。 実施の形態 3.
上記実施の形態 1では、 ノィズ低減処理を実施した後に色補間処理を 実施するものについて示したが、 上記実施の形態 1におけるノィズ低減 処理は、 注目画素を中心とする画素ウィ ン ドウを形成する必要があるた め、 電子回路で実現する場合には、 少なく とも数ライン分のライ ンバッ ファを必要とする。
ただし、 ラインバッファを備える他の画像処理内にノィズ低減処理を 配置するようにすれば、 ノィズ低減処理のために付加的なラインバッフ ァを備える必要がなくなり、 装置価格の上昇を最小限に抑えることがで きる効果を奏する。 - 第 1 4図はこの発明の実施の形態 3による画像処理方法を示すフ口一 チャートであり、 色補間処理を実施する際に、 ノイズ低減処理を実施す る方法を示している。
色補間処理の方法としては、 線形補間法が最も簡易であるが、 一般的 な画像処理装置においては、 より画質を向上させた複雑な方式を用いる ことが一般的になっている。 例えば、 特開 2 0 0 3— 1 3 4 5 2 3号公 報に開示されている色補間処理の方法を例にとって説明する。
特開 2 0 0 3— 1 3 4 5 2 3号公報では、 撮像素子の撮像結果におい て、 補間生成しょうとする色成分とは異なる参照色 （色信号） の微小領 域における変化量に基づいて、 補間生成しょう とする色の推定変化量と してオフセヅ ト量を決定することにより、 ェヅジの凹凸を忠実に再現し 、 高解像度の色補間を実現する色補間方法が示されている。
具体的には、 第一段階から第三段階の処理を行う構成が開示されてお り、 第一段階の処理として、 撮影素子の撮像結果が R成分である画素 （ 以下、 R画素位置と称す） における G成分の生成と、 B成分である画素 (以下、 B画素位置と称す） における G成分の生成を行う。
第二段階の処理として、 撮影素子の撮像結果が G成分である画素 （以 下、 G画素位置と称す） における R成分と B成分の生成を行う。
第三段階の処理として、 ： 画素位置における B成分の生成と、 B画素 位置における R成分の生成とを行う。
第二段階及び第三段階の処理では、 それそれ前段階までに補間生成さ れた色信号を参照色として再利用した色補間を行う構成が示されている 。 したがって、 特開 2 0 0 3— 1 3 4 5 2 3号公報に開示されている色 補間処理の方法を電子回路で実現する場合、 各段階毎に処理ウイ ン ドウ を形成するために、 また、 オリジナル画素と前段階で生成された画素と を遅延させるために、 数ライン分のラインバッファを少なく とも備える 必要があり、 第一段階では、 5ライン分のライ ンバッファが必要な構成 になっている。 この実施の形態 3では、 色補間処理の第一段階の 5ライ ン分のバッファをノィズ低減処理用バヅファとして共有する例について 説明する。
次に動作について説明する。
撮像素子の撮像結果が図示せぬ色補間処理部に入力されると、 その色 補間処理部が第 1図の領域切出し部 2と伺様にして、 注目画素を中心と する 5 X 5画素の画素ウイ ン ドウの切出しを行う。
色補間処理部は、 その注目画素が R画素位置又は B画素位置である場 合 （ステップ S T 1 1 ) 、 色補間処理の第一段階である G成分の生成処 理を実施する （ステップ S T 1 2 ) 。
色補間処理部は、 R画素位置又は B画素位置における G成分の生成処 理を実施すると、 上記実施の形態 1におけるノィズ低減処理と同様にし て （第 2図の画像処理方法を実施） 、 注目画素の R色成分又は B色成分 のノィズ低減処理を行う （ステップ S T 1 3 ) 。
次に、 色補間処理部は、 注目画素が G画素位置である場合、 上記実施 の形態 1におけるノイズ低減処理と同様にして （第 2図の画像処理方法 を実施） 、 その注目画素の画像信号値 （撮像素子のオリジナルの画像信 号値） に対するノィズ低減処理を行う （ステップ S T 1 4 ) 。
一方、 注目画素が R画素位置又は B画素位置である場合、 ステップ S T 1 2で生成された G成分のノイズ低減処理を行う （ステップ S T 1 4 ステップ S T 1 2で生成された G成分のノイズ低減処理は、 G画素位 置における G成分のノィズ低減処理と比較して、 ローパスフィル夕値 P l p f の算出式のみが異なっている。 即ち、 ステップ S T 1 2で生成さ れた G成分を P g ( 2 , 2 ) とすると、 周辺画素の G成分分布は第 1 5 図のようになり、 例えば、 下記の式 （ 8 ) を演算して、 口一パスフィル 夕値 P 1 p f を算出する。
Plpf = { 2 X (P(2, l)+P(l,2)+P(3,2)+P(2,3))
+P(1,0)+P(3,0) +P(0, 1) +P(4, 1) +P(0,3) +P(4,3) +P(l,4) +P(3,4)} / 16 ( 8 ) 色補間処理部は、 上記のようにして、 G成分のノイズ低減処理を実施 すると、 第二段階の処理として、 G画素位置における R成分の生成と、 B成分の生成とを行う （ステップ S T 1 5 ) 。
最後に、 色補間処理部は、 第三段階の処理として、 R画素位置におけ る B成分の生成と、 B画素位置における R成分の生成とを行う （ステツ プ S T 1 6 ) 。 '
なお、 色補間処理における第二段階と第三段階の処理については、 補 間色及び参照色の全ての画像信号値がノィズ低減処理されているため、 これらの相対的な関係によって補間生成される R色成分又は B色成分に 対しても、 ノイズが低減された信号レベルになる。
以上で明らかなように、 この実施の形態 3によれば、 撮像素子の撮像 結果を順次走査し、 全画面に渡り、 第 1 4図のようにノイズ低減処理が 内包されている色補間処理を行うので、 ノイズが拡散されることなく、 良好にノイズが低減された R G Bのフルカラー画像を得ることができる 効果を奏する。 また、 色補間処理の出力信号を必要に応じて輝度色差信 号変換することにより、 効果的にノィズ低減された輝度色差信号が得ら れる。
なお、 この実施の形態 3では、 ノイズ低減処理を内包する色補間処理 が特開 2 0 0 3— 1 3 4 5 2 3号公報に開示されている色補間処理であ るものについて示したが、 この限りではない。 即ち、 従来の線形補間法 や、 他の複数ライ ンの撮影結果を使用する色補間処理内にノィズ低減処 理を組み込んでも、 ライ ンバッファを共有することで同等の効果が得ら れる。 また、 撮影素子の撮像結果に対する色補間処理を行う前に、 複数 ラインを使用する他の画像処理内に配置してもよい。 実施の形態 4 .
第 1 6図はこの発明の実施の形態 4による画像処理方法を適用する画 像処理装置を示す構成図である。 図において、 第 1図と同一符号は同一 または相当部分を示すので説明を省略する。
2値化部 1 1は特徴値算出部 3により算出された微小領域の特徴値の 平均値を求め、 その平均値と各特徴値を比較して、 各特徴値を 2値化す る。 輪郭線分検出部 1 2は 2値化部 1 1により 2値化された画素ウイ ン ドゥ内の特徴値の分布と、 予め設定された 2値化分布とのパターンマッ チングを実施して輪郭線分を検出する。
画像信号値補正部 1 3は輪郭線分検出部 1 2により輪郭線分が検出さ れた場合、 その輪郭線分と同一方向にある注目画素を含む複数の画素の 画像信号値を用いて、 その注目画素の画像信号値を補正する。
なお、 この実施の形態 4では、 エッジ強度値算出部 4は輪郭線分検出 部 1 2により輪郭線分が検出されないとき、 入力エッジ強度値 E d 1を 算出し、 その輪郭線分が検出されたときは入力エッジ強度値 E d 1を算 出しないので、 その輪郭線分が検出されない場合に限り、 画像信号値補 正部 7から補正後の画像信号値が出力される。
第 1 7図はこの発明の実施の形態 4による画像処理方法を示すフロー チャートである。 '
次に動作について説明する。
まず、 特徴値算出部 3は、 領域切出し部 2から画素ウィ ン ドウ内の画 素の撮像色信号を受けると、 上記実施の形態 1 と同様にして、 その画素 ウィン ドウ内の微小領域の特徴値 D ( i， j ) を算出する。
2値化部 1 1は、 特徴値算出部 3が微小領域の特徴値 D ( i， j ) を 算出すると、 以下の式 （ 9 ) に示すように、 その特徴値 D ( i， j ) の 平均値 D a V eを算出する （ステップ S T 2 1 ) 。
Dave = D ， /16 ( 9 ) そして、 2値化部 1 1は、 その平均値 D a V eと各特徴値 D ( i , j ) を比較し、 その特徴値 D ( i , j ) が平均値 D a v e以上であれば、 その特徴値 D ( i， j ) の 2値化結果として、 D b ( i， j ) = 1を出 力する。
一方、 その特徴値 D ( i， j ) が平均値 D a v eに満たなければ、 そ の特徴値： D ( i， j ) の 2値化結果として、 D b ( i , j ) = 0を出力 する （ステップ S T 2 2 ) 。 - 輪郭線分検出部 1 2は、 2値化部 1 1により 2値化された画素ウイ ン ドウ内の特徴値の分布と、 予め設定された 2値化分布 （第 1 8図を参照 ) とのパターンマッチングを実施して輪郭線分の検出処理を実施する （ ステップ S T 2 3 ) 。
輪郭線分検出部 1 2は、 2値化された画素ウイ ン ドウ内の特徴値の分 布と、 予め設定された 2値化分布とのパターンマッチングを実施して、 一致する場合には輪郭線分が存在し、 当該画素が直線上のエッジ上、 ま たは、 エッジに隣接する画素であると判.定する。 一方、 一致しない場合 には輪郭線分が存在しないものと判定する （ステップ S T 2 4) 。
輪郭線分検出部 1 2により輪郭線分が検出されない場合は、 上記実施 の形態 1 と同様に、 エッジ強度値算出部 4、 エッジ強度値補正部 5、 フ ィル夕値算出部 6及び画像信号値補正部 7が処理を実行して、 画像信号 値の補正値を算出する。 輪郭線分検出部 1 2により輪郭線分が検出された場合、 画像信号値補 正部 1 3が、 その輪郭線分と同一方向にある注目画素を含む複数の画素 の画像信号値を用いて、 その注目画素の画像信号値を補正する （ステツ プ S T 2 5 ) 。
以上の処理を全画面に渡り順次走査しながら行うこどにより、 画像情 報としてエッジが存在する画素に隣接するノィズを良好に低減すること ができる。
ここで、 第 1 9図は輪郭線分に隣接してノイズが発生している撮影結 果を処理した場合の一例を示しており、 図において、 第 1 9図 （ a ) は 単板式の撮像素子により撮影された画素ウィ ン ドウを示し、 注目画素 P ( 2 , 2 ) が G画素位置であると仮定している。 また、 第 1 9図 （b) は第 1 9図 （ a ) の画素配置で実際に撮影された画素値を示しており、 信号レベル "0" の背景上にレベル "2 5 5 " が分布し、 その隣接行に レベル " 3 " とレベル "2 0" が分布している。 つまり、 第 1 9図 （b ) には垂直方向の直線が撮影されており、 ノイズ低減処理を行う中心画 素にはレベル " 8" のノイズが発生している。
また、 第 1 9図 （ c ) は、 第 1 9図 （b) の画素ウィ ン ドウを式 （ 1 ) を用いて特徴値 D ( i , j ) に変換したものを示している。
第 1 9図において、 この実施の形態 4におけるェヅジに隣接したノィ ズ低減処理を行った場合、 式 （ 9 ) より平均値 D a V eが 6 7となり、 特徴値ウイ ン ドウの 2値化結果は第 1 9図 （d) のようになる。
一方、 予め設定された 2値化分布が第 1 8図のような分布である場合 、 第 1 9図 （ d ) の 2値化結果と第 1 8図の 2値化分布とをパターンマ ツチングすると、 該当画素が垂直方向に方向性を有するエッジに隣接す る画素であることが検出される。
画像信号値補正部 1 3が、 例えば、 下式のようにエッジを形成する線 分のなす垂直方向に口一パスフィル夕を適用すると、 輪郭線分における ノィズ成分を良好に低減することができる。
P， （ 2， 2 )
= {P ( 2, , 0 ) + 2 X P ( 2 , 2 ) + P ( 2， 4 ) } /4
= ( 3 + 2 x 8 + 3) / 4
= 5
( 1 0 ) ただし、 P， （ 2 , 2 ) は注目画素 P ( 2， 2 ) のノイズ低減後の補 正値である。
なお、 第 1 9図 （ e ) はノィズ低減処理を行わずに、 特開 2 0 0 3—
1 34 5 2 3号公報に開示されている色補間方法を実施したときの G成 分分布を示しており、 第 1 9図 （ f ) はこの実施の形態 4におけるェヅ ジに隣接するノイズ低減処理を実施した後に、 特閧 2 0 03― 1 34 5
2 3号公報に開示されている色補間方法を実施したときの G成分分布を 示している。
第 1 9図 （ e) (f ) より、 この実施の形態 4のノィズ低減処理が有 効に作用していることが分かる。
この実施の形態 4のノィズ低減処理を実施することにより、 従来のェ ツジ検出手段において、 画像情報を保持している強いエツジとして検出 され、 低減されずに、 むしろ輪郭強調処理において強調されていた、 ェ ヅジに隣接するノィズを有効に低減することが可能になる。 実施の形態 5.
上記実施の形態 4では、 パターンマッチングに用いる特徴値として、 式 （ 1 ) により算出される値を用いるものについて示したが、 この限り ではなく、 R GBの全ての色成分が混合される値であれば、 有彩色エツ ジの検出も有効に行えるため、 同様の効果を奏することができる。
また、 上記実施の形態 4では、 画素ウィ ン ドウが 5 x 5、 特徴値ウイ ンドウが 4 X 4であるものについて示したが、 この限りではなく、 画素 ウィン ドウと特徴値ウイ ン ドウの何れにおいても、 任意のサイズを用い ることができる。
また、 上記実施の形態 4では、 輪郭線分を検出するため、 予め設定さ れた 2値化パターンとパターンマッチングするものについて示したが、 この限りでない。 即ち、 フィル夕係数として方向性を有する 1次微分フ ィル夕出力値や 2次微分フィル夕出力値などを用いて、 輪郭線分の方 検出を行うようにしてもよい。
さらに、 上記実施の形態 4では、 上記実施の形態 1におけるノイズ低 減処理結果、 または、 エッジに隣接するノイズ低減処理結果を出力する ものについて示したが、 上記実施の形態 1におけるノィズ低減処理結果 と、 エッジに隣接するノィズ低減処理結果との加重平均等を実施して、 両処理結果を考慮した結果を出力するようにしてもよい。
また、 上記実施の形態 4では、 単板式の撮像素子の撮影結果に対する 上記実施の形態 1のノィズ低減処理と併用するものについて示したが、 .この限りではない。 即ち、 ェッジに隣接するノィズ低減処理のみを単独 で用いることも可能である。
また、 上記実施の形態 3における色補間処理内、 あるいは、 他の画像 処理内に、 この実施の形態 4におけるェヅジに.隣接するノィズ低減処理 を配置するようにしてもよい。 この際、 上記実施の形態 1のノイズ低減 処理と併用する形で配置してもよいし、 単独で配置してもよい。
また、 上記実施の形態 4では、 単板式の撮像素子の撮影結果を用いる ものについて示したが、 この限！ 5ではない。 即ち、 特徴値として輝度信 号を用いることも可能である。 この場合、 輝度信号が単板式の撮像素子 によ.る撮影結果を色補間処理して、 輝度色差変換したものである場合、 色補間処理によるノィズ拡散は抑止できないが、 拡散したノィズのピー クを抑圧することで、 一定のノイズ低減効果が得られる。 また、 3板式 の撮像素子の撮影結果を輝度色差変換した信号を用いることも可能であ る。 また、 ノイズが発生する画像読み取り装置や画像伝送手段を備えた ファクシミ リ装置、 複写機、 テレビジョ ン受像機など、 画像機器全般に 適用するこ .とができる。
さらに、 色差信号に対して、 上記実施の形態 4のノイズ低減処理を施 すことによ り、 色エツジに発生するノィズを有効に低減できることも言 うまでもない。
また、 上記実施の形態 1〜 4では、 単板式の撮像素子の一例として、 色フィルタが原色系で、 その配列が第 3図のものを例に説明したが、 こ の限りではなく、 原色系で他の配列、 あるいは、 補色系色フィル夕を用 いてもよい。 さらに、 撮像素子が正方配列以外の例えばハニカム形状の ものを用いた場合においても、 同様の効果を得ることができる。 産業上の利用可能性
以上のように、 この発明に係る画像処理方法は、 C C Dなどの 2次元 の撮像素子を搭載している民生用のディ ジ夕ルスチルカメラゃデイ ジ夕 ルビデオカメラ等が撮像素子を用いて画像を撮像した際に、 その画像信 号に含まれるノイズを除去するのに適している。

Claims

請 求 の 範 囲 '
1 . 2次元的に配列されている各画素に、 特定色の色フィル夕が配置さ れている撮像素子の撮像結果から、 注目画素を中心とする所定領域内の 微小領域の特徴値を算出する特徴値算出ステツプと、 上記特徴値算出ス テップにより算出された微小領域の特徴値から注目画素近傍のエツジ強 度値を算出するエツジ強度値算出ステツプと、 その注目画素と同色成分 の周辺画素の画像信号値から、 その注目画素の口一パスフィル夕値を算 出するフィル夕値算出ステップと、 上記ェッジ強度値算出ステップによ り算出されたエツジ強度値と上記'フィル夕値算出ステップにより算出さ れたローパスフィル夕値を用いて、 その注目画素の画像信号値を補正す る画像信号値補正ステツプとを備えた画像処理方法。
2 . エツジ強度値算出ステップにより算出されたエツジ強度値をェッジ 強度補正曲線にしたがって補正するエツジ強度値補正ステツプを設け、 画像信号値補正ステツプが補正前後のエツジ強度値を用いて、 注目画素 の闺像信号値とローパスフィル夕値を重み付け加算することにより、 そ の注目画素の画像信号値を補正することを特徴とする請求の範囲第 1項 記載の画像処理方法。
3 . 特徴値算出ステップは、 所定領域内の微小領域に対応する R成分の 色フィル夕、 G成分の色フィル夕及び B成分の色フィル夕から出力され る画像信号値を用いて、 その微小領域の特徴値を算出することを特徴と する請求の範囲第 1項記載の画像処理方法。
4 . 周辺画素の画素信号値を用いて、 注目画素の画像を色補間する色補 間処理を実施する際に、 特徴値算出ステップ、 エッジ強度値算出ステツ プ、 フィル夕値算出ステップ及び画像信号値補正ステップが実行して、 その注目画素の画像信号値を補正することを特徴とする請求の範囲第 1 項記載の画像処理方法。
5 . 2次元的に配列されている各画素に、 特定色の色フ ィ ル夕が配置さ れている撮像素子の撮像結果から、 注目画素を中心とする所定領域内の 微小領域の特徴値を算出する特徴値算出ステツプと、 上記特徴値算出ス テップにより算出された微小領域の特徴値を 2値化する 2値化ステツプ と、 上記 2値化ステップにより 2値化された特徴値を用いて輪郭線分を 検出する輪郭線分検出ステップと、 上記輪郭線分検出ステップにより検 出された輪郭線分と同一方向にある注目画素を含む複数の画素の画像信 号値を用いて、 その注目画素の画像信号値を補正する画像信号値補正ス テップとを備えた画像処理方法。
6 . 画像信号値補正ステッ プは、 輪郭線分と同一方向にある複数の画素 の画像信号値を重み付け加算することにより、 注目画素の画像信号値を 補正することを特徴とする請求の範囲第 5項記載の画像処理方法。
7 . 輪郭線分検出ステップは、 2値化ステップにより 2値化された所定 領域内の特徴値の分布と、 予め設定された 2値化分布とのパターンマッ チングを実施して輪郭線分を検出することを特徴とする請求の範囲第 5 項記載の画像処理方法。
8 . 2次元的に配列されている各画素に、 特定色の色フ ィル夕が配置さ れている撮像素子の撮像結果から、' 注目画素を中心とする所定領域内の 微小領域の特徴値を算出する特徴値算出ステツプと、 上記特徴値算出ス テップによ り算出された微小領域の特徴値を 2値化する 2値化ステヅプ と、 上記 2値化ステップにより 2値化された特徴値を用いて輪郭線分を 検出する輪郭線分検出ステツプと、 上記輪郭線分検出ステツプにより輪 郭線分が検出された場合、 その輪郭線分と同一方向にある注目画素を含 む複数の画素の画像信号値を用いて、 その注目画素の画像信号値を補正 する第 1の画像信号値補正ステツプと、 上記輪郭線分検出ステツプによ り輪郭線分が検出されない場合、 上記特徴値算出ステップにより算出さ れた微小領域の特徴値から注目画素近傍のェッジ強度値を算出するエツ ジ強度値算出ステップと、 その注目画素と同色成分の周辺画素の画像信 号値から、 その注目画素のローパスフィル夕値を算出するフィル夕値算 出ステップと、 上記エッジ強度値算出ステップにより算出されたエッジ 強度値と上記フィル夕値算出ステップにより算出されたローパスフィル 夕値を用いて、 その注目画素の画像信号値を補正する第 2の画像信号値 補正ステツプとを備えた画像処理方法。
PCT/JP2004/001889 2004-02-19 2004-02-19 画像処理方法 WO2005081542A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US10/553,424 US7970231B2 (en) 2004-02-19 2004-02-19 Image processing method
PCT/JP2004/001889 WO2005081542A1 (ja) 2004-02-19 2004-02-19 画像処理方法
JP2006519060A JP4668185B2 (ja) 2004-02-19 2004-02-19 画像処理方法
EP04712669.3A EP1729523B1 (en) 2004-02-19 2004-02-19 Image processing method
CN200480027185XA CN1857008B (zh) 2004-02-19 2004-02-19 图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/001889 WO2005081542A1 (ja) 2004-02-19 2004-02-19 画像処理方法

Publications (1)

Publication Number Publication Date
WO2005081542A1 true WO2005081542A1 (ja) 2005-09-01

Family

ID=34878940

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/001889 WO2005081542A1 (ja) 2004-02-19 2004-02-19 画像処理方法

Country Status (5)

Country Link
US (1) US7970231B2 (ja)
EP (1) EP1729523B1 (ja)
JP (1) JP4668185B2 (ja)
CN (1) CN1857008B (ja)
WO (1) WO2005081542A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005462A (ja) * 2006-05-22 2008-01-10 Fujitsu Ltd 画像処理装置
WO2008133145A1 (ja) * 2007-04-18 2008-11-06 Rosnes Corporation 固体撮像装置
WO2009008430A1 (ja) * 2007-07-10 2009-01-15 Olympus Corporation 画像処理装置、画像処理プログラム及び撮像装置
US8477210B2 (en) 2008-11-21 2013-07-02 Mitsubishi Electric Corporation Image processing device and image processing method
US8971660B2 (en) 2009-03-16 2015-03-03 Ricoh Company, Ltd. Noise reduction device, noise reduction method, noise reduction program, and recording medium

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006042267A (ja) * 2004-07-30 2006-02-09 Canon Inc 画像処理方法、画像処理装置、およびプログラム
JP4677753B2 (ja) * 2004-10-01 2011-04-27 株式会社ニコン 動画像処理装置及び方法
TWI336595B (en) * 2005-05-19 2011-01-21 Mstar Semiconductor Inc Noise reduction method
JP4979595B2 (ja) * 2005-12-28 2012-07-18 オリンパス株式会社 撮像システム、画像処理方法、画像処理プログラム
JP4284628B2 (ja) * 2006-12-15 2009-06-24 ソニー株式会社 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US8194984B2 (en) * 2007-03-05 2012-06-05 Fujitsu Limited Image processing system that removes noise contained in image data
CN104702926B (zh) * 2007-04-11 2017-05-17 Red.Com 公司 摄像机
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
JP4925198B2 (ja) * 2007-05-01 2012-04-25 富士フイルム株式会社 信号処理装置および方法、ノイズ低減装置および方法並びにプログラム
US20090092338A1 (en) * 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
JP4525787B2 (ja) * 2008-04-09 2010-08-18 富士ゼロックス株式会社 画像抽出装置、及び画像抽出プログラム
JP2012191465A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2012153736A1 (ja) * 2011-05-12 2012-11-15 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2013165476A (ja) * 2011-11-11 2013-08-22 Mitsubishi Electric Corp 画像処理装置、画像処理方法、画像表示装置、プログラム及び記録媒体
JP5880121B2 (ja) * 2012-02-21 2016-03-08 株式会社リコー 画像処理装置
WO2014127153A1 (en) 2013-02-14 2014-08-21 Red. Com, Inc. Video camera
US9514515B2 (en) * 2013-03-08 2016-12-06 Sharp Kabushiki Kaisha Image processing device, image processing method, image processing program, and image display device
TWI634543B (zh) * 2017-06-26 2018-09-01 友達光電股份有限公司 驅動裝置與驅動方法
KR102620350B1 (ko) 2017-07-05 2024-01-02 레드.컴, 엘엘씨 전자 디바이스에서의 비디오 이미지 데이터 처리
JP7142772B2 (ja) * 2019-05-16 2022-09-27 三菱電機株式会社 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JPH11215515A (ja) * 1998-01-27 1999-08-06 Eastman Kodak Japan Ltd 画像センサのライン毎ノイズ除去装置及び方法
JP2000341702A (ja) * 1999-05-26 2000-12-08 Fuji Photo Film Co Ltd 信号生成方法および装置並びに記録媒体

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2787781B2 (ja) 1990-03-28 1998-08-20 富士写真フイルム株式会社 デジタル電子スチルカメラ
US5200841A (en) * 1990-05-25 1993-04-06 Nikon Corporation Apparatus for binarizing images
JP3249605B2 (ja) * 1992-11-25 2002-01-21 イーストマン・コダックジャパン株式会社 書類辺縁検出装置
JPH07236060A (ja) 1994-02-22 1995-09-05 Nikon Corp 画像処理装置
US6148115A (en) * 1996-11-08 2000-11-14 Sony Corporation Image processing apparatus and image processing method
KR100230391B1 (ko) * 1996-11-29 1999-11-15 윤종용 휘도신호의 윤곽성분을 적응적으로 보정하는방법 및 회로
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
JP4118397B2 (ja) * 1998-07-01 2008-07-16 イーストマン コダック カンパニー 固体カラー撮像デバイスのノイズ除去方法
JP4281929B2 (ja) 1998-11-18 2009-06-17 カシオ計算機株式会社 エッジ強調装置及びエッジ強調方法
DE60040786D1 (de) * 1999-08-05 2008-12-24 Sanyo Electric Co Bildinterpolationsverfahren
US6377313B1 (en) * 1999-09-02 2002-04-23 Techwell, Inc. Sharpness enhancement circuit for video signals
JP4253095B2 (ja) 1999-12-15 2009-04-08 富士フイルム株式会社 画像データ・フィルタリング装置および方法
JP4599672B2 (ja) * 1999-12-21 2010-12-15 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
US6961476B2 (en) * 2001-07-27 2005-11-01 3M Innovative Properties Company Autothresholding of noisy images
EP1289309B1 (en) 2001-08-31 2010-04-21 STMicroelectronics Srl Noise filter for Bayer pattern image data
JP2003087809A (ja) 2001-09-11 2003-03-20 Acutelogic Corp 画像処理装置及び画像処理方法
KR100396898B1 (ko) * 2001-09-13 2003-09-02 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법
JP2003134523A (ja) 2001-10-25 2003-05-09 Mitsubishi Electric Corp 撮像装置及び撮像方法
US6904169B2 (en) 2001-11-13 2005-06-07 Nokia Corporation Method and system for improving color images
US7023487B1 (en) * 2002-01-25 2006-04-04 Silicon Image, Inc. Deinterlacing of video sources via image feature edge detection
JP3915563B2 (ja) * 2002-03-19 2007-05-16 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
JP2003304549A (ja) * 2002-04-11 2003-10-24 Olympus Optical Co Ltd カメラ及び画像信号処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JPH11215515A (ja) * 1998-01-27 1999-08-06 Eastman Kodak Japan Ltd 画像センサのライン毎ノイズ除去装置及び方法
JP2000341702A (ja) * 1999-05-26 2000-12-08 Fuji Photo Film Co Ltd 信号生成方法および装置並びに記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1729523A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005462A (ja) * 2006-05-22 2008-01-10 Fujitsu Ltd 画像処理装置
WO2008133145A1 (ja) * 2007-04-18 2008-11-06 Rosnes Corporation 固体撮像装置
JP4446259B2 (ja) * 2007-04-18 2010-04-07 株式会社 Ｒｏｓｎｅｓ 固体撮像装置
JPWO2008133145A1 (ja) * 2007-04-18 2010-07-22 株式会社 Ｒｏｓｎｅｓ 固体撮像装置
WO2009008430A1 (ja) * 2007-07-10 2009-01-15 Olympus Corporation 画像処理装置、画像処理プログラム及び撮像装置
US8724920B2 (en) 2007-07-10 2014-05-13 Olympus Corporation Image processing device, program recording medium, and image acquisition apparatus
US8477210B2 (en) 2008-11-21 2013-07-02 Mitsubishi Electric Corporation Image processing device and image processing method
US8971660B2 (en) 2009-03-16 2015-03-03 Ricoh Company, Ltd. Noise reduction device, noise reduction method, noise reduction program, and recording medium

Also Published As

Publication number Publication date
US20060232690A1 (en) 2006-10-19
CN1857008B (zh) 2010-05-05
EP1729523B1 (en) 2014-04-09
EP1729523A4 (en) 2009-10-21
JP4668185B2 (ja) 2011-04-13
US7970231B2 (en) 2011-06-28
EP1729523A1 (en) 2006-12-06
CN1857008A (zh) 2006-11-01
JPWO2005081542A1 (ja) 2007-08-30

Similar Documents

Publication Publication Date Title
WO2005081542A1 (ja) 画像処理方法
US7860334B2 (en) Adaptive image filter for filtering image information
KR100786931B1 (ko) 화상 신호 처리 장치 및 화상 신호 처리 방법
JP4054184B2 (ja) 欠陥画素補正装置
US7065246B2 (en) Image processing apparatus
KR20090087811A (ko) 촬상 장치, 화상 처리 장치, 화상 처리 방법, 화상 처리방법의 프로그램 및 화상 처리 방법의 프로그램을 기록한기록 매체
JP2002077645A (ja) 画像処理装置
TW200838285A (en) Image processing apparatus, image capturing apparatus, image processing method in these apparatuses, and program allowing computer to execute the method
US7982787B2 (en) Image apparatus and method and program for producing interpolation signal
EP2360929B1 (en) Image processing device
US7609300B2 (en) Method and system of eliminating color noises caused by an interpolation
KR100700017B1 (ko) 조정 가능한 임계값을 이용한 컬러 보간 장치
JP2003348382A (ja) 輪郭強調回路
JP5494249B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP4197821B2 (ja) 画像処理装置
US10348984B2 (en) Image pickup device and image pickup method which performs diagonal pixel offset and corrects a reduced modulation depth in a diagonal direction
US20240147080A1 (en) Image processing apparatus and method, and image capturing apparatus
JP2009017583A (ja) 画像処理装置
TWI280062B (en) Signal separation apparatus applied in image transmission system and related method
KR100784158B1 (ko) 에지 향상을 위한 컬러 보간 장치
JP4176023B2 (ja) 信号処理回路
JP2005286678A (ja) 画像信号処理回路
JP3035007B2 (ja) 画像読取装置
JPH08279902A (ja) 撮像装置
JP2001257885A (ja) 画像処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480027185.X

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2006519060

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2006232690

Country of ref document: US

Ref document number: 10553424

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004712669

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWP Wipo information: published in national office

Ref document number: 10553424

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2004712669

Country of ref document: EP