WO2006068025A1 - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
WO2006068025A1
WO2006068025A1 PCT/JP2005/023037 JP2005023037W WO2006068025A1 WO 2006068025 A1 WO2006068025 A1 WO 2006068025A1 JP 2005023037 W JP2005023037 W JP 2005023037W WO 2006068025 A1 WO2006068025 A1 WO 2006068025A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
pixel
processing method
filtering
argument
Prior art date
Application number
PCT/JP2005/023037
Other languages
English (en)
French (fr)
Inventor
Kenichi Ishiga
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to EP05816871A priority Critical patent/EP1840830B1/en
Priority to US11/792,301 priority patent/US7945111B2/en
Priority to JP2006548899A priority patent/JP5023702B2/ja
Publication of WO2006068025A1 publication Critical patent/WO2006068025A1/ja

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Definitions

  • the present invention relates to an image processing method for removing noise from image data.
  • Non-patent Document 1 An adaptive filter that considers both the spatial distance and the difference between pixel values as an argument for adaptive Gaussian blur has been proposed (Non-patent Document 1).
  • This filter is called a Bilateral Filter because it takes two arguments.
  • Patent Document 1 discloses a similar filter. In such a conventional Bilateral Filter, it is expressed as a product of a weighting coefficient using only the pixel value difference as an argument and a weighting coefficient using only the distance as an argument.
  • Patent Document 1 US Patent Application Publication No. 2004/1643
  • Non-Special Reference 1 C. Tomasi et ai., Bilateral Filtering for uray and Color Images, Proceedings of the 1998 IEEE international Conference onf Computer Vision, Bombay, India.
  • an image processing method for filtering image data composed of a plurality of pixels using pixel values of pixels within a predetermined range including the pixel of interest at each pixel position.
  • the two arguments for each pixel within the specified range the first argument defined by the spatial distance from the pixel of interest and the second argument defined by the difference in signal strength between the pixel of interest
  • the weighting factor for filtering applied to each pixel within the specified range is obtained based on one set of arguments expressed by the product of the first argument and the second argument. Filter using the filter coefficients.
  • the invention of claim 4 is the image processing method according to any one of claims 1 to 3, wherein the first argument and the second argument are united, It is preferable to construct an argument of an exponential function expression representing one Gaussian distribution.
  • the pixel value V (vector An image processing method for performing filtering using ⁇ ′) is as follows:
  • Filtering is preferably performed by performing a mathematical operation of According to the sixth aspect of the present invention, in the image processing method according to the fifth aspect, it is preferable that the predetermined filtering range is integrated in a range approximately twice rth.
  • the predetermined range is taken in a one-dimensional shape, and all the pixels of interest are one-dimensional.
  • the predetermined range is taken in a one-dimensional shape in the direction orthogonal to the direction, and the second in the direction orthogonal to the direction is taken for all the target pixels. Filtering is preferably performed.
  • the predetermined range is taken in a two-dimensional shape, and all pixels of interest are
  • the image processing method according to any one of the first to sixth aspects when the image data is a luminance component, it is preferable to perform filtering on the high-pass component of the luminance component.
  • the filtering is performed on the single bullet transform coefficient after the wavelet transform is performed on the image data. Is preferred.
  • an image processing method for filtering image data composed of a plurality of pixels using pixel values of pixels within a predetermined range including the pixel of interest at each pixel position.
  • the first element defined by the spatial distance from the pixel and the second element defined by the difference in signal intensity between the target pixel are determined, and the first element is determined for each pixel within the predetermined range.
  • the second element to obtain a weighting coefficient indicating the degree to which the pixel of interest is to be filtered, and when the weighting coefficient is obtained, when the first element is substantially close to 0,
  • the weighting factor is calculated so that it is subject to the filtering operation regardless of the value of the second element, and when the second element is substantially close to 0, the filtering operation is performed regardless of the value of the first element. Find the weighting factor to target.
  • a computer-readable computer product product has an image processing program that causes a computer or an image processing apparatus to execute the image processing method according to any one of the first to eleventh aspects.
  • the computer program product is preferably a computer-readable recording medium on which the image processing program is recorded.
  • the image processing apparatus has a control device that executes the image processing method according to any one of the first to eleventh aspects.
  • FIG. 1 is a diagram showing an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a flow of image processing according to the first embodiment.
  • FIG. 3 A diagram showing the relationship between pixel value difference, distance, and weighting coefficient in the conventional Bilateral Filter.
  • FIG. 4 is a diagram illustrating a relationship between a pixel value difference, a distance, and a weighting coefficient in the bilateral filter according to the first embodiment.
  • FIG. 5 is a diagram showing a flow of image processing according to the second embodiment.
  • FIG. 6 is a diagram showing a state of subband division by five-stage wavelet transform.
  • FIG. 1 is a diagram showing an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus is realized by the personal computer 1.
  • the personal computer 1 is connected to a digital camera 2, a recording medium 3 such as a CD-ROM, another computer 4 and the like, and receives various image data.
  • the personal computer 1 performs the image processing described below on the provided image data.
  • the computer 4 is connected via the Internet and other telecommunications lines 5.
  • a program executed by the personal computer 1 for image processing has the configuration shown in FIG. Similarly, other computer power is provided via a recording medium such as a CD-ROM, the Internet or other telecommunication lines, and installed in the personal computer 1.
  • the personal computer 1 is composed of a CPU (not shown) and its peripheral circuits (not shown), and executes a program in which the CPU is installed.
  • the program When the program is provided via the Internet or another telecommunication line, the program is transmitted after being converted into a signal on a carrier wave carrying a telecommunication line, that is, a transmission medium.
  • the program is supplied as a computer readable computer program product in various forms such as a recording medium and a carrier wave.
  • the conventional Bilateral Filter can be expressed by the following formula.
  • r is the target pixel vector (2D coordinates)
  • the weighting coefficient w of the filter w force As shown in the following equation, the weighting coefficient w_photo [V'_V] of the photometric term with only the pixel value difference (V'-V) as an argument and the distance (r'-r ) Is the product of the weighting coefficient w_geometric [r'-r] of the geo metric term with only the argument.
  • the argument can be called a variable, or a parameter.
  • the expression (1) is written as a general expression as follows.
  • the conventional Bilateral Filter only handles the calorie weight coefficient separately for the two arguments. For this reason, as described above, there is a problem in that protruding point-like noise and false color remain at the edge portion and the color boundary portion. In other words, there was a situation where noise removal could not be performed well because it was easily influenced by only one argument factor.
  • is considered to increase rapidly at the color boundary, but this causes w_photometric [V'-V] to decrease rapidly.
  • the w_geo metric [r'-r] is close to 1 and takes a value, it will be ignored, and the noise that is originally placed on the color boundary will be removed. There was a situation where it could not be removed even if it was hit.
  • the image processing method of the present embodiment solves such a problem, and considers both the distance and the pixel value difference, thereby providing an adaptive noise removal filter with high image structure preservation. Realize. In other words, noise removal is performed appropriately while preserving image structures such as edges and color boundaries. Such noise removal technology is generally called edge-preserving smoothing.
  • FIG. 2 is a diagram showing a flow of image processing according to the first embodiment processed by the personal computer 1.
  • step S1 linear RGB image data is input.
  • step S2 it is converted to a uniform noise color space Cb'Cf.
  • step S3 the 2-argument product Bilateral Filter is processed on the Y "plane.
  • step S4 the 2-argument product Bilateral Fil is processed on the Cr" plane. ter process.
  • step S3 the two-argument product Bilateral Filter processing is performed on the Cb "plane.
  • the color space is inversely transformed.
  • step S7 the processed image data is output. Details will be described.
  • the linear RGB image data input in step S1 is RGB color system data expressed in linear gradation.
  • RGB color system data is picked up by an image sensor such as a CCD with a color filter with a bay array, subjected to various interpolation processes, and R, G, and B component color information is obtained for each pixel.
  • Linear gradation data is gradation data linear with respect to light intensity, and is data having color information values proportional to the amount of received light. Data that is subject to gamma correction must be restored to linear gradation in advance.
  • image data is picked up by the digital camera 2 or other image pickup device.
  • step S2 the input linear RGB image data is converted into a uniform noise space in which noise is equalized with respect to gradation. This makes it easy to remove noise.
  • the offset signal is ⁇ .
  • the value of ⁇ varies depending on the sensor. When the force is about ISO100, the value of ⁇ is almost close to 0, and when the value is about ISO 6400, the value is about 0.05. In addition, when shot noise and temporal noise are included, a uniform noise space can be realized by capturing an offset signal according to the temporal noise amount before square root gradation conversion. -200890 (filed by the same inventor as the present inventor).
  • the luminance 'chrominance signals Y, Cb, and C also have the same noise characteristics with respect to the gradation because the noise of the original R', G ', and B' is equalized with respect to the gradation. have.
  • steps S3, S4, and S5 the luminance signal Y and the color difference signals Cb "and Cf expressed in the uniform noise space are subjected to a noise removal filter expressed by the following equation.
  • r (vector r) with an arrow and r '(vector r') with an arrow in the formula indicate a vector and a two-dimensional coordinate position. However, if the image data exists in three dimensions, it can be considered as a three-dimensional vector.
  • a non-separation weighted bilateral filter that cannot separate the weighting coefficient force hotometric term and geometri c term is used instead of the conventional weighted bilateral filter that separates the weighting factor into photometric and geometric terms.
  • the conventional Bilatera I Filter used a filter with a weighting coefficient represented by the product of two exponential functions with two arguments as exponents.
  • the two arguments A filter with a weighting factor represented by one exponential function with the value represented by the product as one exponent is used. If the integration range is about twice that of rth, it is possible to perform calculations that take into account the Gaussian tail while suppressing the calculation scale.
  • This filtering process is performed independently for each of the ⁇ plane, C plane, and C. However, you can omit the process for the luminance signal.
  • the noise component includes all frequency components from a short cycle to a long cycle.
  • rth 20
  • the filtering size needs to be about 80x80 pixels. Even when filtering is performed in this way, noise can be eliminated without destroying the image structure because both the pixel value difference and the spatial distance are taken into consideration.
  • the weighting coefficient is calculated after multiplying the product of the two pixel value difference and distance parameters. Therefore, even if there is a protruding point-like noise such as a false color at a steep part in the signal plane such as a color boundary part, the conventional separable weighted filter is controlled by the fall of the weighting coefficient of the photometirc term and noise removal is performed. In contrast, the non-separable weighting filter of this method effectively uses the spatial distance argument for the pixel value difference argument, and finally generates a finite weighting coefficient to effectively eliminate noise. Is possible.
  • the conventional separation-type weighted filter with respect to color-spot noise over a long period of time, compared with the case where the false color is likely to remain because the filtering strength decreases rapidly as the distance increases.
  • the filtering strength is maintained between pixels that are within the range of noise fluctuation even over long distances, so that clean noise can be removed.
  • the value of ⁇ th should be twice the standard deviation measured in the above-described uniform noise space by photographing a uniform surface.
  • the standard deviation takes a constant value regardless of the brightness. Therefore, it is possible to profile the noise characteristic of the input image data using this standard deviation as one representative value.
  • the standard deviation measured in the uniform noise space of the image data of the uniform surface can be used as a representative value of the noise characteristics of the input image.
  • the filter described above is processed using this representative value.
  • the uniform noise space is very convenient to use the above filter.
  • the filtering range of Equation (10) is two-dimensional.
  • the filtering range is very wide, it takes a processing time force S. Therefore, for the color difference component, there is no effect on the image quality even if the speed is increased by dividing it into two-stage processing by multiplying the one-dimensional processing in the X and y directions approximately twice. Is confirmed experimentally, and there is no substantial problem. That is, first, the filtering range is one-dimensionally in the X direction, and the final lettering is performed for all pixels of interest.
  • the filtering range is set in a one-dimensional shape in the y direction orthogonal to the X direction, and y-direction filtering is performed for all target pixels. This is expressed by the following formula.
  • step S6 Y C is returned to R ′, G ′, B ′, and further returned to R, G, B of the original linear gradation.
  • the inverse transformation may be performed by processing to reverse the equation described above.
  • step S7 the image data from which noise has been removed is output.
  • image data in the RGB color space with linear gradation is once converted into image data in a uniform noise space, and noise removal filtering is performed. After that, the noise-removed image data is inversely transformed to obtain the original linear gradation RGB color space image data. Return to the output.
  • FIG. 3 is a diagram showing the relationship between the pixel value difference
  • FIG. 4 is a diagram showing the relationship between the pixel value difference
  • the weighting coefficient w Indicates 1 or a value close to 1 and is subject to filtering operations. If the distance
  • Non-patent document 1 mentioned above has a similar indication regarding the multiple use of the Bilateral Filter in real space.
  • the non-separation weighted bilateral filter of the first embodiment is applied.
  • Color difference plane Cb ⁇ , Cr This is filtered as in the first embodiment.
  • FIG. 5 is a diagram showing a flow of image processing according to the second embodiment processed by the personal computer 1.
  • step S11 linear RGB image data is input.
  • step S12 the uniform noise color space Cr is converted. Steps S11 and S12 are the same as steps S1 and S2 of the first embodiment.
  • wavelet transform is performed on the luminance signal.
  • Wavelet transform converts image data into frequency components and divides image frequency components into high-pass and low-pass components.
  • a 5/3 filter transform is performed using a 5/3 filter.
  • the 5/3 filter generates a low-pass component with a filter with a tap number of 5 (one-dimensional five pixels) and a high-pass component with a filter with a tap number of three (one-dimensional three pixels).
  • Formulas for generating the high-pass component and the low-pass component are expressed by the following equations.
  • n indicates the pixel position
  • x [] indicates the pixel value of the target image to be wavelet transformed. For example, if there are 100 pixels in the horizontal direction, n is 0-49.
  • the high-pass component or low-pass component is extracted using the following formula, the data for the high-pass component and low-pass component for 50 pixels, which is half the current 100 pixels, are extracted. This is processed in the horizontal and vertical directions.
  • First-stage wavelet transform LLO (real space) ⁇ LL1, LH1, HL1, HH1
  • FIG. 6 is a diagram showing a state of subband division by five-stage wavelet transform.
  • first-stage wavelet transform high-pass component data and low-pass component data are first extracted from all rows in the horizontal direction for real space image data.
  • the data of the high-pass component and the low-pass component with half the number of pixels in the horizontal direction are extracted.
  • a high-pass component is stored on the right side of the memory area where the real space image data was stored and a low-pass component is stored on the left side.
  • the high-pass component and the low-pass component are respectively calculated in the same manner for all columns in the vertical direction. Extract component data.
  • data of the high-pass component and the low-pass component are further extracted from the high-pass component on the right side of the memory area and the low-pass component on the left side, respectively.
  • the high-pass component and the low-pass component are stored below and in the memory area where each data was stored.
  • the data extracted as the high-pass component in the vertical direction from the data extracted as the high-pass component in the horizontal direction is represented as HH
  • the low-pass component in the vertical direction from the data extracted as the high-pass component in the horizontal direction is represented as HL
  • the data extracted as the high-pass component in the vertical direction from the data extracted as the low-pass component in the horizontal direction is represented as LH
  • the data extracted as the low-pass component is expressed as LL.
  • step S15 the low-pass subband of the LL5 component is saved.
  • step S14 all the high-pass components except the LL5 component ⁇ (LH1, HL1, HH1), (LH2, HL2, HH2), (LH3, HL3, HH3), (LH4, H L4, HH4) LH5, HL5, HH5) ⁇ is multiplied by the non-separation weighted bilateral filter defined in the first embodiment.
  • step S16 the non-separation weighted bilateral filter defined in the first embodiment is applied to C and color difference components.
  • step S17 the inverse wavelet transform is applied to the data filtered in steps S14 and S15 as follows.
  • step S18 as in the first embodiment, Y "C Cr" is returned to R ', G', B ', and further returned to the original linear gradation R, G, B.
  • step S19 the image data from which noise has been removed is output.
  • image data in the RGB color space with linear gradation is once converted into image data in a uniform noise space, and the luminance signal is subjected to noise with respect to the high-pass component after wavelet transform is applied. Removal filtering is performed. Thereafter, the inverse wavelet transform is applied to the luminance signal, and the image data from which the noise has been removed is subjected to inverse color space conversion, and then returned to the original linear gradation RGB color space image data for output.
  • the high-pass as shown by the luminance component as in the present embodiment can be removed by taking the component.
  • the new ⁇ Bilateral Filter itself defined by the argument product which is the essence of the present invention, exhibits noise removal performance even in such steep slopes, aiming for the same effect with simpler processing. be able to.
  • the color space Y Cr ′ used in the first embodiment and the second embodiment is a uniform noise space, but there is a slight deficiency in consideration of uniform color characteristics. Therefore, here is an example of realizing a uniform noise 'pseudo uniform color space. As a result, color reproducibility can be improved compared to the uniform noise space of the first and second embodiments, and a color space with high noise removal performance similar to the conventional uniform noise space can be provided.
  • the linear gradation RGB color system is converted into an XYZ color system that is commonly used when defining a uniform color space.
  • This conversion formula varies depending on the spectral sensitivity distribution characteristics of the color filter used in the input image sensor.
  • an example of the conversion formula from the CIE RGB color system to the CIE XYZ color system with the original stimulus R (700.0 nm), G (546.1 nm), and B (435.8 nm) in a single spectrum is shown below. It is as the following conversion formula.
  • ⁇ , ⁇ , and ⁇ are values determined by the illumination light.
  • the nonlinear tone conversion function ⁇ () is defined by the following equation (27).
  • the value of ⁇ may be a value similar to that in the first embodiment.
  • the same filter as in the first embodiment is used in the uniform noise pseudo-uniform color space, it is possible to remove noise appropriately while improving color reproducibility.
  • the power shown in the example in which processing is performed by the personal computer 1 is not necessarily limited to this content.
  • the processing may be performed in an imaging device such as a camera. Another device may be used. That is, the present invention can be applied to any apparatus that handles image data.

Abstract

　複数の画素からなる画像データに対して、各画素位置で着目画素を含む所定範囲内の画素の画素値を用いてフィルタリングを行う画像処理方法は、所定範囲内の各々の画素に対し、着目画素からの空間的な距離で定義される第１の引数と着目画素との信号強度の差で定義される第２の引数の２つの引数を定め、所定範囲内の各々の画素に対して掛かるフィルタリングの加重係数を、第１の引数と第２の引数の積で表される１つのまとまった引数に基づいて求め、求めた加重係数によるフィルタ係数を使用して、フィルタリングを行う。

Description

明 細 書
画像処理方法
技術分野
[0001] 本発明は、画像データのノイズ除去を行う画像処理方法に関する。
背景技術
[0002] 適応的ガウスぼかしの引数として空間的な距離及び画素値間差分の両方を考慮し た適応的フィルタが提案されている（非特許文献 1)。このフィルタは、 2つの引数をと ることから Bilateral Filterと呼ばれている。また、特許文献 1にも、同様なフィルタが開 示されている。このような従来の Bilateral Filterでは、画素値差分のみを引数とした加 重係数と距離のみを引数とした加重係数の積で表される。
[0003] 特許文献 1 :米国特許出願公開第 2004/1643号明細書
非特午文献 1： C. Tomasi et ai. , Bilateral Filtering for uray and Color Images, Pro ceedings of the 1998 IEEE international Conference onf Computer Vision, Bombay, India.
発明の開示
発明が解決しょうとする課題
[0004] し力し、従来の Bilateral Filterでは、 2つの引数に対してそれぞれ加重係数を分離し た形でしか扱っていないために、エッジ部や色境界部で突出点状のノイズ、偽色が 残るという問題があった。
課題を解決するための手段
[0005] 本発明の第 1の態様によると、複数の画素からなる画像データに対して、各画素位 置で着目画素を含む所定範囲内の画素の画素値を用いてフィルタリングを行う画像 処理方法は、所定範囲内の各々の画素に対し、着目画素からの空間的な距離で定 義される第 1の引数と着目画素との信号強度の差で定義される第 2の引数の 2つの 引数を定め、所定範囲内の各々の画素に対して掛かるフィルタリングの加重係数を、 第 1の引数と第 2の引数の積で表される 1つのまとまった引数に基づいて求め、求め た加重係数によるフィルタ係数を使用して、フィルタリングを行う。 本発明の第 2の態様によると、複数の画素からなる画像データに対して、各画素位 置で着目画素を含む所定範囲内の画素の画素値を用いてフィルタリングを行う画像 処理方法は、所定範囲内の各々の画素に対し、着目画素からの空間的な距離で定 義される第 1の引数と、着目画素との信号強度の差で定義される第 2の引数の 2つの § I数を定め、所定範囲内の各々の画素に対して掛かるフィルタリングの加重係数を、 第 1の引数と第 2の引数とに基づいて求め、第 1の引数の異なる値を Al A2とし、第 2の引数の異なる値を Bl B2とし、求める加重係数を w (An Bn)とするとき、 w (Al Bl) /w (Al B2)≠w (A2 Bl) /w (A2, B2)が成立するように加重係数を求 め、求めた加重係数によるフィルタ係数を使用して、フィルタリングを行う。
本発明の第 3の態様によると、第 2の態様の画像処理方法において、 0≤AKA2 0≤81 < 82を満たすとき （八1 Bl) /w (Al B2)く w (A2 Bl) /w (A2, B 2)が成立するように加重係数を求めることを特徴とするものである。
本発明の第 4の態様によると、請求項 4の発明は、請求項 1から 3のいずれかの態 様の画像処理方法において、第 1の引数と第 2の引数は、一体になつて、 1つのガウ ス分布を表す指数関数の式の引数を構成するのが好ましい。
本発明の第 5の態様によると、複数の画素からなる画像データ V (ベクトル r)に対して 、各画素位置で着目画素ベクトル rを含む所定範囲内の画素ベクトル r'の画素値 V( ベクトル Γ')を用いてフィルタリングを行う画像処理方法は、
[数 1]
【数
Figure imgf000004_0001
だし、ベクトル /" = ?、べク卜ル？"' = ただし、 σ thと rthは定数、ベクトル rは画素の座標位置、
の数学的演算を行うことによってフィルタリングを行うのが好ましい。 本発明の第 6の態様によると、第 5の態様の画像処理方法において、フィルタリング の所定範囲は、 rthのおよそ 2倍の範囲で積分するのが好ましい。
本発明の第 7の態様によると、第 1から 6のいずれかの態様の画像処理方法におい て、画像データが色差成分のとき、所定範囲を 1次元状にとり、すべての着目画素に ついて一次元の方向の第 1のフィルタリングを行レ、、第 1のフィルタリングを行った後 に、所定範囲を方向と直交する方向に 1次元状にとり、すべての着目画素について 方向と直交する方向の第 2のフィルタリングを行うのが好ましい。
本発明の第 8の態様によると、第 1から 6のいずれかの態様の画像処理方法におい て、画像データが輝度成分のとき、所定範囲を 2次元状にとり、すべての着目画素に 本発明の第 9の態様によると、第 1から 6のいずれかの態様の画像処理方法におい て、画像データが輝度成分のとき、フィルタリングを輝度成分のハイパス成分に対し て行うのが好ましい。
本発明の第 10の態様によると、第 1から 9のいずれかの態様の画像処理方法にお いて、フィルタリングを、画像データについてウェーブレット変換を行なった後のゥ工 一ブレット変換係数に対して行うのが好ましい。
本発明の第 11の態様によると、複数の画素からなる画像データに対して、各画素 位置で着目画素を含む所定範囲内の画素の画素値を用いてフィルタリングを行う画 像処理方法は、着目画素からの空間的な距離で定義される第 1の要素と着目画素と の信号強度の差で定義される第 2の要素を定め、所定範囲内の各々の画素に対して 、第 1の要素と第 2の要素とに基づいて着目画素のフィルタリングの演算の対象とす る程度を示す加重係数を求め、加重係数を求めるとき、第 1の要素が実質的に 0に近 い値のとき、第 2の要素の値にかかわらずフィルタリングの演算の対象とするよう加重 係数を求め、第 2の要素が実質的に 0に近い値のとき、第 1の要素の値にかかわらず フィルタリングの演算の対象とするよう加重係数を求める。
本発明の第 12の態様によると、コンピュータ読み込み可能なコンピュータプロダラ ム製品は、第 1から 11のいずれかの態様の画像処理方法をコンピュータまたは画像 処理装置に実行させる画像処理プログラムを有する。 本発明の第 13の態様によると、第 12のコンピュータプログラム製品において、前記 コンピュータプログラム製品は前記画像処理プログラムを記録したコンピュータ読みと り可能な記録媒体であるのが好ましレ、。
本発明の第 14の態様によると、画像処理装置は、第 1から 11のいずれかの態様の 画像処理方法を実行する制御装置を有する。
発明の効果
[0006] 本発明は、以上説明したように構成しているので、次のような効果を奏する。例えば 、 2つの引数が独立に加重係数を生成せずに、相互に引数同士で影響を及ぼしあつ て加重係数を生成するため、的確なフィルタリング要否判断が可能となり、また、突出 点状のノイズが残らない高精細なノイズ除去を行うことができる。
図面の簡単な説明
[0007] [図 1]本発明の一実施の形態である画像処理装置を示す図である。
[図 2]第 1の実施の形態の画像処理の流れを示す図である。
[図 3]従来の Bilateral Filterにおける、画素値差分と、距離と、加重係数の関係を示 す図である。
[図 4]第 1の実施の形態の Bilateral Filterにおける、画素値差分と、距離と、加重係数 の関係を示す図である。
[図 5]第 2の実施の形態の画像処理の流れを示す図である。
[図 6]5段のウェーブレット変換によるサブバンド分割の様子を示す図である。
発明を実施するための最良の形態
[0008] (第 1の実施の形態）
図 1は、本発明の一実施の形態である画像処理装置を示す図である。画像処理装 置は、パーソナルコンピュータ 1で実現される。パーソナルコンピュータ 1は、デジタル カメラ 2、 CD— ROMなどの記録媒体 3、他のコンピュータ 4などと接続され、各種の 画像データの提供を受ける。パーソナルコンピュータ 1は、提供された画像データに 対して、以下に説明する画像処理を行う。コンピュータ 4は、インターネットやその他 の電気通信回線 5を経由して接続される。
[0009] パーソナルコンピュータ 1が画像処理のために実行するプログラムは、図 1の構成と 同様に、 CD— ROMなどの記録媒体や、インターネットやその他の電気通信回線を 経由した他のコンピュータ力 提供され、パーソナルコンピュータ 1内にインストールさ れる。パーソナルコンピュータ 1は、 CPU (不図示）およびその周辺回路（不図示）か ら構成され、 CPUがインストールされたプログラムを実行する。
[0010] プログラムがインターネットやその他の電気通信回線を経由して提供される場合は 、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に 変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形 態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。
[0011] まず、本実施の形態の画像処理について説明する前に、従来技術の問題点をさら に詳細に説明する。従来の Bilateral Filterは以下のような式で表すことができる。
[数 2]
【数 2】
(1 )
Figure imgf000007_0001
Figure imgf000007_0002
r は対象画素のベクトル（2次元座標）
は対象画素周辺の画素のベクトル (2次元座檩) を示す
[0012] すなわち、フィルタの加重係数 w力 次式に示すように、画素値差分 (V'-V)のみを 引数とした photometric項の加重係数 w_photo[V'_V]と距離 (r'-r)のみを引数とした geo metric項の加重係数 w_geometric[r'-r]の積で表される。なお、引数は、変数あるいは ノ、°ラメータと言ってもよレヽ。
w[V'-V][r _r ]=w_photometnc[V -V]*w_geometnc[r _r」 ..ズ2)
[0013] 式 (1)を一般式で書くと、次のようになる。
[数 3] 【数 3】 (F J" ( 'H t
Figure imgf000008_0001
. , , ）
( ( ')' ( (？ )^ '
Figure imgf000008_0002
[0014] 上記式で示したように、従来の Bilateral Filterでは、 2つの引数に対してそれぞれカロ 重係数を分離した形でしか扱っていなレ、。そのために、前述したように、エッジ部や 色境界部で突出点状のノイズ、偽色が残るという問題が生じていた。すなわち、一方 の引数の要因のみに左右されやすいためにうまくノイズ除去ができない状況が発生 していた。
[0015] 例えば、色境界部では画素値差分 |v'-v|が急激に大きくなると考えられるが、これ によって w_photometric[V'-V]は急激に小さい値となってしまう。このため、レ、くら w_geo metric[r'-r]が 1に近レ、値を取ってレ、ても無視されてしまレ、、本来色境界部上に載って レ、るノイズを除去したくても除去できなくなる状況が発生していた。
[0016] 本実施の形態の画像処理方法は、このような問題を解決しつつ、距離と画素値差 分の両方の要素を考慮することにより画像構造保存性の高い適応的ノイズ除去フィ ルタを実現する。すなわち、エッジや色境界などの画像構造を保存しつつノイズ除去 を適切に行う。このようなノイズ除去技術を、一般に Edge-preserving smoothingと呼ば れている。
[0017] 図 2は、パーソナルコンピュータ 1が処理する第 1の実施の形態の画像処理の流れ を示す図である。ステップ S 1では、線形 RGB画像データを入力する。ステップ S2で は、均等ノイズ色空間 Cb'Cfに変換する。ステップ S3では、 Y"面において、 2引数 積 Bilateral Filter処理をする。ステップ S4では、 Cr"面において、 2引数積 Bilateral Fil ter処理をする。ステップ S3では、 Cb"面において、 2引数積 Bilateral Filter処理をす る。ステップ S6では、色空間を逆変換する。ステップ S7では、処理が終了した画像 データを出力する。以下、各ステップの処理の詳細について説明する。
[0018] 1)画像データ入力
ステップ S1で入力される線形 RGB画像データは、線形階調で表された RGB表色系 データである。 RGB表色系データは、例えばべィァ配列の色フィルタを備えた CCDな どの撮像素子で撮像され、各種の補間処理がなされ、画素ごとに R成分, G成分， B成 分の色情報を有するデータである。線形階調のデータとは、光強度に線形な階調の データであり、受光量に比例した色情報の値を持つデータである。ガンマ補正が掛 力、つているようなデータは事前に線形階調へ戻しておくものとする。このような画像デ ータは、デジタルカメラ 2やその他の撮像装置で撮像される。
[0019] 2)色空間変換
ステップ S2では、入力された線形 RGB画像データを、ノイズが階調に対して均等化 される均等ノイズ空間に変換する。これにより、ノイズ除去の行いやすい状態にする。 ショットノイズとセンサー '回路系の喑時ノイズを含むノイズを均等化するには、次式に より、 R,G，B線形階調にオフセット信号をカ卩えて平方根階調特性に変換すればよい。 オフセット信号は εとする。
[0020] [数 4]
【数 4】
Figure imgf000009_0001
[0021] εの値は、センサーによっても異なる力 ISO100程度のときはほぼ 0に近い値を、 IS O6400程度のときは 0.05程度の値をとる。なお、ショットノイズと喑時ノイズを含む場合 におレ、て、平方根階調変換する前に喑時ノイズ量に応じたオフセット信号をカ卩えるこ とにより均等ノイズ空間が実現できることが特願 2004-200890号 (本願発明者と同一 発明者による出願）において示されている。
[0022] 更に、この R'，G'，B'から、次式により、輝度'色差信号 を生成する。
Y'=(R'+2G，+B')/4 …ひ）
Cr"=R'-G' ...(8)
Cb'=Bし G' ...(9)
[0023] 輝度'色差信号 Y ,Cb，C も、元の R',G'，B'のノイズが階調に対して均等化されてい るので、同様に階調に対して均等なノイズ特性を持つ。
[0024] 3)ノイズ除去処理
ステップ S3、 S4、 S5において、均等ノイズ空間で表された輝度信号 Yおよび色差 信号 Cb"，Cfに対して、次式で示されるノイズ除去フィルタを掛ける。
[数 5]
【数 5】
Figure imgf000010_0001
なお、数式内の矢印つき r (ベクトル r)および矢印つき r' (ベクトル r')は、ベクトルを 示し、 2次元座標位置を示す。ただし、画像データが 3次元的に存在する場合は 3次 元のベクトノレとしても考えることができる。
[0025] ノイズ除去フィルタとして、従来のような加重係数が photometric項と geometric項に 分離できる分離加重型 Bilateral Filterではなく、加重係数力 hotometric項と geometri c項に分離できない非分離加重型 Bilateral Filterを用いる。すなわち、従来の Bilatera I Filterでは、 2つの引数をそれぞれ指数とする 2つの指数関数の積で表される加重 係数のフィルタを使用していた。し力、し、本実施の形態のフィルタでは、 2つの引数の 積で表される値を 1つの指数とする 1つの指数関数であらされる加重係数のフィルタ を使用している。積分範囲は rthの 2倍程度にとると、演算規模を抑えながら十分ガウ シアンの裾部分も考慮した演算を行うことができる。
[0026] このフィルタリング処理を ^面、 C 面、 C 毎に単独で行う。なお、輝度信号の^面 に対しては、処理は省いてもよレ、。ノイズ成分は短周期から長周期まであらゆる周波 数成分を含む。長周期の色斑ノイズにまで対応するには、 rth=20程度、すなわちフィ ルタリングサイズとしては 80x80画素程度にとる必要がある。このように広範囲にフィル タリングしても、画素値差分と空間的距離の両因子を考慮しているので、画像構造の 破壊なくノイズ除去が可能である。
[0027] 更に、このように画素値差分と距離の 2つの引数同士で積をとつてから加重係数を 算出している。従って、色境界部等の信号面内の急勾配部で偽色等の突出点状ノィ ズがあっても、従来の分離型加重フィルタなら photometirc項の加重係数の落ち込み に支配されてノイズ除去が行われなくなっていたのに対し、本方式の非分離型加重 フィルタなら空間距離の引数が画素値差分の引数に有効に作用して、最終的に有 限の加重係数を生み出して実効あるノイズ除去が可能となる。
[0028] また、長周期に渡る色斑ノイズに対しても従来の分離型加重フィルタは距離が離れ るとフィルタリング強度が急速にが弱まって偽色が残りやすかつたのに比べ、本方式 の非分離型加重フィルタなら長距離間でもノイズゆらぎ程度に収まる画素間ではフィ ルタリング強度が維持されるので、きれいなノイズ除去が可能となる。
[0029] ここに σ thの値は、一様面を撮影して、前述の均等ノイズ空間で計測した標準偏差 の 2倍にとるとよい。均等ノイズ空間では、明るさに依らず標準偏差が一定値をとる 。従って、この標準偏差を使用して入力された画像データのノイズ特性を 1つの代表 値としてプロファイル化することができる。すなわち、一様面の画像データの均等ノィ ズ空間で計測した標準偏差を、入力される画像が有するノイズ特性の代表値として 評価するために使用することができる。上述のフィルタは、この代表値を使用して処 理が行われる。均等ノイズ空間は、上述のフィルタを使用するのに非常に都合が良 レ、。センサーによっても値が異なる力 256階調に対して ISO 100程度では a th=l程度 、 ISO6400程度では σ th=10〜15程度の値をとる。 [0030] このノイズ除去フィルタは、輝度成分に対して利用する場合は、輝度成分が非常に 繊細に扱う必要がある色信号であることを考えれば 2次元フィルタのまま使うのがよい 。すなわち、式 (10)のフィルタリング範囲を 2次元とする。し力し、フィルタリング範囲が 非常に広いので処理時間力 Sかかってしまう。そこで、色差成分に対しては近似的に X 方向と y方向の 1次元処理を 2回掛け合わせた 2段階の処理に分離して高速化を図つ ても、画質面での影響はないことを実験的に確認しており、実質問題ない。すなわち 、まず、フィルタリング範囲を X方向に 1次元状にとり、すべての着目画素についてフィ ノレタリングを行う。次に、 X方向の 1次元のフィルタリングを行った後のデータに対して 、フィルタリング範囲を X方向と直交する y方向に 1次元状にとり、すべての着目画素に ついて y方向のフィルタリングを行う。式で表すと、次式のようになる。
[数 6]
【数 6】
Figure imgf000012_0001
[0031] 4)逆色空間変換
ステップ S6では、 Y C を R',G'，B'に戻し、更に元の線形階調の R,G，Bに戻す。 逆変換は、上記で説明した式を逆にたどるような処理をすればよい。
[0032] 5)画像出力
ステップ S7では、ノイズ除去された画像データを出力する。
[0033] このようにして、線形階調の RGB色空間の画像データが、いったん、均等ノイズ空 間の画像データへ変換され、ノイズ除去のフィルタリングが行なわれる。その後、ノィ ズ除去が行われた画像データを逆変換し、元の線形階調の RGB色空間の画像デー タに戻し出力する。
[0034] 図 3、図 4を使用して、本実施の形態の画像処理方法の効果についてさらに説明す る。図 3は、従来の Bilateral Filterにおける、画素値差分 |V(r')_V(r)|と、距離 |r'_r|と、 加重係数 weightの関係を示す図である。図 4は、本実施の形態の Bilateral Filterにお ける、画素値差分 |V(r')_V(r)|と、距離 |r'-r|と、加重係数 weightの関係を示す図である
[0035] 前述したように、従来の Bilateral Filterでは、 2つの引数画素値差分 |V(r')- V(r)|と距 離 |r'_r|をそれぞれ指数とする 2つの指数関数の積で表される加重係数のフィルタを 使用した。しかし、本実施の形態のフィルタでは、 2つの引数画素値差分 |V(r')-V(r)| と距離 の積で表される値を指数とする 1つの指数関数であらされる加重係数のフ ィルタを使用した。すなわち、 2つの引数画素値差分 |V(r')-V(r)|と距離 |r'_r|は、一体 になって、 1つのガウス分布を表す指数関数の式の引数を構成する。
[0036] 色境界部では画素値差分 |V'-V|が急激に大きくなると考えられる。従来の Bilateral Filterでは、図 3から分かるように、画素値差分 |V'_V|が急激に大きくなると、いくら距 離 |r'-r|が近くて小さい値を取っていても加重係数は小さくなり無視されてしまう。その 結果、本来色境界部上に載っているノイズを除去したくても除去できなくなる状況が 発生していた。また、距離 |r'-r|が大きくなると、画素値差分 |V'-V|が小さくても加重係 数は小さくなり無視されてしまう。その結果、長周期の色斑ノイズなどが除去しにくレ、 という状況が発生していた。
[0037] 一方、本実施の形態の Bilateral Filterでは、図 4から分かるように、画素値差分 |V'_ V|が大きくなつても、距離 |r'-r|が近くて小さい値を取っている場合は加重係数は 1に 近い値をとり無視されない。また、距離 k'_r|が大きくなつても、画素値差分 |V'-V|が小 さければ加重係数は 1に近い値をとり無視されない。その結果、色境界部等の信号 面内の急勾配部で偽色等の突出点状ノイズや、長周期に渡る色斑ノイズなどが適切 に除去される。
[0038] なお、図 3、図 4において、画素値差分 |V(r')-V(r)|の引数を An、距離 |r'_r|の引数を Bnとし、加重係数を w(An,Bn)として表し、引数 Anの異なる値を A1，A2、引数 Bnの異な る値を B1,B2とすると、図 3においては、次式が成立する。すなわち、引数 A1と A2によ る加重係数の間では、 Alにおける断面と A2における断面で引数 Bによる加重係数の 変化率が同一とレ、うことを意味してレ、る。
w(Al,Bl)/w(Al,B2) = w(A2,Bl)/w(A2,B2) ...(13)
[0039] 一方、図 4においては、次式が成立する。すなわち、引数 A1と A2による加重係数の 間では、 A1における断面と A2における断面で引数 Bによる加重係数の変化率が異な ることを意味している。
w(Al,Bl)/w(Al,B2)≠ w(A2,Bl)/w(A2,B2) ...(14)
[0040] また、 0≤A1 <A2、 0≤B1 < B2のとき、次式が成立する。すなわち、 Aの値が大きく なるほど引数 Bによる加重係数の変化率が大きくなることを意味している。
w(Al,Bl)/w(Al,B2) < w(A2,Bl)/w(A2,B2) ...(15)
[0041] また、図 3においては、画素値差分 |V(r')_V(r)|が大きくなると、距離 |r'_r|が 0近辺で あっても、加重係数 wは指数関数的に小さくなる。また、距離 |r'-r|が大きくなると、画 素値差分 |V(r')_V(r)|が 0近辺であっても、加重係数 wは指数関数的に小さくなる。
[0042] 一方、図 4においては、画素値差分 |V(r')-V(r)|が 0あるいは 0近辺であると、距離 |r' -r|が大きくなつても、加重係数 wは 1あるいは 1に近い値を示し、フィルタリングの演算 の対象となる。また、距離 |r'-r|が 0あるいは 0近辺であると、画素値差分 |V(r')-V(r)|が 大きくなつても、加重係数 wは 1あるいは 1に近い値を示し、フィルタリングの演算の対 象となる。
[0043] (第 2の実施の形態）
輝度成分のノイズ除去は一般に、ザラザラ感抑制に対し解像性の低下という共役な 関係にある現象を伴う。また、第 1の実施の形態の Bilateral Filterやその他一般的な ノイズ除去フィルタを実空間で行うと、さらに輝度の階調性を失う嫌いがある。前述の 非特許文献 1にも実空間での Bilateral Filterの多重回利用に関連して同様な指摘が ある。
[0044] そこで、輝度成分をもう少し慎重に扱って階調性を失わないようにするため、敢えて ハイパス成分を作り出してそれに対してノイズ除去処理を行うのがよレ、。それにはゥヱ 一ブレット変換を用いると都合がよぐ更に処理の大規模な高速化も望める。ウェーブ レット変換による多重解像度を利用したノイズ除去法の例として、文献: S. Ranganath, "Image Filtering Using Multiresolution Representations," IEEE Pattern Analysis an d Machine Intelligence Vol.13, No.5, May 1991， pp.426-440,あるいは、米国特許第 5,708,693号明細書に開示がある。
[0045] 第 2の実施の形態では、輝度面 Y こ対しウェーブレット変換をかけた後、第 1の実 施の形態の非分離加重型 Bilateral Filterをかける。色差面 Cb^,Cr こは第 1の実施の 形態と同様にフィルタ処理をする。
[0046] 第 2の実施の形態の画像処理装置の構成は、第 1の実施の形態と同様であるので 、図 1を参照し、その説明を省略する。図 5は、パーソナルコンピュータ 1が処理する 第 2の実施の形態の画像処理の流れを示す図である。
[0047] 1)画像データ入力、色空間変換
ステップ S 11では、線形 RGB画像データを入力する。ステップ S 12では、均等ノイズ 色空間 Cr こ変換する。ステップ S 11および S 12は、第 1の実施の形態のステツ プ S 1と S 2と同様である。
[0048] 2)ウェーブレット変換
ステップ S 13では、輝度信号に対してウェーブレット変換を行う。ウェーブレット変換 とは、画像データを周波数成分に変換するものであり、画像の周波数成分をハイパス 成分とローパス成分に分割する。本実施の形態では、 5/3フィルタを用いて 5段のゥヱ 一ブレット変換をする。 5/3フィルタは、ローパス成分をタップ数 5 (1次元 5画素）のフ ィルタで生成し、ハイパス成分をタップ数 3 (1次元 3画素）のフィルタで生成する。
[0049] ハイパス成分およびローパス成分の生成式は、次式で示される。ここで、 nは画素位 置を示し、 x[]はウェーブレット変換を行う対象画像の画素値を示す。例えば、横方向 に 100画素ある場合は、 nは 0〜49である。下記式によりハイパス成分あるいはローバ ス成分を抽出すると、それぞれ、現在の画素数 100の半分の 50画素分のハイパス成 分およびローパス成分のデータが抽出される。これを、横方向および縦方向に処理 を行う。
ハイパス成分： d[n]=x[2n+l]- (x[2n+2]+x[2n])/2 ...(16)
ローパス成分： s[n]=x[2n]+(d[n]+d[n- 1])/4 ...(17)
[0050] 以上の式を使用して、次のように、順次 5段のウェーブレット変換をする。 第 1段ウェーブレット変換： LLO (実空間）→ LL1， LH1, HL1, HH1
2 クエーブレク卜 ： Lし 1→ Lし 2, LH2, tiし 2， HH2
3 クエーブレク卜 ： Lし 2→ Lし 3, LH3, tiし 3， HH3
第 4段ウェーブレツ卜変換： LL3→ LL4, LH4, HL4, HH4
5 クエーブレソ卜 ¾t : Lし 4→ Lし 5, LH5, Hし 5， HH5
[0051] 図 6は、 5段のウェーブレット変換によるサブバンド分割の様子を示す図である。例 えば、第 1段のウェーブレット変換では、実空間の画像データに対し、まず横方向に すべての行についてハイパス成分およびローパス成分のデータを抽出する。その結 果、横方向に半分の画素数のハイパス成分およびローパス成分のデータが抽出され る。それを、例えば実空間の画像データがあったメモリ領域右側にハイパス成分、左 側にローパス成分を格納する。
[0052] 次に、メモリ領域右側に格納されたハイパス成分および左側に格納されたローパス 成分のデータに対して、それぞれ縦方向にすべての列について、同様の上記式によ り、ハイパス成分およびローパス成分のデータを抽出する。その結果、メモリ領域右 側のハイパス成分および左側のローパス成分のそれぞれから、さらにハイパス成分 およびローパス成分のデータが抽出される。それらを、それぞれのデータがあったメ モリ領域下側にハイパス成分、上側にローパス成分を格納する。
[0053] その結果、横方向にハイパス成分として抽出されたデータから縦方向にハイパス成 分として抽出されたデータを HHと表し、横方向にハイパス成分として抽出されたデー タから縦方向にローパス成分として抽出されたデータを HLと表し、横方向にローパス 成分として抽出されたデータから縦方向にハイパス成分として抽出されたデータを L Hと表し、横方向にローパス成分として抽出されたデータから縦方向にローパス成分 として抽出されたデータを LLと表す。
[0054] 次に、第 2段のウェーブレット変換では、第 1段のウェーブレット変換で横方向に口 一パス成分として抽出されたデータから縦方向にローパス成分として抽出されたデー タ LLに対し、同様にハイパス成分及びローパス成分の抽出を行う。これを 5段繰り返 した結果が、図 6の図である。
[0055] 3)ノイズ除去処理 次に、ノイズ除去処理、すなわちフィルタリング処理をする。ステップ S15では、 LL5 成分のローパス側サブバンドの退避させておく。ステップ S 14では、 LL5成分を除く全 てのハイパス成分 {(LH1, HL1, HH1),(LH2, HL2, HH2)，(LH3， HL3, HH3),(LH4, H L4， HH4)ズ LH5, HL5, HH5)}に対して、第 1の実施の形態で定義された非分離加重 型 Bilateral Filterを掛ける。このとき多重解像度利用によって実効フィルタリングサイ ズを簡単に稼ぐことができるので、各々のサブバンドに対する処理は rth=1.0〜2.0(5x 5画素ぐらい)程度にとるとよい。これにより、処理の高速化が図れる。
[0056] ステップ S16では、色差成分の C ， ΟΠこ対して、第 1の実施の形態で定義された 非分離加重型 Bilateral Filterを掛ける。
[0057] 4)逆ウエーブレット変換
ステップ S17では、ステップ S14、 S15においてフィルタが掛けられたデータに対し て、次のように逆ウェーブレット変換をかける。
第 1段逆ウェーブレット変換： LL5, LH5, HL5, HH5→ LL4
2 ;^クエーブレク卜 ： Lし 4, LH4, HL4, HH4→ Lし 3
3 ;^クエーブレク卜 ： Lし 3, LH3, HL3, HH3→ Lし 2
第 4段逆ウェーブレット変換： LL2, LH2, HL2, HH2→ LL1
第 5段逆ウェーブレット変換： LL1, LH1, HL1, HH1→ LL0 (実空間）
[0058] 5)逆色空間変換
ステップ S18では、第 1の実施の形態と同様に、 Y"C Cr"を R'，G'，B'に戻し、更に元 の線形階調の R，G,Bに戻す。
[0059] 6)画像出力
ステップ S 19では、ノイズ除去された画像データを出力する。
[0060] このようにして、線形階調の RGB色空間の画像データが、いったん、均等ノイズ空 間の画像データへ変換され、輝度信号にはウェーブレット変換をかけた後のハイパス 成分に対してノイズ除去のフィルタリングが行なわれる。その後、輝度信号について は逆ウェーブレット変換をかけ、ノイズ除去が行われた画像データを逆色空間変換し 、元の線形階調の RGB色空間の画像データに戻し出力する。
[0061] ここで、本実施の形態の効果について説明する。従来の Bilateral Filterが抱える急 傾斜部でノイズ除去効果が悪い点を改善するため、世の中では Trilateral Filterのよ うなものが考えられている。例えば、文献： Prasun Choudhury et al., "The Trilateral F ilter for High Contrast Images and Meshes, Eurographics Symposium on Rendering 2003, pp.1— 11。
[0062] しかし、何もガウシアンを傾斜させるような第 3番目の積分因子を導入する面倒で余 計な処理をしなくても、本実施の形態のように、輝度成分で示したようにハイパス成分 をとることにより傾斜成分を取り除くことができる。また、なによりも本発明の本質である 引数積で定義された新しレ ^Bilateral Filter自身がそのような急傾斜部でもノイズ除去 性能を発揮するので、より単純な処理で同様な効果を狙うことができる。
[0063] (変形例）
第 1の実施の形態および第 2の実施の形態で用いた色空間 Y Cr'は均等ノイズ 空間であるが、均等色性の考慮にやや不備がある。従って、ここに均等ノイズ'擬似 均等色空間を実現する例を示す。これにより第 1の実施の形態および第 2の実施の 形態の均等ノイズ空間より色再現性を高めることができ、且つ従来の均等ノイズ空間 と同様なノイズ除去性能の高い色空間を提供できる。
[0064] まず最初に、線形階調 RGB表色系を、均等色空間を定義するとき通例用いられる X YZ表色系へ変換する。入力撮像素子に用いられてレ、るカラーフィルタの分光感度分 布特性によってこの変換式はそれぞれ異なってくる。ここで、原刺激を単一スペクトル の R(700.0nm)， G(546.1nm), B(435.8nm)とした CIE RGB表色系から CIE XYZ表色系 への変換式の例を示すと、次の変換式の通りである。
X=2.7689R+1.7517G+1.1320B ...(18)
Y=1.0000R+4.5907G+0.0601B ...(19)
Z= +0.0565G+5.5943B ...(20)
[0065] もう一つ別の例を挙げておく。最終的に sRGB色空間で表現されたカラー画像を扱 う場合、線形階調に戻された RGB値力 XYZ値への変換は以下の式を利用する。
X=0.4124R+0.3576G+0.1805B ...(21)
Y=0.2126R+0.7152G+0.0722B ...(22)
Z=0.0193R+0.1192G+0.9505B ...(23) [0066] 次に、線形階調の XYZ空間から均等ノイズ性を維持しつつ擬似的に均等色配分さ れた知覚的な属性を表す非線形階調のじ aT^空間へ次式により変換する。
じ =100*f(Y/Y0) ...(24)
a"=500*[f(X/X0)-f(Y/Y0)] ...(25)
b"=200*[i(Y/Y0)-f(Z/Z0)] ...(26)
[0067] ここに、 ΧΟ,ΥΟ,ΖΟは照明光によって定まる値であり、例えば、標準光 D65下で 2度視 野の場合、 Χ0=95.045、 Υ0=100.00、 Ζ0=108.892のような値をとる。また、非線形階調 変換関数 ί()は以下の式 (27)で定義する。ただし、変数 tは t=(Y/Y0),t=(X/X0),t=(Z/Z0 )であり、 0≤ (Y/Y0)≤ 1 ,0≤ (X/X0)≤ 1 ,0≤ (Z/Z0)≤ 1となるように XYZ値の階調数の 最大値で規格化された値をとる。
[数 7]
【数 7】
Figure imgf000019_0001
[0068] なお、原点と飽和点を規格化する必要がある場合は、以下の式を用いる。
園
【数 8】 ' · · ( 2 8 )
[0069] εの値は、第 1の実施の形態と同様な値を取ればよい。このように、均等ノイズ'擬 似均等色空間で第 1の実施の形態と同様なフィルタを使用するので、色再現性を高 めながら適切なノイズの除去を行うことができる。
[0070] なお、上記実施の形態では、パーソナルコンピュータ 1で処理を行う例を示した力 必ずしもこの内容に限定する必要はなレ、。カメラなどの撮像装置の中で処理を行う場 合であってもよい。また、他の装置であってもよい。すなわち、本発明は、画像データ を扱うあらゆる装置に適用することができる。
[0071] 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容 に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態 様も本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。 曰本国特許出願 2004年第 367263号（2004年 12月 20曰出願）

Claims

請求の範囲
[1] 複数の画素からなる画像データに対して、各画素位置で着目画素を含む所定範囲 内の画素の画素値を用いてフィルタリングを行う画像処理方法であって、 前記所定範囲内の各々の画素に対し、前記着目画素からの空間的な距離で定義 される第 1の引数と前記着目画素との信号強度の差で定義される第 2の引数の 2つ の引数を定め、
前記所定範囲内の各々の画素に対して掛かるフィルタリングの加重係数を、前記 第 1の引数と前記第 2の引数の積で表される 1つのまとまった引数に基づいて求め、 前記求めた加重係数によるフィルタ係数を使用して、フィルタリングを行うことを特徴 とする画像処理方法。
[2] 複数の画素からなる画像データに対して、各画素位置で着目画素を含む所定範囲 内の画素の画素値を用いてフィルタリングを行う画像処理方法であって、 前記所定範囲内の各々の画素に対し、前記着目画素からの空間的な距離で定義 される第 1の引数と、前記着目画素との信号強度の差で定義される第 2の引数の 2つ の引数を定め、
前記所定範囲内の各々の画素に対して掛かるフィルタリングの加重係数を、前記 第 1の引数と前記第 2の引数とに基づいて求め、
前記第 1の引数の異なる値を Al、 A2とし、前記第 2の引数の異なる値を Bl、 B2と し、前記求める加重係数を w (An、 Bn)とするとき、
w (Al、 Bl) /w (Al、 B2)≠w (A2、 Bl) /w (A2, B2)
が成立するように前記加重係数を求め、
前記求めた加重係数によるフィルタ係数を使用して、フィルタリングを行うことを特徴 とする画像処理方法。
[3] 請求項 2に記載の画像処理方法において、
0≤A1 <A2、 0≤B1 < B2を満たすとき、
w (Al、 Bl) /w (Al、 B2) <w (A2、 Bl) /w (A2、 B2)
が成立するように前記加重係数を求めることを特徴とする画像処理方法。
[4] 請求項 1から 3のいずれかに記載の画像処理方法において、 前記第 1の引数と前記第 2の引数は、一体になつて、 1つのガウス分布を表す指数 関数の式の引数を構成することを特徴とする画像処理方法。
複数の画素からなる画像データ V (ベクトル に対して、各画素位置で着目画素べク トル rを含む所定範囲内の画素ベクトル r'の画素値 V (ベクトル ')を用いてフィルタリン グを行う画像処理方法であって、
[数 1]
Figure imgf000022_0001
ただし、ベクトル r = F、ベクトノレ r' = f'
ただし、 σ thと rthは定数、ベクトル rは画素の座標位置、
の数学的演算を行うことによって前記フィルタリングを行うことを特徴とする画像処理 方法。
[6] 請求項 5に記載の画像処理方法において、
フィルタリングの前記所定範囲は、 rthのおよそ 2倍の範囲で積分することを特徴と する画像処理方法。
[7] 請求項 1から 6のいずれかに記載の画像処理方法において、
前記画像データが色差成分のとき、前記所定範囲を 1次元状にとり、すべての着目 画素について前記一次元の方向の第 1のフィルタリングを行い、
前記第 1のフィルタリングを行った後に、前記所定範囲を前記方向と直交する方向 に 1次元状にとり、すべての着目画素について前記方向と直交する方向の第 2のフィ ルタリングを行うことを特徴とする画像処理方法。
[8] 請求項 1から 6のいずれかに記載の画像処理方法において、 前記画像データが輝度成分のとき、前記所定範囲を 2次元状にとり、すべての着目 画素について前記フィルタリングを行うことを特徴とする画像処理方法。
請求項 1から 6のいずれかに記載の画像処理方法において、
前記画像データが輝度成分のとき、前記フィルタリングを輝度成分のハイパス成分 に対して行うことを特徴とする画像処理方法。
請求項 1から 9のいずれかに記載の画像処理方法において、
前記フィルタリングを、前記画像データについてウェーブレット変換を行なった後の ウェーブレット変換係数に対して行うことを特徴とする画像処理方法。
複数の画素からなる画像データに対して、各画素位置で着目画素を含む所定範囲 内の画素の画素値を用いてフィルタリングを行う画像処理方法であって、
着目画素からの空間的な距離で定義される第 1の要素と着目画素との信号強度の 差で定義される第 2の要素を定め、
前記所定範囲内の各々の画素に対して、前記第 1の要素と前記第 2の要素とに基 づいて前記着目画素のフィルタリングの演算の対象とする程度を示す加重係数を求 め、
前記加重係数を求めるとき、前記第 1の要素が実質的に 0に近い値のとき、前記第 2の要素の値にかかわらず前記フィルタリングの演算の対象とするよう前記加重係数 を求め、前記第 2の要素が実質的に 0に近い値のとき、前記第 1の要素の値にかかわ らず前記フィルタリングの演算の対象とするよう前記加重係数を求めることを特徴とす る画像処理方法。
コンピュータ読み込み可能なコンピュータプログラム製品であって、
請求項 1から 11のいずれかに記載の画像処理方法をコンピュータまたは画像処理 装置に実行させる画像処理プログラムを有する。
請求項 12のコンピュータプログラム製品において、前記コンピュータプログラム製品 は前記画像処理プログラムを記録したコンピュータ読みとり可能な記録媒体である。 画像処理装置であって、
請求項 1から 11のいずれかに記載の画像処理方法を実行する制御装置を有する。
PCT/JP2005/023037 2004-12-20 2005-12-15 画像処理方法 WO2006068025A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05816871A EP1840830B1 (en) 2004-12-20 2005-12-15 Image processing method
US11/792,301 US7945111B2 (en) 2004-12-20 2005-12-15 Image processing method for adaptively filtering image data
JP2006548899A JP5023702B2 (ja) 2004-12-20 2005-12-15 画像処理方法、画像処理プログラム、記録媒体及び画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-367263 2004-12-20
JP2004367263 2004-12-20

Publications (1)

Publication Number Publication Date
WO2006068025A1 true WO2006068025A1 (ja) 2006-06-29

Family

ID=36601625

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/023037 WO2006068025A1 (ja) 2004-12-20 2005-12-15 画像処理方法

Country Status (4)

Country Link
US (1) US7945111B2 (ja)
EP (1) EP1840830B1 (ja)
JP (1) JP5023702B2 (ja)
WO (1) WO2006068025A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008105268A1 (ja) * 2007-02-28 2008-09-04 Nikon Corporation 画像処理方法
US8120679B2 (en) 2008-08-01 2012-02-21 Nikon Corporation Image processing method
US8238683B2 (en) 2006-03-31 2012-08-07 Nikon Corporation Image processing method
US8244034B2 (en) 2006-03-31 2012-08-14 Nikon Corporation Image processing method
US8265412B2 (en) 2007-02-02 2012-09-11 Nikon Corporation Image processing method
US8369640B2 (en) 2007-02-02 2013-02-05 Nikon Corporation Image processing for removing a noise component contained in an image
JP2016127403A (ja) * 2014-12-26 2016-07-11 株式会社リコー 画像処理装置、画像処理方法、プログラム、及び記録媒体
US9509978B2 (en) 2012-08-10 2016-11-29 Nikon Corporation Image processing method, image processing apparatus, image-capturing apparatus, and image processing program
CN110796139A (zh) * 2019-10-17 2020-02-14 中国测试技术研究院辐射研究所 测试/检测/校准/检定中指示值图案定位和分割方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006006373A1 (ja) * 2004-07-07 2006-01-19 Nikon Corporation 画像処理装置およびコンピュータプログラム製品
US20090175535A1 (en) * 2008-01-09 2009-07-09 Lockheed Martin Corporation Improved processing of multi-color images for detection and classification
JP5272219B2 (ja) * 2008-03-04 2013-08-28 オリンパス株式会社 画像処理装置及び画像処理プログラム
KR101341007B1 (ko) * 2008-12-23 2013-12-13 엘지디스플레이 주식회사 표시 장치의 색 보정 방법 및 장치
KR101618298B1 (ko) * 2009-10-23 2016-05-09 삼성전자주식회사 고감도 영상 생성 장치 및 방법
KR101119268B1 (ko) * 2010-03-10 2012-03-20 삼성전자주식회사 영상의 컬러 잡음 제거 방법 및 장치
JP2011210197A (ja) * 2010-03-30 2011-10-20 Toshiba Corp 画像処理装置
US8532425B2 (en) * 2011-01-28 2013-09-10 Sony Corporation Method and apparatus for generating a dense depth map using an adaptive joint bilateral filter
CN103139577B (zh) 2011-11-23 2015-09-30 华为技术有限公司 一种深度图像滤波方法、获取深度图像滤波阈值的方法和装置
CN104380727B (zh) * 2012-06-12 2015-11-25 富士胶片株式会社 图像处理装置和图像处理方法
US9495731B2 (en) 2015-04-15 2016-11-15 Apple Inc. Debanding image data based on spatial activity
CN109754374A (zh) * 2018-12-20 2019-05-14 深圳市资福医疗技术有限公司 一种去除图像亮度噪声的方法及装置
CN111754437B (zh) * 2020-06-24 2023-07-14 成都国科微电子有限公司 一种基于运动强度的3d降噪方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004536518A (ja) * 2001-03-21 2004-12-02 ヒューレット・パッカード・カンパニー デモザイク処理プロセスにおけるバイラテラルフィルタリング

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0777891B1 (en) * 1995-06-23 2001-10-17 Koninklijke Philips Electronics N.V. Image processing for noise reduction
JP3675745B2 (ja) * 2001-08-21 2005-07-27 ソニー株式会社 付加データ埋め込み装置、付加データ埋め込み方法及び付加データ埋め込みプログラム
DE10219919A1 (de) * 2002-05-03 2003-11-20 Siemens Ag Verfahren zur Verbesserung der Qualität eines Bildes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004536518A (ja) * 2001-03-21 2004-12-02 ヒューレット・パッカード・カンパニー デモザイク処理プロセスにおけるバイラテラルフィルタリング

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOMASI C. ET AL.: "Bilateral Filtering for Gray and Color Images", PROCEEDINGS OF THE 1998 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, BOMBAY, INDIA, pages 839 - 846, XP000926378 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8238683B2 (en) 2006-03-31 2012-08-07 Nikon Corporation Image processing method
US8244034B2 (en) 2006-03-31 2012-08-14 Nikon Corporation Image processing method
US8265412B2 (en) 2007-02-02 2012-09-11 Nikon Corporation Image processing method
US8369640B2 (en) 2007-02-02 2013-02-05 Nikon Corporation Image processing for removing a noise component contained in an image
US8675982B2 (en) 2007-02-02 2014-03-18 Nikon Corporation Image processing for removing a noise component contained in an image
JP4858610B2 (ja) * 2007-02-28 2012-01-18 株式会社ニコン 画像処理方法
US8249341B2 (en) 2007-02-28 2012-08-21 Nikon Corporation Image processing method for removing noise contained in an image
WO2008105268A1 (ja) * 2007-02-28 2008-09-04 Nikon Corporation 画像処理方法
US8120679B2 (en) 2008-08-01 2012-02-21 Nikon Corporation Image processing method
US8339484B2 (en) 2008-08-01 2012-12-25 Nikon Corporation Image processing method
US9509978B2 (en) 2012-08-10 2016-11-29 Nikon Corporation Image processing method, image processing apparatus, image-capturing apparatus, and image processing program
JP2016127403A (ja) * 2014-12-26 2016-07-11 株式会社リコー 画像処理装置、画像処理方法、プログラム、及び記録媒体
CN110796139A (zh) * 2019-10-17 2020-02-14 中国测试技术研究院辐射研究所 测试/检测/校准/检定中指示值图案定位和分割方法

Also Published As

Publication number Publication date
EP1840830A4 (en) 2010-05-26
JPWO2006068025A1 (ja) 2008-06-12
US7945111B2 (en) 2011-05-17
EP1840830B1 (en) 2011-11-02
JP5023702B2 (ja) 2012-09-12
EP1840830A1 (en) 2007-10-03
US20080089601A1 (en) 2008-04-17

Similar Documents

Publication Publication Date Title
WO2006068025A1 (ja) 画像処理方法
JP5163489B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
JP4535125B2 (ja) 画像処理方法
WO2007116543A1 (ja) 画像処理方法
Hirakawa et al. Joint demosaicing and denoising
JP5352942B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
JP4766118B2 (ja) 画像処理方法
US6801672B1 (en) Removing noise from a color image using wavelets
JP4858610B2 (ja) 画像処理方法
KR101685885B1 (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램
Chatterjee et al. Noise suppression in low-light images through joint denoising and demosaicing
JP4862897B2 (ja) 画像処理方法
JP2008171402A (ja) イメージにおけるノイズを除去する方法、イメージにおけるノイズを除去するための装置、およびイメージにおけるノイズを除去するためのコンピュータプログラムを実装するコンピュータ可読媒体
JP2010509841A (ja) パンクロマチックおよびカラーの画像のノイズ低減
JPH02503241A (ja) Ｓｖｄブロック変換を使用したディジタル画像雑音抑制方法
JP5256582B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
Khalil Applying quaternion Fourier transforms for enhancing color images
JP5343743B2 (ja) 画像処理方法
JP2011043901A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器
He et al. A novel hybrid model framework to blind color image deconvolution
Raphiphan et al. Adaptive high boost filtering for increasing grayscale and color image details
Trivedi et al. HYBRID MODEL FOR INFRARED AND VISIBLE IMAGE FUSION
Kwan et al. Comparison of denoising algorithms for demosacing low lighting images using cfa 2.0
Yang et al. The spatial correlation problem of noise in imaging deblurring and its solution
Leelavathi et al. Comparative Study of Frequency Vs Spacial Domain for Multi Sensor Image Fusion

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006548899

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 11792301

Country of ref document: US

Ref document number: 2005816871

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005816871

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11792301

Country of ref document: US