JP4288623B2 - Imaging device, noise removal device, noise removal method, noise removal method program, and recording medium recording noise removal method program - Google Patents

Imaging device, noise removal device, noise removal method, noise removal method program, and recording medium recording noise removal method program Download PDF

Info

Publication number
JP4288623B2
JP4288623B2 JP2007008674A JP2007008674A JP4288623B2 JP 4288623 B2 JP4288623 B2 JP 4288623B2 JP 2007008674 A JP2007008674 A JP 2007008674A JP 2007008674 A JP2007008674 A JP 2007008674A JP 4288623 B2 JP4288623 B2 JP 4288623B2
Authority
JP
Japan
Prior art keywords
filter
image data
value
processing
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007008674A
Other languages
Japanese (ja)
Other versions
JP2008177801A (en
Inventor
伸行 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007008674A priority Critical patent/JP4288623B2/en
Priority to EP07255086A priority patent/EP1947837A2/en
Priority to TW097100841A priority patent/TW200847764A/en
Priority to US11/972,404 priority patent/US20080175510A1/en
Priority to KR1020080005345A priority patent/KR20080068576A/en
Priority to CN2008100010826A priority patent/CN101232574B/en
Publication of JP2008177801A publication Critical patent/JP2008177801A/en
Application granted granted Critical
Publication of JP4288623B2 publication Critical patent/JP4288623B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01HSTREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
    • E01H5/00Removing snow or ice from roads or like surfaces; Grading or roughening snow or ice
    • E01H5/02Hand implements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression

Description

本発明は、撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体に関し、例えばデジタルスチルカメラに適用することができる。本発明は、複数のεフィルタの出力値と、注目画素の画素値を重み付け加算して画像データのノイズを抑圧することにより、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができるようにする。   The present invention relates to an imaging device, a noise removal device, a noise removal method, a program for the noise removal method, and a recording medium on which the program for the noise removal method is recorded, and can be applied to, for example, a digital still camera. The present invention weights and adds the output values of a plurality of ε filters and the pixel value of the pixel of interest to suppress noise in image data, thereby reducing noise comparable to that of a bilateral filter with a simple process and configuration. To be able to secure.

従来、デジタルスチルカメラ等の画像処理では、例えば特開2004−172726号公報に開示されているように、条件付き平均値フィルタであるεフィルタを用いてノイズを抑圧している。   Conventionally, in image processing of a digital still camera or the like, noise is suppressed using an ε filter that is a conditional average filter, as disclosed in, for example, Japanese Patent Application Laid-Open No. 2004-172726.

ここでεフィルタは、エッジ成分を保存して平均値を出力するフィルタである。εフィルタは、注目画素を中心とした処理領域内の他の画素毎に、注目画素の画素値に対する画素値の差分絶対値を計算する。εフィルタは、この差分絶対値が所定のしきい値以下の画素を選択して平均値化の処理を実行し、計算された平均値を注目画素の画素値に設定する。従って注目画素の座標が(X,Y) 、注目画素の画素値がIN(X,Y) であって、処理領域内の他の画素の画素値がIN(PX,PY) である場合、εフィルタは、画素値IN(X,Y) と画素値IN(PX,PY) との差分絶対値がしきい値T以下の画素を選択し、このしきい値T以下の画素がm個の場合、このm個の画素と注目画素とで画素値を平均値化する。なお以下において、タップ数がN、しきい値がTのεフィルタをε(N,T)と表記し、εフィルタからの出力値をε(N,T)と表記する。また処理領域における他の画素の座標を(PX,PY) と表記する。   Here, the ε filter is a filter that stores an edge component and outputs an average value. The ε filter calculates a difference absolute value of the pixel value with respect to the pixel value of the target pixel for each of the other pixels in the processing region centered on the target pixel. The ε filter selects pixels whose absolute difference value is equal to or smaller than a predetermined threshold value, executes an averaging process, and sets the calculated average value as the pixel value of the target pixel. Therefore, if the coordinates of the pixel of interest are (X, Y), the pixel value of the pixel of interest is IN (X, Y), and the pixel values of the other pixels in the processing region are IN (PX, PY), then ε When the filter selects a pixel whose absolute difference between the pixel value IN (X, Y) and the pixel value IN (PX, PY) is less than or equal to the threshold value T, and there are m pixels that are less than or equal to the threshold value T The pixel values are averaged by the m pixels and the target pixel. In the following, an ε filter having N taps and a threshold value T is denoted as ε (N, T), and an output value from the ε filter is denoted as ε (N, T). In addition, the coordinates of other pixels in the processing area are expressed as (PX, PY).

このようなノイズ除去に関して、例えば特開2006−180268号公報には、εフィルタに代えてバイラテラルフィルタを用いる方法が提案されている。ここでバイラテラルフィルタは、条件付き平均値フィルタの1つであり、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とにより、それぞれ係数Ws、Weを計算し、この係数Ws、Weを用いた平均値化処理によりエッジ成分を保存してノイズを抑圧する。   Regarding such noise removal, for example, Japanese Patent Laid-Open No. 2006-180268 proposes a method using a bilateral filter instead of the ε filter. Here, the bilateral filter is one of the conditional average value filters. The coefficients Ws and We are calculated based on the distance from the target pixel and the difference value of the pixel value with respect to the pixel value of the target pixel, respectively. The edge component is preserved by the averaging process using Ws and We, and noise is suppressed.

すなわち図25は、バイラテラルフィルタを示すブロック図である。バイラテラルフィルタ1は、図26に示すように、例えばラスタ走査の順序で順次注目画素P(X,Y) を走査させ、この注目画素P(X,Y) の座標(X,Y) 及び画素値IN(X,Y) 、注目画素P(X,Y) を中心にした処理領域内の他の画素P(PX,PY) の画素値IN(PX,PY) を順次入力する。なおここでこの図26において、処理領域は、垂直方向及び水平方向に2N+1画素の範囲であり、Nは整数である。但し、処理領域は、垂直方向と水平方向とで大きさが異なるように設定される場合もある。 That is, FIG. 25 is a block diagram showing a bilateral filter. As shown in FIG. 26, the bilateral filter 1 sequentially scans the target pixel P (X, Y) in the order of raster scanning, for example, and coordinates (X, Y) and the pixel of the target pixel P (X, Y). The value IN (X, Y) and the pixel value IN (PX, PY) of another pixel P (PX, PY) in the processing region centered on the target pixel P (X, Y) are sequentially input. In FIG. 26 , the processing region is a range of 2N + 1 pixels in the vertical direction and the horizontal direction, and N is an integer. However, the processing area may be set to have different sizes in the vertical direction and the horizontal direction.

バイラテラルフィルタ1は(図25)、注目画素P(X,Y) の座標(X,Y) を係数演算部2の距離演算部3に入力し、また注目画素P(X,Y) の画素値IN(X,Y) 、処理領域内の他の画素P(PX,PY) の画素値IN(PX,PY) をエッジ演算部4に入力する。   The bilateral filter 1 (FIG. 25) inputs the coordinates (X, Y) of the target pixel P (X, Y) to the distance calculation unit 3 of the coefficient calculation unit 2, and also the pixel of the target pixel P (X, Y). The value IN (X, Y) and the pixel value IN (PX, PY) of another pixel P (PX, PY) in the processing area are input to the edge calculation unit 4.

距離演算部3は、注目画素P(X,Y) の座標(X,Y) を用いて次式の演算処理を実行し、処理領域内の各画素P(X,Y) 、P(PX,PY) について、ガウス曲線の特性により注目画素P(X,Y) からの距離が大きくなるに従って値が小さくなる距離係数Ws(Ws(X,Y,PX,PY) )を生成する。なおここでσsは、ノイズ除去の強さを決めるパラメータである。   The distance calculation unit 3 uses the coordinates (X, Y) of the pixel of interest P (X, Y) to execute the calculation processing of the following formula, and each pixel P (X, Y), P (PX, For PY), a distance coefficient Ws (Ws (X, Y, PX, PY)) is generated that decreases in value as the distance from the target pixel P (X, Y) increases due to the characteristics of the Gaussian curve. Here, σs is a parameter that determines the strength of noise removal.

Figure 0004288623
Figure 0004288623

エッジ演算部4は、画素値IN(X,Y) 、画素値IN(PX,PY) を用いて次式の演算処理を実行し、処理領域内の各画素P(X,Y) 、P(PX,PY) について、ガウス曲線の特性により注目画素P(X,Y) の画素値IN(X,Y) から画素値が遠ざかるに従って値が小さくなるエッジ係数We(We(X,Y,PX,PY) )を生成する。なおここでσeは、ノイズ除去の強さを決めるパラメータである。   The edge calculation unit 4 uses the pixel value IN (X, Y) and the pixel value IN (PX, PY) to execute the calculation process of the following formula, and each pixel P (X, Y), P ( PX, PY), the edge coefficient We (We (X, Y, PX,) decreases as the pixel value moves away from the pixel value IN (X, Y) of the target pixel P (X, Y) due to the characteristics of the Gaussian curve. PY)). Here, σe is a parameter that determines the strength of noise removal.

Figure 0004288623
Figure 0004288623

乗算部5は、次式の演算処理により、距離係数Ws(Ws(X,Y,PX,PY) )と、エッジ係数We(We(X,Y,PX,PY) )とを乗算し、重み付け係数W(W(X,Y,PX,PY) )を計算する。   The multiplier 5 multiplies the distance coefficient Ws (Ws (X, Y, PX, PY)) and the edge coefficient We (We (X, Y, PX, PY)) by the calculation processing of the following equation, and weights them. The coefficient W (W (X, Y, PX, PY)) is calculated.

Figure 0004288623
Figure 0004288623

フィルタ部6は、次式の演算処理を実行し、重み付け係数Wを用いて処理領域内の各画素P(X,Y) 、P(PX,PY) の画素値IN(X,Y) 、IN(PX,PY) を重み付けして平均値化の処理を実行する。バイラテラルフィルタ1は、このフィルタ部6の演算処理結果OUT(X,Y)を出力する。   The filter unit 6 performs the arithmetic processing of the following equation, and uses the weighting coefficient W to calculate the pixel values IN (X, Y), IN of each pixel P (X, Y), P (PX, PY) in the processing region. The averaging process is executed by weighting (PX, PY). The bilateral filter 1 outputs the calculation processing result OUT (X, Y) of the filter unit 6.

Figure 0004288623
Figure 0004288623

このバイラテラルフィルタ1を用いたノイズの除去では、εフィルタを使用する場合に比してエッジ成分を保存して滑らかにノイズを抑圧することができる。従ってεフィルタを使用する場合に比して画質を向上することができる。しかしながらバイラテラルフィルタ1では、(1)式、(2)式で表されるように、expにより表される指数関数の演算処理を、処理領域の全ての画素で実行することが必要であり、結局、1画素の画素値の計算に、(2N+1)×(2N+1)×2回、指数関数の演算処理が必要になる。従って、演算処理が膨大になり、処理が煩雑な問題がある。   In the noise removal using the bilateral filter 1, the edge component can be preserved and the noise can be smoothly suppressed as compared with the case where the ε filter is used. Therefore, the image quality can be improved as compared with the case where the ε filter is used. However, in the bilateral filter 1, as represented by the expressions (1) and (2), it is necessary to perform the exponential function calculation process represented by exp on all the pixels in the processing region. Eventually, the calculation of the pixel value of one pixel requires exponential function calculation processing (2N + 1) × (2N + 1) × 2 times. Therefore, there is a problem that the calculation processing becomes enormous and the processing is complicated.

またバイラテラルフィルタ1では、注目画素毎に重み付け係数Wが異なり、(4)式における分母の計算を十分な精度を確保して注目画素毎に実行することが必要になる。この場合に、割り算器、ルックアップテーブル等でフィルタ部を構成したのでは、構成が煩雑になる問題がある。またソフトウエアの処理によりフィルタ部を構成したのでは、割り算を必要とする計算量が膨大になる問題がある。
特開2004−172726号公報 特開2006−180268号公報
In the bilateral filter 1, the weighting coefficient W is different for each pixel of interest, and it is necessary to execute the calculation of the denominator in the equation (4) for each pixel of interest with sufficient accuracy. In this case, if the filter unit is configured by a divider, a lookup table, etc., there is a problem that the configuration becomes complicated. Further, if the filter unit is configured by software processing, there is a problem that the amount of calculation requiring division becomes enormous.
JP 2004-172726 A JP 2006-180268 A

本発明は以上の点を考慮してなされたもので、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができる撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体を提案しようとするものである。   The present invention has been made in consideration of the above points. An imaging device, a noise removal device, a noise removal method, and a noise that can ensure noise suppression performance equivalent to that of a bilateral filter with a simple process and configuration. An object of the present invention is to propose a recording medium on which a program for a removal method and a program for a noise removal method are recorded.

上記の課題を解決するため請求項1の発明は、撮像装置に適用して、撮像結果を取得して画像データを出力する撮像部と、前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、前記ノイズ抑圧部は、前記画像データを処理する第1のεフィルタと、前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しく、前記画像データを処理する第2のεフィルタと、前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なり、前記画像データを処理する第3のεフィルタと、前記第2のεフィルタとタップ数が等しく、前記第3のεフィルタとしきい値が等しく、前記画像データを処理する第4のεフィルタと、前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記第4のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。   In order to solve the above-described problem, the invention of claim 1 is applied to an imaging device, acquires an imaging result and outputs image data, and outputs output data while suppressing noise in the image data. A noise suppression unit, and the noise suppression unit is different in the number of taps from the first ε filter that processes the image data and the first ε filter, and has the same threshold value as the first ε filter. A second ε filter that processes the image data, a third ε filter that has the same number of taps as the first ε filter, has a threshold value different from that of the first ε filter, and processes the image data. The fourth ε filter has the same number of taps as the second ε filter, the third ε filter has the same threshold value, the fourth ε filter that processes the image data, the output value of the first ε filter, the first 2 ε filter output A weighted addition unit that weights and adds a value, an output value of the third ε filter, an output value of the fourth ε filter, and a pixel value of a pixel of interest in the image data, and outputs the output data. To do.

また請求項4の発明は、撮像装置に適用して、撮像結果を取得して画像データを出力する撮像部と、前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、前記ノイズ抑圧部は、前記画像データを処理する第1のεフィルタと、前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しく、前記画像データを処理する第2のεフィルタと、前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なり、前記画像データを処理する第3のεフィルタと、前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。   The invention of claim 4 is applied to an imaging apparatus, and has an imaging unit that acquires an imaging result and outputs image data, and a noise suppression unit that suppresses noise of the image data and outputs output data. The noise suppression unit is different from the first ε filter that processes the image data, the first ε filter, and has the same threshold value as the first ε filter, and processes the image data. The second ε filter, the first ε filter has the same number of taps, the first ε filter has a threshold value different from that of the first ε filter, and the first ε filter processes the image data. A weighted adder that weights and adds the output value of the filter, the output value of the second ε filter, the output value of the third ε filter, and the pixel value of the pixel of interest in the image data, and outputs the output data I have To.

また請求項5の発明は、撮像装置に適用して、撮像結果を取得して画像データを出力する撮像部と、前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、前記ノイズ抑圧部は、前記画像データを処理する第1のεフィルタと、前記第1のεフィルタとしきい値が異なり、前記第1のεフィルタとタップ数が等しく、前記画像データを処理する第2のεフィルタと、前記第2のεフィルタとしきい値が等しく、前記第1のεフィルタとタップ数が異なり、前記画像データを処理する第3のεフィルタと、前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。   The invention of claim 5 is applied to an imaging apparatus, and has an imaging unit that acquires an imaging result and outputs image data, and a noise suppression unit that suppresses noise of the image data and outputs output data. The noise suppression unit is different in threshold value from the first ε filter that processes the image data and the first ε filter, and has the same number of taps as the first ε filter, and processes the image data. The second ε filter, the second ε filter has the same threshold value, the first ε filter has a different number of taps, the third ε filter that processes the image data, and the first ε filter A weighted adder that weights and adds the output value of the filter, the output value of the second ε filter, the output value of the third ε filter, and the pixel value of the pixel of interest in the image data, and outputs the output data I have To.

また請求項6の発明は、撮像装置に適用して、撮像結果を取得して画像データを出力する撮像部と、前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、前記ノイズ抑圧部は、前記画像データを処理する第1のεフィルタと、前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しく、前記画像データを処理する第2のεフィルタと、前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。また請求項7の発明は、撮像装置に適用して、撮像結果を取得して画像データを出力する撮像部と、前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、前記ノイズ抑圧部は、前記画像データを処理する第1のεフィルタと、前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が異なり、前記画像データを処理する第2のεフィルタと、前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。 The invention of claim 6 is applied to an imaging apparatus, and includes an imaging unit that acquires an imaging result and outputs image data, and a noise suppression unit that suppresses noise of the image data and outputs output data. The noise suppression unit is different from the first ε filter that processes the image data , the first ε filter, and has the same threshold value as the first ε filter, and processes the image data. A weighted addition that outputs the output data by weighted addition of the output value of the first ε filter, the output value of the second ε filter, and the pixel value of the pixel of interest in the image data Part. The invention of claim 7 is applied to an imaging apparatus, and includes an imaging unit that acquires an imaging result and outputs image data, and a noise suppression unit that suppresses noise of the image data and outputs output data. The noise suppression unit processes the image data by using a first ε filter that processes the image data, a first ε filter that has a different number of taps, and a threshold value that is different from the first ε filter. A weighted addition that outputs the output data by weighted addition of the output value of the first ε filter, the output value of the second ε filter, and the pixel value of the pixel of interest in the image data Part.

また請求項の発明は、ノイズ除去装置に適用して、画像データを処理する第1のεフィルタと、前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しく、前記画像データを処理する第2のεフィルタと、前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なり、前記画像データを処理する第3のεフィルタと、前記第2のεフィルタとタップ数が等しく、前記第3のεフィルタとしきい値が等しく、前記画像データを処理する第4のεフィルタと、前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記第4のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。 The invention according to claim 8 is applied to a noise removing device, and the first ε filter for processing image data and the first ε filter are different in the number of taps, and the first ε filter and the threshold value are different from each other. The second ε filter that processes the image data is the same as the second ε filter that processes the image data, and the first ε filter has the same number of taps, the threshold value is different from the first ε filter, and the image data is processed. And the second ε filter has the same number of taps, the third ε filter has the same threshold as the fourth ε filter for processing the image data, the output value of the first ε filter, Weighting that outputs the output data by weighting and adding the output value of the second ε filter, the output value of the third ε filter, the output value of the fourth ε filter, and the pixel value of the pixel of interest in the image data Adder and To have.

また請求項の発明は、ノイズ除去方法に適用して、第1のεフィルタにより画像データを処理する第1の処理ステップと、前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しい第2のεフィルタにより前記画像データを処理する第2の処理ステップと、前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なる第3のεフィルタにより前記画像データを処理する第3の処理ステップと、前記第2のεフィルタとタップ数が等しく、前記第3のεフィルタとしきい値が等しい第4のεフィルタにより前記画像データを処理する第4の処理ステップと、前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記第4のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有するようにする。 The invention according to claim 9 is applied to a noise removal method, wherein a first processing step of processing image data by a first ε filter is different from the first ε filter in the number of taps. a second processing step of processing the image data by a second ε filter having a threshold equal to that of the ε filter, a first processing step in which the number of taps is equal to that of the first ε filter, and the threshold is different from that of the first ε filter. A third processing step of processing the image data by three ε filters, and the image data by a fourth ε filter having the same number of taps as the second ε filter and the same threshold as the third ε filter. A fourth processing step for processing, an output value of the first ε filter, an output value of the second ε filter, an output value of the third ε filter, an output value of the fourth ε filter, The picture A weighted addition step of weighting and adding pixel values of the pixel of interest in the image data and outputting output data.

また請求項10の発明は、ノイズ除去方法のプログラムに適用して、第1のεフィルタにより画像データを処理する第1の処理ステップと、前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しい第2のεフィルタにより前記画像データを処理する第2の処理ステップと、前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なる第3のεフィルタにより前記画像データを処理する第3の処理ステップと、前記第2のεフィルタとタップ数が等しく、前記第3のεフィルタとしきい値が等しい第4のεフィルタにより前記画像データを処理する第4の処理ステップと、前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記第4のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有するようにする。 The invention according to claim 10 is applied to a program of a noise removal method, wherein a first processing step of processing image data by a first ε filter, and the first ε filter are different in the number of taps, and the first A second processing step of processing the image data by a second ε filter having the same threshold value as that of the first ε filter, the first ε filter and the threshold value being equal to each other. A third processing step of processing the image data by a different third ε filter, and a fourth ε filter having the same number of taps as the second ε filter and the same threshold value as the third ε filter. A fourth processing step for processing image data; an output value of the first ε filter; an output value of the second ε filter; an output value of the third ε filter; A weighted addition step of weighting and adding the output value and the pixel value of the pixel of interest in the image data to output the output data.

また請求項11の発明は、画像データのノイズを除去するノイズ除去方法のプログラムを記録した記録媒体に適用して、前記ノイズ除去方法のプログラムは、第1のεフィルタにより前記画像データを処理する第1の処理ステップと、前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しい第2のεフィルタにより前記画像データを処理する第2の処理ステップと、前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なる第3のεフィルタにより前記画像データを処理する第3の処理ステップと、前記第2のεフィルタとタップ数が等しく、前記第3のεフィルタとしきい値が等しい第4のεフィルタにより前記画像データを処理する第4の処理ステップと、前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記第4のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有するようにする。 The invention of claim 11 is applied to a recording medium on which a program of a noise removal method for removing noise of image data is recorded, and the program of the noise removal method processes the image data by a first ε filter. A first processing step, a second processing step in which the image data is processed by a second ε filter having a different number of taps from the first ε filter and having the same threshold value as the first ε filter; A third processing step of processing the image data with a third ε filter having the same number of taps as the first ε filter and a different threshold value from the first ε filter; and the second ε filter and the number of taps And a fourth processing step of processing the image data by a fourth ε filter having the same threshold value as that of the third ε filter, and an output of the first ε filter. Value, the output value of the second ε filter, the output value of the third ε filter, the output value of the fourth ε filter, and the pixel value of the pixel of interest in the image data are output by weighting. And a weighted addition step.

請求項1、請求項4、請求項5、請求項6、請求項7、請求項8、請求項9、請求項10、又は請求項11の構成によれば、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分を抑圧することができ、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができる。 According to the configuration of claim 1, claim 4, claim 5, claim 6, claim 7, claim 8, claim 9, claim 10, or claim 11 , the distance from the target pixel and the target The noise component can be suppressed by weighted addition processing according to the difference value of the pixel value with respect to the pixel value of the pixel, and noise suppression performance comparable to that of the bilateral filter can be ensured with a simple process and configuration. it can.

本発明によれば、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができる。   According to the present invention, noise suppression performance comparable to that of a bilateral filter can be ensured with a simple process and configuration.

以下、適宜図面を参照しながら本発明の実施例を詳述する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.

(1)実施例の構成
図2は、本発明の実施例1のデジタルスチルカメラを示すブロック図である。このデジタルスチルカメラ11において、撮像素子13は、CCD(Charge Coupled Device )固体撮像素子、CMOS(Complementary Metal-Oxide Semiconductor )固体撮像素子等により構成される。撮像素子13は、図示しないレンズユニットにより撮像面に形成された光学像を光電変換処理し、赤色、青色、緑色の画素値をベイヤー配列に対応する順序で順次出力する。
(1) Configuration of Embodiment FIG. 2 is a block diagram illustrating a digital still camera according to Embodiment 1 of the present invention. In the digital still camera 11, the image sensor 13 includes a CCD (Charge Coupled Device) solid-state image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) solid-state image sensor, and the like. The imaging device 13 performs photoelectric conversion processing on an optical image formed on the imaging surface by a lens unit (not shown), and sequentially outputs red, blue, and green pixel values in an order corresponding to the Bayer array.

前処理部14は、撮像素子13の出力信号を相関二重サンプリング処理、自動利得調整処理、アナログディジタル変換処理し、RAWデータD1を出力する。   The preprocessing unit 14 performs correlated double sampling processing, automatic gain adjustment processing, and analog-digital conversion processing on the output signal of the image sensor 13, and outputs RAW data D1.

光学補正部15は、例えばディジタルシグナルプロセッサにより構成され、この前処理部14から出力されるRAWデータD1を欠陥補正処理、ノイズ抑圧処理し、RAWデータD2を出力する。   The optical correction unit 15 is configured by a digital signal processor, for example, and performs defect correction processing and noise suppression processing on the RAW data D1 output from the preprocessing unit 14, and outputs RAW data D2.

画像処理部16は、このRAWデータD2に対してデモザイク処理、解像度変換処理、ガンマ補正処理、ホワイトバランス調整処理、画質補正処理等の画質補正処理を実行し、輝度信号及び色差信号の画像データに変換して出力する。このデジタルスチルカメラ11は、この画像処理部16で処理した画像データを図示しない表示装置で表示し、撮像結果のモニタ画像を表示する。   The image processing unit 16 performs image quality correction processing such as demosaic processing, resolution conversion processing, gamma correction processing, white balance adjustment processing, image quality correction processing, and the like on the RAW data D2 to generate image data of luminance signals and color difference signals. Convert and output. The digital still camera 11 displays the image data processed by the image processing unit 16 on a display device (not shown) and displays a monitor image of the imaging result.

エンコーダ(ENC)17は、例えばJPEG(Joint Photographic Experts Group )等の静止画像の符号化方式により、画像処理部16から出力される画像データをデータ圧縮して出力する。 Encoder (ENC) 17, for example, by encoding method of still images such as JPEG (Joint Photographi c E xperts Group ), and outputs the image data output from the image processing unit 16 and data compression.

インターフェース(IF)18は、このエンコーダ17の出力データ、又は光学補正部15から出力されるRAWデータD2を記録媒体19に記録する。記録媒体19は、この実施例ではメモリカードであり、インターフェース18から出力される各種のデータを記録する。なお記録媒体19は、メモリカードに限らず、光ディスク、磁気ディスク等、種々の記録媒体を広く適用することができる。   The interface (IF) 18 records the output data of the encoder 17 or the RAW data D2 output from the optical correction unit 15 on the recording medium 19. The recording medium 19 is a memory card in this embodiment, and records various data output from the interface 18. The recording medium 19 is not limited to a memory card, and various recording media such as an optical disk and a magnetic disk can be widely applied.

図3は、光学補正部15のノイズ除去処理に関する構成を示すブロック図である。光学補正部15は、前処理部14から出力されるRAWデータD1をラインバッファ21を介して入力する。   FIG. 3 is a block diagram showing a configuration relating to noise removal processing of the optical correction unit 15. The optical correction unit 15 inputs the RAW data D1 output from the preprocessing unit 14 via the line buffer 21.

周辺画素参照部22は、それぞれ画像データD1を出力可能な複数のラインバッファの直列回路で構成され、バッファ21から出力されるRAWデータD1を順次入力して転送しながら、これら複数のラインバッファからRAWデータD1を同時並列的に出力することにより、RAWデータD1により構成されるモザイク画像上に順次注目画素を設定し、この注目画素の画像データと対応する周辺画素の画像データとを順次出力する。   The peripheral pixel reference unit 22 is composed of a series circuit of a plurality of line buffers each capable of outputting the image data D1, and sequentially inputs and transfers the RAW data D1 output from the buffer 21, from the plurality of line buffers. By simultaneously outputting the RAW data D1 in parallel, the target pixel is sequentially set on the mosaic image constituted by the RAW data D1, and the image data of the target pixel and the image data of the corresponding peripheral pixels are sequentially output. .

高域通過フィルタ23は、周辺画素参照部22から出力されるRAWデータを帯域制限し、高域成分を選択的に出力する。   The high-pass filter 23 limits the band of the RAW data output from the peripheral pixel reference unit 22 and selectively outputs a high-frequency component.

高域ノイズ除去部24は、2次元のメディアンフィルタ等で構成され、高域通過フィルタ23の出力データからノイズを抑圧して出力する。   The high-frequency noise removing unit 24 is configured by a two-dimensional median filter or the like, and suppresses noise from the output data of the high-pass filter 23 and outputs it.

低域通過フィルタ25は、周辺画素参照部22から出力されるRAWデータを帯域制限し、低域成分の画像データD3を出力する。   The low-pass filter 25 band-limits the RAW data output from the peripheral pixel reference unit 22 and outputs low-frequency component image data D3.

低域ノイズ除去部26は、低域通過フィルタ25の出力データD3からノイズを抑圧し、画像データD4を出力する。   The low-frequency noise removing unit 26 suppresses noise from the output data D3 of the low-pass filter 25 and outputs image data D4.

画像合成部28は、高域ノイズ除去部24の出力データ、低域ノイズ除去部26の出力データD4を加算し、ノイズを抑圧したRAWデータD2を出力する。   The image composition unit 28 adds the output data of the high frequency noise removing unit 24 and the output data D4 of the low frequency noise removing unit 26, and outputs RAW data D2 in which noise is suppressed.

図1は、低域ノイズ除去部26の構成を詳細に示すブロック図である。この低域ノイズ除去部26は、低域通過フィルタ25から出力される画像データD3をラインバッファ31を介して入力する。   FIG. 1 is a block diagram showing in detail the configuration of the low-frequency noise removing unit 26. The low-frequency noise removing unit 26 inputs the image data D3 output from the low-pass filter 25 via the line buffer 31.

周辺画素参照部32は、それぞれ画像データD3を出力可能な複数のラインバッファの直列回路で構成され、バッファ31から出力される画像データD3を順次入力して転送しながら、これら複数のラインバッファから画像データD3を同時並列的に出力することにより、画像データD3により構成される画像上に順次注目画素を設定し、この注目画素の画像データと、この注目画素を中心とした処理領域の対応する画像データとを順次出力する。なおここで図1では、図25との対比により、注目画素P(X,Y)の画素値をIN(X,Y) で表し、処理領域における他の画素P(PX,PY)の画素値をIN(PX,PY) で表す。 The peripheral pixel reference unit 32 is composed of a series circuit of a plurality of line buffers each capable of outputting the image data D3, and sequentially inputs and transfers the image data D3 output from the buffer 31 while transferring the image data D3 from the plurality of line buffers. By simultaneously outputting the image data D3 in parallel, the target pixel is sequentially set on the image constituted by the image data D3, and the image data of the target pixel corresponds to the processing region centered on the target pixel. Image data is output sequentially. In FIG. 1, the pixel value of the target pixel P (X, Y) is represented by IN (X, Y) by comparison with FIG. 25, and the pixel value of the other pixel P (PX, PY) in the processing region. Is represented by IN (PX, PY).

多段εフィルタ部33は、周辺画素参照部32の出力データを入力して処理することにより、エッジ成分を保存しつつ、バイラテラルフィルタとほぼ同等の滑らかさで、画像データD3のノイズを抑圧して画像データD4を出力する。多段εフィルタ部33は、εフィルタ部34に設けられた複数のεフィルタ35A〜35Dに周辺画素参照部32の出力データを入力する。   The multistage epsilon filter unit 33 receives and processes the output data of the peripheral pixel reference unit 32, thereby suppressing the noise of the image data D3 with the same smoothness as the bilateral filter while preserving the edge component. Image data D4. The multistage ε filter unit 33 inputs the output data of the peripheral pixel reference unit 32 to the plurality of ε filters 35 </ b> A to 35 </ b> D provided in the ε filter unit 34.

すなわちεフィルタ部34において、εフィルタ35A〜35Dは、それぞれタップ数及びしきい値がN1及びT1、N1及びT2、N2及びT1、N2及びT2のεフィルタである。ここでタップ数N1、N2は、N1<N2であり、タップ数N2は、処理領域に対応するタップ数である。またしきい値T1及びT2は、T1<T2である。   That is, in the ε filter unit 34, the ε filters 35A to 35D are ε filters having tap numbers and thresholds of N1 and T1, N1 and T2, N2 and T1, N2 and T2, respectively. Here, the tap numbers N1 and N2 are N1 <N2, and the tap number N2 is the tap number corresponding to the processing region. The threshold values T1 and T2 are T1 <T2.

乗算部36A〜36Dは、それぞれ重み付け係数K1〜K4でεフィルタ35A〜35Dの出力データを乗算して出力する。乗算部37は、注目画素P(X,Y) の画素値IN(X,Y) を重み付け係数K0で乗算して出力する。 Multipliers 36A to 36D multiply the output data of ε filters 35A to 35D by weighting coefficients K1 to K4, respectively, and output the result. The multiplication unit 37 multiplies the pixel value IN (X, Y) of the target pixel P (X, Y) by the weighting coefficient K0 and outputs the result.

加算部38は、これら乗算部36A〜36Dの出力データ、乗算部37の出力データを加算し、ノイズを抑圧した低域成分の画像データD4を出力する。   The adder 38 adds the output data of the multipliers 36A to 36D and the output data of the multiplier 37, and outputs low-frequency component image data D4 in which noise is suppressed.

このεフィルタ35A〜35D、乗算部36A〜36D、37、加算部38の構成により、多段εフィルタ部33は、タップ数が異なり、しきい値の等しいεフィルタの出力値を重み付け加算した特性と、しきい値が異なり、タップ数の等しいεフィルタの出力値、注目画素P(X,Y) の画素値IN(PX,PY) を重み付け加算した特性との合成の特性で表される(図10参照)The ε filter 35A to 35D, the multiplying unit 36A-36D, 37, the configuration of the adder 38, the multi-stage ε filter unit 33 has a different number of taps, the weighted sum of the output values equal ε filter threshold characteristics When, different threshold, the output value of equal ε filter of tap number, noted pixel P (X, Y) represented by the characteristics of the combination of the pixel value iN (PX, PY) obtained by adding the weighting characteristics of (See FIG. 10) .

ここで図4において、符号Aにより、GA=( 7 ×ε(7, T) +6 ×ε(3, T)) /13で表されるX方向の周波数特性を示す。この周波数特性は、タップ数が異なり、しきい値の等しいεフィルタの出力値を重み付け加算した特性である。なおここでこの周波数特性は、タップ数7、しきい値Tのεフィルタε(7, T)の出力値と、タップ数3、しきい値Tのεフィルタε(3, T)の出力値を、重み付け係数7/13、6/13で重み付け加算した場合の周波数特性であり、全ての入力値がしきい値以下の場合である。またεフィルタε(7, T)は、X方向のタップ係数が〔1 1 1 1 1 1 1 〕であり、εフィルタε(3, T)は、X方向のタップ係数が〔0 0 1 1 1 0 0 〕である。またGA=( 7 ×ε(7, T) +6 ×ε(3, T)) /13で表されるX方向の周波数特性は、タップ係数が〔1 1 3 3 3 1 1 〕のεフィルタの周波数特性と同等である。 Here, in FIG. 4, the frequency characteristic in the X direction represented by GA = (7 * [epsilon] (7, T) + 6 * [epsilon] (3, T)) / 13 is shown by the symbol A. This frequency characteristic is a characteristic obtained by weighted addition of output values of ε filters having different tap numbers and equal thresholds. Here, the frequency characteristics are as follows: output value of ε filter ε (7, T) with 7 taps and threshold T, and output value of ε filter ε (3, T) with 3 taps and threshold T Is a frequency characteristic when weighted by 7/13 and 6/13, and all input values are equal to or less than a threshold value. The ε filter ε (7, T) has a tap coefficient in the X direction of [1 1 1 1 1 1 1], and the ε filter ε (3, T) has a tap coefficient in the X direction of [0 0 1 1 1 0 0]. In addition, the frequency characteristic in the X direction represented by GA = (7 × ε (7, T) + 6 × ε (3, T)) / 13 is that of the ε filter having a tap coefficient of [1 1 3 3 3 1 1]. It is equivalent to frequency characteristics.

これに対して図4において、符号Bは、σsが1.65の場合の、(1)式で表される距離係数Wsの周波数特性である。なおこの周波数特性は、σsを1.65に設定し、エッジ係数Weを値1に設定した場合のバイラテラルフィルタの周波数特性を示すものであり、このバイラテラルフィルタでは、X方向のタップ係数が〔1 5 19 48 83 100 83 48 19 5 1 〕となる。この符号A及びBの周波数特性を比較すれば、ゲインが0.2以上の場合には、ほぼ同一の周波数特性であることが判る。従ってσsを1.65、エッジ係数Weを値1に設定した場合のバイラテラルフィルタの周波数特性は、タップ数が異なり、しきい値の等しいεフィルタの出力値の重み付け加算により近似させることができる。   On the other hand, in FIG. 4, symbol B is a frequency characteristic of the distance coefficient Ws represented by the equation (1) when σs is 1.65. This frequency characteristic shows the frequency characteristic of the bilateral filter when σs is set to 1.65 and the edge coefficient We is set to a value of 1. In this bilateral filter, the tap coefficient in the X direction is [1 5 19 48 83 100 83 48 19 5 1]. Comparing the frequency characteristics of the codes A and B, it can be seen that when the gain is 0.2 or more, the frequency characteristics are almost the same. Accordingly, the frequency characteristics of the bilateral filter when σs is set to 1.65 and the edge coefficient We is set to 1 can be approximated by weighted addition of output values of ε filters having different tap numbers and equal thresholds. .

なお次式は、タップ係数が〔1 1 3 3 3 1 1 〕のεフィルタの周波数特性を、タップ数が3タップ及び7タップであって、しきい値の等しいεフィルタの出力値の重み付け加算により実現できることを検証する数式である。   The following equation shows the frequency characteristics of the ε filter with the tap coefficient [1 1 3 3 3 1 1], and the weighted addition of the output values of the ε filter with the same number of taps and 3 taps and 7 taps. It is a mathematical expression that verifies that it can be realized.

Figure 0004288623
Figure 0004288623

また図5において符号C〜Eは、εフィルタε(7, T)、εフィルタε(3, T)の出力値の合成比率をそれぞれ1:3、2:2、3:1に設定した場合の周波数特性を示す図である。この図5の周波数特性により、合成比率を変化させれば、σsが種々に異なる場合でも、同様に、エッジ係数Weを値1に設定した場合のバイラテラルフィルタの周波数特性を、タップ数が異なり、しきい値の等しいεフィルタの出力値の重み付け加算により実現できることが判る。   In FIG. 5, symbols C to E indicate the case where the composition ratios of the output values of the ε filter ε (7, T) and ε filter ε (3, T) are set to 1: 3, 2: 2, 3: 1, respectively. It is a figure which shows the frequency characteristic. If the synthesis ratio is changed according to the frequency characteristics of FIG. 5, the frequency characteristics of the bilateral filter when the edge coefficient We is set to a value of 1 are different from each other even when σs varies. It can be seen that this can be realized by weighted addition of the output values of the ε filters having the same threshold value.

これに対して図6は、σeが値1.0の場合の、(2)式で表されるエッジ係数Weの値を示す特性曲線図である。なおこの特性は、距離係数Wsを値1に設定し、σeを1.0に設定した場合のバイラテラルフィルタの応答と等価である。この図6では、縦軸であるエッジ係数Weの値を100倍して示し、横軸が、注目画素P(X,Y)の画素値IN(X,Y) と処理領域の他の画素P(PX,PY)の画素値IN(PX,PY) との差分絶対値である。この図6において、差分絶対値が値0の場合、エッジ係数Weは値1となり、差分絶対値が値1の場合、エッジ係数Weは値0.61となる。また差分絶対値が値2の場合、エッジ係数Weは値0.14となり、差分絶対値が値3以上の場合、エッジ係数Weはほぼ値0となる。 On the other hand, FIG. 6 is a characteristic curve diagram showing the value of the edge coefficient We expressed by Equation (2) when σe is 1.0. This characteristic is equivalent to the response of the bilateral filter when the distance coefficient Ws is set to the value 1 and σe is set to 1.0. In FIG. 6, the value of the edge coefficient We on the vertical axis is shown multiplied by 100, and the horizontal axis represents the pixel value IN (X, Y) of the target pixel P (X, Y) and other pixels P in the processing area. The absolute value of the difference between the pixel value IN (PX, PY) of (PX, PY). In FIG. 6, when the difference absolute value is 0, the edge coefficient We has a value of 1, and when the difference absolute value has a value of 1, the edge coefficient We has a value of 0.61. When the absolute difference value is 2, the edge coefficient We is 0.14. When the absolute difference value is 3 or more, the edge coefficient We is almost 0.

従ってこのガウス曲線によるエッジ係数Weの特性は、差分絶対値が増大するに従って順次階段状に値の減少する特性と等価であると言える。従ってこの階段状の値の減少値を重み付け係数に設定して、この図6における各画素差分値をしきい値に設定したεフィルタの出力値を重み付け加算すれば、図7に示すように、距離係数Wsを値1に設定し、σeを1.0に設定した場合のバイラテラルフィルタの応答を確保することができる。 Therefore, it can be said that the characteristic of the edge coefficient We by this Gaussian curve is equivalent to the characteristic that the value decreases in a stepwise manner as the absolute difference value increases. Therefore, if the decrease value of the step-like value is set as a weighting coefficient, and the output value of the ε filter in which each pixel difference value in FIG. 6 is set as a threshold value is weighted and added, as shown in FIG. It is possible to ensure the response of the bilateral filter when the distance coefficient Ws is set to the value 1 and σe is set to 1.0.

すなわちこの距離係数Wsを値1に設定し、σeを1.0に設定した場合のバイラテラルフィルタの応答GBは、14/100×ε(N,2) +47/100×ε(N,1) +39/100×IN(X,Y) で表すことができ、しきい値が異なり、タップ数の等しいεフィルタの出力値と、注目画素P(X,Y) の画素値IN(X,Y) との重み付け加算により実現することができる。なお図7では、それぞれ数字14、47は、εフィルタε(N,2) 、ε(N,1) の重みを100倍した値であり、数字39は、注目画素P(X,Y)の画素値IN(X,Y) の重みを100倍した値である。   That is, the response GB of the bilateral filter when the distance coefficient Ws is set to 1 and σe is set to 1.0 is 14/100 × ε (N, 2) + 47/100 × ε (N, 1) + 39/100 × IN (X, Y), the threshold value is different, the output value of the ε filter with the same number of taps, and the pixel value IN (X, Y) of the target pixel P (X, Y) Can be realized by weighted addition. In FIG. 7, numerals 14 and 47 are values obtained by multiplying the weights of the ε filters ε (N, 2) and ε (N, 1) by 100, respectively, and a numeral 39 is the pixel of interest P (X, Y). This is a value obtained by multiplying the weight of the pixel value IN (X, Y) by 100.

ここで次式は、この距離係数Wsを値1に設定した場合のバイラテラルフィルタの周波数特性を、しきい値が異なり、タップ数の等しいεフィルタの出力値の重み付け加算により実現できることを検証する数式である。この数式において、OUTe(X,Y) は、距離係数Wsを値1に設定した場合のバイラテラルフィルタの出力値を示す。またε(N,0) は、しきい値Tが値0のεフィルタであり、注目画素P(X,Y)の画素値IN(X,Y) と等価である。従ってこの数式の変形によっても、距離係数Wsを値1に設定した場合のバイラテラルフィルタの周波数特性を、しきい値が異なり、タップ数の等しいεフィルタの出力値と、注目画素P(X,Y) の画素値IN(X,Y) との重み付け加算により実現できることが判る。 Here, the following expression verifies that the frequency characteristics of the bilateral filter when the distance coefficient Ws is set to the value 1 can be realized by weighted addition of the output values of the ε filters having different threshold values and the same number of taps. It is a mathematical formula. In this equation, OUTe (X, Y) represents the output value of the bilateral filter when the distance coefficient Ws is set to the value 1. Ε (N, 0) is an ε filter having a threshold value T of 0, and is equivalent to the pixel value IN (X, Y) of the pixel of interest P (X, Y). Therefore, even by the modification of this mathematical expression, the frequency characteristics of the bilateral filter when the distance coefficient Ws is set to the value 1, the output value of the ε filter having different threshold values and the same number of taps, and the target pixel P (X, It can be seen that this can be realized by weighted addition of the pixel value IN (X, Y) of Y).

Figure 0004288623
Figure 0004288623

これに対して図8は、σeが値10の場合の、(2)式で表されるエッジ係数Weの値を示す特性曲線図である。この場合、図6について上述したσeが値1.0の場合に対して、差分絶対値を10倍に拡大したことになり、従って図7との対比により図9に示すように、σeの値に対応するようにしきい値を10倍に設定したεフィルタの出力値と、注目画素P(X,Y) の画素値IN(X,Y) との重み付け加算により、バイラテラルフィルタの周波数特性を実現できることが判る。なおこの図9に示す例では、ガウス曲線の近似精度が劣化することになるが、εフィルタの段数を増大させれば、近似精度を向上させることができる。   On the other hand, FIG. 8 is a characteristic curve diagram showing the value of the edge coefficient We expressed by equation (2) when σe is 10. In this case, the absolute value of the difference is increased 10 times as compared with the case where σe described above with reference to FIG. 6 is 1.0, so that the value of σe is compared with FIG. 7 as shown in FIG. The frequency characteristic of the bilateral filter is obtained by weighted addition of the output value of the ε filter with the threshold value set to 10 times so as to correspond to the pixel value IN (X, Y) of the target pixel P (X, Y). It turns out that it can be realized. In the example shown in FIG. 9, the approximation accuracy of the Gaussian curve deteriorates, but the approximation accuracy can be improved by increasing the number of stages of the ε filter.

従ってσs=1.65, σs=1.0 のバイラテラルフィルタは、図10に示すように、複数のεフィルタの出力値の重み付け加算処理により構成することができる。すなわちこの図10の例では、しきい値が2、1、0に設定された3タップのεフィルタε(3,2) 、ε(3,1) 、ε(3,0) の出力値をそれぞれ重み付け係数0.14、0.47、0.39で重み付け加算して第1の加算値を生成し、またしきい値が2、1、0に設定された7タップのεフィルタε(7,2) 、ε(7,1) 、ε(7,0) の出力値をそれぞれ重み付け係数0.14、0.47、0.39で重み付け加算して第2の加算値を生成する。また第1及び第2の加算値をそれぞれ重み付け係数6/13、7/13で重み付け加算し、σs=1.65, σs=1.0 のバイラテラルフィルタを構成することができる。   Therefore, a bilateral filter with σs = 1.65 and σs = 1.0 can be configured by weighted addition processing of output values of a plurality of ε filters, as shown in FIG. That is, in the example of FIG. 10, the output values of the 3-tap ε filters ε (3,2), ε (3,1), ε (3,0) whose threshold values are set to 2, 1, 0 are used. A first addition value is generated by weighted addition with weighting factors of 0.14, 0.47, and 0.39, respectively, and a 7-tap ε filter ε (7,2), ε () with threshold values set to 2, 1, 0, respectively. 7,1) and ε (7,0) are weighted and added with weighting coefficients 0.14, 0.47, and 0.39, respectively, to generate a second added value. Further, the bilateral filter of σs = 1.65 and σs = 1.0 can be configured by weighting and adding the first and second addition values with the weighting coefficients 6/13 and 7/13, respectively.

ここでこの図10に示す構成は、次式により表現することができる。   Here, the configuration shown in FIG. 10 can be expressed by the following equation.

Figure 0004288623
Figure 0004288623

またこの(7)式は、整理して次式で表すことができる。従ってしきい値が2、1の3タップのεフィルタε(3,2) 、ε(3,1) の出力値、しきい値が2、1の7タップのεフィルタε(7,2) 、ε(7,1) の出力値、注目画素P(X,Y) の画素値IN(X,Y) との重み付け加算により、σs=1.65, σs=1.0 のバイラテラルフィルタを構成することができる。   This equation (7) can be rearranged and expressed by the following equation. Therefore, the output value of the ε filter ε (3,2), ε (3,1) with a threshold of 2, 1 and ε (3,1), and the ε filter ε (7,2) with a threshold of 2, 1 , Ε (7,1) and the pixel value IN (X, Y) of the target pixel P (X, Y) can be weighted to form a bilateral filter with σs = 1.65 and σs = 1.0. it can.

Figure 0004288623
Figure 0004288623

この(8)式に対応して、εフィルタ35A〜35D(図1)は、タップ数N1、N2が値3、7に設定され、またしきい値T1、T2が値1、値2に設定される。また乗算部37の重み付け係数K0、乗算部36A〜36Dの重み付け係数K1〜K4が、(8)式で表される係数に設定される。   Corresponding to the equation (8), in the ε filters 35A to 35D (FIG. 1), the tap numbers N1 and N2 are set to values 3 and 7, and the thresholds T1 and T2 are set to values 1 and 2. Is done. Further, the weighting coefficient K0 of the multiplication unit 37 and the weighting coefficients K1 to K4 of the multiplication units 36A to 36D are set to the coefficients represented by the equation (8).

図11は、図1の構成による低域ノイズ除去部26の処理手順を示すフローチャートである。なおここで width、heightは、処理対象である画像データD3の水平方向及び垂直方向の画素数であり、i、jは、それぞれ注目画素の垂直方向及び水平方向の位置を、height、 widthとの対比により示す変数である。   FIG. 11 is a flowchart showing a processing procedure of the low-frequency noise removing unit 26 having the configuration shown in FIG. Here, width and height are the numbers of pixels in the horizontal and vertical directions of the image data D3 to be processed, and i and j are the vertical and horizontal positions of the target pixel, respectively, with height and width. It is a variable indicated by contrast.

この処理手順を開始すると、低域ノイズ除去部26は、ステップSP1からステップSP2に移り、垂直方向の位置を示す変数iを値0に初期化する。また続くステップSP3において、水平方向の位置を示す変数jを値0に初期化する。続いて低域ノイズ除去部26は、ステップSP4において、加算部38における加算値を示す変数sum を値0に初期化する。   When this processing procedure is started, the low-frequency noise removing unit 26 proceeds from step SP1 to step SP2, and initializes a variable i indicating the position in the vertical direction to a value of zero. In the subsequent step SP3, the variable j indicating the horizontal position is initialized to the value 0. Subsequently, in step SP4, the low frequency noise removing unit 26 initializes a variable sum indicating the added value in the adding unit 38 to a value 0.

続いて低域ノイズ除去部26は、乗算部37において、注目画素P(X,Y) の画素値IN(X,Y) を係数K0で重み付けして変数sum に加算する。また続くステップSP6において、εフィルタ35A〜35Dを特定する変数kを0に初期化する。また続くステップSP7において、変数kで特定されるεフィルタで周辺画素参照部32の出力データを処理し、この変数kで特定されるεフィルタの出力値を、対応する係数で重み付けして変数sum に加算する。   Subsequently, the low-frequency noise removing unit 26 weights the pixel value IN (X, Y) of the target pixel P (X, Y) with the coefficient K0 in the multiplying unit 37 and adds the weighted value to the variable sum. In the subsequent step SP6, a variable k that specifies the ε filters 35A to 35D is initialized to zero. In the subsequent step SP7, the output data of the peripheral pixel reference unit 32 is processed by the ε filter specified by the variable k, and the output value of the ε filter specified by the variable k is weighted by the corresponding coefficient to obtain the variable sum. Add to.

低域ノイズ除去部26は、続くステップSP8において、変数kを値1だけインクリメントする。また続くステップSP9で未処理のεフィルタが残っているか否か判断し、ここで肯定結果が得られると、ステップSP7に戻る。従って低域ノイズ除去部26は、順次εフィルタを切り換えて、各εフィルタの出力値を重み付けして加算し、全てのεフィルタで処理を完了すると、ステップSP9で否定結果が得られ、ステップSP10に移る。   In the subsequent step SP8, the low-frequency noise removing unit 26 increments the variable k by the value 1. In subsequent step SP9, it is determined whether or not an unprocessed ε filter remains. If a positive result is obtained, the process returns to step SP7. Therefore, the low frequency noise removing unit 26 sequentially switches the ε filters, weights and adds the output values of the ε filters, and when the processing is completed for all the ε filters, a negative result is obtained in step SP9, and step SP10. Move on.

低域ノイズ除去部26は、このステップSP10において、変数sum の加算値を出力し、続くステップSP11で、水平方向の位置を示す変数jを値1だけインクリメントする。また続くステップSP12でこの変数jを水平方向の画素数 widthと比較して1ライン分の処理が未だ完了していないか否か判断する。   In step SP10, the low-frequency noise removing unit 26 outputs the added value of the variable sum, and in subsequent step SP11, the variable j indicating the horizontal position is incremented by 1. In subsequent step SP12, this variable j is compared with the number of pixels in the horizontal direction width, and it is determined whether or not the processing for one line has not been completed yet.

ここで肯定結果が得られると、低域ノイズ除去部26は、ステップSP4に戻り、続く水平方向の注目画素について処理を繰り返す。これに対してステップSP12で否定結果が得られると、低域ノイズ除去部26は、ステップSP13に移り、垂直方向の位置を示す変数iを値1だけインクリメントし、続くステップSP14でこの変数iを垂直方向の画素数heightと比較して1画面分の処理が未だ完了していないか否か判断する。   If a positive result is obtained here, the low-frequency noise removal unit 26 returns to step SP4 and repeats the process for the subsequent pixel of interest in the horizontal direction. On the other hand, if a negative result is obtained in step SP12, the low frequency noise removing unit 26 proceeds to step SP13, increments the variable i indicating the position in the vertical direction by a value of 1, and then sets this variable i in step SP14. It is determined whether or not the processing for one screen has been completed as compared with the number of pixels height in the vertical direction.

ここで肯定結果が得られると、低域ノイズ除去部26は、ステップSP3に戻り、続くラインの処理を開始する。これに対してステップSP14で否定結果が得られると、ステップSP15に移り、ノイズ抑圧処理を完了する。   If an affirmative result is obtained here, the low-frequency noise removing unit 26 returns to step SP3 and starts processing the subsequent line. On the other hand, if a negative result is obtained in step SP14, the process proceeds to step SP15 to complete the noise suppression process.

(2)実施例の動作
以上の構成において、このデジタルスチルカメラ11では(図2)、撮像素子13から出力される撮像信号が前処理部14でアナログディジタル変換処理されてRAWデータD1が生成され、このRAWデータD1のノイズが光学補正部15で抑圧される。また続く画像処理部16において、RAWデータD2がデモザイク処理されてフルカラーの画像データが生成され、このフルカラーの画像データが輝度信号及び色差信号による画像データに変換された後、エンコーダ17によりデータ圧縮されて記録媒体19に記録される。またユーザーがRAWデータによる記録を指示した場合には、光学補正部15から出力されるRAWデータD2が記録媒体19に記録される。
(2) Operation of Embodiment In the above configuration, in the digital still camera 11 (FIG. 2), the imaging signal output from the imaging device 13 is subjected to analog-digital conversion processing by the preprocessing unit 14 to generate RAW data D1. The noise of the RAW data D1 is suppressed by the optical correction unit 15. In the subsequent image processing unit 16, the RAW data D2 is demosaiced to generate full-color image data. The full-color image data is converted into image data based on a luminance signal and a color-difference signal, and then compressed by the encoder 17. To be recorded on the recording medium 19. When the user instructs recording using RAW data, the RAW data D <b> 2 output from the optical correction unit 15 is recorded on the recording medium 19.

この光学補正部15におけるノイズ除去処理において(図3)、RAWデータD1は、ラインバッファ21、周辺画素参照部22を介して高域通過フィルタ23、低域通過フィルタ25に入力され、ここでそれぞれ高域成分及び低域成分に分離される。またこれら高域成分及び低域成分がそれぞれ高域ノイズ除去部24、低域ノイズ除去部26に入力されてノイズが抑圧された後、画像合成部28で合成されてRAWデータD2が生成される。従ってこのデジタルスチルカメラ11では、RAWデータD1による画像データを高域成分と低域成分とに帯域分離してそれぞれノイズ抑圧することになり、何ら帯域分離することなくノイズ抑圧する場合に比して、画質の劣化を低減して効率良くノイズを抑圧することができる。   In the noise removal processing in the optical correction unit 15 (FIG. 3), the RAW data D1 is input to the high-pass filter 23 and the low-pass filter 25 via the line buffer 21 and the peripheral pixel reference unit 22, where Separated into high and low frequency components. These high frequency components and low frequency components are respectively input to the high frequency noise removing unit 24 and the low frequency noise removing unit 26 to suppress noise, and then synthesized by the image synthesis unit 28 to generate RAW data D2. . Therefore, in this digital still camera 11, image data based on the RAW data D1 is band-separated into a high-frequency component and a low-frequency component, and noise suppression is performed, compared to a case where noise suppression is performed without any band separation. Therefore, it is possible to efficiently suppress noise by reducing image quality degradation.

ここでこの光学補正部15における低域側のノイズの抑圧は、従来、εフィルタを適用してエッジ成分を保存しつつノイズを抑圧し、画質の劣化を防止しているものの、ノイズ抑圧性能にさらなる改善が求められている。このノイズ抑圧の処理にεフィルタに代えてバイラテラルフィルタを使用すれば、一段とノイズ抑圧性能を向上することができるものの、構成、処理が煩雑になる。   Here, the low-frequency noise suppression in the optical correction unit 15 is conventionally applied with an ε filter to suppress the noise while preserving the edge component to prevent the deterioration of the image quality. Further improvement is required. If a bilateral filter is used in place of the ε filter for the noise suppression processing, the noise suppression performance can be further improved, but the configuration and processing become complicated.

そこでこのデジタルスチルカメラ11では(図1)、ラインバッファ31、周辺画素参照部32を介して低域成分の画像データD3が多段εフィルタ部33に入力され、複数のεフィルタ35A〜35Dの出力値と、注目画素P(X,Y) の画素値IN(X,Y) との重み付け加算により、バイラテラルフィルタと同様に、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分が抑圧される。   Therefore, in the digital still camera 11 (FIG. 1), the low-frequency component image data D3 is input to the multistage ε filter unit 33 via the line buffer 31 and the peripheral pixel reference unit 32, and the outputs of the plurality of ε filters 35A to 35D. The distance from the target pixel and the difference between the pixel value of the target pixel and the pixel value of the target pixel by weighted addition of the value and the pixel value IN (X, Y) of the target pixel P (X, Y) The noise component is suppressed by weighted addition processing according to the value.

従ってこのデジタルスチルカメラ11では、単にεフィルタを使用してノイズを抑圧する場合に比して格段的にノイズ抑圧性能を向上することができる。すなわち具体的には、単にεフィルタを使用してノイズを抑圧する場合に比して、エッジを滑らかに保存して十分にノイズを抑圧することができる。   Therefore, the digital still camera 11 can significantly improve the noise suppression performance as compared with the case where noise is suppressed by simply using the ε filter. Specifically, compared to a case where noise is suppressed by simply using an ε filter, the edges can be stored smoothly and noise can be sufficiently suppressed.

また構成が簡易なεフィルタ35A〜35Dを用いてノイズを抑圧することができることにより、バイラテラルフィルタを使用する場合に比して、構成、処理を簡略化することができる。すなわちこの実施例のεフィルタは、係数が値1の平均処理を実行するフィルタであることから、割り算の計算における分母が平均値化処理する画素数となる。従って分母が有限な整数値となり、例えばルックアップテーブル等を用いて割り算の処理を実行することができる。また係数が値1であることから、分子の計算も簡単であり、従って全体として計算が簡単な特徴がある。従って低域ノイズ除去部26をソフトウエアで構成する場合には、処理を簡略化することができ、またハードウエアで構成する場合には、構成を簡略化し、さらには並列処理して処理速度を高速度化することができる。   Further, since noise can be suppressed using the ε filters 35A to 35D having a simple configuration, the configuration and processing can be simplified as compared with the case of using a bilateral filter. That is, since the ε filter of this embodiment is a filter that executes an averaging process with a coefficient of 1, the denominator in the division calculation is the number of pixels to be averaged. Accordingly, the denominator becomes a finite integer value, and for example, division processing can be executed using a lookup table or the like. Further, since the coefficient is 1, the calculation of the numerator is easy, and therefore, the calculation is easy as a whole. Therefore, when the low-frequency noise removing unit 26 is configured by software, the processing can be simplified. When the low-frequency noise removing unit 26 is configured by hardware, the configuration is simplified, and further, parallel processing is performed to increase the processing speed. The speed can be increased.

またさらに単なる重み付け係数を用いた線形合成の処理によりノイズを抑圧することにより、この重み付け係数を変更する等により、ノイズ除去フィルタとしての特性を柔軟に変更することができる。   Furthermore, by suppressing the noise by linear synthesis processing using a simple weighting coefficient, the characteristic as a noise removal filter can be flexibly changed by changing the weighting coefficient.

(3)実施例の効果
以上の構成によれば、複数のεフィルタの出力値と、注目画素の画素値とを重み付け加算して画像データのノイズを抑圧することにより、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができる。すなわちタップ数及びしきい値がN1及びT1、N2及びT1、N1及びT2、N2及びT2に設定された第1〜第4のεフィルタの出力値と、注目画素の画素値とを重み付け加算して画像データのノイズを抑圧することにより、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができる。
(3) Advantages of the embodiment According to the above configuration, the noise of the image data is suppressed by weighting and adding the output values of the plurality of ε filters and the pixel value of the pixel of interest. Therefore, it is possible to ensure the same noise suppression performance as that of the bilateral filter. That is, the output values of the first to fourth ε filters whose tap numbers and thresholds are set to N1 and T1, N2 and T1, N1 and T2, N2 and T2, and the pixel value of the target pixel are weighted and added. By suppressing the noise of the image data, it is possible to ensure the same noise suppression performance as that of the bilateral filter with a simple process and configuration.

図12は、図1との対比により本発明の実施例2のデジタルスチルカメラに適用される低域ノイズ除去部を示すブロック図である。ここでRAWデータにおいて、輝度レベルが小さい箇所は、画像処理部16の画像処理で適用されるγ曲線による画素値の補正により、又はコンピュータ等におけるRAWデータの現像処理で適用されるγ曲線による画素値の補正により、ノイズが目立つようになる。そこでこの実施例において、低域ノイズ除去部46は、制御部47により乗算部36A〜36Dにおける重み付け係数K1〜K4を可変し、輝度レベルが小さい箇所程、ノイズ抑圧量を増大させて画像データD3のノイズを抑圧する。より具体的には、等価的に、バイラテラルフィルタにおいて距離係数Wsを計算するσsが、暗い部分程、大きくなるように、重み付け係数K1〜K4を可変する。この実施例のデジタルスチルカメラは、この重み付け係数K1〜K4の可変に関する構成を除いて、実施例1のデジタルスチルカメラ11と同一に構成される。   FIG. 12 is a block diagram showing a low-frequency noise removing unit applied to the digital still camera according to the second embodiment of the present invention in comparison with FIG. Here, in the RAW data, a portion with a low luminance level is a pixel by a γ curve applied by correction of a pixel value by a γ curve applied in the image processing of the image processing unit 16 or by development processing of the RAW data in a computer or the like. By correcting the value, noise becomes noticeable. Therefore, in this embodiment, the low-frequency noise removing unit 46 varies the weighting coefficients K1 to K4 in the multiplying units 36A to 36D by the control unit 47, and increases the noise suppression amount as the luminance level is smaller, thereby increasing the image data D3. Suppresses noise. More specifically, the weighting coefficients K1 to K4 are varied so that σs for calculating the distance coefficient Ws in the bilateral filter becomes larger as the darker portion. The digital still camera according to this embodiment is configured in the same manner as the digital still camera 11 according to the first embodiment except for the configuration relating to the variable of the weighting coefficients K1 to K4.

すなわち低域ノイズ除去部46において、制御部47は、周辺画素参照部32から出力される画像データを入力し、所定ブロック毎に、平均輝度レベルを計算する。なお所定ブロック毎の平均輝度レベルに代えて、画素毎に、輝度レベルを計算するようにしてもよい。制御部47は、この計算した輝度レベルに応じて、図13に示す特性曲線により輝度レベルが増大するに従って値が減少するように、パラメータαsを計算する。   That is, in the low frequency noise removing unit 46, the control unit 47 receives the image data output from the peripheral pixel reference unit 32, and calculates an average luminance level for each predetermined block. Instead of the average luminance level for each predetermined block, the luminance level may be calculated for each pixel. The controller 47 calculates the parameter αs according to the calculated luminance level so that the value decreases as the luminance level increases according to the characteristic curve shown in FIG.

またこの計算したパラメータαsを用いて、次式により示すように、しきい値がT1の3タップのεフィルタ35Aと、対応する7タップのεフィルタ35Cとの合成比率が変化するように、またこれに連動してしきい値がT2の3タップのεフィルタ35Bと、対応する7タップのεフィルタ35Dとの合成比率が変化するように、乗算部36A〜36Dにおける重み付け係数K1〜K4を可変する。従って低域ノイズ除去部46は、この場合、輝度レベルが低い箇所程、タップ数の少ないεフィルタの出力信号成分が増大するように、重み付け係数K1〜K4を可変する。   Further, using the calculated parameter αs, as shown by the following equation, the composition ratio of the 3-tap ε filter 35A having a threshold value T1 and the corresponding 7-tap ε filter 35C changes, and In conjunction with this, the weighting coefficients K1 to K4 in the multipliers 36A to 36D are variable so that the synthesis ratio of the 3-tap ε filter 35B having a threshold value T2 and the corresponding 7-tap ε filter 35D changes. To do. Therefore, in this case, the low-frequency noise removing unit 46 varies the weighting coefficients K1 to K4 so that the output signal component of the ε filter having a smaller number of taps increases at a lower luminance level.

Figure 0004288623
Figure 0004288623

ここで図14において、符号L1、L2、L3は、それぞれ3タップのεフィルタの出力信号と7タップのεフィルタの出力信号とを、3:1、1:1、1:3で合成した場合の周波数特性である。この図14に示すように、タップ数の少ないεフィルタの出力信号成分が増大するように、重み付け係数K1〜K4を可変すれば、カットオフ周波数を低下させることができ、ノイズを抑圧する能力を増大させることができる。   Here, in FIG. 14, the symbols L1, L2, and L3 are obtained when the output signal of the 3-tap ε filter and the output signal of the 7-tap ε filter are respectively combined at a ratio of 3: 1, 1: 1, and 1: 3. It is the frequency characteristic. As shown in FIG. 14, if the weighting coefficients K1 to K4 are varied so that the output signal component of the ε filter having a small number of taps is increased, the cutoff frequency can be lowered and the ability to suppress noise can be achieved. Can be increased.

この実施例によれば、輝度レベルの低い部分程、タップ数の少ないεフィルタの出力信号成分が増大するように、重み付け係数を可変することにより、一段と効率良くノイズを除去して実施例1と同様の効果を得ることができる。   According to this embodiment, the noise is more efficiently removed by changing the weighting coefficient so that the output signal component of the ε filter having a smaller number of taps increases as the luminance level becomes lower. Similar effects can be obtained.

この実施例では、明るい部分における光学ショットノイズを低減する。このためこの実施例においては、等価的に、バイラテラルフィルタにおいてエッジ係数Weを計算するσeが、明るい部分程、大きくなるように、εフィルタの特性を可変する。なおこの実施例では、このεフィルタの特性の可変に関する構成が異なる点を除いて、実施例2のデジタルスチルカメラと同一に構成されることから、以下においては、図12の構成を流用して説明する。   In this embodiment, optical shot noise in a bright part is reduced. For this reason, in this embodiment, equivalently, the characteristic of the ε filter is varied so that σe for calculating the edge coefficient We in the bilateral filter becomes larger in the brighter part. Note that this embodiment is configured in the same way as the digital still camera of the second embodiment except that the configuration relating to the variable characteristics of the ε filter is different. Therefore, in the following, the configuration of FIG. 12 is used. explain.

すなわち低域ノイズ除去部46において、制御部47は、周辺画素参照部32から出力される画像データを入力し、所定ブロック毎に、平均輝度レベルを計算する。なお所定ブロック毎の平均輝度レベルに代えて、画素毎に、輝度レベルを計算するようにしてもよい。制御部47は、この計算した輝度レベルに応じて、図15に示す特性曲線により輝度レベルが増大するに従って値が増大するように、パラメータαeを計算する。   That is, in the low frequency noise removing unit 46, the control unit 47 receives the image data output from the peripheral pixel reference unit 32, and calculates an average luminance level for each predetermined block. Instead of the average luminance level for each predetermined block, the luminance level may be calculated for each pixel. The controller 47 calculates the parameter αe according to the calculated brightness level so that the value increases as the brightness level increases according to the characteristic curve shown in FIG.

またこの計算したパラメータαeを用いて、次式により示すように、3タップのεフィルタ35A、35Bのしきい値をαeに設定し、また7タップのεフィルタ35C、35Dのしきい値を2αeに設定する。従ってこの場合、低域ノイズ除去部46は、図16に示すように、タップ数の異なるεフィルタのしきい値の比率を一定値に維持したまま、明るい部分程、大きくなるようにしきい値を可変し、明るい部分における光学ショットノイズを低減する。 Further, using the calculated parameter αe , the threshold value of the 3-tap ε filters 35A and 35B is set to αe, and the threshold value of the 7-tap ε filters 35C and 35D is set to 2αe as shown by the following equation. Set to. Therefore, in this case, as shown in FIG. 16, the low-frequency noise removing unit 46 sets the threshold value so that the brighter part becomes larger while the ratio of the threshold values of the ε filters having different tap numbers is kept constant. Variable to reduce optical shot noise in bright areas.

Figure 0004288623
Figure 0004288623

この実施例によれば、タップ数の異なるεフィルタのしきい値の比率を一定値に維持したまま、明るい部分程、大きくなるようにしきい値を可変することにより、明るい部分における光学ショットノイズを低減して一段と効率良くノイズを除去し、実施例1と同様の効果を得ることができる。   According to this embodiment, the optical shot noise in the bright part is reduced by changing the threshold value so that the brighter part becomes larger while the ratio of the threshold values of the ε filters having different tap numbers is maintained at a constant value. The noise can be reduced and noise can be removed more efficiently, and the same effect as in the first embodiment can be obtained.

この実施例では、実施例2及び3で上述したノイズ除去処理の構成を併用し、暗い部分におけるノイズと、明るい部分における光学ショットノイズとの双方を低減する。なおこの実施例では、このノイズ除去処理に関する構成が異なる点を除いて、実施例2のデジタルスチルカメラと同一に構成されることから、以下においては、図12の構成を流用して説明する。   In this embodiment, the configuration of the noise removal processing described above in Embodiments 2 and 3 is used together to reduce both noise in a dark portion and optical shot noise in a bright portion. Note that this embodiment is configured in the same manner as the digital still camera according to the second embodiment except that the configuration relating to the noise removal processing is different. Therefore, the configuration shown in FIG.

すなわち低域ノイズ除去部46において、制御部47は、周辺画素参照部32から出力される画像データを入力し、所定ブロック毎に、平均輝度レベルを計算する。なお所定ブロック毎の平均輝度レベルに代えて、画素毎に、輝度レベルを計算するようにしてもよい。制御部47は、この計算した輝度レベルに応じて、図13に示す特性曲線により輝度レベルが増大するに従って値が減少するように、パラメータαsを計算する。また図15に示す特性曲線により輝度レベルが増大するに従って値が増大するように、パラメータαeを計算する。   That is, in the low frequency noise removing unit 46, the control unit 47 receives the image data output from the peripheral pixel reference unit 32, and calculates an average luminance level for each predetermined block. Instead of the average luminance level for each predetermined block, the luminance level may be calculated for each pixel. The controller 47 calculates the parameter αs according to the calculated luminance level so that the value decreases as the luminance level increases according to the characteristic curve shown in FIG. Further, the parameter αe is calculated so that the value increases as the luminance level increases according to the characteristic curve shown in FIG.

またこの計算したパラメータαe、αsを用いて、次式により示すように、3タップのεフィルタ35A、35B、7タップのεフィルタ35C、35Dのしきい値をαe、2αeに設定し、また3タップのεフィルタ35Aと、対応する7タップのεフィルタ35Cとの合成比率、3タップのεフィルタ35Bと、対応する7タップのεフィルタ35Dとの合成比率を可変する。   Further, using the calculated parameters αe and αs, the threshold values of the 3-tap ε filters 35A and 35B and the 7-tap ε filters 35C and 35D are set to αe and 2αe, as shown by the following equation. The synthesis ratio of the tap ε filter 35A and the corresponding 7-tap ε filter 35C is varied. The synthesis ratio of the 3-tap ε filter 35B and the corresponding 7-tap ε filter 35D is varied.

Figure 0004288623
Figure 0004288623

この実施例によれば、輝度レベルの低い部分程、タップ数の少ないεフィルタの出力信号成分が増大するように、重み付け係数を可変すると共に、タップ数の異なるεフィルタのしきい値の比率を一定値に維持したまま、明るい部分程、大きくなるようにしきい値を可変することにより、明るい部分における光学ショットノイズと、暗い部分におけるγ曲線によるノイズとを低減して一段と効率良くノイズを除去し、実施例1と同様の効果を得ることができる。   According to this embodiment, the weighting coefficient is varied and the ratio of the threshold values of the ε filters having different tap numbers is set so that the output signal component of the ε filter having a smaller number of taps increases as the luminance level decreases. By changing the threshold value so that the brighter part becomes larger while maintaining a constant value, the optical shot noise in the bright part and the noise due to the γ curve in the dark part are reduced, and the noise is removed more efficiently. The effect similar to Example 1 can be acquired.

図17は、図1との対比により本発明の実施例5のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。この低域ノイズ除去部56は、タップ数N2、しきい値T2のεフィルタ35D、このεフィルタ35Dに係る乗算部36Dが省略された点を除いて、上述の実施例と同一に構成される。   FIG. 17 is a block diagram illustrating a configuration of a low-frequency noise removing unit applied to the digital still camera according to the fifth exemplary embodiment of the present invention in comparison with FIG. The low-frequency noise removing unit 56 is configured in the same manner as the above-described embodiment except that the tap number N2, the ε filter 35D having the threshold value T2, and the multiplication unit 36D related to the ε filter 35D are omitted. .

ここで図18は、図9との対比により、図1の低域ノイズ除去部26におけるεフィルタ35A〜35Dの処理の説明に供する略線図である。なおここでこの図18及び以降の説明では、εフィルタ35A〜35Dの出力をそれぞれ符号a〜dで示す。図1の例による低域ノイズ除去部26では、差分絶対値がしきい値T1より小さい場合、εフィルタ35A〜35Dの出力が合成されて出力されることになる(図18(A))。これに対して差分絶対値がしきい値T1より大きく、しきい値T2より小さい場合、しきい値がT2のεフィルタ35B、35Dの出力のみが合成されて出力されることになる(図18(B))。従って注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分を抑圧し、単にεフィルタを使用する場合に比して、ノイズ除去性能を向上することができる。 Here, FIG. 18 is a schematic diagram for explaining the processing of the ε filters 35A to 35D in the low frequency noise removing unit 26 of FIG. Here, in FIG. 18 and the following description, the outputs of the ε filters 35A to 35D are respectively indicated by symbols a to d. In the low-frequency noise removing unit 26 according to the example of FIG. 1, when the difference absolute value is smaller than the threshold value T1 , the outputs of the ε filters 35A to 35D are combined and output (FIG. 18A). On the other hand, when the absolute difference value is larger than the threshold value T1 and smaller than the threshold value T2 , only the outputs of the ε filters 35B and 35D having the threshold value T2 are synthesized and output (FIG. 18). (B)). Therefore, the noise component is suppressed by weighted addition processing according to the distance from the target pixel and the difference value of the pixel value with respect to the pixel value of the target pixel, and the noise removal performance is improved as compared with the case where the ε filter is simply used. Can be improved.

ここで図17の例では、図19に示すように、差分絶対値がしきい値T1より小さい場合、εフィルタ35A〜35Cの出力が合成されて出力されることになり(図19(A))、差分絶対値がしきい値T1より大きく、しきい値T2より小さい場合、しきい値がT2のεフィルタ35Bの出力のみが出力されることになる(図19(B))。従ってこの図17の例でも、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分を抑圧し、単にεフィルタを使用する場合に比して、ノイズ除去性能を向上することができる。 In the example of FIG. 17, as shown in FIG. 19, when the absolute difference value is smaller than the threshold value T1 , the outputs of the ε filters 35A to 35C are combined and output (FIG. 19A). ) When the absolute difference value is larger than the threshold value T1 and smaller than the threshold value T2 , only the output of the ε filter 35B having the threshold value T2 is output (FIG. 19B). Therefore, also in the example of FIG. 17 , the noise component is suppressed by weighting addition processing according to the distance from the pixel of interest and the difference value of the pixel value with respect to the pixel value of the pixel of interest, compared with the case where the ε filter is simply used. Thus, noise removal performance can be improved.

この実施例によれば、第1のεフィルタと、この第1のεフィルタとタップ数が異なる第2のεフィルタと、第1のεフィルタとしきい値が異なる第3のεフィルタと、注目画素の画素値とを重み付け加算するようにしても、実施例1と同様の効果を得ることができる。   According to this embodiment, the first ε filter, the second ε filter having a different number of taps from the first ε filter, the third ε filter having a threshold value different from that of the first ε filter, Even if the pixel values of the pixels are weighted and added, the same effect as in the first embodiment can be obtained.

図20は、図1との対比により本発明の実施例6のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。この低域ノイズ除去部66は、タップ数N2、しきい値T1のεフィルタ35C、このεフィルタ35Cに係る乗算部36Cが省略された点を除いて、上述の実施例と同一に構成される。   FIG. 20 is a block diagram illustrating a configuration of a low-frequency noise removing unit applied to the digital still camera according to the sixth embodiment of the present invention in comparison with FIG. The low-frequency noise removing unit 66 is configured in the same manner as in the above-described embodiment except that the tap number N2, the ε filter 35C having the threshold T1, and the multiplication unit 36C related to the ε filter 35C are omitted. .

ここで図18との対比により図21に示すように、この図20の例では、差分絶対値がしきい値T1より小さい場合、εフィルタ35A、35B、35Dの出力が合成されて出力されることになり(図21(A))、差分絶対値がしきい値T1より大きく、しきい値T2より小さい場合、しきい値がT2のεフィルタ35B、35Dの出力が合成されて出力されることになる(図21(B))。従ってこの図20の例でも、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分を抑圧し、単にεフィルタを使用する場合に比して、ノイズ除去性能を向上することができる。 Here, as shown in FIG. 21 in comparison with FIG. 18, in the example of FIG. 20, when the difference absolute value is smaller than the threshold value T1 , the outputs of the ε filters 35A, 35B, and 35D are synthesized and output. thing becomes (FIG. 21 (a)), the absolute value difference is larger than the threshold value T1, if the threshold T2 is smaller than, epsilon filter 35B thresholds T2, the output of the 35D is output after being synthesized (FIG. 21B). Accordingly, in the example of FIG. 20 as well, the noise component is suppressed by weighted addition processing according to the distance from the target pixel and the difference value of the pixel value with respect to the pixel value of the target pixel, compared with the case where the ε filter is simply used. Thus, noise removal performance can be improved.

この実施例によれば、第1のεフィルタと、この第1のεフィルタとしきい値が異なる第2のεフィルタと、第2のεフィルタのしきい値で、第1のεフィルタとタップ数が異なる第3のεフィルタと、注目画素の画素値とを重み付け加算するようにしても、実施例1と同様の効果を得ることができる。   According to this embodiment, the first ε filter, the second ε filter having a threshold value different from the first ε filter, and the threshold value of the second ε filter, the first ε filter and the tap are used. Even if the third ε filters having different numbers and the pixel value of the target pixel are weighted and added, the same effect as in the first embodiment can be obtained.

図22は、図1との対比により本発明の実施例7のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。この低域ノイズ除去部76は、タップ数N1、しきい値T1のεフィルタ35A、このεフィルタ35Aに係る乗算部36A、タップ数N2、しきい値T2のεフィルタ35D、このεフィルタ35Dに係る乗算部36Dが省略された点を除いて、上述の実施例と同一に構成される。   FIG. 22 is a block diagram illustrating a configuration of a low-frequency noise removing unit applied to the digital still camera according to the seventh embodiment of the present invention in comparison with FIG. The low-frequency noise removing unit 76 includes a tap number N1, an ε filter 35A having a threshold value T1, a multiplying unit 36A related to the ε filter 35A, a tap number N2, an ε filter 35D having a threshold value T2, and an ε filter 35D. Except for the point that the multiplication unit 36D is omitted, the configuration is the same as that of the above-described embodiment.

ここで図18との対比により図23に示すように、この図22の例では、差分絶対値がしきい値T1より小さい場合、εフィルタ35B、35Cの出力が合成されて出力されることになり(図23(A))、差分絶対値がしきい値T1より大きく、しきい値T2より小さい場合、しきい値がT2のεフィルタ35Bの出力が出力されることになる(図23(B))。従ってこの図22の例でも、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分を抑圧し、単にεフィルタを使用する場合に比して、ノイズ除去性能を向上することができる。なお、εフィルタ35B、35Cに代えて、εフィルタ35A、35B、又はεフィルタ35A、35Dを用いてεフィルタ部34を構成するようにしてもよい。 Here, as shown in FIG. 23 in comparison with FIG. 18, in the example of FIG. 22, when the difference absolute value is smaller than the threshold value T1, the outputs of the ε filters 35B and 35C are combined and output. When the difference absolute value is larger than the threshold value T1 and smaller than the threshold value T2, the output of the ε filter 35B having the threshold value T2 is output (FIG. 23 (A)). B)). Therefore, in the example of FIG. 22 as well, the noise component is suppressed by weighted addition processing according to the distance from the target pixel and the difference value of the pixel value with respect to the pixel value of the target pixel, compared with the case where the ε filter is simply used. Thus, noise removal performance can be improved. Incidentally, epsilon filter 35B, instead of 35C, epsilon filter 35A, 35 B, or may be configured to epsilon filter unit 34 using epsilon filter 35A, the 35D.

この実施例によれば、第1のεフィルタと、この第1のεフィルタとタップ数が異なる第2のεフィルタと、注目画素の画素値とを重み付け加算するようにしても、実施例1と同様の効果を得ることができる。 According to this embodiment, the first ε filter, the second ε filter having a different number of taps from the first ε filter, and the pixel value of the target pixel may be weighted and added. The same effect can be obtained.

なお上述の実施例においては、図24(A)の模式図により示すように、3タップのεフィルタと7タップのεフィルタとの出力を所定の重み付け係数(図24の例では、a及びb)で重み付け加算する場合について述べたが、本発明はこれに限らず、図24(A)との対比により図24(B)に示すように、3タップのεフィルタで計算した処理領域を除くように、残りのフィルタで条件付き平均値化の処理を実行し、3タップのεフィルタで計算した計算結果との合成により7タップのεフィルタの出力を求めるようにしてもよい。なおこの図24では、各フィルタの処理領域をハッチングで示す。この図24の例によれば、一段と処理を簡略化することができる。 In the above-described embodiment, as shown in the schematic diagram of FIG. 24A, the outputs of the 3-tap ε filter and the 7-tap ε filter are set to predetermined weighting coefficients (a and b in the example of FIG. 24). However, the present invention is not limited to this, and the processing region calculated by the 3-tap ε filter is excluded as shown in FIG. 24B in comparison with FIG. As described above, conditional averaging may be performed with the remaining filters, and the output of the 7-tap ε filter may be obtained by combining with the calculation result calculated with the 3-tap ε filter. In FIG. 24, the processing area of each filter is indicated by hatching. According to the example of FIG. 24, the processing can be further simplified.

また上述の実施例においては、輝度レベルに応じて処理を切り換える場合について述べたが、本発明はこれに限らず、輝度レベルに代えて特定のεフィルタにおけるしきい値以下のサンプル数に応じて処理を切り換える場合等、種々の手法を組み合わせるようにしてもよい。   In the above-described embodiments, the case where the processing is switched according to the luminance level has been described. However, the present invention is not limited to this, and according to the number of samples equal to or less than the threshold value in a specific ε filter instead of the luminance level. Various methods may be combined such as when processing is switched.

また上述の実施例においては、低域側のノイズを単に複数のεフィルタで除去する場合について述べたが、本発明はこれに限らず、メディアンフィルタなどの他のフィルタを組み合わせてノイズ除去するようにしてもよい。   In the above-described embodiments, the case where noise on the low frequency side is simply removed by a plurality of ε filters has been described. However, the present invention is not limited to this, and noise may be removed by combining other filters such as a median filter. It may be.

また上述の実施例においては、画像データを高域成分と低域成分とに分離してノイズを除去する場合について述べたが、本発明はこれに限らず、例えばバンドパスフィルタを用いて3帯域以上に分離して処理する場合、何ら帯域分離せずに直接処理する場合等にも広く適用することができる。   In the above-described embodiment, the case where the image data is separated into the high frequency component and the low frequency component to remove the noise has been described. However, the present invention is not limited to this, and for example, three bands using a band pass filter. In the case of separate processing as described above, the present invention can be widely applied to the case of direct processing without any band separation.

また上述の実施例においては、RAWデータのノイズを除去する場合について述べたが、本発明はこれに限らず、フルカラーの画像データ、輝度信号及び色差信号による画像データ等、種々のフォーマットによる画像データのノイズを除去する場合に広く適用することができる。   In the above-described embodiments, the case of removing noise from RAW data has been described. However, the present invention is not limited to this, and image data in various formats such as full-color image data, image data using luminance signals and color difference signals, and the like. It can be widely applied to removing noise.

また上述の実施例においては、デモザイク処理の前段階でノイズを除去する場合について述べたが、本発明はこれに限らず、デモザイク処理の後にノイズ除去する場合、画像処理部における処理途中、処理後にノイズ除去する場合等、種々の過程でノイズ除去する場合に広く適用することができる。   Further, in the above-described embodiment, the case where noise is removed at the stage before demosaic processing has been described. However, the present invention is not limited to this, and when noise removal is performed after demosaic processing, during the processing in the image processing unit, after processing The present invention can be widely applied to noise removal in various processes such as noise removal.

また上述の実施例においては、係数が値1のεフィルタを使用する場合について述べたが、本発明はこれに限らず、係数が1以外のεフィルタを使用する場合にも広く適用することができる。   In the above-described embodiments, the case where the ε filter having a coefficient of 1 is used has been described. However, the present invention is not limited to this, and the present invention can be widely applied to cases where an ε filter having a coefficient other than 1 is used. it can.

また上述の実施例においては、画素値の差分絶対値、注目画素からの距離をパラメータにしてガウス曲線の特性により重み付けが変化するように設定してバイラテラルフィルタと同様の特性を確保する場合について述べたが、本発明はこれに限らず、ガウス曲線に代えて種々の特性により重み付けが変化するように設定してもよい。   Also, in the above-described embodiment, the case where the same characteristic as the bilateral filter is ensured by setting the absolute value of the pixel value difference and the distance from the target pixel as parameters to change the weight according to the characteristics of the Gaussian curve. As described above, the present invention is not limited to this, and the weight may be set to change according to various characteristics instead of the Gaussian curve.

また上述の実施例においては、本発明をデジタルスチルカメラ、デジタルビデオカメラに適用する場合について述べたが、本発明はこれに限らず、画像データを処理する各種画像処理装置、各種画像処理プログラムに広く適用することができる。なおこの画像処理プログラムは、コンピュータ、画像処理装置等に事前にインストールして提供するようにしてもよく、またこれに代えて光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
In the above-described embodiments, a digital still camera of the present invention has been described when applied to a digital video camera, the present invention is not limited to this, various types of image processing apparatus for processing image Zode over data, various images It can be widely applied to processing programs. The image processing program may be provided by being installed in advance in a computer, an image processing apparatus, or the like, or alternatively, provided by being recorded on various recording media such as an optical disk, a magnetic disk, or a memory card. Alternatively, it may be provided by downloading via a network such as the Internet.

本発明は、例えばデジタルスチルカメラに適用することができる。   The present invention can be applied to, for example, a digital still camera.

本発明の実施例1のデジタルスチルカメラにおける低域ノイズ除去部の構成を示すブロック図である。It is a block diagram which shows the structure of the low-pass noise removal part in the digital still camera of Example 1 of this invention. 本発明の実施例1のデジタルスチルカメラを示すブロック図である。It is a block diagram which shows the digital still camera of Example 1 of this invention. 図2のデジタルスチルカメラにおける光学補正部の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of an optical correction unit in the digital still camera of FIG. 2. εフィルタとバイラテラルフィルタとの特性を示す特性曲線図である。It is a characteristic curve figure which shows the characteristic of an epsilon filter and a bilateral filter. 複数のεフィルタの出力の合成の説明に供する特性曲線図である。It is a characteristic curve figure with which it uses for description of the synthetic | combination of the output of several epsilon filter. バイラテラルフィルタにおけるエッジ係数の説明に供する特性曲線図である。It is a characteristic curve figure with which it uses for description of the edge coefficient in a bilateral filter. 複数のεフィルタの出力の合成の説明に供する特性曲線図である。It is a characteristic curve figure with which it uses for description of the synthetic | combination of the output of several epsilon filter. σeを10倍にした場合のバイラテラルフィルタにおけるエッジ係数の説明に供する特性曲線図である。It is a characteristic curve figure with which it uses for description of the edge coefficient in a bilateral filter when (sigma) e is 10 times. 図8の例に対応する複数のεフィルタの出力の合成の説明に供する特性曲線図である。It is a characteristic curve figure with which it uses for description of the synthetic | combination of the output of the some (epsilon) filter corresponding to the example of FIG. タップ数、しきい値の異なるεフィルタの出力の合成の説明に供する略線図である。It is a basic diagram with which it uses for description of the synthesis | combination of the output of (epsilon) filter from which a tap number and a threshold value differ. 図1の低域ノイズ除去部の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the low frequency noise removal part of FIG. 本発明の実施例2のデジタルスチルカメラに適用される低域ノイズ除去部を示すブロック図である。It is a block diagram which shows the low-pass noise removal part applied to the digital still camera of Example 2 of this invention. パラメータαsを示す特性曲線図である。It is a characteristic curve figure which shows parameter (alpha) s. 合成比率を可変した場合の周波数特性を示す特性曲線図である。It is a characteristic curve figure which shows the frequency characteristic at the time of changing a synthetic | combination ratio. パラメータαeを示す特性曲線図である。It is a characteristic curve figure which shows parameter (alpha) e. 図15のパラメータの説明に供する特性曲線図である。It is a characteristic curve figure with which it uses for description of the parameter of FIG. 本発明の実施例5のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。It is a block diagram which shows the structure of the low-pass noise removal part applied to the digital still camera of Example 5 of this invention. 図1の構成によるεフィルタの処理の説明に供する略線図である。It is a basic diagram with which it uses for description of the process of the epsilon filter by the structure of FIG. 図17の低域ノイズ除去部の処理の説明に供する略線図である。It is a basic diagram with which it uses for description of the process of the low frequency noise removal part of FIG. 本発明の実施例6のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。It is a block diagram which shows the structure of the low-pass noise removal part applied to the digital still camera of Example 6 of this invention. 図20の低域ノイズ除去部の処理の説明に供する略線図である。It is a basic diagram with which it uses for description of the process of the low frequency noise removal part of FIG. 本発明の実施例7のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。It is a block diagram which shows the structure of the low-pass noise removal part applied to the digital still camera of Example 7 of this invention. 図22の低域ノイズ除去部の処理の説明に供する略線図である。It is a basic diagram with which it uses for description of the process of the low frequency noise removal part of FIG. 他の実施例による低域ノイズ除去部の構成の説明に供する模式図である。It is a schematic diagram with which it uses for description of the structure of the low-pass noise removal part by another Example. バイラテラルフィルタを示すブロック図である。It is a block diagram which shows a bilateral filter. バイラテラルフィルタの動作の説明に供する略線図である。It is an approximate line figure used for explanation of operation of a bilateral filter.

符号の説明Explanation of symbols

1……バイラテラルフィルタ、11……デジタルスチルカメラ、15……光学補正部、26、46、56、66……低域ノイズ除去部、33……多段εフィルタ部、34……εフィルタ部、35A〜35D……εフィルタ、36A〜36D、37……乗算部、38……加算部、47……制御部
DESCRIPTION OF SYMBOLS 1 ... Bilateral filter, 11 ... Digital still camera, 15 ... Optical correction part, 26, 46, 56, 66 ... Low-pass noise removal part, 33 ... Multistage ε filter part, 34 ... ε filter part , 35A to 35D... Ε filter, 36A to 36D, 37... Multiplication unit, 38.

Claims (11)

撮像結果を取得して画像データを出力する撮像部と、
前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、
前記ノイズ抑圧部は、
前記画像データを処理する第1のεフィルタと、
前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しく、前記画像データを処理する第2のεフィルタと、
前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なり、前記画像データを処理する第3のεフィルタと、
前記第2のεフィルタとタップ数が等しく、前記第3のεフィルタとしきい値が等しく、前記画像データを処理する第4のεフィルタと、
前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記第4のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有す
像装置。
An imaging unit that acquires imaging results and outputs image data;
A noise suppression unit that suppresses noise of the image data and outputs output data;
The noise suppressor is
A first ε filter for processing the image data;
A second ε filter that has a different number of taps from the first ε filter, has the same threshold value as the first ε filter, and processes the image data;
A third ε filter having the same number of taps as the first ε filter, a threshold value different from that of the first ε filter, and processing the image data;
A fourth ε filter that has the same number of taps as the second ε filter, has the same threshold value as the third ε filter, and processes the image data;
The output value of the first ε filter, the output value of the second ε filter, the output value of the third ε filter, the output value of the fourth ε filter, and the pixel value of the pixel of interest in the image data that having a weighting adder for outputting the output data by weighted addition
Imaging device.
前記画像データの輝度レベルを検出し、輝度レベル検出結果に基づいて、前記輝度レベルの低い部分程、タップ数の少ないεフィルタの出力信号成分が増大するように、前記加算部における重み付け係数を可変する制御部を有す
求項1に記載の撮像装置。
Detects the luminance level of the image data, and based on the luminance level detection result, the weighting coefficient in the adding unit is variable so that the output signal component of the ε filter with a smaller number of taps increases as the luminance level becomes lower that having a control unit for
The imaging apparatus according to Motomeko 1.
前記画像データの輝度レベルを検出し、輝度レベル検出結果に基づいて、前記輝度レベルの高い部分程、しきい値が大きくなるように、前記第1〜第4のεフィルタのしきい値を可変する制御部を有す
求項1に記載の撮像装置。
The brightness level of the image data is detected, and based on the brightness level detection result, the threshold values of the first to fourth ε filters are varied so that the threshold value increases as the brightness level increases. that having a control unit for
The imaging apparatus according to Motomeko 1.
撮像結果を取得して画像データを出力する撮像部と、
前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、
前記ノイズ抑圧部は、
前記画像データを処理する第1のεフィルタと、
前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しく、前記画像データを処理する第2のεフィルタと、
前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なり、前記画像データを処理する第3のεフィルタと、
前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有す
像装置。
An imaging unit that acquires imaging results and outputs image data;
A noise suppression unit that suppresses noise of the image data and outputs output data;
The noise suppressor is
A first ε filter for processing the image data;
A second ε filter that has a different number of taps from the first ε filter, has the same threshold value as the first ε filter, and processes the image data;
A third ε filter having the same number of taps as the first ε filter, a threshold value different from that of the first ε filter, and processing the image data;
The output value is output by weighted addition of the output value of the first ε filter, the output value of the second ε filter, the output value of the third ε filter, and the pixel value of the target pixel in the image data. that have a weighting addition unit
Imaging device.
撮像結果を取得して画像データを出力する撮像部と、
前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、
前記ノイズ抑圧部は、
前記画像データを処理する第1のεフィルタと、
前記第1のεフィルタとしきい値が異なり、前記第1のεフィルタとタップ数が等しく、前記画像データを処理する第2のεフィルタと、
前記第2のεフィルタとしきい値が等しく、前記第1のεフィルタとタップ数が異なり、前記画像データを処理する第3のεフィルタと、
前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有す
像装置。
An imaging unit that acquires imaging results and outputs image data;
A noise suppression unit that suppresses noise of the image data and outputs output data;
The noise suppressor is
A first ε filter for processing the image data;
A second ε filter having a different threshold value from the first ε filter, having the same number of taps as the first ε filter, and processing the image data;
A third ε filter that has the same threshold value as the second ε filter, has a different number of taps than the first ε filter, and processes the image data;
The output value is output by weighted addition of the output value of the first ε filter, the output value of the second ε filter, the output value of the third ε filter, and the pixel value of the target pixel in the image data. that have a weighting addition unit
Imaging device.
撮像結果を取得して画像データを出力する撮像部と、
前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、
前記ノイズ抑圧部は、
前記画像データを処理する第1のεフィルタと、
前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しく、前記画像データを処理する第2のεフィルタと、
前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有す
像装置。
An imaging unit that acquires imaging results and outputs image data;
A noise suppression unit that suppresses noise of the image data and outputs output data;
The noise suppressor is
A first ε filter for processing the image data;
A second ε filter that has a different number of taps from the first ε filter, has the same threshold value as the first ε filter, and processes the image data;
The output value of the first ε filter, an output value of the second ε filter, that having a weighting adder for outputting the output data by weighted addition of pixel values of the pixel of interest in the image data
Imaging device.
撮像結果を取得して画像データを出力する撮像部と、
前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、
前記ノイズ抑圧部は、
前記画像データを処理する第1のεフィルタと、
前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が異なり、前記画像データを処理する第2のεフィルタと、
前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有する
撮像装置
An imaging unit that acquires imaging results and outputs image data;
A noise suppression unit that suppresses noise of the image data and outputs output data;
The noise suppressor is
A first ε filter for processing the image data;
The first ε filter has a different number of taps, the first ε filter has a threshold value different from that of the first ε filter, and processes the image data.
A weighted adder that weights and adds the output value of the first ε filter, the output value of the second ε filter, and the pixel value of the pixel of interest in the image data, and outputs the output data.
Imaging device .
画像データを処理する第1のεフィルタと、
前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しく、前記画像データを処理する第2のεフィルタと、
前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なり、前記画像データを処理する第3のεフィルタと、
前記第2のεフィルタとタップ数が等しく、前記第3のεフィルタとしきい値が等しく、前記画像データを処理する第4のεフィルタと、
前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記第4のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有す
イズ除去装置。
A first ε filter for processing image data;
A second ε filter that has a different number of taps from the first ε filter, has the same threshold value as the first ε filter, and processes the image data;
A third ε filter having the same number of taps as the first ε filter, a threshold value different from that of the first ε filter, and processing the image data;
A fourth ε filter that has the same number of taps as the second ε filter, has the same threshold value as the third ε filter, and processes the image data;
The output value of the first ε filter, the output value of the second ε filter, the output value of the third ε filter, the output value of the fourth ε filter, and the pixel value of the pixel of interest in the image data that having a weighting adder for outputting the output data by weighted addition
Noise removal device.
第1のεフィルタにより画像データを処理する第1の処理ステップと、
前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しい第2のεフィルタにより前記画像データを処理する第2の処理ステップと、
前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なる第3のεフィルタにより前記画像データを処理する第3の処理ステップと、
前記第2のεフィルタとタップ数が等しく、前記第3のεフィルタとしきい値が等しい第4のεフィルタにより前記画像データを処理する第4の処理ステップと、
前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記第4のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有す
イズ除去方法。
A first processing step of processing image data with a first ε filter;
A second processing step of processing the image data with a second ε filter having a different number of taps from the first ε filter and having the same threshold value as the first ε filter;
A third processing step of processing the image data by a third ε filter having the same number of taps as the first ε filter and having a threshold value different from that of the first ε filter;
A fourth processing step of processing the image data by a fourth ε filter having the same number of taps as the second ε filter and the same threshold value as the third ε filter;
The output value of the first ε filter, the output value of the second ε filter, the output value of the third ε filter, the output value of the fourth ε filter, and the pixel value of the pixel of interest in the image data that weighted addition to having a weighting adding step of outputting the output data
Noise removal method.
第1のεフィルタにより画像データを処理する第1の処理ステップと、
前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しい第2のεフィルタにより前記画像データを処理する第2の処理ステップと、
前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なる第3のεフィルタにより前記画像データを処理する第3の処理ステップと、
前記第2のεフィルタとタップ数が等しく、前記第3のεフィルタとしきい値が等しい第4のεフィルタにより前記画像データを処理する第4の処理ステップと、
前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記第4のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有す
イズ除去方法のプログラム。
A first processing step of processing image data with a first ε filter;
A second processing step of processing the image data with a second ε filter having a different number of taps from the first ε filter and having the same threshold value as the first ε filter;
A third processing step of processing the image data by a third ε filter having the same number of taps as the first ε filter and having a threshold value different from that of the first ε filter;
A fourth processing step of processing the image data by a fourth ε filter having the same number of taps as the second ε filter and the same threshold value as the third ε filter;
The output value of the first ε filter, the output value of the second ε filter, the output value of the third ε filter, the output value of the fourth ε filter, and the pixel value of the pixel of interest in the image data that weighted addition to having a weighting adding step of outputting the output data
Program of noise removal methods.
画像データのノイズを除去するノイズ除去方法のプログラムを記録した記録媒体において、
前記ノイズ除去方法のプログラムは、
第1のεフィルタにより前記画像データを処理する第1の処理ステップと、
前記第1のεフィルタとタップ数が異なり、前記第1のεフィルタとしきい値が等しい第2のεフィルタにより前記画像データを処理する第2の処理ステップと、
前記第1のεフィルタとタップ数が等しく、前記第1のεフィルタとしきい値が異なる第3のεフィルタにより前記画像データを処理する第3の処理ステップと、
前記第2のεフィルタとタップ数が等しく、前記第3のεフィルタとしきい値が等しい第4のεフィルタにより前記画像データを処理する第4の処理ステップと、
前記第1のεフィルタの出力値、前記第2のεフィルタの出力値、前記第3のεフィルタの出力値、前記第4のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有す
イズ除去方法のプログラムを記録した記録媒体。
In a recording medium on which a program of a noise removal method for removing noise of image data is recorded,
The noise removal method program is:
A first processing step of processing the image data with a first ε filter;
A second processing step of processing the image data with a second ε filter having a different number of taps from the first ε filter and having the same threshold value as the first ε filter;
A third processing step of processing the image data by a third ε filter having the same number of taps as the first ε filter and having a threshold value different from that of the first ε filter;
A fourth processing step of processing the image data by a fourth ε filter having the same number of taps as the second ε filter and the same threshold value as the third ε filter;
The output value of the first ε filter, the output value of the second ε filter, the output value of the third ε filter, the output value of the fourth ε filter, and the pixel value of the pixel of interest in the image data that weighted addition to having a weighting adding step of outputting the output data
Recording medium in which the recording program of noise removal method.
JP2007008674A 2007-01-18 2007-01-18 Imaging device, noise removal device, noise removal method, noise removal method program, and recording medium recording noise removal method program Expired - Fee Related JP4288623B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007008674A JP4288623B2 (en) 2007-01-18 2007-01-18 Imaging device, noise removal device, noise removal method, noise removal method program, and recording medium recording noise removal method program
EP07255086A EP1947837A2 (en) 2007-01-18 2007-12-31 Imaging and noise removal
TW097100841A TW200847764A (en) 2007-01-18 2008-01-09 Imaging apparatus, noise removing device, noise removing method, program for noise removing method, and recording medium for recording the same
US11/972,404 US20080175510A1 (en) 2007-01-18 2008-01-10 Imaging apparatus, noise removing device, noise removing method, program for noise removing method, and recording medium for recording the same
KR1020080005345A KR20080068576A (en) 2007-01-18 2008-01-17 Imaging apparatus, noise removing device, noise removing method, program for noise removing method, and recording medium for recording the same
CN2008100010826A CN101232574B (en) 2007-01-18 2008-01-18 Imaging device, noise removal apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007008674A JP4288623B2 (en) 2007-01-18 2007-01-18 Imaging device, noise removal device, noise removal method, noise removal method program, and recording medium recording noise removal method program

Publications (2)

Publication Number Publication Date
JP2008177801A JP2008177801A (en) 2008-07-31
JP4288623B2 true JP4288623B2 (en) 2009-07-01

Family

ID=39090334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007008674A Expired - Fee Related JP4288623B2 (en) 2007-01-18 2007-01-18 Imaging device, noise removal device, noise removal method, noise removal method program, and recording medium recording noise removal method program

Country Status (6)

Country Link
US (1) US20080175510A1 (en)
EP (1) EP1947837A2 (en)
JP (1) JP4288623B2 (en)
KR (1) KR20080068576A (en)
CN (1) CN101232574B (en)
TW (1) TW200847764A (en)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594445B2 (en) 2005-11-29 2013-11-26 Adobe Systems Incorporated Fast bilateral filtering using rectangular regions
TW200828983A (en) * 2006-12-27 2008-07-01 Altek Corp Method of eliminating image noise
JP4527750B2 (en) * 2007-05-30 2010-08-18 三菱電機株式会社 Image processing apparatus and method, and image display apparatus
US8331717B2 (en) * 2007-10-03 2012-12-11 Panasonic Corporation Method and apparatus for reducing block noise
US8300974B2 (en) * 2007-11-12 2012-10-30 Mitsubishi Electric Corporation Image processing device, image display device, and image processing method therefor
US8655097B2 (en) * 2008-08-22 2014-02-18 Adobe Systems Incorporated Adaptive bilateral blur brush tool
JP4893758B2 (en) 2009-01-23 2012-03-07 ソニー株式会社 Image processing apparatus, image processing method, and imaging apparatus
JP5326920B2 (en) * 2009-08-07 2013-10-30 株式会社リコー Image processing apparatus, image processing method, and computer program
KR101618298B1 (en) * 2009-10-23 2016-05-09 삼성전자주식회사 High ISO image generating apparatus and method
US8805111B2 (en) * 2010-02-09 2014-08-12 Indian Institute Of Technology Bombay System and method for fusing images
JP5418777B2 (en) * 2010-02-19 2014-02-19 富士ゼロックス株式会社 Image processing apparatus and image processing program
JP2012124832A (en) * 2010-12-10 2012-06-28 Sony Corp Image processing system, image processing method and program
CN102354393B (en) * 2011-07-12 2013-09-25 中国资源卫星应用中心 Hyperspectral imaging device data noise elimination method
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP5834728B2 (en) * 2011-09-30 2015-12-24 大日本印刷株式会社 Noise removal device
JP5824341B2 (en) * 2011-11-25 2015-11-25 日本放送協会 Imaging apparatus, recording apparatus, video signal processing apparatus, imaging system, and video signal processing program
JP2013126186A (en) * 2011-12-15 2013-06-24 Samsung Electronics Co Ltd Imaging apparatus and image processing method
JP5965638B2 (en) * 2011-12-27 2016-08-10 オリンパス株式会社 Microscope system with image processing system
JP6074198B2 (en) * 2012-09-12 2017-02-01 キヤノン株式会社 Image processing apparatus and image processing method
KR101981573B1 (en) 2012-11-22 2019-05-23 삼성전자주식회사 Image signal processor and mobile device including image signal processor
JP2014106921A (en) * 2012-11-29 2014-06-09 Samsung R&D Institute Japan Co Ltd Pointing device and program for pointing device
JP2014110592A (en) * 2012-12-04 2014-06-12 Toshiba Corp Image processing device
JP6079342B2 (en) * 2013-03-18 2017-02-15 日産自動車株式会社 Image processing apparatus and image processing method
CN104103037B (en) * 2013-04-02 2017-02-15 杭州海康威视数字技术股份有限公司 Image enhancement processing method and device
JP6327869B2 (en) * 2014-01-29 2018-05-23 キヤノン株式会社 Image processing apparatus, imaging apparatus, control method, and program
JP6042043B2 (en) * 2014-09-30 2016-12-14 富士フイルム株式会社 Image processing apparatus, image processing method, program, and recording medium
WO2016052004A1 (en) 2014-09-30 2016-04-07 富士フイルム株式会社 Image processing device, filter acquisition device, image processing method, filter acquisition method, program, and recording medium
CN107079094B (en) * 2014-09-30 2018-07-13 富士胶片株式会社 Image processing apparatus, image processing method and recording medium
JP6042044B2 (en) * 2014-09-30 2016-12-14 富士フイルム株式会社 Image processing apparatus, filter acquisition apparatus, image processing method, filter acquisition method, program, and recording medium
CN107113375B (en) * 2015-01-08 2020-09-18 索尼半导体解决方案公司 Image processing apparatus, imaging apparatus, and image processing method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60113564T2 (en) * 2000-12-14 2006-07-13 Matsushita Electric Works, Ltd., Kadoma Image processing device and pattern recognition device using the image processing device
JP2002259965A (en) * 2001-02-26 2002-09-13 Sony Corp Image noise reducing method and device
JP4649781B2 (en) * 2001-06-20 2011-03-16 ソニー株式会社 Image processing method and apparatus
JP4273748B2 (en) 2002-11-18 2009-06-03 ソニー株式会社 Image processing apparatus and method
JP4413504B2 (en) * 2003-02-13 2010-02-10 株式会社東芝 Medical image processing apparatus, medical image processing method, and medical image processing program
JP4442413B2 (en) 2004-12-22 2010-03-31 ソニー株式会社 Image processing apparatus, image processing method, program, and recording medium

Also Published As

Publication number Publication date
CN101232574A (en) 2008-07-30
EP1947837A2 (en) 2008-07-23
US20080175510A1 (en) 2008-07-24
TW200847764A (en) 2008-12-01
KR20080068576A (en) 2008-07-23
JP2008177801A (en) 2008-07-31
CN101232574B (en) 2010-06-09

Similar Documents

Publication Publication Date Title
JP4288623B2 (en) Imaging device, noise removal device, noise removal method, noise removal method program, and recording medium recording noise removal method program
US9741099B2 (en) Systems and methods for local tone mapping
JP4894595B2 (en) Image processing apparatus and method, and program
US9710896B2 (en) Systems and methods for chroma noise reduction
US9317930B2 (en) Systems and methods for statistics collection using pixel mask
US8248492B2 (en) Edge preserving and tone correcting image processing apparatus and method
US11089247B2 (en) Systems and method for reducing fixed pattern noise in image data
US9131196B2 (en) Systems and methods for defective pixel correction with neighboring pixels
US9342858B2 (en) Systems and methods for statistics collection using clipped pixel tracking
US9332239B2 (en) Systems and methods for RGB image processing
US8817120B2 (en) Systems and methods for collecting fixed pattern noise statistics of image data
US8872946B2 (en) Systems and methods for raw image processing
US8917336B2 (en) Image signal processing involving geometric distortion correction
US9025867B2 (en) Systems and methods for YCC image processing
JP4290193B2 (en) Image processing device
JP4869653B2 (en) Image processing device
US20130321675A1 (en) Raw scaler with chromatic aberration correction
JP4214457B2 (en) Image processing apparatus and method, recording medium, and program
JP2008153836A (en) Imaging device, image processor, image processing method, program for image processing method, and recording medium with program for image processing method recorded thereon
JP2007208399A (en) Image processing unit, image processing method, program thereof, and recording medium for recording the same
JP2012216888A (en) Image processing apparatus, method and program
JP2004363853A (en) Method and device for reducing noise of image signal
JP5631769B2 (en) Image processing device
JP4946417B2 (en) IMAGING DEVICE, IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM FOR IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROGRAM FOR IMAGE PROCESSING METHOD
JP5242750B2 (en) Image processing device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090305

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees