WO2007116514A1 - ノイズ除去装置及びノイズ除去方法 - Google Patents

ノイズ除去装置及びノイズ除去方法 Download PDF

Info

Publication number
WO2007116514A1
WO2007116514A1 PCT/JP2006/307496 JP2006307496W WO2007116514A1 WO 2007116514 A1 WO2007116514 A1 WO 2007116514A1 JP 2006307496 W JP2006307496 W JP 2006307496W WO 2007116514 A1 WO2007116514 A1 WO 2007116514A1
Authority
WO
WIPO (PCT)
Prior art keywords
integer
difference value
value
image data
unit
Prior art date
Application number
PCT/JP2006/307496
Other languages
English (en)
French (fr)
Inventor
Midori Ono
Shinnichi Hatsutori
Original Assignee
Mitsubishi Denki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Denki Kabushiki Kaisha filed Critical Mitsubishi Denki Kabushiki Kaisha
Priority to US12/224,135 priority Critical patent/US8073283B2/en
Priority to JP2008509664A priority patent/JP4842316B2/ja
Priority to EP06731443A priority patent/EP2007131B1/en
Priority to PCT/JP2006/307496 priority patent/WO2007116514A1/ja
Publication of WO2007116514A1 publication Critical patent/WO2007116514A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Definitions

  • the present invention relates to a noise removal device and a noise removal method for removing noise from a video signal.
  • a difference between frames of a video signal is attenuated by a ratio determined by conditions, and noise included in the difference value is removed.
  • a motion determiner detects a motion based on a difference value to determine a ratio K (0 ⁇ K ⁇ 1), and the previous frame pixel value multiplied by the ratio ⁇ and the ratio (1— By obtaining the pixel value after adding the input pixel value multiplied by ⁇ ), the pixel value that attenuates the noise included in the inter-frame difference is obtained.
  • a processing unit is called a noise removal filter!
  • the input pixel value and the previous frame pixel value are calculated based on the ratio of (1 ⁇ ): ⁇ . Applicable. In other words, assuming that the frame number advances with the passage of time, the input pixel value (input image) in the noise removal processing for an arbitrary frame number t is f, and the noise removal is performed.
  • F can be expressed by the following equation (1). Where frame number t is an integer
  • F represents the pixel value (reference image) after noise removal for the previous frame.
  • the input pixel value and the previous frame are added to the integerized pixel value F after noise removal of the previous frame.
  • a value obtained by multiplying the difference value (f F) of the frame pixel value by the ratio (1-K) (referred to as the output difference value)
  • FIGS. 1 and 2 show the difference between the input pixel value f and the previous frame pixel value F in equation (3) above.
  • Figure t t-1 shows an example of the non-linear characteristic of the integer function applied part to the t t-1 value (f F)
  • the horizontal axis represents the difference value (f ⁇ F) between the input pixel value and the previous frame pixel value.
  • the minute noise is perceived with respect to the difference value (f -F).
  • Noise reduction is realized by switching the ratio (1-K) between the sections near 0 that are likely to be performed and the sections other than the section near 0 that are less susceptible to the perception of minute noise.
  • (1-K) the ratio between the sections near 0 that are likely to be performed and the sections other than the section near 0 that are less susceptible to the perception of minute noise.
  • Integer ⁇ function int (x) has an integer ⁇ by rounding down and rounding up.
  • Fig. 1 shows the case of rounding up to an integer
  • Fig. 2 shows the case of rounding up to an integer. It shows.
  • Figure 3 shows the difference between the input pixel values corresponding to consecutive frames (f -f) with respect to the number of pixels constituting each frame when a predetermined stationary object is photographed with a fixed camera.
  • Figure 4 shows the ratio of the difference value (F – F) of the pixel value after removing noise between successive frames by rounding it to an integer when it occurs at a low rate.
  • the difference value (F-F) of the pixel value after noise removal from the previous frame is all 0, and noise is removed.
  • Fig. 3 shows the ratio of the difference value (f f) of the corresponding input pixel values between consecutive frames.
  • Figure 5 shows the ratio of the difference value (F-F) of the pixel value after removing noise between successive frames by rounding up the integers.
  • FIG. 6 shows the input pixel value f of the image data and noise removal at an arbitrary frame number t.
  • FIG. 4 is a graph showing an example of the pixel value F.
  • the upper graph in Fig. 6 is a graph showing an example of the pixel value F.
  • the difference value (f -F) is multiplied by 1Z4 and further rounded down to an integer.
  • the increment is 0, and the output pixel value F in the upper graph of FIG. 6 does not increase.
  • the output pixel value F in the upper graph of Fig. 6 is set to the same value as the input pixel value f indicated by the cross up to 8, up to 8 Increase while taking
  • the transition starts simultaneously with the start of the transition of the input pixel value.
  • the difference is multiplied by (1—K)
  • the difference increment is reduced, and the difference is not the same in the transition process as when the difference is 1.
  • the input pixel value is slightly delayed. Since the transition to the same value at the end of the transition is possible, no afterimage is perceived.
  • the conventional noise removal apparatus can remove minute noise when the truncation process is applied to the integer function in the process of noise removal, but the afterimage is perceived.
  • the round-up process is applied to the integer function, afterimages are not perceived, but minute noise cannot be removed.
  • Patent Document 1 Japanese Patent Laid-Open No. 6-225178 (paragraph 0013, FIG. 1, FIG. 6)
  • the present invention has been made to solve the above-described problems, and provides a noise removing device and a noise removing method capable of removing minute noise and eliminating afterimages. Objective.
  • the noise removal device performs a subtraction unit that obtains a difference value between input image data and reference image data, and a calculation process that multiplies the difference value obtained by the subtraction unit by a predetermined coefficient.
  • An arithmetic processing unit, an adaptive integer processing unit that adaptively rounds up or rounds down the difference value calculated by the arithmetic processing unit to obtain an integer difference value, and the adaptive integer processing unit An adder that obtains output image data based on the obtained integer difference value and the reference image data; and a memory that stores the output image data obtained by the adder as the reference image data.
  • the noise removing device of the present invention it is possible to obtain an effect that it is possible to remove minute noise and to eliminate afterimages.
  • FIG. 1 is an explanatory diagram showing an example of characteristics of an integer function by truncating a difference value between an input pixel and a previous frame.
  • FIG. 2 is an explanatory diagram showing an example of characteristics of an integer function by rounding up a difference value between an input pixel and a previous frame.
  • FIG. 3 is an explanatory diagram showing an example of a ratio of a difference value between an input pixel and a previous frame in a frame.
  • FIG. 4 is an explanatory diagram showing the ratio of the difference value between the output pixel and the pixel in the previous frame in the frame from which noise is removed by integer rounding by the truncation process with respect to the input in FIG.
  • FIG. 5 is an explanatory diagram showing the ratio of the difference value between the output pixel and the pixel in the previous frame in the frame from which noise has been removed by integer rounding by rounding up with respect to the input in FIG.
  • FIG. 6 is an explanatory diagram showing an example of an input pixel due to a transition of a dissolve and a transition of a difference from an output pixel from which noise is removed by the rounding process and the rounding process.
  • FIG. 7 is a block diagram showing a configuration of a noise removal device according to Embodiment 1 of the present invention.
  • FIG. 8 is an explanatory diagram showing an instruction that is a determination result of a round-up determination unit of the noise removal device according to Embodiment 1 of the present invention.
  • FIG. 9 is an explanatory diagram showing an output process with respect to an input when the difference value is 1 in the noise eliminator according to Embodiment 1 of the present invention.
  • FIG. 10 is an explanatory diagram showing an example of an input pixel due to a transition of dissolve in the first embodiment of the present invention and a transition of a difference from an output pixel from which noise has been removed by the adaptive integer.
  • FIG. 11 is a block diagram showing a configuration of a noise removal device according to Embodiment 2 of the present invention.
  • FIG. 12 is an explanatory diagram showing an output process with respect to an input when the difference value is 1 in the noise eliminator according to Embodiment 2 of the present invention.
  • FIG. 13 is an explanatory diagram showing an example of an input pixel due to a transition of dissolve in Embodiment 2 of the present invention, and the transition of an output pixel, a difference, and a fractional value from which noise is removed by the adaptive integerization.
  • FIG. 14 is a block diagram showing a configuration of a noise removal device according to Embodiment 3 of the present invention.
  • FIG. 15 is a block diagram showing a configuration of a noise removal device according to Embodiment 4 of the present invention.
  • FIG. 16 is a block diagram showing a configuration of a noise removal device according to Embodiment 5 of the present invention.
  • a noise removal apparatus including an adaptive integer processing unit that adaptively selects and applies an integer function to a real value after noise removal calculation processing from a round-down process or a round-up process.
  • FIG. 7 is a block diagram showing the configuration of the noise removal device according to Embodiment 1 of the present invention.
  • This noise removing apparatus includes a subtracting unit 11, an arithmetic processing unit 12a, an adaptive integer processing unit 13a, an adding unit 14, and a frame memory 15.
  • This adaptive integer processing unit 13a has, as a more detailed internal configuration, an integer key control unit 21 including a frame counter 31, a period setting unit 32, and a round-up Z rounding-down determination unit 33, and a round-up Z round-down processing unit 22 It is equipped with.
  • the subtracting unit 11 is a predetermined frame of image data (f) 101 as an input image and a reference image.
  • the arithmetic processing unit 12a multiplies the difference value (d) 103 output from the subtracting unit 11 by a predetermined coefficient oc corresponding to (1 K) in the above formula (3) described in the prior art.
  • the difference value (d ′) 104 subjected to the noise removal calculation process is output.
  • Various methods can be used for the noise removal processing in the arithmetic processing unit 12a, but here it is assumed that the calculation has nonlinear characteristics and the characteristics shown in Fig. 1 and Fig. 2 are applied. To do.
  • the arithmetic processing unit 12a determines that the difference value (d) 103 which is the noise component to be removed is a predetermined coefficient ⁇ (0 ⁇ ⁇ 1) smaller than 1, in this example 1Z4. Performs noise reduction operation by multiplication.
  • predetermined coefficient ex and the threshold value in the nonlinear characteristic may be set independently.
  • the adaptive integer processing unit 13a receives the difference value (d
  • the adding unit 14 outputs the integer key difference value (int (d ')) output from the adaptive integer key processing unit 13a.
  • the noise including the adaptive integer processing unit 13a according to the first embodiment of the present invention.
  • the noise removal apparatus operates, the detailed operation of the adaptive integer key processing unit 13a will now be described.
  • the adaptive integer processing unit 13a includes an integer key control unit 21 and a rounded-up Z rounding processing unit 22, and the rounded-up Z rounding processing unit 22 is an input to the adaptive integer processing unit 13a.
  • the arithmetically processed difference value (d ′) 104 is converted into an adaptive integer, which will be described later, and an integer integer difference value (int (d ′)) 105, which is an output from the adaptive integer integer processor 13a, is output.
  • the frame counter 31 of the integer control unit 21 is a counter that counts up for each input frame, and outputs a frame count value (t) 201.
  • the cycle setting unit 32 of the integer key control unit 21 is set with a cycle (N) 202 for performing rounding up processing, and outputs this.
  • the period (N) 202 set in the period setting unit 32 may be set in advance! /, Or may be set from the outside such as a CPU (not shown) !, .
  • the count value (t) 201 of the frame counter 31 may be counted by setting the force count value 201 described as the same value t as the frame number independently of the frame number.
  • Round-up of integer key control unit 21 Z-rounding-down determination unit 33 includes a frame count value (t) 201 counted by frame counter 31 and a cycle for performing round-up processing output from cycle setting unit 32.
  • (N) 202 is input, and the count value of the frame to be processed (t) 201 is the round-up process cycle (N) If the frame is divisible by 202, round-up processing is performed! / In the case of a frame, it is rounded up so as to perform the truncation process.
  • the integer truncation function instruction 203 to be applied is given to the Z truncation processing unit 22.
  • FIG. 8 is a diagram showing an example of an instruction 203 that is a determination result of the round-up Z rounding-down determination unit 33 when the cycle (N) 202 for performing round-up processing is 4.
  • the rounding up / rounding down processing unit 22 applies the difference (d ′) 104 to the arithmetic processing unit 12a subjected to the noise reduction computation processing based on the instruction 203 given by the rounding up / rounding down judgment unit 33. Adaptive integerization that applies rounding up or down processing.
  • the digitized difference value (int (d ')) 105 is output.
  • the round-up Z round-off determination unit 33 and the round-up Z round-down processing unit 22 are based on the relationship between the frame count value (t) 201 and the cycle (N) 202. Integer processing as shown in the following formula (5) is performed.
  • the round-up Z round-down determination unit 33 selects the round-up process when the remainder of the frame count value (t) 201 by the period (N) 202 is zero.
  • the rounding-up processing unit 22 instructed to apply the round-up process selects the round-up process and performs the integer processing.
  • the round-up Z round-off determination unit 33 performs the round-down processing when the remainder of the frame count value (t) 201 by the period (N) 202 is other than zero.
  • the round-up processing is instructed to select and apply, and the round-down processing is instructed.
  • the Z-round-down processing unit 22 selects the round-down processing and performs the integer processing.
  • the force round-up processing instruction 203 when the remainder by the cycle (N) 202 for the count value (t) 201 is 0 when the remainder is 0 is the cycle ( N) Since it is only necessary to output every 202, even when the remainder is not 0, the round-up processing instruction may be output when the remainder is from 0 to a predetermined integer value of (N 1). Ok.
  • input image data f is (x + 1) and reference image data.
  • the arithmetic processing is performed according to the nonlinear characteristic.
  • the coefficient ⁇ is 1Z4, since the difference value (d) 103 is 1, the arithmetic processing unit 12 a has the difference value (d ′) 104 that has been subjected to the noise reduction calculation processing according to the above equation (4). Outputs 0.25.
  • Round-up Z round-down determination unit 33 outputs round-up process instruction 203 at a rate of IZN, that is, 1Z4, since round-up process cycle (N) 202 is 4.
  • Round up Z Round down The integer difference value (d ") 105, which is the output of the processing unit 22, outputs 1 at the rounding processing application ratio 1Z4 in the whole integer processing, and the output image F with the noise removed becomes (x + 1), No
  • minute noise can be removed at a rate of 3Z4.
  • noise can be removed at a higher rate. For example, if the period (N) 202 is set to 8, minute noise is removed at a rate of 7Z8.
  • FIG. 10 is a graph showing an example of the input pixel value f of image data and the pixel value F from which noise has been removed at an arbitrary frame number t, as in FIG. Fig. 10 top row t t
  • the difference value (f ⁇ F) in this transition process is indicated by a circle in the lower graph of FIG.
  • the difference value (f — F) in the process is indicated by a thick broken line in the lower graph of Fig. 10.
  • the difference value that becomes an afterimage when the transition of the input pixel value f is completed is 1 per cycle (N) with respect to the cycle N to which the rounding processing to which integerization by rounding processing is applied is applied.
  • the afterimage can be eliminated as well as the force that changes the convergence time until afterimage elimination.
  • the predetermined coefficient a of the noise removal calculation process and the application period N of the rounding-up process of the integer function can be set independently.
  • the non-linear lines shown in Fig. 1 and Fig. 2 The threshold value in the shape characteristic may also be set independently of the predetermined coefficient and the application period N.
  • Embodiment 1 of the present invention adaptive integerization processing adaptively applied from rounding-down processing or rounding-up processing as an integerization function for a difference value subjected to noise reduction computation processing Since the portion 13a is provided, it is possible to remove minute noise and cancel afterimages.
  • the fractional memory stores the fractional value rounded down by the integer of the corresponding pixel of the previous frame, and reflects the fractional number of the previous frame to the real value from which noise has been removed.
  • a noise removal apparatus including an adaptive integerization processing unit that applies integerization will be described.
  • FIG. 11 is a block diagram showing the configuration of the noise removal apparatus according to Embodiment 2 of the present invention.
  • the noise removing device includes a subtracting unit 11, an arithmetic processing unit 12b, an adaptive integer processing unit 13b, an adding unit 14 and a frame memory 15, and the subtracting unit 11, the adding unit 14 and the frame memory 15 are implemented as described above. This is the same as that shown in FIG.
  • the adaptive integer processing unit 13b includes a stillness determination unit 41a, a fractional memory 42a, a real number addition unit 43, and an integer part Z fraction part separation unit 44 as a more detailed internal configuration.
  • the subtracting unit 11 is the image data (f) 101 of a predetermined frame that is an input image, and the previous frame stored in the frame memory 15 that is a reference image.
  • the arithmetic processing unit 12b obtains a determination result 301 that the input image data 101 is a still image portion in a stillness determination unit 41a of an adaptive integer processing unit 13b described later.
  • the output difference value (d) 103 is multiplied by a predetermined coefficient ⁇ (0 ⁇ ⁇ 1) in the above equation (4), here, as in the first embodiment, 1Z4 is multiplied to perform noise removal calculation processing Difference value (d ') 104 is output, and it is judged that the input image data (f) 101 is not a still image part.
  • the difference value (d) 103 output from the subtractor 11 is used for noise reduction.
  • the difference value (d ′) 104 that has been processed is regarded as 104 and output.
  • the output difference value (d ') 104 is substantially an integer value, but it can be interpreted that the difference value (d) 103 is multiplied by 1 as a predetermined coefficient ⁇ and converted to a real value. I do not care.
  • the adaptive integer processing unit 13b performs adaptive integerization, which will be described later, on the difference value (d ′) 104 obtained by the arithmetic processing unit 12b for noise reduction calculation, and outputs an integer difference value 105.
  • the adding unit 14 adds the integer difference value 105 output from the adaptive integer processing unit 13b and the image data (F) 102 of the previous frame stored in the frame memory 15, and adds a noise.
  • the output image data (F) 106 that has been removed is obtained.
  • the frame memory 15 is
  • the output image data (F) 106 from which noise is removed is stored.
  • the noise removing apparatus including the adaptive integer key processing unit 13b according to Embodiment 2 of the present invention operates.
  • the detailed operation of the adaptive integer key processing unit 13b will be described.
  • the adaptive integer processing unit 13b includes a stillness determination unit 41a, a fractional memory 42a, a real number adding unit 43, an integer unit Z fractional part separating unit 44, and a difference that is an input to the adaptive integer processing unit 13b.
  • the value (d) 103 is input to the stillness determination unit 41a, and similarly, the difference value (d ′) 104 subjected to the noise removal calculation process is input to the real number addition unit 43. Further, the integer difference value 105 which is an output from the adaptive integer processing unit 13b is output from the integer part Z fraction part separating unit 44.
  • the stillness determination unit 41a determines whether or not the input image data (f) 101 is a still image part based on the difference value (d) 103 output from the subtraction unit 11, and the determination result Output 301
  • the stillness determination unit 41a determines that the input image data 101 is a still image portion when the absolute value of the difference value (d) 103 is less than the threshold value, and the input image data 101 is equal to or greater than the threshold value. Judge that it is not a still image part. Judgment that it is not a still image part agrees with the judgment that it is a moving image part.
  • the threshold for this determination is 4.
  • the fractional memory 42a is a memory that holds, for each pixel position, a fractional value C after the decimal point that was truncated when the integer part Z fractional part separation unit 44 converted to an integer one frame before.
  • the decimal value is maintained below the decimal point, and if it is determined not to be a still image part, it is retained. Reset the fractional value of to refer to it as 0.
  • the fraction held in the fraction memory 42a If the specified coefficient ex is the reciprocal of a power of 2 (assumed to be S-power), the precision of the value should be the S digit that is the numerical value representing the exponent part. For example, if the predetermined coefficient ⁇ is 1Z4, it will be 2 digits after the decimal point.
  • the real number adding unit 43 calculates the difference value (d,) 104 that has been subjected to the noise reduction calculation processing in the calculation processing unit 12b, and the fractional value (C) of the decimal point one frame before held in the fraction memory 42a.
  • the fractional value (C) 302 to be added here is input image data (f
  • the integer part Z fraction part separation part 44 separates the integer difference value (d ") 105 of the integer part of the real number difference value 303 and the fractional value (C) 304 after the decimal point.
  • the value (d ") 105 is output to the adder 14 and the fractional value (C) 304 after the decimal point is displayed as the fraction memory 42a
  • the input image data (f) 101 is not a still image portion in the still determination unit 41a.
  • the difference value (d ′) 104 subjected to the noise reduction calculation processing in the calculation processing unit 12b is substantially an integer difference value (d) 103, and is also a fractional value held in the fractional memory 42a. Since (C) 302 is also reset and added by the real number adder 43, it is stored in the fraction memory 42a.
  • the held fractional value (C) 304 is 0.
  • Multiplication processing is performed according to the characteristics.
  • the arithmetic processing unit 12 performs the same processing as in the first embodiment, assuming that the difference value (d) 103 is 1, and then calculating by the above equation (4). 0.25 is output as the difference value (d ′) 104 that has been processed for noise removal.
  • the fractional memory 42a contains some fractional value (C) 302 processed one frame before.
  • Integer difference value (d ") 105 which is the output of the integer part of 0, is 0, and fractional value (C) 304, which is the output of the fractional part, is any of 0.25, 0.50, or 0.75
  • the noise removal apparatus of the second embodiment of the present invention by adaptive integerization when a screen gradually changes from a still image to a different still image due to a transition such as a dissolve.
  • the influence on the removal of minute noise will be described.
  • the predetermined coefficient ⁇ in the integer function in the above equation (4) is determined to be a still image portion from the difference value (f F).
  • FIG. 13 is a graph showing an example of the input pixel value f of the image data and the value of the pixel value F from which noise has been removed at an arbitrary frame number t, as in FIG. T t in the upper part of Fig. 13
  • the real difference value (d X ⁇ + C) reflected in the difference value (d X a) is indicated by a circle.
  • the integer part of the real number difference value (d X a + C) before integerization is the integer after adaptive integerization.
  • the value is 0, and the fractional value C is used as is.
  • the fractional value C of the current frame t obtained in this way is
  • the output pixel value Ft from which noise has been removed is obtained by performing a round-up process with a frame indicated by a black circle and a round-down process with a frame indicated by a white circle.
  • the fractional memory 42a stores the fractional value rounded down when the corresponding pixel of the previous frame is rounded down, and the noise-removed real value is stored. Since the adaptive integerization processing unit 13b that applies the integerization after the reflection is applied, the effect of removing the minute noise and eliminating the afterimage can be obtained.
  • the fractional value of the corresponding pixel of the previous frame is retained in the fractional memory 42a, and the integer value is separated by adding the fractional value to the real value from which noise is removed by the arithmetic processing unit 12b. , Even if the applied integerization function is only truncation processing The same effect as rounding up the integer value obtained by rounding up the real value with noise removed by the processing unit 12b can be obtained.
  • FIG. 14 is a block diagram showing the configuration of the noise removal apparatus according to Embodiment 3 of the present invention.
  • This noise removing apparatus includes a subtracting unit 11, an arithmetic processing unit 12c, an adaptive integer processing unit 13c, an adding unit 14 and a frame memory 15.
  • the subtracting unit 11, the adding unit 14 and the frame memory 15 are implemented as described above. This is the same as that shown in FIG.
  • the adaptive integer processing unit 13c includes a fractional memory 42a, a real number calorie calculating unit 43, and an integer part Z fractional part separating unit 44 as a more detailed internal configuration, except that the stationary determination unit 41a is removed. These are the same as those shown in FIG. 11 of the second embodiment.
  • the arithmetic processing unit 12c obtains the determination result 401 by the equivalent function of the stationary determination unit 41a of the second embodiment provided therein, and outputs the difference value ( d) Outputs the difference value (d ′) 104 obtained by the noise reduction calculation process similar to the calculation processing unit 12b of the second embodiment, which is multiplied by a predetermined coefficient from 103, and the determination result 401 is a fraction. Output to memory 42a.
  • the operations of the fraction memory 42a that has obtained the determination result 401 and the subsequent noise removal apparatus are the same as those described in the fraction memory 42a that has obtained the determination result 301 in the second embodiment.
  • Embodiment 3 of the present invention noise having a configuration in which arithmetic processing unit 12c includes stationary determination unit 4la in adaptive integer processing unit 13b of Embodiment 2 described above Even with the removal device, the same effect as in the second embodiment can be obtained.
  • FIG. 15 is a block diagram showing the configuration of the noise removal apparatus according to Embodiment 4 of the present invention.
  • This noise removing device includes a subtracting unit 11, an arithmetic processing unit 12b, an adaptive integer processing unit 13d, an adding unit 14 and a frame memory 15, and the subtracting unit 11, the adding unit 14 and the frame memory 15 are as described above. This is the same as that shown in FIG.
  • the adaptive integer processing unit 13d includes a stillness determination unit 41b, a fractional memory 42a, a real number addition unit 43, and an integer part Z fractional part separation unit 44 as a more detailed internal configuration.
  • 11 is the same as that shown in FIG. 11 of the second embodiment except that the output from lb to the arithmetic processing unit 12b and the fractional memory 42a is independent.
  • the stillness determination unit 41a determines whether or not the input image data 101 is a still image part based on the difference value 103 output from the subtraction unit 11, and the determination result 301 is displayed. It was output.
  • the still determination unit 41b classifies the reliability of determination as a still image portion into two or more stages and notifies the calculation processing unit 12b, and the predetermined coefficient ⁇ of the noise removal calculation processing is obtained. Prepare and apply multiple items according to the classification. For example, the still determination unit 41b performs the determination based on the difference value 103 output from the subtraction unit 11. The larger the value, the higher the probability that it is not a still image portion. And the influence of noise on the image data is reduced.
  • the threshold value is applied to divide the difference value 103 into a plurality of sections, and the section is classified into a plurality of sections, and the higher the probability that the section is not a still image portion, the higher the predetermined coefficient ⁇ is and approaches 1.0.
  • the difference coefficient 103 is 2 or more and 2 or less as a section for determining a still image part
  • the fractional memory 42a is notified by a different system from the determination result 301a so that the fractional value 302 is reset when it is determined that the determination result 301b is not a still image portion.
  • the stillness determination unit 41b outputs the determination result 301a to the arithmetic processing unit 12b and the determination result 301b to the fractional memory 42a, and the arithmetic processing unit 12b applies the predetermined coefficient a based on the determination result 301a.
  • the operation of the noise removal device other than the above is the same as that described in the second embodiment.
  • the determination result to the arithmetic processing unit and the fraction memory of the stillness determination unit has been described separately.
  • the fraction memory has a specific determination result to the arithmetic processing unit and others. By distinguishing these, it is also possible to implement in FIG. 11 of the second embodiment.
  • the noise removal apparatus having the configuration in which the nonlinear characteristics of the arithmetic processing unit 12b of the second embodiment are classified into three or more states is also described above. The same effect as in Embodiment 2 can be obtained.
  • the probability of determining the still image portion is classified into three or more states based on the difference value output from the subtraction unit 11
  • the probability of determining the still image portion is classified into three or more states based on the difference value output from the subtraction unit 11
  • the fractional value becomes large, the output of the real number adder 43 tends to be 1 or more, and an integerization equivalent to the rounding-up process is easily applied, so that the effect of improving the delay can be obtained.
  • the stillness determination unit of the second embodiment refers to a determination result in neighboring image data at the time of determination and improves the reliability of the determination.
  • FIG. 16 is a block diagram showing the configuration of the noise removal apparatus according to Embodiment 5 of the present invention.
  • This noise removing device includes a subtracting unit 11, an arithmetic processing unit 12b, an adaptive integer processing unit 13e, an adding unit 14 and a frame memory 15, and the subtracting unit 11, the adding unit 14 and the frame memory 15 are implemented as described above. This is the same as that shown in FIG.
  • the adaptive integer processing unit 13e includes a stillness determination unit 41c, a fractional memory 42b, a real number addition unit 43, and an integer part Z fractional part separation unit 44 as a more detailed internal configuration. Except that lc refers to the fractional value of the adjacent image data from the fractional memory 42b, it is the same as that shown in FIG. 11 of the second embodiment.
  • the fact that 0 is written in the fractional memory 42b when the still determining unit 41c determines that it is not a still image part is used, and processing has been performed in the same frame.
  • Referring to the fractional values of multiple adjacent image data if it is 0, it is not a still image part. Note that the fractional value at the same position in the previous frame may be referred to before the reset based on the determination result is applied. For example, the still image partial power rejection is finally determined based on the ratio of 0 and the difference 103.
  • the determination reliability may be classified, and the classification may be determined with reference to the fractional values of adjacent image data.
  • Embodiment 5 of the present invention it is possible to further improve the reliability of determination of the stationary determination unit 41a in the adaptive integer processing unit 13b of Embodiment 2 above, The same effect as in the second embodiment can be obtained.
  • the minute noise has a positive value.
  • the absolute value is taken as an integer. It is clear that a similar effect can be obtained by determining this.
  • the minute noise is not limited to 1 or 11.
  • the arithmetic processing unit is the same based on the tendency of increase, decrease, convergence, and stagnation depending on the secondary difference (differential) value of the difference value.
  • a predetermined coefficient value may be set and divided even in the classification of the threshold section.
  • the noise removal device is suitable for, for example, a device that does not produce an afterimage and removes minute noise.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

　入力画像データと参照画像データとの差分値を求める減算部１１と、求められた差分値に所定の係数を乗算する演算処理を行う演算処理部１２ａと、演算処理された差分値に対して適応的に切り上げ処理又は切り捨て処理を行って整数化差分値を求める適応整数化処理部１３ａと、求められた整数化差分値と参照画像データに基づき出力画像データを求める加算部１４と、出力画像データを参照画像データとして格納するフレームメモリ１５とを備えたノイズ除去装置。

Description

ノイズ除去装置及びノイズ除去方法
技術分野
[0001] この発明は映像信号のノイズを除去するノイズ除去装置及びノイズ除去方法に関 するものである。
背景技術
[0002] 従来のノイズ除去装置では、映像信号のフレーム間差分を条件によって決まる比 率によって減衰し、その差分値に含まれるノイズを除去している。例えば、特許文献 1 では、差分値に基づく値で動き判定器が動きを検出して比率 K (0<K< 1)を決定し 、その比率 Κを乗じた前フレーム画素値と比率（1—Κ)を乗じた入力画素値を加算し た後の画素値を得ることで、フレーム間差分に含まれるノイズを減衰した画素値を得 て 、る。このような処理部をノイズ除去フィルタと!/、う。
[0003] 例えば、従来のノイズ除去装置では、上記特許文献 1に示されるように、入力画素 値と前フレーム画素値を（ 1 Κ)： Κの比に基づ 、てノイズ除去の演算処理を適用し ている。つまり、時刻の経過に伴い、フレーム番号が進行するものとして、任意のフレ ーム番号 tのノイズ除去処理における入力画素値 (入力画像)を fとし、そのノイズ除
t
去後の画素値を Fとすると、 Fは次の式（1)で表せる。ここで、フレーム番号 tは整数
t t
とし、 F は前フレームに対するノイズ除去後の画素値 (参照画像)を示す。
t-1
[0004] F = (1 -K) -f +K-F (1)
t t t-i
[0005] 上記特許文献 1には記載されて!ヽな ヽが、一般に、映像信号は整数値で扱われる ため、実数 Xに対して整数ィ匕を行う整数ィ匕関数を int (x)とすると、ノイズ除去後の整 数化された画素値 Fは次の式（2)で示される。
t
[0006] F =int ( (l -K) -f +K-F ) (2)
t t t-1
[0007] このとき、 F は Fとともに整数値であるので、上記式（2)は次の式（3)のように変形
t-1 t
できて、前フレームのノイズ除去後の整数化された画素値 F に、入力画素値と前フ
t-1
レーム画素値の差分値 (f F )に比率（1—K)を乗じた値（出力差分値という）をカロ
t t-1
えた形としても示される。 [0008] F =F +int ( (l -K) - (f -F ) ) (3)
t t-1 t t-1
[0009] 第 1図、第 2図は、上記式 (3)における入力画素値 fと前フレーム画素値 F の差分
t t-1 値 (f F )に対する整数化関数適用部分に関する非線形の特性の一例を示す図 t t-1
である。この第 1図、第 2図において、横軸はともに入力画素値と前フレーム画素値と の差分値 (f -F )とする。ここで、差分値 (f -F )に対して、微小なノイズでも知覚
t t-1 t t-1
されやすい 0近傍の区間と、微小なノイズの影響が大きくなぐ知覚されにくい 0近傍 の区間以外の両側区間で、比率（1—K)を切り替えることでノイズ除去を実現する。こ こでは、 0近傍のノイズ除去するものとして説明を行う。
[0010] 例えば、第 1図、第 2図において、上記差分値 (f -F )の絶対値が 4以下の区間
t t-1
を 0近傍の区間とし、この区間で（1—K)を 1Z4、それ以外の差分値の絶対値が 4よ り大きい区間で（1— K)を 1とした場合の（1— K) · (f— F )の実数の演算結果を破
t t-i
線で示す。
[0011] 整数ィ匕関数 int (x)には切り捨て処理と切り上げ処理による整数ィ匕があるが、第 1図 は切り捨て処理で整数化した場合、第 2図は切り上げ処理で整数化した場合を示し ている。上記破線で示した実数の演算結果に対して、整数ィ匕した値 int ( (l— K) · (f
t
— F ) )を実線で示している。実際には、差分値 (f—F )は整数であるため、横軸 t-1 t t-1
が整数となる格子点上のみをとる。白丸はその端点を含まず、黒丸はその端点を含 むものとする。第 1図と第 2図に示すように、切り捨て処理で整数化を行う場合と切り 上げ処理で整数化を行う場合で、それぞれ異なるノイズ除去特性が示される。
[0012] まず、整数化を切り捨て処理で行った場合と切り上げ処理で行った場合の微小ノィ ズの除去について説明する。第 3図は、固定したカメラで所定の静止した物体を撮影 した場合に、各フレームの構成画素数に対して、連続するフレーム間で対応する入 力画素値の差分値 (f -f )
t t-1の割合の一例を示す図である。一般に、入力画素には 入力系ノイズが加わることにより全体的にいくらかの差分が発生する力 第 3図の例 では、大きさ 2の差分となる画素が 20%、大きさ 1の差分となる画素が 30%、大きさ 0 となる差分のない画素が残りの 50%でほぼ一定である場合を示している。
[0013] この第 3図に対して、整数ィ匕関数として第 1図に示した切り捨て処理によって整数ィ匕 する場合の微小ノイズ除去特性にっ 、て説明する。 [0014] 連続するフレーム間で対応する入力画素値の差分値 (f f )が第 3図に示すよう
t t-1
な割合で発生した場合に、切り捨て処理で整数化を行うことにより、連続するフレーム 間のノイズ除去後の画素値の差分値 (F— F )の割合は第 4図に示すようになる。第
t t-1
1図に示したように、 1 K= 1Z4の場合、切り捨て処理で整数化すると差分値 (f t
F )が大きさ 1と 2の画素ともに int ( (l— Κ) · (ί— F ；) )の演算処理で 0となるため、 t-1 t t-1
上記式（3)から F =F となって、第 4図に示すように、連続するフレーム間で対応す
t t-1
るノイズ除去後の画素値の前フレームとの差分値 (F— F )は全て 0となりノイズが除
t t-1
去される。
[0015] また、第 3図に対して、整数ィ匕関数として第 2図に示した切り上げ処理によって整数 化する場合の微小ノイズ除去特性について説明する。
[0016] 連続するフレーム間で対応する入力画素値の差分値 (f f )の割合が第 3図に示
t t-1
すような割合で発生した場合に、整数ィ匕を切り上げ処理で行うことにより連続するフレ ーム間のノイズ除去後の画素値の差分値 (F— F )の割合は第 5図に示すようにな
t t-1
る。第 2図に示したように、 1—K= 1Z4の場合、切り上げ処理で整数化すると差分 値 (f — F )が大きさ 1と 2の画素ともに int ( (l— K) . (f — F ) )の演算処理で 1とな t t-1 t t-1
るため、上記式（3)から F =F + 1となって、第 5図に示すように、連続するフレーム
t t-1
間で対応するノイズ除去後の画素値の前フレームとの大きさ 2の差分値 (F— F )も
t t-1 すべて大きさ 1の差分となって、フレーム全体のノイズは低減されても完全な解消に は至らず残存したままとなる。
[0017] 以上、整数ィ匕における切り捨て処理と切り上げ処理の違いによる微小ノイズの除去 に対する影響について説明した。
[0018] 次に、従来のノイズ除去装置でディゾルブ等の遷移によって、ある静止画から徐々 に画面が異なる静止画へ遷移する場合の整数化における切り捨て処理と切り上げ処 理の違いによる微小ノイズの除去に対する影響について説明する。なお、上記式（3) の整数ィ匕関数における（1—K)は、第 1図、第 2図と同様に、差分値 (f F )の絶対
t t-1 値が 4以下で 1/4、 4を超えると 1とする。
[0019] 第 6図は任意のフレーム番号 tにおける画像データの入力画素値 fとノイズ除去され
t
た画素値 Fの値の一例を示すグラフである。第 6図の上段のグラフにおいて、十字印
t が入力画素値 fを示しており、 t = 5から t= 12の 8フレームかけて 0から 8まで大きさ 1
t
ずつ変化し、静止画に遷移する例について説明する。
[0020] まず、整数化関数として第 1図に示した切り捨て処理を適用した場合について説明 する。入力画素値 fに対する出力画素値 Fは、第 6図の上段のグラフに四角印で示
t t
したように遷移する。この遷移の過程における差分値 (f F )は、第 6図の下段のグ
t t-1
ラフに四角印で示した。
[0021] 第 6図の下段のグラフにおいて、前フレームの出力画素値 F に対する増分である
t-1
上記式（3)の int ( (l—K) · (f—F ) )は、この四角印で示される差分を（1—K)倍、
t t-1
すなわち 1Z4倍し、さらに切り捨て処理によって整数ィ匕するため、差分値 (f -F )
t t-1 力 をとる t=8から t= 12の範囲で増分 1となり、このとき第 6図の上段のグラフの出力 画素値 Fは 1ずつ 5まで増加する。差分値 (f— F )が 4未満となる tく 8および t> 12
t t t-1
の範囲では増分 0となり、第 6図の上段のグラフの出力画素値 Fは増加しない。
t
[0022] t= 12で入力画素値 fの遷移が終了し、 t= 12まで大きさ 4であった差分値力 減
t
少に転じる t= 13で大きさ 3となることで、それ以降はこの差分値が微小なノイズとみ なされて除去される力 出力画素値 Fは 5を超えることはなぐ 5のまま遷移終了となる
t
ので、これが残像として知覚されることになる。
[0023] また、整数ィ匕関数として第 2図に示した切り上げ処理を適用した場合について説明 する。入力画素値 fに対する出力画素値 Fは、第 6図の上段のグラフに丸印で示した
t t
ように遷移する。この遷移の過程における差分値 (f F )は、第 6図の下段のグラフ
t t-1
に丸印で示した。
[0024] 第 6図の下段のグラフにおいて、前フレームの出力画素値 F に対する増分である
t-1
上記式（3)の int ( (l— K) · (f— F ) )は、この丸印で示される差分を（1—K)倍、す
t t-1
なわち 1Z4倍し、さらに切り上げ処理によって整数ィ匕するため、差分値 (f — F )が
t t-1
1となる t = 5から t = 12の範囲で増分 1となり、このとき第 6図の上段のグラフの出力 画素値 Fは 1ずつ 8まで、十字印で示される入力画素値 fと同一値をとりながら増加
t t
するため、残像は知覚されない。
[0025] さらに、入力画素値と前フレームの出力画素値の差分が大きさ 2以上で、整数化関 数を適用する場合について説明する。整数化関数として第 1図に示した切り捨て処 理を適用する場合でも、差分が大きさ 1のときと同様に入力画素値の遷移終了時の 同一値にまで遷移できず、残像として知覚される。
[0026] 同様に、入力画素値の差分が大きさ 2以上で、整数ィ匕関数として第 2図に示した切 り上げ処理を適用する場合は、入力画素値の遷移開始と同時に遷移を始めるが、差 分を（1— K)倍するため、差分の増分が縮小されて、差分が大きさ 1のときのように遷 移過程では同一値とはならないが、少し遅れながらも入力画素値の遷移終了時の同 一値まで遷移できるため、残像は知覚されない。
[0027] ここでは、一定の大きさの差分により線形に遷移するディゾルブの例として説明した 力 一定の大きさの差分とならない非線形の遷移であっても同様に微小ノイズに対す る現象が確認される。
[0028] このように、従来のノイズ除去装置は、ノイズ除去の演算処理の過程で整数ィヒ関数 に切り捨て処理を適用した場合には、微小なノイズを除去できるが、残像が知覚され ることがあり、また、整数ィ匕関数に切り上げ処理を適用した場合には、残像が知覚さ れな 、反面、微小なノイズを除去できな 、ものである。
[0029] 特許文献 1 :特開平 6— 225178号公報 (段落 0013、図 1、図 6)
[0030] 従来のノイズ除去装置は、以上のように構成されて 、るので、微小なノイズの除去と 残像の解消の両方を一緒に達成することができな 、と 、う課題があった。
[0031] この発明は、上記のような課題を解決するためになされたもので、微小なノイズの除 去を行うとともに残像の解消を行うことができるノイズ除去装置及びノイズ除去方法を 得ることを目的とする。
発明の開示
[0032] この発明に係るノイズ除去装置は、入力画像データと参照画像データとの差分値を 求める減算部と、この減算部において求められた差分値に所定の係数を乗算する演 算処理を行う演算処理部と、この演算処理部により演算処理された差分値に対して 適応的に切り上げ処理又は切り捨て処理を行って整数化差分値を求める適応整数 化処理部と、この適応整数化処理部により求められた整数化差分値と上記参照画像 データに基づき出力画像データを求める加算部と、この加算部により求められた出 力画像データを上記参照画像データとして格納するメモリとを備えたものである。 [0033] この発明のノイズ除去装置によれば、微小なノイズの除去を行うとともに残像の解消 を行うことができるという効果が得られる。
図面の簡単な説明
[0034] [図 1]入力画素と前フレームとの差分値を切り捨て処理による整数化関数の特性の一 例を示す説明図である。
[図 2]入力画素と前フレームとの差分値を切り上げ処理による整数ィ匕関数の特性の一 例を示す説明図である。
[図 3]フレームに占める入力画素と前フレームとの差分値の割合の一例を示す説明 図である。
[図 4]第 3図の入力に対して切り捨て処理による整数ィ匕によりノイズ除去したフレーム に占める出力画素と前フレームの画素の差分値の割合を示す説明図である。
[図 5]第 3図の入力に対して切り上げ処理による整数ィ匕によりノイズ除去したフレーム に占める出力画素と前フレームの画素の差分値の割合を示す説明図である。
[図 6]ディゾルブの遷移による入力画素の一例と、その切り捨て処理と切り上げ処理 によってノイズ除去された出力画素と差分の推移を示す説明図である。
[図 7]この発明の実施の形態 1におけるノイズ除去装置の構成を示すブロック図であ る。
[図 8]この発明の実施の形態 1におけるノイズ除去装置の切り上げ判定部の判定結果 である指示を示す説明図である。
[図 9]この発明の実施の形態 1におけるノイズ除去装置の差分値 1のときの入力に対 する出力過程を示す説明図である。
[図 10]この発明の実施の形態 1におけるディゾルブの遷移による入力画素の一例と、 その適応整数ィ匕によってノイズ除去された出力画素と差分の推移を示す説明図であ る。
[図 11]この発明の実施の形態 2におけるノイズ除去装置の構成を示すブロック図であ る。
[図 12]この発明の実施の形態 2におけるノイズ除去装置の差分値 1のときの入力に対 する出力過程を示す説明図である。 [図 13]この発明の実施の形態 2におけるディゾルブの遷移による入力画素の一例と、 その適応整数化によってノイズ除去された出力画素と差分と端数値の推移を示す説 明図である。
[図 14]この発明の実施の形態 3におけるノイズ除去装置の構成を示すブロック図であ る。
[図 15]この発明の実施の形態 4におけるノイズ除去装置の構成を示すブロック図であ る。
[図 16]この発明の実施の形態 5におけるノイズ除去装置の構成を示すブロック図であ る。
発明を実施するための最良の形態
[0035] 以下、この発明をより詳細に説明するために、この発明を実施するための最良の形 態について、添付の図面に従って説明する。
[0036] 実施の形態 1.
この発明の実施の形態 1では、ノイズ除去の演算処理後の実数値に対する整数ィ匕 関数を切り捨て処理又は切り上げ処理から適応的に選択して適用する適応整数ィ匕 処理部を備えたノイズ除去装置について説明する。
[0037] 第 7図はこの発明の実施の形態 1におけるノイズ除去装置の構成を示すブロック図 である。このノイズ除去装置は、減算部 11、演算処理部 12a、適応整数化処理部 13 a、加算部 14及びフレームメモリ 15を備えている。
[0038] この適応整数化処理部 13aは、より詳細な内部構成として、フレームカウンタ 31、周 期設定部 32、切り上げ Z切り捨て判定部 33からなる整数ィ匕制御部 21と切り上げ Z 切り捨て処理部 22を備えて 、る。
[0039] 第 7図において、この発明の実施の形態 1における適応整数化処理部 13aを備え たノイズ除去装置の動作を説明する。
[0040] 減算部 11は入力画像である所定のフレームの画像データ (f ) 101と、参照画像で
t
あるフレームメモリ 15に格納されている 1フレーム前のフレームの画像データ（F ) 1
t-i
02の同一位置の差分を取り、ノイズ成分を含む差分値 (d) 103として (f -F )を出
t t-1 力する。 [0041] 演算処理部 12aは減算部 11において出力された差分値 (d) 103に従来技術で説 明した上記式 (3)の（1 K)に相当する所定の係数 ocを乗算することによりノイズ除 去の演算処理された差分値 (d' ) 104を出力する。演算処理部 12aにおけるノイズ除 去の演算処理は様々な方式が使用できるが、ここでは非線形特性を持った演算を行 うこととし、第 1図、第 2図に示した特性を適用して説明する。
[0042] まず、差分値 (d) 103がノイズ除去対象値である場合、すなわち、非線形特性にお ける閾値 4に基づき、差分値 (d) 103の絶対値が閾値 4以下の範囲である場合は、次 の式 (4)に示すように、所定の係数 aを乗算する演算処理された差分値 (d' ) 104を 求める。
[0043] d' = a X d (4)
[0044] このように、演算処理部 12aは、除去対象のノイズ成分である差分値 (d) 103〖こは、 1より小さい所定の係数 α (0< αく 1)、この例では 1Z4を乗算することによりノイズ 除去の演算処理を行う。
[0045] また、差分値 (d) 103がノイズ除去対象外の値である場合、すなわち、閾値 4に基 づき、差分値 (d) 103の絶対値が閾値 4を上回る範囲である場合は、上記式 (4)によ り差分値 (d) 103に所定の係数 α = 1を乗算する演算処理された差分値 (d' ) 104を 求める。ただし、この場合、ノイズ除去の演算処理は実質的に不要であるので、整数 の差分値 (d) 103をそのまま実数の差分値 (d' ) 104として扱って出力するようにして ちょい。
[0046] なお、所定の係数 exと非線形特性における閾値は、それぞれ独立に設定して構わ ない。
[0047] 適応整数化処理部 13aは、演算処理部 12aがノイズ除去の演算処理した差分値 (d
' ) 104に後述する適応整数化を行って、整数化差分値 (int (d' ) ) 105を出力する。
[0048] 加算部 14は、適応整数ィ匕処理部 13aにおいて出力された整数ィ匕差分値 (int (d' )
) 105と、フレームメモリ 15に格納されている 1フレーム前の参照画像データ（F ) 10
t-i
2とを加算して、ノイズ除去された出力画像データ (F ) 106を求める。フレームメモリ 1
t
5は、このノイズ除去された出力画像データ (F ) 106を格納する。
t
[0049] このように、この発明の実施の形態 1における適応整数ィ匕処理部 13aを備えたノィ ズ除去装置は動作するが、ここで適応整数ィ匕処理部 13aの詳細動作を説明する。
[0050] 適応整数化処理部 13aは、整数ィ匕制御部 21と切り上げ Z切り捨て処理部 22から 構成され、切り上げ Z切り捨て処理部 22が、適応整数化処理部 13aへの入力である ノイズ除去の演算処理された差分値 (d' ) 104を後述の適応整数化し、適応整数ィ匕 処理部 13aからの出力である整数ィ匕差分値 (int (d' ) ) 105を出力している。
[0051] まず、整数化制御部 21のフレームカウンタ 31は、入力された 1フレーム毎にカウン トアップするカウンタで、フレームのカウント値 (t) 201を出力する。
[0052] 整数ィ匕制御部 21の周期設定部 32は、切り上げ処理を行う周期 (N) 202が設定さ れており、これを出力する。この周期設定部 32に設定される周期 (N) 202は、予め設 定してお!/、てもよ 、し、 CPU (図示せず)等の外部から設定するようにしてもよ!、。
[0053] なお、ここではフレームカウンタ 31のカウント値（t) 201は、フレーム番号と同一値 t として説明する力 カウント値 201をフレーム番号と独立に設定してカウントしても構 わない。
[0054] 整数ィ匕制御部 21の切り上げ Z切り捨て判定部 33は、フレームカウンタ 31において カウントされたフレームのカウント値 (t) 201と、周期設定部 32において出力された切 り上げ処理を行う周期（N) 202を入力とし、処理対象となっているフレームのカウント 値 (t) 201が切り上げ処理を行う周期（N) 202で割り切れるフレームの場合には切り 上げ処理を行!、、割り切れな!/、フレームの場合には切り捨て処理を行うように切り上 げ Z切り捨て処理部 22にその適用すべき整数ィ匕関数の指示 203を与える。
[0055] 第 8図は切り上げ処理を行う周期（N) 202が 4の場合の切り上げ Z切り捨て判定部 33の判定結果である指示 203の一例を示す図である。第 8図に示すように、切り上げ Z切り捨て判定部 33は、周期（N) 202力 の場合に、フレームカウンタ 31のカウント 値 (t) 201が 0からカウントする場合、カウント値 (t) 201が周期 202 (N=4)で割り切 れる t=0、 4、 8 · · ·のときに切り上げ処理の指示 203を出力し、それ以外のときに切り 捨て処理の指示 203を出力する。
[0056] 切り上げ Ζ切り捨て処理部 22は、切り上げ Ζ切り捨て判定部 33において与えられ た指示 203に基づき、演算処理部 12aにお 、てノイズ除去の演算処理された差分値 (d' ) 104に対して切り上げ処理又は切り捨て処理を適用する適応整数化を行い、整 数化差分値 (int (d' ) ) 105を出力する。
[0057] このように、整数化制御部 21では、切り上げ Z切り捨て判定部 33と切り上げ Z切り 捨て処理部 22において、フレームのカウント値 (t) 201と周期（N) 202の関係に基づ いて、次の式（5)に示すような整数化処理を行っている。
[0058] [数 1]
Figure imgf000012_0001
[0059] 上記式（5)の上方の式に基づいて、切り上げ Z切り捨て判定部 33は、フレームの カウント値 (t) 201に対する周期（N) 202による剰余が 0のとき、切り上げ処理を選択 して適用するように指示し、切り上げ処理を指示された切り上げ Z切り捨て処理部 22 は、切り上げ処理を選択して整数化処理を行う。一方、上記式（5)の下方の式に基 づいて、切り上げ Z切り捨て判定部 33は、フレームのカウント値 (t) 201に対する周 期（N) 202による剰余が 0以外のとき、切り捨て処理を選択して適用するように指示し 、切り捨て処理を指示された切り上げ Z切り捨て処理部 22は、切り捨て処理を選択し て整数化処理を行う。
[0060] なお、上記式（5)および第 8図ではカウント値 (t) 201に対する周期（N) 202による 剰余が 0のときに切り上げ処理を適用している力 切り上げ処理の指示 203は周期（ N) 202ごとに出力されればよいため、剰余が 0のときでなくてもよぐ剰余が 0から（N 1)の所定の整数値のときに切り上げ処理の指示を出力するようにしても構わな 、。
[0061] 次に、任意のフレーム番号 tの画像データで大きさ 1のノイズが発生した場合の動作 を第 9図により説明する。説明のために、入力画像データ fを (x+ 1)、参照画像デー
t
タ F を Xとする（Xは整数)。減算部 11における差分値 (d) 103は (f —F )で 1となり t-1 t t-1
、非線形特性に応じて演算処理される。係数 αが 1Z4の場合には、演算処理部 12 aは、差分値 (d) 103が 1であることから、上記式 (4)によりノイズ除去の演算処理され た差分値 (d' ) 104として 0. 25を出力する。
[0062] 切り上げ Z切り捨て判定部 33は、切り上げ処理の周期（N) 202が 4なので、 IZN 、すなわち 1Z4の割合で切り上げ処理の指示 203を出力する。切り上げ Z切り捨て 処理部 22の出力である整数化差分値 (d") 105は、全整数化処理に占める切り上げ 処理の適用割合 1Z4で 1を出力し、ノイズ除去された出力画像 Fは (x+ 1)となり、ノ
t
ィズが残留してしまう。しかし、切り捨て処理の適用割合 (N— 1) ZN、すなわち 3Z4 で整数化差分値 (d") 105として 0を出力し、ノイズ除去された出力画像 Ftは Xとなり、 ノイズを除去できる。このように、切り上げ処理の周期（N) 202が 4の場合には 3Z4 の割合で微小ノイズを除去できる。切り上げ処理を行う周期 (N) 202を大きくしていく と、さらに高い割合でノイズを除去できるようになり、例えば、周期（N) 202を 8にする と、 7Z8の割合で微小ノイズが除去される。
[0063] 以上、この発明の実施の形態 1における適応整数ィ匕による微小ノイズの除去につい て説明した。
[0064] 次に、この発明の実施の形態 1のノイズ除去装置において、ディゾルブ等の遷移に よって、ある静止画から徐々に画面が異なる静止画へ遷移する場合の適応整数化に よる微小ノイズの除去に対する影響について説明する。なお、上記式 (4)の整数ィ匕 関数における所定の係数 αは、第 1図、第 2図と同様に、差分値 (f — F )
t t-1 の絶対値 力 以下で 1Z4、 4を超えると 1とする。
[0065] 第 10図は、第 6図と同様に、任意のフレーム番号 tにおける画像データの入力画素 値 fとノイズ除去された画素値 Fの値の一例を示すグラフである。第 10図の上段のグ t t
ラフにおいて、十字印が入力画素値 fを示しており、 t= 5から t= 12の 8フレームかけ
t
て 0から 8まで大きさ 1ずつ変化し、静止画に遷移する例について説明する。
[0066] この発明の実施の形態 1の適応整数化関数を適用した場合、入力画素値 fに対す
t るノイズ除去された画素値 Fは、第 10図の上段のグラフに丸印で示したように遷移す
t
る。この遷移の過程における差分値 (f— F )は、第 10図の下段のグラフに丸印で
t t-i
示した。
[0067] なお、第 6図で説明した従来のノイズ除去装置における切り捨て処理及び切り上げ 処理によるノイズ除去された画素値 Fの遷移を第 10図の上段のグラフ、その遷移の
t
過程における差分値 (f — F )を第 10図の下段のグラフにそれぞれ太い破線で示し
t t-i
ている。
[0068] 差分値 d=f — F 力 以下において、ノイズ除去の演算処理の所定の係数 α = 1
t t-i Z4が適用され、 dが 1から 3では演算処理された差分は 1未満となる。すなわち、 t=
5から t= 7では、ノイズ除去の演算処理された差分値は、切り捨て処理によって整数 化され、その整数ィ匕差分値は 0となって、（1— K)を所定の係数 αとした上記式 (3)に より F =F となる。
t t-i
[0069] 次に、 t=8から t= 12の範囲で d=4をとる力 t=8および t= 12で切り上げ処理、 その他は切り捨て処理によって整数化されるが、整数化差分値のすべてが 1となって
、同様に上記式（3)により F =F + 1となる。
t t-i
[0070] また、 t= 13から t= 16の範囲で d= 3をとる力 t= 15まで切り捨て処理によって整 数化され、整数ィ匕差分値は 0となって、上記式（3)により F =F となる。 t= 16では、
t t-i
切り上げ処理によって整数化され、整数化差分値が 1となって、上記式（3)により F
t
=F + 1となる。入力画素値 fの遷移は完了して一定値となっている力 入力画素 t-1 t
値とノイズ除去された前フレームの画素値の差分値が 1縮小されて残像が緩和される
[0071] 同様に、 d= 2をとる t= 17力ら t= 20の範囲、 d= 1をとる t= 21から 24の範囲にお いても、 t= 20、 t= 24で切り上げ処理によって整数ィ匕され、整数化差分値が 1となつ て、入力画素値とノイズ除去された前フレームの画素値の差分値が 1ずつ縮小されて 、最終的に t= 25で残像が解消される。
[0072] このように、切り上げ処理による整数化が適用される切り上げ処理を適用する周期 N に対して、入力画素値 fの遷移が完了時の残像となる差分値が 1周期 (N)あたり 1ず
t
つ解消されていくことが説明できる。
[0073] なお、ディゾルブで遷移する入力画素値 fが横軸方向に平行移動しても切り上げ処
t
理による整数ィ匕の適用位置が変わることで遷移状況が変化することにはなるが、従 来技術で説明した切り捨て処理のみ適用する整数ィヒによるノイズ除去とは異なり、差 分値がある間は周期的な切り上げ処理により F =fに達することができ、残像が解消
t t
する。また、縦軸方向に伸縮しても、残像解消までの収束時間は変わる力 同様に残 像を解消することができる。
[0074] なお、ノイズ除去の演算処理の所定の係数 aと、整数化関数の切り上げ処理の適 用周期 Nは、独立に設定することが可能である。また、第 1図や第 2図に示した非線 形特性における閾値も、所定の係数ひ、適用周期 Nとは独立に設定してよい。
[0075] 以上のように、この発明の実施の形態 1によれば、ノイズ除去の演算処理された差 分値に対する整数化関数として切り捨て処理又は切り上げ処理から適応的に適用す る適応整数化処理部 13aを備えたので、微小なノイズの除去を行うとともに残像の解 消を行うことができるという効果が得られる。
[0076] 実施の形態 2.
この発明の実施の形態 2では、端数メモリに前フレームの対応画素の整数ィ匕で切り 捨てられた端数値を記憶しておき、ノイズ除去された実数値に前フレームの端数を反 映させてから整数化を適用する適応整数化処理部を備えたノイズ除去装置について 説明する。
[0077] 第 11図はこの発明の実施の形態 2におけるノイズ除去装置の構成を示すブロック 図である。このノイズ除去装置は、減算部 11、演算処理部 12b、適応整数化処理部 13b、加算部 14及びフレームメモリ 15を備えており、減算部 11、加算部 14及びフレ ームメモリ 15は、上記実施の形態 1の第 7図に示すものと同一である。
[0078] この適応整数化処理部 13bは、より詳細な内部構成として、静止判定部 41a、端数 メモリ 42a、実数加算部 43、整数部 Z小数部分離部 44を備えている。
[0079] 第 11図において、この発明の実施の形態 2における適応整数化処理部 13bを備え たノイズ除去装置の動作を説明する。
[0080] 減算部 11は、上記実施の形態 1と同様に、入力画像である所定のフレームの画像 データ（f ) 101と、参照画像であるフレームメモリ 15に格納されている 1フレーム前の
t
画像データ (F ) 102の同一位置の差分を取り、ノイズ成分を含む差分値 (d) 103と
t-1
して (f F )を出力する。
t t-1
[0081] 演算処理部 12bは、後述の適応整数ィ匕処理部 13bの静止判定部 41aにおいて入 力画像データ 101が静止画部分であると判定結果 301を得た場合には、減算部 11 において出力された差分値 (d) 103に対して上記式 (4)の所定の係数 α (0< α < 1 )、ここでは上記実施の形態 1と同様に 1Z4を乗算してノイズ除去の演算処理された 差分値 (d' ) 104を出力し、入力画像データ (f ) 101が静止画部分でないと判定結果
t
301を得た場合には、減算部 11において出力された差分値 (d) 103をノイズ除去の 演算処理された差分値 (d' ) 104とみなして出力する。
[0082] なお、入力画像データ (f ) 101が静止画部分でないと判定結果 301を得たときに
t
出力される差分値 (d' ) 104は、実質的には整数値のままであるが、差分値 (d) 103 に所定の係数 αとして 1を乗算するとともに実数値にしたと解釈しても構わない。
[0083] 適応整数化処理部 13bは、演算処理部 12bがノイズ除去の演算処理した差分値（ d' ) 104に後述する適応整数化を行って、整数化差分値 105を出力する。
[0084] 加算部 14は、適応整数化処理部 13bから出力された整数化差分値 105と、フレー ムメモリ 15に格納されている 1フレーム前の画像データ（F ) 102とを加算して、ノィ
t-i
ズ除去された出力画像データ (F ) 106を求める。フレームメモリ 15は、上記実施の形
t
態 1と同様に、このノイズ除去された出力画像データ (F ) 106を格納する。
t
[0085] このように、この発明の実施の形態 2における適応整数ィ匕処理部 13bを備えたノィ ズ除去装置は動作するが、ここで適応整数ィ匕処理部 13bの詳細動作を説明する。
[0086] 適応整数化処理部 13bは、静止判定部 41a、端数メモリ 42a、実数加算部 43、整 数部 Z小数部分離部 44から構成され、適応整数化処理部 13bへの入力である差分 値 (d) 103は静止判定部 41a、同様にノイズ除去の演算処理された差分値 (d' ) 104 は実数加算部 43に入力される。また、適応整数化処理部 13bからの出力である整数 化差分値 105は整数部 Z小数部分離部 44から出力される。
[0087] まず、静止判定部 41aは、減算部 11より出力された差分値 (d) 103に基づき、入力 画像データ (f ) 101が静止画部分である力否かを判定し、その判定結果 301を出力
t
する。このとき、例えば、静止判定部 41aは、差分値 (d) 103の絶対値が閾値未満の 場合に入力画像データ 101が静止画部分であると判定し、閾値以上の場合に入力 画像データ 101が静止画部分でな 、と判定する。静止画部分でな 、と 、う判定は、 動画部分であるという判定と同意とする。一例として、この判定の閾値を 4とする。
[0088] 端数メモリ 42aは、整数部 Z小数部分離部 44において 1フレーム前の整数化時に 切り捨てられた小数点以下の端数値 C を各画素の位置毎に保持するメモリで、静
t-1
止判定部 41aにおける判定結果 301が、静止画部分と判定されている間は小数点以 下の端数値を保持し、静止画部分でな 、と判定された場合は保持して 、る小数点以 下の端数値をリセットして 0として参照させる。ここで、端数メモリ 42aの保持する端数 値の精度は、所定の係数 exが 2のべき乗（S乗とする）の逆数であれば、その指数部 を表す数値である S桁を保持すればよい。例えば、所定の係数 αが 1Z4であれば小 数点以下 2桁となる。 2のべき乗の逆数のときにも、桁落ちによる切り捨て誤差を許容 できれば S桁より小さい桁数としても構わない。また、 2のべき乗の逆数でないときに は、保持する端数値の下位桁の切り捨て誤差を許容できれば適当な桁数とすればよ い。なお、正負両方の差分値を扱うときには、正負符号の記憶ための 1桁を余分に保 持するものとする。
[0089] 実数加算部 43は、演算処理部 12bにおいてノイズ除去の演算処理された差分値（ d，） 104と、端数メモリ 42aに保持されている 1フレーム前の小数点以下の端数値 (C
t
) 302とを加算して、加算結果を実数差分値 (d ' + C ) 303として出力する。
1 t-1
[0090] ここで加算される端数値 (C ) 302は、静止判定部 41aにお 、て入力画像データ (f
t-1
) 101が静止画部分でないと判定されていれば加算前にリセットされて 0となっている t
[0091] 整数部 Z小数部分離部 44は、実数差分値 303の整数部分の整数化差分値 (d") 105と小数点以下の端数値 (C ) 304とに分離し、整数部分の値である整数化差分
t
値 (d") 105を加算部 14に出力し、小数点以下の端数値 (C ) 304を端数メモリ 42a
t
に出力する。小数点以下の端数値 (C ) 304は、端数メモリ 42aに保持され、次のフレ
t
ームの同一位置の画素における実数差分値 303の算出に使用される。
[0092] ここで、静止判定部 41aにおいて入力画像データ (f ) 101が静止画部分でないと
t
判定されるとき、演算処理部 12bにおいてノイズ除去の演算処理された差分値 (d' ) 104は実質的に整数の差分値 (d) 103であって、また端数メモリ 42aに保持された端 数値 (C ) 302もリセットされて実数加算部 43で加算されるため、端数メモリ 42aに保 t-1
持される端数値 (C ) 304は 0となる。
t
[0093] 本構成で、任意のフレーム番号 tの画像データで大きさ 1のノイズが発生した場合の 動作を図 12により説明する。 Xを整数として、このとき入力画像データは f =x+ l、参
t
照画像データは F = xである。減算部 1 1における差分値 (d) 103は 1となり、非線形
t-1
特性に応じて乗算処理される。所定の係数 α = 1Z4の場合には、演算処理部 12は 、上記実施の形態 1と同様にして、差分値 (d) 103が 1とすれば、上記式 (4)によりノ ィズ除去の演算処理された差分値 (d' ) 104として 0. 25を出力する。
[0094] 端数メモリ 42aには、 1フレーム前に処理した何らかの端数値（C ) 302が入ってお
t-i
り、所定の係数 α = 1Z4の場合には 0. 25刻みで、 C =0. 00、 0. 25, 0. 50、 0.
t-i
75のいずれかである。端数値 (C ) 302力 力も 0. 50の場合、実数加算部 43の出
t-i
力である実数差分値 (d' +C ) 303は 1未満となるため、整数部 Z小数部分離部 44
t-i
の整数部の出力である整数化差分値 (d") 105は 0、端数値となる小数部の出力であ る端数値（C ) 304は 0. 25、 0. 50、 0. 75のいずれ力となり、適応整数化処理部 13
t
bの出力として切り捨て処理による整数ィ匕と等価な効果が得られる。また、 C =0. 7
t-i
5の場合には、実数差分値 (d' +C ) 303は 1であり、整数部の整数化差分値 (d")
t-i
105は 1、小数部の端数値 (C ) 304は 0. 00となり、適応整数化処理部 13bの出力と
t
して切り上げ処理による整数化と等価な効果が得られる。上記実施の形態 1でも説明 したように、切り上げ処理に相当する整数化のときには、ノイズ除去はできないことに なるが、所定の係数 α = 1Z4の場合には、 0. 25刻みの値をとる整数部 Z小数部分 離部 44の小数部の出力端数値 (C ) 304及び端数メモリ 42aから出力される端数値（
t
C ) 302が均等に発生するとすれば、 3Z4の割合で微小ノイズが除去される。
t-i
[0095] 以上、この発明の実施の形態 2における適応整数ィ匕による微小ノイズの除去に対 する影響について説明した。
[0096] 次に、この発明の実施の形態 2のノイズ除去装置にぉ 、て、ディゾルブ等の遷移に よって、ある静止画から徐々に画面が異なる静止画へ遷移する場合の適応整数化に よる微小ノイズの除去に対する影響について説明する。なお、上記式 (4)の整数ィ匕 関数における所定の係数 αは、差分値 (f F )から静止画部分であると判定され
t t-i
たときには 1 Z4、静止画部分でな 、と判定されたときには 1とする。
[0097] 第 13図は、第 10図と同様に、任意のフレーム番号 tにおける画像データの入力画 素値 fとノイズ除去された画素値 Fの値の一例を示すグラフである。第 13図の上段の t t
グラフにおいて、十字印が入力画素値 fを示しており、 t= 5から t= 12の 8フレームか
t
けて 0から 8まで大きさ 1ずつ変化し、静止画に遷移する例について説明する。
[0098] この発明の実施の形態 2の適応整数化関数を適用した場合、入力画素値 fに対す
t るノイズ除去された画素値 Fは、第 13図の上段のグラフに丸印で示したように遷移す
t る。この遷移の過程における差分値 (f -F )は、第 13図の中段のグラフに丸印で
t t-1
示した。また、この遷移の過程における 1フレーム前の端数値 (C )は、第 13図の下
t-1
段のグラフに四角印で示すとともに、この端数値 (C )をノイズ除去の演算処理され
t-1
た差分値 (d X a )に反映させた実数差分値 (d X α +C )は、丸印で示した。
t-1
[0099] なお、この発明の実施の形態 1と同様に、第 6図で説明した従来のノイズ除去装置 における切り捨て処理及び切り上げ処理によるノイズ除去された画素値 Ftの遷移を 第 13図の上段のグラフ、その遷移の過程における差分値 (f -F )を第 13図の中段
t t-1
のグラフにそれぞれ太 、破線で示して 、る。
[0100] 中段のグラフに示される差分値 dに対して、静止画部分であると判定されたとき、ノ ィズ除去の演算処理する所定の係数 aを 1Z4とすれば、下段のグラフにおける丸印 の実数差分値 (d X a +C )は、四角印の端数値 C に (dZ4)だけ上乗せした値と
t-1 t-1
なる。この整数化前の実数差分値 (d X a +C )の整数部が、適応整数化後の整数
t-1
化差分値となる。すなわち、実数差分値が 1を超えると、整数化差分値は 1となり、こ のとき 1を上回る分が端数値 Cになる。また、実数差分値が 1未満では、整数化差分
t
値は 0となり、そのまま端数値 Cになる。このように得られた現フレーム tの端数値 Cが
t t
、次のフレーム (t+ 1)において四角印で示される端数値になる。よって、下段のダラ フにおいて、黒丸印で示したフレームで切り上げ処理、白丸印で示したフレームで切 り捨て処理のように機能し、ノイズ除去された出力画素値 Ftが得られる。
[0101] この発明の実施の形態 2では、この発明の実施の形態 1のように一定の周期による 切り捨て処理と切り上げ処理の整数ィ匕になるとは限らないが、 t= 7から適度に発生 する切り上げ処理により t= 18で F =fに達することができ、残像が解消する。
t t
[0102] 以上のように、この発明の実施の形態 2によれば、端数メモリ 42aに前フレームの対 応画素の整数化で切り捨てられた端数値を記憶しておき、ノイズ除去された実数値 に反映させてから整数化を適用する適応整数化処理部 13bを備えたので、微小なノ ィズの除去を行うとともに残像の解消を行うことができるという効果が得られる。
[0103] また、端数メモリ 42aに前フレームの対応画素の切り捨てられた端数値を保持して おき、演算処理部 12bでノイズ除去した実数値に端数値を加えてカゝら整数部だけ分 離して整数化することで、適用する整数化関数が切り捨て処理のみであっても演算 処理部 12bでノイズ除去した実数値に対して切り上げ処理で整数ィ匕するのと同等な 効果が得られる。
[0104] 実施の形態 3.
この発明の実施の形態 3では、上記実施の形態 2の適応整数化処理部における静 止判定部の相当機能を演算処理部の内部に備えたノイズ除去装置について説明す る。
[0105] 第 14図はこの発明の実施の形態 3におけるノイズ除去装置の構成を示すブロック 図である。このノイズ除去装置は、減算部 11、演算処理部 12c、適応整数化処理部 1 3c、加算部 14及びフレームメモリ 15を備えており、減算部 11、加算部 14及びフレー ムメモリ 15は、上記実施の形態 2の第 11図に示すものと同一である。
[0106] この適応整数化処理部 13cは、より詳細な内部構成として、端数メモリ 42a、実数カロ 算部 43、整数部 Z小数部分離部 44を備えており、静止判定部 41aを除去した以外 は上記実施の形態 2の第 11図に示すものと同一である。
[0107] 第 14図において、演算処理部 12cは、その内部に備えた上記実施の形態 2の静止 判定部 41aの相当機能により判定結果 401を得て、減算部 11において出力された 差分値 (d) 103から所定の係数を乗算する上記実施の形態 2の演算処理部 12bと同 様のノイズ除去の演算処理された差分値 (d' ) 104を出力するとともに、その判定結 果 401を端数メモリ 42aに出力する。
[0108] この判定結果 401を得た端数メモリ 42a及び以降のノイズ除去装置の動作は、上記 実施の形態 2において判定結果 301を得た端数メモリ 42aにおける説明と同様であ る。
[0109] 以上のように、この発明の実施の形態 3によれば、上記実施の形態 2の適応整数化 処理部 13bにある静止判定部 4 laを演算処理部 12cが内部に備える構成のノイズ除 去装置としても、上記実施の形態 2と同様の効果が得られる。
[0110] 実施の形態 4.
この発明の実施の形態 4では、上記実施の形態 2の静止判定部が出力する演算処 理部と端数メモリへの判定結果を独立させたノイズ除去装置について説明する。
[0111] 第 15図はこの発明の実施の形態 4におけるノイズ除去装置の構成を示すブロック 図である。このノイズ除去装置は、減算部 11、演算処理部 12b、適応整数化処理部 13d、加算部 14及びフレームメモリ 15を備えており、減算部 11、加算部 14及びフレ ームメモリ 15は、上記実施の形態 2の第 11図に示すものと同一である。
[0112] この適応整数化処理部 13dは、より詳細な内部構成として、静止判定部 41b、端数 メモリ 42a、実数加算部 43、整数部 Z小数部分離部 44を備えており、静止判定部 4 lbから演算処理部 12bと端数メモリ 42aへの出力が独立した以外は上記実施の形態 2の第 11図に示すものと同一である。
[0113] 上記実施の形態 2では静止判定部 41aは減算部 11から出力される差分値 103に 基づいて入力画像データ 101が静止画部分である力否かを判定し、その判定結果 3 01を出力していた。この発明の実施の形態 4では、静止判定部 41bは静止画部分と した判定の信頼度を 2段階以上に分類して演算処理部 12bに通知し、ノイズ除去の 演算処理の所定の係数 αを分類に合わせて複数用意して適用する。例えば、静止 判定部 41bは減算部 11から出力される差分値 103に基づいて判定を行うが、その値 が大きいほど静止画部分でない確率も高くなると考えられ、静止画部分と判定される 信頼度が低下するとともに、ノイズの画像データへの影響も小さくなる。
[0114] よって、閾値を適用して差分値 103を複数の区間に分割し、その区間を分類として 静止画部分でない確率が高くなるほど所定の係数 αを高くして 1. 0に近付けていく。 例えば、所定の係数を与える非線形特性として、差分値 103が静止画部分と判定す る区間として 2以上 2以下で所定の係数 α = 1Ζ4、 一 4以上 2以下又は 2以上 4 以下で a = 1/2,それ以外の静止画部分でないと判定する区間で a = 1とするなど 、区間及び所定の係数は任意に設定すればょ 、。
[0115] 端数メモリ 42aには、上記実施の形態 2と同様に、判定結果 301bとして静止画部分 でないと判定されたとき端数値 302をリセットするように判定結果 301aと別系統で通 知する。
[0116] このように、静止判定部 41bは、演算処理部 12bに判定結果 301a、端数メモリ 42a に判定結果 301bを出力し、演算処理部 12bが判定結果 301aに基づく所定の係数 aを適用すること以外のノイズ除去装置の動作は、上記実施の形態 2における説明と 同様である。 [0117] なお、本発明の実施の形態 4では、静止判定部の演算処理部及び端数メモリへの 判定結果を分けて説明したが、端数メモリが演算処理部への特定の判定結果とその 他を区別することで、上記実施の形態 2の第 11図で実施することも可能である。
[0118] 以上のように、この発明の実施の形態 4によれば、上記実施の形態 2の演算処理部 12bの非線形特性を 3つ以上の状態に分類した構成のノイズ除去装置としても、上記 実施の形態 2と同様の効果が得られる
[0119] また、この発明の実施の形態 4によれば、減算部 11から出力される差分値に基づ Vヽて、その静止画部分と判定される確率を 3つ以上の状態に分類した非線形特性を 定義して所定の係数値を使 、分けて!/、るので、静止画部分と静止画でな!、部分の 中間に異なる所定の係数値を設定することができ、差分値に対して端数値が大きくな るため、実数加算部 43の出力が 1以上になりやすくなり、切り上げ処理に相当する整 数化が適用されやすくなることで遅延を改善する効果が得られる。
[0120] 実施の形態 5.
この発明の実施の形態 5では、上記実施の形態 2の静止判定部が判定時に近隣の 画像データにおける判定結果を参照して判定の信頼度を向上させるノイズ除去装置 について説明する。
[0121] 第 16図はこの発明の実施の形態 5におけるノイズ除去装置の構成を示すブロック 図である。このノイズ除去装置は、減算部 11、演算処理部 12b、適応整数化処理部 13e、加算部 14及びフレームメモリ 15を備えており、減算部 11、加算部 14及びフレ ームメモリ 15は、上記実施の形態 2の第 11図に示すものと同一である。
[0122] この適応整数化処理部 13eは、より詳細な内部構成として、静止判定部 41c、端数 メモリ 42b、実数加算部 43、整数部 Z小数部分離部 44を備えており、静止判定部 4 lcが端数メモリ 42bから隣接の画像データの端数値を参照する以外は上記実施の 形態 2の第 11図に示すものと同一である。
[0123] この発明の実施の形態 5では、静止判定部 41cが静止画部分でないと判定したとき に端数メモリ 42bにリセットされて 0が書き込まれることを利用し、同一フレーム内で処 理済の隣接する画像データや、同一フレームでは未処理であるが前フレーム内で対 応する隣接する画像データの保持された端数値を参照して静止画部分か否かを推 測し、判定の信頼度を向上させる。複数の隣接する画像データの端数値を参照し、 0 ならば静止画部分でないと推測する。なお、前フレームの同一位置の端数値を判定 結果によるリセットが適用される前に参照してもよい。例えば、その中の 0をとる割合と 差分値 103の大きさに基づき、静止画部分力否力を最終判定する。
[0124] また、ここでも上記実施の形態 4と同様に、判定の信頼度の分類を行 、、隣接する 画像データの端数値を参照しながら分類を判定しても構わない。
[0125] 以上のように、この発明の実施の形態 5によれば、上記実施の形態 2の適応整数化 処理部 13bにある静止判定部 41aの判定の信頼度をより向上させることができ、上記 実施の形態 2と同様の効果が得られる。
[0126] この発明の実施の形態 1から実施の形態 5によれば、微小なノイズが正の値のとき について説明を行ったが、負の値のときにも絶対値をとつて整数ィ匕の判定することに より同様な効果が得られることは明らかである。また、微小なノイズは、 1または一 1に 限らない。
[0127] この発明の実施の形態 1から実施の形態 5によれば、演算処理部の特性として第 1 図、第 2図に示す一例を適用して説明を行ったが、差分値 0で対称とせず、また 0近 傍に限らずより広範に設定してぉ 、ても構わな 、。
[0128] また、この発明の実施の形態 1から実施の形態 5によれば、演算処理部において、 差分値の 2次差分 (微分)値によって増加や減少、収束、停滞といった傾向に基づき 、同一閾値区間の分類でも所定の係数値を設定し分けても構わな ヽ。
産業上の利用可能性
[0129] 以上のように、この発明に係るノイズ除去装置は、例えば、残像がでず、微小なノィ ズを除去するものに適している。

Claims

請求の範囲
[1] 入力画像データと参照画像データとの差分値を求める減算部と、
この減算部により求められた差分値に所定の係数を乗算する演算処理を行う演算 処理部と、
この演算処理部により演算処理された差分値に対して適応的に切り上げ処理又は 切り捨て処理を行って整数化差分値を求める適応整数化処理部と、
この適応整数化処理部により求められた整数化差分値と上記参照画像データに基 づき出力画像データを求める加算部と、
この加算部により求められた出力画像データを上記参照画像データとして格納する メモリと
を備えたことを特徴とするノイズ除去装置。
[2] 上記適応整数化処理部は、
フレームのカウント値と切り上げを行う設定周期に基づき、切り上げ処理又は切り捨 て処理を行うよう指示する整数化制御部と、
この整数化制御部の指示に基づき、上記演算処理部により演算処理された差分値 の切り上げ処理又は切り捨て処理を行う切り上げ Z切り捨て処理部と
を備えたことを特徴とする請求項 1記載のノイズ除去装置。
[3] 上記整数ィ匕制御部は、フレームのカウント値に対する切り上げを行う設定周期によ る剰余が所定の値となる場合に切り上げ処理を行 、、上記剰余が所定の値とならな い場合に切り捨て処理を行うように指示することを特徴とする請求項 2記載のノイズ除 去装置。
[4] 上記適応整数化処理部は、
上記減算部により求められた差分値に基づき、入力画像データが静止部分である か否かを判定する静止判定部と、
上記参照画像データの小数点以下の端数値と上記演算処理部により演算処理さ れた差分値を加算する実数加算部と、
この実数加算部により求められた実数差分値を整数部分の整数化差分値と小数点 以下の端数値に分離する整数部 Z小数部分離部と、 この整数部 z小数部分離部により分離された上記端数値を保持するとともに、上記 静止判定部において入力画像データが静止部分であると判定された場合、保持して いる端数値を上記実数加算部に出力する端数メモリと
を備えることを特徴とする請求項 1記載のノイズ除去装置。
[5] 上記演算処理部は、上記静止判定部による判定結果に基づく所定の係数値を上 記減算部により求められた差分値に乗算する演算処理を行うことを特徴とする請求 項 4記載のノイズ除去装置。
[6] 上記端数メモリは、上記静止判定部による判定結果に基づき、入力された所定フレ ームの画像データが静止部分でないと判定された場合に、上記端数メモリに保持し ている小数点以下の端数値をリセットすることを特徴とする請求項 4記載のノイズ除去 装置。
[7] 上記静止判定部は、上記端数メモリに保持される端数値に基づ！ヽて参照画像デー タが静止部分である力否かを推測した第 1の判定と上記入力された所定のフレーム の画像データに対して上記減算部により求められた差分値による静止部分であるか 否かの第 2の判定とに基づき最終判定を行うことを特徴とする請求項 4記載のノイズ 除去装置。
[8] 入力画像データと参照画像データとの差分値を求める減算ステップと、
この減算ステップにより求められた差分値に所定の係数を乗算する演算処理を行う 演算処理ステップと、
この演算処理ステップにより演算処理された差分値に対して適応的に切り上げ処 理又は切り捨て処理を行って整数化差分値を求める適応整数化処理ステップと、 この適応整数化処理ステップにより求められた整数化差分値と上記参照画像デー タに基づき出力画像データを求める加算ステップと、
この加算ステップにより求められた出力画像データを参照画像データとして格納す る記憶ステップと
を有することを特徴とするノイズ除去方法。
PCT/JP2006/307496 2006-04-07 2006-04-07 ノイズ除去装置及びノイズ除去方法 WO2007116514A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US12/224,135 US8073283B2 (en) 2006-04-07 2006-04-07 Noise elimination apparatus and noise elimination method
JP2008509664A JP4842316B2 (ja) 2006-04-07 2006-04-07 ノイズ除去装置及びノイズ除去方法
EP06731443A EP2007131B1 (en) 2006-04-07 2006-04-07 Noise elimination apparatus and noise elimination method
PCT/JP2006/307496 WO2007116514A1 (ja) 2006-04-07 2006-04-07 ノイズ除去装置及びノイズ除去方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/307496 WO2007116514A1 (ja) 2006-04-07 2006-04-07 ノイズ除去装置及びノイズ除去方法

Publications (1)

Publication Number Publication Date
WO2007116514A1 true WO2007116514A1 (ja) 2007-10-18

Family

ID=38580823

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/307496 WO2007116514A1 (ja) 2006-04-07 2006-04-07 ノイズ除去装置及びノイズ除去方法

Country Status (4)

Country Link
US (1) US8073283B2 (ja)
EP (1) EP2007131B1 (ja)
JP (1) JP4842316B2 (ja)
WO (1) WO2007116514A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013208284A (ja) * 2012-03-30 2013-10-10 Fujifilm Corp 撮像画像のスジ状ノイズ補正方法及び撮影装置と電子内視鏡装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015078843A1 (en) * 2013-11-27 2015-06-04 Thomson Licensing Method and device for quantising the floating value of a pixel in an image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170429A (ja) * 1993-12-15 1995-07-04 Nikon Corp 巡回型雑音低減装置
JPH10126688A (ja) * 1996-10-21 1998-05-15 Sony Corp 映像データ処理装置およびその方法
JP2002094833A (ja) * 2000-09-13 2002-03-29 Nikon Corp ノイズ低減方法及び装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4179710A (en) * 1976-02-23 1979-12-18 Nippon Electric Co., Ltd. Predictive encoder with a non-linear quantizing characteristic
US4195350A (en) * 1978-06-19 1980-03-25 Cbs Inc. Method and apparatus for eliminating deadband in digital recursive filters
US4236224A (en) * 1978-12-26 1980-11-25 Rockwell International Corporation Low roundoff noise digital filter
US4727506A (en) * 1985-03-25 1988-02-23 Rca Corporation Digital scaling circuitry with truncation offset compensation
US4926361A (en) * 1987-09-22 1990-05-15 Hitachi, Ltd. Digital noise reducer
US5487086A (en) * 1991-09-13 1996-01-23 Comsat Corporation Transform vector quantization for adaptive predictive coding
JPH06225178A (ja) 1993-01-22 1994-08-12 Matsushita Electric Ind Co Ltd 動き検出回路
GB9509831D0 (en) * 1995-05-15 1995-07-05 Gerzon Michael A Lossless coding method for waveform data
JPH1169345A (ja) * 1997-06-11 1999-03-09 Fujitsu Ltd フレーム間予測動画像符号化装置及び復号装置並びにフレーム間予測動画像符号化方法及び復号方法
JP2000022991A (ja) 1998-06-30 2000-01-21 Matsushita Electric Ind Co Ltd ノイズ低減装置及びノイズ低減プログラムを記録した記録媒体
JP4596496B2 (ja) 1998-11-18 2010-12-08 ソニー株式会社 ノイズ除去装置およびノイズ除去方法
JP2004328206A (ja) 2003-04-23 2004-11-18 Matsushita Electric Ind Co Ltd ノイズリデューサ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170429A (ja) * 1993-12-15 1995-07-04 Nikon Corp 巡回型雑音低減装置
JPH10126688A (ja) * 1996-10-21 1998-05-15 Sony Corp 映像データ処理装置およびその方法
JP2002094833A (ja) * 2000-09-13 2002-03-29 Nikon Corp ノイズ低減方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2007131A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013208284A (ja) * 2012-03-30 2013-10-10 Fujifilm Corp 撮像画像のスジ状ノイズ補正方法及び撮影装置と電子内視鏡装置

Also Published As

Publication number Publication date
EP2007131A2 (en) 2008-12-24
JP4842316B2 (ja) 2011-12-21
EP2007131B1 (en) 2013-02-27
EP2007131A9 (en) 2009-05-20
JPWO2007116514A1 (ja) 2009-08-20
US8073283B2 (en) 2011-12-06
EP2007131A4 (en) 2010-12-29
US20090028457A1 (en) 2009-01-29

Similar Documents

Publication Publication Date Title
US8248492B2 (en) Edge preserving and tone correcting image processing apparatus and method
JP4859632B2 (ja) 画像処理装置及び画像処理方法
JP5144202B2 (ja) 画像処理装置およびプログラム
US8406559B2 (en) Method and system for enhancing image sharpness based on local features of image
TWI573096B (zh) 影像雜訊估測的方法與裝置
CN102567950A (zh) 一种图像缩放方法及系统
JP2005025696A (ja) 画像処理装置、画像処理方法及びプログラム及び記録媒体
CN103313068B (zh) 基于灰边缘约束灰世界的白平衡校正图像处理方法及装置
JP4399449B2 (ja) 画像ノイズ低減システム、画像ノイズ低減方法およびコンピュータ・プログラム
CN115004220B (zh) 用于原始低光图像增强的神经网络
WO2007116514A1 (ja) ノイズ除去装置及びノイズ除去方法
Camacho et al. Efficient impulsive noise suppression based on statistical confidence limits
US7437020B2 (en) Digital image processing device and method
JP2011130128A (ja) 画像処理装置及びその制御方法、プログラム
JP4596496B2 (ja) ノイズ除去装置およびノイズ除去方法
CN112422976A (zh) 一种视频编码标准中的亮度分量运动补偿方法及视频编码方法
JP5790933B2 (ja) ノイズ除去装置、電子機器
KR20140006751A (ko) 이미지 처리 장치 및 방법
JP2003274404A (ja) ブロックノイズ除去装置
JP4629431B2 (ja) 画像処理装置、及び、画像処理方法
JP3948616B2 (ja) 画像のマッチング装置
KR100703127B1 (ko) 리커시브 필터
WO2012101862A1 (ja) エッジ強調方法またはエッジ強調度演算方法
KR100335107B1 (ko) 압축영상의 블록현상 제거방법
JP2005175913A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06731443

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008509664

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12224135

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006731443

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE