WO2013161940A1 - 画像処理方法、画像処理システム、画像処理装置および画像処理プログラム - Google Patents

画像処理方法、画像処理システム、画像処理装置および画像処理プログラム Download PDF

Info

Publication number
WO2013161940A1
WO2013161940A1 PCT/JP2013/062202 JP2013062202W WO2013161940A1 WO 2013161940 A1 WO2013161940 A1 WO 2013161940A1 JP 2013062202 W JP2013062202 W JP 2013062202W WO 2013161940 A1 WO2013161940 A1 WO 2013161940A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
image
noise
initial
image processing
Prior art date
Application number
PCT/JP2013/062202
Other languages
English (en)
French (fr)
Inventor
健太 先崎
塚田　正人
慶一 蝶野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014512683A priority Critical patent/JP6222481B2/ja
Priority to US14/397,202 priority patent/US9430816B2/en
Publication of WO2013161940A1 publication Critical patent/WO2013161940A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention relates to an image processing method, an image processing system, an image processing apparatus, and an image processing program.
  • a technology for reducing noise contained in an image is an indispensable technology for reproducing a captured image more clearly.
  • a technique for reducing noise for example, there is a noise removal method based on total variation (Total-Variation, TV) norm regularization disclosed in Non-Patent Document 1.
  • TV method total variation
  • FIG. 19 shows an image processing method using the conventional TV method.
  • FIG. 20 is a flowchart for explaining an image processing method using the conventional TV method.
  • the input image F is supplied to the skeleton component / residual component separation unit 101.
  • the skeleton component / residual component separation unit 101 separates the supplied image F into a skeleton component U TV composed of a strong edge and a flat region and a residual component V TV composed of a texture and noise. That is, the input image F is represented by the sum of the skeleton component U TV and the residual component V TV as in the following formula (1).
  • Framework component U TV is obtained by minimizing the total variational norm J (U TV) of U TV represented by the following formula (2).
  • x in the formula is the horizontal pixel position of the skeleton component U TV
  • y denotes the vertical pixel position of the skeleton component U TV.
  • This minimization problem can be solved by iterating the Chambolle Projection method.
  • a subgradient method using a TVV norm subgradient can be used as an alternative to the Chambolle Projection method.
  • Equation (3) the skeletal component at the time of the (k + 1) th iteration using the subgradient method Is calculated (step S2).
  • the stop condition for repetition is described.
  • Input image height M, width N, residual component at the kth iteration M-by-n element Then, using the standard deviation ⁇ noise of the noise of the target image estimated in advance, It is conceivable that the iteration is stopped when it becomes (step S3).
  • Equation (4) is the residual component Based on the assumption that is a noise.
  • using the threshold ⁇ It is conceivable that the iteration is stopped when it becomes (step S3).
  • Equation (5) is the result of the kth iteration And k + 1 iterations Are considered to have converged when it is determined that the variation is sufficiently small.
  • the iteration is also stopped when the iteration number k reaches the maximum iteration number k max (step S4).
  • the number of iterations is less than k,
  • FIG. 21 shows an image processing method using the TV method of FIG. 19 that has a process of attenuating the noise component of the residual component separated by the skeleton component / residual component separation unit 101 and combining it with the skeleton component. This is an extended image processing method.
  • FIG. 22 is a flowchart for explaining the image processing method shown in FIG.
  • the residual component V TV separated by the skeleton component / residual component separation unit 101 is supplied to the noise suppression unit 102, and a function f for attenuating the noise component in the residual component V TV is expressed by the following equation (7).
  • Act step S7.
  • the skeletal component U TV and the residual component (ie, texture component) f (V TV ) in which the noise component is attenuated are synthesized and output as an image Z with reduced noise (step S6).
  • Steps S1 to S5 are the same as the image processing method using the TV method in FIG. Examples of the function f include a soft decision threshold process shown in FIG. 23A, a hard decision threshold process shown in FIG. 23B, and a factor process shown in FIG. It is not something.
  • the soft decision threshold process shown in FIG. 23A is expressed by the following equation (8).
  • the sign function in the expression is a function that outputs a positive / negative sign.
  • the hard decision threshold processing shown in FIG. 23B is expressed by the following equation (9). If ⁇ is an appropriate coefficient, the factor process shown in FIG. 23C is expressed by the following equation (10). Further, it is possible to combine soft decision threshold processing or hard decision threshold processing and facotor processing as shown in Expression (11). In Expression (11), the function is configured using the soft decision threshold processing, but it is naturally possible to configure the same function using the hard decision threshold processing.
  • Non-Patent Document 1 is an iterative process in which the above-mentioned Chambolle Projection method is repeatedly applied until the solution converges, there is a problem that the calculation cost increases.
  • the TV method can remove high-frequency noise, it has a problem that it cannot be applied to low-frequency noise that occurs due to uneven distribution of noise particles and spreads over a relatively wide range compared to high-frequency noise.
  • Low frequency noise is due to uneven distribution density of noise particles in a wide range of several pixels to several tens of pixels. Since the TV norm for such low frequency noise is small, it is regarded as a flat region (no noise). It is. In other words, the TV method cannot handle low frequency noise in principle.
  • the present invention was invented in view of the above problems, and an object thereof is to provide an image processing method and an image processing apparatus capable of effectively and rapidly removing noises in various frequency bands.
  • the present invention generates an initial noise-removed image by reducing noise while preserving edges in the input image, and is defined in advance based on an initial residual component calculated from the input image and the initial noise-removed image.
  • This is an image processing method for controlling a repetitive calculation based on the energy, separating the initial noise-removed image into a skeleton component and a residual component by the controlled repetitive calculation, and generating the skeleton component as an output image.
  • the present invention provides an initial noise-removed image generating unit that generates an initial noise-removed image by a noise-removing method that preserves an edge component in an input image, and an initial noise-removed image by a repetitive calculation based on a predetermined energy.
  • Image processing comprising: a skeleton component / residual component separation unit that separates a component into a residual component and generates the skeleton component as an output image; and a control unit that controls the iterative calculation based on the initial residual component Device.
  • noises in various frequency bands can be removed effectively and at high speed.
  • FIG. 4 is a flowchart illustrating an example of a procedure of the image processing method according to the first embodiment.
  • FIG. 3A shows an original image including noise.
  • FIG. 3B is an image obtained as a result of removing noise from the wavelet shrinkage method of FIG.
  • FIG. 3A shows an original image including noise.
  • FIG. 3B is an image obtained as a result of removing noise from the wavelet shrinkage method of FIG.
  • led-out from 1st Embodiment It is explanatory drawing of the image processing method derived
  • 1 is a block diagram illustrating a configuration example of an image processing apparatus according to a first embodiment.
  • FIG. 16A shows an original image.
  • FIG. 16B shows the result of applying wavelet transform to the original image of FIG.
  • FIG. 16C shows the result of recursively applying the wavelet transform three times to the original image of FIG. 10
  • FIG. 10 is a flowchart illustrating an example of a procedure of an image processing method according to a fourth embodiment. It is a block diagram which shows the structural example of the image processing apparatus of 4th Embodiment. It is explanatory drawing of the existing image processing method. It is a flowchart explaining the example of a procedure of the existing image processing method.
  • FIG. 23A shows input / output responses of the soft decision threshold processing.
  • FIG. 23B shows the input / output response of the hard decision threshold process.
  • FIG. 23C shows the input / output response of the factor process.
  • FIG. 1 is a functional block diagram for explaining an image processing method according to the first embodiment of the present invention.
  • the image processing method includes an initial noise-removed image generation unit 103 that generates an initial noise-removed image by a lightweight noise-removing method that preserves edge components in an input image, and initial noise removal.
  • the iterative control unit 104 that controls the subsequent skeletal component / residual component separation unit based on the initial residual component separated from the input image in the image generation unit 103, and the skeletal component and residual component shown in FIG.
  • a skeleton component / residual component separation unit 101 for separation is provided.
  • the skeleton component / residual component separation method for separating the skeleton component and the residual component will be described by the TV method shown in the conventional method, but is not limited thereto.
  • FIG. 2 is a flowchart for explaining the image processing method according to the first embodiment.
  • the input image F is supplied to the initial noise removal image generation unit 103.
  • the initial noise removal image generation unit 103 applies a lightweight noise removal method for storing edge components to the input image F, and generates an initial noise removal image U init (step S8).
  • the initial residual component composed of noise and texture is V init .
  • the following equation (12) is established.
  • the generated initial noise-removed image U init is supplied to the skeleton component / residual component separation unit 101. Further, the separated initial residual component V init is supplied to the iterative control unit 104.
  • a lightweight noise removal method for storing edge components in step S8 will be described.
  • a light noise removal method a Wavelet Shrinkage (WS) method, a Bitaltal Filter (BF), or the like can be applied. These methods are image noise removal methods that have high edge preservability and low calculation costs compared to the TV method.
  • the WS method obtains an image with reduced noise by two-dimensional wavelet transforming an image, attenuating high-frequency components of wavelet transform coefficients in the 0 direction, and then inversely transforming the two-dimensional wavelet to reconstruct the image.
  • the wavelet transform coefficient is w
  • the wavelet transform coefficient after shrinkage processing is w ′
  • the attenuation is ⁇
  • the attenuation processing is expressed by the following formulas (13) and (14), for example.
  • the sign function in Formula (13) is a function which outputs a positive / negative sign.
  • a wavelet transform coefficient having a small absolute value is almost a noise component. Therefore, by setting an appropriate attenuation amount ⁇ to attenuate the wavelet transform coefficient, the noise component included in the image can be reduced. In addition, since a wavelet transform coefficient having a large absolute value, which represents an edge component, remains, the edge in the input image is saved as a result.
  • BF is a derivative type of the weighted smoothing filter, and implements a noise removal method that preserves edges by the following two indicators that determine filter coefficients.
  • the first index is the spatial distance between the noise removal target pixel and its surrounding pixels.
  • a pixel spatially close to the target pixel is regarded as having a high correlation with the target pixel, and the weight of the filter coefficient is increased.
  • the spatially separated pixels are regarded as having a low correlation with the target pixel, and the weight of the filter coefficient is reduced.
  • the second index is the difference between the pixel values of the noise removal target pixel and its surrounding pixels.
  • the second index works like a general weighted smoothing filter in an area where the pixel values are almost uniform, that is, in a flat area, so that noise can be removed, and an area where the difference in pixel values is large, In other words, in the region including the edge, the weight of the filter coefficient other than the target pixel becomes small, so the edge is stored.
  • the calculation cost of WS method and BF is small compared with TV method.
  • visual artifacts may occur in the processed image.
  • An example is shown in FIG. 3A is an image including noise
  • FIG. 3B is an image from which noise is removed by the WS method.
  • FIG. 3B unnatural degradation that does not exist in the original image is observed.
  • BF cannot remove isolated noise called sesame salt noise in principle.
  • the WS method and BF in this embodiment are used only to generate an initial noise-removed image, and artifacts generated by the WS method and isolated noise that cannot be removed by the BF method are removed by the subsequent processing of the present invention. Therefore, it does not become a problem.
  • the iteration control unit 104 controls the number of iterations of the TV method based on the initial residual component V init supplied from the initial noise removal image generation unit 103.
  • the standard deviation ⁇ init is calculated from the initial residual component V init supplied from the initial noise-removed image generation unit 103 as follows (step S9).
  • step S9 the m by n elements of the initial residual component V init are Then, the standard deviation ⁇ init is calculated as expressed by the following formula (15).
  • the parameter ⁇ shown in Equation (3) and the maximum number of iterations k max of a fixed value are used, but in this embodiment, the noise standard deviation ⁇ noise estimated in advance and the step S9
  • Each parameter is corrected from the calculated standard deviation ⁇ init (step S10).
  • Equation (16) the parameter ⁇ ′ represented by the following equation (16) calculated from the standard deviation ⁇ noise of noise estimated in advance and the standard deviation ⁇ init calculated in step S9 is used. That is, in Equation (16), when ⁇ init is close to ⁇ noise , it means that it is in the vicinity of the convergence solution of the TV method, and the convergence speed can be improved. Specifically, the convergence speed is improved by narrowing the search area in one iteration.
  • the maximum number of iterations k 'max, the conventional maximum number of iterations k max, and a minimum number of iterations k min be predetermined, and the standard deviation sigma noise of noise estimated beforehand, the initial residual component V init standard deviation sigma init And is defined as in the following expression (17) (step S10).
  • the max function is a function that outputs the larger one of the two input values
  • the min function is a function that outputs the smaller one of the two input values
  • the round function is a rounding function to an integer value.
  • the skeleton component / residual component separation unit 101 applies the TV method using the initial noise-removed image U init supplied from the initial noise-removed image generation unit 103 as an initial solution, and satisfies the iteration stop condition determined by the iteration control unit 104.
  • a skeleton component U TV composed of a strong edge and a flat region and a residual component V TV composed of texture and noise are separated.
  • the following formula (19) is used as the repeated stop condition instead of the formula (4) of the conventional method.
  • the skeleton component U TV is regarded as an image from which noise is removed, and a noise-removed image Z is obtained as shown in the following equation (20) (step S6).
  • a configuration in which a residual component V TV in which a noise component is attenuated and a skeleton component U TV are combined and a noise-removed image Z is output is also possible. is there.
  • the image processing method of the invention has a configuration as shown in FIG. 4 and is represented by a flowchart as shown in FIG.
  • FIG. 6 is a diagram illustrating a configuration example of the image processing apparatus according to the first embodiment.
  • the image processing apparatus 1000 is an apparatus that removes noise from the input image 1 and outputs an output image 2.
  • the image processing apparatus 1000 includes an initial noise removal image generation unit 3, an initial residual component storage memory 4, an initial residual component standard deviation calculation unit 5, an initial residual component standard deviation storage memory 6, and a subgradient A parameter calculation unit 7 for the method, a parameter storage memory 8 for the subgradient method, an iterative control unit 9 for the subgradient method, and a skeleton component / residual component separation unit 10 are provided.
  • the initial noise-removed image generation unit 3 applies a lightweight noise removal method for storing the edge component described in step S8, and generates an initial noise-removed image.
  • the initial residual component storage memory 4 stores the initial residual component separated from the input image 1 by the initial noise removal image generation unit 3.
  • the initial residual component standard deviation calculation unit 5 refers to the initial residual component storage memory 4 and calculates the standard deviation of the initial residual component according to the procedure described in step S9.
  • the initial residual component standard deviation storage memory 6 stores the standard deviation of the initial residual component calculated by the standard residual calculation unit 5 of the initial residual component.
  • the parameter calculation unit 7 of the subgradient method refers to the standard deviation storage memory 6 of the initial residual component, and performs the sub-gradient method parameter ⁇ ′ and the maximum iteration number parameter of the subgradient method in the procedure described in step S10. k ' max is calculated.
  • the subgradient method parameter storage memory 8 stores the subgradient method parameters calculated by the subgradient method parameter calculation unit 7.
  • the iterative control unit 9 of the subgradient method refers to the initial residual component storage memory 4 and the parameter storage memory 8 of the subgradient method, and performs the skeleton component / residual component separation unit according to the procedure described in steps S3 and S4. Control the iteration of the subgradient method at 10.
  • the skeleton component / residual component separation unit 10 is supplied from the initial noise removal image generation unit 3 in accordance with the procedure described in steps S1, S2, S3, S4, and S5 under the control of the iterative control unit 9 of the subgradient method.
  • the subgradient method is executed using the initial noise-removed image as an initial solution, the initial noise-removed image is separated into a skeleton component and a residual component, and the skeleton component is set as an output image 2.
  • FIG. 6 Note that the configuration of the image processing apparatus illustrated in FIG. 6 is merely an example, and other configurations may be employed as long as the apparatus implements similar functions.
  • the image processing apparatus 1000 can be realized by a computer, and each component constituting the image processing apparatus, that is, the initial noise removal image generation unit 3, the initial residual component storage memory 4, and the initial residual component Standard deviation calculation unit 5, standard deviation storage memory 6 of initial residual component, subgradient method parameter calculation unit 7, subgradient method parameter storage memory 8, subgradient method iteration control unit 9, skeleton
  • the component / residual component separation unit 10 can be realized as a program for causing a central processing unit (CPU) of a computer to realize the above-described functions.
  • each component constituting the image processing apparatus can be realized by a computer and can be realized as a program is not limited to the first embodiment, but is the same in other embodiments.
  • the image processing apparatus 1000 can be configured to generate the output image 1 by synthesizing the residual component with the noise component attenuated and the skeleton component, like the image processing apparatus 1001 shown in FIG.
  • the image processing apparatus 1001 includes an initial noise-removed image generation unit 3, an initial residual component storage memory 4, an initial residual component standard deviation calculation unit 5, and an initial residual component standard.
  • a deviation storage memory 6, a subgradient method parameter calculation unit 7, a subgradient method parameter storage memory 8, a subgradient method iteration control unit 9, and a skeleton component / residual component separation unit 10 are provided. Since these processes are the same as those of the image processing apparatus 1000, description thereof is omitted.
  • the image processing apparatus 1001 includes a noise suppression unit 11 and a synthesis unit 12.
  • the noise suppression unit 11 suppresses the noise component from the residual component supplied from the skeleton component / residual component separation unit 10 in the procedure of step S7.
  • the synthesis unit 12 synthesizes the skeleton component supplied from the skeleton component / residual component separation unit 10 and the residual component (that is, the texture component) in which the noise component supplied from the noise suppression unit 11 is attenuated, and outputs an image. 2 is generated.
  • the configuration of the image processing apparatus shown in FIG. 7 is an example, and other configurations may be adopted as long as the apparatus realizes the same function.
  • an initial denoising image is generated using a lightweight denoising method that preserves edge components to obtain an initial solution of the TV method, and the residual component separated from the input image
  • FIG. 8 is a functional block diagram for explaining the image processing method according to the second embodiment of the present invention.
  • the image processing method includes an initial noise-removed image generation unit 103 that generates an initial noise-removed image by a lightweight noise-removing method that preserves edge components in an input image, and initial noise removal.
  • the iterative control unit 104 that controls the subsequent skeletal component / residual component separating unit 101 based on the initial residual component separated from the input image in the image generating unit 103, and the skeletal component and residual component shown in FIG.
  • Skeleton component / residual component separating unit 101 the initial residual component separated from the input image by the initial noise-removed image generating unit 103, and the skeletal component and residual component based on the TV method
  • the residual noise separated from the initial noise-removed image by the skeleton component / residual component separating unit is separated from the input image by the initial noise-removed image generating unit 103.
  • the skeleton component / residual component separation method for separating the skeleton component and the residual component will be described by the TV method shown in the conventional method, but is not limited thereto.
  • FIG. 9 is a flowchart for explaining an image processing method according to the second embodiment of the present invention.
  • the input image F is supplied to the initial noise removal image generation unit 103.
  • the initial noise removal image generation unit 103 applies a lightweight noise removal method for storing edge components to the input image F, and generates an initial noise removal image U init (step S8). Further, the initial residual component V init composed of texture and noise is separated from the input image F.
  • the lightweight noise removal method for storing the edge component is the same as that in the first embodiment, and thus description thereof is omitted.
  • the generated initial noise-removed image U init is supplied to the skeleton component / residual component separation unit 101.
  • the separated initial residual component V init is supplied not only to the iterative control unit 104 but also to the noise suppression unit 201.
  • the iteration control unit 104 controls the iteration of the TV method based on the initial residual component V init supplied from the initial noise removal image generation unit 103.
  • Steps S9 and S10 indicating the iterative control method are the same as those in the first embodiment, and thus description thereof is omitted.
  • the standard deviation ⁇ init of the initial residual component V init calculated in step S9 is supplied to the noise suppression unit 201.
  • the skeleton component / residual component separation unit 101 applies the TV method using the initial noise-removed image U init supplied from the initial noise-removed image generation unit 103 as an initial solution, and satisfies the iteration stop condition determined by the iteration control unit 104. Based on this, a skeleton component U TV composed of strong edges and flat regions and a residual component V TV composed of texture and noise are separated. Steps S1, S2, S3, S4, and S5 indicating the separation method are the same as those in the first embodiment, and thus description thereof is omitted.
  • the residual component V TV is supplied to the noise suppression unit 201.
  • the noise suppression unit 201 uses the residual component V init and the skeleton component / residual component supplied from the initial noise removal image generation unit 103.
  • a function f for attenuating the noise component is applied to the residual component V TV supplied from the separation unit 101 to generate a residual component f (V init , V TV ) in which the noise component is attenuated (step S11).
  • step S ⁇ b> 11 the function f is configured by expanding the expression (11) as a basic expression. For example, using threshold values ⁇ 1 and ⁇ 2 and coefficients ⁇ 1 and ⁇ 2 , a combination of soft decision threshold processing and factor processing is applied to residual components V init and V TV as shown in the following equation (22).
  • the function f can be configured by applying.
  • ⁇ 1 and ⁇ 2 are obtained by using the standard deviation ⁇ noise of the target image noise estimated in advance and the standard deviation ⁇ init of the initial residual component supplied from the iterative control unit 104, Set as a 1 and a 2 are coefficients.
  • the noise component is attenuated only from the residual component V TV separated by the skeleton component / residual component separation unit 101 as shown in FIG. 2 of the first embodiment.
  • the difference from the first embodiment is that the attenuation amount of the noise component is set based on the standard deviation ⁇ init of the initial residual component V init supplied from the iterative control unit 104.
  • the order of the soft decision threshold process and the factor process may be reversed, or the hard decision threshold process may be combined.
  • the function f is not limited to the expression (22) as long as the process has the same effect.
  • a noise-removed image Z is obtained by synthesizing (that is, texture components) f (V init , V TV ) (step S6). Based on the above-described operation, the image processing method of the invention generates a noise-removed image.
  • FIG. 10 is a diagram illustrating a configuration example of the image processing apparatus according to the second embodiment.
  • the image processing device 1002 is a device that removes noise from the input image 1 and outputs an output image 2.
  • the image processing apparatus 1002 includes an initial noise-removed image generation unit 3, an initial residual component storage memory 4, an initial residual component standard deviation calculation unit 5, and an initial residual unit. Difference component standard deviation storage memory 6, subgradient method parameter calculation unit 7, subgradient method parameter storage memory 8, subgradient method iteration control unit 9, skeleton component / residual component separation unit 10, And a synthesizing unit 12. Since these processes are the same as those of the image processing apparatus 1001, description thereof will be omitted.
  • the image processing apparatus 1002 includes a noise suppression unit 13 that executes processing different from that of the image processing apparatus 1001.
  • the noise suppression unit 13 the initial residual component obtained by referring to the initial residual component storage memory 4 based on the standard deviation of the initial residual component obtained by referring to the standard residual storage memory 6 of the initial residual component, From the residual component supplied from the skeleton component / residual component separation unit 10, the noise component is suppressed by the procedure of step S11.
  • the configuration of the image processing apparatus shown in FIG. 10 is an example, and other configurations may be adopted as long as the apparatus realizes the same function.
  • the noise can be removed at high speed while maintaining the edge and texture more.
  • FIG. 11 is a functional block diagram for explaining an image processing method according to the third embodiment of the present invention.
  • the image processing method includes an initial noise-removed image generation unit 103 that generates an initial noise-removed image based on the WS method, and an initial noise-removed image generation unit 103 that is separated from an input image.
  • the iterative control unit 104 that controls the subsequent skeletal component / residual component separating unit based on the initial residual component, and the skeletal component / residual component separating unit that separates the skeletal component and residual component shown in FIG.
  • the constraint space generation unit 304 that generates a space for constraining the skeleton component and the wavelet transform coefficient of the skeleton component generated by the skeleton component / residual component separation unit 101 are controlled. Characterized by comprising a projection unit 306 for projecting the constraint space generated in the space generator 304.
  • the skeleton component / residual component separation method for separating the skeleton component and the residual component will be described by the TV method shown in the conventional method, but is not limited thereto.
  • FIG. 12 is a flowchart for explaining the image processing method according to the first embodiment.
  • the input image is supplied to the initial noise removal image generation unit 103.
  • the initial noise-removed image generation unit 103 generates an initial noise-removed image using the WS method.
  • the wavelet transform unit 301 performs wavelet transform on the supplied input image (step S12), and supplies the wavelet transform coefficients to the shrinkage unit 302 and the constraint space generation unit 304.
  • the shrinkage unit 302 performs shrinkage on the wavelet transform coefficients supplied from the wavelet transform unit 301 (step S13). For example, the processing of Expression (13) and Expression (14) can be applied as one form of Shrinkage. Further, the wavelet transform coefficient to which the shrinkage is applied is supplied to the wavelet inverse transform unit 303, and the shrinkage attenuation amount ⁇ is supplied to the constraint space generation unit 304.
  • the wavelet inverse transform unit 303 performs wavelet inverse transform on the wavelet transform coefficient supplied from the shrinkage unit 302 (step S14), and obtains an initial noise-removed image U init and a residual component V init .
  • the obtained initial noise-removed image U init is supplied to the skeleton component / residual component separating unit 101, and the residual component V init is supplied to the iterative control unit 104.
  • the constraint space generation unit 304 generates a constraint space S using the wavelet transform unit coefficients supplied from the wavelet transform unit 301 and the attenuation amount ⁇ supplied from the shrinkage unit 302 (step S15).
  • the constraint space S is expressed by the following equation (25). Is done.
  • WT ( ⁇ ) represents wavelet transform
  • c represents a coefficient. Expression (25) indicates that when the constraint space S is wavelet transformed, the wavelet transformation coefficient is within the range of ⁇ c ⁇ ⁇ of the wavelet transformation coefficient of the input image.
  • the generated constraint space S is supplied to the projection unit 306.
  • the iteration control unit 104 controls the iteration of the TV method based on the noise component V init supplied from the wavelet inverse transformation unit 303. Steps S9 and S10 indicating the iterative control method are the same as those in the first embodiment, and thus description thereof is omitted.
  • the skeleton component / residual component separation unit 101 applies the TV method using the initial noise-removed image U init supplied from the initial noise-removed image generation unit 103 as an initial solution, and satisfies the iteration stop condition determined by the iteration control unit 104. Based on this, a skeleton component U TV and a residual component V TV composed of texture and noise are separated. Steps S1, S2, S3, S4, and S5 indicating the separation method are the same as those in the first embodiment, and thus description thereof is omitted.
  • the obtained skeleton component U TV is supplied to the wavelet transform unit 305.
  • the wavelet transform unit 305 performs wavelet transform on the skeleton component U TV supplied from the skeleton component / residual component separation unit 101 (step S ⁇ b> 16), and supplies the wavelet transform coefficient to the projection unit 306.
  • the projection unit 306 performs a projection process represented by the following equation (26) using the constraint space S supplied from the constraint space generation unit 304 and the wavelet transform coefficient supplied from the wavelet transform unit 305 (step S17).
  • t is a wavelet transform coefficient output from the wavelet transform unit 305 and obtained by applying wavelet transform to the skeleton component U TV
  • t ′ is a wavelet transform coefficient output by the projection processing to the constraint space S. It is.
  • the wavelet transform coefficient of the output image Z is constrained to vary within a range of ⁇ c ⁇ ⁇ of the wavelet transform coefficient w m, n of the input image F.
  • the projecting unit 306 supplies the wavelet transform coefficient after applying the projection processing of Expression (26) to the wavelet inverse transform unit 307.
  • the wavelet inverse transform unit 307 performs wavelet inverse transform on the wavelet transform coefficients supplied from the projection unit 306 (step S18), and obtains an output image from which noise has been removed.
  • the image processing method of the present invention generates a noise-removed image.
  • FIG. 13 is a diagram illustrating a configuration example of an image processing apparatus according to the third embodiment.
  • the image processing apparatus 1003 is an apparatus that performs image processing on the input image 1 and outputs an output image 2.
  • the image processing apparatus 1003 includes an initial residual component storage memory 4, an initial residual component standard deviation calculation unit 5, and an initial residual component standard deviation storage memory 6.
  • the subgradient method parameter calculation unit 7, the subgradient method parameter storage memory 8, the subgradient method iterative control unit 9, the skeleton component / residual component separation unit 10, the constraint space generation unit 14, the constraint A storage memory 15 and a constraint processing unit 16 are provided. Since these processes are the same as those of the image processing apparatus 1000, description thereof is omitted.
  • the initial noise-removed image generation unit 3 executes initial noise-removed image generation using the WS method in steps S12, S13, and S14, and calculates the wavelet transform coefficient and attenuation obtained in the process of initial noise-removed image generation. To the constraint space generation unit 14.
  • the constrained space generation unit 14 generates a constrained space from the wavelet transform coefficient and attenuation supplied from the initial noise-removed image generating unit 3 in the procedure of step S15.
  • the skeleton component is processed in steps S16, S17, and S18. Limit the range of fluctuations.
  • the configuration of the image processing apparatus shown in FIG. 13 is an example, and other configurations may be adopted as long as the apparatus realizes the same function.
  • the third embodiment it is possible to solve the problem that the sense of resolution is deteriorated due to excessive suppression of noise by the TV method, and it is possible to remove noise at high speed while maintaining more edges and textures.
  • FIG. 15 is a functional block diagram for explaining an image processing method according to the fourth embodiment of the present invention.
  • FIG. 15 shows the flow of processing when multi-resolution wavelet transform of three layers is performed, but it can be easily extended to other than three layers.
  • FIG. 16 shows an example of multi-resolution wavelet transform.
  • FIG. 16A shows an original image
  • FIG. 16B shows a one-stage wavelet transform
  • FIG. 16C shows a three-layer wavelet transform.
  • L indicates a low frequency side
  • H indicates a high frequency side
  • a combination of L and H represents a subband.
  • LH indicates that the horizontal direction is the low frequency side and the vertical direction is the high frequency side.
  • the LL component of the multi-resolution wavelet transform is a wavelet transform coefficient, but also has an aspect as a reduced image of the original image.
  • the LL component in the third layer is a reduced image having a resolution of 1/64 of the original image, which is 1/8 in both the horizontal and vertical directions.
  • the TV method is a noise removal process in the image region, it can be performed on the wavelet transform coefficient of the LL component. Since the LL component in the deep hierarchy is considered to be composed of the low frequency component of the original image, the low frequency noise can be removed by executing the denoising process in the deep hierarchy.
  • FIG. 17 is a flowchart for explaining an image processing method according to the fourth embodiment.
  • the input image F is supplied to the wavelet transform unit 401.
  • the wavelet transform unit 401 performs wavelet transform on the supplied input image F and supplies the LL 1 component of the wavelet transform coefficient to the wavelet transform 402.
  • the LL 1 component at this time is a reduced image having a resolution of 1/4 with respect to the original image. Further, the LH 1 , HL 1 , and HH 1 components are supplied to the shrinkage unit 410.
  • the wavelet transform unit 402 performs wavelet transform on the LL 1 component of the first layer supplied from the wavelet transform unit 401, and supplies the LL 2 component of the obtained wavelet transform coefficient to the wavelet transform 403.
  • the LL 2 component at this time is a reduced image having a resolution of 1/16 with respect to the original image. Further, the LH 2 , HL 2 , and HH 2 components are supplied to the shrinkage unit 407.
  • the wavelet transform unit 403 performs wavelet transform on the LL 2 component of the second layer supplied from the wavelet transform unit 402 and supplies the obtained wavelet transform coefficients LL 3, LH 3 , HL 3 , and HH 3 to the shrinkage unit 404. .
  • step S19 a three-layer multi-resolution wavelet transform is realized.
  • noise removal processing is executed from the lowest resolution layer (step S20).
  • the shrinkage unit 404 applies the shrinkage process to the wavelet transform coefficients supplied from the wavelet transform 403, and supplies the wavelet transform coefficients after applying the shrinkage to the inverse wavelet transform unit 405.
  • the wavelet inverse transform unit 405 performs inverse wavelet transform on the wavelet transform coefficient supplied from the shrinkage unit 404 to generate an initial noise-removed image U 3, init having a resolution of 1/16 with respect to the original image (step S21).
  • the skeleton component / residual component separation unit 407 is supplied. Further, the initial residual component V 3, init separated from the input image F is supplied to the iterative control unit 406.
  • the iteration control unit 406 controls the iteration of the TV method in the skeleton component / residual component separation unit 407 based on the noise components V 3 and init supplied from the wavelet inverse transformation unit 405. Steps S9 and S10 indicating the iterative control method are the same as those in the first embodiment, and thus description thereof is omitted.
  • the skeleton component / residual component separation unit 407 applies the TV method using the initial noise-removed image U 3, init supplied from the inverse wavelet transform unit 405 as an initial solution , and satisfies the iterative stop condition determined by the iterative control unit 104. Based on this, the skeleton component U 3, TV and the residual component V 3, TV composed of texture and noise are separated. Steps S1, S2, S3, S4, and S5 indicating the separation method are the same as those in the first embodiment, and thus description thereof is omitted. Since there is an unprocessed upper layer (step S22), the obtained skeleton component U 3, TV is regarded as the LL ′ 2 component of the wavelet transform coefficient and supplied to the inverse wavelet transform 408.
  • step S23 Since the processing at the third layer is completed, the processing at the second layer is started (step S23).
  • the shrinkage process is applied to the LH 2 , HL 2 , and HH 2 components of the wavelet transform coefficients supplied from the wavelet transform unit 402, and the wavelet transform coefficients LH ′ 2 and HL ′ 2 after the shrinkage application.
  • HH ′ 2 components are supplied to the inverse wavelet transform unit 409.
  • the wavelet inverse transform unit 409 In the wavelet inverse transform unit 409, the LH ′ 2 , HL ′ 2 , and HH ′ 2 components of the wavelet transform coefficient supplied from the shrinkage unit 408 and the LL ′ 2 component of the wavelet transform coefficient supplied from the TV method 406 are obtained. Then, the wavelet inverse transform is performed to generate an initial noise-removed image U 2, init having a resolution of 1/4 with respect to the original image (step S21), and is supplied to the skeleton component / residual component separation unit 411. Further, the initial residual component V 2, init separated from the input image F is supplied to the iterative control unit 410.
  • the iteration control unit 410 controls the iteration of the TV method in the skeleton component / residual component separation unit 411 based on the noise component V 2, init supplied from the wavelet inverse transformation unit 409. Steps S9 and S10 indicating the iterative control method are the same as those in the first embodiment, and thus description thereof is omitted.
  • the skeleton component / residual component separation unit 411 applies the TV method using the initial noise-removed image U 2, init supplied from the wavelet inverse transform unit 409 as an initial solution , and satisfies the iteration stop condition determined by the iteration control unit 104. Based on this, the skeleton component U 2, TV and the residual component V 2, TV composed of texture and noise are separated. Steps S1, S2, S3, S4, and S5 indicating the separation method are the same as those in the first embodiment, and thus description thereof is omitted. Since there is an unprocessed upper layer (step S22), the obtained skeleton component U 2, TV is regarded as the LL ′ 1 component of the wavelet transform coefficient and supplied to the wavelet inverse transform 413.
  • step S23 Since the processing at the second hierarchy has been completed, the processing at the first hierarchy is started (step S23).
  • the shrinkage unit 412 applies the shrinkage process to the LH 1 , HL 1 , and HH 1 components of the wavelet transform coefficients supplied from the wavelet transform unit 401, and the wavelet transform coefficients LH ′ 1 and HL ′ 1 after the shrinkage application.
  • HH ′ 1 component is supplied to the wavelet inverse transform unit 413.
  • the wavelet inverse transform unit 413 In the wavelet inverse transform unit 413, the LH ′ 1 , HL ′ 1 , and HH ′ 1 components of the wavelet transform coefficients supplied from the shrinkage unit 412 and the LL of the wavelet transform coefficients supplied from the skeleton component / residual component separation unit 411 'Perform inverse wavelet transform using one component to generate an initial noise-removed image U 1, init having the same resolution as the original image (step S21), and supply it to the skeleton component / residual component separation unit 415. Further, the initial residual component V 1, init separated from the input image F is supplied to the iterative control unit 414.
  • the iteration control unit 414 controls the iteration of the TV method in the skeleton component / residual component separation unit 415 based on the noise component V 1, init supplied from the wavelet inverse transformation unit 413. Steps S9 and S10 indicating the iterative control method are the same as those in the first embodiment, and thus description thereof is omitted.
  • the skeleton component / residual component separation unit 415 applies the TV method using the initial noise-removed image U 1, init having the same resolution as the original image supplied from the wavelet inverse transformation unit 413 as an initial solution, and the skeleton component U 1, TV and texture component V 1, TV are obtained.
  • the obtained skeleton component U 1, TV is output as a noise-removed image Z (step S6).
  • the image processing method of the invention Based on the above-described operation, the image processing method of the invention generates a noise-removed image.
  • FIG. 18 is a diagram illustrating a configuration example of an image processing apparatus according to the fourth embodiment.
  • the image processing apparatus 1004 is an apparatus that performs image processing on the input image 1 and outputs an output image 2.
  • the image processing apparatus 1004 includes an initial residual component storage memory 4, an initial residual component standard deviation calculator 5, and an initial residual component standard deviation storage memory 6.
  • the multi-resolution wavelet transform unit 17 applies multi-resolution wavelet transform to the input image 1 in the procedure of step S19.
  • the high frequency component storage memory 18 stores the high frequency component of the wavelet transform coefficient supplied from the multi-resolution wavelet transform unit 17.
  • the initial noise-removed image generation unit 3 refers to the low-frequency component of the wavelet transform coefficient of the processing target layer supplied from the multi-resolution wavelet transform unit 17 or the output image control unit 19 and the high-frequency component storage memory 18. From the acquired high-frequency component of the wavelet transform coefficient of the processing target layer, an initial noise-removed image is generated by the procedure of step S21.
  • the output image control unit 19 uses the skeleton component supplied from the skeleton component / residual component separation unit 10 as the output image 2 when the resolution of the processing target layer matches the resolution of the input image 1.
  • the skeletal component supplied from the skeleton component / residual component separation unit 10 is converted to a wavelet transform coefficient having a high one-layer resolution by the procedures of steps S22 and S23. It is regarded as a low frequency component and supplied to the initial noise removal image generation unit 3.
  • FIG. 18 Note that the configuration of the image processing apparatus illustrated in FIG. 18 is merely an example, and other configurations may be employed as long as the apparatus implements similar functions.
  • the solution converges with the TV method for each layer. Reduces the number of required Chambolle Projection iterations and removes not only high-frequency noise but also low-frequency noise at high speed.
  • each unit can be configured by hardware, but can also be realized by a computer program.
  • functions and operations similar to those of the above-described embodiments are realized by a processor that operates according to a program stored in the program memory.
  • Appendix 2 Extract edge components and texture components from the residual components, The image processing method according to appendix 1, wherein the skeleton component, the edge component, and the texture component are synthesized to generate an output image.
  • Appendix 3 An edge component and a texture component are extracted from the initial residual component and the residual component, The image processing method according to appendix 1, wherein the skeleton component, the edge component, and the texture component are synthesized to generate an output image.
  • Appendix 4 The image processing method according to appendix 2 or appendix 3, wherein the edge component and the texture component are extracted based on a standard deviation of the initial residual component and a standard deviation of the residual component.
  • Appendix 5 Generate multiple images with different resolutions from the input image, When an output image is generated by applying the image processing method described in any one of appendix 1 to appendix 4 for each different image, an output image generated based on a low-resolution image is one resolution high An image processing method used for generating an initial noise-removed image in an image.
  • An initial noise-removed image generating means for generating an initial noise-removed image by a noise-removing method for storing edge components in the input image
  • a skeleton component / residual component separation unit that separates the initial noise-removed image into a skeleton component and a residual component by repetitive calculation based on a predetermined energy, and generates the skeleton component as an output image
  • An image processing apparatus comprising: control means for controlling the repetitive calculation based on the initial residual component.
  • the skeleton component / residual component separating means is: Extract edge components and texture components from the residual components, The image processing apparatus according to appendix 6, wherein the skeleton component, the edge component, and the texture component are combined to generate an output image.
  • the skeleton component / residual component separating means is: An edge component and a texture component are extracted from the initial residual component and the residual component, The image processing apparatus according to appendix 6, wherein the skeleton component, the edge component, and the texture component are combined to generate an output image.
  • the skeleton component / residual component separating means is: The image processing apparatus according to appendix 7 or appendix 8, wherein the edge component and the texture component are extracted based on a standard deviation of the initial residual component and a standard deviation of the residual component.
  • (Appendix 10) Means for generating a plurality of images having different resolutions from an input image;
  • the initial noise-removed image generating means, the skeleton component / residual component separating means, and the control means are provided corresponding to each resolution image,
  • Appendix 12 Processing to extract an edge component and a texture component from the residual component;
  • Appendix 13 Processing to extract an edge component and a texture component from the initial residual component and the residual component;
  • Appendix 14 The program according to appendix 12 or appendix 13, wherein the edge component and the texture component are extracted based on a standard deviation of the initial residual component and a standard deviation of the residual component.
  • Appendix 15 A process of generating a plurality of images having different resolutions from an input image; When an output image is generated by applying the processing according to any one of appendix 11 to appendix 14 for each different image, an output image generated based on an image with a low resolution is converted into an image with a high resolution. A program used to generate an initial noise-removed image.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本発明は、入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する画像処理方法である。

Description

画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
　本発明は、画像処理方法、画像処理システム、画像処理装置および画像処理プログラムに関する。
　画像処理技術の中でも、画像に含まれるノイズを低減する技術は、撮像した画像をより鮮明に再現するために、欠かせない技術である。ノイズを低減する技術としては、例えば、非特許文献１に開示された全変分（Ｔｏｔａｌ―Ｖａｒｉａｔｉｏｎ、　Ｔ－Ｖ）ノルム正則化によるノイズ除去法がある。以下、簡単のため、Ｔ－Ｖ法と称す。
　図１９に従来のＴ－Ｖ法を用いた画像処理方法を示す。
　図２０は従来のＴ－Ｖ法を用いた画像処理方法を説明するためのフローチャートである。
　入力画像Fは骨格成分・残差成分分離部１０１に供給される。
　骨格成分・残差成分分離部１０１では、供給された画像Fを、強エッジと平坦領域から構成される骨格成分UT-Vとテクスチャとノイズから構成される残差成分VT-Vに分離する。つまり、入力画像Fは以下の式（１）のように骨格成分UT-Vと残差成分VT-Vの和で表される。
Figure JPOXMLDOC01-appb-I000001
　骨格成分UT-Vは、以下の式（２）で表されるUT-Vの全変分ノルムJ(UT-V)を最小化することで得られる。
Figure JPOXMLDOC01-appb-I000002
　なお、式中のxは骨格成分UT-Vの水平方向画素位置、yは骨格成分UT-Vの垂直方向画素位置を示す。
　この最小化問題はChambolleのProjection法を反復して解ける。あるいは、ChambolleのProjection法の代替法として、Ｔ－Ｖノルムの劣勾配を用いた劣勾配法を用いることができる。
　kを反復回数、
Figure JPOXMLDOC01-appb-I000003
をk回目の反復の時の骨格成分、βを対象画像のノイズの標準偏差に基づいて設定する値とし、初期値として、k=0、
Figure JPOXMLDOC01-appb-I000004
を設定する（ステップS１）。
　以下の式（３）で表すように、劣勾配法を用いて、k+1回目の反復の時の骨格成分
Figure JPOXMLDOC01-appb-I000005
を計算する（ステップS2）。
Figure JPOXMLDOC01-appb-I000006
　反復の停止条件について述べる。入力画像の高さをM、幅をN、k回目の反復の時の残差成分
Figure JPOXMLDOC01-appb-I000007
のm行n列要素を
Figure JPOXMLDOC01-appb-I000008
とすると、予め推定した対象画像のノイズの標準偏差σnoiseを用いて、
Figure JPOXMLDOC01-appb-I000009
となったときに反復を停止する（ステップS3）ことが考えられる。式（４）はつまり、残差成分
Figure JPOXMLDOC01-appb-I000010
がノイズであるという仮定に基づく。あるいは、閾値εを用いて、
Figure JPOXMLDOC01-appb-I000011
となったときに反復を停止する（ステップS3）ことが考えられる。式（５）はつまり、k回目の反復の結果
Figure JPOXMLDOC01-appb-I000012
とk+1回目の反復
Figure JPOXMLDOC01-appb-I000013
を比較し、変動量が十分小さいと判断したときに解が収束したとみなしている。
　また、反復回数kが最大の反復回数kmaxに到達したときにも反復を停止する（ステップS4）。反復回数がk未満であり、
Figure JPOXMLDOC01-appb-I000014
が収束していないとき、k=k+1として劣勾配法を続行する（ステップS5）。
　こうして得られた骨格成分UT-Vと残差成分VT-Vのうち、骨格成分UT-Vを以下の式（６）のようにノイズ除去画像Zとして出力する（ステップS6）。
Figure JPOXMLDOC01-appb-I000015
　図２１は、骨格成分・残差成分分離部１０１で分離された残差成分のノイズ成分を減衰させ、骨格成分に合成する処理を有する、図１９のＴ－Ｖ法を用いた画像処理方法を拡張した画像処理方法である。
　図２２は、図２１で示す画像処理方法を説明するためのフローチャートである。
　骨格成分・残差成分分離部１０１で分離された残差成分VT-Vをノイズ抑制部１０２に供給し、以下の式（７）のように残差成分VT-Vにノイズ成分を減衰させる関数ｆを作用させる（ステップS7）。骨格成分UT-Vと、ノイズ成分が減衰された残差成分（すなわちテクスチャ成分）f(VT-V)を合成し、ノイズが低減された画像Zとして出力する（ステップS6）。なお、ステップS1からステップS5は図１９のＴ－Ｖ法を用いた画像処理方法と同様であるため、説明を省略する。
Figure JPOXMLDOC01-appb-I000016
　関数fとしては、図２３（ａ）で示される軟判定閾値処理、図２３（ｂ）で示される硬判定閾値処理、図２３（ｃ）で示されるｆａｃｔｏｒ処理などがあるが、これらに限定されるものではない。関数ｆの入力値をx、出力値をf(x)、閾値をτとすると、図２３（ａ）で示される軟判定閾値処理は、以下の式（８）で表される。
Figure JPOXMLDOC01-appb-I000017
　なお、式中のsign関数は正負符号を出力する関数である。
　また、図２３（ｂ）で示される硬判定閾値処理は以下の式（９）で表される。
Figure JPOXMLDOC01-appb-I000018
　また、γを適当な係数とすると、図２３（ｃ）で示されるｆａｃｔｏｒ処理は以下の式（１０）で表される。
Figure JPOXMLDOC01-appb-I000019
　また、軟判定閾値処理または硬判定閾値処理と、ｆａｃｏｔｏｒ処理を式（１１）のように組み合わせることも可能である。
Figure JPOXMLDOC01-appb-I000020
　式（１１）中では軟判定閾値処理を用いて関数を構成したが、当然ながら硬判定閾値処理を用いて同様の関数を構成することも可能である。
L. Rudin, S. Osher, E. Fatemi, "Nonlinear Total Variation based noise removal algorithms," Physica D vol.60, 1992, pp.259-268.
　しかしながら、非特許文献１の技術は、上述のChambolleのProjection法を、解が収束するまで繰り返し適用する反復型の処理であるため、計算コストが高くなるという課題がある。
　また、T－V法は、高周波ノイズは除去できるものの、ノイズ粒子の分布密度のムラにより発生し、高周波ノイズと比べて比較的広い範囲に広がる低周波ノイズに対応できない課題がある。低周波ノイズは数ピクセルから数十ピクセルといった広範な領域におけるノイズ粒子の分布密度ムラによるものであり、このような低周波ノイズに対するT－Vノルムは小さくなるため平坦領域（ノイズがない）とみなされる。すなわち、T―V法では原理的に低周波ノイズには対応することができない。
　そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は様々な周波数帯のノイズを効果的かつ高速に除去できる画像処理方法、及び画像処理装置を提供することにある。
　本発明は、入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する画像処理方法である。
　本発明は、入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段とを有する画像処理装置である。
　本発明によれば、様々な周波数帯のノイズを効果的かつ高速に除去できる。
第１の実施の形態の画像処理方法の説明図である。 第１の実施の形態の画像処理方法の手順例を説明するフローチャートである。 図３（a）はノイズを含んだ原画像である。図３（ｂ）は図３（ａ）をＷａｖｅｌｅｔ　Ｓｈｒｉｎｋａｇｅ法でノイズ除去した結果の画像である。 第１の実施の形態から派生する画像処理方法の説明図である。 第１の実施の形態から派生する画像処理方法の手順例を説明するフローチャートである。 第１の実施の形態の画像処理装置の構成例を示すブロック図である。 第１の実施の形態から派生する画像処理装置の構成例を示すブロック図である。 第２の実施の形態の画像処理方法の説明図である。 第２の実施の形態の画像処理方法の手順例を説明するフローチャートである。 第２の実施の形態の画像処理装置の構成例を示すブロック図である。 第３の実施の形態の画像処理方法の説明図である。 第３の実施の形態の画像処理方法の手順例を説明するフローチャートである。 第３の実施の形態の画像処理装置の構成例を示すブロック図である。 第３の実施の形態から派生する画像処理方法の説明図である。 第４の実施の形態の画像処理方法の説明図である。 図１６（a）は原画像である。図１６（ｂ）は図１６（a）の原画像に対し、ウェーブレット変換を適用した結果である。図１６（ｃ）は図１６（a）の原画像に対し、ウェーブレット変換を再帰的に３回適用した結果である。 第４の実施の形態の画像処理方法の手順例を説明するフローチャートである。 第４の実施の形態の画像処理装置の構成例を示すブロック図である。 既存の画像処理方法の説明図である。 既存の画像処理方法の手順例を説明するフローチャートである。 既存の画像処理方法の説明図である。 既存の画像処理方法の手順例を説明するフローチャートである。 図２３（ａ）は軟判定閾値処理の入出力応答である。図２３（ｂ）は硬判定閾値処理の入出力応答である。図２３（ｃ）はｆａｃｔｏｒ処理の入出力応答である。
　＜第１の実施の形態＞
　本発明の第１の実施の形態を説明する。
　図１は、本発明の第１の実施の形態である画像処理方法を説明するための機能ブロック図である。
　本発明の第１の実施の形態である画像処理方法は、入力画像中のエッジ成分を保存する軽量なノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１とを備えたことを特徴とする。
　なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ－Ｖ法で説明するが、これに限定されるものではない。
　図２は、第１の実施の形態の画像処理方法を説明するためのフローチャートである。
　以下、処理の流れについて説明する。
　入力画像Fは、初期ノイズ除去画像生成部１０３に供給される。
　初期ノイズ除去画像生成部１０３では、入力画像Fに対してエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像Uinitを生成する（ステップＳ８）。ノイズとテクスチャから構成される初期残差成分をVinitとすると、以下の式（１２）が成り立つ。
Figure JPOXMLDOC01-appb-I000021
　生成された初期ノイズ除去画像Uinitは骨格成分・残差成分分離部１０１に供給される。また、分離された初期残差成分Vinitは反復制御部１０４に供給される。
　ステップＳ８における、エッジ成分を保存する軽量なノイズ除去方法について説明する。軽量なノイズ除去方法はＷａｖｅｌｅｔ　Ｓｈｒｉｎｋａｇｅ（ＷＳ）法やＢｉｌｔａｔｅｒａｌ　Ｆｉｌｔｅｒ（ＢＦ）などが適用できる。これらの手法は、エッジ保存性が高く、Ｔ－Ｖ法と比較して低計算コストの画像ノイズ除去方法である。
　ＷＳ法は、画像を２次元ウェーブレット変換し、ウェーブレット変換係数の高周波成分を０方向に減衰させた後に２次元ウェーブレット逆変換し、画像を再構成することで、ノイズを低減した画像を得る。ウェーブレット変換係数をw、Ｓｈｒｉｎｋａｇｅ処理後のウェーブレット変換係数をw’、減衰量をλとすると、減衰処理は、例えば、以下の式（１３）や式（１４）で表される。
Figure JPOXMLDOC01-appb-I000023
　なお、式（１３）中のsign関数は正負符号を出力する関数である。
　通常の画像において、絶対値の小さなウェーブレット変換係数はほぼノイズ成分であるため、適切な減衰量λを設定してウェーブレット変換係数を減衰させることで、画像に含まれるノイズ成分を低減できる。また、エッジ成分を表すとされる絶対値の大きなウェーブレット変換係数は残るため、結果的に入力画像中のエッジは保存される。
　ＢＦは、重み付き平滑化フィルタの派生型であり、フィルタ係数を決定する以下の２つの指標により、エッジを保存するノイズ除去法を実現する。
　１つめの指標は、ノイズ除去対象画素とその周辺画素の空間的距離である。対象画素に空間的に近接する画素は、対象画素と相関が高いとみなして、フィルタ係数の重みを大きくする。逆に、空間的に離れた画素は、対象画素と相関が低いとみなして、フィルタ係数の重みを小さくする。
　２つめの指標は、ノイズ除去対象画素とその周辺画素の画素値の差である。画素値の差が小さいほど、対象画素との相関が高いとして、フィルタ係数の重みを大きくする。逆に、画素値の差が大きな画素は、対象画素との相関が低いとして、フィルタ係数の重みを小さくする。
　特に２つめの指標により、画素値がほぼ一様な領域、つまり平坦領域では一般的な重み付き平滑化フィルタのように働くため、ノイズを除去することができ、画素値の差の大きな領域、つまりエッジを含む領域では、対象画素以外のフィルタ係数の重みが小さくなるため、エッジが保存される。
　ＷＳ法やＢＦの計算コストはＴ－Ｖ法と比較して小さい。しかし、ＷＳ法は、処理後の画像に視覚的アーティファクトが発生することがある。例を図３に示す。図３（ａ）はノイズを含む画像、図３（ｂ）はＷＳ法でノイズを除去した画像である。図３（ｂ）の全体に元の画像に存在しない不自然な劣化が見られる。また、ＢＦは原理上、ごま塩ノイズといわれる孤立ノイズが除去できない。しかし、本実施の形態におけるＷＳ法とＢＦは、あくまで初期ノイズ除去画像を生成するために用いられ、本発明の後段の処理によってＷＳ法で発生するアーティファクトやＢＦ法で除去できない孤立ノイズは除去されるため、問題とならない。また、従来のＷＳ法では、アーティファクトの発生を軽減するための厳密な減衰量設定が必要であったが、本発明においては、ＷＳ法で発生するアーティファクトを後段の処理によって除去できるため、ＷＳ法の減衰量設定を簡略化することが可能である。
　反復制御部１０４は、初期ノイズ除去画像生成部１０３から供給される初期残差成分Vinitに基づいて、Ｔ－Ｖ法の反復回数を制御する。
　まず、初期ノイズ除去画像生成部１０３から供給される初期残差成分Vinitから標準偏差σinitを以下のように計算する（ステップＳ９）。ステップＳ９では、初期残差成分Vinitのm行n列要素を
Figure JPOXMLDOC01-appb-I000024
とすると、標準偏差σinitは以下の式（１５）で表されるものとして計算する。
Figure JPOXMLDOC01-appb-I000025
　従来のＴ－Ｖ法では式（３）で示されるパラメータβや固定値の最大反復回数kmaxが用いられるが、本実施の形態では、予め推定したノイズの標準偏差σnoiseと、ステップＳ９で計算した標準偏差σinitから、各パラメータを補正する（ステップＳ１０）。
　例えば、予め推定したノイズの標準偏差σnoiseと、ステップＳ９で計算した標準偏差σinitから計算される、以下の式（１６）で示されるパラメータβ’を用いる。
Figure JPOXMLDOC01-appb-I000026
　すなわち、式（１６）において、σinitがσnoiseに近い場合には、Ｔ－Ｖ法の収束解の近傍にあることを意味しており、収束速度を向上させることが可能となる。具体的には、１回の反復において探索する領域を狭めることで収束速度を向上させる。
　さらに、最大反復回数k’maxを、従来の最大反復回数kmaxと、予め定める最小反復回数kminと、予め推定したノイズの標準偏差σnoiseと、初期残差成分Vinitの標準偏差σinitとを用いて、以下の式（１７）のように定める（ステップＳ１０）。
Figure JPOXMLDOC01-appb-I000027
　なお、max関数は２つの入力値から大きい方を出力する関数、min関数は２つの入力値から小さい方を出力する関数、round関数は整数値への丸め関数を示す。式（１７）より、予め推定したノイズの標準偏差σnoiseとVinitの標準偏差σinitとが近い値であるときは、良い初期解が得られたとみなしてＴ－Ｖ法の反復回数を削減する。逆に、予め推定したノイズの標準偏差σnoiseとVinitの標準偏差σinitとが近い値でないときは、良い初期解が得られなかったとみなしてＴ－Ｖ法の反復回数をkmaxに近い値に保つ。
　骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像Uinitを初期解としてＴ－Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、以下の式（１８）のように強エッジと平坦領域で構成される骨格成分UT-Vとテクスチャとノイズで構成される残差成分VT-Vに分離する。
Figure JPOXMLDOC01-appb-I000028
　本実施の形態の骨格成分・残差成分分離部１０１での処理では、ステップS1における初期値設定において、従来法と異なり、
Figure JPOXMLDOC01-appb-I000029
と設定する。さらに、ステップS3の反復停止判定において、従来法の式（４）ではなく、以下の式（１９）を反復停止条件として用いる。
Figure JPOXMLDOC01-appb-I000030
　式（１９）より、従来のＴ－Ｖ法の反復停止条件と同様に、σnoiseに基づいてＴ－Ｖ法の反復を制御することができ、Vinitの標準偏差σinitがσnoiseに近い場合には探索する領域を狭めることで少ない反復回数でＴ－Ｖ法の解が収束するため、処理の高速化が実現できる。また、ステップS4の反復停止判定において、従来法のkmaxでなく、ステップS10で設定したk’maxを用いる。なお、ステップＳ２、Ｓ５における処理は従来法と同様であるため、説明を省略する。
　骨格成分UT-Vをノイズが除去された画像とみなして、以下の式（２０）のようにノイズ除去画像Zを得る（ステップS6）。
Figure JPOXMLDOC01-appb-I000031
　また、当然ながら、本実施の形態では、図２１のように、ノイズ成分を減衰させた残差成分VT-Vと、骨格成分UT-Vを合成して、ノイズ除去画像Zを出力する構成も可能である。発明の画像処理方法では、図４のような構成となり、図５のようなフローチャートで表される。骨格成分・残差成分分離部１０１で分離された残差成分VT-Vをノイズ抑制部１０２に供給し、以下の式（２１）のように、VT-Vにノイズ成分を減衰させる関数ｆを作用させ（ステップS7）、さらに、ノイズ成分が減衰された残差成分f(VT-V)と、骨格成分・残差成分分離部１０１から供給される骨格成分UT-Vを合成し、ノイズ除去画像Zとして出力する（ステップS6）。
Figure JPOXMLDOC01-appb-I000032
　次に、第１の実施の形態の画像処理方法を適用した具体的な画像処理装置について説明する。図６は、第１の実施の形態の画像処理装置の構成例を示す図である。
　画像処理装置１０００は、入力画像１に対してノイズ除去を施し出力画像２を出力する装置である。
　画像処理装置１０００は、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０とを備える。
　初期ノイズ除去画像生成部３は、入力画像１が与えられると、ステップＳ８で説明したエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像を生成する。
　初期残差成分保存メモリ４は、初期ノイズ除去画像生成部３で入力画像１から分離された初期残差成分を保存する。
　初期残差成分の標準偏差計算部５は、初期残差成分保存メモリ４を参照して、ステップＳ９で説明した手順で初期残差成分の標準偏差を計算する。
　初期残差成分の標準偏差保存メモリ６は、初期残差成分の標準偏差計算部５で計算された初期残差成分の標準偏差を保存する。
　劣勾配法のパラメータ計算部７は、初期残差成分の標準偏差保存メモリ６を参照して、ステップＳ１０で説明した手順で、劣勾配法のパラメータβ’と、劣勾配法の最大反復回数パラメータk’maxを計算する。
　劣勾配法のパラメータ保存メモリ８は、劣勾配法のパラメータ計算部７で計算された劣勾配法のパラメータを保存する。
　劣勾配法の反復制御部９は、初期残差成分保存メモリ４と、劣勾配法のパラメータ保存メモリ８を参照して、ステップＳ３とステップＳ４で説明した手順で骨格成分・残差成分分離部１０における劣勾配法の反復を制御する。
　骨格成分・残差成分分離部１０は、劣勾配法の反復制御部９の制御を受けて、ステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５で説明した手順で、初期ノイズ除去画像生成部３から供給される初期ノイズ除去画像を初期解として劣勾配法を実行し、初期ノイズ除去画像を骨格成分と残差成分に分離し、骨格成分を出力画像２とする。
　なお、図６に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
　さらに、画像処理装置１０００は、コンピュータで実現可能であり、画像処理装置を構成する各構成要素、すなわち、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０は、コンピュータの中央処理装置（ＣＰＵ）に上述した機能を実現させるためのプログラムとして実現可能である。
　画像処理装置を構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、第１の実施の形態に限らず、その他の実施の形態でも同様である。
　また、画像処理装置１０００は、図７に示す画像処理装置１００１のように、ノイズ成分を減衰させた残差成分と、骨格成分を合成して、出力画像１を生成する構成も可能である。
　画像処理装置１００１は、画像処理装置１０００と同様に、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、を備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。
　画像処理装置１００１は、画像処理装置１０００と異なり、ノイズ抑制部１１と、合成部１２と、を備える。
　ノイズ抑制部１１では、骨格成分・残差成分分離部１０から供給される残差成分から、ステップＳ７の手順で、ノイズ成分を抑圧する。
　合成部１２では、骨格成分・残差成分分離部１０から供給される骨格成分と、ノイズ抑制部１１から供給されるノイズ成分が減衰された残差成分（すなわちテクスチャ成分）を合成して出力画像２を生成する。
　図７に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
　第１の実施の形態によれば、エッジ成分を保存する軽量なノイズ除去方法を用いて初期ノイズ除去画像を生成してT－V法の初期解とし、さらに入力画像から分離された残差成分に基づいてＴ－Ｖ法の反復回数を制御することで、解が収束するまでに必要なChambolleのProjection法の反復回数を削減し、結果として計算時間が短縮される。
　＜第２の実施の形態＞
　本発明の第２の実施の形態を説明する。
　図８は、本発明の第２の実施の形態である画像処理方法を説明するための機能ブロック図である。
　本発明の第２の実施の形態である画像処理方法は、入力画像中のエッジ成分を保存する軽量なノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部１０１を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１と、前記初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分、及び、前記Ｔ－Ｖ法に基づいて骨格成分と残差成分に分離する骨格成分・残差成分分離部において初期ノイズ除去画像から分離された残差成分のノイズを、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分の標準偏差に基づいて抑制するノイズ抑制部２０１を備えたことを特徴とする。
　なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ－Ｖ法で説明するが、これに限定されるものではない。
　図９は、本発明の第２の実施の形態の画像処理方法を説明するためのフローチャートである。
　以下、処理の流れについて説明する。
　入力画像Fは、初期ノイズ除去画像生成部１０３に供給される。
　初期ノイズ除去画像生成部１０３では、入力画像Fに対してエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像Uinitを生成する（ステップＳ８）。さらに、入力画像Fからテクスチャとノイズで構成される初期残差成分Vinitを分離する。エッジ成分を保存する軽量なノイズ除去方法については第１の実施の形態と同様であるため、説明を省略する。生成された初期ノイズ除去画像Uinitは骨格成分・残差成分分離部１０１に供給される。第２の実施の形態では第１の実施の形態と異なり、分離された初期残差成分Vinitは、反復制御部１０４だけでなく、ノイズ抑制部２０１にも供給される。
　反復制御部１０４は、初期ノイズ除去画像生成部１０３から供給された初期残差成分Vinitに基づき、Ｔ－Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。第２の実施の形態では第１の実施の形態と異なり、ステップＳ９で計算される初期残差成分Vinitの標準偏差σinitはノイズ抑制部２０１に供給される。
　骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像Uinitを初期解としてＴ－Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、強エッジと平坦領域で構成される骨格成分UT-Vと、テクスチャとノイズで構成される残差成分VT-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。残差成分VT-Vはノイズ抑制部２０１に供給される。
　ノイズ抑制部２０１は、反復制御部１０４から供給された残差成分Vinitの標準偏差σinitに基づき、初期ノイズ除去画像生成部１０３から供給された残差成分Vinitと骨格成分・残差成分分離部１０１から供給された残差成分VT-Vにノイズ成分を減衰させる関数ｆを作用させ、ノイズ成分が減衰された残差成分f(Vinit, VT-V)を生成する（ステップＳ１１）。
　ステップＳ１１において、関数ｆは、式（１１）を基本式として、これを拡張して構成する。例えば、閾値τ1とτ2、係数γ1とγ2を用いて、軟判定閾値処理とｆａｃｔｏｒ処理の組み合わせを、以下の式（２２）のように、残差成分VinitとVT-Vにそれぞれ適用することで関数ｆを構成できる。
Figure JPOXMLDOC01-appb-I000033
　ここで、τ1とτ2は、予め推定した対象画像のノイズの標準偏差σnoiseと反復制御部１０４から供給された初期残差成分の標準偏差σinitを用いて、
Figure JPOXMLDOC01-appb-I000034
として設定される。a1とa2は係数である。
　また、γ1＝０とすると、第１の実施の形態の図２で示したような、骨格成分・残差成分分離部１０１で分離された残差成分VT-Vからのみノイズ成分を減衰させることも可能である。この場合にも、反復制御部１０４から供給された初期残差成分Vinitの標準偏差σinitに基づき、ノイズ成分の減衰量が設定される点が第１の実施の形態とは異なる。
　当然であるが、軟判定閾値処理とｆａｃｔｏｒ処理の順番を逆にしてもよいし、硬判定閾値処理を組み合わせてもよい。同様の効果を持つ処理であれば、関数ｆは式（２２）に限定されるものではない。
　最終的に、以下の式（２４）のように、骨格成分・残差成分分離部１０１から供給される骨格成分UT-Vと、ノイズ抑制部２０１から供給されるノイズ成分が減衰された残差成分（すなわちテクスチャ成分）f(Vinit, VT-V)を合成して、ノイズ除去画像Zを得る（ステップＳ６）。
Figure JPOXMLDOC01-appb-I000035
　上述した動作に基づいて、発明の画像処理方法はノイズ除去画像を生成する。
　次に、第２の実施の形態の画像処理方法を適用した画像処理装置について説明する。図１０は、第２の実施の形態の画像処理装置の構成例を示す図である。
　画像処理装置１００２は、入力画像１に対してノイズ除去を施し出力画像２を出力する装置である。
　画像処理装置１００２は、図７に示す画像処理装置１００１のように、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、合成部１２と、を備える。これらの処理は画像処理装置１００１と同様であるため、説明を省略する。
　画像処理装置１００２は、画像処理装置１００１と異なる処理を実行するノイズ抑制部１３を備える。
　ノイズ抑制部１３では、初期残差成分の標準偏差保存メモリ６を参照して得られる初期残差成分の標準偏差に基づき、初期残差成分保存メモリ４を参照して得られる初期残差成分と、骨格成分・残差成分分離部１０から供給される残差成分と、から、ステップＳ１１の手順でノイズ成分を抑圧する。
　図１０に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
　第２の実施の形態によれば、初期ノイズ除去画像生成時に分離した残差成分に基づいて、Ｔ－Ｖ法で分離した残差成分だけでなく、初期ノイズ除去画像生成時に分離した初期残差成分からもノイズ成分を減衰させて骨格成分に合成することで、エッジやテクスチャをより維持したまま、高速にノイズを除去できる。
　＜第３の実施の形態＞
　本発明の第３の実施の形態を説明する。
　第３の実施の形態では、第１の実施の形態の画像処理方法のエッジ保存性を高めた画像処理方法を示す。
　第１の実施の形態や第２の実施の形態においても、エッジやテクスチャを保った高速なノイズ除去が実現できるが、画像によってはＴ－Ｖ法でノイズが過度に抑圧され、解像度感が低下する場合がある。そこで、第３の実施の形態では、高速にノイズを除去するとともに、ノイズの過抑圧を防止できる画像処理方法について説明する。
　図１１は、本発明の第３の実施の形態である画像処理方法を説明するための機能ブロック図である。
　本発明の第３の実施の形態である画像処理方法は、ＷＳ法に基づいて初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１と、初期ノイズ除去画像生成部１０３において、初期ノイズ除去画像を生成する過程で計算されるウェーブレット変換係数とノイズ減衰量に基づいて、骨格成分・残差成分分離部１０１で生成される骨格成分を制約するための空間を生成する制約空間生成部３０４と、骨格成分・残差成分分離部１０１において生成された骨格成分のウェーブレット変換係数を制約空間生成部３０４において生成される制約空間に射影する射影部３０６を備えたことを特徴とする。
　なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ－Ｖ法で説明するが、これに限定されるものではない。
　図１２は、第１の実施の形態の画像処理方法を説明するためのフローチャートである。
　以下、処理の流れについて説明する。
　入力画像は、初期ノイズ除去画像生成部１０３に供給される。
　初期ノイズ除去画像生成部１０３では、ＷＳ法を用いて初期ノイズ除去画像生成する。
　まず、ウェーブレット変換部３０１では、供給された入力画像をウェーブレット変換し（ステップＳ１２）、ウェーブレット変換係数をＳｈｒｉｎｋａｇｅ部３０２と制約空間生成部３０４に供給する。
　Ｓｈｒｉｎｋａｇｅ部３０２では、ウェーブレット変換部３０１から供給されたウェーブレット変換係数に対してＳｈｒｉｎｋａｇｅを行う（ステップＳ１３）。例えば、Ｓｈｒｉｎｋａｇｅの一形態として、式（１３）や式（１４）の処理を適用できる。さらに、Ｓｈｒｉｎｋａｇｅが適用されたウェーブレット変換係数をウェーブレット逆変換部３０３に供給し、Ｓｈｒｉｎｋａｇｅの減衰量λを制約空間生成部３０４に供給する。
　ウェーブレット逆変換部３０３では、Ｓｈｒｉｎｋａｇｅ部３０２から供給されたウェーブレット変換係数をウェーブレット逆変換し（ステップＳ１４）、初期ノイズ除去画像Uinitと残差成分Vinitを得る。得られた初期ノイズ除去画像Uinitを骨格成分・残差成分分離部１０１に、残差成分Vinitを反復制御部１０４に供給する。
　制約空間生成部３０４では、ウェーブレット変換部３０１から供給されたウェーブレット変換部係数と、Ｓｈｒｉｎｋａｇｅ部３０２から供給された減衰量λを用いて、制約空間Sを生成する（ステップＳ１５）。
　入力画像の高さをM、幅をN、画像における垂直方向の座標位置をm、水平方向の座標位置をn、ウェーブレット変換係数をwとすると、制約空間Sは以下の式（２５）で表される。
Figure JPOXMLDOC01-appb-I000036
　なお、式中ＷＴ（・）はウェーブレット変換、ｃは係数を表す。式（２５）は、制約空間Sをウェーブレット変換すると、そのウェーブレット変換係数は、入力画像のウェーブレット変換係数の±c×λの範囲内にあることを示す。
　生成された制約空間Sは射影部３０６に供給される。
　反復制御部１０４は、ウェーブレット逆変換部３０３から供給されるノイズ成分Vinitに基づいて、Ｔ－Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。
　骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像Uinitを初期解としてＴ－Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分UT-Vとテクスチャとノイズで構成される残差成分VT-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。得られた骨格成分UT-Vをウェーブレット変換部３０５に供給する。
　ウェーブレット変換部３０５では、骨格成分・残差成分分離部１０１から供給された骨格成分UT-Vをウェーブレット変換し（ステップＳ１６）、ウェーブレット変換係数を射影部３０６に供給する。
　射影部３０６では、制約空間生成部３０４から供給された制約空間Sとウェーブレット変換部３０５から供給されたウェーブレット変換係数を用いて、以下の式（２６）で表す射影処理を行う（ステップＳ１７）。
Figure JPOXMLDOC01-appb-I000037
　なお、tはウェーブレット変換部３０５から出力された、骨格成分UT-Vにウェーブレット変換を適用して得られたウェーブレット変換係数であり、t’は制約空間Sへの射影処理で出力されるウェーブレット変換係数である。
　つまり、第３の実施の形態において、出力画像Zのウェーブレット変換係数は、入力画像Fのウェーブレット変換係数wm,nの±c×λの範囲内で変動するように制約される。これにより、ノイズが過抑圧されることを防ぐことができる。
　さらに、射影部３０６は、式（２６）の射影処理適用後のウェーブレット変換係数をウェーブレット逆変換部３０７に供給する。
　ウェーブレット逆変換部３０７では、射影部３０６から供給されたウェーブレット変換係数をウェーブレット逆変換し（ステップＳ１８）、ノイズを除去した出力画像を得る。
　上述した動作に基づいて、本発明の画像処理方法はノイズ除去画像を生成する。
　次に、第３の実施の形態の画像処理方法を適用した具体的な画像処理装置について説明する。図１３は、第３の実施の形態の画像処理装置の構成例を示す図である。
　画像処理装置１００３は、入力画像１に対して画像処理を施し出力画像２を出力する装置である。
　画像処理装置１００３は、図７に示す画像処理装置１０００のように、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、制約空間生成部１４と、制約保存メモリ１５と、制約処理部１６とを備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。
　初期ノイズ除去画像生成部３は、ステップＳ１２、Ｓ１３、Ｓ１４の手順で、ＷＳ法を用いた初期ノイズ除去画像生成を実行し、初期ノイズ除去画像生成の過程で得られるウェーブレット変換係数と減衰量を、制約空間生成部１４に供給する。
　制約空間生成部１４では、初期ノイズ除去画像生成部３から供給されるウェーブレット変換係数と減衰量から、ステップＳ１５の手順で制約空間を生成する。
　制約処理部１６では、骨格成分・残差成分分離部１０から供給される骨格成分と、制約空間生成部１４から供給される制約空間と、から、ステップＳ１６、Ｓ１７、Ｓ１８の手順で、骨格成分の変動範囲を制約する。
　図１３に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
　第３の実施の形態によれば、Ｔ－Ｖ法が過度にノイズを抑圧したことで解像度感が低下する問題を解決し、エッジやテクスチャをより維持したまま、高速にノイズを除去できる。
　なお、第３の実施の形態を第２の実施の形態と組み合わせることで、図１４のように、よりエッジとテクスチャを維持する画像処理方法を実現することも可能である。処理の説明は省略する。
　＜第４の実施の形態＞
　本発明の第４の実施の形態を説明する。
　図１５は、本発明の第４の実施の形態である画像処理方法を説明するための機能ブロック図である。
　第４の実施の形態では、第１の実施の形態の画像処理方法の低周波ノイズ除去性能を高めた画像処理方法を示す。
　図１５の構成では、３階層の多重解像度ウェーブレット変換を行う場合の処理の流れを示しているが、３階層以外でも容易に拡張が可能である。図１６に多重解像度ウェーブレット変換の例を示す。図１６（ａ）が原画像、図１６（ｂ）が１段のウェーブレット変換、図１６（ｃ）が３階層のウェーブレット変換を示す。図１６（ｂ）において、Ｌは低周波側、Ｈは高周波側を示し、ＬとＨの組み合わせでサブバンドを表現する。例えば、ＬＨは、水平方向が低周波側、垂直方向が高周波側であることを示す。図１６（ｂ）におけるＬＬ成分に対して再帰的にウェーブレット変換を適用することで、図１６（ｃ）のような多重解像度ウェーブレット変換が実現される。以後、多重解像度ウェーブレット変換において、第ｋ階層のＬＬ成分を、ＬＬｋと表記する。第ｋ階層のＬＨ、ＨＬ、ＨＨ成分も同様に表記する。
　多重解像度ウェーブレット変換のＬＬ成分は、ウェーブレット変換係数であるものの、原画像の縮小画像としての側面も持つ。例えば、３階層の多重解像度ウェーブレット変換を実行した時の、３階層目のＬＬ成分は、原画像を水平・垂直両方向に1/8した、原画像の1/64の解像度をもつ縮小画像である。Ｔ－Ｖ法は画像領域におけるノイズ除去処理であるため、ＬＬ成分のウェーブレット変換係数に対して実行可能である。深い階層のＬＬ成分は、原画像の低周波成分で構成されると考えられるため、深い階層においてデノイズ処理を実行することで、低周波ノイズを除去することができる。
　図１７は、第４の実施の形態の画像処理方法を説明するためのフローチャートである。
　以下、処理の流れについて説明する。
　入力画像Ｆはウェーブレット変換部４０１に供給される。
　ウェーブレット変換部４０１では、供給された入力画像Ｆをウェーブレット変換し、ウェーブレット変換係数のＬＬ１成分をウェーブレット変換４０２に供給する。この時点におけるＬＬ１成分は、原画像に対して1/4の解像度をもつ縮小画像である。さらに、ＬＨ１、ＨＬ１、ＨＨ１成分をＳｈｒｉｎｋａｇｅ部４１０に供給する。
　ウェーブレット変換部４０２では、ウェーブレット変換部４０１から供給された第１階層のＬＬ１成分をウェーブレット変換し、得られたウェーブレット変換係数のＬＬ２成分をウェーブレット変換４０３に供給する。この時点におけるＬＬ２成分は、原画像に対して1/16の解像度をもつ縮小画像である。さらに、ＬＨ２、ＨＬ２、ＨＨ２成分をＳｈｒｉｎｋａｇｅ部４０７に供給する。
　ウェーブレット変換部４０３では、ウェーブレット変換部４０２から供給された第２階層のＬＬ２成分をウェーブレット変換し、得られたウェーブレット変換係数ＬＬ３、ＬＨ３、ＨＬ３、ＨＨ３をＳｈｒｉｎｋａｇｅ部４０４に供給する。
　この時点で、３階層の多重解像度ウェーブレット変換が実現される（ステップＳ１９）。続いて、最も低解像度な階層からノイズ除去処理を実行する（ステップＳ２０）。
　Ｓｈｒｉｎｋａｇｅ部４０４では、ウェーブレット変換４０３から供給されたウェーブレット変換係数に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数を逆ウェーブレット変換部４０５に供給する。
　ウェーブレット逆変換部４０５では、Ｓｈｒｉｎｋａｇｅ部４０４から供給されたウェーブレット変換係数を逆ウェーブレット変換し、原画像に対して1/16の解像度をもつ初期ノイズ除去画像U3,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４０７に供給する。また、入力画像Ｆから分離された初期残差成分V3,initを反復制御部４０６に供給する。
　反復制御部４０６では、ウェーブレット逆変換部４０５から供給されるノイズ成分V3,initに基づいて、骨格成分・残差成分分離部４０７におけるＴ－Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。
　骨格成分・残差成分分離部４０７では、逆ウェーブレット変換部４０５から供給された初期ノイズ除去画像U3,initを初期解としてＴ－Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分U3,T-Vとテクスチャとノイズで構成される残差成分V3,T-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。未処理の上位階層がある（ステップＳ２２）ため、得られた骨格成分U3,T-Vをウェーブレット変換係数のＬＬ’２成分とみなして逆ウェーブレット変換４０８に供給する。
　第３階層での処理が完了したので、続いて第２階層での処理を開始する（ステップＳ２３）。
　Ｓｈｒｉｎｋａｇｅ部４０８では、ウェーブレット変換部４０２から供給されたウェーブレット変換係数のＬＨ２、ＨＬ２、ＨＨ２成分に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数のＬＨ’２、ＨＬ’２、ＨＨ’２成分を逆ウェーブレット変換部４０９に供給する。
　ウェーブレット逆変換部４０９では、Ｓｈｒｉｎｋａｇｅ部４０８から供給されたウェーブレット変換係数のＬＨ’２、ＨＬ’２、ＨＨ’２成分と、Ｔ－Ｖ法４０６から供給されるウェーブレット変換係数のＬＬ’２成分を用いてウェーブレット逆変換し、原画像に対して1/4の解像度をもつ初期ノイズ除去画像U2,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４１１に供給する。また、入力画像Ｆから分離された初期残差成分V2,initを反復制御部４１０に供給する。
　反復制御部４１０では、ウェーブレット逆変換部４０９から供給されるノイズ成分V2,initに基づいて、骨格成分・残差成分分離部４１１におけるＴ－Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。
　骨格成分・残差成分分離部４１１では、ウェーブレット逆変換部４０９から供給された初期ノイズ除去画像U2,initを初期解としてＴ－Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分U2,T-Vとテクスチャとノイズで構成される残差成分V2,T-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。未処理の上位階層がある（ステップＳ２２）ため、得られた骨格成分U2,T-Vをウェーブレット変換係数のＬＬ’1成分とみなしてウェーブレット逆変換４１３に供給する。
　第２階層での処理が完了したので、続いて第１階層での処理を開始する（ステップＳ２３）。
　Ｓｈｒｉｎｋａｇｅ部４１２では、ウェーブレット変換部４０１から供給されたウェーブレット変換係数のＬＨ１、ＨＬ１、ＨＨ１成分に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数のＬＨ’１、ＨＬ’１、ＨＨ’１成分をウェーブレット逆変換部４１３に供給する。
　ウェーブレット逆変換部４１３では、Ｓｈｒｉｎｋａｇｅ部４１２から供給されたウェーブレット変換係数のＬＨ’１、ＨＬ’１、ＨＨ’１成分と、骨格成分・残差成分分離部４１１から供給されるウェーブレット変換係数のＬＬ’１成分を用いて逆ウェーブレット変換し、原画像と同じ解像度をもつ初期ノイズ除去画像U1,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４１５に供給する。また、入力画像Ｆから分離された初期残差成分V1,initを反復制御部４１４に供給する。
　反復制御部４１４では、ウェーブレット逆変換部４１３から供給されるノイズ成分V1,initに基づいて、骨格成分・残差成分分離部４１５におけるＴ－Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。
　骨格成分・残差成分分離部４１５では、ウェーブレット逆変換部４１３から供給された原画像と同じ解像度をもつ初期ノイズ除去画像U1,initを初期解としてＴ－Ｖ法を適用し、骨格成分U1,T-Vとテクスチャ成分V1,T-Vを得る。
　第１階層での処理が完了したので、得られた骨格成分U1,T-Vをノイズ除去画像Zとして出力する（ステップＳ６）。
　上述した動作に基づいて、発明の画像処理方法はノイズ除去画像を生成する。
　次に、第４の実施の形態の画像処理方法を適用した画像処理装置について説明する。図１８は、第４の実施の形態の画像処理装置の構成例を示す図である。
　画像処理装置１００４は、入力画像１に対して画像処理を施し出力画像２を出力する装置である。
　画像処理装置１００４は、図７に示す画像処理装置１０００のように、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、を備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。
　多重解像度ウェーブレット変換部１７では、ステップＳ１９の手順で入力画像１に対して多重解像度ウェーブレット変換を適用する。
　高周波成分保存メモリ１８では、多重解像度ウェーブレット変換部１７から供給される、ウェーブレット変換係数の高周波成分を保存する。
　初期ノイズ除去画像生成部３では、多重解像度ウェーブレット変換部１７、または、出力画像制御部１９から供給される処理対象の階層のウェーブレット変換係数の低周波成分と、高周波成分保存メモリ１８を参照して取得する処理対象の階層のウェーブレット変換係数の高周波成分とから、ステップＳ２１の手順で初期ノイズ除去画像を生成する。
　出力画像制御部１９では、処理対象の階層の解像度が入力画像１の解像度と一致したときは、骨格成分・残差成分分離部１０から供給される骨格成分を出力画像２とする。処理対象の階層の解像度が入力画像１の解像度より低い時は、ステップＳ２２、Ｓ２３の手順で、骨格成分・残差成分分離部１０から供給される骨格成分を１階層解像度の高いウェーブレット変換係数の低周波成分とみなして、初期ノイズ除去画像生成部３に供給する。
　なお、図１８に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
　第４の実施の形態によれば、各階層で初期ノイズ除去画像を求めて、各階層のＴ－Ｖ法の初期解とすることで、各階層のＴ－Ｖ法で解が収束するまでに必要なChambolleのProjection法の反復回数を削減し、高周波ノイズだけでなく低周波ノイズも高速に除去できる。
　なお、第４の実施の形態と第２の実施の形態を組み合わせた画像処理方法や、第４の実施の形態と第３の実施の形態を組み合わせた画像処理方法を構成することは容易に可能である。これらの処理の説明は省略する。
　尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、
　前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、
　前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する
画像処理方法。
　（付記２）
　前記残差成分からエッジ成分とテクスチャ成分を抽出し、
　前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する付記１に記載の画像処理方法。
　（付記３）
　前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
　前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
付記１に記載の画像処理方法。
　（付記４）
　前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記２又は付記３に記載の画像処理方法。
　（付記５）
　入力画像から、複数の解像度の異なる画像を生成し、
　異なる画像毎に、付記１から付記４のいずれかに記載の画像処理方法を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
画像処理方法。
　（付記６）
　入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、
　予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、
　前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段と
を有する画像処理装置。
　（付記７）
　前記骨格成分・残差成分分離手段は、
　前記残差成分からエッジ成分とテクスチャ成分を抽出し、
　前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する付記６に記載の画像処理装置。
　（付記８）
　前記骨格成分・残差成分分離手段は、
　前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
　前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
付記６に記載の画像処理装置。
　（付記９）
　前記骨格成分・残差成分分離手段は、
　前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記７又は付記８に記載の画像処理装置。
　（付記１０）
　入力画像から、複数の解像度の異なる画像を生成する手段を有し、
　前記初期ノイズ除去画像生成手段、前記骨格成分・残差成分分離手段及び前記制御手段を、各解像度の画像に対応して設け、
　前記初期ノイズ除去画像生成手段は、対応する解像度よりも一つ解像度の低いに基づいて生成された出力画像を、初期ノイズ除去画像の生成に用いる
付記６から付記９のいずれかに記載の画像処理装置。
　（付記１１）
　入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成する処理と、
　前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御する処理と、
　前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する処理と
をコンピュータに実行させるプログラム。
　（付記１２）
　前記残差成分からエッジ成分とテクスチャ成分を抽出する処理と、
　前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する処理と
をコンピュータに実行させる付記１１に記載のプログラム。
　（付記１３）
　前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出する処理と、
　前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する処理と
をコンピュータに実行させる付記１１に記載のプログラム。
　（付記１４）
　前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記１２又は付記１３に記載のプログラム。
　（付記１５）
　入力画像から、複数の解像度の異なる画像を生成する処理を有し、
　異なる画像毎に、付記１１から付記１４のいずれかに記載の処理を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
プログラム。
　以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
　本出願は、２０１２年４月２７日に出願された日本出願特願２０１２－１０２０１９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　　　　　入力画像
２　　　　　出力画像
３　　　　　初期ノイズ除去画像生成部
４　　　　　初期残差成分保存メモリ
５　　　　　標準偏差計算部
６　　　　　標準偏差保存メモリ
７　　　　　パラメータ計算部
８　　　　　パラメータ保存メモリ
９　　　　　反復制御部
１０　　　　骨格成分・残差成分分離部
１１　　　　ノイズ抑制部
１２　　　　合成部
１３　　　　ノイズ抑制部
１４　　　　制約空間生成部
１５　　　　制約保存メモリ
１６　　　　制約処理部
１９　　　　出力画像制御部
１０１　　　骨格成分・残差成分分離部
１０２　　　ノイズ抑制部
１０３　　　初期ノイズ除去画像生成部
１０４　　　反復制御部
２０１　　　ノイズ抑制部
３０１　　　ウェーブレット変換部
３０２　　　Ｓｈｒｉｎｋａｇｅ部
３０３　　　ウェーブレット逆変換部
３０４　　　制約空間生成部
３０５　　　ウェーブレット変換部
３０６　　　射影部
３０７　　　ウェーブレット逆変換部
４０１　　　ウェーブレット変換部
４０２　　　ウェーブレット変換部
４０３　　　ウェーブレット変換部
４１２　　　Ｓｈｒｉｎｋａｇｅ部
４０４　　　Ｓｈｒｉｎｋａｇｅ部
４０５　　　ウェーブレット逆変換部
４０６　　　反復制御部
４０７　　　骨格成分・残差成分分離部
４０８　　　Ｓｈｒｉｎｋａｇｅ部
４０９　　　ウェーブレット逆変換部
４１０　　　反復制御部
４１１　　　骨格成分・残差成分分離部
４１３　　　ウェーブレット逆変換部
４１４　　　反復制御部
４１５　　　骨格成分・残差成分分離部
１０００　　画像処理装置

Claims (10)

  1. 　入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、
    　前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、
    　前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する
    画像処理方法。
  2. 　前記残差成分からエッジ成分とテクスチャ成分を抽出し、
    　前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する請求項１に記載の画像処理方法。
  3. 　前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
    　前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
    請求項１に記載の画像処理方法。
  4. 　前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
    請求項２又は請求項３に記載の画像処理方法。
  5. 　入力画像から、複数の解像度の異なる画像を生成し、
    　異なる画像毎に、請求項１から請求項４のいずれかに記載の画像処理方法を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
    画像処理方法。
  6. 　入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、
    　予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、
    　前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段と
    を有する画像処理装置。
  7. 　前記骨格成分・残差成分分離手段は、
    　前記残差成分からエッジ成分とテクスチャ成分を抽出し、
    　前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する請求項６に記載の画像処理装置。
  8. 　前記骨格成分・残差成分分離手段は、
    　前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
    　前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
    請求項６に記載の画像処理装置。
  9. 　前記骨格成分・残差成分分離手段は、
    　前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
    請求項７又は請求項８に記載の画像処理装置。
  10. 　入力画像から、複数の解像度の異なる画像を生成する手段を有し、
    　前記初期ノイズ除去画像生成手段、前記骨格成分・残差成分分離手段及び前記制御手段を、各解像度の画像に対応して設け、
    　前記初期ノイズ除去画像生成手段は、対応する解像度よりも一つ解像度の低いに基づいて生成された出力画像を、初期ノイズ除去画像の生成に用いる
    請求項６から請求項９のいずれかに記載の画像処理装置。
PCT/JP2013/062202 2012-04-27 2013-04-25 画像処理方法、画像処理システム、画像処理装置および画像処理プログラム WO2013161940A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014512683A JP6222481B2 (ja) 2012-04-27 2013-04-25 画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
US14/397,202 US9430816B2 (en) 2012-04-27 2013-04-25 Image processing method, image processing system, image processing device, and image processing program capable of removing noises over different frequency bands, respectively

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-102019 2012-04-27
JP2012102019 2012-04-27

Publications (1)

Publication Number Publication Date
WO2013161940A1 true WO2013161940A1 (ja) 2013-10-31

Family

ID=49483244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/062202 WO2013161940A1 (ja) 2012-04-27 2013-04-25 画像処理方法、画像処理システム、画像処理装置および画像処理プログラム

Country Status (3)

Country Link
US (1) US9430816B2 (ja)
JP (1) JP6222481B2 (ja)
WO (1) WO2013161940A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023073805A1 (ja) * 2021-10-26 2023-05-04 日本電信電話株式会社 モデル学習装置、方法およびプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015143624A1 (en) * 2014-03-25 2015-10-01 Spreadtrum Communications(Shanghai) Co., Ltd. Methods and systems for denoising images
US9792692B2 (en) * 2015-05-29 2017-10-17 Ncr Corporation Depth-based image element removal
WO2018220780A1 (ja) * 2017-06-01 2018-12-06 日本電気株式会社 画像生成装置、画像生成方法およびプログラムを記憶する記憶媒体
US10643313B2 (en) * 2018-01-19 2020-05-05 Bae Systems Information And Electronic Systems Integration Inc. Methods for image denoising and deblurring
CN109785249A (zh) * 2018-12-22 2019-05-21 昆明理工大学 一种基于持续性记忆密集网络的图像高效去噪方法
KR102279867B1 (ko) * 2020-06-02 2021-07-21 주식회사 슈프리마아이디 조명 노이즈를 제거한 이미지 생성 방법 및 상기 이미지 생성 방법을 이용한 이미지 생성 장치
CN114066738A (zh) * 2020-07-31 2022-02-18 北京小米移动软件有限公司 图像处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167261A (ja) * 1999-09-27 2001-06-22 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2010033453A (ja) * 2008-07-30 2010-02-12 Olympus Corp 成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器
JP2010166598A (ja) * 2010-03-10 2010-07-29 Kanagawa Univ 画像処理装置および撮像装置
JP2011043901A (ja) * 2009-08-19 2011-03-03 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1059811A2 (en) 1999-06-10 2000-12-13 Fuji Photo Film Co., Ltd. Method and system for image processing, and recording medium
JP5044518B2 (ja) * 2008-09-17 2012-10-10 株式会社東芝 画像処理装置及びコンピュータ端末
JP4776705B2 (ja) * 2009-03-06 2011-09-21 株式会社東芝 画像処理装置および方法
US8588461B2 (en) * 2010-03-22 2013-11-19 Brigham Young University Robust watermarking for digital media
JP5159844B2 (ja) * 2010-09-03 2013-03-13 株式会社東芝 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167261A (ja) * 1999-09-27 2001-06-22 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2010033453A (ja) * 2008-07-30 2010-02-12 Olympus Corp 成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器
JP2011043901A (ja) * 2009-08-19 2011-03-03 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器
JP2010166598A (ja) * 2010-03-10 2010-07-29 Kanagawa Univ 画像処理装置および撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HARUYA AIZAWA ET AL.: "Removal of Signal- Dependent Noise through the TV-L1 Nonlinear Image Decomposition", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. J91-D, no. 8, 1 August 2008 (2008-08-01), pages 1998 - 2001 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023073805A1 (ja) * 2021-10-26 2023-05-04 日本電信電話株式会社 モデル学習装置、方法およびプログラム

Also Published As

Publication number Publication date
US20150086126A1 (en) 2015-03-26
JPWO2013161940A1 (ja) 2015-12-24
JP6222481B2 (ja) 2017-11-01
US9430816B2 (en) 2016-08-30

Similar Documents

Publication Publication Date Title
JP6222481B2 (ja) 画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
Feng et al. Speckle reduction via higher order total variation approach
US9665792B2 (en) Method and apparatus for generating sharp image based on blurry image
WO2009107197A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2010086973A1 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP5027757B2 (ja) 動画像雑音除去装置、その方法およびそのプログラム
KR101362011B1 (ko) 링잉 아티펙트없는 블러 제거 방법
US10229479B2 (en) Image signal processing apparatus, image signal processing method and image signal processing program
Deng Guided wavelet shrinkage for edge-aware smoothing
Chen et al. A novel multi-image super-resolution reconstruction method using anisotropic fractional order adaptive norm
CN107590781B (zh) 基于原始对偶算法的自适应加权tgv图像去模糊方法
JP2009271725A (ja) 画像復元装置、画像復元方法及び画像復元プログラム
Ding et al. Image deblurring using a pyramid-based Richardson-Lucy algorithm
Hiraoka et al. Reduction of iterative calculation and quality improvement for generation of moire-like images using bilateral filter
Lakshman et al. Image interpolation using shearlet based sparsity priors
KR20110090068A (ko) 영상의 움직임 보상 노이즈 제거 장치 및 방법
JP5784472B2 (ja) 画像処理装置、方法及びプログラム
Liu et al. A novel variational model for retinex in presence of severe noises
Wang et al. A new bandwidth adaptive non-local kernel regression algorithm for image/video restoration and its GPU realization
Wang et al. A new method for motion-blurred image blind restoration based on huber Markov random field
Hong et al. Single image motion deblurring using anisotropic regularization
JP6982479B2 (ja) 超解像化装置及びプログラム
JP7437249B2 (ja) 雑音除去装置及びそのプログラム
Young et al. Optimized decoding of JPEG images based on generalized graph Laplacians
Lee et al. Non-blind image deconvolution with adaptive regularization

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13782270

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014512683

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14397202

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13782270

Country of ref document: EP

Kind code of ref document: A1