WO2018225134A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
WO2018225134A1
WO2018225134A1 PCT/JP2017/020845 JP2017020845W WO2018225134A1 WO 2018225134 A1 WO2018225134 A1 WO 2018225134A1 JP 2017020845 W JP2017020845 W JP 2017020845W WO 2018225134 A1 WO2018225134 A1 WO 2018225134A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
input image
noise
image processing
noise level
Prior art date
Application number
PCT/JP2017/020845
Other languages
English (en)
French (fr)
Inventor
永男 蔡
玖 徐
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to US16/470,309 priority Critical patent/US11798134B2/en
Priority to PCT/JP2017/020845 priority patent/WO2018225134A1/ja
Priority to JP2019523226A priority patent/JP6564158B2/ja
Publication of WO2018225134A1 publication Critical patent/WO2018225134A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • One aspect of the present invention relates to an image processing apparatus, an image processing method, and an image processing program.
  • Non-Patent Document 1 a noise model considering the camera characteristics is constructed by actually measuring a camera used for photographing.
  • Non-Patent Document 1 In the method of Non-Patent Document 1, it is necessary to model the relationship between camera characteristics and noise amount in advance. Therefore, the noise level cannot be estimated unless prior information such as a noise model and camera information is obtained. Therefore, it is desired to estimate the noise level of the input image without any prior information.
  • An image processing apparatus superimposes a plurality of noises having different densities on an acquisition unit that acquires an input image and a target region that is at least a part of the input image. For each of a plurality of comparison images, a generation unit that generates a comparison image, a calculation unit that calculates the degree of deterioration of the comparison image with respect to the input image, and the noise level of the input image is estimated based on the plurality of calculated degrees of deterioration And an estimation unit.
  • An image processing method is an image processing method executed by an image processing apparatus including a processor, and an acquisition step of acquiring an input image and a target region that is at least a part of the input image, A generation step of generating a plurality of comparison images by superimposing each of a plurality of noises having different densities from each other; and a calculation step of calculating a degree of deterioration of the comparison image with respect to the input image for each of the plurality of comparison images; An estimation step of estimating the noise level of the input image based on the plurality of calculated degradation levels.
  • An image processing program includes an acquisition step of acquiring an input image, and superimposing each of a plurality of noises having different densities on a target region that is at least a part of the input image.
  • a plurality of comparison images can be obtained by superimposing a plurality of noises on the input image. Even if noise having a lower density than noise originally included in the input image is superimposed on the input image, the input image is hardly deteriorated. On the other hand, when noise having a higher density than noise originally included in the input image is superimposed on the input image, the input image is degraded.
  • multiple comparison images are generated from the input image, and the noise level of the input image is estimated using these comparison images. The degree can be estimated.
  • the noise level of an input image can be estimated without prior information.
  • the image processing apparatus 10 is a computer or a computer system that objectively estimates the noise level of an image.
  • An “image” is an image in which an object is fixed on some medium so that it can be perceived by human vision.
  • the image becomes visible by processing data (image data) indicating the image, which can be processed by a computer.
  • image data image data
  • the image is recorded in a storage device such as a memory, and is output to an output device such as a monitor by processing of the processor, thereby enabling visual recognition.
  • the image may be a still image or may be an individual frame constituting a moving image.
  • Noise refers to unnecessary data included in an image or data disturbance, and is one of the factors that degrade image quality.
  • the “noise level” is an index indicating how much noise the image contains.
  • the noise level is represented by a standard deviation ⁇ of Gaussian noise which is a kind of random noise.
  • Gaussian noise can be expressed as N (a, ⁇ ) using the average a and the standard deviation ⁇ .
  • FIG. 1 is a diagram showing the concept of noise level estimation in the present embodiment.
  • the image processing apparatus 10 estimates the noise level of the input image 21 whose actual noise level is 10 (which corresponds to Gaussian noise N (0, 10)).
  • the image processing apparatus 10 generates a plurality of comparison images by superimposing a plurality of noises having different densities on the input image 21.
  • the “density” of noise is an index indicating the amount or intensity of noise. The higher the density, the stronger the noise and the more apparent on the image.
  • the image processing apparatus 10 superimposes random noise (noise that appears irregularly over the entire image) on the input image 21.
  • the image processing apparatus 10 superimposes Gaussian noise, which is a kind of random noise, on the input image 21.
  • Gaussian noise the density of random noise is also simply referred to as “noise density”.
  • the noise density is indicated by the standard deviation ⁇ . Therefore, the higher the standard deviation ⁇ , the higher the noise density.
  • the image processing apparatus 10 generates a comparison image 22 by superimposing Gaussian noise N (0, 2) on the input image 21.
  • the image processing apparatus 10 generates the comparison image 23 by superimposing the Gaussian noise N (0, 10) on the input image 21, and the comparison image by superimposing the Gaussian noise N (0, 18) on the input image 21. 24 is generated.
  • the image processing apparatus 10 generates a comparative image while further changing the noise density (for example, changing the standard deviation to 26, 34).
  • each Gaussian noise is schematically represented by a collection of points.
  • Image quality is the visual quality of an image and is determined by various factors such as resolution, gradation, and contrast. The presence or absence of noise is one of the factors, and image quality deteriorates when noise is included. If the superimposed noise density is equal to or lower than the noise density originally possessed by the original image, the image quality is not substantially lowered even if random noise is superimposed. That is, in this case, it can be said that the image quality of the comparison image is the same as or substantially the same as that of the original image. On the other hand, if the superimposed noise density is higher than the noise density originally possessed by the original image, the image quality of the comparative image is lower than that of the original image.
  • the noise level of the input image 21 is 10, which corresponds to the Gaussian noise N (0, 10). That is, it is assumed that the input image 21 is obtained when Gaussian noise N (0, 10) is superimposed on an image that does not include noise.
  • the noise level of the comparison image 22 obtained by superimposing the Gaussian noise N (0, 2) is also 10.
  • the noise level of the comparative image 23 obtained by superimposing the Gaussian noise N (0, 10) is also 10.
  • the noise level of the input image 21 is 10 or between 10 and 18.
  • the image processing apparatus 10 generates a plurality of comparison images by superimposing a plurality of noises on the original image, and determines the degree of deterioration in the image quality of these comparison images, thereby Estimate the noise level.
  • FIG. 2 shows a general hardware configuration of the image processing apparatus 10.
  • the image processing apparatus 10 includes a processor 101 that executes an operating system, application programs, and the like, a main storage unit 102 that includes a ROM and a RAM, an auxiliary storage unit 103 that includes a hard disk and a flash memory, and a network card.
  • the communication control unit 104 includes a wireless communication module, an input device 105 such as a keyboard and a mouse, and an output device 106 such as a monitor.
  • Each functional element of the image processing apparatus 10 is realized by reading predetermined software (for example, an image processing program P1 described later) on the processor 101 or the main storage unit 102 and executing the software.
  • the processor 101 operates the communication control unit 104, the input device 105, or the output device 106 in accordance with the software, and reads and writes data in the main storage unit 102 or the auxiliary storage unit 103. Data or a database necessary for processing is stored in the main storage unit 102 or the auxiliary storage unit 103.
  • the image processing apparatus 10 may be composed of one computer or a plurality of computers. When a plurality of computers are used, one image processing apparatus 10 is logically constructed by connecting these computers via a communication network such as the Internet or an intranet.
  • FIG. 3 shows a functional configuration of the image processing apparatus 10.
  • the image processing apparatus 10 includes an acquisition unit 11, a generation unit 12, a calculation unit 13, and an estimation unit 14 as functional components.
  • the acquisition unit 11 is a functional element that acquires an input image.
  • An input image is an image processed as a target for estimating the noise level.
  • the input image can also be referred to as an original image.
  • the generation unit 12 is a functional element that generates a plurality of comparison images used for estimating the noise level of the acquired input image.
  • the generation unit 12 sets at least a part of the input image as a target region, and obtains a comparative image by superimposing random noise on the target region.
  • the comparative image is an image obtained by intentionally degrading the image quality of the input image.
  • the degree of noise included in the comparison image may be the same as or substantially the same as that of the input image.
  • the “target region” is a range composed of pixels that are continuously arranged. The target area may be only a part of the input image or the entire input image.
  • the calculation unit 13 is a functional element that calculates the degree of deterioration of the comparison image with respect to the input image for each of the plurality of comparison images obtained by the generation unit 12. Therefore, the calculation unit 13 obtains a plurality of deterioration levels for one input image.
  • the “degradation degree” is an index indicating how much the image quality of the comparison image is lower than the image quality of the input image due to the influence of random noise.
  • the calculation unit 13 outputs the calculated plurality of deterioration degrees to the estimation unit 14.
  • the estimation unit 14 is a functional element that estimates the noise level of an input image based on a plurality of calculated deterioration levels.
  • FIG. 4 is a flowchart showing processing of the image processing apparatus 10.
  • the acquisition unit 11 acquires one input image (step S11, acquisition step).
  • the method for acquiring the input image is not limited.
  • the acquisition unit 11 may read an input image by accessing an image database that stores an arbitrary image.
  • the image database may be a device different from the image processing device 10 or may be a part of the image processing device 10.
  • the acquisition unit 11 may acquire an input image input or designated by the user of the image processing apparatus 10.
  • the acquisition unit 11 may receive an input image from another computer.
  • a grayscale image is an image in which pixel information contains no information other than luminous intensity. Since the Gaussian noise superimposed on the input image does not have color information, the noise level can be obtained more accurately by converting the input image into a grayscale image in accordance with the Gaussian noise.
  • the generation unit 12 generates a plurality of comparison images from the input image (step S13, generation step).
  • the generation unit 12 generates one comparison image as follows.
  • the generation unit 12 obtains an input image (hereinafter also simply referred to as “input image”) for generating a comparison image by duplicating the input image converted to grayscale.
  • the generation unit 12 sets at least a part of the input image as a target area, and obtains a comparative image by reducing the image quality of the target area.
  • the generation unit 12 obtains a comparative image by superimposing Gaussian noise on the target region.
  • FIG. 5 is a diagram showing an example of processing for generating a comparison image.
  • the generation unit 12 superimposes a Gaussian noise 33 indicated by a normal distribution 32 on a target area 31 of 4 (pixels) ⁇ 4 (pixels), thereby forming a target area 34 constituting at least a part of the comparison image. Is generated. This process changes at least part of the light intensity in the target area 31, and thus noise occurs in the target area 34.
  • pixels whose luminous intensity has changed due to noise superposition are indicated by hatching.
  • the generating unit 12 generates a plurality of comparative images while changing the standard deviation of the Gaussian noise. This means that a plurality of comparative images having different random noise densities (intensities) are generated.
  • the setting of the standard deviation of Gaussian noise and the number of comparison images are not limited.
  • the generation unit 12 may generate a plurality of comparison images while changing the standard deviation to 2, 10, 18, 26..., Or a plurality of comparison images while changing the standard deviation to 2, 6, 10, 14,. May be generated.
  • the calculation unit 13 calculates the degree of deterioration of each comparative image with respect to the input image (step S14, calculation step).
  • the calculation unit 13 uses structural similarity (SSIM: structural similarity) as the degree of deterioration.
  • SSIM is a technique and index for evaluating the degree of similarity between two images by the product of a difference in luminance average, a difference in standard deviation of pixel values, and a covariance between pixels.
  • SSIM is said to be an index close to human subjective judgment.
  • the SSIM between the two images is a value between 0 and 1, and the higher the value, the more similar the two images are.
  • this SSIM (x, y) is obtained by the following equation (1).
  • L is the dynamic range of pixel values (255 for 8-bit images).
  • the calculation unit 13 obtains an SSIM between the input image (image x) and the comparison image (image y).
  • the calculation unit 13 is obtained from at least SSIM 1 obtained from the input image 21 and the comparison image 22, SSIM 2 obtained from the input image 21 and the comparison image 23, and the input image 21 and the comparison image 24. Find SSIM 3 .
  • the estimation unit 14 estimates the noise level of the input image based on a plurality of degradation levels (SSIM in the present embodiment) (step S15, estimation step). More specifically, the estimation unit 14 obtains a relationship between the noise density and the deterioration level, and estimates the noise level based on the relationship.
  • the noise density standard deviation ⁇ of Gaussian noise
  • the noise degree estimation method is not limited.
  • the estimation unit 14 may estimate the noise level by comparing a plurality of SSIMs with a threshold value. Specifically, the estimation unit 14 may obtain the relationship between the noise density (standard deviation of Gaussian noise) and SSIM, and estimate the noise density when SSIM is a threshold as the noise level. The estimation unit 14 can specify the noise density when the SSIM is a threshold value by obtaining a function indicating the relationship between the noise density and the SSIM by the least square method or linear interpolation. The threshold value may be changed according to the input image.
  • the estimation unit 14 approximates the relationship between the noise density (standard deviation of Gaussian noise) and SSIM with a nonlinear function, and the highest order coefficient of the nonlinear function (more specifically, the highest order of the polynomial defining the nonlinear function).
  • the degree of noise may be estimated based on the coefficient.
  • the nonlinear function is not limited, and may be, for example, a quadratic function or a cubic function, or may be a higher order function.
  • An approximation method using a nonlinear function is not limited, but, for example, a least square method may be used.
  • the estimation unit 14 normalizes the SSIM. This normalization is a process for unifying the SSIM level between images.
  • FIG. 6 shows a case where five kinds of noise degrees (2, 6, 10, 14, and 18) are applied to one image, and the noise density (standard deviation of Gaussian noise) and SSIM are applied for each noise degree. It is the graph obtained by plotting the relationship with. Thus, even if the images are the same, if the noise level is different, the curve of the graph changes.
  • the noise level of the original image is small, the image quality begins to deteriorate (SSIM begins to decrease) when random noise with a low density is superimposed.
  • the noise level of the original image is large, the image quality does not deteriorate much (SSIM does not decrease much) even if random noise with a low density is superimposed.
  • FIG. 7 is a graph showing an example of the correspondence between the noise degree and the highest order coefficient of a quadratic function (nonlinear function indicating the relationship between noise density and SSIM) for five types of images A to E.
  • the horizontal axis of the graph corresponds to the noise level, and the vertical axis of the graph indicates the highest order coefficient of the quadratic function.
  • Each quadratic function calculates SSIM while changing the noise density (standard deviation of Gaussian noise) to 1, 2, 3, 4..., And normalizes each SSIM to obtain the noise density and SSIM. Is approximated.
  • the highest order coefficient of the quadratic function (nonlinear function) obtained from the normalized SSIM takes a certain range according to the noise level regardless of the type of image. Therefore, it is possible to determine the noise level of an image by determining the noise level to which the obtained highest-order coefficient corresponds after presetting the correspondence between the highest-order coefficient and the noise level.
  • the method of expressing the correspondence relationship is not limited, and may be expressed in a table (correspondence table), for example.
  • the image processing apparatus 10 (for example, the estimation unit 14) holds the correspondence relationship in advance. In the example of FIG.
  • the noise degree is 2 if the highest order coefficient is Ta or more, the noise degree is 6 if the highest order coefficient is Tb or more and less than Ta, and the highest order coefficient is Tc or more and less than Tb.
  • the noise degree is 10, and the noise degree is 14 if the highest order coefficient is less than Tc.
  • the estimation unit 14 outputs the estimated noise level (step S16).
  • the output method of the noise level is not limited.
  • the estimation unit 14 may store the noise level in a predetermined database, transmit it to another computer, or display it on a monitor.
  • the estimation unit 14 may output a noise level and a set of input images.
  • the method of using the estimated noise level is not limited.
  • the noise level may be used to remove noise from the input image.
  • the image quality of the input image can be improved.
  • further image processing such as super-resolution on the image from which noise has been removed, a desired image can be obtained without being disturbed by noise.
  • Further processing using the estimated noise level may be executed by the image processing apparatus 10 or may be executed by another information processing apparatus.
  • FIG. 8 is a diagram showing the configuration of the image processing program P1.
  • the image processing program P1 includes a main module P10, an acquisition module P11, a generation module P12, a calculation module P13, and an estimation module P14.
  • the main module P10 is a part that centrally manages the estimation of the noise level.
  • the image processing program P1 may be provided after being fixedly recorded on a tangible recording medium such as a CD-ROM, DVD-ROM, or semiconductor memory. Alternatively, the image processing program P1 may be provided via a communication network as a data signal superimposed on a carrier wave.
  • the image processing apparatus superimposes each of a plurality of noises having different densities on an acquisition unit that acquires an input image and a target region that is at least a part of the input image.
  • a generation unit that generates a plurality of comparison images
  • a calculation unit that calculates the degree of deterioration of the comparison image with respect to the input image for each of the plurality of comparison images, and an input based on the plurality of calculated degrees of deterioration
  • An image processing method is an image processing method executed by an image processing apparatus including a processor, and an acquisition step of acquiring an input image and a target region that is at least a part of the input image, A generation step of generating a plurality of comparison images by superimposing each of a plurality of noises having different densities from each other; and a calculation step of calculating a degree of deterioration of the comparison image with respect to the input image for each of the plurality of comparison images; An estimation step of estimating the noise level of the input image based on the plurality of calculated degradation levels.
  • An image processing program includes an acquisition step of acquiring an input image, and superimposing each of a plurality of noises having different densities on a target region that is at least a part of the input image.
  • a plurality of comparison images can be obtained by superimposing a plurality of noises on the input image. Even if noise having a lower density than noise originally included in the input image is superimposed on the input image, the input image is hardly deteriorated. On the other hand, when noise having a higher density than noise originally included in the input image is superimposed on the input image, the input image is degraded.
  • multiple comparison images are generated from the input image, and the noise level of the input image is estimated using these comparison images. Noise (or intrinsic) noise level can be estimated. When the target region is the entire input image, the noise level over the entire image can be obtained instead of the local noise level of the image.
  • the degree of deterioration may be structural similarity. Since SSIM is an index based on changes in brightness value, contrast, and structure, it can be said that SSIM is suitable for estimating the noise level using a comparative image obtained by superimposing noise on an input image. Therefore, the noise level of the input image can be accurately estimated by using SSIM.
  • the estimation unit may estimate the noise level by comparing a plurality of deterioration levels with a threshold value. By using the threshold value, it is possible to estimate the noise level with a simple process and at high speed.
  • the estimation unit may estimate the noise level based on the highest order coefficient of the nonlinear function indicating the relationship between the density and the deterioration level.
  • the curve of the graph indicating the nonlinear function tends to change according to the noise level regardless of the subject of the image, and the curve depends greatly on the highest order coefficient of the nonlinear function. Therefore, the noise level can be accurately determined based on the highest order coefficient.
  • the correspondence relationship between the highest order coefficient and the noise degree is set in advance, and the estimation unit calculates the highest order coefficient of the nonlinear function from a plurality of densities and a plurality of deterioration degrees,
  • the noise level corresponding to the calculated highest order coefficient may be determined by referring to the correspondence relationship.
  • the image processing apparatus 10 uses SSIM as the degree of deterioration, but other indicators may be used as the degree of deterioration.
  • the image processing apparatus 10 uses Gaussian noise, but the type of noise superimposed on the input image is not limited to this.
  • the image processing apparatus may superimpose other types of random noise on the input image.
  • the noise density (standard deviation of Gaussian noise) is set as it is as the noise level, but the method for setting the noise level is not limited to this.
  • the estimation unit may obtain the noise level from the noise density by a predetermined calculation.
  • the processing procedure of the image processing method executed by at least one processor is not limited to the example in the above embodiment. For example, some of the steps (processes) described above may be omitted, or the steps may be executed in a different order. Further, any two or more of the steps described above may be combined, or a part of the steps may be corrected or deleted. Alternatively, other steps may be executed in addition to the above steps.
  • DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus, 11 ... Acquisition part, 12 ... Generation part, 13 ... Calculation part, 14 ... Estimation part, P1 ... Image processing program, P10 ... Main module, P11 ... Acquisition module, P12 ... Generation module, P13 ... Calculation Module, P14 ... estimation module.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一実施形態に係る画像処理装置は取得部、生成部、算出部、および推定部を備える。取得部は入力画像を取得する。生成部は、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する。算出部は、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する。推定部は、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する。

Description

画像処理装置、画像処理方法、および画像処理プログラム
　本発明の一側面は画像処理装置、画像処理方法、および画像処理プログラムに関する。
　ノイズが含まれる画像を処理するためには予めそのノイズ度を推定する必要がある。非特許文献１に記載の手法では、撮影に用いるカメラを実際に測定することで、カメラ特性を考慮したノイズモデルを構築する。
上村健二，伊東ひとみ，津村徳道，中口俊哉，三宅洋一、「単一画像からのノイズ推定手法の評価と改善」、映像情報メディア学会誌、Ｖｏｌ．６３，Ｎｏ．１，ｐｐ．１０１－１０４，２００９．
　非特許文献１の手法では、カメラ特性とノイズ量との関係を事前にモデル化する必要がある。したがって、ノイズモデルやカメラの情報などの事前情報を得てからでないとノイズ度を推定することができない。そこで、事前情報が無くても入力画像のノイズ度を推定することが望まれている。
　本発明の一側面に係る画像処理装置は、入力画像を取得する取得部と、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成部と、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出部と、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定部とを備える。
　本発明の一側面に係る画像処理方法は、プロセッサを備える画像処理装置により実行される画像処理方法であって、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定ステップとを含む。
　本発明の一側面に係る画像処理プログラムは、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定ステップとをコンピュータに実行させる。
　このような側面においては、入力画像に複数のノイズを重畳することで複数の比較画像が得られる。入力画像に元々含まれるノイズよりも密度が低いノイズを該入力画像に重畳しても該入力画像はほとんど劣化しない。一方、入力画像に元々含まれるノイズよりも密度が高いノイズを該入力画像に重畳すると、該入力画像は劣化する。ノイズに関するこのような性質を利用し、入力画像から複数の比較画像を生成して、これらの比較画像を用いて入力画像のノイズ度を推定することで、事前情報が無くても入力画像のノイズ度を推定することができる。
　本発明の一側面によれば、事前情報が無くても入力画像のノイズ度を推定することができる。
実施形態におけるノイズ度の推定の概念を示す図である。 実施形態に係る画像処理装置のハードウェア構成を示す図である。 実施形態に係る画像処理装置の機能構成を示す図である。 実施形態に係る画像処理装置の処理を示すフローチャートである。 比較画像を生成する処理の例を示す図である。 ノイズ度の推定の例について説明するための図である。 ノイズ度の推定の例について説明するための図である。 実施形態に係る画像処理プログラムの構成を示す図である。
　以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
　［概要］
　実施形態に係る画像処理装置１０は、画像のノイズ度を客観的に推定するコンピュータまたはコンピュータシステムである。
　「画像」とは、人の視覚で捉えることができるように対象物を何らかの媒体に定着させた像である。画像は、コンピュータでの処理が可能な、画像を示すデータ（画像データ）を処理することで視認可能となる。具体的には、画像は、メモリなどの記憶装置に記録され、プロセッサの処理によりモニタなどの出力装置に出力されることで、視認可能となる。画像は静止画でもよいし、動画を構成する個々のフレームでもよい。
　「ノイズ」とは、画像に含まれる不要なデータまたはデータの乱れのことをいい、画質を劣化させる要素の一つである。「ノイズ度」とは、画像がどれくらい多くのノイズを含んでいるかを示す指標である。本実施形態では一例として、ランダムノイズの一種であるガウスノイズの標準偏差σによりノイズ度を表すものとする。ガウスノイズは、平均ａおよび標準偏差σを用いてＮ（ａ，σ）と表すことができる。
　図１は、本実施形態におけるノイズ度の推定の概念を示す図である。この例では、画像処理装置１０が、実際のノイズ度が１０（これはガウスノイズＮ（０，１０）に相当する）である入力画像２１のノイズ度を推定するものとする。まず、画像処理装置１０はその入力画像２１に、互いに密度が異なる複数のノイズを重畳することで複数の比較画像を生成する。ノイズの「密度」とはノイズの量または強さを示す指標である。密度が高いほど、ノイズは強くなり画像上でよりはっきりと現れる。本実施形態では、画像処理装置１０はランダムノイズ（画像の全体にわたって不規則に現れるノイズ）を入力画像２１に重畳する。より具体的には、画像処理装置１０は、ランダムノイズの一種であるガウスノイズを入力画像２１に重畳する。本実施形態では、ランダムノイズの密度を単に「ノイズ密度」ともいう。ガウスノイズではノイズ密度は標準偏差σで示され、したがって、標準偏差σが高いほどノイズ密度は高くなる。
　図１の例では、画像処理装置１０は入力画像２１にガウスノイズＮ（０，２）を重畳することで比較画像２２を生成する。また、画像処理装置１０は入力画像２１にガウスノイズＮ（０，１０）を重畳することで比較画像２３を生成し、入力画像２１にガウスノイズＮ（０，１８）を重畳することで比較画像２４を生成する。画像処理装置１０はノイズ密度をさらに変えながら（例えば、標準偏差を２６，３４…と変えながら）比較画像を生成する。なお、図１では、それぞれのガウスノイズを点の集まりで模式的に表している。
　鮮明であるべき画像にノイズが含まれている場合、画質は当初から低下している。画質とは画像の見た目の質であり、解像度、階調、コントラストなどの様々な要因で決まる。ノイズの有無もその要因の一つであり、ノイズを含むと画質が低下する。重畳されるノイズ密度が、原画像が元々抱えているノイズ密度以下であれば、ランダムノイズを重畳しても画質は実質的には低下しない。すなわち、この場合には比較画像の画質は原画像と同じか、または略同じといえる。一方、重畳されるノイズ密度が、原画像が元々抱えているノイズ密度より大きいと、比較画像の画質は原画像よりも低下する。
　図１の例では、入力画像２１のノイズ度が、ガウスノイズＮ（０，１０）に相当する１０であるとする。すなわち、仮に、ノイズを含まない画像にガウスノイズＮ（０，１０）を重畳すると入力画像２１が得られるものとする。この場合、ガウスノイズＮ（０，２）を重畳することで得られる比較画像２２のノイズ度も１０である。また、ガウスノイズＮ（０，１０）の重畳により得られる比較画像２３のノイズ度も１０である。しかし、ガウスノイズＮ（０，１８）は、入力画像２１が元々抱えるガウスノイズＮ（０，１０）よりも密度が高いので、ガウスノイズＮ（０，１８）により得られる比較画像２４のノイズ度は、１０より大きくなる（例えば、そのノイズ度は１８になる）。ガウスノイズの標準偏差をさらに高くした場合にも、比較画像のノイズ度は１０よりも大きい。したがって、入力画像２１のノイズ度は１０か、または１０から１８の間であると推定できる。
　このように、画像処理装置１０は、原画像に対して複数のノイズを重畳することで複数の比較画像を生成し、これらの比較画像の画質の低下の度合いを判定することで、原画像のノイズ度を推定する。
　［装置の構成］
　図２は画像処理装置１０の一般的なハードウェア構成を示す。画像処理装置１０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するプロセッサ１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードまたは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、モニタなどの出力装置１０６とを備える。
　画像処理装置１０の各機能要素は、プロセッサ１０１または主記憶部１０２の上に所定のソフトウェア（例えば、後述する画像処理プログラムＰ１）を読み込ませてそのソフトウェアを実行させることで実現される。プロセッサ１０１はそのソフトウェアに従って、通信制御部１０４、入力装置１０５、または出力装置１０６を動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行う。処理に必要なデータまたはデータベースは主記憶部１０２または補助記憶部１０３内に格納される。
　画像処理装置１０は１台のコンピュータで構成されてもよいし、複数台のコンピュータで構成されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータがインターネットやイントラネットなどの通信ネットワークを介して接続されることで、論理的に一つの画像処理装置１０が構築される。
　図３は画像処理装置１０の機能構成を示す。本実施形態では、画像処理装置１０は機能的構成要素として取得部１１、生成部１２、算出部１３、および推定部１４を備える。
　取得部１１は、入力画像を取得する機能要素である。入力画像とは、ノイズ度を推定する対象として処理される画像である。入力画像は原画像と言い換えることもできる。
　生成部１２は、取得された入力画像のノイズ度を推定するために用いる複数の比較画像を生成する機能要素である。生成部１２は入力画像の少なくとも一部を対象領域として設定し、その対象領域にランダムノイズを重畳することで比較画像を得る。比較画像は、入力画像の画質を意図的に劣化させることで得られる画像であるといえる。ただし、図１を参照しながら説明したように、比較画像に含まれるノイズの程度が入力画像と同じかまたは略同じこともあり得る。「対象領域」とは、連続して並ぶ画素から成る範囲である。対象領域は入力画像の一部のみであってもよいし入力画像の全体であってもよい。
　算出部１３は、生成部１２により得られた複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する機能要素である。したがって、算出部１３は一つの入力画像に対して複数の劣化度を得る。「劣化度」とは、ランダムノイズによる影響により比較画像の画質が入力画像の画質よりどれくらい低いかを示す指標である。算出部１３は、算出した複数の劣化度を推定部１４に出力する。
　推定部１４は、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する機能要素である。
　［装置の動作］
　次に、図４～図７を参照しながら、画像処理装置１０の動作を説明するとともに本実施形態に係る画像処理方法について説明する。
　図４は、画像処理装置１０の処理を示すフローチャートである。まず、取得部１１が一つの入力画像を取得する（ステップＳ１１、取得ステップ）。入力画像の取得方法は限定されない。例えば、取得部１１は任意の画像を記憶する画像データベースにアクセスして入力画像を読み出してもよい。なお、画像データベースは画像処理装置１０とは別の装置であってもよいし、画像処理装置１０の一部であってもよい。あるいは、取得部１１は画像処理装置１０のユーザにより入力または指定された入力画像を取得してもよい。あるいは、取得部１１は他のコンピュータから入力画像を受信してもよい。
　続いて、取得部１１はその入力画像をグレースケール画像に変換する（ステップＳ１２）。グレースケール画像は、ピクセル値に光度以外の情報が含まれていない画像である。入力画像に重畳されるガウスノイズは色情報を持たないので、そのガウスノイズに合わせて入力画像をグレースケール画像に変換することで、ノイズ度をより正確に求めることができる。
　続いて、生成部１２が入力画像から複数の比較画像を生成する（ステップＳ１３、生成ステップ）。生成部１２は一つの比較画像を次のように生成する。生成部１２は、グレースケールに変換された入力画像を複製することで、比較画像を生成するための入力画像（以下ではこれも単に「入力画像」という。）を得る。続いて、生成部１２はその入力画像の少なくとも一部を対象領域として設定し、その対象領域の画質を低下させることで比較画像を得る。生成部１２は、対象領域にガウスノイズを重畳することで比較画像を得る。
　図５は比較画像を生成する処理の例を示す図である。この例では、生成部１２は４（ピクセル）×４（ピクセル）の対象領域３１に、正規分布３２で示されるガウスノイズ３３を重畳することで、比較画像の少なくとも一部を構成する対象領域３４を生成する。この処理により対象領域３１内の少なくとも一部の光度が変化するので、対象領域３４ではノイズが生じる。図５では、ノイズの重畳により光度が変化した画素をハッチングで示している。
　生成部１２はガウスノイズの標準偏差を変えながら複数の比較画像を生成する。これは、ランダムノイズの密度（強さ）が互いに異なる複数の比較画像が生成されることを意味する。ガウスノイズの標準偏差の設定および比較画像の個数はいずれも限定されない。例えば、生成部１２は標準偏差を２，１０，１８，２６…と変えながら複数の比較画像を生成してもよいし、標準偏差を２，６，１０，１４…と変えながら複数の比較画像を生成してもよい。
　続いて、算出部１３が、入力画像に対する各比較画像の劣化度を算出する（ステップＳ１４、算出ステップ）。本実施形態では、算出部１３は構造的類似性（ＳＳＩＭ：ｓｔｒｕｃｔｕｒａｌ　ｓｉｍｉｌａｒｉｔｙ）を劣化度として用いる。ＳＳＩＭとは、輝度平均の差と、画素値の標準偏差の差と、画素間の共分散との積により、２画像間の類似度を評価する手法および指標である。一般にＳＳＩＭは、人間の主観的判断に近い指標と言われている。２画像間のＳＳＩＭは０から１の間の値になり、値が高いほど２画像が互いに似ているということができる。
　二つの画像ｘ，ｙにおけるＳＳＩＭをＳＳＩＭ（ｘ，ｙ）と表すとすると、このＳＳＩＭ（ｘ，ｙ）は下記の式（１）で得られる。
Figure JPOXMLDOC01-appb-M000001
 この式の各変数の意味は次の通りである。
・μｘ：画像ｘの平均画素値
・μｙ：画像ｙの平均画素値
・σｘ：画像ｘの画素値の標準偏差
・σｙ：画像ｙの画素値の標準偏差
・σｘｙ：画像ｘ，ｙの共分散
・ｃ１＝（ｋ１Ｌ）２，ｃ２＝（ｋ２Ｌ）２：分母の値が非常に小さくなった場合でも評価値を安定させるための定数。Ｌは画素値のダイナミックレンジである（８ビット画像では２５５）。ｋ１，ｋ２は任意に設定できる値であり、その初期値は一般にｋ１＝０．０１，ｋ２＝０．０３と設定される。
　算出部１３は入力画像（画像ｘ）と比較画像（画像ｙ）との間のＳＳＩＭを求める。図１の例では、算出部１３は少なくとも、入力画像２１および比較画像２２から得られるＳＳＩＭ１と、入力画像２１および比較画像２３から得られるＳＳＩＭ２と、入力画像２１および比較画像２４から得られるＳＳＩＭ３とを求める。
　続いて、推定部１４が複数の劣化度（本実施形態ではＳＳＩＭ）に基づいて入力画像のノイズ度を推定する（ステップＳ１５、推定ステップ）。より具体的には、推定部１４はノイズ密度と劣化度との関係を求め、その関係に基づいてノイズ度を推定する。本実施形態ではノイズ密度（ガウスノイズの標準偏差σ）をそのままノイズ度とする。ノイズ度の推定手法は限定されない。
　例えば、推定部１４は複数のＳＳＩＭを閾値と比較することでノイズ度を推定してもよい。具体的には、推定部１４はノイズ密度（ガウスノイズの標準偏差）とＳＳＩＭとの関係を求め、ＳＳＩＭが閾値であるときのノイズ密度をノイズ度として推定してもよい。推定部１４は、ノイズ密度とＳＳＩＭとの関係を示す関数を最小二乗法や線形補間などにより求めることで、ＳＳＩＭが閾値であるときのノイズ密度を特定することができる。閾値は入力画像に応じて変更されてもよい。
　あるいは、推定部１４はノイズ密度（ガウスノイズの標準偏差）とＳＳＩＭとの関係を非線形関数で近似し、その非線形関数の最高次係数（より具体的には、非線形関数を定義する多項式の最高次係数）に基づいてノイズ度を推定してもよい。非線形関数は限定されず、例えば２次関数または３次関数でもよいし、より高次の関数であってもよい。非線形関数による近似の方法も限定されないが、例えば最小二乗法が用いられてもよい。非線形関数を得る際に、推定部１４はＳＳＩＭを正規化する。この正規化は、ＳＳＩＭの水準を画像間で統一させるための処理である。
　被写体が相異なる複数の画像の間でノイズ度が同じかまたは近似する場合に、各画像のノイズ密度（ガウスノイズの標準偏差）とＳＳＩＭとの関係をグラフで示すと、個々のグラフの曲がり具合（曲率）は概ね似た値を示す。一方、画像が同じであってもノイズ度が異なると、ノイズ密度とＳＳＩＭとの関係も変わる。
　図６は、ある一つの画像に対して５種類のノイズ度（２、６，１０，１４、および１８）を適用した上で、それぞれのノイズ度についてノイズ密度（ガウスノイズの標準偏差）とＳＳＩＭとの関係をプロットすることで得られたグラフである。このように、画像が同じであってもノイズ度が異なると、グラフの曲がり具合が変化する。原画像のノイズ度が小さい場合には、密度が小さいランダムノイズを重畳したときから画質が低下し始める（ＳＳＩＭが下がり始める）。一方、原画像のノイズ度が大きい場合には、密度が小さいランダムノイズを重畳しても画質はあまり低下しない（ＳＳＩＭはあまり下がらない）。したがって、ノイズ密度の増加に伴うＳＳＩＭの減少の程度を見ることでノイズ度を推定することができる。ＳＳＩＭの減少を示すグラフの曲がり具合は非線形関数の最高次係数に大きく依存するので、その最高次係数を用いることで、様々な画像のノイズ度を統一された基準で推定することができる。図６におけるそれぞれのグラフを２次関数「ｙ＝ａｘ２＋ｂｘ＋ｃ」で近似したならば、推定部１４は係数ａを用いてノイズ度を推定する。
　図７は、５種類の画像Ａ～Ｅについての、ノイズ度と２次関数（ノイズ密度とＳＳＩＭとの関係を示す非線形関数）の最高次係数との対応の例を示すグラフである。グラフの横軸はノイズ度に対応し、グラフの縦軸は２次関数の最高次係数を示す。それぞれの２次関数は、ノイズ密度（ガウスノイズの標準偏差）を１，２，３，４…と変えながらＳＳＩＭを算出し、それぞれのＳＳＩＭを正規化することで得られた、ノイズ密度とＳＳＩＭとの関係を近似するものである。
　図７から分かるように、正規化されたＳＳＩＭから得られる２次関数（非線形関数）の最高次係数は、画像の種類にかかわらずノイズ度に応じて一定の範囲を取る。したがって、最高次係数とノイズ度との対応関係を予め設定した上で、得られた最高次係数がどのノイズ度に対応するかを判定することで、画像のノイズ度を決定することができる。ここで、対応関係の表現方法は限定されず、例えば表（対応表）で表現されてもよい。画像処理装置１０（例えば推定部１４）はその対応関係を予め保持している。図７の例では、最高次係数がＴａ以上であればノイズ度は２であり、最高次係数がＴｂ以上Ｔａ未満であればノイズ度は６であり、最高次係数がＴｃ以上Ｔｂ未満であればノイズ度は１０であり、最高次係数がＴｃ未満であればノイズ度は１４である。
　推定部１４は推定したノイズ度を出力する（ステップＳ１６）。ノイズ度の出力方法は限定されない。例えば、推定部１４はノイズ度を、所定のデータベースに格納してもよいし、他のコンピュータに送信してもよいし、モニタ上に表示してもよい。推定部１４はノイズ度および入力画像のセットを出力してもよい。
　画像処理装置１０が複数の入力画像を処理する場合には、ステップＳ１１～Ｓ１６の処理が繰り返し実行される。
　推定されたノイズ度の利用方法は限定されない。例えば、入力画像のノイズ除去のためにそのノイズ度が用いられてもよい。推定されたノイズ度に基づいて入力画像からノイズを除去することで、入力画像の画質を上げることができる。また、ノイズが除去された画像に対して超解像などの更なる画像処理を実行することで、ノイズに邪魔されることなく所望の画像を得ることができる。推定されたノイズ度を用いる更なる処理は画像処理装置１０により実行されてもよいし、他の情報処理装置により実行されてもよい。
　［プログラム］
　次に、図８を参照しながら、コンピュータを画像処理装置１０として機能させるための画像処理プログラムＰ１を説明する。図８は画像処理プログラムＰ１の構成を示す図である。
　画像処理プログラムＰ１はメインモジュールＰ１０、取得モジュールＰ１１、生成モジュールＰ１２、算出モジュールＰ１３、および推定モジュールＰ１４を含む。メインモジュールＰ１０は、ノイズ度の推定を統括的に管理する部分である。取得モジュールＰ１１、生成モジュールＰ１２、算出モジュールＰ１３、および推定モジュールＰ１４を実行することで、取得部１１、生成部１２、算出部１３、および推定部１４が実現する。
　画像処理プログラムＰ１は、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、画像処理プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。
　［効果］
　以上説明したように、本発明の一側面に係る画像処理装置は、入力画像を取得する取得部と、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成部と、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出部と、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定部とを備える。
　本発明の一側面に係る画像処理方法は、プロセッサを備える画像処理装置により実行される画像処理方法であって、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定ステップとを含む。
　本発明の一側面に係る画像処理プログラムは、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定ステップとをコンピュータに実行させる。
　このような側面においては、入力画像に複数のノイズを重畳することで複数の比較画像が得られる。入力画像に元々含まれるノイズよりも密度が低いノイズを該入力画像に重畳しても該入力画像はほとんど劣化しない。一方、入力画像に元々含まれるノイズよりも密度が高いノイズを該入力画像に重畳すると、該入力画像は劣化する。ノイズに関するこのような性質を利用し、入力画像から複数の比較画像を生成して、これらの比較画像を用いて入力画像のノイズ度を推定することで、事前情報が無くても入力画像の絶対的な（または本質的な）ノイズ度を推定することができる。対象領域が入力画像の全体である場合には、画像の局所的なノイズ度ではなく、画像全体にわたるノイズ度を求めることができる。
　他の側面に係る画像処理装置では、劣化度が構造的類似性であってもよい。ＳＳＩＭは輝度値、コントラスト、および構造のそれぞれに関する変化に基づく指標であるから、入力画像にノイズを重畳することで得られる比較画像を用いたノイズ度の推定に適しているといえる。したがって、ＳＳＩＭを用いることで入力画像のノイズ度を正確に推定することができる。
　他の側面に係る画像処理装置では、推定部が、複数の劣化度を閾値と比較することでノイズ度を推定してもよい。閾値を用いることで、ノイズ度を簡単な処理でかつ高速に推定することができる。
　他の側面に係る画像処理装置では、推定部が、推定部が、密度と劣化度との関係を示す非線形関数の最高次係数に基づいてノイズ度を推定してもよい。その非線形関数を示すグラフの曲がり具合は、画像の被写体に関係なくノイズ度に応じて変わる傾向があり、その曲がり具合は、非線形関数の最高次係数に大きく依存する。したがって、その最高次係数に基づいてノイズ度を正確に判定することができる。
　他の側面に係る画像処理装置では、最高次係数とノイズ度との対応関係が予め設定されており、推定部が、複数の密度および複数の劣化度から非線形関数の最高次係数を算出し、対応関係を参照することで、算出した最高次係数に対応するノイズ度を決定してもよい。予め用意された対応関係を用いることで、最高次係数からノイズ度を簡単に得ることができる。
　［変形例］
　以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
　上記実施形態では画像処理装置１０が劣化度としてＳＳＩＭを用いるが、他の指標が劣化度として用いられてもよい。
　上記実施形態では画像処理装置１０はガウスノイズを用いたが、入力画像に重畳されるノイズの種類はこれに限定されない。例えば、画像処理装置は他の種類のランダムノイズを入力画像に重畳してもよい。
　上記実施形態ではノイズ密度（ガウスノイズの標準偏差）をそのままノイズ度として設定するが、ノイズ度の設定方法はこれに限定されない。例えば、推定部は、予め定められた演算によりノイズ密度からノイズ度を求めてもよい。
　少なくとも一つのプロセッサにより実行される画像処理方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ（処理）の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。
　１０…画像処理装置、１１…取得部、１２…生成部、１３…算出部、１４…推定部、Ｐ１…画像処理プログラム、Ｐ１０…メインモジュール、Ｐ１１…取得モジュール、Ｐ１２…生成モジュール、Ｐ１３…算出モジュール、Ｐ１４…推定モジュール。

Claims (7)

  1. 　入力画像を取得する取得部と、
    　前記入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成部と、
    　前記複数の比較画像のそれぞれについて、前記入力画像に対する該比較画像の劣化度を算出する算出部と、
    　算出された複数の劣化度に基づいて前記入力画像のノイズ度を推定する推定部と
    を備える画像処理装置。
  2. 　前記劣化度が構造的類似性である、
    請求項１に記載の画像処理装置。
  3. 　前記推定部が、前記複数の劣化度を閾値と比較することで前記ノイズ度を推定する、
    請求項１または２に記載の画像処理装置。
  4. 　前記推定部が、前記密度と前記劣化度との関係を示す非線形関数の最高次係数に基づいてノイズ度を推定する、
    請求項１または２に記載の画像処理装置。
  5. 　前記最高次係数と前記ノイズ度との対応関係が予め設定されており、
    　前記推定部が、複数の前記密度および前記複数の劣化度から前記非線形関数の最高次係数を算出し、前記対応関係を参照することで、前記算出した最高次係数に対応する前記ノイズ度を決定する、
    請求項４に記載の画像処理装置。
  6. 　プロセッサを備える画像処理装置により実行される画像処理方法であって、
    　入力画像を取得する取得ステップと、
    　前記入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、
    　前記複数の比較画像のそれぞれについて、前記入力画像に対する該比較画像の劣化度を算出する算出ステップと、
    　算出された複数の劣化度に基づいて前記入力画像のノイズ度を推定する推定ステップと
    を含む画像処理方法。
  7. 　入力画像を取得する取得ステップと、
    　前記入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、
    　前記複数の比較画像のそれぞれについて、前記入力画像に対する該比較画像の劣化度を算出する算出ステップと、
    　算出された複数の劣化度に基づいて前記入力画像のノイズ度を推定する推定ステップと
    をコンピュータに実行させる画像処理プログラム。
PCT/JP2017/020845 2017-06-05 2017-06-05 画像処理装置、画像処理方法、および画像処理プログラム WO2018225134A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/470,309 US11798134B2 (en) 2017-06-05 2017-06-05 Image processing device, image processing method, and image processing program
PCT/JP2017/020845 WO2018225134A1 (ja) 2017-06-05 2017-06-05 画像処理装置、画像処理方法、および画像処理プログラム
JP2019523226A JP6564158B2 (ja) 2017-06-05 2017-06-05 画像処理装置、画像処理方法、および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020845 WO2018225134A1 (ja) 2017-06-05 2017-06-05 画像処理装置、画像処理方法、および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2018225134A1 true WO2018225134A1 (ja) 2018-12-13

Family

ID=64566044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020845 WO2018225134A1 (ja) 2017-06-05 2017-06-05 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
US (1) US11798134B2 (ja)
JP (1) JP6564158B2 (ja)
WO (1) WO2018225134A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105375B (zh) * 2019-12-17 2023-08-22 北京金山云网络技术有限公司 图像生成方法及其模型训练方法、装置及电子设备
US11735144B2 (en) * 2020-01-06 2023-08-22 Samsung Electronics Co., Ltd. Image display apparatus and image displaying method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2445982A (en) * 2007-01-24 2008-07-30 Sharp Kk Image data processing method and apparatus for a multiview display device
JP5672527B2 (ja) * 2010-09-01 2015-02-18 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
EP3071101B1 (en) * 2013-11-18 2019-07-24 Regents of the University of Minnesota System and method for temporal sparse promoting imaging of cardiac activation
JP2015122619A (ja) * 2013-12-24 2015-07-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US9591240B1 (en) * 2014-12-01 2017-03-07 The Florida State University Research Foundation, Inc. System and method for generating a dataset for real noise reduction evaluation
EP3166072A1 (en) * 2015-11-06 2017-05-10 Thomson Licensing Method for denoising an image and apparatus for denoising an image
US10043243B2 (en) * 2016-01-22 2018-08-07 Siemens Healthcare Gmbh Deep unfolding algorithm for efficient image denoising under varying noise conditions
WO2017182952A1 (en) * 2016-04-18 2017-10-26 King Abdullah University Of Science And Technology System and method for free-boundary surface extraction
US10572978B2 (en) * 2016-12-05 2020-02-25 Kennesaw State University Research And Service Foundation, Inc. Moran's / for impulse noise detection and removal in color images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SATOSHI KAWATA ET AL.: "Image Denoising Technology Using Sparsity Distillation", TOSHIBA REVIEW, vol. 70, no. 11, 1 November 2015 (2015-11-01), pages 30 - 41 *

Also Published As

Publication number Publication date
JPWO2018225134A1 (ja) 2019-08-08
US20190333191A1 (en) 2019-10-31
US11798134B2 (en) 2023-10-24
JP6564158B2 (ja) 2019-08-21

Similar Documents

Publication Publication Date Title
Wang et al. Biologically inspired image enhancement based on Retinex
EP2942776B1 (en) System and method for enhancing displayed images
US20180053289A1 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
EP3637363B1 (en) Image processing device, image processing method and image processing program
JP2020160616A (ja) 生成装置、コンピュータプログラム、生成方法
JP2020191046A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101874738B1 (ko) 영상처리를 이용하여 ldr 영상으로부터 hdr 영상을 생성하는 장치 및 방법
US20200118250A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN107644409A (zh) 图像增强方法、显示装置及计算机可读存储介质
JP6564158B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2015226228A (ja) 画像処理装置及びプログラム
JPWO2016051716A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
KR101389932B1 (ko) 이미지 톤 매핑 장치 및 방법
JP5617841B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
Cyriac et al. A tone mapping operator based on neural and psychophysical models of visual perception
CN110689486A (zh) 图像的处理方法、装置、设备及计算机可存储介质
JP7409606B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2023215371A1 (en) System and method for perceptually optimized image denoising and restoration
JP2020181402A (ja) 画像処理装置、画像処理方法、およびプログラム
Pal et al. Visibility enhancement of fog degraded images using adaptive defogging function
Ghous et al. Efficient image enhancement using improved RIQMC based ROHIM model
Cyriac et al. Perceptual dynamic range for in-camera image processing.
Liu et al. Lightness modulated deep inverse tone mapping
JP6164024B2 (ja) 画像処理装置及びプログラム
JP2015075793A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17912749

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019523226

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17912749

Country of ref document: EP

Kind code of ref document: A1