WO2015037189A1 - ノイズ除去装置、方法およびプログラム - Google Patents

ノイズ除去装置、方法およびプログラム Download PDF

Info

Publication number
WO2015037189A1
WO2015037189A1 PCT/JP2014/004265 JP2014004265W WO2015037189A1 WO 2015037189 A1 WO2015037189 A1 WO 2015037189A1 JP 2014004265 W JP2014004265 W JP 2014004265W WO 2015037189 A1 WO2015037189 A1 WO 2015037189A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
decomposition
component
low
Prior art date
Application number
PCT/JP2014/004265
Other languages
English (en)
French (fr)
Inventor
啓 門田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201480050517.XA priority Critical patent/CN105593898B/zh
Priority to JP2015536437A priority patent/JP6350532B2/ja
Priority to US14/912,992 priority patent/US9972072B2/en
Publication of WO2015037189A1 publication Critical patent/WO2015037189A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Definitions

  • the present invention relates to a noise removal apparatus, method, and program.
  • a system for photographing the ground from a satellite or an aircraft has been used.
  • it is widely performed to simultaneously capture both a high-resolution panchromatic image and a multi-spectral image having a lower resolution than the panchromatic image for the same subject.
  • imaging is performed for all visible and near infrared wavelengths
  • the multispectral sensor imaging is performed only for specific wavelengths such as blue and red.
  • an image of a specific color can be obtained, but the amount of light per unit area received by the sensor is smaller than that of a panchromatic sensor.
  • the noise component increases with respect to the signal component, and a good quality image cannot be obtained.
  • pan-sharpening processing is performed to create a high-resolution color image by combining both images.
  • each pixel component of a multispectral image is decomposed into a luminance component, a hue component, and a saturation component, and the luminance component is replaced with a component of a high-resolution panchromatic image.
  • a color image is created.
  • removal of noise contained in an image is a general problem, not limited to high-resolution color images created by pan-sharpening processing, and such noise removal is performed by image processing.
  • a method related to noise removal by image processing is described in Patent Document 1.
  • Patent Document 1 The method described in Patent Document 1 is as follows.
  • An image processing method for removing noise contained in an image has an image input procedure for inputting an original image composed of a plurality of pixels.
  • the input original image is decomposed, a multi-resolution image generation procedure for sequentially generating a plurality of low-frequency images having a low resolution, a plurality of high-frequency images having a sequentially low resolution, a low-frequency image, A noise removal processing procedure for performing noise removal processing on each of the high-frequency images.
  • an image acquisition procedure for obtaining an image from which noise has been removed from the original image based on the results of both the low-frequency image from which noise has been removed and the high-frequency image from which noise has been removed is provided.
  • the original signal of an image may be damaged due to noise removal performed on one image.
  • a general noise removal method including the method described in Patent Document 1, the nature of noise is preliminarily assumed, and noise components are estimated based on the noise property to remove noise.
  • the component of the original signal of the image may be determined as noise and removed. After such noise removal has been applied to each of the panchromatic and multispectral images, the original signal components may be lost even in images created by pan-sharpening based on those images. Is concerned.
  • noise removal is performed in noise removal of an image created by pan-sharpening processing or the like based on a plurality of images having different resolutions that are simultaneously imaged from the same photographing target. Due to the nature of the method, there is a problem that the original signal component of the image is impaired.
  • An object of the present invention is to provide a noise removal apparatus, method, and program for solving this problem.
  • the noise removal apparatus multiplexes an input first image having a predetermined resolution onto a component having a predetermined first resolution lower than the predetermined resolution of the input second image obtained by simultaneously imaging the same subject as the first image.
  • image reconstruction means for reconstructing and outputting the first image.
  • the noise removal method of the present invention multiplexes an input first image having a predetermined resolution onto a component having a predetermined first resolution that is lower than the predetermined resolution of the input second image obtained by simultaneously imaging the same subject as the first image. Resolving resolution, correcting at least one decomposition component created by the decomposition using the second image, replacing the decomposition component with a decomposition component created by the correction, and reconstructing the first image; It is characterized by outputting.
  • the original signal component of an image can be lost in noise removal of an image created by pan-sharpening processing or the like based on a plurality of images with different resolutions simultaneously captured from the same subject. Can be reduced.
  • FIG. 1 shows an example of the configuration of a noise removal apparatus according to this embodiment.
  • the noise removal apparatus 10 includes a high resolution image input unit 11, a low resolution image input unit 12, a multiresolution decomposition unit 13, a low resolution component correction unit 14, a reconstruction unit 15, and an image output unit 16.
  • the high resolution image input unit 11 outputs the input high resolution image.
  • the low resolution image input unit 12 outputs the input low resolution image.
  • the multi-resolution decomposition unit 13 performs multi-resolution decomposition that decomposes an input high-resolution image into low-resolution components.
  • the low resolution component correction unit 14 corrects the low resolution component created by decomposing the high resolution image using the input low resolution image.
  • the reconstruction unit 15 reconstructs a high-resolution image by replacing the corrected low-resolution component with the corrected low-resolution component.
  • the image output unit 16 outputs a reconstructed high resolution image.
  • the high resolution image input unit 11 receives a high resolution image to be imaged
  • the low resolution image input unit 12 receives the same low resolution image as the high resolution image.
  • the multi-resolution decomposition unit 13 multi-resolution decomposes the high-resolution image output from the high-resolution image input unit 11 into low-resolution components. At this time, the image is decomposed to a resolution corresponding to the input low-resolution image.
  • the low resolution component correction unit 14 corrects a low resolution component (corresponding to an LL component, which will be described later) created by decomposing a high resolution image by the multiresolution decomposition unit 13 using the low resolution image output from the low resolution image input unit 12. To do.
  • the reconstruction unit 15 replaces the low resolution component corrected by the low resolution component correction unit 14 in the multi-resolution decomposition unit 13 with the low resolution component corrected by the low resolution component correction unit 14 to reconstruct a high resolution image. To do.
  • the image output unit 16 outputs the high resolution image reconstructed by the reconstruction unit 15.
  • the high resolution image input unit 11 uses a high resolution CCD (Charge Coupled Device) camera
  • the low resolution image input unit 12 uses a quarter resolution of the high resolution CCD camera (the length of one side of the target).
  • Each image is input from a low-resolution CCD camera having one-fourth the number of pixels per pixel.
  • the multi-resolution decomposition unit 13 performs multi-resolution decomposition by wavelet conversion.
  • (1) is an input high resolution image
  • (2) is a processed image.
  • the input high resolution image is decomposed into four components.
  • the upper left LL component is the average component in the vertical and horizontal directions
  • the upper right HL component is the difference from the average in the vertical direction
  • the lower left LH component is the difference from the average in the horizontal direction
  • the lower right HH component is the difference from the average in the vertical and horizontal direction.
  • the average component is a scaling coefficient
  • the difference from the average is expressed by a wavelet coefficient. Note that the size of one pixel is the same in (1) and (2), and the length of one side of each component in (2) is half that of the input high-resolution image.
  • (3) is an LL component in the previous processing
  • (4) is an image that has been processed and decomposed into four components.
  • the upper left LLLL component is the average component in the vertical and horizontal directions
  • the upper right LLHL component is the difference from the average in the vertical direction
  • the lower left LLLH component is the difference from the average in the horizontal direction
  • the lower right HHHH component is the difference from the average in the vertical and horizontal direction. It is.
  • the result is (5). Note that the size of one pixel is the same in (3), (4), and (5), and the length of one side of each component in (4) is 1/4 of the input high-resolution image. It has become.
  • the correction in the low resolution component correction unit 14 will be described with reference to FIG.
  • the low resolution component correction unit 14 corrects the low resolution component (LLLL component having the same resolution as that of the low resolution image) created by the high resolution image being decomposed by the multi-resolution decomposition unit 13.
  • the low resolution component an average of the low resolution component and the low resolution image is used as the corrected low resolution component.
  • Noise has a property of being randomly generated, and there is no correlation between noises included in the low resolution component and the low resolution image. Therefore, the noise component is reduced by averaging the corresponding pixels of the low resolution component and the low resolution image.
  • the original signal of the image is included in both the low resolution component and the low resolution image, so that even if averaged, it is not reduced. Thus, only the noise component is reduced by this correction. In this correction, alignment processing is performed between the low resolution image and the high resolution image.
  • the reconstruction unit 15 performs a reverse process of multi-resolution decomposition on the basis of the low resolution component created by decomposing and correcting the high resolution image, thereby reconstructing the high resolution image.
  • the reconstructed high-resolution image is an image with reduced noise compared to the input high-resolution image.
  • the alignment process is performed between the low-resolution image and the high-resolution image, so that the high-resolution image is properly reconstructed.
  • the resolution of the low-resolution image is set to 1/4 of that of the high-resolution image
  • the resolution ratio is not limited to this as long as it is less than 1/10.
  • the multiresolution decomposition method is Wavelet transform
  • the resolution is halved by one decomposition, so it is desirable that the resolution ratio be the reciprocal of a power of 2.
  • the method of multi-resolution decomposition may be other than Wavelet transform, and the resolution ratio may be a reciprocal of a natural number if possible in other methods.
  • the image may be interpolated.
  • the high resolution CCD camera may be replaced with a panchromatic sensor
  • the low resolution CCD camera may be replaced with a multispectral sensor.
  • an average of the images of a plurality of bands of the multispectral sensor may be used as the low resolution image.
  • images are taken in a plurality of wavelength bands. For example, when a multispectral sensor is composed of four bands of blue, green, red, and near infrared, and a panchromatic sensor captures an image in the visible wavelength range from blue to red, the multispectral sensor blue, green, A low resolution image may be obtained by averaging three red band images.
  • the one having the best SN (Signal-to-Noise Ratio) characteristic may be set as the low resolution image, or the average of the plurality of images corresponding to the SN characteristic is set to the low resolution. It may be an image. If there is a positional shift between the images of the multispectral sensor, edges and contours may be blurred when a large number of images are averaged. Therefore, a low resolution image may be obtained by selecting and averaging several images with good SN characteristics to balance the effect of noise removal and the possibility of blurring of edges and contours.
  • the average of the low resolution component and the low resolution image is used as the corrected low resolution component, but the average may be a weighted average or the like.
  • the low resolution image may be used as a corrected low resolution component with less noise.
  • the correction method is not limited to those described above, and any correction method may be used as long as the difference in noise between the low resolution image and the high resolution image is used.
  • the original signal component may be lost in noise removal of images created by pan-sharpening processing, etc., based on a plurality of images with different resolutions that are captured simultaneously from the same subject. Can be reduced.
  • the present embodiment is different from the first embodiment in that it includes a low-resolution image multi-resolution decomposition unit 27 and the operations of the multi-resolution decomposition unit and the low-resolution component correction unit.
  • a low-resolution image multi-resolution decomposition unit 27 and the operations of the multi-resolution decomposition unit and the low-resolution component correction unit.
  • different parts will be mainly described.
  • the low resolution image multi-resolution decomposition unit 27 multi-resolution decomposes the input low resolution image into low resolution components.
  • the multi-resolution decomposition unit 23 multi-resolution decomposes the input high-resolution image up to the resolution of the low-resolution component created by decomposing the low-resolution image.
  • the low resolution component correction unit 24 corrects the low resolution component created by decomposing the high resolution image using the low resolution component created by decomposing the low resolution image.
  • the correction in the low resolution component correction unit 24 will be described with reference to FIG. Assume that the resolution of the low-resolution image is half that of the high-resolution image, and the multi-resolution decomposition is performed for each of the low-resolution image and the high-resolution image up to half the resolution of the low-resolution image.
  • the low resolution image is decomposed into LL, HL, LH, and HH components, and the LL component created by decomposing the high resolution image is decomposed into LLLL, LLHL, LLLH, and LLHH components.
  • the low resolution component correction unit 24 corrects the LLLL, LLHL, LLLH, and LLHH components of the high resolution image with the LL, HL, LH, and HH components of the low resolution image, respectively. Regarding the correction, an average of the decomposition component of the high resolution image and the decomposition component of the low resolution image is used as the corrected decomposition component.
  • the resolution of the low-resolution image is half that of the high-resolution image
  • the resolution ratio is not limited to this as long as it is less than one-tenth.
  • the multiresolution decomposition method is Wavelet transform
  • the resolution is halved by one decomposition, so it is desirable that the resolution ratio be the reciprocal of a power of 2.
  • the method of multi-resolution decomposition may be other than Wavelet transform, and the resolution ratio may be a reciprocal of a natural number if possible in other methods.
  • the image may be interpolated.
  • a high-resolution CCD camera and a low-resolution CCD camera, or a panchromatic sensor and a multispectral sensor may be used for image input.
  • a multispectral sensor an average of the images of a plurality of bands of the multispectral sensor may be used as a low resolution image.
  • an image having the best SN characteristic may be a low resolution image, and an average of a plurality of images corresponding to the SN characteristic may be a low resolution image.
  • the average of the decomposition components of the high-resolution image and the low-resolution image is used as the corrected decomposition component, but the average may be a weighted average or the high-resolution image or low-resolution image.
  • the image decomposition component may be a corrected decomposition component.
  • the method of correcting the decomposition component may be different for each decomposition component having different L / H. For example, when it is known that noise at a certain frequency is included only in the high-resolution image because it is easy to get noise in the high-resolution image, the decomposition component of the low-resolution image is corrected for the decomposition component corresponding to that frequency. It may be a decomposed component. Further, according to the frequency characteristics of the high resolution image and the low resolution image, the decomposition components of the high resolution image and the low resolution image may be corrected by weighted averaging with different weights for each decomposition component. As a result, the effect of noise removal can be enhanced.
  • the correction method is not limited to those described above, and any correction method may be used as long as the difference in noise between the low resolution image and the high resolution image is used.
  • Such multi-resolution decomposition and correction may be further performed on the decomposition component corresponding to the LL component.
  • the original signal component may be lost in noise removal of images created by pan-sharpening processing, etc., based on a plurality of images with different resolutions that are captured simultaneously from the same subject. Can be reduced.
  • the present embodiment includes a plurality of low-resolution image input units 32 and a low-resolution image multi-resolution decomposition unit 37, and the operation of the low-resolution component correction unit is the same as that of the second embodiment. Different. Here, different parts will be mainly described.
  • the low resolution image input unit 32 outputs the input low resolution image.
  • the low-resolution image multi-resolution decomposition unit 37 performs multi-resolution decomposition that divides each input low-resolution image into low-resolution components.
  • the low resolution component correction unit 34 corrects a low resolution component created by decomposing a high resolution image using each low resolution component created by decomposing a plurality of low resolution images.
  • the high resolution image input unit 31 includes a high resolution panchromatic sensor
  • the low resolution image input units 32-1 to 32-4 include, for example, a blue band, a green band, a red band, and a near infrared band multispectral sensor.
  • An image is input.
  • the low-resolution image multi-resolution decomposition units 37-1 to 37-4 perform multi-resolution decomposition up to a predetermined resolution (for example, half of the low-resolution image) for the input low-resolution images 1 to 4 of each band.
  • the multi-resolution decomposition unit 33 performs multi-resolution decomposition up to the same predetermined resolution.
  • the low resolution component correction unit 33 sets the average of the resolution component of the high resolution image and the resolution components of the low resolution images 1 to 4 as the corrected resolution component.
  • the averaging is, for example, a weighted average, and weighting is performed with resolution and band characteristics.
  • a band with a short wavelength, such as a blue band has a tendency to increase noise at a high frequency compared to a band with a long wavelength, such as a red band or a near-infrared band, because light scattering in the atmosphere increases. . For this reason, weighting is performed so as to increase the weighting of a band having a longer wavelength as the resolution is higher.
  • the number of the low resolution image input unit and the low resolution image multi-resolution decomposition unit is four, it is not limited to this number.
  • the original signal component may be lost in noise removal of images created by pan-sharpening processing, etc., based on a plurality of images with different resolutions that are captured simultaneously from the same subject. Can be reduced.
  • FIG. 9 shows an example of the configuration of the noise removal apparatus in the present embodiment.
  • the noise removing device 40 includes a multi-resolution decomposition unit 41, a low-resolution component correction unit 42, and a reconstruction unit 43.
  • a first image having a predetermined first resolution is input to the multi-resolution decomposition unit 41.
  • a second image having a predetermined second resolution lower than the first resolution obtained by simultaneously capturing the same subject as the first image is input to the low resolution component correction unit 42.
  • the multi-resolution decomposition unit 41 decomposes the first image into components of the second resolution.
  • the low resolution component correction unit 42 corrects at least one low resolution component created by the decomposition using the second image.
  • the reconstruction unit 43 replaces the low resolution component with the low resolution component created by the correction, reconstructs the first image, and outputs it.
  • the original signal component may be lost in noise removal of images created by pan-sharpening processing, etc., based on a plurality of images with different resolutions that are captured simultaneously from the same subject. Can be reduced.
  • the noise removal device according to Supplementary Note 1, wherein the noise removal device is characterized in that (Supplementary note 3) The supplementary method 1 or 2, wherein the correction method includes a weighted average of the decomposition component of the first image and the decomposition component of the second image or the second image.
  • Noise removal device (Supplementary note 4) The noise removing device according to supplementary notes 1 to 3, wherein the second image is a plurality of images having different characteristics. (Supplementary note 5) The noise removing device according to supplementary notes 1 to 4, wherein the first image is a panchromatic image, and the second image is a multispectral image.
  • the input first image having a predetermined resolution is subjected to multi-resolution decomposition into a component having a predetermined first resolution lower than the predetermined resolution of the second image input by simultaneously imaging the same subject as the first image, Correcting at least one decomposition component created by the decomposition using the second image; A noise removal method, wherein the decomposition component is replaced with a decomposition component created by the correction, and the first image is reconstructed and output.
  • the second image is subjected to multi-resolution decomposition into a predetermined second resolution component lower than the first resolution
  • the first image is subjected to multiresolution decomposition into the second resolution component
  • the at least one decomposition component created by decomposing the first image into the second resolution is corrected using a decomposition component created by decomposing the corresponding second image.
  • the noise removal method according to appendix 6, characterized by: (Supplementary note 8) The supplementary method 6 or 7, wherein the correction method includes a weighted average of the decomposition component of the first image and the decomposition component of the second image or the second image. Noise removal method.
  • a low-resolution image multi-resolution decomposition step that multi-resolution decomposes the second image into components of a predetermined second resolution lower than the first resolution,
  • the multi-resolution decomposition step multi-resolution decomposes the first image into components of the second resolution;
  • the low-resolution component correction step at least one decomposition component created by decomposing the first image into the second resolution is corrected using a decomposition component created by decomposing the corresponding second image.
  • a storage medium for storing the removal program. (Supplementary note 13) The storage medium for storing the noise removal program according to supplementary notes 10 to 12, wherein the second image is a plurality of images having different characteristics.
  • the present invention can be used in a noise removal apparatus, method, and program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　同一の撮影対象が同時に撮像された複数の異なった解像度の画像をもとにパンシャープン処理などによって作成される画像のノイズ除去においてノイズ除去方法の性質により画像本来の信号の成分が損なわれないようにするため、本発明のノイズ除去装置は、入力された所定解像度の第１画像を前記第１画像と同一の被写体が同時に撮像され入力された第２画像の前記所定解像度より低い所定第１解像度の成分に多重解像度分解する多重解像度分解手段と、前記分解により作成された少なくとも１つの分解成分について前記第２画像を用いて補正する低解像度成分補正手段と、前記分解成分を前記補正により作成された分解成分で置き換え、前記第１画像を再構成し、出力する画像再構成手段とを備える。

Description

ノイズ除去装置、方法およびプログラム
　本発明は、ノイズ除去装置、方法およびプログラムに関する。
　従来より衛星や航空機から地上などを撮影するシステムが用いられている。そのようなシステムにおいて、同一の撮影対象について高解像度のパンクロマチック画像とパンクロマチック画像よりも低解像度のマルチスペクトル画像の両方を同時に撮像することが広く行われている。パンクロマチックセンサにおいては可視近赤外の全波長について撮像が行われ、マルチスペクトルセンサにおいては、例えば青色や赤色などの特定波長のみについて撮像が行われる。マルチスペクトルセンサでは、特定の色についての画像を得ることが可能であるが、センサの受光する単位面積当りの光量がパンクロマチックセンサに比べて少なくなる。受光する１画素当りの光量が少なくなるとノイズ成分が信号成分に対して多くなり、良好な品質の画像が得られなくなる。そのようなことを回避するため、マルチスペクトルセンサにおいて、解像度を低め、１画素当りの画像の面積をパンクロマチックセンサに比べて大きくして受光光量を増やすことが行われている。このような低解像度のマルチスペクトル画像と高解像度のパンクロマチック画像の両方を同時に撮像するシステムにおいて、両方の画像を組み合わせて高解像度のカラー画像を作成するパンシャープン処理が行われる。パンシャープン処理において、例えば、マルチスペクトル画像の各画素の成分を、輝度成分、色相成分、彩度成分に分解し、その輝度成分を高解像度のパンクロマチック画像の成分で置き換えることで、高解像度のカラー画像が作成される。ところで、パンシャープン処理により作成された高解像度のカラー画像に限らず、画像に含まれるノイズの除去は一般的な問題で、そのようなノイズ除去は画像処理によって行われている。画像処理によるノイズ除去に関する方法が特許文献１に記載されている。
　特許文献１に記載の方法は、次の通りである。
　画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力する画像入力手順を有する。また、入力した原画像を分解して、逐次的に低い解像度を持つ複数の低周波画像と、逐次的に低い解像度を持つ複数の高周波画像を生成する多重解像度画像生成手順と、低周波画像と高周波画像の各々に対してノイズ除去処理を行うノイズ除去処理手順とを有する。さらに、ノイズ除去された低周波画像とノイズ除去された高周波画像の双方の結果に基づいて、原画像からノイズが除去された画像を得る画像取得手順を有する。
国際公開第２００７／１１６５４３号
　特許文献１に記載の方法において、１つの画像についてノイズ除去が行なわれていることにより画像本来の信号が損なわれる可能性が懸念される。特許文献１に記載の方法を含む一般的なノイズ除去の方法においては、予めノイズの性質を仮定し、それにもとづいてノイズ成分を推定してノイズを除去している。その過程で、画像本来の信号の成分もノイズと判定されて除去される可能性がある。そのようなノイズ除去をパンクロマチック画像とマルチスペクトル画像のそれぞれに施した後、それらの画像をもとにパンシャープン処理によって作成された画像においても本来の信号の成分が損なわれている可能性が懸念される。
　このように、特許文献１に記載の方法には、同一の撮影対象が同時に撮像された複数の異なった解像度の画像をもとにパンシャープン処理などによって作成される画像のノイズ除去においてノイズ除去方法の性質により画像本来の信号の成分が損なわれる問題がある。
　本発明の目的は、この課題を解決するノイズ除去装置、方法およびプログラムを提供することである。
　本発明のノイズ除去装置は、入力された所定解像度の第１画像を前記第１画像と同一の被写体が同時に撮像され入力された第２画像の前記所定解像度より低い所定第１解像度の成分に多重解像度分解する多重解像度分解手段と、前記分解により作成された少なくとも１つの分解成分について前記第２画像を用いて補正する低解像度成分補正手段と、前記分解成分を前記補正により作成された分解成分で置き換え、前記第１画像を再構成し、出力する画像再構成手段とを備えることを特徴とする。
　本発明のノイズ除去方法は、入力された所定解像度の第１画像を前記第１画像と同一の被写体が同時に撮像され入力された第２画像の前記所定解像度より低い所定第１解像度の成分に多重解像度分解し、前記分解により作成された少なくとも１つの分解成分について前記第２画像を用いて補正し、前記分解成分を前記補正により作成された分解成分で置き換え、前記第１画像を再構成し、出力することを特徴とする。
　本発明によれば、同一の撮影対象が同時に撮像された複数の異なった解像度の画像をもとにパンシャープン処理などによって作成される画像のノイズ除去において画像本来の信号の成分が損なわれる可能性を低減することが可能となる。
本発明の第１の実施の形態におけるノイズ除去装置の構成例を示す図である。 多重解像度分解における画像の処理を示す図である。 多重解像度分解における画像の処理を示す図である。 補正における低解像度成分の処理を示す図である。 再構成における画像の処理を示す図である。 本発明の第２の実施の形態におけるノイズ除去装置の構成例を示す図である。 補正における分解成分の処理を示す図である。 本発明の第３の実施の形態におけるノイズ除去装置の構成例を示す図である。 本発明の第４の実施の形態におけるノイズ除去装置の構成例を示す図である。
　本発明の第１の実施の形態について、図面を参照して説明する。
　まず、本実施の形態におけるノイズ除去装置の構成について、図１を参照して説明する。
　図１は本実施の形態におけるノイズ除去装置の構成例を示す。ノイズ除去装置１０は、高解像度画像入力部１１、低解像度画像入力部１２、多重解像度分解部１３、低解像度成分補正部１４、再構成部１５、画像出力部１６を備える。
　ノイズ除去装置１０の各部を説明する。
　高解像度画像入力部１１は、入力された高解像度画像を出力する。
　低解像度画像入力部１２は、入力された低解像度画像を出力する。
　多重解像度分解部１３は、入力された高解像度画像を低解像度成分に分解する多重解像度分解を行う。
　低解像度成分補正部１４は、高解像度画像が分解されて作成された低解像度成分を、入力された低解像度画像を用いて補正する。
　再構成部１５は、補正の対象となった低解像度成分を補正された低解像度成分で置き換え、高解像度画像を再構成する。
　画像出力部１６は、再構成された高解像度画像を出力する。
　次に、本実施の形態におけるノイズ除去装置１０の動作について、図１を参照して説明する。
　高解像度画像入力部１１には撮影対象の高解像度画像が入力され、低解像度画像入力部１２には高解像度画像と同一の撮影対象の低解像度画像が入力される。多重解像度分解部１３は高解像度画像入力部１１から出力された高解像度画像を低解像度成分に多重解像度分解する。この際、入力された低解像度画像に相当する解像度まで分解を行う。低解像度成分補正部１４は多重解像度分解部１３で高解像度画像が分解されて作成された低解像度成分（ＬＬ成分相当　後述）を低解像度画像入力部１２から出力された低解像度画像を用いて補正する。再構成部１５は多重解像度分解部１３において低解像度成分補正部１４で補正の対象となった低解像度成分を低解像度成分補正部１４で補正された低解像度成分で置き換え、高解像度画像を再構成する。画像出力部１６は再構成部１５で再構成された高解像度画像を出力する。
　さらに、本実施の形態の動作について図面を参照して詳細に説明する。
　本実施の形態では、高解像度画像入力部１１に高解像度ＣＣＤ（Charge Coupled Device）カメラから、低解像度画像入力部１２に高解像度ＣＣＤカメラの４分の１の解像度（対象の１辺の長さ当たりの画素数が４分の１）の低解像度ＣＣＤカメラから、それぞれ画像が入力される。また、多重解像度分解部１３はＷａｖｅｌｅｔ変換で多重解像度分解を行う。
　多重解像度分解部１３における多重解像度分解について、画像の処理を図２で説明する。図２において、（１）は入力された高解像度画像であり、（２）は処理された画像である。入力された高解像度画像は４つの成分に分解されている。左上のＬＬ成分は縦横方向の平均成分、右上のＨＬ成分は縦方向の平均との差分、左下のＬＨ成分は横方向の平均との差分、右下のＨＨ成分は縦横方向の平均との差分である。平均成分はスケーリング係数で、平均との差分はウェーブレット係数で表される。なお、（１）と（２）とで１画素の大きさは同じであり、（２）の各成分の１辺の長さは入力された高解像度画像の半分となっている。
　多重解像度分解の次の処理を図３で説明する。図３において、（３）は前の処理でのＬＬ成分であり、（４）は処理されて４つの成分に分解された画像である。左上のＬＬＬＬ成分は縦横方向の平均成分、右上のＬＬＨＬ成分は縦方向の平均との差分、左下のＬＬＬＨ成分は横方向の平均との差分、右下のＨＨＨＨ成分は縦横方向の平均との差分である。前の処理の結果と合わせると、（５）のようになる。なお、（３）と（４）と（５）とで１画素の大きさは同じであり、（４）の各成分の１辺の長さは入力された高解像度画像の４分の１となっている。
　低解像成分補正部１４における補正について、図４を参照して説明する。低解像成分補正部１４は多重解像度分解部１３で高解像度画像が分解されて作成された低解像度成分（低解像度画像と同じ解像度となるＬＬＬＬ成分）を補正する。低解像度成分の補正において、低解像度成分と低解像度画像を平均したものを補正された低解像度成分とする。ノイズはランダムに生じる性質があり、低解像度成分と低解像度画像とにそれぞれ含まれるノイズの間に相関が無い。そのため、低解像度成分と低解像度画像との対応する各画素を平均することによりノイズ成分が低減される。他方、画像本来の信号は低解像度成分にも低解像度画像にも同様に含まれているので平均されても低減されない。このように、この補正によりノイズ成分のみが低減される。なお、この補正において、低解像度画像と高解像度画像との間で位置合わせの処理が行われる。
　再構成部１５における再構成について、図５を参照して説明する。再構成部１５は高解像度画像が分解・補正されて作成された低解像度成分をもとに多重解像度分解の逆の処理を行い、高解像度画像を再構成する。再構成された高解像度画像は入力された高解像度画像よりもノイズの低減された画像となる。なお、上記の補正において、低解像度画像と高解像度画像との間で位置合わせの処理が行われるので、高解像度画像の再構成は適正に行われる。
　なお、低解像度画像の解像度を高解像度画像の４分の１としたが、１分の１未満であれば解像度比率はこれに限らない。多重解像度分解の方法がＷａｖｅｌｅｔ変換である場合は、１回の分解で解像度が２分の１になるのでその解像度比率を２のべき乗の逆数とすることが望ましい。多重解像度分解の方法はＷａｖｅｌｅｔ変換以外でもよく、他の方法において可能ならばその解像度比率を自然数の逆数としてもよい。また、場合により画像を補間してもよい。
　また、高解像度ＣＣＤカメラをパンクロマチックセンサなどに、低解像度ＣＣＤカメラをマルチスペクトルセンサなどに置き換えてもよい。その場合、マルチスペクトルセンサの複数のバンドの画像を平均したものを低解像度画像としてもよい。マルチスペクトルセンサでは複数の波長帯でそれぞれ画像が撮像される。例えば、マルチスペクトルセンサが青、緑、赤、近赤外の４バンドで構成されていて、パンクロマチックセンサでは可視域の青から赤の波長帯で撮像する場合、マルチスペクトルセンサの青、緑、赤の３バンドの画像を平均したものを低解像度画像としてもよい。その場合、高解像度画像と低解像度画像とで用いられる波長が近いため、高解像度画像と低解像度画像の差が小さくなるという利点がある。また、パンクロマチックセンサでの波長帯にかかわらず、マルチスペクトルセンサの全てのバンドの画像を平均したものを低解像度画像としてもよい。その場合、統計的に、ランダムなノイズは平均化の対象が多いほど低減されうることから、ノイズ除去の効果が高まるという利点がある。さらに、マルチスペクトルセンサの複数の画像のうち、最もＳＮ（Signal-to-Noise ratio）特性の良いものを低解像度画像としてもよいし、ＳＮ特性に応じた複数の画像を平均したものを低解像度画像としてもよい。マルチスペクトルセンサの各画像の間で位置ずれなどが生じている場合、多数の画像が平均化されると、エッジや輪郭などがぼける可能性がある。そこで、いくつかＳＮ特性の良い画像を選択して平均したものを低解像度画像とし、ノイズ除去の効果とエッジや輪郭などのぼける可能性のバランスを取ってもよい。
　さらに、低解像度成分の補正については、低解像度成分と低解像度画像を平均したものを補正された低解像度成分としたが、平均は加重平均などでもよい。低解像度画像のＳＮ特性が高解像度画像のそれより著しく良い場合などは、低解像度画像をそのままノイズの少ない補正低解像度成分としてもよい。なお、補正の方法はこれらに限らず、低解像度画像と高解像度画像とにおけるノイズの差異を利用するものであればよい。
　以上のように、同一の撮影対象が同時に撮像された複数の異なった解像度の画像をもとにパンシャープン処理などによって作成される画像のノイズ除去において画像本来の信号の成分が損なわれる可能性を低減することが可能となる。
　次に、本発明の第２の実施の形態について、図面を参照して説明する。
　図６を参照し、本実施の形態は、低解像度画像多重解像度分解部２７を備えることと、多重解像度分解部および低解像度成分補正部の動作とが第１の実施の形態と異なる。ここでは、異なる部分を中心に説明する。
　低解像度画像多重解像度分解部２７は、入力された低解像度画像を低解像度成分に多重解像度分解する。
　多重解像度分解部２３は、入力された高解像度画像を低解像度画像が分解されて作成される低解像度成分の解像度まで多重解像度分解する。
　低解像度成分補正部２４は、高解像度画像が分解されて作成された低解像度成分を、低解像度画像が分解されて作成された低解像度成分を用いて補正する。
　さらに、本実施の形態の動作について図面を参照して詳細に説明する。
　低解像度成分補正部２４における補正について、図７を参照して説明する。低解像度画像の解像度が高解像度画像の半分であり、低解像度画像と高解像度画像それぞれについて低解像度画像の半分の解像度まで多重解像度分解を行うものとする。低解像度画像はＬＬ、ＨＬ、ＬＨ、ＨＨ成分に分解され、高解像度画像が分解されて作成されたＬＬ成分はＬＬＬＬ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＨＨ成分に分解される。低解像度成分補正部２４は高解像度画像のＬＬＬＬ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＨＨ成分を低解像度画像のＬＬ、ＨＬ、ＬＨ、ＨＨ成分でそれぞれ補正する。その補正について、高解像度画像の分解成分と低解像度画像の分解成分をそれぞれ平均したものを補正された分解成分とする。
　なお、低解像度画像の解像度を高解像度画像の半分としたが、１分の１未満であれば解像度比率はこれに限らない。多重解像度分解の方法がＷａｖｅｌｅｔ変換である場合は、１回の分解で解像度が２分の１になるのでその解像度比率を２のべき乗の逆数とすることが望ましい。多重解像度分解の方法はＷａｖｅｌｅｔ変換以外でもよく、他の方法において可能ならばその解像度比率を自然数の逆数としてもよい。また、場合により画像を補間してもよい。
　また、画像の入力に高解像度ＣＣＤカメラと低解像度ＣＣＤカメラ、またはパンクロマチックセンサとマルチスペクトルセンサなどを用いてもよい。マルチスペクトルセンサを用いる場合、マルチスペクトルセンサの複数のバンドの画像を平均したものを低解像度画像としてもよい。マルチスペクトルセンサの複数の画像のうち、最もＳＮ特性の良いものを低解像度画像としてもよいし、ＳＮ特性に応じた複数の画像を平均したものを低解像度画像としてもよい。
　さらに、分解成分の補正については、高解像度画像と低解像度画像それぞれの分解成分をそれぞれ平均したものを補正された分解成分としたが、平均は加重平均などでもよいし、高解像度画像または低解像度画像の分解成分を補正された分解成分としてもよい。
　分解成分の補正の方法はＬ／Ｈの異なった分解成分毎に異ならせてもよい。例えば、高解像度画像にノイズが乗り易いことなどからある周波数のノイズが高解像度画像のみに含まれていることが分かっている場合、その周波数に相当する分解成分について低解像度画像の分解成分を補正された分解成分としてもよい。また、高解像度画像および低解像度画像の周波数特性に応じて、高解像度画像と低解像度画像それぞれの分解成分を、分解成分毎に重み付けを異ならせて加重平均して補正してもよい。これによりノイズ除去の効果を高めることが可能となる。なお、補正の方法はこれらに限らず、低解像度画像と高解像度画像とにおけるノイズの差異を利用するものであればよい。
　このような多重解像度分解と補正をさらにＬＬ成分相当の分解成分について行ってもよい。
　以上のように、同一の撮影対象が同時に撮像された複数の異なった解像度の画像をもとにパンシャープン処理などによって作成される画像のノイズ除去において画像本来の信号の成分が損なわれる可能性を低減することが可能となる。
　次に、本発明の第３の実施の形態について、図面を参照して説明する。
　図８を参照し、本実施の形態は、複数の低解像度画像入力部３２および低解像度画像多重解像度分解部３７を備えることと、低解像度成分補正部の動作とが第２の実施の形態と異なる。ここでは、異なる部分を中心に説明する。
　低解像度画像入力部３２は、それぞれ入力された低解像度画像を出力する。
　低解像度画像多重解像度分解部３７は、それぞれ入力された低解像度画像を低解像度成分に分割する多重解像度分解を行う。
　低解像度成分補正部３４は、高解像度画像が分解されて作成された低解像度成分を、複数の低解像度画像が分解されて作成されたそれぞれの低解像度成分を用いて補正する。
　さらに、本実施の形態の動作を詳細に説明する。
　高解像度画像入力部３１に例えば高解像度のパンクロマチックセンサから、低解像度画像入力部３２－１～３２－４に例えばそれぞれ青色バンド、緑色バンド、赤色バンド、近赤外バンドのマルチスペクトルセンサから、画像が入力される。低解像度画像多重解像度分解部３７－１～３７－４はそれぞれ入力された各バンドの低解像度画像１～４について所定の解像度（例えば低解像度画像の半分）まで多重解像度分解を行う。入力された高解像度画像については多重解像度分解部３３で同じ所定の解像度まで多重解像度分解が行われる。低解像度成分補正部３３は高解像度画像の分解成分を低解像度画像１～４の分解成分それぞれと平均化したものを補正された分解成分とする。ここで、平均化とは例えば加重平均とし、解像度とバンドの特性で重み付けが行われる。青色バンドのような波長の短いバンドについては、光の大気での散乱が大きくなるため、赤色バンドや近赤外バンドのような波長の長いバンドに比べると、高周波でノイズが大きくなる傾向がある。そのため、解像度の高い成分ほど波長の長いバンドの重み付けを大きくするような重み付けを行う。
　複数の低解像度画像が分解されて作成された分解成分で高解像度画像の分解成分を補正することにより、解像度と観測波長等の複数の低解像度画像の特性を加味した補正が行える。これによりノイズ除去の効果を高めることが可能となる。
　なお、低解像度画像入力部および低解像度画像多重解像度分解部の数量を４個としたが、この数量に限らない。
　以上のように、同一の撮影対象が同時に撮像された複数の異なった解像度の画像をもとにパンシャープン処理などによって作成される画像のノイズ除去において画像本来の信号の成分が損なわれる可能性を低減することが可能となる。
　次に、本発明の第４の実施の形態について、図面を参照して説明する。
　まず、本実施の形態の構成について、図９を参照して説明する。
　図９は本実施の形態におけるノイズ除去装置の構成例を示す。ノイズ除去装置４０は、多重解像度分解部４１、低解像度成分補正部４２、再構成部４３を備える。
　次に、本実施の形態におけるノイズ除去装置４０の動作について、図９を参照して説明する。
　多重解像度分解部４１に所定第１解像度の第１画像が入力される。低解像度成分補正部４２に第１画像と同一の被写体が同時に撮像された第１解像度より低い所定第２解像度の第２画像が入力される。多重解像度分解部４１は第１画像を第２解像度の成分に分解する。低解像度成分補正部４２は分解により作成された少なくとも１つの低解像度成分を、第２画像を用いて補正する。再構成部４３は低解像度成分を前記補正により作成された低解像度成分で置き換え、第１画像を再構成し、出力する。
　以上のように、同一の撮影対象が同時に撮像された複数の異なった解像度の画像をもとにパンシャープン処理などによって作成される画像のノイズ除去において画像本来の信号の成分が損なわれる可能性を低減することが可能となる。
　上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）入力された所定解像度の第１画像を前記第１画像と同一の被写体が同時に撮像され入力された第２画像の前記所定解像度より低い所定第１解像度の成分に多重解像度分解する多重解像度分解手段と、
　前記分解により作成された少なくとも１つの分解成分について前記第２画像を用いて補正する低解像度成分補正手段と、
　前記分解成分を前記補正により作成された分解成分で置き換え、前記第１画像を再構成し、出力する画像再構成手段と
を備えることを特徴とするノイズ除去装置。
（付記２）前記第２画像を前記第１解像度より低い所定第２解像度の成分に多重解像度分解する低解像度画像多重解像度分解手段をさらに備え、
　前記多重解像度分解手段は、前記第１画像を前記第２解像度の成分に多重解像度分解し、
　前記低解像度成分補正手段は、前記第１画像の第２解像度への分解により作成された少なくとも１つの分解成分を対応する前記第２画像の分解により作成された分解成分を用いて補正する
ことを特徴とする付記１に記載のノイズ除去装置。
（付記３）前記補正の方法は、前記第１画像の分解成分と前記第２画像または前記第２画像の分解成分とを加重平均することを含むことを特徴とする付記１または２に記載のノイズ除去装置。
（付記４）前記第２画像は、特性の異なった複数の画像であることを特徴とする付記１乃至３に記載のノイズ除去装置。
（付記５）前記第１画像はパンクロマチック画像、前記第２画像はマルチスペクトル画像であることを特徴とする付記１乃至４に記載のノイズ除去装置。
（付記６）入力された所定解像度の第１画像を前記第１画像と同一の被写体が同時に撮像され入力された第２画像の前記所定解像度より低い所定第１解像度の成分に多重解像度分解し、
　前記分解により作成された少なくとも１つの分解成分について前記第２画像を用いて補正し、
　前記分解成分を前記補正により作成された分解成分で置き換え、前記第１画像を再構成し、出力する
ことを特徴とするノイズ除去方法。
（付記７）さらに、前記第２画像を前記第１解像度より低い所定第２解像度の成分に多重解像度分解し、
　前記多重解像度分解する際は、前記第１画像を前記第２解像度の成分に多重解像度分解し、
　前記低解像度成分補正する際は、前記第１画像の第２解像度への分解により作成された少なくとも１つの分解成分を対応する前記第２画像の分解により作成された分解成分を用いて補正する
ことを特徴とする付記６に記載のノイズ除去方法。
（付記８）前記補正の方法は、前記第１画像の分解成分と前記第２画像または前記第２画像の分解成分とを加重平均することを含むことを特徴とする付記６または７に記載のノイズ除去方法。
（付記９）前記第２画像は特性の異なった複数の画像であることを特徴とする付記６乃至８に記載のノイズ除去方法。
（付記１０）ノイズ除去装置を構成するコンピュータに、
　入力された所定解像度の第１画像を前記第１画像と同一の被写体が同時に撮像され入力された第２画像の前記所定解像度より低い所定第１解像度の成分に多重解像度分解する多重解像度分解ステップと、
　前記分解により作成された少なくとも１つの分解成分について前記第２画像を用いて補正する低解像度成分補正ステップと、
　前記分解成分を前記補正により作成された分解成分で置き換え、前記第１画像を再構成し、出力する画像再構成ステップと
を実行させることを特徴とするノイズ除去プログラムを格納する記憶媒体。
（付記１１）前記第２画像を前記第１解像度より低い所定第２解像度の成分に多重解像度分解する低解像度画像多重解像度分解ステップをさらに備え、
　前記多重解像度分解ステップは、前記第１画像を前記第２解像度の成分に多重解像度分解し、
　前記低解像度成分補正ステップは、前記第１画像の第２解像度への分解により作成された少なくとも１つの分解成分を対応する前記第２画像の分解により作成された分解成分を用いて補正する
ことを特徴とする付記１０に記載のノイズ除去プログラム。
（付記１２）前記補正方法は、前記第１画像の分解成分と前記第２画像または前記第２画像の分解成分とを加重平均することを含むことを特徴とする付記１０または１１に記載のノイズ除去プログラムを格納する記憶媒体。
（付記１３）前記第２画像は特性の異なった複数の画像であることを特徴とする付記１０乃至１２に記載のノイズ除去プログラムを格納する記憶媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１３年９月１２日に出願された日本出願特願２０１３－１８９５４９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、ノイズ除去装置、方法およびプログラムに利用可能である。
　１０、２０、３０、４０　　ノイズ除去装置
　１１、２１、３１　　高解像度画像入力部
　１２、２２、３２－１～４　　低解像度画像入力部
　１３、２３、３３、４１　　多重解像度分解部
　１４、２４、３４、４２　　低解像度成分補正部
　１５、２５、３５、４３　　再構成部
　１６、２６、３６　　画像出力部
　２７、３７－１～４　　低解像度画像多重解像度分解部

Claims (10)

  1. 　入力された所定解像度の第１画像を前記第１画像と同一の被写体が同時に撮像され入力された第２画像の前記所定解像度より低い所定第１解像度の成分に多重解像度分解する多重解像度分解手段と、
    　前記分解により作成された少なくとも１つの分解成分について前記第２画像を用いて補正する低解像度成分補正手段と、
    　前記分解成分を前記補正により作成された分解成分で置き換え、前記第１画像を再構成し、出力する画像再構成手段と
    を備えることを特徴とするノイズ除去装置。
  2. 　前記第２画像を前記第１解像度より低い所定第２解像度の成分に多重解像度分解する低解像度画像多重解像度分解手段をさらに備え、
    　前記多重解像度分解手段は、前記第１画像を前記第２解像度の成分に多重解像度分解し、
    　前記低解像度成分補正手段は、前記第１画像の第２解像度への分解により作成された少なくとも１つの分解成分を対応する前記第２画像の分解により作成された分解成分を用いて補正する
    ことを特徴とする請求項１に記載のノイズ除去装置。
  3. 　前記補正の方法は、前記第１画像の分解成分と前記第２画像または前記第２画像の分解成分とを加重平均することを含むことを特徴とする請求項１または２に記載のノイズ除去装置。
  4. 　前記第２画像は、特性の異なった複数の画像であることを特徴とする請求項１乃至３に記載のノイズ除去装置。
  5. 　前記第１画像はパンクロマチック画像、前記第２画像はマルチスペクトル画像である
    ことを特徴とする請求項１乃至４に記載のノイズ除去装置。
  6. 　入力された所定解像度の第１画像を前記第１画像と同一の被写体が同時に撮像され入力された第２画像の前記所定解像度より低い所定第１解像度の成分に多重解像度分解し、
    　前記分解により作成された少なくとも１つの分解成分について前記第２画像を用いて補正し、
    　前記分解成分を前記補正により作成された分解成分で置き換え、前記第１画像を再構成し、出力する
    ことを特徴とするノイズ除去方法。
  7. 　さらに、前記第２画像を前記第１解像度より低い所定第２解像度の成分に多重解像度分解し、
    　前記多重解像度分解する際は、前記第１画像を前記第２解像度の成分に多重解像度分解し、
    　前記低解像度成分補正する際は、前記第１画像の第２解像度への分解により作成された少なくとも１つの分解成分を対応する前記第２画像の分解により作成された分解成分を用いて補正する
    ことを特徴とする請求項６に記載のノイズ除去方法。
  8. 　前記補正の方法は、前記第１画像の分解成分と前記第２画像または前記第２画像の分解成分とを加重平均することを含むことを特徴とする請求項６または７に記載のノイズ除去方法。
  9. 　前記第２画像は特性の異なった複数の画像であることを特徴とする請求項６乃至８に記載のノイズ除去方法。
  10. 　ノイズ除去装置を構成するコンピュータに、
    　入力された所定解像度の第１画像を前記第１画像と同一の被写体が同時に撮像され入力された第２画像の前記所定解像度より低い所定第１解像度の成分に多重解像度分解する多重解像度分解ステップと、
    　前記分解により作成された少なくとも１つの分解成分について前記第２画像を用いて補正する低解像度成分補正ステップと、
    　前記分解成分を前記補正により作成された分解成分で置き換え、前記第１画像を再構成し、出力する画像再構成ステップと
    を実行させることを特徴とするノイズ除去プログラムを格納する記憶媒体。
PCT/JP2014/004265 2013-09-12 2014-08-20 ノイズ除去装置、方法およびプログラム WO2015037189A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480050517.XA CN105593898B (zh) 2013-09-12 2014-08-20 降噪装置、方法及其程序
JP2015536437A JP6350532B2 (ja) 2013-09-12 2014-08-20 ノイズ除去装置、方法およびプログラム
US14/912,992 US9972072B2 (en) 2013-09-12 2014-08-20 Noise reduction apparatus, method and program for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-189549 2013-09-12
JP2013189549 2013-09-12

Publications (1)

Publication Number Publication Date
WO2015037189A1 true WO2015037189A1 (ja) 2015-03-19

Family

ID=52665322

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004265 WO2015037189A1 (ja) 2013-09-12 2014-08-20 ノイズ除去装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US9972072B2 (ja)
JP (1) JP6350532B2 (ja)
CN (1) CN105593898B (ja)
WO (1) WO2015037189A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019007327T5 (de) 2019-05-16 2022-03-24 Mitsubishi Electric Corporation Bildverarbeitungseinrichtung, Verfahren, Bildleseeinrichtung, Programm und Aufzeichnungsmedium
US12026854B2 (en) 2019-05-16 2024-07-02 Mitsubishi Electric Corporation Image processing device, method, image reading device, and recording medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07319092A (ja) * 1994-03-31 1995-12-08 Fuji Photo Film Co Ltd 画像重ね合せ方法およびエネルギーサブトラクション方法
US20040141659A1 (en) * 2003-01-17 2004-07-22 Yun Zhang System and method for image fusion

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0677780B1 (en) * 1994-03-31 2003-05-28 Fuji Photo Film Co., Ltd. Image superposition processing method
US5949914A (en) * 1997-03-17 1999-09-07 Space Imaging Lp Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening
JP2005210441A (ja) * 2004-01-23 2005-08-04 Sanyo Electric Co Ltd 画像信号処理装置
WO2007116543A1 (ja) 2006-03-31 2007-10-18 Nikon Corporation 画像処理方法
JP4987688B2 (ja) * 2007-12-25 2012-07-25 株式会社東芝 画像高解像度化方法および装置
JP5206466B2 (ja) * 2009-02-13 2013-06-12 富士通株式会社 画像補正装置、画像補正プログラムおよび画像撮影装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07319092A (ja) * 1994-03-31 1995-12-08 Fuji Photo Film Co Ltd 画像重ね合せ方法およびエネルギーサブトラクション方法
US20040141659A1 (en) * 2003-01-17 2004-07-22 Yun Zhang System and method for image fusion

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019007327T5 (de) 2019-05-16 2022-03-24 Mitsubishi Electric Corporation Bildverarbeitungseinrichtung, Verfahren, Bildleseeinrichtung, Programm und Aufzeichnungsmedium
US12026854B2 (en) 2019-05-16 2024-07-02 Mitsubishi Electric Corporation Image processing device, method, image reading device, and recording medium

Also Published As

Publication number Publication date
US20160210729A1 (en) 2016-07-21
CN105593898A (zh) 2016-05-18
CN105593898B (zh) 2018-10-12
JP6350532B2 (ja) 2018-07-04
JPWO2015037189A1 (ja) 2017-03-02
US9972072B2 (en) 2018-05-15

Similar Documents

Publication Publication Date Title
KR101643319B1 (ko) 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법
US10778917B2 (en) Joint dictionary generation method for image processing, interlace-based high dynamic range imaging apparatus using joint dictionaries and image processing method of the same
JP5668105B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6104985B2 (ja) デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム
US11423514B2 (en) Image processing noise reduction
EP3058549A1 (en) Converting an image from a dual-band sensor to a visible color image
KR20110091117A (ko) 영상잡음 제거장치 및 그 방법
JP2012533961A (ja) 画質を向上させる方法
JP2010531560A5 (ja)
JP6350532B2 (ja) ノイズ除去装置、方法およびプログラム
WO2019237659A1 (en) Blind compressive sampling method, apparatus and imaging system
JP6595161B2 (ja) 画像処理装置、画像処理方法、及び、撮像装置
Matsuo et al. Super-resolution for 2K/8K television using wavelet-based image registration
US20110261236A1 (en) Image processing apparatus, method, and recording medium
JP5682443B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4866756B2 (ja) 撮像装置
Luo et al. Color image restoration via extended joint sparse model
Vega et al. A Bayesian super-resolution approach to demosaicing of blurred images
Matsuo et al. Super-resolution method by registration of multi-scale components considering color sampling pattern and frequency spectrum power of UHDTV camera
Guicquero et al. On adaptive pixel random selection for compressive sensing
Sato et al. Compressive color sensing using random complementary color filter array
Jayachandran et al. Efficient demosaicking of color images using theoretic reconstruction technique
Buntilov et al. Assessment of the method-inherent distortions in wavelet fusion
Huijuan et al. Modulation transfer function online compensation of imaging system in remote sensing satellite
CN115719311A (zh) 处理图像的方法和相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14843619

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14912992

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015536437

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14843619

Country of ref document: EP

Kind code of ref document: A1