JP6452793B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP6452793B2 JP6452793B2 JP2017230520A JP2017230520A JP6452793B2 JP 6452793 B2 JP6452793 B2 JP 6452793B2 JP 2017230520 A JP2017230520 A JP 2017230520A JP 2017230520 A JP2017230520 A JP 2017230520A JP 6452793 B2 JP6452793 B2 JP 6452793B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image data
- region
- processing
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 427
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000009467 reduction Effects 0.000 claims description 163
- 238000000034 method Methods 0.000 description 126
- 239000000203 mixture Substances 0.000 description 43
- 230000015572 biosynthetic process Effects 0.000 description 34
- 238000003786 synthesis reaction Methods 0.000 description 34
- 230000000694 effects Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 23
- 239000002131 composite material Substances 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 9
- 238000011946 reduction process Methods 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Description
本発明は、画像データに含まれるノイズを低減する画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for reducing noise included in image data.
デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、CCDやCMOSセンサなどの光電荷変換素子(撮像素子)で受光した光をデジタル信号に変換することでデジタル画像データを生成する。 Digital imaging devices such as digital still cameras and digital video cameras are widely spread and are generally used. These digital imaging devices generate digital image data by converting light received by a photoelectric charge conversion device (imaging device) such as a CCD or CMOS sensor into a digital signal.
デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、及びショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮影感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像を得るためには混入したノイズを低減する必要がある。 In the process of generating digital image data, dark current noise, thermal noise, shot noise, and the like are generated due to the characteristics of the image sensor and the circuit, and the noise is mixed into the digital image data. With recent miniaturization of image sensors and higher pixel counts, the pixel pitch has been minimized, making noise more conspicuous, especially when shooting sensitivity is increased, resulting in noticeable noise and significant deterioration in image quality. It is a factor. Therefore, in order to obtain a high-quality image, it is necessary to reduce mixed noise.
従来、ノイズ周波数以下の信号成分を通すローパスフィルタを適用してノイズを低減する手法が知られている。しかしながら、ノイズ以外にエッジもぼけてしまうため高画質な画像を得ることが難しい。そこで、ノイズとエッジに関する情報を何らかの方法で判断し、適応的にノイズ低減を行う方法が数多く提案されている。 Conventionally, a technique for reducing noise by applying a low-pass filter that passes a signal component below a noise frequency is known. However, it is difficult to obtain a high-quality image because edges are blurred in addition to noise. Therefore, many methods have been proposed for determining noise and edge information by some method and adaptively reducing noise.
一般に、適応的なノイズ低減では、着目画素のノイズを低減するために、着目画素近傍の複数の画素を参照画素として選択して、それらの参照画素の適当な加重平均値により着目画素を置き換えることでノイズ低減を行う。 In general, in adaptive noise reduction, in order to reduce noise of a target pixel, a plurality of pixels near the target pixel are selected as reference pixels, and the target pixel is replaced with an appropriate weighted average value of the reference pixels. To reduce noise.
適応的なノイズ低減方法の一つとして、着目画素を含む領域(着目領域)を定め、その領域単位で着目画素と参照画素との類似度を求め、この類似度に応じた加重平均値を用いてノイズ低減を実現する方法が提案されている(特許文献1、特許文献2参照)。
As an adaptive noise reduction method, a region including the target pixel (target region) is determined, the similarity between the target pixel and the reference pixel is obtained for each region, and a weighted average value corresponding to the similarity is used. A method for realizing noise reduction has been proposed (see
しかしながら、特許文献1及び特許文献2の方法では、建物などのエッジを多く含む領域と、空などの平坦な領域とが混在する画像の場合、領域によってノイズ低減効果が異なるという問題がある。これは、着目領域の決め方によって、各参照画素の類似度が変化するためである。例えば、エッジを含む領域のノイズ低減効果が高くなるように着目領域を狭く決めると平坦領域のノイズ低減効果が低下する。一方、平坦領域のノイズ低減効果が高くなるように着目領域を広く決めるとエッジを含む領域のノイズ低減効果が低下してしまう。
However, the methods of
そこで本発明では、エッジを含む領域と平坦な領域が混在する画像データが入力された場合であっても、いずれの領域についてもノイズを低減した画像データを生成することが可能な画像処理装置及び画像処理方法を提供することを目的とする。 Therefore, in the present invention, even when image data in which a region including an edge and a flat region are mixed is input, an image processing device capable of generating image data with reduced noise in any region and An object is to provide an image processing method.
本発明に係る画像処理装置は、画像データに対してノイズ低減処理をする画像処理装置であって、前記画像データに対してノイズ低減処理をする処理手段と、前記処理手段による結果に基づいて、ノイズ低減処理された画像データを出力する出力手段とを有し、前記処理手段は、着目画素に対応する着目領域と複数の参照画素それぞれに対応する複数の参照領域とに基づいて、前記参照画素それぞれの重みを決定し、前記複数の参照画素と各参照画素に対応する重みとを用いた重み付き演算を実行し、前記出力手段は、前記着目画素のノイズ低減処理後の画素値として、第1の画素群を着目領域として設定した場合に算出される第1の値と、前記第1の画素群とは異なる画素数である第2の画素群を着目領域として設定した場合に算出される第2の値のいずれかを、前記第1の画素群と前記第2の画素群の少なくとも何れか一方を前記着目領域として設定した場合に前記着目領域と類似していると判定された参照領域に対応する参照画素の数に基づいて出力することを特徴とする。 An image processing apparatus according to the present invention is an image processing apparatus that performs noise reduction processing on image data, based on a processing unit that performs noise reduction processing on the image data, and a result of the processing unit, Output means for outputting image data that has undergone noise reduction processing, and the processing means is based on a target area corresponding to the target pixel and a plurality of reference areas corresponding to a plurality of reference pixels, respectively. Each weight is determined, a weighted operation using the plurality of reference pixels and a weight corresponding to each reference pixel is executed, and the output means outputs a pixel value after the noise reduction processing of the target pixel as a pixel value The first value calculated when one pixel group is set as the region of interest and the second value that is different from the first pixel group are calculated as the region of interest. A reference area determined to be similar to the target area when at least one of the first pixel group and the second pixel group is set as the target area. The output is based on the number of corresponding reference pixels.
本発明により、建物などのエッジを含む領域と空などの平坦な領域が混在する画像データが入力された場合であっても、いずれの領域についてもノイズを低減することが可能になる。従って、画像データに記録されている被写体によらずにノイズを低減した高画質な画像データを生成することが可能になる。 According to the present invention, it is possible to reduce noise in any region even when image data in which a region including an edge such as a building and a flat region such as the sky are mixed is input. Therefore, it is possible to generate high-quality image data with reduced noise regardless of the subject recorded in the image data.
以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
本実施例における画像処理装置のハードウェア構成の一例について、図1を参照して説明する。 An example of the hardware configuration of the image processing apparatus in this embodiment will be described with reference to FIG.
図1において、画像処理装置はCPU101、RAM102、HDD103、汎用インターフェース(I/F)104、モニタ108、及びメインバス109を備える。汎用I/F104は、カメラなどの撮像装置105や、マウス、キーボードなどの入力装置106、及びメモリーカードなどの外部メモリ107をメインバス109に接続する。
In FIG. 1, the image processing apparatus includes a
以下では、CPU101がHDD103に格納された各種ソフトウェア(コンピュータプログラム)を動作させることで実現する各種処理について述べる。
In the following, various processes realized by the
まず、CPU101はHDD103に格納されている画像処理アプリケーションを起動し、RAM102に展開するとともに、モニタ108にユーザインターフェース(UI)を表示する。続いて、HDD103や外部メモリ107に格納されている各種データ、撮像装置105で撮影された画像データ、入力装置106からの指示などがRAM102に転送される。さらに、画像処理アプリケーション内の処理に従って、RAM102に格納されているデータはCPU101からの指令に基づき各種演算される。演算結果はモニタ108に表示したり、HDD103または外部メモリ107に格納したりする。なお、HDD103や外部メモリ107に格納されている画像データがRAM102に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがRAM102に転送されてもよい。
First, the
上記の構成に於いて、CPU101からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成し、出力する処理の詳細について説明する。
In the above configuration, details of processing for generating and outputting image data with reduced noise by inputting image data to the image processing application based on a command from the
(NonLocalMeans)
まず、本実施例で説明するノイズ低減処理について説明しておく。本実施例では、NonLocalMeans手法を用いる。この手法は、ノイズ低減対象となる着目画素を含む、着目画素の周辺に存在する複数の参照画素の画素値に適応的な重みを掛け、その結果を全て加算した結果で着目画素の画素値を置き換える事でノイズを低減する。参照画素の画素数をNS、参照画素の画素値をIj(j=1〜NS)、参照画素の重みをwj(j=1〜NS)とすると、加重平均したノイズ低減処理後の着目画素の画素値Inewは次式になる。
(NonLocalMeans)
First, the noise reduction process described in the present embodiment will be described. In this embodiment, the NonLocalMeans method is used. This method multiplies the pixel values of a plurality of reference pixels that exist around the pixel of interest, including the pixel of interest that is subject to noise reduction, adaptively weights the pixel values of the pixel of interest by adding all the results. Noise is reduced by replacement. Assuming that the number of reference pixels is N S , the pixel value of the reference pixel is I j (j = 1 to N S ), and the weight of the reference pixel is w j (j = 1 to N S ), weighted average noise reduction processing The pixel value I new of the subsequent pixel of interest is as follows.
次に、参照画素の重みの決定方法について、図12及び図13を参照して説明する。 Next, a reference pixel weight determination method will be described with reference to FIGS.
図12(a)において、1201は画像データの例を示しており、左上の画素を原点として各画素の画素値をI(x、y)と表すものとする。ここで、1202は着目画素であり、その画素値はI(4、4)である。1203は着目領域であり、ノイズ低減対象となる着目画素1202を中心とした3×3画素の矩形領域である。この3×3画素の矩形領域は、着目画素を含む着目画素群とも言える。1204は参照画素であり、着目画素1202を含む5×5画素(NS=25)の矩形領域内の画素である。1205は、参照画素I(2,2)の参照領域であり、参照画素I(2,2)を中心とし、着目領域と同サイズの3×3画素の矩形領域である。この参照領域は、参照画素を含む参照画素群とも言える。尚、参照領域は参照画素毎に存在するが、ここでは参照画素I(2,2)の参照領域だけ示している。
In FIG. 12A, 1201 shows an example of image data, and the pixel value of each pixel is represented as I (x, y) with the upper left pixel as the origin. Here, 1202 is a pixel of interest, and its pixel value is I (4, 4).
参照画素I(2、2)の重みを求めるために、まず、着目領域1203と当該参照画素I(2、2)の参照領域1205とを比較して類似度を決定する。尚、類似度は所望の方法で求めてよい。例えば、図1(b)のように、着目領域1203の画素をbs(p,q)、参照領域の画素をbj(p,q)(j=1〜NS)とする。そして、着目領域1203と参照領域1205との空間的に対応する画素の差を類似度とすると、類似度Cjは次式になる。
In order to obtain the weight of the reference pixel I (2, 2), first, the similarity is determined by comparing the
類似度Cjは値が小さいほど着目領域と参照領域の類似度が高くなる。そこで、類似度に応じて、重みを決定する。重みは図13に示す関数のように類似度Cjが小さいほど重みが大きく、類似度Cjが大きいほど重みが小さくなるように決定すればよく、例えば次式で定まる。 The smaller the value of the similarity C j, the higher the similarity between the focus area and the reference area. Therefore, the weight is determined according to the degree of similarity. The weight may be determined so that the weight is larger as the similarity C j is smaller and the weight is smaller as the similarity C j is larger as in the function shown in FIG.
ここで、hは重みの大きさを制御する変数であり、hを大きくするとノイズ低減効果が高くなるが、エッジがぼける。 Here, h is a variable that controls the magnitude of the weight. Increasing h increases the noise reduction effect but blurs the edge.
以下同様に、着目領域1203と各参照画素の参照領域とを順次比較していくことで、参照画素毎の重みが得られる。
Similarly, the weight for each reference pixel can be obtained by sequentially comparing the
尚、本実施例におけるノイズ低減処理は、参照画素の重みが着目領域と参照領域の類似度とに基づいて決まる処理であればよく、類似度や重みの決定方法などはここで説明した方法に限られるものではない。 Note that the noise reduction processing in the present embodiment may be processing in which the weight of the reference pixel is determined based on the similarity between the target region and the reference region, and the method for determining the similarity and the weight is the method described here. It is not limited.
(画像処理装置の論理構成)
以下では、本実施例における画像処理について図2と図3を参照して説明する。
(Logical configuration of image processing device)
Hereinafter, image processing in the present embodiment will be described with reference to FIGS.
図2は本実施例の画像処理装置の論理構成の一例を示す模式図である。図2において、画像処理装置は、画像データ入力部201と、パラメータ入力部202と、補正処理部203と、合成処理部204と、画像データ出力部205とを有する。
FIG. 2 is a schematic diagram illustrating an example of a logical configuration of the image processing apparatus according to the present exemplary embodiment. 2, the image processing apparatus includes an image
画像データ入力部201は画像データを画像処理装置に入力する。画像データはCPU101からの指示に基づき、撮像装置105或いはHDD103や外部メモリ107から入力される。勿論、撮像装置105で撮影した画像をHDD103などの記憶装置に一旦記憶した後で入力してもかまわない。
The image
パラメータ入力部202は、画像処理に用いる複数のノイズ低減処理パラメータと合成処理パラメータとを画像処理パラメータとして画像処理装置に入力する。パラメータはCPU101からの指示に基づき、HDD103や外部メモリ107から入力される。また、ユーザインターフェイス(UI)を介し、キーボードやマウスなどの入力装置106で直接指定して入力してもかまわない。尚、パラメータの詳細については後述する。
The
補正処理部203は、CPU101からの指示に基づいて、画像データ入力部201で入力された画像データと、パラメータ入力部202で入力された複数のノイズ低減処理パラメータとを取得する。そして、ノイズ低減処理パラメータ毎に複数の補正画像データと補正画像データに対応する複数の補正パラメータとを生成する。生成した複数の補正画像データと複数の補正パラメータとはRAM102に記憶される。尚、補正画像データや補正パラメータに関する詳細は後述する。
The
合成処理部204は、CPU101からの指示に基づいて、補正処理部203で生成され、RAM102に記憶された複数の補正画像データと複数の補正パラメータとパラメータ入力部202で入力された合成処理パラメータとを取得する。合成処理部204は、取得したデータに基づいて合成画像データを生成する。生成した合成画像データはRAM102に記憶される。
Based on an instruction from the
画像データ出力部205は、合成処理部204で生成した合成画像データをモニタ108やHDD103などに出力する。尚、出力先はこれに限られるものではなく、例えば、汎用I/F104に接続した外部メモリ107や、不図示の外部サーバなどに出力してもよし、プリンタなどを接続して出力しても構わない。
The image
(メイン処理フロー)
以下では、図2で説明した画像処理装置の論理構成における各処理の詳細について、図3のフローチャートを参照して説明する。
(Main processing flow)
Hereinafter, details of each process in the logical configuration of the image processing apparatus described in FIG. 2 will be described with reference to the flowchart in FIG. 3.
ステップS301において、画像データ入力部201は画像データを入力する。
In step S301, the image
ステップS302において、パラメータ入力部202は画像処理パラメータを入力する。入力するパラメータは着目領域の異なる複数のノイズ低減処理パラメータと、合成処理パラメータである。まず、ノイズ低減処理パラメータについて説明する。式(1)から式(3)で説明したように、ノイズ低減後の画素値を求めるためには、複数の参照画素と、各参照画素の重みを算出するための着目領域とが必要になる。着目領域が決まれば、各参照画素に対応する参照領域も決まることになる。本実施例においては、ノイズ低減処理パラメータは、複数の参照画素と、着目領域とを示すパラメータである。なお、着目領域は、ある着目画素が指定された場合に、ある領域内でどの画素が参照領域との比較で用いられるかを示すパラメータである。したがって、着目領域を示すパラメータとは、着目領域として用いる画素配置、または着目領域として用いる画素を示すパラメータということもできる。
In step S302, the
参照画素は着目画素近傍の画素としてもよいし、画像全体の画素としても構わない。以下では、参照画素は着目画素を中心とする5×5画素として説明する。尚、一般に参照画素を増やすとノイズ低減効果が向上するが、処理時間も増加するため、所望の実施形態に応じて参照画素をノイズ低減処理パラメータとして入力すればよい。一方、着目領域については、領域内の画素数或いは画素配置が異なるように複数の着目領域が入力される。すなわち、本実施例では、複数のノイズ低減処理パラメータが入力され、各ノイズ低減処理パラメータは、それぞれが異なる複数の着目領域と、複数の参照画素とを示すものである。 The reference pixel may be a pixel in the vicinity of the target pixel or a pixel of the entire image. In the following description, the reference pixel is described as a 5 × 5 pixel centered on the pixel of interest. In general, when the number of reference pixels is increased, the noise reduction effect is improved. However, since the processing time is also increased, the reference pixels may be input as noise reduction processing parameters according to a desired embodiment. On the other hand, for a region of interest, a plurality of regions of interest are input so that the number of pixels or the pixel arrangement in the region are different. In other words, in the present embodiment, a plurality of noise reduction processing parameters are input, and each noise reduction processing parameter indicates a plurality of different regions of interest and a plurality of reference pixels.
ここで、図4を参照して、着目領域の例を説明する。図4は、ノイズ低減処理パラメータとして指定される着目領域と複数の参照画素とのセットが複数ある例を模式的に示している。図4は、着目画素群の各画素の位置関係が異なるパラメータを示している。図4において、黒画素が着目画素を示している。図4の各着目領域の項において、黒画素及び斜線で示す画素が着目領域を示しており、各参照画素の項において黒画素及び斜線で示す画素が参照画素を示している。このように、図4(a)から図4(f)に示すセットがノイズ低減処理パラメータの例である。図4(a)は3×3画素の着目領域a1、図4(b)は5×5画素の着目領域b1を示しており、図4(a)の着目領域a1と図4(b)の着目領域b1とでは画素数が異なる。また、図4(c)は着目画素から1画素間隔の3×3画素の着目領域c1を示している。図4(d)は着目画素から縦横に5画素ずつの着目領域d1を示している。図4(a)の着目領域a1と、図4(c)の着目領域c1と、図4(d)の着目領域d1とでは、画素数は同じであるが、着目領域の画素配置が異なる。このように、領域内の画素数または画素配置が異なる複数の着目領域をノイズ低減処理パラメータとして入力すればよい。このように複数の着目領域を示す複数のノイズ低減処理パラメータを入力することによって、例えばエッジを含む領域と平坦な領域とに対して、異なる着目領域に応じた異なるノイズ低減処理を実施することができる。 Here, an example of the region of interest will be described with reference to FIG. FIG. 4 schematically illustrates an example in which there are a plurality of sets of a region of interest specified as a noise reduction processing parameter and a plurality of reference pixels. FIG. 4 shows parameters in which the positional relationship of each pixel of the pixel group of interest is different. In FIG. 4, black pixels indicate the target pixel. In each term of attention area in FIG. 4, black pixels and pixels indicated by diagonal lines indicate attention areas, and in each reference pixel term, pixels indicated by black pixels and diagonal lines indicate reference pixels. As described above, the sets shown in FIGS. 4A to 4F are examples of noise reduction processing parameters. FIG. 4A shows a 3 × 3 pixel region of interest a1, and FIG. 4B shows a 5 × 5 pixel region of interest b1, and FIG. 4A shows the region of interest a1 and FIG. 4B. The number of pixels is different from the region of interest b1. FIG. 4C shows a 3 × 3 pixel region of interest c1 that is 1 pixel apart from the pixel of interest. FIG. 4 (d) shows a region of interest d1 of 5 pixels vertically and horizontally from the pixel of interest. The attention area a1 in FIG. 4 (a), the attention area c1 in FIG. 4 (c), and the attention area d1 in FIG. 4 (d) have the same number of pixels, but the pixel arrangement of the attention area is different. In this way, a plurality of regions of interest with different numbers of pixels or different pixel arrangements in the region may be input as noise reduction processing parameters. Thus, by inputting a plurality of noise reduction processing parameters indicating a plurality of regions of interest, for example, different noise reduction processing corresponding to different regions of interest can be performed on a region including an edge and a flat region, for example. it can.
尚、着目領域の画素配置はこれに限られるものではなく所望の配置を取って構わない。例えば、図4(e)は着目画素からのマンハッタン距離が2以下の着目領域e1を示している。図4(f)は着目画素からのユークリッド距離が√5以下の着目領域f2を示している。このように着目画素からの距離が異なる複数の着目領域を複数のノイズ低減処理パラメータとして入力しても構わない。尚、図4では着目領域及び参照画素の範囲を便宜的に正方形で示しているが、これに限られるものではなく長方形やその他の形状であっても構わない。 Note that the pixel arrangement of the region of interest is not limited to this, and a desired arrangement may be taken. For example, FIG. 4E shows a region of interest e1 in which the Manhattan distance from the pixel of interest is 2 or less. FIG. 4F shows a region of interest f2 in which the Euclidean distance from the pixel of interest is √5 or less. Thus, a plurality of regions of interest having different distances from the pixel of interest may be input as a plurality of noise reduction processing parameters. In FIG. 4, the range of the region of interest and the reference pixel is shown as a square for convenience, but is not limited to this and may be a rectangle or other shapes.
次に、合成処理パラメータについて説明する。合成処理パラメータは、合成方法の指示、補正処理部203で生成される補正パラメータに対応する閾値、または複数の補正画像データをブレンドする場合のブレンド比などである。補正パラメータとは、ノイズ低減効果の度合いを示すパラメータである。詳細は後述する。
Next, the synthesis processing parameters will be described. The compositing process parameter is an instruction of a compositing method, a threshold value corresponding to the correction parameter generated by the
以下、本実施例では3つの異なる着目領域を示す3つのノイズ低減処理パラメータと、補正パラメータに対応した2つの閾値Eth1、Eth2を示す合成処理パラメータとを入力するものとして説明する。
Hereinafter, in the present embodiment, description will be made on the assumption that three noise reduction processing parameters indicating three different regions of interest and synthesis processing parameters indicating two
ステップS303において、補正処理部203は、ステップS302で入力された複数のノイズ低減処理パラメータを参照して、ステップS301で入力された画像データから複数の補正画像データと複数の補正パラメータとを生成する。補正画像データ及び補正パラメータの生成方法の詳細については後述する。
In step S303, the
ステップS304において、合成処理部204は、ステップS302で入力された合成処理パラメータと、ステップS303で生成された複数の補正パラメータとに基づいて、ステップS303で生成された複数の補正画像データを合成する。そして、合成画像データを生成する。合成画像データの生成方法の詳細については後述する。
In step S304, the
ステップS305において、画像データ出力部205は、ステップS304で生成された合成画像データを出力する。
In step S305, the image
(補正処理)
以下では、図3で説明したステップS303の補正処理の詳細について、図5のフローチャートを参照して説明する。
(Correction process)
Hereinafter, details of the correction processing in step S303 described in FIG. 3 will be described with reference to the flowchart in FIG.
ステップS501において、補正処理部203は、ステップS301で入力された画像データを取得する。
In step S501, the
ステップS502において、補正処理部203は、ステップS302で入力された複数のノイズ低減処理パラメータを取得する。
In step S502, the
ステップS503において、補正処理部203は、ステップS502で取得した複数のノイズ低減処理パラメータから一つのノイズ低減処理パラメータを選択する。例えば、上述したように、複数の参照画素と、着目領域とを示すパラメータを含むノイズ低減処理パラメータを選択する。
In step S503, the
ステップS504において、補正処理部203は、ステップS503で選択したノイズ低減処理パラメータを用いてステップS501で取得した画像データを補正し、補正画像データを生成する。具体的には、式(1)から式(3)を各画素に順次適用すればよい。
In step S504, the
ステップS505において、補正処理部203は、画素毎の補正パラメータを生成する。画素毎の補正パラメータEiは式(3)で算出する重みwjの総和と二乗和の比を用いて次式で得られる。
In step S505, the
補正パラメータEiは値が小さいほどノイズ低減効果が高く、値が大きいほどノイズ低減効果が小さいことを示している。例えば、ノイズが低減できない、即ち着目画素以外の参照画素の重みが0の場合、Ei=1となり、着目画素以外の参照画素の重みが増えるとEi<1になる。一方、ノイズがない場合、即ち参照画素の重みが全て等しい場合、Ei=1/Nsになる。このパラメータEiは、値が大きいほど、対象画素がエッジである可能性が高いことを示すともいえる。例えば、エッジ部のように、重みが0の参照画素が含まれるような領域では補正パラメータEiは大きい値になり、平坦部のように同程度の重みの画素が多く含まれる領域では補正パラメータEiは小さい値になる。尚、補正パラメータはノイズ低減の効果を表すことができればよく、これに限られるものではない。例えば、補正前後の画素値の差や、重みが0でない参照画素の数なども補正パラメータとして利用可能である。 The correction parameter E i indicates that the smaller the value, the higher the noise reduction effect, and the larger the value, the smaller the noise reduction effect. For example, when noise cannot be reduced, that is, when the weight of the reference pixel other than the target pixel is 0, E i = 1, and when the weight of the reference pixel other than the target pixel increases, E i <1. On the other hand, when there is no noise, that is, when the weights of the reference pixels are all equal, E i = 1 / Ns. It can be said that the parameter E i indicates that the larger the value, the higher the possibility that the target pixel is an edge. For example, the correction parameter E i has a large value in a region where a reference pixel with a weight of 0 is included, such as an edge portion, and the correction parameter is included in a region where many pixels with the same weight are included, such as a flat portion. E i becomes a small value. The correction parameter is not limited to this as long as it can represent the effect of noise reduction. For example, a difference between pixel values before and after correction, the number of reference pixels whose weight is not 0, and the like can be used as correction parameters.
ステップS506において、補正処理部203は、ステップS502で取得した全てのノイズ低減処理パラメータでの補正処理が終了したかどうか判定する。補正処理部203は、終了したと判定した場合、ステップS507に移行し、終了していないと判定した場合、ステップS503に移行して未処理のパラメータを選択し、処理を継続する。
In step S506, the
ステップS507において、補正処理部203は、ステップS504とステップS505で生成した複数の補正画像データと複数の補正パラメータとを出力する。
In step S507, the
(合成処理)
以下では、図3で説明したステップS304の合成処理の詳細について、図6及び図7のフローチャートを参照して説明する。
(Synthesis processing)
In the following, details of the composition processing in step S304 described in FIG. 3 will be described with reference to the flowcharts in FIGS.
ステップS601において、合成処理部204は、ステップS303で生成された複数の補正画像データと複数の補正パラメータとを取得する。
In step S601, the
ステップS602において、合成処理部204は、ステップS302で入力された合成処理パラメータを取得する。
In step S602, the
ステップS603において、合成処理部204は、ステップS601で取得した任意の補正画像データの中の未処理の画素を選択する。あるいは、合成処理部204は、ステップS301で入力された画像データの中の未処理の画像を選択してもよい。
In step S603, the
ステップS604において、合成処理部204は、ステップS601で取得した複数の補正画像データ及び複数の補正パラメータと、ステップS602で取得した合成処理パラメータと、に基づいて、ステップS603で選択された画素の出力画素値を決定する。
In step S604, the
ここで、図7のフローチャート図を参照して3つの補正画像データを合成する方法について説明する。ステップS603で選択された画素の3つの補正画像データの画素値をそれぞれ、I1,I2,I3、各画素に対応する補正パラメータをE1,E2、E3とする。また、ステップS602で合成処理パラメータとして取得した閾値をEth1、Eth2とする。先に説明したように、補正パラメータは値が小さいほどノイズ低減効果が高く、値が大きいほどノイズ低減効果が小さいことを示している。
Here, a method of synthesizing the three corrected image data will be described with reference to the flowchart of FIG. The pixel values of the three corrected image data of the pixel selected in step S603 are I1, I2, and I3, respectively, and the correction parameters corresponding to the pixels are E1, E2, and E3. Further, the threshold values acquired as the synthesis processing parameters in step S602 are set to
ステップS701では、合成処理部204は、補正パラメータE1と閾値Eth1とを比較する。補正パラメータE1が閾値Eth1より小さい、即ち閾値で指示した値よりノイズ低減効果が高い場合はステップS702に移行して画素値I1を出力する。補正パラメータE1が閾値Eth1より大きい、即ち閾値で指示した値よりノイズ低減効果が低い場合は、合成処理部204は、ステップS703に移行する。合成処理部204は、ステップS703でも同様に補正パラメータE2と閾値Eth2とを比較して、補正パラメータE2が閾値Eth2より小さい場合はステップS704に移行して画素値I2を出力する。一方、補正パラメータE2が閾値Eth2より大きい場合は、合成処理部204は、ステップS705に移行して画素値I3を出力する。ところで、この合成方法の場合、必ずしも所望のステップS602で取得した閾値よりもノイズ低減効果の高い画素が選ばれるわけではない。例えば、補正パラメータE2の方が補正パラメータE1よりも小さい値の場合、ステップS701で補正パラメータE1が閾値Eth1より小さいと判定されてしまうと、よりノイズ低減効果の高い補正パラメータE2に対応する画素I2が出力されない。そこで、着目領域内の画素数が多い、或いは着目領域の範囲が大きいパラメータで生成した補正画像が優先的に出力されるように合成処理を行うことができる。例えば、図4(a)、図4(b)、図4(c)の3つのパラメータを用いた場合、I1は図4(b)、I2は図4(c)、I3は図4(a)で処理した結果をそれぞれ対応させることができる。
In step S701, the
尚、出力画素値の決定は合成処理パラメータに含まれる合成の指示に応じて所望の方法を用いてよい。例えば、合成処理部204は、ステップS602で選択した全ての補正パラメータE1,E2,E3を比較し、補正パラメータが最も小さい、即ちノイズ低減効果の高い補正画像データの画素値を出力画素値としても良い。また、合成処理部204は、出力画素値を選択するのではなく、補正パラメータの大きさに応じたブレンド比(合成比率)で各補正画像データの画素値を重み付けした和を出力画素値とすることも可能である。勿論、これらの出力画素値を得るために必要なパラメータはステップS602において、合成処理パラメータとして取得すればよい。さらに、本実施例では3つの補正画像データを合成する例を説明したが、合成する補正画像データは2つ以上であればよい。
Note that the output pixel value may be determined by using a desired method in accordance with a synthesis instruction included in the synthesis processing parameter. For example, the
ステップS605において、合成処理部204は、全画素の出力画素値が決定したかどうかを判定する。全画素終了していればステップS606に移行し、終了していなければステップS603に移行して処理を継続する。
In step S605, the
ステップS606において、合成処理部204は、生成した合成画像データを出力する。
In step S606, the
以上の処理により、建物などのエッジを含むエッジ領域と空などの平坦領域とが混在する画像であっても、いずれの領域についてもノイズを低減することが可能になる。従って、共通の着目領域を適用したノイズ低減処理の結果に比べて画像データに記録されている被写体によらずにノイズを低減した高画質な画像データを生成することが可能になる。 With the above processing, it is possible to reduce noise in any region even in an image in which an edge region including an edge such as a building is mixed with a flat region such as the sky. Therefore, it is possible to generate high-quality image data with reduced noise, regardless of the subject recorded in the image data, compared to the result of the noise reduction processing using a common region of interest.
実施例1では、複数のノイズ低減処理パラメータに基づいて複数の補正画像データと補正パラメータとを生成し、複数の補正画像データを合成して出力画像データを生成する方法について説明した。この方法では、多くデータを参照して合成方法を柔軟に選択することが可能である一方、複数の補正画像データや複数の補正パラメータを保持する必要があり、多くのメモリが必要となる。そこで、本実施例では画素毎に処理を行うことでメモリの使用量を減らして画像を生成する方法について説明する。なお、実施例2の画像処理装置のハードウェア構成についは、実施例1で説明したものと同様とすることができるので、説明を省略する。 In the first embodiment, a method has been described in which a plurality of corrected image data and correction parameters are generated based on a plurality of noise reduction processing parameters, and a plurality of corrected image data are combined to generate output image data. In this method, it is possible to flexibly select a synthesis method by referring to a large amount of data. On the other hand, it is necessary to store a plurality of corrected image data and a plurality of correction parameters, which requires a lot of memory. Therefore, in this embodiment, a method for generating an image by reducing the amount of memory used by performing processing for each pixel will be described. The hardware configuration of the image processing apparatus according to the second embodiment can be the same as that described in the first embodiment, and thus the description thereof is omitted.
図8は本実施例の画像処理装置の論理構成の一例を示す模式図である。本実施例の画像処理装置は、画像データ入力部801と、パラメータ入力部802と、補正処理部803と、判定部804と、画像データ出力部805とを有する。
FIG. 8 is a schematic diagram illustrating an example of a logical configuration of the image processing apparatus according to the present exemplary embodiment. The image processing apparatus according to the present exemplary embodiment includes an image
画像データ入力部801は、画像データ入力部201と同様である。
The image
パラメータ入力部802は、画像処理に用いる複数のノイズ低減処理パラメータと判定処理パラメータとを画像処理装置に入力する。パラメータはCPU101からの指示に基づき、HDD103や外部メモリ107から入力される。また、ユーザインターフェイス(UI)を介し、キーボードやマウスなどの入力装置106で直接指定して入力してもかまわない。尚、パラメータの詳細については後述する。
The
補正処理部803は、CPU101からの指示に基づいて、画像データ入力部801で入力された画像データと、パラメータ入力部802で入力されたパラメータとを取得し、画素毎の補正値と補正パラメータとを生成する。生成した補正値と補正パラメータとはRAM102に記憶される。
Based on an instruction from the
判定部804は、CPU101からの指示に基づいて、補正処理部203で生成された画素の補正値と補正パラメータと、パラメータ入力部802で入力された判定処理パラメータとを取得する。そして、補正値を出力するかどうかを補正パラメータと判定処理パラメータとに基づいて判定する。
Based on an instruction from the
画像データ出力部805は、補正処理部203で生成した補正値と判定部804での判定結果とに基づいて生成した画像データをモニタ108やHDD103などに出力する。尚、出力先はこれに限られるものではなく、例えば、汎用I/F104に接続した外部メモリ107に出力してもよい。
The image
以下では、図8で説明した画像処理装置の論理構成における各処理の詳細について、図9のフローチャートを参照して説明する。 Hereinafter, details of each process in the logical configuration of the image processing apparatus described in FIG. 8 will be described with reference to the flowchart in FIG. 9.
ステップS901において、画像データ入力部801は、画像データを入力する。
In step S901, the image
ステップS902において、パラメータ入力部802は、画像処理パラメータを入力する。入力するパラメータは着目領域の異なる複数のノイズ低減処理パラメータと判定処理パラメータとである。以下、本実施例では着目領域の異なる3つのノイズ低減処理パラメータを入力し、補正パラメータに対応した2つの閾値Eth1、Eth2を判定処理パラメータとして入力するものとして説明する。
In step S902, the
ステップS903において、補正処理部803は、ステップS901で入力された画像データから未処理の画素を選択する。
In step S903, the
ステップS904において、補正処理部803は、ステップS902で入力された複数のノイズ低減処理パラメータから一つのノイズ低減処理パラメータを選択する。尚、実施例1で説明したように、着目領域内の画素数が多い、或いは着目領域の範囲が大きいパラメータを優先的に選択するのが好適である。
In step S904, the
ステップS905において、補正処理部803は、ステップS901で選択した画素の補正値を決定する。補正値の決定方法はステップS504と同様であり、ステップS904で選択したノイズ低減処理パラメータに基づいて式(1)から式(3)を適用すればよい。
In step S905, the
ステップS906において、補正処理部803は、ステップS905の処理結果に基づき、ステップS901で選択した画素の補正パラメータを生成する。補正パラメータの生成方法はステップS505と同様であり、式(4)を用いて補正パラメータEを生成すればよい。
In step S906, the
ステップS907において、判定部804は、ステップS902で入力された全てのノイズ低減処理パラメータの適用が終了したかどうかを判定する。本実施例では、ステップS903で選択した画素に対して、ステップS902で入力された3つのノイズ低減処理パラメータの適用が終了したかどうかを判定する。判定部804は、終了したと判定した場合、ステップS909に移行し、終了していないと判定した場合、ステップS908に移行する。
In step S907, the
ステップS908において、判定部804は、ステップS906で生成された補正パラメータが、ステップS902で入力された判定処理パラメータによって決定される条件を満たすかどうか判定する。例えば、ステップS905で生成した補正パラメータをE1,ステップS902で入力された対応する閾値(判定処理パラメータ)をEth1とすると、E1<Eth1を満たすかどうか判定する。判定部804は、条件を満たすと判定した場合、ステップS909に移行し、条件を満たさないと判定した場合、ステップS904に移行して、補正処理部803に異なるパラメータを再選択させる。
In step S908, the
ステップS909において、補正処理部803は、ステップS905で決定した補正値をステップS903で選択した画素の補正値として出力する。
In step S909, the
ステップS910において、補正処理部803は、ステップS901で入力された画像データの全ての画素値の処理が終了したかどうか判定する。終了していればステップS911に移行し、終了していなければステップS903に移行して処理を継続する。
In step S910, the
ステップS911において、画像データ出力部905は、補正された画像データを出力する。
In step S911, the image
以上の処理により、画素毎に補正値と補正パラメータを生成し、補正パラメータに基づいて補正値を出力値とするかどうかを決定することが可能になる。従って、補正画像データや補正パラメータをメモリに保持しておく必要がなくなるため、メモリの消費量を減らして複数の異なるノイズ低減処理パラメータを適用した補正画像データを生成することが可能になる。 With the above processing, it is possible to generate a correction value and a correction parameter for each pixel and determine whether or not to use the correction value as an output value based on the correction parameter. Accordingly, it is not necessary to store the corrected image data and the correction parameters in the memory, so that it is possible to reduce the memory consumption and generate the corrected image data to which a plurality of different noise reduction processing parameters are applied.
実施例1及び実施例2では、ノイズ低減処理を適用した後で補正パラメータに基づいて、補正画像データを合成したり、補正パラメータを判定したりすることで出力画像データを生成する方法について説明した。ところで、エッジを含む領域と平坦な領域とを入力画像データから判別できれば、補正パラメータを用いなくともそれぞれの領域毎に異なるノイズ低減処理パラメータを適用することで、一様にノイズを低減した高画質な画像データを生成することが可能になる。そこで、本実施例では入力画像を属性ごとに領域分割し、それぞれの領域毎に異なるノイズ低減処理パラメータを適用することで出力画像データを生成する方法について説明する。 In the first embodiment and the second embodiment, the method of generating the output image data by combining the corrected image data or determining the correction parameter based on the correction parameter after applying the noise reduction processing has been described. . By the way, if the area including the edge and the flat area can be discriminated from the input image data, it is possible to uniformly reduce noise by applying different noise reduction processing parameters for each area without using correction parameters. Image data can be generated. Therefore, in this embodiment, a method for generating output image data by dividing an input image into regions for each attribute and applying different noise reduction processing parameters for each region will be described.
図10は本実施例の画像処理装置の論理構成を示す模式図である。本実施例の画像処理装置は、画像データ入力部1001と、パラメータ入力部1002と、補正処理部1003と、領域分割部1004と、画像データ出力部1005とを有する。
FIG. 10 is a schematic diagram illustrating a logical configuration of the image processing apparatus according to the present exemplary embodiment. The image processing apparatus according to the present exemplary embodiment includes an image
画像データ入力部1001は、画像データ入力部201と同様である。
The image
パラメータ入力部1002は、画像処理に用いる複数のノイズ低減処理パラメータと領域分割処理パラメータとを画像処理パラメータとして画像処理装置に入力する。パラメータはCPU101からの指示に基づき、HDD103や外部メモリ107から入力される。また、ユーザインターフェイス(UI)を介し、キーボードやマウスなどの入力装置106で直接指定して入力してもかまわない。尚、パラメータの詳細については後述する。
The
補正処理部1003は、CPU101からの指示に基づいて、画像データ入力部1001で入力された画像データとパラメータ入力部1002で入力された複数のノイズ低減処理パラメータと、領域分割部1004で生成された領域分割データとを取得する。そして、補正画像データを生成する。生成した補正画像データはRAM102に記憶される。
Based on an instruction from the
領域分割部1004は、CPU101からの指示に基づいて画像データ入力部1001で入力された画像データと、パラメータ入力部1002で入力された領域分割処理パラメータとを取得し、画像データを複数の領域に分割する。領域分割方法の詳細については後述する。生成した領域分割データはRAM102に記憶される。
The
画像データ出力部1005は、補正処理部203で生成した補正画像データをモニタ108やHDD103などに出力する。尚、出力先はこれに限られるものではなく、例えば、汎用I/F104に接続した外部メモリ107に出力してもよい。
An image
以下では、図10で説明した画像処理装置の論理構成における各処理の詳細について、図11のフローチャートを参照して説明する。以下では、実施例1における図3との重複部分の説明は省略して差異のみ説明する。 Hereinafter, details of each process in the logical configuration of the image processing apparatus described with reference to FIG. 10 will be described with reference to the flowchart of FIG. 11. In the following, description of the overlapping part with FIG. 3 in the first embodiment will be omitted, and only the difference will be described.
ステップS1101において、画像データ入力部1001は、画像データを入力する。
In step S1101, the image
ステップS1102において、パラメータ入力部1002は、画像処理パラメータを入力する。入力するパラメータは着目領域の異なる複数のノイズ低減処理パラメータと領域分割処理パラメータである。以下、本実施例では着目領域の異なる2つのノイズ低減処理パラメータを入力し、エッジ領域と平滑領域の閾値を領域分割パラメータとして入力するものとして説明する。
In step S1102, the
ステップS1103において、領域分割部1004は、ステップS1001で入力された画像データが示す画像を領域分割する。ここでは少なくとも入力画像をエッジ領域と平坦領域との2領域に分割する。領域の分割には一般的なエッジ検出方法を用いればよい。例えば、Sobalフィルタ、ラプラシアンフィルタなどを適用し、ステップS1102で領域分割パラメータとして入力された閾値に基づいて領域を分割する。勿論、分割する領域の数は2つに限られるものではなく、3つ以上の領域に分割しても構わない。このように、属性ごとに分割される領域は、周波数成分に基づいて決定された情報によって決定される。
In step S1103, the
なお、分割する領域の数に関わらず、2つ以上の異なるノイズ低減処理パラメータを用いて出力画像を生成することができれば本実施例は適用可能である。例えば、オブジェクト検出などの手法を用いて、画像中の被写体毎により細かく分類しても構わない。 Note that this embodiment is applicable as long as an output image can be generated using two or more different noise reduction processing parameters regardless of the number of regions to be divided. For example, it may be classified more finely for each subject in the image by using a method such as object detection.
ステップS1104において、補正処理部1003は、ステップS1103で分割された複数の領域の内の一つと、その領域に対応するノイズ低減処理パラメータとを選択する。ここで、エッジ領域には着目領域内の画素数が少ない、或いは着目領域の範囲が小さいパラメータを適用する。他方、エッジ領域以外の領域、例えば平坦領域には着目領域内の画素数が多い、或いは着目領域の範囲が大きいパラメータを適用するのが好適である。すなわち、画像のエッジ領域の各画素に対して第1の着目領域を適用し、画像のエッジ領域以外の領域の各画素に対して前記第1の着目領域よりも広い第2の着目領域を適用するのが好適である。
In step S1104, the
ステップS1105において、補正処理部1003は、ステップS1104で選択した領域内の未処理画素を選択する。
In step S1105, the
ステップS1106において、補正処理部1003は、ステップS1104で選択した領域に応じたノイズ低減処理パラメータを用いて、ステップS1105で選択した画素の補正値を算出する。補正値の算出方法はステップS504と同様であり、ステップS1104で選択したパラメータに基づいて式(1)から式(3)を適用すればよい。
In step S1106, the
ステップS1107において、補正処理部1003は、ステップS1104で選択した領域内の全ての画素値の補正が終了したかどうかを判定する。終了していればステップS1106に移行し、終了していなければステップS1105に移行して処理を継続する。
In step S1107, the
ステップS1108において、補正処理部1003は、ステップS1103で分割された全ての領域の処理が終了したかどうかを判定する。終了していればステップS1109に移行し、終了していなければステップS1104に移行して処理を継続する。
In step S1108, the
ステップS1109において、画像データ出力部1005は、画像データを出力する。
In step S1109, the image
以上の処理により、入力画像を複数の領域に分割して、それぞれの領域毎に異なるノイズ低減処理パラメータを適用することが可能になる。従って、画像データに記録されている被写体に依らず、一様にノイズを低減した高画質な画像データを生成することが可能になる。尚、本実施例では分割した異なる領域に、パラメータの異なるNonLocalMeans手法を適用する例を説明したが、領域毎に異なるノイズ低減手法を適用しても構わない。例えば、エッジ領域のみNonLocalMeans手法を適用し、平坦領域は平均値フィルタを適用するなども可能である。 Through the above processing, the input image can be divided into a plurality of regions, and different noise reduction processing parameters can be applied to each region. Therefore, it is possible to generate high-quality image data in which noise is uniformly reduced regardless of the subject recorded in the image data. In this embodiment, the example of applying the NonLocalMeans method with different parameters to the divided different regions has been described. However, a different noise reduction method may be applied for each region. For example, the NonLocalMeans method can be applied only to the edge region, and an average value filter can be applied to the flat region.
実施例1〜実施例3では、入力画像データに対して複数のノイズ低減処理パラメータに基づいてノイズ低減処理を適用することにより、領域毎の最適な補正画像データを生成し、それらを合成して出力画像データを生成する手法について説明した。ところで、入力画像のサイズを変更することにより、ノイズ低減処理パラメータを変更しなくても、同様の効果を得ることが可能である。すなわち、共通のノイズ低減処理パラメータを用いて異なるサイズの入力画像に対してノイズ低減処理を行うことで実施例1から3で説明したものと同等の効果を得ることが可能である。共通のノイズ低減処理パラメータとは、例えば画素数及び各画素の位置関係が一致するパラメータのことである。そこで、入力画像を解像度変換した画像を用意する。つまり、本実施例では入力画像を段階的に縮小した画像を用意し、それぞれの画像に対してノイズ低減処理を適用する。これにより、異なるサイズの入力画像間のそれぞれ対応する領域毎において最適な出力画素値を決定することができる。本実施例では、このように画像データを生成し、それらを合成して出力画像データを生成する手法について説明する。なお、実施例4の画像処理装置のハードウェア構成についは、実施例1で説明したものと同様とし、説明を省略する。 In the first to third embodiments, by applying noise reduction processing to input image data based on a plurality of noise reduction processing parameters, optimal corrected image data for each region is generated and combined. A method for generating output image data has been described. By changing the size of the input image, the same effect can be obtained without changing the noise reduction processing parameters. That is, it is possible to obtain the same effects as those described in the first to third embodiments by performing noise reduction processing on input images having different sizes using a common noise reduction processing parameter. The common noise reduction processing parameter is a parameter in which, for example, the number of pixels and the positional relationship of each pixel match. Therefore, an image obtained by converting the resolution of the input image is prepared. That is, in this embodiment, an image obtained by reducing the input image in stages is prepared, and noise reduction processing is applied to each image. As a result, an optimum output pixel value can be determined for each corresponding region between input images of different sizes. In this embodiment, a method of generating image data in this way and combining them to generate output image data will be described. Note that the hardware configuration of the image processing apparatus according to the fourth embodiment is the same as that described in the first embodiment, and a description thereof will be omitted.
図14は本実施例の画像処理装置の論理構成の一例を示す模式図である。図14において、画像処理装置は、画像データ入力部1401と、パラメータ入力部1402と、縮小処理部1403と、補正処理部1404と、拡大処理部1405と、合成処理部1406と、画像データ出力部1407とを有する。
FIG. 14 is a schematic diagram illustrating an example of a logical configuration of the image processing apparatus according to the present exemplary embodiment. 14, the image processing apparatus includes an image
画像データ入力部1401は、画像データ入力部201と同様である。
The image
パラメータ入力部1402は、画像処理に用いるノイズ低減処理パラメータと縮小条件を表す縮小パラメータとを画像処理装置に入力する。各パラメータはCPU101からの指示に基づき、HDD103や外部メモリ107から入力される。また、ユーザインターフェイス(UI)を介し、キーボードやマウスなどの入力装置106で直接指定して入力してもかまわない。本実施例では、ノイズ低減処理パラメータは、実施例1から3で説明したように複数である必要はない。尚、縮小パラメータの詳細については後述する。
The
縮小処理部1403は、CPU101からの指示に基づいて、画像データ入力部1401で入力された画像データと、パラメータ入力部1402で入力された縮小パラメータとを取得し、入力された画像の縮小画像を示す縮小画像データを生成する。生成した縮小画像データはRAM102に記憶される。縮小処理の詳細については後述する。
Based on an instruction from the
補正処理部1404は、CPU101からの指示に基づいて、画像データ入力部1401で入力された画像データと、縮小処理部1403で生成された縮小画像データと、パラメータ入力部1402で入力されたノイズ低減処理パラメータとを取得する。そして、画像データ毎に補正画像データと補正画像データに対応する補正パラメータとを生成する。すなわち、補正処理部1404においては、サイズが異なる画像毎に補正画像データと補正パラメータとが生成される。生成した複数の補正画像データと複数の補正パラメータとはRAM102に記憶される。
Based on an instruction from the
拡大処理部1405は、CPU101からの指示に基づいて、補正処理部1404で生成した各補正画像データを、それぞれ入力された画像データのサイズに戻すように拡大した拡大画像を示す拡大画像データを生成する。
Based on an instruction from the
合成処理部1406は、CPU101からの指示に基づいて、拡大処理部1405で生成された複数の補正画像データに対応する拡大画像データと複数の補正パラメータとパラメータ入力部1402で入力された合成処理パラメータとを取得する。そして、合成画像データを生成する。生成した合成画像データはRAM102に記憶される。
Based on an instruction from the
画像データ出力部1407は、画像データ出力部205と同様である。
The image
なお、本実施例では、縮小と拡大は、それぞれ1/1倍に変換すること、すなわち等倍を含むものとして説明する。 In the present embodiment, the reduction and enlargement will be described as converting to 1/1 times, that is, including the same magnification.
以下では、図14で説明した画像処理装置の論理構成における各処理の詳細について、図15のフローチャートを参照して説明する。 Hereinafter, details of each process in the logical configuration of the image processing apparatus described in FIG. 14 will be described with reference to the flowchart in FIG. 15.
また、図21は、実施例4の処理の流れを示した模式図である。 FIG. 21 is a schematic diagram showing the flow of processing in the fourth embodiment.
ステップS1501において、画像データ入力部1401は、画像データを入力する。
In step S1501, the image
ステップS1502において、パラメータ入力部1402は、画像処理パラメータを入力する。入力するパラメータは1つのノイズ低減処理パラメータと、縮小パラメータと、合成処理パラメータとである。縮小パラメータは入力画像の段階的な縮小画像の生成において、その段階数を決定できるものであれば何でもよい。もちろん具体的な倍率を与えてもよいし、例えば3段階の場合、3というパラメータ値から入力画像そのものを含む1/1、1/2、1/4を規定してもよい。合成処理パラメータは、合成方法の指示、補正処理部1404で生成される補正パラメータに対応する閾値、または複数の補正画像データをブレンドする場合のブレンド比などである。
In step S1502, the
以下、本実施例では1つのノイズ低減処理パラメータと1/1、1/2、1/4の縮小を表す3段階の縮小パラメータと、補正パラメータに対応した2つの閾値Eth1’、Eth2’を示す合成処理パラメータとを入力するものとして説明する。
Hereinafter, in this embodiment, one noise reduction processing parameter, three-stage reduction parameters representing reductions of 1/1, 1/2, and 1/4, and two
ステップ1503において、縮小処理部1403は、ステップS1502で入力された縮小パラメータに基づいて、ステップS1501で入力された画像データの縮小画像データを生成する。生成される縮小画像データの数は、縮小パラメータに応じて決定される。本実施例では、3段階の縮小パラメータが入力されるので、ステップS1503では、等倍を含む3つの縮小画像データが生成される。縮小画像データの生成についての詳細は後述する。
In step 1503, the
ステップS1504において、補正処理部1404は、ステップS1502で入力されたノイズ低減処理パラメータに基づいて、ステップS1503で生成された全ての縮小画像データの補正画像データと補正パラメータとを生成する。すなわち、本実施例では、3つの補正画像データとその補正画像データに対応する各補正パラメータとが生成される。補正画像データと補正パラメータの生成についての詳細は後述する。
In step S1504, the
ステップS1505において、拡大処理部1405は、ステップS1504で生成された全ての縮小画像データに対して、それぞれ縮小前の入力画像データのサイズに戻すように、バイリニア法で拡大処理を行い、拡大画像データを生成する。拡大画像データの生成についての詳細は後述する。
In step S1505, the
ステップS1506において、合成処理部1406は、ステップS1502で入力された合成処理パラメータと、ステップS1504で生成された補正パラメータとに基づいて、ステップS1505で生成された複数の拡大画像データを合成する。この拡大画像データは、ステップS1503で縮小された際にステップS1504で補正がされた補正画像データを拡大したものである。この複数の拡大画像データを合成して合成画像データを生成する。合成画像データの生成についての詳細は後述する。
In step S1506, the
ステップS1507において、画像データ出力部1407は、補正された画像データを出力する。
In step S1507, the image
(縮小画像データ生成処理)
以下では、図15で説明したステップS1503の縮小処理の詳細について、図16のフローチャートを参照して説明する。
(Reduced image data generation processing)
Hereinafter, details of the reduction processing in step S1503 described in FIG. 15 will be described with reference to the flowchart in FIG.
ステップS1601において、縮小処理部1403は、ステップS1501で入力された画像データを取得する。
In step S1601, the
ステップS1602において、縮小処理部1403は、ステップS1502で入力された縮小処理パラメータを取得する。
In step S1602, the
ステップS1603において、縮小処理部1403は、ステップS1602で取得した縮小処理パラメータから縮小倍率を決定する。
In step S1603, the
ステップS1604において、縮小処理部1403は、ステップS1601で取得した画像データに対して、ステップS1603で決定された倍率に縮小する処理を行う。一般に画像データを縮小する際、事前に画像データに対してローパスフィルタ処理を行わなかった上で縮小しないと折り返し雑音が発生してしまう。その結果、その折り返し雑音のパターンが最終的に出力される縮小された画像データに現れてしまう。したがって本実施例では、縮小処理を行う際には、例えば平均画素法やその他のローパスフィルタ処理を含んだアルゴリズムを用いるか、事前にローパスフィルタ処理を行った上でバイリニア法などを適用する。ローパスフィルタ処理に用いるフィルタはステップS1603で決定された縮小倍率に基づいて決定する。例えば、縮小倍率が1/2のときには、図22に示したフィルタを用いる。なお、フィルタの大きさ、係数はこれに限られるものではない。
In step S1604, the
ステップS1605において、縮小処理部1403は、縮小パラメータに基づいて全ての縮小画像データを生成したかどうかを判定する。すなわち、ステップS1602で取得した縮小パラメータに対応する全ての縮小画像データを生成したかを判定する。全ての縮小処理が終了していればステップS1606に移行し、終了していなければステップS1603に移行して処理を継続する。
In step S1605, the
ステップS1606において、縮小処理部1403は、生成した全ての縮小画像データを出力する。
In step S1606, the
(補正処理)
以下では、図15で説明したステップS1504の補正処理の詳細について、図17のフローチャートを参照して説明する。
(Correction process)
Hereinafter, details of the correction processing in step S1504 described in FIG. 15 will be described with reference to the flowchart in FIG.
ステップS1701において、補正処理部1404は、ステップS1503で生成された全ての縮小画像データを取得する。なお、本実施例では縮小画像データには等倍の画像データ、すなわちステップS1501で入力された画像データも含まれるとして説明している。縮小画像データには等倍の画像データを含まないとする場合には、ステップS1501で入力された画像データもステップS1701で取得する。つまり、本実施例では、処理対象の画像データとして、解像度変換された画像データと、入力画像の画像データとが用いられる。
In step S1701, the
ステップS1702において、補正処理部1404は、ステップS1502で入力されたノイズ低減処理パラメータを取得する。
In step S1702, the
ステップS1703において、補正処理部1404は、ステップS1702で取得した複数の画像データの中から一つの画像データを選択する。
In step S1703, the
ステップS1704において、補正処理部1404は、ステップS1702で取得したノイズ低減処理パラメータを用いてステップS1703で選択した画像データを補正し、補正画像データを生成する。具体的には式(1)から式(3)を各画素に順次適用すればよい。なお、実施例1から3と異なり、画像データの補正に用いられるノイズ低減処理パラメータはいずれの画像データに対しても共通のものである。
In step S1704, the
ステップS1705において、補正処理部1404は、画素毎の補正パラメータを生成する。補正パラメータEiは式(3)で算出する重みwjの総和と二乗和の比を用いて式(4)で得られる。
In step S1705, the
ステップS1706において、補正処理部1404は、ステップS1701で取得した全ての画像データに対して補正処理を行ったかどうかを判定する。全ての画像データに対して補正処理が終了していればステップS1707に移行し、終了していなければステップS1703に移行して、未選択の画像データを選択して処理を継続する。
In step S1706, the
ステップS1707において、補正処理部1404は、ステップS1704で生成した複数の補正画像データとステップS1705で生成した、複数の補正画像データに対応する各補正パラメータとを出力する。
In step S1707, the
(拡大処理)
以下では、図15で説明したステップS1505の拡大処理の詳細について、図18のフローチャートを参照して説明する。
(Enlargement processing)
Hereinafter, the details of the enlargement process in step S1505 described with reference to FIG. 15 will be described with reference to the flowchart of FIG.
ステップS1801において、拡大処理部1405は、ステップS1504で生成された全ての補正画像データを取得する。すなわち、拡大処理部1405は補正処理が施された全ての縮小画像データを取得する。
In step S1801, the
ステップS1802において、拡大処理部1405は、ステップS1502で入力された縮小処理パラメータを取得する。
In step S1802, the
ステップS1803において、拡大処理部1405は、ステップS1801で取得した複数の画像データから一つの画像データを選択する。
In step S1803, the
ステップS1804において、拡大処理部1405は、ステップS1802で取得した縮小処理パラメータを用いて、ステップS1803で選択した画像データに対する拡大倍率を決定する。拡大倍率は、選択した縮小画像を入力画像のサイズに戻す倍率である。したがって、拡大倍率は、縮小処理パラメータを用いずに、入力画像データに基づいて決定することも可能である。
In step S1804, the
ステップS1805において、拡大処理部1405は、選択した画像データに対してバイリニア法で拡大処理を行い、拡大画像データを生成する。なお、拡大処理の方法は、バイリニア法に限らず、例えばニアレストネイバー法、バイキュービック法、Lanczos法などを用いてもよい。
In step S1805, the
ステップS1806において、拡大処理部1405は、ステップS1801で取得した全ての縮小画像データに対して拡大処理を行ったかどうかを判定する。全ての縮小画像データに対する拡大処理が終了していればステップS1807に移行し、終了していなければステップS1803に移行して処理を継続する。
In step S1806, the
ステップS1807において、拡大処理部1405は、ステップS1805で生成した全ての拡大画像データを出力する。
In step S1807, the
(合成処理)
以下では、図15で説明したステップS1506の合成処理の詳細について、図19のフローチャートを参照して説明する。
(Synthesis processing)
Hereinafter, details of the composition processing in step S1506 described with reference to FIG. 15 will be described with reference to the flowchart of FIG.
ステップS1901において、合成処理部1406は、ステップS1505で生成された拡大画像データとステップS1504で生成された、各拡大画像データに対応する補正パラメータとを取得する。なお、補正パラメータは、縮小画像の各画素に対して生成されているものである。したがって、拡大画像データの元となる縮小画像の画素に対する補正パラメータを、その拡大画像の対応する画素の補正パラメータとして用いる。例えば、1/4倍の縮小画像の画素(x,y)において補正パラメータがExであるとすると、4倍に拡大した拡大画像においてその画素(x,y)に対応する4つの画素の補正パラメータもExとして扱う。
In step S1901, the
ステップS1902において、合成処理部1406は、ステップS1502で入力された合成処理パラメータを取得する。
In step S1902, the
ステップS1903において、合成処理部1406は、ステップS1901で取得した任意の拡大画像データの中の未処理の画素を選択する。あるいは、合成処理部1406は、ステップS1501で入力された画像データの中の未処理の画像を選択してもよい。
In step S1903, the
ステップS1904において、合成処理部1406は、ステップS1903で選択された画素の出力画素値を決定する。すなわち、合成処理部1406は、ステップS1901で取得した複数の拡大画像データ及び各拡大画像データに対応する補正パラメータと、ステップS1902で取得した合成処理パラメータとに基づいて、選択された画素の出力画素値を決定する。
In step S1904, the
ここで、図20のフローチャート図を参照して3つの補正画像データを合成する方法について説明する。ステップS1903で選択された画素の3つの拡大画像データの画素値をそれぞれ縮小倍率の小さい順に、I1’,I2’,I3’、各拡大画像データの各画素に対応する補正パラメータをE1’,E2’、E3’とする。なお、I1’、E1’は縮小倍率が1/1、つまり縮小処理を行っていないときの結果とする。また、ステップS1902で合成処理パラメータとして取得した閾値をEth1’、Eth2’ とする。先に説明したように、補正パラメータは値が小さいほどノイズ低減効果が高く、値が大きいほどノイズ低減効果が小さいことを示している。
Here, a method of synthesizing the three corrected image data will be described with reference to the flowchart of FIG. The pixel values of the three enlarged image data of the pixel selected in step S1903 are set to I1 ′, I2 ′, I3 ′, and the correction parameters corresponding to the pixels of each enlarged image data in the order of decreasing magnification, respectively, E1 ′, E2. Let ', E3'. Note that I1 ′ and E1 ′ are the results when the reduction ratio is 1/1, that is, when the reduction process is not performed. Further, the threshold values acquired as the synthesis processing parameters in step S1902 are
ステップS2001では、合成処理部1406は、補正パラメータE3’と閾値Eth2’とを比較する。すなわち、縮小倍率の大きい縮小画像で得られた補正パラメータE3’と閾値Eth2’とを比較する。補正パラメータE3’が閾値Eth2’より小さい、即ち閾値で指示した値よりノイズ低減効果が高い場合はステップS2002に移行して画素値I3’を出力する。補正パラメータE3’が閾値Eth2’より大きい、即ち閾値で指示した値よりノイズ低減効果が低い場合は、合成処理部1406は、ステップS2003に移行する。合成処理部1406は、ステップS2003でも同様に補正パラメータE2’と閾値Eth1’とを比較して、補正パラメータE2’が閾値Eth1’より小さい場合はステップS2004に移行して画素値I2’を出力する。一方、補正パラメータE2’が閾値Eth1’より大きい場合は、合成処理部1406は、ステップS2005に移行して画素値I1’を出力する。尚、出力画素値の決定は合成処理パラメータに含まれる合成の指示に応じて所望の方法を用いてよい。例えば、合成処理部1406は、ノイズ低減効果の高い補正画像データの画素値を出力画素値としても良い。ただし、縮小した画像の方がローパスフィルタ処理を行っている分、ノイズが小さいことを考慮する必要がある。なお、本実施例では3つの補正画像データを合成する例を説明したが、合成する補正画像データは2つ以上であればよい。
In step S2001, the
ステップS1905において、合成処理部1406は、全画素の出力画素値が決定したかどうかを判定する。全画素終了していればステップS1906に移行し、終了していなければステップS1903に移行して処理を継続する。
In step S1905, the
ステップS1906において、合成処理部1406は、生成した合成画像データを出力する。
In step S1906, the
以上の処理により、ノイズ低減処理パラメータを変更せずに、実施例1と同様の補正画像データを生成することが可能になる。これは、画像を縮小することによって、着目領域として用いる画素配置、または着目領域として用いる画素を相対的に拡大していることになるからである。例えば、ベタ領域の部分については縮小画像に対して得られる補正画像データを出力画素値として用い、それ以外の部分については入力画像に対して得られる補正画像データを出力画素値として用いることができる。 Through the above processing, it is possible to generate the same corrected image data as in the first embodiment without changing the noise reduction processing parameters. This is because the pixel arrangement used as the region of interest or the pixels used as the region of interest are relatively enlarged by reducing the image. For example, the corrected image data obtained for the reduced image can be used as the output pixel value for the solid area portion, and the corrected image data obtained for the input image can be used as the output pixel value for the other portions. .
実施例4では、入力画像のサイズを変更した複数の画像データを用いることにより、一つのノイズ低減処理パラメータから各領域毎の最適な補正画像データを生成し、合成処理において出力画素値を選択する手法を示した。しかし、実施例1と同様に、補正パラメータの大きさに応じたブレンド比(合成比率)で各補正画像データの画素値を重み付けした和を出力画素値とすることも可能である。その際、実施例4とは拡大処理と合成処理の方法が異なる。そこで、本実施例では、入力画像を段階的に縮小した画像データを用意し、それぞれの画像データに対してノイズ低減処理を適用する。そして、各領域毎の最適な画像データを生成し、それらを補正パラメータの大きさに応じたブレンド比(合成比率)合成して出力画像データを生成する手法について説明する。なお、実施例5の画像処理装置のハードウェア構成についは、実施例1で説明したものと同様とし、説明を省略する。 In the fourth embodiment, by using a plurality of image data whose input image size is changed, optimal corrected image data for each region is generated from one noise reduction processing parameter, and an output pixel value is selected in the synthesis processing. The method was shown. However, as in the first embodiment, the output pixel value may be a sum obtained by weighting the pixel values of each corrected image data with a blend ratio (combination ratio) corresponding to the magnitude of the correction parameter. At this time, the enlargement process and the composition process are different from those in the fourth embodiment. Therefore, in this embodiment, image data obtained by reducing the input image in stages is prepared, and noise reduction processing is applied to each image data. A method of generating optimum image data for each region and generating output image data by combining them with a blend ratio (combination ratio) corresponding to the magnitude of the correction parameter will be described. Note that the hardware configuration of the image processing apparatus according to the fifth embodiment is the same as that described in the first embodiment, and a description thereof will be omitted.
図23は本実施例の画像処理装置の論理構成の一例を示す模式図である。図23において、画像処理装置は、画像データ入力部1401と、パラメータ入力部1402と、縮小処理部1403と、補正処理部1404と、拡大合成処理部2301と、画像データ出力部1407とを有する。実施例4と比較して、拡大処理部1405と合成処理部1406とが拡大合成処理部2301に置き換わっている。
FIG. 23 is a schematic diagram illustrating an example of a logical configuration of the image processing apparatus according to the present exemplary embodiment. In FIG. 23, the image processing apparatus includes an image
拡大合成処理部2301は、CPU101からの指示に基づいて、補正処理部1404で生成した全ての補正画像データと、補正画像データに対応する補正パラメータとを取得し、合成画像データを生成する。生成した合成画像データはRAM102に記憶される。
Based on an instruction from the
以下では、図23で説明した画像処理装置の論理構成における各処理の詳細について、図24のフローチャートを参照して説明する。 Hereinafter, details of each process in the logical configuration of the image processing apparatus described with reference to FIG. 23 will be described with reference to a flowchart of FIG.
ステップS2401〜ステップS2404は、ステップS1501〜ステップS1504に等しい。 Steps S2401 to S2404 are equal to steps S1501 to S1504.
ステップS2405において、拡大合成処理部2301は、補正処理部1404で生成した全ての補正画像データと補正画像データに対応する補正パラメータとを取得する。この補正画像データは、ステップS2403で縮小処理がされた縮小画像データである。そして拡大合成処理部2301は、小さいサイズの画像から順に拡大処理と合成処理を繰り返して、最終的な合成画像データを生成する。拡大合成処理の詳細については後述する。
In step S2405, the enlargement /
ステップS2406は、ステップS1507に等しい。 Step S2406 is equivalent to step S1507.
(拡大合成処理の詳細)
以下では、図24で説明したステップS2405の拡大合成処理の詳細について、図25のフローチャートを参照して説明する。図26は実施例5の処理の流れを示した模式図である。
(Details of the enlargement process)
In the following, details of the enlargement / synthesis processing in step S2405 described with reference to FIG. 24 will be described with reference to the flowchart of FIG. FIG. 26 is a schematic diagram showing the flow of processing in the fifth embodiment.
ステップS2501において、拡大合成処理部2301は、ステップS2404で生成された全ての補正画像データと、補正画像データに対応する補正パラメータとを取得する。
In step S2501, the enlargement /
ステップS2502において、拡大合成処理部2301は、ステップS2402で入力された縮小処理パラメータと合成処理パラメータとを取得する。
In step S2502, the enlargement /
ステップS2503において、拡大合成処理部2301は、ステップS2501で取得した複数の画像データから未処理の画像データの中で最も小さいサイズの一つの画像データを選択する。
In step S2503, the enlargement /
ステップS2504において、拡大合成処理部2301は、ステップS2502で取得した縮小処理パラメータを用いて、ステップS2503で選択した縮小画像に対する拡大倍率を決定する。ステップS2504で決定される拡大倍率は、ステップS2503で選択した縮小画像をステップS2501で取得した補正画像データの中でステップS2503で選択した縮小画像の次に大きい画像サイズに戻す倍率である。したがって、拡大倍率は、縮小処理パラメータを用いずに、ステップS2501で取得した補正画像データを用いて決定することも可能である。
In step S2504, the enlargement /
ステップS2505において、拡大合成処理部2301は、ステップS2503で選択した縮小画像に対してバイリニア法で拡大処理を行い、拡大画像データを生成する。なお、拡大処理の方法は、バイリニア法に限らず、例えばニアレストネイバー法、バイキュービック法、Lanczos法などを用いてもよい。
In step S2505, the enlargement /
ステップS2506において、拡大合成処理部2301は、ステップS2505で生成された拡大画像データの未処理の画素を選択する。
In step S2506, the enlargement /
ステップS2507において、拡大合成処理部2301は、2つの画像データにおける対象画素を合成する。すなわち、拡大合成処理部2301は、ステップS2505で生成された拡大画像データと、ステップS2501で取得した補正画像データの中でステップS2503で選択した縮小画像より一段階大きい画像データとを取得する。そして取得した2つの画像データにおける対象画素を合成する。ここで、ステップS2501で取得した補正画像データの中でステップS2503で選択した縮小画像より一段階大きい画像データは、つまりはステップS2505で生成された拡大画像データと同サイズの画像データのことである。合成結果は、合成に使用した2つの画像データのうち、ステップS2503で選択した画像データより一段階大きい補正画像データに保存される。つまり、ステップS2501で取得した補正画像データはここで更新されることになる。尚、合成による出力画素値の決定は、合成処理パラメータに含まれる合成の指示に応じて所望の方法を用いてよい。例えば、補正パラメータの大きさに応じたブレンド比(合成比率)で2つの補正画像データの画素値を重み付けした和を出力画素値とすることなどが考えられる。具体的には、補正パラメータが小さいときノイズ低減効果が高いため、例えばノイズ低減効果の高い画素の重みを大きくするように、補正パラメータの逆数で重み付けすることなどが考えられる。勿論、これらの出力画素値を得るために必要なパラメータはステップS2502において、合成処理パラメータとして取得すればよい。
In step S2507, the enlargement /
ステップS2508において、拡大合成処理部2301は、ステップS2503で選択された画像データの全画素の出力画素値が決定したかどうかを判定する。全画素終了していればステップS2509に移行し、終了していなければステップS2506に移行して処理を継続する。このように、拡大合成処理部2301はサイズの小さい第1の補正画像を第1の補正画像の次にサイズの小さい第2の補正画像に拡大した拡大画像と、第2の補正画像とを合成して第2の補正画像データを更新する。
In step S2508, the enlargement /
ステップS2509において、拡大合成処理部2301は、ステップS2501で取得した補正画像データの中で、入力画像データの補正画像データを除く全ての補正画像データに対して拡大合成処理を行ったかどうかを判定する。サイズの小さい画像順に処理を行っていくため、ステップS2505で生成された拡大画像データのサイズが入力画像と同じであるかどうか判定してもよい。入力画像データの補正画像データを除く全ての補正画像データに対して拡大合成処理が終了していればステップS2510に移行し、終了していなければステップS2503に移行して処理を継続する。
In step S2509, the enlargement /
ステップS2510において、拡大合成処理部2301は、合成した画像データを出力する。
In step S2510, the enlargement /
以上の処理により、入力画像のサイズを変更した複数の画像を用いて、各領域毎の最適な補正画像データを生成し、それらをブレンドした合成画像を出力することが可能になる。 With the above processing, it is possible to generate optimum corrected image data for each region using a plurality of images whose input image size has been changed, and output a composite image obtained by blending them.
実施例1では、複数のノイズ低減処理パラメータを入力画像データに対して順次適用する補正処理について説明したが、並列処理することも可能である。そこで、本実施例では実施例1で説明した補正処理の並列処理について説明する。尚、本実施例では2つの異なるノイズ低減処理パラメータを用いるとして説明する以外は実施例1と同様であるため、実施例1との差異のみ説明する。
図27は本実施例の画像処理装置の論理構成の一例を示す模式図である。図27において、画像処理装置は、画像データ入力部2701と、パラメータ入力部2702と、第一の補正処理部2703と、合成処理部2704と、画像データ出力部2705と、第二の補正処理部2706とを有する。補正処理部を2つ有する以外は実施例1と同様である。第一の補正処理部2703および第二の補正処理部2706は、ノイズ低減処理パラメータのうち、着目画素と参照画素との類似度を決定するための着目画素群が異なるパラメータが設定されている。より具体的には、第一の補正処理部2703と第二の補正処理部2706それぞれにおいて設定される着目画素群は、少なくとも画素数または画素配置が異なっている。ここで、図27で説明した画像処理装置の論理構成における各処理の詳細は図3で説明した処理とほぼ同様であり、実施例1と異なるステップS303の補正処理のみ、図28のフローチャートを参照して説明する。尚、図29はデータフローを示した模式図である。
ステップS2801において第一の補正処理部2703及び第二の補正処理部2706は、ステップS301で入力された画像データを取得する。
ステップS2802において第一の補正処理部2703及び第二の補正処理部2706は、ステップS302で入力されたそれぞれ異なるノイズ低減処理パラメータを取得する。
ステップS2803において第一の補正処理部2703は、ステップS2802で取得した複数のノイズ低減処理パラメータのうち1つのパラメータで入力画像データを補正し、第1の補正画像データを生成する。
ステップS2804において第一の補正処理部2703は、第1の補正パラメータを導出する。
ステップS2805において第二の補正処理部2706は、ステップS2802で取得した複数のノイズ低減処理パラメータのうち、ステップS2803とは着目画素群が異なるパラメータで入力画像データを補正し、第2の補正画像データを生成する。
ステップS2806において第二の補正処理部2706は、第2の補正パラメータを導出する。
尚、ステップS2803及びステップS2804と、ステップS2805及びステップS2806とは並列に処理する。
ステップS2807において第一の補正処理部2703及び第二の補正処理部2704は、ステップS2803からステップS2806で導出した第1の補正画像データ、第1の補正パラメータ、第2の補正画像データ、及び第2の補正パラメータを出力する。
以上の処理により、複数のノイズ低減処理パラメータによる入力画像データの補正処理を並列処理することで高速化が可能になる。尚、入力するノイズ低減処理パラメータが3以上の場合は、図27で説明した補正処理部をノイズ低減処理パラメータの数だけ用意し、図28のステップS2803からステップS2806で説明した説明した並列処理数を増やせばよい。また、本実施例では、実施例1の並列処理について説明したが、同様の並列処理は他の実施例にも適用可能である。
In the first embodiment, correction processing for sequentially applying a plurality of noise reduction processing parameters to input image data has been described. However, parallel processing can also be performed. Therefore, in this embodiment, parallel processing of correction processing described in
FIG. 27 is a schematic diagram illustrating an example of a logical configuration of the image processing apparatus according to the present exemplary embodiment. In FIG. 27, the image processing apparatus includes an image
In step S2801, the first
In step S2802, the first
In step S2803, the first
In step S2804, the first
In step S2805, the second
In step S2806, the second
Note that steps S2803 and S2804 and steps S2805 and S2806 are processed in parallel.
In step S2807, the first
With the above processing, it is possible to increase the speed by performing parallel correction processing of input image data using a plurality of noise reduction processing parameters. When the input noise reduction processing parameter is 3 or more, the correction processing units described in FIG. 27 are prepared for the number of noise reduction processing parameters, and the number of parallel processings described in steps S2803 to S2806 in FIG. You can increase it. In the present embodiment, the parallel processing of the first embodiment has been described, but the same parallel processing can be applied to other embodiments.
<その他の実施例>
実施例1から実施例6では、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成する例を説明したが、撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。
<Other examples>
In the first to sixth embodiments, the example in which the image data is input to the image processing application and the image data with reduced noise is generated has been described. However, the image processing in the imaging device is performed on the image data captured by the imaging device. A method of processing on hardware may be used. Further, the image data may be processed on the server device by transmitting the image data from the client device to the image processing application on the server device.
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (15)
前記画像データに対してノイズ低減処理をする処理手段と、
前記処理手段による結果に基づいて、ノイズ低減処理された出力画像データを出力する出力手段とを有し、
前記処理手段は、着目画素に対応する着目領域と複数の参照画素それぞれに対応する複数の参照領域とに基づいて、前記参照画素それぞれの重みを決定し、前記複数の参照画素と各参照画素に対応する重みとを用いた重み付き演算を実行し、
前記出力手段は、前記着目画素のノイズ低減処理後の画素値として、第1の画素群を着目領域として設定した場合に算出される第1の値と、前記第1の画素群とは異なる画素数である第2の画素群を着目領域として設定した場合に算出される第2の値のいずれかを、前記第1の画素群と前記第2の画素群の少なくとも何れか一方を前記着目領域として設定した場合に前記着目領域と類似していると判定された参照領域に対応する参照画素の数に基づいて出力することを特徴とする画像処理装置。 An image processing apparatus that performs noise reduction processing on image data,
Processing means for performing noise reduction processing on the image data;
Output means for outputting output image data subjected to noise reduction processing based on the result of the processing means;
The processing means determines a weight for each of the reference pixels based on a region of interest corresponding to the pixel of interest and a plurality of reference regions corresponding to each of the plurality of reference pixels, and assigns a weight to each of the plurality of reference pixels and each reference pixel. Perform a weighted operation using the corresponding weights,
The output means is a pixel different from the first pixel group and a first value calculated when the first pixel group is set as a target region as a pixel value after noise reduction processing of the target pixel. Any one of the second values calculated when the second pixel group that is a number is set as the region of interest, and at least one of the first pixel group and the second pixel group is the region of interest. An image processing apparatus that outputs the reference pixel based on the number of reference pixels corresponding to a reference region determined to be similar to the region of interest.
前記処理手段は、エッジ領域に対しては前記第1のパラメータを選択することにより前記第1の値を前記着目画素のノイズ低減処理後の画素値とし、エッジ領域ではない領域に対しては前記第2のパラメータを選択することにより前記第2の値を前記着目画素のノイズ低減処理後の画素値とすることを特徴とする請求項3に記載の画像処理装置。 Further, the image data is divided into a plurality of regions, and a determination unit that determines whether each of the plurality of regions is an edge region,
The processing means selects the first parameter for the edge region to set the first value as a pixel value after the noise reduction processing of the pixel of interest, and for the region that is not the edge region, 4. The image processing apparatus according to claim 3, wherein the second value is set as a pixel value after noise reduction processing of the target pixel by selecting a second parameter.
前記画像データに対してノイズ低減処理をする処理ステップと、
前記処理ステップによる結果に基づいて、ノイズ低減処理された画像データを出力する出力ステップとを含み、
前記処理ステップは、着目画素に対応する着目領域と複数の参照画素それぞれに対応する複数の参照領域とに基づいて、前記参照画素それぞれの重みを決定し、前記複数の参照画素と各参照画素に対応する重みとを用いた重み付き演算を実行するステップを含み、
前記出力ステップは、前記着目画素のノイズ低減処理後の画素値として、第1の画素群を着目領域として設定した場合に算出される第1の値と、前記第1の画素群とは異なる画素数である第2の画素群を着目領域として設定した場合に算出される第2の値のいずれかを、前記第1の画素群と前記第2の画素群の少なくとも何れか一方を前記着目領域として設定した場合に前記着目領域と類似していると判定された参照領域に対応する参照画素の数に基づいて出力するステップを含むことを特徴とする画像処理方法。 An image processing method for performing noise reduction processing on image data,
A processing step of performing noise reduction processing on the image data;
An output step of outputting image data subjected to noise reduction processing based on a result of the processing step;
The processing step determines a weight of each of the reference pixels based on a region of interest corresponding to the pixel of interest and a plurality of reference regions corresponding to each of the plurality of reference pixels, and assigns a weight to each of the plurality of reference pixels and each reference pixel. Performing a weighted operation using corresponding weights,
In the output step, the first value calculated when the first pixel group is set as the target region as the pixel value after the noise reduction processing of the target pixel is different from the first pixel group. Any one of the second values calculated when the second pixel group that is a number is set as the region of interest, and at least one of the first pixel group and the second pixel group is the region of interest. And an output step based on the number of reference pixels corresponding to a reference area determined to be similar to the target area.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012235851 | 2012-10-25 | ||
JP2012235851 | 2012-10-25 | ||
JP2013143746 | 2013-07-09 | ||
JP2013143746 | 2013-07-09 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013208154A Division JP6253331B2 (en) | 2012-10-25 | 2013-10-03 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018032447A JP2018032447A (en) | 2018-03-01 |
JP6452793B2 true JP6452793B2 (en) | 2019-01-16 |
Family
ID=61303064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017230520A Active JP6452793B2 (en) | 2012-10-25 | 2017-11-30 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6452793B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006018389A (en) * | 2004-06-30 | 2006-01-19 | Canon Inc | Image corresponding point extraction method, image corresponding point extraction device and storage medium |
JP4993615B2 (en) * | 2008-03-05 | 2012-08-08 | Kddi株式会社 | Image recognition method and apparatus |
JP5291133B2 (en) * | 2011-03-09 | 2013-09-18 | 日本電信電話株式会社 | Image processing method, image processing apparatus, video encoding / decoding method, video encoding / decoding apparatus, and programs thereof |
-
2017
- 2017-11-30 JP JP2017230520A patent/JP6452793B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018032447A (en) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6253331B2 (en) | Image processing apparatus and image processing method | |
Haut et al. | Remote sensing single-image superresolution based on a deep compendium model | |
US10311547B2 (en) | Image upscaling system, training method thereof, and image upscaling method | |
US8363985B2 (en) | Image generation method and apparatus, program therefor, and storage medium which stores the program | |
JP2014071207A (en) | Image processing apparatus, imaging system, and image processing system | |
JP2020129276A (en) | Image processing device, image processing method, and program | |
JP2007000205A (en) | Image processing apparatus, image processing method, and image processing program | |
JP2015232869A (en) | Image processor, image processing method and image processing program | |
JP6332951B2 (en) | Image processing apparatus, image processing method, and program | |
US8743419B2 (en) | Image processing apparatus and method converting low-resolution image to high-resolution using signal value patterns | |
JP2019027890A (en) | Structure inspection system, structure inspection device, and structure inspection method | |
JP6452793B2 (en) | Image processing apparatus and image processing method | |
JP6957665B2 (en) | Image processing equipment, image processing methods and programs | |
JP5892592B2 (en) | Super-resolution image processing apparatus and code book creation apparatus for super-resolution image processing | |
JP2016213578A (en) | Image processing apparatus, imaging device, image processing method, program | |
JP7005280B2 (en) | Image processing equipment, image processing methods and programs | |
WO2014077024A1 (en) | Image processing device, image processing method and image processing program | |
KR102470242B1 (en) | Image processing device, image processing method and program | |
KR20210098398A (en) | Method and apparatus for upscaling image | |
JP2018180964A (en) | Image processing apparatus and image processing method | |
CN112365398A (en) | Super-resolution network training method, digital zooming method, device and electronic equipment | |
JP2012247897A (en) | Image processing apparatus and method of processing image | |
JP2005293265A (en) | Image processing device, and method | |
JP6031566B1 (en) | Feature extraction device, image search device, method, and program | |
JP6902425B2 (en) | Color information magnifiers and color information estimators, and their programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181211 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6452793 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |