JP5013932B2 - Noise reduction device, noise reduction method, and electronic device - Google Patents
Noise reduction device, noise reduction method, and electronic device Download PDFInfo
- Publication number
- JP5013932B2 JP5013932B2 JP2007097745A JP2007097745A JP5013932B2 JP 5013932 B2 JP5013932 B2 JP 5013932B2 JP 2007097745 A JP2007097745 A JP 2007097745A JP 2007097745 A JP2007097745 A JP 2007097745A JP 5013932 B2 JP5013932 B2 JP 5013932B2
- Authority
- JP
- Japan
- Prior art keywords
- noise reduction
- signal
- dimensional
- dimensional noise
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009467 reduction Effects 0.000 title claims description 312
- 238000000034 method Methods 0.000 title claims description 39
- 238000001514 detection method Methods 0.000 claims description 111
- 238000011946 reduction process Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 31
- 238000003786 synthesis reaction Methods 0.000 description 31
- 238000004364 calculation method Methods 0.000 description 24
- 230000000694 effects Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 19
- 230000006835 compression Effects 0.000 description 15
- 238000007906 compression Methods 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 11
- 230000006837 decompression Effects 0.000 description 8
- 239000006185 dispersion Substances 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
本発明は、複数のフレームによって構成される動画像のノイズを低減するノイズ低減装置及びノイズ低減方法に関するもので、特に、2次元ノイズ低減処理及び3次元ノイズ低減処理を併用してノイズを低減するノイズ低減装置及びノイズ低減方法に関する。また、本発明は、このノイズ低減装置を備えた電子機器に関する。 The present invention relates to a noise reduction device and a noise reduction method for reducing noise of a moving image composed of a plurality of frames, and in particular, reduces noise by using two-dimensional noise reduction processing and three-dimensional noise reduction processing together. The present invention relates to a noise reduction device and a noise reduction method. The present invention also relates to an electronic apparatus provided with the noise reduction device.
近年、各種デジタル技術の発展に伴い、CCD(Charge Coupled Device)やCMOS(Complimentary Metal Oxide Semiconductor)センサなどの固体撮像素子によってデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が広く普及しつつある。そして、このような撮像装置や表示装置における、複数のフレームによって構成される動画像のノイズを低減するための、各種のノイズ低減技術が提案されている。 In recent years, with the development of various digital technologies, imaging devices such as digital cameras and digital videos that take digital images with solid-state imaging devices such as CCD (Charge Coupled Device) and CMOS (Complimentary Metal Oxide Semiconductor) sensors, and digital images Display devices such as liquid crystal displays and plasma televisions for displaying are becoming widespread. Various noise reduction techniques for reducing noise of moving images composed of a plurality of frames in such an imaging apparatus and display apparatus have been proposed.
このノイズ低減技術の代表的なものとしては、空間的なローパスフィルタを作用させることによってノイズを低減しようとする2次元ノイズ低減処理と、時間的に連続する2つのフレームの信号を加算することによって時間的なローパスフィルタを作用させ、ノイズを低減しようとする3次元ノイズ低減処理とが挙げられる。 As a typical example of this noise reduction technique, a two-dimensional noise reduction process for reducing noise by applying a spatial low-pass filter and a signal of two temporally continuous frames are added. There is a three-dimensional noise reduction process in which a temporal low-pass filter is applied to reduce noise.
ここで、以前より知られている、2次元ノイズ低減処理と、3次元ノイズ低減処理とを併用したノイズ低減装置について、図面を用いて説明する。図16は、以前より知られている、2次元ノイズ低減処理と、3次元ノイズ低減処理とを併用したノイズ低減装置90の概略の構成を示すブロック図である。ノイズ低減装置90は、入力信号に対して3次元ノイズ低減処理を施し、得られた3次元ノイズ低減後信号を重み付け加算部93に出力する3次元ノイズ低減処理部91と;入力信号に対して2次元ノイズ低減処理を施し、得られた2次元ノイズ低減後信号を重み付け加算部93に出力する2次元ノイズ低減処理部92と;3次元ノイズ低減処理部91より入力された3次元ノイズ低減後信号と、2次元ノイズ低減処理部92より入力された2次元ノイズ低減後信号とを、所定の重み係数によって重み付け加算し、得られたノイズ低減後信号を後段に出力する重み付け加算部93と;を有している。
Here, a noise reduction apparatus that uses both a two-dimensional noise reduction process and a three-dimensional noise reduction process that have been known for a long time will be described with reference to the drawings. FIG. 16 is a block diagram showing a schematic configuration of a
ここで、重み付け加算部93で用いられる所定の重み係数は、各画素の動き量、つまり、各画素の連続する2フレーム間の信号値の差分によって決定されるのが一般的であり、多くの場合、動き量が小さい画素については3次元ノイズ低減処理部91の影響が大きくなるような重み付けがなされ、動き量が大きい画素については、2次元ノイズ低減処理部92の影響が大きくなるような重み付けがなされる。
Here, the predetermined weighting coefficient used in the weighting and adding
したがって、ノイズ低減装置90においては、動き量が小さい画素については、主として3次元ノイズ低減処理部91による3次元ノイズ低減処理がなされ、動き量が大きい画素については、主として2次元ノイズ低減処理部92による2次元ノイズ低減処理がなされることとなり、動き量が大きい画素に対しては有効に機能しないという3次元ノイズ低減処理の弱点を、2次元ノイズ低減処理を併用することで補っている。
Therefore, in the
また、特許文献1には、2次元ノイズ低減処理と、3次元ノイズ低減処理とを併用したノイズ低減装置の他の例として、動き量に応じて各画素を静止画部または動画部に分類し、静止画部に分類された画素については3次元ノイズ低減処理を行い、動画部に分類された画素については2次元ノイズ低減処理を行うノイズ低減装置が記載されている。
しかしながら、ノイズ低減装置90に入力される入力信号に大きなノイズが発生した場合には、該ノイズを含む画素の動き量が本来よりもかなり大きく算出されることから、該ノイズを含む画素については、本来は動き量の非常に少ない3次元ノイズ処理に適した画素であっても、主として2次元ノイズ低減処理部92による2次元ノイズ低減処理がなされることとなり、不十分なノイズ低減効果及び画像ぼけが問題となる。
However, when a large noise occurs in the input signal input to the
また、特許文献1のノイズ低減装置に入力される入力信号に大きなノイズが発生した場合にも、該ノイズを含む画素の動き量が本来よりもかなり大きく算出されることから、該ノイズを含む画素については、本来は静止画部であっても動画部に分類されることがある。そして、本来は静止画部である画素が動画部に分類されると、該画素に対して、本来行われるべきである3次元ノイズ低減処理ではなく、2次元ノイズ低減処理がなされることとなり、不十分なノイズ低減効果及び画像ぼけが問題となる。
In addition, even when a large noise occurs in the input signal input to the noise reduction device of
上記の問題を鑑みて、本発明においては、2次元ノイズ低減処理及び3次元ノイズ低減処理を併用したノイズ低減装置及びノイズ低減方法であって、ノイズの影響による各画素の動き量の算出誤差を低減することのできるノイズ低減装置及びノイズ低減方法を提供することを目的とする。また、本発明は、このノイズ低減装置を備えた電子機器を提供することを目的とする。 In view of the above problems, in the present invention, a noise reduction apparatus and a noise reduction method using both a two-dimensional noise reduction process and a three-dimensional noise reduction process, and calculating a motion amount calculation error of each pixel due to the influence of noise. An object of the present invention is to provide a noise reduction device and a noise reduction method that can be reduced. Moreover, an object of this invention is to provide the electronic device provided with this noise reduction apparatus.
本発明においては、ノイズ低減装置は、外部より画像信号が入力され、ノイズ低減後信号を出力するノイズ低減装置であって、外部より入力された前記画像信号に対して2次元ノイズ低減処理を施し、2次元ノイズ低減後信号を得る2次元ノイズ低減処理部と、前記2次元ノイズ低減処理部より入力された前記2次元ノイズ低減後信号と、1フレーム前の前記ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出部と、外部より入力された前記画像信号に対して、前記動き検出部より入力された各画素の時間軸方向の前記動き量に応じてゲインを調整した3次元ノイズ低減処理を施し、3次元ノイズ低減後信号を得る3次元ノイズ低減処理部と、を有することを特徴とする。 In the present invention, the noise reduction device is a noise reduction device that receives an image signal from the outside and outputs a signal after noise reduction, and performs a two-dimensional noise reduction process on the image signal input from the outside. A two-dimensional noise reduction processing unit for obtaining a two-dimensional noise-reduced signal; a difference value between the two-dimensional noise-reduced signal input from the two-dimensional noise reduction processing unit and the noise-reduced signal one frame before A motion detection unit that obtains a motion amount of each pixel in the time axis direction by calculating the image signal, and the motion in the time axis direction of each pixel input from the motion detection unit with respect to the image signal input from the outside And a three-dimensional noise reduction processing unit that performs a three-dimensional noise reduction process in which the gain is adjusted according to the amount and obtains a signal after the three-dimensional noise reduction.
また、本発明においては、上記構成のノイズ低減装置において、前記2次元ノイズ低減処理部より入力された前記2次元ノイズ低減後信号と、前記3次元ノイズ低減処理部より入力された前記3次元ノイズ低減後信号とを、所定の重み係数によって重み付け加算することによって前記ノイズ低減後信号を得る重み付け加算部と、前記動き検出部より入力された各画素の時間軸方向の前記動き量に応じて前記所定の重み係数を算出する重み係数検出部と、を有することが望ましい。 According to the present invention, in the noise reduction device having the above configuration, the two-dimensional noise reduction signal input from the two-dimensional noise reduction processing unit and the three-dimensional noise input from the three-dimensional noise reduction processing unit. A weighted addition unit that obtains the noise-reduced signal by weighting and adding the reduced signal with a predetermined weighting factor, and according to the motion amount in the time axis direction of each pixel input from the motion detection unit It is desirable to have a weighting coefficient detection unit that calculates a predetermined weighting coefficient.
また、本発明においては、上記構成のノイズ低減装置において、外部より入力された前記画像信号の各画素の信号レベルに応じて、前記2次元ノイズ低減処理部で施される前記2次元ノイズ低減処理のゲインを調整する信号レベルゲイン調整部を有することが望ましい。 In the present invention, in the noise reduction device having the above-described configuration, the two-dimensional noise reduction processing performed by the two-dimensional noise reduction processing unit according to the signal level of each pixel of the image signal input from the outside. It is desirable to have a signal level gain adjustment unit that adjusts the gain of the signal.
また、本発明においては、上記構成のノイズ低減装置において、前記動き検出部より入力された1時点前の注目画素の時間軸方向の前記動き量に応じて、前記2次元ノイズ低減処理部で施される前記2次元ノイズ低減処理のゲインを調整する動き量ゲイン調整部を有することが望ましい。 In the present invention, in the noise reduction device having the above-described configuration, the two-dimensional noise reduction processing unit performs according to the amount of motion in the time axis direction of the pixel of interest before one time point input from the motion detection unit. It is desirable to have a motion gain adjustment unit that adjusts the gain of the two-dimensional noise reduction process.
また、本発明においては、上記構成のノイズ低減装置において、前記2次元ノイズ低減処理部は、外部より入力された前記画像信号に対して、エッジ保存型ノイズ低減フィルタによる処理を含む前記2次元ノイズ低減処理を施すことが望ましい。 According to the present invention, in the noise reduction device having the above configuration, the two-dimensional noise reduction processing unit includes the two-dimensional noise including processing by an edge preserving noise reduction filter for the image signal input from the outside. It is desirable to perform a reduction process.
また、本発明においては、上記構成のノイズ低減装置において、前記2次元ノイズ低減処理部は、外部より入力された前記画像信号に対して、インパルスノイズ低減フィルタによる処理を含む前記2次元ノイズ低減処理を施すことが望ましい。 According to the present invention, in the noise reduction device having the above-described configuration, the two-dimensional noise reduction processing unit includes a two-dimensional noise reduction process including processing by an impulse noise reduction filter for the image signal input from the outside. It is desirable to apply.
また、本発明においては、上記構成のノイズ低減装置において、前記3次元ノイズ低減処理部は、外部より入力された前記画像信号と、1フレーム前の前記ノイズ低減後信号との差分値を所定の関数に作用させることによって得られたノイズ検出値を利用した前記3次元ノイズ低減処理を施すものであって、外部より入力された前記画像信号の各画素のインパルスノイズの含有度合いに応じて前記所定の関数を変化させる関数変化部を有することが望ましい。 According to the present invention, in the noise reduction device having the above configuration, the three-dimensional noise reduction processing unit calculates a difference value between the image signal input from the outside and the noise-reduced signal one frame before a predetermined value. The three-dimensional noise reduction processing is performed using a noise detection value obtained by acting on a function, and the predetermined noise is determined according to the content of impulse noise of each pixel of the image signal input from the outside. It is desirable to have a function changing unit that changes the function of.
本発明においては、ノイズ低減方法は、外部より画像信号が入力され、ノイズ低減後信号を出力するノイズ低減方法であって、外部より入力された前記画像信号に対して2次元ノイズ低減処理を施し、2次元ノイズ低減後信号を得る2次元ノイズ低減処理ステップと、前記2次元ノイズ低減処理ステップで得られた前記2次元ノイズ低減後信号と、1フレーム前の前記ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出ステップと、外部より入力された前記画像信号に対して、前記動き検出ステップで得られた各画素の時間軸方向の前記動き量に応じてゲインを調整した3次元ノイズ低減処理を施し、3次元ノイズ低減後信号を得る3次元ノイズ低減処理ステップと、を有することを特徴とする。 In the present invention, the noise reduction method is a noise reduction method in which an image signal is input from the outside and a signal after noise reduction is output, and a two-dimensional noise reduction process is performed on the image signal input from the outside. A two-dimensional noise reduction processing step for obtaining a two-dimensional noise-reduced signal, and a difference value between the two-dimensional noise-reduced signal obtained in the two-dimensional noise reduction processing step and the noise-reduced signal one frame before A motion detection step of obtaining a motion amount in the time axis direction of each pixel by calculating the time, and the motion in the time axis direction of each pixel obtained in the motion detection step with respect to the image signal input from outside And a three-dimensional noise reduction processing step of performing a three-dimensional noise reduction process in which a gain is adjusted according to the amount to obtain a signal after the reduction of the three-dimensional noise.
また、本発明においては、上記構成のノイズ低減方法において、前記2次元ノイズ低減処理ステップで得られた前記2次元ノイズ低減後信号と、前記3次元ノイズ低減処理ステップで得られた前記3次元ノイズ低減後信号とを、所定の重み係数によって重み付け加算することによって前記ノイズ低減後信号を得る重み付け加算ステップと、前記動き検出ステップで得られた各画素の時間軸方向の前記動き量に応じて前記所定の重み係数を算出する重み係数検出ステップと、を有することが望ましい。 According to the present invention, in the noise reduction method configured as described above, the two-dimensional noise reduced signal obtained in the two-dimensional noise reduction processing step and the three-dimensional noise obtained in the three-dimensional noise reduction processing step. The weighted addition step of obtaining the noise-reduced signal by weighting and adding the reduced signal with a predetermined weighting factor, and the amount of motion in the time axis direction of each pixel obtained in the motion detection step It is desirable to include a weighting factor detection step for calculating a predetermined weighting factor.
また、本発明においては、上記構成のノイズ低減方法において、外部より入力された前記画像信号の各画素の信号レベルに応じて、前記2次元ノイズ低減処理ステップで施される前記2次元ノイズ低減処理のゲインを調整する信号レベルゲイン調整ステップを有することが望ましい。 According to the present invention, in the noise reduction method configured as described above, the two-dimensional noise reduction processing performed in the two-dimensional noise reduction processing step according to the signal level of each pixel of the image signal input from the outside. It is desirable to have a signal level gain adjustment step for adjusting the gain of the signal level.
また、本発明においては、上記構成のノイズ低減方法において、前記動き検出ステップで得られた1時点前の注目画素の時間軸方向の前記動き量に応じて、前記2次元ノイズ低減処理ステップで施される前記2次元ノイズ低減処理のゲインを調整する動き量ゲイン調整ステップを有することが望ましい。 According to the present invention, in the noise reduction method configured as described above, the two-dimensional noise reduction processing step is performed according to the amount of motion in the time axis direction of the target pixel one time before obtained in the motion detection step. It is desirable to have a motion amount gain adjustment step for adjusting the gain of the two-dimensional noise reduction processing.
また、本発明においては、上記構成のノイズ低減方法において、前記2次元ノイズ低減処理ステップにおいては、外部より入力された前記画像信号に対して、エッジ保存型ノイズ低減フィルタによる処理を含む前記2次元ノイズ低減処理が施されることが望ましい。 According to the present invention, in the noise reduction method configured as described above, in the two-dimensional noise reduction processing step, the two-dimensional processing includes processing by an edge-preserving noise reduction filter for the image signal input from the outside. It is desirable to perform noise reduction processing.
また、本発明においては、上記構成のノイズ低減方法において、前記2次元ノイズ低減処理ステップにおいては、外部より入力された前記画像信号に対して、インパルスノイズ低減フィルタによる処理を含む前記2次元ノイズ低減処理が施されることが望ましい。 According to the present invention, in the noise reduction method having the above configuration, in the two-dimensional noise reduction processing step, the two-dimensional noise reduction includes processing by an impulse noise reduction filter for the image signal input from the outside. It is desirable that processing be performed.
また、本発明においては、上記構成のノイズ低減方法において、前記3次元ノイズ低減処理ステップは、外部より入力された前記画像信号と、1フレーム前の前記ノイズ低減後信号との差分値を所定の関数に作用させることによって得られたノイズ検出値を利用した前記3次元ノイズ低減処理を施すステップであって、外部より入力された前記画像信号の各画素のインパルスノイズの含有度合いに応じて前記所定の関数を変化させる関数変化ステップを有することが望ましい。 According to the present invention, in the noise reduction method configured as described above, the three-dimensional noise reduction processing step calculates a difference value between the image signal input from the outside and the noise-reduced signal one frame before a predetermined value. A step of performing the three-dimensional noise reduction process using a noise detection value obtained by acting on a function, wherein the predetermined noise is determined in accordance with a degree of impulse noise contained in each pixel of the image signal input from the outside. It is desirable to have a function change step that changes the function.
本発明においては、電子機器は、複数のフレームによって構成される動画像が外部入力又は撮像によって与えられるとともに、該動画像のノイズを低減するノイズ低減装置を備えた電子機器であって、前記ノイズ低減装置は、上記構成のノイズ低減装置であることを特徴とする。 In the present invention, the electronic device is an electronic device provided with a noise reduction device that reduces a noise of the moving image while a moving image including a plurality of frames is given by external input or imaging. The reduction device is a noise reduction device having the above-described configuration.
本発明のノイズ低減装置及びノイズ低減方法においては、外部より入力された画像信号に対して2次元ノイズ低減処理を施すことによって得られた2次元ノイズ低減後信号と、1フレーム前のノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得るため、外部より入力された画像信号と、1フレーム前のノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る場合と比べて、ノイズの影響による各画素の時間軸方向の動き量の算出誤差を低減することができる。したがって、各画素の時間軸方向の動き量に応じてゲインが調整される3次元ノイズ低減処理による十分なノイズ低減効果が得られることとなる。 In the noise reduction device and the noise reduction method of the present invention, a two-dimensional noise-reduced signal obtained by performing a two-dimensional noise reduction process on an image signal input from the outside, and a noise after one frame before noise reduction In order to obtain the amount of motion in the time axis direction of each pixel by calculating a difference value from the signal, each difference value between the image signal input from the outside and the noise-reduced signal of one frame before is calculated. Compared with the case of obtaining the amount of motion of the pixel in the time axis direction, the calculation error of the amount of motion of each pixel in the time axis direction due to the influence of noise can be reduced. Therefore, a sufficient noise reduction effect can be obtained by the three-dimensional noise reduction process in which the gain is adjusted according to the amount of movement of each pixel in the time axis direction.
また、本発明のノイズ低減装置及びノイズ低減方法においては、2次元ノイズ低減後信号と、3次元ノイズ低減後信号とを、各画素の時間軸方向の動き量に応じて算出された所定の重み係数によって重み付け加算することによってノイズ低減後信号を得るため、3次元ノイズ低減処理によるノイズ低減効果が十分に得られない動き量の大きい画素についても、2次元ノイズ低減処理によって、十分なノイズ低減効果が得られることとなる。 In the noise reduction device and the noise reduction method of the present invention, the predetermined weight calculated according to the amount of motion of each pixel in the time axis direction is applied to the signal after the two-dimensional noise reduction and the signal after the three-dimensional noise reduction. In order to obtain a noise-reduced signal by weighted addition using a coefficient, a sufficient noise reduction effect can be obtained by a two-dimensional noise reduction process even for a pixel with a large amount of motion that does not sufficiently obtain a noise reduction effect by the three-dimensional noise reduction process. Will be obtained.
また、本発明のノイズ低減装置及びノイズ低減方法においては、外部より入力された画像信号の各画素の信号レベルに応じて、2次元ノイズ低減処理のゲインを調整するため、例えば、信号レベルが小さいときに2次元ノイズ低減処理のゲインを高めることによって、十分なノイズ低減効果が得られることとなる。 In the noise reduction apparatus and noise reduction method of the present invention, the gain of the two-dimensional noise reduction processing is adjusted according to the signal level of each pixel of the image signal input from the outside. Sometimes, a sufficient noise reduction effect is obtained by increasing the gain of the two-dimensional noise reduction processing.
また、本発明のノイズ低減装置及びノイズ低減方法においては、1時点前の注目画素の時間軸方向の動き量に応じて、2次元ノイズ低減処理のゲインを調整するため、1時点前の注目画素の時間軸方向の動き量を利用して、適切なゲインによる2次元ノイズ低減処理を施すことができ、十分なノイズ低減効果が得られることとなる。 In the noise reduction device and the noise reduction method of the present invention, since the gain of the two-dimensional noise reduction process is adjusted according to the amount of motion in the time axis direction of the pixel of interest before one point in time, the pixel of interest before one point in time The two-dimensional noise reduction processing with an appropriate gain can be performed using the amount of motion in the time axis direction, and a sufficient noise reduction effect can be obtained.
また、本発明のノイズ低減装置及びノイズ低減方法においては、外部より入力された画像信号に対して、エッジ保存型ノイズ低減フィルタによる処理を含む2次元ノイズ低減処理を施すため、ランダムノイズを効果的に除去することができ、十分なノイズ低減効果が得られることとなる。 Further, in the noise reduction device and noise reduction method of the present invention, random noise is effectively applied because the two-dimensional noise reduction processing including processing by the edge preserving type noise reduction filter is performed on the image signal input from the outside. Therefore, a sufficient noise reduction effect can be obtained.
また、本発明のノイズ低減装置及びノイズ低減方法においては、外部より入力された画像信号に対して、インパルスノイズ低減フィルタによる処理を含む2次元ノイズ低減処理を施すため、平滑化フィルタでは十分に除去することができないインパルスノイズを効果的に除去することができ、十分なノイズ低減効果が得られることとなる。 Further, in the noise reduction device and noise reduction method of the present invention, since the two-dimensional noise reduction processing including processing by the impulse noise reduction filter is performed on the image signal input from the outside, the smoothing filter sufficiently removes it. Impulse noise that cannot be performed can be effectively removed, and a sufficient noise reduction effect can be obtained.
また、本発明のノイズ低減装置及びノイズ低減方法においては、外部より入力された画像信号の各画素のインパルスノイズの含有度合いに応じて異なる3次元ノイズ低減処理を施すため、各画素のインパルスノイズの含有度合いに応じて適切な3次元ノイズ低減処理を施すことができ、十分なノイズ低減効果が得られることとなる。 Further, in the noise reduction device and the noise reduction method of the present invention, different three-dimensional noise reduction processing is performed according to the impulse noise content of each pixel of the image signal input from the outside. An appropriate three-dimensional noise reduction process can be performed according to the content degree, and a sufficient noise reduction effect can be obtained.
本発明の実施の形態について、図面を参照して説明する。なお、以下では、本発明におけるノイズ低減方法を行うノイズ低減装置(以下では、「画像処理部」に含まれる)を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。また、後述するが、同様のノイズ低減装置を備えるものであれば、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置であっても構わない。 Embodiments of the present invention will be described with reference to the drawings. In the following description, an imaging apparatus such as a digital camera or digital video provided with a noise reduction apparatus (hereinafter, included in the “image processing unit”) that performs the noise reduction method of the present invention will be described as an example. As will be described later, a display device that performs digital processing of an image, such as a liquid crystal display or a plasma television, may be used as long as it has a similar noise reduction device.
(撮像装置の構成)
まず、撮像装置の内部構成について、図面を参照して説明する。図1は、撮像装置の内部構成を示すブロック図である。
(Configuration of imaging device)
First, the internal configuration of the imaging apparatus will be described with reference to the drawings. FIG. 1 is a block diagram illustrating an internal configuration of the imaging apparatus.
図1の撮像装置は、被写体から入射される光を電気信号に変換するCCDまたはCMOSセンサなどの固体撮像素子(イメージセンサ)1と;イメージセンサ1から出力されるアナログ信号である画像信号をデジタル信号に変換するAFE(Analog FrontEnd)2と;外部から入力された音声を電気信号に変換するマイク3と;AFE2からのデジタル信号となる画像信号に対してノイズ低減処理を含む各種画像処理を施す画像処理部4と;マイク3からのアナログ信号である音声信号をデジタル信号に変換する音声処理部5と;画像処理部4からの画像信号と音声処理部5からの音声信号とに対してMPEG(Moving Picture Experts Group)圧縮方式などの圧縮符号化処理を施す圧縮処理部6と;圧縮処理部6で圧縮符号化された圧縮符号化信号を外部メモリ20に記録するドライバ部7と;ドライバ部7で外部メモリ20から読み出した圧縮符号化信号を伸長して復号する伸長処理部8と;伸長処理部8で復号されて得られた画像信号による画像の表示を行うディスプレイ9と;伸長処理部8からの音声信号をアナログ信号に変換する音声出力回路部10と;音声出力回路部10からの音声信号に基づいて音声を再生出力するスピーカ11と;各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するTG(Timing Generator)12と;撮像装置内全体の駆動動作を制御するCPU(Central Processing Unit)13と;各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ14と;ユーザからの指示が入力される操作部15と;メモリ14と各ブロックとの間でデータのやりとりを行うためのバス回線16と;CPU13と各ブロックとの間でデータのやりとりを行うためのバス回線17と;を備える。
The imaging apparatus of FIG. 1 is a solid-state imaging device (image sensor) 1 such as a CCD or CMOS sensor that converts light incident from an object into an electrical signal; and an image signal that is an analog signal output from the
この撮像装置において、撮像動作を行うことが操作部15によって指示されると、イメージセンサ1の光電変換動作によって得られたアナログ信号である画像信号がAFE2に出力される。このとき、イメージセンサ1では、TG12からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、AFE2において、アナログ信号である画像信号がデジタル信号に変換されて、画像処理部4に入力されると、ノイズ低減処理などの各種画像処理が施される。なお、画像処理部4の詳細については後述する。
In this imaging apparatus, when the
そして、画像処理部4で画像処理が施された画像信号が圧縮処理部6に与えられる。このとき、マイク3に音声入力されることで得られたアナログ信号である音声信号が、音声処理部5でデジタル信号に変換されて、圧縮処理部6に与えられる。これにより、圧縮処理部6では、デジタル信号である画像信号及び音声信号に対して、MPEG圧縮符号方式に基づいて、圧縮符号化してドライバ部7に与えて、外部メモリ20に記録させる。また、このとき、外部メモリ20に記録された圧縮信号がドライバ部7によって読み出されて伸長処理部8に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ9に与えられて、現在、イメージセンサ1を通じて撮影されている被写体画像が表示される。
Then, the image signal subjected to the image processing by the
なお、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク3による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ20に記録されるだけとなるが、その基本動作については動画撮影時の動作と同様である。また、この静止画像撮影の場合、操作部15によって撮影された静止画像に対する圧縮信号が外部メモリ20に記録されるだけでなく、イメージセンサ1によって撮影されている現時点の画像に対する圧縮信号が外部メモリ20に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部8で伸長されることで、イメージセンサ1によって撮影されている現時点の画像がディスプレイ9に表示され、ユーザが確認することができる。
In the above description, the operation at the time of moving image shooting has been described. However, even when a still image shooting is instructed, an audio signal is not acquired by the
このように撮像動作を行うとき、TG12によって、AFE2、映像処理部4、音声処理部5、圧縮処理部6、及び伸長処理部8に対してタイミング制御信号が与えられ、イメージセンサ1による1フレームごとの撮像動作に同期した動作が行われる。また、静止画像撮影のときは、操作部15によるシャッタ動作に基づいて、TG12より、イメージセンサ1、AFE2、映像処理部4、及び、圧縮処理部6それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。
When performing the imaging operation in this way, the
また、外部メモリ20に記録された動画または画像を再生することが、操作部15を通じて指示されると、外部メモリ20に記録された圧縮信号は、ドライバ部7によって読み出されて伸長処理部8に与えられる。そして、伸長処理部8において、MPEG圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ9に与えられて画像が再生されるとともに、音声信号が音声出力回路部10を介してスピーカ11に与えられて音声が再生される。これにより、外部メモリ20に記録された圧縮信号に基づく動画が音声とともに再生される。また、圧縮信号が画像信号のみより成るときは、ディスプレイ9に画像のみが再生されることとなる。
When an instruction to reproduce a moving image or image recorded in the
(ノイズ低減装置の第1の実施形態)
次に、画像処理部4に含まれるノイズ低減装置の第1の実施形態について説明する。図2は、本発明の第1の実施形態に係るノイズ低減装置30の概略の構成を示すブロック図である。ノイズ低減装置30は、外部及びフレームメモリ35より信号が入力され、乗算器36に信号を出力するノイズ検出部31と;外部より信号が入力され、動き検出部33及び重み付け加算部38に信号を出力する2次元ノイズ低減処理部32と;2次元ノイズ低減処理部32及びフレームメモリ35より信号が入力され、帰還係数及び合成係数検出部34に信号を出力する動き検出部33と;動き検出部33より信号が入力され、乗算器36及び重み付け加算部38に信号を出力する帰還係数及び合成係数検出部34と;重み付け加算部38より信号が入力され、ノイズ検出部31及び動き検出部33に信号を出力するフレームメモリ35と;ノイズ検出部31及び帰還係数及び合成係数検出部34より信号が入力され、減算器37に信号を出力する乗算器36と;外部及び乗算器36より信号が入力され、重み付け加算部38に信号を出力する減算器37と;2次元ノイズ低減処理部32、帰還係数及び合成係数検出部34、及び減算器37より信号が入力され、後段及びフレームメモリ35に信号を出力する重み付け加算部38と;を有している。
(First Embodiment of Noise Reduction Device)
Next, a first embodiment of the noise reduction device included in the
ここで、ノイズ低減装置30の動作の概略について説明する。まず、外部からの現フレームの信号が、ノイズ検出部31、2次元ノイズ低減処理部32、及び減算器37に入力される。また、フレームメモリ35からの、現フレームの1フレーム前の信号が、ノイズ検出部31及び動き検出部33に入力される。すると、ノイズ検出部31は、外部より入力された現フレームの信号と、フレームメモリ35より入力された1フレーム前の信号とから各画素のノイズ検出値を算出し、これを乗算器36に出力する。また、2次元ノイズ低減処理部32は、外部より入力された現フレームの信号に対して空間的なローパスフィルタを作用させることによって高周波成分を除去し、得られた2次元ノイズ低減後信号を動き検出部33と、重み付け加算部38とに出力する。
Here, an outline of the operation of the
そして、次に、動き検出部33が、2次元ノイズ低減処理部32より入力された2次元ノイズ低減後信号と、フレームメモリ35より入力された1フレーム前の信号とから各画素の動き量を算出し、これを帰還係数及び合成係数検出部34に出力する。すると、帰還係数及び合成係数検出部34が、動き検出部33より入力された各画素の動き量から各画素の帰還係数k1、合成係数k2を算出し、帰還係数k1を乗算器36に、合成係数k2を重み付け加算部38に、各々出力する。
Next, the
そして、次に、乗算器36が、ノイズ検出部31より入力された各画素のノイズ検出値と、帰還係数及び合成係数検出部34より入力された各画素の帰還係数k1とを乗算し、得られた各画素の減算ノイズ値を減算器37へ出力する。すると、減算器37が、外部より入力された現フレームの信号から、乗算器36より入力された各画素の減算ノイズ値を減算し、得られた3次元ノイズ低減後信号を重み付け加算部38へ出力する。
Then, the
そして、次に、重み付け加算部38が、減算器37より入力された3次元ノイズ低減後信号(E)と、2次元ノイズ低減処理部32より入力された2次元ノイズ低減後信号(A)とを、帰還係数及び合成係数検出部34より入力された各画素の合成係数k2によって重み付け加算し(つまり、各画素についてE×k2+A×(1−k2)を計算し)、得られたノイズ低減後信号を後段と、フレームメモリ35とに出力する。
Then, the
次に、ノイズ検出部31の詳細について説明する。ノイズ検出部31は、外部より入力された現フレームの信号から、フレームメモリ35より入力された1フレーム前の信号を減算することによって得られた各画素の差分信号値xに対してノイズ検出値f(x)を算出し、これを乗算器36に出力する。ここで、関数f(x)としては、例えば、以下の数1式及び図3に示されるようなものが用いられる。
数1式及び図3に示される関数f(x)は、各画素の差分信号値xの絶対値が閾値thを超える場合にはノイズ検出値f(x)を抑えるものであり、これによって動き部分を誤ってノイズと検出してしまう誤動作を防止できる。
The function f (x) shown in
次に、2次元ノイズ低減処理部32の詳細について説明する。図4は、2次元ノイズ低減処理部32の概略の構成を示すブロック図である。2次元ノイズ低減処理部32は、外部より信号が入力され、ノイズ低減部323に信号を出力するフィルタ部321と;外部より信号が入力され、ノイズ低減部323に信号を出力するフィルタ重み算出部322と;外部、フィルタ部321、及びフィルタ重み算出部322より信号が入力され、動き検出部33に信号を出力するノイズ低減部323と;を有している。
Next, details of the two-dimensional noise
ここで、2次元ノイズ低減処理部32の動作の概略について説明する。まず、外部からの現フレームの信号がフィルタ部321、フィルタ重み算出部322、及びノイズ低減部323に入力される。すると、フィルタ部321は、外部より入力された現フレームの信号に対して空間的なローパスフィルタを作用させることによって高周波成分を除去し、得られたフィルタ後信号をノイズ低減部323に出力する。また、フィルタ重み算出部322は、外部より入力された現フレームの信号の信号レベルから各画素のフィルタ重み係数を算出し、これをノイズ低減部323に出力する。
Here, an outline of the operation of the two-dimensional noise
そして、次に、ノイズ低減部323が、フィルタ部321より入力されたフィルタ後信号(NR)と、外部より入力された現フレームの信号(ORG)とを、フィルタ重み算出部322より入力された各画素のフィルタ重み係数(GAIN)によって重み付け加算し(つまり、各画素についてNR×GAIN+ORG×(1−GAIN)を計算し)、得られた2次元ノイズ低減後信号を動き検出部33に出力する。
Next, the
次に、フィルタ部321で用いられる空間的なローパスフィルタの一例であるエッジ保存型ノイズ低減フィルタについて、図5を用いて説明する。なお、以下では注目画素の座標を(0、0)とし、注目画素から右にx画素、上にy画素の位置にある画素の座標を(x、y)と表すこととする。つまり、注目画素から右に2画素、上に2画素の位置にある画素の座標を(2、2)と表し、注目画素から左に2画素、下に2画素の位置にある画素の座標を(−2、−2)と表すこととする。
Next, an edge-preserving noise reduction filter that is an example of a spatial low-pass filter used in the
エッジ保存型ノイズ低減フィルタは、注目画素を中心とした5×5画素の信号値を利用したフィルタである。そして、図5の(a)〜(i)を注目画素を中心とした5×5画素とみなし、図5の(a)〜(i)各々の斜線部に対応する画素の信号値の分散を計算し、その分散が最小となる1つを選択し、選択された(a)〜(i)のうちの1つの斜線部に対応する画素の信号値の平均値を注目画素のフィルタ後の信号値とする。 The edge-preserving noise reduction filter is a filter that uses a signal value of 5 × 5 pixels centered on the pixel of interest. Then, (a) to (i) in FIG. 5 are regarded as 5 × 5 pixels centered on the target pixel, and the signal value dispersion of the pixels corresponding to the hatched portions in (a) to (i) of FIG. Calculate, select one with the smallest variance, and calculate the average value of the signal values of the pixels corresponding to the one shaded portion of the selected (a) to (i) as the signal after filtering the target pixel Value.
具体的には、注目画素の座標(0、0)に対して、座標(−1、2)、(0、2)、(1、2)、(−1、1)、(0、1)、(1、1)、(0、0)の7画素の信号値の分散と(図5の(a)に対応)、座標(1、2)、(2、2)、(0、1)、(1、1)、(2、1)、(0、0)、(1、0)の7画素の信号値の分散と(図5の(b)に対応)、座標(1、1)、(2、1)、(0、0)、(1、0)、(2、0)、(1、−1)、(2、−1)の7画素の信号値の分散と(図5の(c)に対応)、座標(0、0)、(1、0)、(0、−1)、(1、−1)、(2、−1)、(1、−2)、(2、−2)の7画素の信号値の分散と(図5の(d)に対応)、座標(0、0)、(−1、−1)、(0、−1)、(1、−1)、(−1、−2)、(0、−2)、(1、−2)の7画素の信号値の分散と(図5の(e)に対応)、座標(−1、0)、(0、0)、(−2、−1)、(−1、−1)、(0、−1)、(−2、−2)、(−1、−2)の7画素の信号値の分散と(図5の(f)に対応)、座標(−2、1)、(−1、1)、(−2、0)、(−1、0)、(0、0)、(−2、−1)、(−1、−1)の7画素の信号値の分散と(図5の(g)に対応)、座標(−2、2)、(−1、2)、(−2、1)、(−1、1)、(0、1)、(−1、0)、(0、0)の7画素の信号値の分散と(図5の(h)に対応)、座標(−1、1)、(0、1)、(1、1)、(−1、0)、(0、0)、(1、0)、(−1、−1)、(0、−1)、(1、−1)の9画素の信号値の分散と(図5の(i)に対応)をそれぞれ計算し、その分散が最小となる1つを選択し、選択された(a)〜(i)のうちの1つの斜線部に対応する画素の信号値の平均値を注目画素のフィルタ後の信号値とする。 Specifically, for coordinates (0, 0) of the target pixel, coordinates (−1, 2), (0, 2), (1, 2), (−1, 1), (0, 1) , (1, 1), (0, 0) of 7 pixel signal values (corresponding to (a) in FIG. 5), coordinates (1, 2), (2, 2), (0, 1) , (1, 1), (2, 1), (0, 0), and (1, 0) of 7 pixel signal values (corresponding to (b) in FIG. 5), coordinates (1, 1) , (2, 1), (0, 0), (1, 0), (2, 0), (1, -1), and (2, -1) signal value variance (FIG. 5). (Corresponding to (c)), coordinates (0, 0), (1, 0), (0, -1), (1, -1), (2, -1), (1, -2), ( 2 and -2) of 7 pixel signal values (corresponding to (d) in FIG. 5), coordinates (0, 0), (-1, -1), (0, -1), (1, -1), (-1 -2), (0, -2), (1, -2) signal value variance of 7 pixels (corresponding to (e) of FIG. 5), coordinates (-1, 0), (0, 0) , (−2, −1), (−1, −1), (0, −1), (−2, −2), and (−1, −2) signal value dispersion of 7 pixels (see FIG. 5 (corresponding to (f)), coordinates (−2, 1), (−1, 1), (−2, 0), (−1, 0), (0, 0), (−2, −1) ), (−1, −1) signal dispersion of 7 pixels (corresponding to (g) in FIG. 5), coordinates (−2, 2), (−1, 2), (−2, 1) , (−1, 1), (0, 1), (−1, 0), (0, 0), the dispersion of signal values of 7 pixels (corresponding to (h) in FIG. 5), coordinates (−1 1), (0, 1), (1, 1), (-1, 0), (0, 0), (1, 0), (-1, -1), (0, -1), 9 pixel signals (1, -1) Calculate the variance of the values (corresponding to (i) in FIG. 5), select the one with the smallest variance, and correspond to the one shaded portion of the selected (a) to (i) An average value of signal values of pixels to be processed is set as a signal value after filtering of the target pixel.
このエッジ保存型ノイズ低減フィルタによると、ランダムノイズを効果的に低減することが可能である。 According to the edge preserving noise reduction filter, it is possible to effectively reduce random noise.
次に、フィルタ重み算出部322の動作について説明する。フィルタ重み算出部322は、外部より入力された現フレームの信号について、注目画素を中心とした5×5画素の信号値の平均値を注目画素の信号レベルとして算出し、得られた各画素の信号レベルyに対して各画素のフィルタ重み係数GAIN=g(y)を算出し、これをノイズ低減部323に出力する。ここで、関数g(y)としては、以下の数2式及び図6に示されるようなものが用いられる。
数2式及び図6に示される関数g(y)は、信号レベルyがthαに達するまでは、信号レベルyの増加に伴ってフィルタ重み係数を一次関数的に1からthβまで低下させるものであるため、信号レベルyが低いときにはフィルタ部321で用いられる空間的なローパスフィルタの影響が大きくなり、信号レベルyが高いときにはフィルタ部321で用いられる空間的なローパスフィルタの影響が小さくなることから、動き検出の精度を向上させることができる。
次に、動き検出部33の詳細について説明する。図7は、動き検出部33の概略の構成を示すブロック図である。動き検出部33は、2次元ノイズ低減処理部32及びフレームメモリ35より信号が入力され、絶対値化部332に信号を出力する減算器331と;減算器331より信号が入力され、フィルタ部333に信号を出力する絶対値化部332と;絶対値化部332より信号が入力され、帰還係数及び合成係数検出部34に信号を出力するフィルタ部333と;を有している。
Next, details of the
ここで、動き検出部33の動作の概略について説明する。まず、2次元ノイズ低減処理部32からの2次元ノイズ低減後信号と、フレームメモリ35からの1フレーム前の信号とが減算器331に入力される。すると、減算器331は、2次元ノイズ低減処理部32より入力された2次元ノイズ低減後信号と、フレームメモリ35より入力された1フレーム前の信号との差分を計算し、得られた差分信号を絶対値化部332に出力する。
Here, an outline of the operation of the
そして、次に、絶対値化部332は、減算器331より入力された差分信号を絶対値化し、得られた絶対値化信号をフィルタ部333に出力する。すると、フィルタ部333は、絶対値化部332より入力された絶対値化信号に対してローパスフィルタをかけることによって得られた各画素の動き量を帰還係数及び合成係数検出部34に出力する。ここで、フィルタ部333によってローパスフィルタをかけることによって、ノイズ信号と動きを示す信号との分離精度が高められる。
Next, the absolute
次に、帰還係数及び合成係数検出部34の詳細について説明する。帰還係数及び合成係数検出部34は、動き検出部33より入力された各画素の動き量zに対して各画素の帰還係数k1=h(z)を算出し、これを乗算器36に出力する。ここで、関数h(z)としては、例えば、以下の数3式及び図8に示されるようなものが用いられる。
数3式及び図8に示される関数h(z)は、動き量zが閾値tha以上となると、動き量zの増加に伴って一次関数的に帰還係数k1が1から減少し、動き量zが閾値thb以上となると、帰還係数k1が0となるものであり、これによって、動き量zの小さい画素に対するノイズ検出部31によるノイズ低減効果、つまり、3次元ノイズ低減処理の効果を大きくし、動き量zの大きい画素に対するノイズ検出部31によるノイズ低減効果、つまり、3次元ノイズ低減処理の効果を小さくしている。
Equation (3) and the function h (z) shown in FIG. 8 indicate that when the motion amount z is equal to or greater than the threshold value tha, the feedback coefficient k1 decreases from 1 as a linear function as the motion amount z increases, and the motion amount z Is equal to or greater than the threshold thb, the feedback coefficient k1 is 0, thereby increasing the noise reduction effect by the
また、帰還係数及び合成係数検出部34は、動き検出部33より入力された各画素の動き量zに対して各画素の合成係数k2=j(z)を算出し、これを重み付け加算部38に出力する。ここで、関数j(z)としては、例えば、以下の数4式及び図9に示されるようなものが用いられる。
数4式及び図9に示される関数j(z)は、動き量zが閾値thA以上となると、動き量zの増加に伴って一次関数的に合成係数k2が1から減少し、動き量zが閾値thB以上となると、合成係数k2が0となるものであり、これによって、動き量zの小さい画素に対しては、ノイズ検出部31によるノイズ低減効果、つまり、3次元ノイズ低減処理の効果を大きくする一方、2次元ノイズ低減処理部32によるノイズ低減効果を小さくし、動き量zの大きい画素に対しては、ノイズ検出部31によるノイズ低減効果、つまり、3次元ノイズ低減処理の効果を小さくする一方、2次元ノイズ低減処理部32によるノイズ低減効果を大きくしている。なお、ここで、関数h(z)及び関数j(z)は同一の関数としても良い。
In
上記構成のノイズ低減装置30においては、動き検出部33は、外部より入力された現フレームの信号そのものではなく、外部より入力された現フレームの信号に2次元ノイズ低減処理部32で空間的なローパスフィルタをかけることによって得られた2次元ノイズ低減後信号と、フレームメモリ35より入力された1フレーム前の信号とから各画素の動き量を算出することとなるため、入力信号に大きなノイズが発生した場合でも、該ノイズの影響による動き量の算出誤差の増大を抑制でき、3次元ノイズ低減処理の効果を高めることができる。
In the
(ノイズ低減装置の第2の実施形態)
次に、画像処理部4に含まれるノイズ低減装置の第2の実施形態について説明する。図10は、本発明の第2の実施形態に係るノイズ低減装置40の概略の構成を示すブロック図である。なお、ノイズ低減装置40においては、第1の実施形態に係るノイズ低減装置30と同一の部分には同一の符号を付し、その詳細な説明は省略する。ノイズ低減装置40は、ノイズ低減装置30と異なる構成として、外部、フレームメモリ35、及び2次元ノイズ低減処理部42より信号が入力され、乗算器36に信号を出力するノイズ検出部41と;外部より信号が入力され、動き検出部33、重み付け加算部38、及びノイズ検出部41に信号を出力する2次元ノイズ低減処理部42と;を有している。
(Second Embodiment of Noise Reduction Device)
Next, a second embodiment of the noise reduction device included in the
ここで、ノイズ低減装置40の動作の概略について説明する。まず、外部からの現フレームの信号が、減算器37、ノイズ検出部41、及び2次元ノイズ低減処理部42に入力される。また、フレームメモリ35からの1フレーム前の信号が、ノイズ検出部41及び動き検出部33に入力される。すると、2次元ノイズ低減処理部42は、外部より入力された現フレームの信号に対して空間的なローパスフィルタを作用させることによって高周波成分を除去し、得られた2次元ノイズ低減後信号を動き検出部33と、重み付け加算部38とに出力する。また、2次元ノイズ低減処理部42は、各画素にインパルスノイズが含まれるか否かを判定し、判定結果をノイズ検出部41に出力する。
Here, an outline of the operation of the
そして、次に、ノイズ検出部41は、2次元ノイズ低減処理部42より入力された、各画素にインパルスノイズが含まれるか否かの判定結果に応じて、外部より入力された現フレームの信号と、フレームメモリ35より入力された1フレーム前の信号とから各画素のノイズ検出値を算出し、これを乗算器36に出力する。
Next, the
そして、次に、動き検出部33が、2次元ノイズ低減処理部42より入力された2次元ノイズ低減後信号と、フレームメモリ35より入力された1フレーム前の信号とから各画素の動き量を算出し、これを帰還係数及び合成係数検出部34に出力する。すると、帰還係数及び合成係数検出部34が、動き検出部33より入力された各画素の動き量から各画素の帰還係数k1、合成係数k2を算出し、帰還係数k1を乗算器36に、合成係数k2を重み付け加算部38に、各々出力する。
Next, the
そして、次に、乗算器36が、ノイズ検出部41より入力された各画素のノイズ検出値と、帰還係数及び合成係数検出部34より入力された各画素の帰還係数k1とを乗算し、得られた各画素の減算ノイズ値を減算器37へ出力する。すると、減算器37が、外部より入力された現フレームの信号から、乗算器36より入力された各画素の減算ノイズ値を減算し、得られた3次元ノイズ低減後信号を重み付け加算部38へ出力する。
Then, the
そして、次に、重み付け加算部38が、減算器37より入力された3次元ノイズ低減後信号(E)と、2次元ノイズ低減処理部42より入力された2次元ノイズ低減後信号(A)とを、帰還係数及び合成係数検出部34より入力された各画素の合成係数k2によって重み付け加算し(つまり、各画素についてE×k2+A×(1−k2)を計算し)、得られたノイズ低減後信号を後段と、フレームメモリ35とに出力する。
Next, the
次に、2次元ノイズ低減処理部42の詳細について説明する。図11は、2次元ノイズ低減処理部42の概略の構成を示すブロック図である。2次元ノイズ低減処理部42は、外部より信号が入力され、フィルタ部321、フィルタ重み算出部322、ノイズ低減部323、及びノイズ検出部41に信号を出力するインパルスノイズ処理部421と;インパルスノイズ処理部421より信号が入力され、ノイズ低減部323に信号を出力する、第1の実施形態と同一のフィルタ部321と;インパルスノイズ処理部421より信号が入力され、ノイズ低減部323に信号を出力する、第1の実施形態と同一のフィルタ重み算出部322と;フィルタ部321、フィルタ重み算出部322、及びインパルスノイズ処理部421より信号が入力され、動き検出部33に信号を出力する、第1の実施形態と同一のノイズ低減部323と;を有している。
Next, details of the two-dimensional noise
ここで、2次元ノイズ低減処理部42の動作の概略について説明する。まず、外部からの現フレームの信号がインパルスノイズ処理部421に入力される。すると、インパルスノイズ処理部421は、外部より入力された現フレームの信号の各画素にインパルスノイズが含まれるか否かを判定し、その判定結果をノイズ検出部41に出力する。また、インパルスノイズ処理部421は、インパルスノイズが含まれると判定された画素についてのみインパルスノイズ低減フィルタを作用させ、得られたインパルスフィルタ後信号をフィルタ部321と、フィルタ重み算出部322と、ノイズ低減部323とに出力する。
Here, an outline of the operation of the two-dimensional noise
そして、次に、フィルタ部321は、インパルスノイズ処理部421より入力されたインパルスフィルタ後信号に対して空間的なローパスフィルタを作用させることによって高周波成分を除去し、得られたフィルタ後信号をノイズ低減部323に出力する。また、フィルタ重み算出部322は、インパルスノイズ処理部421より入力されたインパルスフィルタ後信号の信号レベルから各画素のフィルタ重み係数を算出し、これをノイズ低減部323に出力する。
Then, the
そして、次に、ノイズ低減部323が、フィルタ部321より入力されたフィルタ後信号(NR)と、インパルスノイズ処理部421より入力されたインパルスフィルタ後信号(ORG)とを、フィルタ重み算出部322より入力された各画素のフィルタ重み係数(GAIN)によって重み付け加算し(つまり、各画素についてNR×GAIN+ORG×(1−GAIN)を計算し)、得られた2次元ノイズ低減後信号を動き検出部33に出力する。
Next, the
次に、インパルスノイズ処理部421の詳細について説明する。インパルスノイズ処理部421は、まず、外部より入力された現フレームの信号の各画素にインパルスノイズが含まれるか否かを判定する。この判定方法としては、注目画素の信号値から、注目画素を取り囲む8画素の信号値の平均値を減算して得られたインパルスノイズ判定値が所定の閾値以上である場合には注目画素にインパルスノイズが含まれると判定する一方、インパルスノイズ判定値が所定の閾値未満である場合には注目画素にインパルスノイズが含まれないと判定する方法などが知られている。そして、インパルスノイズ処理部421は、各画素にインパルスノイズが含まれるか否かの判定結果をノイズ検出部41に出力する。
Next, details of the impulse
また、インパルスノイズ判定処理部421は、インパルスノイズが含まれると判定された画素についてのみインパルスノイズ低減フィルタを作用させ、得られたインパルスフィルタ後信号をフィルタ部321と、フィルタ重み算出部322と、ノイズ低減部323とに出力する。ここで、インパルスノイズ低減フィルタとしては、例えば、信号値の中間値を用いることによって異常値の影響を抑えられるメディアンフィルタなどが用いられる。
Further, the impulse noise
このように、2次元ノイズ低減処理部42は、インパルスノイズ処理部421を有し、インパルスノイズが含まれると判定された画素についてはインパルスノイズ低減フィルタを作用させるので、平滑化フィルタでは除去しきれず、したがって動き量とされてしまうインパルスノイズを効果的に除去することができる。
As described above, the two-dimensional noise
また、2次元ノイズ低減処理部42は、第1の実施形態と同一のフィルタ部321と;第1の実施形態と同一のフィルタ重み算出部322と;第1の実施形態と同一のノイズ低減部323と;を有しているので、インパルスノイズのみならず、ランダムノイズも効果的に除去することができる。
The two-dimensional noise
次に、ノイズ検出部41の詳細について説明する。ノイズ検出部41は、外部より入力された現フレームの信号から、フレームメモリ35より入力された1フレーム前の信号を減算することによって得られた各画素の差分信号値xに対してノイズ検出値f(x)を算出し、これを乗算器36に出力する。ここで、ノイズ検出部41は、2次元ノイズ低減処理部42のインパルスノイズ処理部421より入力された、各画素にインパルスノイズが含まれるか否かの判定結果に基づいて、数1式及び図3に示される関数f(x)の閾値thの値を変化させる。
Next, details of the
具体的には、ノイズ検出部41は、インパルスノイズが含まれると判定された画素については、関数f(x)のthの値を大きくし、インパルスノイズが含まれないと判定された画素については、関数f(x)のthの値を小さくする。このようにインパルスノイズの有無に応じて関数f(x)のthの値を変化させることによって、ノイズ検出部41は、インパルスノイズを効率的に除去することができる。
Specifically, the
(ノイズ低減装置の第3の実施形態)
次に、画像処理部4に含まれるノイズ低減装置の第3の実施形態について説明する。図12は、本発明の第3の実施形態に係るノイズ低減装置50の概略の構成を示すブロック図である。なお、ノイズ低減装置50においては、第1の実施形態に係るノイズ低減装置30と同一の部分には同一の符号を付し、その詳細な説明は省略する。ノイズ低減装置50は、ノイズ低減装置30と異なる構成として、外部及び動き検出部53より信号が入力され、重み付け加算部38及び動き検出部53に信号を出力する2次元ノイズ低減処理部52と;フレームメモリ35及び2次元ノイズ低減処理部52より信号が入力され、帰還係数及び合成係数検出部34及び2次元ノイズ低減処理部52に信号を出力する動き検出部53と;を有している。
(Third Embodiment of Noise Reduction Device)
Next, a third embodiment of the noise reduction device included in the
ここで、ノイズ低減装置50の動作の概略について説明する。まず、外部からの現フレームの信号が、ノイズ検出部31、減算器37、及び2次元ノイズ低減処理部52に入力される。また、フレームメモリ35からの1フレーム前の信号が、ノイズ検出部31及び動き検出部53に入力される。すると、ノイズ低減処理部31は、外部より入力された現フレームの信号と、フレームメモリ35より入力された1フレーム前の信号とから各画素のノイズ検出値を算出し、これを乗算器36に出力する。また、2次元ノイズ低減処理部52は、動き検出部53より入力された1時点前の注目画素の動き量に応じて、外部より入力された現フレームの信号に対して空間的なローパスフィルタを作用させることによって高周波成分を除去し、得られた2次元ノイズ低減後信号を重み付け加算部38と、動き検出部53とに出力する。
Here, an outline of the operation of the
そして、次に、動き検出部53が、2次元ノイズ低減処理部52より入力された2次元ノイズ低減後信号と、フレームメモリ35より入力された1フレーム前の信号とから各画素の動き量を算出し、これを帰還係数及び合成係数検出部34と、2次元ノイズ低減処理部52とに出力する。すると、帰還係数及び合成係数検出部34が、動き検出部33より入力された各画素の動き量から各画素の帰還係数k1、合成係数k2を算出し、帰還係数k1を乗算器36に、合成係数k2を重み付け加算部38に、各々出力する。
Next, the
そして、次に、乗算器36が、ノイズ検出部31より入力された各画素のノイズ検出値と、帰還係数及び合成係数検出部34より入力された各画素の帰還係数k1とを乗算し、得られた各画素の減算ノイズ値を減算器37へ出力する。すると、減算器37が、外部より入力された現フレームの信号から、乗算器36より入力された各画素の減算ノイズ値を減算し、得られた3次元ノイズ低減後信号を重み付け加算部38へ出力する。
Then, the
そして、次に、重み付け加算部38が、減算器37より入力された3次元ノイズ低減後信号(E)と、2次元ノイズ低減処理部52より入力された2次元ノイズ低減後信号(A)とを、帰還係数及び合成係数検出部34より入力された各画素の合成係数k2によって重み付け加算し(つまり、各画素についてE×k2+A×(1−k2)を計算し)、得られたノイズ低減後信号を後段と、フレームメモリ35とに出力する。
Then, the
次に、2次元ノイズ低減処理部52の詳細について説明する。図13は、2次元ノイズ低減処理部52の概略の構成を示すブロック図である。2次元ノイズ低減処理部52は、外部より信号が入力され、ノイズ低減部523に信号を出力する、第1の実施形態と同一のフィルタ部321と;外部より信号が入力され、ノイズ低減部523に信号を出力する、第1の実施形態と同一のフィルタ重み算出部322と;外部、フィルタ部321、フィルタ重み算出部322、及び動き検出部53より信号が入力され、動き検出部53に信号を出力するノイズ低減部523と;を有している。
Next, details of the two-dimensional noise
ここで、2次元ノイズ低減処理部52の動作の概略について説明する。まず、外部からの現フレームの信号がフィルタ部321、フィルタ重み算出部322、及びノイズ低減部523に入力される。すると、フィルタ部321は、外部より入力された現フレームの信号に対して空間的なローパスフィルタを作用させることによって高周波成分を除去し、得られたフィルタ後信号をノイズ低減部523に出力する。また、フィルタ重み算出部322は、外部より入力された現フレームの信号の信号レベルから各画素のフィルタ重み係数を算出し、これをノイズ低減部523に出力する。
Here, an outline of the operation of the two-dimensional noise
そして、次に、ノイズ低減部523が、動き検出部53より入力された1時点前の注目画素の動き量vに対して現注目画素のノイズ低減調整量ADJ=p(v)を算出し、フィルタ部321より入力されたフィルタ後信号(NR)と、外部より入力された現フレームの信号(ORG)とを、フィルタ重み算出部322より入力された各画素のフィルタ重み係数(GAIN)と各画素のノイズ低減調整量(ADJ)との和によって重み付け加算し(つまり、NR×(ADJ+GAIN)+ORG×(1−ADJ−GAIN)を計算し)、得られた2次元ノイズ低減後信号を動き検出部53に出力する。但し、ここで、ADJ+GAINは、0以上、1以下となるように調整することとする。
Then, the noise reduction unit 523 calculates the noise reduction adjustment amount ADJ = p (v) of the current pixel of interest with respect to the movement amount v of the pixel of interest one point before input from the
ここで、関数p(v)としては、例えば、以下の数5式及び図14に示されるようなものが用いられる。
数5式及び図14に示される関数p(v)は、1時点前の注目画素の動き量vがthzに達するまでは、1時点前の注目画素の動き量vの増加に伴って一次関数的に現注目画素のノイズ低減調整量ADJが−thτから増加し、1時点前の注目画素の動き量vがthz以上となると、ノイズ低減調整量ADJがthτとなるものであり、これによると、1時点前の注目画素の動き量vが小さい場合には、現注目画素に対するフィルタ部321で用いられる空間的なローパスフィルタの影響を小さくすることができ、1時点前の注目画素の動き量vが大きい場合には、現注目画素に対するフィルタ部321で用いられる空間的なローパスフィルタの影響を大きくすることができる。
なお、上述の説明において、図1に示すような構成の撮像装置を例に挙げて、本発明におけるノイズ低減方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明におけるノイズ低減方法を利用可能である。図15に、本発明におけるノイズ低減方法を行うノイズ低減装置(以下では、「画像処理部」に含まれる)を備えた表示装置を示す。 In the above description, the noise reduction method of the present invention has been described by taking the imaging apparatus having the configuration shown in FIG. 1 as an example. However, the present invention is not limited to the imaging apparatus, and digital images such as liquid crystal displays and plasma televisions are used. The noise reduction method according to the present invention can also be used in a display device that performs processing. FIG. 15 shows a display device including a noise reduction device (hereinafter, included in “image processing unit”) that performs the noise reduction method of the present invention.
図15に示す表示装置は、図1に示す撮像装置と同様、画像処理部4、伸長処理部8、ディスプレイ9、音声出力回路部10、スピーカ11、TG12、CPU13、メモリ14、操作部15、及び、バス回線16、17を備える。そして、外部で受信した放送信号を選局するチューナ部21と、チューナ部21で選局した放送信号を復調する復調部22と、外部から入力されたデジタル信号となる圧縮信号が入力されるインターフェース23とを、更に備える。
The display device shown in FIG. 15 is similar to the image pickup device shown in FIG. 1, the
この図15の表示装置は、放送信号を受信する場合は、チューナ部21で所望のチャンネルの放送信号を選局した後、復調部22で放送信号を復調することで、MPEG圧縮符号方式による圧縮信号となるデジタル信号が得られる。このデジタル信号が伸長処理部8に与えられると、圧縮信号であるデジタル信号に対して、MPEG圧縮符号方式による伸長処理が施される。
In the display device of FIG. 15, when receiving a broadcast signal, the
そして、操作部15によって画像の表示が指示されると、伸長処理部8で伸長処理して得られた画像信号が、画像処理部4に与えられ、上述のノイズ低減処理を含む各種画像処理が施された後に、得られた表示信号がディスプレイ9に与えられ、画像の表示がなされる。又、伸長処理部8の伸長処理で得られた音声信号が、音声出力回路部10を通じてスピーカ11に与えられることで、音声が出力される。
When an image display is instructed by the
なお、本発明は上記の実施形態に限定されず、本発明の主旨を逸脱しない範囲で種々の変更が可能である。例えば、上記の実施形態においては、インパルスノイズ低減フィルタとしてメディアンフィルタを用いているが、インパルスノイズを低減できるフィルタであれば、他のフィルタを用いることも可能である。また、第3の実施形態のノイズ低減装置50の2次元ノイズ低減処理部52が、第2の実施形態のノイズ低減装置40のノイズ低減処理部42と同様にインパルスノイズ処理部421を有し、ノイズ検出部31で用いる関数f(x)の形を、各画素にインパルスノイズが含まれるか否かの判定結果に応じて変化させる構成としても良い。
In addition, this invention is not limited to said embodiment, A various change is possible in the range which does not deviate from the main point of this invention. For example, in the above embodiment, the median filter is used as the impulse noise reduction filter. However, other filters can be used as long as the filter can reduce the impulse noise. Further, the two-dimensional noise
本発明は、複数のフレームによって構成される動画像のノイズを低減するノイズ低減装置及びノイズ低減方法として有効である。また、本発明は、このノイズ低減装置を備えた電子機器として有効である。 INDUSTRIAL APPLICABILITY The present invention is effective as a noise reduction device and a noise reduction method that reduce noise in a moving image composed of a plurality of frames. The present invention is also effective as an electronic device equipped with this noise reduction device.
30、40、50 ノイズ低減装置
32、42、52 2次元ノイズ低減処理部
33、53 動き検出部
34 帰還係数及び合成係数検出部(重み係数検出部)
38 重み付け加算部
322 フィルタ重み算出部(信号レベルゲイン調整部)
421 インパルスノイズ処理部(関数変化部)
523 ノイズ低減部(動き量ゲイン調整部)
30, 40, 50
38
421 Impulse noise processing unit (function changing unit)
523 Noise reduction unit (motion gain adjustment unit)
Claims (9)
外部より入力された前記画像信号に対して2次元ノイズ低減処理を施し、2次元ノイズ低減後信号を得る2次元ノイズ低減処理部と、
前記2次元ノイズ低減処理部より入力された前記2次元ノイズ低減後信号と、1フレーム前の前記ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出部と、
外部より入力された前記画像信号に対して、前記動き検出部より入力された各画素の時間軸方向の前記動き量に応じてゲインを調整した3次元ノイズ低減処理を施し、3次元ノイズ低減後信号を得る3次元ノイズ低減処理部と、
を有し、
前記2次元ノイズ低減処理部は、外部より入力された前記画像信号に対して、エッジ保存型ノイズ低減フィルタによる処理を含む前記2次元ノイズ低減処理を施すことを特徴とするノイズ低減装置。 A noise reduction device that receives an image signal from the outside and outputs a signal after noise reduction,
A two-dimensional noise reduction processing unit that performs a two-dimensional noise reduction process on the image signal input from the outside and obtains a signal after two-dimensional noise reduction;
Movement for obtaining a motion amount in the time axis direction of each pixel by calculating a difference value between the two-dimensional noise-reduced signal input from the two-dimensional noise reduction processing unit and the noise-reduced signal one frame before A detection unit;
The image signal input from the outside is subjected to a three-dimensional noise reduction process in which a gain is adjusted in accordance with the amount of motion in the time axis direction of each pixel input from the motion detector, and after the three-dimensional noise reduction A three-dimensional noise reduction processing unit for obtaining a signal;
Have,
The two-dimensional noise reduction processing unit performs the two-dimensional noise reduction processing including processing by an edge-preserving noise reduction filter on the image signal input from the outside .
前記動き検出部より入力された各画素の時間軸方向の前記動き量に応じて前記所定の重み係数を算出する重み係数検出部と、
を有することを特徴とする請求項1に記載のノイズ低減装置。 Weighting and adding the two-dimensional noise-reduced signal input from the two-dimensional noise reduction processing unit and the three-dimensional noise-reduced signal input from the three-dimensional noise reduction processing unit using a predetermined weighting factor. A weighted addition unit for obtaining the noise-reduced signal by:
A weighting factor detection unit that calculates the predetermined weighting factor according to the amount of motion in the time axis direction of each pixel input from the motion detection unit;
The noise reduction device according to claim 1, comprising:
外部より入力された前記画像信号の各画素のインパルスノイズの含有度合いに応じて前記所定の関数を変化させる関数変化部を有することを特徴とする請求項1から5のいずれか1項に記載のノイズ低減装置。 6. The function changing unit according to claim 1, further comprising a function changing unit that changes the predetermined function according to a degree of impulse noise contained in each pixel of the image signal input from the outside. Noise reduction device.
外部より入力された前記画像信号に対して2次元ノイズ低減処理を施し、2次元ノイズ低減後信号を得る2次元ノイズ低減処理ステップと、
前記2次元ノイズ低減処理ステップで得られた前記2次元ノイズ低減後信号と、1フレーム前の前記ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出ステップと、
外部より入力された前記画像信号に対して、前記動き検出ステップで得られた各画素の時間軸方向の前記動き量に応じてゲインを調整した3次元ノイズ低減処理を施し、3次元ノイズ低減後信号を得る3次元ノイズ低減処理ステップと、
を有し、
前記2次元ノイズ低減処理ステップでは、外部より入力された前記画像信号に対して、エッジ保存型ノイズ低減フィルタによる処理を含む前記2次元ノイズ低減処理を施すことを特徴とするノイズ低減方法。 A noise reduction method in which an image signal is input from the outside and a signal after noise reduction is output,
A two-dimensional noise reduction processing step for performing a two-dimensional noise reduction process on the image signal input from the outside to obtain a signal after the two-dimensional noise reduction;
A motion for obtaining a motion amount in the time axis direction of each pixel by calculating a difference value between the signal after the two-dimensional noise reduction obtained in the two-dimensional noise reduction processing step and the signal after the noise reduction one frame before. A detection step;
After the three-dimensional noise reduction, the image signal input from the outside is subjected to a three-dimensional noise reduction process in which a gain is adjusted in accordance with the amount of movement of each pixel in the time axis direction obtained in the motion detection step. A three-dimensional noise reduction processing step for obtaining a signal;
Have
In the two-dimensional noise reduction processing step, the two-dimensional noise reduction processing including processing by an edge preserving noise reduction filter is performed on the image signal input from the outside .
前記動き検出ステップで得られた各画素の時間軸方向の前記動き量に応じて前記所定の重み係数を算出する重み係数検出ステップと、A weighting factor detection step for calculating the predetermined weighting factor according to the amount of motion in the time axis direction of each pixel obtained in the motion detection step;
を有することを特徴とする請求項7に記載のノイズ低減方法。The noise reduction method according to claim 7, further comprising:
前記ノイズ低減装置は、請求項1から6のいずれか1項に記載のノイズ低減装置であることを特徴とする電子機器。The electronic apparatus according to claim 1, wherein the noise reduction apparatus is the noise reduction apparatus according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007097745A JP5013932B2 (en) | 2007-04-03 | 2007-04-03 | Noise reduction device, noise reduction method, and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007097745A JP5013932B2 (en) | 2007-04-03 | 2007-04-03 | Noise reduction device, noise reduction method, and electronic device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008258848A JP2008258848A (en) | 2008-10-23 |
JP5013932B2 true JP5013932B2 (en) | 2012-08-29 |
Family
ID=39981996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007097745A Active JP5013932B2 (en) | 2007-04-03 | 2007-04-03 | Noise reduction device, noise reduction method, and electronic device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5013932B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101595883B1 (en) * | 2010-02-02 | 2016-02-26 | 한화테크윈 주식회사 | Apparatus and method for reducing motion compensation noise of image |
JP2011217294A (en) * | 2010-04-02 | 2011-10-27 | Sharp Corp | Noise reduction processing apparatus |
JP4856262B2 (en) * | 2010-05-31 | 2012-01-18 | 株式会社東芝 | Motion detection device and motion detection method |
JP5561086B2 (en) * | 2010-10-14 | 2014-07-30 | パナソニック株式会社 | Noise removal device |
JP5761979B2 (en) * | 2010-12-10 | 2015-08-12 | Hoya株式会社 | Noise removal system and imaging apparatus |
JP5701035B2 (en) * | 2010-12-13 | 2015-04-15 | キヤノン株式会社 | Image processing apparatus and method, and program |
JP6020904B2 (en) * | 2012-02-01 | 2016-11-02 | パナソニックIpマネジメント株式会社 | Image processing apparatus and imaging apparatus |
WO2014049667A1 (en) * | 2012-09-28 | 2014-04-03 | 株式会社島津製作所 | Digital image processing method and imaging device |
CN105324081B (en) * | 2013-07-03 | 2018-03-20 | 株式会社日立制作所 | Radiation image generating means and image processing method |
CN103632352B (en) | 2013-11-01 | 2017-04-26 | 华为技术有限公司 | Method for time domain noise reduction of noise image and related device |
JP6270526B2 (en) * | 2014-02-19 | 2018-01-31 | キヤノン株式会社 | Imaging apparatus and imaging system |
US10911698B2 (en) * | 2016-09-30 | 2021-02-02 | Huddly As | ISP bias-compensating noise reduction systems and methods |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3291306B2 (en) * | 1991-11-15 | 2002-06-10 | クラリオン株式会社 | Impulse noise eliminator |
JP3364342B2 (en) * | 1994-12-19 | 2003-01-08 | 松下電器産業株式会社 | Noise removal device |
JP3526020B2 (en) * | 1999-12-02 | 2004-05-10 | 松下電器産業株式会社 | Noise reduction device |
JP2006287632A (en) * | 2005-03-31 | 2006-10-19 | Pioneer Electronic Corp | Noise reducer and noise reducing method |
KR100757392B1 (en) * | 2005-07-29 | 2007-09-10 | 닛뽕빅터 가부시키가이샤 | Noise detecting device and method, and device and method for reducing noise by the same |
-
2007
- 2007-04-03 JP JP2007097745A patent/JP5013932B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008258848A (en) | 2008-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5013932B2 (en) | Noise reduction device, noise reduction method, and electronic device | |
US8369649B2 (en) | Image processing apparatus, image processing method, and computer program for performing super-resolution process | |
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
JP4211838B2 (en) | Imaging apparatus and image processing method | |
JP2009284001A (en) | Image processing device, image shooting device, and image processing method | |
JP2008015741A (en) | Image processor, image processing method, and image pickup device using the same | |
JP5525592B2 (en) | Video signal processing device | |
JP5191224B2 (en) | Image processing device | |
US8102445B2 (en) | Solid-state image-capturing apparatus, camera, and method of processing signal | |
JP2008165312A (en) | Image processor and image processing method | |
KR20080085753A (en) | Streaking correction signal generating circuit, streaking correction signal generating method, program, streaking correction circuit and imaging device | |
KR20080095084A (en) | Method and apparatus for reducing noise of image | |
JP2008252767A (en) | Noise reducer, noise reducing method and electronic apparatus | |
JP5451056B2 (en) | Image processing apparatus and imaging apparatus | |
JP2023052939A (en) | Coding device, decoding device, coding method, decoding method, coding program, and decoding program | |
JP2008011324A (en) | Network camera | |
JP2007336386A (en) | Image pick-up device and image pick-up method | |
JP5213604B2 (en) | Imaging device | |
US9007492B2 (en) | Image processing device and imaging device | |
KR20100044073A (en) | An image pickup apparatus | |
JP2010199994A (en) | Image processing apparatus | |
WO2011151966A1 (en) | Image processing device and electronic apparatus provided with same | |
JP2010130446A (en) | Imaging unit | |
JP2009094784A (en) | Noise reduction processing apparatus, noise reduction processing method, and electronic apparatus | |
JP2010118942A (en) | Image processor and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120605 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5013932 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |