JP4577565B2 - Image processing method, image processing apparatus, program, and photographing apparatus - Google Patents
Image processing method, image processing apparatus, program, and photographing apparatus Download PDFInfo
- Publication number
- JP4577565B2 JP4577565B2 JP2005059659A JP2005059659A JP4577565B2 JP 4577565 B2 JP4577565 B2 JP 4577565B2 JP 2005059659 A JP2005059659 A JP 2005059659A JP 2005059659 A JP2005059659 A JP 2005059659A JP 4577565 B2 JP4577565 B2 JP 4577565B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- filter coefficient
- sharpening
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 127
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims description 104
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 14
- 230000002093 peripheral effect Effects 0.000 claims description 12
- 230000004075 alteration Effects 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 7
- 230000001629 suppression Effects 0.000 description 67
- 102100036444 Clathrin interactor 1 Human genes 0.000 description 26
- 101000851951 Homo sapiens Clathrin interactor 1 Proteins 0.000 description 26
- 238000005070 sampling Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
本発明は、画像処理方法、画像処理装置、プログラム、および撮影装置に関し、特に、例えば、ディジタル(スチル)カメラ等において、ノイズの除去と画像の適切な鮮鋭化とを、少ないメモリと計算時間で行うことができるようにする画像処理方法、画像処理装置、プログラム、および撮影装置に関する。 The present invention relates to an image processing method, an image processing apparatus, a program, and a photographing apparatus. In particular, in a digital (still) camera or the like, noise removal and appropriate image sharpening can be performed with less memory and calculation time. The present invention relates to an image processing method, an image processing apparatus, a program, and a photographing apparatus that can be performed.
例えば、ディジタルカメラにおいて撮像を行った結果得られる撮像結果画像には、CCD(Charge Coupled Device)などの(固定)撮像素子で発生するノイズなどに起因して、ノイズが発生する。このため、ディジタルカメラの内部のカメラ信号処理として、例えば、撮像結果画像を対象として、ノイズを除去するための画像処理(ノイズ除去処理)が行われる。 For example, noise is generated in an imaging result image obtained as a result of imaging with a digital camera due to noise generated in a (fixed) imaging device such as a CCD (Charge Coupled Device). For this reason, as camera signal processing inside the digital camera, for example, image processing (noise removal processing) for removing noise is performed on the imaging result image.
また、安価なレンズその他の光学系を用いたディジタルカメラでは、像高(光学中心からの距離)が大になるほど、レンズの収差に起因して、撮像結果画像がぼけるなどの現象が現れる。さらに、ディジタルカメラの光学系が、安価な光学系ではない場合にも、撮像結果画像の画質を向上させるために、より解像度感を向上させるなどの処理が必要とされる。このため、ディジタルカメラでは、撮像結果画像に対して、画像の鮮鋭度を向上させる鮮鋭化処理(エッジ強調)などのMTF(Modulation Transfer Function)を補正する画像処理が施される。 Further, in a digital camera using an inexpensive lens or other optical system, as the image height (distance from the optical center) increases, a phenomenon such as blurring of an imaging result appears due to lens aberration. Further, even when the optical system of the digital camera is not an inexpensive optical system, a process for improving the sense of resolution is required to improve the image quality of the captured image. For this reason, in the digital camera, image processing for correcting MTF (Modulation Transfer Function) such as sharpening processing (edge enhancement) for improving the sharpness of the image is performed on the captured image.
以上のように、撮像結果画像のノイズを抑制(除去)し、かつその鮮鋭度を向上させるために、ディジタルカメラでは、ノイズ除去処理と鮮鋭化処理とが行われる。 As described above, in order to suppress (remove) noise from the captured image and improve its sharpness, the digital camera performs noise removal processing and sharpening processing.
ノイズ除去処理としては、一般的に、畳み込み演算によってフィルタリングを行うフィルタ処理が行われる。 As the noise removal process, generally, a filter process for performing filtering by a convolution operation is performed.
また、鮮鋭化処理としては、アンシャープマスク(Unsharp Mask)がある。アンシャープマスクは、信号の高周波数成分を強調する処理であり、いま、アンシャープマスクの処理前の画像(原画像)をIと表すとともに、アンシャープマスクの処理後の画像(結果画像)をIrと表すこととすると、結果画像Irは、式(1)で表される。 An example of the sharpening process is an unsharp mask. The unsharp mask is a process that emphasizes the high-frequency components of the signal. Now, the image before the unsharp mask processing (original image) is represented as I, and the image after the unsharp mask processing (result image) is displayed. When expressed as Ir, the result image Ir is expressed by Expression (1).
ここで、式(1)において、LP()は、ローパスフィルタによるフィルタ処理(フィルタリング)を表し、従って、LP(I)は、原画像Iをローパスフィルタでフィルタリングした結果得られる画像を表す。また、式(1)において、aは、アンシャープマスクによって鮮鋭化する度合いを表す値(アンシャープマスクゲイン)であり、定数である。 Here, in Expression (1), LP () represents filter processing (filtering) using a low-pass filter, and therefore LP (I) represents an image obtained as a result of filtering the original image I with a low-pass filter. In Expression (1), a is a value (unsharp mask gain) indicating a degree of sharpening by an unsharp mask, and is a constant.
なお、アンシャープマスクゲインaが0より大の値であるときに、高周波数成分が強調され、鮮鋭化が施される。また、アンシャープマスクゲインaを−1以上0以下の値にすると、結果画像Irは、原画像Iをローパスフィルタでフィルタリングして得られる画像と等価となる。 When the unsharp mask gain a is a value larger than 0, the high frequency component is emphasized and sharpened. When the unsharp mask gain a is set to a value between −1 and 0, the result image Ir is equivalent to an image obtained by filtering the original image I with a low-pass filter.
撮像結果画像のノイズを抑制(除去)し、かつその鮮鋭度を向上させる方法としては、撮像結果画像に対して、ノイズ除去処理を施し、その後、さらに、鮮鋭化処理を施す方法、つまり、ノイズ除去と鮮鋭化とを順次行う方法がある。 As a method of suppressing (removing) noise in the imaging result image and improving its sharpness, a method of performing noise removal processing on the imaging result image and then further performing sharpening processing, that is, noise There is a method of sequentially performing removal and sharpening.
いま、原画像Iに対して、ノイズ除去処理を施した画像(途中経過画像)を、INRと表すこととすると、ノイズ除去と鮮鋭化とを順次行って、撮像結果画像のノイズを抑制し、かつ鮮鋭度を向上させる処理は、式(1)の原画像Iを、途中経過画像INRに置き換えた式(2)で表される。 Now, the original image I, image subjected to noise removal processing (progress image), when it is expressed as I NR, sequentially performs noise removal and sharpening, to suppress noise of the imaging result image The processing for improving the sharpness is expressed by Expression (2) in which the original image I in Expression (1) is replaced with the intermediate progress image INR .
なお、式(2)において、INR'は、ノイズ除去と鮮鋭化とを順次行って得られる画像(結果画像)を表す。 In Expression (2), I NR ′ represents an image (result image) obtained by sequentially performing noise removal and sharpening.
図1は、式(2)で表される処理、つまり、ノイズ除去と鮮鋭化とを順次行う処理の流れを示している。 FIG. 1 shows a flow of processing represented by Expression (2), that is, processing for sequentially performing noise removal and sharpening.
ステップS1では、例えば、ディジタルカメラで得られた撮像結果画像を原画像Iとして、ノイズ除去処理としての畳み込み演算(フィルタ処理(フィルタリング)としての畳み込み演算)が行われ、これにより、原画像Iに比較してノイズが抑制された途中経過画像INRが得られる。 In step S1, for example, a convolution operation as a noise removal process (convolution operation as a filter process (filtering)) is performed using an imaging result image obtained by a digital camera as an original image I. In comparison, an intermediate progress image INR in which noise is suppressed is obtained.
この途中経過画像INRをアンシャープマスクの処理の入力とし、ステップS2において、途中経過画像INRをローパスフィルタでフィルタリングするローパスフィルタ処理が行われ、これにより、フィルタリング後の画像LP(INR)が得られる。さらに、ステップS3において、途中経過画像INRから、フィルタリング後の画像LP(INR)を減算する減算処理が行われ、ステップS4に進み、減算処理によって得られる減算値(INR-LP(INR))に対して、アンシャープマスクゲインaを乗算する乗算処理が行われる。そして、ステップS5において、途中経過画像INRと、ステップS4の乗算処理で得られる乗算値a(INR-LP(INR))とを加算する加算処理が行われ、これにより、式(2)で表される結果画像INR'(=INR+a(INR-LP(INR)))が求められる。 The intermediate progress image I NR is used as an input for the unsharp mask process, and in step S2, low pass filter processing is performed to filter the intermediate progress image I NR with a low pass filter, whereby the filtered image LP (I NR ) Is obtained. Further, in step S3, a subtraction process for subtracting the filtered image LP (I NR ) from the intermediate progress image I NR is performed, and the process proceeds to step S4, where a subtraction value (I NR -LP (I NR )) is multiplied by an unsharp mask gain a. Then, in step S5, the progress image I NR, addition processing for adding the multiplication process with resulting multiplication value a (I NR -LP (I NR )) in step S4 is performed, thereby, the equation (2 ) Is obtained as a result image I NR '(= I NR + a (I NR -LP (I NR ))).
以上のように、式(2)で表される処理では、アンシャープマスクの処理が、途中経過画像INRを入力として行われるため、その途中経過画像INRを、アンシャープマスクの処理が終了するまで記憶しておくメモリが必要となる。 As described above, in the process represented by the expression (2), the unsharp mask process is performed using the halfway progress image INR as an input, and thus the halfway progress image INR is processed by the unsharp mask process. You will need a memory to store until you do.
また、式(2)で表される処理では、ノイズ除去処理を行ってから、鮮鋭化処理としてのアンシャープマスクの処理を行うため、ノイズ除去処理としての畳み込み演算を行い、さらに、アンシャープマスクの処理の一部であるローパスフィルタ処理(ステップS2)としての畳み込み演算を行う必要がある。即ち、2回の畳み込み演算を行う必要がある。 Further, in the processing represented by the expression (2), since noise removal processing is performed and then unsharp mask processing is performed as sharpening processing, convolution operation is performed as noise removal processing, and further, unsharp mask processing is performed. It is necessary to perform a convolution operation as a low-pass filter process (step S2) which is a part of the process. That is, it is necessary to perform two convolution operations.
従って、式(2)で表される処理には、多くのメモリと計算時間を要する。 Therefore, the processing represented by the equation (2) requires a lot of memory and calculation time.
そこで、ノイズ除去処理と鮮鋭化処理を、一度に行う方法として、アンシャープマスクの処理を表す式(1)におけるアンシャープマスクゲインaを、原画像Iの画素値に応じて適宜変更する方法が、例えば、特許文献1に記載されている。特許文献1に記載の方法では、画素値の小さい画素では、本来の輝度(信号成分)に対してノイズの割合が大きく、逆に、画素値の大きい画素では、本来の輝度に対してノイズの割合が小さいと仮定し、画素値が大きい画素については、アンシャープマスクゲインaを0より大きい値とする一方、画素値が小さい画素については、アンシャープマスクゲインaを0以下−1以上の値として、式(1)が計算される。
Therefore, as a method of performing the noise removal process and the sharpening process at once, there is a method of appropriately changing the unsharp mask gain a in the expression (1) representing the unsharp mask process according to the pixel value of the original image I. For example, it is described in
上述したように、式(1)によれば、アンシャープマスクゲインaが0より大の値のときに、高周波数成分が強調されることによる鮮鋭化が施され、アンシャープマスクゲインaが−1以上0以下の値のときに、ローパスフィルタによるフィルタ処理が施される。従って、特許文献1に記載の方法によれば、原画像Iにおいて暗い部分(画素値が小の部分)に対してはノイズ除去処理が施され、明るい部分(画素値が大の部分)に対しては鮮鋭化処理が施される。
As described above, according to the equation (1), when the unsharp mask gain a is a value larger than 0, sharpening is performed by emphasizing high frequency components, and the unsharp mask gain a is − When the value is 1 or more and 0 or less, filter processing using a low pass filter is performed. Therefore, according to the method described in
さらに、ノイズ除去処理と鮮鋭化処理を、一度に行う方法としては、その他、例えば、特許文献2に記載されている方法がある。特許文献2に記載の方法では、アンシャープマスクの処理を表す式(1)によって画素値を求めようとしている画素(注目画素)の位置の周辺の、原画像Iの画素の画素値の分散に基づき、注目画素がエッジ部分(を構成する画素)であるかどうかを判定し、注目画素がエッジ部分であれば、アンシャープマスクゲインaを0より大きい値とする一方、注目画素がエッジ部分でない平坦部分であれば(平坦部分に近ければ)、アンシャープマスクゲインaを0以下−1以上の値として、式(1)を計算して、注目画素の画素値が求められる。
Furthermore, as a method for performing noise removal processing and sharpening processing at a time, there is a method described in
従って、特許文献2に記載の方法によれば、画素値の分散が小の平坦部分に対してはノイズ除去処理が施され、画素値の分散が大のエッジ部分に対しては鮮鋭化処理が施される。
Therefore, according to the method described in
一方、例えば、特許文献3においては、カメラのレンズの収差の特性に応じて、そのカメラで撮像された画像(撮像結果画像)の画素の画素位置により、撮像結果画像に対して施す画像処理の係数を設定することが記載されている。
On the other hand, for example, in
ところで、特許文献1や2に記載の方法では、原画像Iの画素値に基づき、アンシャープマスクゲインaを設定する。そして、特許文献1や2に記載の方法では、アンシャープマスクゲインaの設定にあたって、注目画素の画素位置は考慮されない。
By the way, in the methods described in
しかしながら、上述したように、安価な光学系を用いたディジタルカメラによって得られる撮像結果画像は、像高が大になるほどぼけるので、鮮鋭化の度合いを表すアンシャープマスクゲインaは、注目画素の画素位置に基づいて決めるのが適切である。 However, as described above, an image obtained by a digital camera using an inexpensive optical system is blurred as the image height increases. Therefore, the unsharp mask gain a representing the degree of sharpening is the pixel of the target pixel. It is appropriate to decide based on the position.
そこで、特許文献3では、上述したように、画素位置により、撮像結果画像に対して施す画像処理の係数を設定することが記載されており、さらに、その画像処理として、鮮鋭度の補正が言及されている。
Therefore, as described above,
しかしながら、特許文献3においては、ノイズを抑制しながら、鮮鋭化を行う具体的な方法は記載されていない。
However,
そして、現在においては、ノイズの抑制と適切な鮮鋭化とを、少ないメモリと計算時間で行うことができるようにする具体的な手法の提案が要請されている。 At present, there is a demand for a proposal of a specific method that enables noise suppression and appropriate sharpening to be performed with a small amount of memory and calculation time.
本発明は、このような状況に鑑みてなされたものであり、ノイズの抑制と適切な鮮鋭化とを、少ないメモリと計算時間で行うことができるようにするものである。 The present invention has been made in view of such a situation, and enables noise suppression and appropriate sharpening to be performed with a small amount of memory and calculation time.
本発明の一側面は、第2の画像の画素ごとに、その画素の画素位置の周辺の第1の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数Bを算出するノイズ除去フィルタ係数算出ステップ/ノイズ除去フィルタ係数算出手段/ノイズ除去フィルタ係数算出部と、第2の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータaを算出する鮮鋭化パラメータ算出ステップ/鮮鋭化パラメータ算出手段/鮮鋭化パラメータ算出部と、第2の画像の画素ごとに、その画素について算出されたノイズ除去フィルタ係数B、鮮鋭化パラメータa、及び、ローパスフィルタのフィルタ係数であるローパスフィルタ係数Lに基づき、第1の画像をフィルタリングするフィルタの係数であるフィルタ係数F=(1+a)B-aLを算出し、そのフィルタ係数Fを適用して、第1の画像をフィルタリングする畳み込み演算を行うことにより、第2の画像の画素の画素値を算出するフィルタ適用ステップ/フィルタ適用手段/フィルタ適用部とを含む。One aspect of the present invention relates to a noise removal filter coefficient that is a coefficient of a filter that removes noise based on peripheral pixels that are pixels of the first image around the pixel position of each pixel of the second image. A parameter representing the degree of sharpening based on the pixel position of each pixel of the second image, and the noise removal filter coefficient calculation step / noise removal filter coefficient calculation means / noise removal filter coefficient calculation unit for calculating B Sharpening parameter calculation step for calculating the sharpening parameter a / sharpening parameter calculating means / sharpening parameter calculating unit, and for each pixel of the second image, a noise removal filter coefficient B calculated for the pixel, sharpening Filtering the first image based on the conversion parameter a and the low-pass filter coefficient L which is the filter coefficient of the low-pass filter Filter coefficient F = (1 + a) B−aL, which is a coefficient of the filter to be applied, and applying the filter coefficient F to perform a convolution operation for filtering the first image, A filter application step / filter application means / filter application unit for calculating a pixel value of the pixel.
本発明の一側面においては、第2の画像の画素ごとに、その画素の画素位置の周辺の第1の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数Bが算出され、第2の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータaが算出される。そして、第2の画像の画素ごとに、その画素について算出されたノイズ除去フィルタ係数B、鮮鋭化パラメータa、及び、ローパスフィルタのフィルタ係数であるローパスフィルタ係数Lに基づき、第1の画像をフィルタリングするフィルタの係数であるフィルタ係数F=(1+a)B-aLが算出され、そのフィルタ係数Fを適用して、第1の画像をフィルタリングする畳み込み演算を行うことにより、第2の画像の画素の画素値が算出される。In one aspect of the present invention, for each pixel of the second image, a noise removal filter that is a coefficient of a filter that removes noise based on peripheral pixels that are pixels of the first image around the pixel position of the pixel A coefficient B is calculated, and for each pixel of the second image, a sharpening parameter a that is a parameter indicating the degree of sharpening is calculated based on the pixel position of the pixel. Then, for each pixel of the second image, the first image is filtered based on the noise removal filter coefficient B calculated for the pixel, the sharpening parameter a, and the low-pass filter coefficient L that is the filter coefficient of the low-pass filter. A filter coefficient F = (1 + a) B−aL, which is a coefficient of the filter to be applied, is calculated, and by applying the filter coefficient F and performing a convolution operation for filtering the first image, The pixel value of the pixel is calculated.
従って、第2の画像の画素ごとに、ノイズ除去フィルタ係数B、鮮鋭化パラメータa、及び、ローパスフィルタ係数Lに基づいて算出されるフィルタ係数Fを適用した1回の畳み込み演算を第1の画像に施すことにより、第2の画像の画素の画素値が算出される。 Therefore, for each pixel of the second image, one convolution operation using the filter coefficient F calculated based on the noise removal filter coefficient B, the sharpening parameter a, and the low-pass filter coefficient L is performed in the first image. As a result, the pixel value of the pixel of the second image is calculated.
本発明によれば、ノイズの抑制と適切な鮮鋭化とを、少ないメモリと計算時間で行うことができる。 According to the present invention, noise suppression and appropriate sharpening can be performed with less memory and calculation time.
図2は、本発明を適用したディジタル(スチル)カメラの一実施の形態の構成例を示している。 FIG. 2 shows a configuration example of an embodiment of a digital (still) camera to which the present invention is applied.
レンズ2、絞り3等の光学系は、図示せぬ被写体からの光を、撮像素子4上集光させる。
The optical system such as the
撮像素子4は、例えば、CCDやCMOS(Complementary Metal Oxide Semiconductor)イメージャ等で構成され、撮像を行い、その撮像によって得られる画像(撮像結果画像)を、サンプリング回路5に出力する。即ち、撮像素子4は、タイミングジェネレータ8から供給されるタイミング信号に従い、所定の間隔で、所定の露出時間だけ、レンズ2および絞り3を介して入射する被写体の光を受光する。そして、撮像素子4は、その撮像面上の各受光素子に到達した受光量を光電変換により電気信号に変換し、その電気信号を相関2重サンプリング回路5に供給する。
The
相関2重サンプリング回路5は、撮像素子4から供給される電気信号のノイズ成分を、相関2重サンプリングにより除去し、A/D(Analog/Digital)コンバータ6に供給する。A/Dコンバータ6は、相関2重サンプリング回路5から供給される電気信号をA/D変換(サンプリングして量子化)し、その結果得られる画像データを、信号処理回路7に供給する。
The correlated
信号処理回路7は、例えば、DSP(Digital Signal Processor)等で構成され、A/Dコンバータ6から供給される画像データに対して、各種の画像処理(カメラ信号処理)を施し、その画像処理後の画像データを、D/Aコンバータ9またはコーデック12に供給する。
The
タイミングジェネレータ8は、各種の処理のタイミングを指令するタイミング信号を生成し、撮像素子4、相関2重サンプリング回路5、A/Dコンバータ6、および信号処理回路7に供給する。
The
D/A(Digital/Analog)コンバータ9は、信号処理回路7から供給された画像データをD/A変換し、ビデオエンコーダ10に供給する。ビデオエンコーダ10は、D/Aコンバータ9から供給された画像信号(アナログ信号)を、モニタ11で表示することができる信号に変換し、モニタ11に供給する。モニタ11は、ディジタルカメラのファインダ等の役割を果たすもので、LCD(Liquid Crystal Display)などで構成され、ビデオエンコーダ10から供給される信号にしたがって画像を表示する。これにより、モニタ11では、いわゆるスルー画等が表示される。
A D / A (Digital / Analog) converter 9 D / A converts the image data supplied from the
コーデック12は、信号処理回路7から供給された画像データを、JPEG(Joint Photographic Experts Group)方式、MPEG(Moving Picture Experts Group)方式や、DV(Digital Video)方式などの所定の方式に従って符号化し、メモリ13に供給する。
The
メモリ13は、フラッシュメモリなどの半導体メモリで構成され、コーデック12から供給される符号化された画像データを記憶(記録)する。なお、メモリ13の代わりに、磁気ディスク、光(磁気)ディスク、磁気テープ等の記録媒体を用いることができる。メモリ13またはメモリ13の代わりに用いる記録媒体は、ディジタルカメラに対して着脱可能とすることができる。また、ディジタルカメラに内蔵される記録媒体と、ディジタルカメラに着脱可能な記録媒体の両方を設けるようにすることも可能である。
The
記憶部14は、EEPROM(Electrically Erasable Programmable Read Only Memory)などの不揮発性のメモリ、または、不揮発性のメモリと、RAM(Read Only Memory)などの揮発性のメモリとで構成され、CPU(Central Processing Unit)15が実行するプログラムを記憶し、また、CPU15が処理を行う上で必要なデータを一時記憶する。
The
CPU15は、記憶部14に記憶されたプログラムを実行することにより、各種の処理を行う。即ち、CPU15は、例えば、ユーザの操作に応じて入力デバイス16から供給される信号などに応じ、バスを介して、信号処理回路7や、タイミングジェネレータ8、コーデック、メモリ13等の各部に制御信号を供給し、これにより、各部を制御する。
The
入力デバイス16は、撮影(撮像)のトリガを与えるレリーズボタン(シャッタボタン)、撮影時の露出を補正するときに操作される露出補正ダイアル、ズームを調整するときに操作されるズームボタン(ズームレバー)などの操作ボタン類を有している。ユーザが操作ボタンを操作することにより発生する各種の信号が、入力デバイス16からバス14を介してCPU15に供給され、CPU15は、入力デバイス16からバス14を介して供給される各種の信号に従う処理を実行するように各部を制御する。なお、入力デバイス16の1以上の操作ボタンは、モニタ11に表示することが可能である。モニタ11に表示された操作ボタンに対する操作は、例えば、モニタ11上に透明なタブレットを設け、そのタブレットにより検出するようにすることができる。
The
I/F(Interface)17は、例えば、USB(Universal Serial Bus)や、IEEE(Institute of Electrical and Electronics Engineers)1394、IEEE802の規格等に準拠した通信を行うインターフェースである。ディジタルカメラは、I/F17を介して外部のコンピュータなどと接続することで、記憶部14に記憶されているプログラムを更新し、あるいは画像データを含む各種のデータのやりとりをすることができる。
The I / F (Interface) 17 is an interface that performs communication conforming to the standards of USB (Universal Serial Bus), IEEE (Institute of Electrical and Electronics Engineers) 1394, IEEE 802, and the like. The digital camera can be connected to an external computer or the like via the I /
以上のように構成されるディジタルカメラでは、被写体からの光が、レンズ2や絞り3等の光学系を介して、撮像素子4に入射する。撮像素子4は、そこに入射する被写体の光を受光して光電変換する。撮像素子4における光電変換の結果得られる画像(データ)は、サンプリング回路5およびA/Dコンバータ6を介して、信号処理回路7に供給される。
In the digital camera configured as described above, light from the subject enters the
信号処理回路7は、撮像素子4からサンプリング回路5およびA/Dコンバータ6を介して供給される画像に対して、各種の画像処理を施す。ここで、信号処理回路7で行われる画像処理には、ノイズを抑制しながら鮮鋭化を行う後述する処理が含まれる。
The
信号処理回路7における画像処理後の画像は、D/Aコンバータ9およびビデオエンコーダ10を介して、モニタ11に供給されて表示される。また、信号処理回路7における画像処理後の画像は、必要に応じて、コーデック12を介してメモリ13に供給されて記憶される。
The image after the image processing in the
次に、上述したように、図2の信号処理回路7は、撮像素子4からサンプリング回路5およびA/Dコンバータ6を介して供給される画像、即ち、撮像素子4での撮像の結果得られる画像(撮像結果画像)に対して、ノイズを抑制しながら鮮鋭化を行う画像処理(以下、適宜、ノイズ抑制鮮鋭化処理という)を施す。そこで、以下、このノイズ抑制鮮鋭化処理について説明する。
Next, as described above, the
ノイズ抑制鮮鋭化処理は、ノイズを抑制しながら鮮鋭化を行うので、ノイズ除去処理と鮮鋭化処理の両方を含む。 Since the noise suppression sharpening process is performed while suppressing noise, it includes both a noise removal process and a sharpening process.
いま、鮮鋭化処理として、前述の式(1)で表されるアンシャープマスクを採用することとして、原画像Iに対してノイズ除去処理を施した結果得られる画像を、EPNR(I)と表すとともに、原画像Iに対してノイズ抑制鮮鋭化処理を施した結果得られる画像(結果画像)を、I'と表すこととすると、ノイズ抑制鮮鋭化処理は、式(3)で表すことができる。 Now, by adopting the unsharp mask represented by the above-described formula (1) as the sharpening process, an image obtained as a result of performing the noise removal process on the original image I is expressed as EPNR (I). At the same time, if an image (result image) obtained as a result of performing noise suppression sharpening processing on the original image I is expressed as I ′, the noise suppression sharpening processing can be expressed by Expression (3). .
ここで、式(3)は、式(1)における原画像Iを、ノイズ除去処理後の画像EPNR(I)に置き換え、かつ、式(1)における結果画像Irを、ノイズ抑制鮮鋭化処理後の画像(結果画像)I'に置き換えたものに等しい。 Here, Expression (3) replaces the original image I in Expression (1) with the image EPNR (I) after noise removal processing, and the result image Ir in Expression (1) after noise suppression sharpening processing Is equivalent to the image (result image) I ′.
いま、式(3)で表されるノイズ抑制鮮鋭化処理におけるノイズ除去処理として、画像のエッジ部分を保持しながらノイズを平滑化することにより除去するエッジ保持ノイズ除去処理を採用することとすると、原画像Iに対してエッジ保持ノイズ除去処理を施し、さらに、ローパスフィルタによるフィルタ処理を施して得られる画像LP(EPNR(I))と、原画像Iに対するローパスフィルタによるフィルタ処理によって得られる画像LP(I)とは、式(4)に示すように、ほぼ一致する。 Now, as a noise removal process in the noise suppression sharpening process represented by Expression (3), an edge holding noise removal process that removes noise by smoothing while holding an edge part of an image is adopted. An image LP (EPNR (I)) obtained by performing edge holding noise removal processing on the original image I and further filtering by a low pass filter, and an image LP obtained by filtering the original image I by a low pass filter (I) almost coincides with the equation (4).
従って、式(3)における画像LP(EPNR(I))は、画像LP(I)に置き換えることができ、この置き換えによって、式(3)で表されるノイズ抑制鮮鋭化処理は、式(5)で表すことができる。 Therefore, the image LP (EPNR (I)) in the equation (3) can be replaced with the image LP (I), and by this replacement, the noise suppression sharpening process represented by the equation (3) is expressed by the equation (5). ).
ここで、前述の式(2)では、原画像Iに対してノイズ除去処理を施した途中経過画像INRを、ローパスフィルタでフィルタ処理し、そのフィルタ処理の結果得られる画像LP(INR)を用いて、アンシャープマスクの処理に用いる高周波数成分(INR-LP(INR))が求められるのに対して、ノイズ抑制鮮鋭化処理を表す式(5)では、原画像Iをローパスフィルタでフィルタ処理し、そのフィルタ処理の結果得られる画像LP(I)を用いて、アンシャープマスクの処理に用いる高周波数成分(EPNR(I)-LP(I))が求められる。 Here, in the above-described equation (2), an intermediate image I NR obtained by performing noise removal processing on the original image I is filtered by a low-pass filter, and an image LP (I NR ) obtained as a result of the filtering process. Is used to calculate a high-frequency component (I NR -LP (I NR )) used for unsharp mask processing, whereas in equation (5) representing noise suppression sharpening processing, the original image I is low-pass A high-frequency component (EPNR (I) -LP (I)) used for unsharp mask processing is obtained using the image LP (I) obtained as a result of the filtering process and the filtering process.
図3は、式(5)で表されるノイズ抑制鮮鋭化処理の流れを示している。 FIG. 3 shows the flow of the noise suppression sharpening process represented by Expression (5).
ステップS11では、原画像Iに対してエッジ保持ノイズ除去処理が施され、これにより、エッジ保持ノイズ除去処理後の画像EPNR(I)が得られる。また、ステップS12では、原画像Iに対してローパスフィルタによるフィルタリングを行うローパスフィルタ処理が行われ、これにより、ローパスフィルタ処理後の画像LP(I)が得られる。 In step S11, edge holding noise removal processing is performed on the original image I, thereby obtaining an image EPNR (I) after edge holding noise removal processing. In step S12, low-pass filter processing is performed on the original image I by filtering with a low-pass filter, whereby an image LP (I) after low-pass filter processing is obtained.
その後、ステップS13において、エッジ保持ノイズ除去処理後の画像EPNR(I)から、ローパスフィルタ処理後の画像LP(I)を減算する減算処理が行われ、ステップS14に進み、その減算処理によって得られる減算値(EPNR(I)-LP(I))に対して、アンシャープマスクゲインaを乗算する乗算処理が行われる。そして、ステップS15において、エッジ保持ノイズ除去処理後の画像EPNR(I)と、ステップS14の乗算処理で得られる乗算値a(EPNR(I)-LP(I))とを加算する加算処理が行われ、これにより、式(5)で表される結果画像I'(=EPNR(I)+a(EPNR(I)-LP(I)))が求められる。 Thereafter, in step S13, a subtraction process is performed to subtract the image LP (I) after the low-pass filter process from the image EPNR (I) after the edge holding noise removal process, and the process proceeds to step S14, and is obtained by the subtraction process. A multiplication process for multiplying the subtraction value (EPNR (I) −LP (I)) by an unsharp mask gain a is performed. In step S15, an addition process for adding the image EPNR (I) after the edge preserving noise removal process and the multiplication value a (EPNR (I) -LP (I)) obtained by the multiplication process in step S14 is performed. Thus, a result image I ′ (= EPNR (I) + a (EPNR (I) −LP (I))) represented by the equation (5) is obtained.
次に、図4は、図3のノイズ抑制鮮鋭化処理の各過程で得られる画像を示している。 Next, FIG. 4 shows an image obtained in each process of the noise suppression sharpening process of FIG.
なお、図4において、横軸は、画像上の位置(画素位置)pを表し、縦軸は、画素値vを表している。 In FIG. 4, the horizontal axis represents the position (pixel position) p on the image, and the vertical axis represents the pixel value v.
図4の上から1番目は、原画像Iを示している。原画像Iには、画素値vが急峻に変化するエッジ部分が存在し、さらに、そのエッジ部分の左右には、平坦部分が存在している。さらに、その平坦部分においては、画素値vにノイズが含まれている。 The first from the top of FIG. 4 shows the original image I. In the original image I, there are edge portions where the pixel value v changes sharply, and there are also flat portions on the left and right sides of the edge portions. Further, in the flat portion, the pixel value v includes noise.
図4の上から2番目は、図4上から1番目の原画像Iに対して、図3のステップS11のエッジ保持ノイズ除去処理を施すことによって得られる画像EPNR(I)を示している。画像EPNR(I)においては、原画像Iのエッジ部分が保持され、かつ平坦部分のノイズが除去されている。 The second from the top in FIG. 4 shows an image EPNR (I) obtained by performing the edge holding noise removal processing in step S11 in FIG. 3 on the first original image I from the top in FIG. In the image EPNR (I), the edge portion of the original image I is retained and the noise of the flat portion is removed.
図4の上から3番目は、図4上から1番目の原画像Iに対して、図3のステップS12のローパスフィルタ処理を施すことによって得られる画像LP(I)を示している。画像LP(I)においては、原画像Iの平坦部分のノイズが除去されているが、エッジ部分の急峻さも失われている。 The third from the top in FIG. 4 shows an image LP (I) obtained by performing the low-pass filter processing in step S12 in FIG. 3 on the first original image I from the top in FIG. In the image LP (I), the noise of the flat portion of the original image I is removed, but the sharpness of the edge portion is also lost.
図4の上から4番目(下から1番目)は、図4上から1番目の原画像Iに対して、ノイズ抑制鮮鋭化処理を施すことによって得られる画像、即ち、図3のステップS15の加算処理後に得られる結果画像I'を示している。結果画像I'においては、原画像Iの平坦部分のノイズが除去されており、さらに、エッジ部分が強調化されることにより鮮鋭化されている。 The fourth from the top (first from the bottom) of FIG. 4 is an image obtained by performing noise suppression sharpening processing on the first original image I from the top of FIG. 4, ie, step S15 of FIG. A result image I ′ obtained after the addition processing is shown. In the result image I ′, the noise of the flat portion of the original image I is removed, and further, the edge portion is enhanced to be sharpened.
次に、エッジ保持ノイズ除去処理としては、例えば、バイラテラルフィルタ(Bilateral Filter)によるフィルタリング(フィルタ処理)を採用することができる。 Next, as edge retention noise removal processing, for example, filtering (filter processing) using a bilateral filter may be employed.
いま、エッジ保持ノイズ除去処理としてのバイラテラルフィルタによるフィルタ処理後の画像EPNR(I)の画素位置(x,y)の画素の画素値を、IEPNR(x,y)と表すこととする。なお、画像EPNR(I)の左上の画素の画素位置を原点(0,0)とし、横または縦方向に隣接する画素どうしの間隔は1であるとする。 Now, the pixel value of the pixel at the pixel position (x, y) of the image EPNR (I) after the filter processing by the bilateral filter as the edge holding noise removal processing is represented as I EPNR (x, y). Note that the pixel position of the upper left pixel of the image EPNR (I) is the origin (0, 0), and the interval between pixels adjacent in the horizontal or vertical direction is 1.
この場合、画素値IEPNR(x,y)は、式(6)で表すことができる。 In this case, the pixel value I EPNR (x, y) can be expressed by Expression (6).
式(6)において、I(x,y)は、バイラテラルフィルタによるフィルタ処理の対象となる原画像Iの画素位置(x,y)の画素の画素値を表す。さらに、式(6)において、sとtとは、所定の範囲の整数値であり、Σは、変数sとtがとり得る値についてのサメーションを表す。 In Expression (6), I (x, y) represents the pixel value of the pixel at the pixel position (x, y) of the original image I to be subjected to the filtering process by the bilateral filter. Furthermore, in Expression (6), s and t are integer values in a predetermined range, and Σ represents a summation about values that the variables s and t can take.
さらに、関数w1()とw2()は、例えば、式(7)で表される。 Furthermore, the functions w 1 () and w 2 () are expressed by, for example, Expression (7).
ここで、式(7)において、nは、1または2であり、σnは、関数wn(x)の引数xがとる値の標準偏差である。式(7)で表される関数wn(x)の関数値は、引数xが大きいほど小さくなる。 Here, in Expression (7), n is 1 or 2, and σ n is the standard deviation of the value taken by the argument x of the function w n (x). The function value of the function w n (x) represented by Expression (7) decreases as the argument x increases.
式(6)によれば、画像EPNR(I)の画素位置(x,y)の画素の画素値IEPNR(x,y)は、その画素の画素位置(x,y)の周辺の原画像Iの画素である周辺画素の画素値I(x+s,y+t)に基づいて算出される。 According to Expression (6), the pixel value I EPNR (x, y) of the pixel at the pixel position (x, y) of the image EPNR (I) is the original image around the pixel position (x, y) of the pixel. It is calculated based on the pixel value I (x + s, y + t) of the peripheral pixels that are I pixels.
即ち、いま、変数sまたはtと同一の値をとる変数を、それぞれ変数iまたはjとして、変数x,y,i,jを引数とする変数B(x,y,i,j)を、式(8)で定義する。 That is, the variable having the same value as the variable s or t is now the variable i or j, respectively, and the variable B (x, y, i, j) with the variables x, y, i, j as arguments is It is defined in (8).
式(6)は、式(8)の変数B(x,y,i,j)を用いて、式(9)で表すことができる。 Expression (6) can be expressed by Expression (9) using the variable B (x, y, i, j) of Expression (8).
ここで、式(9)のΣは、Σは、変数iとjがとり得る値についてのサメーションを表す。 Here, Σ in Equation (9) represents summation about values that the variables i and j can take.
式(9)によれば、画像EPNR(I)の画素位置(x,y)の画素の画素値IEPNR(x,y)は、その画素の画素位置(x,y)の周辺の原画像Iの画素である周辺画素の画素値I(x+i,y+j)を用いて、非線形特性フィルタのフィルタ係数をB(x,y,i,j)とする畳み込み演算を行うことにより求めることができる。 According to Equation (9), the pixel value I EPNR (x, y) of the pixel at the pixel position (x, y) of the image EPNR (I) is the original image around the pixel position (x, y) of that pixel. Using the pixel value I (x + i, y + j) of the surrounding pixel that is the pixel of I, the filter coefficient of the nonlinear characteristic filter is obtained by performing a convolution operation with B (x, y, i, j) be able to.
ここで、フィルタ係数B(x,y,i,j)は、エッジ保持ノイズ除去処理としてのバイラテラルフィルタのフィルタ係数であり、以下、適宜、ノイズ除去フィルタ係数B(x,y,i,j)という。 Here, the filter coefficient B (x, y, i, j) is a filter coefficient of the bilateral filter as the edge-preserving noise removal processing, and hereinafter, the noise removal filter coefficient B (x, y, i, j) is appropriately selected. ).
例えば、いま、変数sとt、ひいては、変数iとjが、-2乃至+2の範囲の整数値をとるものとすると、式(9)は、図5上側に示すように、原画像Iの画素位置(x,y)を中心とする横×縦が5×5画素(の画素値)I(x+i,y+j)(I(x-2,y-2)乃至I(x+2,y+2))を用いて計算される。 For example, now, assuming that the variables s and t, and hence the variables i and j, take integer values in the range of −2 to +2, the equation (9) can be expressed as shown in the upper side of FIG. 5 × 5 pixels (pixel values) I (x + i, y + j) (I (x−2, y−2) to I (x +2, y + 2)).
式(9)を計算するにあたって、原画像Iの画素値I(x+i,y+j)と乗算されて加算(加重)されるノイズ除去フィルタ係数B(x,y,i,j)を、原画像Iの5×5画素(の画素値)I(x+i,y+j)と同様に配置すると、図5下側に示すように、マトリクス状になる。そこで、式(9)の計算に用いられるノイズ除去フィルタ係数B(x,y,i,j)のセット(図5下側では、5×5のノイズ除去フィルタ係数B(x,y,i,j)のセット)を、以下、適宜、加重マトリクスともいう。 In calculating Equation (9), a noise removal filter coefficient B (x, y, i, j) that is multiplied and added (weighted) by the pixel value I (x + i, y + j) of the original image I is calculated. When arranged in the same manner as 5 × 5 pixels (pixel values) I (x + i, y + j) of the original image I, a matrix is formed as shown in the lower side of FIG. Therefore, a set of noise removal filter coefficients B (x, y, i, j) used in the calculation of Equation (9) (on the lower side of FIG. 5, 5 × 5 noise removal filter coefficients B (x, y, i, j, Hereinafter, the set j) is also referred to as a weighted matrix as appropriate.
なお、式(8)については、原画像Iの画素位置(x,y)の画素の画素値I(x,y)と、その画素位置(x,y)から(i,j)だけ離れた画素位置(x+i,y+j)の画素の画素値I(x+i,y+j)との差(の絶対値)が小さいほど、つまり、画素値I(x+i,y+j)が、画素値I(x,y)に近いほど、関数w1(|I(x,y)-I(x+i,y+j)|)が大になるので、ノイズ除去フィルタ係数B(x,y,i,j)も大になる。 Note that with respect to the equation (8), the pixel value I (x, y) of the pixel at the pixel position (x, y) of the original image I is separated from the pixel position (x, y) by (i, j). The smaller the difference (absolute value) from the pixel value I (x + i, y + j) of the pixel at the pixel position (x + i, y + j), that is, the pixel value I (x + i, y +) Since the function w 1 (| I (x, y) -I (x + i, y + j) |) becomes larger as j) is closer to the pixel value I (x, y), the noise removal filter coefficient B (x, y, i, j) also becomes large.
さらに、式(8)については、原画像Iの画素位置(x,y)と、その画素位置(x,y)から(i,j)だけ離れた画素位置(x+i,y+j)との距離が短いほど、つまり、画素位置(x+i,y+j)が、画素位置(x,y)から近いほど、関数w2(√(i2+j2))が大になるので、ノイズ除去フィルタ係数B(x,y,i,j)も大になる。 Further, with respect to Expression (8), the pixel position (x, y) of the original image I and the pixel position (x + i, y + j) separated from the pixel position (x, y) by (i, j) Is shorter, that is, the closer the pixel position (x + i, y + j) is to the pixel position (x, y), the larger the function w 2 (√ (i 2 + j 2 )) Therefore, the noise removal filter coefficient B (x, y, i, j) also becomes large.
従って、式(9)において、画素値I(x+i,y+j)は、その画素値I(x+i,y+j)が、画素位置(x,y)の画素値I(x,y)に近いほど、また、画素位置(x+i,y+j)が、画素位置(x,y)に近いほど、大きな値のノイズ除去フィルタ係数B(x,y,i,j)と乗算されて足し込まれる。 Therefore, in the equation (9), the pixel value I (x + i, y + j) is the pixel value I (x + i, y + j) is the pixel value I (x , y) and the closer the pixel position (x + i, y + j) is to the pixel position (x, y), the larger the noise removal filter coefficient B (x, y, i, j) Is multiplied and added.
その結果、式(6)、ひいては、式(9)で表されるエッジ保持ノイズ除去処理によれば、高周波数で小さな変動をするノイズは平滑化され、変動の大きいエッジ部分は保持される。 As a result, according to the edge holding noise removal processing expressed by the equation (6) and by the equation (9), the noise that slightly changes at a high frequency is smoothed and the edge portion having a large variation is held.
次に、式(5)で表されるノイズ抑制鮮鋭化処理における画像LP(I)は、原画像Iに対するローパスフィルタによるフィルタ処理によって得られる画像を表すが、この画像LP(I)の画素位置(x,y)の画素の画素値を、ILP(x,y)と表すこととする。 Next, the image LP (I) in the noise suppression sharpening process represented by Expression (5) represents an image obtained by filtering the original image I with a low-pass filter. The pixel position of the image LP (I) The pixel value of the pixel (x, y) is expressed as I LP (x, y).
この場合、画素値ILP(x,y)は、例えば、式(10)で表すことができる。 In this case, the pixel value I LP (x, y) can be expressed by, for example, Expression (10).
式(10)において、L(i,j)は、ローパスフィルタのフィルタ係数(ローパスフィルタ係数)を表し、原画像Iの画素位置(x+i,y+j)の画素値I(x+i,y+j)と乗算される。 In Expression (10), L (i, j) represents a filter coefficient (low-pass filter coefficient) of the low-pass filter, and the pixel value I (x + i) of the pixel position (x + i, y + j) of the original image I. , y + j).
ローパスフィルタ係数L(i,j)は、画素位置(x,y)には依存せず、画素位置(x,y)と(x+i,y+j)との位置関係(i,j)にのみ依存する。 The low-pass filter coefficient L (i, j) does not depend on the pixel position (x, y), and the positional relationship (i, j) between the pixel position (x, y) and (x + i, y + j) Depends only on.
ここで、式(10)で表されるフィルタ処理を行うローパスフィルタとしては、例えば、いわゆるガウシアンフィルタや移動平均フィルタなどを用いることができる。ローパスフィルタとして、例えば、移動平均フィルタを用いる場合、フィルタ係数L(i,j)は、1/Nで表され、位置関係(i,j)にも依存しない値となる。なお、Nは、(x+i,y+j)で表しうる画素位置の画素の総数であり、例えば、上述したように、iとjが、-2乃至+2の範囲の整数値をとるものとすると、25(=5×5画素)である。 Here, as the low-pass filter that performs the filter processing represented by Expression (10), for example, a so-called Gaussian filter, a moving average filter, or the like can be used. For example, when a moving average filter is used as the low-pass filter, the filter coefficient L (i, j) is represented by 1 / N and does not depend on the positional relationship (i, j). Note that N is the total number of pixels at pixel positions that can be represented by (x + i, y + j). For example, as described above, i and j take integer values in the range of −2 to +2. Assuming that it is 25 (= 5 × 5 pixels).
次に、式(5)で表されるノイズ抑制鮮鋭化処理によって得られる結果画像I'の画素位置(x,y)の画素の画素値を、I'(x,y)と表すこととする。この画素値I'(x,y)は、式(5)に、式(9)および式(10)を代入することにより、式(11)で表すことができる。 Next, the pixel value of the pixel at the pixel position (x, y) of the result image I ′ obtained by the noise suppression sharpening process represented by Expression (5) is represented as I ′ (x, y). . This pixel value I ′ (x, y) can be expressed by Expression (11) by substituting Expression (9) and Expression (10) into Expression (5).
いま、変数x,y,i,jを引数とする変数F(x,y,i,j)を、式(12)で定義する。 Now, a variable F (x, y, i, j) having variables x, y, i, j as arguments is defined by equation (12).
式(11)は、式(12)の変数F(x,y,i,j)を用いて、式(13)で表すことができる。 Expression (11) can be expressed by Expression (13) using the variable F (x, y, i, j) of Expression (12).
式(13)によれば、結果画像I'の画素位置(x,y)の画素の画素値I'(x,y)は、その画素の画素位置(x,y)の周辺の原画像Iの画素である周辺画素の画素値I(x+i,y+j)を用いて、非線形特性フィルタのフィルタ係数をF(x,y,i,j)とする畳み込み演算を行うことにより求めることができる。 According to Expression (13), the pixel value I ′ (x, y) of the pixel at the pixel position (x, y) of the result image I ′ is the original image I around the pixel position (x, y) of the pixel. Using the pixel value I (x + i, y + j) of the surrounding pixel that is the pixel of the pixel, perform the convolution operation with the filter coefficient of the nonlinear characteristic filter as F (x, y, i, j) Can do.
ここで、フィルタ係数F(x,y,i,j)は、ノイズ抑制鮮鋭化処理としての非線形特性フィルタのフィルタ係数であり、以下、適宜、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)という。 Here, the filter coefficient F (x, y, i, j) is a filter coefficient of the nonlinear characteristic filter as the noise suppression sharpening process, and hereinafter, the noise suppression sharpening filter coefficient F (x, y, i) is appropriately selected. , j).
例えば、iとjが、図5における場合と同様に、-2乃至+2の範囲の整数値をとるものとすると、式(13)は、図6上側に示すように、原画像Iの画素位置(x,y)を中心とする横×縦が5×5画素(の画素値)I(x+i,y+j)(I(x-2,y-2)乃至I(x+2,y+2))を用いて計算される。 For example, assuming that i and j take integer values in the range of −2 to +2 as in the case of FIG. 5, Expression (13) is a pixel of the original image I as shown on the upper side of FIG. 6. Horizontal × vertical 5 × 5 pixels (pixel value) I (x + i, y + j) (I (x−2, y−2) to I (x + 2) centered on the position (x, y) , y + 2)).
式(13)を計算するにあたって、原画像Iの画素値I(x+i,y+j)と乗算されて加算(加重)されるノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を、原画像Iの5×5画素(の画素値)I(x+i,y+j)と同様に配置すると、図6下側に示すように、マトリクス状になる。そこで、式(13)の計算に用いられるノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)のセット(図6下側では、5×5のノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)のセット)も、図5下側に示したノイズ除去フィルタ係数B(x,y,i,j)のセットと同様に、以下、適宜、加重マトリクスともいう。 In calculating Expression (13), the noise suppression sharpening filter coefficient F (x, y, i, j) multiplied and added (weighted) to the pixel value I (x + i, y + j) of the original image I is calculated. ) Are arranged in the same manner as 5 × 5 pixels (pixel value) I (x + i, y + j) of the original image I, a matrix is formed as shown in the lower side of FIG. Therefore, a set of noise suppression sharpening filter coefficients F (x, y, i, j) used in the calculation of Expression (13) (on the lower side of FIG. 6, 5 × 5 noise suppression sharpening filter coefficients F (x, Similarly to the set of noise removal filter coefficients B (x, y, i, j) shown on the lower side of FIG.
式(5)で表されるノイズ抑制鮮鋭化処理においては、式(9)で表される画素値EPNR(I)=IEPNR(x,y)を求める畳み込み演算と、式(10)で表される画素値LP(I)=ILP(x,y)を求める畳み込み演算とが存在するので、一見、2回の畳み込み演算が必要なように見える。 In the noise suppression sharpening process represented by Expression (5), a convolution operation for obtaining a pixel value EPNR (I) = I EPNR (x, y) represented by Expression (9), and Expression (10) Since there is a convolution operation for obtaining a pixel value LP (I) = I LP (x, y), it appears that two convolution operations are necessary at first glance.
しかしながら、画素値EPNR(I)=IEPNR(x,y)を求めるときの入力と、画素値LP(I)=ILP(x,y)を求めるときの入力とは、いずれも、原画像Iであるため、式(5)は、その原画像Iの画素値I(x+i,y+j)を用いた畳み込み演算を行う式(13)にすることができる。そして、式(13)によれば、1回の畳み込み演算によって、ノイズ抑制鮮鋭化処理後の画像(結果画像)I'の画素値I'(x,y)を求めることができる。さらに、式(13)においては、前述の図1で説明したような途中経過画像INRを入力する演算が存在しないので、途中経過画像INRを求める必要はなく、従って、原画像Iの他に、途中経過画像INRを記憶しておく、いわば余分なメモリも必要がない。 However, the input for obtaining the pixel value EPNR (I) = I EPNR (x, y) and the input for obtaining the pixel value LP (I) = I LP (x, y) are both the original image. Since it is I, Expression (5) can be changed to Expression (13) for performing a convolution operation using the pixel value I (x + i, y + j) of the original image I. Then, according to Expression (13), the pixel value I ′ (x, y) of the image (result image) I ′ after the noise suppression sharpening process can be obtained by one convolution operation. Further, in the equation (13), there is no operation for inputting the intermediate progress image I NR as described with reference to FIG. 1 described above, so there is no need to obtain the intermediate progress image I NR. In addition, there is no need for an extra memory for storing the intermediate progress image INR .
図7は、式(13)で表されるノイズ抑制鮮鋭化処理を行う、図2の信号処理回路7の構成例を示している。
FIG. 7 shows a configuration example of the
メモリ31には、A/Dコンバータ6(図2)からの画像が、ノイズ抑制鮮鋭化処理の対象とする画像(原画像)Iとして供給される。メモリ31は、A/Dコンバータ6から供給される原画像Iを一時記憶する。
An image from the A / D converter 6 (FIG. 2) is supplied to the
読み出し制御部32は、ノイズ抑制鮮鋭化処理によって得ようとする結果画像I'の画素を、例えば、ラスタスキャン順で、注目画素とし、その注目画素の画素位置(x,y)の周辺の原画像Iの画素である周辺画素の画素値I(x+i,y+j)(I(x+s,y+t))を、メモリ31から読み出し、ノイズ除去フィルタ係数算出部33とフィルタ適用部37に供給する。
The
即ち、いま、変数i(およびs)と変数j(およびt)が、いずれも、例えば、-2乃至+2の整数値を取り得るとすると、読み出し制御部32は、画素値I(x-2,y-2)乃至I(x+2,y+2)の25画素の画素値を、メモリ31から読み出して、ノイズ除去フィルタ係数算出部33とフィルタ適用部37に供給する。ここで、変数i(およびs)と変数j(およびt)がとり得る整数値は、ノイズ抑制鮮鋭化処理としてのフィルタ処理を行う非線形特性フィルタの加重マトリクスの大きさを、どのようにするかによって決定される。
That is, now, if both the variable i (and s) and the variable j (and t) can take an integer value of −2 to +2, for example, the
さらに、読み出し制御部32は、注目画素の画素位置(の情報)(x,y)を、鮮鋭化パラメータ算出部35に供給する。
Further, the
ノイズ除去フィルタ係数算出部33は、結果画像I'(第2の画像)の画素ごとに、その画素の画素位置の周辺の原画像I(第1の画像)の画素である周辺画素に基づき、ノイズを除去するフィルタとしてのバイラテラルフィルタのフィルタ係数であるノイズ除去フィルタ係数B(x,y,i,j)を算出する。 For each pixel of the result image I ′ (second image), the noise removal filter coefficient calculation unit 33 is based on peripheral pixels that are pixels of the original image I (first image) around the pixel position of the pixel, A noise removal filter coefficient B (x, y, i, j), which is a filter coefficient of a bilateral filter as a filter for removing noise, is calculated.
即ち、ノイズ除去フィルタ係数算出部33は、注目画素について、読み出し制御部32から供給される原画像Iの画素値I(x+i,y+j)(I(x+s,y+t))を用い、式(8)で表されるノイズ除去フィルタ係数B(x,y,i,j)を算出する。そして、ノイズ除去フィルタ係数算出部33は、注目画素について算出した、変数iとjのすべての組についてのノイズ除去フィルタ係数B(x,y,i,j)のセットである加重マトリクス(図5)を、フィルタ適用部37に供給する。
That is, the noise removal filter coefficient calculation unit 33 for the target pixel, the pixel value I (x + i, y + j) (I (x + s, y + t) of the original image I supplied from the read control unit 32. ) Is used to calculate the noise removal filter coefficient B (x, y, i, j) represented by the equation (8). The noise removal filter coefficient calculation unit 33 then calculates a weighted matrix (FIG. 5) that is a set of noise removal filter coefficients B (x, y, i, j) for all pairs of variables i and j calculated for the pixel of interest. ) Is supplied to the
LUT(Look Up Table)記憶部34は、画像の鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータの一例であるアンシャープマスクゲインaのLUT(ルックアップテーブル)を記憶している。
The LUT (Look Up Table)
鮮鋭化パラメータ算出部35は、結果画像I'の画素ごとに、その画素の画素位置(x,y)に基づき、鮮鋭化パラメータとしてのアンシャープマスクゲインaを算出し、フィルタ適用部37に供給する。
The sharpening
即ち、鮮鋭化パラメータ算出部35は、例えば、LUT記憶部34に記憶されたLUTを参照し、読み出し制御部32から供給される注目画素の画素位置(x,y)に基づいて、注目画素についてのアンシャープマスクゲインaを算出して、フィルタ適用部37に供給する。
That is, for example, the sharpening
ローパスフィルタ係数記憶部36は、式(13)の計算に用いられるノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を求めるのに式(12)の計算に用いられるローパスフィルタ係数L(i,j)を記憶している。
The low-pass filter
フィルタ適用部37は、結果画像I'の画素ごとに、その画素について算出されたノイズ除去フィルタ係数B(x,y,i,j)とアンシャープマスクゲインaとに基づき、原画像Iをフィルタリングするフィルタの係数であるノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を算出し、そのノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を適用して、原画像Iをフィルタリングすることにより、結果画像I'の画素の画素値I'(x,y)を算出する。
The
即ち、フィルタ適用部37は、注目画素について、ノイズ除去フィルタ係数算出部33から供給されるノイズ除去フィルタ係数B(x,y,i,j)と、鮮鋭化パラメータ算出部35から供給されるアンシャープマスクゲインa、さらには、ローパスフィルタ係数記憶部36に記憶されたローパスフィルタ係数L(i,j)を用い、式(12)を計算することにより、変数iとjのすべての組についてのノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)のセットである加重マトリクス(図6)を算出する。さらに、フィルタ適用部37は、その加重マトリクスを構成するノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)と、読み出し制御部32から供給される、注目画素の画素位置(x,y)の周辺の原画像Iの画素(周辺画素)の画素値I(x+i,y+j)とを用いて、式(13)を計算することにより、注目画素の画素値I'(x,y)を求めて出力する。
That is, the
次に、図7の鮮鋭化パラメータ算出部35の処理について、さらに説明する。
Next, the processing of the sharpening
鮮鋭化パラメータ算出部35は、上述したように、注目画素の画素位置(x,y)に基づき、注目画素についてのアンシャープマスクゲインaを算出する。
As described above, the sharpening
即ち、撮像素子4(図2)からサンプリング回路5およびA/Dコンバータ6を介して、信号処理回路7に供給され、ノイズ抑制鮮鋭化処理の対象となる原画像Iは、図2のディジタルカメラの光学系(レンズ2)の収差に起因して、像高が大になるほどぼける。
That is, the original image I that is supplied from the image sensor 4 (FIG. 2) to the
一方、画像の鮮鋭化にあたっては、ぼけが大であるほど、鮮鋭化の度合いを大にすることが望ましい。 On the other hand, when sharpening an image, it is desirable to increase the degree of sharpening as the blur increases.
従って、鮮鋭化の度合いを表すアンシャープマスクゲインaは、注目画素の画素位置(x,y)に基づいて、即ち、画素位置(x,y)から求められる像高に基づいて決めるのが適切である。 Therefore, it is appropriate to determine the unsharp mask gain a representing the degree of sharpening based on the pixel position (x, y) of the target pixel, that is, based on the image height obtained from the pixel position (x, y). It is.
そこで、鮮鋭化パラメータ算出部35は、上述したように、注目画素の画素位置(x,y)に基づき、注目画素についてのアンシャープマスクゲインaを算出する。
Accordingly, as described above, the sharpening
具体的には、鮮鋭化パラメータ算出部35は、図8上側に示すように、ディジタルカメラの(のレンズ2)の中心(光学中心)に対応する結果画像I'の位置を中心とする同心円上の画素位置(x,y)に対して、同一の値のアンシャープマスクゲインaを算出する。また、鮮鋭化パラメータ算出部35は、像高が大になるほど、ぼけも大となるので、像高が大の画素位置ほど鮮鋭化の度合いを大とするために、図8下側に示すように、像高が大の画素位置ほど、値が大きくなるアンシャープマスクゲインaを算出する。ここで、図8下側の横軸は像高を表し、縦軸はアンシャープマスクゲインaを表している。
Specifically, as shown in the upper part of FIG. 8, the sharpening
ここで、前述したように、アンシャープマスクの処理では、アンシャープマスクゲインaが0より大のときに、高周波数成分が強調されて鮮鋭化が施され、アンシャープマスクゲインaが−1以上0以下であるときには、等価的に、ローパスフィルタによるフィルタ処理が行われることとなるので、図8では、アンシャープマスクゲインaの最小値は0になっている。さらに、図8では、像高が小さい範囲では、アンシャープマスクゲインaは0になっており、像高がある値を超えるとアンシャープマスクゲインaもだんだん大きくなるように設定されている。レンズの収差の特性に起因して、像高が大きくなるとだんだん画像の鮮鋭度が下がっていくから、その下がっていく鮮鋭度を向上させるためである。 Here, as described above, in the unsharp mask processing, when the unsharp mask gain a is larger than 0, the high-frequency component is emphasized and sharpened, and the unsharp mask gain a is −1 or more. When it is less than or equal to 0, the filter processing by the low-pass filter is equivalently performed, and therefore the minimum value of the unsharp mask gain a is 0 in FIG. Further, in FIG. 8, the unsharp mask gain a is 0 when the image height is small, and the unsharp mask gain a is set to gradually increase when the image height exceeds a certain value. This is because the sharpness of the image gradually decreases as the image height increases due to the aberration characteristics of the lens, so that the sharpness that decreases is improved.
なお、図8では、鮮鋭化パラメータ算出部35において、同心円上の画素位置(x,y)に対して、同一の値のアンシャープマスクゲインaを算出するようにしたが、アンシャープマスクゲインaは、必ずしも、同心円上の画素位置(x,y)に対して同一の値である必要はなく、画素位置(x,y)ごとに、任意の値を設定するようにすることが可能である。
In FIG. 8, the sharpening
ここで、注目画素の像高は、注目画素の画素位置(x,y)から一意に決まるが、この像高とぼけとの関係は、例えば、ディジタルカメラ等の撮影装置での撮像に用いられた光学系の収差の特性によって異なる。 Here, the image height of the pixel of interest is uniquely determined from the pixel position (x, y) of the pixel of interest, but the relationship between this image height and blur was used for imaging with a photographing device such as a digital camera, for example. It depends on the aberration characteristics of the optical system.
そこで、図7のLUT記憶部34は、ディジタルカメラでの撮像に用いられた光学系の特性に基づいて作成されたLUT、即ち、図2のレンズ2の収差の特性に対応した、像高とぼけとの関係から作成された、像高と対応付けられたアンシャープマスクゲインaのLUTを記憶している。
Therefore, the
鮮鋭化パラメータ算出部35は、注目画素の画素位置(x,y)から、注目画素の像高を求め、LUT記憶部34に記憶されたLUTにおいて、注目画素の像高に対応付けられているアンシャープマスクゲインaを、注目画素についてのアンシャープマスクゲインaとして算出する。
The sharpening
なお、ここでは、鮮鋭化パラメータ算出部35において、LUT記憶部34に記憶されたLUTを用いて、注目画素についてのアンシャープマスクゲインaを算出するようにしたが、その他、例えば、鮮鋭化パラメータ算出部35では、図8下側に示したような、像高とアンシャープマスクゲインaとの関係を表す(近似する)関数を記憶しておき、その関数を演算することによって、注目画素についてのアンシャープマスクゲインaを算出することが可能である。但し、アンシャープマスクゲインaは、関数を演算するよりは、LUTを用いた方が、高速に求めることができる。
Here, the sharpening
また、LUT記憶部34には、画素位置(x,y)とアンシャープマスクゲインaとを対応付けたLUTを記憶させておくことが可能である。
The
次に、図9のフローチャートを参照して、図7の信号処理回路7で行われるノイズ抑制鮮鋭化処理について説明する。
Next, the noise suppression and sharpening process performed by the
なお、図7の信号処理回路7に対して、ノイズ抑制鮮鋭化処理の対象として供給される原画像Iの横と縦の画素数は、それぞれw画素とh画素であるとする。さらに、原画像Iと、その原画像Iに対してノイズ抑制鮮鋭化処理を施して得られる結果画像I'とは、同一サイズであるとする。
It is assumed that the number of pixels in the horizontal and vertical directions of the original image I supplied to the
ノイズ抑制鮮鋭化処理の対象として信号処理回路7に供給された原画像Iは、メモリ31に供給されて記憶される。
The original image I supplied to the
そして、ステップS101において、読み出し制御部32は、画素位置(x,y)のうちのy座標を表す変数yに、初期値としての例えば0をセットし、ステップS102に進む。ステップS102では、読み出し制御部32は、画素位置(x,y)のうちのx座標を表す変数xに、初期値としての例えば0をセットし、ステップS103に進む。
In step S101, the
ステップS103では、結果画像I'の画素位置(x,y)の画素を注目画素として、その注目画素について、式(8)で表されるノイズ除去フィルタ係数B(x,y,i,j)が算出される。 In step S103, the pixel at the pixel position (x, y) of the result image I ′ is set as the pixel of interest, and the noise removal filter coefficient B (x, y, i, j) represented by Expression (8) is obtained for the pixel of interest. Is calculated.
即ち、ステップS103では、読み出し制御部32は、画素位置(x,y)の画素を注目画素として、その注目画素の画素位置(x,y)の周辺の原画像Iの画素である周辺画素の画素値I(x+i,y+j)(I(x+s,y+t))を、メモリ31から読み出し、ノイズ除去フィルタ係数算出部33とフィルタ適用部37に供給する。さらに、読み出し制御部32は、注目画素の画素位置(x,y)を、鮮鋭化パラメータ算出部35に供給する。
That is, in step S103, the
そして、ステップS103では、ノイズ除去フィルタ係数算出部33は、読み出し制御部32から供給される原画像Iの画素値I(x+i,y+j)(I(x+s,y+t))を用い、式(8)で表されるノイズ除去フィルタ係数B(x,y,i,j)を、変数iとjのすべての組について算出し、フィルタ適用部37に供給する。
In step S <b> 103, the noise removal filter coefficient calculation unit 33 outputs the pixel value I (x + i, y + j) (I (x + s, y + t)) of the original image I supplied from the read
その後、ステップS103からS104に進み、鮮鋭化パラメータ算出部35は、LUT記憶部34に記憶されたLUTを参照し、読み出し制御部32から供給される注目画素の画素位置(x,y)に基づいて、注目画素についてのアンシャープマスクゲインaを算出して、フィルタ適用部37に供給し、ステップS105に進む。
Thereafter, the process proceeds from step S103 to S104, and the sharpening
ステップS105では、フィルタ適用部37は、ノイズ除去フィルタ係数算出部33から供給されるノイズ除去フィルタ係数B(x,y,i,j)と、鮮鋭化パラメータ算出部35から供給されるアンシャープマスクゲインa、さらには、ローパスフィルタ係数記憶部36に記憶されたローパスフィルタ係数L(i,j)を用い、式(12)を計算することにより、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を、変数iとjのすべての組について算出する。そして、ステップS105では、フィルタ適用部37は、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)と、読み出し制御部32から供給される、注目画素の画素位置(x,y)の周辺の原画像Iの画素(周辺画素)の画素値I(x+i,y+j)とを用いて、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を係数とする非線形特性フィルタによるフィルタリング(空間フィルタリング)を行い、つまり、式(13)の畳み込み演算を行い、注目画素の画素値I'(x,y)を求めて出力する。
In step S <b> 105, the
その後、ステップS105からS106に進み、読み出し制御部32は、変数xを1だけインクリメントして、ステップS107に進み、変数xがw-1より大であるかどうかを判定する。ステップS107において、変数xがw-1より大でないと判定された場合、即ち、まだ、上からy+1番目の行のすべての画素を注目画素としていない場合、ステップS103に戻り、以下、同様の処理が繰り返される。
Thereafter, the process proceeds from step S105 to step S106, and the
また、ステップS107において、変数xがw-1より大であると判定された場合、即ち、上からy+1番目の行のすべての画素を注目画素として、その画素値I'(x,y)が求められた場合、ステップS108に進み、読み出し制御部32は、変数yを1だけインクリメントして、ステップS109に進み、読み出し制御部32は、変数yがh-1より大であるかどうかを判定する。
If it is determined in step S107 that the variable x is larger than w−1, that is, all pixels in the y + 1th row from the top are used as the target pixel, the pixel value I ′ (x, y ) Is obtained, the process proceeds to step S108, the
ステップS109において、変数yがh-1より大でないと判定された場合、即ち、まだ、結果画像I'のすべての画素を注目画素としていない場合、ステップS102に戻り、以下、同様の処理が繰り返される。 If it is determined in step S109 that the variable y is not greater than h−1, that is, if all the pixels of the result image I ′ have not been set as the target pixel, the process returns to step S102, and the same processing is repeated thereafter. It is.
また、ステップS109において、変数yがh-1より大であると判定された場合、即ち、結果画像I'のすべての画素値I'(x,y)が求められた場合、処理を終了する。 If it is determined in step S109 that the variable y is larger than h−1, that is, if all the pixel values I ′ (x, y) of the result image I ′ are obtained, the process is terminated. .
以上のように、ノイズ抑制鮮鋭化処理によれば、ノイズ除去フィルタ係数B(x,y,i,j)を算出するとともに、アンシャープマスクゲインaを算出し、さらに、そのノイズ除去フィルタ係数B(x,y,i,j)とアンシャープマスクゲインaとに基づき、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を算出し、そのノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を適用して、原画像Iのフィルタリングを行って、結果画像I'を求めるようにしたので、ノイズの抑制と適切な鮮鋭化とを、少ないメモリと計算時間で行うことができる。 As described above, according to the noise suppression sharpening process, the noise removal filter coefficient B (x, y, i, j) is calculated, the unsharp mask gain a is calculated, and the noise removal filter coefficient B is further calculated. Based on (x, y, i, j) and unsharp mask gain a, a noise suppression sharpening filter coefficient F (x, y, i, j) is calculated, and the noise suppression sharpening filter coefficient F (x, (y, i, j) is applied and the original image I is filtered to obtain the result image I ', so noise suppression and appropriate sharpening must be performed with less memory and computation time. Can do.
即ち、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)が、ノイズ除去フィルタ係数B(x,y,i,j)とアンシャープマスクゲインaから算出され、そのノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を適用したフィルタリングによって、結果画像I'が求められるので、ノイズの抑制と鮮鋭化がされた結果画像I'を、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を用いた1回の畳み込み演算により、少ない計算時間で求めることができる。さらに、結果画像I'を求めるにあたって、図1で説明したような途中経過画像INR'を記憶する必要がなく、従って、結果画像I'を少ないメモリで求めることができる。 That is, the noise suppression sharpening filter coefficient F (x, y, i, j) is calculated from the noise removal filter coefficient B (x, y, i, j) and the unsharp mask gain a, and the noise suppression sharpening filter Since the result image I ′ is obtained by filtering using the coefficient F (x, y, i, j), the noise suppression and sharpening filter coefficient F (x , y, i, j) can be obtained in a short calculation time by a single convolution operation. Furthermore, in obtaining the result image I ′, it is not necessary to store the intermediate progress image I NR ′ as described with reference to FIG. 1. Therefore, the result image I ′ can be obtained with a small amount of memory.
また、アンシャープマスクゲインaが、注目画素の画素位置(x,y)に基づいて算出されるので、画素位置(x,y)、ひいては像高に応じたぼけを是正する適切な鮮鋭化を行うことができる。 In addition, since the unsharp mask gain a is calculated based on the pixel position (x, y) of the target pixel, appropriate sharpening that corrects the blur according to the pixel position (x, y) and thus the image height is performed. It can be carried out.
なお、ノイズ抑制鮮鋭化処理において、ノイズを抑制するノイズ除去には、バイラテラルフィルタ以外のフィルタを採用することが可能である。但し、そのフィルタは、式(4)に示したような関係を満たすのが望ましい。 In the noise suppression sharpening process, a filter other than the bilateral filter can be employed for noise removal that suppresses noise. However, it is desirable that the filter satisfies the relationship as shown in Expression (4).
また、ノイズ抑制鮮鋭化処理において、鮮鋭化を図る処理としては、アンシャープマスクの処理以外の処理を採用することが可能である。 In the noise suppression sharpening process, a process other than the unsharp mask process can be employed as the sharpening process.
さらに、ノイズ抑制鮮鋭化処理は、スルー画となる画像を含む、信号処理回路7に供給される画像すべてを対象に行っても良いし、ユーザが入力デバイス16のレリーズボタンを操作したときに信号処理回路7に供給される画像のみを対象に行っても良い。
Further, the noise suppression sharpening process may be performed on all images supplied to the
また、ノイズ抑制鮮鋭化処理は、静止画および動画のいずれを対象として行うことも可能である。 Further, the noise suppression and sharpening process can be performed on either a still image or a moving image.
さらに、本実施の形態では、ノイズ抑制鮮鋭化処理の対象とする原画像Iと、そのノイズ抑制鮮鋭化処理によって得られる結果画像I'とを、同一サイズ(画素数)の画像としたが、この原画像Iと結果画像I'とのサイズは、異なっていても良い。但し、結果画像I'の横と縦のサイズが原画像IのS倍のサイズである場合、ノイズ除去フィルタ係数B(x,y,i,j)を算出するのに用いられる、結果画像I'における注目画素の画素位置の周辺の原画像Iの画素とは、注目画素の画素位置(x,y)に対応する原画像Iの位置(x/S,y/S)の周辺の原画像Iの画素を意味する。 Furthermore, in the present embodiment, the original image I to be subjected to noise suppression sharpening processing and the resulting image I ′ obtained by the noise suppression sharpening processing are images of the same size (number of pixels). The sizes of the original image I and the result image I ′ may be different. However, if the horizontal and vertical sizes of the result image I ′ are S times the size of the original image I, the result image I is used to calculate the noise removal filter coefficient B (x, y, i, j). The pixel of the original image I around the pixel position of the target pixel in 'is the original image around the position (x / S, y / S) of the original image I corresponding to the pixel position (x, y) of the target pixel It means I pixel.
また、原画像Iがカラーの画像である場合には、ノイズ抑制鮮鋭化処理は、例えば、R(Red),G(Green),B(Blue)などの、色ごとに行うことができる。また、カラーの画像を、輝度成分と色成分とに分離し、その輝度成分と色成分のそれぞれについて、ノイズ抑制鮮鋭化処理を施すこともできるし、輝度成分にのみ、ノイズ抑制鮮鋭化処理を施すこともできる。 When the original image I is a color image, the noise suppression sharpening process can be performed for each color such as R (Red), G (Green), and B (Blue). In addition, a color image can be separated into a luminance component and a color component, and noise suppression sharpening processing can be performed on each of the luminance component and color component, or noise suppression sharpening processing can be performed only on the luminance component. It can also be applied.
さらに、図7のLUT記憶部34に記憶されたアンシャープマスクゲインaのLUTの内容は、例えば、ユーザによる入力デバイス16(図2)の操作に応じて変更することが可能である。同様に、図7のローパスフィルタ係数記憶部36に記憶されたローパスフィルタ係数L(i,j)も、ユーザによる入力デバイス16(図2)の操作に応じて変更することが可能である。即ち、ユーザによって入力デバイス16が操作された場合には、例えば、図2のCPU15において、その操作に応じて、新たなアンシャープマスクゲインaのLUT、またはローパスフィルタ係数L(i,j)を算出し(あるいは、複数用意しておいて、その複数の中から選択し)、LUT記憶部34またはローパスフィルタ係数記憶部36に供給して上書きすることが可能である。
Furthermore, the content of the LUT of the unsharp mask gain a stored in the
次に、ノイズ抑制鮮鋭化処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。ノイズ抑制鮮鋭化処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。 Next, the noise suppression and sharpening process can be performed by hardware or software. When the noise suppression sharpening process is performed by software, a program constituting the software is installed in a general-purpose computer or the like.
そこで、図10は、ノイズ抑制鮮鋭化処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。 FIG. 10 shows an example of the configuration of an embodiment of a computer in which a program for executing noise suppression and sharpening processing is installed.
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
The program can be recorded in advance in a
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体111に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。
Alternatively, the program is stored temporarily on a
なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部108で受信し、内蔵するハードディスク105にインストールすることができる。
The program is installed in the computer from the
コンピュータは、CPU(Central Processing Unit)102を内蔵している。CPU102には、バス101を介して、入出力インタフェース110が接続されており、CPU102は、入出力インタフェース110を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部107が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、また、CPU102は、ハードディスク105に格納されているプログラム、衛星若しくはネットワークから転送され、通信部108で受信されてハードディスク105にインストールされたプログラム、またはドライブ109に装着されたリムーバブル記録媒体111から読み出されてハードディスク105にインストールされたプログラムを、RAM(Random Access Memory)104にロードして実行する。これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
The computer includes a CPU (Central Processing Unit) 102. An input /
なお、ノイズ抑制鮮鋭化処理を行うためのプログラムは、例えば、それ単独で配布することは勿論、ディジタルカメラの画像の編集や管理をするアプリケーションの一部として配布することも可能である。また、ノイズ抑制鮮鋭化処理を行うためのプログラムでは、図7のLUT記憶部34に記憶されたアンシャープマスクゲインaのLUTの内容や、ローパスフィルタ係数記憶部36に記憶されたローパスフィルタ係数L(i,j)は、ユーザの操作に応じて適宜変更することができることが望ましい。
Note that a program for performing noise suppression and sharpening processing can be distributed, for example, as a part of an application for editing and managing an image of a digital camera as well as being distributed alone. Further, in the program for performing the noise suppression sharpening process, the contents of the LUT of the unsharp mask gain a stored in the
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。 Here, in the present specification, the processing steps for describing a program for causing the computer to perform various processes do not necessarily have to be processed in time series in the order described in the flowcharts, but in parallel or individually. This includes processing to be executed (for example, parallel processing or processing by an object).
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。 Further, the program may be processed by one computer or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
2 レンズ, 3 絞り, 4 撮像素子, 5 サンプリング回路, 6 A/Dコンバータ, 7 信号処理回路, 8 タイミングジェネレータ, 9 D/Aコンバータ, 10 ビデオエンコーダ, 11 モニタ, 12 コーデック, 13 メモリ, 14 記憶部, 15 CPU, 16 入力デバイス, 17 I/F, 31 メモリ, 32 読み出し制御部, 33 ノイズ除去フィルタ係数算出部, 34 LUT記憶部, 35 鮮鋭化パラメータ算出部, 36 ローパスフィルタ係数記憶部, 37 フィルタ適用部, 101 バス, 102 CPU, 103 ROM, 104 RAM, 105 ハードディスク, 106 出力部, 107 入力部, 108 通信部, 109 ドライブ, 110 入出力インタフェース, 111 リムーバブル記録媒体 2 Lens, 3 Aperture, 4 Image sensor, 5 Sampling circuit, 6 A / D converter, 7 Signal processing circuit, 8 Timing generator, 9 D / A converter, 10 Video encoder, 11 Monitor, 12 Codec, 13 Memory, 14 Memory Unit, 15 CPU, 16 input device, 17 I / F, 31 memory, 32 readout control unit, 33 noise removal filter coefficient calculation unit, 34 LUT storage unit, 35 sharpening parameter calculation unit, 36 low pass filter coefficient storage unit, 37 Filter application unit, 101 bus, 102 CPU, 103 ROM, 104 RAM, 105 hard disk, 106 output unit, 107 input unit, 108 communication unit, 109 drive, 110 input / output interface, 111 removable recording medium
Claims (6)
前記第2の画像の画素ごとに、その画素の画素位置の周辺の前記第1の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数Bを算出するノイズ除去フィルタ係数算出ステップと、
前記第2の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータaを算出する鮮鋭化パラメータ算出ステップと、
前記第2の画像の画素ごとに、その画素について算出された前記ノイズ除去フィルタ係数B、鮮鋭化パラメータa、及び、ローパスフィルタのフィルタ係数であるローパスフィルタ係数Lに基づき、前記第1の画像をフィルタリングするフィルタの係数であるフィルタ係数F=(1+a)B-aLを算出し、そのフィルタ係数Fを適用して、第1の画像をフィルタリングする畳み込み演算を行うことにより、前記第2の画像の画素の画素値を算出するフィルタ適用ステップと
を含む画像処理方法。 In an image processing method for processing a first image and outputting a second image,
Noise for calculating a noise removal filter coefficient B , which is a coefficient of a filter for removing noise, for each pixel of the second image based on peripheral pixels that are pixels of the first image around the pixel position of the pixel A removal filter coefficient calculation step;
A sharpening parameter calculating step for calculating a sharpening parameter a that is a parameter representing the degree of sharpening based on the pixel position of each pixel of the second image;
For each pixel of the second image, based on the noise removal filter coefficient B, the sharpening parameter a calculated for the pixel , and the low-pass filter coefficient L that is the filter coefficient of the low-pass filter , the first image is A filter coefficient F = (1 + a) B−aL , which is a coefficient of a filter to be filtered, is calculated, and the filter coefficient F is applied to perform a convolution operation for filtering the first image. images processing method comprising the filter application step of calculating the pixel values of the pixels of the image.
請求項1に記載の画像処理方法。 The noise removal filter coefficient B is a coefficient of a bilateral filter.
The image processing method according to 請 Motomeko 1.
前記鮮鋭化パラメータ算出ステップでは、前記撮影装置での撮像に用いられた光学系の収差の特性に基づいて作成された前記鮮鋭化パラメータaのルックアップテーブルを用いて、前記鮮鋭化パラメータaを算出する
請求項1に記載の画像処理方法。 The first image is an image obtained by the imaging device performing imaging,
In the sharpening parameter calculation step, the sharpening parameter a is calculated using a look-up table of the sharpening parameter a created based on the aberration characteristics of the optical system used for imaging with the photographing apparatus. Do
The image processing method according to 請 Motomeko 1.
前記第2の画像の画素ごとに、その画素の画素位置の周辺の前記第1の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数Bを算出するノイズ除去フィルタ係数算出手段と、
前記第2の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータaを算出する鮮鋭化パラメータ算出手段と、
前記第2の画像の画素ごとに、その画素について算出された前記ノイズ除去フィルタ係数B、鮮鋭化パラメータa、及び、ローパスフィルタのフィルタ係数であるローパスフィルタ係数Lに基づき、前記第1の画像をフィルタリングするフィルタの係数であるフィルタ係数F=(1+a)B-aLを算出し、そのフィルタ係数Fを適用して、第1の画像をフィルタリングする畳み込み演算を行うことにより、前記第2の画像の画素の画素値を算出するフィルタ適用手段と
を備える画像処理装置。 In an image processing apparatus that processes a first image and outputs a second image,
Noise for calculating a noise removal filter coefficient B , which is a coefficient of a filter for removing noise, for each pixel of the second image based on peripheral pixels that are pixels of the first image around the pixel position of the pixel Removal filter coefficient calculation means;
Sharpening parameter calculation means for calculating a sharpening parameter a that is a parameter representing the degree of sharpening based on the pixel position of each pixel of the second image;
For each pixel of the second image, based on the noise removal filter coefficient B, the sharpening parameter a calculated for the pixel , and the low-pass filter coefficient L that is the filter coefficient of the low-pass filter , the first image is A filter coefficient F = (1 + a) B−aL , which is a coefficient of a filter to be filtered, is calculated, and the filter coefficient F is applied to perform a convolution operation for filtering the first image. images processing device and a filter application means for calculating a pixel value of a pixel of the image.
前記第2の画像の画素ごとに、その画素の画素位置の周辺の前記第1の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数Bを算出するノイズ除去フィルタ係数算出手段と、
前記第2の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータaを算出する鮮鋭化パラメータ算出手段と、
前記第2の画像の画素ごとに、その画素について算出された前記ノイズ除去フィルタ係数B、鮮鋭化パラメータa、及び、ローパスフィルタのフィルタ係数であるローパスフィルタ係数Lに基づき、前記第1の画像をフィルタリングするフィルタの係数であるフィルタ係数F=(1+a)B-aLを算出し、そのフィルタ係数Fを適用して、第1の画像をフィルタリングする畳み込み演算を行うことにより、前記第2の画像の画素の画素値を算出するフィルタ適用手段と
して、コンピュータを機能させるためのプログラム。 In a program for causing a computer to execute image processing for processing a first image and outputting a second image,
Noise for calculating a noise removal filter coefficient B , which is a coefficient of a filter for removing noise, for each pixel of the second image based on peripheral pixels that are pixels of the first image around the pixel position of the pixel Removal filter coefficient calculation means ;
Sharpening parameter calculation means for calculating a sharpening parameter a that is a parameter representing the degree of sharpening based on the pixel position of each pixel of the second image;
For each pixel of the second image, based on the noise removal filter coefficient B, the sharpening parameter a calculated for the pixel , and the low-pass filter coefficient L that is the filter coefficient of the low-pass filter , the first image is A filter coefficient F = (1 + a) B−aL , which is a coefficient of a filter to be filtered, is calculated, and the filter coefficient F is applied to perform a convolution operation for filtering the first image. Filter applying means for calculating a pixel value of a pixel of an image;
To a program for causing a computer to function.
撮像を行って、第1の画像を出力する撮像部と、
前記第1の画像を処理して第2の画像を出力する画像処理部と
を備え、
前記画像処理部は、
前記第2の画像の画素ごとに、その画素の画素位置の周辺の前記第1の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数Bを算出するノイズ除去フィルタ係数算出部と、
前記第2の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータaを算出する鮮鋭化パラメータ算出部と、
前記第2の画像の画素ごとに、その画素について算出された前記ノイズ除去フィルタ係数B、鮮鋭化パラメータa、及び、ローパスフィルタのフィルタ係数であるローパスフィルタ係数Lに基づき、前記第1の画像をフィルタリングするフィルタの係数であるフィルタ係数F=(1+a)B-aLを算出し、そのフィルタ係数Fを適用して、第1の画像をフィルタリングする畳み込み演算を行うことにより、前記第2の画像の画素の画素値を算出するフィルタ適用部と
を有する
撮影装置。 In the shooting device,
An imaging unit that performs imaging and outputs a first image;
An image processing unit that processes the first image and outputs a second image,
The image processing unit
Noise for calculating a noise removal filter coefficient B , which is a coefficient of a filter for removing noise, for each pixel of the second image based on peripheral pixels that are pixels of the first image around the pixel position of the pixel A removal filter coefficient calculation unit;
A sharpening parameter calculation unit that calculates a sharpening parameter a that is a parameter representing the degree of sharpening based on the pixel position of each pixel of the second image;
For each pixel of the second image, based on the noise removal filter coefficient B, the sharpening parameter a calculated for the pixel , and the low-pass filter coefficient L that is the filter coefficient of the low-pass filter , the first image is A filter coefficient F = (1 + a) B−aL , which is a coefficient of a filter to be filtered, is calculated, and the filter coefficient F is applied to perform a convolution operation for filtering the first image. A filter application unit for calculating a pixel value of an image pixel
IMAGING DEVICE.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005059659A JP4577565B2 (en) | 2005-03-03 | 2005-03-03 | Image processing method, image processing apparatus, program, and photographing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005059659A JP4577565B2 (en) | 2005-03-03 | 2005-03-03 | Image processing method, image processing apparatus, program, and photographing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006246080A JP2006246080A (en) | 2006-09-14 |
JP4577565B2 true JP4577565B2 (en) | 2010-11-10 |
Family
ID=37052008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005059659A Expired - Fee Related JP4577565B2 (en) | 2005-03-03 | 2005-03-03 | Image processing method, image processing apparatus, program, and photographing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4577565B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4206819A4 (en) * | 2020-08-25 | 2024-03-06 | FUJIFILM Corporation | Image exposure device, image exposure method, and program |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4653059B2 (en) | 2006-11-10 | 2011-03-16 | オリンパス株式会社 | Imaging system, image processing program |
JP2008258836A (en) | 2007-04-03 | 2008-10-23 | Sony Corp | Imaging apparatus, signal processing circuit, signal processing apparatus, signal processing method, and computer program |
EP2034437A1 (en) * | 2007-09-06 | 2009-03-11 | Thomson Licensing | Spatial diffusion in images |
JP5152491B2 (en) | 2008-02-14 | 2013-02-27 | 株式会社リコー | Imaging device |
EP2124189A1 (en) * | 2008-05-19 | 2009-11-25 | Mitsubishi Electric Information Technology Centre Europe B.V. | Image processing to enhance image sharpness |
JP4912418B2 (en) * | 2009-01-14 | 2012-04-11 | 三菱電機株式会社 | Image processing apparatus and method, and image display apparatus |
EP2472850B1 (en) | 2008-12-22 | 2013-11-20 | Mitsubishi Electric Corporation | Image processing apparatus |
JP4994407B2 (en) * | 2009-03-18 | 2012-08-08 | 三菱電機株式会社 | Image processing apparatus and method, and image display apparatus |
JP4994409B2 (en) * | 2009-03-23 | 2012-08-08 | 三菱電機株式会社 | Image processing apparatus and method, and image display apparatus |
JP4994353B2 (en) * | 2008-12-22 | 2012-08-08 | 三菱電機株式会社 | Image processing apparatus and method, and image display apparatus |
JP4994354B2 (en) * | 2008-12-22 | 2012-08-08 | 三菱電機株式会社 | Image processing apparatus and method, and image display apparatus |
JP5273371B2 (en) * | 2008-12-24 | 2013-08-28 | 株式会社リコー | Image processing apparatus and method, and in-vehicle camera apparatus |
JP4640508B2 (en) * | 2009-01-09 | 2011-03-02 | ソニー株式会社 | Image processing apparatus, image processing method, program, and imaging apparatus |
JP5197414B2 (en) * | 2009-02-02 | 2013-05-15 | オリンパス株式会社 | Image processing apparatus and image processing method |
JP5220677B2 (en) * | 2009-04-08 | 2013-06-26 | オリンパス株式会社 | Image processing apparatus, image processing method, and image processing program |
US8837853B2 (en) | 2011-09-06 | 2014-09-16 | Sony Corporation | Image processing apparatus, image processing method, information recording medium, and program providing image blur correction |
CN107623816A (en) | 2013-10-09 | 2018-01-23 | 佳能株式会社 | Image processing equipment, image pick up equipment and image processing method |
JP6124849B2 (en) * | 2013-10-09 | 2017-05-10 | キヤノン株式会社 | Image processing method, imaging apparatus using the same, image processing apparatus, and image processing program |
WO2019187751A1 (en) | 2018-03-30 | 2019-10-03 | 富士フイルム株式会社 | Image exposure apparatus, image exposure method, and program |
WO2021166633A1 (en) * | 2020-02-18 | 2021-08-26 | 富士フイルム株式会社 | Image exposure device, image exposure method, and program |
CN116527922B (en) * | 2023-07-03 | 2023-10-27 | 浙江大华技术股份有限公司 | Image coding method and related device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04160985A (en) * | 1990-10-25 | 1992-06-04 | Nec Corp | Video signal processing circuit |
JP2002262094A (en) * | 2001-02-27 | 2002-09-13 | Konica Corp | Image processing method and image processor |
JP2002369071A (en) * | 2001-06-08 | 2002-12-20 | Olympus Optical Co Ltd | Picture processing method and digital camera mounted with the same and its program |
JP2004288186A (en) * | 2003-03-19 | 2004-10-14 | Mitsubishi Electric Research Laboratories Inc | Method for enhancing image quality of video with low image quality |
JP2005026962A (en) * | 2003-07-01 | 2005-01-27 | Nikon Corp | Signal processing apparatus, signal processing program, and electronic camera |
-
2005
- 2005-03-03 JP JP2005059659A patent/JP4577565B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04160985A (en) * | 1990-10-25 | 1992-06-04 | Nec Corp | Video signal processing circuit |
JP2002262094A (en) * | 2001-02-27 | 2002-09-13 | Konica Corp | Image processing method and image processor |
JP2002369071A (en) * | 2001-06-08 | 2002-12-20 | Olympus Optical Co Ltd | Picture processing method and digital camera mounted with the same and its program |
JP2004288186A (en) * | 2003-03-19 | 2004-10-14 | Mitsubishi Electric Research Laboratories Inc | Method for enhancing image quality of video with low image quality |
JP2005026962A (en) * | 2003-07-01 | 2005-01-27 | Nikon Corp | Signal processing apparatus, signal processing program, and electronic camera |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4206819A4 (en) * | 2020-08-25 | 2024-03-06 | FUJIFILM Corporation | Image exposure device, image exposure method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2006246080A (en) | 2006-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4577565B2 (en) | Image processing method, image processing apparatus, program, and photographing apparatus | |
US8659672B2 (en) | Image processing apparatus and image pickup apparatus using same | |
JP5222472B2 (en) | Image processing apparatus, image restoration method, and program | |
US8941762B2 (en) | Image processing apparatus and image pickup apparatus using the same | |
KR101099401B1 (en) | Image processing apparatus and computer-readable medium | |
JP4186699B2 (en) | Imaging apparatus and image processing apparatus | |
US8849055B2 (en) | Image processing apparatus and method | |
US9049356B2 (en) | Image processing method, image processing apparatus and image processing program | |
JP2010161701A (en) | Image processing apparatus, image processing method, program, and imaging apparatus | |
JP2010092461A (en) | Image processing apparatus and method of processing image | |
JP2008177801A (en) | Imaging apparatus, noise removing device, noise removal method, program for noise removal method, and recording medium with program for noise removal method recorded thereon | |
JP2010239492A (en) | Image pickup apparatus, and noise reduction method for video signal | |
JP5541205B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
JP2007041834A (en) | Image processor | |
JP5701640B2 (en) | Image processing device | |
KR20130031572A (en) | Image processing method and image processing apparatus | |
WO2015098243A1 (en) | Image processing device, image capturing device, program, and image processing method | |
JP2004363853A (en) | Method and device for reducing noise of image signal | |
JP2021140663A (en) | Image processing method, image processing device, image processing program, and recording medium | |
JP2007013270A (en) | Imaging apparatus | |
JP5115297B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP4702088B2 (en) | Image signal noise reduction method, noise reduction apparatus, and imaging apparatus | |
JP2017173920A (en) | Image processor, image processing method, image processing program, and record medium | |
JP6818585B2 (en) | Image processing device, image processing method, and program | |
JP2017130167A (en) | Image processing device, imaging device, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100729 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100811 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |