JP5902589B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP5902589B2 JP5902589B2 JP2012187680A JP2012187680A JP5902589B2 JP 5902589 B2 JP5902589 B2 JP 5902589B2 JP 2012187680 A JP2012187680 A JP 2012187680A JP 2012187680 A JP2012187680 A JP 2012187680A JP 5902589 B2 JP5902589 B2 JP 5902589B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- image
- noise suppression
- gain
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 174
- 230000001629 suppression Effects 0.000 claims description 125
- 238000012937 correction Methods 0.000 claims description 100
- 238000000034 method Methods 0.000 claims description 99
- 238000003705 background correction Methods 0.000 claims description 57
- 230000015572 biosynthetic process Effects 0.000 claims description 19
- 238000003786 synthesis reaction Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000004321 preservation Methods 0.000 claims description 5
- 101100398248 Arabidopsis thaliana KIN10 gene Proteins 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 101000835860 Homo sapiens SWI/SNF-related matrix-associated actin-dependent regulator of chromatin subfamily B member 1 Proteins 0.000 description 5
- 102100025746 SWI/SNF-related matrix-associated actin-dependent regulator of chromatin subfamily B member 1 Human genes 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 101100366000 Caenorhabditis elegans snr-1 gene Proteins 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Description
本発明は画像処理、例えばシェーディング補正処理とノイズ抑制処理に関する。 The present invention relates to image processing, such as shading correction processing and noise suppression processing.
デジタルカメラは、携帯電話などの小型機器に搭載されるようになり、薄型化や小型化、低価格化などの要求が厳しくなる一方である。これらの要求を満たすために、レンズの性能が制限されるので、撮像により得た画像に対して様々な補正を行うことにより画質を改善することが行われている。 Digital cameras have been installed in small devices such as mobile phones, and demands for thinning, downsizing, and price reduction are becoming stricter. In order to satisfy these requirements, the performance of the lens is limited, so that various corrections are performed on the image obtained by imaging to improve the image quality.
例えば、レンズの中心部から離れるほど光の透過量が低下する「シェーディング」は、一般的に発生する現象であり、撮像により得た画像に対してシェーディング補正をすることが基本的に必須である(特許文献1〜2)。
For example, “shading” in which the amount of transmitted light decreases as the distance from the center of the lens decreases is a phenomenon that generally occurs, and it is basically essential to perform shading correction on an image obtained by imaging. (
シェーディング補正は、一般的に、レンズの像高に応じて、レンズ中心から外周に向けて増大するゲインを画像に対して乗算する処理である。レンズ中心を円心とする半径方向における画素位置がレンズの像高に対応し、以下において、特別な説明が無い限り、「画素位置」は、画像中心を円心とする半径方向における画素位置を意味する。 Shading correction is generally a process of multiplying an image by a gain that increases from the center of the lens toward the outer periphery in accordance with the image height of the lens. The pixel position in the radial direction centered on the lens center corresponds to the image height of the lens, and unless otherwise specified, “pixel position” refers to the pixel position in the radial direction centered on the image center. means.
シェーディング補正により、外周に位置する画素ほどノイズが増大されるため、シェーディング補正がなされた画像に対してノイズ抑制処理(NR:Noise Reduction)が施される。 Since the noise increases in the pixels located on the outer periphery by the shading correction, noise suppression processing (NR: Noise Reduction) is performed on the image subjected to the shading correction.
しかしながら、シェーディング補正により増大されたノイズを抑制するNRが、通常、画像全体に対して同強度のノイズ抑制を施すため、シェーディング補正後の画像のような、画像全体に亘ってのノイズ分布が均一ではない画像の場合、補正により増大したノイズの平均値や最大値に合わせてノイズ除去するような設定となってしまう。その結果、画像中央の、シェーディング補正ではゲインがほとんどかかっていない部分は、過度なNRによりボケてしまい、ディテール低下などの画質劣化が生じてしまう。 However, since the NR that suppresses the noise increased by shading correction usually applies the same level of noise suppression to the entire image, the noise distribution over the entire image, such as the image after shading correction, is uniform. In the case of an image that is not, the setting is such that noise is removed in accordance with the average value or maximum value of the noise increased by the correction. As a result, the portion of the center of the image where the gain is hardly applied in the shading correction is blurred due to excessive NR, and image quality deterioration such as detail reduction occurs.
また、シェーディング補正の前にノイズ抑制処理を施す場合もある。この場合、後に行われるシェーディング補正を考慮に入れて、強度の強いノイズ抑制処理を施すと、同様に、画像中央部分は、過度なNRによりディテールが低下する。一方、画像中央部分のディテールを保存するために、強度の弱いノイズ抑制処理を施すと、後のシェーディング補正により画像外周部分のノイズが増幅されてしまう。 In some cases, noise suppression processing is performed before shading correction. In this case, if a strong noise suppression process is performed in consideration of shading correction to be performed later, the detail in the center portion of the image is reduced due to excessive NR. On the other hand, if noise suppression processing with weak intensity is performed in order to preserve the details of the central portion of the image, the noise in the outer peripheral portion of the image is amplified by the subsequent shading correction.
特許文献3には、この問題を解決するための手法として、シェーディング補正量(ゲインに相当する)が閾値未満か閾値以下であるかに応じて、ノイズ抑制処理を施すか否かを決定する技術が開示されている。この技術によれば、ゲインが大きい部位の画素に対してノイズ抑制処理が施され、ゲインが小さい部位の画素に対してノイズ抑制処理が施されないため、画像外周部のノイズを除去しつつ、画像中央部のボケを防ぐことができる。 In Patent Document 3, as a technique for solving this problem, a technique for determining whether to perform noise suppression processing depending on whether a shading correction amount (corresponding to a gain) is less than a threshold value or less than a threshold value. Is disclosed. According to this technique, the noise suppression process is performed on the pixels in the portion with the large gain, and the noise suppression processing is not performed on the pixels in the portion with the small gain. The blur in the center can be prevented.
しかし、この技術は、シェーディング補正量に応じてノイズ抑制処理を施すか否かを決定しているため、ノイズ抑制処理を行った部位と行っていない部位では境界ができてしまい、画像が不自然になってしまう恐れがある。 However, since this technology determines whether or not to perform noise suppression processing according to the shading correction amount, a boundary is formed between the portion where noise suppression processing is performed and the portion where noise suppression processing is not performed, and the image is unnatural. There is a risk of becoming.
これに対して、特許文献4に開示された技術は、シェーディング補正後の画像に対して、シェーディング補正率に応じたノイズ軽減率でノイズ抑制処理を行う。この技術によれば、ノイズ軽減率に連続性を持たせることで、特許文献3に開示された技術による不自然さを回避することができる。 On the other hand, the technique disclosed in Patent Document 4 performs noise suppression processing on the image after shading correction with a noise reduction rate corresponding to the shading correction rate. According to this technique, by providing continuity in the noise reduction rate, unnaturalness due to the technique disclosed in Patent Document 3 can be avoided.
しかし、ノイズ抑制処理は、アルゴリズムが様々であり、1つのパラメータ(例えばシェーディング補正量)のみに応じてノイズ軽減率を連続的に制御できないものも多数存在する。そのため、特許文献4に開示された手法は、ノイズ抑制処理のアルゴリズムに依存し、実現できる場合が限定的である。 However, there are various algorithms for noise suppression processing, and there are many that cannot control the noise reduction rate continuously according to only one parameter (for example, shading correction amount). For this reason, the technique disclosed in Patent Document 4 depends on the algorithm of the noise suppression process, and the case where it can be realized is limited.
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。 Other problems and novel features will become apparent from the description of the specification and the accompanying drawings.
一実施の形態による画像処理装置は、撮像によって得た画像に対してシェーディング補正処理とノイズ抑制処理を行うものである。該シェーディング補正処理は、夫々の画素に対して、レンズの像高に対応する画素位置iに応じたゲインGi(Gi≧1)を乗算する処理である。 An image processing apparatus according to an embodiment performs a shading correction process and a noise suppression process on an image obtained by imaging. The shading correction process is a process of multiplying each pixel by a gain Gi (Gi ≧ 1) corresponding to the pixel position i corresponding to the image height of the lens.
該画像処理装置は、第1の補正処理を行う第1の回路と、第2の補正処理及び第2のノイズ抑制処理を行う第2の回路と、合成回路を備える。 The image processing apparatus includes a first circuit that performs a first correction process, a second circuit that performs a second correction process and a second noise suppression process, and a synthesis circuit.
第1の補正処理は、中央部の各画素位置iについてはゲインGi以下、中央部以外の各画素位置iについてはゲインGiより小さい第1のゲインGAiを、夫々の画素に乗算する処理である。 The first correction process is a process of multiplying each pixel by a first gain GAi that is equal to or less than the gain Gi for each pixel position i in the central portion and smaller than the gain Gi for each pixel position i other than the central portion. .
第2の補正処理は、夫々の画素に対して、ゲインGiと第1のゲインGAiの差分となる第2のゲインGBiを乗算する処理である。 The second correction process is a process of multiplying each pixel by a second gain GBi that is a difference between the gain Gi and the first gain GAi.
合成回路は、第1の回路により処理された画像と、第2の回路により処理された画像とを画素毎に加算する。 The synthesis circuit adds the image processed by the first circuit and the image processed by the second circuit for each pixel.
なお、上記実施の形態の画像処理装置を方法やシステムに置き換えて表現したもの、該装置の処理をコンピュータに実行せしめるプログラム、該装置を備えた撮像装置なども、本発明の態様としては有効である。 Note that a representation of the image processing apparatus of the above embodiment replaced with a method or system, a program for causing a computer to execute the processing of the apparatus, an imaging apparatus including the apparatus, and the like are also effective as an aspect of the present invention. is there.
一実施の形態の画像処理装置によれば、ノイズ抑制処理のアルゴリズムを限定せずに、画質向上を図ることができる。 According to the image processing apparatus of one embodiment, it is possible to improve image quality without limiting the algorithm of noise suppression processing.
説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、CPU、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。 For clarity of explanation, the following description and drawings are omitted and simplified as appropriate. Each element described in the drawings as a functional block for performing various processes can be configured by a CPU, a memory, and other circuits in terms of hardware, and a program loaded in the memory in terms of software. Etc. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one. Note that, in each drawing, the same element is denoted by the same reference numeral, and redundant description is omitted as necessary.
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 Further, the above-described program can be stored using various types of non-transitory computer readable media and supplied to a computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROM (Read Only Memory) CD-R, CD -R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)). The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
<第1の実施の形態>
図1は、第1の実施の形態にかかる画像処理装置100を示す。画像処理装置100は、例えばデジタルカメラに設けられており、撮像素子により撮像して得た画像S0に対してシェーディング補正処理とノイズ抑制処理を行って画像S1を得るものであり、第1の回路101、第2の回路102、合成回路130を有する。
<First Embodiment>
FIG. 1 shows an
第1の回路101は、第1の補正処理を行う第1の補正回路110を有する。該第1の補正回路110は、画像S0の夫々の画素に対して、画素位置iに応じたゲイン(第1のゲインGAi)を乗算して第1の補正画像SH1を得る。
The
第2の回路102は、第2の補正処理を行う第2の補正回路120と、ノイズ抑制処理(第2のノイズ抑制処理)を行う第2のノイズ抑制回路122を有する。
The
第2の補正回路120は、画像S0の夫々の画素に対して、画素位置iに応じたゲイン(第2のゲインGBi)を乗算して第2の補正画像SH2を得る。
The
第2のノイズ抑制回路122は、第2の補正回路120が得た第2の補正画像SH2に対してノイズ抑制処理を施して第2のノイズ抑制画像SNR2を得る。
The second
合成回路130は、第1の回路101が得た画像(第1の補正画像SH1)と、第2の回路102が得た画像(第2のノイズ抑制画像SNR2)とを画素毎に加算して画像S1を得る。
The
図2を参照して、画像処理装置100が目的とするシェーディング補正処理(以下「目的シェーディング補正処理」という)に対応する、画像S0の夫々の画素についてのゲイン(Gi)と、第1の補正回路110が用いる第1のゲインGAiと、第2の補正回路120が用いる第2のゲインGBi間の関係を説明する。
With reference to FIG. 2, the gain (Gi) for each pixel of the image S0 corresponding to the target shading correction process (hereinafter referred to as “target shading correction process”) of the
図2に示すゲインGiは、通常のシェーディング補正処理のゲインの典型例であり、レンズ中心(画像中心に対応する)において「1」であり、外周に行くほど大きくなっている。設計によって、ゲインGiのカーブの形が様々あるが、一般的には、中心部のゲインが最も小さい「1」となっていることは、共通している。 The gain Gi shown in FIG. 2 is a typical example of the gain of the normal shading correction process, and is “1” at the lens center (corresponding to the image center), and increases toward the outer periphery. The shape of the curve of the gain Gi varies depending on the design, but in general, the gain at the center is the smallest “1”.
第1のゲインGAiは、画像の中央部の各画素位置iについてはゲインGi以下、中央部以外の各画素位置iについてはゲインGiより小さい。図示の例では、第1のゲインGAiは、ゲインGiと同様に、中心の画素については「1」であり、外周に行くほど大きくなっているが、同一の画素位置iにおいては、第1のゲインGAiがゲインGi以下である。 The first gain GAi is less than or equal to the gain Gi for each pixel position i in the center of the image, and is smaller than the gain Gi for each pixel position i other than the center. In the example shown in the drawing, the first gain GAi is “1” for the center pixel and increases as it goes to the outer periphery, similarly to the gain Gi, but at the same pixel position i, the first gain GAi is “1”. The gain GAi is equal to or less than the gain Gi.
第2のゲインGBiは、ゲインGiと第1のゲインGAiの差分である。つまり、第1のゲインGAiと第2のゲインGBiとの和は、画像処理装置100の目的シェーディング補正処理のゲインGiとなる。
The second gain GBi is a difference between the gain Gi and the first gain GAi. That is, the sum of the first gain GAi and the second gain GBi becomes the gain Gi of the target shading correction process of the
すなわち、第1の補正回路110と第2の補正回路120は、画像処理装置100の目的シェーディング補正処理を夫々部分的に行っている。そのため、第1の補正回路110が得た第1の補正画像SH1と第2の補正画像SH2を画素毎に加算すれば、画像処理装置100の目的シェーディング補正処理後の画像となる。
That is, the
従来では、目的シェーディング補正処理後の画像に対してノイズ抑制処理を行うか、ノイズ抑制処理後の画像に対してシェーディング補正処理を行う。対して、本実施の形態の画像処理装置100において、第1の補正回路110により得た第1の補正画像SH1に対してノイズ抑制処理を行わず、第2の補正回路120により得た第2の補正画像SH2に対してノイズ抑制処理を行う。そして、第1の補正画像SH1と、第2の補正画像SH2に対してノイズ抑制処理を行って得た第2のノイズ抑制画像SNR2とを画素毎に加算する。
Conventionally, noise suppression processing is performed on an image after target shading correction processing, or shading correction processing is performed on an image after noise suppression processing. On the other hand, in the
ここで、第2のノイズ抑制回路122は、第2の補正画像SH2に対して、シェーディング補正処理後の画像に対して通常行われるような、ノイズの平均値または最大値を除去するように設定された、ディテールの保存より、ノイズ除去を重視したノイズ抑制処理を行うようになっている。そのため、良好なノイズ抑制効果を得ることができる。
Here, the second
その一方、画像S1の一部を構成する第1の補正画像SH1は、ノイズ抑制処理が施されていない。従って、画像S1には、画像S0のディテールを残すことができる。 On the other hand, the first corrected image SH1 constituting a part of the image S1 is not subjected to noise suppression processing. Therefore, the details of the image S0 can be left in the image S1.
なお、第1のゲインGAiと第2のゲインGBiのゲインGiに占める割合については、ノイズ抑制とディテール保存の優先度に応じて調整すればよい。例えば、ノイズ抑制を優先させたい場合には、第1のゲインGAiとゲインGiの距離を離し、ディテール保存を優先させたい場合には、第1のゲインGAiとゲインGiの距離を縮めればよい。 Note that the ratio of the first gain GAi and the second gain GBi to the gain Gi may be adjusted according to the priority of noise suppression and detail storage. For example, when priority is given to noise suppression, the distance between the first gain GAi and the gain Gi is increased, and when priority is given to detail preservation, the distance between the first gain GAi and the gain Gi may be reduced. .
また、第2のノイズ抑制回路222は、そのアルゴリズムが、単一のパラメータ(例えばシェーディング補正量)のみに応じてノイズ軽減率を連続的に制御可能なアルゴリズムに限定される必要がないため、既存のものを適用することができる。 In addition, the second noise suppression circuit 222 does not need to be limited to an algorithm that can continuously control the noise reduction rate according to only a single parameter (for example, shading correction amount). Can be applied.
また、特許文献3と特許文献4のいずれの手法も、ノイズ抑制処理をするか否か、または、ノイズ軽減率をシェーディング補正量に応じて決定するので、シェーディング補正を担う機能ブロックから、ノイズ抑制処理を担う機能ブロックへシェーディング補正量を伝達する必要がある。シェーディング補正処理とノイズ抑制処理は、必ずしも連続して施されるとは限らないため、両者の間に他の処理が多いほど、シェーディング補正量を伝達するための記憶容量が増えてしまう。 Also, in both methods of Patent Document 3 and Patent Document 4, whether to perform noise suppression processing or the noise reduction rate is determined according to the shading correction amount, so that noise suppression is performed from the functional block responsible for shading correction. It is necessary to transmit the shading correction amount to the functional block responsible for processing. Since the shading correction process and the noise suppression process are not necessarily performed continuously, the more processing between them, the larger the storage capacity for transmitting the shading correction amount.
シェーディング補正量を伝達する手法ではなく、ノイズ抑制処理を担う機能ブロックにより予めシェーディング補正量を保持する手法も考えられる。しかし、撮像時の光の種類や、撮像モードによってシェーディング補正量が異なるため、全てのケースに対応するために、ノイズ抑制処理を担う機能ブロックが全てのケースのシェーディング補正量を保持するのでは、そのための記憶容量も莫大になってしまう。これは、ノイズ抑制処理を施してからシェーディング補正を行う場合も同様である。 Instead of transmitting the shading correction amount, a method of holding the shading correction amount in advance by a functional block responsible for noise suppression processing is also conceivable. However, since the shading correction amount varies depending on the type of light at the time of imaging and the imaging mode, the functional block responsible for noise suppression processing holds the shading correction amount in all cases in order to handle all cases. The storage capacity for that would be enormous. The same applies to the case where the shading correction is performed after the noise suppression processing.
対して、画像処理装置100における第2の補正回路120は、第1の補正画像SH1そのものに基づいてノイズ抑制処理を行い、シェーディング補正量を参照しないため、シェーディング補正量の伝達または保持のための記憶容量を必要としない。従って、小さな回路規模で画質向上を図ることができる。
On the other hand, the
<第2の実施の形態>
図3は、第2の実施の形態にかかる画像処理装置200を示す。画像処理装置200も、画像処理装置100と同様に例えばデジタルカメラに設けられており、撮像素子により撮像して得た画像S0に対してシェーディング補正処理とノイズ抑制処理を行って画像S1を得るものである。画像処理装置200の目的シェーディング補正処理のゲインが、画像処理装置100の目的シェーディング補正処理のゲインGiと同様であるとする。
<Second Embodiment>
FIG. 3 shows an
画像処理装置200は、第2の回路202が、画像処理装置100における第2の回路102と異なる点を除き、画像処理装置100と同様の構成を有する。また、第1の回路101が行う第1の補正処理に用いられる第1のゲインGAiと、第2の回路202が行う第2の補正処理に用いられる第2のゲインGBiとの関係も、画像処理装置100の場合と同様である。
The
第2の回路202も、第2の回路102と同様に、第2のノイズ抑制処理と第2の補正処理を行うものであり、それに含まれる第2のノイズ抑制回路122と第2の補正回路120は、第2の回路102に含まれる相対応の機能ブロックと同様である。
Similarly to the
第2の回路202において、第2のノイズ抑制処理と第2の補正処理の順序は、第2の回路102のときと逆になっている。図示のように、第2の回路202は、まず、第2のノイズ抑制回路122により、画像S0に対して、ノイズ抑制処理(第2のノイズ抑制処理)を行って第2のノイズ抑制画像SNR2を得る。この第2のノイズ抑制処理も、ディテールの保存より、ノイズ除去を重視したノイズ抑制処理である。
In the
そして、第2の補正回路120は、第2のノイズ抑制回路122により得られた第2のノイズ抑制画像SNR2の夫々の画素に対して、画素位置iに応じた第2のゲインGBi(ゲインGiと第1のゲインGAiの差分)を乗算して第2の補正画像SH2を得る。
Then, the
合成回路130は、第1の回路101が出力した画像(第1の補正画像SH1)と、第2の回路202が出力した画像(ここでは第2のノイズ抑制画像SNR2)とを画素毎に加算して画像S1を得る。
The
画像処理装置200は、第2の回路202により行われる第2のノイズ抑制処理と第2の補正処理の順序が、画像処理装置100における第2の回路102により行われる第2のノイズ抑制処理と第2の補正処理の順序と逆である点を除き、画像処理装置100と同様であり、画像処理装置100と同様の効果を得ることができる。
In the
<第3の実施の形態>
図4は、第3の実施の形態にかかる画像処理装置300を示す。画像処理装置300も、画像処理装置100と同様に例えばデジタルカメラに設けられており、撮像素子により撮像して得た画像S0に対してシェーディング補正処理とノイズ抑制処理を行って画像S1を得るものである。画像処理装置300の目的シェーディング補正処理のゲインが、画像処理装置100の目的シェーディング補正処理のゲインGiと同様であるとする。
<Third Embodiment>
FIG. 4 shows an
画像処理装置300は、第1のノイズ抑制回路310をさらに備える点を除き、画像処理装置100と同様である。
The
画像処理装置100において、第1の回路101と第2の回路102は、画像S0に対して第1の補正処理と第2の補正処理を夫々行うようになっている。
In the
対して、画像処理装置300において、第1の回路101と第2の回路102の前に、まず、第1のノイズ抑制回路310は、画像S0に対してノイズ抑制処理(第1のノイズ抑制処理)を行う。
On the other hand, in the
第1のノイズ抑制回路310による第1のノイズ抑制処理は、例えばノイズの最小値を除去するような、ノイズの除去よりも、抑制ディテールの保存を重視するノイズ抑制処理である。そのため、第1のノイズ抑制回路310によるノイズ抑制処理は、第2の回路102に含まれる第2のノイズ抑制回路122が行うノイズ抑制処理より強度の弱いものとなっている。
The first noise suppression process performed by the first
第1のノイズ抑制回路310により得られた画像(第1のノイズ抑制画像SNR1)は、第1の回路101と第2の回路102に入力される。
The image (first noise suppression image SNR1) obtained by the first
第1の回路101と第2の回路102は、画像S0の代わりに、第1のノイズ抑制画像SNR1に対して処理を行う。これらの処理の内容は、画像処理装置100における第1の回路101と第2の回路102の処理と同様である。
The
画像処理装置300は、画像処理装置100により得られる全ての効果を得ることができる。また、画像S0に対して最小源のノイズ抑制処理を施してから第1の回路101と第2の回路102に供するため、第1の補正回路110から出力される第1の補正画像SH1もノイズが抑制されており、画像S1におけるノイズを、画像処理装置100の場合よりも減らすことができる。
The
なお、画像処理装置300は、図1に示す画像処理装置100に対して第1のノイズ抑制回路310を追加したものである。図3に示す画像処理装置200に対して、第1の回路101と第2の回路202の前に、この第1のノイズ抑制回路310を追加してもよい。また、画像処理装置200に対して第1のノイズ抑制回路310を追加することにより、画像処理装置300と同様の効果を得ることができる。
The
<第4の実施の形態>
図5は、第4の実施の形態にかかる画像処理装置400を示す。
図4に示す第3の実施の形態の画像処理装置300において、第1の補正回路110と第2の回路102の前に、第1のノイズ抑制処理を行う第1のノイズ抑制回路310が設けられている。
<Fourth embodiment>
FIG. 5 shows an
In the
対して、画像処理装置400では、上記第1のノイズ抑制回路310は、合成回路130の後に設けられている。この点を除き、画像処理装置400は、画像処理装置300と同様である。
On the other hand, in the
すなわち、画像処理装置400は、第1の回路101により第1の補正処理を施した画像(第1の補正画像SH1)と、第2の回路102により第2の補正処理と第2のノイズ抑制処理を施した画像(第2のノイズ抑制画像SNR2)とを画素毎に加算して得た画像S1に対して、ノイズの除去より、ディテールルの保存を重視した第1のノイズ抑制処理を施してから出力する。
In other words, the
そのため、第1のノイズ抑制回路310が出力する画像(第1のノイズ抑制画像SNR1)は、画像処理装置300における合成回路130が出力する画像(画像S1)と同様である。従って、画像処理装置400は、画像処理装置300と同様の効果を得ることができる。
Therefore, the image (first noise suppression image SNR1) output by the first
<第5の実施の形態>
図6は、第5の実施の形態にかかる画像処理装置500を示す。画像処理装置500は、その第1の回路501が、画像処理装置100における第1の回路101と異なる点を除き、画像処理装置100と同様である。
<Fifth embodiment>
FIG. 6 shows an
図4に示す画像処理装置300では、第1のノイズ抑制回路310は、第1の回路101と第2の回路102の前に設けられている。また、図5に示す画像処理装置400では、第1のノイズ抑制回路310は、合成回路130の後に設けられている。図6に示す画像処理装置500は、該第1のノイズ抑制回路310を第1の回路501に設けた例である。
In the
図6に示すように、画像処理装置500の第1の回路501は、第1の補正回路110と、第1のノイズ抑制回路310を備える。
As shown in FIG. 6, the
第1の補正回路110は、前述した各実施の形態の画像処理装置における第1の補正回路110と同様に、夫々の画素に対して、画素位置iに応じた第1のゲインGAiを乗算して第1の補正画像SH1を得る。
The
第1のノイズ抑制回路310は、第1の補正回路110が得た第1の補正画像SH1に対して、ノイズの除去より、ディテールルの保存を重視した第1のノイズ抑制処理を施し、第1のノイズ抑制画像SNR1を得て合成回路130に出力する。
The first
合成回路130は、第1の回路501が出力した画像(ここでは第1のノイズ抑制画像SNR1)と、第2の回路102が出力した画像(第2のノイズ抑制画像SNR2)とを画素毎に加算して画像S1を得る。
The
画像処理装置500も、画像処理装置100と同様の効果を得ることができる。第1の補正回路110により第1の補正処理を施された画像(第1の補正画像SH1)を合成回路130に出力する前に、第1の補正画像SH1に対して第1のノイズ抑制処理を施すため、画像S1におけるノイズを、画像処理装置100の場合よりも減らすことができる。
The
勿論、図6に示す画像処理装置500に対して、第2の補正回路120と第2のノイズ抑制回路122の前後順序、または、第1の補正回路110と第1のノイズ抑制回路310の前後順序を逆にしてもよい。
Of course, with respect to the
<第6の実施の形態>
図7は、第6の実施の形態にかかる画像処理装置600を示す。画像処理装置600は、第1の回路601、第2の回路102、合成回路130を備え、第1の回路101の代わりに第1の回路601が設けられた点を除き、画像処理装置100と同様である。画像処理装置600では、第1の回路601は、第1の補正回路610を有する。
<Sixth Embodiment>
FIG. 7 shows an
画像処理装置100において、第1の回路101に含まれる第1の補正回路110が用いる第1のゲインGAiは、画素位置iによって異なる。
In the
対して、画像処理装置600において、第1の補正回路610が用いる第1のゲインGAiは、画素位置iに関わらず、同一の値である。この同一の値としては、0より大きく、1以下の任意の値とすることができる。
On the other hand, in the
図8は、画像処理装置600における、目的シェーディング補正処理のゲインGiと、第1の補正回路610が用いる第1のゲインGAiと、第2の補正回路120が用いる第2のゲインGBiを示す。
FIG. 8 shows the gain Gi of the target shading correction process, the first gain GAi used by the
図示の例では、第1のゲインGAiは、画素位置iに関わらず「0.8」となっている。また、第2のゲインGBiは、ゲインGiと第1のゲインGAiの差分である。 In the illustrated example, the first gain GAi is “0.8” regardless of the pixel position i. The second gain GBi is a difference between the gain Gi and the first gain GAi.
画像処理装置600は、画像処理装置100の全ての効果を得ることができるとと共に、第1の補正回路610が全ての画素に対して同一の値となる第1のゲインGAiを乗算するため、画像処理装置100より、第1の補正回路を簡単に構成することができる。
Since the
<第7の実施の形態>
画像処理装置600における第1の補正回路610を、画像処理装置600を除く他の全ての実施の形態の画像処理装置に適用してもよい。図9に示す第7の実施の形態の画像処理装置700は、図4に示す第3の実施の形態の画像処理装置300に対して第1の補正回路610を適用した例である。
<Seventh embodiment>
The
図9に示すように、画像処理装置700は、第1の補正回路110を備える第1の回路101の代わりに、第1の補正回路610を備える第1の回路601が設けられた点を除き、画像処理装置300と同様である。
As shown in FIG. 9, the
<第8の実施の形態>
図10は、第8の実施の形態にかかる画像処理装置800を示す。画像処理装置800では、第1の補正処理を行う第1の補正回路は、他の各実施の形態の画像処理装置における第1の補正回路と異なる。こ画像処理装置800における第1の補正回路は、上述したいずれの実施の形態の画像処理装置にも適用することができるが、例として、図6に示す第5の実施の形態の画像処理装置500に適用した場合を説明する。
<Eighth Embodiment>
FIG. 10 shows an
画像処理装置800は、第1の回路501の代わりに第1の回路801が設けられている点を除き、画像処理装置500と同様である。また、第1の回路801も、第1の補正回路110の代わりに第1の補正回路810が設けられている点を除き、第1の回路501と同様である。
The
画像処理装置500では、第1の補正回路110が、図2に示すような、画素位置iに応じた第1のゲインGAiを夫々の画素に乗算している。対して、画像処理装置800では、第1の補正回路810は、全ての画素に対して「1」となる第1のゲインGAiを乗算している。
In the
すなわち、画像処理装置800において、第1の補正回路810は、遅延回路となっており、画像S0に対してゲインの調整をしていない。
That is, in the
図11は、画像処理装置800における、目的シェーディング補正処理のゲインGiと、第1の補正回路810が用いる第1のゲインGAiと、第2の補正回路120が用いる第2のゲインGBiを示す。
FIG. 11 shows the gain Gi of the target shading correction process, the first gain GAi used by the
図示のように、第1のゲインGAiは、画素位置iに関わらず「1」となっている。また、第2のゲインGBiは、ゲインGiと第1のゲインGAiの差分である。 As shown in the figure, the first gain GAi is “1” regardless of the pixel position i. The second gain GBi is a difference between the gain Gi and the first gain GAi.
画像処理装置800は、画像処理装置500の全ての効果を得ることができる。さらに、第1の補正回路810が遅延回路であるため、画像処理装置500より、より簡単かつ小さな回路規模で第1の補正回路を構成することができる。この点に関して、第1の補正回路810を他の各実施の形態に適用した場合においても同様である。
The
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。 As mentioned above, the invention made by the present inventor has been specifically described based on the embodiments. However, the present invention is not limited to the embodiments already described, and various modifications can be made without departing from the scope of the invention. It goes without saying that it is possible.
例えば、画像処理装置500や画像処理装置800において、第1のノイズ抑制回路と第2のノイズ抑制回路が異なるブロックとして設けられているが、この2つのノイズ抑制回路を1つのブロックとして設け、夫々のノイズ抑制処理を切り替えるようにしてもよい。
For example, in the
また、例えば、画像S0に対して黒レベル補正処理やキズ補正処理などを行ってから第1の補正回路と第2の補正回路に入力するようにしてもよい。 In addition, for example, black level correction processing or scratch correction processing may be performed on the image S0 and then input to the first correction circuit and the second correction circuit.
また、第1の補正回路と合成回路の間、第2の補正回路と合成回路の間に、他の処理を行うブロックを設けてもよい。 Further, a block for performing other processing may be provided between the first correction circuit and the synthesis circuit and between the second correction circuit and the synthesis circuit.
100 画像処理装置
101 第1の回路
102 第2の回路
110 第1の補正回路
120 第2の補正回路
122 第2のノイズ抑制回路
130 合成回路
200 画像処理装置
202 第2の回路
300 画像処理装置
310 第1のノイズ抑制回路
400 画像処理装置
500 画像処理装置
501 第1の回路
600 画像処理装置
601 第1の回路
610 第1の補正回路
700 画像処理装置
800 画像処理装置
801 第1の回路
810 第1の補正回路
Gi 目的シェーディング補正処理のゲイン
GAi 第1のゲイン
GBi 第2のゲイン
S0、S1 画像
SH1 第1の補正画像
SH2 第2の補正画像
SNR1 第1のノイズ抑制画像
SNR2 第2のノイズ抑制画像
DESCRIPTION OF
Claims (3)
第1の回路と、第2の回路と、合成回路と、第1のノイズ抑制回路とを備え、
前記第1の回路は、
中央部の各画素位置iについては前記ゲインGi以下、前記中央部以外の各画素位置iについては前記ゲインGiより小さい第1のゲインGAiを、夫々の画素に乗算する第1の補正処理を行い、
前記第2の回路は、
第2のノイズ抑制処理と、夫々の画素に対して、前記ゲインGiと前記第1のゲインGAiの差分となる第2のゲインGBiを乗算する第2の補正処理とを行い、
前記合成回路は、
前記第1の回路により処理された画像と、前記第2の回路により処理された画像とを画素毎に加算し、
前記第1のノイズ抑制回路は、
前記画像に対して第1のノイズ抑制処理を施して前記第1の回路と前記第2の回路に供するか、
または、
前記合成回路により得られた画像に対して前記第1のノイズ抑制処理を施し、
前記第1のノイズ抑制処理は、ノイズの除去より、ディテールの保存を重視したノイズ抑制処理であり、
前記第2のノイズ抑制処理は、ディテールの保存より、ノイズの除去を重視したノイズ抑制処理である
画像処理装置。 A shading correction process and a noise suppression process are performed on an image obtained by imaging, and the shading correction process is performed for each pixel with a gain Gi (in accordance with a pixel position i corresponding to the image height of the lens. In the image processing apparatus that is a process of multiplying Gi ≧ 1),
A first circuit, a second circuit, a synthesis circuit, and a first noise suppression circuit ;
The first circuit includes:
For each pixel position i in the central part, a first correction process is performed to multiply each pixel by the gain Gi or less, and for each pixel position i other than the central part, a first gain GAi that is smaller than the gain Gi. ,
The second circuit includes:
Performing a second noise suppression process and a second correction process for multiplying each pixel by a second gain GBi that is the difference between the gain Gi and the first gain GAi;
The synthesis circuit is:
And image processed by the first circuit, and image processed by the second circuit is added for each pixel,
The first noise suppression circuit includes:
Performing a first noise suppression process on the image and providing the first circuit and the second circuit;
Or
Applying the first noise suppression process to the image obtained by the synthesis circuit,
The first noise suppression process is a noise suppression process that emphasizes the preservation of detail rather than noise removal,
The second noise suppression process is an image processing apparatus that is a noise suppression process that emphasizes noise removal rather than detail storage .
第1の回路と、第2の回路と、合成回路とを備え、
前記第1の回路は、
中央部の各画素位置iについては前記ゲインGi以下、前記中央部以外の各画素位置iについては前記ゲインGiより小さい第1のゲインGAiを、夫々の画素に乗算する第1の補正処理と、第1のノイズ抑制処理とを行い、
前記第2の回路は、
第2のノイズ抑制処理と、夫々の画素に対して、前記ゲインGiと前記第1のゲインGAiの差分となる第2のゲインGBiを乗算する第2の補正処理とを行い、
前記合成回路は、
前記第1の回路により処理された画像と、前記第2の回路により処理された画像とを画素毎に加算し、
前記第1のノイズ抑制処理は、ノイズの除去より、ディテールの保存を重視したノイズ抑制処理であり、
前記第2のノイズ抑制処理は、ディテールの保存より、ノイズの除去を重視したノイズ抑制処理である
画像処理装置。 A shading correction process and a noise suppression process are performed on an image obtained by imaging, and the shading correction process is performed for each pixel with a gain Gi (in accordance with a pixel position i corresponding to the image height of the lens. In the image processing apparatus that is a process of multiplying Gi ≧ 1),
A first circuit, a second circuit, and a synthesis circuit;
The first circuit includes:
A first correction process for multiplying each pixel by a first gain GAi that is equal to or less than the gain Gi for each pixel position i in the central portion and is smaller than the gain Gi for each pixel position i other than the central portion ; Performing the first noise suppression process ,
The second circuit includes:
Performing a second noise suppression process and a second correction process for multiplying each pixel by a second gain GBi that is the difference between the gain Gi and the first gain GAi;
The synthesis circuit is:
And image processed by the first circuit, and image processed by the second circuit is added for each pixel,
The first noise suppression process is a noise suppression process that emphasizes the preservation of detail rather than noise removal,
The second noise suppression process is an image processing apparatus that is a noise suppression process that emphasizes noise removal rather than detail storage .
請求項1又は請求項2に記載の画像処理装置。 The first correction processing multiplies all the pixels by the first gain GAi having the same value of 1 or less.
The image processing apparatus according to claim 1 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012187680A JP5902589B2 (en) | 2012-08-28 | 2012-08-28 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012187680A JP5902589B2 (en) | 2012-08-28 | 2012-08-28 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014045429A JP2014045429A (en) | 2014-03-13 |
JP5902589B2 true JP5902589B2 (en) | 2016-04-13 |
Family
ID=50396390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012187680A Expired - Fee Related JP5902589B2 (en) | 2012-08-28 | 2012-08-28 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5902589B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112015005499T5 (en) * | 2015-01-20 | 2018-03-22 | Olympus Corporation | Image processing apparatus, image processing method and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006050042A (en) * | 2004-08-02 | 2006-02-16 | Megachips Lsi Solutions Inc | Image processing apparatus |
JP2011114760A (en) * | 2009-11-30 | 2011-06-09 | Konica Minolta Opto Inc | Method for inspecting camera module |
-
2012
- 2012-08-28 JP JP2012187680A patent/JP5902589B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014045429A (en) | 2014-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9390482B2 (en) | Image processing apparatus and method of processing image | |
US8428388B2 (en) | Image generating apparatus and method for emphasizing edge based on image characteristics | |
US9412152B2 (en) | Image sharpening processing method and apparatus, and shooting terminal | |
JP5035029B2 (en) | Signal processing apparatus and method, and program | |
US8433152B2 (en) | Information processing apparatus, information processing method, and program | |
US8396318B2 (en) | Information processing apparatus, information processing method, and program | |
US8594452B2 (en) | System and method for processing an image edge | |
US9280805B2 (en) | Image processing apparatus, image processing method, and memory device in which image processing program is stored | |
JP2017091582A (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
US9047665B2 (en) | Image processing apparatus | |
US20120321200A1 (en) | Method and apparatus for generating super-resolution image using prediction and stabilization of high-frequency information of image | |
JPWO2013061626A1 (en) | Image processing apparatus, image processing method, imaging apparatus, computer program, and recording medium | |
US11574391B2 (en) | Median based frequency separation local area contrast enhancement | |
JP5902589B2 (en) | Image processing device | |
US9715720B1 (en) | System and method for reducing image noise | |
US10235742B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal | |
US9843703B2 (en) | Image processing apparatus and method of controlling the same | |
JP2013106151A (en) | Image processing apparatus and image processing method | |
US9754362B2 (en) | Image processing apparatus, image processing method, and program | |
US20150063710A1 (en) | Conversion of digital images into digital line drawings | |
JP2017107366A (en) | Image processing device and pogram | |
WO2017217239A1 (en) | Image processing device, image processing method, and program | |
KR101617551B1 (en) | Image processing method and system for improving face detection | |
US11244428B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
JP2019096049A (en) | Image generation device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5902589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |