JP6957665B2 - Image processing equipment, image processing methods and programs - Google Patents

Image processing equipment, image processing methods and programs Download PDF

Info

Publication number
JP6957665B2
JP6957665B2 JP2020038033A JP2020038033A JP6957665B2 JP 6957665 B2 JP6957665 B2 JP 6957665B2 JP 2020038033 A JP2020038033 A JP 2020038033A JP 2020038033 A JP2020038033 A JP 2020038033A JP 6957665 B2 JP6957665 B2 JP 6957665B2
Authority
JP
Japan
Prior art keywords
region
pixel
color
interest
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020038033A
Other languages
Japanese (ja)
Other versions
JP2020091910A (en
Inventor
敦 ▲高▼濱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015041432 priority Critical
Priority to JP2015041432 priority
Priority to JP2015240404A priority patent/JP6671943B2/en
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2020091910A publication Critical patent/JP2020091910A/en
Application granted granted Critical
Publication of JP6957665B2 publication Critical patent/JP6957665B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、色ノイズを低減する画像処理技術に関するものである。 The present invention relates to an image processing technique for reducing color noise.

デジタルカメラなどの撮像装置によって撮像されたカラー画像データは一般に、明るさを表す輝度信号と、各色成分の色差を表す色差信号とに分離されて画像処理されることが知られている。また近年、デジタルカメラ等の撮像装置には高画質な画像が望まれる。特に近年は、高感度撮影に対する要求が高く、暗所や夜間においても低ノイズの高画質な画像が得られることが望まれている。しかし、暗い場所や夜間のように十分なS/N比が得られない環境下では、色差信号のノイズ(色ノイズ)が低周波のランダムノイズとして表れ、画質が低下してしまう。 It is known that color image data captured by an imaging device such as a digital camera is generally separated into a luminance signal representing brightness and a color difference signal representing the color difference of each color component for image processing. Further, in recent years, high-quality images are desired for imaging devices such as digital cameras. Particularly in recent years, there has been a high demand for high-sensitivity photography, and it is desired to obtain high-quality images with low noise even in dark places and at night. However, in a dark place or in an environment where a sufficient S / N ratio cannot be obtained, such as at night, noise (color noise) of a color difference signal appears as low-frequency random noise, and the image quality deteriorates.

この色ノイズを抑制するために、平均化フィルタ、ガウシアンフィルタ等を用いた平滑化処理やメディアンフィルタのような順序統計フィルタを用いた色ノイズ低減処理が従来より行われている。しかしながら、平滑化処理や順序統計フィルタを用いた場合、大きな範囲のノイズ(低周波ノイズ)を十分に低減するためには、フィルタのタップ数を大きく設計する必要があり、回路規模の増大を引き起こしてしまう。この点、入力画像を縮小してからフィルタ処理を行うことで、タップ数を増やさずに同等の効果を得る手法が提案されている(特許文献1を参照)。 In order to suppress this color noise, a smoothing process using an averaging filter, a Gaussian filter, or the like and a color noise reduction process using an ordinal statistical filter such as a median filter have been conventionally performed. However, when smoothing processing or an order statistic filter is used, in order to sufficiently reduce noise in a large range (low frequency noise), it is necessary to design a large number of taps on the filter, which causes an increase in circuit scale. It ends up. In this regard, a method has been proposed in which the same effect can be obtained without increasing the number of taps by performing the filtering process after reducing the input image (see Patent Document 1).

特開2010−157163号公報Japanese Unexamined Patent Publication No. 2010-157163

ところで、入力画像の色ノイズ低減を行う際、エッジ付近に色滲みが発生することがある。例えば、入力画像を縮小してフィルタ処理を行うことで大きな範囲の色ノイズを低減することが可能であるが、縮小画像の拡大によって色領域の境界で色滲みが発生してしまう。また、入力画像を縮小することなく色ノイズ低減する場合でも、大きな範囲の色ノイズ低減によって、やはり境界部分で色滲みが発生しやすくなる。 By the way, when reducing the color noise of the input image, color bleeding may occur near the edge. For example, it is possible to reduce a large range of color noise by reducing the input image and performing filtering, but the enlargement of the reduced image causes color bleeding at the boundary of the color region. Further, even when the color noise is reduced without reducing the input image, the color noise reduction in a large range also tends to cause color bleeding at the boundary portion.

本発明に係る画像処理装置は、入力画像データにおける注目画素について、当該注目画素を含む複数の画素からなる第1の領域が色の一様な領域か否かを判定する第1の判定手段と、前記注目画素を含む複数の画素からなる前記第1の領域とは異なる第2の領域が、色の一様な領域か否かを判定する第2の判定手段と、前記注目画素に対して、前記注目画素と該注目画素の近傍画素とからなる参照領域を設定する第1の設定手段と、前記第2の判定手段において色の一様な領域と判定されたサブ領域を構成する画素数に基づいて、特定の補正処理の内容を設定する第2の設定手段と、前記参照領域に含まれる画素の画素値に基づいて、前記注目画素の画素値を、前記特定の補正処理の内容に従って、ノイズが低減された値に補正する第1の補正手段と、を有し、前記第1の設定手段は、前記第1の判定手段により前記第1の領域が色の一様な領域であると判定された場合、予め用意された所定の複数の画素からなる領域を、前記参照領域として設定し、前記第1の判定手段により前記第1の領域が色の一様な領域ではないと判定された場合、前記第2の判定手段による判定結果に応じた複数の画素からなる領域を、前記参照領域として設定し、前記第2の判定手段は、前記第2の領域に含まれる複数の画素の画素数を段階的に減らして、前記判定を行い、前記第2の領域とは、複数のサブ領域で構成される領域であり、各サブ領域の形状には指向性があり、各サブ領域を全て組み合わせると等方性がある、ことを特徴とする。 The image processing apparatus according to the present invention serves as a first determining means for determining whether or not a first region composed of a plurality of pixels including the pixel of interest in the input image data is a region having a uniform color. A second determination means for determining whether or not a second region different from the first region composed of a plurality of pixels including the attention pixel is a region having a uniform color, and the attention pixel. The number of pixels constituting the first setting means for setting the reference region including the pixel of interest and the pixels in the vicinity of the pixel of interest, and the sub-region determined to be a uniform color region by the second determination means. Based on the second setting means for setting the content of the specific correction process and the pixel value of the pixel included in the reference region, the pixel value of the pixel of interest is set according to the content of the specific correction process. includes a first correction means for correcting a value from which noise has been reduced, and the first setting means, said first region is a uniform region of the color by the first judging means When it is determined, a region composed of a plurality of predetermined pixels prepared in advance is set as the reference region, and the first determination means determines that the first region is not a uniform color region. If so, a region composed of a plurality of pixels according to the determination result by the second determination means is set as the reference region, and the second determination means has a plurality of pixels included in the second region. reduce the number of pixels in a stepwise manner, said determined have rows, wherein the second region is a region including a plurality of sub-regions, the shape of each sub-region has directivity, each sub It is characterized by being isotropic when all the regions are combined.

本発明によれば、エッジ付近における色滲みを抑制しつつ色ノイズを低減することが可能になる。 According to the present invention, it is possible to reduce color noise while suppressing color bleeding in the vicinity of edges.

画像処理装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of an image processing apparatus. (a)は実施例1に係る画像処理装置のノイズ低減処理に係る論理構成の一例を示すブロック図であり、(b)は実施例1に係る色ノイズ低減処理部の内部構成を示すブロック図である。(A) is a block diagram showing an example of a logical configuration related to noise reduction processing of the image processing apparatus according to the first embodiment, and (b) is a block diagram showing an internal configuration of a color noise reduction processing unit according to the first embodiment. Is. (a)は第1次領域として設定される5×5画素の等方的領域の一例を示す図であり、(b)は第2次領域として設定されるセット領域の一例を示す図である。(A) is a diagram showing an example of an isotropic region of 5 × 5 pixels set as a primary region, and (b) is a diagram showing an example of a set region set as a secondary region. .. セット領域が再設定されていく様子を説明する図である。It is a figure explaining how the set area is reset. 評価値の具体例である。This is a specific example of the evaluation value. (a)は色判定結果の具体例、(b)は総合値scoreが最小となる領域を求める具体例である。(A) is a specific example of the color determination result, and (b) is a specific example of finding the region where the total value score is the minimum. 補正パラメータとしての参照領域が設定される様子を示す図である。It is a figure which shows how the reference area as a correction parameter is set. サブ領域に代えて等方的領域を参照領域として設定する場合の一例を示す図である。It is a figure which shows an example of the case where an isotropic area is set as a reference area instead of a sub area. 評価値が最小のサブ領域とその方向に基づいて、ローパスフィルタを掛けた画素値を導出する具体例を示す図である。It is a figure which shows the specific example which derives the pixel value which applied the low-pass filter based on the sub-region which the evaluation value is the smallest and the direction thereof. 実施例1に係る、画素値がどのように補正されるのかを説明する図である。It is a figure explaining how the pixel value is corrected which concerns on Example 1. FIG. 色ノイズ低減処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the color noise reduction processing. 実施例2に係る、画素値がどのように補正されるのかを説明する図である。It is a figure explaining how the pixel value is corrected which concerns on Example 2. FIG. 実施例3に係る、画像処理装置のノイズ低減処理に係る論理構成の一例を示すブロック図である。It is a block diagram which shows an example of the logical structure which concerns on the noise reduction processing of the image processing apparatus which concerns on Example 3. FIG. ローパスフィルタ処理に用いるフィルタの一例を示す模式図である。It is a schematic diagram which shows an example of the filter used for low-pass filter processing. 実施例4に係る、色ノイズ低減処理部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the color noise reduction processing part which concerns on Example 4. FIG. 実施例4に係る、色差判定部で設定されるセット領域の一例を示す図である。It is a figure which shows an example of the set area set by the color difference determination part which concerns on Example 4. FIG.

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The configuration shown in the following examples is only an example, and the present invention is not limited to the illustrated configuration.

[実施例1]
図1は、本実施例に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置100は、例えばPC等であり、CPU101、RAM102、HDD103、汎用インターフェース(I/F)104、モニタ108、及びメインバス109を備える。そして、汎用I/F104によって、カメラなどの撮像装置105や、マウス、キーボードなどの入力装置106、及びメモリカードなどの外部メモリ107をメインバス109に接続される。
[Example 1]
FIG. 1 is a diagram showing an example of a hardware configuration of an image processing device according to this embodiment. The image processing device 100 is, for example, a PC or the like, and includes a CPU 101, a RAM 102, an HDD 103, a general-purpose interface (I / F) 104, a monitor 108, and a main bus 109. Then, the image pickup device 105 such as a camera, the input device 106 such as a mouse and a keyboard, and the external memory 107 such as a memory card are connected to the main bus 109 by the general-purpose I / F 104.

CPU101は、HDD103に格納された各種ソフトウェア(コンピュータプログラム)を動作させることで、以下のような各種処理を実現する。 The CPU 101 realizes the following various processes by operating various software (computer programs) stored in the HDD 103.

まず、CPU101は、HDD103に格納されている画像処理アプリケーションを起動して、RAM102に展開するとともに、モニタ108にユーザインターフェース(UI)を表示する。続いて、HDD103や外部メモリ107に格納されている各種データ、撮像装置105で取得された画像データ、入力装置106からのユーザ指示などがRAM102に転送される。さらに、画像処理アプリケーション内の処理に従って、RAM102に格納されているデータが、CPU101からの指令に基づき演算処理される。演算処理の結果は、モニタ108に表示されたり、HDD103または外部メモリ107に格納されたりする。なお、HDD103や外部メモリ107に格納されている画像データがRAM102に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがRAM102に転送されてもよい。 First, the CPU 101 starts an image processing application stored in the HDD 103, expands it into the RAM 102, and displays a user interface (UI) on the monitor 108. Subsequently, various data stored in the HDD 103 and the external memory 107, image data acquired by the image pickup device 105, user instructions from the input device 106, and the like are transferred to the RAM 102. Further, according to the processing in the image processing application, the data stored in the RAM 102 is arithmetically processed based on the command from the CPU 101. The result of the arithmetic processing is displayed on the monitor 108 or stored in the HDD 103 or the external memory 107. The image data stored in the HDD 103 or the external memory 107 may be transferred to the RAM 102. Further, the image data transmitted from the server via a network (not shown) may be transferred to the RAM 102.

本実施例では、上記のような構成を備える画像処理装置100に於いて、CPU101からの指令に基づき、画像処理アプリケーションに画像データを入力して色ノイズを低減した画像データを出力する態様について説明するものとする。 In this embodiment, in the image processing apparatus 100 having the above configuration, an embodiment in which image data is input to an image processing application and image data with reduced color noise is output based on a command from the CPU 101 will be described. It shall be.

(画像処理装置の論理構成)
図2(a)は、本実施例に係る画像処理装置100のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置100は、信号変換処理部201、色ノイズ低減処理部202、輝度ノイズ低減処理部203、信号統合処理部204とで構成される。
(Logical configuration of image processing device)
FIG. 2A is a block diagram showing an example of a logical configuration related to noise reduction processing of the image processing apparatus 100 according to the present embodiment. The image processing device 100 includes a signal conversion processing unit 201, a color noise reduction processing unit 202, a luminance noise reduction processing unit 203, and a signal integration processing unit 204.

撮像装置105或いはHDD103や外部メモリ107から入力されるカラー画像データの色信号(RGB色空間で表される色信号)は、まず信号変換処理部201に入力される。ここで、入力されるカラー画像データは、撮像装置105において生成される中間画像データでもよい。例えば、撮像素子よって撮像された画像がデジタル化されたオリジナルの画像データであるRAW画像データや、欠陥画素を補正した欠陥画素補正後のRAW画像データでもよい。さらには、偽色抑制等の各種補正処理やローパスフィルタ処理がなされた後のRAW画像データでもよい。RAW画像データの色信号を入力する際には、公知のデモザイク技術を用いてRGB色信号を生成すればよい。また、ベイヤー配列のRAW画像データであれば、2×2画素(RGGB)を1画素として扱う方法も考えられる。なお、本実施例におけるカラー画像データはRGB色空間であることを前提に説明を行なうが、これに限らず、例えばL*a*b*色空間に変換した上で実施してもよい。 The color signal (color signal represented in the RGB color space) of the color image data input from the image pickup apparatus 105, the HDD 103, or the external memory 107 is first input to the signal conversion processing unit 201. Here, the input color image data may be intermediate image data generated by the image pickup apparatus 105. For example, it may be RAW image data which is the original image data obtained by digitizing the image captured by the image sensor, or RAW image data after correcting the defective pixel by correcting the defective pixel. Further, it may be RAW image data after various correction processes such as false color suppression and low-pass filter processing have been performed. When inputting the color signal of the RAW image data, the RGB color signal may be generated by using a known demosaic technique. Further, in the case of Bayer array RAW image data, a method of treating 2 × 2 pixels (RGGB) as one pixel can be considered. The description will be made on the premise that the color image data in this embodiment is in an RGB color space, but the description is not limited to this, and the color image data may be converted into, for example, an L * a * b * color space.

信号変換処理部201は、入力されたカラー画像データのRGB色信号から、公知の変換式によって、輝度成分(Y)を表す輝度信号と色差成分(Cr及びCb)を表す色差信号を生成する。ここで、輝度信号のノイズ(以降、輝度ノイズ)の空間周波数と色差信号のノイズ(以降、色ノイズ)の空間周波数は互いに異なり、色差信号のノイズの空間周波数の方が低い。本処理によって、入力されたカラー画像データに係るRGB色信号からYCrCb色信号を生成することで、輝度成分を表す輝度信号と色差成分を表す色差信号のそれぞれに対して最適なノイズ低減処理を行なうことができる。入力RGB色信号と、信号変換処理によって生成されたYCrCb色信号は、色ノイズ低減処理部202と輝度ノイズ低減処理部203に送られる。 The signal conversion processing unit 201 generates a luminance signal representing the luminance component (Y) and a luminance signal representing the color difference component (Cr and Cb) from the RGB color signal of the input color image data by a known conversion formula. Here, the spatial frequency of the luminance signal noise (hereinafter, luminance noise) and the spatial frequency of the color difference signal noise (hereinafter, color noise) are different from each other, and the spatial frequency of the color difference signal noise is lower. By generating a YCrCb color signal from the RGB color signal related to the input color image data by this processing, optimum noise reduction processing is performed for each of the brightness signal representing the brightness component and the color difference signal representing the color difference component. be able to. The input RGB color signal and the YCrCb color signal generated by the signal conversion process are sent to the color noise reduction processing unit 202 and the luminance noise reduction processing unit 203.

色ノイズ低減処理部202は、RGB色信号とYCrCb色信号とに基づいて、色差信号のノイズを低減する処理を行なう。色ノイズ低減処理の詳細については後述する。 The color noise reduction processing unit 202 performs processing for reducing the noise of the color difference signal based on the RGB color signal and the YCrCb color signal. The details of the color noise reduction processing will be described later.

輝度ノイズ低減処理部203は、輝度信号のノイズを低減する処理を行なう。輝度ノイズ低減処理部203に対しては、一般的なノイズ低減処理を用いればよい。 The luminance noise reduction processing unit 203 performs processing for reducing the noise of the luminance signal. General noise reduction processing may be used for the luminance noise reduction processing unit 203.

信号統合処理部204は、色ノイズ低減処理部202によって色ノイズが低減された色信号と、輝度ノイズ低減処理部203によって輝度ノイズが低減された色信号とを統合する処理を行う。信号統合処理部204は、信号統合処理の結果生成される、色ノイズと輝度ノイズの両方が低減されたカラー画像データを出力する。統合後のカラー画像データは、モニタ108やHDD103などに出力される。そのほか、例えば汎用I/F104に接続した外部メモリ107、不図示の外部サーバ、プリンタなどに出力しても構わない。 The signal integration processing unit 204 performs a process of integrating the color signal whose color noise is reduced by the color noise reduction processing unit 202 and the color signal whose brightness noise is reduced by the brightness noise reduction processing unit 203. The signal integration processing unit 204 outputs color image data in which both color noise and luminance noise are reduced, which is generated as a result of the signal integration processing. The color image data after integration is output to the monitor 108, HDD 103, or the like. In addition, for example, it may be output to an external memory 107 connected to a general-purpose I / F 104, an external server (not shown), a printer, or the like.

(色ノイズ低減処理部の詳細)
続いて、色ノイズ低減処理部202について詳しく説明する。図2(b)は、本実施例に係る色ノイズ低減処理部202の内部構成を示すブロック図である。図2(b)に示すように、色ノイズ低減処理部202は、領域設定部301、評価値導出部302、色判定部303、補正パラメータ設定部304及び色差補正部305で構成される。以下、色ノイズ低減処理部202の各部について説明する。
(Details of color noise reduction processing unit)
Subsequently, the color noise reduction processing unit 202 will be described in detail. FIG. 2B is a block diagram showing an internal configuration of the color noise reduction processing unit 202 according to this embodiment. As shown in FIG. 2B, the color noise reduction processing unit 202 includes an area setting unit 301, an evaluation value derivation unit 302, a color determination unit 303, a correction parameter setting unit 304, and a color difference correction unit 305. Hereinafter, each part of the color noise reduction processing unit 202 will be described.

<領域設定部>
領域設定部301は、後述の色判定部303での色判定処理の対象となる領域(色判定用領域)を注目画素毎に設定する。この色判定用領域は、入力されたカラー画像データにおける注目画素とその周辺画素の複数の画素によって構成される領域である。そして、この色判定領域は、色差を示す値(色差信号)を補正する処理(以下、色差補正処理)において使用する参照領域を決定する際に、色の境界(色エッジ)を越えて注目画素と異なる色の画素(色の異なる領域)を含まないことが望ましい。一方、色判定用領域は、できるだけ領域に含まれる画素数が多い方がよいが、領域に含まれる画素数が多いほど、注目画素と異なる色の画素を含みやすい。そこで色判定用領域は、2段階で設定される。すなわち、処理開始直後に初期設定される領域(第1次領域)と、当該第1次領域に色エッジを含むと判定される場合に改めて設定される領域(第2次領域)とが存在する。そして、初期設定される第1次領域は、含まれる各画素がほぼ注目画素の色差信号一様となっているか、を判定するための領域であり、注目画素を中心とした方向性のない等方的な領域が設定される。
<Area setting unit>
The area setting unit 301 sets an area (color determination area) to be subjected to the color determination process by the color determination unit 303, which will be described later, for each pixel of interest. This color determination area is an area composed of a plurality of pixels of interest in the input color image data and peripheral pixels thereof. Then, this color determination region crosses the color boundary (color edge) and is a pixel of interest when determining a reference region to be used in a process for correcting a value indicating a color difference (color difference signal) (hereinafter, color difference correction process). It is desirable not to include pixels of different colors (regions of different colors). On the other hand, the color determination region should have as many pixels as possible included in the region, but the larger the number of pixels included in the region, the more likely it is that pixels of a color different from the pixel of interest are included. Therefore, the color determination area is set in two stages. That is, there are an area (primary area) that is initially set immediately after the start of processing and an area (secondary area) that is set again when it is determined that the primary area includes a color edge. .. The primary region that is initially set is an region for determining whether or not each included pixel has a uniform color difference signal of the pixel of interest, and there is no directionality centered on the pixel of interest. Anisotropy area is set.

図3(a)は、第1次領域として設定される、5×5画素の等方的領域の一例を示す図である。第1次領域のサイズは固定でもよいし、入力画像のノイズ量に応じたサイズを設定するようにしてもよい。ノイズ量に応じたサイズを設定する際は、ノイズ量の大きい画像に対してはサイズを大きくし、ノイズ量の小さい画像に対してはサイズを小さくするように設定する。具体的には、撮影感度に応じて決定すればよいが、より高精度に行う場合は、例えば、ISO感度や露光時間、温度と、撮像装置のノイズ量との関係を解析し、相互の関係を対応付けたテーブルを用意しておく。そして、ISO感度等の情報を入力値として上記テーブルに基づいてノイズ量を求め、求められたノイズ量に応じたサイズの第1次領域を決定するようにすればよい。 FIG. 3A is a diagram showing an example of an isotropic region of 5 × 5 pixels set as a primary region. The size of the primary region may be fixed, or the size may be set according to the amount of noise in the input image. When setting the size according to the amount of noise, the size is set to be large for an image having a large amount of noise, and the size is set to be small for an image having a small amount of noise. Specifically, it may be determined according to the shooting sensitivity, but if it is to be performed with higher accuracy, for example, the relationship between the ISO sensitivity, the exposure time, and the temperature and the noise amount of the imaging device is analyzed, and the mutual relationship is obtained. Prepare a table associated with. Then, the noise amount may be obtained based on the above table using information such as ISO sensitivity as an input value, and the primary region having a size corresponding to the obtained noise amount may be determined.

第1次領域に含まれる各画素を表す色差信号が注目画素の色差信号と大きく異なる場合(注目画素とは異なる色の画素が第1次領域内に存在する場合)、色エッジが注目画素の付近に存在することを意味している。そうなると、色の境界を越えて注目画素と異なる色の画素を含まない、できるだけ大きい領域を見つけることが必要になる。そこで、それぞれが指向性を持つ複数の領域の組合せからなり、各領域を合わせると全体としては等方性のあるように構成される複数の領域(以降、セット領域)を第2次領域とする。図3(b)は、セット領域の一例を示す図である。それぞれが指向性を持つ領域の1つ1つを「サブ領域」と呼ぶ。セット領域の条件を、以下の1)〜5)に示す。 When the color difference signal representing each pixel included in the primary region is significantly different from the color difference signal of the pixel of interest (when a pixel having a color different from that of the pixel of interest exists in the primary region), the color edge of the pixel of interest It means that it exists in the vicinity. In that case, it is necessary to find as large a region as possible that does not include pixels of a color different from the pixel of interest beyond the color boundary. Therefore, a plurality of regions (hereinafter referred to as set regions), which are composed of a combination of a plurality of regions each having directivity and are configured to be isotropic as a whole when the regions are combined, are referred to as a secondary region. .. FIG. 3B is a diagram showing an example of a set area. Each of the regions having directivity is called a "sub-region". The conditions of the set area are shown in 1) to 5) below.

1)各サブ領域は空間的連続性がある。
2)各サブ領域の画素数は同じである。
3)注目画素を中心として、各サブ領域の形に指向性がある。
4)注目画素を中心として各サブ領域を全て組み合わせたセット領域全体では等方性がある。
5)各々のサブ領域において注目画素が端に存在する。
1) Each sub-region has spatial continuity.
2) The number of pixels in each sub-region is the same.
3) There is directivity in the shape of each sub-region centering on the pixel of interest.
4) There is isotropicity in the entire set area in which all the sub-regions are combined around the pixel of interest.
5) In each sub-region, the pixel of interest is present at the end.

上記5つの条件を満たすセット領域に基づいて後述する色判定処理を行なうことで、注目画素の色差信号と同じ値の色差信号が一様な領域であってその画素数が最大となるような様々な形状の領域を見つけ出すことができる。一様とは、領域が、概ね注目画素の色差信号と同じ値の色差信号の画素で構成されていることを示す。そして、見つけ出された領域が最終的に色差補正処理で参照される参照領域として設定されることになる。なお、ここではサブ領域の合計が8個(8方向)の場合を示しているが、これに限定される必要はない。計算量とのトレードオフになるが、可能であればより方向の分解能が大きいセット領域を設定した方が良い。そして、設定されたセット領域の各サブ領域について評価値を導出し、該評価値を基に色判定処理を行なう。その結果、注目画素の色差信号と同じ値の色差信号の画素からなるサブ領域が一つも存在しない場合、画素数を縮小したサブ領域で構成される新たなセット領域が改めて設定される。評価値の導出並びに同一色かどうかの色判定の詳細については後述する。図4は、段階的に少ない画素数のサブ領域(各サブ領域を構成する画素の数を減らした)で構成されるセット領域が再設定されていく様子を説明する図である。図4において、セット領域400は、それぞれが12個の画素(注目画素を除く)からなる8つのサブ領域401〜408で構成されるセット領域であり、最初に第2次領域の候補として設定されるセット領域である。セット領域410は、それぞれが9個の画素(注目画素を除く)からなる8つのサブ領域411〜418で構成されるセット領域である。セット領域410は、セット領域400の中に注目画素の色差信号と同じ値の色差信号の画素からなるサブ領域が一つも存在しない場合に、第2次領域の候補として再設定されるセット領域である。そして、セット領域420は、それぞれが3個の画素(注目画素を除く)からなる8つのサブ領域421〜428で構成されるセット領域である。セット領域420は、再設定されたセット領域410の中に注目画素の色差信号と同じ値の色差信号の画素からなるサブ領域が一つも存在しない場合に、第2次領域の候補として再々設定されるセット領域である。この場合において、サブ領域の形状が例えばセット領域420のように一次元的な形になった段階で、それ以上のセット領域の変更は行わない。なお、セット領域の再設定をどの時点で終わりにするかを、上述したサブ領域の形状を基に決定するのに代えて、各サブ領域を構成する画素数(所定数以下かどうか)によって決定してもよいし、形状と画素数の双方とに基づいて制御してもよい。或いは、再設定の回数(変更回数)で制御してもよい。 By performing the color determination process described later based on the set area satisfying the above five conditions, the color difference signal having the same value as the color difference signal of the pixel of interest is a uniform area and the number of pixels is maximized. It is possible to find an area with a different shape. “Uniform” means that the region is composed of pixels of a color difference signal having substantially the same value as the color difference signal of the pixel of interest. Then, the found area is finally set as a reference area to be referred to in the color difference correction process. Although the case where the total number of sub-regions is 8 (8 directions) is shown here, it is not necessary to be limited to this. Although it is a trade-off with the amount of calculation, it is better to set a set area with a larger directional resolution if possible. Then, an evaluation value is derived for each sub-region of the set set region, and color determination processing is performed based on the evaluation value. As a result, when there is no sub-region composed of pixels of the color-difference signal having the same value as the color-difference signal of the pixel of interest, a new set area composed of sub-regions in which the number of pixels is reduced is set again. Details of the derivation of the evaluation value and the color determination of whether or not the colors are the same will be described later. FIG. 4 is a diagram illustrating a state in which a set area composed of sub-regions having a small number of pixels (the number of pixels constituting each sub-region is reduced) is gradually reset. In FIG. 4, the set area 400 is a set area composed of eight sub-regions 401 to 408 each consisting of 12 pixels (excluding the pixel of interest), and is first set as a candidate for the secondary region. Set area. The set area 410 is a set area composed of eight sub-regions 411 to 418, each of which is composed of nine pixels (excluding the pixel of interest). The set area 410 is a set area that is reset as a candidate for the secondary area when there is no sub-region consisting of pixels of the color difference signal having the same value as the color difference signal of the pixel of interest in the set area 400. be. The set area 420 is a set area composed of eight sub-regions 421 to 428, each of which is composed of three pixels (excluding the pixel of interest). The set area 420 is reset as a candidate for the secondary area when there is no sub-area consisting of pixels of the color difference signal having the same value as the color difference signal of the pixel of interest in the reset area 410. Set area. In this case, when the shape of the sub-region becomes a one-dimensional shape such as the set region 420, the set region is not changed any more. It should be noted that, instead of determining when to end the resetting of the set area based on the shape of the sub-region described above, it is determined by the number of pixels (whether or not it is a predetermined number or less) constituting each sub-region. It may be controlled based on both the shape and the number of pixels. Alternatively, it may be controlled by the number of resets (number of changes).

<評価値導出部>
評価値導出部302は、入力されたカラー画像データ中の注目画素に対して、領域設定部301で設定された色判定用領域(色判定用領域が複数のサブ領域のセットとして与えられているときは各々のサブ領域について)を用いて評価値を導出する。この評価値は、設定された色判定用領域内に、注目画素の色と異なる色の画素が存在しているかどうかを評価するためのものである。画像データのノイズ量が多い場合、注目画素の色差信号とその周囲の色差信号とを一対一で単純に比較する方法では、注目画素を表す色と周囲の画素の色との差を適切に判定できない。具体的には、本当は色差信号が大きく異なる画素であるにもかかわらず両者の色が同じと判定されたり、本当は色差信号が同じ画素であるのに両者の色が異なると判定されたりすることがある。各画素に対して、異なる色の画素を用いて色ノイズ低減処理をすると、色エッジ付近の画素に色滲みが発生してしまう。そこで本実施例では、注目画素の周辺領域において、注目画素の色と大きく異なる色の画素をできるだけ含まない同一色領域を予め見つけ、当該同一色領域内の画素を参照して注目画素に対し色差補正処理を行う。このような同一色領域を見つける際に、注目画素と参照画素の画素値を一対一で比較して判定していくのではなく、注目画素とその周辺にある複数の画素で構成される領域とを比較した評価値に基づいて判定する。これは、自然画像は滑らかであり、色のエッジ部以外の領域ではある程度同じ色が連続して存在しているという仮定に基づいている。従って複数の画素からなる領域で判定することは、判定精度を向上させる狙いがある。領域の評価値は、例えば以下の式(1)によって求めることができる。
<Evaluation value derivation unit>
The evaluation value derivation unit 302 is provided with a color determination area (color determination area is provided as a set of a plurality of sub-areas) set by the area setting unit 301 for the pixel of interest in the input color image data. When, the evaluation value is derived using (for each sub-region). This evaluation value is for evaluating whether or not a pixel having a color different from the color of the pixel of interest exists in the set color determination area. When the amount of noise in the image data is large, the method of simply comparing the color difference signal of the pixel of interest with the color difference signal around it on a one-to-one basis can appropriately determine the difference between the color representing the pixel of interest and the color of the surrounding pixels. Can not. Specifically, it may be determined that the colors of both are the same even though the color difference signals are pixels that are significantly different, or that the colors of both are different even though the color difference signals are actually the same pixels. be. If color noise reduction processing is performed on each pixel using pixels of different colors, color bleeding occurs in the pixels near the color edge. Therefore, in this embodiment, in the peripheral region of the pixel of interest, the same color region that does not include pixels of a color significantly different from the color of the pixel of interest is found in advance, and the pixels in the same color region are referred to to make a color difference with respect to the pixel of interest. Perform correction processing. When finding such an identical color region, instead of making a one-to-one comparison between the pixel values of the pixel of interest and the reference pixel, the region is composed of the pixel of interest and a plurality of pixels around it. Judgment is made based on the evaluation value comparing. This is based on the assumption that the natural image is smooth and the same color is present to some extent continuously in areas other than the edges of the color. Therefore, the determination in the region composed of a plurality of pixels is aimed at improving the determination accuracy. The evaluation value of the region can be obtained by, for example, the following equation (1).

上記式(1)において、Nは領域を構成する画素数、xiは領域を構成する各画素の画素値を表している。また、uは注目画素の画素値である。ここで、入力される画像データはカラー画像データなので、評価値はRGBの色毎に導出される。注目画素と参照領域に対して設定される各領域について、対応する画素間における画素値の差分を算出する。領域における画素値の差分を全て合計した値に基づいて評価値が決定される。注目画素の色を基準として注目画素と大きく色が異なる画素が多いほど、評価値が大きくなる。従って評価値が大きいほど、注目画素の色成分からなる同一色領域ではない(色エッジを含む可能性が高い)ことを意味する。また評価値が小さいほど、領域内は色に変化が少なく、一様な色からなる領域であると判定される。特に式(1)によって算出される評価値が小さい表域は、注目画素の画素値を表す色成分と同様の色成分からなる領域であると予測することができる。 In the above equation (1), N represents the number of pixels constituting the region, and x i represents the pixel value of each pixel constituting the region. Further, u is a pixel value of the pixel of interest. Here, since the input image data is color image data, the evaluation value is derived for each RGB color. For each area set for the pixel of interest and the reference area, the difference in pixel value between the corresponding pixels is calculated. The evaluation value is determined based on the sum of all the differences in the pixel values in the region. The more pixels whose color is significantly different from that of the pixel of interest with reference to the color of the pixel of interest, the larger the evaluation value. Therefore, the larger the evaluation value, the more likely it is that the same color region consisting of the color components of the pixel of interest is not included (there is a high possibility that the color edge is included). Further, the smaller the evaluation value, the less the color changes in the region, and it is determined that the region is composed of uniform colors. In particular, the surface area where the evaluation value calculated by the equation (1) is small can be predicted to be a region composed of color components similar to the color components representing the pixel values of the pixel of interest.

図5は、処理対象領域が図4に示すサブ領域418(N=10)である場合に導出される評価値の具体例を示している。図5の例では、RGBのそれぞれについて、それぞれ参照符号501〜503で示される画素値(14bit:0〜16384)を有している。この場合、例えばG成分502のサブ領域については、参照符号504で示されるような演算がなされることになる。R成分及びB成分についても同様の演算がなされ、最終的に参照符号505で示される評価値が、RGBの各成分について導出されることになる。 FIG. 5 shows a specific example of the evaluation value derived when the processing target area is the sub-region 418 (N = 10) shown in FIG. In the example of FIG. 5, each of RGB has pixel values (14 bits: 0 to 16384) indicated by reference numerals 501 to 503. In this case, for example, for the sub-region of the G component 502, the calculation as shown by the reference numeral 504 is performed. The same calculation is performed for the R component and the B component, and finally, the evaluation value indicated by the reference numeral 505 is derived for each component of RGB.

なお、当然のことながら画像データはデモザイキング前のRAWデータでもよい。その際は、例えばベイヤー配列方式のカラーフィルタで撮像されたRAWデータであれば、G1とG2を平均した信号をGとみなしてもよい。 As a matter of course, the image data may be RAW data before demosaiking. In that case, for example, if the RAW data is captured by a Bayer array color filter, the signal obtained by averaging G1 and G2 may be regarded as G.

また、評価値を求める式は、上記式(1)に限定されるものではなく、例えば以下の式(2)を用いて得られる値を評価値としてもよい。 Further, the formula for obtaining the evaluation value is not limited to the above formula (1), and for example, a value obtained by using the following formula (2) may be used as the evaluation value.

以上のように、領域が、注目画素の色成分からなる同一色領域であるかどうかを評価するための評価値は、注目画素の画素値と所定の領域内の画素値との差分に基づいて決定するものであればよい。そのため評価値は、上記式(1)や式(2)によって得られる値に限定されない。例えば、領域内の画素値の平均値との差分を評価値としてもよい。導出された評価値は、次の色判定処理で用いるため、RAM102に記憶される。 As described above, the evaluation value for evaluating whether or not the region is the same color region composed of the color components of the pixel of interest is based on the difference between the pixel value of the pixel of interest and the pixel value within the predetermined region. Anything that decides will do. Therefore, the evaluation value is not limited to the value obtained by the above equation (1) or equation (2). For example, the difference from the average value of the pixel values in the region may be used as the evaluation value. The derived evaluation value is stored in the RAM 102 for use in the next color determination process.

<色判定部>
色判定部303は、評価値導出部302で導出された評価値に基づいて、領域設定部301で設定された領域(第1次領域又は第2次領域)が注目画素の色差信号と同じ値の色差信号の画素からなる領域であるかどうかを判定する色判定処理を行なう。色判定用領域が第2次領域(複数のサブ領域のセット)であるときは、サブ領域毎に条件を満たしているかの判定がなされることになる。例えば、評価値が上記式(1)を用いて導出された場合におけるRGBそれぞれの評価値をσ’2 R、σ’2 G、σ’2 B、とするとき、以下の式(3)で示す条件を満足するとき、当該領域は同一色領域であると判定されることになる。
<Color judgment unit>
The color determination unit 303 has the same value as the color difference signal of the pixel of interest in the area (primary area or secondary area) set by the area setting unit 301 based on the evaluation value derived by the evaluation value derivation unit 302. Performs color determination processing for determining whether or not the region consists of pixels of the color difference signal of. When the color determination region is a secondary region (a set of a plurality of sub-regions), it is determined whether or not the conditions are satisfied for each sub-region. For example, when the evaluation values of RGB are derived using the above equation (1) and the evaluation values of RGB are σ '2 R , σ '2 G , and σ '2 B , the following equation (3) is used. When the conditions shown are satisfied, it is determined that the region is the same color region.

上記式(3)において、∧は論理積(AND)を表し(以下、同じ)、thは以下の式(4)を満足する所定の閾値である。つまりRGB全ての色成分について、評価値が所定の閾値以下であると判定された場合、その領域が注目画素とほぼ同じ色であり、異なる色領域を含んでいないと判定することを意味している。 In the above equation (3), ∧ represents a logical product (AND) (hereinafter, the same), and th is a predetermined threshold value that satisfies the following equation (4). That is, when it is determined that the evaluation value of all the color components of RGB is equal to or less than a predetermined threshold value, it means that the region is almost the same color as the pixel of interest and does not include a different color region. There is.

上記式(4)において、uは注目画素の画素値、cは係数、offsetは定数である。ここで係数cは、画像データのノイズ量に応じて変更するのが好ましい。例えば、ノイズ量が小さいときは小さく、ノイズ量が大きいときは大きい値の係数cが設定されるように、予め撮像装置の撮影感度等に応じ係数cを設定しておく。本実施例では、この係数cはRGBで共通の値を設定しておく。しかしながら色毎に異なる係数cを設定してもよい。例えばGに対応する係数cを他の2色に対応する係数cよりも小さい値に設定する。全ての色成分に対して一律に小さい係数cを用いると、条件式(3)を満たす画素が少なくなり、色ノイズ低減処理効果が弱くなってしまう。そこで、他の2色に比べて、S/N比が良い色成分Gの条件を厳しく設定することで、より精度の高い評価値を算出することができ、効果的に色ノイズ低減処理を実現することもできる。また、定数offsetは暗部のノイズ量に基づいて決定することが好ましい。例えば、暗部のノイズ量が少ないときは小さい値、暗部のノイズ量が多いときは大きい値のoffsetが設定されるように、予め撮像装置の撮影条件等に応じて設定しておく。定数offsetは使用しなくても(すなわち、offset=0でも)よいが、特に高感度長秒露光撮影時のような暗部のノイズ量が多いときに、offsetの値を適切に設定することによって、より精度の高い色判定結果を得ることができるようになる。 In the above equation (4), u is the pixel value of the pixel of interest, c is a coefficient, and offset is a constant. Here, the coefficient c is preferably changed according to the amount of noise in the image data. For example, the coefficient c is set in advance according to the shooting sensitivity of the imaging device or the like so that a coefficient c having a small value is set when the amount of noise is small and a large value is set when the amount of noise is large. In this embodiment, the coefficient c is set to a value common to RGB. However, a different coefficient c may be set for each color. For example, the coefficient c corresponding to G is set to a value smaller than the coefficient c corresponding to the other two colors. If a uniformly small coefficient c is used for all color components, the number of pixels satisfying the conditional expression (3) is reduced, and the color noise reduction processing effect is weakened. Therefore, by strictly setting the conditions for the color component G, which has a better S / N ratio than the other two colors, a more accurate evaluation value can be calculated, and color noise reduction processing is effectively realized. You can also do it. Further, the constant offset is preferably determined based on the amount of noise in the dark area. For example, a small value is set when the amount of noise in the dark area is small, and a large value is set when the amount of noise in the dark area is large. The constant offset may not be used (that is, offset = 0), but by setting the offset value appropriately, especially when there is a lot of noise in the dark area such as during high-sensitivity long-exposure shooting. It becomes possible to obtain a more accurate color determination result.

図6(a)は、図5で示した評価値の具体例に基づき、上記式(3)を用いて色判定を行なった結果を示している。図6(a)の例では、各注目画素の画素値(R:3361,G:3394,B:3244)、係数c=15の場合において、閾値thが参照符号601のようにそれぞれ与えられる。参照符号505で示されたRGBそれぞれの評価値(σ’2 R:66407,σ’2 G:21140,σ’2 B:,235656)は、上記式(3)に代入される。その結果、参照符号602で示す判定結果(条件を満足しない=注目画素と同じ色からなる領域ではない)が得られることになる。 FIG. 6A shows the result of color determination using the above formula (3) based on the specific example of the evaluation value shown in FIG. In the example of FIG. 6A, the threshold value th is given as the reference code 601 when the pixel value (R: 3361, G: 3394, B: 3244) of each pixel of interest and the coefficient c = 15. The evaluation values (σ '2 R : 66407, σ '2 G : 21140, σ '2 B :, 235656) of each of RGB indicated by reference numeral 505 are substituted into the above equation (3). As a result, the determination result indicated by the reference reference numeral 602 (the condition is not satisfied = the region does not have the same color as the pixel of interest) can be obtained.

なお、評価値を式(2)で導出した場合の判定式は、以下の式(5)のようになる。 The judgment formula when the evaluation value is derived by the formula (2) is as shown in the following formula (5).

そして、上記式(5)におけるth’は以下の式(6)で定義される。 Then, th'in the above equation (5) is defined by the following equation (6).

色判定用領域が第2次領域の場合、セット領域に含まれる複数のサブ領域のうち少なくとも1つ以上のサブ領域において式(3)や式(5)の判定条件を満たしたとき、判定条件を満たしたサブ領域のうち評価値が最小のサブ領域とその方向を見つける。そのために、判定条件を満たしたサブ領域に対し、さらに各色の評価値の総合値scoreを求める。総合値scoreは、評価値を式(1)で導出した場合には以下の式(7)を用いて、評価値を式(2)で導出した場合には以下の式(8)を用いて求められる。 When the color determination area is the secondary area, the determination condition is satisfied when the determination conditions of the equations (3) and (5) are satisfied in at least one or more sub-regions among the plurality of sub-regions included in the set area. Find the sub-region with the smallest evaluation value and its direction among the sub-regions that satisfy. Therefore, the total value score of the evaluation values of each color is further obtained for the sub-regions that satisfy the judgment conditions. For the total value score, use the following formula (7) when the evaluation value is derived by the formula (1), and use the following formula (8) when the evaluation value is derived by the formula (2). Desired.

そして、求めた総合値scoreが最小となる領域が、以下の式(9)を用いて求められる。 Then, the region where the obtained total value score is minimized is obtained by using the following equation (9).

上記式(9)においてSは、式(3)や式(5)の判定条件を満たした各領域の総合値scoreの集合である。 In the above equation (9), S is a set of total value scores of each region satisfying the determination conditions of the equations (3) and (5).

図6(b)は、総合値scoreが最小となる領域を求める様子を示している。図6(b)の例では、右上方向の指向性を持つサブ領域604と右方向の指向性を持つサブ領域605の2つの領域が注目画素と同一色の領域であると判定される。同一色領域と判定されたサブ領域のうち総合値scoreの値が小さい右上方向のサブ領域604が、最小の評価値であるサブ領域として求められている。 FIG. 6B shows how to find the region where the total value score is the minimum. In the example of FIG. 6B, it is determined that the two regions of the sub-region 604 having the directivity in the upper right direction and the sub-region 605 having the directivity in the right direction are regions of the same color as the pixel of interest. Of the sub-regions determined to be the same color region, the sub-region 604 in the upper right direction in which the total value score is small is required as the sub-region with the minimum evaluation value.

上述のようにして得られた色判定処理の結果は、次の補正パラメータ設定部304で用いるため、RAM102に記憶される。 The result of the color determination process obtained as described above is stored in the RAM 102 for use in the next correction parameter setting unit 304.

<補正パラメータ設定部>
補正パラメータ設定部304は、色ノイズを低減するための色差を補正する処理(色差補正処理)で使用するパラメータの設定を行う。本実施例における補正パラメータは、注目画素についての色差補正処理で用いる参照領域の情報である。補正パラメータ設定部304は、色判定部303で判定条件を満たした領域を、注目画素についての色差補正処理で用いる参照領域として決定する。図7は、色判定用領域として第2次領域(セット領域)が設定された場合における、補正パラメータとしての参照領域が設定される様子を示す図である。図7の例では、図4で示したセット領域410の8つのサブ領域411〜418のうち、丸で囲んだサブ領域413、416及び417が判定条件を満たす。その結果、これら3つのサブ領域全てを使用するような参照領域700が補正パラメータとして設定されることを示している。なお、図7の例では、サブ領域416とサブ領域417との間で、斜線で示した2つの画素701と黒の矩形で示す注目画素の計3画素が重複している。この様に画素が重複している場合、各サブ領域の和集合を取って参照領域としてもよいし、重なっている数だけ参照領域が存在しているとみなしてもよい。後者の場合、色差補正処理において、重なっている画素の重みが大きくなることを意味する。
<Correction parameter setting unit>
The correction parameter setting unit 304 sets the parameters used in the process of correcting the color difference for reducing the color noise (color difference correction process). The correction parameter in this embodiment is information on a reference region used in the color difference correction processing for the pixel of interest. The correction parameter setting unit 304 determines a region that satisfies the determination condition in the color determination unit 303 as a reference region used in the color difference correction processing for the pixel of interest. FIG. 7 is a diagram showing how a reference area as a correction parameter is set when a secondary area (set area) is set as a color determination area. In the example of FIG. 7, of the eight sub-regions 411 to 418 of the set region 410 shown in FIG. 4, the circled sub-regions 413, 416 and 417 satisfy the determination condition. As a result, it is shown that the reference area 700 that uses all of these three sub-areas is set as the correction parameter. In the example of FIG. 7, a total of three pixels, two pixels 701 shown by diagonal lines and a pixel of interest shown by a black rectangle, overlap between the sub-region 416 and the sub-region 417. When the pixels overlap in this way, the union of each sub-region may be taken as a reference region, or it may be considered that there are as many reference regions as there are overlaps. In the latter case, it means that the weight of the overlapping pixels becomes large in the color difference correction process.

また、色判定用領域として設定された第1次領域(等方的領域)が判定条件を満たした場合、本実施例では、当該第1次領域をそのまま参照領域として設定する。ただし、第1次領域とは異なる領域を設定してもよい。これは、既に周囲に色エッジがないと判定された画素については、第1次領域を用いたノイズ低減処理はもちろん、異なる領域を用いたノイズ低減処理や他のノイズ低減処理であっても、ノイズ低減効果を得られることが予測されるためである。従って第1次領域による色判定において、周囲に色エッジがないと判定された画素については、処理速度や回路コストを考慮したノイズ低減処理を設計すればよい。 When the primary region (isotropic region) set as the color determination region satisfies the determination condition, in this embodiment, the primary region is set as the reference region as it is. However, an area different from the primary area may be set. This means that for pixels that have already been determined to have no color edges around them, not only noise reduction processing using the primary region, but also noise reduction processing using different regions and other noise reduction processing can be performed. This is because it is predicted that a noise reduction effect can be obtained. Therefore, for the pixels determined to have no color edges in the periphery in the color determination in the primary region, noise reduction processing may be designed in consideration of the processing speed and the circuit cost.

なお本実施例において、第2次領域を対象とする色判定処理の結果、判定条件を満足するサブ領域がないことや、判定条件を満足するサブ領域の画素数の総和が一定数(例えば5画素)以下であることも起こり得る。この場合は、注目画素を中心とした等方的かつ、第1次領域と同等以上の広範な領域を、参照領域として設定する。ノイズ低減処理に用いる参照領域を、少ない画素数で構成するとノイズ低減効果があまり得られないことが知られている。そこで、ここでは、第1次領域における色判定処理でも第2次領域における色判定処理でも、参照領域に適切な領域を見つけられない場合、より多くの画素数を用いたノイズ低減処理を実行することで、ノイズ低減効果を優先する。
図8は、判定条件を満足する領域がサブ領域428のみであって、その画素数の総和が一定数である5画素以下の4画素であったために、サブ領域428に代えて5×5画素の等方的領域800を参照領域として設定した一例を示している。なお、この際に、色差補正処理の内容についても変更するようにしてもよい。色差補正処理の内容を変更する態様については、実施例2で説明するものとする。
In this embodiment, as a result of the color determination process for the secondary region, there is no sub-region that satisfies the determination condition, and the total number of pixels of the sub-region that satisfies the determination condition is a certain number (for example, 5). Pixels) or less can occur. In this case, an isotropic and wide area equal to or larger than the primary area centered on the pixel of interest is set as the reference area. It is known that if the reference region used for noise reduction processing is configured with a small number of pixels, the noise reduction effect cannot be obtained so much. Therefore, here, in both the color determination process in the primary region and the color determination process in the secondary region, if an appropriate region cannot be found in the reference region, noise reduction processing using a larger number of pixels is executed. Therefore, the noise reduction effect is prioritized.
In FIG. 8, since the region satisfying the determination condition is only the sub-region 428 and the total number of pixels is 4 pixels of 5 pixels or less, which is a fixed number, 5 × 5 pixels are used instead of the sub-region 428. An example is shown in which the isotropic region 800 of is set as a reference region. At this time, the content of the color difference correction process may also be changed. A mode for changing the content of the color difference correction process will be described in the second embodiment.

上述のようにして設定された補正パラメータ(注目画素毎の参照領域の情報)は、次の色差補正部305で用いるため、RAM102に記憶される。 The correction parameters (information of the reference area for each pixel of interest) set as described above are stored in the RAM 102 for use in the next color difference correction unit 305.

<色差補正部>
色差補正部305は、入力されたカラー画像データに対し、設定された補正パラメータに基づいて、色ノイズが低減するように色差を示す値を補正する処理を行なう。本実施例の場合、設定された参照領域が第1次領域である場合と、第2次領域である場合とでは色差補正処理の内容を異ならせている。
<Color difference correction unit>
The color difference correction unit 305 corrects the input color image data based on the set correction parameters to correct the value indicating the color difference so as to reduce the color noise. In the case of this embodiment, the content of the color difference correction processing is different between the case where the set reference area is the primary area and the case where the set reference area is the secondary area.

まず、参照領域が第2次領域(セット領域)である場合について説明する。参照領域が第2次領域である場合は、注目画素における色差を示す信号Cr、Cbを、以下の式(10)及び式(11)を用いて補正する。 First, a case where the reference area is a secondary area (set area) will be described. When the reference region is the secondary region, the signals Cr and Cb indicating the color difference in the pixel of interest are corrected using the following equations (10) and (11).

上記式(10)及び式(11)において、Cr[i]とCb[i]は注目画素に対する参照領域内で以下の式(12)を満たす画素を表している。Mは、注目画素に対する参照領域において以下の式(12)を満たす画素数である。なお、注目画素自身は必ず含まれるので、M≧1となる。 In the above equations (10) and (11), Cr [i] and Cb [i] represent pixels satisfying the following equation (12) in the reference region for the pixel of interest. M is the number of pixels satisfying the following equation (12) in the reference region for the pixel of interest. Since the pixel of interest itself is always included, M ≧ 1.

上記式(12)において、ThYは輝度に対する閾値、ThCrは色差Crに対する閾値、ThCbは色差Cbに対する閾値をそれぞれ表している。そして、Ydiff、Crdiff、Cbdiffは参照領域内の各画素値と比較する画素値との差を表し、それぞれ以下の式(13)〜式(15)で表される。ただし、注目画素が無彩色のときは、上記式(12)における輝度Yについては考慮しなくてもよい。 In the above equation (12), Th Y represents a threshold value for luminance, Th Cr represents a threshold value for color difference Cr, and Th Cb represents a threshold value for color difference Cb. Then, Y diff , Cr diff , and Cb diff represent the difference between each pixel value in the reference region and the pixel value to be compared, and are represented by the following equations (13) to (15), respectively. However, when the pixel of interest is achromatic, it is not necessary to consider the brightness Y in the above equation (12).

上記式(13)〜式(15)において、比較する画素値YComp、CrComp、CbCompは注目画素の画素値を用いればよい。しかし、ノイズにより注目画素の画素値が真値と大きく異なっているとき、適切な画素を足し込めなかったり、大きなバイアスが発生してしまう。そこで、注目画素およびその近傍画素に対して、色判定部303が求めた評価値が最小のサブ領域の方向にローパスフィルタを掛けた結果を注目画素の画素値としてもよい。あるいは、注目画素と色判定部303が求めた評価値が最小のサブ領域に含まれる注目画素以外の1つ以上の近傍画素それぞれの画素値を平均化した結果を、注目画素の画素値としてもよい。 In the above equations (13) to (15), the pixel values of the pixel of interest may be used as the pixel values Y Comp , Cr Comp , and Cb Comp to be compared. However, when the pixel value of the pixel of interest is significantly different from the true value due to noise, an appropriate pixel cannot be added or a large bias occurs. Therefore, the pixel value of the pixel of interest may be the result of applying a low-pass filter to the pixel of interest and its neighboring pixels in the direction of the sub-region where the evaluation value obtained by the color determination unit 303 is the smallest. Alternatively, the result of averaging the pixel values of the pixel of interest and one or more neighboring pixels other than the pixel of interest included in the sub-region having the smallest evaluation value obtained by the color determination unit 303 can be used as the pixel value of the pixel of interest. good.

ここで、図9及び図10を参照して、色差補正処理の具体例を説明する。まず、図9は、評価値が最小のサブ領域とその方向に基づいて、ローパスフィルタを用いて算出した値(比較する画素値)を導出する具体例を示している。図9の例では、条件を満たす5個のサブ領域のうち、score=19855の上方向の指向性を持つサブ領域901が、評価値が最小のサブ領域となる。その結果、上方向に指向性を持つサブ領域901に対し、参照符号902〜904で示す画素値(14bit:0〜16384)を持つ画像データにおける注目画素とその上方向に隣接する近傍2画素を用いてローパスフィルタが掛けられる。ローパスフィルタを用いた演算の結果、参照符号905で示す比較する画素値(YComp:3383,CrComp:11,CbComp:-2)が算出されている。 Here, a specific example of the color difference correction process will be described with reference to FIGS. 9 and 10. First, FIG. 9 shows a specific example of deriving a value (pixel value to be compared) calculated by using a low-pass filter based on a sub-region having the smallest evaluation value and its direction. In the example of FIG. 9, of the five sub-regions satisfying the conditions, the sub-region 901 having an upward directivity of score = 19855 is the sub-region having the smallest evaluation value. As a result, with respect to the sub-region 901 having the upward directionality, the pixel of interest in the image data having the pixel values (14 bits: 0 to 16384) indicated by the reference numerals 902 to 904 and the neighboring two pixels adjacent to the upward direction are obtained. It is used to apply a low pass filter. As a result of the calculation using the low-pass filter, the pixel values to be compared (Y Comp : 3383, Cr Comp : 11, Cb Comp : -2) indicated by reference numeral 905 are calculated.

そして、図10は、上述の式(10)〜式(12)によって、画素値がどのように補正されるのかを説明する図である。なお、ここでは説明の簡単化のため、上方向の指向性を持つサブ領域901のみが条件を満たした領域(注目画素と同じ色の領域)と判定され、当該領域のみが参照領域に設定されたものとして説明を行なう。そして、図9で示した参照符号902〜904で示す画素値(14bit:0〜16384)を持つ画像データを補正対象とし、その際の参照領域を太枠で示した領域とする。 Then, FIG. 10 is a diagram for explaining how the pixel value is corrected by the above equations (10) to (12). Here, for the sake of simplification of the explanation, only the sub-region 901 having the upward directivity is determined to be the region satisfying the condition (the region having the same color as the pixel of interest), and only the region is set as the reference region. The explanation will be given as if it were. Then, the image data having the pixel values (14 bits: 0 to 16384) indicated by the reference numerals 902 to 904 shown in FIG. 9 is the correction target, and the reference area at that time is defined as the area shown by the thick frame.

ここで、参照符号1001〜1003で示すYdiff、Crdiff、Cbdiffが、図9の参照符号905で示す比較する画素値(YComp:3383,CrComp:11,CbComp:-2)を用いて、まず導出される。そして、導出されたYdiff、Crdiff、Cbdiffを用いて、上記式(12)への当て嵌めがなされ、参照符号1004で示す、値“1”を持つ全9画素が、上記式(10)及び式(11)における平均化に使用する画素と決定される。そして、最終的には参照符号1005で示す、注目画素における色差を示す値Cr、Cbの補正値(Crresult:8,Cbresult:-51)が導出されることになる。 Here, the Y diff , Cr diff , and Cb diff indicated by reference numerals 1001 to 1003 refer to the pixel values (Y Comp : 3383, Cr Comp : 11, Cb Comp : -2) to be compared shown by reference numeral 905 in FIG. First derived using. Then, using the derived Y diff , Cr diff , and Cb diff , the above equation (12) is fitted, and all nine pixels having the value “1” indicated by the reference code 1004 are the above equation (10). ) And the pixels used for averaging in equation (11). Finally, the correction values (Cr result : 8, Cb result : -51) of the values Cr and Cb indicating the color difference in the pixel of interest, which are indicated by reference numeral 1005, are derived.

なお、本実施例ではローパスフィルタを用いた例を説明したが、これと同様の効果があれば、その重み付けや使用する隣接画素の数は自由に決定してよい。もちろん、参照領域内の画素の平均値を利用してもよい。なお、人間が緑色光を最も明るく感じるという比視感度特性を有することから、輝度Yの代わりにG成分を簡易輝度として扱ってもよい。したがって、色差を示す値Cr(Cb)は、R成分−G成分(B成分−G成分)で求めてもよい。 In this embodiment, an example using a low-pass filter has been described, but if the same effect is obtained, the weighting and the number of adjacent pixels to be used may be freely determined. Of course, the average value of the pixels in the reference area may be used. In addition, since it has a luminous efficiency characteristic that humans perceive green light as brightest, the G component may be treated as a simple luminance instead of the luminance Y. Therefore, the value Cr (Cb) indicating the color difference may be obtained by the R component-G component (B component-G component).

次に、参照領域が第1次領域(単独の等方的領域)である場合について説明する。参照領域が第1次領域である場合は、色差補正処理として、例えば平均化フィルタを用いた平滑化処理(smoothing)を注目画素に対して行なう。 Next, a case where the reference region is a primary region (single isotropic region) will be described. When the reference region is the primary region, smoothing processing (smoothing) using, for example, an averaging filter is performed on the pixel of interest as the color difference correction processing.

上述のようにして色ノイズが低減されたカラー画像データは信号統合処理部204に送られ、別途輝度ノイズの低減処理がなされたカラー画像データと統合される。 The color image data in which the color noise is reduced as described above is sent to the signal integration processing unit 204, and is integrated with the color image data in which the brightness noise reduction processing is separately performed.

(色ノイズ低減処理フロー)
続いて、色ノイズ低減処理部202おける処理の流れについて説明する。図11は、色ノイズ低減処理の流れを示すフローチャートである。この一連の処理は、CPU101が、HDD130に格納されているプログラムをRAM102にロードし、実行することで実現される。
(Color noise reduction processing flow)
Subsequently, the flow of processing in the color noise reduction processing unit 202 will be described. FIG. 11 is a flowchart showing the flow of color noise reduction processing. This series of processing is realized by the CPU 101 loading the program stored in the HDD 130 into the RAM 102 and executing it.

ステップ1101では、入力されたカラー画像データから注目画素が決定される。 In step 1101, the pixel of interest is determined from the input color image data.

ステップ1102において、領域設定部301は、決定された注目画素についての色判定用領域として、当該注目画素を含む等方的領域(第1次領域)を設定する。 In step 1102, the area setting unit 301 sets an isotropic region (primary region) including the pixel of interest as a color determination region for the determined pixel of interest.

ステップ1103において、評価値導出部302は、設定された色判定用領域(第1次領域)についての評価値を導出する。 In step 1103, the evaluation value derivation unit 302 derives the evaluation value for the set color determination region (primary region).

ステップ1104において、色判定部303は、設定された色判定用領域(第1次領域)について導出された評価値に基づき、当該第1次領域内の各画素の色差信号が注目画素の色差信号と同じ値であるかを判定する。判定の結果、第1次領域内の各画素の色差信号が注目画素の色差信号と同じ値である場合は、ステップ1112に進む。一方、第1次領域内に、注目画素の色差信号と異なる値の色差信号の画素がある場合は、ステップ1105に進む。 In step 1104, the color determination unit 303 sets the color difference signal of each pixel in the primary region as the color difference signal of the pixel of interest based on the evaluation value derived for the set color determination region (primary region). Determine if it is the same value as. As a result of the determination, if the color difference signal of each pixel in the primary region has the same value as the color difference signal of the pixel of interest, the process proceeds to step 1112. On the other hand, if there is a pixel of a color difference signal having a value different from the color difference signal of the pixel of interest in the primary region, the process proceeds to step 1105.

ステップ1105において、領域設定部301は、各サブ領域が指向性を持ち、全体では等方性のあるサブ領域の組合せ(セット領域)を色判定用領域として設定する。この際、設定されるセット領域を構成するサブ領域の大きさは、前回設定時のサブ領域よりも小さくなるように設定される。 In step 1105, the area setting unit 301 sets a combination (set area) of sub-areas in which each sub-area has directivity and is isotropic as a whole as a color determination area. At this time, the size of the sub-area constituting the set area to be set is set to be smaller than the sub-area at the time of the previous setting.

ステップ1106において、評価値導出部302は、設定された色判定用領域についての評価値を導出する。上述のとおり、セット領域は複数のサブ領域から構成されるため、評価値は各々のサブ領域に対してRGB色毎に導出される。 In step 1106, the evaluation value derivation unit 302 derives the evaluation value for the set color determination region. As described above, since the set region is composed of a plurality of sub-regions, the evaluation value is derived for each RGB color for each sub-region.

ステップ1107において、色判定部303は、ステップ1106で導出された各サブ領域についての評価値に基づいて、いずれかのサブ領域が、注目画素の色差信号の値と同じ値の色差信号を持つ画素で構成されるサブ領域があるかを判定する。判定の結果、いずれかのサブ領域が、注目画素の色差信号と同じ値の色差信号を持つ画素で構成されるサブ領域である場合は、ステップ1109に進む。一方、いずれのサブ領域についても、注目画素の色差信号の値と同じ値の色差信号を持つ画素で構成されるサブ領域ではない場合は、ステップ1108に進む。 In step 1107, the color determination unit 303 determines that one of the sub-regions has a color difference signal having the same value as the color difference signal value of the pixel of interest, based on the evaluation value for each sub-region derived in step 1106. Determine if there is a sub-region consisting of. As a result of the determination, if any of the sub-regions is a sub-region composed of pixels having a color difference signal having the same value as the color difference signal of the pixel of interest, the process proceeds to step 1109. On the other hand, if none of the sub-regions is a sub-region composed of pixels having a color difference signal having the same value as the color difference signal value of the pixel of interest, the process proceeds to step 1108.

ステップ1108において、領域設定部301は、第2次領域であるセット領域の再設定が可能であるかを判定する。本実施例では、現在設定されているセット領域を構成する各サブ領域が一次元的な領域であるかを判定し、サブ領域が一次元的な領域であれば、それ以上のサブ領域のセットの設定はできないということになる。この判定条件は、色ノイズ低減処理で用いる参照領域をどのような形まで許容するかということを意味している。上述したような、各サブ領域が一次元的な領域であるかどうかといった条件の他、例えばサブ領域を構成する画素数を条件としてもよい。入力画像データのノイズ量及び縮小倍率によってより適した条件は変わり得る。判定の結果、第2次領域であるセット領域の再設定が可能である場合はステップ1105に戻って、サブ領域のサイズを1段階小さくしたセット領域を設定し、処理を続行する。一方、第2次領域であるセット領域の再設定がこれ以上可能でない場合は、ステップ1112に進む。 In step 1108, the area setting unit 301 determines whether the set area, which is the secondary area, can be reset. In this embodiment, it is determined whether each sub-area constituting the currently set set area is a one-dimensional area, and if the sub-area is a one-dimensional area, a set of more sub-areas is set. This means that you cannot set. This determination condition means to what extent the reference region used in the color noise reduction processing is allowed. In addition to the above-mentioned condition such as whether each sub-region is a one-dimensional region, for example, the number of pixels constituting the sub-region may be a condition. More suitable conditions may change depending on the amount of noise and the reduction ratio of the input image data. As a result of the determination, if the set area, which is the secondary area, can be reset, the process returns to step 1105, a set area in which the size of the sub area is reduced by one step is set, and the process is continued. On the other hand, if it is not possible to reset the set area which is the secondary area any more, the process proceeds to step 1112.

ステップ1109において、色判定部303は、参照領域として設定されたサブ領域の中で評価値が最小のサブ領域とその方向を探索する。これにより、後述の色補正処理(ステップ1111)において、最適な色差の補正を実現できる。 In step 1109, the color determination unit 303 searches for the sub-region having the smallest evaluation value and its direction among the sub-regions set as the reference region. As a result, the optimum color difference correction can be realized in the color correction process (step 1111) described later.

ステップ1110において、補正パラメータ設定部304は、色差補正処理におけるパラメータとして、現在の注目画素についての参照領域を、注目画素と色が同じと判定された全てのサブ領域を用いた領域に設定する。すなわち、サブ領域を構成する各画素の色差信号の値が注目画素の色差信号の値と同じであると判定された全てのサブ領域を、現在の注目画素についての参照領域として設定する。 In step 1110, the correction parameter setting unit 304 sets the reference area for the current pixel of interest as a parameter in the color difference correction process to an area using all the sub-areas determined to have the same color as the pixel of interest. That is, all the sub-regions determined that the value of the color difference signal of each pixel constituting the sub-region is the same as the value of the color difference signal of the pixel of interest are set as the reference region for the current pixel of interest.

ステップ1111において、色差補正部305は、ステップ1109で求められた評価値が最小のサブ領域の情報、及びステップ1110で設定された補正パラメータとしての参照領域に基づいて、色ノイズが低減するように注目画素の画素値を補正する。 In step 1111, the color difference correction unit 305 reduces the color noise based on the information of the sub region having the smallest evaluation value obtained in step 1109 and the reference region as the correction parameter set in step 1110. Correct the pixel value of the pixel of interest.

ステップ1112において、補正パラメータ設定部304は、色差補正処理における補正パラメータとして、現在の注目画素についての参照領域を、所定の等方的領域に設定する。 In step 1112, the correction parameter setting unit 304 sets the reference area for the current pixel of interest to a predetermined isotropic area as a correction parameter in the color difference correction process.

ステップ1113において、色差補正部305は、ステップ1112で設定された補正パラメータとしての参照領域に基づいて、色差補正処理として例えば一般的な平滑化処理を行って、注目画素の画素値を補正する。 In step 1113, the color difference correction unit 305 corrects the pixel value of the pixel of interest by performing, for example, a general smoothing process as the color difference correction process based on the reference area as the correction parameter set in step 1112.

ステップ1114では、入力されたカラー画像データについての処理が完了したかどうかが判定される。判定の結果、未処理の画素があれば、ステップ1101に戻って次の画素を注目画素に決定し、処理を続行する。一方、入力されたカラー画像データについての処理が完了していれば、本処理を終える。 In step 1114, it is determined whether or not the processing for the input color image data is completed. As a result of the determination, if there is an unprocessed pixel, the process returns to step 1101 to determine the next pixel as the pixel of interest, and the processing is continued. On the other hand, if the processing for the input color image data is completed, this processing is completed.

以上が、色ノイズ低減処理部202における処理の流れである。 The above is the processing flow in the color noise reduction processing unit 202.

なお、第1次領域についての色判定に関しては、例えば色のベタ部を判定するような別の方法を用いてもよい。この場合、画像データに対して一般的なエッジ強度を抽出するフィルタを用いてフィルタ処理をした後、第1次領域に含まれる各画素のエッジ強度を参照する。第1次領域に含まれる画素のエッジ強度が所定値未満(平坦部)である場合は、第1次領域は注目画素の色とほぼ同じ色の画素のみからなると判定し、ステップ1112に進む。また第1次領域に含まれる画素のエッジ強度が所定値以上である場合は、第1次領域には色エッジを含むためステップ1105に進むようにすればよい。 Regarding the color determination for the primary region, another method such as determining the solid portion of the color may be used. In this case, after filtering the image data using a filter that extracts general edge strength, the edge strength of each pixel included in the primary region is referred to. When the edge strength of the pixels included in the primary region is less than a predetermined value (flat portion), it is determined that the primary region consists of only pixels having a color substantially the same as the color of the pixel of interest, and the process proceeds to step 1112. If the edge strength of the pixels included in the primary region is equal to or greater than a predetermined value, the process may proceed to step 1105 because the primary region includes color edges.

本実施例によれば、着目する各画素に対して注目画素と異なる色の領域が混ざらないようなより適切な領域を設定でき、設定された最適な領域内の画素のみを利用して色差を補正する処理を実現できる。これにより、エッジ付近でも色滲みを発生させずに色ノイズを低減することができる。 According to this embodiment, a more appropriate area can be set for each pixel of interest so that a region of a color different from that of the pixel of interest is not mixed, and a color difference can be obtained by using only the pixels in the set optimum region. The process of correction can be realized. As a result, color noise can be reduced without causing color bleeding even in the vicinity of the edge.

[実施例2]
次に、補正パラメータ設定部304において、注目画素の色差補正処理で使用する参照領域に加え、色差補正処理自体の内容を、補正パラメータとして設定する態様について実施例2として説明する。なお、補正パラメータ設定部304で設定される補正パラメータの内容以外については実施例1と異なるところはないので、以下では差異点についてのみ説明するものとする。
[Example 2]
Next, a mode in which the content of the color difference correction process itself is set as a correction parameter in addition to the reference area used in the color difference correction process of the pixel of interest in the correction parameter setting unit 304 will be described as Example 2. Since there is no difference from the first embodiment except for the contents of the correction parameters set by the correction parameter setting unit 304, only the differences will be described below.

本実施例に係る補正パラメータ設定部304においても、色判定部303の判定結果に基づいて、色判定条件を満たした領域が、原則として注目画素に対する参照領域として設定される。ただし、色判定条件を満たしたサブ領域がなかった場合や、色判定条件を満たしたサブ領域の画素数が一定数以下だった場合に、参照領域としての所定の等方的領域を設定する。さらに、以下の式(16)及び式(17)で表される特定の色差補正処理の内容を、補正パラメータとして設定する。 Also in the correction parameter setting unit 304 according to this embodiment, a region satisfying the color determination condition is set as a reference region for the pixel of interest based on the determination result of the color determination unit 303. However, when there is no sub-region that satisfies the color determination condition, or when the number of pixels in the sub-region that satisfies the color determination condition is a certain number or less, a predetermined isotropic region is set as the reference region. Further, the content of the specific color difference correction process represented by the following equations (16) and (17) is set as a correction parameter.

上記式(16)及び式(17)において、Cr(i, j)、Cb(i, j)は注目画素の位置を基準座標(i=0, j=0)としたときの相対的な位置にある画素の色差を示している。また、k(i, j)はフィルタ係数であり、各位置の数値は予め定めておく。Devはフィルタ係数k(i, j)の数値の総和である。例えばk(0, 0)=1, k(i, j)=0 (i≠0, j≠0)と設定すれば、注目画素の色差を示す値は補正されず元の結果が出力されることになる。 In the above equations (16) and (17), Cr (i, j) and Cb (i, j) are relative positions when the position of the pixel of interest is the reference coordinate (i = 0, j = 0). The color difference of the pixels in is shown. Further, k (i, j) is a filter coefficient, and the numerical value of each position is predetermined. Dev is the sum of the numerical values of the filter coefficients k (i, j). For example, if k (0, 0) = 1, k (i, j) = 0 (i ≠ 0, j ≠ 0) is set, the value indicating the color difference of the pixel of interest is not corrected and the original result is output. It will be.

図12は、本実施例に係る、上述の式(16)及び式(17)を用いて画素値がどのように補正されるのかを説明する図である。図12の例では、i及びjがそれぞれ2〜-2の範囲の値をとる、注目画素を中心とした5×5画素の等方的領域を参照領域としている。いま、補正対象となるのはCrの値が「-33」でCbの値が「-150」の注目画素であり、Devの値は74である。そして、注目画素の画素値及び参照領域内の各画素値を用いて、上記式(16)及び式(17)に従って、参照符号1201で示す、注目画素における色差を示す値Cr、Cbの補正値(Crresult:5,Cbresult:-36)が導出される。ここでは参照領域としての等方的領域のサイズが5×5画素の例を示したが、サイズはこれに限られない。また、当然のことながら、補正パラメータとして設定される、注目画素に対して適用する式も上述の式(16)及び式(17)に限定されるものではない。 FIG. 12 is a diagram illustrating how the pixel value is corrected using the above equations (16) and (17) according to the present embodiment. In the example of FIG. 12, an isotropic region of 5 × 5 pixels centered on the pixel of interest, in which i and j each have a value in the range of 2 to -2, is used as a reference region. Currently, the correction target is a pixel of interest with a Cr value of "-33" and a Cb value of "-150", and a Dev value of 74. Then, using the pixel value of the pixel of interest and each pixel value in the reference region, the correction values of the values Cr and Cb indicating the color difference in the pixel of interest, which are indicated by reference numeral 1201 according to the above equations (16) and (17). (Cr result : 5, Cb result : -36) is derived. Here, an example in which the size of the isotropic region as the reference region is 5 × 5 pixels is shown, but the size is not limited to this. Further, as a matter of course, the equations applied to the pixel of interest, which are set as correction parameters, are not limited to the above equations (16) and (17).

[実施例3]
次に、入力されたカラー画像データから解像度の異なる複数の画像データを生成し、各画像データに対してノイズ低減処理を行って得られた処理結果を合成し、最終的なノイズ低減後のカラー画像データを出力する様態について実施例3として説明する。なお、画像処理装置のハードウェア構成など基本的な部分は実施例1及び2と共通するので、以下では差異点、すなわち、解像度の異なる複数の画像データの生成処理とノイズ低減処理された各画像データの合成処理を中心に説明するものとする。
[Example 3]
Next, a plurality of image data having different resolutions are generated from the input color image data, the processing results obtained by performing noise reduction processing on each image data are synthesized, and the final color after noise reduction is performed. A mode for outputting image data will be described as Example 3. Since the basic parts such as the hardware configuration of the image processing device are the same as those of the first and second embodiments, the differences below, that is, the generation processing of a plurality of image data having different resolutions and the noise reduction processing of each image are performed. The explanation will focus on the data composition process.

(本実施例の前提)
周波数帯域毎にノイズ低減処理を施すことにより、各周波数帯域に応じたノイズ成分を適切に除去することが可能である。これを実現するためには、入力画像データに対して多重解像度変換を行なって帯域制限画像データを生成し、各解像度の画像データに対してノイズ低減処理を行ない、ノイズが低減された後の各解像度の画像データを逆多重解像度変換して合成すればよい。なお、逆多重解像度変換は、多重解像度変換に対応するものであり、当然のことながら逆多重解像度変換を施すことにより、元の信号を復元(可逆/非可逆のいずれでもよい)することができる。多重解像度変換によって帯域制限画像データを生成する際には、ラプラシアンピラミッド分解やウェーブレット変換によって複数の周波数帯域毎の周波数応答特性を表す信号に変換する方法等を用いることができる。そして、逆多重解像度変換を行なう際には、ラプラシアンピラミッド分解により帯域制限画像データを得た場合にはラプラシアンピラミッド再構成の方法を用い、ウェーブレット変換により帯域制限画像データを得た場合には逆ウェーブレット変換を用いればよい。
(Premise of this embodiment)
By performing noise reduction processing for each frequency band, it is possible to appropriately remove noise components corresponding to each frequency band. In order to realize this, the input image data is subjected to multiple resolution conversion to generate band-limited image data, and the image data of each resolution is subjected to noise reduction processing to reduce the noise. Image data of resolution may be converted into inverse multiple resolution and combined. It should be noted that the inverse multi-resolution conversion corresponds to the multiple-resolution conversion, and as a matter of course, the original signal can be restored (either reversible or lossy) by performing the inverse multi-resolution conversion. .. When generating band-limited image data by multi-resolution conversion, a method of converting into a signal representing frequency response characteristics for each of a plurality of frequency bands by Laplacian pyramid decomposition or wavelet transform can be used. When performing inverse multi-resolution conversion, the Laplacian pyramid reconstruction method is used when band-limited image data is obtained by Laplacian pyramid decomposition, and inverse wavelet is used when band-limited image data is obtained by wavelet transform. The transform may be used.

また、入力画像データの解像度縮小は、ハードウェアで設計できるフィルタタップ数に制約がある際に、同じフィルタタップ数のノイズ低減処理であっても、より低周波ノイズに対してノイズ抑圧効果が得られる。そのため、特に色成分のノイズに対して有効な手法である。 Further, when the resolution of the input image data is reduced, when the number of filter taps that can be designed by hardware is limited, a noise suppression effect can be obtained for lower frequency noise even if the noise reduction processing has the same number of filter taps. Be done. Therefore, it is a particularly effective method for noise of color components.

上記の事実を踏まえ本実施例では、まず多重解像度変換によって解像度の異なる複数の画像データを生成し、各画像データに対してノイズ低減処理を行う。そして、ノイズが低減された後の解像度毎の画像データを逆多重解像度変換によって合成することで最終的なノイズ低減後のカラー画像データを出力するものである。 Based on the above facts, in this embodiment, first, a plurality of image data having different resolutions are generated by multi-resolution conversion, and noise reduction processing is performed on each image data. Then, the final color image data after noise reduction is output by synthesizing the image data for each resolution after the noise is reduced by the inverse multi-resolution conversion.

(画像処理装置の論理構成)
図13は、本実施例に係る画像処理装置1300のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置1300は、多重解像度画像生成部1301、信号変換処理部1302、色ノイズ低減処理部1303、輝度ノイズ低減処理部1304、合成処理部1305、信号統合処理部1306とで構成される。
(Logical configuration of image processing device)
FIG. 13 is a block diagram showing an example of a logical configuration related to noise reduction processing of the image processing apparatus 1300 according to the present embodiment. The image processing device 1300 includes a multi-resolution image generation unit 1301, a signal conversion processing unit 1302, a color noise reduction processing unit 1303, a brightness noise reduction processing unit 1304, a composition processing unit 1305, and a signal integration processing unit 1306.

撮像装置105或いはHDD103や外部メモリ107から入力されるカラー画像データの色信号(RGB色空間で表される色信号)は、まず多重解像度画像生成部1301に入力される。 The color signal (color signal represented in the RGB color space) of the color image data input from the image pickup apparatus 105, the HDD 103, or the external memory 107 is first input to the multi-resolution image generation unit 1301.

多重解像度画像生成部1301は、入力されたカラー画像データから解像度の異なる複数の画像データを生成する。具体的には、上述の多重解像度変換を行なって、1/2倍、1/4倍、・・・といった具合に解像度(周波数帯域)の異なる縮小画像データを生成する。以下、多重解像度変換によって生成した解像度の異なる複数の画像群を「多重解像度画像」と呼ぶ。この多重解像度画像には、元の解像度(1/1倍)の画像を含むものとする。多重解像度画像データの生成には、上述のとおりラプラシアンピラミッド分解やウェーブレット変換を用いればよい。或いは、間引き処理や公知の縮小アルゴリズムを用いてもよい。ただし、一般に画像データを縮小する際、ローパスフィルタ処理を行わないと折り返し雑音が発生してしまい、その折り返し雑音のパターンが最終的に出力される補正画像データに現れてしまう。したがって、縮小の際には、例えば平均画素法やその他のローパスフィルタ処理を含んだアルゴリズムを用いたり、事前にローパスフィルタ処理を行った上で、バイリニア法などを適用するのがよい。この場合においてローパスフィルタ処理に用いるフィルタは縮小倍率に基づいて決定される。図14は、縮小倍率が1/2倍のときに用いるフィルタの一例である。なお、フィルタの大きさや係数は図14の例に限られない。 The multi-resolution image generation unit 1301 generates a plurality of image data having different resolutions from the input color image data. Specifically, the above-mentioned multiple resolution conversion is performed to generate reduced image data having different resolutions (frequency bands) such as 1/2 times, 1/4 times, and so on. Hereinafter, a plurality of image groups having different resolutions generated by the multi-resolution conversion will be referred to as "multi-resolution images". It is assumed that this multi-resolution image includes an image having the original resolution (1/1 times). As described above, the Laplacian pyramid decomposition or the wavelet transform may be used to generate the multi-resolution image data. Alternatively, a thinning process or a known reduction algorithm may be used. However, in general, when the image data is reduced, aliasing noise is generated unless the low-pass filter processing is performed, and the pattern of the aliasing noise appears in the corrected image data that is finally output. Therefore, at the time of reduction, it is preferable to use, for example, an algorithm including an average pixel method or other low-pass filter processing, or to apply a bilinear method after performing low-pass filter processing in advance. In this case, the filter used for the low-pass filter processing is determined based on the reduction magnification. FIG. 14 is an example of a filter used when the reduction magnification is 1/2 times. The size and coefficient of the filter are not limited to the example shown in FIG.

信号変換処理部1302は、実施例1の信号変換処理部201と基本的に同じである。入力された多重解像度のカラー画像データのRGB色信号から、公知の変換式によって、解像度の異なる画像毎に輝度成分(Y)を表す輝度信号と色差成分(Cr及びCb)を表す色差信号を生成する。入力RGB色信号と、信号変換処理によって生成された解像度毎のYCrCb色信号は、色ノイズ低減処理部1303と輝度ノイズ低減処理部1304に送られる。 The signal conversion processing unit 1302 is basically the same as the signal conversion processing unit 201 of the first embodiment. From the input RGB color signal of the multi-resolution color image data, a luminance signal representing the luminance component (Y) and a luminance signal representing the color difference component (Cr and Cb) are generated for each image having a different resolution by a known conversion formula. do. The input RGB color signal and the YCrCb color signal for each resolution generated by the signal conversion process are sent to the color noise reduction processing unit 1303 and the luminance noise reduction processing unit 1304.

色ノイズ低減処理部1303は、各解像度のRGB色信号とYCrCb色信号とに基づいて、解像度毎に色差信号のノイズを低減する処理を行なう。色ノイズ低減処理の詳細については実施例1で述べた通りである。 The color noise reduction processing unit 1303 performs processing for reducing the noise of the color difference signal for each resolution based on the RGB color signal and the YCrCb color signal of each resolution. The details of the color noise reduction processing are as described in the first embodiment.

輝度ノイズ低減処理部1304は、解像度毎に輝度信号のノイズを低減する処理を行なう。輝度ノイズ低減処理には、一般的なノイズ低減処理を用いればよい。 The luminance noise reduction processing unit 1304 performs processing for reducing the noise of the luminance signal for each resolution. A general noise reduction process may be used for the luminance noise reduction process.

合成処理部1305は、解像度毎の色ノイズ低減後の色信号と、解像度毎の輝度ノイズ低減後の色信号とについて、それぞれ元の解像度の画像になるように拡大して合成し、色ノイズが低減された色信号と輝度ノイズが低減された色信号とを出力する。合成処理の詳細については後述する。 The compositing processing unit 1305 magnifies and synthesizes the color signal after reducing the color noise for each resolution and the color signal after reducing the brightness noise for each resolution so as to obtain an image of the original resolution, and the color noise is generated. It outputs a reduced color signal and a color signal with reduced brightness noise. The details of the synthesis process will be described later.

信号統合処理部1306は、合成処理部1305から出力された2種類の色信号(色ノイズが低減された色信号と輝度ノイズが低減された色信号)を統合し、色ノイズと輝度ノイズの両方が低減されたカラー画像データを出力する。統合後のカラー画像データは、モニタ108やHDD103などに出力される。そのほか、例えば汎用I/F104に接続した外部メモリ107、不図示の外部サーバ、プリンタなどに出力しても構わない。 The signal integration processing unit 1306 integrates two types of color signals (color signal with reduced color noise and color signal with reduced brightness noise) output from the synthesis processing unit 1305, and integrates both color noise and brightness noise. Outputs color image data with reduced. The color image data after integration is output to the monitor 108, HDD 103, or the like. In addition, for example, it may be output to an external memory 107 connected to a general-purpose I / F 104, an external server (not shown), a printer, or the like.

(合成処理の詳細)
続いて、合成処理部1305における合成処理(色ノイズ低減後の色信号と輝度ノイズ低減後の色信号のそれぞれについて元の解像度の画像になるように拡大して合成する処理)について詳しく説明する。この合成処理では、下階層の色信号を拡大した色信号と、上階層の色信号とを合成比率(α値)に基づいて合成するアルファブレンディングと呼ばれる手法が用いられる。まず、このアルファブレンディングを解像度の最も小さい画像(最下位階層の画像)から開始する。そして、アルファブレンディングによって得られた合成後の色信号をその上位階層に該当する解像度と同じ解像度にまで拡大し、当該拡大によって得られた色信号と、当該上位階層の色信号とを合成比率に基づいてさらにアルファブレンディングする。このような処理を最上位階層の画像(1/1倍の画像)に到達するまで繰り返す。この際の拡大には、例えばバイリニア法、ニアレストネイバー法、バイキュービック法、Lanczos法などを用いればよい。なお、ラプラシアンピラミッド分解、ウェーブレット変換により多重解像度画像データを生成した場合には、それぞれラプラシアンピラミッド再構成の方法、逆ウェーブレット変換を用いて逆多重解像度変換を行えばよい。なお、アルファブレンディングは、下位階層側の色信号値をIdown、上位階層側の色信号値をIup、合成比率をu、合成後の色信号値をIpostとしたとき、以下の式(18)で表される。
(Details of synthesis process)
Subsequently, the compositing process in the compositing processing unit 1305 (a process of enlarging and compositing each of the color signal after reducing the color noise and the color signal after reducing the luminance noise so as to obtain an image having the original resolution) will be described in detail. In this compositing process, a method called alpha blending is used in which the color signal obtained by enlarging the color signal of the lower layer and the color signal of the upper layer are synthesized based on the compositing ratio (α value). First, this alpha blending is started from the image with the lowest resolution (the image in the lowest layer). Then, the color signal after synthesis obtained by alpha blending is expanded to the same resolution as the resolution corresponding to the upper layer, and the color signal obtained by the expansion and the color signal of the upper layer are combined into the composition ratio. Further alpha blending based on. Such processing is repeated until the image of the highest layer (1/1 times image) is reached. For the expansion at this time, for example, the bilinear method, the nearest neighbor method, the bicubic method, the Lanczos method, or the like may be used. When the multi-resolution image data is generated by the Laplacian pyramid decomposition and the wavelet transform, the inverse multi-resolution conversion may be performed by using the Laplacian pyramid reconstruction method and the inverse wavelet transform, respectively. For alpha blending, when the color signal value on the lower layer side is I down , the color signal value on the upper layer side is I up , the composition ratio is u, and the color signal value after composition is I post , the following equation ( It is represented by 18).

ここで、合成比率uは、上位階層側をどれだけ使用するかを表しており、色信号の急峻な変化の度合いに応じて決定される。一例として、注目画素の輝度Y、色差cr、cbを入力としたエッジ検出を行なうことで合成比率を求める手法について説明する。この手法では、例えばフィルタ係数[−1, 2, −1]を有する空間フィルタを用いる。このような空間フィルタを水平方向及び垂直方向に適用した結果のうち、輝度エッジや色エッジの度合いが高いと考えられる方の結果を、予め定めた関数によって0〜1の間の係数Kにマッピングする。輝度エッジ、色エッジの度合いが高いと考えられるフィルタ適用結果ほど1に近く、その度合いが低いと考えられるフィルタ適用結果ほど0に近い値の係数Kが出力される。この係数Kが合成比率となる。なお、エッジ検出には輝度信号、色差信号のいずれか一方を用いてもよいし、両方を用いてもよい。上述したフィルタ係数や合成比率の決定方法は一例であり、これに限定されるものではない。輝度エッジ、色エッジの度合いが高いと考えられるときに合成比率を大きく、その度合いが低いと考えられるときに合成比率を小さくできれば、どのように決定してもよい。また、色ノイズ低減後の色信号と輝度ノイズ低減後の色信号のそれぞれについて、合成比率を別々の方法で決定して適用してもよいし、両者に同じ合成比率を用いてもよい。 Here, the composition ratio u represents how much the upper layer side is used, and is determined according to the degree of abrupt change in the color signal. As an example, a method of obtaining the composition ratio by performing edge detection using the brightness Y, the color difference cr, and cb of the pixel of interest as inputs will be described. In this method, for example, a spatial filter having a filter coefficient [-1, 2, -1] is used. Of the results of applying such a spatial filter in the horizontal and vertical directions, the result of the one considered to have a high degree of luminance edge or color edge is mapped to a coefficient K between 0 and 1 by a predetermined function. do. A coefficient K having a value closer to 1 is output as the filter application result is considered to have a higher degree of luminance edge and color edge, and is closer to 0 as a filter application result is considered to have a lower degree. This coefficient K is the composite ratio. In addition, either one of the luminance signal and the color difference signal may be used for edge detection, or both may be used. The method for determining the filter coefficient and the synthesis ratio described above is an example, and is not limited thereto. Any method may be used as long as the composition ratio can be increased when the degree of the brightness edge and the color edge is considered to be high and the composition ratio can be decreased when the degree of the brightness edge and the color edge is considered to be low. Further, the composite ratio may be determined and applied by different methods for each of the color signal after the color noise reduction and the color signal after the luminance noise reduction, or the same composite ratio may be used for both.

本実施例によれば、周波数帯域に応じたノイズ成分を適切に除去することができる。また、同じフィルタタップ数のノイズ低減処理であっても、より低周波のノイズに対してノイズ抑圧効果を得ることが可能となる。 According to this embodiment, the noise component corresponding to the frequency band can be appropriately removed. Further, even if the noise reduction processing has the same number of filter taps, it is possible to obtain a noise suppression effect for lower frequency noise.

[実施例4]
実施例1〜3では、着目する各画素に対して注目画素と異なる色の領域が混ざらないような適切な領域を設定し、当該設定した領域内の画素を利用して色差を補正する処理を行っている。これにより、エッジ付近でも色滲みを発生させずに色ノイズを低減するようにしていた。
[Example 4]
In the first to third embodiments, an appropriate region is set for each pixel of interest so that a region of a color different from that of the pixel of interest is not mixed, and a process of correcting the color difference by using the pixels in the set region is performed. Is going. As a result, color noise is reduced without causing color bleeding even in the vicinity of the edge.

しかしながら、高感度撮影時においてはノイズが非常に多いため、特に高コントラストエッジ部で、設定された領域内にノイズ低減に使用可能な画素が十分に存在しない場合がある。こうなると、色ノイズが十分に低減されずに残留してしまうことになる。そこで、高コントラストエッジ部については別のノイズ低減手法を適用して置き換えることで高コントラストエッジ部の残留ノイズを低減する様態について、実施例4として説明する。 However, since there is a large amount of noise during high-sensitivity shooting, there are cases where there are not enough pixels that can be used for noise reduction in the set region, especially in the high-contrast edge portion. In this case, the color noise is not sufficiently reduced and remains. Therefore, a mode of reducing the residual noise of the high-contrast edge portion by applying another noise reduction method to the high-contrast edge portion will be described as Example 4.

なお、画像処理装置のハードウェア構成など基本的な部分は実施例1と共通するので、以下では差異点である色ノイズ低減処理の内容を中心に説明するものとする。 Since the basic parts such as the hardware configuration of the image processing device are the same as those in the first embodiment, the contents of the color noise reduction processing, which is a difference, will be mainly described below.

(色ノイズ低減処理の詳細)
図15は、本実施例に係る、色ノイズ低減処理部202’の内部構成を示すブロック図である。図15に示す色ノイズ低減処理部202’は、実施例1の色ノイズ低減処理部202と比較すると、以下に示す特有の処理部を有している。具体的には、縮小処理部1501、色差判定部1502、拡大処理部1503、高コントラストエッジ判定部1504、第二補正パラメータ設定部1505、第二色差補正部1506、合成処理部1507を有している。領域設定部301、評価値導出部302及び色判定部303、補正パラメータ設定部304及び色差補正部305は、実施例1の図2(b)で示した各処理部と共通である。以下、本実施例に特有の処理部について説明する。
(Details of color noise reduction processing)
FIG. 15 is a block diagram showing an internal configuration of the color noise reduction processing unit 202'according to the present embodiment. The color noise reduction processing unit 202'shown in FIG. 15 has the following unique processing unit as compared with the color noise reduction processing unit 202 of the first embodiment. Specifically, it has a reduction processing unit 1501, a color difference determination unit 1502, an enlargement processing unit 1503, a high contrast edge determination unit 1504, a second correction parameter setting unit 1505, a second color difference correction unit 1506, and a composition processing unit 1507. There is. The area setting unit 301, the evaluation value derivation unit 302 and the color determination unit 303, the correction parameter setting unit 304 and the color difference correction unit 305 are common to each processing unit shown in FIG. 2B of the first embodiment. Hereinafter, the processing unit specific to this embodiment will be described.

<縮小処理部>
縮小処理部1501は、入力されたカラー画像データのRGB色信号を所定の縮小率(例えば1/2倍)の解像度に縮小し、公知の変換式によって、色差成分(Cr及びCb)を表す色差信号を生成する。或いは、信号変換処理部201で変換した色差信号CrCbを、直接所定の縮小率の解像度に縮小してもよい。この際の縮小処理には実施例3で示した手法を用いればよい。なお、縮小処理の目的は、ノイズを低減して判定精度を向上させることである。従って所定の縮小率はこの目的が達成可能なものであればよく、必ずしも1/2倍である必要はない。また、縮小処理の代わりにノイズ低減処理を適用してもよい。縮小処理の結果は、次の色差判定処理で用いるため、RAM102に記憶される。
<Reduction processing unit>
The reduction processing unit 1501 reduces the RGB color signal of the input color image data to a resolution of a predetermined reduction ratio (for example, 1/2 times), and a color difference representing a color difference component (Cr and Cb) by a known conversion formula. Generate a signal. Alternatively, the color difference signal CrCb converted by the signal conversion processing unit 201 may be directly reduced to a resolution having a predetermined reduction rate. The method shown in Example 3 may be used for the reduction process at this time. The purpose of the reduction process is to reduce noise and improve the determination accuracy. Therefore, the predetermined reduction ratio may be any one that can achieve this purpose, and does not necessarily have to be 1/2 times. Further, noise reduction processing may be applied instead of reduction processing. The result of the reduction process is stored in the RAM 102 for use in the next color difference determination process.

<色差判定部>
色差判定部1502は、注目画素の色差信号に一様な方向が存在するかどうかを画素毎に判定し、注目画素がエッジを構成する画素かどうかを判定する。具体的には、図16に示すような一次元的なセット領域の色差信号を用いて評価値を算出し、当該算出した評価値に基づいて、注目画素の色差信号に一様な方向が存在する場合に、注目画素をエッジと判定する。評価値の算出に用いるセット領域を構成するサブ領域について、その画素数や形は必ずしも図16の例に限られず、一次元的なセット領域であればよい。
<Color difference judgment unit>
The color difference determination unit 1502 determines for each pixel whether or not the color difference signal of the pixel of interest has a uniform direction, and determines whether or not the pixel of interest is a pixel constituting an edge. Specifically, an evaluation value is calculated using a one-dimensional set region color difference signal as shown in FIG. 16, and the color difference signal of the pixel of interest has a uniform direction based on the calculated evaluation value. When this is done, the pixel of interest is determined to be an edge. The number and shape of the sub-regions constituting the set region used for calculating the evaluation value are not necessarily limited to the example of FIG. 16, and may be a one-dimensional set region.

ここでの評価値は、実施例1の<評価値導出部>で説明した式(1)や式(2)における画素値xiに各サブ領域の色差信号Cr,Cbの値を適用することにより算出できる。例えば式(1)を用いた場合には、セット領域を構成するサブ領域のうち、以下の式(19)で表される総合値scoreが最小となるようなサブ領域(以下の式(20)を満足するようなサブ領域)を見つける。 As the evaluation value here, the values of the color difference signals Cr and Cb of each sub-region are applied to the pixel values x i in the equations (1) and (2) described in the <evaluation value derivation unit> of the first embodiment. Can be calculated by For example, when the equation (1) is used, among the sub-regions constituting the set region, the sub-region represented by the following equation (19) has the smallest total value score (the following equation (20)). Find a sub-area) that will satisfy you.

そして、総合値scoreが、以下の式(21)及び式(22)で示す条件を満足するとき、注目画素の色差信号には一様な方向が存在する、すなわち、エッジと判定されることになる。 Then, when the total value score satisfies the conditions shown by the following equations (21) and (22), the color difference signal of the pixel of interest has a uniform direction, that is, it is determined to be an edge. Become.

なお、評価値の算出に式(2)を用いた場合には、上述の式(19)、式(20)、式(21)、式(22)に代えて、それぞれ以下の式(23)、式(24)、式(25)、式(26)を用いて判定することになる。 When the formula (2) is used to calculate the evaluation value, the following formulas (23) are used instead of the above formulas (19), (20), (21), and (22), respectively. , Equation (24), Equation (25), and Equation (26) will be used for the determination.

ここで、上記式(22)及び式(26)において、uは注目画素のG成分の画素値、e及びe’は係数である。この場合の係数e及びe’は、入力される画像データのノイズ量に応じて変更するのが好ましい。例えば、ノイズ量が少ないときは小さい値が、ノイズ量が多いときは大きい値が設定されるように、予め撮像装置105の撮影感度等に応じた係数e及びe’を設定しておけばよい。 Here, in the above equations (22) and (26), u is the pixel value of the G component of the pixel of interest, and e and e'are coefficients. The coefficients e and e'in this case are preferably changed according to the amount of noise in the input image data. For example, the coefficients e and e'may be set in advance according to the shooting sensitivity of the image pickup apparatus 105 so that a small value is set when the amount of noise is small and a large value is set when the amount of noise is large. ..

こうして得られた画素毎の色差判定の結果は、例えばエッジと判定された画素には“1”非エッジと判定された画素には“0”といったフラグ値の形で、RAM102に記憶される。 The result of the color difference determination for each pixel thus obtained is stored in the RAM 102 in the form of a flag value such as "1" for the pixel determined to be an edge and "0" for the pixel determined to be non-edge.

<拡大処理部>
拡大処理部1503は、色差判定部1502で得られた色差判定の結果を、入力画像データの解像度と同じ解像度になるように拡大(1/2倍に縮小されていた場合は2倍に)する。拡大は、例えばバイリニア法、ニアレストネイバー法、バイキュービック法、Lanczos法などを用いればよい。そして、元の解像度まで拡大した色差判定の結果は、色差判定マップ(エッジ判定マップ)として、RAM102に記憶される。当然のことながら、縮小処理部1501で解像度を縮小しなかった場合には拡大する必要がない。
<Enlargement processing unit>
The enlargement processing unit 1503 enlarges the result of the color difference determination obtained by the color difference determination unit 1502 so as to have the same resolution as the resolution of the input image data (double if it is reduced to 1/2 times). .. For the enlargement, for example, the bilinear method, the nearest neighbor method, the bicubic method, the Lanczos method, or the like may be used. Then, the result of the color difference determination expanded to the original resolution is stored in the RAM 102 as a color difference determination map (edge determination map). As a matter of course, if the reduction processing unit 1501 does not reduce the resolution, there is no need to increase the resolution.

<高コントラストエッジ判定部>
高コントラストエッジ判定部1504は、拡大処理部1503で得られた色差判定マップと、色判定部303で得られた色判定の結果とに基づいて、注目画素が高コントラストエッジか否かを判定する処理(高コントラストエッジ判定処理)を行なう。具体的には、色判定部303における色判定の結果によって注目画素周辺が高コントラスト領域となり、かつ、色差判定マップによって注目画素がエッジとなれば、当該注目画素は高コントラストエッジであると判定される。
<High contrast edge judgment unit>
The high contrast edge determination unit 1504 determines whether or not the pixel of interest is a high contrast edge based on the color difference determination map obtained by the enlargement processing unit 1503 and the color determination result obtained by the color determination unit 303. Perform processing (high contrast edge determination processing). Specifically, if the periphery of the pixel of interest becomes a high-contrast region according to the result of the color determination by the color determination unit 303 and the pixel of interest becomes an edge according to the color difference determination map, the pixel of interest is determined to be a high-contrast edge. NS.

色差判定とその結果である色差判定マップ(エッジ判定マップ)については上述のとおりであるので、ここでは注目画素周辺が高コントラスト領域かどうかの判定について説明する。色判定部303の色判定では、実施例1で説明した通り、領域設定部301で設定された領域(第1次領域又は第2次領域)が、注目画素の色差信号と同じ値の色差信号の画素からなる領域であるかどうかが評価値に基づいて判定される。実施例1の色ノイズ低減処理フロー(図11を参照)においては、まず第1次領域について導出された評価値に基づいて色判定を行う(S1104)。そして、その結果、第1次領域内に注目画素の色差信号と異なる値の色差信号を持つ画素があると判定されると、次に第2次領域を設定して色判定を行う(S1105〜S1107)。第2次領域に基づいた色判定の結果、いずれのサブ領域についても、注目画素の色差信号の値と同じ値の色差信号を持つ画素で構成されるサブ領域ではない場合は(S1107でNo)、第2次領域を再設定して色判定を行う(S1108でYes)。第2次領域の再設定は、セット領域を構成するサブ領域の大きさが、前回設定時のサブ領域よりも小さくなるように設定される。そして、サブ領域が一次元的な領域となる(それ以上のサブ領域のセットの設定はできない形になる)か、その他の条件を満たすまで再設定は繰り返される。そして、本実施例においてはこうして得られた色判定の結果が、第1次領域の段階において前述の式(3)で示す条件を満足しないというものであったかどうかをチェックする。これは、第1次領域の段階で前述の式(3)の条件を満たしていないとの色判定結果であったとき、当該領域が高コントラストであることを意味するからである。なお、第1次領域の段階で前述の式(3)の条件を満たしておらず、かつ、第2次領域の段階であって特定の大きさのサブ領域の段階で前述の式(3)の条件を満たしているとの色判定結果でああったかどうかをチェックしてもよい。 Since the color difference determination and the color difference determination map (edge determination map) which is the result are as described above, the determination of whether or not the periphery of the pixel of interest is a high contrast region will be described here. In the color determination of the color determination unit 303, as described in the first embodiment, the area (primary area or secondary area) set by the area setting unit 301 is a color difference signal having the same value as the color difference signal of the pixel of interest. It is determined based on the evaluation value whether or not the region consists of the pixels of. In the color noise reduction processing flow of the first embodiment (see FIG. 11), first, the color determination is performed based on the evaluation value derived for the primary region (S1104). Then, as a result, if it is determined that there is a pixel having a color difference signal having a value different from the color difference signal of the pixel of interest in the primary region, then the secondary region is set and color determination is performed (S1105-). S1107). As a result of the color determination based on the secondary region, if none of the sub-regions is a sub-region composed of pixels having a color difference signal having the same value as the color difference signal value of the pixel of interest (No in S1107). , The secondary region is reset and the color determination is performed (Yes in S1108). The reset of the secondary area is set so that the size of the sub-area constituting the set area is smaller than that of the sub-area at the time of the previous setting. Then, the resetting is repeated until the sub-region becomes a one-dimensional region (a set of further sub-regions cannot be set) or other conditions are satisfied. Then, in this embodiment, it is checked whether or not the result of the color determination thus obtained does not satisfy the condition represented by the above-mentioned equation (3) at the stage of the first region. This is because when the color determination result does not satisfy the condition of the above formula (3) at the stage of the first region, it means that the region has high contrast. It should be noted that the above-mentioned equation (3) is not satisfied at the stage of the primary region, and the above-mentioned equation (3) is performed at the stage of the secondary region and the sub-region of a specific size. It may be checked whether or not the color determination result satisfies the condition of.

このように、高コントラストエッジ判定処理では、各画素について、色判定の結果によって注目画素周辺が高コントラスト領域と判定され、かつ、色差判定マップによって注目画素がエッジと判定されている場合にのみ、高コントラストエッジであると判定される。そして、画素毎になされた高コントラストエッジ判定処理の結果は、例えば高コントラストエッジと判定された画素には“1”、それ以外の画素には“0”といった値を設定した高コントラストエッジ判定マップによって、RAM102に記憶される。 As described above, in the high-contrast edge determination process, for each pixel, only when the periphery of the pixel of interest is determined to be a high-contrast region based on the result of color determination and the pixel of interest is determined to be an edge by the color difference determination map. It is determined to be a high contrast edge. The result of the high-contrast edge determination process performed for each pixel is, for example, a high-contrast edge determination map in which a value such as "1" is set for the pixel determined to be the high-contrast edge and "0" is set for the other pixels. Is stored in the RAM 102.

<第二補正パラメータ設定部>
第二補正パラメータ設定部1505は、補正パラメータ設定部304で設定された補正パラメータ(以下、「第一補正パラメータ」と呼ぶ。)に対して、より色ノイズ低減効果が強まるようなパラメータ(以下、「第二補正パラメータ」と呼ぶ。)を設定する。色ノイズの低減効果を強めるには、例えば参照領域を第一補正パラメータの参照領域より大きくなるように設定すればよい。ここで、ハードウェアでの実施を想定した場合は、フィルタタップ数を可能な限り少なくしたい。この場合は、参照領域の大きさは変えずに、解像度を縮小した画像データを生成してもよい。縮小画像を用いることにより、同じフィルタタップ数のノイズ低減処理で、より低周波ノイズに対してノイズ抑圧効果を得ることが可能となる。
<Second correction parameter setting unit>
The second correction parameter setting unit 1505 is a parameter (hereinafter, referred to as “first correction parameter”) that has a stronger color noise reduction effect than the correction parameter (hereinafter referred to as “first correction parameter”) set by the correction parameter setting unit 304. It is called "second correction parameter"). In order to enhance the effect of reducing color noise, for example, the reference area may be set to be larger than the reference area of the first correction parameter. Here, assuming implementation in hardware, we want to reduce the number of filter taps as much as possible. In this case, the image data with reduced resolution may be generated without changing the size of the reference area. By using the reduced image, it is possible to obtain a noise suppression effect for lower frequency noise by the noise reduction processing with the same number of filter taps.

<第二色差補正部>
第二色差補正部1506は、第二補正パラメータ設定部1505で設定した第二補正パラメータに基づいて色差補正処理を行う。ここでの色差補正処理については、実施例1で説明した通りである(色差補正部305における色補正処理の内容を参照)。
<Second color difference correction unit>
The second color difference correction unit 1506 performs the color difference correction process based on the second correction parameter set by the second correction parameter setting unit 1505. The color difference correction process here is as described in the first embodiment (see the content of the color difference correction process in the color difference correction unit 305).

<合成処理部>
合成処理部1507は、高コントラストエッジ判定マップに基づいて、色差補正部305で得られた色差信号と、第二色差補正部1506で得られた色差信号とを合成する処理(補正結果合成処理)を行なう。合成後の色差信号値I3は、色差補正部305で得られた色差信号値をI1、第二色差補正部1506で得られた色差信号値をI2、高コントラストエッジ判定の結果(上述の高コントラストエッジ判定マップの値)をuとしたとき、以下の式(27)で表される。
<Synthesis processing unit>
The compositing processing unit 1507 synthesizes the color difference signal obtained by the color difference correction unit 305 and the color difference signal obtained by the second color difference correction unit 1506 based on the high contrast edge determination map (correction result compositing process). To do. The composite color difference signal value I 3 is the color difference signal value obtained by the color difference correction unit 305 I 1 , the color difference signal value obtained by the second color difference correction unit 1506 I 2 , and the result of high contrast edge determination (described above). When u is the value of the high-contrast edge determination map), it is expressed by the following equation (27).

上記式(27)は、高コントラストエッジと判定された画素については第二色差補正部1506の色差信号値を合成後の色差信号値として出力し、それ以外の画素については色差補正部305の色差信号値を合成後の色差信号値として出力することを表している。つまり、高コントラストエッジ部については、よりノイズ低減効果の高い色差補正処理を行なった結果に置き換えられることになる。このようにして色ノイズが低減されたカラー画像データは信号統合処理部204に送られ、別途輝度ノイズの低減処理がなされたカラー画像データと統合される。 In the above formula (27), the color difference signal value of the second color difference correction unit 1506 is output as the color difference signal value after synthesis for the pixel determined to be the high contrast edge, and the color difference of the color difference correction unit 305 for the other pixels. It indicates that the signal value is output as a color difference signal value after synthesis. That is, the high-contrast edge portion is replaced with the result of performing the color difference correction processing having a higher noise reduction effect. The color image data in which the color noise is reduced in this manner is sent to the signal integration processing unit 204, and is integrated with the color image data separately subjected to the brightness noise reduction processing.

本実施例によれば、高コントラストエッジ部の残留ノイズを低減することができる。 According to this embodiment, the residual noise in the high contrast edge portion can be reduced.

<その他の実施形態>
実施例1〜4では、画像処理アプリケーションで処理を行う例を説明したが、これらは撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。その場合、図2に示す各構成は、回路として実現されることになる。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。
<Other Embodiments>
In Examples 1 to 4, examples of processing by the image processing application have been described, but these may be a method of processing the image data captured by the image pickup device on the image processing hardware in the image pickup device. No. In that case, each configuration shown in FIG. 2 will be realized as a circuit. Further, the image data may be transmitted from the client device to the image processing application on the server device, and the image data may be processed on the server device.

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

Claims (16)

入力画像データにおける注目画素について、当該注目画素を含む複数の画素からなる第1の領域が色の一様な領域か否かを判定する第1の判定手段と、
前記注目画素を含む複数の画素からなる前記第1の領域とは異なる第2の領域が、色の一様な領域か否かを判定する第2の判定手段と、
前記注目画素に対して、前記注目画素と該注目画素の近傍画素とからなる参照領域を設定する第1の設定手段と、
前記第2の判定手段において色の一様な領域と判定されたサブ領域を構成する画素数に基づいて、特定の補正処理の内容を設定する第2の設定手段と、
前記参照領域に含まれる画素の画素値に基づいて、前記注目画素の画素値を、前記特定の補正処理の内容に従って、ノイズが低減された値に補正する第1の補正手段と、
を有し、
前記第1の設定手段は、
前記第1の判定手段により前記第1の領域が色の一様な領域であると判定された場合、予め用意された所定の複数の画素からなる領域を、前記参照領域として設定し、
前記第1の判定手段により前記第1の領域が色の一様な領域ではないと判定された場合、前記第2の判定手段による判定結果に応じた複数の画素からなる領域を、前記参照領域として設定し、
前記第2の判定手段は、前記第2の領域に含まれる複数の画素の画素数を段階的に減らして、前記判定を行い、
前記第2の領域とは、複数のサブ領域で構成される領域であり、各サブ領域の形状には指向性があり、各サブ領域を全て組み合わせると等方性がある、
ことを特徴とする画像処理装置。
With respect to the pixel of interest in the input image data, a first determining means for determining whether or not the first region composed of a plurality of pixels including the pixel of interest is a region having uniform colors,
A second determination means for determining whether or not a second region different from the first region, which is composed of a plurality of pixels including the pixel of interest, is a region having uniform colors.
A first setting means for setting a reference region including a pixel of interest and a pixel in the vicinity of the pixel of interest with respect to the pixel of interest.
A second setting means for setting the content of a specific correction process based on the number of pixels constituting the sub-region determined to be a uniform color region in the second determination means.
A first correction means for correcting the pixel value of the pixel of interest to a value with reduced noise according to the content of the specific correction process , based on the pixel value of the pixel included in the reference region.
Have,
The first setting means is
When the first determination means determines that the first region is a region having a uniform color, a region composed of a plurality of predetermined pixels prepared in advance is set as the reference region.
When the first determination means determines that the first region is not a uniform color region, the reference region is a region composed of a plurality of pixels according to the determination result by the second determination means. Set as
The second determination means, by reducing the number of pixels a plurality of pixels included in the second area stepwise, have rows said determination,
The second region is a region composed of a plurality of sub-regions, and the shape of each sub-region has directivity, and when all the sub-regions are combined, there is isotropic.
An image processing device characterized by this.
前記第2の判定手段は、前記第1の判定手段により、前記第1の領域が色の一様な領域ではないと判定された場合にのみ、前記第2の領域に対する判定を行うことを特徴とする請求項1に記載の画像処理装置。 The second determination means is characterized in that the determination for the second region is performed only when the first determination means determines that the first region is not a uniform color region. The image processing apparatus according to claim 1. 前記第1の判定手段は、前記注目画素と前記第1の領域を構成する各画素との差分に基づいて算出される、前記色の一様さを表す評価値を用いて前記判定を行なうことを特徴とする請求項1又は2に記載の画像処理装置。 The first determination means performs the determination using an evaluation value representing the color uniformity, which is calculated based on the difference between the pixel of interest and each pixel constituting the first region. The image processing apparatus according to claim 1 or 2. 前記評価値は、下記の式を用いて求められ、
上記式において、Nは前記第1の領域を構成する画素数、xiは前記第1の領域を構成する各画素の画素値、uは前記注目画素の画素値、であることを特徴とする請求項に記載の画像処理装置。
The evaluation value is obtained by using the following formula.
In the above formula, N is the number of pixels constituting the first region, xi is the pixel value of each pixel constituting the first region, and u is the pixel value of the pixel of interest. Item 3. The image processing apparatus according to item 3.
前記第2の判定手段は、前記第2の領域としての前記複数のサブ領域で構成される領域における各サブ領域のサイズを段階的に小さくすることにより、前記判定を行なうことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 The second determination means makes the determination by gradually reducing the size of each sub-region in the region composed of the plurality of sub-regions as the second region. Item 2. The image processing apparatus according to any one of Items 1 to 4. 前記第2の判定手段は、各サブ領域が一次元的な領域となった場合又は各サブ領域を構成する画素数が所定数以下となった場合には、前記判定を行わないことを特徴とする請求項に記載の画像処理装置。 The second determination means is characterized in that the determination is not performed when each sub-region becomes a one-dimensional region or when the number of pixels constituting each sub-region becomes a predetermined number or less. The image processing apparatus according to claim 5. 前記第1の設定手段は、前記第2の判定手段によって前記第2の領域としての前記複数のサブ領域で構成される領域に含まれるいずれのサブ領域にも色の一様な領域がないと判定された場合、前記所定の領域を構成する画素数と同じか、それ以上の画素数の領域を前記参照領域として設定する請求項1乃至6のいずれか1項に記載の画像処理装置。 In the first setting means, there is no uniform color region in any of the sub-regions included in the region composed of the plurality of sub-regions as the second region by the second determination means. The image processing apparatus according to any one of claims 1 to 6 , wherein when the determination is made, an area having the same number of pixels as or more than the number of pixels constituting the predetermined area is set as the reference area. 前記入力画像データは複数の色成分に対応する画像データであり、当該複数の色成分に対応する画像データから色差信号を含む画像データに変換する変換手段をさらに有し、
前記第1の判定手段及び前記第2の判定手段は、前記変換手段で変換される前の画像データに基づきそれぞれ前記判定を行い、前記第1の設定手段及び前記第1の補正手段は、前記変換手段で変換された後の画像データに基づきそれぞれ前記設定及び前記補正を行なう、
ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
The input image data is image data corresponding to a plurality of color components, and further has a conversion means for converting the image data corresponding to the plurality of color components into image data including a color difference signal.
Said first judging means and the second judging means, respectively based on the image data before being converted by said converting means performs the determination, the first setting means and said first correction means, the The setting and the correction are performed based on the image data converted by the conversion means, respectively.
The image processing apparatus according to any one of claims 1 to 7.
前記第1の設定手段は、前記第2の判定手段において色の一様な領域と判定された全てのサブ領域を、前記第2の判定手段による判定結果に応じた複数の画素からなる領域として設定することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。 The first setting means sets all the sub-regions determined to be uniform color regions by the second determination means as regions composed of a plurality of pixels according to the determination result by the second determination means. The image processing apparatus according to any one of claims 1 to 8 , wherein the image processing apparatus is set. 入力画像データにおける注目画素について、当該注目画素を含む複数の画素からなる第1の領域が色の一様な領域か否かを判定する第1の判定手段と、
前記注目画素を含む複数の画素からなる前記第1の領域とは異なる第2の領域が、色の一様な領域か否かを判定する第2の判定手段と、
前記注目画素に対して、前記注目画素と該注目画素の近傍画素とからなる参照領域を設定する設定手段と、
前記参照領域に含まれる画素の画素値に基づいて、前記注目画素の画素値を、ノイズが低減された値に補正する第1の補正手段と、
前記注目画素を含む複数の画素からなる前記第1の領域とは異なる第3の領域が、コントラストが高コントラスト領域であって、かつ、前記注目画素がエッジを構成する画素である場合に、当該注目画素に対して、前記第1の補正手段における補正よりもノイズ低減効果の高い補正処理を行なう第2の補正手段と、
を有し、
前記設定手段は、
前記第1の判定手段により前記第1の領域が色の一様な領域であると判定された場合、予め用意された所定の複数の画素からなる領域を、前記参照領域として設定し、
前記第1の判定手段により前記第1の領域が色の一様な領域ではないと判定された場合、前記第2の判定手段による判定結果に応じた複数の画素からなる領域を、前記参照領域として設定し、
前記第2の判定手段は、前記第2の領域に含まれる複数の画素の画素数を段階的に減らして、前記判定を行う、
ことを特徴とする画像処理装置。
With respect to the pixel of interest in the input image data, a first determining means for determining whether or not the first region composed of a plurality of pixels including the pixel of interest is a region having uniform colors,
A second determination means for determining whether or not a second region different from the first region, which is composed of a plurality of pixels including the pixel of interest, is a region having uniform colors.
A setting means for setting a reference region including the pixel of interest and a pixel in the vicinity of the pixel of interest with respect to the pixel of interest.
A first correction means for correcting the pixel value of the pixel of interest to a value with reduced noise based on the pixel value of the pixel included in the reference region.
When the third region different from the first region composed of the plurality of pixels including the pixel of interest is a high-contrast region and the pixel of interest is a pixel forming an edge, the present invention is used. A second correction means that performs correction processing on the pixel of interest, which has a higher noise reduction effect than the correction in the first correction means.
Have,
The setting means is
When the first determination means determines that the first region is a region having a uniform color, a region composed of a plurality of predetermined pixels prepared in advance is set as the reference region.
When the first determination means determines that the first region is not a uniform color region, the reference region is a region composed of a plurality of pixels according to the determination result by the second determination means. Set as
The second determination means performs the determination by gradually reducing the number of pixels of the plurality of pixels included in the second region.
An image processing device characterized by this.
前記入力画像データにおける画素が、前記高コントラスト領域の画素であって、かつ、前記エッジを構成する画素である場合には、前記第2の補正手段における補正の結果を出力し、それ以外の画素である場合には、前記第1の補正手段における補正の結果を出力する、補正結果合成手段をさらに備えたことを特徴とする請求項10に記載の画像処理装置。 When the pixel in the input image data is a pixel in the high contrast region and is a pixel constituting the edge, the correction result in the second correction means is output, and the other pixels are output. The image processing apparatus according to claim 10 , further comprising a correction result synthesizing means for outputting the correction result in the first correction means. 前記第3の領域が前記高コントラスト領域であるかどうかを、前記注目画素と前記第3の領域を構成する各画素との色差信号の差分に基づいて算出される、前記色差信号の一様さを表す評価値を用いて判定する判定手段をさらに備えたことを特徴とする請求項11に記載の画像処理装置。 Whether or not the third region is the high contrast region is calculated based on the difference between the color difference signals of the pixel of interest and each pixel constituting the third region, and the uniformity of the color difference signal. The image processing apparatus according to claim 11 , further comprising a determination means for determining using an evaluation value representing. 前記評価値は、下記の式を用いて求められ、
上記式において、Nは前記第3の領域を構成する画素数、xiは前記第3の領域を構成する各画素の画素値、uは前記注目画素の画素値、であることを特徴とする請求項12に記載の画像処理装置。
The evaluation value is obtained by using the following formula.
In the above formula, N is the number of pixels constituting the third region, xi is the pixel value of each pixel constituting the third region, and u is the pixel value of the pixel of interest. Item 12. The image processing apparatus according to item 12.
前記第3の領域は、複数の一次元的なサブ領域で構成される領域であり、各一次元的なサブ領域の形状には指向性があり、各一次元的なサブ領域を全て組み合わせると等方性があることを特徴とする請求項10乃至13のいずれか1項に記載の画像処理装置。 The third region is a region composed of a plurality of one-dimensional sub-regions, and the shape of each one-dimensional sub-region has directivity. The image processing apparatus according to any one of claims 10 to 13, wherein the image processing apparatus is isotropic. 入力画像データにおける注目画素について、当該注目画素を含む複数の画素からなる第1の領域が色の一様な領域か否かを判定する第1の判定ステップと、
前記注目画素を含む複数の画素からなる前記第1の領域とは異なる第2の領域が、色の一様な領域か否かを判定する第2の判定ステップと、
前記注目画素に対して、前記注目画素と該注目画素の近傍画素とからなる参照領域を設定する第1の設定ステップと、
前記第2の判定ステップにおいて色の一様な領域と判定されたサブ領域を構成する画素数に基づいて、特定の補正処理の内容を設定する第2の設定ステップと、
前記参照領域に含まれる画素の画素値に基づいて、前記注目画素の画素値を、前記特定の補正処理の内容に従って、ノイズが低減された値に補正する補正ステップと、
を含み、
前記第1の設定ステップでは、
前記第1の判定ステップにおいて前記第1の領域が色の一様な領域であると判定された場合、予め用意された所定の複数の画素からなる領域を、前記参照領域として設定し、
前記第1の判定ステップにおいて前記第1の領域が色の一様な領域ではないと判定された場合、前記第2の判定ステップにおける判定結果に応じた複数の画素からなる領域を、前記参照領域として設定し、
前記第2の判定ステップでは、前記第2の領域に含まれる複数の画素の画素数を段階的に減らして、前記判定を行い、
前記第2の領域とは、複数のサブ領域で構成される領域であり、各サブ領域の形状には指向性があり、各サブ領域を全て組み合わせると等方性がある、
ことを特徴とする画像処理方法。
With respect to the pixel of interest in the input image data, the first determination step of determining whether or not the first region composed of a plurality of pixels including the pixel of interest is a region having uniform colors, and
A second determination step for determining whether or not a second region different from the first region, which is composed of a plurality of pixels including the pixel of interest, is a region having uniform colors.
A first setting step of setting a reference region including the pixel of interest and a pixel in the vicinity of the pixel of interest with respect to the pixel of interest.
A second setting step of setting the content of a specific correction process based on the number of pixels constituting the sub-region determined to be a uniform color region in the second determination step,
A correction step of correcting the pixel value of the pixel of interest to a value with reduced noise according to the content of the specific correction process , based on the pixel value of the pixel included in the reference region.
Including
In the first setting step,
When it is determined in the first determination step that the first region is a region having a uniform color, a region composed of a plurality of predetermined pixels prepared in advance is set as the reference region.
When it is determined in the first determination step that the first region is not a uniform color region, a region composed of a plurality of pixels according to the determination result in the second determination step is referred to as the reference region. Set as
Wherein in the second determination step, by reducing the number of pixels a plurality of pixels included in the second area stepwise, have rows said determination,
The second region is a region composed of a plurality of sub-regions, and the shape of each sub-region has directivity, and when all the sub-regions are combined, there is isotropic.
An image processing method characterized by that.
コンピュータを、請求項1乃至14のいずれか1項に記載の画像処理装置として機能させるためのプログラム。 A program for causing a computer to function as the image processing device according to any one of claims 1 to 14.
JP2020038033A 2015-03-03 2020-03-05 Image processing equipment, image processing methods and programs Active JP6957665B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015041432 2015-03-03
JP2015041432 2015-03-03
JP2015240404A JP6671943B2 (en) 2015-03-03 2015-12-09 Image processing apparatus, image processing method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015240404A Division JP6671943B2 (en) 2015-03-03 2015-12-09 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2020091910A JP2020091910A (en) 2020-06-11
JP6957665B2 true JP6957665B2 (en) 2021-11-02

Family

ID=56897752

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015240404A Active JP6671943B2 (en) 2015-03-03 2015-12-09 Image processing apparatus, image processing method, and program
JP2020038033A Active JP6957665B2 (en) 2015-03-03 2020-03-05 Image processing equipment, image processing methods and programs

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015240404A Active JP6671943B2 (en) 2015-03-03 2015-12-09 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (2) JP6671943B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7032913B2 (en) * 2017-11-27 2022-03-09 キヤノン株式会社 Image processing device, image processing method, computer program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6621937B1 (en) * 1999-10-08 2003-09-16 Eastman Kodak Company Removing chroma noise from digital images by using variable shape pixel neighborhood regions
JP3741982B2 (en) * 2001-09-10 2006-02-01 シャープ株式会社 Noise reduction circuit
JP4599279B2 (en) * 2005-11-24 2010-12-15 富士フイルム株式会社 Noise reduction device and noise reduction method
JP5212046B2 (en) * 2008-11-25 2013-06-19 株式会社ニコン Digital camera, image processing apparatus, and image processing program
JP6253331B2 (en) * 2012-10-25 2017-12-27 キヤノン株式会社 Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP2020091910A (en) 2020-06-11
JP6671943B2 (en) 2020-03-25
JP2016167253A (en) 2016-09-15

Similar Documents

Publication Publication Date Title
US10515437B2 (en) Image processing apparatus and image processing method that perform noise reduction processing on image data
US9911060B2 (en) Image processing apparatus, image processing method, and storage medium for reducing color noise in an image
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
JP2010034964A (en) Image composition apparatus, image composition method and image composition program
JP6071419B2 (en) Image processing apparatus and image processing method
JP2013218487A (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP5771677B2 (en) Image processing apparatus, imaging apparatus, program, and image processing method
JP5541205B2 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP2011095861A (en) Image processing apparatus, control method and program
JP2012208553A (en) Image processing device, image processing method, and program
JP6957665B2 (en) Image processing equipment, image processing methods and programs
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
TWI399079B (en) Noise Suppression Method for Digital Image
WO2012008116A1 (en) Image processing apparatus, image processing method, and program
JP6624061B2 (en) Image processing method, image processing device, and recording medium for storing image processing program
JP2017033182A (en) Image processing apparatus, imaging apparatus, and image processing program
JP6525700B2 (en) Image processing apparatus, image processing method and program
US8837866B2 (en) Image processing apparatus and method for controlling image processing apparatus
KR20160069452A (en) Image processing device, image processing method and program
JP6938282B2 (en) Image processing equipment, image processing methods and programs
JP2018151681A (en) Image processing apparatus, image processing method and program
JP6808551B2 (en) Image processing device, image processing method, and program
JP6891014B2 (en) Image processing device, image processing method, and program
JP6843510B2 (en) Image processing equipment, image processing methods and programs
JP5832095B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200403

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211006

R151 Written notification of patent or utility model registration

Ref document number: 6957665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151