JP5641237B2

JP5641237B2 - Noise addition circuit, noise addition method

Info

Publication number: JP5641237B2
Application number: JP2011075513A
Authority: JP
Inventors: 武志石
Original assignee: Fujitsu Semiconductor Ltd
Current assignee: Fujitsu Semiconductor Ltd
Priority date: 2010-06-17
Filing date: 2011-03-30
Publication date: 2014-12-17
Anticipated expiration: 2031-03-30
Also published as: JP2012023708A

Description

ノイズ付加回路、ノイズ付加方法に関する。 The present invention relates to a noise addition circuit and a noise addition method.

一般に、伝送路等により伝送される信号に混入するノイズは、ノイズフィルタ等により除去される。しかし、画像の場合、画像データの質感を高めるために、ノイズが付加される場合がある。 In general, noise mixed in a signal transmitted through a transmission path or the like is removed by a noise filter or the like. However, in the case of an image, noise may be added to improve the texture of the image data.

一般に、伝送路等により伝送される信号に混入するノイズは、ノイズフィルタ等により除去される。しかし、画像の場合、例えば階調数を少なくする等の処理後の画像データにおける不具合（例えば疑似輪郭）を解消して質感の低下を抑えるために、ノイズが付加される場合がある（例えば、特許文献１〜４参照）。 In general, noise mixed in a signal transmitted through a transmission path or the like is removed by a noise filter or the like. However, in the case of an image, for example, noise may be added in order to eliminate a defect (for example, pseudo contour) in the processed image data such as reducing the number of gradations and suppress deterioration in texture (for example, (See Patent Documents 1 to 4).

特開平９−２００５２３号公報Japanese Patent Laid-Open No. 9-200523 特開２００４−３０４６５８号公報JP 2004-304658 A 特開平７−５７０７７号公報Japanese Unexamined Patent Publication No. 7-57077 特開２００７−２８３４８号公報JP 2007-28348 A

ところで、画像への適切なノイズ付加は、人間にとっては質感の向上として認識される。このため、画像に応じた適切なノイズの付加が要求されている。 Incidentally, appropriate addition of noise to an image is perceived as an improvement in texture for humans. For this reason, it is required to add appropriate noise according to the image.

本発明の一観点によれば、着目画素を含む領域におけるエッジの有無を判定してエッジ判定値を出力するエッジ判定部と、前記着目画素を含む領域の平坦度を判定して平坦度判定値を出力する平坦度判定部と、前記エッジ判定値と前記平坦度判定値とを演算して係数を生成する係数生成部と、前記着目画素を含む領域の画素値と乱数に基づいて、前記着目画素にノイズを付加したノイズ付加画素を生成するノイズ付加処理部と、前記係数に基づいて、前記着目画素と前記ノイズ付加画素とを合成して合成画素を生成する画素合成部を含む。 According to an aspect of the present invention, an edge determination unit that determines the presence / absence of an edge in an area including a target pixel and outputs an edge determination value, and determines a flatness determination value by determining flatness of the area including the target pixel Based on a pixel value and a random number of a region including the target pixel, a coefficient generation unit that calculates the edge determination value and the flatness determination value, and generates a coefficient. A noise addition processing unit that generates a noise addition pixel in which noise is added to the pixel; and a pixel synthesis unit that generates a synthesis pixel by synthesizing the pixel of interest and the noise addition pixel based on the coefficient.

本発明の一観点によれば、画像に応じた適切なノイズを付加することが可能となる。 According to one aspect of the present invention, it is possible to add appropriate noise according to an image.

第一実施形態の画像処理装置のブロック図である。1 is a block diagram of an image processing apparatus according to a first embodiment. ノイズ付加処理部のブロック図である。It is a block diagram of a noise addition process part. 別のノイズ付加処理部のブロック図である。It is a block diagram of another noise addition process part. 第二実施形態の画像処理装置のブロック図である。It is a block diagram of the image processing apparatus of 2nd embodiment. 別の画像処理装置のブロック図である。It is a block diagram of another image processing apparatus.

（第一実施形態）
以下、第一実施形態を図１及び図２に従って説明する。
図１に示すように、画像処理装置は例えばデジタルカメラ（ＤＳＣ：Digital Still Camera）等の撮像装置に搭載され、図示しない撮像素子（例えばＣＣＤ（Charge Coupled Device）イメージセンサ）から出力される画像データＧＤを処理する。 (First embodiment)
Hereinafter, the first embodiment will be described with reference to FIGS. 1 and 2.
As shown in FIG. 1, the image processing apparatus is mounted on an imaging apparatus such as a digital camera (DSC: Digital Still Camera), for example, and image data output from an imaging element (for example, a CCD (Charge Coupled Device) image sensor) not shown. Process the GD.

画像処理装置は、ノイズ付加回路１０を含む。ノイズ付加回路１０は、画像データＧＤに対して、ノイズを付加する。この画像データＧＤは、例えばＲＡＷデータである。なお、撮像装置に依存する処理（例えば、ホワイトバランス等）後のデータでもよい。ノイズを付加する処理は、画像の質感や粒状感を向上するために行われる。また、この画像データＧＤは、ＹＣｂＣｒ形式の信号のＹ（輝度）データとＣｂ，Ｃｒ（色差）データである。なお、ＹＣｏＣｇ形式（Ｙ：輝度、Ｃｏ，Ｃｇ：色差）、ＹＵＶ形式、ＲＧＢ形式などのデータでもよい。 The image processing apparatus includes a noise adding circuit 10. The noise adding circuit 10 adds noise to the image data GD. This image data GD is, for example, RAW data. Note that data after processing (for example, white balance) depending on the imaging apparatus may be used. The process of adding noise is performed to improve the texture and graininess of the image. The image data GD is Y (luminance) data and Cb, Cr (color difference) data of a YCbCr format signal. The data may be in YCoCg format (Y: luminance, Co, Cg: color difference), YUV format, RGB format, or the like.

画像データＧＤは、ノイズ付加回路１０のラインメモリ１１に供給される。ラインメモリ１１は、複数ライン（例えば、３ライン）の画素データを記憶する容量に設定されている。ラインメモリ１１のライン数は、ノイズ付加に関する処理において必要とする画素数に応じて設定されている。ノイズ付加回路１０は、１つの画素を着目画素とし、その着目画素と周辺の複数の画素の画素データに基づいて、着目画素に対してノイズを付加するか否かを判定する。また、ノイズ付加回路１０は、着目画素と周辺の複数の画素の画素データに基づいて、着目画素に対して付加するノイズの量（値）を算出する。 The image data GD is supplied to the line memory 11 of the noise adding circuit 10. The line memory 11 is set to a capacity for storing pixel data of a plurality of lines (for example, 3 lines). The number of lines in the line memory 11 is set according to the number of pixels required in the processing related to noise addition. The noise addition circuit 10 uses one pixel as a target pixel, and determines whether or not noise is added to the target pixel based on pixel data of the target pixel and a plurality of surrounding pixels. The noise adding circuit 10 calculates the amount (value) of noise added to the target pixel based on the pixel data of the target pixel and a plurality of surrounding pixels.

ラインメモリ１１は、画像データＧＤの画素データを順次記憶する。そして、ラインメモリ１１は、ブロック単位（例えば、３×３画素）の画素データＢＤ（以下、単にブロックＢＤという場合がある）を出力する。ブロックのサイズは、ラインメモリ１１が記憶するライン数に応じて設定されている。例えば、ラインメモリ１１は、３×３画素のブロックで、画素データＢＤを出力する。ブロック単位の画素データＢＤは、エッジ判定部１２、平坦度判定部１３、ノイズ付加処理部１４に供給される。上記したように、ブロックＢＤは、着目画素Ｐ０の画素データと、着目画素Ｐ０の周辺の画素の画素データを含む。この着目画素Ｐ０の画素データは、ピクセル合成部１７に供給される。 The line memory 11 sequentially stores pixel data of the image data GD. The line memory 11 outputs pixel data BD (hereinafter simply referred to as a block BD) in units of blocks (for example, 3 × 3 pixels). The block size is set according to the number of lines stored in the line memory 11. For example, the line memory 11 outputs pixel data BD in a 3 × 3 pixel block. The block-unit pixel data BD is supplied to the edge determination unit 12, the flatness determination unit 13, and the noise addition processing unit 14. As described above, the block BD includes pixel data of the pixel of interest P0 and pixel data of pixels around the pixel of interest P0. The pixel data of the target pixel P0 is supplied to the pixel synthesis unit 17.

なお、ラインメモリ１１は、画像データＧＤとして供給される各画素の画素データを順次記憶し、演算に必要なブロックの画素データを記憶すると、そのブロックＢＤを出力する。そして、ラインメモリ１１は、供給される画素データに応じてブロックの画像データを出力する。 The line memory 11 sequentially stores the pixel data of each pixel supplied as the image data GD, and outputs the block BD when storing the pixel data of the block necessary for the calculation. The line memory 11 outputs block image data in accordance with the supplied pixel data.

例えば、画像データＧＤのサイズをｍ×ｎ画素（ｍ，ｎは正数）とする。画像データＧＤに含まれる各画素の画像データを、例えば、画像の左上を原点とし、水平方向（横方向）をｘ、垂直方向（縦方向）をｙとし、画素Ｇ（ｘ，ｙ）で表す。従って、ｘは各ラインにおける画素の位置を示し、ｙはライン番号を示す。つまり、ｘとｙは、画素の位置を示す座標値である。 For example, the size of the image data GD is m × n pixels (m and n are positive numbers). The image data of each pixel included in the image data GD is represented by, for example, a pixel G (x, y) where the upper left corner of the image is the origin, the horizontal direction (horizontal direction) is x, and the vertical direction (vertical direction) is y. . Therefore, x indicates the pixel position in each line, and y indicates the line number. That is, x and y are coordinate values indicating pixel positions.

ラインメモリ１１には、先ず１ライン目の画像データ｛画素Ｇ（１，１），Ｇ（２，１），・・・，Ｇ（ｍ，１）｝が記憶される。次に、２ライン目の画像データ｛画素Ｇ（１，２），Ｇ（２，２），・・・，Ｇ（ｍ，２）｝が記憶される。そして、３ライン目の３つの画像データ｛画素Ｇ（１，３），Ｇ（２，３），Ｇ（３，３）｝が記憶されると、３×３画素のブロックが構成される。従って、ラインメモリ１１は、９個の画素｛Ｇ（１，１），Ｇ（２，１），Ｇ（３，１）Ｇ（１，２），Ｇ（２，２），Ｇ（３，２），Ｇ（１，３），Ｇ（２，３），Ｇ（３，３）｝の画素データを、ブロックＢＤとして出力する。この時、着目画素Ｐ０は、ブロックの中央にある画素、つまり画素Ｇ（２，２）である。 The line memory 11 first stores image data {pixels G (1,1), G (2,1),..., G (m, 1)} for the first line. Next, image data {pixels G (1,2), G (2,2),..., G (m, 2)} for the second line are stored. When the three image data {pixels G (1,3), G (2,3), G (3,3)} on the third line are stored, a 3 × 3 pixel block is formed. Therefore, the line memory 11 includes nine pixels {G (1,1), G (2,1), G (3,1) G (1,2), G (2,2), G (3, 2), G (1,3), G (2,3), G (3,3)} pixel data is output as a block BD. At this time, the target pixel P0 is a pixel at the center of the block, that is, the pixel G (2, 2).

次いで、４つ目の画素Ｇ（４，３）がラインメモリ１１に記憶されると、９個の画素｛Ｇ（２，１），Ｇ（３，１），Ｇ（４，１）Ｇ（２，２），Ｇ（３，２），Ｇ（４，２），Ｇ（２，３），Ｇ（３，３），Ｇ（４，３）｝により１つのブロックが構成される。従って、ラインメモリ１１は、このブロックＢＤを出力する。この時の着目画素Ｐ０は画素Ｇ（３，２）である。 Next, when the fourth pixel G (4,3) is stored in the line memory 11, nine pixels {G (2,1), G (3,1), G (4,1) G ( 2, 2), G (3, 2), G (4, 2), G (2, 3), G (3, 3), G (4, 3)} constitute one block. Therefore, the line memory 11 outputs this block BD. At this time, the target pixel P0 is the pixel G (3, 2).

以下の説明において、画素データに基づいて各処理が実行される。つまり扱うデータは画素データ等である。しかし、画素のデータであるため、必要に応じて、単に画素を処理する（画素を演算する）として説明する。 In the following description, each process is executed based on the pixel data. That is, the data to be handled is pixel data or the like. However, since it is pixel data, it is assumed that the pixel is simply processed (the pixel is calculated) as necessary.

エッジ判定部１２は、ブロックＢＤに基づいて、該ブロックＢＤにおけるエッジの有無を判定し、判定結果に応じたエッジ判定値ＲＥを出力する。例えば、エッジ判定部１２は、ブロックＢＤを構成し、所定の方向（縦、横、斜め）に隣接する複数（本実施形態では３つ）の画素データの差分値を算出し、差分値と判定しきい値ＥＤｔｈとを比較する。この差分値が判定しきい値ＥＤｔｈ以下の場合にエッジ有りと判定し、差分値が判定しきい値より大きい場合にエッジ無しと判定する。そして、エッジ判定部１２は、ブロックＢＤにエッジが存在しない場合に値が［１］のエッジ判定値ＲＥを出力し、エッジが存在する場合に［０］のエッジ判定値ＲＥを出力する。 The edge determination unit 12 determines the presence / absence of an edge in the block BD based on the block BD, and outputs an edge determination value RE corresponding to the determination result. For example, the edge determination unit 12 configures a block BD, calculates a difference value between a plurality of (three in the present embodiment) pixel data adjacent in a predetermined direction (vertical, horizontal, and diagonal), and determines the difference value. The threshold value EDth is compared. When the difference value is equal to or smaller than the determination threshold value EDth, it is determined that there is an edge, and when the difference value is larger than the determination threshold value, it is determined that there is no edge. Then, the edge determination unit 12 outputs an edge determination value RE having a value of [1] when no edge exists in the block BD, and outputs an edge determination value RE of [0] when an edge exists.

平坦度判定部１３は、ブロックＢＤにおける平坦度（凹凸度）を判定し、その判定結果に応じた平坦度判定値ＲＦを出力する。平坦度判定値ＲＦは、０以上１以下の値をとる。例えば、平坦度判定部１３は、平均偏差を算出する演算器を含む。平坦度判定部１３には、外部レジスタ等から設定値ＳＦＬが供給される。設定値ＳＦＬは、ゲイン及びオフセットのうちの少なくとも１つを含む。平坦度判定部１３は、演算器による演算結果（平均偏差値）に、設定値ＳＦＬを演算（乗算）して算出した値を平坦度判定値ＲＦとして出力する。なお、また、平均偏差以外の方法によりブロックの平坦度を判定するようにしてもよい。 The flatness determination unit 13 determines the flatness (unevenness) in the block BD, and outputs a flatness determination value RF corresponding to the determination result. The flatness determination value RF takes a value from 0 to 1. For example, the flatness determination unit 13 includes a calculator that calculates an average deviation. The flatness determination unit 13 is supplied with a set value SFL from an external register or the like. The set value SFL includes at least one of a gain and an offset. The flatness determination unit 13 outputs a value calculated by calculating (multiplying) the set value SFL to the calculation result (average deviation value) by the calculator as the flatness determination value RF. In addition, the flatness of the block may be determined by a method other than the average deviation.

演算器１５は、エッジ判定部１２から出力されるエッジ判定値ＲＥに、平坦度判定部１３から出力される平坦度判定値ＲＦを乗算し、その乗算結果α０を出力する。
選択部１６には、演算器１５から算出値（係数）α０が供給され、外部レジスタ等から設定値（係数）α１及び選択信号ＳＥが供給される。選択部１６は、選択信号ＳＥに応答して、算出値α０又は設定値α１を係数αとして出力する。演算器１５と選択部１６は、係数αを生成する係数生成部に含まれる。 The computing unit 15 multiplies the edge determination value RE output from the edge determination unit 12 by the flatness determination value RF output from the flatness determination unit 13, and outputs the multiplication result α0.
The selection unit 16 is supplied with a calculated value (coefficient) α0 from the computing unit 15, and is supplied with a set value (coefficient) α1 and a selection signal SE from an external register or the like. In response to the selection signal SE, the selection unit 16 outputs the calculated value α0 or the set value α1 as the coefficient α. The calculator 15 and the selection unit 16 are included in a coefficient generation unit that generates the coefficient α.

ノイズ付加処理部１４には、設定値Ｓａが例えば外部レジスタから供給される。設定値Ｓａは、後述する各種の設定値を含む。ノイズ付加処理部１４は、設定値Ｓａに基づいて、ブロックＢＤに含まれる着目画素Ｐ０にノイズを付加してノイズ付加画素Ｐ１を生成する。 The set value Sa is supplied to the noise addition processing unit 14 from, for example, an external register. The setting value Sa includes various setting values to be described later. Based on the set value Sa, the noise addition processing unit 14 adds noise to the pixel of interest P0 included in the block BD to generate the noise addition pixel P1.

図１に示すように、ピクセル合成部１７には、着目画素Ｐ０、ノイズ付加画素Ｐ１、及び係数αが供給される。ピクセル合成部１７は、係数αに基づいて、着目画素Ｐ０とノイズ付加画素Ｐ１とを合成して合成画素Ｐ２を生成する。例えば、ピクセル合成部１７は、着目画素Ｐ０とノイズ付加画素Ｐ１とを、係数αに基づいて、アルファブレンドして合成画素Ｐ２を生成する。具体的には、ピクセル合成部１７は、着目画素Ｐ０、ノイズ付加画素Ｐ１、及び係数αに基づいて、以下の演算式、
Ｐ２＝Ｐ０×（１−α）＋Ｐ１×α
により合成画素Ｐ２を算出する。 As shown in FIG. 1, the pixel synthesis unit 17 is supplied with the pixel of interest P0, the noise added pixel P1, and the coefficient α. The pixel synthesizing unit 17 synthesizes the target pixel P0 and the noise-added pixel P1 based on the coefficient α to generate a synthesized pixel P2. For example, the pixel synthesizing unit 17 alpha-blends the target pixel P0 and the noise-added pixel P1 based on the coefficient α to generate a synthesized pixel P2. Specifically, the pixel synthesis unit 17 calculates the following arithmetic expression based on the pixel of interest P0, the noise addition pixel P1, and the coefficient α:
P2 = P0 × (1−α) + P1 × α
Thus, the composite pixel P2 is calculated.

係数αは、０以上１以下の値である。着目画素Ｐ０に乗算する値を第２の係数β（＝１−α）とする。この第２の係数βは、第１の係数αの増加に従って減少する値となる。詳しくは、第２の係数βと第１の係数αとを互いに加算した結果が定数［１］となる値である。つまり、第２の係数βは、第１の係数αに対して反比例する。従って、上記式の第１項［Ｐ０×（１−α）］は、第２の係数βに対して比例、即ち第１の係数αに対して反比例する。そして、上記式の第２項［Ｐ１×α］は、第１の係数αに対して比例する。 The coefficient α is a value between 0 and 1. A value multiplied by the pixel of interest P0 is set as a second coefficient β (= 1−α). The second coefficient β is a value that decreases as the first coefficient α increases. Specifically, the value obtained by adding the second coefficient β and the first coefficient α to each other is a constant [1]. That is, the second coefficient β is inversely proportional to the first coefficient α. Accordingly, the first term [P0 × (1−α)] of the above equation is proportional to the second coefficient β, that is, inversely proportional to the first coefficient α. The second term [P1 × α] of the above equation is proportional to the first coefficient α.

上記したように、平坦度判定部１３は、供給される９個の画素に基づいて平坦度判定値ＲＦを算出する。従って、算出値α０は、ブロック毎に生成される。従って、算出値α０を選択した場合、画像データＧＤの画素値に応じて係数αが出力される。これにより、画像データＧＤに状態（画素値）に応じた比率で着目画素Ｐ０とノイズ付加画素Ｐ１が合成（ブレンド）された合成画素Ｐ２が生成される。 As described above, the flatness determination unit 13 calculates the flatness determination value RF based on the supplied nine pixels. Therefore, the calculated value α0 is generated for each block. Therefore, when the calculated value α0 is selected, the coefficient α is output according to the pixel value of the image data GD. As a result, a combined pixel P2 is generated by combining (blending) the target pixel P0 and the noise-added pixel P1 with the ratio according to the state (pixel value) in the image data GD.

また、選択部１６において、算出値α０が選択されたときの係数αは、平坦度判定部１３により判定されたブロックＢＤの平坦度（凹凸度）を示す。従って、合成画素Ｐ２は、着目画素Ｐ０に対して、ノイズ付加画素Ｐ１を平坦度に応じて合成した値、つまり平坦度に応じたノイズ量を付加した画素となる。 In addition, the coefficient α when the selection unit 16 selects the calculated value α0 indicates the flatness (unevenness) of the block BD determined by the flatness determination unit 13. Therefore, the synthesized pixel P2 is a pixel obtained by adding a value obtained by synthesizing the noise-added pixel P1 according to the flatness to the target pixel P0, that is, a noise amount corresponding to the flatness.

一方、設定値α１は、ブロックにかかわらず一定の値である。従って、設定値α１を選択した場合、一定値の係数αが出力される。これにより、画像データＧＤの全体に対して同じ比率で着目画素Ｐ０とノイズ付加画素Ｐ１が合成（ブレンド）された合成画素Ｐ２が生成される。 On the other hand, the set value α1 is a constant value regardless of the block. Therefore, when the set value α1 is selected, a constant value coefficient α is output. As a result, a combined pixel P2 is generated by combining (blending) the target pixel P0 and the noise-added pixel P1 with the same ratio with respect to the entire image data GD.

上記したように、算出値α０を選択したときの係数αは、エッジ判定部１２から出力されるエッジ判定値ＲＥに、平坦度判定部１３から出力される平坦度判定値ＲＦを乗算した値である。エッジ判定部１２は、ブロックにエッジが含まれる場合に［０］のエッジ判定値ＲＥを出力し、ブロックにエッジが含まれない場合に［１］のエッジ判定値ＲＥを出力する。従って、係数αは、ブロックにエッジが含まれる場合に［０］となり、エッジが含まれない場合に平坦度判定値ＲＦと等しくなる。 As described above, the coefficient α when the calculated value α0 is selected is a value obtained by multiplying the edge determination value RE output from the edge determination unit 12 by the flatness determination value RF output from the flatness determination unit 13. is there. The edge determination unit 12 outputs an edge determination value RE of [0] when an edge is included in the block, and outputs an edge determination value RE of [1] when an edge is not included in the block. Accordingly, the coefficient α is [0] when an edge is included in the block, and is equal to the flatness determination value RF when the edge is not included.

上記したように、ピクセル合成部１７は、係数αが［０］のときに着目画素Ｐ０と等しい合成画素Ｐ２を生成する。つまり、エッジを含むブロックの着目画素Ｐ０には、ノイズが付加されないこととなる。一方、エッジを含まないブロックにおいて、凹凸があるブロック、即ちエッジではない凹凸を含まないブロックについて、係数αに応じて着目画素Ｐ０に対してノイズ付加画素Ｐ１を合成して合成画素Ｐ２を生成する。このように構成されたノイズ付加回路１０は、局所的なノイズの付加を可能としている。例えば、砂浜や木目、ビルのレンガといった元々若干のザラつきがある画像領域では、係数αが０より大きいため、ブロックの着目画素Ｐ０にノイズを付加する。このような画像領域では、ノイズを付加することによって視覚的に好適なザラつき感を生じる。つまり、ノイズを付加した方が好ましい画像領域について、ノイズを付加することにより、より好ましい質感が得られるようにすることができる。 As described above, the pixel synthesizing unit 17 generates the synthesized pixel P2 that is equal to the target pixel P0 when the coefficient α is [0]. That is, no noise is added to the target pixel P0 of the block including the edge. On the other hand, in a block that does not include an edge, for a block that has unevenness, that is, a block that does not include unevenness that is not an edge, the synthesized pixel P2 is generated by combining the noise-added pixel P1 with the target pixel P0 according to the coefficient α. . The noise adding circuit 10 configured as described above can add local noise. For example, in an image region with some roughness originally such as a sandy beach, wood grain, or building brick, the coefficient α is larger than 0, so noise is added to the target pixel P0 of the block. In such an image region, a visually suitable feeling of roughness is generated by adding noise. That is, it is possible to obtain a more preferable texture by adding noise to an image region to which noise is preferably added.

一方、係数αが０、即ちブロックに含まれる画素値の差が０または小さい（判定しきい値以下）の場合、ピクセル合成部１７は、着目画素Ｐ０と等しい合成画素Ｐ２を生成する。平坦度が小さなブロック、つまり平坦度が小さな画像領域は、例えば光沢のある車のボディのような部分である。このような画像領域については、画素にノイズを付加すると、例えば光沢が無くなってしまい、被写体の質感が劣化する。つまり、ノイズの付加は好ましくない画像領域については、画素にノイズを付加しないことで、質感の劣化を抑制することができる。 On the other hand, when the coefficient α is 0, that is, the difference between the pixel values included in the block is 0 or small (below the determination threshold value), the pixel composition unit 17 generates a composite pixel P2 that is equal to the pixel of interest P0. A block having a low flatness, that is, an image region having a low flatness is, for example, a portion like a glossy car body. For such an image region, when noise is added to the pixel, for example, the gloss is lost, and the texture of the subject is deteriorated. That is, for image regions where noise addition is not desirable, deterioration of texture can be suppressed by not adding noise to the pixels.

図２に示すように、ノイズ付加処理部１４は、平滑化フィルタ２１、偏差演算部２２、疑似乱数生成部２３、ノイズ画素生成部２４を含む。
平滑化フィルタ２１には、ブロックＢＤが供給される。平滑化フィルタ２１は、ブロックＢＤの各画素を平滑化して生成した平滑画素Ｐｍを生成する。例えば、平滑化フィルタ２１は、ブロックＢＤに含まれる偶数個の画素値、例えばブロックＢＤに含まれる着目画素Ｐ０を除く８個の周辺画素の平均値を算出し、その平均値を平滑画素Ｐｍとして出力する。この平滑画素Ｐｍは、偏差演算部２２とノイズ画素生成部２４に供給される。なお、平滑化フィルタ２１において、種々のフィルタ、例えばメディアンフィルタを用いることもできる。 As illustrated in FIG. 2, the noise addition processing unit 14 includes a smoothing filter 21, a deviation calculation unit 22, a pseudo random number generation unit 23, and a noise pixel generation unit 24.
A block BD is supplied to the smoothing filter 21. The smoothing filter 21 generates a smooth pixel Pm generated by smoothing each pixel of the block BD. For example, the smoothing filter 21 calculates an even number of pixel values included in the block BD, for example, an average value of eight peripheral pixels excluding the target pixel P0 included in the block BD, and uses the average value as the smooth pixel Pm. Output. The smooth pixel Pm is supplied to the deviation calculation unit 22 and the noise pixel generation unit 24. In the smoothing filter 21, various filters such as a median filter can be used.

偏差演算部２２は、平滑化フィルタ２１から出力される平滑画素Ｐｍに基づいて、偏差値σを算出する。偏差値σは、平滑画素Ｐｍからの移動量をクリップ（制限）する制限値である。例えば、偏差演算部２２は、平滑画素Ｐｍを引数とした一次式、
σ＝Ａ×Ｐｍ＋Ｂ
により、偏差値σを算出する。なお、Ａ，Ｂは設定値であり、例えば外部レジスタにより設定される。平滑画素Ｐｍを引数とした一次式を用いるのは、実画像データについて、質感のよいノイズを付加した画素値を実験等により生成し、実画像データの画素値に対するノイズ量のゆらぎ（偏差）のプロットが、一次式とよくあうためである。また、一次式とすることにより、小さな回路規模の偏差演算部２２により偏差値σを算出することができる、つまりノイズ付加処理部１４の回路規模、ひいてはノイズ付加回路１０の回路規模の増加を抑制することができる。 The deviation calculator 22 calculates a deviation value σ based on the smooth pixel Pm output from the smoothing filter 21. The deviation value σ is a limit value that clips (limits) the movement amount from the smooth pixel Pm. For example, the deviation calculation unit 22 is a linear expression using the smooth pixel Pm as an argument,
σ = A × Pm + B
Is used to calculate the deviation value σ. A and B are set values, and are set by an external register, for example. A linear expression using the smooth pixel Pm as an argument is used to generate a pixel value to which good-quality noise is added from actual image data by experiment or the like, and the fluctuation (deviation) of the noise amount with respect to the pixel value of the actual image data. This is because the plot matches the linear equation well. Further, by using the linear expression, the deviation value σ can be calculated by the deviation calculation unit 22 having a small circuit scale, that is, the increase in the circuit scale of the noise addition processing unit 14 and the increase in the circuit scale of the noise addition circuit 10 is suppressed. can do.

疑似乱数生成部２３には、設定値Ｓｓが供給される。疑似乱数生成部２３は、設定値Ｓｓを基準値として、乱数Ｒを生成する。疑似乱数生成部２３は、回路規模と効果のトレードオフにより、混合合同法により乱数Ｒを発生するように構成されている。乱数Ｒは、ほぼ均等な確率で所定範囲内の値となる。この範囲は、上記偏差がとりうる値の最大値に応じて設定される。 A set value Ss is supplied to the pseudo-random number generator 23. The pseudo random number generator 23 generates a random number R using the set value Ss as a reference value. The pseudo-random number generation unit 23 is configured to generate a random number R by a mixed congruential method based on a trade-off between circuit scale and effect. The random number R becomes a value within a predetermined range with a substantially equal probability. This range is set according to the maximum value that the deviation can take.

ノイズ画素生成部２４は、上記の平滑画素Ｐｍ、偏差値σ、乱数Ｒに基づいて、ノイズ付加画素Ｐ１を生成する。例えば、ノイズ画素生成部２４は、乱数Ｒを偏差値σに応じてクリップした補助値Ｒｔを算出する。この補助値Ｒｔの算出は、乱数Ｒに対する剰余演算により算出される。つまり、
Ｒｔ＝Ｒ％（２σ＋１）
但し、％は剰余演算、
により、補助値Ｒｔを算出する。 The noise pixel generation unit 24 generates the noise addition pixel P1 based on the smooth pixel Pm, the deviation value σ, and the random number R. For example, the noise pixel generation unit 24 calculates an auxiliary value Rt obtained by clipping the random number R according to the deviation value σ. The auxiliary value Rt is calculated by a remainder operation on the random number R. That means
Rt = R% (2σ + 1)
Where% is the remainder operation,
Thus, the auxiliary value Rt is calculated.

次に、ノイズ画素生成部２４は、算出した補助値Ｒｔを、平滑画素Ｐｍに付加してノイズ付加画素Ｐ１を生成する。このとき、ノイズ画素生成部２４は、平滑画素Ｐｍを中心値として、偏差値σの範囲内の補助値Ｒｔを付加する。つまり、ノイズ画素生成部２４は、
Ｐ１＝Ｐｍ＋（Ｒｔ−σ）
により、ノイズ付加画素Ｐ１を算出する。 Next, the noise pixel generation unit 24 adds the calculated auxiliary value Rt to the smooth pixel Pm to generate the noise addition pixel P1. At this time, the noise pixel generation unit 24 adds the auxiliary value Rt within the range of the deviation value σ with the smooth pixel Pm as the center value. That is, the noise pixel generation unit 24
P1 = Pm + (Rt−σ)
Thus, the noise added pixel P1 is calculated.

また、ノイズ画素生成部２４には、設定値Ｓｏが例えば外部レジスタにより設定される。設定値Ｓｏは、算出した値のノイズ付加画素Ｐ１と、供給される着目画素Ｐ０と等しい値の画素Ｐ１を出力する割合を設定するものである。ノイズ画素生成部２４は、乱数Ｒと設定値Ｓｏとを比較し、比較結果に応じて、算出値のノイズ付加画素Ｐ１又は着目画素Ｐ０と等しい画素Ｐ１を出力する。例えば、乱数Ｒが設定値Ｓｏ以上のときに算出値のノイズ付加画素Ｐ１を出力し、乱数Ｒが設定値Ｓｏ未満のときに着目画素Ｐ０と等しい画素Ｐ１を出力する。 In the noise pixel generation unit 24, a set value So is set by, for example, an external register. The set value So sets the ratio of outputting the noise-added pixel P1 having the calculated value and the pixel P1 having a value equal to the supplied target pixel P0. The noise pixel generation unit 24 compares the random number R with the set value So, and outputs a pixel P1 that is equal to the calculated value of the noise-added pixel P1 or the target pixel P0 according to the comparison result. For example, when the random number R is greater than or equal to the set value So, the calculated noise-added pixel P1 is output, and when the random number R is less than the set value So, the pixel P1 that is equal to the target pixel P0 is output.

上記したように、乱数Ｒは、ほぼ均等な確率で所定の範囲の値をとる。これに対し、設定値Ｓｏが設定される。例えば乱数Ｒが取りうる値を［０］〜［１５］とし、設定値Ｓｏを［８］とすると、１／２の確率で着目画素Ｐ０と等しい画素Ｐ１が出力される。また、設定値Ｓｏを［０］とすると、算出値のノイズ付加画素Ｐ１が毎回出力される。 As described above, the random number R takes a value in a predetermined range with a substantially equal probability. On the other hand, a set value So is set. For example, if the values that can be taken by the random number R are [0] to [15] and the set value So is [8], a pixel P1 that is equal to the pixel of interest P0 is output with a probability of 1/2. If the set value So is [0], the noise-added pixel P1 of the calculated value is output every time.

以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）エッジ判定部１２は、ブロックＢＤ（ブロック単位の画素データＢＤ）に基づいて、該ブロックＢＤにおけるエッジの有無を判定し、判定結果に応じたエッジ判定値ＲＥを出力する。平坦度判定部１３は、ブロックＢＤにおける平坦度（凹凸度）を判定し、その判定結果に応じた平坦度判定値ＲＦを出力する。演算器１５は、エッジ判定値ＲＥに平坦度判定値ＲＦを乗算する。その乗算結果（算出値α０）に応じた係数αがピクセル合成部１７に供給される。ピクセル合成部１７は、係数αに基づいて、着目画素Ｐ０とノイズ付加画素Ｐ１とを合成して合成画素Ｐ２を生成する。 As described above, according to the present embodiment, the following effects can be obtained.
(1) The edge determination unit 12 determines the presence or absence of an edge in the block BD based on the block BD (block-unit pixel data BD), and outputs an edge determination value RE corresponding to the determination result. The flatness determination unit 13 determines the flatness (unevenness) in the block BD, and outputs a flatness determination value RF corresponding to the determination result. The computing unit 15 multiplies the edge determination value RE by the flatness determination value RF. A coefficient α corresponding to the multiplication result (calculated value α0) is supplied to the pixel synthesis unit 17. The pixel synthesizing unit 17 synthesizes the target pixel P0 and the noise-added pixel P1 based on the coefficient α to generate a synthesized pixel P2.

ブロックＢＤにエッジが含まれる場合、［０］のエッジ判定値ＲＥが出力されるため、係数αは［０］となる。従って、エッジが含まれるブロックＢＤでは、着目画素Ｐ０と等しい値の合成画素Ｐ２が出力される。また、平坦度が小さなブロックＢＤでは、［０］又は［０］に近い値の平坦度判定値ＲＦが出力されるため、係数αは［０］となる。従って、画素値の凹凸が小さい領域では、着目画素Ｐ０と等しい値の合成画素Ｐ２が出力される。このように、画像の領域の状態に応じた合成画素Ｐ２、つまり画像に応じた適切なノイズを付加することができる。 When an edge is included in the block BD, since the edge determination value RE of [0] is output, the coefficient α is [0]. Therefore, in the block BD including the edge, the composite pixel P2 having the same value as the target pixel P0 is output. In addition, in the block BD having a small flatness, the flatness determination value RF having a value close to [0] or [0] is output, so the coefficient α is [0]. Accordingly, in a region where the unevenness of the pixel value is small, a composite pixel P2 having a value equal to the target pixel P0 is output. In this way, it is possible to add the composite pixel P2 corresponding to the state of the image area, that is, appropriate noise corresponding to the image.

（２）ノイズ付加処理部１４の平滑化フィルタ２１は、ブロックＢＤの画素値を平滑化した平滑画素Ｐｍを出力する。偏差演算部２２は、平滑画素Ｐｍの偏差値σを算出する。そして、ノイズ画素生成部２４は、偏差値σに対応するノイズ（補助値Ｒｔ）を平滑画素Ｐｍに付加してノイズ付加画素Ｐ１を生成する。従って、ブロックＢＤの画素に応じた量のノイズ（補助値Ｒｔ）を付加することができる。 (2) The smoothing filter 21 of the noise addition processing unit 14 outputs a smooth pixel Pm obtained by smoothing the pixel value of the block BD. The deviation calculation unit 22 calculates the deviation value σ of the smooth pixel Pm. Then, the noise pixel generation unit 24 adds noise (auxiliary value Rt) corresponding to the deviation value σ to the smooth pixel Pm to generate the noise addition pixel P1. Therefore, it is possible to add an amount of noise (auxiliary value Rt) according to the pixel of the block BD.

（３）ノイズ付加処理部１４は疑似乱数生成部２３を含み、その疑似乱数生成部２３にて生成した乱数Ｒに基づいてノイズ付加画素Ｐ１を生成する。従って、ランダムな量のノイズを付加することができる。 (3) The noise addition processing unit 14 includes a pseudo random number generation unit 23, and generates a noise addition pixel P1 based on the random number R generated by the pseudo random number generation unit 23. Therefore, a random amount of noise can be added.

（４）ノイズ付加回路１０は選択部１６を含み、算出値α０と設定値α１とを選択信号ＳＥに基づいて選択し、選択した値を係数αとしてピクセル合成部１７に供給するようにした。従って、画像に応じて部分的にノイズを付加するモードと、画像全体にノイズを付加するモードとを切り替えることができる。そして、設定値α１を適宜変更することにより、好適なノイズを付加することができる。 (4) The noise adding circuit 10 includes a selection unit 16, and selects the calculated value α0 and the set value α1 based on the selection signal SE, and supplies the selected value to the pixel synthesis unit 17 as a coefficient α. Therefore, it is possible to switch between a mode in which noise is partially added according to an image and a mode in which noise is added to the entire image. And suitable noise can be added by changing setting value (alpha) 1 suitably.

（第二実施形態）
以下、第二実施形態を図４に従って説明する。
なお、第一実施形態と同じ構成については同じ符号を付してその説明の全て又は一部を省略する。 (Second embodiment)
Hereinafter, a second embodiment will be described with reference to FIG.
In addition, about the same structure as 1st embodiment, the same code | symbol is attached | subjected and all or one part of the description is abbreviate | omitted.

図４に示すように、ノイズ付加回路４０のラインメモリ１１は、供給される画像データＧＤのうち、複数ライン（例えば、３ライン）の画素データを記憶し、ブロック単位（例えば、３×３画素）の画素データＢＤ（ブロックＢＤ）を出力する。ブロックＢＤは、着目画素Ｐ０の画素データと、着目画素Ｐ０の周辺の画素の画素データを含む。ブロックＢＤは、エッジ判定部１２、平坦度判定部１３、ノイズ付加処理部１４、輝彩度判定部４１に供給される。着目画素Ｐ０の画素データは、ピクセル合成部１７に供給される。 As shown in FIG. 4, the line memory 11 of the noise addition circuit 40 stores pixel data of a plurality of lines (for example, 3 lines) in the supplied image data GD, and is in block units (for example, 3 × 3 pixels). ) Pixel data BD (block BD). The block BD includes pixel data of the target pixel P0 and pixel data of pixels around the target pixel P0. The block BD is supplied to the edge determination unit 12, the flatness determination unit 13, the noise addition processing unit 14, and the brightness saturation determination unit 41. Pixel data of the pixel of interest P0 is supplied to the pixel synthesis unit 17.

輝彩度判定部４１には、外部レジスタ等から、設定値ＳＹＣが供給される。設定値ＳＹＣは、輝度と彩度とを合成する比率を指定する値であり、０以上１以下の範囲の値である。輝彩度判定部４１は、ブロックＢＤにおける輝彩度ＲＢを算出する。ブロックＢＤに含まれる各画素データの値は、ＹＣｂＣｒ形式のデータである。輝度ＲＹは、Ｙデータの値であり、例えば、ブロックＢＤに含まれる複数画素の値の平均値である。なお、Ｙデータを、ブロックＢＤに含まれる着目画素の値としてもよい。輝彩度判定部４１は、２つの色差Ｃｂ，Ｃｒから彩度ＲＣを、例えば、
ＲＣ＝（｜Ｃｂ｜＋｜Ｃｒ｜）／２
のように、２つの色差の絶対値の平均値として求める。なお、色差データＣｂ，Ｃｒは、ブロックＢＤに含まれる画素に対応するデータである。 The set value SYC is supplied to the brightness / saturation determination unit 41 from an external register or the like. The set value SYC is a value that specifies a ratio for combining luminance and saturation, and is a value in the range of 0 to 1. The brightness / saturation determination unit 41 calculates the brightness / saturation RB in the block BD. The value of each pixel data included in the block BD is data in YCbCr format. The luminance RY is a value of Y data, for example, an average value of values of a plurality of pixels included in the block BD. Note that the Y data may be the value of the pixel of interest included in the block BD. The brightness saturation determination unit 41 calculates the saturation RC from the two color differences Cb and Cr, for example,
RC = (| Cb | + | Cr |) / 2
As described above, the average value of the absolute values of the two color differences is obtained. The color difference data Cb and Cr are data corresponding to the pixels included in the block BD.

そして、輝彩度判定部４１は、輝度ＲＹと彩度ＲＣとに基づいて、輝彩度ＲＢを、例えば、
ＲＢ＝ＲＹ×（１−ＳＹＣ）＋ＲＣ×ＳＹＣ
により求める。この演算は、αブレンドと呼ばれ、設定値ＳＹＣはブレンド比である。このように算出された輝彩度ＲＢは、輝度・彩度が低いほど０に近い値を取る。設定値ＳＹＣを変更する、つまり輝度ＲＹと彩度ＲＣとの割合を変更することは、輝度ＲＹのみの参照、彩度ＲＣのみの参照によるノイズ付加の抑制を可能とする。 Then, the luminance saturation determination unit 41 calculates the luminance saturation RB based on the luminance RY and the saturation RC, for example,
RB = RY × (1-SYC) + RC × SYC
Ask for. This calculation is called α blend, and the set value SYC is a blend ratio. The brightness saturation RB calculated in this way takes a value closer to 0 as the luminance / saturation is lower. Changing the set value SYC, that is, changing the ratio between the luminance RY and the saturation RC, makes it possible to suppress noise addition by referring to only the luminance RY and referring only to the saturation RC.

合成部４２は、平坦度判定部１３から出力される平坦度判定値ＲＦと、輝彩度判定部４１から出力される輝彩度ＲＢとを合成して、合成判定値ＣＲを生成する。例えば、合成部４２は、
ＣＲ＝（ＲＦ＋ＲＢ）／２
のように、平坦度判定値ＲＦと輝彩度ＲＢとの平均値を合成判定値ＣＲとする。 The combining unit 42 combines the flatness determination value RF output from the flatness determination unit 13 and the bright saturation RB output from the bright saturation determination unit 41 to generate a combined determination value CR. For example, the synthesis unit 42
CR = (RF + RB) / 2
As described above, the average value of the flatness determination value RF and the luminance saturation RB is set as the combined determination value CR.

演算器１５は、エッジ判定部１２から出力されるエッジ判定値ＲＥに、合成部４２から出力される合成判定値ＣＲを乗算し、その乗算結果（係数α０）を出力する。
選択部１６は、選択信号ＳＥに応答して、演算器１５から出力される係数α０と、外部レジスタ等から供給される係数α１とのうちの何れか一方を選択し、その選択した係数と等しい係数αを出力する。 The computing unit 15 multiplies the edge determination value RE output from the edge determination unit 12 by the synthesis determination value CR output from the synthesis unit 42, and outputs the multiplication result (coefficient α0).
In response to the selection signal SE, the selection unit 16 selects one of the coefficient α0 output from the computing unit 15 and the coefficient α1 supplied from the external register or the like, and is equal to the selected coefficient. The coefficient α is output.

ピクセル合成部１７は、係数αに基づいて、着目画素Ｐ０とノイズ付加画素Ｐ１とを合成して合成画素Ｐ２を生成する。
次に、ノイズ付加回路４０の作用を説明する。 The pixel synthesizing unit 17 synthesizes the target pixel P0 and the noise-added pixel P1 based on the coefficient α to generate a synthesized pixel P2.
Next, the operation of the noise adding circuit 40 will be described.

ピクセル合成部１７から出力される合成画素Ｐ２は、係数αに比例したノイズを含む。係数αは、ブロックＢＤの平坦度（凹凸度）と輝彩度を示す。例えば、ポートレートの黒髪や風景写真の影の部分のように輝度の低い画像領域、人間の肌のように彩度が低い画像領域に対応する輝彩度ＲＢは［０］に近い値となる。輝彩度ＲＢが一般的に、輝度・彩度が低い画像領域のノイズは、人間が不快と感じやすい。従って、ノイズ付加回路４０は、輝彩度ＲＢが［０］または［０］に近い画像領域に対するノイズの付加を抑制する。 The synthesized pixel P2 output from the pixel synthesizing unit 17 includes noise proportional to the coefficient α. The coefficient α indicates the flatness (unevenness) and brightness of the block BD. For example, the brightness saturation RB corresponding to an image region with low luminance such as a portrait black hair or a shadow portion of a landscape photograph, or an image region with low saturation such as human skin becomes a value close to [0]. . In general, noise in an image region having a low luminance / saturation RB is likely to be uncomfortable for humans. Therefore, the noise addition circuit 40 suppresses the addition of noise to the image area where the brightness RB is close to [0] or [0].

以上記述したように、本実施形態によれば、上記第一実施形態の効果に加え、以下の効果を奏する。
（５）輝彩度判定部４１は、ブロックＢＤに基づいて、ブロックＢＤにおける輝度・彩度を判定し、判定結果に応じた輝彩度ＲＢを出力する。合成部４２は、平坦度判定部１３から出力される平坦度判定値ＲＦと輝彩度ＲＢとを合成し、合成判定値ＣＲを出力する。演算器１５は、エッジ判定値ＲＥに合成判定値ＣＲを乗算し、係数α０を生成する。ピクセル合成部１７は、係数α（係数α０）に基づいて、着目画素Ｐ０とノイズ付加画素Ｐ１とを合成して合成画素Ｐ２を生成する。従って、ポートレートの黒髪や風景写真の影の部分等の輝度の低い画像領域や、人間の肌等の彩度が低い画像領域のように、人間が不快と感じやすい画像領域に対するノイズの付加を抑制することができる。 As described above, according to this embodiment, in addition to the effects of the first embodiment, the following effects can be obtained.
(5) The brightness / saturation determination unit 41 determines the brightness / saturation in the block BD based on the block BD, and outputs the brightness / saturation RB corresponding to the determination result. The synthesizing unit 42 synthesizes the flatness determination value RF and the luminance saturation RB output from the flatness determination unit 13 and outputs a combination determination value CR. The computing unit 15 multiplies the edge determination value RE by the composite determination value CR to generate a coefficient α0. Based on the coefficient α (coefficient α0), the pixel synthesizing unit 17 synthesizes the target pixel P0 and the noise-added pixel P1 to generate a synthesized pixel P2. Therefore, add noise to image areas that are likely to be uncomfortable for humans, such as low-brightness image areas such as portrait black hair and shadows in landscape photographs, and low-saturation image areas such as human skin. Can be suppressed.

（６）輝彩度判定部４１は、ブロックＢＤのＹＣｂＣｒ信号に基づいて、輝度信号Ｙの輝度値ＲＹと、色差信号Ｃｂ，Ｃｒの値の絶対値の平均値である彩度値ＲＣを算出し、輝彩度ＲＢを算出するようにした。このように輝彩度ＲＢの算出をハードウェアにて実装する場合、ハードウェアにおける負荷が少なく、実装が容易である。 (6) The luminance saturation determination unit 41 calculates a saturation value RC that is an average value of the absolute value of the luminance value RY of the luminance signal Y and the values of the color difference signals Cb and Cr, based on the YCbCr signal of the block BD. The brightness RB is calculated. In this way, when the calculation of the brightness RB is implemented by hardware, the load on the hardware is small and the implementation is easy.

尚、上記各実施形態は、以下の態様で実施してもよい。
・上記各形態において、疑似乱数生成部２３の構成を適宜変更しても良い。例えば、乗算合同法、平方採中法、線形合同法、等の方法により乱数Ｒを生成するようにしてもよい。 In addition, you may implement each said embodiment in the following aspects.
-In each said form, you may change suitably the structure of the pseudorandom number generation part 23. FIG. For example, the random number R may be generated by a method such as multiplication congruence, squaring, linear congruence, or the like.

・上記各形態において、ノイズ付加処理部１４の構成を適宜変更してもよい。
例えば、図３に示すようにノイズ付加処理部１４を構成しても良い。このノイズ付加処理部１４は、平滑化フィルタ２１、偏差演算部２２、ノイズデータ取得メモリコントローラ（以下、データ取得部）２５、ノイズ画素生成部２４を含む。 -In each said form, you may change the structure of the noise addition process part 14 suitably.
For example, the noise addition processing unit 14 may be configured as shown in FIG. The noise addition processing unit 14 includes a smoothing filter 21, a deviation calculation unit 22, a noise data acquisition memory controller (hereinafter, data acquisition unit) 25, and a noise pixel generation unit 24.

データ取得部２５は、外部メモリ３１に記憶されたデータを取得する。外部メモリ３１に格納されたデータは、処理する画像データと同じデータサイズのノイズデータである。ノイズデータは、例えば、入射光を遮断した状態の撮像素子から出力される画像データである。なお、データ取得部２５を、メモリ３１を含む構成としてもよい。 The data acquisition unit 25 acquires data stored in the external memory 31. The data stored in the external memory 31 is noise data having the same data size as the image data to be processed. The noise data is, for example, image data output from an imaging device in a state where incident light is blocked. The data acquisition unit 25 may include the memory 31.

この場合、データ取得部２５から出力されるデータをＲｄとすると、ノイズ画素生成部２４は、
Ｒｔ＝（Ｒｄ−Ｄｏｆｆ）×σ×Ｄｇ
により補助値Ｒｔを算出する。なお、Ｄｏｆｆはオフセット、Ｄｇはゲインであり、外部レジスタ等により設定される。 In this case, if the data output from the data acquisition unit 25 is Rd, the noise pixel generation unit 24
Rt = (Rd−Doff) × σ × Dg
To calculate the auxiliary value Rt. Doff is an offset and Dg is a gain, which is set by an external register or the like.

そして、ノイズ画素生成部２４は、算出した補助値Ｒｔを偏差値σによりクリッピングした補助値Ｒｔ２（−σ≦Ｒｔ２≦σ）を算出する。そして、この補助値Ｒｔ２を平滑画素Ｐｍに加算してノイズ付加画素Ｐ１（＝Ｐｍ＋Ｒｔ２）を生成する。 Then, the noise pixel generation unit 24 calculates an auxiliary value Rt2 (−σ ≦ Rt2 ≦ σ) obtained by clipping the calculated auxiliary value Rt with the deviation value σ. Then, the auxiliary value Rt2 is added to the smooth pixel Pm to generate a noise added pixel P1 (= Pm + Rt2).

また、外部メモリ３１に格納するノイズデータとして、例えば、デジタル信号処理装置（ＤＳＰ：Digital Signal Processor）などの処理装置により生成された乱数データとしてもよい。 The noise data stored in the external memory 31 may be, for example, random number data generated by a processing device such as a digital signal processor (DSP).

・ノイズを付加する対象画素に対して、その対象画素と周囲の８画素の画素値とに基づいて、エッジ判定等の各種の判定処理を行うようにしたが、複数の判定処理のうちの少なくとも１つについて、判定に用いる周囲の画素数を変更してもよい。例えば、平坦度判定部において、対象画素と周囲の２４画素の画素値とに基づいて判定を行うようにしてもよい。なお、対象画像の周辺において、２４画素の画素値が得られない場合には、５×５画素の範囲に含まれる周辺画素の画素値、例えば対象画素に隣接する８画素と範囲に含まれる１１画素の合計２０画素の画素値を用いて判定を行うようにしてもよい。 -Various determination processes such as edge determination are performed on the target pixel to which noise is added based on the target pixel and the pixel values of the surrounding eight pixels. At least of the plurality of determination processes For one, the number of surrounding pixels used for determination may be changed. For example, the flatness determination unit may perform the determination based on the target pixel and pixel values of surrounding 24 pixels. If a pixel value of 24 pixels cannot be obtained around the target image, pixel values of peripheral pixels included in the 5 × 5 pixel range, for example, 8 pixels adjacent to the target pixel and 11 included in the range You may make it perform determination using the pixel value of a total of 20 pixels.

・上記各形態では、偏差演算部２２が一次式により偏差値σを算出するようにしたが、その他の方法により偏差値σを算出するようにしてもよい。例えば、区間毎の一次式（折れ線）により偏差値σを算出するようにしてもよい。また、テーブル（ＬＵＴ：Look Up Table ）を用いて偏差値σを得るようにしてもよい。これらの方法によると、偏差値σを実プロットとよりよく一致させることができる。 In each of the above embodiments, the deviation calculating unit 22 calculates the deviation value σ by a linear expression, but the deviation value σ may be calculated by other methods. For example, the deviation value σ may be calculated by a linear expression (broken line) for each section. Further, the deviation value σ may be obtained using a table (LUT: Look Up Table). According to these methods, the deviation value σ can be better matched with the actual plot.

・上記各形態では、各種の設定値を例えば外部レジスタから設定することとしたが、設定方法を適宜変更してもよい。例えば、設定値を必要な処理部に予め設定する。また、画像処理装置を制御する制御部（例えばＣＰＵ）により設定してもよい。 In the above embodiments, various setting values are set from an external register, for example, but the setting method may be changed as appropriate. For example, a set value is preset in a necessary processing unit. Further, it may be set by a control unit (for example, CPU) that controls the image processing apparatus.

・上記各形態において、選択部１６を省略してもよい。
また、選択部１６に平坦度判定値ＲＦと設定値α１とを供給し、選択信号ＳＥにより選択した値を演算器１５に供給する構成としてもよい。 In each of the above forms, the selection unit 16 may be omitted.
Alternatively, the flatness determination value RF and the set value α1 may be supplied to the selection unit 16 and the value selected by the selection signal SE may be supplied to the calculator 15.

・上記各形態において、ノイズを付加した着目画素Ｐ０の座標値を記憶し、その座標値に対して水平方向又は垂直方向の少なくとも一方に連続する画素に対してノイズを付加するようにノイズ付加処理部又はピクセル合成部を構成しても良い。連続してノイズを付加する方向と連続数は、例えば外部レジスタにより設定される。このような構成により、ノイズ粒子の密度や、ノイズ粒子の大きさを制御することが可能となる。 In each of the above embodiments, the noise addition process is performed so that the coordinate value of the pixel of interest P0 to which noise is added is stored, and noise is added to pixels that are continuous in at least one of the horizontal direction and the vertical direction with respect to the coordinate value. Or a pixel synthesis unit. The direction and the number of continuous additions of noise are set by an external register, for example. With such a configuration, the density of noise particles and the size of noise particles can be controlled.

・図５に示すように、ノイズ付加回路５０を構成してもよい。このノイズ付加回路５０は、輝度判定部５１と、彩度判定部５２と、合成部５３とを含む。輝度判定部５１は、ブロックＢＤのＹＣｂＣｒ信号に基づいて輝度値ＲＹを出力する。彩度判定部５２は、ブロックＢＤのＹＣｂＣｒ信号に基づいて彩度値ＲＣ（＝（｜Ｃｂ｜＋｜Ｃｒ｜）／２）を出力する。合成部５３は、平坦度判定部１３から出力される平坦度判定値ＲＦと、輝度判定部５１から出力される輝度値ＲＹと、彩度判定部５２から出力される彩度値ＲＣを合成して合成判定値ＣＲを生成する。このようにしても、上記第二実施形態と同様の効果を得ることができる。 As shown in FIG. 5, a noise adding circuit 50 may be configured. The noise adding circuit 50 includes a luminance determination unit 51, a saturation determination unit 52, and a synthesis unit 53. The luminance determination unit 51 outputs a luminance value RY based on the YCbCr signal of the block BD. The saturation determination unit 52 outputs a saturation value RC (= (| Cb | + | Cr |) / 2) based on the YCbCr signal of the block BD. The combining unit 53 combines the flatness determination value RF output from the flatness determination unit 13, the luminance value RY output from the luminance determination unit 51, and the saturation value RC output from the saturation determination unit 52. To generate a composite determination value CR. Even if it does in this way, the effect similar to said 2nd embodiment can be acquired.

・図４に示す合成部４２は、平均以外の方法、例えばαブレンドにより合成判定値ＣＲを生成するようにしてもよい。
上記各実施形態に関し、以下の付記を開示する。
（付記１）
着目画素を含む領域におけるエッジの有無を判定してエッジ判定値を出力するエッジ判定部と、
前記着目画素を含む領域の平坦度を判定して平坦度判定値を出力する平坦度判定部と、
前記エッジ判定値と前記平坦度判定値とを演算して係数を生成する係数生成部と、
前記着目画素を含む領域の画素値に基づいて、前記着目画素にノイズを付加したノイズ付加画素を生成するノイズ付加処理部と、
前記係数に基づいて、前記着目画素と前記ノイズ付加画素とを合成して合成画素を生成する画素合成部と、
を含むことを特徴とするノイズ付加回路。
（付記２）
前記係数生成部は、前記エッジ判定値に前記平坦度判定値を乗算する演算器を含み、その演算器の出力結果に応じて前記係数を生成する、ことを特徴とする請求項１に記載のノイズ付加回路。
（付記３）
前記着目画素を含む領域における輝度と彩度とに基づく判定値を出力する輝彩度判定部と、
前記平坦度判定値と前記輝彩度判定部の判定値とを合成して合成判定値を出力する合成部と、
を含み、
前記係数生成部は、前記エッジ判定値と前記合成判定値とを演算して前記係数を生成する、
ことを特徴とする請求項１に記載のノイズ付加回路。
（付記４）
前記輝彩度判定部は、前記着目画素を含む領域における輝度データの輝度値と、前記着目画素を含む領域における２つの色差データに基づいて算出した彩度値と、に基づいて前記判定値を算出する、ことを特徴とする請求項３に記載のノイズ付加回路。
（付記５）
前記輝彩度判定部は、設定値に応じた比率で前記輝度値と前記彩度値とを合成して前記判定値を算出する、ことを特徴とする請求項４に記載のノイズ付加回路。
（付記６）
前記係数生成部は、前記エッジ判定値に前記合成判定値を乗算する演算器を含み、その演算器の出力結果に応じて前記係数を生成する、ことを特徴とする請求項３〜５のうちの何れか一項に記載のノイズ付加回路。
（付記７）
前記係数生成部は、前記演算器の算出値と設定値とが入力され、選択信号に応じて前記算出値と前記設定値の何れか一方を前記係数として出力する選択部を含むことを特徴とする付記２又は６に記載のノイズ付加回路。
（付記８）
前記ノイズ付加処理部は、
前記着目画素を含む前記領域の画素を平滑化して平滑画素を生成する平滑化フィルタと、
前記平滑画素の偏差を算出する偏差演算部と、
乱数を生成する乱数生成部と、
前記偏差に応じた前記乱数を前記平滑画素に付加して前記ノイズ付加画素を生成するノイズ画素生成部と
を含むことを特徴とする付記１〜７のうちの何れか一項に記載のノイズ付加回路。
（付記９）
前記ノイズ付加処理部は、
前記着目画素を含む前記領域の画素を平滑化して平滑画素を生成する平滑化フィルタと、
前記平滑画素の偏差を算出する偏差演算部と、
メモリに記憶されたデータを読み出して出力するデータ取得部と、
前記偏差に応じた前記データを前記平滑画素に付加して前記ノイズ付加画素を生成するノイズ画素生成部と
を含むことを特徴とする付記１〜７のうちの何れか一項に記載のノイズ付加回路。
（付記１０）
前記ノイズ画素生成部は、前記乱数又は前記データと設定値とを比較し、比較結果に応じて前記着目画素と等しい画素又は前記ノイズ付加画素を出力する、ことを特徴とする付記８又は９に記載のノイズ付加回路。
（付記１１）
前記画素合成部は、
前記係数に基づいて、前記着目画素と前記ノイズ付加画素とをアルファブレンドして前記合成画素を生成する、ことを特徴とする付記１〜１０のうちの何れか一項に記載のノイズ付加回路。
（付記１２）
着目画素を含む領域におけるエッジの有無を判定してエッジ判定値を生成し、
前記着目画素を含む領域の平坦度を判定して平坦度判定値を生成し、
前記エッジ判定値と前記平坦度判定値とを演算して係数を生成し、
前記着目画素を含む領域の画素値に基づいて、前記着目画素にノイズを付加したノイズ付加画素を生成し、
前記係数に基づいて、前記着目画素と前記ノイズ付加画素とを合成して合成画素を生成する、
ことを特徴とするノイズ付加方法。
（付記１３）
前記着目画素を含む領域における輝度と彩度とに基づく判定値を生成し、
前記輝度と前記彩度とに基づく判定値と前記平坦度判定値とを合成して合成判定値を生成し、
前記エッジ判定値と前記合成判定値とを演算して前記係数を生成する、
ことを特徴とする付記１２に記載のノイズ付加方法。 The synthesis unit 42 illustrated in FIG. 4 may generate the synthesis determination value CR by a method other than averaging, for example, α blending.
The following notes are disclosed regarding the above embodiments.
(Appendix 1)
An edge determination unit that determines the presence or absence of an edge in the region including the target pixel and outputs an edge determination value;
A flatness determination unit that determines flatness of a region including the target pixel and outputs a flatness determination value;
A coefficient generation unit that calculates the edge determination value and the flatness determination value to generate a coefficient;
A noise addition processing unit that generates a noise-added pixel obtained by adding noise to the pixel of interest based on a pixel value of a region including the pixel of interest;
A pixel combining unit that generates a combined pixel by combining the target pixel and the noise-added pixel based on the coefficient;
A noise adding circuit comprising:
(Appendix 2)
The coefficient generation unit includes an arithmetic unit that multiplies the edge determination value by the flatness determination value, and generates the coefficient according to an output result of the arithmetic unit. Noise addition circuit.
(Appendix 3)
A brightness / saturation determination unit that outputs a determination value based on luminance and saturation in a region including the target pixel;
A combining unit that combines the flatness determination value and the determination value of the brightness saturation determination unit and outputs a combined determination value;
Including
The coefficient generation unit calculates the edge determination value and the combination determination value to generate the coefficient,
The noise adding circuit according to claim 1.
(Appendix 4)
The luminance saturation determination unit calculates the determination value based on a luminance value of luminance data in an area including the target pixel and a saturation value calculated based on two color difference data in the area including the target pixel. The noise adding circuit according to claim 3, wherein the noise adding circuit is calculated.
(Appendix 5)
The noise addition circuit according to claim 4, wherein the brightness saturation determination unit calculates the determination value by combining the luminance value and the saturation value at a ratio according to a set value.
(Appendix 6)
The coefficient generation unit includes an arithmetic unit that multiplies the edge determination value by the composite determination value, and generates the coefficient according to an output result of the arithmetic unit. The noise adding circuit according to any one of the above.
(Appendix 7)
The coefficient generation unit includes a selection unit that receives the calculated value and the set value of the arithmetic unit and outputs either the calculated value or the set value as the coefficient in response to a selection signal. The noise adding circuit according to appendix 2 or 6,
(Appendix 8)
The noise addition processing unit
A smoothing filter that smoothes the pixels in the region including the target pixel to generate smooth pixels;
A deviation calculator for calculating a deviation of the smooth pixel;
A random number generator for generating random numbers;
The noise addition according to any one of appendices 1 to 7, further comprising: a noise pixel generation unit that generates the noise addition pixel by adding the random number corresponding to the deviation to the smooth pixel. circuit.
(Appendix 9)
The noise addition processing unit
A smoothing filter that smoothes the pixels in the region including the target pixel to generate smooth pixels;
A deviation calculator for calculating a deviation of the smooth pixel;
A data acquisition unit that reads and outputs data stored in the memory;
The noise addition according to any one of appendices 1 to 7, further comprising: a noise pixel generation unit that adds the data according to the deviation to the smooth pixel to generate the noise addition pixel. circuit.
(Appendix 10)
Additional Note 8 or 9, wherein the noise pixel generation unit compares the random number or the data with a set value, and outputs a pixel equal to the pixel of interest or the noise added pixel according to a comparison result. The noise adding circuit described.
(Appendix 11)
The pixel composition unit
11. The noise addition circuit according to claim 1, wherein the synthesized pixel is generated by alpha blending the target pixel and the noise addition pixel based on the coefficient.
(Appendix 12)
Determine the presence or absence of an edge in the area containing the pixel of interest and generate an edge determination value,
The flatness determination value is generated by determining the flatness of the region including the target pixel,
A coefficient is generated by calculating the edge determination value and the flatness determination value,
Based on the pixel value of the region including the target pixel, a noise added pixel in which noise is added to the target pixel is generated,
Based on the coefficient, the pixel of interest and the noise-added pixel are combined to generate a combined pixel.
A noise adding method characterized by the above.
(Appendix 13)
Generating a determination value based on luminance and saturation in a region including the target pixel;
A composite determination value is generated by combining the determination value based on the luminance and the saturation and the flatness determination value,
Calculating the edge determination value and the combined determination value to generate the coefficient;
The noise adding method according to supplementary note 12, characterized in that:

１１ラインメモリ
１２エッジ判定部
１３平坦度判定部
１４ノイズ付加処理部
１７ピクセル合成部（画素合成部）
４１輝彩度判定部
４２合成部
Ｐ０着目画素
Ｐ１ノイズ付加画素
Ｐ２合成画素
ＲＥエッジ判定値
ＲＦ平坦度判定値
ＲＢ輝彩度
ＣＲ合成判定値
α 係数 DESCRIPTION OF SYMBOLS 11 Line memory 12 Edge determination part 13 Flatness determination part 14 Noise addition process part 17 Pixel composition part (pixel composition part)
41 Brightness determination unit 42 Compositing unit P0 Pixel of interest P1 Noise-added pixel P2 Composite pixel RE Edge determination value RF Flatness determination value RB Brightness saturation CR Composite determination value α coefficient

Claims

An edge determination unit that determines the presence or absence of an edge in the region including the target pixel and outputs an edge determination value;
A flatness determination unit that determines flatness of a region including the target pixel and outputs a flatness determination value;
A coefficient generation unit that calculates the edge determination value and the flatness determination value to generate a coefficient;
A noise addition processing unit that generates a noise-added pixel in which noise is added to the target pixel, based on a pixel value of a region including the target pixel and a random number ;
A pixel combining unit that generates a combined pixel by combining the target pixel and the noise-added pixel based on the coefficient;
A noise adding circuit comprising:

The coefficient generation unit includes a computation for multiplying the flatness determination value in the edge determination value, to generate the coefficient in response to the output result of the arithmetic unit, according to claim 1, characterized in that Noise addition circuit.

A brightness / saturation determination unit that outputs a determination value based on luminance and saturation in a region including the target pixel;
A combining unit that combines the flatness determination value and the determination value of the brightness saturation determination unit and outputs a combined determination value;
Including
The coefficient generation unit calculates the edge determination value and the combination determination value to generate the coefficient,
The noise adding circuit according to claim 1.

The luminance saturation determination unit calculates the determination value based on a luminance value of luminance data in an area including the target pixel and a saturation value calculated based on two color difference data in the area including the target pixel. The noise adding circuit according to claim 3, wherein the noise adding circuit is calculated.

The noise addition circuit according to claim 4, wherein the luminance saturation determination unit calculates the determination value by combining the luminance and the saturation at a ratio according to a set value.

The coefficient generation unit includes a computation for multiplying the composite judgment value to the edge determination value, to generate the coefficient in response to the output result of the arithmetic unit, of the claims 3-5, characterized in that The noise adding circuit according to any one of the above.

Determine the presence or absence of an edge in the area containing the pixel of interest and generate an edge determination value,
The flatness determination value is generated by determining the flatness of the region including the target pixel,
A coefficient is generated by calculating the edge determination value and the flatness determination value,
Based on a pixel value and a random number in a region including the target pixel, a noise added pixel in which noise is added to the target pixel is generated,
Based on the coefficient, the pixel of interest and the noise-added pixel are combined to generate a combined pixel.
A noise adding method characterized by the above.

Generating a determination value based on luminance and saturation in a region including the target pixel;
A composite determination value is generated by combining the determination value based on the luminance and the saturation and the flatness determination value,
Calculating the edge determination value and the combined determination value to generate the coefficient;
The noise adding method according to claim 7, wherein: