JP6467178B2

JP6467178B2 - Image processing apparatus and image processing method

Info

Publication number: JP6467178B2
Application number: JP2014202326A
Authority: JP
Inventors: 岡本　彰; 彰岡本; 卓也澤田; 英輝大安
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2014-09-30
Filing date: 2014-09-30
Publication date: 2019-02-06
Anticipated expiration: 2034-09-30
Also published as: JP2016071748A

Description

本発明は、画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.

下記特許文献１には、入力画像の画素毎にエッジ量を検出し、当該エッジ量に応じて複数の強調フィルタを切り替えて適用する画像処理装置が開示されている。また当該特許文献１には、画像を予め平滑化してからエッジ量の検出を行うことにより、ノイズの影響が少ない安定したエッジ量の検出が可能となることが開示されている。 Patent Document 1 below discloses an image processing apparatus that detects an edge amount for each pixel of an input image, and switches and applies a plurality of enhancement filters according to the edge amount. Japanese Patent Application Laid-Open No. H10-228561 discloses that by detecting an edge amount after smoothing an image in advance, it is possible to detect a stable edge amount with little influence of noise.

特開２００９−２５８６２号公報JP 2009-25862 A

上記特許文献１に開示された画像処理装置によると、エッジの強調処理に先立つ平滑化処理の効果が過剰な場合には、エッジも平滑化されるため、強調処理後の画像においてエッジが曖昧となる。一方、エッジの強調処理に先立つ平滑化処理の効果が不十分な場合には、ノイズが完全には除去されないため、強調処理によってノイズも強調されてしまう。このように上記特許文献１に開示された画像処理装置によると、画像を予め平滑化してからエッジ量の検出を行ったとしても、ノイズの抑制とエッジの強調とを効果的に両立することが困難であるという問題がある。 According to the image processing apparatus disclosed in Patent Document 1 described above, when the effect of the smoothing process prior to the edge enhancement process is excessive, the edge is also smoothed, so that the edge is unclear in the image after the enhancement process. Become. On the other hand, when the effect of the smoothing process prior to the edge enhancement process is insufficient, the noise is not completely removed, and thus the noise is also enhanced by the enhancement process. As described above, according to the image processing apparatus disclosed in Patent Document 1, even if the edge amount is detected after the image is smoothed in advance, it is possible to effectively achieve both noise suppression and edge enhancement. There is a problem that it is difficult.

本発明はかかる問題を解決するために成されたものであり、ノイズの抑制とエッジの強調とを効果的に両立することが可能な画像処理装置及び画像処理方法を得ることを目的とするものである。 The present invention has been made to solve such a problem, and an object thereof is to obtain an image processing apparatus and an image processing method capable of effectively achieving both noise suppression and edge enhancement. It is.

本発明の第１の態様に係る画像処理装置は、画像内のノイズを除去するノイズ除去処理部と、前記ノイズ除去処理部よりも後段に接続され、画像内のエッジを強調するエッジ強調処理部と、を備え、前記ノイズ除去処理部は、画像内のノイズを除去するローパスフィルタと、画像内のエッジを検出する第１のエッジ検出部と、前記第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第１のエッジ強度算出部と、前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定する第１のフィルタ強度設定部と、を有し、前記エッジ強調処理部は、画像内のエッジを強調するエッジ強調フィルタと、画像内のエッジを検出する第２のエッジ検出部と、前記第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第２のエッジ強度算出部と、前記第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定する強調強度設定部と、を有し、前記第１のフィルタ強度設定部は、エッジ強度が第１のしきい値未満であり画像の平坦部分に属する画素に関しては、第１のフィルタ強度を設定し、エッジ強度が第１のしきい値以上であり画像のエッジ部分に属する画素に関しては、第１のフィルタ強度よりも低い第２のフィルタ強度を設定することを特徴とするものである。
An image processing apparatus according to a first aspect of the present invention includes a noise removal processing unit that removes noise in an image, and an edge enhancement processing unit that is connected downstream from the noise removal processing unit and emphasizes an edge in the image. And the noise removal processing unit is based on a low-pass filter that removes noise in the image, a first edge detection unit that detects an edge in the image, and a detection result by the first edge detection unit. A first edge strength calculator that calculates the edge strength of each pixel in the image, and the filter strength of the low-pass filter for each pixel based on the edge strength calculated by the first edge strength calculator. A first filter strength setting unit for setting, the edge enhancement processing unit for enhancing an edge in the image, and a second edge detection for detecting the edge in the image And a second edge strength calculator that calculates an edge strength of each pixel in the image based on a detection result by the second edge detector, and an edge strength calculated by the second edge strength calculator based on the edge enhancement strength of the edge enhancement filter possess the enhancement intensity setting unit that sets each pixel, wherein the first filter strength setting unit, the edge strength be less than the first threshold value A first filter strength is set for pixels belonging to the flat portion of the image, and a first filter strength lower than the first filter strength is set for pixels belonging to the edge portion of the image whose edge strength is equal to or higher than the first threshold value. A filter strength of 2 is set .

第１の態様に係る画像処理装置によれば、第１のエッジ検出部は、画像内のエッジを検出し、第１のエッジ強度算出部は、第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、第１のフィルタ強度設定部は、第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度を画素毎に設定する。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ノイズ除去処理部によってノイズが効果的に除去された画像に対して、エッジ強調処理部によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。 According to the image processing apparatus according to the first aspect, the first edge detection unit detects an edge in the image, and the first edge strength calculation unit is based on a detection result by the first edge detection unit. The edge strength of each pixel in the image is calculated. Then, the first filter strength setting unit sets the filter strength of the low-pass filter for each pixel based on the edge strength calculated by the first edge strength calculation unit. Thereby, the filter strength of the low-pass filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively high filter strength for pixels belonging to the flat portion of the image, noise can be effectively removed, and for pixels belonging to the edge portion of the image, a relatively low filter strength is set. By setting, it is possible to avoid the edge from being smoothed. Therefore, by performing edge enhancement processing by the edge enhancement processing unit on the image from which noise has been effectively removed by the noise removal processing unit, it is possible to avoid noise enhancement during the edge enhancement processing. As a result, it is possible to effectively achieve both noise suppression and edge enhancement.

また、第１の態様に係る画像処理装置によれば、第２のエッジ検出部は、画像内のエッジを検出し、第２のエッジ強度算出部は、第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、強調強度設定部は、第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１の態様に係る画像処理装置によれば、画像の平坦部分に属する画素に関しては、比較的高い第１のフィルタ強度を設定することにより、平坦部分のノイズを効果的に除去することができる。また、画像のエッジ部分に属する画素に関しては、比較的低い第２のフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。その結果、ノイズ除去処理において、エッジが平滑化されることを回避しつつ、平坦部分のノイズを効果的に除去することが可能となる。
Further, according to the image processing apparatus according to the first aspect, the second edge detection unit detects an edge in the image, and the second edge strength calculation unit determines the detection result by the second edge detection unit. Based on this, the edge strength of each pixel in the image is calculated. Then, the enhancement strength setting unit sets the edge enhancement strength of the edge enhancement filter for each pixel based on the edge strength calculated by the second edge strength calculation unit. Thereby, the enhancement strength of the edge enhancement filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively low enhancement strength for pixels belonging to a flat portion of an image, it is possible to avoid the enhancement of residual noise, and for pixels belonging to an edge portion of an image, a relatively high enhancement strength. By setting, the edge can be emphasized. As a result, since it is possible to enhance the edge while avoiding noise enhancement, it is possible to effectively achieve both noise suppression and edge enhancement.
Moreover, according to the image processing apparatus which concerns on a 1st aspect, regarding the pixel which belongs to the flat part of an image, the noise of a flat part can be effectively removed by setting comparatively high 1st filter strength. Can do. For pixels belonging to the edge portion of the image, the edge can be prevented from being smoothed by setting a relatively low second filter strength. As a result, in the noise removal process, it is possible to effectively remove the noise on the flat portion while avoiding the smoothing of the edges.

本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記第１のフィルタ強度設定部は、エッジ強度が第２のしきい値以上であり画像の特異部分に属する画素に関しては、第２のフィルタ強度よりも低い第３のフィルタ強度を設定することを特徴とするものである。
The image processing apparatus according to the second aspect of the present invention is the image processing apparatus according to the first aspect, in particular, wherein the first filter strength setting unit has an edge strength equal to or higher than a second threshold value. For the pixels belonging to the singular part, a third filter strength lower than the second filter strength is set.

第２の態様に係る画像処理装置によれば、光源の反射部分等の画像の特異部分に属する画素に関しては、第２のフィルタ強度よりも低い第３のフィルタ強度を設定することにより、特異部分が平滑化されることを回避できる。その結果、特異部分が不鮮明な不自然な画像となることを、予め回避することが可能となる。
According to the image processing apparatus according to the second aspect, for the pixels belonging to the singular part of the image, such as the reflection part of the light source, the singular part is set by setting the third filter intensity lower than the second filter intensity. Can be prevented from being smoothed. As a result, it is possible to avoid beforehand that the singular portion is an unclear and unclear image.

本発明の第３の態様に係る画像処理装置は、第１又は第２の態様に係る画像処理装置において特に、前記第１のフィルタ強度設定部は、エッジ部分に属する画素に関しては、エッジ強度が高いほどフィルタ強度が低くなるように、エッジ強度に応じて第２のフィルタ強度を設定することを特徴とするものである。
In the image processing device according to the third aspect of the present invention, particularly in the image processing device according to the first or second aspect, the first filter strength setting unit has an edge strength for pixels belonging to the edge portion. The second filter strength is set according to the edge strength so that the filter strength decreases as the value increases.

第３の態様に係る画像処理装置によれば、第１のフィルタ強度設定部は、エッジ部分に属する画素に関しては、エッジ強度が高いほどフィルタ強度が低くなるように、エッジ強度に応じて第２のフィルタ強度を設定する。このように、エッジ強度に応じて第２のフィルタ強度を細かく制御することにより、エッジ部分全体に均一なフィルタ強度を設定する場合と比較して、ローパスフィルタのフィルタ強度を滑らかに切り替えることができる。その結果、画像が不自然になることを回避することが可能となる。
According to the image processing apparatus according to the third aspect, the first filter strength setting unit performs the second filtering according to the edge strength so that the higher the edge strength is, the lower the filter strength is for the pixels belonging to the edge portion. Set the filter strength. In this way, by finely controlling the second filter strength according to the edge strength, the filter strength of the low-pass filter can be switched more smoothly than in the case where a uniform filter strength is set for the entire edge portion. . As a result, it becomes possible to avoid the image from becoming unnatural.

本発明の第４の態様に係る画像処理装置は、画像内のノイズを除去するノイズ除去処理部と、前記ノイズ除去処理部よりも後段に接続され、画像内のエッジを強調するエッジ強調処理部と、を備え、前記ノイズ除去処理部は、画像内のノイズを除去するローパスフィルタと、画像内のエッジを検出する第１のエッジ検出部と、前記第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第１のエッジ強度算出部と、前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定する第１のフィルタ強度設定部と、を有し、前記エッジ強調処理部は、画像内のエッジを強調するエッジ強調フィルタと、画像内のエッジを検出する第２のエッジ検出部と、前記第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第２のエッジ強度算出部と、前記第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定する強調強度設定部と、を有し、前記ノイズ除去処理部は、前記第１のエッジ検出部による検出結果に基づいて、エッジの画面周波数を解析する周波数解析部と、前記周波数解析部による解析結果に基づいて、前記ローパスフィルタのフィルタ強度の許容設定範囲を画像毎に設定する範囲設定部と、をさらに有し、前記第１のフィルタ強度設定部は、前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を、前記範囲設定部によって設定された許容設定範囲内で画素毎に設定することを特徴とするものである。
An image processing apparatus according to a fourth aspect of the present invention includes a noise removal processing unit that removes noise in an image, and an edge enhancement processing unit that is connected downstream from the noise removal processing unit and emphasizes an edge in the image. And the noise removal processing unit is based on a low-pass filter that removes noise in the image, a first edge detection unit that detects an edge in the image, and a detection result by the first edge detection unit. A first edge strength calculator that calculates the edge strength of each pixel in the image, and the filter strength of the low-pass filter for each pixel based on the edge strength calculated by the first edge strength calculator. A first filter strength setting unit for setting, the edge enhancement processing unit for enhancing an edge in the image, and a second edge detection for detecting the edge in the image And a second edge strength calculator that calculates an edge strength of each pixel in the image based on a detection result by the second edge detector, and an edge strength calculated by the second edge strength calculator Based on the detection result by the first edge detection unit , the enhancement unit for setting the edge enhancement strength of the edge enhancement filter for each pixel based on the detection result A frequency analysis unit that analyzes the screen frequency of the image, and a range setting unit that sets an allowable setting range of the filter strength of the low-pass filter for each image based on an analysis result by the frequency analysis unit, The filter strength setting unit of 1 sets the filter strength of the low-pass filter based on the edge strength calculated by the first edge strength calculation unit to the range setting unit. Thus it is characterized in that the setting for each pixel within the set allowable setting range.

第４の態様に係る画像処理装置によれば、第１のエッジ検出部は、画像内のエッジを検出し、第１のエッジ強度算出部は、第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、第１のフィルタ強度設定部は、第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度を画素毎に設定する。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ノイズ除去処理部によってノイズが効果的に除去された画像に対して、エッジ強調処理部によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第４の態様に係る画像処理装置によれば、第２のエッジ検出部は、画像内のエッジを検出し、第２のエッジ強度算出部は、第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、強調強度設定部は、第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第４の態様に係る画像処理装置によれば、周波数解析部は、第１のエッジ検出部による検出結果に基づいて、エッジの画面周波数を解析し、範囲設定部は、周波数解析部による解析結果に基づいて、ローパスフィルタのフィルタ強度の許容設定範囲を画像毎に設定する。そして、第１のフィルタ強度設定部は、第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度を、範囲設定部によって設定された許容設定範囲内で画素毎に設定する。これにより、ローパスフィルタのフィルタ強度の許容設定範囲を、エッジの画面周波数に応じて画像毎に適応的に切り替えることが可能となる。
According to the image processing device of the fourth aspect, the first edge detection unit detects an edge in the image, and the first edge strength calculation unit is based on a detection result by the first edge detection unit. The edge strength of each pixel in the image is calculated. Then, the first filter strength setting unit sets the filter strength of the low-pass filter for each pixel based on the edge strength calculated by the first edge strength calculation unit. Thereby, the filter strength of the low-pass filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively high filter strength for pixels belonging to the flat portion of the image, noise can be effectively removed, and for pixels belonging to the edge portion of the image, a relatively low filter strength is set. By setting, it is possible to avoid the edge from being smoothed. Therefore, by performing edge enhancement processing by the edge enhancement processing unit on the image from which noise has been effectively removed by the noise removal processing unit, it is possible to avoid noise enhancement during the edge enhancement processing. As a result, it is possible to effectively achieve both noise suppression and edge enhancement.
Further, according to the image processing device of the fourth aspect, the second edge detection unit detects an edge in the image, and the second edge strength calculation unit determines the detection result by the second edge detection unit. Based on this, the edge strength of each pixel in the image is calculated. Then, the enhancement strength setting unit sets the edge enhancement strength of the edge enhancement filter for each pixel based on the edge strength calculated by the second edge strength calculation unit. Thereby, the enhancement strength of the edge enhancement filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively low enhancement strength for pixels belonging to a flat portion of an image, it is possible to avoid the enhancement of residual noise, and for pixels belonging to an edge portion of an image, a relatively high enhancement strength. By setting, the edge can be emphasized. As a result, since it is possible to enhance the edge while avoiding noise enhancement, it is possible to effectively achieve both noise suppression and edge enhancement.
Moreover, according to the image processing apparatus which concerns on a 4th aspect, a frequency analysis part analyzes the screen frequency of an edge based on the detection result by a 1st edge detection part, and a range setting part is based on a frequency analysis part. Based on the analysis result, the allowable setting range of the filter strength of the low-pass filter is set for each image. The first filter strength setting unit sets the filter strength of the low-pass filter for each pixel within the allowable setting range set by the range setting unit based on the edge strength calculated by the first edge strength calculation unit. Set. As a result, the allowable setting range of the filter strength of the low-pass filter can be adaptively switched for each image according to the screen frequency of the edge.

本発明の第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置において特に、前記範囲設定部は、エッジの画面周波数が比較的低い周波数領域に集中する画像に関しては、フィルタ強度が比較的高い範囲内で分布するように許容設定範囲を設定し、エッジの画面周波数が比較的高い周波数領域に集中する画像に関しては、フィルタ強度が比較的低い範囲内で分布するように許容設定範囲を設定することを特徴とするものである。
The image processing apparatus according to a fifth aspect of the present invention is the image processing apparatus according to the fourth aspect, in particular, the range setting unit is configured to filter an image concentrated on a frequency region where the screen frequency of edges is relatively low. The allowable setting range is set so that the intensity is distributed within a relatively high range, and for an image where the edge screen frequency is concentrated in a relatively high frequency range, the filter intensity is allowed to be distributed within a relatively low range. A setting range is set.

第５の態様に係る画像処理装置によれば、エッジの画面周波数が比較的低い周波数領域に集中する画像（平坦部分を多く含む画像）に関しては、フィルタ強度が比較的高い範囲内で分布するように許容設定範囲を設定することにより、平坦部分のノイズを効果的に除去することができる。また、エッジの画面周波数が比較的高い周波数領域に集中する画像（中〜高周波のエッジを多く含む画像）に関しては、フィルタ強度が比較的低い範囲内で分布するように許容設定範囲を設定することにより、エッジが平滑化されることを回避できる。その結果、ノイズ除去処理において、エッジが平滑化されることを回避しつつ、平坦部分のノイズを効果的に除去することが可能となる。
According to the image processing apparatus of the fifth aspect, with respect to an image concentrated on a frequency region where the edge screen frequency is relatively low (an image including many flat portions), the filter strength is distributed within a relatively high range. By setting the permissible setting range, noise on the flat portion can be effectively removed. In addition, for images in which the edge screen frequency is concentrated in a relatively high frequency range (images that include many medium to high frequency edges), the allowable setting range should be set so that the filter strength is distributed within a relatively low range. Thus, smoothing of the edge can be avoided. As a result, in the noise removal process, it is possible to effectively remove the noise on the flat portion while avoiding the smoothing of the edges.

本発明の第６の態様に係る画像処理装置は、画像内のノイズを除去するノイズ除去処理部と、前記ノイズ除去処理部よりも後段に接続され、画像内のエッジを強調するエッジ強調処理部と、を備え、前記ノイズ除去処理部は、画像内のノイズを除去するローパスフィルタと、画像内のエッジを検出する第１のエッジ検出部と、前記第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第１のエッジ強度算出部と、前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定する第１のフィルタ強度設定部と、を有し、前記エッジ強調処理部は、画像内のエッジを強調するエッジ強調フィルタと、画像内のエッジを検出する第２のエッジ検出部と、前記第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第２のエッジ強度算出部と、前記第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定する強調強度設定部と、を有し、前記エッジ強調処理部は、時系列で連続する複数の画像に基づいて、画像の変動量を算出する変動量算出部をさらに有し、前記強調強度設定部は、前記第２のエッジ強度算出部によって算出されたエッジ強度と、前記変動量算出部によって算出された変動量とに基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定することを特徴とするものである。
An image processing apparatus according to a sixth aspect of the present invention includes a noise removal processing unit that removes noise in an image, and an edge enhancement processing unit that is connected downstream from the noise removal processing unit and emphasizes an edge in the image. And the noise removal processing unit is based on a low-pass filter that removes noise in the image, a first edge detection unit that detects an edge in the image, and a detection result by the first edge detection unit. A first edge strength calculator that calculates the edge strength of each pixel in the image, and the filter strength of the low-pass filter for each pixel based on the edge strength calculated by the first edge strength calculator. A first filter strength setting unit for setting, the edge enhancement processing unit for enhancing an edge in the image, and a second edge detection for detecting the edge in the image And a second edge strength calculator that calculates an edge strength of each pixel in the image based on a detection result by the second edge detector, and an edge strength calculated by the second edge strength calculator An edge enhancement filter for setting the edge enhancement strength of the edge enhancement filter for each pixel, and the edge enhancement processing unit is configured to change the image based on a plurality of continuous images in time series. A variation amount calculation unit for calculating an amount; and the enhancement strength setting unit is based on the edge strength calculated by the second edge strength calculation unit and the variation amount calculated by the variation amount calculation unit. The edge enhancement strength of the edge enhancement filter is set for each pixel.

第６の態様に係る画像処理装置によれば、第１のエッジ検出部は、画像内のエッジを検出し、第１のエッジ強度算出部は、第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、第１のフィルタ強度設定部は、第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度を画素毎に設定する。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ノイズ除去処理部によってノイズが効果的に除去された画像に対して、エッジ強調処理部によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第６の態様に係る画像処理装置によれば、第２のエッジ検出部は、画像内のエッジを検出し、第２のエッジ強度算出部は、第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、強調強度設定部は、第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第６の態様に係る画像処理装置によれば、変動量算出部は、時系列で連続する複数の画像に基づいて、画像の変動量を算出する。また、強調強度設定部は、第２のエッジ強度算出部によって算出されたエッジ強度と、変動量算出部によって算出された変動量とに基づいて、エッジ強調フィルタのエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度と画像の変動量とに応じて画素毎に適応的に切り替えることが可能となる。
According to the image processing device of the sixth aspect, the first edge detection unit detects an edge in the image, and the first edge strength calculation unit is based on a detection result by the first edge detection unit. The edge strength of each pixel in the image is calculated. Then, the first filter strength setting unit sets the filter strength of the low-pass filter for each pixel based on the edge strength calculated by the first edge strength calculation unit. Thereby, the filter strength of the low-pass filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively high filter strength for pixels belonging to the flat portion of the image, noise can be effectively removed, and for pixels belonging to the edge portion of the image, a relatively low filter strength is set. By setting, it is possible to avoid the edge from being smoothed. Therefore, by performing edge enhancement processing by the edge enhancement processing unit on the image from which noise has been effectively removed by the noise removal processing unit, it is possible to avoid noise enhancement during the edge enhancement processing. As a result, it is possible to effectively achieve both noise suppression and edge enhancement.
Further, according to the image processing device according to the sixth aspect, the second edge detection unit detects an edge in the image, and the second edge strength calculation unit determines the detection result by the second edge detection unit. Based on this, the edge strength of each pixel in the image is calculated. Then, the enhancement strength setting unit sets the edge enhancement strength of the edge enhancement filter for each pixel based on the edge strength calculated by the second edge strength calculation unit. Thereby, the enhancement strength of the edge enhancement filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively low enhancement strength for pixels belonging to a flat portion of an image, it is possible to avoid the enhancement of residual noise, and for pixels belonging to an edge portion of an image, a relatively high enhancement strength. By setting, the edge can be emphasized. As a result, since it is possible to enhance the edge while avoiding noise enhancement, it is possible to effectively achieve both noise suppression and edge enhancement.
Further , according to the image processing device of the sixth aspect, the fluctuation amount calculation unit calculates the fluctuation amount of the image based on a plurality of images that are continuous in time series. Further, the enhancement strength setting unit sets the edge enhancement strength of the edge enhancement filter for each pixel based on the edge strength calculated by the second edge strength calculation unit and the variation amount calculated by the variation amount calculation unit. To do. As a result, the enhancement strength of the edge enhancement filter can be adaptively switched for each pixel in accordance with the edge strength of each pixel and the variation amount of the image.

本発明の第７の態様に係る画像処理装置は、第６の態様に係る画像処理装置において特に、前記強調強度設定部は、エッジ強度が第１のしきい値未満であり画像の平坦部分に属する画素に関しては、第１の強調強度を設定し、エッジ強度が第１のしきい値以上であり画像のエッジ部分に属する画素に関しては、第１の強調強度よりも高い第２の強調強度を設定することを特徴とするものである。
An image processing apparatus according to a seventh aspect of the present invention is the image processing apparatus according to the sixth aspect, in particular, wherein the enhancement strength setting unit has an edge strength less than the first threshold value and is applied to a flat portion of the image. A first enhancement strength is set for a pixel belonging to the pixel, and a second enhancement strength higher than the first enhancement strength is set for a pixel belonging to the edge portion of the image whose edge strength is equal to or higher than the first threshold value. It is characterized by setting.

第７の態様に係る画像処理装置によれば、画像の平坦部分に属する画素に関しては、比較的低い第１の強調強度を設定することにより、平坦部分のノイズが強調されることを回避できる。また、画像のエッジ部分に属する画素に関しては、比較的高い第２の強調強度を設定することにより、エッジを強調することができる。その結果、エッジ強調処理において、ノイズが強調されることを回避しつつ、エッジを強調することが可能となる。
With the image processing device according to the seventh aspect, it is possible to avoid emphasizing the noise in the flat portion by setting a relatively low first enhancement strength for pixels belonging to the flat portion of the image. For pixels belonging to the edge portion of the image, the edge can be emphasized by setting a relatively high second enhancement strength. As a result, it is possible to enhance the edge while avoiding noise enhancement in the edge enhancement processing.

本発明の第８の態様に係る画像処理装置は、第７の態様に係る画像処理装置において特に、前記強調強度設定部は、エッジ部分に近接する平坦部分に属する画素に関しては、エッジ強度が高いほど強調強度が高くなるように、エッジ強度に応じて第１の強調強度を設定することを特徴とするものである。
In the image processing device according to the eighth aspect of the present invention, in particular, in the image processing device according to the seventh aspect, the enhancement strength setting unit has a high edge strength for pixels belonging to a flat portion close to the edge portion. The first emphasis strength is set according to the edge strength so that the emphasis strength becomes higher.

第８の態様に係る画像処理装置によれば、強調強度設定部は、エッジ部分に近接する平坦部分に属する画素に関しては、エッジ強度が高いほど強調強度が高くなるように、エッジ強度に応じて第１の強調強度を設定する。このように、エッジ部分と平坦部分との境界部分に関してはエッジ強度に応じて第１の強調強度を細かく制御することにより、平坦部分全体に均一な強調強度を設定する場合と比較して、エッジ強調フィルタの強調強度を滑らかに切り替えることができる。その結果、エッジ部分と平坦部分との境界部分において画像が不自然になることを回避することが可能となる。
According to the image processing device according to the eighth aspect, the enhancement strength setting unit determines the enhancement strength with respect to the pixels belonging to the flat portion adjacent to the edge portion so that the enhancement strength increases as the edge strength increases. A first enhancement strength is set. In this way, with respect to the boundary portion between the edge portion and the flat portion, the first enhancement strength is finely controlled in accordance with the edge strength, so that the edge portion is compared with the case where uniform enhancement strength is set for the entire flat portion. The enhancement strength of the enhancement filter can be switched smoothly. As a result, it is possible to avoid the image from becoming unnatural at the boundary portion between the edge portion and the flat portion.

本発明の第９の態様に係る画像処理装置は、第７又は第８の態様に係る画像処理装置において特に、前記強調強度設定部は、画像の変動量が所定値未満である画像に関しては、エッジ部分に属する画素に関して第２の強調強度を設定し、画像の変動量が所定値以上である画像に関しては、エッジ部分に属する画素に関して、第２の強調強度よりも高い第３の強調強度を設定することを特徴とするものである。
In the image processing device according to the ninth aspect of the present invention, in particular, in the image processing device according to the seventh or eighth aspect, the enhancement intensity setting unit relates to an image in which the variation amount of the image is less than a predetermined value. The second enhancement strength is set for the pixels belonging to the edge portion, and the third enhancement strength higher than the second enhancement strength is set for the pixels belonging to the edge portion for an image in which the variation amount of the image is a predetermined value or more. It is characterized by setting.

第９の態様に係る画像処理装置によれば、エッジ部分に属する画素に強調強度を設定するにあたり、画像の変動量が所定値以上である画像（動きの大きい画像）に関しては、画像の変動量が所定値未満である画像（動きの小さい画像）よりも高い強調強度を設定することにより、動きに伴うエッジの不鮮明化を回避することが可能となる。
According to the image processing device of the ninth aspect, when setting the enhancement strength to the pixels belonging to the edge portion, the image variation amount is related to an image (an image having a large motion) whose image variation amount is a predetermined value or more. By setting a higher emphasis strength than an image having an image less than a predetermined value (an image with small motion), it becomes possible to avoid blurring of the edge due to the motion.

本発明の第１０の態様に係る画像処理装置は、第７〜第９のいずれか一つの態様に係る画像処理装置において特に、前記強調強度設定部は、エッジ強度が第２のしきい値以上であり画像の特異部分に属する画素に関しては、第２の強調強度よりも高い第４の強調強度を設定することを特徴とするものである。
The image processing device according to a tenth aspect of the present invention is the image processing device according to any one of the seventh to ninth aspects, in particular, the enhancement strength setting unit has an edge strength equal to or greater than a second threshold value. For the pixels belonging to the specific part of the image, a fourth enhancement strength higher than the second enhancement strength is set.

第１０の態様に係る画像処理装置によれば、光源の反射部分等の画像の特異部分に属する画素に関しては、第２の強調強度よりも高い第４の強調強度を設定することにより、特異部分を強調することができる。その結果、特異部分を鮮明化することが可能となる。
According to the image processing device of the tenth aspect, for the pixels belonging to the singular part of the image such as the reflection part of the light source, the singular part is set by setting the fourth enhancement intensity higher than the second enhancement intensity. Can be emphasized. As a result, it is possible to sharpen the unique part.

本発明の第１１の態様に係る画像処理装置は、第１０の態様に係る画像処理装置において特に、前記強調強度設定部は、画像の変動量が所定値未満である画像に関しては、特異部分に属する画素に関して第４の強調強度を設定し、画像の変動量が所定値以上である画像に関しては、特異部分に属する画素に関して、第４の強調強度よりも高い第５の強調強度を設定することを特徴とするものである。
In the image processing device according to the eleventh aspect of the present invention, in particular, in the image processing device according to the tenth aspect, the enhancement strength setting unit is a singular part with respect to an image whose image variation is less than a predetermined value. A fourth enhancement strength is set for a pixel to which the pixel belongs, and a fifth enhancement strength higher than the fourth enhancement strength is set for a pixel belonging to the singular part for an image in which the variation amount of the image is a predetermined value or more. It is characterized by.

第１１の態様に係る画像処理装置によれば、特異部分に属する画素に強調強度を設定するにあたり、画像の変動量が所定値以上である画像（動きの大きい画像）に関しては、画像の変動量が所定値未満である画像（動きの小さい画像）よりも高い強調強度を設定することにより、動きに伴う特異部分の不鮮明化を回避することが可能となる。
According to the image processing device of the eleventh aspect, when setting the enhancement strength for the pixels belonging to the singular part, the image variation amount is related to an image (an image having a large motion) whose image variation amount is a predetermined value or more. By setting a higher emphasis strength than an image with an image less than a predetermined value (an image with small motion), it is possible to avoid blurring of a singular part due to motion.

本発明の第１２の態様に係る画像処理装置は、第６〜第１１のいずれか一つの態様に係る画像処理装置において特に、前記ノイズ除去処理部は、前記第１のエッジ検出部による検出結果に基づいて、エッジの画面周波数を解析する周波数解析部をさらに有し、前記エッジ強調処理部は、前記エッジ強調フィルタの前段に接続されたハイパスフィルタと、前記周波数解析部による解析結果に基づいて、前記ハイパスフィルタのフィルタ強度を画像毎に設定する第２のフィルタ強度設定部と、をさらに有することを特徴とするものである。
The image processing device according to a twelfth aspect of the present invention is the image processing device according to any one of the sixth to eleventh aspects, and in particular, the noise removal processing unit is a detection result by the first edge detection unit. The edge enhancement processing unit further includes a high-pass filter connected to a preceding stage of the edge enhancement filter, and an analysis result by the frequency analysis unit. And a second filter strength setting unit that sets the filter strength of the high-pass filter for each image.

第１２の態様に係る画像処理装置によれば、エッジ強調フィルタの前段にハイパスフィルタを接続することにより、低周波のノイズがエッジ強調フィルタによって強調されることを回避できる。また、第２のフィルタ強度設定部は、エッジの画面周波数に基づいて、ハイパスフィルタのフィルタ強度を画像毎に設定する。これにより、ハイパスフィルタのフィルタ強度を、エッジの画面周波数に応じて画像毎に適応的に切り替えることが可能となる。
According to the image processing device of the twelfth aspect, it is possible to prevent low-frequency noise from being emphasized by the edge enhancement filter by connecting the high pass filter before the edge enhancement filter. The second filter strength setting unit sets the filter strength of the high-pass filter for each image based on the edge screen frequency. As a result, the filter strength of the high-pass filter can be adaptively switched for each image according to the screen frequency of the edge.

本発明の第１３の態様に係る画像処理装置は、第１２の態様に係る画像処理装置において特に、前記第２のフィルタ強度設定部は、エッジの画面周波数が比較的低い周波数領域に集中する画像に関しては、カットオフ周波数が比較的低くなるようにフィルタ強度を設定し、エッジの画面周波数が比較的高い周波数領域に集中する画像に関しては、カットオフ周波数が比較的高くなるようにフィルタ強度を設定することを特徴とするものである。
An image processing apparatus according to a thirteenth aspect of the present invention is the image processing apparatus according to the twelfth aspect, in particular, the second filter strength setting unit is an image in which the edge screen frequency is concentrated in a relatively low frequency region , Set the filter strength so that the cut-off frequency is relatively low, and set the filter strength so that the cut-off frequency is relatively high for images that are concentrated in the frequency region where the screen frequency of the edge is relatively high. It is characterized by doing.

第１３の態様に係る画像処理装置によれば、エッジの画面周波数が比較的低い周波数領域に集中する画像（低周波のエッジを多く含む画像）に関しては、カットオフ周波数が比較的低くなるようにフィルタ強度を設定することにより、低周波のエッジはハイパスフィルタを通過するため、低周波のエッジをエッジ強調フィルタによって強調することができる。また、エッジの画面周波数が比較的高い周波数領域に集中する画像（中〜高周波のエッジを多く含む画像）に関しては、カットオフ周波数が比較的高くなるようにフィルタ強度を設定することにより、低周波のノイズはハイパスフィルタによって遮断されるため、低周波のノイズがエッジ強調フィルタによって強調されることを回避できる。また、中〜高周波のエッジはハイパスフィルタを通過するため、中〜高周波のエッジをエッジ強調フィルタによって強調することができる。
According to the image processing apparatus of the thirteenth aspect, the cut-off frequency is relatively low with respect to an image concentrated on a frequency region where the edge screen frequency is relatively low (an image including many low-frequency edges). By setting the filter strength, since the low frequency edge passes through the high pass filter, the low frequency edge can be emphasized by the edge enhancement filter. For images that are concentrated in a frequency region where the edge screen frequency is relatively high (images that include many medium to high frequency edges), the filter strength is set so that the cut-off frequency is relatively high. Is blocked by the high-pass filter, so that low-frequency noise can be prevented from being emphasized by the edge enhancement filter. Further, since the middle to high frequency edges pass through the high-pass filter, the middle to high frequency edges can be emphasized by the edge enhancement filter.

本発明の第１４の態様に係る画像処理装置は、第１〜第１３のいずれか一つの態様に係る画像処理装置において特に、前記ノイズ除去処理部は、色データで構成される画像を処理し、前記エッジ強調処理部は、輝度データ及び色差データで構成される画像を処理することを特徴とするものである。
The image processing device according to a fourteenth aspect of the present invention is the image processing device according to any one of the first to thirteenth aspects, in which the noise removal processing unit processes an image composed of color data. The edge enhancement processing unit processes an image composed of luminance data and color difference data.

第１４の態様に係る画像処理装置によれば、ノイズ除去処理部は、色データで構成される画像（例えばＢａｙｅｒ領域の画像）を処理し、エッジ強調処理部は、輝度データ及び色差データで構成される画像（例えばＹＵＶ領域の画像）を処理する。このように、ノイズ除去処理を、色空間変換前のＢａｙｅｒ領域の画像に対して実行することにより、早期の段階で効果的にノイズを除去でき、その結果、色空間変換時にノイズが拡散することを防止することが可能となる。
According to the image processing apparatus of the fourteenth aspect, the noise removal processing unit processes an image composed of color data (for example, an image of a Bayer region), and the edge enhancement processing unit is composed of luminance data and color difference data. Processed images (for example, images in the YUV region) are processed. As described above, by executing the noise removal processing on the image of the Bayer region before the color space conversion, the noise can be effectively removed at an early stage, and as a result, the noise is diffused during the color space conversion. Can be prevented.

本発明の第１５の態様に係る画像処理方法は、（Ａ）画像内のノイズを除去するステップと、（Ｂ）前記ステップ（Ａ）よりも後に実行され、画像内のエッジを強調するステップと、を備え、前記ステップ（Ａ）は、（Ａ−１）ローパスフィルタによって画像内のノイズを除去するステップと、（Ａ−２）画像内のエッジを検出するステップと、（Ａ−３）前記ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ａ−４）前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定するステップと、を有し、前記ステップ（Ｂ）は、（Ｂ−１）エッジ強調フィルタによって画像内のエッジを強調するステップと、（Ｂ−２）画像内のエッジを検出するステップと、（Ｂ−３）前記ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ｂ−４）前記ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定するステップと、を有し、前記ステップ（Ａ−４）においては、エッジ強度が第１のしきい値未満であり画像の平坦部分に属する画素に関しては、第１のフィルタ強度を設定し、エッジ強度が第１のしきい値以上であり画像のエッジ部分に属する画素に関しては、第１のフィルタ強度よりも低い第２のフィルタ強度を設定することを特徴とするものである。
An image processing method according to a fifteenth aspect of the present invention includes (A) a step of removing noise in an image, and (B) a step that is executed after the step (A) and emphasizes an edge in the image; The step (A) includes (A-1) removing noise in the image with a low-pass filter, (A-2) detecting an edge in the image, and (A-3) Based on the detection result in step (A-2), calculating the edge strength of each pixel in the image; (A-4) based on the edge strength calculated in step (A-3); Setting the filter strength of the low-pass filter for each pixel, and the step (B) includes (B-1) enhancing an edge in the image with an edge enhancement filter, and (B-2) an image. (B-3) calculating the edge strength of each pixel in the image based on the detection result of the step (B-2), and (B-4) the step (B-3) B-3) setting the edge enhancement strength of the edge enhancement filter for each pixel based on the edge strength calculated in step B-3). In step (A-4), the edge strength is first The first filter strength is set for pixels that are less than the threshold value and belong to the flat portion of the image. A second filter strength lower than the filter strength is set .

第１５の態様に係る画像処理方法によれば、ステップ（Ａ−２）では、画像内のエッジが検出され、ステップ（Ａ−３）では、ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ａ−４）では、ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度が画素毎に設定される。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ステップ（Ａ）によってノイズが効果的に除去された画像に対して、ステップ（Ｂ）によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
According to the image processing method of the fifteenth aspect, in step (A-2), an edge in the image is detected, and in step (A-3), based on the detection result in step (A-2), The edge strength of each pixel in the image is calculated. In step (A-4), the filter strength of the low-pass filter is set for each pixel based on the edge strength calculated in step (A-3). Thereby, the filter strength of the low-pass filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively high filter strength for pixels belonging to the flat portion of the image, noise can be effectively removed, and for pixels belonging to the edge portion of the image, a relatively low filter strength is set. By setting, it is possible to avoid the edge from being smoothed. Therefore, by performing the edge enhancement processing in step (B) on the image from which the noise has been effectively removed in step (A), it is possible to avoid noise enhancement during the edge enhancement processing. As a result, it is possible to effectively achieve both noise suppression and edge enhancement.

また、第１５の態様に係る画像処理方法によれば、ステップ（Ｂ−２）では、画像内のエッジが検出され、ステップ（Ｂ−３）では、ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ｂ−４）では、ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度が画素毎に設定される。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１５の態様に係る画像処理方法によれば、画像の平坦部分に属する画素に関しては、比較的高い第１のフィルタ強度を設定することにより、平坦部分のノイズを効果的に除去することができる。また、画像のエッジ部分に属する画素に関しては、比較的低い第２のフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。その結果、ノイズ除去処理において、エッジが平滑化されることを回避しつつ、平坦部分のノイズを効果的に除去することが可能となる。
本発明の第１６の態様に係る画像処理方法は、（Ａ）画像内のノイズを除去するステップと、（Ｂ）前記ステップ（Ａ）よりも後に実行され、画像内のエッジを強調するステップと、を備え、前記ステップ（Ａ）は、（Ａ−１）ローパスフィルタによって画像内のノイズを除去するステップと、（Ａ−２）画像内のエッジを検出するステップと、（Ａ−３）前記ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ａ−４）前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定するステップと、を有し、前記ステップ（Ｂ）は、（Ｂ−１）エッジ強調フィルタによって画像内のエッジを強調するステップと、（Ｂ−２）画像内のエッジを検出するステップと、（Ｂ−３）前記ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ｂ−４）前記ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定するステップと、を有し、前記ステップ（Ａ）は、（Ａ−５）前記ステップ（Ａ−２）による検出結果に基づいて、エッジの画面周波数を解析するステップと、（Ａ−６）前記ステップ（Ａ−５）による解析結果に基づいて、前記ローパスフィルタのフィルタ強度の許容設定範囲を画像毎に設定するステップと、をさらに有し、前記ステップ（Ａ−４）においては、前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を、前記ステップ（Ａ−６）によって設定された許容設定範囲内で画素毎に設定することを特徴とするものである。
第１６の態様に係る画像処理方法によれば、ステップ（Ａ−２）では、画像内のエッジが検出され、ステップ（Ａ−３）では、ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ａ−４）では、ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度が画素毎に設定される。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ステップ（Ａ）によってノイズが効果的に除去された画像に対して、ステップ（Ｂ）によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１６の態様に係る画像処理方法によれば、ステップ（Ｂ−２）では、画像内のエッジが検出され、ステップ（Ｂ−３）では、ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ｂ−４）では、ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度が画素毎に設定される。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１６の態様に係る画像処理方法によれば、ステップ（Ａ−５）では、ステップ（Ａ−２）による検出結果に基づいて、エッジの画面周波数が解析され、ステップ（Ａ−６）では、ステップ（Ａ−５）による解析結果に基づいて、ローパスフィルタのフィルタ強度の許容設定範囲が画像毎に設定される。そして、ステップ（Ａ−４）においては、ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度が、ステップ（Ａ−６）によって設定された許容設定範囲内で画素毎に設定される。これにより、ローパスフィルタのフィルタ強度の許容設定範囲を、エッジの画面周波数に応じて画像毎に適応的に切り替えることが可能となる。
本発明の第１７の態様に係る画像処理方法は、（Ａ）画像内のノイズを除去するステップと、（Ｂ）前記ステップ（Ａ）よりも後に実行され、画像内のエッジを強調するステップと、を備え、前記ステップ（Ａ）は、（Ａ−１）ローパスフィルタによって画像内のノイズを除去するステップと、（Ａ−２）画像内のエッジを検出するステップと、（Ａ−３）前記ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ａ−４）前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定するステップと、を有し、前記ステップ（Ｂ）は、（Ｂ−１）エッジ強調フィルタによって画像内のエッジを強調するステップと、（Ｂ−２）画像内のエッジを検出するステップと、（Ｂ−３）前記ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ｂ−４）前記ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定するステップと、を有し、前記ステップ（Ｂ）は、（Ｂ−５）時系列で連続する複数の画像に基づいて、画像の変動量を算出するステップをさらに有し、前記ステップ（Ｂ−４）においては、前記ステップ（Ｂ−３）によって算出されたエッジ強度と、前記ステップ（Ｂ−５）によって算出された変動量とに基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定することを特徴とするものである。
第１７の態様に係る画像処理方法によれば、ステップ（Ａ−２）では、画像内のエッジが検出され、ステップ（Ａ−３）では、ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ａ−４）では、ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度が画素毎に設定される。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ステップ（Ａ）によってノイズが効果的に除去された画像に対して、ステップ（Ｂ）によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１７の態様に係る画像処理方法によれば、ステップ（Ｂ−２）では、画像内のエッジが検出され、ステップ（Ｂ−３）では、ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ｂ−４）では、ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度が画素毎に設定される。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１７の態様に係る画像処理方法によれば、ステップ（Ｂ−５）では、時系列で連続する複数の画像に基づいて、画像の変動量が算出される。また、ステップ（Ｂ−４）においては、ステップ（Ｂ−３）によって算出されたエッジ強度と、ステップ（Ｂ−５）によって算出された変動量とに基づいて、エッジ強調フィルタのエッジ強調強度が画素毎に設定される。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度と画像の変動量とに応じて画素毎に適応的に切り替えることが可能となる。
In the image processing method according to the fifteenth aspect, an edge in the image is detected in step (B-2), and based on the detection result in step (B-2) in step (B-3). Thus, the edge strength of each pixel in the image is calculated. In step (B-4), the edge enhancement strength of the edge enhancement filter is set for each pixel based on the edge strength calculated in step (B-3). Thereby, the enhancement strength of the edge enhancement filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively low enhancement strength for pixels belonging to a flat portion of an image, it is possible to avoid the enhancement of residual noise, and for pixels belonging to an edge portion of an image, a relatively high enhancement strength. By setting, the edge can be emphasized. As a result, since it is possible to enhance the edge while avoiding noise enhancement, it is possible to effectively achieve both noise suppression and edge enhancement.
According to the image processing method of the fifteenth aspect, for the pixels belonging to the flat portion of the image, the noise of the flat portion can be effectively removed by setting a relatively high first filter strength. Can do. For pixels belonging to the edge portion of the image, the edge can be prevented from being smoothed by setting a relatively low second filter strength. As a result, in the noise removal process, it is possible to effectively remove the noise on the flat portion while avoiding the smoothing of the edges.
An image processing method according to a sixteenth aspect of the present invention includes (A) a step of removing noise in an image, and (B) a step that is executed after the step (A) and emphasizes an edge in the image; The step (A) includes (A-1) removing noise in the image with a low-pass filter, (A-2) detecting an edge in the image, and (A-3) Based on the detection result in step (A-2), calculating the edge strength of each pixel in the image; (A-4) based on the edge strength calculated in step (A-3); Setting the filter strength of the low-pass filter for each pixel, and the step (B) includes (B-1) enhancing an edge in the image with an edge enhancement filter, and (B-2) an image. (B-3) calculating the edge strength of each pixel in the image based on the detection result of the step (B-2), and (B-4) the step (B-3) B-3) setting the edge enhancement strength of the edge enhancement filter for each pixel based on the edge strength calculated in step B-3), and the step (A) includes (A-5) the step ( A step of analyzing the screen frequency of the edge based on the detection result of A-2); and (A-6) an allowable setting range of the filter strength of the low-pass filter based on the analysis result of the step (A-5). For each image, and in the step (A-4), based on the edge strength calculated in the step (A-3), the low pass The filter strength of the filter, is characterized in that the configuration for each pixel in the allowable setting range set by said step (A-6).
According to the image processing method of the sixteenth aspect, in step (A-2), an edge in the image is detected, and in step (A-3), based on the detection result in step (A-2), The edge strength of each pixel in the image is calculated. In step (A-4), the filter strength of the low-pass filter is set for each pixel based on the edge strength calculated in step (A-3). Thereby, the filter strength of the low-pass filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively high filter strength for pixels belonging to the flat portion of the image, noise can be effectively removed, and for pixels belonging to the edge portion of the image, a relatively low filter strength is set. By setting, it is possible to avoid the edge from being smoothed. Therefore, by performing the edge enhancement processing in step (B) on the image from which the noise has been effectively removed in step (A), it is possible to avoid noise enhancement during the edge enhancement processing. As a result, it is possible to effectively achieve both noise suppression and edge enhancement.
According to the image processing method of the sixteenth aspect, an edge in the image is detected in step (B-2), and based on the detection result in step (B-2) in step (B-3). Thus, the edge strength of each pixel in the image is calculated. In step (B-4), the edge enhancement strength of the edge enhancement filter is set for each pixel based on the edge strength calculated in step (B-3). Thereby, the enhancement strength of the edge enhancement filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively low enhancement strength for pixels belonging to a flat portion of an image, it is possible to avoid the enhancement of residual noise, and for pixels belonging to an edge portion of an image, a relatively high enhancement strength. By setting, the edge can be emphasized. As a result, since it is possible to enhance the edge while avoiding noise enhancement, it is possible to effectively achieve both noise suppression and edge enhancement.
In the image processing method according to the sixteenth aspect, in step (A-5), the screen frequency of the edge is analyzed based on the detection result in step (A-2), and step (A-6) Then, the allowable setting range of the filter strength of the low-pass filter is set for each image based on the analysis result in step (A-5). In step (A-4), based on the edge strength calculated in step (A-3), the filter strength of the low-pass filter is within the allowable setting range set in step (A-6). Set every time. As a result, the allowable setting range of the filter strength of the low-pass filter can be adaptively switched for each image according to the screen frequency of the edge.
An image processing method according to a seventeenth aspect of the present invention includes: (A) a step of removing noise in an image; and (B) a step executed after step (A) to emphasize edges in the image; The step (A) includes (A-1) removing noise in the image with a low-pass filter, (A-2) detecting an edge in the image, and (A-3) Based on the detection result in step (A-2), calculating the edge strength of each pixel in the image; (A-4) based on the edge strength calculated in step (A-3); Setting the filter strength of the low-pass filter for each pixel, and the step (B) includes (B-1) enhancing an edge in the image with an edge enhancement filter, and (B-2) an image. (B-3) calculating the edge strength of each pixel in the image based on the detection result of the step (B-2), and (B-4) the step (B-3) B-3) setting the edge enhancement strength of the edge enhancement filter for each pixel based on the edge strength calculated in step B-3), and the step (B) is (B-5) time series. The method further includes a step of calculating a variation amount of the image based on a plurality of continuous images. In the step (B-4), the edge strength calculated in the step (B-3) and the step (B-3) are calculated. The edge enhancement strength of the edge enhancement filter is set for each pixel on the basis of the fluctuation amount calculated in B-5).
According to the image processing method of the seventeenth aspect, in step (A-2), an edge in the image is detected, and in step (A-3), based on the detection result in step (A-2), The edge strength of each pixel in the image is calculated. In step (A-4), the filter strength of the low-pass filter is set for each pixel based on the edge strength calculated in step (A-3). Thereby, the filter strength of the low-pass filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively high filter strength for pixels belonging to the flat portion of the image, noise can be effectively removed, and for pixels belonging to the edge portion of the image, a relatively low filter strength is set. By setting, it is possible to avoid the edge from being smoothed. Therefore, by performing the edge enhancement processing in step (B) on the image from which the noise has been effectively removed in step (A), it is possible to avoid noise enhancement during the edge enhancement processing. As a result, it is possible to effectively achieve both noise suppression and edge enhancement.
In the image processing method according to the seventeenth aspect, an edge in the image is detected in step (B-2), and based on the detection result in step (B-2) in step (B-3). Thus, the edge strength of each pixel in the image is calculated. In step (B-4), the edge enhancement strength of the edge enhancement filter is set for each pixel based on the edge strength calculated in step (B-3). Thereby, the enhancement strength of the edge enhancement filter can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively low enhancement strength for pixels belonging to a flat portion of an image, it is possible to avoid the enhancement of residual noise, and for pixels belonging to an edge portion of an image, a relatively high enhancement strength. By setting, the edge can be emphasized. As a result, since it is possible to enhance the edge while avoiding noise enhancement, it is possible to effectively achieve both noise suppression and edge enhancement.
Further, according to the image processing method according to the seventeenth aspect, in step (B-5), the variation amount of the image is calculated based on a plurality of images that are continuous in time series. In step (B-4), the edge enhancement strength of the edge enhancement filter is determined based on the edge strength calculated in step (B-3) and the fluctuation amount calculated in step (B-5). Set for each pixel. As a result, the enhancement strength of the edge enhancement filter can be adaptively switched for each pixel in accordance with the edge strength of each pixel and the variation amount of the image.

本発明によれば、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。 According to the present invention, it is possible to effectively achieve both noise suppression and edge enhancement.

本発明の実施の形態に係る画像処理装置の構成を示す図である。It is a figure which shows the structure of the image processing apparatus which concerns on embodiment of this invention. ノイズ除去処理部の構成を示す図である。It is a figure which shows the structure of a noise removal process part. エッジ強調処理部の構成を示す図である。It is a figure which shows the structure of an edge emphasis process part. フィルタ強度設定部によるフィルタ強度の設定例を示す図である。It is a figure which shows the example of a setting of the filter strength by a filter strength setting part. 強調強度設定部による強調強度の設定例を示す図である。It is a figure which shows the example of a setting of the emphasis intensity | strength by an emphasis intensity | strength setting part. 強調強度設定部による強調強度の他の設定例を示す図である。It is a figure which shows the other example of an emphasis intensity | strength setting by an emphasis intensity | strength setting part. 第１の変形例に係るエッジ強調処理部の構成を示す図である。It is a figure which shows the structure of the edge emphasis processing part which concerns on a 1st modification. 第２の変形例に係るエッジ強調処理部の構成を示す図である。It is a figure which shows the structure of the edge emphasis processing part which concerns on a 2nd modification.

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, the element which attached | subjected the same code | symbol in different drawing shall show the same or corresponding element.

図１は、本発明の実施の形態に係る画像処理装置１の構成を示す図である。図１に示すように画像処理装置１は、ノイズ除去処理部２と、ノイズ除去処理部２の後段に接続された色空間変換部３と、色空間変換部３の後段に接続されたエッジ強調処理部４とを備えて構成されている。画像処理装置１は、外部のビデオカメラ等から入力される動画像の画像データに対して、ノイズ除去処理、色空間変換処理、及びエッジ強調処理をこの順に行う。 FIG. 1 is a diagram showing a configuration of an image processing apparatus 1 according to an embodiment of the present invention. As shown in FIG. 1, the image processing apparatus 1 includes a noise removal processing unit 2, a color space conversion unit 3 connected to the subsequent stage of the noise removal processing unit 2, and an edge enhancement connected to the subsequent stage of the color space conversion unit 3. And a processing unit 4. The image processing apparatus 1 performs noise removal processing, color space conversion processing, and edge enhancement processing in this order on image data of a moving image input from an external video camera or the like.

ノイズ除去処理部２には、色データで構成される画像データ（本実施の形態の例ではＢａｙｅｒ配列のＲＧｒＧｂＢ色空間の画像データ）が入力される。ノイズ除去処理部２は、入力された画像に対してノイズ除去処理を行う。 The noise removal processing unit 2 receives image data composed of color data (image data in the RGrGbB color space of the Bayer array in the example of the present embodiment). The noise removal processing unit 2 performs noise removal processing on the input image.

色空間変換部３は、ノイズ除去処理部２から入力されたＲＧｒＧｂＢ空間の画像データを、輝度データ及び色差データで構成される画像データ（本実施の形態の例ではＹＵＶ色空間の画像データ）に変換する。 The color space conversion unit 3 converts the image data in the RGrGbB space input from the noise removal processing unit 2 into image data (image data in the YUV color space in the example of the present embodiment) composed of luminance data and color difference data. Convert.

エッジ強調処理部４は、色空間変換部３から入力されたＹＵＶ色空間の画像データに対してエッジ強調処理を行う。 The edge enhancement processing unit 4 performs edge enhancement processing on the image data in the YUV color space input from the color space conversion unit 3.

図２は、ノイズ除去処理部２の構成を示す図である。図２の接続関係で示すようにノイズ除去処理部２は、いずれもハードウェアとして構成された、二次元ローパスフィルタ１１、フィルタ強度設定部１２、エッジ強度算出部１３、エッジ検出部１４、及びバッファ１５，１６を備えている。また、ノイズ除去処理部２はＣＰＵ１７を備えており、ＣＰＵ１７は範囲設定部１８及び周波数解析部１９として機能する。なお、範囲設定部１８及び周波数解析部１９をハードウェアとして構成しても良い。 FIG. 2 is a diagram illustrating a configuration of the noise removal processing unit 2. As shown in the connection relationship of FIG. 2, the noise removal processing unit 2 includes a two-dimensional low-pass filter 11, a filter strength setting unit 12, an edge strength calculation unit 13, an edge detection unit 14, and a buffer, all configured as hardware. 15 and 16 are provided. The noise removal processing unit 2 includes a CPU 17, and the CPU 17 functions as a range setting unit 18 and a frequency analysis unit 19. The range setting unit 18 and the frequency analysis unit 19 may be configured as hardware.

二次元ローパスフィルタ１１としては、例えば、１３ｔａｐのプログラマブルフィルタ（ＦＩＲフィルタ）が使用される。エッジ検出部１４としては、例えば、５ｔａｐのＳｏｂｅｌフィルタが使用される。 As the two-dimensional low-pass filter 11, for example, a 13 tap programmable filter (FIR filter) is used. As the edge detection unit 14, for example, a 5 tap Sobel filter is used.

図３は、エッジ強調処理部４の構成を示す図である。図３の接続関係で示すようにエッジ強調処理部４は、いずれもハードウェアとして構成された、エッジ強調フィルタ２０、強調強度設定部２１、エッジ強度算出部２２、エッジ検出部２３、変動量算出部２４、加算部２５、及び三次元ノイズリダクションフィルタ２６を備えている。 FIG. 3 is a diagram illustrating a configuration of the edge enhancement processing unit 4. As shown by the connection relationship in FIG. 3, the edge enhancement processing unit 4 is configured as hardware, the edge enhancement filter 20, the enhancement strength setting unit 21, the edge strength calculation unit 22, the edge detection unit 23, and the fluctuation amount calculation. A unit 24, an adding unit 25, and a three-dimensional noise reduction filter 26 are provided.

エッジ強調フィルタ２０としては、例えば、１３ｔａｐのプログラマブルフィルタが使用される。エッジ検出部２３としては、例えば、５ｔａｐのＳｏｂｅｌフィルタが使用される。三次元ノイズリダクションフィルタ２６としては、例えば、動き補償型よりも回路規模が小さい動き適応型のフィルタが使用される。 As the edge enhancement filter 20, for example, a 13 tap programmable filter is used. As the edge detection unit 23, for example, a 5 tap Sobel filter is used. As the three-dimensional noise reduction filter 26, for example, a motion adaptive filter having a circuit scale smaller than that of the motion compensation type is used.

以下、図１〜３を参照して、本実施の形態に係る画像処理装置１の動作について説明する。 The operation of the image processing apparatus 1 according to this embodiment will be described below with reference to FIGS.

図２を参照して、ノイズ除去処理部２の処理対象である画像データは、二次元ローパスフィルタ１１及びエッジ検出部１４に入力される。 Referring to FIG. 2, the image data that is the processing target of the noise removal processing unit 2 is input to the two-dimensional low-pass filter 11 and the edge detection unit 14.

エッジ検出部１４は、画像の１フレームに含まれる各画素に関して、８方向（上下左右の４方向及び斜め４方向）のエッジを検出する。なお、エッジ検出部１４によるエッジ検出処理は、ＲＧｒＧｂＢ色空間の１成分（例えばＧｒ成分）のみを対象として行われる。但し、２成分以上（例えばＧｒ成分及びＧｂ成分）を対象とすることにより、より高精度なエッジ検出が可能となる。 The edge detection unit 14 detects edges in eight directions (four directions up and down, left and right, and four oblique directions) for each pixel included in one frame of the image. Note that the edge detection processing by the edge detection unit 14 is performed for only one component (for example, Gr component) of the RGrGbB color space. However, by targeting two or more components (for example, a Gr component and a Gb component), edge detection with higher accuracy becomes possible.

エッジ強度算出部１３は、エッジ検出部１４によるエッジの検出結果に基づいて、各画素のエッジ強度を算出する。例えば、各画素に関して８方向のエッジ強度を加算し、その加算値の平方根として、各画素のエッジ強度を算出する。 The edge strength calculation unit 13 calculates the edge strength of each pixel based on the edge detection result by the edge detection unit 14. For example, the edge strengths in eight directions are added for each pixel, and the edge strength of each pixel is calculated as the square root of the added value.

周波数解析部１９は、エッジ検出部１４によるエッジの検出結果に基づいて、画像内におけるエッジの画面周波数を解析する。周波数解析には、二次元フーリエ変換等の一般的な解析手法を使用することができる。周波数解析部１９によって解析された各画像のエッジの画面周波数に関する情報は、範囲設定部１８及びバッファ１６に入力される。なお、１フレーム全体の画面周波数を解析する必要があるため、現フレームに関する周波数解析部１９の解析結果は、次フレームに関する設定処理に利用され、現フレームに関する設定処理には、前フレームに関する解析結果が利用される。また、周波数解析部１９による解析対象の画像は、エッジ検出後の画像に限らず、エッジ検出前の入力画像であっても良い。なお、１フレーム全体の画面周波数を解析するのではなく、画像の特徴部分を含む一部領域（例えばフレームを９分割した中の一つの領域）を対象として画面周波数の解析を行っても良く、これによって回路規模を削減することができる。 The frequency analysis unit 19 analyzes the screen frequency of the edge in the image based on the edge detection result by the edge detection unit 14. For frequency analysis, a general analysis method such as two-dimensional Fourier transform can be used. Information regarding the screen frequency of the edge of each image analyzed by the frequency analysis unit 19 is input to the range setting unit 18 and the buffer 16. Since it is necessary to analyze the screen frequency of the entire frame, the analysis result of the frequency analysis unit 19 relating to the current frame is used for the setting process relating to the next frame, and the setting result relating to the current frame includes the analysis result relating to the previous frame. Is used. The image to be analyzed by the frequency analysis unit 19 is not limited to the image after edge detection, and may be an input image before edge detection. In addition, instead of analyzing the screen frequency of the entire frame, the screen frequency may be analyzed for a partial region including the characteristic part of the image (for example, one region divided into nine frames), As a result, the circuit scale can be reduced.

範囲設定部１８は、周波数解析部１９による解析結果に基づいて、後述する画像の平坦部分及びエッジ部分に関する二次元ローパスフィルタ１１のフィルタ強度の許容設定範囲（許容上限値及び許容下限値）を、画像毎に設定する。例えば、カットオフ周波数（Ｆｃ）によって二次元ローパスフィルタ１１のフィルタ強度を設定する場合には、エッジの画面周波数が集中している周波数領域に応じて、カットオフ周波数の許容上限値及び許容下限値を画像毎に設定する。 Based on the analysis result by the frequency analysis unit 19, the range setting unit 18 sets the allowable setting range (allowable upper limit value and allowable lower limit value) of the filter strength of the two-dimensional low-pass filter 11 regarding the flat portion and the edge portion of the image described later. Set for each image. For example, when the filter strength of the two-dimensional low-pass filter 11 is set by the cut-off frequency (Fc), the allowable upper limit value and the allowable lower limit value of the cut-off frequency according to the frequency region where the edge screen frequency is concentrated. Is set for each image.

本実施の形態の例において、範囲設定部１８は、エッジの画面周波数が低〜中周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数（Ｆｓ）の０．２倍〜０．３倍の範囲に設定する。また、エッジの画面周波数が中〜高周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数の０．３倍〜０．４倍の範囲に設定する。また、エッジの画面周波数が低周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数の０．１倍〜０．２倍の範囲に設定する。つまり、範囲設定部１８は、エッジの画面周波数が比較的低い周波数領域に集中する画像に関しては、フィルタ強度が比較的高い範囲内で分布するように許容設定範囲を設定し、エッジの画面周波数が比較的高い周波数領域に集中する画像に関しては、フィルタ強度が比較的低い範囲内で分布するように許容設定範囲を設定する。また、範囲設定部１８は、エッジの画面周波数が低〜高周波数の広い領域に分散している場合には、カットオフ周波数をサンプリング周波数の０．１倍〜０．４倍の範囲に設定する。つまり、範囲設定部１８は、エッジの画面周波数が広い周波数領域に分散する画像に関しては、フィルタ強度が広い範囲内で分布するように許容設定範囲を設定する。 In the example of the present embodiment, the range setting unit 18 sets the cutoff frequency to 0.2 to 0 times the sampling frequency (Fs) when the edge screen frequency is concentrated in the low to medium frequency region. Set to a range of 3 times. When the edge screen frequency is concentrated in the middle to high frequency region, the cut-off frequency is set in the range of 0.3 to 0.4 times the sampling frequency. When the edge screen frequency is concentrated in the low frequency region, the cutoff frequency is set to a range of 0.1 to 0.2 times the sampling frequency. That is, the range setting unit 18 sets the allowable setting range so that the filter strength is distributed within a relatively high range for an image concentrated in a frequency region where the edge screen frequency is relatively low, and the edge screen frequency is For an image concentrated in a relatively high frequency region, the allowable setting range is set so that the filter strength is distributed within a relatively low range. Further, the range setting unit 18 sets the cut-off frequency in a range of 0.1 to 0.4 times the sampling frequency when the edge screen frequency is dispersed in a wide region of low to high frequency. . That is, the range setting unit 18 sets the allowable setting range so that the filter strength is distributed within a wide range for an image in which the edge screen frequency is dispersed in a wide frequency range.

フィルタ強度設定部１２は、エッジ強度算出部１３によって算出された各画素のエッジ強度に基づいて、二次元ローパスフィルタ１１のフィルタ強度を、範囲設定部１８によって設定された許容設定範囲内で画素毎に設定する。 Based on the edge strength of each pixel calculated by the edge strength calculation unit 13, the filter strength setting unit 12 sets the filter strength of the two-dimensional low-pass filter 11 for each pixel within the allowable setting range set by the range setting unit 18. Set to.

図４は、フィルタ強度設定部１２によるフィルタ強度の設定例を示す図である。フィルタ強度設定部１２は、エッジ強度が第１のしきい値Ａ１未満である画素（画像の平坦部分に属する画素）に関しては、許容上限値に相当するフィルタ強度Ｂ１を設定する。また、フィルタ強度設定部１２は、エッジ強度がしきい値Ａ１以上かつ第２のしきい値Ａ２未満である画素（画像のエッジ部分に属する画素）に関しては、フィルタ強度Ｂ１より低くかつ許容下限値以上であるフィルタ強度Ｂ２を設定する。また、フィルタ強度設定部１２は、エッジ強度がしきい値Ａ２以上である画素（光源の反射部分等の画像の特異部分に属する画素）に関しては、許容下限値よりも低いフィルタ強度Ｂ３（図４の例ではゼロ）を設定する。また、図４に示すように、フィルタ強度設定部１２は、エッジ部分に属する画素に関しては、エッジ強度が高いほどフィルタ強度が低くなるように、エッジ強度に応じてフィルタ強度Ｂ２を段階的（図４の例では６段階）に設定する。 FIG. 4 is a diagram illustrating a setting example of the filter strength by the filter strength setting unit 12. The filter strength setting unit 12 sets the filter strength B1 corresponding to the allowable upper limit value for pixels whose edge strength is less than the first threshold value A1 (pixels belonging to the flat portion of the image). Further, the filter strength setting unit 12 is lower than the filter strength B1 and has an allowable lower limit value for pixels whose edge strength is greater than or equal to the threshold A1 and less than the second threshold A2 (pixels belonging to the edge portion of the image) The above filter strength B2 is set. Further, the filter strength setting unit 12 has a filter strength B3 lower than the allowable lower limit value (pixels belonging to a specific portion of the image such as a reflection portion of the light source) whose edge strength is greater than or equal to the threshold value A2 (FIG. 4). In the example, set to zero). Further, as shown in FIG. 4, the filter strength setting unit 12 gradually sets the filter strength B2 in accordance with the edge strength so that the filter strength decreases as the edge strength increases for pixels belonging to the edge portion (see FIG. 4). In the example of 4, it is set to 6 levels).

二次元ローパスフィルタ１１は、フィルタ強度設定部１２によって画素毎に設定されたフィルタ強度で、入力画像の各画素をＲ，Ｇｒ，Ｇｂ，Ｂの成分毎に処理する。複数のフィルタ強度に応じた複数のフィルタ係数テーブルを予め用意しておき、フィルタ強度設定部１２によって設定されたフィルタ強度に対応するフィルタ係数を選択して二次元ローパスフィルタ１１に適用することにより、所望の強度のローパスフィルタ処理を実現することができる。 The two-dimensional low-pass filter 11 processes each pixel of the input image for each of R, Gr, Gb, and B components with the filter strength set for each pixel by the filter strength setting unit 12. By preparing a plurality of filter coefficient tables corresponding to a plurality of filter strengths in advance, selecting a filter coefficient corresponding to the filter strength set by the filter strength setting unit 12 and applying it to the two-dimensional low-pass filter 11, A low-pass filter process having a desired intensity can be realized.

二次元ローパスフィルタ１１によってノイズ除去処理が行われた画像データは、バッファ１５に入力される。 The image data that has been subjected to noise removal processing by the two-dimensional low-pass filter 11 is input to the buffer 15.

図１を参照して、色空間変換部３は、バッファ１５から入力されたＢａｙｅｒ空間の画像データを、ＹＵＶ色空間の画像データに変換する。 Referring to FIG. 1, the color space conversion unit 3 converts the Bayer space image data input from the buffer 15 into YUV color space image data.

図３を参照して、エッジ強調処理部４の処理対象である画像データは、エッジ強調フィルタ２０、エッジ検出部２３、変動量算出部２４、及び加算部２５に入力される。 Referring to FIG. 3, the image data that is the processing target of edge enhancement processing unit 4 is input to edge enhancement filter 20, edge detection unit 23, fluctuation amount calculation unit 24, and addition unit 25.

エッジ検出部２３は、画像の１フレームに含まれる各画素に関して、８方向（上下左右の４方向及び斜め４方向）のエッジを検出する。なお、エッジ検出部２３によるエッジ検出処理は、ＹＵＶ色空間のＹ成分のみを対象として行われる。 The edge detection unit 23 detects edges in eight directions (four directions up and down, left and right, and four oblique directions) for each pixel included in one frame of the image. Note that the edge detection processing by the edge detection unit 23 is performed only for the Y component of the YUV color space.

エッジ強度算出部２２は、エッジ検出部２３によるエッジの検出結果に基づいて、各画素のエッジ強度を算出する。例えば、各画素に関して８方向のエッジ強度を加算し、その加算値の平方根として、各画素のエッジ強度を算出する。 The edge strength calculation unit 22 calculates the edge strength of each pixel based on the edge detection result by the edge detection unit 23. For example, the edge strengths in eight directions are added for each pixel, and the edge strength of each pixel is calculated as the square root of the added value.

変動量算出部２４は、時系列で連続する複数の画像に基づいて、画像の変動量を算出する。例えば、現フレームと前フレームとを対象として全画素の画素値の差分絶対値和を求めることで、現フレームに関して前フレームからの変動量を算出する。なお、変動量算出部２４による変動量算出処理は、ＹＵＶ色空間のＹ成分のみを対象として行われる。また、所定画素数（例えば８×８画素）のブロック毎に画素値の差分絶対値和を求め、１フレーム内の全てのブロックに関して差分絶対値和の総和を求めることによって、画像の変動量を算出しても良い。さらに、１フレーム全体の画素値を使用する必要があるため、現フレームに関する変動量の算出結果は、次フレームに関する設定処理に利用され、現フレームに関する設定処理には、前フレームに関する変動量の算出結果が利用される。なお、１フレーム全体の画素値から画像の変動量を算出するのではなく、画像の特徴部分を含む一部領域（例えばフレームを９分割した中の一つの領域）の画素値に基づいて画像の変動量を算出しても良く、これによって回路規模を削減することができる。 The fluctuation amount calculation unit 24 calculates the fluctuation amount of the image based on a plurality of images that are continuous in time series. For example, by calculating the sum of absolute differences of the pixel values of all pixels for the current frame and the previous frame, the amount of change from the previous frame with respect to the current frame is calculated. Note that the fluctuation amount calculation processing by the fluctuation amount calculation unit 24 is performed only for the Y component of the YUV color space. In addition, the difference absolute value sum of pixel values is obtained for each block of a predetermined number of pixels (for example, 8 × 8 pixels), and the total amount of difference absolute value sum is obtained for all the blocks in one frame. It may be calculated. Furthermore, since it is necessary to use the pixel values of the entire frame, the calculation result of the fluctuation amount related to the current frame is used for the setting process related to the next frame. The result is used. It should be noted that the amount of change in the image is not calculated from the pixel values of the entire frame, but based on the pixel values of the partial area including the characteristic part of the image (for example, one area divided into nine frames). The amount of variation may be calculated, thereby reducing the circuit scale.

強調強度設定部２１は、エッジ強度算出部２２によって算出されたエッジ強度と、変動量算出部２４によって算出された変動量とに基づいて、エッジ強調フィルタ２０のエッジ強調強度を画素毎に設定する。 The enhancement strength setting unit 21 sets the edge enhancement strength of the edge enhancement filter 20 for each pixel based on the edge strength calculated by the edge strength calculation unit 22 and the variation amount calculated by the variation amount calculation unit 24. .

図５は、強調強度設定部２１による強調強度の設定例を示す図である。強調強度設定部２１は、エッジ強度が第１のしきい値Ｃ１未満である画素（画像の平坦部分に属する画素）に関しては、強調強度Ｄ１（例えば０．５倍）を設定する。 FIG. 5 is a diagram illustrating an example of setting the emphasis strength by the emphasis strength setting unit 21. The enhancement strength setting unit 21 sets the enhancement strength D1 (for example, 0.5 times) for pixels whose edge strength is less than the first threshold C1 (pixels belonging to a flat portion of the image).

また、強調強度設定部２１は、エッジ強度がしきい値Ｃ１以上かつ第２のしきい値Ｃ２未満である画素（画像のエッジ部分に属する画素）に関しては、画像の変動量が所定値未満である場合には、強調強度Ｄ１よりも高い強調強度Ｄ２（例えば１．０倍）を設定し、画像の変動量が所定値以上である場合には、強調強度Ｄ２よりも高い強調強度Ｄ３（例えば１．２倍）を設定する。 Further, the enhancement intensity setting unit 21 has an image variation amount less than a predetermined value for a pixel (a pixel belonging to the edge portion of the image) whose edge intensity is greater than or equal to the threshold C1 and less than the second threshold C2. In some cases, an enhancement intensity D2 (for example, 1.0 times) higher than the enhancement intensity D1 is set, and when the amount of image variation is equal to or greater than a predetermined value, an enhancement intensity D3 (for example, higher than the enhancement intensity D2) 1.2 times).

また、強調強度設定部２１は、エッジ強度がしきい値Ｃ２以上である画素（画像の特異部分に属する画素）に関しては、画像の変動量が所定値未満である場合には、強調強度Ｄ２よりも高い強調強度Ｄ４（例えば１．２倍）を設定し、画像の変動量が所定値以上である場合には、強調強度Ｄ４よりも高い強調強度Ｄ５（例えば１．４４倍）を設定する。 Further, the enhancement intensity setting unit 21 uses the enhancement intensity D2 for pixels whose edge intensity is equal to or greater than the threshold value C2 (pixels belonging to the singular part of the image) when the variation amount of the image is less than a predetermined value. Is set to a higher emphasis intensity D4 (for example, 1.2 times), and an emphasis intensity D5 (for example, 1.44 times) higher than the emphasis intensity D4 is set when the variation amount of the image is a predetermined value or more.

なお、エッジ部分及び特異部分に関しては、画像の変動量が所定値以上であるか否かによって強調強度を異ならせたが、平坦部分に関しては、動きに伴う不鮮明化の影響が小さいため、画像の変動量に応じて強調強度を異ならせる必要はない。 For the edge portion and the singular portion, the enhancement strength is varied depending on whether or not the amount of fluctuation of the image is greater than or equal to a predetermined value, but for the flat portion, since the influence of blurring due to movement is small, There is no need to vary the emphasis intensity according to the amount of variation.

図６は、強調強度設定部２１による強調強度の他の設定例を示す図である。強調強度設定部２１は、エッジ部分に近接する平坦部分に属する画素に関しては、エッジ強度が高いほど強調強度が線形的に高くなるように、エッジ強度に応じて強調強度を設定する。平坦部分とエッジ部分とが入り組むような複雑な画像では、両者の強調強度の差が大きいと、その境界部分において画像が不自然になる場合がある。そのような複雑な画像を処理する場合には図６に示した設定手法を採用することにより、平坦部分とエッジ部分との境界部分を滑らかに描写することができる。なお、エッジ部分と特異部分との境界部分に関しては、エッジ強度の変化が本来的に大きく、平坦部分とエッジ部分との境界部分ほど細かな変化を伴わないため、このような処理は不要である。 FIG. 6 is a diagram showing another example of setting the emphasis intensity by the emphasis intensity setting unit 21. The enhancement strength setting unit 21 sets the enhancement strength according to the edge strength so that the enhancement strength linearly increases as the edge strength increases for pixels belonging to a flat portion close to the edge portion. In a complex image in which a flat portion and an edge portion are complicated, if the difference in enhancement strength between the two is large, the image may become unnatural at the boundary portion. In the case of processing such a complex image, by adopting the setting method shown in FIG. 6, the boundary portion between the flat portion and the edge portion can be depicted smoothly. In addition, regarding the boundary portion between the edge portion and the singular portion, the change in the edge strength is inherently large, and the change is not as fine as the boundary portion between the flat portion and the edge portion. .

エッジ強調フィルタ２０は、強調強度設定部２１によって画素毎に設定された強調強度で、入力画像の各画素のＹ成分に対して強調処理を行う。 The edge enhancement filter 20 performs enhancement processing on the Y component of each pixel of the input image with the enhancement strength set for each pixel by the enhancement strength setting unit 21.

加算部２５は、ＹＵＶ色空間の入力画像と、エッジ強調フィルタ２０から入力されたＹ成分のエッジ強調画像とを加算することにより、エッジが強調されたＹＵＶ色空間の画像データを出力する。 The adder 25 adds the input image in the YUV color space and the edge enhancement image of the Y component input from the edge enhancement filter 20 to output image data in the YUV color space in which the edge is enhanced.

三次元ノイズリダクションフィルタ２６は、加算器２５から入力された画像データに対して、動き適応型のノイズリダクション処理を行う。これにより、ノイズ除去処理部２で除去できなかった残存ノイズがエッジ強調処理部４の処理で不要に強調された場合であっても、三次元ノイズリダクションフィルタ２６によって当該ノイズを除去することができる。 The three-dimensional noise reduction filter 26 performs motion adaptive noise reduction processing on the image data input from the adder 25. Thereby, even if the residual noise that could not be removed by the noise removal processing unit 2 is unnecessarily enhanced by the processing of the edge enhancement processing unit 4, the noise can be removed by the three-dimensional noise reduction filter 26. .

＜第１の変形例＞
図７は、第１の変形例に係るエッジ強調処理部４の構成を示す図である。図３に示した構成に対して、二次元ハイパスフィルタ２７及びフィルタ強度設定部２８が追加されている。二次元ハイパスフィルタ２７としては、例えば、１７ｔａｐのプログラマブルフィルタが使用される。二次元ハイパスフィルタ２７の出力は、エッジ強調フィルタ２０の入力及びエッジ検出部２３の入力に接続されている。但し、エッジ検出部２３の入力には、二次元ハイパスフィルタ２７の入力を接続しても良い。 <First Modification>
FIG. 7 is a diagram illustrating a configuration of the edge enhancement processing unit 4 according to the first modification. A two-dimensional high-pass filter 27 and a filter strength setting unit 28 are added to the configuration shown in FIG. As the two-dimensional high-pass filter 27, for example, a 17 tap programmable filter is used. The output of the two-dimensional high-pass filter 27 is connected to the input of the edge enhancement filter 20 and the input of the edge detection unit 23. However, the input of the two-dimensional high-pass filter 27 may be connected to the input of the edge detector 23.

フィルタ強度設定部２８には、周波数解析部１９によって解析されたエッジの画面周波数に関する情報が、バッファ１６を介して入力される。フィルタ強度設定部２８は、一例として、二次元ローパスフィルタ１１に設定されている強度の許容上限値に相当するカットオフ周波数の１／２の周波数を、二次元ハイパスフィルタ２７のカットオフ周波数として設定する。本変形例において、フィルタ強度設定部２８は、エッジの画面周波数が低〜中周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数の０．１倍に設定する。また、エッジの画面周波数が中〜高周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数の０．１５倍に設定する。また、エッジの画面周波数が低周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数の０．０５倍に設定する。つまり、フィルタ強度設定部２８は、エッジの画面周波数が比較的低い周波数領域に集中する画像に関しては、カットオフ周波数が比較的低くなるようにフィルタ強度を設定し、エッジの画面周波数が比較的高い周波数領域に集中する画像に関しては、カットオフ周波数が比較的高くなるようにフィルタ強度を設定する。 Information about the screen frequency of the edge analyzed by the frequency analysis unit 19 is input to the filter strength setting unit 28 via the buffer 16. As an example, the filter strength setting unit 28 sets, as a cutoff frequency of the two-dimensional high-pass filter 27, a frequency that is ½ of the cutoff frequency corresponding to the allowable upper limit value of the strength set in the two-dimensional low-pass filter 11. To do. In this modification, the filter strength setting unit 28 sets the cutoff frequency to 0.1 times the sampling frequency when the edge screen frequency is concentrated in the low to medium frequency region. When the edge screen frequency is concentrated in the middle to high frequency region, the cutoff frequency is set to 0.15 times the sampling frequency. When the edge screen frequency is concentrated in the low frequency region, the cutoff frequency is set to 0.05 times the sampling frequency. In other words, the filter strength setting unit 28 sets the filter strength so that the cut-off frequency is relatively low and the edge screen frequency is relatively high for an image concentrated in a frequency region where the edge screen frequency is relatively low. For an image concentrated in the frequency domain, the filter strength is set so that the cutoff frequency is relatively high.

なお、二次元ハイパスフィルタ２７にはプログラマブルフィルタが使用されているため、ノイズ成分が存在している周波数領域を遮断するように、ローパスフィルタ又はバンドパスフィルタとして機能させることも可能である。例えば、ノイズ成分が高周波領域に存在している場合には、プログラマブルフィルタをローパスフィルタとして機能させることにより、高周波領域のノイズを遮断することができる。 In addition, since a programmable filter is used for the two-dimensional high-pass filter 27, it is also possible to function as a low-pass filter or a band-pass filter so as to cut off a frequency region where noise components exist. For example, when the noise component exists in the high frequency region, the noise in the high frequency region can be blocked by causing the programmable filter to function as a low-pass filter.

＜第２の変形例＞
図８は、第２の変形例に係るエッジ強調処理部４の構成を示す図である。図３に示した構成に対して、乗算部２９及び強調強度設定部３０が追加されている。 <Second Modification>
FIG. 8 is a diagram illustrating a configuration of the edge enhancement processing unit 4 according to the second modification. A multiplication unit 29 and an enhancement strength setting unit 30 are added to the configuration shown in FIG.

強調強度設定部２１は、エッジ強度算出部２２によって算出されたエッジ強度に基づいて、エッジ強調フィルタ２０のエッジ強調強度を画素毎に設定する。 The enhancement strength setting unit 21 sets the edge enhancement strength of the edge enhancement filter 20 for each pixel based on the edge strength calculated by the edge strength calculation unit 22.

強調強度設定部３０は、変動量算出部２４によって算出された画像の変動量に基づいて、乗算部２９の乗算係数を画像毎に設定する。例えば、画像の変動量がゼロである場合に１．０倍の乗算係数を設定し、画像の変動量が大きくなるほど大きい乗算係数を設定する。 The enhancement strength setting unit 30 sets the multiplication coefficient of the multiplication unit 29 for each image based on the variation amount of the image calculated by the variation amount calculation unit 24. For example, when the variation amount of the image is zero, a multiplication factor of 1.0 is set, and a larger multiplication factor is set as the variation amount of the image increases.

エッジ強調フィルタ２０は、強調強度設定部２１によってエッジ強度に基づいて画素毎に設定された強調強度で、入力画像の各画素のＹ成分に対して強調処理を行う。 The edge enhancement filter 20 performs enhancement processing on the Y component of each pixel of the input image with the enhancement strength set for each pixel based on the edge strength by the enhancement strength setting unit 21.

乗算部２９は、エッジ強調フィルタ２０から入力されたＹ成分のエッジ強調画像と、強調強度設定部３０によって変動量に基づいて画像毎に設定された乗算係数とを乗算することにより、エッジをさらに強調する。 The multiplication unit 29 further multiplies the edge by multiplying the edge-enhanced image of the Y component input from the edge enhancement filter 20 by the multiplication coefficient set for each image based on the variation amount by the enhancement intensity setting unit 30. Emphasize.

加算部２５は、ＹＵＶ色空間の入力画像と、乗算部２９から入力されたＹ成分のエッジ強調画像とを加算することにより、エッジが強調されたＹＵＶ色空間の画像データを出力する。 The adding unit 25 adds the input image in the YUV color space and the edge-enhanced image of the Y component input from the multiplying unit 29 to output image data in the YUV color space in which the edge is enhanced.

＜まとめ＞
上記実施の形態に係る画像処理装置１によれば、エッジ検出部１４（第１のエッジ検出部）は、画像内のエッジを検出し、エッジ強度算出部１３（第１のエッジ強度算出部）は、エッジ検出部１４による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、フィルタ強度設定部１２（第１のフィルタ強度設定部）は、エッジ強度算出部１３によって算出されたエッジ強度に基づいて、二次元ローパスフィルタ１１のフィルタ強度を画素毎に設定する。これにより、二次元ローパスフィルタ１１のフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ノイズ除去処理部２によってノイズが効果的に除去された画像に対して、エッジ強調処理部４によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。 <Summary>
According to the image processing apparatus 1 according to the above embodiment, the edge detection unit 14 (first edge detection unit) detects an edge in the image, and the edge strength calculation unit 13 (first edge strength calculation unit). Calculates the edge strength of each pixel in the image based on the detection result by the edge detection unit 14. Then, the filter strength setting unit 12 (first filter strength setting unit) sets the filter strength of the two-dimensional low-pass filter 11 for each pixel based on the edge strength calculated by the edge strength calculation unit 13. Thereby, the filter strength of the two-dimensional low-pass filter 11 can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively high filter strength for pixels belonging to the flat portion of the image, noise can be effectively removed, and for pixels belonging to the edge portion of the image, a relatively low filter strength is set. By setting, it is possible to avoid the edge from being smoothed. Accordingly, by performing edge enhancement processing by the edge enhancement processing unit 4 on the image from which noise has been effectively removed by the noise removal processing unit 2, it is possible to avoid noise enhancement during the edge enhancement processing. . As a result, it is possible to effectively achieve both noise suppression and edge enhancement.

また、上記実施の形態に係る画像処理装置１によれば、エッジ検出部２３（第２のエッジ検出部）は、画像内のエッジを検出し、エッジ強度算出部２２（第２のエッジ強度算出部）は、エッジ検出部２３による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、強調強度設定部２１は、エッジ強度算出部２２によって算出されたエッジ強度に基づいて、エッジ強調フィルタ２０のエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタ２０の強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, the edge detection unit 23 (second edge detection unit) detects an edge in the image, and the edge strength calculation unit 22 (second edge strength calculation). Part) calculates the edge strength of each pixel in the image based on the detection result by the edge detection part 23. The enhancement strength setting unit 21 sets the edge enhancement strength of the edge enhancement filter 20 for each pixel based on the edge strength calculated by the edge strength calculation unit 22. Thereby, the enhancement strength of the edge enhancement filter 20 can be adaptively switched for each pixel according to the edge strength of each pixel. For example, by setting a relatively low enhancement strength for pixels belonging to a flat portion of an image, it is possible to avoid the enhancement of residual noise, and for pixels belonging to an edge portion of an image, a relatively high enhancement strength. By setting, the edge can be emphasized. As a result, since it is possible to enhance the edge while avoiding noise enhancement, it is possible to effectively achieve both noise suppression and edge enhancement.

また、上記実施の形態に係る画像処理装置１によれば、図４に示したように、画像の平坦部分に属する画素に関しては、比較的高い第１のフィルタ強度Ｂ１を設定することにより、平坦部分のノイズを効果的に除去することができる。また、画像のエッジ部分に属する画素に関しては、比較的低い第２のフィルタ強度Ｂ２を設定することにより、エッジが平滑化されることを回避できる。その結果、ノイズ除去処理において、エッジが平滑化されることを回避しつつ、平坦部分のノイズを効果的に除去することが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, as shown in FIG. 4, the pixels belonging to the flat portion of the image are flattened by setting the relatively high first filter strength B1. The noise of the portion can be effectively removed. For pixels belonging to the edge portion of the image, the edge can be prevented from being smoothed by setting the second filter strength B2 that is relatively low. As a result, in the noise removal process, it is possible to effectively remove the noise on the flat portion while avoiding the smoothing of the edges.

また、上記実施の形態に係る画像処理装置１によれば、図４に示したように、光源の反射部分等の画像の特異部分に属する画素に関しては、第２のフィルタ強度Ｂ２よりも低い第３のフィルタ強度Ｂ３を設定することにより、特異部分が平滑化されることを回避できる。その結果、特異部分が不鮮明な不自然な画像となることを、予め回避することが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, as shown in FIG. 4, the pixels belonging to the singular part of the image such as the reflection part of the light source are lower than the second filter intensity B2. By setting the filter strength B3 to 3, smoothing of the singular part can be avoided. As a result, it is possible to avoid beforehand that the singular portion is an unclear and unclear image.

また、上記実施の形態に係る画像処理装置１によれば、図４に示したように、フィルタ強度設定部１２は、エッジ部分に属する画素に関しては、エッジ強度が高いほどフィルタ強度が低くなるように、エッジ強度に応じて第２のフィルタ強度Ｂ２を設定する。このように、エッジ強度に応じて第２のフィルタ強度Ｂ２を細かく制御することにより、エッジ部分全体に均一なフィルタ強度を設定する場合と比較して、二次元ローパスフィルタ１１のフィルタ強度を滑らかに切り替えることができる。その結果、画像が不自然になることを回避することが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, as illustrated in FIG. 4, the filter strength setting unit 12 causes the filter strength to decrease as the edge strength increases for the pixels belonging to the edge portion. The second filter strength B2 is set according to the edge strength. In this way, by finely controlling the second filter strength B2 according to the edge strength, the filter strength of the two-dimensional low-pass filter 11 can be made smoother than when the uniform filter strength is set for the entire edge portion. Can be switched. As a result, it becomes possible to avoid the image from becoming unnatural.

また、上記実施の形態に係る画像処理装置１によれば、周波数解析部１９は、エッジ検出部１４による検出結果に基づいて、エッジの画面周波数を解析し、範囲設定部１８は、周波数解析部１９による解析結果に基づいて、二次元ローパスフィルタ１１のフィルタ強度の許容設定範囲を画像毎に設定する。そして、フィルタ強度設定部１２は、エッジ強度算出部１３によって算出されたエッジ強度に基づいて、二次元ローパスフィルタ１１のフィルタ強度を、範囲設定部１８によって設定された許容設定範囲内で画素毎に設定する。これにより、二次元ローパスフィルタ１１のフィルタ強度の許容設定範囲を、エッジの画面周波数に応じて画像毎に適応的に切り替えることが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, the frequency analysis unit 19 analyzes the edge screen frequency based on the detection result by the edge detection unit 14, and the range setting unit 18 includes the frequency analysis unit. Based on the analysis result of 19, the allowable setting range of the filter strength of the two-dimensional low-pass filter 11 is set for each image. Then, the filter strength setting unit 12 sets the filter strength of the two-dimensional low-pass filter 11 for each pixel within the allowable setting range set by the range setting unit 18 based on the edge strength calculated by the edge strength calculation unit 13. Set. Thereby, the allowable setting range of the filter strength of the two-dimensional low-pass filter 11 can be adaptively switched for each image according to the screen frequency of the edge.

また、上記実施の形態に係る画像処理装置１によれば、エッジの画面周波数が比較的低い周波数領域に集中する画像（平坦部分を多く含む画像）に関しては、フィルタ強度が比較的高い範囲内で分布するように許容設定範囲を設定することにより、平坦部分のノイズを効果的に除去することができる。また、エッジの画面周波数が比較的高い周波数領域に集中する画像（中〜高周波のエッジを多く含む画像）に関しては、フィルタ強度が比較的低い範囲内で分布するように許容設定範囲を設定することにより、エッジが平滑化されることを回避できる。その結果、ノイズ除去処理において、エッジが平滑化されることを回避しつつ、平坦部分のノイズを効果的に除去することが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, an image concentrated in a frequency region where the edge screen frequency is relatively low (an image including many flat portions) is within a relatively high filter strength range. By setting the allowable setting range so as to be distributed, the noise in the flat portion can be effectively removed. In addition, for images in which the edge screen frequency is concentrated in a relatively high frequency range (images that include many medium to high frequency edges), the allowable setting range should be set so that the filter strength is distributed within a relatively low range. Thus, smoothing of the edge can be avoided. As a result, in the noise removal process, it is possible to effectively remove the noise on the flat portion while avoiding the smoothing of the edges.

また、上記実施の形態に係る画像処理装置１によれば、変動量算出部２４は、時系列で連続する複数の画像に基づいて、画像の変動量を算出する。また、強調強度設定部２１は、エッジ強度算出部２２によって算出されたエッジ強度と、変動量算出部２４によって算出された変動量とに基づいて、エッジ強調フィルタ２０のエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタ２０の強調強度を、各画素のエッジ強度と画像の変動量とに応じて画素毎に適応的に切り替えることが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, the fluctuation amount calculation unit 24 calculates the fluctuation amount of the image based on a plurality of images that are continuous in time series. Further, the enhancement strength setting unit 21 sets the edge enhancement strength of the edge enhancement filter 20 for each pixel based on the edge strength calculated by the edge strength calculation unit 22 and the variation amount calculated by the variation amount calculation unit 24. Set. As a result, the enhancement strength of the edge enhancement filter 20 can be adaptively switched for each pixel in accordance with the edge strength of each pixel and the variation amount of the image.

また、上記実施の形態に係る画像処理装置１によれば、図５に示したように、画像の平坦部分に属する画素に関しては、比較的低い第１の強調強度Ｄ１を設定することにより、平坦部分のノイズが強調されることを回避できる。また、画像のエッジ部分に属する画素に関しては、比較的高い第２の強調強度Ｄ２を設定することにより、エッジを強調することができる。その結果、エッジ強調処理において、ノイズが強調されることを回避しつつ、エッジを強調することが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, as shown in FIG. 5, the pixels belonging to the flat portion of the image are flattened by setting the relatively low first enhancement intensity D1. It is possible to avoid emphasizing the noise of the part. For pixels belonging to the edge portion of the image, the edge can be emphasized by setting a relatively high second enhancement strength D2. As a result, it is possible to enhance the edge while avoiding noise enhancement in the edge enhancement processing.

また、上記実施の形態に係る画像処理装置１によれば、図６に示したように、強調強度設定部２１は、エッジ部分に近接する平坦部分に属する画素に関しては、エッジ強度が高いほど強調強度が高くなるように、エッジ強度に応じて第１の強調強度Ｄ１を設定する。このように、エッジ部分と平坦部分との境界部分に関してはエッジ強度に応じて第１の強調強度Ｄ１を細かく制御することにより、平坦部分全体に均一な強調強度を設定する場合と比較して、エッジ強調フィルタ２０の強調強度を滑らかに切り替えることができる。その結果、エッジ部分と平坦部分との境界部分において画像が不自然になることを回避することが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, as illustrated in FIG. 6, the enhancement strength setting unit 21 enhances the pixel belonging to the flat portion close to the edge portion as the edge strength increases. The first enhancement strength D1 is set according to the edge strength so that the strength is increased. As described above, the first emphasis strength D1 is finely controlled according to the edge strength with respect to the boundary portion between the edge portion and the flat portion, compared with the case where uniform emphasis strength is set for the entire flat portion. The enhancement strength of the edge enhancement filter 20 can be switched smoothly. As a result, it is possible to avoid the image from becoming unnatural at the boundary portion between the edge portion and the flat portion.

また、上記実施の形態に係る画像処理装置１によれば、図５に示したように、エッジ部分に属する画素に強調強度を設定するにあたり、画像の変動量が所定値以上である画像（動きの大きい画像）に関しては、画像の変動量が所定値未満である画像（動きの小さい画像）よりも高い第３の強調強度Ｄ３を設定することにより、動きに伴うエッジの不鮮明化を回避することが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, as illustrated in FIG. 5, when setting the enhancement strength to the pixels belonging to the edge portion, the image (motion For an image having a large image), by setting a third enhancement strength D3 that is higher than an image in which the amount of fluctuation of the image is less than a predetermined value (an image having a small motion), it is possible to avoid blurring of the edge due to the motion. Is possible.

また、上記実施の形態に係る画像処理装置１によれば、図５に示したように、光源の反射部分等の画像の特異部分に属する画素に関しては、第２の強調強度Ｄ２よりも高い第４の強調強度Ｄ４を設定することにより、特異部分を強調することができる。その結果、特異部分を鮮明化することが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, as shown in FIG. 5, the pixels belonging to the specific part of the image such as the reflection part of the light source are higher than the second enhancement intensity D2. By setting the emphasis strength D4 to 4, the singular part can be emphasized. As a result, it is possible to sharpen the unique part.

また、上記実施の形態に係る画像処理装置１によれば、図５に示したように、特異部分に属する画素に強調強度を設定するにあたり、画像の変動量が所定値以上である画像（動きの大きい画像）に関しては、画像の変動量が所定値未満である画像（動きの小さい画像）よりも高い第５の強調強度Ｄ５を設定することにより、動きに伴う特異部分の不鮮明化を回避することが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, as shown in FIG. 5, when setting the enhancement strength to the pixels belonging to the singular part, the image (motion With respect to an image having a large image), by setting a fifth enhancement intensity D5 that is higher than an image in which the amount of variation in the image is less than a predetermined value (an image having a small motion), blurring of a singular part due to the motion is avoided. It becomes possible.

また、上記第１の変形例に係る画像処理装置によれば、エッジ強調フィルタ２０の前段に二次元ハイパスフィルタ２７を接続することにより、低周波のノイズがエッジ強調フィルタ２０によって強調されることを回避できる。また、フィルタ強度設定部２８（第２のフィルタ強度設定部）は、エッジの画面周波数に基づいて、二次元ハイパスフィルタ２７のフィルタ強度を画像毎に設定する。これにより、二次元ハイパスフィルタ２７のフィルタ強度を、エッジの画面周波数に応じて画像毎に適応的に切り替えることが可能となる。 In addition, according to the image processing apparatus according to the first modification, the low-frequency noise is enhanced by the edge enhancement filter 20 by connecting the two-dimensional high-pass filter 27 before the edge enhancement filter 20. Can be avoided. Also, the filter strength setting unit 28 (second filter strength setting unit) sets the filter strength of the two-dimensional high-pass filter 27 for each image based on the edge screen frequency. As a result, the filter strength of the two-dimensional high-pass filter 27 can be adaptively switched for each image in accordance with the edge screen frequency.

また、上記第１の変形例に係る画像処理装置１によれば、エッジの画面周波数が比較的低い周波数領域に集中する画像（低周波のエッジを多く含む画像）に関しては、カットオフ周波数が比較的低くなるようにフィルタ強度を設定することにより、低周波のエッジは二次元ハイパスフィルタ２７を通過するため、低周波のエッジをエッジ強調フィルタ２０によって強調することができる。また、エッジの画面周波数が比較的高い周波数領域に集中する画像（中〜高周波のエッジを多く含む画像）に関しては、カットオフ周波数が比較的高くなるようにフィルタ強度を設定することにより、低周波のノイズは二次元ハイパスフィルタ２７によって遮断されるため、低周波のノイズがエッジ強調フィルタ２０によって強調されることを回避できる。また、中〜高周波のエッジは二次元ハイパスフィルタ２７を通過するため、中〜高周波のエッジをエッジ強調フィルタ２０によって強調することができる。 Further, according to the image processing apparatus 1 according to the first modification, the cut-off frequency is compared for an image (an image including many low-frequency edges) concentrated in a frequency region where the screen frequency of edges is relatively low. By setting the filter strength so as to be low, the low frequency edge passes through the two-dimensional high-pass filter 27, so that the low frequency edge can be emphasized by the edge enhancement filter 20. For images that are concentrated in a frequency region where the edge screen frequency is relatively high (images that include many medium to high frequency edges), the filter strength is set so that the cut-off frequency is relatively high. Is cut off by the two-dimensional high-pass filter 27, so that low-frequency noise can be prevented from being emphasized by the edge enhancement filter 20. Further, since the middle to high frequency edge passes through the two-dimensional high-pass filter 27, the middle to high frequency edge can be emphasized by the edge enhancement filter 20.

また、上記実施の形態に係る画像処理装置１によれば、ノイズ除去処理部２は、色データで構成される画像（例えばＢａｙｅｒ領域の画像）を処理し、エッジ強調処理部４は、輝度データ及び色差データで構成される画像（例えばＹＵＶ領域の画像）を処理する。このように、ノイズ除去処理を、色空間変換前のＢａｙｅｒ領域の画像に対して実行することにより、早期の段階で効果的にノイズを除去でき、その結果、色空間変換時にノイズが拡散することを防止することが可能となる。 Further, according to the image processing apparatus 1 according to the above-described embodiment, the noise removal processing unit 2 processes an image composed of color data (for example, an image of a Bayer region), and the edge enhancement processing unit 4 And an image composed of color difference data (for example, an image in the YUV region) is processed. As described above, by executing the noise removal processing on the image of the Bayer region before the color space conversion, the noise can be effectively removed at an early stage, and as a result, the noise is diffused during the color space conversion. Can be prevented.

１画像処理装置
２ノイズ除去処理部
３色空間変換部
４エッジ強調処理部
１１二次元ローパスフィルタ
１２フィルタ強度設定部
１３エッジ強度算出部
１４エッジ検出部
１８範囲設定部
１９周波数解析部
２０エッジ強調フィルタ
２１強調強度設定部
２２エッジ強度算出部
２３エッジ検出部
２４変動量算出部
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Noise removal process part 3 Color space conversion part 4 Edge emphasis process part 11 Two-dimensional low-pass filter 12 Filter intensity | strength setting part 13 Edge intensity | strength calculation part 14 Edge detection part 18 Range setting part 19 Frequency analysis part 20 Edge emphasis filter 21 Strength enhancement setting unit 22 Edge strength calculation unit 23 Edge detection unit 24 Fluctuation amount calculation unit

Claims

A noise removal processing unit for removing noise in the image;
An edge enhancement processing unit that is connected to a subsequent stage than the noise removal processing unit and emphasizes an edge in the image;
With
The noise removal processing unit
A low-pass filter that removes noise in the image,
A first edge detector for detecting an edge in the image;
A first edge strength calculator that calculates an edge strength of each pixel in the image based on a detection result of the first edge detector;
A first filter strength setting unit that sets a filter strength of the low-pass filter for each pixel based on the edge strength calculated by the first edge strength calculation unit;
Have
The edge enhancement processing unit
An edge enhancement filter that enhances edges in the image;
A second edge detector for detecting edges in the image;
A second edge strength calculation unit that calculates an edge strength of each pixel in the image based on a detection result by the second edge detection unit;
Based on the edge strength calculated by the second edge strength calculation unit, an enhancement strength setting unit that sets the edge enhancement strength of the edge enhancement filter for each pixel;
I have a,
The first filter strength setting unit includes:
For pixels whose edge strength is less than the first threshold and belong to the flat portion of the image, set the first filter strength,
An image processing apparatus that sets a second filter strength lower than the first filter strength for pixels belonging to an edge portion of an image whose edge strength is equal to or higher than a first threshold value .

The first filter strength setting unit includes:
The image processing apparatus according to claim 1, wherein a third filter strength that is lower than the second filter strength is set for a pixel that has an edge strength equal to or greater than a second threshold value and belongs to a singular part of the image.

The first filter strength setting unit sets the second filter strength according to the edge strength so that the higher the edge strength is, the lower the filter strength is for the pixels belonging to the edge portion. An image processing apparatus according to 1.

  A noise removal processing unit for removing noise in the image;
  An edge enhancement processing unit that is connected to a subsequent stage than the noise removal processing unit and emphasizes an edge in the image;
With
  The noise removal processing unit
  A low-pass filter that removes noise in the image,
  A first edge detector for detecting an edge in the image;
  A first edge strength calculator that calculates an edge strength of each pixel in the image based on a detection result of the first edge detector;
  A first filter strength setting unit that sets a filter strength of the low-pass filter for each pixel based on the edge strength calculated by the first edge strength calculation unit;
Have
  The edge enhancement processing unit
  An edge enhancement filter that enhances edges in the image;
  A second edge detector for detecting edges in the image;
  A second edge strength calculation unit that calculates an edge strength of each pixel in the image based on a detection result by the second edge detection unit;
  Based on the edge strength calculated by the second edge strength calculation unit, an enhancement strength setting unit that sets the edge enhancement strength of the edge enhancement filter for each pixel;
Have
  The noise removal processing unit
  A frequency analysis unit that analyzes a screen frequency of an edge based on a detection result by the first edge detection unit;
  Based on the analysis result by the frequency analysis unit, a range setting unit for setting the allowable setting range of the filter strength of the low-pass filter for each image,
Further comprising
  The first filter strength setting unit determines a filter strength of the low-pass filter based on the edge strength calculated by the first edge strength calculation unit within a permissible setting range set by the range setting unit. An image processing apparatus to be set for each.

  The range setting unit includes:
  For images where the edge screen frequency is concentrated in a relatively low frequency range, set the allowable setting range so that the filter strength is distributed within a relatively high range,
  The image processing apparatus according to claim 4, wherein the allowable setting range is set so that the filter strength is distributed within a relatively low range for an image in which the edge screen frequency is concentrated in a relatively high frequency region.

  A noise removal processing unit for removing noise in the image;
  An edge enhancement processing unit that is connected to a subsequent stage than the noise removal processing unit and emphasizes an edge in the image;
With
  The noise removal processing unit
  A low-pass filter that removes noise in the image,
  A first edge detector for detecting an edge in the image;
  A first edge strength calculator that calculates an edge strength of each pixel in the image based on a detection result of the first edge detector;
  A first filter strength setting unit that sets a filter strength of the low-pass filter for each pixel based on the edge strength calculated by the first edge strength calculation unit;
Have
  The edge enhancement processing unit
  An edge enhancement filter that enhances edges in the image;
  A second edge detector for detecting edges in the image;
  A second edge strength calculation unit that calculates an edge strength of each pixel in the image based on a detection result by the second edge detection unit;
  Based on the edge strength calculated by the second edge strength calculation unit, an enhancement strength setting unit that sets the edge enhancement strength of the edge enhancement filter for each pixel;
Have
  The edge enhancement processing unit further includes a fluctuation amount calculation unit that calculates a fluctuation amount of an image based on a plurality of images that are continuous in time series,
  The enhancement strength setting unit calculates the edge enhancement strength of the edge enhancement filter for each pixel based on the edge strength calculated by the second edge strength calculation unit and the variation amount calculated by the variation amount calculation unit. An image processing apparatus to be set.

  The enhancement intensity setting unit
  For pixels whose edge strength is less than the first threshold and belong to the flat portion of the image, set the first enhancement strength,
  The image processing apparatus according to claim 6, wherein a second enhancement strength higher than the first enhancement strength is set for pixels belonging to an edge portion of the image whose edge strength is equal to or greater than a first threshold value.

The enhancement level setting unit sets a first enhancement level according to the edge strength so that the higher the edge strength is, the higher the enhancement strength is for a pixel belonging to a flat portion adjacent to the edge portion. An image processing apparatus according to 1.

  The enhancement intensity setting unit
  For an image in which the amount of image fluctuation is less than a predetermined value, the second enhancement strength is set for pixels belonging to the edge portion,
  The image processing apparatus according to claim 7 or 8, wherein a third enhancement strength higher than the second enhancement strength is set for a pixel belonging to an edge portion for an image having an image variation amount equal to or greater than a predetermined value.

The enhancement intensity setting unit
10. The fourth enhancement intensity higher than the second enhancement intensity is set for a pixel belonging to a singular part of an image whose edge intensity is equal to or greater than a second threshold value. The image processing apparatus described.

  The enhancement intensity setting unit
  For an image in which the amount of image fluctuation is less than a predetermined value, a fourth enhancement strength is set for pixels belonging to the singular part,
  The image processing apparatus according to claim 10, wherein a fifth enhancement intensity higher than the fourth enhancement intensity is set for a pixel belonging to a singular part for an image having an image variation amount equal to or greater than a predetermined value.

  The noise removal processing unit further includes a frequency analysis unit that analyzes a screen frequency of an edge based on a detection result by the first edge detection unit,
  The edge enhancement processing unit
  A high-pass filter connected in front of the edge enhancement filter;
  A second filter strength setting unit configured to set a filter strength of the high-pass filter for each image based on an analysis result by the frequency analysis unit;
The image processing apparatus according to claim 6, further comprising:

  The second filter strength setting unit includes:
  For images where the edge screen frequency is concentrated in a relatively low frequency range, set the filter strength so that the cutoff frequency is relatively low,
  The image processing apparatus according to claim 12, wherein the filter strength is set so that the cut-off frequency is relatively high with respect to an image concentrated in a frequency region where the edge screen frequency is relatively high.

The noise removal processing unit processes an image composed of color data,
The image processing apparatus according to claim 1, wherein the edge enhancement processing unit processes an image composed of luminance data and color difference data.

  (A) removing noise in the image;
  (B) performing after step (A) and enhancing edges in the image;
With
  The step (A)
  (A-1) removing noise in the image with a low-pass filter;
  (A-2) detecting an edge in the image;
  (A-3) calculating an edge strength of each pixel in the image based on the detection result in step (A-2);
  (A-4) setting the filter strength of the low-pass filter for each pixel based on the edge strength calculated in the step (A-3);
Have
  The step (B)
  (B-1) enhancing an edge in the image with an edge enhancement filter;
  (B-2) detecting an edge in the image;
  (B-3) calculating an edge strength of each pixel in the image based on the detection result in the step (B-2);
  (B-4) setting the edge enhancement strength of the edge enhancement filter for each pixel based on the edge strength calculated in the step (B-3);
Have
  In step (A-4),
  For pixels whose edge strength is less than the first threshold and belong to the flat portion of the image, set the first filter strength,
  An image processing method for setting a second filter strength lower than the first filter strength for pixels belonging to an edge portion of an image whose edge strength is equal to or higher than a first threshold value.

  (A) removing noise in the image;
  (B) performing after step (A) and enhancing edges in the image;
With
  The step (A)
  (A-1) removing noise in the image with a low-pass filter;
  (A-2) detecting an edge in the image;
  (A-3) calculating an edge strength of each pixel in the image based on the detection result in step (A-2);
  (A-4) setting the filter strength of the low-pass filter for each pixel based on the edge strength calculated in the step (A-3);
Have
  The step (B)
  (B-1) enhancing an edge in the image with an edge enhancement filter;
  (B-2) detecting an edge in the image;
  (B-3) calculating an edge strength of each pixel in the image based on the detection result in the step (B-2);
  (B-4) setting the edge enhancement strength of the edge enhancement filter for each pixel based on the edge strength calculated in the step (B-3);
Have
  The step (A)
  (A-5) analyzing the screen frequency of the edge based on the detection result in the step (A-2);
  (A-6) setting an allowable setting range of the filter strength of the low-pass filter for each image based on the analysis result of the step (A-5);
Further comprising
  In the step (A-4), the filter strength of the low-pass filter is set within the allowable setting range set in the step (A-6) based on the edge strength calculated in the step (A-3). The image processing method is set for each pixel.

  (A) removing noise in the image;
  (B) performing after step (A) and enhancing edges in the image;
With
  The step (A)
  (A-1) removing noise in the image with a low-pass filter;
  (A-2) detecting an edge in the image;
  (A-3) calculating an edge strength of each pixel in the image based on the detection result in step (A-2);
  (A-4) setting the filter strength of the low-pass filter for each pixel based on the edge strength calculated in the step (A-3);
Have
  The step (B)
  (B-1) enhancing an edge in the image with an edge enhancement filter;
  (B-2) detecting an edge in the image;
  (B-3) calculating an edge strength of each pixel in the image based on the detection result in the step (B-2);
  (B-4) setting the edge enhancement strength of the edge enhancement filter for each pixel based on the edge strength calculated in the step (B-3);
Have
  The step (B)
  (B-5) A step of calculating an image variation amount based on a plurality of images that are continuous in time series.
Further comprising
  In the step (B-4), the edge enhancement of the edge enhancement filter is performed based on the edge strength calculated in the step (B-3) and the fluctuation amount calculated in the step (B-5). An image processing method in which intensity is set for each pixel.