JP4130142B2

JP4130142B2 - Image signal processing device

Info

Publication number: JP4130142B2
Application number: JP2003089389A
Authority: JP
Inventors: 章弘前中; 治彦村田
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2003-03-27
Filing date: 2003-03-27
Publication date: 2008-08-06
Anticipated expiration: 2023-03-27
Also published as: JP2004297625A

Description

【０００１】
【発明の属する技術分野】
本発明は入力信号からノイズ成分を低減するノイズ低減技術に関し、特に入力される画像信号のノイズ成分を検出して、画像信号からノイズ成分を除去する画像信号処理技術に関する。
【０００２】
【従来の技術】
アナログ信号をデジタル信号に変換する際、アナログ信号にノイズがのり、ノイズがのったアナログ信号をデジタル化することがある。例えばＣＣＤカメラにより画像を撮影するとき、アナログ回路においてノイズが発生することもあり、またアナログ信号の伝送中にノイズがのることもある。このようなノイズは、ランダムノイズと呼ばれ、どの画素上にノイズがのるか不明であり、またサイズも不規則である。そのため、基本的にランダムノイズは、連続するフレーム間において同一の画素には発生しないという性質をもつ。このようなノイズを低減する手法として、現フレーム、前フレームおよび前々フレームの画像信号から動きの度合いを検出し、動きの度合いが大きくなるにつれて、画像信号から除去するノイズ成分を小さくし、動きの度合いが所定値より大きくなったときに、ノイズ成分がないものと制御するノイズ抑制方法を提案するものがある（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００２−３３９４２号公報
【０００４】
【発明が解決しようとする課題】
ノイズ成分を低減することは、画質に重大な影響を与えるため、画像処理分野における重要な課題の一つといえる。特に動画像では、連続するフレームにおいて同一画素の画像信号が変化した場合に、フレーム間で動きが発生しているのか、ノイズ成分が発生しているかの判断が難しくなる。特許文献１は、そのような場合におけるノイズ抑制手法の一つのアプローチを示すものであるが、まだ改良の余地はあるといえる。また、画像信号のノイズ成分を低減した結果、それを表示したときに、現実には存在しないはずの擬似的な境界線があらわれることがある。これは「偽輪郭」と呼ばれる現象で、ノイズ成分のない、いわゆる良質の画像において発生しやすいという性質がある。
【０００５】
本発明は、そうした課題に鑑みてなされたものであり、その目的は、画像信号のノイズ成分を適切に検出し、検出したノイズ成分を画像信号から除去する画像信号処理技術を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明のある態様は、入力される画像信号のノイズ成分を検出する画像信号処理装置に関する。この態様の画像信号処理装置は、現フレームの画像信号と、現フレームの１フレーム前に入力された前フレームの同一画素の画像信号の差分を算出する減算部と、現フレームの画像信号の低域成分または前フレームの同一画素の画像信号の低域成分を取得する取得部と、取得部において取得した低域成分及び前記減算部において算出した差分をもとに、画像信号のノイズ成分を算出する算出部とを備える。
【０００７】
取得部は、現フレームの画像信号の画素の低域成分と、画像信号の画素の周囲の画素の低域成分とを積算した現フレームの画像信号の低域成分と、現フレームにおいて積算した画素と同一の画素の前フレームにおける低域成分を積算した画像信号の低域成分のうち大きい方を取得し、算出部は、取得部において取得した低域成分をもとに、画像信号のノイズ成分を算出してもよい。
【０００８】
算出部は、取得部において取得した低域成分が大きいほど、画像信号の差分をノイズ成分として検出する閾値を小さくし、低域成分が小さいほど、画像信号の差分をノイズ成分として検出する閾値を大きくすることが好ましい。
【０００９】
本発明の別の態様は、入力される画像信号のノイズ成分を低減する画像信号処理装置に関する。この態様の画像信号処理装置は、画像信号のノイズ成分を検出するノイズ検出部と、過去の連続するフレームにおける画像信号の変化量を取得する第１取得部と、第１取得部において取得した変化量をもとに、ノイズ検出部において検出されたノイズ成分のレベルを調整する演算部と、画像信号から、演算部において調整されたノイズ成分を除去するノイズ除去部とを備える。
【００１０】
第１取得部は、現フレームの画像信号よりも１フレーム前に入力された前フレームの同一画素の画像信号と２フレーム前に入力された前々フレームの同一画素の画像信号との変化量と、その画素の周囲の画素における前フレームと前々フレームの画像信号の変化量とを積算した変化量を取得してもよい。演算部は、取得部において取得した変化量が大きいほど、ノイズ成分のレベルの制限量を多くし、変化量が小さいほど、ノイズ成分のレベルの制限量を少なくしてもよい。
【００１１】
この態様の画像信号処理装置は、過去の画像信号の低域成分を取得する第２取得部をさらに備え、演算部は、第２取得部において取得された低域成分をもとに、ノイズ検出部において検出されたノイズ成分のレベルを調整してもよい。第２取得部は、現フレームの画像信号よりも１フレーム前に入力された前フレームの同一画素およびその周囲の画素の画像信号の低域成分の積算値と、２フレーム前に入力された前々フレームの同一画素およびその周囲の画素の画像信号の低域成分のうち、大きい方を選択して、過去の画像信号の低域成分を取得してもよい。演算部は、第２取得部において取得した低域成分が大きいほど、ノイズ成分のレベルの制限量を多くし、低域成分が小さいほど、ノイズ成分のレベルの制限量を少なくしてもよい。
【００１２】
本発明のさらに別の態様は、入力される画像信号のノイズ成分を低減する画像信号処理装置に関する。この態様の画像信号処理装置は、画像信号のノイズ成分を検出するノイズ検出部と、画像信号の高域成分を取得する取得部と、取得部において取得した高域成分をもとに、ノイズ検出部において検出されたノイズ成分のレベルを調整する演算部と、画像信号から、演算部において調整されたノイズ成分を除去するノイズ除去部とを備える。
【００１３】
ノイズ検出部は、現フレームの画像信号と、現フレームの１フレーム前に入力された前フレームの同一画素の画像信号に基づいて、ノイズ成分を検出し、取得部は、現フレームの画像信号の高域成分を取得してもよい。取得部は、画像信号の画素の高域成分と、画像信号の画素の周囲の画素の高域成分とを積算した画像信号の高域成分を取得してもよい。演算部は、取得部において取得した高域成分が大きいほど、ノイズ成分のレベルの制限量を少なくし、高域成分が小さいほど、ノイズ成分のレベルの制限量を多くしてもよい。
【００１４】
本発明のさらに別の態様は、入力される画像信号のノイズ成分を低減する画像信号処理装置に関する。この態様の画像信号処理装置は、画像信号のノイズ成分を検出するノイズ検出部と、画像信号の色相成分を取得する取得部と、取得部において取得した色相成分をもとに、ノイズ検出部において検出されたノイズ成分のレベルを調整する演算部と、画像信号から、演算部において調整されたノイズ成分を除去するノイズ除去部とを備える。
【００１５】
ノイズ検出部は、現フレームの画像信号と、現フレームの１フレーム前に入力された前フレームの同一画素の画像信号に基づいて、ノイズ成分を検出し、取得部は、現フレームの画像信号の色相成分を取得してもよい。取得部は、画像信号の画素の色相成分と、画像信号の画素の周囲の画素の色相成分とを積算した画像信号の色相成分を取得してもよい。演算部は、色相成分が所定の値にあるときに、ノイズ成分のレベルの制限量を極大としてもよい。
【００１６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
【００１７】
【発明の実施の形態】
図１は、本発明の実施の形態に係る画像信号処理装置１０の構成を示す。画像信号処理装置１０において、画像信号は入力端子１２から入力され、ノイズ除去手段である減算部１３０においてノイズ成分を除去されて、出力端子１４から出力される。ノイズ成分を除去された画像信号は、フレームメモリ２０に記録され、次の画像信号のノイズ成分の低減処理において、１つ前のフレーム（以下、「前フレーム」と呼ぶ）の画像信号として利用される。この画像信号は、さらにフレームメモリ２２に記録され、続く画像信号のノイズ成分の低減処理において、２つ前のフレーム（以下、「前々フレーム」と呼ぶ）の画像信号として利用される。このように、入力端子１２から現フレームの画像信号が入力された場合、フレームメモリ２０に前フレームの画像信号が記録され、フレームメモリ２２に前々フレームの画像信号が記録されている。
【００１８】
本実施の形態において、画像信号とは、ある画素についての信号を意味し、特に示さない限り、現フレームの画像信号、前フレームの画像信号、前々フレームの画像信号とは、同一の画素についての信号を意味する。
【００１９】
画像信号処理装置１０は、ノイズ除去手段である減算部１３０に供給するノイズ成分を求めるために、暫定的なノイズ成分を検出するノイズ検出部３０と、画像信号における動きを検出する動き検出部６０と、偽輪郭の発生予測を行う偽輪郭低減部９０と、ノイズ検出部３０において検出したノイズ成分のレベルを、動き検出部６０による検出結果、および／または、偽輪郭低減部９０による予測結果をもとに調整して求める演算部１２０とを備える。演算部１２０において調整されたノイズ成分は減算部１３０に伝達され、入力された画像信号から除去される。
【００２０】
まず、ノイズ検出部３０は、低域成分取得部３２、低域成分取得部３８、最大値取得部４４、閾値算出部４６、減算部４８およびノイズ算出部５０を備える。低域成分取得部３２は、低域成分算出部３４および積算部３６を有し、低域成分取得部３８は、低域成分算出部４０および積算部４２を有する。
【００２１】
低域成分取得部３２は、現フレームの画像信号の低域成分を取得し、低域成分取得部３８は、前フレームの画像信号の低域成分を取得する。最大値取得部４４は、低域成分取得部３２で取得した低域成分と、低域成分取得部３８で取得した低域成分を比較して、最大値、すなわち大きい方を選択して取得する。閾値算出部４６は、最大値取得部４４で取得した低域成分の最大値をもとに、後述する閾値を算出する。減算部４８は、入力端子１２から供給される現フレームの画像信号と、フレームメモリ２０から供給される前フレームの画像信号の差分を算出する。ノイズ算出部５０は、画像信号の差分値と、閾値算出部４６で算出した閾値とを用いて、ノイズを検出する。
【００２２】
図２は、低域成分算出部３４および低域成分算出部４０における画像信号の低域成分の算出方法を説明するための図である。図２は、３×３で配列した９つの画素を示し、この例では、中心の画素Ｄ２２がノイズを低減する対象画素であるとし、画素Ｄ２２の画像信号の低域成分を求める。画素Ｄ２２の低域成分は、画像の積分信号を表し、例えば以下の式で求めることができる。
（画素Ｄ２２の低域成分）
(1) 16×D22
または
(2) (2×D21 + 4×D22 + 2×D23)+(2×D12 + 4×D22 + 2×D32)
または
(3) (D11 + 2×D12 + D13)+(2×D21 + 4×D22 + 2×D23)+(D31 + 2×D32 + D33)
【００２３】
なお、式中のDxyは図中の画素Ｄｘｙにおける画像信号の値を示す。このように、低域成分算出部３４および低域成分算出部４０は、画像信号の低域成分、ここでは画素Ｄ２２の低域成分を算出することができる。式(1)では、周囲の画素の画像信号を用いずに、画素Ｄ２２の画像信号から低域成分を計算し、式(2)(3)では、画素Ｄ２２の画像信号と周囲の画素の画像信号を用いて平均化処理を施した低域成分を計算する。低域成分算出部３４および低域成分算出部４０は、上式(1)〜(3)のいずれを用いて計算してもよく、また別の計算式により求めてもよい。さらに、画素の低域成分を算出するために設定するエリアは、３×３の領域に限定するものではなく、それ以外の領域を用いることも可能である。
【００２４】
図３は、積算部３６および積算部４２における積算値の算出方法を説明するための図である。図３は、Ｈ×Ｖで配列した画素を示し、この例では、中心の画素Ｄ（(H+1)/2,(V+1)/2)）が低域成分を積算する対象画素であるとする。このように低域成分の積算値を求める場合には、対象画素が上下左右の中心となるようにエリアを設定し、エリア内の画素の低域成分、すなわち対象画素の低域成分と、対象画素の周囲の画素の低域成分を積算する。
【００２５】
Ｄ（(H+1)/2,(V+1)/2)）の低域成分の積算値は、以下の式で求められる。
【数１】

【００２６】
式(4)において、画素の低域成分とは、低域成分算出部３４および低域成分算出部４０において算出された低域成分である。積算した低域成分は、以後の処理において、画像信号の低域成分として扱われる。なお、低域成分を積算する対象画素が隣接するＤ（(H+3)/2,(V+3)/2)）である場合、Ｄ（(H+3)/2,(V+3)/2)）の低域成分の積算値は、以下の式で求められる。
【数２】

【００２７】
ノイズ検出部３０では、積算処理以降の処理において、画像信号の低域成分をもとに、図４に示す入出力特性を用いて、コアリング処理により仮のノイズ成分を算出する。コアリング処理は、ノイズ算出部５０において、入力、すなわち減算部４８から出力される画像信号の差分に対して施され、各画素の画像信号に発生しているであろう仮のノイズ成分が求められる。
【００２８】
本実施の形態では、ノイズ算出部５０の入出力特性における閾値TH1およびTH2を、画像信号の低域成分のレベルに応じて変化させることとする。そのため、隣接する画素についてコアリング処理を行う際、両者の画素において低域成分のレベルが大きく異なる場合には、それに応じて閾値が変化した入出力特性をもとに、それぞれの画像信号に対してコアリング処理が施されることになる。一方の画素についてはノイズを検出するが、他方の画素についてはノイズを検出しない状況が頻繁に発生すると、出力画像にチラツキが生じることになり、好ましくない。そのため、積算部３６および積算部４２において、複数の画素の低域成分を積算して１つの画素の低域成分とみなすことによって、隣接する画素間の低域成分のレベル差を小さくし、隣接する画素では、同一または少なくとも近似した入出力特性を用いたコアリング処理を施すことが可能となる。これにより、ノイズ除去処理後の画像のチラツキを予め吸収することができる。
【００２９】
なお、この機能は、積算部３６および積算部４２だけでなく、その前段階で、複数の画素から１つの画素の低域成分を算出する低域成分算出部３４および低域成分算出部４０においても、同様に実現することができる。なお、積算部３６および積算部４２における積算処理は、後述する動き検出部６０における積算部６６、積算部７４、積算部８０、および偽輪郭低減部９０における積算部９６、積算部１０４においても、隣接する画素間で処理方法が大きく変わることを防止するという同様の趣旨の下で行われる。
【００３０】
図４は、ノイズ算出部３０において入力された画像信号の差分に施すコアリング処理の入出力特性を示す。既述のごとく、入力は、減算部４８から送られる現フレームの画像信号と前フレームの画像信号の差分であり、出力は、コアリング処理により暫定的にノイズ成分とみなすことができる仮のノイズ成分である。この例では、入出力特性が以下の式で表される。なお、現フレームと前フレームの同一画素における画像信号の差をd、ノイズ成分のレベルをn、閾値TH1＜閾値TH2とする。k1およびk2は定数である。
(6) n = 0 (d＜-TH2)
n = -k2×(TH2+d) (-TH2≦d≦-TH1)
n = k1×d (-TH1≦d≦TH1)
n = k2×(TH2-d) (TH1≦d≦TH2)
n = 0 (d＞TH2)
なお、k1×TH1 = k2×(TH2-TH1)である。
【００３１】
この入出力特性において、定数k1、すなわち原点を通る直線の傾きを１とすると、入力dが-TH1以上TH1以下（-TH1≦d≦TH1）の範囲では、入力がそのまま出力されることになる。したがって、この範囲にあるときは、ノイズ算出部５０が、画像信号の差分を、そのまま仮ノイズ成分として出力する。一方で、入力dが-TH2より小さくまたTH2より大きい（d＜-TH2、d＞TH2）範囲にあるときは、入力にかかわらず、出力は０となる。この場合、画像信号の差分が、画像における動きにより生じたものと判断し、ノイズ算出部５０は、仮ノイズ成分を０に設定する。入力dが、-TH2以上-TH1以下、またはTH1以上TH2以下（-TH2≦d≦-TH1、TH1≦d≦TH2）の範囲にあるときは、ノイズ成分と動きとのバランスを平均化して、ノイズ成分のレベルを制限する。本実施の形態のノイズ算出部５０は、画像信号の低域成分に基づいて、閾値TH1、TH2を変更した入出力特性をもとに、仮ノイズ成分を検出する。なお、式(6)で示す入出力特性は例示であり、適宜設定可能とされることが好ましい。
【００３２】
最大値取得部４４が、低域成分取得部３２で取得された現フレームの画像信号の低域成分と、低域成分取得部３８で取得された前フレームの画像信号の低域成分とを比較し、最大値、すなわち大きい方の低域成分を選択して取得する。選択された低域成分は、閾値算出部４６に送られる。
【００３３】
図５は、低域成分と閾値の対応を示す対応特性を示す。横軸が低域成分を示し、縦軸が閾値を示す。なお理解を容易にするために、低域成分が輝度を表すと表現すると、右方向が明るい画像を意味し、左方向が暗い画像を意味する。この対応特性によると、低域成分の値に応じて閾値が一意に設定される。閾値算出部４６は、この対応特性に基づいて閾値を算出する。この対応特性は、例えばガンマ補正による入出力特性などから求められる。
【００３４】
図６は、公知のガンマ補正による入出力特性を示す。横軸は輝度を示し、縦軸は実際の出力を示す。この入出力特性によると、入力レベルが高い画像信号同士では、入力レベルに差があっても、出力レベルはそれほど変化しないのに対し、入力レベルが低い画像信号同士では、入力レベルに差があると、その差が出力レベルに顕著に反映される。つまり、入力レベルすなわち輝度が低いと、画像信号にノイズ成分がのっている場合に、その出力レベルが大きく影響を受けることになる。したがって、最大値取得部４４で取得された低域成分のレベルが低い場合には、現フレームと前フレームの画像信号の差分をノイズ成分として検出する閾値を大きくすることが好ましい。
【００３５】
一方で、入力レベルが高い場合には、画像信号にノイズ成分がのっていたとしても出力レベルへの影響は小さい。そのため、低域成分のレベルが高い場合には、現フレームと前フレームの画像信号の差分が大きくても、ノイズ成分と判断して除去する方向で処理するよりも、画像の動きと判断して残す方向で処理する方が画像処理として好ましい。したがって、低域成分のレベルが高い場合には、画像信号の差分をノイズ成分として検出する閾値を小さくすることが好ましい。以上の理由から、図５に示す低域成分と閾値との対応特性は、低域成分が小さいときに閾値が高くなるように設定され、一方で低域成分が大きいときに閾値が低くなるように設定されている。なお、最大閾値TH_HIGHおよび最小閾値TH_LOWは適宜設定することができ、また対応特性自体についても、低域成分の低いレベルから高いレベルに向かう方向に閾値が小さくなる関係を満たすように、適宜設定できることが好ましい。
【００３６】
図４に戻って、閾値算出部４６は、低域成分が小さい場合には閾値TH1、TH2を大きく設定することにより、点線５２で示されるような入出力特性を設定し、一方で低域成分が大きい場合には、閾値TH1、TH2を小さく設定することにより、点線５１で示されるような入出力特性を設定する。図示されるように、点線５２の入出力特性によると、ノイズ算出部５０が画像信号の差分を仮ノイズ成分と判断する範囲が広がり、点線５１の入出力特性によると、ノイズ算出部５０が画像信号の差分を仮ノイズ成分と判断する範囲が狭まることになる。なお、最大値取得部４４が低域成分取得部３２と低域成分取得部３８の出力の最大値を選択するのは、低域成分のレベルが高い方がノイズの影響が小さく、ノイズ成分を除去するための条件を厳しくする方向で制御するためである。別の例では、閾値算出部４６が、低域成分取得部３２と低域成分取得部３８の出力の平均から閾値を算出することも可能である。
【００３７】
以上のように、ノイズ算出部５０は、図４に示す入出力特性をもとに、仮ノイズ成分を検出する。
【００３８】
次に、動き検出部６０の動作を説明する。動き検出部６０は、連続するフレームにおける画像信号の変化量をフレーム間の動きとして検出して、ノイズ検出部３０において検出された仮ノイズ成分のレベルを調整するための係数を設定する。
【００３９】
動き検出部６０は、減算部６２、絶対値取得部６４、係数算出部６８、低域成分取得部７０、低域成分取得部７６、最大値取得部８２および傾き算出部８４を備える。低域成分取得部７０は、低域成分算出部７２および積算部７４を有し、低域成分取得部７６は、低域成分算出部７８および積算部８０を有する。なお低域成分取得部７０は、ノイズ検出部３０における低域成分取得部３８と共用されてもよい。絶対値取得部６４は、絶対値算出部６５および積算部６６を有する。
【００４０】
低域成分取得部７０は、前フレームの画像信号の低域成分を取得し、低域成分取得部７６は、前々フレームの画像信号の低域成分を取得する。最大値取得部８２は、低域成分取得部７０で取得した低域成分と、低域成分取得部７６で取得した低域成分を比較して、最大値、すなわち大きい方を選択して取得する。傾き算出部８４は、最大値取得部８２で取得した低域成分の最大値をもとに、後述する傾きを算出する。低域成分取得部７０および低域成分取得部７６は、ノイズ検出部３０において説明した低域成分取得部３２および低域成分取得部３８と同様の処理を行い、また最大値取得部８２も、最大値取得部４４と同様の処理を行う。
【００４１】
減算部６２は、フレームメモリ２０から供給される前フレームの画像信号と、フレームメモリ２２から供給される前々フレームの画像信号の差分を算出する。絶対値取得部６４は、前フレームと前々フレームの画像信号の差分の絶対値を取得し、積算部６６は、差分の絶対値を積算処理する。係数算出部６８は、積算部６６において取得された積算値と、傾き算出部８４において算出した傾きをもとに、仮ノイズ成分のレベルを調整するための係数を算出する。
【００４２】
本実施の形態において、減算部６２が、過去の連続するフレームにおける画像信号の変化量を取得する。画像信号処理装置１０では、過去のフレームにおける画像信号が、ノイズ成分を除去された状態でフレームメモリに格納されている。したがって、過去の連続するフレーム、この例では前フレームの画像信号と前々フレームの画像信号の変化量をとることにより、この変化量を画像信号の動きととらえることができる。絶対値算出部６５は、変化量の絶対値を算出し、積算部６６は、ノイズ検出部３０における積算部３６および積算部４２に関連して説明したように、自身の変化量の絶対値と、周囲の画素における変化量の絶対値を積算する。積算部６６は、式(4)と同様に、下記の式により積算値を算出する。
【数３】

積算した画像信号の差分の絶対値は、以後の処理において、画像信号の変化量、すなわち動きとして扱われる。係数算出部６８は、絶対値取得部６４からこの画像信号の変化量を受け取る。
【００４３】
図７は、係数算出部６８で係数を算出するための係数と動きの対応特性を示す。横軸が動き、すなわち画像信号の変化量を示し、縦軸が係数を示す。この対応特性によると、動きの量に応じて係数が一意に設定される。対応特性は、動きの量が大きくなると、係数が小さくなるように設定される。図１を参照して、係数算出部６８により算出される係数は、乗算部１２６において仮ノイズ成分に乗算される。このように、係数算出部６８は、仮ノイズ成分のレベルを調整する係数を算出し、この係数は、小さい値をとると、仮ノイズ成分の制限量が大きくなり、大きい値をとると、仮ノイズ成分の制限量が小さくなる性質を持つ。
【００４４】
減算部６２が、過去のフレームの画像信号同士の差分をとることにより、その差分を、画像の動きと捉えることができる。したがって、絶対値取得部６４で取得された動きの絶対値が大きい場合は、その画像自体が動きの大きい動画であることが判断でき、そのため、ノイズ算出部５０において算出された仮ノイズ成分も、ノイズ成分ではなく動きにより生じたものである可能性が高いと考えられる。したがって、動きが大きい場合には、仮ノイズ成分に乗算する係数を小さくし、一方で動きが小さい場合には、反対の理由から仮ノイズ成分が動きによるものではないと考えられるため、仮ノイズ成分に乗算する係数を大きくする。この対応特性の縦軸における始点A1は、適宜設定することができる。本実施の形態では、傾き算出部８４が、対応特性の傾きを画像信号の低域成分によって調整する。
【００４５】
図８は、傾き算出部８４で傾きを算出するための傾きと低域成分との対応特性を示す。横軸が低域成分を示し、縦軸が傾きを示す。なお、本実施の形態では、図７において、傾きを、横軸と対応特性線分との鋭角と定義し、したがって、点線８５で示される傾きが、点線８６で示される傾きよりも大きいとする。
【００４６】
図示されるように、低域成分のレベルが低い場合に傾きが小さく設定され、低域成分のレベルが高い場合に傾きが大きく設定される。図６でガンマ補正の入出力特性に関して説明したように、低域成分のレベルが低い場合は、ノイズの影響が出力に反映されやすく、低域成分のレベルが高い場合は、ノイズの影響が出力に反映されにくい性質がある。図８で示す対応特性もこの性質を利用しており、低域成分のレベルが低い場合には、画像信号の変化量をノイズ成分によるものと判断する必要性が高く、一方で低域成分のレベルが高い場合には、画像信号の変化量をノイズ成分によるものとするよりも、動きによるものとして判断する制御の方が、画像処理として好ましい。この理由から、図８の対応特性は、最大値取得部８２において取得された低域成分が小さい場合には傾きを小さく設定し、逆に低域成分が大きい場合には傾きを大きく設定する。なお、最大傾きS_HIGHおよび最小傾きS_LOWは、適宜設定することができ、また対応特性も、図示のような直線ではなく、適宜設定できることが好ましい。
【００４７】
図７に戻って、傾き算出部８４は、低域成分が小さい場合には傾きを小さく設定することにより、点線８６で示されるような対応特性を設定し、一方で低域成分が大きい場合には、傾きを大きく設定することにより、点線８５で示されるような対応特性を設定する。図示されるように、ある動き量を基準とした場合、点線８６の対応特性による係数値は、点線８５の対応特性による係数よりも大きくなる。係数算出部６８は、傾き算出部８４において設定された傾きをもとに、仮ノイズ成分のレベルを調整するための係数を設定する。以下、係数算出部６８が設定する係数を、係数ａとする。
【００４８】
次に、偽輪郭低減部９０の動作を説明する。偽輪郭低減部９０は、画像信号の色相成分や高域成分をもとに偽輪郭の発生を予測して、ノイズ検出部３０において検出された仮ノイズ成分のレベルを調整するための係数を設定する。
【００４９】
偽輪郭低減部９０は、色相成分取得部９２、係数算出部９８、高域成分取得部１００および係数算出部１０６を備える。色相成分取得部９２は、色相成分算出部９４および積算部９６を有し、高域成分取得部１００は、高域成分算出部１０２および積算部１０４を有する。なお既述のごとく、積算部９６および積算部１０４は、ノイズ検出部３０において説明した積算部３６および積算部４２と同様の積算処理を行う。
【００５０】
まず、色相成分算出部９４は、現フレームの画像信号から、色相成分を算出する。画像信号の画素における色相成分は以下の式により一意に求められる。
(8) Arctan((R-Y)/(B-Y))
算出した色相成分は積算部９６で周囲の画素における色相成分と積算され、係数算出部９８に送られる。積算された色相成分は、以下の式で表される。
【数４】

【００５１】
図９は、係数算出部９８で係数を算出するための係数と色相成分の対応特性を示す。横軸が色相成分を示し、縦軸が係数を示す。この対応特性によると、色相成分が所定の値P1にあるとき、係数が極小値B2をとる。値P1は、人間の肌色の色相をもとに設定される。人間の目は、肌色の偽輪郭に敏感に反応する。したがって、肌色の色相成分については、ノイズ成分を除去するよりも、偽輪郭が発生する可能性を低減する方が好ましい。係数算出部９８は、図９に示す対応特性にしたがって、画素の色相成分にもとづき偽輪郭の発生を予測し、仮ノイズ成分のレベルを調整するための係数を設定する。なお、係数の極大値B1および極小値B2は適宜設定することが可能である。以下、係数算出部９８が設定する係数を、係数ｂとする。この係数ｂは、極小値B2のときに、仮ノイズ成分のレベルの制限量を極大とする。
【００５２】
偽輪郭の発生を予測する他の方法を説明する。まず高域成分算出部１０２が、現フレームの画像信号の高域成分を算出する。図２に戻って、中心の画素Ｄ２２がノイズを低減する対象画素であるとし、画素Ｄ２２の画像信号の高域成分を求める方法を示す。画素Ｄ２２の高域成分は、画像の微分信号を表し、例えば以下の式で求めることができる。
（画素Ｄ２２の高域成分）
(10)|(-2×D21 + 4×D22 - 2×D23)|+|(-2×D12 + 4×D22 - 2×D32)
または
(11)|(D11 - 2×D12 + D13)+(-2×D21 + 4×D22 - 2×D23)+(D31 - 2×D32 + D33)|
【００５３】
式中のDxyは図２中の画素Ｄｘｙにおける画像信号の値を示す。このように、高域成分算出部１０２は、画素Ｄ２２の高域成分を算出することができる。高域成分算出部１０２は、上式(10)〜(11)のいずれを用いて計算してもよく、また別の計算式により求めてもよい。高域成分算出部１０２により算出された高域成分は積算部１０４に送られ、積算部１０４は、高域成分を積算処理する。積算した高域成分は、以後の処理において、画像信号の高域成分として扱われる。積算した高域成分は、以下の式で表される。
【数５】

【００５４】
図１０は、係数算出部１０６で係数を算出するための係数と高域成分の対応特性を示す。横軸が高域成分を示し、縦軸が係数を示す。この対応特性によると、画像信号の高域成分に応じて係数が一意に設定される。対応特性は、高域成分のレベルが大きくなると、係数が大きくなるように設定され、高域成分のレベルが小さくなると、係数が小さくなるように設定される。偽輪郭は、明るさが緩やかに変化している領域において発生する傾向がある。したがって、明るさが緩やかに変化する領域、すなわち高域成分が小さい画素に対しては、偽輪郭の発生を抑制するために、仮ノイズ成分に乗算する係数を低く設定し、一方で明るさが大きく変化する領域、すなわち高域成分が大きい画素に対しては、偽輪郭を抑制するよりも、ノイズ成分を低減するべく、仮ノイズ成分に乗算する係数を高く設定する。以上の理由から、係数と高域成分の対応特性は、高域成分のレベルが大きくなるにつれて、係数が大きくなるように設定されている。なお、係数の最大値C1および最小値C2は適宜設定することが可能である。以下、係数算出部１０６が設定する係数を、係数ｃとする。
【００５５】
以上により、ノイズ検出部３０において仮ノイズ成分が検出され、仮ノイズ成分のレベルを調整するための係数が、係数算出部６８、係数算出部９８および係数算出部１０６により、それぞれ、係数ａ、係数ｂ、係数ｃとして設定される。検出された仮ノイズ成分、および設定された係数ａ、係数ｂ、係数ｃは、演算部１２０に送られる。
【００５６】
演算部１２０において、乗算部１２６が仮ノイズ成分のレベルと係数ａとを乗算する。乗算部１２６において、仮ノイズ成分のレベルが、動き検出部６０における動き検出の結果を加味して調整されることにより、出力画像における残像の発生を抑制することができる。乗算部１２４は、乗算部１２６による乗算結果に係数ｃを乗算する。乗算部１２２は、乗算部１２４による乗算結果に係数ｂを乗算する。乗算部１２４および乗算部１２２において、仮ノイズ成分のレベルが、偽輪郭低減部９０における偽輪郭の発生予測の検出結果を加味して調整されることにより、出力画像における偽輪郭の発生を抑制することができる。なお、各乗算部による乗算処理の順番はこれに限らない。
【００５７】
演算部１２０において、係数ａ、係数ｂ、係数ｃは仮ノイズ成分に乗算され、仮ノイズ成分のレベルを制限する要素として機能する。例えば、各係数が０〜１の範囲で設定されている場合を想定すると、係数値が大きいほど、仮ノイズ成分のレベルの制限量は少なくなり、また係数値が小さいほど、仮ノイズ成分のレベルの制限量は多くなる。係数値が１であれば、仮ノイズ成分のレベルに１を乗算することによって仮ノイズ成分のレベルは変化せず、したがって制限量は最小となり、一方で、係数値が０であれば、仮ノイズ成分のレベルに０を乗算することによって仮ノイズ成分のレベルは０となり、したがって制限量は最大となる。
【００５８】
以上の演算処理を受けて仮ノイズ成分のレベルが調整され、入力された画像信号から除去すべきノイズ成分が求まる。画像信号は、ノイズ除去手段である減算部１３０においてノイズ成分を除去され、出力端子１４から出力される。なお、ノイズ成分を除去された画像信号は、次の画像信号の処理のため、フレームメモリ２０に格納される。
【００５９】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施の形態では、ノイズ検出部３０、動き検出部６０、偽輪郭低減部９０および演算部１２０を備えた画像信号処理装置１０について説明したが、これらの構成は単独でも機能することが可能であり、変形例では、これらの構成のうちの１つの構成または複数の構成を備えた画像信号処理装置１０を提供することもできる。
【００６０】
【発明の効果】
本発明によれば、入力される画像信号のノイズ成分を検出し、残像および偽輪郭の発生を抑制することのできる画像信号処理装置を提供することができる。
【図面の簡単な説明】
【図１】実施の形態に係る画像信号処理装置の構成を示す図である。
【図２】低域成分算出部における画像信号の低域成分の算出方法を説明するための図である。
【図３】積算部における積算値の算出方法を説明するための図である。
【図４】ノイズ算出部において入力された画像信号の差分に施すコアリング処理の入出力特性を示す図である。
【図５】低域成分と閾値の対応を示す対応特性を示す図である。
【図６】公知のガンマ補正による入出力特性を示す図である。
【図７】係数算出部で係数を算出するための係数と動きの対応特性を示す図である。
【図８】傾き算出部で傾きを算出するための傾きと低域成分との対応特性を示す図である。
【図９】係数算出部で係数を算出するための係数と色相成分の対応特性を示す図である。
【図１０】係数算出部で係数を算出するための係数と高域成分の対応特性を示す図である。
【符号の説明】
１０・・・画像信号処理装置、１２・・・入力端子、１４・・・出力端子、２０、２２・・・フレームメモリ、３０・・・ノイズ検出部、３２、３８、７０、７６・・・低域成分取得部、３６、４２、６６、７４、８０、９６、１０４・・・積算部、３４、４０、７２、７８・・・低域成分算出部、４４、８２・・・最大値取得部
４６・・・閾値算出部、４８、６２、１３０・・・減算部、５０・・・ノイズ算出部、６０・・・動き検出部、６４・・・絶対値取得部、６５・・・絶対値算出部、６８、９８、１０６・・・係数算出部、８４・・・傾き算出部、９０・・・偽輪郭低減部、９２・・・色相成分取得部、９４・・・色相成分算出部、１００・・・高域成分取得部、１０２・・・高域成分算出部、１２０・・・演算部、１２２、１２４、１２６・・・乗算部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a noise reduction technique for reducing a noise component from an input signal, and more particularly to an image signal processing technique for detecting a noise component of an input image signal and removing the noise component from the image signal.
[0002]
[Prior art]
When an analog signal is converted into a digital signal, noise may be added to the analog signal, and the analog signal with noise may be digitized. For example, when an image is taken with a CCD camera, noise may be generated in an analog circuit, and noise may be generated during transmission of an analog signal. Such noise is called random noise, it is unclear on which pixel the noise is placed, and the size is irregular. Therefore, basically, random noise has a property that it does not occur in the same pixel between consecutive frames. As a method for reducing such noise, the degree of motion is detected from the image signals of the current frame, the previous frame, and the frame before the previous frame, and the noise component to be removed from the image signal is reduced as the degree of motion increases, There is a proposal of a noise suppression method that controls that there is no noise component when the degree of noise exceeds a predetermined value (see, for example, Patent Document 1).
[0003]
[Patent Document 1]
JP 2002-33942 A
[0004]
[Problems to be solved by the invention]
It can be said that reducing the noise component is one of important issues in the field of image processing because it significantly affects the image quality. In particular, in the case of a moving image, it is difficult to determine whether a motion occurs between frames or a noise component occurs when the image signal of the same pixel changes in successive frames. Patent Document 1 shows one approach of noise suppression in such a case, but it can be said that there is still room for improvement. Further, as a result of reducing the noise component of the image signal, a pseudo boundary line that should not actually exist may appear when the image signal is displayed. This is a phenomenon called “pseudo contour” and has the property of being easily generated in a so-called high-quality image having no noise component.
[0005]
The present invention has been made in view of such problems, and an object thereof is to provide an image signal processing technique for appropriately detecting a noise component of an image signal and removing the detected noise component from the image signal. .
[0006]
[Means for Solving the Problems]
In order to solve the above-described problem, an aspect of the present invention relates to an image signal processing apparatus that detects a noise component of an input image signal. The image signal processing apparatus according to this aspect includes a subtraction unit that calculates a difference between an image signal of the current frame and an image signal of the same pixel of the previous frame input one frame before the current frame, An acquisition unit that acquires the low frequency component of the image signal of the same pixel of the same pixel in the previous frame or the low frequency component acquired in the acquisition unit And the difference calculated in the subtraction unit And a calculation unit for calculating a noise component of the image signal.
[0007]
The acquisition unit integrates the low-frequency component of the image signal of the current frame and the low-frequency component of the image signal of the current frame obtained by integrating the low-frequency component of the pixels around the pixel of the image signal, and the pixel integrated in the current frame. The larger one of the low-frequency components of the image signal obtained by integrating the low-frequency components in the previous frame of the same pixel as the pixel, and the calculation unit calculates the noise component of the image signal based on the low-frequency component acquired by the acquisition unit May be calculated.
[0008]
The calculation unit decreases the threshold value for detecting the difference between the image signals as a noise component as the low frequency component acquired by the acquisition unit increases, and the threshold value for detecting the difference between the image signals as a noise component as the low frequency component decreases. It is preferable to enlarge it.
[0009]
Another aspect of the present invention relates to an image signal processing apparatus that reduces a noise component of an input image signal. The image signal processing apparatus according to this aspect includes a noise detection unit that detects a noise component of an image signal, a first acquisition unit that acquires a change amount of the image signal in a past successive frame, and a change acquired by the first acquisition unit. A calculation unit that adjusts the level of the noise component detected by the noise detection unit based on the amount, and a noise removal unit that removes the noise component adjusted by the calculation unit from the image signal.
[0010]
The first acquisition unit includes an amount of change between the image signal of the same pixel of the previous frame input one frame before the image signal of the current frame and the image signal of the same pixel of the previous frame input two frames before The change amount obtained by integrating the change amount of the image signal in the previous frame and the previous frame in the pixels around the pixel may be acquired. The arithmetic unit may increase the limit amount of the noise component level as the change amount acquired by the acquisition unit is large, and may decrease the limit amount of the noise component level as the change amount is small.
[0011]
The image signal processing apparatus of this aspect further includes a second acquisition unit that acquires a low frequency component of a past image signal, and the calculation unit detects noise based on the low frequency component acquired by the second acquisition unit. The level of the noise component detected in the unit may be adjusted. The second acquisition unit integrates the integrated value of the low-frequency components of the image signal of the same pixel in the previous frame and its surrounding pixels input one frame before the image signal of the current frame, and the input before two frames Of the low-frequency components of the image signal of the same pixel in the frame and the surrounding pixels, the larger one may be selected to acquire the low-frequency component of the past image signal. The calculation unit may increase the limit amount of the noise component level as the low frequency component acquired by the second acquisition unit is large, and decrease the limit amount of the noise component level as the low frequency component is small.
[0012]
Still another embodiment of the present invention relates to an image signal processing device that reduces noise components of an input image signal. The image signal processing apparatus according to this aspect includes a noise detection unit that detects a noise component of an image signal, an acquisition unit that acquires a high frequency component of the image signal, and noise detection based on the high frequency component acquired by the acquisition unit. A calculation unit that adjusts the level of the noise component detected in the unit, and a noise removal unit that removes the noise component adjusted in the calculation unit from the image signal.
[0013]
The noise detection unit detects a noise component based on the image signal of the current frame and the image signal of the same pixel of the previous frame input one frame before the current frame, and the acquisition unit detects the image signal of the current frame. A high frequency component may be acquired. The acquisition unit may acquire the high frequency component of the image signal obtained by integrating the high frequency component of the pixel of the image signal and the high frequency component of the pixels around the pixel of the image signal. The calculation unit may decrease the limit amount of the noise component level as the high frequency component acquired by the acquisition unit is large, and increase the limit amount of the noise component level as the high frequency component is small.
[0014]
Still another embodiment of the present invention relates to an image signal processing device that reduces noise components of an input image signal. The image signal processing apparatus according to this aspect includes a noise detection unit that detects a noise component of an image signal, an acquisition unit that acquires a hue component of the image signal, and a noise detection unit based on the hue component acquired by the acquisition unit. A calculation unit that adjusts the level of the detected noise component, and a noise removal unit that removes the noise component adjusted in the calculation unit from the image signal.
[0015]
The noise detection unit detects a noise component based on the image signal of the current frame and the image signal of the same pixel of the previous frame input one frame before the current frame, and the acquisition unit detects the image signal of the current frame. You may acquire a hue component. The acquisition unit may acquire the hue component of the image signal obtained by integrating the hue component of the pixel of the image signal and the hue component of the pixels around the pixel of the image signal. The calculation unit may maximize the limit amount of the noise component level when the hue component is at a predetermined value.
[0016]
It should be noted that any combination of the above-described constituent elements and a representation obtained by converting the expression of the present invention between a method, an apparatus, a system, and the like are also effective as an aspect of the present invention.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration of an image signal processing apparatus 10 according to an embodiment of the present invention. In the image signal processing apparatus 10, the image signal is input from the input terminal 12, the noise component is removed by the subtracting unit 130 which is a noise removing unit, and is output from the output terminal 14. The image signal from which the noise component has been removed is recorded in the frame memory 20 and used as the image signal of the previous frame (hereinafter referred to as “previous frame”) in the noise component reduction processing of the next image signal. The This image signal is further recorded in the frame memory 22 and used as the image signal of the previous frame (hereinafter referred to as “previous frame”) in the noise component reduction processing of the subsequent image signal. As described above, when the image signal of the current frame is input from the input terminal 12, the image signal of the previous frame is recorded in the frame memory 20, and the image signal of the previous frame is recorded in the frame memory 22.
[0018]
In this embodiment, an image signal means a signal for a certain pixel, and unless otherwise indicated, an image signal for the current frame, an image signal for the previous frame, and an image signal for the previous frame are for the same pixel. Signal.
[0019]
The image signal processing apparatus 10 includes a noise detection unit 30 that detects a temporary noise component and a motion detection unit 60 that detects a motion in the image signal in order to obtain a noise component to be supplied to the subtraction unit 130 that is a noise removing unit. The false contour reduction unit 90 that performs the generation prediction of the false contour, the level of the noise component detected by the noise detection unit 30, the detection result by the motion detection unit 60, and / or the prediction result by the false contour reduction unit 90 And an arithmetic unit 120 that is obtained by adjustment. The noise component adjusted in the calculation unit 120 is transmitted to the subtraction unit 130 and is removed from the input image signal.
[0020]
First, the noise detection unit 30 includes a low frequency component acquisition unit 32, a low frequency component acquisition unit 38, a maximum value acquisition unit 44, a threshold value calculation unit 46, a subtraction unit 48, and a noise calculation unit 50. The low frequency component acquisition unit 32 includes a low frequency component calculation unit 34 and an integration unit 36, and the low frequency component acquisition unit 38 includes a low frequency component calculation unit 40 and an integration unit 42.
[0021]
The low frequency component acquisition unit 32 acquires the low frequency component of the image signal of the current frame, and the low frequency component acquisition unit 38 acquires the low frequency component of the image signal of the previous frame. The maximum value acquisition unit 44 compares the low frequency component acquired by the low frequency component acquisition unit 32 with the low frequency component acquired by the low frequency component acquisition unit 38, and selects and acquires the maximum value, that is, the larger one. . The threshold calculation unit 46 calculates a threshold described later based on the maximum value of the low frequency component acquired by the maximum value acquisition unit 44. The subtracting unit 48 calculates a difference between the image signal of the current frame supplied from the input terminal 12 and the image signal of the previous frame supplied from the frame memory 20. The noise calculation unit 50 detects noise using the difference value of the image signal and the threshold value calculated by the threshold value calculation unit 46.
[0022]
FIG. 2 is a diagram for explaining a method of calculating the low frequency component of the image signal in the low frequency component calculating unit 34 and the low frequency component calculating unit 40. FIG. 2 shows nine pixels arranged in 3 × 3. In this example, it is assumed that the central pixel D22 is a target pixel for reducing noise, and the low frequency component of the image signal of the pixel D22 is obtained. The low frequency component of the pixel D22 represents an integrated signal of the image, and can be obtained by the following equation, for example.
(Low-frequency component of pixel D22)
(1) 16 x D22
Or
(2) (2 x D21 + 4 x D22 + 2 x D23) + (2 x D12 + 4 x D22 + 2 x D32)
Or
(3) (D11 + 2 x D12 + D13) + (2 x D21 + 4 x D22 + 2 x D23) + (D31 + 2 x D32 + D33)
[0023]
Note that Dxy in the equation represents the value of the image signal in the pixel Dxy in the drawing. As described above, the low-frequency component calculation unit 34 and the low-frequency component calculation unit 40 can calculate the low-frequency component of the image signal, here, the low-frequency component of the pixel D22. In Expression (1), the low frequency component is calculated from the image signal of the pixel D22 without using the image signal of the surrounding pixels, and in Expression (2) and (3), the image signal of the pixel D22 and the image of the surrounding pixels are calculated. The low-frequency component subjected to the averaging process using the signal is calculated. The low-frequency component calculation unit 34 and the low-frequency component calculation unit 40 may be calculated using any of the above formulas (1) to (3), or may be calculated using another calculation formula. Furthermore, the area set for calculating the low-frequency component of the pixel is not limited to the 3 × 3 area, and other areas can be used.
[0024]
FIG. 3 is a diagram for explaining a method of calculating an integrated value in the integrating unit 36 and the integrating unit 42. FIG. 3 shows pixels arranged in H × V. In this example, the center pixel D ((H + 1) / 2, (V + 1) / 2)) is a target pixel for integrating the low frequency components. Suppose there is. In this way, when calculating the integrated value of the low frequency component, the area is set so that the target pixel is centered in the vertical and horizontal directions, and the low frequency component of the pixel in the area, that is, the low frequency component of the target pixel, and the target The low frequency components of pixels around the pixel are integrated.
[0025]
The integrated value of the low frequency components of D ((H + 1) / 2, (V + 1) / 2)) is obtained by the following equation.
[Expression 1]

[0026]
In Equation (4), the low frequency component of the pixel is a low frequency component calculated by the low frequency component calculation unit 34 and the low frequency component calculation unit 40. The integrated low frequency component is treated as a low frequency component of the image signal in the subsequent processing. When the target pixel for integrating the low frequency components is adjacent D ((H + 3) / 2, (V + 3) / 2)), D ((H + 3) / 2, (V + 3 The integrated value of the low frequency component of) / 2)) can be obtained by the following equation.
[Expression 2]

[0027]
In the processing after the integration processing, the noise detection unit 30 calculates a temporary noise component by coring processing using the input / output characteristics shown in FIG. 4 based on the low frequency components of the image signal. The coring process is performed on the input, that is, the difference between the image signals output from the subtraction unit 48 in the noise calculation unit 50, and a temporary noise component that may be generated in the image signal of each pixel is obtained. It is done.
[0028]
In the present embodiment, the thresholds TH1 and TH2 in the input / output characteristics of the noise calculation unit 50 are changed according to the level of the low frequency component of the image signal. Therefore, when performing coring processing on adjacent pixels, if the level of the low-frequency component is significantly different between the two pixels, each image signal is processed based on the input / output characteristics with a corresponding change in the threshold value. Coring processing will be performed. If a situation where noise is detected for one pixel but no noise is detected for the other pixel frequently occurs, the output image will flicker, which is not preferable. Therefore, the integration unit 36 and the integration unit 42 integrate the low-frequency components of a plurality of pixels and regard it as the low-frequency component of one pixel, thereby reducing the level difference of the low-frequency components between adjacent pixels. In such a pixel, coring processing using the same or at least approximate input / output characteristics can be performed. Thereby, the flicker of the image after a noise removal process can be absorbed previously.
[0029]
Note that this function is not limited to the integration unit 36 and the integration unit 42, but in the preceding stage, the low-frequency component calculation unit 34 and the low-frequency component calculation unit 40 that calculate a low-frequency component of one pixel from a plurality of pixels. Can also be realized in the same way. In addition, the integration process in the integration unit 36 and the integration unit 42 is performed in the integration unit 66, the integration unit 74, the integration unit 80, and the integration unit 96 and the integration unit 104 in the false contour reduction unit 90, which will be described later. This is performed under the same concept of preventing the processing method from greatly changing between adjacent pixels.
[0030]
FIG. 4 shows the input / output characteristics of the coring process performed on the difference between the image signals input in the noise calculation unit 30. As described above, the input is the difference between the image signal of the current frame and the image signal of the previous frame sent from the subtracting unit 48, and the output is temporary noise that can be temporarily regarded as a noise component by coring processing. It is an ingredient. In this example, the input / output characteristics are expressed by the following equation. Note that the difference between the image signals in the same pixel of the current frame and the previous frame is d, the level of the noise component is n, and the threshold value TH1 <the threshold value TH2. k1 and k2 are constants.
(6) n = 0 (d <-TH2)
n = -k2 × (TH2 + d) (-TH2 ≦ d ≦ -TH1)
n = k1 × d (-TH1 ≦ d ≦ TH1)
n = k2 × (TH2-d) (TH1 ≦ d ≦ TH2)
n = 0 (d> TH2)
Note that k1 × TH1 = k2 × (TH2-TH1).
[0031]
In this input / output characteristic, if the constant k1, that is, the slope of the straight line passing through the origin is 1, the input is output as it is when the input d is in the range of -TH1 to TH1 (-TH1 ≦ d ≦ TH1). . Therefore, when in this range, the noise calculation unit 50 outputs the difference between the image signals as a temporary noise component as it is. On the other hand, when the input d is in the range smaller than -TH2 and larger than TH2 (d <-TH2, d> TH2), the output is 0 regardless of the input. In this case, it is determined that the difference between the image signals is caused by the motion in the image, and the noise calculation unit 50 sets the temporary noise component to 0. When the input d is in the range of -TH2 or more and -TH1 or less, or TH1 or more and TH2 or less (-TH2 ≤ d ≤ -TH1, TH1 ≤ d ≤ TH2), the balance between the noise component and the motion is averaged, Limit the level of noise components. The noise calculation unit 50 according to the present embodiment detects a temporary noise component based on the input / output characteristics obtained by changing the thresholds TH1 and TH2 based on the low frequency component of the image signal. It should be noted that the input / output characteristics represented by the formula (6) are merely examples, and are preferably settable as appropriate.
[0032]
The maximum value acquisition unit 44 compares the low frequency component of the image signal of the current frame acquired by the low frequency component acquisition unit 32 with the low frequency component of the image signal of the previous frame acquired by the low frequency component acquisition unit 38. Then, the maximum value, that is, the larger low frequency component is selected and acquired. The selected low frequency component is sent to the threshold value calculation unit 46.
[0033]
FIG. 5 shows correspondence characteristics indicating correspondence between low frequency components and threshold values. The horizontal axis indicates the low frequency component, and the vertical axis indicates the threshold value. For ease of understanding, if the low-frequency component expresses luminance, the right direction means a bright image and the left direction means a dark image. According to this correspondence characteristic, the threshold value is uniquely set according to the value of the low frequency component. The threshold calculation unit 46 calculates a threshold based on this correspondence characteristic. This correspondence characteristic is obtained from, for example, an input / output characteristic by gamma correction.
[0034]
FIG. 6 shows input / output characteristics by known gamma correction. The horizontal axis represents luminance, and the vertical axis represents actual output. According to this input / output characteristic, even if there is a difference in input level between image signals with a high input level, the output level does not change so much, whereas there is a difference in input level between image signals with a low input level. The difference is remarkably reflected in the output level. That is, if the input level, that is, the luminance is low, the output level is greatly affected when a noise component is included in the image signal. Therefore, when the level of the low frequency component acquired by the maximum value acquisition unit 44 is low, it is preferable to increase the threshold value for detecting the difference between the image signals of the current frame and the previous frame as a noise component.
[0035]
On the other hand, when the input level is high, the influence on the output level is small even if a noise component is included in the image signal. Therefore, when the level of the low-frequency component is high, even if the difference between the image signal of the current frame and the previous frame is large, it is determined as a motion of the image, rather than being processed as a noise component. Processing in the direction to leave is preferable as image processing. Therefore, when the level of the low frequency component is high, it is preferable to reduce the threshold value for detecting the difference between the image signals as the noise component. For the above reasons, the correspondence characteristic between the low frequency component and the threshold shown in FIG. 5 is set so that the threshold is high when the low frequency component is small, while the threshold is low when the low frequency component is large. Is set to Maximum threshold TH _HIGH And minimum threshold TH _LOW Can be set as appropriate, and it is preferable that the correspondence characteristic itself can be set as appropriate so as to satisfy the relationship that the threshold value decreases in the direction from the low level of the low-frequency component to the high level.
[0036]
Returning to FIG. 4, when the low frequency component is small, the threshold calculation unit 46 sets the input / output characteristics as shown by the dotted line 52 by setting the thresholds TH1 and TH2 large, while the low frequency component is low. When is large, the input / output characteristics as shown by the dotted line 51 are set by setting the thresholds TH1 and TH2 small. As illustrated, according to the input / output characteristics of the dotted line 52, the range in which the noise calculation unit 50 determines the difference between the image signals as the temporary noise component is widened, and according to the input / output characteristics of the dotted line 51, the noise calculation unit 50 The range in which the signal difference is determined as the temporary noise component is narrowed. Note that the maximum value acquisition unit 44 selects the maximum value of the outputs of the low frequency component acquisition unit 32 and the low frequency component acquisition unit 38 because the higher the level of the low frequency component, the less the influence of noise, This is because the control is performed in a direction in which the conditions for removal are tightened. In another example, the threshold value calculation unit 46 may calculate the threshold value from the average of the outputs of the low frequency component acquisition unit 32 and the low frequency component acquisition unit 38.
[0037]
As described above, the noise calculation unit 50 detects a temporary noise component based on the input / output characteristics shown in FIG.
[0038]
Next, the operation of the motion detection unit 60 will be described. The motion detection unit 60 detects a change amount of the image signal in successive frames as a motion between frames, and sets a coefficient for adjusting the level of the temporary noise component detected by the noise detection unit 30.
[0039]
The motion detection unit 60 includes a subtraction unit 62, an absolute value acquisition unit 64, a coefficient calculation unit 68, a low frequency component acquisition unit 70, a low frequency component acquisition unit 76, a maximum value acquisition unit 82, and an inclination calculation unit 84. The low frequency component acquisition unit 70 includes a low frequency component calculation unit 72 and an integration unit 74, and the low frequency component acquisition unit 76 includes a low frequency component calculation unit 78 and an integration unit 80. The low frequency component acquisition unit 70 may be shared with the low frequency component acquisition unit 38 in the noise detection unit 30. The absolute value acquisition unit 64 includes an absolute value calculation unit 65 and an integration unit 66.
[0040]
The low frequency component acquisition unit 70 acquires the low frequency component of the image signal of the previous frame, and the low frequency component acquisition unit 76 acquires the low frequency component of the image signal of the previous frame. The maximum value acquisition unit 82 compares the low frequency component acquired by the low frequency component acquisition unit 70 with the low frequency component acquired by the low frequency component acquisition unit 76, and selects and acquires the maximum value, that is, the larger one. . The inclination calculation unit 84 calculates an inclination described later based on the maximum value of the low frequency component acquired by the maximum value acquisition unit 82. The low frequency component acquisition unit 70 and the low frequency component acquisition unit 76 perform the same processing as the low frequency component acquisition unit 32 and the low frequency component acquisition unit 38 described in the noise detection unit 30, and the maximum value acquisition unit 82 also The same processing as that of the maximum value acquisition unit 44 is performed.
[0041]
The subtractor 62 calculates a difference between the image signal of the previous frame supplied from the frame memory 20 and the image signal of the previous frame supplied from the frame memory 22. The absolute value acquisition unit 64 acquires the absolute value of the difference between the image signals of the previous frame and the previous frame, and the integration unit 66 performs integration processing on the absolute value of the difference. The coefficient calculating unit 68 calculates a coefficient for adjusting the level of the temporary noise component based on the integrated value acquired by the integrating unit 66 and the inclination calculated by the inclination calculating unit 84.
[0042]
In the present embodiment, the subtracting unit 62 acquires the change amount of the image signal in the past consecutive frames. In the image signal processing apparatus 10, image signals in past frames are stored in the frame memory in a state where noise components are removed. Accordingly, by taking the amount of change in the past consecutive frames, in this example, the image signal of the previous frame and the image signal of the previous frame, this amount of change can be regarded as the movement of the image signal. The absolute value calculation unit 65 calculates the absolute value of the change amount, and the integration unit 66 calculates the absolute value of its own change amount as described in connection with the integration unit 36 and the integration unit 42 in the noise detection unit 30. The absolute value of the change amount in the surrounding pixels is integrated. The accumulating unit 66 calculates the accumulated value by the following equation, similarly to the equation (4).
[Equation 3]

The absolute value of the difference between the integrated image signals is treated as a change amount of the image signal, that is, a motion in the subsequent processing. The coefficient calculation unit 68 receives the change amount of the image signal from the absolute value acquisition unit 64.
[0043]
FIG. 7 shows coefficient and motion correspondence characteristics for calculating coefficients by the coefficient calculation unit 68. The horizontal axis represents movement, that is, the amount of change in the image signal, and the vertical axis represents the coefficient. According to this correspondence characteristic, the coefficient is uniquely set according to the amount of motion. The correspondence characteristic is set so that the coefficient decreases as the amount of motion increases. Referring to FIG. 1, the coefficient calculated by coefficient calculation unit 68 is multiplied by provisional noise component in multiplication unit 126. As described above, the coefficient calculating unit 68 calculates a coefficient for adjusting the level of the temporary noise component. If this coefficient takes a small value, the limit amount of the temporary noise component increases. It has the property that the limit amount of noise components is reduced.
[0044]
By subtracting the difference between the image signals of the past frames, the subtraction unit 62 can recognize the difference as the motion of the image. Therefore, when the absolute value of the movement acquired by the absolute value acquisition unit 64 is large, it can be determined that the image itself is a moving image with a large movement. Therefore, the temporary noise component calculated by the noise calculation unit 50 is also It is considered that there is a high possibility that it is not a noise component but a movement. Therefore, if the motion is large, the coefficient to be multiplied by the temporary noise component is reduced. On the other hand, if the motion is small, the temporary noise component is not caused by the movement for the opposite reason. Increase the coefficient to multiply The starting point A1 on the vertical axis of the corresponding characteristic can be set as appropriate. In the present embodiment, the inclination calculation unit 84 adjusts the inclination of the corresponding characteristic using the low frequency component of the image signal.
[0045]
FIG. 8 shows the correspondence characteristics between the slope and the low frequency component for which the slope calculation unit 84 calculates the slope. The horizontal axis indicates the low frequency component, and the vertical axis indicates the inclination. In this embodiment, in FIG. 7, the inclination is defined as an acute angle between the horizontal axis and the corresponding characteristic line segment, and therefore, the inclination indicated by the dotted line 85 is larger than the inclination indicated by the dotted line 86. .
[0046]
As shown in the figure, the slope is set small when the level of the low frequency component is low, and the slope is set large when the level of the low frequency component is high. As described with reference to the input / output characteristics of gamma correction in FIG. 6, when the low frequency component level is low, the influence of noise is easily reflected in the output, and when the low frequency component level is high, the influence of noise is output. Is difficult to reflect. The corresponding characteristic shown in FIG. 8 also uses this property. When the level of the low frequency component is low, it is highly necessary to determine that the amount of change in the image signal is due to the noise component, while the low frequency component When the level is high, control for determining that the amount of change in the image signal is due to movement is preferable to image processing rather than being based on noise components. For this reason, the correspondence characteristic in FIG. 8 sets the slope small when the low frequency component acquired by the maximum value acquisition unit 82 is small, and conversely sets the slope large when the low frequency component is large. Maximum slope S _HIGH And minimum slope S _LOW Can be set as appropriate, and it is preferable that the corresponding characteristic is not a straight line as shown, but can be set as appropriate.
[0047]
Returning to FIG. 7, when the low frequency component is small, the inclination calculation unit 84 sets the corresponding characteristic as shown by the dotted line 86 by setting the inclination small, while the low frequency component is large. Sets a corresponding characteristic as shown by a dotted line 85 by setting the inclination large. As shown in the figure, when a certain amount of motion is used as a reference, the coefficient value due to the correspondence characteristic of the dotted line 86 is larger than the coefficient due to the correspondence characteristic of the dotted line 85. The coefficient calculation unit 68 sets a coefficient for adjusting the level of the temporary noise component based on the inclination set by the inclination calculation unit 84. Hereinafter, the coefficient set by the coefficient calculation unit 68 is referred to as a coefficient a.
[0048]
Next, the operation of the false contour reducing unit 90 will be described. The false contour reduction unit 90 predicts the occurrence of a false contour based on the hue component and high frequency component of the image signal, and sets a coefficient for adjusting the level of the temporary noise component detected by the noise detection unit 30 To do.
[0049]
The false contour reduction unit 90 includes a hue component acquisition unit 92, a coefficient calculation unit 98, a high frequency component acquisition unit 100, and a coefficient calculation unit 106. The hue component acquisition unit 92 includes a hue component calculation unit 94 and an integration unit 96, and the high frequency component acquisition unit 100 includes a high frequency component calculation unit 102 and an integration unit 104. As described above, the integration unit 96 and the integration unit 104 perform the same integration process as the integration unit 36 and the integration unit 42 described in the noise detection unit 30.
[0050]
First, the hue component calculation unit 94 calculates a hue component from the image signal of the current frame. The hue component in the pixel of the image signal is uniquely obtained by the following equation.
(8) Arctan ((RY) / (BY))
The calculated hue component is integrated with the hue component in the surrounding pixels by the integrating unit 96 and sent to the coefficient calculating unit 98. The integrated hue component is expressed by the following equation.
[Expression 4]

[0051]
FIG. 9 shows the correspondence characteristics between the coefficient and the hue component for calculating the coefficient by the coefficient calculation unit 98. The horizontal axis indicates the hue component, and the vertical axis indicates the coefficient. According to this correspondence characteristic, when the hue component is at the predetermined value P1, the coefficient takes the minimum value B2. The value P1 is set based on the hue of human skin color. The human eye reacts sensitively to skin-colored false contours. Therefore, it is preferable to reduce the possibility that a false contour is generated for the flesh color hue component, rather than removing the noise component. The coefficient calculation unit 98 predicts the occurrence of a false contour based on the hue component of the pixel in accordance with the corresponding characteristic shown in FIG. 9, and sets a coefficient for adjusting the level of the temporary noise component. The maximum value B1 and the minimum value B2 of the coefficient can be set as appropriate. Hereinafter, the coefficient set by the coefficient calculation unit 98 is referred to as a coefficient b. When the coefficient b is the minimum value B2, the limit amount of the temporary noise component level is maximized.
[0052]
Another method for predicting the occurrence of a false contour will be described. First, the high frequency component calculation unit 102 calculates the high frequency component of the image signal of the current frame. Returning to FIG. 2, it is assumed that the center pixel D22 is a target pixel for reducing noise, and a method of obtaining a high frequency component of the image signal of the pixel D22 is shown. The high frequency component of the pixel D22 represents a differential signal of the image, and can be obtained by the following equation, for example.
(High frequency component of pixel D22)
(10) | (-2 × D21 + 4 × D22-2 × D23) | + | (-2 × D12 + 4 × D22-2 × D32)
Or
(11) | (D11-2 x D12 + D13) + (-2 x D21 + 4 x D22-2 x D23) + (D31-2 x D32 + D33) |
[0053]
Dxy in the equation indicates the value of the image signal at the pixel Dxy in FIG. In this way, the high frequency component calculation unit 102 can calculate the high frequency component of the pixel D22. The high-frequency component calculation unit 102 may calculate using any of the above formulas (10) to (11), or may use another calculation formula. The high frequency component calculated by the high frequency component calculating unit 102 is sent to the accumulating unit 104, and the accumulating unit 104 integrates the high frequency component. The integrated high frequency component is treated as a high frequency component of the image signal in the subsequent processing. The integrated high frequency component is expressed by the following equation.
[Equation 5]

[0054]
FIG. 10 shows correspondence characteristics between coefficients and high-frequency components for calculating coefficients by the coefficient calculation unit 106. The horizontal axis indicates the high frequency component, and the vertical axis indicates the coefficient. According to this correspondence characteristic, the coefficient is uniquely set according to the high frequency component of the image signal. The correspondence characteristic is set such that the coefficient increases as the level of the high frequency component increases, and the coefficient decreases as the level of the high frequency component decreases. The false contour tends to occur in a region where the brightness changes gently. Therefore, for a region where the brightness changes slowly, that is, for a pixel with a small high frequency component, in order to suppress the occurrence of false contours, the coefficient for multiplying the temporary noise component is set low, while the brightness is For a region that changes greatly, that is, a pixel with a high high-frequency component, the coefficient that is multiplied by the temporary noise component is set higher to reduce the noise component than to suppress the false contour. For the above reasons, the correspondence characteristics between the coefficient and the high frequency component are set so that the coefficient increases as the level of the high frequency component increases. Note that the maximum value C1 and the minimum value C2 of the coefficients can be set as appropriate. Hereinafter, the coefficient set by the coefficient calculation unit 106 is referred to as a coefficient c.
[0055]
As described above, the noise detection unit 30 detects the temporary noise component, and coefficients for adjusting the level of the temporary noise component are obtained by the coefficient calculation unit 68, the coefficient calculation unit 98, and the coefficient calculation unit 106, respectively. b and coefficient c are set. The detected temporary noise component and the set coefficients a, b, and c are sent to the calculation unit 120.
[0056]
In the calculation unit 120, the multiplication unit 126 multiplies the level of the temporary noise component and the coefficient a. In the multiplication unit 126, the level of the temporary noise component is adjusted in consideration of the result of motion detection in the motion detection unit 60, so that afterimage generation in the output image can be suppressed. The multiplication unit 124 multiplies the multiplication result by the multiplication unit 126 by the coefficient c. The multiplication unit 122 multiplies the multiplication result by the multiplication unit 124 by the coefficient b. In the multiplication unit 124 and the multiplication unit 122, the level of the temporary noise component is adjusted in consideration of the detection result of the false contour occurrence prediction in the false contour reduction unit 90, thereby suppressing the occurrence of the false contour in the output image. be able to. Note that the order of multiplication processing by each multiplication unit is not limited to this.
[0057]
In the calculation unit 120, the coefficient a, the coefficient b, and the coefficient c are multiplied by the temporary noise component, and function as an element that limits the level of the temporary noise component. For example, assuming that each coefficient is set in a range of 0 to 1, the larger the coefficient value, the smaller the limit amount of the temporary noise component level, and the smaller the coefficient value, the lower the temporary noise component level. The amount of limit increases. If the coefficient value is 1, the provisional noise component level is not changed by multiplying the provisional noise component level by 1, so that the limit amount is minimized, while if the coefficient value is 0, the provisional noise component level is minimized. By multiplying the component level by 0, the level of the temporary noise component becomes 0, and therefore the limit amount is maximized.
[0058]
The level of the temporary noise component is adjusted through the above arithmetic processing, and the noise component to be removed is obtained from the input image signal. The noise component is removed from the image signal by the subtractor 130 which is a noise removing unit, and the image signal is output from the output terminal 14. Note that the image signal from which the noise component has been removed is stored in the frame memory 20 for processing of the next image signal.
[0059]
The present invention has been described based on the embodiments. This embodiment is an exemplification, and it is understood by those skilled in the art that various modifications can be made to the combination of each component and each processing process, and such modifications are within the scope of the present invention. . In the embodiment, the image signal processing apparatus 10 including the noise detection unit 30, the motion detection unit 60, the false contour reduction unit 90, and the calculation unit 120 has been described. However, these configurations can function alone. In the modification, it is also possible to provide the image signal processing device 10 having one or more of these configurations.
[0060]
【The invention's effect】
According to the present invention, it is possible to provide an image signal processing apparatus that can detect a noise component of an input image signal and suppress the occurrence of afterimages and false contours.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an image signal processing apparatus according to an embodiment.
FIG. 2 is a diagram for explaining a method of calculating a low frequency component of an image signal in a low frequency component calculation unit.
FIG. 3 is a diagram for explaining a method of calculating an integrated value in an integrating unit.
FIG. 4 is a diagram illustrating input / output characteristics of a coring process performed on a difference between image signals input in a noise calculation unit.
FIG. 5 is a diagram illustrating correspondence characteristics indicating correspondence between low frequency components and threshold values.
FIG. 6 is a diagram showing input / output characteristics by a known gamma correction.
FIG. 7 is a diagram illustrating a coefficient and motion correspondence characteristic for calculating a coefficient by a coefficient calculation unit.
FIG. 8 is a diagram illustrating a correspondence characteristic between an inclination and a low frequency component for calculating an inclination by an inclination calculating unit.
FIG. 9 is a diagram illustrating a correspondence characteristic between a coefficient and a hue component for calculating a coefficient by a coefficient calculation unit.
FIG. 10 is a diagram illustrating a correspondence characteristic between a coefficient and a high frequency component for calculating a coefficient by a coefficient calculation unit.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Image signal processing apparatus, 12 ... Input terminal, 14 ... Output terminal, 20, 22 ... Frame memory, 30 ... Noise detection part, 32, 38, 70, 76 ... Low-frequency component acquisition unit, 36, 42, 66, 74, 80, 96, 104 ... integration unit, 34, 40, 72, 78 ... low-frequency component calculation unit, 44, 82 ... maximum value acquisition Part
46 ... Threshold calculation unit, 48, 62, 130 ... Subtraction unit, 50 ... Noise calculation unit, 60 ... Motion detection unit, 64 ... Absolute value acquisition unit, 65 ... Absolute

value Calculation unit

68, 98, 106 ... Coefficient calculation unit, 84 ... Inclination calculation unit, 90 ... False contour reduction unit, 92 ... Hue component acquisition unit, 94 ... Hue component calculation unit, DESCRIPTION OF SYMBOLS 100 ... High frequency component acquisition part, 102 ... High frequency component calculation part, 120 ... Calculation part, 122, 124, 126 ... Multiplication part.

Claims

An image signal processing device for detecting a noise component of an input image signal,
A subtracting unit that calculates a difference between the image signal of the current frame and the image signal of the same pixel of the previous frame input one frame before the current frame;
An acquisition unit for acquiring a low-frequency component of the image signal of the current frame or a low-frequency component of the image signal of the same pixel of the previous frame;
Based on the low-frequency component acquired in the acquisition unit and the difference calculated in the subtraction unit, a calculation unit that calculates a noise component of the image signal;
With
The acquisition unit includes a low frequency component of a pixel of an image signal of a current frame,
An image signal obtained by integrating the low-frequency component of the image signal of the current frame obtained by integrating the low-frequency components of the surrounding pixels of the image signal pixel and the low-frequency component of the previous frame of the same pixel as the pixel integrated by the current frame. Get the larger of the low frequency components,
The image signal processing apparatus, wherein the calculation unit calculates a noise component of an image signal based on the low frequency component acquired by the acquisition unit.

The calculation unit decreases the threshold for detecting the difference between the image signals as a noise component as the low frequency component acquired by the acquisition unit increases, and detects the difference between the image signals as a noise component as the low frequency component decreases. the image signal processing apparatus mounting serial to claim 1, characterized in that to increase the threshold.