JP4579208B2

JP4579208B2 - ノイズ低減装置および方法

Info

Publication number: JP4579208B2
Application number: JP2006211803A
Authority: JP
Inventors: 徹也久野; 正太郎守谷
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-08-03
Filing date: 2006-08-03
Publication date: 2010-11-10
Anticipated expiration: 2026-08-03
Also published as: JP2008042369A

Description

この発明は、ノイズ低減装置および方法に関するものである。

ディジタルカメラなどに用いられるＣＣＤセンサーまたはＭＯＳセンサーなどのイメージセンサーは、高画素化、高感度化の一途をたどっている。そのために、ノイズの影響が問題となってきている。

従来の技術ではノイズを除去する場合、元画像の情報をなるべく損なわずに、ノイズを精度よく抽出して除去を行う試みがなされており、ノイズ除去の対象となる画像の箇所が画像のエッジ部分であるかノイズであるかを判別し、エッジ部分はノイズ除去を行わないようにしていた（例えば、特許文献１）。また、対象箇所の周辺画素との相関を判別し、水平垂直方向の相関に応じてノイズ除去の量を変え、画像のエッジに影響を与えないようにしていた（例えば、特許文献２）。

また、画像を周波数帯域ごとに分類し、それぞれの周波数帯域に応じてノイズの除去量を変えることで効率よくノイズを除去し、ノイズ以外の帯域にはなるべく画像に影響を与えないようにしていた（例えば、特許文献３）。

また、赤外除去波長を変えた複数の赤外カットフィルターを切り替えて高感度化と色再現性の両立を図ろうとする従来技術も提案されている（例えば特許文献２）。

特開２００１−７６１３４（第３図）特開２００１−１８９９４４（段落００３６）特開２００６−５０１０９（段落００３５）

しかしながら、特許文献１および特許文献２に示される従来技術では、ノイズが多くなるとエッジを判別する誤差が大きくなるため、ノイズ除去の効果が十分でないか、または元画像に影響を与えてしまうという問題があった。

また、特許文献３に示される従来技術でも、ノイズはすべての周波数帯域にわたって存在している場合がほとんどであるため、十分なノイズ除去の効果が得られないという問題があった。

本発明は、
異なる複数の色信号を入力し、前記複数の色から対象とする画像の色の主成分を判別する色判別手段と、
前記複数の色信号ごとに設けられ、前記色信号からノイズを分離するノイズ分離手段と、
前記色判別手段によって判別された結果と前記ノイズ分離手段によって分離された各色信号のノイズ量を入力し、判別された色の主成分以外の色の少なくとも１つの色信号のノイズ量が大きいときは、前記複数の色信号のノイズ除去量を大きくするように制御信号を出力するノイズ除去量設定手段と、
異なる複数の色信号を入力し、前記ノイズ除去設定手段の出力に応じて、入力した色信号すべてのノイズ除去量を変えるノイズ除去手段とを具備したことを特徴とするノイズ低減装置を提供する。

本発明によれば、画像の情報を失わず、高いノイズ除去効果が得られる。

実施の形態１．
図１はこの発明装置の実施の形態１によるノイズ低減装置の概略構成図である。図１において、複数の色信号が入力端子１より入力される。本実施の形態では複数の色信号をＲ信号、Ｇ信号、Ｂ信号の３種類とする。それぞれの色信号は色判別手段２に入力される。色判別手段２は、ノイズ除去を行おうとする画素位置またはその近辺画素において、信号の色の主成分は何であるかを判別する。

色判別手段２は入力された色信号の大小を比較する手段を有しており、その比較関係から、信号の色の主成分が何であるかを判別する。例えば、信号の大小関係がＲ＞Ｇ＞ＢでかつＲとＧの差が予め定めた基準値（閾値）ｋ１以上である、即ちＲがＧに閾値ｋ１を加えた値以上である（Ｒ≧Ｇ＋ｋ１である）ときは、その信号の主成分はＲと判断する。また、ＲがＧに閾値ｋ１を加えた値よりも小さく（Ｒ＜Ｇ＋ｋ１であり）かつＧがＢに予め定めた基準値（閾値）ｋ２を加えた値以上である（Ｇ≧Ｂ＋ｋ２である）ときは、その信号の主成分はＲとＧと判断する。ＲがＧに閾値ｋ１を加えた値よりも小さく（Ｒ＜Ｇ＋ｋ１であり）かつＧがＢに閾値ｋ２を加えた値よりも小さい（Ｇ＜Ｂ＋ｋ２である）ときは、その信号の主成分はＲ、Ｇ、Ｂのすべての色信号とする。
上記の比較手段によって、３つの色信号の主成分がある１つの色信号か、２つの色信号か、３つの色信号かを判別し、どの色信号が主成分かを判別する。なお、Ｒ＞Ｇ＞Ｂの関係は一例であり、主成分の組み合わせはＲ、Ｇ、Ｂ、ＲとＧ、ＲとＢ、ＧとＢ、ＲとＧとＢの7種類となる。

図２に色判別手段２の構成例を示す。まず、Ｒ、Ｇ、Ｂが第1の比較手段１１に入力される。第１の比較手段１１はＲ、Ｇ、Ｂにおいて、１番目に大きな信号Ｍ１、２番目に大きな信号Ｍ２、３番目に大きな信号Ｍ３を比較判別する。次に、１番目に大きな信号Ｍ１と２番目に大きな信号Ｍ２とを第２の比較手段１２によって比較し、
その差が閾値ｋ１以上であるか否かを判別する。さらに２番目に大きな信号Ｍ２と３番目に大きな信号Ｍ３とを第３の比較手段１３によって比較し、その差が閾値ｋ２以上であるか否かを判別する。第１の比較手段１１と、第２の比較手段１２と、第３の比較手段１３の結果により主成分判別手段１４は、ノイズを除去する対象とする位置の色の主成分を判別し、判別結果を示す信号Ｓｐを出力する。

一方、Ｒ信号（Ｒ）、Ｇ信号（Ｇ）、Ｂ信号（Ｂ）はそれぞれＲノイズ分離手段３ｒ、Ｇノイズ分離手段３ｇ、Ｂノイズ分離手段３ｂに入力される。（以降、Ｒノイズ分離手段、Ｂノイズ分離手段、Ｇノイズ分離手段のことをまとめてノイズ分離手段と呼ぶこともある。）それぞれのノイズ分離手段３ｒ、３ｇ、３ｂは同じ構成であり、入力した信号からノイズを分離する。

図３にノイズ分離手段３ｒ、３ｇ、３ｂの構成の一例を示す。今、入力信号を信号Ｓとノイズ成分ｎの混合された信号Ｓ＋ｎとする。信号Ｓ＋ｎはそれぞれ異なる帯域が設けられたハイパスフィルターＨＰＦ１、ＨＰＦ２、ＨＰＦ３に入力される。ハイパスフィルターＨＰＦ１によって抜き取られた高周波成分は第１のクリッピング手段ＣＬＰ１に、ＨＰＦ２によって抜き取られた高周波成分は第２のクリッピング手段ＣＬＰ２に、ハイパスフィルターＨＰＦ３によって抜き取られた高周波成分は第３のクリッピング手段ＣＬＰ３に入力される。第１から第３のクリッピング手段ＣＬＰ１〜ＣＬＰ３は微小信号だけを通過させ、予め定めておいた値より大きな信号のときは０を出力する。これにより各帯域におけるノイズ成分を分離することが出来る。最後に合成手段２１によって各帯域におけるノイズ成分を合成し、ノイズ成分ｎを出力する。

ノイズ除去量設定手段４は、色判別手段２によって判別された主成分を表す信号Ｓｐを入力する。また、ノイズ分離手段３ｒ、３ｇ、３ｂによって分離されたノイズ（図３において符号ｎで表されるノイズが、図１では、符号Ｒｎ、Ｇｎ、Ｂｎで表されている。)を入力して、ノイズ除去手段４のノイズ除去量を定める。ノイズ除去量設定手段４はノイズ分離手段３ｒ、３ｇ、３ｂから入力されたノイズ量Ｒｎ、Ｇｎ、Ｂｎが大きいか、小さいかを予め定めておいた基準値と比較して判別し、先に検出されている主成分の色の補色に対応する色のいずれかの色のノイズ量が大きいほど、ノイズ除去手段５によるノイズ除去量を大きくするように設定する。ここで、主成分がＲであるときは、その補色はＧ及びＢであり、主成分がＧであるときはその補色はＢ及びＲであり、主成分がＢであるときはその補色はＲ及びＧであり、主成分がＲ及びＧであるときはその補色はＢであり、主成分がＧ及びＢであるときはその補色はＲであり、主成分がＢ及びＲであるときはその補色はＧであると考える。
判別された主成分とノイズ量とノイズ除去量の関係は下記の表に示すようになる。

なお、上記の表で、ノイズ量の「大」、「小」は基準値以上か基準値よりも小さいかを表す。また、ノイズ除去量を表す「大」、「小」は相対的な表現である。例えば、主成分がＲである場合、Ｇノイズ量及びＢノイズ量の少なくとも一方が「大」である場合には、双方が「小」である場合に比べて、ノイズ除去量が大きく、主成分がＧである場合、Ｒノイズ量及びＢノイズ量の少なくとも一方が「大」である場合には、双方が「小」である場合に比べて、ノイズ除去量が大きく、主成分がＢである場合、Ｒノイズ量及びＧノイズ量の少なくとも一方が「大」である場合には、双方が「小」である場合に比べて、ノイズ除去量が大きく、主成分がＲおよびＧである場合、Ｂノイズ量が「大」である場合には、「小」である場合に比べて、ノイズ除去量が大きく、主成分がＲおよびＢである場合、Ｇノイズ量が「大」である場合には、「小」である場合に比べて、ノイズ除去量が大きく、主成分がＧおよびＢである場合、Ｒノイズ量が「大」である場合には、「小」である場合に比べて、ノイズ除去量が大きいことを表し、表１において「大」と記載されたノイズ除去量は互いに略等しく、「小」と記載されたノイズ除去量は互いに略等しいことを表す。

また、ノイズ除去量設定手段４によるノイズ量の判断は、必ずしも定数との比較による大小の固定値判断である必要はなく、ノイズ量が大きくなるにつれてノイズ除去量も大きくなるように連続的に制御しても問題ない。

ノイズ除去手段５は、入力信号からノイズを除去する手段であり、その手法は本発明では特に問わないが、例えばＬＰＦによる平均化処理であれば、ノイズ除去を対象とする画素を中心として、その周辺画素との加算平均を行う。加算平均を行う際に中心画素の重み付け比率を高くすると、ノイズの除去率は低くなり、単純平均を行うと（或いは重み付けの差を小さくすれば）ノイズの除去率は高くなる。また、加算平均を行う周辺画素の画素数を増やせばノイズの除去量は高くなり、減らせばノイズの除去量は低くなる。また、ノイズ除去手段５として他に非線形フィルタなどを用いる方法もあり、予め定めておいた閾値ｋ３より小さい信号はすべてノイズとみなし出力信号を０にするクリッピング処理などが簡単な非線形フィルタの例として挙げられる。この場合、クリッピング量を定める閾値ｋ３の値が小さければノイズの除去量は少なく、ｋ３の値が大きくなるほどノイズの除去量は多くなる。またノイズ除去手段５としては他にも、図３に示したノイズ分離回路によって分離されたノイズｎにある定数を乗じて入力信号から減算する方法であっても良い。この場合は、前記ある定数値が１に近くなればノイズ除去量は増え、０に近くなればノイズ除去量は減ることとなる。本発明においてノイズ除去手段５の方法はノイズの除去量を変えることが出来る手段であればいずれの手段においても効果を得ることが出来る。

また、上記ノイズの除去量の大小は固定の除去量であっても良いし、主成分の大小関係に応じて連続的な変化量であっても問題はない。

さらにまた、色判別は入力された色信号が特定の１画素について判定すれば、ノイズ除去を対象とする画素の色の主成分を判別することとなり、例えば個々の画素ごとに判定が異なることを避けるのであれば複数の画素（例えば水平垂直合わせて4画素）のＲ、Ｇ、Ｂの平均値を判断すれば近辺画素を含めて色の判別を行ったこととなる。

ここで本発明の原理について説明する。ノイズとは元来得られるべき原画に対して、元信号とは異なった信号が加わることを意味し、それにより、画像の品質を損なったり、元来あるべき信号が正しく認識できなかったりする信号である。予め定まった位置、または予め定められた周波数として加わったノイズは、その信号だけを検出して除去すればよいが、イメージセンサーの暗電流から生じるショットノイズや、回路から生じるアンプノイズは画像が伝送される帯域全般に発生することがほとんどであり、周波数上ではノイズか元信号かを区別することが困難である。そのため、人間の視覚特性を利用し効率よくノイズ除去を行うことが肝要である。

例えば、図４（Ａ）〜（Ｃ）に示すように人間は、画像中、高い周波数領域に発生するノイズ（図４（Ａ）中の符号Ｎａで示す部分であり、図４（Ｂ）に拡大して示してある）より、低い周波数領域に発生するノイズ（図４（Ａ）中の符号Ｎｂで示す部分であり、図４（Ｃ）に拡大して示してある）の方が気になる。画像中高い周波数である画像のエッジなどではノイズ除去をほとんど行わず、エッジのない箇所のノイズ除去を多く行うのはこの特性を利用したものである。

一方、図５に示すようにノイズ自体も、高周波数のノイズ（図５（Ａ））よりも低周波数のノイズ（図５（Ｂ））のほうが視覚特性上、気になる。よって、画像を周波数帯域ごとにわけ、低周波の画像領域のノイズ除去量を大きくすると画質の品位が比較的保たれやすい。

しかし、これら従来の技術はすべて元信号以外の信号誤差はノイズが加算したものとみなし、除去の対象としている。一方、ハードコピーやプリンターなどでは階調の少ない画像において見た目上の階調を増やす処理として元信号を配列しなおすディザ処理などがある。ディザ処理後の画像は対象とする画素位置における信号値が元来の真値とは異なるが、この場合は画像の品位を損なうのではなく逆に画像の品位を上げる処理となっている。このように画像の真値からの誤差がすべて画質の品位を損なうノイズとは限らず、必ずしも除去すべきものではないといえる。

カラー画像では、ノイズはノイズ信号の信号量そのものより、むしろ色ノイズなどに表されるように、元来の色と異なる色がノイズとして現れていることが画像の品位として問題となることが多い。例えば、赤の花にノイズが生じたとき、Ｒ信号が元信号から誤差を含んで表示されているよりも、赤の花の中に緑や青の信号がちらちらと現れるほうが視覚上品位のない画像と判断される。また、赤の花の画像においては信号の変調成分などの画像としての情報は当然ながら赤色の中に多く含まれている。よって、赤の花のＲ信号のノイズ量に応じてノイズの除去量は定めず、画質の品位を損なうＢやＧのノイズが赤の花の中に多く現れた場合は、その箇所のノイズ除去量を多くすることで、画像の品位の劣化を最小限に押さえ、かつ画質の品位を低下させるノイズを効率よく除去することが出来る。

図６は本発明によるノイズ除去の方法を示すフローチャートを示したものである。まず、Ｒ、Ｇ、Ｂ信号から信号の大小関係を判別する（Ｓｔｅｐ１）。ここでは１番大きな信号をＭ１、２番目に大きな信号をＭ２、３番目に大きな信号をＭ３とする。次に、1番目に大きな信号Ｍ１と２番目に大きな信号Ｍ２との差が閾値ｋ１以上であるかを判別し（Ｓｔｅｐ２）、閾値ｋ１以上である場合は信号の色の主成分をＭ１と判別する（Ｓｔｅｐ３）。次に、1番目に大きな信号Ｍ１と２番目に大きな信号Ｍ２との差がｋ１より小さい場合は、２番目に大きな信号Ｍ２と３番目に大きな信号Ｍ３との差が閾値ｋ２以上であるかを判別し（Ｓｔｅｐ４）、閾値ｋ２以上である場合は信号の色の主成分をＭ１とＭ２と判別する（Ｓｔｅｐ５）。次に、２番目に大きな信号Ｍ２と３番目に大きな信号Ｍ３との差がｋ２より小さい場合は、信号の色の主成分をＭ１とＭ２とＭ３と判別する（Ｓｔｅｐ６）。次に、各色信号から分離されたノイズ量から、どの色信号のノイズ量が大きいかを判別する（Ｓｔｅｐ７）。上記判別された色の主成分と、ノイズ量の大きい色信号とから元信号のノイズ除去量を定める（Ｓｔｅｐ８）。ここでは、判別された色の主成分の補色の色のノイズ量が大きいときには、ノイズの除去量を大きくし、補色の色のノイズ量が小さいときにはノイズの除去量を小さくするように定める。最後に、定められたそれぞれのノイズ除去量に応じてノイズを除去する（Ｓｔｅｐ９）。

本実施の形態では複数の色信号をＲ、Ｇ、Ｂ信号の3種類の色信号として述べたが、カメラでは他にＹｅ（イエロー）、Ｍｇ（マジェンタ）、Ｃｙ（シアン）、Ｇ（グリーン）の４種類の場合もある。この場合も同様に上記4種類の大小関係から色判別手段によって主成分の色の判別を行い、それぞれの色信号におけるノイズの除去量を定めれば同様の効果が得られることはいうまでもない。また、印刷系の機器ではＹｅ（イエロー）、Ｍｇ（マジェンタ）、Ｃｙ（シアン）、Ｋ（ブラック）が信号処理における色信号として用いられるが、同様に色判別を行い、色信号に応じたノイズ除去量を設けることで同様の効果が得られることは言うまでもない。

ノイズ低減装置の構成図である。色判別手段の構成図である。ノイズ分離手段の構成図である。（Ａ）〜（Ｃ）は、ノイズに対する人間の視覚特性を説明する図である。（Ａ）及び（Ｂ）は、ノイズに対する人間の視覚特性を説明する図である。ノイズ除去の方法を説明する図である。

符号の説明

１入力端子、２色判別手段、３ｒＲノイズ分離手段、３ｇＧノイズ分離手段、３ｂＢノイズ分離手段、４ノイズ除去量設定手段、５ノイズ除去手段。

Claims

異なる複数の色信号を入力し、前記複数の色から対象とする画像の色の主成分を判別する色判別手段と、
前記複数の色信号ごとに設けられ、前記色信号からノイズを分離するノイズ分離手段と、
前記色判別手段によって判別された結果と前記ノイズ分離手段によって分離された各色信号のノイズ量を入力し、判別された色の主成分以外の色の少なくとも１つの色信号のノイズ量が大きいときは、前記複数の色信号のノイズ除去量を大きくするように制御信号を出力するノイズ除去量設定手段と、
異なる複数の色信号を入力し、前記ノイズ除去設定手段の出力に応じて、入力した色信号すべてのノイズ除去量を変えるノイズ除去手段とを具備したことを特徴とするノイズ低減装置。
前記判別された色の主成分以外のノイズ量が所定の基準値以上であるときは、前記判別された色の主成分以外のノイズ量が該基準値よりも小さいときに比べて、前記ノイズ除去手段のノイズ除去量を大きくすることを特徴とする請求項１に記載のノイズ低減装置。
前記色判別手段は、複数の比較手段から構成されており、
複数の色信号中、ある１つの色信号が他の色信号よりも大きくかつその差が予め定めた基準値以上であるときは、その１つの色が、対象とする画像の主成分と判断し、
２つの色信号が他の色信号よりも大きくかつその差が予め定めた基準値以上であるときは、その２つの色が、対象とする画像の主成分と判断する
ことを特徴とする請求項１に記載のノイズ低減装置。
異なる複数の色信号を入力し、前記複数の色から対象とする画像の色の主成分を判別し、
前記複数の色信号ごとのノイズを分離し、
前記判別された色の主成分以外の色の少なくとも１つの色信号のノイズ量が大きいときは、前記複数の色信号のノイズ除去量を大きくするように制御信号を出力し、
異なる複数の色信号を入力し、前記制御信号に応じて、入力した色信号すべてのノイズ除去量を変える
ことを特徴とするノイズ低減方法。
前記判別された色の主成分以外のノイズ量が所定の基準値以上であるときは、前記判別された色の主成分以外のノイズ量が該基準値よりも小さいときに比べて、前記ノイズ除去量を大きくすることを特徴とする請求項４に記載のノイズ低減方法。
前記色の主成分の判別に際し、
複数の色信号中、ある１つの色信号が他の色信号よりも大きくかつその差が予め定めた基準値以上であるときは、その１つの色が、対象とする画像の主成分と判断し、
２つの色信号が他の色信号よりも大きくかつその差が予め定めた基準値以上であるときは、その２つの色が、対象とする画像の主成分と判断する
ことを特徴とする請求項４に記載のノイズ低減方法。