JP4571607B2 - ノイズ低減装置および方法 - Google Patents

Description

この発明は、ノイズ低減装置および方法に関するものである。

ディジタルカメラなどに用いられるＣＣＤセンサーまたはＭＯＳセンサーなどのイメージセンサーは、高密度化、高感度化の一途をたどっている。そのために、ノイズの影響がますます大きな問題となってきている。

従来の技術ではノイズを除去する場合、元の画像の情報をなるべく損なわずに、ノイズを精度よく抽出して除去を行う試みがなされており、ノイズ除去の対象となる画像の箇所が画像のエッジ部分であるかノイズであるかを判別し、エッジ部分はノイズ除去を行わないようにしていた（例えば、特許文献１）。また、対象箇所の周辺画素との相関を判別し、水平垂直方向の相関に応じてノイズ除去の量を変え、画像のエッジに影響を与えないようにしていた（例えば、特許文献２）。

また、画像を周波数帯域ごとに分類し、それぞれの周波数帯域に応じてノイズの除去量を変えることで効率よくノイズを除去し、ノイズ以外の帯域にはなるべく画像に影響を与えないようにしていた（例えば、特許文献３）。

また、赤外除去波長を変えた複数の赤外カットフィルターを切り替えて高感度化と色再現性の両立を図ろうとする従来技術も提案されている（例えば特許文献２）。

特開２００１−７６１３４（第３図） 特開２００１−１８９９４４（００３６） 特開２００６−５０１０９（００３５）

しかしながら、特許文献１および特許文献２に示される従来技術では、ノイズが多くなるとエッジ判別の誤差が大きくなるため、ノイズ除去の効果が十分でないか、または元の画像に影響を与えてしまうという問題があった。

また、特許文献３に示される従来技術では、ノイズがすべての周波数帯域にわたって存在している場合に、いずれかの周波数帯域の信号レベルが低減する。すなわち、画像のエッジが、フィルタを通される（フィルタリングされる）ことによってボケるため、ぼんやりとした画像となるという問題があり、元の画像がボケるのを避けるために、フィルタによる信号の減衰を、ある程度に制限した場合には、十分なノイズ除去の効果が得られないという問題があった。

本発明は、
赤色成分を表すＲ信号と緑色成分を表すＧ信号との差をフィルタリングする第１のフィルタリング手段と、
青色成分を表すＢ信号と前記第Ｇ信号との差をフィルタリングする第２のフィルタリング手段と、
前記第１のフィルタリング手段の出力に前記Ｇ信号を加算することで、補正されたＲ信号を生成する第１の信号生成手段と、
前記第２のフィルタリング手段の出力に前記Ｇ信号を加算することで、補正されたＢ信号を生成する第２の信号生成手段と、
前記Ｇ信号と第１の信号生成手段からの出力信号との差をフィルタリングする第３のフィルタリング手段と、
前記Ｇ信号と第２の信号生成手段からの出力信号との差をフィルタリングする第４のフィルタリング手段と、
前記第１の信号生成手段の出力信号と、前記第３のフィルタリング手段の出力信号と、前記第２の信号生成手段の出力信号と、前記第４のフィルタリング手段の出力信号の総和の略半分を求めることで、補正された第２の色成分の信号を補正した信号とする第３の信号生成手段と、
前記補正されたＲ、Ｇ及びＢ信号を階調変換する第１、第２及び第３の階調変換手段と、
前記補正されたＲ、Ｇ及びＢ信号のノイズ量を検出し、検出されたノイズ量に応じて、前記第１、第２及び第３の階調変換手段で用いられる階調変換特性を設定する階調変換制御手段とを
具備したことを特徴とするノイズ低減装置を提供する。

本発明によれば、画像の周波数特性を劣化させることなく、高いノイズ除去効果が得られる。

実施の形態１．
図１はこの発明の実施の形態１のノイズ低減装置の概略構成図である。
本実施の形態のノイズ低減装置は、それぞれ第１、第２及び第３の色成分を表す第１、第２及び第３の入力色信号Ｒ０、Ｇ０、Ｂ０を受けて、それらのノイズ成分を低減するものであり、補正演算ブロック２０、スイッチ２１、２２、２３、制御器２４、メモリ２５、階調変換手段３１、３２、３３、階調変換制御手段３４を備えている。

スイッチ２１は、第１の色成分の入力信号Ｒ０と、後述の、補正された第１の色成分の信号Ｒ’とを受けて、これらの一方を選択して第１の色成分を表す第１の色信号（処理対象色信号）Ｒとして出力する。スイッチ２２は、第２の色成分の入力信号Ｇ０と、後述の、補正された第２の色成分の信号Ｇ’とを受けて、これらの一方を選択して第２の色成分を表す第２の色信号（処理対象色信号）Ｇとして出力する。スイッチ２３は、第３の色成分の入力信号Ｂ０と、後述の、補正された第３の色成分の信号Ｂ’とを受けて、これらの一方を選択して第３の色成分を表す第３の色信号（処理対象色信号）Ｂとして出力する。本実施の形態では、第１の色成分は赤、第２の色成分は緑、第３の色成分は青である。

補正演算ブロック２０は、例えば図２に示すように、減算器１、２、９、１０、加算器５、６、フィルタ３、４、１１、１２、総和演算器１３、及び半減器１４を備えている。

減算器１は、第１の色信号Ｒから第２の色信号Ｇを減算し、両者の差を表す第１の差信号（Ｒ−Ｇ）を生成する。減算器２は、第３の色信号Ｂから第２の色信号Ｇを減算し、両者の差を表す第２の差信号（Ｂ−Ｇ）を生成する。

フィルタ３は、第１の差信号（Ｒ−Ｇ）をフィルタリングする。フィルタ４は、第２の差信号（Ｂ−Ｇ）をフィルタリングする。フィルタ３の出力を「第１のフィルタ出力」と呼び、符号ｍｅｄ（Ｒ−Ｇ）で表し、フィルタ４の出力を「第２のフィルタ出力」と呼び、符号ｍｅｄ（Ｂ−Ｇ）で表す。

フィルタ３、４は入力された信号の高周波数の変動成分を除去するフィルタであり、特に信号の変化が急激である特異点を除去するフィルタである。例えば、そのような特性を有するフィルタとして、メディアンフィルタが挙げられる。ここで述べるメディアンフィルタとは、処理対象である画素についての信号と、処理対象の画素を中心として上下及び左右に（垂直方向及び水平方向に）並んだ複数個、例えば９行×９列の画素についての信号の中央値を、処理対象についての画素の、フィルタリング後の信号の値として出力するフィルタであり、ソルト・アンド・ペッパーノイズなどの特異点のノイズを除去するに有効なフィルタである。
メディアンフィルタを用いる場合、ｍｅｄ（Ａ）は、処理対象画素を中心として所定数の行及び列（例えば９行９列）の範囲内の複数の画素についてのＡ（上記の例では、Ａ＝Ｒ−Ｇ、又はＡ＝Ｂ−Ｇ）の値の中央値を演算結果として与える演算を意味する。

加算器５は、フィルタ３の出力（第１のフィルタ出力）ｍｅｄ（Ｒ−Ｇ）に、第２の色信号Ｇを加算して、補正された第１の色成分の信号Ｒ’を生成する。加算器６は、フィルタ４の出力（第２のフィルタ出力）ｍｅｄ（Ｂ−Ｇ）に、第２の色信号Ｇを加算して、補正された第３の色成分の信号Ｂ’を生成する。

減算器９は、第２の色信号Ｇから加算器５の出力（補正された第１の色成分の信号）Ｒ’を減算し、第３の差信号（Ｇ−Ｒ’）を生成する。減算器１０は、第２の色信号Ｇから加算器６の出力（補正された第３の色成分の信号）Ｂ’を減算し、第４の差信号（Ｇ−Ｂ’）を生成する。

フィルタ１１は、第３の差信号（Ｇ−Ｒ’）をフィルタリングする。フィルタ１２は、第４の差信号（Ｇ−Ｂ’）をフィルタリングする。フィルタ１１の出力を「第３のフィルタ出力」と呼び、符号ｍｅｄ（Ｇ−Ｒ’）で表し、フィルタ４の出力を「第２のフィルタ出力」と呼び、符号ｍｅｄ（Ｇ−Ｂ’）で表す。フィルタ１１、１２はフィルタ３、４と同様の特性を有するフィルタである。

総和演算器１３は、フィルタ１１の出力（第３のフィルタ出力）ｍｅｄ（Ｇ−Ｒ’）、フィルタ１２の出力（第４のフィルタ出力）ｍｅｄ（Ｇ−Ｂ’）、補正された第１の色成分の信号Ｒ’、及び補正された第３の色成分の信号Ｂ’の総和を求め、半減器１４は総和演算器１３の出力の略１／２を求め、半減器１４の出力が補正された第２の色成分の信号Ｇ’として出力される。

補正された第１、第２及び第３の色成分の信号Ｒ’、Ｇ’、Ｂ’を、それぞれ第１、第２及び第３の補正色信号と呼び、第１、第２及び第３の色信号Ｒ、Ｇ、Ｂを、それぞれ第１、第２及び第３の処理対象色信号と呼ぶこともある。

なお、総和演算器９と半減器１０の組合せの代わりに、例えば、加算器５，６及びフィルタ９，１０をそれぞれ略１／２にする４つの半減器と、この４つの半減器の出力の総和を求める総和演算器の組合せを用いても良く、要は、これらと等価な演算、即ち、フィルタ１１の出力（第３のフィルタ出力）ｍｅｄ（Ｇ−Ｒ’）、フィルタ１２の出力（第４のフィルタ出力）ｍｅｄ（Ｇ−Ｂ’）、補正された第１の色成分の信号Ｒ’、補正された第３の色成分の信号Ｂ’の総和の略１／２を求める演算を行う回路であればどのようなものを用いても良い。

以上の処理により得られる補正された第１の色成分の信号Ｒ’、補正された第２の色成分の信号Ｇ’、補正された第３の色成分の信号Ｂ’は次式（１）、（２）、（３）で表される。
Ｒ’＝ Ｇ＋ｍｅｄ（Ｒ−Ｇ） …（１）
Ｂ’＝ Ｇ＋ｍｅｄ（Ｂ−Ｇ） …（２）
Ｇ’＝｛Ｒ’＋ｍｅｄ（Ｇ−Ｒ’）＋Ｂ’＋ｍｅｄ（Ｇ−Ｂ’）｝／２ …（３）

図３は、補正演算ブロック２０の他の例を示す。図３の補正演算ブロック２０は、図２に示される補正演算ブロック２０と概して同じであるが、図２の減算器９、１０の代わりに反転器１５、１６が設けられている。反転器１５は、フィルタ３の出力ｍｅｄ（Ｒ−Ｇ）を符号反転したもの｛−ｍｅｄ（Ｒ−Ｇ）｝を出力する。反転器１６は、フィルタ４の出力ｍｅｄ（Ｂ−Ｇ）を符号反転したもの｛−ｍｅｄ（Ｂ−Ｇ）｝を出力する。フィルタ１１は、反転器１５の出力（−ｍｅｄ（Ｒ−Ｇ））をフィルタリングする。フィルタ１２は、反転器１６の出力（−ｍｅｄ（Ｂ−Ｇ））をフィルタリングする。フィルタ１１の出力（第３のフィルタ出力）は、ｍｅｄ（−ｍｅｄ（Ｒ−Ｇ））で表され、フィルタ１２の出力（第４のフィルタ出力）は、ｍｅｄ（−ｍｅｄ（Ｂ−Ｇ））で表される。
半減器１４の出力Ｇ’は、
Ｇ’＝｛Ｒ’＋ｍｅｄ（−ｍｅｄ（Ｒ−Ｇ）＋Ｂ’＋ｍｅｄ（−ｍｅｄ（Ｂ−Ｇ）}／２ …（４）
で表される。

一方、図２の補正演算ブロックにおいて、加算器５の出力Ｒ’は、上記の式（１）で与えられ、減算器９の出力即ちフィルタ１１の入力（Ｇ−Ｒ’）は、
Ｇ−Ｒ’＝Ｇ−｛Ｇ＋ｍｅｄ（Ｒ−Ｇ）｝＝−ｍｅｄ（Ｒ−Ｇ） …（５）
であり、フィルタ３の出力ｍｅｄ（Ｒ−Ｇ）を符号反転したものと等しい。
同様に、フィルタ１２の入力（Ｂ−Ｒ’）は、
Ｂ−Ｒ’＝Ｇ−｛Ｇ＋ｍｅｄ（Ｂ−Ｇ）｝＝−ｍｅｄ（Ｂ−Ｇ） …（６）
であり、フィルタ４の出力ｍｅｄ（Ｂ−Ｇ）を符号反転したものと等しい。
従って、図３の回路を図２の回路の代わりに用いても同じ結果が得られること、及び式（３）と式（４）は同じ内容を異なる形で表したものであることが分かる。

なお、フィルタ３の出力ｍｅｄ（Ｒ−Ｇ）を符号反転したもの｛−ｍｅｄ（Ｒ−Ｇ）｝を、フィルタ１１でフィルタリングする代わりに、フィルタ３の出力ｍｅｄ（Ｒ−Ｇ）をフィルタ１１でフィルタリングした後、符号反転しても良い。同様に、フィルタ４の出力ｍｅｄ（Ｂ−Ｇ）を符号反転したもの｛−ｍｅｄ（Ｂ−Ｇ）｝を、フィルタ１２でフィルタリングする代わりに、フィルタ４の出力ｍｅｄ（Ｒ−Ｇ）をフィルタ１２でフィルタリングした後、符号反転しても良い。

図２の補正演算ブロック２０及び図３の補正演算ブロック２０はともに、入力された処理対象色信号Ｒ、Ｇ、Ｂに対して、式（１）乃至（３）で表される補正演算を行って補正色信号Ｒ’，Ｇ’、Ｂ’を出力するものである。(なお、上記のように式（４）は式（３）と等価であるので、式（４）の演算を行う場合も、式（３）の演算を行っていると見ることができる。）

以上の式（１）乃至（３）で表される処理を１回のみ行い、その結果得られた信号を、階調変換手段３１、３２、３３に供給しても良いが、図１に示される装置は、スイッチ２１、２２、２３により上記の処理を複数回繰り返し行うことができるものである。
複数回繰り返す場合、制御器２４は、補正演算ブロック２０の減算器１、２、フィルタ３、４、１１、１２、加算器５、６、反転器７、８、総和演算器１３、半減器１４の動作の開始、終了、及び動作のタイミング、並びにメモリ２５への書込み、読出しを制御するとともに、スイッチ２１、２２、２３の動作を制御して以下のような動作を行わせる。

即ち、例えば、一組の画素、例えば１フレーム分の画素について、ノイズ低減装置に入力色信号が供給されたとき、最初は、スイッチ２１、２２、２３により、ノイズ低減装置への入力色信号Ｒ０、Ｇ０、Ｂ０を選択し、入力色信号Ｒ０、Ｇ０、Ｂ０が選択された状態で補正演算ブロック２０に補正演算を行わせ、入力色信号Ｒ０、Ｇ０、Ｂ０に対応する補正色信号Ｒ’、Ｇ’、Ｂ’が順次生成される際、これらをメモリ２５に順次書込んで記憶させ、上記一組の画素についての補正演算処理が終わり、これに伴い一組分の補正色信号Ｒ’、Ｇ’、Ｂ’が記憶されたら、メモリ２５から補正色信号Ｒ’、Ｇ’、Ｂ’を順次読出し、スイッチ２１、２２、２３に、補正色信号Ｒ’、Ｇ’、Ｂ’を選択させ、補正色信号Ｒ’、Ｇ’、Ｂ’が選択された状態で補正演算ブロックに補正演算を行わせる。

このようにして、補正色信号Ｒ’、Ｇ’、Ｂ’が選択された状態で補正演算ブロックに補正演算を行わせた結果生成される補正色信号（同じ符号Ｒ’、Ｇ’、Ｂ’で表すが、補正演算が繰り返された結果得られる信号である）をノイズ低減された信号として出力しても良いが、この補正色信号を再度メモリ２５に記憶させ、以下上記と同様に補正演算を繰り返させても良い。

このように、補正色信号をフィードバック（巡回）させ、補正演算ブロック２０による補正演算（式（１）〜（３）で表される）を繰り返すことで、より高いノイズ除去効果が得られる。繰り返し回数を予め設定しておくこととしても良く、補正色信号中のノイズ量が所定値以下となるまで繰り返しても良い。

上記のように式（１）乃至（３）の演算を１回行うことにより、又は２回以上繰り返し行うことにより得られた、補正された第１、第２及び第３の色成分の信号Ｒ’，Ｇ’，Ｂ’はそれぞれ階調変換手段３１、３２、３３および階調変換制御手段３４に供給される。

階調変換制御手段３４は、ノイズ量検出手段３５と変換特性設定手段３６とを有し、補正された第１、第２及び第３の色成分の信号Ｒ’，Ｇ’，Ｂ’はノイズ量検出手段３５に入力される。ノイズ量検出手段３５は、補正された第１、第２及び第３の補正色信号Ｒ’，Ｇ’，Ｂ’のノイズ量を検出する。ここで、ノイズ量としては例えば、処理対象画素の近傍の領域、例えば処理対称画素を中心として予め定められたその近傍の領域（例えば、垂直方向ｐ行×水平方向ｑ列の領域）内の標準偏差値または分散値を利用することが出来る。具体的には次式（７）で計算できる。ｐ、ｑは２以上の自然数であり、例えばともに５である。
Ｎｖｉｊ＝［｛Σ（Ｓｘｙ−Ｓａｖｅ）↑２｝／ｎ］↑（１／２） …（７）

式（７）においてＮｖｉｊは処理対象画素位置ｉ行ｊ列におけるノイズ量、Ｓｘｙは位置ｘｙの信号値であり、位置ｘｙの範囲は位置ｉｊを中心としてｐ行×ｑ列となる。Ｓａｖｅは位置ｉｊを中心としたｐ行×ｑ列の領域内の信号の平均値、ｎは演算に用いられる画素の数（ｐ＝ｑ＝５のときは「２５」）、Σは位置ｉｊを中心としてｐ行×ｑ列の領域内の信号の総和を求めることを意味している。また、Ｎｖｉｊは補正色信号Ｒ’、Ｇ’、Ｂ’それぞれにつき、画素ごとに求められる。「↑」は、それに続く文字が指数であることを意味する。

階調変換手段３１、３２、３３の各々は、補正された第１、第２及び第３の色成分の信号（Ｒ’、Ｇ’、Ｂ’）を画素ごとに階調変換するものであり、その入力信号Ｓｉ（＝Ｒ’、Ｇ’、Ｂ’）と、それに対する出力信号Ｓｏ（＝Ｒ”、Ｇ”、Ｂ”）の関係を表す入出力特性（階調変換特性）が可変である。
例えば、入力信号Ｓｉ（＝Ｒ’、Ｇ’、Ｂ’）に対する出力信号Ｓｏ（＝Ｒ”、Ｇ”、Ｂ”）の関係は次式（８）にて表される。
Ｓｏ＝ｋｉ×Ｓｉ↑γｉ …（８）
ここで、ｋｉ＝ｋｒ、ｋｇ、又はｋｂであり、γｉ＝γｒ、γｇ、又はγｂである。
色信号毎に書換えると、
Ｒ”＝ｋｒ×Ｒ’↑γｒ …（８Ｒ）
Ｇ”＝ｋｇ×Ｇ’↑γｇ …（８Ｇ）
Ｂ”＝ｋｂ×Ｂ’↑γｂ …（８Ｂ）

式（８）において、γｉ（＝γｒ、γｇ、γｂ）は上述したノイズ量検出手段３５によって検出されたノイズ量に応じて変化する定数である。ｋｉ（＝ｋｒ、ｋｇ、又はｋｂ）は入力値と出力値の最大値が一致するように正規化するための定数であり、γｉが変われば、これに伴って変わる。なお、入力信号Ｓｉ、及び出力信号Ｓｏを、その最大値が１となるように正規化した値で表せば、ｋｉは１である。γｉの値が変わることにより、式（８）に示した非線形な入出力特性が変化する。また、階調変換手段の入出力特性を式（８）に示したが、必ずしも式（８）で表される特性そのものでなくても、式（８）に近似した特性であっても同様の効果が得られる。

変換特性設定手段３６はノイズ量検出手段３５によって算出された各色信号のノイズ量に応じて、階調変換手段３１、３２、３３の階調変換特性を定める係数γｉを設定する手段である。具体的なノイズ量と係数γｉとの関係の一例を図４に示す。図４に示す例では、ノイズ量Ｎｖが所定値以下で、係数γｉは１．０であるが、所定値Ｎｖｔ以上では、ノイズ量の増加とともに係数γｉが増大している。

図５には図４に示した変換特性係数γｉが変化したときの入出力特性を示す。図５において、曲線Ｃａ、Ｃｂ、Ｃｃは、それぞれγｉ＝１．２、１．４、１．６のときの特性である。各階調変換手段３１、３２、３３から出力された信号はノイズ除去された信号として出力される。なお、変換特性設定手段３６はＬＵＴ（ルックアップテーブル）にて構成しても良いし、予め図４に示す特性を実現する折れ線回路にて構成しても実現できる。

ここで補正演算ブロック２００における補正演算によるノイズ除去の原理及び効果について説明する。
ノイズとは元来得られるべき原画に対して、元信号とは異なった信号が加わることを意味し、それにより、画像の品質を損なったり、元来あるべき信号が正しく認識できなかったりする信号である。予め定まった位置、または予め定められた周波数成分として加わったノイズは、その信号だけを検出して除去すればよいが、イメージセンサーの暗電流から生じるショットノイズや、回路から生じるアンプノイズは、画像が伝送される帯域全般にわたり発生することがほとんどであり、周波数上ではノイズか元信号かを区別することが困難である。ローパスフィルタなどによってノイズを除去すると対象とする周波数領域の元来の映像信号まで損なわれ、画像がボケてしまうという問題がある。この問題への対処法として、画像を複数の周波数領域に分けて、ノイズの多い周波数領域の信号だけを低減する処理を行い、なるべく元画像に影響を与えないようにする従来手法もあるが、その周波数帯域の元画像が劣化してしまうことに変わりはなく、またノイズが先に述べたように帯域全般にわたる場合は、現画像の周波数特性を劣化させず（画像がボケさせることなく）ノイズを除去することは極めて困難である。

一方、ノイズ信号のみを精度よく分離して除去するのではなく、見た目の画像品質が良くなったかのように感じる処理、すなわち人間の視覚特性を利用し効率よくノイズ除去を行うことで実際上十分満足できるノイズ低減を行い得る場合がある。例えば、図６に示すように人間は、画像中の、高い周波数領域に発生するノイズ（図６中の符号ＮＨ）よりも、低い周波数領域に発生するノイズ（図６中の符号ＮＬ）の方が気になる。図６において、小さい丸ＮＧや、細く短い横棒ＮＢなど異なる形状で示しているのは異なる色のノイズを示している。
画像中の高い周波数成分である画像のエッジなどではノイズ除去をほとんど行わず、エッジのない箇所のノイズ除去を多く行うのはこの特性を利用したものである。

これらの従来の技術はすべて元信号以外の信号誤差はノイズが加算したものとみなし、除去の対象としている。しかし、ハードコピーやプリンターなどでは階調の少ない画像において見た目上の階調を増やす処理として元信号を配列しなおすディザ処理などがある。ディザ処理後の画像は対象とする画素位置における信号値が元来の真値とは異なるが、この場合は画像の品位を損なうのではなく逆に画像の品位を上げる処理となっている。このように画像の真値からの誤差がすべて画質の品位を損なうノイズとみなし除去すべき対象とするものではないことがわかる。

また、カラー画像では、ノイズはノイズ信号の信号量そのものより、むしろ色ノイズなどに表されるように、元来の色と異なる色がノイズとして現れていることが画像の品位として問題となることが多い。例えば、図６に示すように、赤いりんごにノイズが加わっているとき、りんごの赤い部分に対応する赤色成分を表す信号が元信号に対し、同じ赤色成分を表す号成分の誤差を含んで表示されているよりも、赤いりんごの赤の部分の中に緑や青のノイズ信号がちらちらと現れるほうが視覚的に品位のない画像と感じられる。すなわち、カラー画像においてはノイズにおける各色の元信号の値の変動よりも、色相が変化したノイズ、すなわち、カラーノイズと呼ばれるものが画像の品位を落とすことが多いといえる。この場合カラーノイズを最も目立たない無彩色に置換えれば、あたかもノイズが低減したように感じ、効率よく画像の品位を改善することが出来る。

図７に、図６に示した赤いりんごの一部の一本の水平ラインに沿う画素の赤、緑、青（Ｒ、Ｇ、Ｂ）の信号レベルとその信号（画素）位置（水平方向の画素位置）を示した図を示す。赤、緑、青の信号のいずれにもそれぞれノイズが加わっており、それぞれの信号が細かく変動している。元来色信号はそれぞれ赤、緑、青の信号間の相関が強いため、すべての信号が同じような変化を行う。しかし、図７に示すようにノイズはそれぞれの信号にランダムに重畳されているため、色信号に重畳されているノイズはそれぞれ相関がなく、それぞれの信号の差の変動が色ノイズとして画面上に現れる。よって、それぞれの信号のノイズによる変動を同じにすれば、等価的に色ノイズは低減される。

図８に本実施の形態に示した式（１）〜（３）の演算を行った結果を示す。また、図９には入力信号のそれぞれの色信号Ｒ、Ｇ、Ｂの差（Ｇ−Ｒ）及び（Ｇ−Ｂ）の交流成分（Ｇ−Ｒ）ａｃ及び（Ｇ−Ｂ）ａｃを示す。図９に示したそれぞれの色信号の差の交流成分が、色ノイズとして現われる信号量である。よって、この信号量が０に近づくとノイズは無彩色となり、色ノイズが低減したこととなる。また、図８に示す信号処理後の色信号Ｒ’、Ｇ’、Ｂ’の差の交流成分（Ｇ’−Ｒ’）ａｃ及び（Ｇ’−Ｂ’）ａｃを図１０に示す。図１０に示される値は、補正演算ブロック２０により補正演算処理を２回繰り返すことにより得られた値である。

図８に示されるノイズ除去後の出力波形を、図７と比べると信号のそれぞれの変化の先鋭度は周波数的に変わっていないことがわかる。従来技術に挙げられるローパスフィルタなどの高周波数成分を除去するフィルタを介したときは、ノイズの変調度も低減されるが、信号の変化自体も滑らかとなり、すなわち元信号のエッジなどが劣化することになる。図８では例えば、補正された第１の色成分の信号Ｒ’は信号の変化具合が図７と比べ大きくは変わっていない。一方、図１０に示す差の交流成分（Ｇ’−Ｒ’）ａｃ及び（Ｇ’−Ｂ’）ａｃは図９に比べ著しく減少しており、色ノイズが低減していることがわかる。なお、図９に示した色信号の差の交流成分（Ｇ−Ｒ）ａｃ及び（Ｇ−Ｂ）ａｃの標準偏差σはそれぞれ２．４９および１．４１であり、図１０に示した色信号の差の交流成分（Ｇ’−Ｒ’）ａｃ及び（Ｇ’−Ｂ’）ａｃの標準偏差σはそれぞれ１．２６および０．７５であり、約半分に低減されている。

また、赤、緑、青の信号の中では緑の信号が人間の視感度特性に最も近い感度特性を有しているため、まず緑の信号を基準にして赤、青の信号のノイズ変動を揃えることで、人間の感じるノイズ除去効果が最大になる。

次に階調変換手段３１、３２、３３による階調変換の効果について述べる。
上述したように、色ノイズは無彩色化され、補正色信号Ｒ’、Ｇ’、Ｂ’として階調変換手段３１、３２、３３に入力される。色ノイズ（色相の差）は先に記述したようにそのレベルが低減されているが、ノイズの輝度成分の信号レベルは必ずしも低減しているわけではない。よって、画像中に無彩色、すなわち白色系のノイズは依然として残留している。図１１、図１２に本発明の実施の形態にしたがって画像シミュレーションを行った画像の一例を示す。図１１、図１２に示されるのは、オウムの体の一部であり、図１１（ａ）において、符号１０１、１０２、１０３、１０４はそれぞれ目、顔、嘴、胸を表し、胸１０４は黄色、嘴１０３は、やや緑がかった黒、顔１０２は、白に黒の筋状の模様があり、目１０１は、中心が黒、その周りが白で、さらにその周りに黒の環がある。

図１１（ｂ）、（ｃ）、図１２（ａ）、（ｂ）、（ｃ）も同じ部分を示す。
図１１（ａ）、図１２（ａ）は、赤色成分の信号を黒に変換してプリントしたもの、図１１（ｂ）、図１２（ｂ）は、緑色成分の信号を黒に変換してプリントしたもの、図１１（ｃ）、図１２（ｃ）は、青色成分の信号を黒に変換してプリントしたものである。
図１１は、補正前の色信号（入力色信号）による画像、図１２は、補正色信号Ｒ’、Ｇ’，Ｂ’（加算器５の出力Ｒ’、半減器１４の出力Ｇ’、加算器６の出力Ｂ’）による画像を示す。

図１１、図１２に示される画像にはランダムノイズが加わっている。このランダムノイズは、図１１、図１２では、画像上むらのように見えるパターン乃至微細な模様として現れている。
図１１、図１２は、白黒であるためノイズのレベル自体は図１１から図１２になることで低減していないように見えるが、ノイズの発生箇所は、図１２では図１１に比べて、それぞれの色信号間で同一化が進んでいる（発生箇所の色信号間での違いが少なくなっている）。これは色ノイズが減少し、無彩色のノイズとなったことを意味する。

次に、図１３（ａ）〜（ｃ）、図１４（ａ）〜（ｃ）、図１５（ａ）〜（ｃ）、及び図１６（ａ）〜（ｃ）は、図１１、図１２に示したオウムの胸１０４の部分（黄色の部分）の２０画素×２０画素の色信号ごとのヒストグラムを示す。図１３（ａ）、図１４（ａ）、図１５（ａ）、図１６（ａ）は、赤の色信号についてのヒストグラムであり、図１３（ｂ）、図１４（ｂ）、図１５（ｂ）、図１６（ｂ）は、緑の色信号についてのヒストグラムであり、図１３（ｃ）、図１４（ｃ）、図１５（ｃ）、図１６（ｃ）は、青の色信号についてのヒストグラムである。図１３（ａ）〜（ｃ）はノイズが重畳される前の元画像であり、ノイズがないため各信号の分散（または標準偏差）は非常に小さい。図１４（ａ）〜（ｃ）にはノイズが重畳された画像（この画像を表す信号が入力色信号として用いられたものである）のヒストグラムを示す。ノイズが重畳されているため図１３（ａ）〜（ｃ）に比べて色信号ごとの分散が大きくなっている。図１５（ａ）〜（ｃ）には補正色信号Ｒ’，Ｇ’，Ｂ’のヒストグラムを示す。色ノイズが低減されているため各色信号の分散は図１４（ａ）〜（ｃ）に比べ低減している。

また、図１５（ａ）〜（ｃ）に示した例では、青の補正色信号Ｂ’の分散値は赤、緑の補正色信号Ｒ’、Ｇ’分散値のほぼ２倍の大きさを持つ。

これら分散値はノイズ量検出手段３５によって算出され、変換特性設定手段３６によって、図４に示した階調変換の係数γｒ、γｇ、γｂが定められる。図１５（ａ）〜（ｃ）に示した例では補正色信号Ｂ’のための係数γｂが最も大きい値に設定される。

係数ｒｂが大きいほど、階調変換特性曲線の曲率が大きくなり、階調値が低い範囲（階調変換特性曲線の傾きが１より小さい範囲）では、階調圧縮され、分散が小さくなる。

階調変換後の信号Ｒ”，Ｇ”，Ｂ”のヒストグラムを図１６に示す。階調変換後の信号Ｂ”は最も分散が大きいため、係数ｒｂが最も大きな値に設定され、低い階調値範囲が横軸方向に最も大きく圧縮され、そのヒストグラムの分散値もより小さくなる。

また、本発明のノイズ低減装置では、処理する対象の画素を中心にローパスフィルタをかける処理は存在しないため、画像の周波数特性を劣化させることなく、ノイズ除去を行うことができる。

図１７は本発明のノイズ除去の方法を示すフローチャートを示したものである。まず、まず、ノイズ低減装置への入力である入力色信号Ｒ０、Ｇ０、Ｂ０を処理対象色信号Ｒ、Ｇ、Ｂとして選択し（ＳＴ０）、処理対象色信号Ｒ、Ｇ、Ｂから補正色信号Ｒ’、Ｂ’を算出する（ＳＴ１）。この算出は減算器１、２、フィルタ３、４、加算器５、６の処理に対応するものであり、式（１）、（２）で表されるものである。

次に、補正色信号Ｒ’、Ｂ’と処理対象色信号Ｇから補正された色信号Ｇ’を算出する（ＳＴ２）。この算出は、減算器９、１０、フィルタ１１、１２、総和演算器１３、半減器１４の処理に対応するものであり、式（３）で表されるものである。

一組の画素についてステップＳＴ１，ＳＴ２の処理（式（１）〜（３）の演算による処理）が終わったら、処理を終了するか再び繰り返すか判断する（ＳＴ３）。ステップＳＴ３の処理は、制御器２４により行われるもので、例えば、ステップＳＴ１およびＳＴ２の処理回数を予め設定して制御器２４内に記憶しておき、処理の回数がその回数（設定処理回数）に達していない場合、補正色信号Ｒ’、Ｇ’、Ｂ’を処理対象色信号Ｒ、Ｇ、Ｂとして選択して（ＳＴ４）、ふたたび上記一組の画素についてステップＳＴ１以降の演算を行う。演算の回数が予め定められた回数に達した場合、演算を完了し最終的な補正色信号Ｒ’、Ｇ’、Ｂ’を得て、出力する。

次に、画素ごとのノイズ量Ｎｖｉｊを算出する（ＳＴ５）。ｉｊはノイズ除去の処理対象となる画素の座標位置である。算出したノイズ量Ｎｖｉｊに応じて各色信号の画素ごとの階調係数γｒ、γｇ、γｂを導出する（ＳＴ６）。最後に、導出した階調係数によって、各信号の階調変換を行う（ＳＴ７）。ステップＳＴ７にて示した式のｉｊは先のノイズ量を算出した際のｉｊの座標位置と同一である。

本発明の実施の形態１のノイズ低減装置を示すブロック図である。 図に示される補正演算ブロック２０の一例を示すブロック図である。 図に示される補正演算ブロック２０の他の例を示すブロック図である。 ノイズ量Ｎｖと変換特性係数γｉとの関係図である。 階調特性変換手段における、変換特性係数γｉごとの入出力特性を示す図である。 ノイズが重畳した画像の一例レベルを示した図である。 図６に示した画像の一部の信号レベルを示した図である。 本発明によるノイズ除去処理を加えた後の信号レベルを示した図である。 図７に示した信号のそれぞれの差を示した図である。 図８に示した信号のそれぞれの差を示した図である。 ノイズが重畳した画像の一部における赤、緑、青の信号Ｒ０、Ｇ０、Ｂ０を黒に変換してプリントした図である。 図１１に示す画像に対し、図１の加算器５、半減器１４、加算器６から出力される補正色信号Ｒ’、Ｇ’、Ｂ’を黒に変換してプリントした図である。 （ａ）〜（ｃ）は、図１１に示す画像のノイズが重畳される前の元の画像の赤、緑、青の信号の階調値ごとのヒストグラムを示す図である。 （ａ）〜（ｃ）は、図１１に示す画像の赤、緑、青の信号の階調値ごとのヒストグラムを示す図である。 （ａ）〜（ｃ）は、図１２に示す画像の赤、緑、青の信号の階調値ごとのヒストグラムを示す図である。 （ａ）〜（ｃ）は、図１２に示す画像に対し階調変換手段３１、３２、３３による階調変換を行った後の、赤、緑、青の信号の階調値ごとのヒストグラムを示す図である。 本発明によるノイズ除去の処理手順を示したフローチャートである。

符号の説明

１ 減算器、 ２ 減算器、 ３ フィルタ、 ４ フィルタ、 ５ 加算器、 ６ 加算器、 ７ 反転器、 ８ 反転器、 １１ フィルタ、 １２ フィルタ、 １３ 総和演算器、 １４ 半減器、 ２０ 補正演算ブロック、 ２１、２２、２３ スイッチ、 ２５ メモリ、 ３１、３２、３３ 階調変換手段、 ３４ 階調変換制御手段、 ３５ ノイズ量検出手段、 ３６ 変換特性設定手段。

Claims (13)

1. 赤色成分を表すＲ信号と緑色成分を表すＧ信号との差をフィルタリングする第１のフィルタリング手段と、
   青色成分を表すＢ信号と前記Ｇ信号との差をフィルタリングする第２のフィルタリング手段と、
   前記第１のフィルタリング手段の出力に前記Ｇ信号を加算することで、補正されたＲ信号を生成する第１の信号生成手段と、
   前記第２のフィルタリング手段の出力に前記Ｇ信号を加算することで、補正されたＢ信号を生成する第２の信号生成手段と、
   前記Ｇ信号と第１の信号生成手段からの出力信号との差をフィルタリングする第３のフィルタリング手段と、
   前記Ｇ信号と第２の信号生成手段からの出力信号との差をフィルタリングする第４のフィルタリング手段と、
   前記第１の信号生成手段の出力信号と、前記第３のフィルタリング手段の出力信号と、前記第２の信号生成手段の出力信号と、前記第４のフィルタリング手段の出力信号の総和の略半分を求めることで、補正されたＧ信号を生成する第３の信号生成手段と、
   前記補正されたＲ、Ｇ及びＢ信号を階調変換する第１、第２及び第３の階調変換手段と、
   前記補正されたＲ、Ｇ及びＢ信号のノイズ量を検出し、検出されたノイズ量に応じて、前記第１、第２及び第３の階調変換手段で用いられる階調変換特性を設定する階調変換制御手段とを
   具備したことを特徴とするノイズ低減装置。
2. 赤色成分を表すＲ信号と緑色成分を表すＧ信号との差をフィルタリングする第１のフィルタリング手段と、
   青色成分を表すＢ信号と前記Ｇ信号との差をフィルタリングする第２のフィルタリング手段と、
   前記第１のフィルタリング手段の出力に前記Ｇ信号を加算することで、補正されたＲ信号を生成する第１の信号生成手段と、
   前記第２のフィルタリング手段の出力に前記Ｇ信号を加算することで、補正されたＢ信号を生成する第２の信号生成手段と、
   第１のフィルタリング手段の出力信号を符号反転したものをフィルタリングする第３のフィルタリング手段と、
   第２のフィルタリング手段の出力信号を符号反転したものをフィルタリングする第４のフィルタリング手段と、
   前記第１の信号生成手段の出力信号と、前記第３のフィルタリング手段の出力信号と、前記第２の信号生成手段の出力信号と、前記第４のフィルタリング手段の出力信号の総和の略半分を求めることで、補正されたＧ信号を生成する第３の信号生成手段と、
   前記補正されたＲ、Ｇ及びＢ信号を階調変換する第１、第２及び第３の階調変換手段と、
   前記補正されたＲ、Ｇ及びＢ信号のノイズ量を検出し、検出されたノイズ量に応じて、前記第１、第２及び第３の階調変換手段で用いられる階調変換特性を設定する階調変換制御手段とを
   具備したことを特徴とするノイズ低減装置。
3. 赤色成分を表すＲ信号と緑色成分を表すＧ信号との差をフィルタリングする第１のフィルタリング手段と、
   青色成分を表すＢ信号と前記Ｇ信号との差をフィルタリングする第２のフィルタリング手段と、
   前記第１のフィルタリング手段の出力に前記Ｇ信号を加算することで、補正されたＲ信号を生成する第１の信号生成手段と、
   前記第２のフィルタリング手段の出力に前記Ｇ信号を加算することで、補正されたＢ信号を生成する第２の信号生成手段と、
   第１のフィルタリング手段の出力信号をフィルタリングする第３のフィルタリング手段と、
   前記第３のフィルタリング手段の出力信号を符号反転する第１の符号反転手段と、
   第２のフィルタリング手段の出力信号をフィルタリングする第４のフィルタリング手段と、
   前記第４のフィルタリング手段の出力信号を符号反転する第２の符号反転手段と、
   前記第１の信号生成手段の出力信号と、前記第１の符号反転手段の出力信号と、前記第２の信号生成手段の出力信号と、前記第２の符号反転手段の出力信号の総和の略半分を求めることで、補正されたＧ信号を生成する第３の信号生成手段と、
   前記補正されたＲ、Ｇ及びＢ信号を階調変換する第１、第２及び第３の階調変換手段と、
   前記補正されたＲ、Ｇ及びＢ信号のノイズ量を検出し、検出されたノイズ量に応じて、前記第１、第２及び第３の階調変換手段で用いられる階調変換特性を設定する階調変換制御手段とを
   具備したことを特徴とするノイズ低減装置。
4. 前記階調変換制御手段は、補正されたＲ、Ｇ及びＢ信号につき、画素ごとのノイズ量を検出し、検出されたノイズ量に応じて、前記第１、第２及び第３の階調変換手段で用いられる階調変換特性を画素ごとに設定する
   ことを特徴とする請求項１から３のいずれかに記載のノイズ低減装置。
5. 前記階調変換制御手段は、
   前記補正されたＲ、Ｇ及びＢ信号の各々につき、画素ごとのノイズ量を検出するノイズ量検出手段と、
   前記ノイズ量検出手段により検出された、前記補正されたＲ、Ｇ及びＢ信号の各々についてのノイズ量に応じて、前記第１、第２及び第３の階調変換手段で当該画素についての前記補正されたＲ、Ｇ及びＢ信号に対して用いられる階調変換特性を定めるパタメータを設定する変換特性設定手段と
   を備えることを特徴とする請求項４に記載のノイズ低減装置。
6. 前記ノイズ量検出手段は、処理対象画素の近傍の領域内の画素についての前記補正されたＲ、Ｇ及びＢ信号の各々の分散または標準偏差を前記Ｒ、Ｇ及びＢ信号の各々についての前記ノイズ量として検出することを特徴とする請求項５に記載のノイズ低減装置。
7. 前記近傍の領域が、前記処理対象画素の近傍のｐ行×ｑ列（ｐ、ｑは２以上の自然数）の領域であることを特徴とする請求項６に記載のノイズ低減装置。
8. 前記第１乃至第３の階調変換手段の各々は、その入力信号をＳｉ、出力信号をＳｏとするとき、ＳｏはＳｉのγ乗（γは所定の係数）、又はこれに近似した非線形特性で表される階調変換特性で階調変換を行うものであり、
   前記変換特性設定手段は、前記のノイズ量検出手段によって検出されたノイズ量が大きくなるにつれて、前記係数γの値を大きくすることを特徴とする請求項５に記載のノイズ低減装置。
9. 第１乃至第４のフィルタリング手段は、入力信号において信号の変化が急激である特異点を除去するフィルタを具備したことを特徴とする請求項１から３のいずれかに記載のノイズ低減装置。
10. それぞれ前記赤色、緑色及び青色成分を表すＲ、Ｇ及びＢ入力信号と、前記補正されたＲ、Ｇ及びＢ信号を入力として、いずれかを選択して前記Ｒ、Ｇ及びＢ信号として出力するスイッチと、
    前記Ｒ、Ｇ及びＢ入力信号が供給されたときに、前記スイッチに、前記Ｒ、Ｇ及びＢ入力信号を選択させ、前記Ｒ、Ｇ及びＢ入力信号が選択された状態で、前記第１乃至第４のフィルタリング手段、及び第１乃至第３の信号生成手段を動作させて、補正されたＲ、Ｇ及びＢ信号を生成させ、
    前記Ｒ、Ｇ及びＢ入力信号に対応する補正されたＲ、Ｇ及びＢ信号が生成された後に、前記スイッチに、前記補正されたＲ、Ｇ及びＢ信号を選択させ、前記補正されたＲ、Ｇ及びＢ信号が選択された状態で、前記第１乃至第４のフィルタリング手段、及び前記第１乃至第３の信号生成手段による処理を行わせる制御器をさらに有する
    ことを特徴とする請求項１から３のいずれかに記載のノイズ低減装置。
11. 前記制御器は、前記補正された前記Ｒ、Ｇ及びＢ信号が選択された状態で、前記第１乃至第４のフィルタリング手段、及び前記第１〜第３の信号生成手段による処理を所定回数繰り返させることを特徴とする請求項１０に記載のノイズ低減装置。
12. 赤色成分を表すＲ信号と緑色成分を表すＧ信号との差をフィルタリングする第１のフィルタリングステップと、
    青色成分を表すＢ信号と前記Ｇ信号との差をフィルタリングする第２のフィルタリングステップと、
    前記第１のフィルタリングステップの出力に前記Ｇ信号を加算することで、補正されたＲ信号を生成する第１の信号生成ステップと、
    前記第２のフィルタリングステップの出力に前記Ｇ信号を加算することで、補正されたＢ信号を生成する第２の信号生成ステップと、
    前記Ｇ信号と第１の信号生成ステップからの出力信号との差をフィルタリングする第３のフィルタリングステップと、
    前記Ｇ信号と第２の信号生成ステップからの出力信号との差をフィルタリングする第４のフィルタリングステップと、
    前記第１の信号生成ステップの出力信号と、前記第３のフィルタリングステップの出力信号と、前記第２の信号生成ステップの出力信号と、前記第４のフィルタリングステップの出力信号の総和の略半分を求めることで、補正されたＧ信号を生成する第３の信号生成ステップと、
    前記補正されたＲ、Ｇ及びＢ信号を階調変換する第１、第２及び第３の階調変換ステップと、
    前記補正されたＲ、Ｇ及びＢ信号のノイズ量を検出し、検出されたノイズ量に応じて、前記第１、第２及び第３の階調変換ステップで用いられる階調変換特性を設定する階調変換制御ステップとを
    具備したことを特徴とするノイズ低減方法。
13. 赤色成分を表すＲ信号と緑色成分を表すＧ信号との差をフィルタリングする第１のフィルタリングステップと、
    青色成分を表すＢ信号と前記Ｇ信号との差をフィルタリングする第２のフィルタリングステップと、
    前記第１のフィルタリングステップの出力に前記Ｇ信号を加算することで、補正されたＲ信号を生成する第１の信号生成ステップと、
    前記第２のフィルタリングステップの出力に前記Ｇ信号を加算することで、補正されたＢ信号を生成する第２の信号生成ステップと、
    第１のフィルタリングステップの出力信号を符号反転したものをフィルタリングする第３のフィルタリングステップと、
    第２のフィルタリングステップの出力信号を符号反転したものをフィルタリングする第４のフィルタリングステップと、
    前記第１の信号生成ステップの出力信号と、前記第３のフィルタリングステップの出力信号と、前記第２の信号生成ステップの出力信号と、前記第４のフィルタリングステップの出力信号の総和の略半分を求めることで、補正されたＧ信号を生成する第３の信号生成ステップと、
    前記補正されたＲ、Ｇ及びＢ信号を階調変換する第１、第２及び第３の階調変換ステップと、
    前記補正されたＲ、Ｇ及びＢ信号のノイズ量を検出し、検出されたノイズ量に応じて、前記第１、第２及び第３の階調変換ステップで用いられる階調変換特性を設定する階調変換制御ステップとを
    具備したことを特徴とするノイズ低減方法。

Images