JP4662584B2

JP4662584B2 - 画像センサのライン毎ノイズ除去装置及び方法

Info

Publication number: JP4662584B2
Application number: JP01414398A
Authority: JP
Inventors: 俊樹宮野; エムスミスクレイグ; 恭一小俣
Original assignee: イーストマンコダックカンパニー
Priority date: 1998-01-27
Filing date: 1998-01-27
Publication date: 2011-03-30
Anticipated expiration: 2018-01-27
Also published as: JPH11215515A; US6526181B1

Description

【０００１】
【発明の属する技術分野】
本発明は、電子スチルカメラ（デジタルスチルカメラ）、デジタルビデオカメラ等の電子撮像装置に関する。特に、これらの撮像装置における光電変換素子が出力した画像データのノイズを除去する装置及び方法に関する。
【０００２】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラにおいては光学的な画像を、電気信号による画像データに変換する必要がある。この変換のために、ＣＣＤなどの光学変換素子が用いられている。
【０００３】
さて、このようなデジタル機器においては画像データはＲ（赤）Ｇ（緑）Ｂ（青）や、ＣＭＹなどの各色成分から構成されている場合が多い。従って、赤（Ｒ）用のＣＣＤと、青（Ｂ）用のＣＣＤと、緑（Ｇ）用のＣＣＤのように、各色毎に３枚のＣＣＤを用いたデジタルビデオカメラなども作成されている。
【０００４】
しかしながら、製造コストを低減させるためや、装置構成を簡単にするため等の理由により、１枚のＣＣＤを用いてＲ、Ｇ、Ｂの３原色の画像データを得る手法も広く採用されている。この１枚のＣＣＤを用いて３原色の画像データを得るためには、この１枚のＣＣＤにモザイク状の光学フィルタを取り付ける手法が広く利用されている。このフィルタはカラーフィルタアレイ（ＣｏｌｏｒＦｉｌｔｅｒＡｒｒａｙ：ＣＦＡ）と呼ばれている。このフィルタをＣＣＤに取り付けることにより、ＣＣＤを構成する画素のうちある画素は赤（Ｒ）のデータを検出し、また別の画素は緑（Ｇ）などを検出するように構成されている。
【０００５】
この色フィルタの色の配列パターンは種々のものが提案されているが、典型的な配列としてＢａｙｅｒ配列色のフィルタが広く利用されている。このＢａｙｅｒ配列の色フィルタにおける各色の配置の様子を表す説明図が図１に示されている。
【０００６】
この図に示されているように、Ｂａｙｅｒ配列においてはＲやＢの画素数に比べてＧの画素数が２倍になっている。これは、Ｇの値が、人間の目の視覚上重要である輝度に関する情報をより多く含んでいるからである。
【０００７】
さて、ＣＣＤを用いて画像データを得る画像装置においては、その偶数ラインと奇数ラインとによってしばしばゲインのミスマッチが生じる場合がある。
【０００８】
このミスマッチは、ＣＣＤにおいて、その出力端子が偶数ライン上の出力端子、奇数ライン上の出力端子の２つの出力端子が備えられている場合に顕著である。２つの出力端子が備えられている場合にはそれぞれの出力段において出力のためのアンプが備えられているが、このアンプのゲインの差が出力信号に反映されてしまう場合があるからである。すなわち、アンプのゲイン差が出力信号の大きさの差となってしまいミスマッチが生じるのである。
【０００９】
さらに、このようなミスマッチは、出力端子が１つだけ備えられているＣＣＤにおいても生じる可能性がある。一般にその１つの出力端子の出力段アンプの増幅特性により、ある画素のデータを出力している際に、その画素の前に出力していた画素の値によって、現在出力中のその画素の値が影響を受けてしまう場合は多い。
【００１０】
このように現在の画素のデータが前の画素のデータの値に影響を受ける場合には、上記Ｂａｙｅｒ配列の特徴から、奇数ラインの緑の値は隣の赤（Ｒ）画素の値から影響を受ける。一方、偶数ラインの緑（Ｇ）の画素の値は、隣接している青（Ｂ）の画素の値から影響を受けることになる。従って、例えば赤い物体を撮影する場合には、奇数ラインにおける緑はこの赤の画素の影響を強く受けることになるが、偶数ラインの緑は前の画素の影響をほとんど受けないことになる。その結果奇数ラインと偶数ラインにおける緑の画素の値が異なってしまい、結果としてミスマッチが生じてしまう。
【００１１】
従来の技術においては、出力端子が２個備えられているＣＣＤにおいては、そのＣＣＤを用いてカメラなどを製造する際に、奇数ラインと偶数ラインのゲインの差を調整するためのアンプやアッテネータを調整する手法や、あるいは校正値を記憶しておき、画像処理の段階で奇数ラインと偶数ラインのゲイン補正するなどの手法が提案されている。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記Ｂａｙｅｒ配列の色フィルタを有するＣＣＤにおいて生じるゲインのミスマッチは、その要因が不安定である場合が多い。例えば、同一ライン上にある前の画素値からの影響は、温度によって大幅に変化してしまう。従って、アンプの調整や、画像処理の段階でミスマッチを除去すること等の上記手法の実施は実際には非常に困難であり、ゲインのミスマッチに対する対策手法として実用されているものは極めて少ないのが実状である。
【００１３】
さて、この奇数ラインと偶数ラインのゲインのミスマッチによるノイズは、最終画像に横縞を発生させてしまう。さらにこの横縞を含む画像に補間処理やエッジ強調処理等を施すと、画像に更に悪影響を与えてしまうことがある。例えば、横縞以外の複雑なパターンが生成されてしまい、目障りなノイズを発生させてしまい、最終的な画像品質を劣化させる原因ともなっていた。
【００１４】
また、このような奇数ラインと偶数ラインのゲインの差は、縞状のノイズと考えることができる。したがって、この横縞状のノイズを画像処理の最終段階においてノイズ除去処理によって取り除くことも考えられる。しかし、画像処理の時間がかなり必要となってしまうという問題があり、さらに、このノイズ除去の副作用として、画像のエッジがなまってしまうなどの問題もある。
【００１５】
本発明は、かかる課題に鑑みなされたものであり、その目的はＢａｙｅｒ配列の色フィルタを有するＣＣＤなどから得られた画像データにおいて、偶数ラインと奇数ラインのゲインのミスマッチによって生じたノイズを除去することが可能なノイズ除去方法および装置を提供することである。
【００１６】
【課題を解決するための手段】
本発明は、上記課題を解決するために、Ｂａｙｅｒ型色フィルタを有する光電変換素子が出力するＢａｙｅｒ型画像データのノイズを除去するノイズ除去装置において、以下のような手段を含むことを特徴とする。
【００１７】
すなわち、本ノイズ除去装置は、前記Ｂａｙｅｒ型画像データを構成する各画素が有する高周波成分量を検出する高周波成分量検出手段と、前記Ｂａｙｅｒ型画像データを構成する各画素のぼかし量を算出するぼかし量算出手段と、前記高周波成分量検出手段が検出した高周波成分の量に基づき、前記高周波成分量が増大するほど前記ぼかし量が小さくなり、前記高周波成分量が所定のしきい値を超えた場合に前記ぼかし量がゼロとなるように前記ぼかし量を適応的に変更し、変更後の前記ぼかし量を前記各画素に加算するぼかし量適応決定手段と、を含むことを特徴とする。
【００１８】
ぼかし量を、画素の高周波成分量に基づき適応的に加算したので、画像品質の劣化を少なくすることができる。
【００１９】
また、本発明は、前記高周波成分量検出手段は、注目画素の値と、前記注目画素と１つおきの上下左右の４画素の値と、を入力とするラプラシアンフィルタ、を含むことを特徴とする。そして、前記ラプラシアンフィルタの出力信号が、前記高周波成分量として出力される。
【００２０】
１つおきの上下左右の４画素の値を入力とするので、ライン毎ノイズの影響を小さくすることができる。
【００２１】
また、本発明は、前記高周波成分量検出手段は、注目画素の値と、前記注目画素と１つおきの上下左右の４画素の値と、を入力とするラプラシアンフィルタと、前記注目画素の上下の画素の値の差の絶対値を出力する上下差分算出手段と、前記注目画素の左右の画素の値の差の絶対値を出力する左右差分算出手段と、前記ラプラシアンフィルタの出力信号と、上下差分算出手段の出力信号と、前記左右差分算出手段の出力信号と、を重み付け加算する加算手段と、を含むことを特徴とする。そして、前記加算手段の出力信号は、前記高周波成分量として出力される。
【００２２】
したがって、ライン毎ノイズの影響を小さくすることができるとともに、画素の値の差分を参照しているため、画像品質の劣化を小さくすることができる。
【００２３】
また、本発明は、前記ぼかし量算出手段は、注目画素の値と、前記注目画素の周囲の画素の値との重み付け平均値を求める平均値算出手段と、前記重み付け平均値と、前記注目画素との差分値を出力する差分値算出手段と、を含むことを特徴とする。そして、前記差分値算出手段の出力信号が前記ぼかし量として出力される。
【００２４】
差分がぼかし量として出力されるため、画像の品質に応じたぼかし量を算出することができる。
【００２５】
また、本発明は、前記ぼかし量適応決定手段は、前記高周波成分量をスケールファクタに変換する変換手段と、前記スケールファクタを前記ぼかし量に乗算する乗算手段と、前記スケールファクタを乗算した前記ぼかし量を前記注目画素に加算する加算手段と、を含むことを特徴とするノイズ除去装置である。
【００２６】
高周波成分量に応じてスケールファクタが変化するので、画像品質を維持したままノイズの除去をすることができる。
【００２７】
本発明は、Ｂａｙｅｒ型色フィルタを有する光電変換素子が出力するＢａｙｅｒ型画像データのノイズを除去するノイズ除去方法において、以下のステップを有するものである。
【００２８】
すなわち、前記Ｂａｙｅｒ型画像データを構成する各画素が有する高周波成分量を検出する高周波成分量検出ステップと、前記Ｂａｙｅｒ型画像データを構成する各画素のぼかし量を算出するぼかし量算出ステップと、前記高周波成分量検出ステップにおいて検出した高周波成分の量に基づき、前記高周波成分量が増大するほど前記ぼかし量が小さくなり、前記高周波成分量が所定のしきい値を超えた場合に前記ぼかし量がゼロとなるように前記ぼかし量を適応的に変更し、変更後の前記ぼかし量を前記各画素に加算するぼかし量適応決定ステップと、を含むことを特徴とするノイズ除去方法である。
【００２９】
ぼかし量を、画素の高周波成分量に基づき適応的に加算したので、画像品質の劣化を少なくすることができる。
【００３０】
また、本発明は、前記高周波成分量検出ステップは、注目画素の値と、前記注目画素と１つおきの上下左右の４画素の値と、に基づき、画素の値の２次微分値を算出するラプラシアンフィルタリングステップ、を含むことを特徴とする。そして、前記２次微分値が、前記高周波成分量として算出される。
【００３１】
１つおきの上下左右の４画素の値を入力とするので、ライン毎ノイズの影響を小さくすることができる。
【００３２】
また、本発明は、前記高周波成分量検出ステップは、注目画素の値と、前記注目画素と１つおきの上下左右の４画素の値と、を入力し、画素の値の２次微分値を算出するラプラシアンフィルタリングステップと、前記注目画素の上下の画素の値の差の絶対値を算出する上下差分算出ステップと、前記注目画素の左右の画素の値の差の絶対値を算出する左右差分算出ステップと、前記２次微分値と、上下差分算出ステップの出力信号と、前記左右差分算出ステップの出力信号と、を重み付け加算する加算ステップと、を含むことを特徴とする。そして、前記加算ステップの出力信号は、前記高周波成分量として出力される。
【００３３】
したがって、ライン毎ノイズの影響を小さくすることができるとともに、画素の値の差分を参照しているため、画像品質の劣化を小さくすることができる。
【００３４】
また、本発明は、前記ぼかし量算出ステップは、注目画素の値と、前記注目画素の周囲の画素の値との重み付け平均値を求める平均値算出ステップと、前記重み付け平均値と、前記注目画素との差分値を算出する差分値算出ステップと、を含むことを特徴とする。そして、前記差分値算出ステップの出力信号が前記ぼかし量として算出される。
【００３５】
差分がぼかし量として出力されるため、画像の品質に応じたぼかし量を算出することができる。
【００３６】
また、本発明は、前記ぼかし量適応決定ステップは、前記高周波成分量をスケールファクタに変換する変換ステップと、前記スケールファクタを前記ぼかし量に乗算する乗算ステップと、前記スケールファクタを乗算した前記ぼかし量を前記注目画素に加算する加算ステップと、を含むことを特徴とするノイズ除去方法である。
【００３７】
高周波成分量に応じてスケールファクタが変化するので、画像品質を維持したままノイズの除去をすることができる。
【００３８】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。
【００３９】
上述したように、Ｂａｙｅｒ配列の画像データにおいては、奇数ラインと偶数ラインの双方に存在しうる画素は緑（Ｇ）である。緑（Ｇ）以外の赤（Ｒ）や青（Ｂ）は奇数ラインだけまたは偶数ラインだけに存在するためライン毎のノイズの影響を受けにくい。そこで、本実施の形態においては特に緑画素（Ｇ）に対して画像の高周波部分に相当するか否かで、適応的にフィルタリングをする手法を提案する。このように適応的にフィルタリングすることにより特に緑画素に対するライン毎ノイズの除去を好適に行うことができる。
【００４０】
図２には、本実施の形態におけるノイズ除去装置の機能ブロック図が示されている。この図２において、Ｂａｙｅｒ配列画像１０は、上記図１に示されるような光フィルタが設けられたＣＣＤなどから得られた画像データであり、図１に示されるような光フィルタの並びで各画素が単一の色成分の情報のみを有している。
【００４１】
ぼかし手段１２は、入力されるＢａｙｅｒ配列画像１０に対してノイズを除去するためのぼかしのデータを作成する手段である。このぼかし手段１２の具体的な構成については後に詳述する。このぼかし手段１２が算出したぼかし量は、適応的ぼかし手段１４に供給される。適応的ぼかし手段１４は、このぼかし量をＢａｙｅｒ配列画像１０をぼかすのに用いる。このようにして、適応的ぼかし手段１４は、画像のノイズ除去をする。
【００４２】
高周波成分検出手段１６は、入力されるＢａｙｅｒ配列画像１０の中の各画素が画像の高周波部分にあたるかどうかを判断するための、その画素における高周波成分を検出する手段である。具体的なこの高周波成分検出手段１６の構成については後に詳述する。適応的ぼかし手段１４は、ぼかし手段１２によって得られたぼかし量をそのままＢａｙｅｒ配列画像１０に加算するのではなく、高周波成分検出手段１６によって得られたその画素の高周波成分の量に基づき適応的にぼかし量を加算するようにしている。
【００４３】
具体的には画像の高周波成分に相当する画素に対してはぼかし手段１２によるぼかし量を少なく加算し、高周波部分に相当しない画像の平坦な部分においてこのぼかし量を多く加算することにより、画像の品質を劣化させずにライン毎ノイズを効果的に除去することが可能となる。
【００４４】
以下、本実施の形態を構成する各構成要素について詳細に説明する。
【００４５】
（１）高周波成分検出手段
（１−１）ラプラシアンフィルタ
上述したように、本実施の形態においては緑画素のノイズ除去をするにあたって、その画素の高周波成分を高周波成分検出手段１６によって検出している。本実施の形態にかかる高周波成分検出手段１６は、今着目している緑画素（以下、この着目画素を自画素と呼ぶ）と一つおきに上下左右４画素に基づくラプラシアン（Ｌａｐｌａｃｉａｎ）フィルタを用いている。この高周波成分検出手段１６で用いているラプラシアンフィルタの係数を表す説明図が図３に示されている。この図に示されているように、このラプラシアンフィルタは、自画素を中心とする５×５のマトリクスに関するラプラシアンフィルタである。図に示されているように、自画素の係数は「１」であり、この自画素と一つおき上下左右４画素の係数はいずれも「−１／４」である。
【００４６】
このようなフィルタ係数を有するラプラシアンフィルタと、Ｂａｙｅｒ配列画像１０の画像データの値との畳み込み（コンボルーション）をとった結果の絶対値を、本実施の形態においてはその自画素（緑画素）の高周波成分量の尺度として利用している。
【００４７】
本実施の形態において特徴的なことは、高周波成分検出手段１６が用いているラプラシアンフィルタにおいて、一つおきの画素を参照していることである。したがって、自画素が偶数ライン上にある場合には、偶数ライン上の画素のみから高周波成分の量を算出することが可能となる。逆に、自画素（緑画素）が奇数ライン上に存在する場合には、奇数ラインの画素のみから高周波成分の量を見積もることになる。したがって、上述したライン毎ノイズの影響を受けずに、その画素の高周波成分量を検出することが可能となるのである。
【００４８】
このように、一つおきの画素を参照することによるラプラシアンフィルタの出力値を、本実施の形態ではＲｅｓｕｌｔ１と呼ぶ。
【００４９】
（１−２）画素の値の差分値の利用
さて、緑画素のノイズ除去を行うにあたって、高周波成分を検出する方法として、上記ラプラシアンフィルタの出力値だけでなく、以下のような値を利用することも好ましい。
【００５０】
例えば、自画素（緑画素）の左右の赤もしくは青の画素の値の差と、上下の青または赤の画素の値の差と、自画素と一つおき上下左右４画素のラプラシアンフィルタの出力値との、重み付き加算値を用いるのも好ましい。注目している緑画素の上下左右の赤や青の画素を例えば図４に示すようにそれぞれＲ１、Ｒ２、Ｂ１、Ｂ２と表す。
【００５１】
すると、図４に示されているように着目している緑画素の上下に青の画素（Ｂ１、Ｂ２）があり左右に赤の画素（Ｒ１、Ｒ２）が存在するか、または逆に緑画素の上下に赤の画素（Ｒ１、Ｒ２）が存在し左右に青の画素（Ｂ１、Ｂ２）が存在する場合、の２通りが考えられる。これは、その緑画素が偶数ライン上にあるか奇数ライン上にあるかによって異なる。以上のように赤及び青の画素を表すと高周波成分量は以下のような式で求めることができる。
【００５２】
【数１】

ここで、上記式においてａｂｓは絶対値を求める演算を表す。また、Ｃｏｅｆｆ１、Ｃｏｅｆｆ２、Ｃｏｅｆｆ３はそれぞれ重み係数を表す。また、Ｒｅｓｕｌｔ１は、上述したようにラプラシアンフィルタの出力値である。このラプラシアンフィルタの出力値は図３に示されているようなフィルタ係数と画像データの値との畳み込みによって求められる。なお、ここで各係数は、その撮像装置（ＣＣＤ）の特性や、各色の感度によって求まる最適値である。
【００５３】
（２）ぼかし手段
図２において示したぼかし手段１２は緑画素のノイズ除去に際して、ぼかし量を求める。具体的には、本実施の形態においては自画素と周囲画素の重み付き平均値と自画素の値の差を求めている。
【００５４】
具体的には、低域通過フィルタとＢａｙｅｒ配列画像１０との畳み込み（コンボルーション）をとることで、注目している緑画素（自画素）と斜め上下左右４画素の重み付き平均値を求めている。本実施の形態で用いている低域通過フィルタのフィルタ係数を説明する説明図が図５に示されている。この図に示されているように、注目している緑画素の係数は「１／２」であり、斜め上下左右４画素の係数はいずれも「１／８」である。このようなフィルタ係数の低域通過フィルタを用いることにより、自画素を中心とする自画素及び周囲の斜め方向の４画素の重み付き平均値が低域通過フィルタの出力値として求まる。本実施の形態においては、この平均値と、注目している緑画素（自画素）の値の差を求め、この差をぼかし量として用いている。すなわち、ぼかし量は以下の式で算出される値である。
【００５５】
【数２】

この式に示したように、低域通過フィルタを用いて平均値を求め、この平均値から自画素（緑画素）の値を減算することによりぼかし量が求められるが、この演算は結局は以下に示すようなぼかし量決定フィルタとＢａｙｅｒ配列画像１０の値との畳込みを行う演算と等価である。本実施の形態におけるぼかし量決定フィルタの係数の説明図が図６に示されている。この図に示されているように、ぼかし量決定フィルタの係数は、自画素の係数が「−１／２」であることを除けば、上記低域通過フィルタの係数と等しいのである。
【００５６】
なお、この図６に示されているぼかし量決定フィルタは、高域通過フィルタの符号を反転したものとなっている。この高域通過フィルタの係数の例が図７に示されている。この高域通過フィルタは、上記図４に示されているような係数の低域通過フィルタの係数に対応したものである。したがって、本実施の形態においては、ぼかし量＝−１×（高周波成分）となる。もちろん、ここで高周波成分とは、図７に示されているような係数の高周波通過フィルタとＢａｙｅｒ配列画像の各画素の値の畳み込み値で得られる値である。
【００５７】
すなわち、ぼかし量は以下の式で求められる。
【００５８】
【数３】

（３）適応的ぼかし手段
次に、図２における適応的ぼかし手段１４の動作について説明する。この適応的ぼかし手段１４は、上記（１）の（１−１）または（１−２）で述べた高周波成分検出手段１６の出力値（高周波成分量）の絶対値をスケールファクターとしてぼかし量を決定するのである。すなわち、上で計算して求めたぼかし量にこのスケールファクターをかけ算して得られた値を最終的なぼかし量として利用するのである。本文では、このスケールファクターを適応的ぼかし量係数と呼ぶ。この適応的ぼかし量係数の計算は、以下の式で行われる。
【００５９】
適応的ぼかし量係数＝ＳｃａｌｅＴａｂｌｅ（ａｂｓ（高周波成分量））
ここで、ＳｃａｌｅＴａｂｌｅは、高周波成分量の絶対値が入力されたときに、最適なぼかし量の係数を出力するようなルックアップテーブルである。定性的に言えば、高周波成分量の絶対値が小さいときにはこのＳｃａｌｅＴａｂｌｅは大きな値を出力し、高周波成分量の絶対値が大きいときには０を出力するようなテーブルである。このＳｃａｌｅＴａｂｌｅの具体的な内容の例が図８に示されている。図８に示されているグラフは、このＳｃａｌｅＴａｂｌｅにおける入力と出力の関係を表したものである。このグラフの横軸は、入力される高周波成分量の絶対値である。また、このグラフの縦軸はＳｃａｌｅＴａｂｌｅから出力する適応的ぼかし量係数である。このグラフに示されているように、高周波成分量の絶対値が小さいときには適応的ぼかし量係数は大きな値をとる。特に、高周波成分量の絶対値が０の場合には適応的ぼかし量係数は最大の値をとる。高周波成分量の絶対値が大きくなるにしたがって、あるしきい値ｔ１を超えた場合には適応的ぼかし量係数は０となる。これは、高周波成分量の絶対値が大きい場合にはぼかし量を０とし、画像品質を維持した方が好ましいと考えられるからである。
【００６０】
さて、適応的ぼかし手段１４は、高周波成分検出手段１６が出力する高周波成分量の絶対値に基づきぼかし量と乗算するスケールファクターを算出する。このスケールファクターは、上述したように本文においては「適応的ぼかし量係数」と呼ぶ。さらに、この適応的ぼかし手段１４は、この適応的ぼかし量係数をぼかし手段１２が出力するぼかし量に乗算し、乗算結果を緑出力Ｇに加算する。この結果、適応的ぼかし手段１４は最終的な緑の出力Ｇ´を、以下の式によって算出することになる。
【００６１】
【数４】

以上述べたように、本実施の形態においてはＢａｙｅｒ配列画像に対して、ライン毎ノイズに対して効果的にその除去を図ることができるようにぼかし量を適応的に加えている。この結果、緑画素のライン毎ノイズを除去することができる。本実施の形態で提案した方法は、基本的にはライン毎ノイズ発生原因によらずに効果が現れ、複数の原因によってライン毎ノイズが発生している場合でもこのノイズを除去するのに大きな効果が期待できる。また、本実施の形態においてはライン毎ノイズが目立つ部分、すなわち画像の低周波部分、にのみフィルタを大きく作用させ、ぼかしをきかせた。一方、エッジ部分などの高周波部分ではフィルタを作用させずにそのままの画像の品質を維持している。この結果、エッジがなまってぼけた画像になることなく、効果的にノイズの除去をすることができる。
【００６２】
さらに、本実施の形態によれば、他の種類の画像処理、例えば補間処理や色補正、エッジ強調などに先だってノイズを除去することができる。したがって、他の種類の画像処理によるノイズの副作用を効果的に除去することができるのである。
【００６３】
さらにまた、本実施の形態においては、ライン毎に原因調整を行う従来の対策とは異なり、画像の情報に対してフィルタリングを行っている。したがって、ライン毎ノイズだけではなく、センサや回路の持つランダムなノイズをも効果的に取り除くことができるという特徴を有する。
【００６４】
【発明の効果】
以上述べたように、本発明によれば、高周波成分量に基づきぼかし量を決定しているため、エッジ部分などの画像品質を劣化させることなく、画像のノイズを低減することができるノイズ除去装置及び方法が得られる。
【００６５】
また、本発明によれば、注目画素と一つおきの上下左右の４画素の値を用いたラプラシアンフィルタによって高周波成分量を求めている。したがって、画像に生じるライン毎ノイズを効果的に除去することができる装置及び方法が得られる。
【００６６】
また、本発明によれば、上記ラプラシアンフィルタの出力信号に加え、注目画素の上下及び左右の画素の値の差に基づいて高周波成分量を算出しているため、より正確に高周波成分量を検出することができる装置及び方法が得られる。
【００６７】
また、本発明によれば、ぼかし量として、注目画素とその周囲の画素の重み付け平均値と、注目画素の差分をぼかし量としたため、注目画素を平均的な値とすることができ、ノイズを効果的に防止することができる装置及び方法が得られる。
【００６８】
また、本発明によれば、高周波成分量を所定のスケールファクターに変換し、このスケールファクターをぼかし量に乗算してから、このぼかし量を注目画素に加算した。したがって、高周波成分量の大きさに応じて適応的にぼかしをすることができる装置及び方法が得られる。
【図面の簡単な説明】
【図１】Ｂａｙｅｒ配列の色フィルタにおいて、Ｒ、Ｇ、Ｂが並んでいる様子を表す説明図である。
【図２】本実施の形態にかかるノイズ除去装置の構成ブロック図である。
【図３】本実施の形態において高周波成分検出手段において用いられる自画素と一つおき上下左右４画素のラプラシアンフィルタの係数を表す説明図である。
【図４】本実施の形態において高周波成分検出手段において採用している注目画素の左右の値または上下の値の差を求める際の画素の関係を表す説明図である。
【図５】本実施の形態において採用している低域通過フィルタ係数の係数であって、ぼかし量を求める手段としてのフィルタを表す説明図である。
【図６】本実施の形態においてぼかし量を求めるのに用いられているぼかし量決定フィルタの係数を表す説明図である。
【図７】高域通過フィルタの係数を表す説明図である。
【図８】本実施の形態において適応的ぼかし手段が採用しているスケールファクターを出力するＳｃａｌｅＴａｂｌｅの入力と出力の関係を表すグラフである。
【符号の説明】
１０Ｂａｙｅｒ配列画像、１２ぼかし手段、１４適応的ぼかし手段、１６高周波成分検出手段。

Claims

Ｂａｙｅｒ型色フィルタを有する光電変換素子が出力するＢａｙｅｒ型画像データのノイズを除去するノイズ除去装置において、
前記Ｂａｙｅｒ型画像データを構成する各画素が有する高周波成分量を検出する高周波成分量検出手段と、
前記Ｂａｙｅｒ型画像データを構成する各画素のぼかし量を算出するぼかし量算出手段と、
前記高周波成分量検出手段が検出した高周波成分の量に基づき、前記高周波成分量が増大するほど前記ぼかし量が小さくなり、前記高周波成分量が所定のしきい値を超えた場合に前記ぼかし量がゼロとなるように前記ぼかし量を適応的に変更し、変更後の前記ぼかし量を前記各画素に加算するぼかし量適応決定手段と、
を含むことを特徴とするノイズ除去装置。
請求項１記載のノイズ除去装置において、
前記高周波成分量検出手段は、
注目画素の値と、前記注目画素と１つおきの上下左右の４画素の値と、を入力とするラプラシアンフィルタ、
を含み、前記ラプラシアンフィルタの出力信号を、前記高周波成分量として出力することを特徴とするノイズ除去装置。
請求項１記載のノイズ除去装置において、
前記高周波成分量検出手段は、
注目画素の値と、前記注目画素と１つおきの上下左右の４画素の値と、を入力とするラプラシアンフィルタと、
前記注目画素の上下の画素の値の差の絶対値を出力する上下差分算出手段と、
前記注目画素の左右の画素の値の差の絶対値を出力する左右差分算出手段と、
前記ラプラシアンフィルタの出力信号と、上下差分算出手段の出力信号と、前記左右差分算出手段の出力信号と、を重み付け加算する加算手段と、
を含み、前記加算手段の出力信号を、前記高周波成分量として出力することを特徴とするノイズ除去装置。
請求項１、２又は３記載のノイズ除去装置において、
前記ぼかし量算出手段は、
注目画素の値と、前記注目画素の周囲の画素の値との重み付け平均値を求める平均値算出手段と、
前記重み付け平均値と、前記注目画素との差分値を出力する差分値算出手段と、
を含み、前記差分値算出手段の出力信号を前記ぼかし量として出力するノイズ除去装置。
請求項１、２、３又は４記載のノイズ除去装置において、
前記ぼかし量適応決定手段は、
前記高周波成分量をスケールファクタに変換する変換手段と、
前記スケールファクタを前記ぼかし量に乗算する乗算手段と、
前記スケールファクタを乗算した前記ぼかし量を前記注目画素に加算する加算手段と、
を含むことを特徴とするノイズ除去装置。
Ｂａｙｅｒ型色フィルタを有する光電変換素子が出力するＢａｙｅｒ型画像データのノイズを除去するノイズ除去方法において、
前記Ｂａｙｅｒ型画像データを構成する各画素が有する高周波成分量を検出する高周波成分量検出ステップと、
前記Ｂａｙｅｒ型画像データを構成する各画素のぼかし量を算出するぼかし量算出ステップと、
前記高周波成分量検出ステップにおいて検出した高周波成分の量に基づき、前記高周波成分量が増大するほど前記ぼかし量が小さくなり、前記高周波成分量が所定のしきい値を超えた場合に前記ぼかし量がゼロとなるように前記ぼかし量を適応的に変更し、変更後の前記ぼかし量を前記各画素に加算するぼかし量適応決定ステップと、
を含むことを特徴とするノイズ除去方法。
請求項６記載のノイズ除去方法において、
前記高周波成分量検出ステップは、
注目画素の値と、前記注目画素と１つおきの上下左右の４画素の値と、に基づき、画素の値の２次微分値を算出するラプラシアンフィルタリングステップ、
を含み、前記２次微分値を、前記高周波成分量として算出することを特徴とするノイズ除去方法。
請求項６記載のノイズ除去方法において、
前記高周波成分量検出ステップは、
注目画素の値と、前記注目画素と１つおきの上下左右の４画素の値と、を入力し、画素の値の２次微分値を算出するラプラシアンフィルタリングステップと、
前記注目画素の上下の画素の値の差の絶対値を算出する上下差分算出ステップと、
前記注目画素の左右の画素の値の差の絶対値を算出する左右差分算出ステップと、
前記２次微分値と、上下差分算出ステップの出力信号と、前記左右差分算出ステップの出力信号と、を重み付け加算する加算ステップと、
を含み、前記加算ステップの出力信号を、前記高周波成分量として算出することを特徴とするノイズ除去方法。
請求項６、７又は８記載のノイズ除去方法において、
前記ぼかし量算出ステップは、
注目画素の値と、前記注目画素の周囲の画素の値との重み付け平均値を求める平均値算出ステップと、
前記重み付け平均値と、前記注目画素との差分値を算出する差分値算出ステップと、
を含み、前記差分値算出ステップの出力信号を前記ぼかし量として算出するノイズ除去方法。
請求項６、７、８、９記載のノイズ除去方法において、
前記ぼかし量適応決定ステップは、
前記高周波成分量をスケールファクタに変換する変換ステップと、
前記スケールファクタを前記ぼかし量に乗算する乗算ステップと、
前記スケールファクタを乗算した前記ぼかし量を前記注目画素に加算する加算ステップと、
を含むことを特徴とするノイズ除去方法。