JP4178919B2 - Noise removal method, imaging apparatus, and noise removal program - Google Patents
Noise removal method, imaging apparatus, and noise removal program Download PDFInfo
- Publication number
- JP4178919B2 JP4178919B2 JP2002338024A JP2002338024A JP4178919B2 JP 4178919 B2 JP4178919 B2 JP 4178919B2 JP 2002338024 A JP2002338024 A JP 2002338024A JP 2002338024 A JP2002338024 A JP 2002338024A JP 4178919 B2 JP4178919 B2 JP 4178919B2
- Authority
- JP
- Japan
- Prior art keywords
- target pixel
- signal value
- processing target
- pixel
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 101
- 238000003384 imaging method Methods 0.000 title claims description 30
- 238000012935 Averaging Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 description 92
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画素により構成された画像のノイズを軽減するためのノイズ除去方法、撮像装置およびノイズ除去プログラムに関する。
【０００２】
【従来の技術】
従来、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等から構成される単板式のカラー撮像センサを備えた撮像装置等において、撮影された画像のノイズを除去するための処理が行われている。
【０００３】
撮影画像のノイズを除去する方法として、例えば、単板式撮像センサの出力信号から生成された画像（色補間等を施した完成画像）に対し、ＬＰＦ（Low Pass Filter）を用いて処理する方法や、メディアンフィルタを用いて処理する方法が知られている。
例えば、特開平４−２３５４７２号公報には、メディアンフィルタによってデジタル画像データのノイズ除去を行う技術が開示されている。
【０００４】
また、特開２００１−１４４９６４号公報には、画像の変化を関数近似し、近似データを元の画像データと置換することにより、ノイズを除去する技術が開示されている。
さらに、特開２００１−１８６３７９号公報には、画像に含まれるノイズのレベルを算出し、そのノイズレベルに従って、重み付けをした平均を行うことによってノイズを除去する技術が開示されている。
【０００５】
【特許文献１】
特開平４−２３５４７２号公報
【特許文献２】
特開２００１−１４４９６４号公報
【特許文献３】
特開２００１−１８６３７９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平４−２３５４７２号公報に記載された技術は、メディアンフィルタを用いることから、画像中の孤立点が、フィルタ処理の結果、失われやすいと言う問題があった。
また、特開２００１−１４４９６４号公報に記載された技術は、画像の変化を近似するための関数を取得する必要があるが、その関数を算出する処理が複雑であり、また、モザイク状に情報が配列された画像（例えば、ＲＧＢ方式の各色の画像）に対応していないと言う問題があった。
【０００７】
さらに、特開２００１−１８６３７９号公報に記載された技術は、ノイズレベルに応じた重み付け平均を行う処理が複雑となり、場合によっては、割り算器が必要となるという問題があった。また、滑らかに画像が変化するグラデーション部分において、適切な処理が実現できない場合が生じ得た。
本発明の課題は、複数の画素により構成される画像のノイズを効果的に低減することである。
【０００８】
【課題を解決するための手段】
以上の課題を解決するため、本発明は、
複数の画素により構成された画像のノイズ除去方法であって、処理対象画素を含む所定の周囲画素（例えば、図３に示す３×３の小行列）について、処理対象画素（例えば、図３の小行列中、中央に位置する注目画素）の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
ここで、処理対象画素の信号値がメディアンであるか否かを判定する場合における「メディアン」には、メディアンそのものである場合に加え、メディアン付近の信号値である場合を含めることが可能である。「メディアン付近の信号値」とは、例えば、メディアンの前後所定範囲（１つあるいは２つ等）までの順序に位置するものや、メディアンの信号値から所定の閾値以内のものを意味する。
【０００９】
また、複数の画素により構成された画像のノイズ除去を行う撮像装置であって、処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
【００１０】
また、複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴としている。
本発明によれば、複数の画素により構成された画像において、所定の周囲画素（所定サイズの小行列）毎に、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンでない場合には、処理対象画素の信号値と近い信号値を有する画素と処理対象画素との平均化処理を行う。
【００１１】
したがって、滑らかに画像が変化している領域（グラデーション部分）であっても、適切なフィルタ処理を行うことができるため、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。即ち、細部の情報を維持しながら、適切なノイズ除去を行うことが可能となる。
【００１２】
また、前記平均化処理では、前記周囲画素において、処理対象画素の信号値との差分が所定の閾値未満である画素を選択し、選択された画素と処理対象画素の信号値の平均値を取得することを特徴としている。
本発明によれば、所定の周囲画素において、信号値の閾値によって、処理対象画素の信号値と近い信号値を有する画素を選択することができる。
【００１３】
また、前記平均化処理では、前記周囲画素の信号値と前記処理対象画素の信号値との差分に関する複数の閾値（例えば、発明の実施の形態中の「閾値ｔｈ０，ｔｈ１」等）と、該閾値に応じた重み付け係数とを設定し、前記複数の閾値に基づいて、前記周囲画素それぞれについて、処理対象画素の信号値との差分に応じた前記重み付け係数を加味した重み付け平均を行うことを特徴としている。
【００１４】
本発明によれば、所定の周囲画素において、処理対象画素との近似度に応じた適切な重みを加えて、平均値を得ることができる。
また、前記画像は、所定方式（例えば、ＲＧＢ方式あるいはＣｙＹｅＭｇＧｒ方式等）に基づく異なる成分の色信号（例えば、ＲＧＢ方式におけるＲ信号、Ｇ信号あるいはＢ信号等）を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影され、該異なる成分の色信号のうち、少なくとも１つの成分の色信号について前記ノイズ除去処理を施すことを特徴としている。
【００１５】
本発明によれば、単板式撮像センサによって撮影された画像に対し、効率的かつ適切にノイズ除去処理を行うことができる。
また、前記周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定する際に、該周囲画素における所定位置に配置された特定画素（例えば、図１１に示す行列のうち、斜線で示す画素）を対象として判定を行い、前記平均化処理を行う場合には、該特定画素あるいは前記周囲画素全体の少なくともいずれかを対象として処理を行うことを特徴としている。
【００１６】
ここで、特定画素の配置は、処理対象画素の信号値が「メディアンそのもの」となるか否かが明確に判定可能なように選択される。即ち、図１１に示す斜線の画素のように、発明の実施の形態における３×３のＧ信号の行列に相当する配置をはじめ、周辺画素において、処理対象画素と近似すると考えられる画素を含まず、かつ、処理対象画素の周辺を均等に囲むような配置が選択される。
【００１７】
本発明によれば、周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定する際に、処理対象画素の信号値に近似する信号値を有する画素がメディアンと判定されることを防ぐことができる。即ち、処理対象画素の信号値が「メディアンそのもの」であるか否かを判定することにより、平均化処理を行うか否かについて、適切に判定を行うことが可能となる。
また、複数の画素により構成された画像のノイズ除去方法であって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
また、複数の画素により構成された画像のノイズ除去を行う撮像装置であって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
【００１８】
また、複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴としている。
ここで「平均値」とは、厳密に数値が平均値と一致する意味ではなく、平均値として採用することにより、本発明の効果を得ることができる一定範囲の値を意味する。
【００１９】
例えば、厳密な平均値と上位２桁が一致する値や、小数点以下を無視し、整数部分が一致する値等とすることが可能である。
本発明によれば、メディアンに近い値であり、かつ、算出する際の処理負荷が小さい平均値を用いて、メディアンを用いた場合とほぼ同程度、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けると言う効果を得ることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。即ち、画質を維持しながら、適切なノイズ除去を行うことが可能となる。
【００２０】
【発明の実施の形態】
以下、図を参照して本発明に係る撮像装置の実施の形態を説明する。
初めに、本発明に係る撮像装置において使用するノイズ除去方法について説明する。
本発明に係る撮像装置において使用するノイズ除去方法では、撮像装置に備えられた単板式撮像センサの出力信号に対し、色補間（一画素が一色からなるデータを一画素が三色からなるカラーデータに変換する処理）等を行う以前に、所定のノイズ除去処理を施す。なお、このように、単板式撮像センサの出力信号に対してノイズ除去処理を行うことにより、色補間等を行った後の完成画像にノイズ除去処理を施す場合に比べ、処理に必要なメモリを削減することができる。
【００２１】
以下、具体的な方法について説明する。
単板式撮像センサは、各色信号を出力する撮像素子が、モザイク状に配列された構成である。即ち、単板式撮像センサは、原色フィルタ方式（ＲＧＢ方式）の色信号におけるＲ信号を出力する撮像素子およびＧ信号を出力する撮像素子が交互に所定数配列された行（以下、「ＲＧライン」と言う。）と、同様に、Ｇ信号を出力する撮像素子およびＢ信号を出力する撮像素子が交互に所定数配列された行（以下、「ＧＢライン」と言う。）とが列方向に繰り返し配列されることによって構成されている。
【００２２】
なお、単板式撮像センサは、ＲＧＢ方式の色信号を出力する場合の他、補色フィルタ方式（ＣｙＹｅＭｇＧｒ方式）等の他の色信号を出力する場合であっても本発明が適用可能である。このとき、上述のＲＧラインおよびＧＢラインに相当するラインは、それぞれの方式に対応する色信号の配列となり、例えば、ＣｙＹｅＭｇＧｒ方式の場合、Ｃｙ（シアン）信号を出力する撮像素子およびＹｅ（イエロー）信号を出力する撮像素子が交互に配列されたＣｙＹｅラインと、Ｍｇ（マゼンダ）信号を出力する撮像素子およびＧｒ（グリーン）信号を出力する撮像素子が交互に配列されたＭｇＧｒラインとなる。以下、単板式撮像センサがＲＧＢ方式の色信号を出力するものとして説明する。
【００２３】
この場合、ＲＧＢ方式の単板式撮像センサの出力として、各ＲＧラインおよびＧＢラインにおける撮像素子それぞれの出力信号値からなる配列（以下、「センサ出力行列」と言う。）が得られる。
図１は、センサ出力行列を示す概念図である。図１において、各行列要素（以下、適宜「撮像画素」と言う。）は、Ｒ，Ｇ，Ｂいずれかの信号値のみを含むものである。
【００２４】
ところで、従来、画像にメディアンフィルタによる処理を行った場合、画像のエッジ等の情報が比較的残りやすいという特徴を有するものの、画像の形態によっては、細い線や孤立点などの情報が失われる事態が生ずる。
例えば、３×３のＧ信号の小行列に対し、図２に示すようにラインが交差している場合、中央のＧ信号は、ラインを示す信号値となり、他のＧ信号は、ライン以外の部分を示す信号値となる。したがって、この小行列を単位としてメディアンフィルタによる処理を施すと、メディアンは、ラインを表す信号値（斜線部分の信号値）ではなく、周囲の信号値（白色部分の信号値）となり、ラインの一部が欠落することとなる。
【００２５】
そこで、本方法においては、注目する画素の周囲に位置する画素のうち、注目する画素の信号値に近い信号値を有する画素を選択して、これらの画素と注目する画素の信号値の平均をフィルタ出力とする。
例えば、図３に示すセンサ出力行列の一部であるＧ信号の小行列（３×３行列）において、中央の注目画素βの信号値と、周囲の画素α１〜α４それぞれの信号値との差分を算出し、その差分が所定の閾値ｔｈより小さい画素の信号値および注目画素の信号値を平均化する。
【００２６】
このように、注目画素に近い信号値を有する画素との平均を取ることとするのは、ノイズが加わった場合であっても、注目画素の信号値を信頼できるものと想定し、その値に近い画素の信号値によって補間を行うことが適切であると考えられるためである。
このような処理を行った場合、図２に示すようなラインを含む場合であっても、ライン上の画素の信号値（図２においては、中央の斜線部分の信号値であり、小行列を拡張した場合にはライン上の複数の画素の信号値）のみが平均に用いられ、注目画素にある程度ノイズが加えられた場合であっても、ラインの一部が欠落することなく、適切なノイズ除去を行うことが可能となる。
【００２７】
ただし、このように、注目画素と近い信号値を有する画素との平均を取ることとすると、滑らかに変化する画像（グラデーション部分）において、不自然な模様が発生する場合が起こり得る。
例えば、図４に示すグラデーション部分において、ノイズがなく、画像が一様に変化している場合、３×３のＧ信号の小行列における信号値は、図５に示すような状態となる。図５に示す信号値である場合、閾値ｔｈ＝１０に設定すると、中央の注目画素の信号値との差分が１０未満である画素は、中央列に位置する画素（図５においては中央の注目画素であり、小行列を拡張した場合には中央列に位置する複数の画素）となり、注目画素にノイズが加えられたとしても、注目画素本来の信号値に近い平均値が算出されることとなる。
【００２８】
しかし、図４に示すグラデーション部分において、ノイズが加えられることにより、上述の３×３の小行列の信号値が、図６に示すような状態となったとすると、平均化の対象となる画素は、注目画素を含む中央列およびその右の列に含まれる３つの画素となる。
一方、同様に、上述の３×３の小行列の信号値が、図７に示すような状態となったとすると、平均化の対象となる画素は、注目画素を含む中央列およびその左の列に含まれる３つの画素となる。
【００２９】
即ち、注目画素に加えられたノイズが信号値を増大させるものである場合、小行列において、より大きい信号値を有する画素と平均化され、注目画素に加えられたノイズが信号値を減少させるものである場合、小行列において、より小さい信号値を有する画素と平均化される。
つまり、注目画素に加えられたノイズの影響を強調するように、その影響が現れる場合がある。
【００３０】
また、以上のような注目画素に対するノイズに限らず、異なる影響を及ぼすノイズによって、平均化される値が、隣接する画素データにおいて大きく変動する場合がある。このような状態において処理された領域は、画素毎に値が激しく変動し、本来再現されるべき滑らかな変化とはならない。
そこで、本方法においては、さらに処理の修正を加えることとし、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンである場合には、その信号値をそのまま出力し、平均化処理を行わないこととする。
【００３１】
一方、注目画素の信号値がメディアンでない場合には、注目画素の信号値に近い信号値を有する画素との平均化処理を行うが、この場合、上述した閾値ｔｈを１つに設定して平均化する画素を選択する。
即ち、３×３の小行列において、注目画素の信号値との差分が閾値ｔｈ未満であれば、重み付け係数を“１．０”とし、注目画素の信号値との差分が閾値ｔｈ以上であれば、重み付け係数を“０”と択一的に設定する。
【００３２】
このように、本発明に係るノイズ除去方法においては、第１段階の処理として、センサ出力行列から抽出された小行列の注目画素について、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定し、メディアンである場合には、その信号値をそのまま用い、メディアンでない場合には、第２段階の処理を行う。
【００３３】
第２段階の処理として、小行列に含まれる画素のうち、注目画素の信号値との差分が、所定の閾値未満である画素と注目画素との平均化を行い、その平均値を注目画素の信号値とする。このとき、単一の閾値を設定し、その閾値に基づいて、注目画素の信号値と近い信号値を有する画素を選択し、平均化処理を行ったり、後述するように複数の閾値を設定し、その閾値に基づいて選択された画素の信号値を、閾値に応じた重み付けを行った上で、平均化処理を行ったりすることが可能である。
【００３４】
なお、以上の説明においては、小行列として３×３の行列を想定したが、例えば、ＲＧＢ方式に基づく色信号であれば、図８に示すように、センサ出力行列のうち、Ｇ信号のみを要素とする行列（以下、「Ｇ行列」と言う。）においては、３×３あるいは３×５といった小行列とすることができ、センサ出力行列のうち、Ｒ信号あるいはＢ信号のみを要素とする行列（以下、それぞれ「Ｒ行列」、「Ｂ行列」と言う。）においては、１×５あるいは１×９といった小行列とすることができる。
【００３５】
このとき、Ｇ信号について、５×５の小行列のように、３×３の小行列より拡大する場合、ノイズが加えられることにより、注目画素と同一の列に含まれる他の画素の信号値がメディアンとなることも想定される（図９参照）。そのため、このように小行列を拡大する場合には、第1段階の処理において、注目画素の信号値がメディアンであるか否かを判定する代わりに、メディアンもしくはメディアン付近の信号値であるか否かを判定することにより、適切な処理を選択することが可能となる。メディアン付近の信号値であるか否かは、注目画素の信号値が、メディアンの前後１つあるいは２つまでの順序に位置することや、メディアンの信号値から所定の閾値以内の信号値であることを具体的基準として判定することが可能である。
【００３６】
また、以上の説明においては、色信号がモザイク状に配列された行列を対象として説明したが、色信号が一様に配列された行列を対象として本発明に係るノイズ除去方法を施す場合にも、ノイズが加えられることにより、注目画素と同一の列に含まれる他の画素がメディアンとなることも想定される（図１０参照）。
したがって、この場合にも、上述した判定方法（メディアンもしくはメディアン付近の信号値であるか否かを判定する方法）を用いることにより、適切な処理を選択することが可能となる。
【００３７】
さらに、他の方法として、色信号が一様に配列された行列を対象とする場合にも、これらの行列要素の中から、図１１に示すように、G信号の３×３の小行列のようなモザイク状の撮像画素を選択し、それらの画素からなる小行列を対象として、注目画素の信号値がメディアンであるか否かを判定することも可能である。
【００３８】
この方法は、色信号が一様に配列された行列を対象とする場合に限らず、色信号がモザイク状に配列された行列において、G信号について、５×５の小行列のように拡大する場合にも有効である。即ち、G行列において、G信号の小行列を図１２のように選択し、この小行列を対象として、注目画素の信号値がメディアンであるか否かを判定することが可能である。
【００３９】
なお、図１１あるいは図１２に示すように小行列を選択した場合、第２段階の処理として平均化処理を行う際には、モザイク状に選択した撮像画素のみではなく、小行列の範囲に含まれる他の画素も対象として、平均化処理を行うことが適当である。
ここで、本発明に係るノイズ除去方法を適用する場合の動作例について、図を参照して説明する。
【００４０】
図１３は、注目画素がＧ信号からなる場合において、３×３の小行列を対象として、ノイズ除去を行う場合の動作を示す概念図である。
図１３において、第１段階の処理として、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定する。
そして、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであると判定された場合には、注目画素の信号値をそのまま出力値とする。
【００４１】
一方、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンでないと判定された場合には、第２段階の処理として、小行列に含まれる画素のうち、注目画素の信号値との差分が、所定の閾値未満である画素と注目画素との平均化を行い、その平均値を出力値とする。このとき、単一の閾値を設定することおよび複数の閾値を設定することが可能である。
この他、複数の閾値（ｔｈ０、ｔｈ１、ｔｈ２・・・）を設定し、閾値に応じて、注目画素の信号値に、より近い信号値を有するものは比重をより高くするというように、重み付け平均を行うことが可能である。
【００４２】
具体的には、３×３の小行列において、注目画素の信号値との差分が閾値ｔｈ０＝０である画素については、重み付け係数を“１．０”とし、注目画素の信号値との差分が、閾値ｔｈ０より大きく閾値ｔｈ１未満であれば、重み付け係数を“０．７５”とし、同様に、閾値ｔｈ２，ｔｈ３を境界として、重み付け係数を“０．５”、“０．２５”と段階的に設定することが可能である。
【００４３】
次に、本方法を使用した撮像装置１の構成を説明する。
図１４は、本実施の形態に係る撮像装置１の構成を示すブロック図である。図１４において、撮像装置１は、被写体からの光を収束させるレンズ１０と、レンズ１０によって収束された光を検出する単板式撮像センサ２０と、単板式撮像センサ２０によって出力された色信号（ＲＧＢ信号）に対し、ノイズ除去処理を行うノイズ除去部３０とを含んで構成される。なお、撮像装置１は、色補間、色空間変換等を行う他の機能部を適宜含むものであるが、これらの機能部については従来と同様であるため説明を省略する。
【００４４】
単板式撮像センサ２０は、ＲＧラインおよびＧＢラインが列方向に繰り返し配列された構成を有している。
ノイズ除去部３０は、単板式撮像センサ２０から出力される信号のうち、Ｇ行列、Ｒ行列およびＢ行列を保持し、各行列について、小行列を単位として、本発明に係るノイズ除去処理を施す。
【００４５】
ここで、本発明に係るノイズ除去処理においては、平均化処理を伴うものであり、除算を行う必要があるが、除算に用いる数が“２”〜“５”等に限られるため、乗算器によって代用可能である。
即ち、“２”で除算する場合、“０．５”を乗算し、“３”で除算する場合、“０．３３３”を乗算し、“４”で除算する場合、“０．２５”を乗算し、“５”で除算する場合、“０．２”を乗算することとして、乗算器によって演算を行うことができる。
【００４６】
また、ノイズ除去部３０は、このような処理を行うために、ラインメモリ４０を備えており、Ｇ信号は３×３の小行列、Ｒ信号およびＢ信号は１×５の小行列にて処理する場合、ラインメモリ４０は、単板式撮像センサ２０の出力信号を２ライン分記憶する容量を有していればよい。
なお、ラインメモリ４０に、より多くのラインを記憶させることができるものとすると、平均化処理を行う際に参照する小行列の範囲を拡大することができ、より適切なノイズ除去を行うことができる。
【００４７】
次に、動作を説明する。
単板式撮像センサ２０は、ラスタスキャン方式によって撮像画素を順次出力する。即ち、単板式撮像センサ２０は、センサ出力行列の各行の撮像画素を一定方向に順に出力する。
すると、ノイズ除去部３０は、ラインメモリ４０に記憶している一ライン前と二ライン前のデータと単板式撮像センサ２０の出力信号を用いて、Ｇ行列、Ｒ行列およびＢ行列に対し、本発明のノイズ除去方法に係るノイズ除去処理（即ち、注目画素の信号値が小行列におけるメディアンであるか否かの判定および所定の平均化処理）を施し、Ｇ信号、Ｒ信号およびＢ信号の画素それぞれについて、ノイズ除去を行ったＲＧＢ信号値を生成する。そして、処理が終わった不要なラインメモリ４０上のデータにかわり、単板式撮像センサ２０の出力信号をラインメモリ４０に記憶していく。
【００４８】
次いで、ノイズ除去部３０にて生成されたＲＧＢ信号を用いて、色補間などの処理が行われ、完成画像が生成される。
以上のように、本実施の形態に係る撮像装置１は、単板式撮像センサ２０の出力信号であるセンサ出力行列において、所定サイズの小行列毎に、注目画素の信号値がメディアンであるか否かを判定し、メディアンでない場合には、注目画素の信号値と近い信号値を有する画素と注目画素との平均化処理を行う。
【００４９】
したがって、滑らかに画像が変化している領域（グラデーション部分）であっても、適切なフィルタ処理を行うことができるため、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。
【００５０】
即ち、撮像装置１によって、必要な情報を維持しながら、適切なノイズ除去を行うことが可能となる。
ここで、画質を、基準となる画像の画素とのばらつき（標準偏差）によって表すこととすると、本発明に係るノイズ除去方法を用いることにより、ある条件下において基準となる画像（例えば、マクベスチャートの２番目に明るいパッチの画像等）に対する標準偏差は、以下のようになった。
【００５１】
即ち、▲１▼意図的なノイズを加える前は “１．９７”、▲２▼シミュレーションにより発生させたノイズを付加した場合は“２．８３”、▲３▼メディアンフィルタによるノイズ除去を施した場合は“２．１２”、▲４▼平均化処理を施した場合は“１．９４”、▲５▼本発明に係るノイズ除去処理を施した場合は“２．００”となる。ただし、ここに示す標準偏差は、３×３のＧ信号の小行列に対して各フィルタ処理（ノイズ除去処理）を行った場合の例である。
【００５２】
また、ここに示す標準偏差は、値が小さいほどノイズが少ないことを意味し、上述の結果においては、▲３▼メディアンフィルタによるノイズ除去を施した場合より、▲５▼本発明に係るノイズ除去処理を施した場合の方が、高いノイズ除去効果が得られている。さらに、本発明に係るノイズ除去処理を施す場合には、滑らかに変化している領域（グラデーション部分）において、不自然な模様が発生する事態を防ぐことができるという利点があるため、メディアンフィルタによる処理より適切にノイズ除去を行うことができると言える。
【００５３】
なお、小行列を３×５に拡大した場合、さらにノイズ除去効果を高めることができ、上述の標準偏差は、“１．９２”となる。
また、撮像装置１は、単板式撮像センサ２０の出力信号にフィルタ処理を行うため、色補間等を行った後の完成画像にフィルタ処理を施す場合に比べ、必要となるメモリを大幅に削減することができる。
【００５４】
また、小行列のサイズをより大きくすることとすると、より滑らかな画像を得ることができる。
なお、本実施の形態においては、主にＲＧＢ方式の色信号を対象として説明したが、補色フィルタ方式等、他の方式の色信号を対象とすることも可能である。また、本実施の形態においては、第１段階の処理として、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定することとしたが、メディアンは、平均値と近い値となる傾向にある。
【００５５】
そのため、注目画素の信号値が、小行列に含まれる画素の信号値の平均値に近い値である場合には、注目画素の信号値をそのまま用い、信号値の平均値に近い値でない場合には、第２段階の処理を行うこととしてもよい。
このような処理とした場合にも、グラデーション部分において、不自然な模様が発生する事態を防止する一定の効果を奏することとなる。
【図面の簡単な説明】
【図１】 センサ出力行列を示す概念図である。
【図２】 ラインを含む小行列を示す図である。
【図３】 センサ出力行列の一部である小行列を示す図である。
【図４】 グラデーション部分を示す模式図である。
【図５】 グラデーション部分における小行列の信号値を示す図である。
【図６】 グラデーション部分におけるノイズを含む場合の小行列の信号値の一例を示す図である。
【図７】 グラデーション部分におけるノイズを含む場合の小行列の信号値の他の例を示す図である。
【図８】 センサ出力行列における小行列の例を示す図である。
【図９】 色信号がモザイク状に配列された小行列において、注目画素と同一列に含まれる他の画素の信号値がメディアンとなる場合の例を示す図である。
【図１０】 色信号が一様に配列された小行列において、注目画素と同一列に含まれる他の画素の信号値がメディアンとなる場合の例を示す図である。
【図１１】色信号が一様に配列された行列において、モザイク状に小行列の画素を選択する場合の例を示す図である。
【図１２】 色信号がモザイク状に配列されたＧ信号の小行列を拡大する場合に、３×３の小行列と同様に画素を選択する場合の例を示す図である。
【図１３】 注目画素がＧ信号からなる場合において、３×３の小行列を対象として、ノイズ除去を行う場合の動作を示す概念図である。
【図１４】 本実施の形態に係る撮像装置１の構成を示すブロック図である。
【符号の説明】
１ 撮像装置，１０ レンズ，２０ 単板式撮像センサ，３０ ノイズ除去部，４０ ラインメモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a noise removal method, an imaging apparatus, and a noise removal program for reducing noise in an image composed of a plurality of pixels.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, processing for removing noise in a captured image has been performed in an imaging apparatus including a single-plate color imaging sensor composed of a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like. ing.
[0003]
As a method for removing noise from a captured image, for example, a method of processing an image generated from an output signal of a single-plate image sensor (a completed image subjected to color interpolation) using an LPF (Low Pass Filter) A method of processing using a median filter is known.
For example, Japanese Patent Laid-Open No. 4-235472 discloses a technique for removing noise from digital image data using a median filter.
[0004]
Japanese Patent Laid-Open No. 2001-144964 discloses a technique for removing noise by approximating a change in an image by a function and replacing the approximate data with the original image data.
Furthermore, Japanese Patent Laid-Open No. 2001-186379 discloses a technique for removing noise by calculating the level of noise included in an image and performing a weighted average according to the noise level.
[0005]
[Patent Document 1]
JP-A-4-235472
[Patent Document 2]
JP 2001-144964 A
[Patent Document 3]
JP 2001-186379 A
[0006]
[Problems to be solved by the invention]
However, since the technique described in JP-A-4-235472 uses a median filter, there is a problem that isolated points in an image are easily lost as a result of filtering.
Further, the technique described in Japanese Patent Application Laid-Open No. 2001-144964 needs to acquire a function for approximating the change in the image, but the process for calculating the function is complicated, and information in a mosaic shape is also required. There is a problem that the image does not correspond to an image (for example, an image of each color of the RGB system) arranged.
[0007]
Furthermore, the technique described in Japanese Patent Laid-Open No. 2001-186379 has a problem that the process of performing weighted averaging according to the noise level is complicated, and in some cases, a divider is required. In addition, there may be a case where appropriate processing cannot be realized in a gradation portion where the image changes smoothly.
The subject of this invention is reducing the noise of the image comprised by a some pixel effectively.
[0008]
[Means for Solving the Problems]
In order to solve the above problems, the present invention provides:
A method of removing noise from an image composed of a plurality of pixels, wherein a predetermined pixel (for example, a 3 × 3 small matrix shown in FIG. 3) including the pixel to be processed is processed with a pixel to be processed (for example, FIG. 3). In the sub-matrix, the signal value of the pixel of interest located in the center) is determined to be median, and if it is determined to be median, the signal value of the pixel to be processed is output, and if it is determined not to be median, Among the surrounding pixels, a noise removal process that performs an averaging process on a predetermined pixel having a signal value whose difference from a signal value of the processing target pixel is within a predetermined range and the processing target pixel, and outputs an average value that is a processing result It is characterized by giving.
Here, in the case where it is determined whether or not the signal value of the pixel to be processed is a median, the “median” can include not only the median itself but also a signal value near the median. . The “signal value in the vicinity of the median” means, for example, a signal located in the order up to a predetermined range (one or two, etc.) before and after the median, or a signal within a predetermined threshold from the signal value of the median.
[0009]
Further, the imaging apparatus performs noise removal on an image composed of a plurality of pixels, and determines whether or not the signal value of the processing target pixel is a median for a predetermined surrounding pixel including the processing target pixel. If it is determined that the signal value of the processing target pixel is output, and if it is determined that it is not a median, among the surrounding pixels, the predetermined pixel having a signal value whose difference from the signal value of the processing target pixel is within a predetermined range And a processing target pixel, and a noise removal process for outputting an average value as a processing result is performed.
[0010]
A noise removal program for removing noise from an image composed of a plurality of pixels, and for a predetermined surrounding pixel including the processing target pixel, determines whether or not the signal value of the processing target pixel is a median. If it is determined that the signal is a median, the signal value of the processing target pixel is output. If it is determined that the signal is not a median, a signal value whose difference from the signal value of the processing target pixel is within a predetermined range among the surrounding pixels. It is characterized in that the computer realizes a function of performing an averaging process on the predetermined pixel and the pixel to be processed and outputting a mean value as a processing result.
According to the present invention, in an image composed of a plurality of pixels, for each predetermined surrounding pixel (a small matrix of a predetermined size), it is determined whether or not the signal value of the processing target pixel is a median. In this case, an averaging process is performed on pixels having a signal value close to the signal value of the processing target pixel and the processing target pixel.
[0011]
Therefore, even in areas where the image changes smoothly (gradation part), it is possible to perform appropriate filter processing, resulting in an unnatural pattern while maintaining the noise removal effect of the averaging process. You can avoid the situation. Further, even when an edge such as a line is included in the image, for the pixels in the edge portion, an appropriate surrounding pixel is selected as the edge and averaged. Therefore, the edge can be maintained without performing special processing such as edge detection, and a situation in which a part of the line is lost due to the filter processing can be avoided. That is, it is possible to perform appropriate noise removal while maintaining detailed information.
[0012]
In the averaging process, a pixel whose difference from the signal value of the processing target pixel is less than a predetermined threshold is selected from the surrounding pixels, and an average value of the signal value of the selected pixel and the processing target pixel is acquired. It is characterized by doing.
According to the present invention, in a predetermined surrounding pixel, a pixel having a signal value close to the signal value of the processing target pixel can be selected based on the threshold value of the signal value.
[0013]
Further, in the averaging process, a plurality of threshold values (for example, “threshold values th0, th1” in the embodiment of the invention) regarding a difference between the signal value of the surrounding pixel and the signal value of the processing target pixel, A weighting coefficient corresponding to a threshold value is set, and a weighted average is performed based on the plurality of threshold values, taking into account the weighting coefficient corresponding to the difference from the signal value of the processing target pixel for each of the surrounding pixels. It is said.
[0014]
According to the present invention, it is possible to obtain an average value by adding an appropriate weight according to the degree of approximation with a processing target pixel in a predetermined surrounding pixel.
Further, the image has a predetermined pattern of an image sensor that outputs color signals of different components (for example, an R signal, a G signal, or a B signal in the RGB method) based on a predetermined method (for example, the RGB method or the CyYeMgGr method). The noise removal processing is performed on at least one component color signal among the different component color signals.
[0015]
ADVANTAGE OF THE INVENTION According to this invention, a noise removal process can be performed efficiently and appropriately with respect to the image image | photographed with the single plate type image sensor.
Further, when determining whether or not the signal value of the processing target pixel is a median for the surrounding pixels, a specific pixel (for example, a diagonal line in the matrix shown in FIG. 11) arranged at a predetermined position in the surrounding pixel. In the case where the averaging process is performed, the process is performed on at least one of the specific pixel and the entire surrounding pixels.
[0016]
Here, the arrangement of the specific pixels is selected so that it can be clearly determined whether or not the signal value of the pixel to be processed is “median itself”. That is, like the hatched pixel shown in FIG. 11, the pixel corresponding to the pixel to be processed is not included in the peripheral pixels, including the arrangement corresponding to the 3 × 3 G signal matrix in the embodiment of the invention. In addition, an arrangement that uniformly surrounds the periphery of the pixel to be processed is selected.
[0017]
According to the present invention, for the surrounding pixels, when determining whether the signal value of the processing target pixel is a median, the pixel having a signal value that approximates the signal value of the processing target pixel is determined to be a median. Can be prevented. That is, by determining whether or not the signal value of the processing target pixel is “median itself”, it is possible to appropriately determine whether or not to perform the averaging process.
Further, it is a noise removal method for an image composed of a plurality of pixels, and determines whether or not the signal value of the processing target pixel is an average value of the signal values of predetermined surrounding pixels including the processing target pixel, When the average value is determined, the signal value of the processing target pixel is output, and when it is determined that the average value is not, a signal value whose difference from the signal value of the processing target pixel is within a predetermined range among the surrounding pixels. An averaging process is performed on the predetermined pixel and the processing target pixel, and a noise removal process is performed to output an average value as a processing result.
In addition, in the imaging device that removes noise from an image including a plurality of pixels, it is determined whether or not the signal value of the processing target pixel is an average value of signal values of predetermined surrounding pixels including the processing target pixel. If the average value is determined, the signal value of the processing target pixel is output, and if it is not the average value, the difference from the signal value of the processing target pixel among the surrounding pixels is within a predetermined range. An averaging process is performed on a predetermined pixel having a signal value and a processing target pixel, and a noise removal process is performed to output an average value as a processing result.
[0018]
A noise removal program for removing noise from an image composed of a plurality of pixels, wherein the signal value of the processing target pixel is an average value of signal values of predetermined surrounding pixels including the processing target pixel If it is determined that it is an average value, the signal value of the processing target pixel is output. If it is determined that it is not the average value, a difference from the signal value of the processing target pixel among the surrounding pixels is predetermined. It is characterized in that the computer realizes a function of performing an averaging process on a predetermined pixel having a signal value that is a range and a pixel to be processed and outputting a mean value that is a processing result.
Here, the “average value” does not mean that the numerical value exactly coincides with the average value, but means a value within a certain range in which the effect of the present invention can be obtained by adopting the average value.
[0019]
For example, it is possible to set a value that the exact average value and the upper two digits match, or a value that matches the integer part by ignoring the decimal part.
According to the present invention, using the average value that is close to the median and has a small processing load when calculating, the noise removal effect of the averaging process is substantially maintained almost the same as when using the median. However, an effect of avoiding a situation in which an unnatural pattern occurs can be obtained. Further, even when an edge such as a line is included in the image, for the pixels in the edge portion, an appropriate surrounding pixel is selected as the edge and averaged. Therefore, the edge can be maintained without performing special processing such as edge detection, and a situation in which a part of the line is lost due to the filter processing can be avoided. That is, it is possible to perform appropriate noise removal while maintaining the image quality.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an imaging apparatus according to the present invention will be described below with reference to the drawings.
First, a noise removal method used in the imaging apparatus according to the present invention will be described.
In the noise removal method used in the imaging apparatus according to the present invention, color interpolation (color data in which one pixel is composed of three colors is used for color interpolation) with respect to an output signal of a single-plate imaging sensor provided in the imaging apparatus. The predetermined noise removal process is performed before performing the process of converting to (1). In addition, by performing noise removal processing on the output signal of the single-plate image sensor in this way, the memory required for processing is reduced compared to when noise removal processing is performed on a completed image after color interpolation or the like. Can be reduced.
[0021]
Hereinafter, a specific method will be described.
The single-plate image sensor has a configuration in which image sensors that output each color signal are arranged in a mosaic pattern. That is, the single-plate image sensor is a row in which a predetermined number of image sensors that output R signals and image sensors that output G signals in primary color filter (RGB) color signals are alternately arranged (hereinafter referred to as “RG line”). Similarly, a row in which a predetermined number of image pickup elements that output G signals and image pickup elements that output B signals are alternately arranged (hereinafter referred to as “GB line”) is repeated in the column direction. It is configured by arranging.
[0022]
Note that the single-plate image sensor can be applied to the case of outputting other color signals such as a complementary color filter method (CyYeMgGr method) in addition to outputting RGB color signals. At this time, the lines corresponding to the above-described RG line and GB line have an arrangement of color signals corresponding to the respective systems. For example, in the case of the CyYeMgGr system, an imaging device that outputs a Cy (cyan) signal and Ye (yellow) A CyYe line in which image pickup elements that output signals are alternately arranged, an image pickup element that outputs Mg (magenta) signals, and an MgGr line in which image pickup elements that output Gr (green) signals are alternately arranged. In the following description, it is assumed that the single-plate image sensor outputs RGB color signals.
[0023]
In this case, as an output of the RGB single-plate image sensor, an array (hereinafter referred to as “sensor output matrix”) composed of output signal values of the image sensors in each RG line and GB line is obtained.
FIG. 1 is a conceptual diagram showing a sensor output matrix. In FIG. 1, each matrix element (hereinafter referred to as “imaging pixel” as appropriate) includes only one of R, G, and B signal values.
[0024]
By the way, in the past, when an image was processed by a median filter, information such as the edge of the image is relatively likely to remain, but depending on the form of the image, information such as thin lines and isolated points may be lost. Will occur.
For example, when a line intersects a small matrix of 3 × 3 G signals as shown in FIG. 2, the central G signal has a signal value indicating a line, and the other G signals are other than lines. The signal value indicates the portion. Therefore, when the processing by the median filter is performed in units of this small matrix, the median is not a signal value representing a line (a signal value in a shaded portion) but a surrounding signal value (a signal value in a white portion), and one of the lines The part will be missing.
[0025]
Therefore, in this method, among the pixels located around the pixel of interest, pixels having a signal value close to the signal value of the pixel of interest are selected, and the average of the signal values of these pixels and the pixel of interest is calculated. Filter output.
For example, in the small matrix (3 × 3 matrix) of the G signal that is a part of the sensor output matrix shown in FIG. 3, the difference between the signal value of the center pixel of interest β and the signal values of the surrounding pixels α1 to α4. And the signal value of the pixel whose difference is smaller than the predetermined threshold th and the signal value of the target pixel are averaged.
[0026]
In this way, the average of the pixel having a signal value close to the target pixel is assumed to be reliable even if noise is added, and the value is This is because it is considered appropriate to perform interpolation based on signal values of close pixels.
When such processing is performed, even if a line as shown in FIG. 2 is included, the signal value of the pixel on the line (in FIG. 2, the signal value of the hatched portion at the center, In the case of expansion, only the signal values of a plurality of pixels on the line) are used for averaging, and even if a certain amount of noise is added to the pixel of interest, a part of the line is not lost and appropriate noise is obtained. Removal can be performed.
[0027]
However, if an average of pixels having signal values close to the target pixel is taken in this way, an unnatural pattern may occur in a smoothly changing image (gradation portion).
For example, in the gradation portion shown in FIG. 4, when there is no noise and the image changes uniformly, the signal values in the small matrix of 3 × 3 G signal are in the state shown in FIG. 5. In the case of the signal values shown in FIG. 5, when the threshold value th = 10 is set, pixels whose difference from the signal value of the central target pixel is less than 10 are pixels located in the central column (in FIG. If the sub-matrix is expanded, it becomes a plurality of pixels located in the center column), and even if noise is added to the target pixel, an average value close to the original signal value of the target pixel is calculated. Become.
[0028]
However, if noise is added in the gradation portion shown in FIG. 4 and the signal value of the 3 × 3 sub-matrix described above is in the state shown in FIG. 6, the pixel to be averaged is , Three pixels included in the center column including the target pixel and the column on the right side thereof.
On the other hand, if the signal values of the 3 × 3 sub-matrix described above are in the state shown in FIG. 7, the pixels to be averaged are the central column including the target pixel and the left column. The three pixels included in.
[0029]
That is, if the noise added to the pixel of interest increases the signal value, it is averaged with the pixel having the larger signal value in the small matrix, and the noise added to the pixel of interest decreases the signal value Is averaged with pixels having smaller signal values in the submatrix.
That is, the influence may appear so as to emphasize the influence of noise applied to the target pixel.
[0030]
In addition to the noise with respect to the pixel of interest as described above, the value to be averaged may fluctuate greatly in adjacent pixel data due to noise having different effects. In the region processed in such a state, the value fluctuates violently for each pixel and does not become a smooth change that should be reproduced originally.
Therefore, in this method, the processing is further modified. When the signal value of the target pixel is a median in the signal value of the pixel included in the small matrix, the signal value is output as it is and averaged. No processing is performed.
[0031]
On the other hand, when the signal value of the target pixel is not a median, the averaging process is performed with pixels having a signal value close to the signal value of the target pixel. In this case, the above-described threshold th is set to one and the average is performed. Select the pixel to be converted.
That is, in a 3 × 3 small matrix, if the difference from the signal value of the target pixel is less than the threshold th, the weighting coefficient is set to “1.0”, and the difference from the signal value of the target pixel is equal to or greater than the threshold th. For example, the weighting coefficient is alternatively set to “0”.
[0032]
As described above, in the noise removal method according to the present invention, as a first stage process, with respect to the target pixel of the small matrix extracted from the sensor output matrix, the signal value of the target pixel is the signal of the pixel included in the small matrix. It is determined whether or not the value is a median. If the value is a median, the signal value is used as it is. If the value is not a median, the second stage processing is performed.
[0033]
As a second stage of processing, the pixels of the sub-matrix that have a difference from the signal value of the target pixel that is less than a predetermined threshold are averaged and the average value of the target pixel. Signal value. At this time, a single threshold value is set, and based on the threshold value, a pixel having a signal value close to the signal value of the target pixel is selected and averaged, or a plurality of threshold values are set as will be described later. The signal value of the pixel selected based on the threshold value can be averaged after being weighted according to the threshold value.
[0034]
In the above description, a 3 × 3 matrix is assumed as a small matrix. However, for example, in the case of a color signal based on the RGB method, only the G signal is included in the sensor output matrix as shown in FIG. The matrix (hereinafter referred to as “G matrix”) as an element can be a small matrix such as 3 × 3 or 3 × 5, and only the R signal or the B signal in the sensor output matrix is an element. In the matrix (hereinafter referred to as “R matrix” and “B matrix”, respectively), it can be a small matrix of 1 × 5 or 1 × 9.
[0035]
At this time, when the G signal is expanded from a 3 × 3 submatrix, such as a 5 × 5 submatrix, noise is added so that signal values of other pixels included in the same column as the target pixel are added. Is also assumed to be a median (see FIG. 9). Therefore, when enlarging a small matrix in this way, in the first stage processing, instead of determining whether the signal value of the pixel of interest is a median, whether it is a signal value near the median or median By determining whether or not, it is possible to select an appropriate process. Whether or not the signal value is in the vicinity of the median is that the signal value of the target pixel is positioned in the order of one or two before and after the median, or a signal value within a predetermined threshold from the median signal value. This can be determined as a specific criterion.
[0036]
In the above description, the matrix in which the color signals are arranged in a mosaic is described. However, when the noise removal method according to the present invention is applied to the matrix in which the color signals are uniformly arranged. When noise is added, it is also assumed that other pixels included in the same column as the target pixel become medians (see FIG. 10).
Therefore, also in this case, it is possible to select an appropriate process by using the above-described determination method (method for determining whether the signal value is a median or a median vicinity).
[0037]
Furthermore, as another method, even when a matrix in which color signals are uniformly arranged is targeted, as shown in FIG. 11, a 3 × 3 small matrix of G signals is selected from these matrix elements. It is also possible to select such mosaic-shaped imaging pixels and determine whether or not the signal value of the pixel of interest is a median for a small matrix composed of these pixels.
[0038]
This method is not limited to a case where a matrix in which color signals are uniformly arranged, but in a matrix in which color signals are arranged in a mosaic, the G signal is expanded like a 5 × 5 small matrix. It is also effective in some cases. That is, in the G matrix, it is possible to select a sub-matrix of the G signal as shown in FIG. 12 and determine whether or not the signal value of the target pixel is a median for this sub-matrix.
[0039]
In addition, when a small matrix is selected as shown in FIG. 11 or FIG. 12, when the averaging process is performed as the second stage process, it is included in the range of the small matrix in addition to the imaging pixels selected in a mosaic shape. It is appropriate to perform the averaging process on other pixels.
Here, an example of operation when the noise removal method according to the present invention is applied will be described with reference to the drawings.
[0040]
FIG. 13 is a conceptual diagram illustrating an operation when noise removal is performed on a 3 × 3 small matrix when the target pixel is a G signal.
In FIG. 13, as the first stage process, it is determined whether or not the signal value of the target pixel is a median in the signal value of the pixel included in the small matrix.
When it is determined that the signal value of the target pixel is a median in the signal value of the pixel included in the small matrix, the signal value of the target pixel is used as an output value as it is.
[0041]
On the other hand, when it is determined that the signal value of the pixel of interest is not a median in the signal value of the pixel included in the small matrix, the signal value of the pixel of interest among the pixels included in the small matrix is processed as the second stage process. And the pixel of interest and the pixel of interest are averaged, and the average value is used as the output value. At this time, it is possible to set a single threshold and to set a plurality of thresholds.
In addition, a plurality of threshold values (th0, th1, th2,...) Are set, and according to the threshold value, weighting is performed such that a signal having a signal value closer to the signal value of the target pixel has a higher specific gravity. An average can be performed.
[0042]
Specifically, in a 3 × 3 small matrix, for a pixel whose difference from the signal value of the target pixel is the threshold th0 = 0, the weighting coefficient is set to “1.0”, and the difference from the signal value of the target pixel If the threshold value is greater than the threshold value th0 and less than the threshold value th1, the weighting coefficient is set to “0.75”, and similarly, the threshold values th2 and th3 are set as boundaries, and the weighting coefficient is set to “0.5” and “0.25”. Can be set automatically.
[0043]
Next, the configuration of the
FIG. 14 is a block diagram illustrating a configuration of the
[0044]
The single-
The
[0045]
Here, the noise removal process according to the present invention involves an averaging process and needs to be divided. However, since the number used for the division is limited to “2” to “5”, etc., the multiplier Can be substituted.
That is, when dividing by "2", multiply by "0.5", when dividing by "3", multiply by "0.333", and when dividing by "4", "0.25" When multiplying and dividing by “5”, the multiplication can be performed by multiplying “0.2”.
[0046]
In order to perform such processing, the
If it is assumed that more lines can be stored in the
[0047]
Next, the operation will be described.
The single-
Then, the
[0048]
Next, processing such as color interpolation is performed using the RGB signals generated by the
As described above, the
[0049]
Therefore, even in areas where the image changes smoothly (gradation part), it is possible to perform appropriate filter processing, resulting in an unnatural pattern while maintaining the noise removal effect of the averaging process. You can avoid the situation. Further, even when an edge such as a line is included in the image, for the pixels in the edge portion, an appropriate surrounding pixel is selected as the edge and averaged. Therefore, the edge can be maintained without performing special processing such as edge detection, and a situation in which a part of the line is lost due to the filter processing can be avoided.
[0050]
That is, the
Here, assuming that the image quality is represented by a variation (standard deviation) from the pixel of the reference image, the reference image (for example, Macbeth chart) under a certain condition by using the noise removal method according to the present invention. The standard deviation for the second brightest patch image, etc.) was as follows.
[0051]
That is, (1) “1.97” before adding intentional noise, (2) “2.83” when adding noise generated by simulation, and (3) Noise removal by median filter. In this case, “2.12”, (4) “1.94” when the averaging process is performed, and (2.00) when the noise removal process according to the present invention is performed. However, the standard deviation shown here is an example when each filter processing (noise removal processing) is performed on a small matrix of 3 × 3 G signals.
[0052]
In addition, the standard deviation shown here means that the smaller the value, the less the noise. In the above results, (3) compared with the case where noise removal by the median filter is performed, (5) noise removal according to the present invention. A higher noise removal effect is obtained when the processing is performed. Furthermore, when performing the noise removal processing according to the present invention, there is an advantage that an unnatural pattern can be prevented from occurring in a smoothly changing region (gradation portion). It can be said that noise removal can be performed more appropriately than processing.
[0053]
When the small matrix is expanded to 3 × 5, the noise removal effect can be further enhanced, and the standard deviation is “1.92”.
In addition, since the
[0054]
Also, if the size of the small matrix is made larger, a smoother image can be obtained.
In the present embodiment, description has been made mainly for RGB color signals, but it is also possible to target other types of color signals such as a complementary color filter method. In the present embodiment, as the first stage process, it is determined whether or not the signal value of the target pixel is a median in the signal value of the pixel included in the small matrix. It tends to be close to the average value.
[0055]
Therefore, when the signal value of the target pixel is a value close to the average value of the signal values of the pixels included in the small matrix, the signal value of the target pixel is used as it is, and the signal value is not close to the average value of the signal values. The second stage processing may be performed.
Even in the case of such processing, there is a certain effect of preventing the occurrence of an unnatural pattern in the gradation portion.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing a sensor output matrix.
FIG. 2 is a diagram showing a sub-matrix including lines.
FIG. 3 is a diagram illustrating a small matrix that is a part of a sensor output matrix.
FIG. 4 is a schematic diagram showing a gradation portion.
FIG. 5 is a diagram illustrating signal values of a small matrix in a gradation portion.
FIG. 6 is a diagram illustrating an example of signal values of a small matrix when noise is included in a gradation portion.
FIG. 7 is a diagram illustrating another example of small matrix signal values when noise is included in a gradation portion.
FIG. 8 is a diagram illustrating an example of a small matrix in a sensor output matrix.
FIG. 9 is a diagram illustrating an example in the case where a signal value of another pixel included in the same column as a target pixel is a median in a small matrix in which color signals are arranged in a mosaic pattern.
FIG. 10 is a diagram illustrating an example in a case where a signal value of another pixel included in the same column as a target pixel is a median in a small matrix in which color signals are uniformly arranged.
FIG. 11 is a diagram illustrating an example in which pixels of a small matrix are selected in a mosaic manner in a matrix in which color signals are uniformly arranged.
FIG. 12 is a diagram illustrating an example of selecting a pixel in the same manner as a 3 × 3 small matrix when enlarging a small matrix of G signals in which color signals are arranged in a mosaic pattern.
FIG. 13 is a conceptual diagram illustrating an operation when noise removal is performed on a 3 × 3 small matrix in a case where a target pixel includes a G signal.
FIG. 14 is a block diagram showing a configuration of the
[Explanation of symbols]
DESCRIPTION OF
Claims (10)
処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とするノイズ除去方法。A method for removing noise from an image composed of a plurality of pixels,
For a predetermined surrounding pixel including the processing target pixel, it is determined whether or not the signal value of the processing target pixel is a median. If it is determined that the signal is a median, the signal value of the processing target pixel is output and is determined not to be a median In this case, among the surrounding pixels, the averaging process is performed between the predetermined pixel having the signal value whose difference from the signal value of the processing target pixel is within the predetermined range and the processing target pixel, and the average value as the processing result is output. A noise removal method characterized by performing a noise removal process.
処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とするノイズ除去方法。A method for removing noise from an image composed of a plurality of pixels,
It is determined whether or not the signal value of the processing target pixel is an average value of the signal values of predetermined surrounding pixels including the processing target pixel. If it is determined that the signal value is the average value, the signal value of the processing target pixel is output. When it is determined that the average value is not obtained, an averaging process is performed between a predetermined pixel having a signal value whose difference from the signal value of the processing target pixel is within a predetermined range and the processing target pixel among the surrounding pixels. A noise removal method characterized by performing a noise removal process for outputting a certain average value.
処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とする撮像装置。An imaging apparatus that removes noise from an image composed of a plurality of pixels,
For a predetermined surrounding pixel including the processing target pixel, it is determined whether or not the signal value of the processing target pixel is a median. If it is determined that the signal is a median, the signal value of the processing target pixel is output and is determined not to be a median In this case, among the surrounding pixels, the averaging process is performed between the predetermined pixel having the signal value whose difference from the signal value of the processing target pixel is within the predetermined range and the processing target pixel, and the average value as the processing result is output. An image pickup apparatus that performs noise removal processing.
処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とする撮像装置。An imaging apparatus that removes noise from an image composed of a plurality of pixels,
It is determined whether or not the signal value of the processing target pixel is an average value of the signal values of predetermined surrounding pixels including the processing target pixel. If it is determined that the signal value is the average value, the signal value of the processing target pixel is output. When it is determined that the average value is not obtained, an averaging process is performed between a predetermined pixel having a signal value whose difference from the signal value of the processing target pixel is within a predetermined range and the processing target pixel among the surrounding pixels. An image pickup apparatus that performs a noise removal process for outputting a certain average value.
処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴とするノイズ除去プログラム。A noise removal program for removing noise from an image composed of a plurality of pixels,
For a predetermined surrounding pixel including the processing target pixel, it is determined whether or not the signal value of the processing target pixel is a median. If it is determined that the signal is a median, the signal value of the processing target pixel is output and is determined not to be a median In this case, among the surrounding pixels, the averaging process is performed between the predetermined pixel having the signal value whose difference from the signal value of the processing target pixel is within the predetermined range and the processing target pixel, and the average value as the processing result is output. A noise removal program for causing a computer to realize a function of performing noise removal processing.
処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴とするノイズ除去プログラム。A noise removal program for removing noise from an image composed of a plurality of pixels,
It is determined whether or not the signal value of the processing target pixel is an average value of the signal values of predetermined surrounding pixels including the processing target pixel. If it is determined that the signal value is the average value, the signal value of the processing target pixel is output. When it is determined that the average value is not obtained, an averaging process is performed between a predetermined pixel having a signal value whose difference from the signal value of the processing target pixel is within a predetermined range and the processing target pixel among the surrounding pixels. A noise removal program for causing a computer to realize a function of performing noise removal processing for outputting a certain average value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002338024A JP4178919B2 (en) | 2002-11-21 | 2002-11-21 | Noise removal method, imaging apparatus, and noise removal program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002338024A JP4178919B2 (en) | 2002-11-21 | 2002-11-21 | Noise removal method, imaging apparatus, and noise removal program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004173060A JP2004173060A (en) | 2004-06-17 |
| JP4178919B2 true JP4178919B2 (en) | 2008-11-12 |
Family
ID=32701371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002338024A Expired - Lifetime JP4178919B2 (en) | 2002-11-21 | 2002-11-21 | Noise removal method, imaging apparatus, and noise removal program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4178919B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8971660B2 (en) | 2009-03-16 | 2015-03-03 | Ricoh Company, Ltd. | Noise reduction device, noise reduction method, noise reduction program, and recording medium |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4420294B2 (en) | 2005-06-28 | 2010-02-24 | エルジー ディスプレイ カンパニー リミテッド | Midian filtering method and apparatus |
| EP2218053A4 (en) * | 2007-12-04 | 2012-10-10 | Hewlett Packard Development Co | Method and system for image restoration in the spatial domain |
| TWI346452B (en) * | 2008-03-17 | 2011-08-01 | Holtek Semiconductor Inc | Low pass filtering method |
| JP4640508B2 (en) * | 2009-01-09 | 2011-03-02 | ソニー株式会社 | Image processing apparatus, image processing method, program, and imaging apparatus |
| KR101600312B1 (en) | 2009-10-20 | 2016-03-07 | 삼성전자주식회사 | Apparatus and method for processing image |
-
2002
- 2002-11-21 JP JP2002338024A patent/JP4178919B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8971660B2 (en) | 2009-03-16 | 2015-03-03 | Ricoh Company, Ltd. | Noise reduction device, noise reduction method, noise reduction program, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004173060A (en) | 2004-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5067635B2 (en) | Method and apparatus for reducing noise while protecting edges for an imaging device | |
| US6625325B2 (en) | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel | |
| JP4054184B2 (en) | Defective pixel correction device | |
| US6570616B1 (en) | Image processing method and device and recording medium in which image processing program is recorded | |
| US7391903B2 (en) | Image processing method, image processing program and image processing processor for interpolating color components | |
| US8160381B2 (en) | Method and apparatus for image noise reduction using noise models | |
| US6075889A (en) | Computing color specification (luminance and chrominance) values for images | |
| JP4610930B2 (en) | Image processing apparatus and image processing program | |
| JP4803178B2 (en) | Image processing apparatus, computer program product, and image processing method | |
| US9131174B2 (en) | Image processing device, image processing method, and program for detecting and correcting defective pixel in image | |
| EP1389771A2 (en) | Digital image system and method for combining demosaicing and bad pixel correction | |
| US6757012B1 (en) | Color selection for sparse color image reconstruction | |
| US8515210B2 (en) | Image processing method and image processing device | |
| US7756355B2 (en) | Method and apparatus providing adaptive noise suppression | |
| WO2005117455A1 (en) | Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera | |
| KR101225056B1 (en) | Apparatus and method for reducing noise from image sensor | |
| JP2004153823A (en) | Image processing system using local linear regression | |
| JP5169994B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP2000023174A (en) | Image processor and image processing method | |
| JP2000152033A (en) | Image processor and image processing method | |
| JP4178919B2 (en) | Noise removal method, imaging apparatus, and noise removal program | |
| US6671401B1 (en) | Removing color moire patterns from digital images having known chromaticities | |
| US6795586B1 (en) | Noise cleaning and interpolating sparsely populated color digital image | |
| JPH11262025A (en) | Image input device and image correction method therefor | |
| CN114902659A (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4178919 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |