JP3737436B2 - ノイズ除去方法およびノイズ除去装置 - Google Patents
ノイズ除去方法およびノイズ除去装置 Download PDFInfo
- Publication number
- JP3737436B2 JP3737436B2 JP2002015520A JP2002015520A JP3737436B2 JP 3737436 B2 JP3737436 B2 JP 3737436B2 JP 2002015520 A JP2002015520 A JP 2002015520A JP 2002015520 A JP2002015520 A JP 2002015520A JP 3737436 B2 JP3737436 B2 JP 3737436B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- noise
- pixel
- zigzag
- noise removal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000014509 gene expression Effects 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 230000003252 repetitive effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタル・カメラなどの撮像センサで撮像した画像信号に混入したノイズ信号を検出し除去するノイズ除去方法およびノイズ除去装置に関する。
【０００２】
【従来の技術】
図１０は、一般的なディジタル・スチル・カメラの概略構成を示すブロック図である。図示するように、ディジタル・スチル・カメラ１００では、ＣＣＤセンサやＣＭＯＳセンサなどの撮像センサ１０５で撮像した画像信号はデジタル信号へＡ／Ｄ変換された後に、画像処理部１０６において画素補間処理、色空間変換処理、輪郭強調処理などの種々の画像処理を施される。このような画像処理を施された画像データはＬＣＤ（液晶ディスプレイ）１０９などに表示されたり、ＪＰＥＧ（Joint Photographic Experts Group）方式などで圧縮符号化されて不揮発性メモリなどのメモリカード１１０に格納されたり、インターフェース１１１を介してパーソナル・コンピュータなどの外部機器に出力されたりする。尚、図１０において、符号１０１は光学レンズ、１０２は色補正フィルタ、１０３は光学ＬＰＦ（ローパスフィルタ）、１０４は色フィルタアレイ、１０７は撮像センサ１０５などを駆動制御する駆動部を示している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記撮像センサ１０５で撮像した画像信号中にはＡ／Ｄ変換時や画素補間処理時などにノイズ信号が混入し、画質を悪化させるという問題がある。このようなノイズ信号が混入した画像信号に対して輪郭強調処理を施すと、そのノイズ信号も強調されてしまい、画質が更に悪化するという問題が生じていた。その種のノイズ信号は、Ａ／Ｄ変換器のハードウェア構造に起因したり、画素補間処理で周辺の画素値を用いて着目画素を補間することに起因するものである。特に、ナイキスト周波数近辺の周波数成分には、図１１に示すような点線状に分布するノイズ信号１２２，１２２，…や、図１２に示すようなチェッカー状（市松模様）に分布するノイズ信号１２３，１２３，…が出現し易いことが知られている。尚、図１１，図１２は、マトリクス状に配列した複数の画素１２１，１２１，…からなる画像信号１２０を示す模式図である。図１１に示す例では、ノイズ信号１２２，…は、他の画素１２１，…における正常な信号レベルよりも高い信号レベルをもって点線状で出現し、図１２に示す例では、ノイズ信号１２３，…は、他の画素１２１，…における正常な信号レベルよりも高い信号レベルをもってチェッカー状で出現している。
【０００４】
従来、その種のノイズ信号を個別に除去することは困難なので、低域成分を通過させ且つ高域成分を低減させるＬＰＦ（ローパスフィルタ）を画像信号全体に作用させてノイズ信号をぼやけさせることが行われてきたが、これでは輪郭部分も同時にぼやけしまい、解像度が低下するという問題が生じていた。
【０００５】
以上の問題などに鑑みて本発明が目的とするところは、画質を低下させること無く画像信号中に混入したノイズ信号を除去し得るノイズ除去方法およびノイズ除去装置を提供する点にある。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、２次元画像信号中に混入したノイズ信号を除去するノイズ除去方法であって、（ａ）前記２次元画像信号において、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分値が正値と負値とを交互にとるジグザグ状の信号を検出する工程と、（ｂ）前記工程（ａ）で検出された前記ジグザグ状の信号が縞模様を構成するか否かを判定する工程と、（ｃ）前記工程（ｂ）で前記ジグザグ状の信号が縞模様を構成すると判定された場合は、当該ジグザグ状の信号を正常の画像信号とみなす工程と、（ｄ）前記工程（ｂ）で前記ジグザグ状の信号が縞模様を構成すると判定されなかった場合は、当該ジグザグ状の信号をノイズ信号とみなして抽出する工程と、（ｅ）前記２次元画像信号から、前記工程（ｄ）で抽出された前記ノイズ信号をフィルタリングする工程と、を備えることを特徴とするものである。
【０００７】
請求項２に係る発明は、請求項１記載のノイズ除去方法であって、前記工程（ｅ）は前記ノイズ信号をローパスフィルタでフィルタリングする工程である。
【０００８】
請求項３に係る発明は、請求項１または２記載のノイズ除去方法であって、前記工程（ａ）は、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分絶対値が所定の閾値以下である場合は、当該隣接する２画素の信号レベルを同一とみなす工程を更に備えるものである。
【０００９】
請求項４に係る発明は、請求項３記載のノイズ除去方法であって、前記閾値が可変に設定されるものである。
【００１０】
請求項５に係る発明は、請求項１〜４の何れか１項に記載のノイズ除去方法であって、垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、前記工程（ａ）では、下記関係式（Ａ１），（Ａ２）のうち少なくとも一方の関係式を満たす信号が前記ジグザグ状の信号として検出され、前記工程（ｂ）では、下記関係式（Ａ３），（Ａ４）のうち少なくとも一方の関係式を満たすとき、当該ジグザグ状の信号が前記縞模様を構成すると判定されるものである。
【００１１】
【数１３】
【００１２】
【数１４】
【００１３】
請求項６に係る発明は、請求項１〜４の何れか１項に記載のノイズ除去方法であって、垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、前記工程（ａ）では、下記関係式（Ｂ１），（Ｂ２）のうち少なくとも一方の関係式を満たす信号が前記ジグザグ状の信号として検出され、前記工程（ｂ）では、下記関係式（Ｂ３），（Ｂ４）のうち少なくとも一方の関係式を満たすとき、当該ジグザグ状の信号が前記縞模様を構成すると判定されるものである。
【００１４】
【数１５】
【００１５】
【数１６】
【００１６】
請求項７に係る発明は、請求項５または６記載のノイズ除去方法であって、前記工程（ｅ）において、前記着目画素における信号レベルＩ［０，０］を、下記式（Ｃ２）の条件を満たすフィルタ係数Ｋ（ｎ）を使用し下記式（Ｃ１）に従って補正することで当該ノイズ信号を除去する方法である。
【００１７】
【数１７】
【００１８】
【数１８】
【００１９】
次に、請求項８に係る発明は、２次元画像信号中に混入したノイズ信号を除去するノイズ除去装置であって、前記２次元画像信号において、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分値が正値と負値とを交互にとるジグザグ状の信号を検出する信号検出手段と、前記信号検出手段で検出された前記ジグザグ状の信号が縞模様を構成するか否かを判定する判定手段と、前記判定手段で前記ジグザグ状の信号が縞模様を構成すると判定された場合は、当該ジグザグ状の信号を正常の画像信号とみなし、前記ジグザグ状の信号が縞模様を構成すると判定されなかった場合は、当該ジグザグ状の信号をノイズ信号とみなして抽出するノイズ信号抽出手段と、前記２次元画像信号から前記ノイズ信号を除去するフィルタと、を備えることを特徴とするものである。
【００２０】
請求項９に係る発明は、請求項８記載のノイズ除去装置であって、前記フィルタを、前記ノイズ信号をフィルタリングして除去するローパスフィルタとするものである。
【００２１】
請求項１０に係る発明は、請求項８または９記載のノイズ除去装置であって、前記信号検出手段は、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分絶対値が所定の閾値以下である場合は、当該隣接する２画素の信号レベルを同一とみなすものである。
【００２２】
請求項１１に係る発明は、請求項１０記載のノイズ除去装置であって、前記閾値を可変に設定する閾値設定手段を更に備えるものである。
【００２３】
請求項１２に係る発明は、請求項８〜１１の何れか１項に記載のノイズ除去装置であって、垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、前記信号検出手段は、下記関係式（Ａ１），（Ａ２）のうち少なくとも一方の関係式を満たす信号を前記ジグザグ状の信号として検出し、前記判定手段は、下記関係式（Ａ３），（Ａ４）のうち少なくとも一方を満たすときに当該ジグザグ状の信号が前記縞模様を構成すると判定するものである。
【００２４】
【数１９】
【００２５】
【数２０】
【００２６】
請求項１３に係る発明は、請求項８〜１１の何れか１項に記載のノイズ除去装置であって、垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、前記信号検出手段は、下記関係式（Ｂ１），（Ｂ２）のうち少なくとも一方の関係式を満たす信号を前記ジグザグ状の信号として検出し、前記判定手段は、下記関係式（Ｂ３），（Ｂ４）のうち少なくとも一方の関係式を満たすときに当該ジグザグ状の信号が前記縞模様を構成すると判定するものである。
【００２７】
【数２１】
【００２８】
【数２２】
【００２９】
請求項１４に係る発明は、請求項１２または１３記載のノイズ除去装置であって、前記フィルタは、前記着目画素における信号レベルＩ［０，０］を、下記式（Ｃ２）の条件を満たすフィルタ係数Ｋ（ｎ）を使用し下記式（Ｃ１）に従って補正することで当該ノイズ信号を除去するものである。
【００３０】
【数２３】
【００３１】
【数２４】
【００３２】
【発明の実施の形態】
図１は、本発明の実施の形態に係るノイズ除去装置１の概略構成を示す機能ブロック図である。このノイズ除去装置１は、入力画像信号Ｓ１に対して信号レベルがジグザグ状の信号Ｓ２を検出して出力する信号検出手段３と、このジグザグ状の信号Ｓ２がノイズ信号か否かを判定する判定手段４と、その判定結果に基づいて入力画像信号Ｓ１からノイズ信号を抽出するノイズ信号抽出手段５と、抽出されたノイズ信号に対してフィルタリングを施すフィルタ６と、を備えている。
【００３３】
後に詳述するように、前記信号検出手段３は、隣接する２画素間の信号レベルの差分絶対値が、設定手段２から供給される閾値Ｄ１以下の場合には、当該２画素の信号レベルを同一とみなし、当該差分絶対値が閾値Ｄ１を超えた場合に限りジグザグ状の信号Ｓ２を検出する機能を有する。この閾値Ｄ１は、閾値設定手段２で可変に設定することが可能である。
【００３４】
図２は、入力画像信号Ｓ１の画像フォーマット１０を示す図である。図示するように、その画像フォーマット１０では、複数の画素ｎ［ｉ，ｊ］（ｉ，ｊ＝０，±１，±２，…）が、垂直画素方向と水平画素方向とにマトリクス状に配列している。図２中、記号ｎ［ｉ，ｊ］は、垂直画素方向にｉ番目で且つ水平画素方向にｊ番目の画素を示しており、記号Ｖ［ｋ］（ｋ＝０，±１，±２，…）はｋ番目の水平ラインを示している。以下、処理対象となる複数の画素のうち中央の画素ｎ［０，０］を「着目画素」と呼ぶ。
【００３５】
本実施の形態では、水平画素方向にのみ分布するノイズ信号を扱っているが、本発明ではこれに限られない。画像信号の信号成分を垂直画素方向と水平画素方向とで入れ替える（転置する）ことで、垂直画素方向に分布するノイズ信号に対しても、以下に述べるノイズ除去処理を適用することが可能である。
【００３６】
また、図３は、図２に示す画像フォーマット１０で表現された画像データ１１の例を示す模式図である。画像データ１１には、水平ラインＶ［０］に沿った水平画素方向へ点線状に分布したノイズ信号ｎ［０，−２］，ｎ［０，０］，ｎ［０，２］，…が含まれている。図４は、図３に示した水平ラインＶ［０］上の信号レベルの例を示すグラフである。同図中、画素ｎ［ｉ，ｊ］における信号レベルはＩ［ｉ，ｊ］で表現される。信号レベルＩ［ｉ，ｊ］は、水平ラインに沿って隣接する２画素間の差分値が正値と負値とを交互にとるようにジグザグ状に分布している。上述した通り、このような分布をもつノイズ信号はＡ／Ｄ変換時や画素補間時などに画像信号Ｓ１中に混入することが知られている。
【００３７】
上記ノイズ除去装置１を用いてノイズ信号を除去する方法を、図５のフローチャートを参照しつつ以下に説明する。先ず、ＣＣＤ撮像素子（図示せず）から出力された後、Ａ／Ｄ変換や画素補間処理などを施された入力画像信号Ｓ１が、ノイズ除去装置１に入力する（ステップＳＴ１）。
【００３８】
次のステップＳＴ２では、信号検出手段３は、入力画像信号Ｓ１のうち５画素×５画素程度の画素領域の信号を保持し、当該画素領域の中央画素を着目画素ｎ［０，０］として、当該着目画素周辺において信号レベルが垂直画素方向または水平画素方向に沿ってジグザグ状に分布する場合は当該ジグザグ状の信号Ｓ２を検出して出力する。そして、判定手段４は、信号検出手段３から入力するジグザグ状の信号Ｓ２がノイズ信号か否かを判定し（ステップＳＴ３）、その判定結果を示す判定信号Ｓ３を出力する（ステップＳＴ４，ＳＴ５）。図３，図６，図８，図９は、その種のジグザグ状の信号を含む各種画像データ１１を例示する図である。図３と図６はノイズ信号を含む例を示し、図８と図９はノイズ信号では無いジグザグ状の信号を含む例を示している。
【００３９】
図３に示す画像データ１１では、図４のグラフに示した通り、着目画素ｎ［０，０］を中心として、水平ラインＶ［０］に沿って隣接する２画素間の信号レベルの差分値が正負と負値とを交互にとるようなジグザグ状の信号が分布している。着目画素ｎ［０，０］の信号レベルＩ［０，０］は、左右両隣の画素ｎ［０，−１］，ｎ［０，１］の信号レベルＩ［０，−１］，Ｉ［０，１］よりも高い値をもつ。また、水平ラインＶ［０］の上下両隣の水平ラインＶ［−１］，Ｖ［１］においては、ジグザグ状の信号は出現していない。従って、図３に示す例でのジグザグ状の信号レベル分布は次式（Ａ１），（Ａ２）を満足する。
【００４０】
【数２５】
【００４１】
また、図６に示す例では、図３に示すような水平ラインＶ［０］に沿ったジグザグ状の信号が出現し、上下両隣の水平ラインＶ［−１］，Ｖ［１］にはジグザグ状の信号が出現していない。図７は、着目画素ｎ［０，０］を含む水平ラインＶ［０］上にジグザグ状に分布する信号レベルを示すグラフである。本例では、着目画素ｎ［０，０］の信号レベルＩ［０，０］は、左右両隣の画素ｎ［０，−１］，ｎ［０，１］の信号レベルＩ［０，−１］，Ｉ［０，１］よりも低い値をもつ。従って、図４に示す例でのジグザグ状の信号レベル分布は次式（Ｂ１），（Ｂ２）を満足する。
【００４２】
【数２６】
【００４３】
一方、図８と図９に示す画像データ１１では、着目画素ｎ［０，０］を含む水平ラインＶ［０］にジグザグ状の信号レベルが現れると共に、少なくとも着目画素ｎ［０，０］近傍において垂直画素方向に延びる、１画素置きに高い信号レベルをもつ縦線からなる縞模様が出現していることが分かる。図８に示す画像データ１１は、着目画素ｎ［０，０］を含む垂直ラインに沿って縦線があり、図９に示す画像データ１１では、着目画素ｎ［０，０］を含む垂直ラインは、低い信号レベルをもつ縞模様の谷部を示しており、その左右両隣の画素ｎ［−１，０］，ｎ［１，０］を含む２本の垂直ラインに縦線がある。
【００４４】
現実のナイキスト周波数近辺の信号においては、水平画素方向に沿った横線、もしくは垂直画素方向に沿った縦線の何れかの繰り返しパターンがしばしば出現する。例えば、被写体としてブラインドや橋梁の欄干などを撮像した画像信号中にはその種の繰り返しパターンが現れる。一方、アナログ回路や画像処理回路で発生したノイズ信号、特に、単板式のＣＣＤ撮像素子やＣＭＯＳ撮像素子で撮像した画像データを画素補間処理する際に発生するノイズ信号（エラー信号）は、２画素×２画素の繰り返しパターンで出現することが知られている。被写体に起因する繰り返しパターンと、アナログ回路や画像処理回路に起因する繰り返しパターンとでは、互いに類似のジグザグ状の信号が出現する。両者の相違点は、被写体に起因する繰り返しパターンでは、図８と図９に示すように、着目画素ｎ［０，０］近傍において水平ラインＶ［０］に直交する方向（本例では、垂直画素方向）に縞模様が現れるのに対し、アナログ回路や画像処理回路に起因する繰り返しパターンでは、図３と図６に示すようにその種の縞模様が出現する確率が低いことである。本発明者はこの相違点に着目した。
【００４５】
上記ステップＳＴ２では、信号検出手段３は、上式（Ａ１），（Ａ２）のうち少なくとも一方、もしくは上式（Ｂ１），（Ｂ２）のうち少なくとも一方を満たす信号をジグザグ状の信号Ｓ２として検出して判定手段４に出力する。
【００４６】
また、上記ステップＳＴ３では、判定手段４は、検出されたジグザグ状の信号Ｓ２が縞模様を構成するか否かを判定する。具体的には、信号検出手段３で上式（Ａ１），（Ａ２）の少なくとも一方を満たす信号Ｓ２が検出された場合は、判定手段４は、当該信号Ｓ２が次式（Ａ３），（Ａ４）の一方または双方を満たすか否かを判定する（ＳＴ３）。
【００４７】
【数２７】
【００４８】
他方、信号検出手段３で上式（Ｂ１），（Ｂ２）の少なくとも一方を満たす信号Ｓ２が検出された場合は、判定手段４は、当該信号Ｓ２が次式（Ｂ３），（Ｂ４）の一方または双方を満たすか否かを判定する（ＳＴ３）。
【００４９】
【数２８】
【００５０】
上記判定手段４は、当該ジグザグ状の信号Ｓ２が上式（Ａ３），（Ａ４）の一方または双方を満たした場合、もしくは、当該ジグザグ状の信号Ｓ２が上式（Ｂ３），（Ｂ４）の一方または双方を満たした場合は、当該信号Ｓ２は縞模様を構成すると判定する（ステップＳＴ４）。次いで、判定手段４は、当該信号Ｓ２を正常な画像信号とみなして、ステップＳＴ８に処理が移行し、当該着目画素ｎ［０，０］はそのまま外部に出力される。すなわち、ノイズ信号抽出手段５は、判定手段４から判定信号Ｓ４を受けると、入力画像信号Ｓ１をフィルタ６でフィルタリングさせること無く、出力画像信号Ｓ５として出力させるように制御する。
【００５１】
他方、判定手段４は、当該ジグザグ状の信号Ｓ２が上式（Ａ３）および（Ａ４）の何れも満たさなかった場合、並びに、当該ジグザグ状の信号Ｓ２が上式（Ｂ３）および（Ｂ４）の何れも満たさなかった場合は、当該信号Ｓ２は縞模様を構成せず、ノイズ信号である旨を判定する（ステップＳＴ５）。そして、判定手段４は、その旨を示す判定信号Ｓ３をノイズ信号抽出手段５に出力する。次のステップＳＴ６で、ノイズ信号抽出手段５は、入力画像信号Ｓ１から当該ノイズ信号Ｓ４を抽出してフィルタ６に出力し、フィルタ６は、着目画素ｎ［０，０］を含む複数画素をサンプリングし、着目画素ｎ［０，０］に関して当該ノイズ信号Ｓ４を平滑化（フィルタリング）する。次のステップＳＴ７で、その結果得られた出力画像信号Ｓ５は外部に出力される。
【００５２】
フィルタ６は、少なくとも、着目画素ｎ［０，０］とその左右両隣の画素ｎ［−１，０］，ｎ［１，０］との合計３画素を含む複数画素を平滑化する機能を備えていればよい。具体的には、フィルタ６は、下記式（Ｃ２）の条件を満たすフィルタ係数Ｋ（ｎ）を使用し、次式（Ｃ１）に従ってフィルタリングを実行できる。
【００５３】
【数２９】
【００５４】
【数３０】
【００５５】
但し、フィルタ係数Ｋ（ｎ）は、Ｋ（ｎ）＝Ｋ（−ｎ）の関係式を満たすこと、言い換えれば、着目画素ｎ［０，０］に対して対称であることが望まれる。上式（Ｃ１）の右辺の分母を２の巾乗（＝２m）としたのは、ノイズ除去装置１を集積回路で構成する場合に、２の巾乗による除算処理をシフト演算器で実行できるからである。２の巾乗でない値で除算処理を行う場合は、シフト演算器を用いる場合と比べて集積回路のゲート規模が多大になり易いという不利な点がある。
【００５６】
例えば、３画素に対してフィルタリングを実行する場合は、上式（Ｃ１）に対して、Ｍ＝２、Ｋ（０）＝２×Ｋ１、Ｋ（±１）＝Ｋ０を適用することで、次式（Ｃ１−０）が成立する。
【００５７】
【数３１】
【００５８】
上式（Ｃ１−０）中、ｍは２以上の整数であり、Ｋ０＋Ｋ１＝２m-1の関係式が成立する。
【００５９】
また、平滑化の観点からは、着目画素ｎ［０，０］の信号レベルＩ［０，０］に重み付けを与えるフィルタ係数Ｋ１と、両隣の画素の信号レベルＩ［−１，０］，Ｉ［１，０］に重み付けを与えるフィルタ係数２×Ｋ０との比率は小さいことが望ましい。ｍ＝２のとき、上式（Ｃ１−０）は次式（Ｃ１−１）で表現できる。ここで、フィルタ係数は、Ｋ０＝１，Ｋ１＝１である。
【００６０】
【数３２】
【００６１】
平滑化の観点からは、上式（Ｃ１−０）を次式（Ｃ１−２）で表現するのが良い。ここで、ｍ＝４，Ｋ０＝５，Ｋ１＝３である。
【００６２】
【数３３】
【００６３】
尚、本実施の形態では、上記ステップＳＴ６のフィルタリング処理でサンプリングする画素は、着目画素ｎ［０，０］を含む１本の水平ライン上の複数画素であったが、本発明ではこれに限らず、当該着目画素ｎ［０，０］周辺の複数ラインにおける複数画素をサンプリングしてフィルタリング処理に用いてもよい。
【００６４】
ところで、上記ステップＳＴ２で信号検出手段３は、隣接する２画素間の差分絶対値が閾値Ｄ１未満の成分については、ジグザグ状の信号とみなさずに、当該隣接する２画素の信号レベルは一致するものとして処理する。これは、隣接する２画素間の差が僅かな信号まで処理に含めると、相関性の低い不規則なパターンをもつノイズ信号をジグザグ状の信号と判定する確率が高くなり、この結果、フィルタリング処理の回数が多くなり、解像度が低下するからである。当該閾値Ｄ１は、閾値設定手段２で可変に設定できるため、画質が最適になるように閾値Ｄ１を設定することが可能である。
【００６５】
【発明の効果】
以上の如く、本発明の請求項１に係るノイズ除去方法および請求項８に係るノイズ除去装置によれば、上記ジグザグ状の信号が縞模様を構成するか否かを判定し、縞模様を構成するジグザグ状の信号を正常な画像信号とみなし、縞模様を構成しないジグザグ状の信号をノイズ信号とみなすため、ノイズ信号の検出精度が向上する。また、当該ノイズ信号のみを選択的にフィルタで除去するため、ノイズ除去処理による解像度の低下を防止することが可能となる。
【００６６】
請求項２および請求項９によれば、簡易且つ確実にノイズ信号を除去することが可能となる。
【００６７】
請求項３および請求項１０によれば、ノイズ検出精度の向上を図ることが可能である。相関性の低い不規則なパターンをもつノイズ信号を拾って、このノイズ信号にフィルタリングを施すことを確実に防止でき、解像度の低下を防止できる。
【００６８】
請求項４および請求項１１によれば、画像信号の画質が最適となるように上記閾値を設定することが可能となる。
【００６９】
請求項５，６および請求項１２，１３によれば、検出されたジグザグ状の信号が、アナログ回路や画像処理回路に起因する信号か、被写体に起因する信号かの判定を確実に実行できるため、被写体に起因するジグザグ状の信号をフィルタリングせずに済み、解像度低下を確実に防止できる。
【００７０】
請求項７および請求項１４によれば、上式（Ｃ１）を採用することで高精度にノイズ除去を実行できる。特に、上式（Ｃ１）の右辺の分子を２の巾乗で除算する処理はシフト演算で実行できるため、比較的高速にノイズ除去処理を実行できるという利点がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るノイズ除去装置の概略構成を示す機能ブロック図である。
【図２】ノイズ除去装置に入力する画像信号の画像フォーマットを示す図である。
【図３】画像データの例を示す模式図である。
【図４】画像データの信号レベル分布を示すグラフである。
【図５】本実施の形態に係るノイズ除去方法を示すフローチャートである。
【図６】画像データの例を示すグラフである。
【図７】画像データの信号レベル分布を示すグラフである。
【図８】画像データの例を示すグラフである。
【図９】画像データの例を示すグラフである。
【図１０】一般的なディジタル・スチル・カメラの概略構成を示すブロック図である。
【図１１】点線状に分布するノイズ信号を含む画像データの一例を示す図である。
【図１２】チェッカー状に分布するノイズ信号を含む画像データの一例を示す図である。
【符号の説明】
１ ノイズ除去装置
２ 閾値設定手段
３ 信号検出手段
４ 判定手段
５ ノイズ信号抽出手段
６ フィルタ
【発明の属する技術分野】
本発明は、ディジタル・カメラなどの撮像センサで撮像した画像信号に混入したノイズ信号を検出し除去するノイズ除去方法およびノイズ除去装置に関する。
【０００２】
【従来の技術】
図１０は、一般的なディジタル・スチル・カメラの概略構成を示すブロック図である。図示するように、ディジタル・スチル・カメラ１００では、ＣＣＤセンサやＣＭＯＳセンサなどの撮像センサ１０５で撮像した画像信号はデジタル信号へＡ／Ｄ変換された後に、画像処理部１０６において画素補間処理、色空間変換処理、輪郭強調処理などの種々の画像処理を施される。このような画像処理を施された画像データはＬＣＤ（液晶ディスプレイ）１０９などに表示されたり、ＪＰＥＧ（Joint Photographic Experts Group）方式などで圧縮符号化されて不揮発性メモリなどのメモリカード１１０に格納されたり、インターフェース１１１を介してパーソナル・コンピュータなどの外部機器に出力されたりする。尚、図１０において、符号１０１は光学レンズ、１０２は色補正フィルタ、１０３は光学ＬＰＦ（ローパスフィルタ）、１０４は色フィルタアレイ、１０７は撮像センサ１０５などを駆動制御する駆動部を示している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記撮像センサ１０５で撮像した画像信号中にはＡ／Ｄ変換時や画素補間処理時などにノイズ信号が混入し、画質を悪化させるという問題がある。このようなノイズ信号が混入した画像信号に対して輪郭強調処理を施すと、そのノイズ信号も強調されてしまい、画質が更に悪化するという問題が生じていた。その種のノイズ信号は、Ａ／Ｄ変換器のハードウェア構造に起因したり、画素補間処理で周辺の画素値を用いて着目画素を補間することに起因するものである。特に、ナイキスト周波数近辺の周波数成分には、図１１に示すような点線状に分布するノイズ信号１２２，１２２，…や、図１２に示すようなチェッカー状（市松模様）に分布するノイズ信号１２３，１２３，…が出現し易いことが知られている。尚、図１１，図１２は、マトリクス状に配列した複数の画素１２１，１２１，…からなる画像信号１２０を示す模式図である。図１１に示す例では、ノイズ信号１２２，…は、他の画素１２１，…における正常な信号レベルよりも高い信号レベルをもって点線状で出現し、図１２に示す例では、ノイズ信号１２３，…は、他の画素１２１，…における正常な信号レベルよりも高い信号レベルをもってチェッカー状で出現している。
【０００４】
従来、その種のノイズ信号を個別に除去することは困難なので、低域成分を通過させ且つ高域成分を低減させるＬＰＦ（ローパスフィルタ）を画像信号全体に作用させてノイズ信号をぼやけさせることが行われてきたが、これでは輪郭部分も同時にぼやけしまい、解像度が低下するという問題が生じていた。
【０００５】
以上の問題などに鑑みて本発明が目的とするところは、画質を低下させること無く画像信号中に混入したノイズ信号を除去し得るノイズ除去方法およびノイズ除去装置を提供する点にある。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、２次元画像信号中に混入したノイズ信号を除去するノイズ除去方法であって、（ａ）前記２次元画像信号において、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分値が正値と負値とを交互にとるジグザグ状の信号を検出する工程と、（ｂ）前記工程（ａ）で検出された前記ジグザグ状の信号が縞模様を構成するか否かを判定する工程と、（ｃ）前記工程（ｂ）で前記ジグザグ状の信号が縞模様を構成すると判定された場合は、当該ジグザグ状の信号を正常の画像信号とみなす工程と、（ｄ）前記工程（ｂ）で前記ジグザグ状の信号が縞模様を構成すると判定されなかった場合は、当該ジグザグ状の信号をノイズ信号とみなして抽出する工程と、（ｅ）前記２次元画像信号から、前記工程（ｄ）で抽出された前記ノイズ信号をフィルタリングする工程と、を備えることを特徴とするものである。
【０００７】
請求項２に係る発明は、請求項１記載のノイズ除去方法であって、前記工程（ｅ）は前記ノイズ信号をローパスフィルタでフィルタリングする工程である。
【０００８】
請求項３に係る発明は、請求項１または２記載のノイズ除去方法であって、前記工程（ａ）は、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分絶対値が所定の閾値以下である場合は、当該隣接する２画素の信号レベルを同一とみなす工程を更に備えるものである。
【０００９】
請求項４に係る発明は、請求項３記載のノイズ除去方法であって、前記閾値が可変に設定されるものである。
【００１０】
請求項５に係る発明は、請求項１〜４の何れか１項に記載のノイズ除去方法であって、垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、前記工程（ａ）では、下記関係式（Ａ１），（Ａ２）のうち少なくとも一方の関係式を満たす信号が前記ジグザグ状の信号として検出され、前記工程（ｂ）では、下記関係式（Ａ３），（Ａ４）のうち少なくとも一方の関係式を満たすとき、当該ジグザグ状の信号が前記縞模様を構成すると判定されるものである。
【００１１】
【数１３】
【数１４】
請求項６に係る発明は、請求項１〜４の何れか１項に記載のノイズ除去方法であって、垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、前記工程（ａ）では、下記関係式（Ｂ１），（Ｂ２）のうち少なくとも一方の関係式を満たす信号が前記ジグザグ状の信号として検出され、前記工程（ｂ）では、下記関係式（Ｂ３），（Ｂ４）のうち少なくとも一方の関係式を満たすとき、当該ジグザグ状の信号が前記縞模様を構成すると判定されるものである。
【００１４】
【数１５】
【数１６】
請求項７に係る発明は、請求項５または６記載のノイズ除去方法であって、前記工程（ｅ）において、前記着目画素における信号レベルＩ［０，０］を、下記式（Ｃ２）の条件を満たすフィルタ係数Ｋ（ｎ）を使用し下記式（Ｃ１）に従って補正することで当該ノイズ信号を除去する方法である。
【００１７】
【数１７】
【数１８】
次に、請求項８に係る発明は、２次元画像信号中に混入したノイズ信号を除去するノイズ除去装置であって、前記２次元画像信号において、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分値が正値と負値とを交互にとるジグザグ状の信号を検出する信号検出手段と、前記信号検出手段で検出された前記ジグザグ状の信号が縞模様を構成するか否かを判定する判定手段と、前記判定手段で前記ジグザグ状の信号が縞模様を構成すると判定された場合は、当該ジグザグ状の信号を正常の画像信号とみなし、前記ジグザグ状の信号が縞模様を構成すると判定されなかった場合は、当該ジグザグ状の信号をノイズ信号とみなして抽出するノイズ信号抽出手段と、前記２次元画像信号から前記ノイズ信号を除去するフィルタと、を備えることを特徴とするものである。
【００２０】
請求項９に係る発明は、請求項８記載のノイズ除去装置であって、前記フィルタを、前記ノイズ信号をフィルタリングして除去するローパスフィルタとするものである。
【００２１】
請求項１０に係る発明は、請求項８または９記載のノイズ除去装置であって、前記信号検出手段は、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分絶対値が所定の閾値以下である場合は、当該隣接する２画素の信号レベルを同一とみなすものである。
【００２２】
請求項１１に係る発明は、請求項１０記載のノイズ除去装置であって、前記閾値を可変に設定する閾値設定手段を更に備えるものである。
【００２３】
請求項１２に係る発明は、請求項８〜１１の何れか１項に記載のノイズ除去装置であって、垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、前記信号検出手段は、下記関係式（Ａ１），（Ａ２）のうち少なくとも一方の関係式を満たす信号を前記ジグザグ状の信号として検出し、前記判定手段は、下記関係式（Ａ３），（Ａ４）のうち少なくとも一方を満たすときに当該ジグザグ状の信号が前記縞模様を構成すると判定するものである。
【００２４】
【数１９】
【数２０】
請求項１３に係る発明は、請求項８〜１１の何れか１項に記載のノイズ除去装置であって、垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、前記信号検出手段は、下記関係式（Ｂ１），（Ｂ２）のうち少なくとも一方の関係式を満たす信号を前記ジグザグ状の信号として検出し、前記判定手段は、下記関係式（Ｂ３），（Ｂ４）のうち少なくとも一方の関係式を満たすときに当該ジグザグ状の信号が前記縞模様を構成すると判定するものである。
【００２７】
【数２１】
【数２２】
請求項１４に係る発明は、請求項１２または１３記載のノイズ除去装置であって、前記フィルタは、前記着目画素における信号レベルＩ［０，０］を、下記式（Ｃ２）の条件を満たすフィルタ係数Ｋ（ｎ）を使用し下記式（Ｃ１）に従って補正することで当該ノイズ信号を除去するものである。
【００３０】
【数２３】
【数２４】
【発明の実施の形態】
図１は、本発明の実施の形態に係るノイズ除去装置１の概略構成を示す機能ブロック図である。このノイズ除去装置１は、入力画像信号Ｓ１に対して信号レベルがジグザグ状の信号Ｓ２を検出して出力する信号検出手段３と、このジグザグ状の信号Ｓ２がノイズ信号か否かを判定する判定手段４と、その判定結果に基づいて入力画像信号Ｓ１からノイズ信号を抽出するノイズ信号抽出手段５と、抽出されたノイズ信号に対してフィルタリングを施すフィルタ６と、を備えている。
【００３３】
後に詳述するように、前記信号検出手段３は、隣接する２画素間の信号レベルの差分絶対値が、設定手段２から供給される閾値Ｄ１以下の場合には、当該２画素の信号レベルを同一とみなし、当該差分絶対値が閾値Ｄ１を超えた場合に限りジグザグ状の信号Ｓ２を検出する機能を有する。この閾値Ｄ１は、閾値設定手段２で可変に設定することが可能である。
【００３４】
図２は、入力画像信号Ｓ１の画像フォーマット１０を示す図である。図示するように、その画像フォーマット１０では、複数の画素ｎ［ｉ，ｊ］（ｉ，ｊ＝０，±１，±２，…）が、垂直画素方向と水平画素方向とにマトリクス状に配列している。図２中、記号ｎ［ｉ，ｊ］は、垂直画素方向にｉ番目で且つ水平画素方向にｊ番目の画素を示しており、記号Ｖ［ｋ］（ｋ＝０，±１，±２，…）はｋ番目の水平ラインを示している。以下、処理対象となる複数の画素のうち中央の画素ｎ［０，０］を「着目画素」と呼ぶ。
【００３５】
本実施の形態では、水平画素方向にのみ分布するノイズ信号を扱っているが、本発明ではこれに限られない。画像信号の信号成分を垂直画素方向と水平画素方向とで入れ替える（転置する）ことで、垂直画素方向に分布するノイズ信号に対しても、以下に述べるノイズ除去処理を適用することが可能である。
【００３６】
また、図３は、図２に示す画像フォーマット１０で表現された画像データ１１の例を示す模式図である。画像データ１１には、水平ラインＶ［０］に沿った水平画素方向へ点線状に分布したノイズ信号ｎ［０，−２］，ｎ［０，０］，ｎ［０，２］，…が含まれている。図４は、図３に示した水平ラインＶ［０］上の信号レベルの例を示すグラフである。同図中、画素ｎ［ｉ，ｊ］における信号レベルはＩ［ｉ，ｊ］で表現される。信号レベルＩ［ｉ，ｊ］は、水平ラインに沿って隣接する２画素間の差分値が正値と負値とを交互にとるようにジグザグ状に分布している。上述した通り、このような分布をもつノイズ信号はＡ／Ｄ変換時や画素補間時などに画像信号Ｓ１中に混入することが知られている。
【００３７】
上記ノイズ除去装置１を用いてノイズ信号を除去する方法を、図５のフローチャートを参照しつつ以下に説明する。先ず、ＣＣＤ撮像素子（図示せず）から出力された後、Ａ／Ｄ変換や画素補間処理などを施された入力画像信号Ｓ１が、ノイズ除去装置１に入力する（ステップＳＴ１）。
【００３８】
次のステップＳＴ２では、信号検出手段３は、入力画像信号Ｓ１のうち５画素×５画素程度の画素領域の信号を保持し、当該画素領域の中央画素を着目画素ｎ［０，０］として、当該着目画素周辺において信号レベルが垂直画素方向または水平画素方向に沿ってジグザグ状に分布する場合は当該ジグザグ状の信号Ｓ２を検出して出力する。そして、判定手段４は、信号検出手段３から入力するジグザグ状の信号Ｓ２がノイズ信号か否かを判定し（ステップＳＴ３）、その判定結果を示す判定信号Ｓ３を出力する（ステップＳＴ４，ＳＴ５）。図３，図６，図８，図９は、その種のジグザグ状の信号を含む各種画像データ１１を例示する図である。図３と図６はノイズ信号を含む例を示し、図８と図９はノイズ信号では無いジグザグ状の信号を含む例を示している。
【００３９】
図３に示す画像データ１１では、図４のグラフに示した通り、着目画素ｎ［０，０］を中心として、水平ラインＶ［０］に沿って隣接する２画素間の信号レベルの差分値が正負と負値とを交互にとるようなジグザグ状の信号が分布している。着目画素ｎ［０，０］の信号レベルＩ［０，０］は、左右両隣の画素ｎ［０，−１］，ｎ［０，１］の信号レベルＩ［０，−１］，Ｉ［０，１］よりも高い値をもつ。また、水平ラインＶ［０］の上下両隣の水平ラインＶ［−１］，Ｖ［１］においては、ジグザグ状の信号は出現していない。従って、図３に示す例でのジグザグ状の信号レベル分布は次式（Ａ１），（Ａ２）を満足する。
【００４０】
【数２５】
また、図６に示す例では、図３に示すような水平ラインＶ［０］に沿ったジグザグ状の信号が出現し、上下両隣の水平ラインＶ［−１］，Ｖ［１］にはジグザグ状の信号が出現していない。図７は、着目画素ｎ［０，０］を含む水平ラインＶ［０］上にジグザグ状に分布する信号レベルを示すグラフである。本例では、着目画素ｎ［０，０］の信号レベルＩ［０，０］は、左右両隣の画素ｎ［０，−１］，ｎ［０，１］の信号レベルＩ［０，−１］，Ｉ［０，１］よりも低い値をもつ。従って、図４に示す例でのジグザグ状の信号レベル分布は次式（Ｂ１），（Ｂ２）を満足する。
【００４２】
【数２６】
一方、図８と図９に示す画像データ１１では、着目画素ｎ［０，０］を含む水平ラインＶ［０］にジグザグ状の信号レベルが現れると共に、少なくとも着目画素ｎ［０，０］近傍において垂直画素方向に延びる、１画素置きに高い信号レベルをもつ縦線からなる縞模様が出現していることが分かる。図８に示す画像データ１１は、着目画素ｎ［０，０］を含む垂直ラインに沿って縦線があり、図９に示す画像データ１１では、着目画素ｎ［０，０］を含む垂直ラインは、低い信号レベルをもつ縞模様の谷部を示しており、その左右両隣の画素ｎ［−１，０］，ｎ［１，０］を含む２本の垂直ラインに縦線がある。
【００４４】
現実のナイキスト周波数近辺の信号においては、水平画素方向に沿った横線、もしくは垂直画素方向に沿った縦線の何れかの繰り返しパターンがしばしば出現する。例えば、被写体としてブラインドや橋梁の欄干などを撮像した画像信号中にはその種の繰り返しパターンが現れる。一方、アナログ回路や画像処理回路で発生したノイズ信号、特に、単板式のＣＣＤ撮像素子やＣＭＯＳ撮像素子で撮像した画像データを画素補間処理する際に発生するノイズ信号（エラー信号）は、２画素×２画素の繰り返しパターンで出現することが知られている。被写体に起因する繰り返しパターンと、アナログ回路や画像処理回路に起因する繰り返しパターンとでは、互いに類似のジグザグ状の信号が出現する。両者の相違点は、被写体に起因する繰り返しパターンでは、図８と図９に示すように、着目画素ｎ［０，０］近傍において水平ラインＶ［０］に直交する方向（本例では、垂直画素方向）に縞模様が現れるのに対し、アナログ回路や画像処理回路に起因する繰り返しパターンでは、図３と図６に示すようにその種の縞模様が出現する確率が低いことである。本発明者はこの相違点に着目した。
【００４５】
上記ステップＳＴ２では、信号検出手段３は、上式（Ａ１），（Ａ２）のうち少なくとも一方、もしくは上式（Ｂ１），（Ｂ２）のうち少なくとも一方を満たす信号をジグザグ状の信号Ｓ２として検出して判定手段４に出力する。
【００４６】
また、上記ステップＳＴ３では、判定手段４は、検出されたジグザグ状の信号Ｓ２が縞模様を構成するか否かを判定する。具体的には、信号検出手段３で上式（Ａ１），（Ａ２）の少なくとも一方を満たす信号Ｓ２が検出された場合は、判定手段４は、当該信号Ｓ２が次式（Ａ３），（Ａ４）の一方または双方を満たすか否かを判定する（ＳＴ３）。
【００４７】
【数２７】
他方、信号検出手段３で上式（Ｂ１），（Ｂ２）の少なくとも一方を満たす信号Ｓ２が検出された場合は、判定手段４は、当該信号Ｓ２が次式（Ｂ３），（Ｂ４）の一方または双方を満たすか否かを判定する（ＳＴ３）。
【００４９】
【数２８】
上記判定手段４は、当該ジグザグ状の信号Ｓ２が上式（Ａ３），（Ａ４）の一方または双方を満たした場合、もしくは、当該ジグザグ状の信号Ｓ２が上式（Ｂ３），（Ｂ４）の一方または双方を満たした場合は、当該信号Ｓ２は縞模様を構成すると判定する（ステップＳＴ４）。次いで、判定手段４は、当該信号Ｓ２を正常な画像信号とみなして、ステップＳＴ８に処理が移行し、当該着目画素ｎ［０，０］はそのまま外部に出力される。すなわち、ノイズ信号抽出手段５は、判定手段４から判定信号Ｓ４を受けると、入力画像信号Ｓ１をフィルタ６でフィルタリングさせること無く、出力画像信号Ｓ５として出力させるように制御する。
【００５１】
他方、判定手段４は、当該ジグザグ状の信号Ｓ２が上式（Ａ３）および（Ａ４）の何れも満たさなかった場合、並びに、当該ジグザグ状の信号Ｓ２が上式（Ｂ３）および（Ｂ４）の何れも満たさなかった場合は、当該信号Ｓ２は縞模様を構成せず、ノイズ信号である旨を判定する（ステップＳＴ５）。そして、判定手段４は、その旨を示す判定信号Ｓ３をノイズ信号抽出手段５に出力する。次のステップＳＴ６で、ノイズ信号抽出手段５は、入力画像信号Ｓ１から当該ノイズ信号Ｓ４を抽出してフィルタ６に出力し、フィルタ６は、着目画素ｎ［０，０］を含む複数画素をサンプリングし、着目画素ｎ［０，０］に関して当該ノイズ信号Ｓ４を平滑化（フィルタリング）する。次のステップＳＴ７で、その結果得られた出力画像信号Ｓ５は外部に出力される。
【００５２】
フィルタ６は、少なくとも、着目画素ｎ［０，０］とその左右両隣の画素ｎ［−１，０］，ｎ［１，０］との合計３画素を含む複数画素を平滑化する機能を備えていればよい。具体的には、フィルタ６は、下記式（Ｃ２）の条件を満たすフィルタ係数Ｋ（ｎ）を使用し、次式（Ｃ１）に従ってフィルタリングを実行できる。
【００５３】
【数２９】
【数３０】
但し、フィルタ係数Ｋ（ｎ）は、Ｋ（ｎ）＝Ｋ（−ｎ）の関係式を満たすこと、言い換えれば、着目画素ｎ［０，０］に対して対称であることが望まれる。上式（Ｃ１）の右辺の分母を２の巾乗（＝２m）としたのは、ノイズ除去装置１を集積回路で構成する場合に、２の巾乗による除算処理をシフト演算器で実行できるからである。２の巾乗でない値で除算処理を行う場合は、シフト演算器を用いる場合と比べて集積回路のゲート規模が多大になり易いという不利な点がある。
【００５６】
例えば、３画素に対してフィルタリングを実行する場合は、上式（Ｃ１）に対して、Ｍ＝２、Ｋ（０）＝２×Ｋ１、Ｋ（±１）＝Ｋ０を適用することで、次式（Ｃ１−０）が成立する。
【００５７】
【数３１】
上式（Ｃ１−０）中、ｍは２以上の整数であり、Ｋ０＋Ｋ１＝２m-1の関係式が成立する。
【００５９】
また、平滑化の観点からは、着目画素ｎ［０，０］の信号レベルＩ［０，０］に重み付けを与えるフィルタ係数Ｋ１と、両隣の画素の信号レベルＩ［−１，０］，Ｉ［１，０］に重み付けを与えるフィルタ係数２×Ｋ０との比率は小さいことが望ましい。ｍ＝２のとき、上式（Ｃ１−０）は次式（Ｃ１−１）で表現できる。ここで、フィルタ係数は、Ｋ０＝１，Ｋ１＝１である。
【００６０】
【数３２】
平滑化の観点からは、上式（Ｃ１−０）を次式（Ｃ１−２）で表現するのが良い。ここで、ｍ＝４，Ｋ０＝５，Ｋ１＝３である。
【００６２】
【数３３】
尚、本実施の形態では、上記ステップＳＴ６のフィルタリング処理でサンプリングする画素は、着目画素ｎ［０，０］を含む１本の水平ライン上の複数画素であったが、本発明ではこれに限らず、当該着目画素ｎ［０，０］周辺の複数ラインにおける複数画素をサンプリングしてフィルタリング処理に用いてもよい。
【００６４】
ところで、上記ステップＳＴ２で信号検出手段３は、隣接する２画素間の差分絶対値が閾値Ｄ１未満の成分については、ジグザグ状の信号とみなさずに、当該隣接する２画素の信号レベルは一致するものとして処理する。これは、隣接する２画素間の差が僅かな信号まで処理に含めると、相関性の低い不規則なパターンをもつノイズ信号をジグザグ状の信号と判定する確率が高くなり、この結果、フィルタリング処理の回数が多くなり、解像度が低下するからである。当該閾値Ｄ１は、閾値設定手段２で可変に設定できるため、画質が最適になるように閾値Ｄ１を設定することが可能である。
【００６５】
【発明の効果】
以上の如く、本発明の請求項１に係るノイズ除去方法および請求項８に係るノイズ除去装置によれば、上記ジグザグ状の信号が縞模様を構成するか否かを判定し、縞模様を構成するジグザグ状の信号を正常な画像信号とみなし、縞模様を構成しないジグザグ状の信号をノイズ信号とみなすため、ノイズ信号の検出精度が向上する。また、当該ノイズ信号のみを選択的にフィルタで除去するため、ノイズ除去処理による解像度の低下を防止することが可能となる。
【００６６】
請求項２および請求項９によれば、簡易且つ確実にノイズ信号を除去することが可能となる。
【００６７】
請求項３および請求項１０によれば、ノイズ検出精度の向上を図ることが可能である。相関性の低い不規則なパターンをもつノイズ信号を拾って、このノイズ信号にフィルタリングを施すことを確実に防止でき、解像度の低下を防止できる。
【００６８】
請求項４および請求項１１によれば、画像信号の画質が最適となるように上記閾値を設定することが可能となる。
【００６９】
請求項５，６および請求項１２，１３によれば、検出されたジグザグ状の信号が、アナログ回路や画像処理回路に起因する信号か、被写体に起因する信号かの判定を確実に実行できるため、被写体に起因するジグザグ状の信号をフィルタリングせずに済み、解像度低下を確実に防止できる。
【００７０】
請求項７および請求項１４によれば、上式（Ｃ１）を採用することで高精度にノイズ除去を実行できる。特に、上式（Ｃ１）の右辺の分子を２の巾乗で除算する処理はシフト演算で実行できるため、比較的高速にノイズ除去処理を実行できるという利点がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るノイズ除去装置の概略構成を示す機能ブロック図である。
【図２】ノイズ除去装置に入力する画像信号の画像フォーマットを示す図である。
【図３】画像データの例を示す模式図である。
【図４】画像データの信号レベル分布を示すグラフである。
【図５】本実施の形態に係るノイズ除去方法を示すフローチャートである。
【図６】画像データの例を示すグラフである。
【図７】画像データの信号レベル分布を示すグラフである。
【図８】画像データの例を示すグラフである。
【図９】画像データの例を示すグラフである。
【図１０】一般的なディジタル・スチル・カメラの概略構成を示すブロック図である。
【図１１】点線状に分布するノイズ信号を含む画像データの一例を示す図である。
【図１２】チェッカー状に分布するノイズ信号を含む画像データの一例を示す図である。
【符号の説明】
１ ノイズ除去装置
２ 閾値設定手段
３ 信号検出手段
４ 判定手段
５ ノイズ信号抽出手段
６ フィルタ
Claims (14)
- ２次元画像信号中に混入したノイズ信号を除去するノイズ除去方法であって、
（ａ）前記２次元画像信号において、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分値が正値と負値とを交互にとるジグザグ状の信号を検出する工程と、
（ｂ）前記工程（ａ）で検出された前記ジグザグ状の信号が縞模様を構成するか否かを判定する工程と、
（ｃ）前記工程（ｂ）で前記ジグザグ状の信号が縞模様を構成すると判定された場合は、当該ジグザグ状の信号を正常の画像信号とみなす工程と、
（ｄ）前記工程（ｂ）で前記ジグザグ状の信号が縞模様を構成すると判定されなかった場合は、当該ジグザグ状の信号をノイズ信号とみなして抽出する工程と、
（ｅ）前記２次元画像信号から、前記工程（ｄ）で抽出された前記ノイズ信号をフィルタリングする工程と、
を備えることを特徴とするノイズ除去方法。 - 請求項１記載のノイズ除去方法であって、前記工程（ｅ）は前記ノイズ信号をローパスフィルタでフィルタリングする工程である、ノイズ除去方法。
- 請求項１または２記載のノイズ除去方法であって、前記工程（ａ）は、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分絶対値が所定の閾値以下である場合は、当該隣接する２画素の信号レベルを同一とみなす工程を更に備える、ノイズ除去方法。
- 請求項３記載のノイズ除去方法であって、前記閾値は可変に設定される、ノイズ除去方法。
- 請求項１〜４の何れか１項に記載のノイズ除去方法であって、
垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、
前記工程（ａ）では、下記関係式（Ａ１），（Ａ２）のうち少なくとも一方の関係式を満たす信号が前記ジグザグ状の信号として検出され、
前記工程（ｂ）では、下記関係式（Ａ３），（Ａ４）のうち少なくとも一方の関係式を満たすとき、当該ジグザグ状の信号が前記縞模様を構成すると判定される、ノイズ除去方法。
- 請求項１〜４の何れか１項に記載のノイズ除去方法であって、
垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、
前記工程（ａ）では、下記関係式（Ｂ１），（Ｂ２）のうち少なくとも一方の関係式を満たす信号が前記ジグザグ状の信号として検出され、
前記工程（ｂ）では、下記関係式（Ｂ３），（Ｂ４）のうち少なくとも一方の関係式を満たすとき、当該ジグザグ状の信号が前記縞模様を構成すると判定される、ノイズ除去方法。
- 請求項５または６記載のノイズ除去方法であって、前記工程（ｅ）において、前記着目画素における信号レベルＩ［０，０］を、下記式（Ｃ２）の条件を満たすフィルタ係数Ｋ（ｎ）を使用し下記式（Ｃ１）に従って補正することで当該ノイズ信号が除去される、ノイズ除去方法。
- ２次元画像信号中に混入したノイズ信号を除去するノイズ除去装置であって、
前記２次元画像信号において、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分値が正値と負値とを交互にとるジグザグ状の信号を検出する信号検出手段と、
前記信号検出手段で検出された前記ジグザグ状の信号が縞模様を構成するか否かを判定する判定手段と、
前記判定手段で前記ジグザグ状の信号が縞模様を構成すると判定された場合は、当該ジグザグ状の信号を正常の画像信号とみなし、前記ジグザグ状の信号が縞模様を構成すると判定されなかった場合は、当該ジグザグ状の信号をノイズ信号とみなして抽出するノイズ信号抽出手段と、
前記２次元画像信号から前記ノイズ信号を除去するフィルタと、
を備えることを特徴とするノイズ除去装置。 - 請求項８記載のノイズ除去装置であって、前記フィルタは、前記ノイズ信号をフィルタリングして除去するローパスフィルタである、ノイズ除去装置。
- 請求項８または９記載のノイズ除去装置であって、前記信号検出手段は、水平画素方向または垂直画素方向に沿って隣接する２画素間の信号レベルの差分絶対値が所定の閾値以下である場合は、当該隣接する２画素の信号レベルを同一とみなす、ノイズ除去装置。
- 請求項１０記載のノイズ除去装置であって、前記閾値を可変に設定する閾値設定手段を更に備えるノイズ除去装置。
- 請求項８〜１１の何れか１項に記載のノイズ除去装置であって、
垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、
前記信号検出手段は、下記関係式（Ａ１），（Ａ２）のうち少なくとも一方の関係式を満たす信号を前記ジグザグ状の信号として検出し、
前記判定手段は、下記関係式（Ａ３），（Ａ４）のうち少なくとも一方を満たすときに当該ジグザグ状の信号が前記縞模様を構成すると判定する、ノイズ除去装置。
- 請求項８〜１１の何れか１項に記載のノイズ除去装置であって、
垂直画素方向および水平画素方向のうち何れか一方の方向にｉ（ｉ：整数）番目且つ他方の方向にｊ（ｊ：整数）番目の画素における信号レベルをＩ［ｉ，ｊ］で表現し、着目画素における信号レベルをＩ［０，０］で表現するとき、
前記信号検出手段は、下記関係式（Ｂ１），（Ｂ２）のうち少なくとも一方の関係式を満たす信号を前記ジグザグ状の信号として検出し、
前記判定手段は、下記関係式（Ｂ３），（Ｂ４）のうち少なくとも一方の関係式を満たすときに当該ジグザグ状の信号が前記縞模様を構成すると判定する、ノイズ除去装置。
- 請求項１２または１３記載のノイズ除去装置であって、前記フィルタは、前記着目画素における信号レベルＩ［０，０］を、下記式（Ｃ２）の条件を満たすフィルタ係数Ｋ（ｎ）を使用し下記式（Ｃ１）に従って補正することで当該ノイズ信号を除去する、ノイズ除去装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002015520A JP3737436B2 (ja) | 2002-01-24 | 2002-01-24 | ノイズ除去方法およびノイズ除去装置 |
| US10/347,623 US6906704B2 (en) | 2002-01-24 | 2003-01-22 | Noise elimination method and noise elimination apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002015520A JP3737436B2 (ja) | 2002-01-24 | 2002-01-24 | ノイズ除去方法およびノイズ除去装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003219211A JP2003219211A (ja) | 2003-07-31 |
| JP2003219211A5 JP2003219211A5 (ja) | 2004-09-02 |
| JP3737436B2 true JP3737436B2 (ja) | 2006-01-18 |
Family
ID=19191951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002015520A Expired - Fee Related JP3737436B2 (ja) | 2002-01-24 | 2002-01-24 | ノイズ除去方法およびノイズ除去装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6906704B2 (ja) |
| JP (1) | JP3737436B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007198799A (ja) * | 2006-01-24 | 2007-08-09 | Daishinku Corp | 圧電振動部品の周波数測定方法 |
| US7984995B2 (en) * | 2006-05-24 | 2011-07-26 | Smart Technologies Ulc | Method and apparatus for inhibiting a subject's eyes from being exposed to projected light |
| US8115967B2 (en) * | 2006-11-28 | 2012-02-14 | Silverbrook Research Pty Ltd | Localized signal data preservation within signal bandwidth |
| US20090010341A1 (en) * | 2007-07-02 | 2009-01-08 | Feng Pan | Peak signal to noise ratio weighting module, video encoding system and method for use therewith |
| JP5169997B2 (ja) * | 2009-05-29 | 2013-03-27 | ソニー株式会社 | フィルタ回路、画像処理装置、撮像装置、画像処理方法及びプログラム |
| JP5162001B2 (ja) * | 2011-05-16 | 2013-03-13 | 株式会社東芝 | 撮像装置、撮像方法 |
| TWI453714B (zh) * | 2011-05-27 | 2014-09-21 | Chunghwa Picture Tubes Ltd | 顯示面板的驅動系統及其驅動方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4573070A (en) * | 1977-01-31 | 1986-02-25 | Cooper J Carl | Noise reduction system for video signals |
| US4918633A (en) * | 1985-11-25 | 1990-04-17 | Eastman Kodak Company | Digital image noise reduction method and transmission system |
| JP3314043B2 (ja) * | 1998-09-29 | 2002-08-12 | 松下電器産業株式会社 | 動き検出回路とノイズ低減装置 |
| JP2002185862A (ja) * | 2000-12-15 | 2002-06-28 | Mega Chips Corp | 画像信号のノイズ除去方法 |
| WO2002067589A1 (en) * | 2001-02-23 | 2002-08-29 | Seiko Epson Corporation | Image processing system, image processing method, and image processing program |
| US6826309B2 (en) * | 2001-05-31 | 2004-11-30 | Xerox Corporation | Prefiltering for segmented image compression |
-
2002
- 2002-01-24 JP JP2002015520A patent/JP3737436B2/ja not_active Expired - Fee Related
-
2003
- 2003-01-22 US US10/347,623 patent/US6906704B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20030138166A1 (en) | 2003-07-24 |
| JP2003219211A (ja) | 2003-07-31 |
| US6906704B2 (en) | 2005-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8004586B2 (en) | Method and apparatus for reducing noise of image sensor | |
| KR101633946B1 (ko) | 화상 처리 장치 및 화상 처리 방법, 및 기록 매체 | |
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| EP2819091B1 (en) | Method and apparatus for processing a gray image | |
| EP2130176B1 (en) | Edge mapping using panchromatic pixels | |
| CN106023204B (zh) | 一种基于边缘检测算法去除蚊式噪声的方法及系统 | |
| JP4811664B2 (ja) | 画像処理方法及び画像処理装置 | |
| US20120314946A1 (en) | Image processing apparatus, image processing method, and program | |
| JP2010531075A (ja) | パンクロマチック画像を用いたノイズ低減されたカラーの画像 | |
| CN1783939A (zh) | 振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体 | |
| WO2004088992A1 (ja) | 画像処理装置及び画像処理プログラム | |
| WO2005117455A1 (ja) | Ｒａｗデ－タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
| JP4863505B2 (ja) | 画像処理装置 | |
| TW200838285A (en) | Image processing apparatus, image capturing apparatus, image processing method in these apparatuses, and program allowing computer to execute the method | |
| CN106651792B (zh) | 一种卫星影像条带噪声去除方法及装置 | |
| JP5169994B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| US20080239155A1 (en) | Low Complexity Color De-noising Filter | |
| JP2010200288A (ja) | 傾斜画像データを検出及び補正するための方法及び装置 | |
| JP4442413B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
| JP3737436B2 (ja) | ノイズ除去方法およびノイズ除去装置 | |
| EP1641285A1 (en) | Image processing device for processing image having different color components arranged, image processing program, electronic camera, and image processing method | |
| US7623705B2 (en) | Image processing method, image processing apparatus, and semiconductor device using one-dimensional filters | |
| JP2002185862A (ja) | 画像信号のノイズ除去方法 | |
| JP5327245B2 (ja) | 画像処理装置、電子カメラ及び画像処理プログラム | |
| KR100869134B1 (ko) | 이미지 처리장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3737436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151104 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |